Cuando ChatGPT se lanzó por primera vez, hubo este intenso deseo de poder hacer todo lo posible con él. ¿Escribir correos electrónicos? ¿Código de reparación? ¡Pregúntele al genio y debería tener la respuesta!
Sin embargo, con el tiempo, aprende que tal vez el genio no tenga todas las respuestas, pero tiene una cantidad decente que podría aprovechar. Quiero enfatizar la palabra aprovechar Aquí porque eso es lo que nos importa. Una forma de multiplicar nuestro impacto por unidad de tiempo.
Cuando Claude Sonnet 3.5 + Cursor se lanzó noviembre de 2024, este fue el primer prototipo. Ahora podría obtener influencia en las habilidades de productos más importantes: la ingeniería. Comenzó a amanecer para mí que cada día mi objetivo no es hacer más trabajo: es construir sistemas que puedan aumentar la cantidad de apalancamiento por unidad de tiempo todos los días, semana y mes.
No estaba completamente seguro de dónde vino esta obsesión, pero se sintió profundamente intuitiva. Si piensas en la historia de la civilización humana, el apalancamiento se ha reservado para unos pocos:
En el antiguo Egipto, tenías que nacer un Pharo para tener esclavos que pudieran construir estructuras para ti
Hace unos cientos de años, tenías que nacer un rey o convertirte en uno para ordenar tu reino de los sujetos
En tiempos más recientes, tenía que poder recaudar dólares de capital de riesgo para pagar los salarios de las personas para hacer el trabajo.
Sin embargo, en los últimos tiempos, ahora tenemos que escribir las teclas correctas en el teclado para generar código que realice el trabajo.
Otra forma de decir que el camino hacia el apalancamiento se ha derrumbado:
Capital → Trabajo → Código → Apalancamiento
Código → apalancamiento
Eso significa que lo siguiente es cierto: “Si puedo indicar correctamente, puedo generar apalancamiento laboral independiente del trabajo o dólares humanos”
Esta es una línea increíblemente importante, ya que significa que su independencia como fundador/operador aumenta. La escala no significa tratar con la gerencia o hablar con los inversores para aumentar su producción a través del apalancamiento basado en capital.
Sin embargo, no hay almuerzos free of charge. El escenario más possible en el que nos vamos a encontrar es una escasez masiva de cómputo a medida que más personas se apoyan en este tipo de apalancamiento (cómputo). Ahora, esto no quiere decir que no tenemos suficientes GPU (que todos conocen), pero todo en la cadena de suministro comenzará a correr con cuellos de botella.
Incluso si quisiera construir un centro de datos hoy, ¡tendrá que esperar hasta 2030 para conectarse a la crimson! Esto, por supuesto, abre vías para todo tipo de otras oportunidades de generación de energía, como:
… y, por supuesto, aceite.
Independientemente del luchador que elija, todo lo anterior se requerirá en algún tipo de mezcla explicit. La avenida menos alcista son los sistemas tradicionales de entrega de energía basados en la crimson dado el punto de estrangulamiento allí. A continuación se muestra una tabla de nuestra tendencia precise de consumo de energía y las fuentes que la comprometen.
Las energías renovables photo voltaic, nuclear y otras cosas siguen siendo increíblemente tempranas en términos de cuánta alza les queda. El petróleo y el carbón continuarán siendo las bestias que son, pero la dependencia de ellas es necesaria en muchos más lugares, lo que probablemente los hará menos competitivos para la demanda basada en el cómputo.
Al razonar sobre cómo los diferentes países se han acercado a la generación de energía, este gráfico me sorprende:
En caso de que no esté claro, el futuro de la generación de energía vive en China, no en los Estados Unidos. Algunos dirán que la nuclear entrará y nos salvará, pero todavía hay muchos desafíos a su alrededor y el tiempo de despliegue aún no es muy rápido. Las energías renovables como la energía photo voltaic tienen un bajo tiempo de implementación pero, por supuesto, tienen otras complicaciones (también conocido como el sol no siempre está encendido, por lo que necesita baterías/almacenamiento). Por supuesto, la pregunta es si Estados Unidos puede “doblar la curva” de la generación de electricidad, pero no hay muchos datos que lo sugieran. Crusoe y otras compañías están haciendo algunas cosas ordenadas en esta área, ¡pero aún no se puede ver!
Otro cuadro interesante es el siguiente: PJM, que es uno de los operadores de crimson más grandes del país, ha visto el costo de sus subastas de capacidad dispararse. El año pasado fue el verdadero salto y este año fue del 22%. Sin embargo, en relación con los años anteriores, pinta una imagen muy clara sobre hacia dónde se dirigen las cosas.
El otro issue interesante aquí es que el uso no escala linealmente. Mi tesis aquí es que a medida que las personas confían en LLM, la demanda de contexto solo aumenta con el tiempo, no disminuye. Un mejor contexto significa mejores resultados de cualquier tarea que tenga a mano.
A medida que aumentan las ventanas de contexto, ¡el aumento de los recursos de cálculo no es lineal! Tome, por ejemplo, un LLM que aumenta su ventana de contexto de 10k → 100k. ¿Pensarías que es un aumento de 10x en los recursos de cómputo?
No tan rápido, en realidad es 100 veces.
Lo que esto significa fundamentalmente es que si el uso del consumidor y el profesional continúan retomando y la demanda recoge (las personas quieren ventanas de contexto de 100k de línea de base), entonces espere que nuestro cómputo sea mucho más alto de lo que nadie puede imaginar.
Vamos a necesitar tanta energía para alimentar el futuro, ni siquiera es divertido. Sin embargo, crea una dinámica interesante en la que los países de generación de energía más altos continuarán obteniendo apalancamiento de una manera que otros países no podrán.
¿Se les ocurrirá a Estados Unidos innovaciones en avances de modelos y China los capacitará? Quién sabe.
Hay mucho que desempacar y aún así muchos factores que esta pieza se pierde. Es un área que sigo investigando y con saber, pero está quedando claro que todos debemos comenzar a pensar en la energía y las cosas más bajas en la pila que normalmente no tuvimos que preocuparnos dado el estrés que les acumulará de nuestras necesidades futuras son enormes.
Los nuevos modelos de distribución de energía, nuevas arquitecturas de cómputo distribuidas, los avances en tecnología renovable serán los mayores impulsores de la innovación en la próxima década.
Si crees que el futuro se parece al pasado que no te estás imaginando lo suficiente. Como civilización, creo que estamos pasando por una actualización masiva que es tan rápida que todos estamos luchando colectivamente.
Si tienes alguna thought sobre esta pieza (correcciones o adiciones), me encanta saber de ti 🙂
