Ilya Sutskever, cofundador de OpenAI, afirma que la era del preentrenamiento está cerca de su final debido al agotamiento de datos novedosos disponibles en internet. Esta limitación obligará a replantear los enfoques actuales y podría marcar el inicio de una nueva etapa para esta tecnología.
Durante su intervención en la conferencia NeurIPS 2024, Sutskever comparó los datos de internet con los combustibles fósiles. Al igual que estos, los datos son finitos, y una vez consumidos, resulta difícil obtener nuevas fuentes de la misma calidad. En palabras del propio Sutskever, «solo tenemos un internet», una declaración que enfatiza la dependencia actual de la IA hacia las fuentes de información existentes. Aunque el hardware, los algoritmos y la capacidad de procesamiento han evolucionado significativamente, la cantidad de datos disponibles no ha crecido al mismo ritmo.
Este problema supone un desafío para los modelos basados en el preentrenamiento, como los grandes modelos de lenguaje actuales. Estos dependen de vastas cantidades de texto para aprender y generar respuestas inteligentes, pero su eficacia podría estar limitada si no hay suficientes datos nuevos que procesar. Con internet como único recurso masivo para entrenar estas inteligencias, el desarrollo de modelos más avanzados se encuentra en una encrucijada.
Sin embargo, Sutskever también vislumbra una oportunidad en medio de esta crisis. Según el cofundador de OpenAI, el futuro de la IA se centrará en agentes autónomos capaces de razonar y tomar decisiones por sí mismos. A diferencia de los modelos actuales, estos agentes no dependerán exclusivamente de datos existentes, sino que podrán utilizar datos sintéticos generados por otros sistemas o por ellos mismos. Esta transición también podría dar lugar al desarrollo de una superinteligencia, un concepto que, hasta ahora, se había considerado teórico.
El impacto de esta evolución ya está comenzando a notarse en diversas áreas. Un ejemplo lo encontramos en el ámbito de las criptomonedas, donde agentes impulsados por IA han ganado protagonismo. Modelos como Truth Terminal han llegado a promover memecoins como Goatseus Maximus, que alcanzó una capitalización de mercado de mil millones de dólares. En paralelo, laboratorios como Google DeepMind trabajan en sistemas como Gemini 2.0, diseñado para agentes de IA capaces de realizar tareas complejas, desde la coordinación entre sitios web hasta el razonamiento lógico.
Desde mi perspectiva, esta transición no solo marca el fin de una etapa, sino que plantea preguntas profundas sobre el futuro de la inteligencia artificial. ¿Cómo podemos gestionar una tecnología que cada vez depende menos de los datos humanos y más de su propia capacidad para crear información? Estamos a punto de entrar en un territorio desconocido, y aunque las oportunidades son infinitas, los desafíos también lo serán.