El primer ingeniero de software basado en IA es una realidad. Cognition Labs, un emprendimiento de Silicon Valley, presentó a Devin, una inteligencia artificial capaz de resolver problemas, planificar y realizar tareas de ingeniería complejas. El nuevo desarrollador es completamente autónomo y puede integrarse a equipos de trabajo con otros programadores.
De acuerdo con Cognition, Devin puede ejecutar tareas que requieren miles de decisiones, es capaz de recordar el contexto de cada paso y aprende a corregir errores. A diferencia de Copilot X o ChatGPT, Devin no es un asistente que ofrece sugerencias de código, sino que puede desarrollar un proyecto por completo. Sus creadores lo han equipado con herramientas típicas, como un editor de código, shell y un navegador dentro de un entorno aislado.
Cognition Labs ha publicado una serie de videos que muestran las habilidades de Devin en acción. En términos generales, esta IA puede ejecutar acciones a través de comandos en texto simple (prompts). Puedes pedirle que desarrolle un juego, una aplicación o que aprenda a utilizar una tecnología desconocida. Devin también se integra a equipos de trabajo y contribuye en repositorios de producción o ayuda a encontrar errores de código.
Tal vez lo más aterrador es que Devin puede entrenar y perfeccionar otros modelos de inteligencia artificial. En uno de los ejemplos se le solicita que configure un ajuste fino para el modelo Llama 7B a partir de un repositorio en Github y una serie de instrucciones en texto. Al enviar el prompt, el ingeniero virtual clona el repositorio, analiza el código y ejecuta el entrenamiento. En caso de encontrar un error, Devin estudia el entorno y se las ingenia para encontrar la solución.
La IA de Devin no reemplaza a los ingenieros de software humanos (por ahora)
Algo importante de mencionar es que Devin no es una amenaza latente al trabajo de otros programadores, al menos no en este momento. Cognition evaluó su inteligencia artificial a través de SWE-bench, un benchmark para resolver problemas reales que se encuentran en repositorios de GitHub. Según los primeros datos, Devin resolvió correctamente el 13,86 % de los problemas de principio a fin.
Aunque el porcentaje es bajo, Devin supera a modelos de lenguaje como Claude 2, GPT-4, SWE-Llama 13 GB y 7B y ChatGPT 3.5.
Un detalle curioso sobre esta inteligencia artificial es que puede efectuar trabajos en Upwork. Devin escribe y depura código, tomando en cuenta las instrucciones del proyecto, por lo que algunos programadores novatos se podrían beneficiarse con ingresos adicionales.
Devin se encuentra en desarrollo, por lo que no está disponible para todos los usuarios. Cognition está aceptando solicitudes para probarlo en entornos reales, aunque estando consciente de que no es capaz de sustituir a tu plantilla de programadores.
De acuerdo con Bloomberg, Cognition está conformado por ingenieros que ganaron medallas de oro en concursos de programación. A diferencia de OpenAI y otras empresas gigantescas, el equipo de trabajo es reducido y todos operan vía remota. Su trabajo con Devin les ha garantizado una inversión de 21 millones de dólares y el soporte de algunos líderes del sector.