DeepMind no alcanza éxito en la programación informática

Para DeepMind no había límites. Ha sido capaz de resolver problemas tan dispares que van desde la saga de videojuegos de StarCraft hasta el análisis de las proteínas, pero ahora ha encontrado un serio problema; la programación de ordenadores.

La división de IA de Google no es capaz de generar un código más elaborado, aunque de por sí tiene mérito que pueda funcionar sin haber recibido una información básica sobre algoritmos y lenguajes de programación.

La programación informática está muy interiorizada entre los humanos, y por ende debería ser una operación sencilla para un sistema eficiente de IA. Pero ha estado dando problemas en este sentido, y el equipo de DeepMind no ha logrado dar con la clave del error. En un principio lo asociaban con un problema de idioma, es decir, la descripción del desafío es una expresión de lo que debe hacer el algoritmo, pero el código es una expresión idéntica aunque en un idioma distinto.

De este modo, la IA de DeepMind ha sido entrenada para adquirir la descripción y convertirla en una representación interna que posteriormente generaría un código funcional. Al principio s ele solicitó que procesara parte del material en GitHub, unos 700GB de código, a lo que si se le suma el texto sin formato representaría muchas más líneas por gigabyte, un lenguaje natural que puede llegar a confundir.

DeepMind introdujo los resultados en el sistema muy bien organizados: descripción del problema, código de trabajo, código fallido y casos de prueba utilizados.

Un problema latente

Más del 40% de las soluciones que ofreció el sistema de IA de Google tendieron a agotar la memoria o simplemente fallaron al buscar una solución eficiente en un tiempo prudencial, dando como resultado un código deficiente. La idea inicial era ver si algún programa de AlphaCode podría superar esa prueba inicial, pero solo el 1% lo consiguió.

Las soluciones que funcionaron para DeepMind fueron similares entre sí, distribuyéndose aleatoriamente todo el conjunto de respuestas incorrectas. El sistema identificó los diez grupos de código más grandes y eligió a un representante de cada grupo.

Pero aún así, DeepMind no estaba lo suficientemente preparado, y los resultados denotan que más del 54% de los programadores informáticos que se hubiesen enfrentado a la IA le hubiesen vencido, ya que ésta posee el nivel de un programador con escasa formación y experiencia.

El entrenamiento del sistema de IA tomó como base más de 2.000 petaflops y se llevó consigo 16 veces el presupuesto anual de energía de un hogar medio. Al aumentarle el número de soluciones, el sistema pudo generar una mayor cantidad de soluciones correctas, siguiendo un factor de 10. De este modo, determinamos que AlphaCode funciona mejor, pero resulta mucho más costoso.

No obstante, y a pesar de sus limitaciones, el sistema de DeepMind está funcionando según lo previsto y está realizando traducciones internas entre el problema y las soluciones, no arrojando código fragmentado simplemente. AlphaCode le seguirá enviando datos constantemente, permitiendo que la nueva versión mejore considerablemente.

El sistema ideado por DeepMind podría generar fragmentos de código más corto que manejen requisitos específicos. De igual modo, es curioso que AlphaCode nunca recibiera una indicación de lo que constituye un algoritmo. No obstante, generaba un código funcional mediante una estructura de IA similar a la empleada para la traducción de idiomas.