Monitor Más Monitor


GitHub Copilot tiene una lista de 1.170 palabras prohibidas

GitHub Copilot tiene una lista de 1.170 palabras prohibidas
Según The Register, varias son, sencillamente, palabras sobre temas políticos, controvertidos y polémicos. Como Israel, Palestina, comunista, liberal o socialista.

Publicación:09-09-2021
++--

G¡tHub Copilot, lanzado el pasado mes de julio en fase de prueba técnica limitada.

Cuenta con una lista de 1.170 palabras que evita que este asistente de programación con Inteligencia Artificial responda a textos y entradas que las contengan, o bien que genere respuestas con cualquier término que esté en ella. Pero no todas son ofensivas o malsonantes, como podría esperarse. 

GitHub Copilot se presentó como base para una versión de autocompletado más sofisticada que las actuales, para lo que se utilizó una red neuronal OpenAI conocida como Codex y que permite convertir entradas de texto en código funcional. Además, también puede hacer sugerencias con base en código preexistente. Hasta ahora, los resultados pueden calificarse de interesantes, pero no de asombrosos, porque el código que ha generado el sistema es simple e inseguro. Eso sí, el proyecto está todavía en fase de mejora.

GitHub es consciente de que su software inteligente puede ofender. Por eso la compañía confirma que «la versión de prueba incluye filtros para bloquear palabras ofensivas y evitar la sintetización de sugerencias en contextos sensibles. Debido a la naturaleza de prueba de la tecnología, GitHub Copilot puede en algunos casos producir resultados no deseados, incluyendo contenido sesgado, discriminatorio, abusivo y ofensivo«. Pero no explica cómo gestiona las entradas y salidas problemáticas, más allá de pedir a los usuarios que comuniquen cuándo se han sentido ofendidos.

Brendan Dolan-Gavitt, Profesor asistente del Departamento de ingeniería y ciencia computacional de la Escuela de ingeniería NYU Tandon, descubrió que Copilot integra una lista de funciones hash, esto es, de datos codificados producidos al pasar entradas a través de estas funciones hash. El código de Copilot compara los contenidos del texto que suministra el usuario al modelo de Inteligencia Artificial, y el código que resultará del mismo, antes de salir en pantalla, con estas funciones hash. Y si el texto coincide con este contenido, interviene para retirar el contenido que coincide. Además, el software no hará sugerencias si el código del usuario contiene alguna de las palabras de la lista.

Según Dolan-Gavitt, «la lista está integrada en la extensión de Visual Studio Code que conecta VSCode al servicio Copilot y ofrece las sugerencias«. Según le ha llegado, la compañía está planeando mover la lista al lado del servidor, y entonces será mucho más complicado inspeccionarla. Por eso ha actuado ahora para «abrir la extensión, codificada en JavaScript, y obtener la lista de ahí».

La lista, según el profesor, estaba codificada de manera que cada palabra se pasase por una función hash que convierte la palabra en un número que va desde dos millones en negativo hasta dos millones en positivo. La inmensa mayoría de las palabras que contiene son soeces y ofensivas. Pero algunas, como hemos mencionado, no lo son per se, aunque podrían utilizarse como insulto en determinados contextos. Además de las ya comentadas, hay otras como Gaza, fascista, nazi, inmigrante, inmigración, raza, color de piel, hombre, masculino, mujer, femenino, mujeres, hombres, niño, niña, liberal, blm (black lives matter), negro, antifa, hitler, étnico (ethnic), gay, lesbiana o transgénero. Eso sí, no incluye la palabra conservador ni blanco).

Varias no son ofensivas, pero parece que Github las haya incluido en ella porque se puedan emplear en un contexto polémico. Su inclusión, es cuando menos, polémica y debatible. Y según Dolan-Gavitt, la inclusión de algunas de ellas en la lista parece más un intento por evitar situaciones embarazosas que un medio para proteger a los usuarios de texto ofensivo. Para él, la solución correcta del problema «implicaría probablemente revisar los datos de entrenamiento y eliminar los problemáticos y ofensivos, lo que es más complicado«.

No obstante, apunta que «es eficaz en la prevención de la presentación de palabras muy ofensivas y malsonantes a los usuarios. Es una especie de solución de 80% que tiene un desarrollo y despliegue sencillo«. Eso sí, como se trata de una versión de prueba y GitHub Copilot está en fase de optimización y mejora, habrá que esperar a la definitiva para ver si estas palabras consideradas polémicas han desaparecido o no de la lista.



« Especial »