Facebook sabía del contenido abusivo y no lo controló

Facebook se encuentra envuelto en una nueva polémica, y es que según exempleados de la compañía, advirtieron que la red social no estaba controlando el contenido abusivo en países donde ese tipo de discurso probablemente causaría el mayor daño, según revelaron a la agencia de noticias Reuters, y documentos internos de la empresa.

¿Qué dicen los documentos de Facebook?

Los documentos muestran que a pesar de tener conocimiento, Facebook no ha contratado suficientes trabajadores que posean las habilidades lingüísticas y el conocimiento de los eventos locales necesarios para identificar publicaciones abusivas de usuarios en varios países en desarrollo. 

También mostraron que los sistemas de inteligencia artificial que Facebook emplea para erradicar dicho contenido abusivo con frecuencia tampoco están a la altura; y que la empresa no ha facilitado que sus propios usuarios globales marquen las publicaciones que violan las reglas del sitio.

Esas deficiencias, dijeron los empleados en los documentos, “podrían limitar la capacidad de la compañía para cumplir su promesa de bloquear el discurso de odio y otras publicaciones que infrinjan las reglas en lugares como Afganistán y Yemen”.

En una revisión publicada en el tablero de mensajes interno de Facebook realizada en 2020, sobre las formas en que la compañía identifica abusos en su sitio, un empleado informó “brechas significativas” en ciertos países en riesgo de violencia en el mundo real, especialmente Myanmar y Etiopía.

Los idiomas, la falla del algoritmo de Facebook

Facebook ha promocionado durante mucho tiempo la importancia de sus sistemas de inteligencia artificial (IA), en combinación con la revisión humana, como una forma de abordar el contenido objetable y peligroso en sus plataformas. Argumentando que los sistemas de aprendizaje automático pueden detectar dicho contenido con distintos niveles de precisión.

Sin embargo, los idiomas que se hablan fuera de Estados Unidos, Canadá y Europa han sido un obstáculo para la moderación automatizada de contenido de Facebook, según muestran los documentos proporcionados al Gobierno de los Estados Unidos por Frances Haugen, exgerente de producto de Facebook que dejó la empresa en mayo.

Más del 90% de los usuarios activos mensuales de Facebook se encuentran fuera de los Estados Unidos o Canadá

En los documentos se demuestra que “Facebook carece de sistemas de inteligencia artificial para detectar contenido abusivo en varios idiomas utilizados en su plataforma”.

En 2020, por ejemplo, la compañía no tenía algoritmos de detección conocidos como “clasificadores” para encontrar información errónea en birmano, el idioma de Myanmar, o discursos de odio en los idiomas etíopes oromo o amárico, mostró un documento.

Y en octubre de 2021, según un análisis de Reuters, se encontraron publicaciones en amárico, uno de los idiomas más comunes de Etiopía, que se referían a diferentes grupos étnicos como enemigos y les lanzaban amenazas de muerte, como parte del conflicto de casi un año en el país entre el Gobierno etíope y las fuerzas rebeldes en la región de Tigray, el cual ha matado a miles de personas y desplazado a más de 2 millones.

Estas brechas pueden permitir que las publicaciones abusivas proliferen en los países donde el propio Facebook ha determinado que el riesgo de daño en el mundo real es alto.

Sobre esto, la portavoz de Facebook, Mavis Jones, dijo que la compañía ahora tiene tecnología de detección proactiva para detectar el discurso de odio en oromo y amárico, y ha contratado a más personas con “experiencia en idiomas, países y temas”, incluidas personas que han trabajado en Myanmar y Etiopía.

No obstante, un documento sin fecha, del cual una persona familiarizada con las divulgaciones dijo que era de 2021, muestra que los empleados de Facebook también compartieron ejemplos de “narrativas antimusulmanas que infunden miedo”, incluidas llamadas para expulsar a la gran minoría de la población musulmana, que fueron difundidas a través de la red social en la India.

“Nuestra falta de clasificadores hindi y bengalí significa que gran parte de este contenido nunca se marca ni se procesa”, dice el documento.

Las publicaciones internas y los comentarios de los empleados de este año también señalaron la falta de clasificadores en los idiomas urdu y pashto para filtrar el contenido problemático publicado por los usuarios en Pakistán, Irán y Afganistán.

Al respecto, Facebook también dijo que agregó clasificadores de discurso de odio para hindi en 2018 y bengalí en 2020, y clasificadores de violencia e incitación en hindi y bengalí este año, y que ahora también tiene clasificadores de incitación al odio en urdu, pero no en pastún.

Sin embargo, una revisión de Reuters, realizada en octubre, encontró que los estándares de la comunidad no estaban disponibles en aproximadamente la mitad de los más de 110 idiomas que Facebook admite con funciones como menús e indicaciones.

Facebook dijo que apunta a tener estas reglas disponibles en 59 idiomas para fin de año y en otros 20 idiomas para fines de 2022.

El factor humano

Los documentos también muestran que la revisión humana de las publicaciones de Facebook, la cual es crucial para problemas matizados como el discurso de odio, también tiene lagunas en los idiomas clave.

Otro documento sin fecha expone cómo su operación de moderación de contenido luchó con los dialectos del idioma árabe de múltiples países “en riesgo”, dejándolo constantemente “poniéndose al día”. También reconoció que, incluso entre sus revisores de habla árabe, “Yemení, Libia, Arabia Saudita están desaparecidos o tienen una representación muy baja”.

Ante esto, Facebook admitió que la moderación del contenido en árabe “presenta un enorme conjunto de desafíos”, e indicó que ha realizado inversiones en personal durante los últimos dos años, pero indicó que “todavía tenemos más trabajo por hacer”.

No obstante, tres exempleados de Facebook, que trabajaron para las oficinas de la compañía en Asia Pacífico y Medio Oriente y África del Norte en los últimos cinco años, dijeron a Reuters que creían que la moderación del contenido en sus regiones no había sido una prioridad para la administración de Facebook. 

Estas personas dijeron que el liderazgo no entendía los problemas y no dedicaba suficiente personal y recursos.

¿Qué dice Facebook del contenido abusivo?

La portavoz de Facebook dijo en un comunicado que la compañía tiene hablantes nativos en todo el mundo que revisan contenido en más de 70 idiomas, así como expertos en temas humanitarios y de derechos humanos.

Además aseguró la compañía propiedad de Mark Zuckerberg tiene 15 mil moderadores de contenido que revisan el material de sus usuarios globales. “Estos equipos están trabajando para detener el abuso en la plataforma de Facebook en lugares donde existe un mayor riesgo de conflicto y violencia”, dijo Jones.

De acuerdo con Facebook, en los últimos dos años, ha contratado personas que pueden revisar contenido en amárico, oromo, tigrinya, somalí y birmano, y este año agregó moderadores en 12 nuevos idiomas, incluido el criollo haitiano.

“Agregar más experiencia en idiomas ha sido un enfoque clave para nosotros”, dijo Jones.

Jones también señaló que la compañía de California toma medidas enérgicas contra el contenido abusivo por parte de usuarios fuera de Estados Unidos con la misma intensidad aplicada a nivel nacional.

No obstante, Facebook se negó a decir si requiere un número mínimo de moderadores de contenido para cualquier idioma ofrecido en la plataforma.

Aun así, los documentos internos de Facebook ofrecen instantáneas detalladas de cómo los empleados en los últimos años han hecho sonar las alarmas sobre los problemas con las herramientas de la compañía, tanto humanas como tecnológicas, destinadas a erradicar o bloquear el habla que viola sus propios estándares. 

Países en riesgo

“La compañía designa a países ‘en riesgo’ de posibles daños y violencia en el mundo real derivados de abusos en su sitio, a partir de variables que incluyen disturbios, violencia étnica, el número de usuarios y las leyes vigentes, con el objetivo de dirigir los recursos a lugares donde los abusos en su sitio podrían tener el impacto más severo”, dijeron a Reuters dos exempleados.

Facebook revisa y prioriza estos países cada seis meses de acuerdo con las pautas de las Naciones Unidas destinadas a ayudar a las empresas a prevenir y remediar los abusos de los derechos humanos en sus operaciones comerciales, dijo la portavoz Jones.

No obstante, en 2018, los expertos de las Naciones Unidas que investigaban una campaña brutal de asesinatos y expulsiones contra la minoría musulmana rohingya de Myanmar dijeron que Facebook se usaba ampliamente para difundir discursos de odio hacia ellos. “Esto llevó a la compañía a aumentar su personal en países vulnerables”, dijo un exempleado a Reuters. Facebook ha dicho que debería haber hecho más para evitar que la plataforma se utilice para incitar a la violencia fuera de línea en el país.

Sobre esto, Ashraf Zeitoon, exjefe de política de Facebook para Medio Oriente y África del Norte, dijo que el enfoque de la compañía hacia el crecimiento global ha sido “colonial”, centrado en la monetización sin medidas de seguridad.