Moderación algorítmica y creatividad maligna. La censura y el odio transforman el lenguaje en la red

La investigadora y escritora estadounidense Nina Jankowicz saltó a la primera página del debate político de su país al ser elegida por la administración Biden para encabezar la recién formada Junta de Gobernanza de la Desinformación del Departamento de Seguridad Nacional. La iniciativa duraría apenas un mes, el tiempo que tardó en convertirse en una patata caliente al señalarla la derecha como una institución para la censura política e ideológica y atacar a Jankowicz por haber denunciado en 2020 que el caso del portátil del hijo de Biden era probablemente propaganda rusa.

Al hilo de la noticia Jankowicz me interesé por su trabajo de investigación y así llegué al siguiente informe, del que es coautora: Creatividad maligna: Cómo el género, el sexo y las mentiras se convierten en armas contra las mujeres en Internet. En él, además de estudiar y subrayar los ataques que sufren diferentes colectivos, analiza los métodos que utilizados para esquivar la moderación de contenidos en redes, plataformas y foros de Internet.

Son a lo que las autoras (además de Jankowicz, lo firman Jillian Hunchak, Alexandra Pavliuc, Celia Davies, Shannon Pierson y Zoë Kaufmann) se refieren como “creatividad maligna”. Se trataría del “uso de lenguaje codificado, memes visuales basados ​​en el contexto o textuales y otras tácticas para evitar la detección en las plataformas de redes sociales”. 

Cada plataforma se arma con un sistema algorítmico que detecta una serie de palabras prohibidas. Para imponer la norma se plantean diferentes tipos de castigo: borrado del contenido, cese de los ingresos publicitarios por la pieza en los sitios que los ofrecen (el famoso “desmonetizar” de Youtube), limitación en el alcance del contenido o de la cuenta entera (el shadow banning) y hasta baneo definitivo, algo en lo que suelen ser tenidos en cuenta la gravedad del término y la reincidencia.

Estos listados de palabras prohibidas suelen permanecer ocultos, lo que desemboca en rumores, invenciones, secretos a voces y teorías conspirativas. Ante esto, los participantes en las redes y los creadores de las plataformas tienen dos vías. Una es adoptar un lenguaje más blanco, libre de cualquier expresión que pueda ser polémica para hacerse merecedores de la clemencia del algoritmo y autocensurarse cualquier palabra que circule como no agradable para el algoritmo. La otra es ofuscar, disfrazar con otras palabras y memes lo que se quiere decir y mantener el objetivo inicial, sea simple expresividad natural o ataque a algún colectivo o individuo

Esta creatividad, que muchas veces no es maligna sino simple oposición a ser moderados por una maquinaria todopoderosa y oscurantista, tiene diferentes niveles de sofisticación. Cambiar una letra por un símbolo u otra letra, véase “pel*tudo” por “pelotudo” o el caso de “pvta” por “puta” supone un primer intento. Para añadir un grado más de dificultad tenemos el cambio de varias, “nepes” por “penes”, o el uso de acrónimos, “HDLGP”. Para una mayor dificultad de detección se usan referencias veladas más o menos complicadas como “a los que no les gusta el jamón” para referirse a musulmanes o “la palabra n / la palabra m” para hablar de forma peroyativa de alguien negro u homosexual

A todo este fenómeno se refería Tylor Lorenz cuando hablaba de “AlgoSpeak” en el Washington Post, partiendo de la detección de la tendencia de la usuaria badidea y del término acuñado por la persona bajo el alias de Just Loki. Me pareció ilustrativo del camino de ida y vuelta de la creatividad en el lenguaje para burlar a los algoritmos un ejemplo de su pieza. Explica Lorenz cómo los usuarios angloparlantes de TikTok ahora usan la frase “le dollar bean” en lugar de «lesbiana» porque es la forma en que la función de texto a voz de TikTok pronuncia “Le$bian”, una forma censurada de escribir “lesbiana” que los usuarios creen que evadirá la moderación de contenido.

Hay casos chanantes, como el de sustituir “vibrador” por “berenjena picante”. No es que TikTok o YouTube vayan a borrarte la cuenta por usar vibrador, pero sí que es posible (y aquí hay cierto espacio para leyendas urbanas digitales) que se encuentre en el listado de palabras que reducen el alcance. Las plataformas quieren evitar ser percibidas como muy sexuales, algo que no gusta demasiado a la mayoría de los anunciantes.

Pero también tenemos un reverso, digamos, “orwelliano”. En lugar de suicidio, en el Internet anglosajón hay quien utiliza la expresión “becoming unalive”. Los grupos de tendencias más extremas y minoritarias tienen una tendencia reforzada hacia un léxico que ofusca sus intenciones. Suicidas y personas con desórdenes alimentarios hace mucho que crearon sus jergas al margen. Conforme son conocidas y se prohíben, desarrollan otras nuevas.

¿Qué se puede hacer para que no se tenga que llegar a estas prácticas de camuflaje? Por aquí hemos dejado escrito que la mayoría de usuarios no va a encontrar disfrutable una plataforma de máximos de libertad de expresión, sin moderación. Partiendo de que cada sitio en Internet puede establecer una serie de reglas para participar en él (aunque aquí rompo una lanza, por la centralidad que tienen algunos en la vida pública de nuestras sociedades, deberíamos crear un marco que imponga una cierta libertad de expresión y una neutralidad en aspectos clave), cabría esperar de ellos una transparencia que no practican. No sabemos qué moderan exactamente ni qué castigos conlleva cada penalización.

Aceptemos que, con millones de mensajes al día, estas plataformas están abocadas a un ligero sistema automático combinado con intervención humana sólo reactiva. Ahora bien, en los tiempos de un nuevo tsunami de inteligencia artificial cabría esperar mecanismos más sofisticados para la moderación que separaran lo literal de la intención. Al igual que la inteligencia contraterrorista busca más patrones en los sospechosos que detección de expresiones como “bombas” o “atentado”, es probable que veamos avance en este sentido. El peor escenario es posible: unos algoritmos censores todavía más oscuros con falsos positivos con los que mensajes inocentes se llevan por delante históricas presencias en Internet.

Decía la filóloga Lola Pons Rodríguez en Biblioteca Pública que el lenguaje juvenil es efímero, nace y muere con cada generación. Hasta hace poco era más fácil saber cómo se hablaba en el siglo XIX que cómo era el lenguaje juvenil de hace unos años. En eso las redes sociales están sirviendo como corpus y deberían facilitar la labor a filólogos e historiadores. A quienes tengan que desentrañar el enorme lío de memes, expresiones crípticas y palabras adulteradas para evitar el castigo de los algoritmos no les auguro tarea fácil.