No cabe duda de que el boom tecnológico de los últimos años, muy especialmente con la llegada del ChatGPT y otras herramientas basadas en inteligencia artificial, ha traído al centro de todas las conversaciones la fascinación que nos genera la IA, así como los temores que nos produce.
Personalmente, casi vivo con cierto cansancio estos debates, el temor a los sesgos de género, el temor a que las máquinas lleguen a sustituirnos, a que cualquier tipo de decisión que pueda afectar a nuestras vidas sea determinada por algún tipo de algoritmo deshumanizado que sólo tenga en cuenta experiencias o datos del pasado. Corrijo, no vivo con hastío el debate, lo considero fundamental, lo que me perturba es que permanentemente debatimos sobre los resultados de la IA y no sobre su propósito. Ya sabemos que la tecnología no es neutra y que los sesgos algorítmicos emergen porque los sistemas aprenden de datos históricos que ya contienen inequidades. Y, sin embargo, no somos capaces de ir un paso atrás, de enfocarnos en la necesidad urgente que tenemos como sociedad de poner el propósito en primer lugar y no la tecnología. Y más complicado aún, tratar de que ese propósito contribuya hacia el bien común y concebir una IA que nos dirija hacia allí. ¿Cómo es posible que seamos capaces de llegar a la Luna pero no de acabar con el hambre en el mundo?
En todo caso, esto no es nuevo. En la historia del pensamiento occidental, desde los griegos hasta la actualidad, se ha debatido incansablemente sobre cuál debería ser ese bien común y qué debería guiar el comportamiento humano. La diferencia radica ahora en que la expansión de tecnologías basadas en datos e inteligencia artificial ha abierto oportunidades extraordinarias para mejorar la vida de millones de personas, de alcanzar ese bien común de una forma mucho más rápida. O bien de reproducir y amplificar desigualdades estructurales que afectan especialmente a las comunidades más vulnerables con la misma velocidad.
Y por no entrar en discusiones ideológicas sobre cuál es ese bien común, podríamos ceñirnos, por el momento, a un marco reconocido internacionalmente como fundamental y necesario para el desarrollo integral de las personas y de las comunidades: la Declaración Universal de los Derechos Humanos que fue proclamada por las Naciones Unidas en París en 1948 como un ideal común para todos los pueblos y naciones.
En este sentido, la ONU, a través de la Oficina del Alto Comisionado para los Derechos Humanos, ha subrayado ya en repetidas ocasiones que los sistemas de IA se están alejando en muchos casos de estos estándares internacionales y que es fundamental su alineaciónpuesto que “[…] el uso indiscriminado de tecnologías basadas en IA puede socavar derechos fundamentales” (UN OHCHR, 2021). Lo que, en realidad, ya sabemos. En contextos donde ya existen desigualdades estructurales, la introducción de herramientas digitales puede profundizar brechas preexistentes, desde las decisiones basadas en sesgos algorítmicos hasta la inaccesibilidad y brecha digital. Discriminación e inequidad en su propia configuración, y no sólo en su uso. Los sesgos algorítmicos no afectan a todas las personas por igual y, por tanto, la relación entre ética, tecnología y derechos humanos adquiere una dimensión especialmente crítica en territorios donde la pobreza, el racismo estructural y la marginación institucional no son accidentes, sino el resultado de siglos de exclusión.
Bien es cierto que la mayoría de las instituciones y empresas tecnológicas han adoptado declaraciones éticas, normalmente centradas en principios como justicia, transparencia, responsabilidad o, por supuesto, privacidad y seguridad del dato. Sin embargo, si bien estos marcos son útiles, resultan insuficientes si no incorporan de forma consciente y desde su entrenamiento la perspectiva de los derechos humanos. Esto implica que cualquier tecnología debe evaluarse de acuerdo a principios como dignidad humana, no discriminación, igualdad, transparencia, participación o protección frente al daño y, además, asegurar que la tecnología no refuerce inequidades estructurales.
Aquí una fotografía, si busco apoyo en el ChatGPT para afinar el porcentaje de población indígena maya mam de Guatemala, dice: “Según los datos disponibles, la proporción exacta de la población que pertenece al pueblo Mam en Guatemala no aparece de forma explícita en los informes de población. Sin embargo:
- Se estima que la población maya (todos los pueblos mayas en conjunto) representa alrededor del 41.7 % de la población nacional. Wikipedia+3Wikipedia+3Wikipedia+3
- Un documento señala que, del total de hablantes de la lengua Mam, serían aproximadamente 4.4 % de la población nacional en 2018. Wikipedia+1
- Otro artículo especializado indica una cifra […] de 3.4 % de la población SoyMigrante.com
Por tanto, se puede afirmar que el pueblo Mam representa aproximadamente entre 3-5 % de la población total de Guatemala, aunque no hay un dato oficial preciso que lo confirme con exactitud”
Estos datos representan, no sólo la inadecuada representación en los datos de, en este caso, el pueblo Maya Mam en Guatemala, no sólo en términos de población sino de la representación de su lengua y cultura.
Probad ahora a buscar información sobre cualquier pueblo de nuestro país. Los fallos significativos en comunidades indígenas rurales son constantes ya sea por falta de información actualizada, registros incompletos o datos sesgados. Como consecuencia, miles de familias indígenas quedan permanentemente excluidas de cualquier consideración, pese a vivir en condiciones de extrema vulnerabilidad.
Por tanto, incorporar el enfoque de derechos humanos de forma consciente en la ética tecnológica es una condición urgente e indispensable para proteger los derechos humanos en sociedades atravesadas por desigualdades de género, raciales, socioeconómicas y territoriales.
Transversalizar este enfoque en el desarrollo, pilotaje y escalabilidad de las tecnologías no es baladí y no existe una receta mágica pero quizá sí pueda compartir algunos aprendizajes que hemos generado desde SIC4Change. Si queremos avanzar hacia un ecosistema tecnológico centrado en las personas y sus derechos, en la tecnología y los procesos relacionados se deben garantizar, además de la legislación específica ya existente, al menos tres elementos:
1) Participación:
La inclusión de comunidades afectadas (o colectivos), especialmente aquellas históricamente marginadas, es fundamental para entrenar la IA, así como para identificar sesgos posteriores, corregirlos y mitigar daños. Una IA solo puede ser inclusiva si ha sido entrenada con datos que representan la complejidad social.
Esto implica incluir datos de estos grupos y, dado que son grupos históricamente marginados, probablemente habrá que generar esos datos en primer lugar. Aquí es donde es necesario asegurar una participación efectiva en todo el ciclo del desarrollo, creando mecanismos para adaptar y mejorar una IA garantizando una retroalimentación real desde la ideación, el desarrollo, la implementación y la evaluación del sistema. Ahora bien, la inclusión no va de “grupos aislados”: etnia, género, edad, discapacidad, clase social, migración, etc. sino de comprender cómo estas condiciones interseccionan normalmente para generar una vulnerabilidad aún mayor.
2) Comprensión del contexto
Es fundamental que cualquier solución tecnológica parta de una comprensión profunda de las causas del problema que busca abordar, no sólo de los síntomas que provoca. Sólo una vez que se comprende el origen es cuando se puede abordar el problema desde sus causas estructurales y desarrollar una tecnología con propósito que transforme los sistemas.
3) Transparencia
No basta con publicar códigos, es importante poder explicar cómo se toman las decisiones y quién asume responsabilidades. La responsabilidad debe recaer tanto en los equipos técnicos como en las instituciones que toman decisiones basadas en tecnologías automatizadas.
En conclusión, si los algoritmos aprenden de datos históricos, y esos datos están atravesados por discriminación y pobreza, el resultado es predecible: la inequidad se codifica. Por tanto, si queremos avanzar hacia una tecnología verdaderamente ética, necesitamos fomentar una participación activa y efectiva de las personas y los colectivos más vulnerables, comprender el contexto y las causas que originan las desigualdades y garantizar la transparencia de las decisiones.
*Blanca Pérez Lozano, es fundadora de SIC4Change una organización que aborda retos sociales desde la innovación social y tecnológica y las alianzas. Está presente en España, Guatemala, Perú y Mauritania trabajando, principalmente, en salud materno infantil y lucha contra la desnutrición, seguridad alimentaria e inclusión social.