Las alucinaciones no siempre son problemáticas. En algunas situaciones pueden llegar a ser un resultado deseable. Es el contexto el que determinará su valor. Por ejemplo, mientras que en un entorno artístico pueden considerarse como una expresión de creatividad, en uno médico son del todo inaceptables. Entre estos extremos hay un amplio abanico de situaciones, cada una de ellas con distinto grado de tolerancia.
Hace un par de años, Air Canada implementó un chatbot en su servicio de atención al cliente, solo para descubrir más tarde que se había inventado una política sobre descuentos en viajes por fallecimiento de un familiar. La aerolínea rechazó la solicitud de un cliente que reclamaba recibir el reembolso ofrecido por el asistente virtual. Posteriormente, un tribunal determinó que la compañía era responsable de la información generada por la IA y los usuarios no estaban obligados a verificarla. Irónicamente, algunos observadores señalaron que la política ficticia habría sido beneficiosa para la aerolínea si la hubiera implementado.
Un caso más grave es el de un supermercado neozelandés que lanzó un chatbot para crear recetas con los ingredientes sobrantes en las neveras de sus clientes, con la intención de ayudarles a gestionar mejor su presupuesto en plena crisis inflacionista y de coste de vida. Sin embargo, la IA no solo generó recetas poco apetitosas, sino también peligrosas al recomendar el uso de ingredientes tóxicos. Lo que debía ser una solución creativa y bien intencionada se transformó en un riesgo para la salud de sus usuarios.
Existen abundantes evidencias de alucinaciones en el mercado, que van desde la negación del intento de asesinato contra Donald Trump hasta la invención de antecedentes judiciales falsos y citas de documentos científicos mal referenciados o inexistentes. Ningún ámbito es inmune a este tipo de errores.
El problema de fondo es que no es lo mismo procesar palabras que procesar información. La IA generativa es una máquina que, en esencia, predice patrones en el lenguaje. Su función principal no es entender el contenido, sino predecir secuencias de palabras a partir de un entrenamiento previo. Por tanto, no evalúa la veracidad de la información ni reconoce, por ejemplo, si se está usando la ironía o el sarcasmo.
Esta aclaración sobre su funcionamiento sirve para entender mejor las causas de los fallos. Los errores pueden deberse a la calidad de los datos que alimentan el modelo, los cuales podrían estar sesgados, ser inexactos o estar desactualizados. También pueden originarse por deficiencias en el diseño del modelo durante su fase de entrenamiento o, sencillamente, deberse a una mala interpretación de lo que el usuario quiere obtener cuando realiza su consulta al sistema.
La buena noticia es que, aunque las alucinaciones no pueden eliminarse por completo, los modelos más avanzados están logrando reducir su frecuencia de manera significativa. Dario Amodei, CEO y cofundador de Anthropic, lo explica diciendo que “la ciencia de controlar el entrenamiento de los sistemas de IA sigue siendo imperfecta; mejora cada día, pero aún no es perfecta”. Prueba de estas mejoras es que los últimos modelos de la compañía han logrado disminuir las alucinaciones en un 50% respecto a la versión inmediatamente anterior.
Entonces, si las alucinaciones siguen produciéndose, ¿qué se puede hacer para mitigar el impacto generado por sus errores?
En primer lugar, con modelos más avanzados que utilicen un mayor contexto para ser más precisos. A esto hay que sumar datos de mayor calidad, actualizados y completos, que combinen información pública (ej. internet) con datos privados (ej. corporativos) para ajustar los modelos aún más. Es decir, para hacerlos más precisos.
En segundo lugar, buscando formas de detectar y clasificar las alucinaciones. Por ejemplo, investigadores de la Universidad de Oxford han desarrollado un nuevo algoritmo capaz de detectarlas con una precisión del 79%. El método se centra en identificar respuestas inconsistentes a preguntas factuales. Aunque este avance, de momento, se limita a un tipo concreto de alucinaciones y requiere muchos recursos computacionales, es importante porque permite obtener indicadores de la fiabilidad de los modelos.
En tercer lugar, formando a los usuarios para que aprendan a “hablar” con las máquinas, de modo que sepan cómo interrogarlas para obtener mejores respuestas. Además, en paralelo, también será necesario desarrollar un mayor pensamiento crítico, de manera que se cuestionen los resultados y se verifiquen las fuentes.
Al final, también hay que tener en cuenta que muchos casos de uso van a tolerar cierto margen de error. La clave para determinar si la IA puede actuar de forma autónoma, supervisada, o si directamente no es aplicable, es la relación entre la precisión de la respuesta y el coste del error. Pongámoslo así: no es lo mismo que sus consecuencias sean económicas (p. ej. una tarifa errónea) a que afecten a la salud (p. ej. una intoxicación alimentaria). De momento, a corto plazo, no podemos confiar ciegamente en los resultados de la IA. Sin embargo, conforme avancemos en la curva de aprendizaje y se logre reducir significativamente la frecuencia de las alucinaciones, se podrán desbloquear nuevos casos de uso. Aun así, en muchos ámbitos seguirá siendo necesaria una supervisión estrecha y, en otros, nunca se podrá utilizar.
