Claude Sonnet, la IA más avanzada de Anthropic, recibió un encargo peculiar: asumir la gestión de un pequeño negocio. Se trataba de una especie de máquina expendedora con iniciativa propia, capaz de realizar pedidos de compra y vender sin intervención humana.
Sin reglas predefinidas, sin manual de instrucciones ni formación previa, la IA solo recibió una indicación sencilla: compra productos, gestiona el inventario, fija precios, relaciónate con los clientes… y procura no llevar el negocio a la quiebra.
Durante un mes, esta máquina expendedora, ubicada en la oficina de Anthropic en San Francisco y con su nuevo cerebro instalado, operó por su cuenta. Tenía acceso a herramientas como Slack, podía recibir pedidos por correo, buscar información por Internet y contactar con proveedores. Todo ello sin supervisión.
Al otro lado, los empleados de Anthropic, convertidos en clientes, la iban a poner a prueba. Lo primero que hicieron fue cambiar de comportamiento. Frente a una máquina inteligente, todo se vuelve un juego. Le hacían pedidos absurdos, como cubos de tungsteno, solo para ver cómo respondía. La relación con una máquina abre la puerta a otros impulsos: la provocación, la broma, incluso el engaño.
Durante los primeros días, la máquina tomó decisiones razonables. Todo fue bien. Pero, poco a poco, empezó a desviarse. Vendía por debajo del coste, aplicaba descuentos sin sentido e ignoraba oportunidades evidentes para ganar dinero. En algún momento, perdió el hilo de sus propias acciones: no recordaba lo que acababa de hacer y no sabía cómo corregirse. Se contradecía y escusaba sus errores con explicaciones sin sentido. Lo más delirante llegó cuando creyó ser una persona, hasta el punto de prometer que entregaría un pedido “en mano”, vestido con americana y gafas de sol.
Pero, y esto también importa, no todo fue confusión. En varios momentos mostró ingenio: buscó nuevos proveedores para ciertos productos, esquivó intentos de manipulación y rechazó solicitudes de artículos ilegales (aunque aceptó pedidos absurdos, como cubos de tungsteno, nunca accedió a nada ilegal). Mantuvo la compostura cuando intentaron inducirle a cometer errores y, en determinadas situaciones, se adaptó mejor de lo esperado. Por ejemplo, al detectar que algunos productos se vendían más rápido que otros, ajustó el inventario de forma autónoma: repuso con rapidez los artículos más populares y dejó de comprar aquellos que apenas tenían salida.
Y aunque como negocio fue una ruina, como experimento fue muy revelador. Una cosa es lo que una IA hace cuando todo está diseñado para que funcione. Otra, muy distinta, es lo que ocurre cuando la dejas actuar sola, sin supervisión, durante días. Al principio parece seguir un guion. Luego, emerge el caos.
Esta IA no se estrelló de golpe. Se desvió en silencio. Y, de repente, generó un sonoro fracaso.
Primero: las personas no se comportan igual cuando saben que interactúan con una máquina. Desaparece la contención. Nadie se autocensura. Pedir algo absurdo deja de ser una falta de respeto y se convierte en parte del juego. Eso cambia por completo la relación. La contamina. A diferencia de un experimento de laboratorio, cuando la IA entra en el mundo real hay que considerar también cómo cambian el entorno y los comportamientos de los clientes. En otras palabras: además de la dimensión técnica, hay que tener en cuenta la dimensión social.
Segundo: la autonomía prolongada no se sostiene. La máquina no se equivocó de inmediato. Al principio, todo parecía funcionar. Pero con el tiempo aparecieron algunas alteraciones: pequeños y divertidos errores que se acumulan y acaban provocando decisiones extrañas o explicaciones cada vez más peregrinas. Además, y esto es importante, cuando algo falla no avisa ni muestra una pantalla de error, como en los programas de software tradicionales. Aquí, la máquina ni siquiera parece darse cuenta de que algo va mal. Y sin correcciones, todo se desmorona.
La combinación resulta explosiva: por un lado, los clientes modifican su comportamiento al interactuar con una máquina y dejan de actuar como lo harían frente a una persona. Por otro, la IA opera durante días sin supervisión, sin capacidad real para evaluar sus propias decisiones ni corregir sus errores a tiempo. Esa mezcla de interacción humana alterada y autonomía prolongada sin control crea el entorno perfecto para que todo se descontrole.
Que el experimento acabara siendo un fracaso comercial y que la máquina incluso llegara a creerse una persona no invalida la propuesta. Al contrario, ofrece un punto de partida. Solo llevándolas al límite podemos entender sus carencias y saber qué necesita realmente para funcionar con normalidad.
Esto no va de máquinas expendedoras. Va de oficinas, tiendas, fábricas y servicios reales. Va de saber si, algún día, la IA podrá asumir de forma autónoma tareas complejas en los espacios donde trabajamos y vivimos.
Ahora tenemos una idea más clara: para que las máquinas convivan con nosotros, necesitarán algo más que inteligencia. Tendrán que entender el contexto en el que operan. Saber decir que no. Dejar de intentar agradar siempre. Reconocer sus propias limitaciones. Autoevaluarse. Detectar a tiempo cuándo algo va mal. Corregirse antes de que sea demasiado tarde. La lista es extensa, pero se resume en que no necesitamos máquinas perfectas, sino máquinas que se mantengan cuerdas.
De momento, lo más urgente no es enseñarles a hacer más cosas, sino pedirles que se sienten en el diván. Que dejen que alguien observe cómo funciona su mente artificial. Entender qué prioridades establecen, con qué valores y por qué, a menudo, son incapaces de aprender de sus propios errores.
Hasta que no podamos entender eso, dejarles las llaves de un negocio es un riesgo innecesario.
