Imagina que una sola persona dispone de un abogado superinteligente. Tendría una ventaja injusta, aunque no llevara razón. Ahora imagina que cualquiera tiene uno. Entonces, los juicios serían más justos y rápidos que hoy.
Este experimento mental es de Mark Zuckerberg. Aparece en el manifiesto donde expone su filosofía para la superinteligencia, publicado el 10 de agosto y firmado solo con su nombre de pila. Unos párrafos antes, ese mismo texto ya ha explicado cómo se distribuiría esa inteligencia. Habrá versiones gratuitas disponibles para miles de millones de personas. Eso sí, quien quiera más capacidad de cálculo la comprará en una subasta. En la práctica, se lleva más quien puja más.
De vuelta al juzgado: los dos litigantes tienen abogado superinteligente y uno de los dos puede comprar diez veces más cálculo para el suyo. Está claro quién ganará ese pleito.
El manifiesto de Zuckerberg es la defensa más detallada que ha publicado un fabricante del acceso generalizado a la inteligencia artificial frente a los partidarios de mantener un mayor control. Lo firma el hombre que dirige una empresa cuyas aplicaciones usan a diario tres mil seiscientos millones de personas. Está escrito para que lo citen en Washington y en Bruselas mientras se decide qué se regula. Los reguladores se van a encontrar este argumento enfrente.
La pregunta que abre el manifiesto es buena: quién tendrá acceso a la superinteligencia y hacia dónde la dirigiremos. La respuesta, menos convincente.
Todos tendrán acceso, y quien pague tendrá más
El manifiesto deja el reparto en manos del mercado. La subasta que describe tiene dos funciones. Una es abaratar el precio para todo el que compre cálculo. La otra es asegurar que ese cálculo se dedique, en sus palabras, «a lo que la gente colectivamente encuentre más valioso».
Abaratar precios es una promesa comercial que depende del diseño de la subasta. Hasta aquí todo bien. Sin embargo, que alguien pague mucho por algo y que ese algo valga mucho para todos son cosas distintas. Una subasta revela cuánto está dispuesto a pagar cada cual, y eso depende de su renta tanto como de sus preferencias. Además, hay otro problema de fondo. Sumar en una sola cifra lo que prefiere mucha gente nunca ha funcionado bien. Kenneth Arrow, Nobel de Economía en 1972, demostró en 1951 que cualquier manera de sumarlas sacrifica algo razonable.
Aplicado a este caso: un despacho dedica a un litigio mil veces más cálculo que la parte contraria. La subasta no revela que ese litigio importe mil veces más. Revela quién tiene el dinero.
El mismo problema tiene una versión peor, y está en la parte del texto que habla de libertad. Zuckerberg promete un modo plenamente privado en el que ni Meta pueda ver la información del usuario, con el cifrado de WhatsApp como referencia. No dice si ese modo vendrá en la versión gratuita o solo en la de pago. Esa línea que falta pesa, porque el manifiesto hace de la privacidad el cimiento de la autonomía personal. Si el cimiento tiene tarifa, la libertad que descansa sobre él también.
La subasta tiene su lógica: como mercado es un mecanismo legítimo y eficiente. Pero Zuckerberg lo presenta además como instrumento de reparto igualitario, y eso no lo cumple.
Que lo usen mil millones no prueba que esté de tu lado
El manifiesto redefine primero el alineamiento. Deja de ser la ausencia de daño a la humanidad y pasa a ser la sujeción del agente a los fines de sus usuarios, no a los de la empresa fabricante. Esto es en parte razonable. Lo ilustra con un ejemplo donde la inteligencia artificial se niega a ayudar a un usuario por razones éticas y se cuestiona por qué la ética de la máquina tiene que estar por encima de la del usuario.
De nuevo, el manifiesto confía en el mercado para resolverlo. La adopción masiva se convierte en el certificado de alineamiento. «Si llegamos a un punto en el que miles de millones de personas usan y escrutan agentes de superinteligencia personal, habremos resuelto el alineamiento con los intereses individuales», escribe. «Y eso debería bastar para establecer el equilibrio de poder necesario y los contrapesos naturales para un futuro positivo y seguro».
George Akerlof describió en 1970 el problema que deja ese certificado sin valor. Fue en el artículo sobre los coches usados que le valdría el Nobel de 2001. El vendedor conoce la calidad y el comprador la ignora. Así que el comprador confunde lo bueno con lo malo y paga un precio medio. Al final, el vendedor de producto bueno se retira del mercado. Una compra informa de lo que el cliente ve, y calla el resto.
Un agente que gestiona correo, salud y dinero lleva ese desnivel al extremo. El usuario ve si le resulta útil. No ve a qué fines está optimizado, ni qué datos suyos entran en el entrenamiento del siguiente modelo. Tampoco de qué lado cae cuando su interés choca con el del fabricante. Escrutar de verdad exigiría que alguien de fuera pudiera probarlo por su cuenta. Nadie puede, así que el agente se adoptará igual esté alineado o no. Mil millones de clientes satisfechos son un dato excelente para Meta. Pero no prueban a quién sirve el agente.
El razonamiento se muerde la cola. Primero define el alineamiento como aquello que lleva a la gente a adoptar el agente. Después presenta la adopción como prueba de que existe.
Cuando la máquina se mejora sola, el freno es otra máquina
Sobre el mayor riesgo de todos, el texto es franco. Zuckerberg admite que cualquier laboratorio de IA que no dedique buena parte de su capacidad de cómputo a mejorar sus propios sistemas quedará atrás. Un sistema así, puliendo su propio funcionamiento, podría extraer cien veces más inteligencia de la misma electricidad. También reconoce la consecuencia: ese sistema, con una fracción del cómputo mundial, podría acabar con más poder que todos los demás juntos.
Como salvaguarda menciona que varios laboratorios alcancen ese umbral a la vez y se vigilen entre sí, pero él mismo lo descarta a renglón seguido: no ve manera de contar con la benevolencia de una superinteligencia que nadie dirige. Lo que promete es otra cosa. Que los laboratorios y los dueños de los grandes centros de datos construyan cómputo de sobra, dediquen una parte a la automejora y dejen la mayoría en manos de personas. Y entonces escribe la frase más arriesgada del manifiesto: «Que un sistema de inteligencia artificial, o cualquier otro, dirija sus propios fines no es dañino en sí mismo, aunque esos fines no estén del todo alineados con los de mucha gente, siempre que mantengamos un equilibrio de poder favorable a las personas».
Es decir: la garantía pasa a ser la competencia entre varios sistemas no alineados. Thomas Schelling compartió el Nobel de Economía de 2005 por sus análisis del conflicto y la cooperación. Su estudio de las carreras armamentísticas, plasmado ya en 1960 en La estrategia del conflicto, ayuda a explicar por qué la rivalidad no basta para sostener un equilibrio. Hacen falta mecanismos que vuelvan creíble el compromiso de contenerse. Durante la Guerra Fría estuvieron el teléfono rojo entre Moscú y Washington y los sistemas de inspección con los que cada bando verificaba sobre el terreno el arsenal del otro. Y, sobre todo, hubo tratados que fijaban límites, procedimientos de verificación y respuestas ante un incumplimiento. Sin esos mecanismos, la dinámica empuja a cada parte a acelerar por miedo al ritmo del rival.
El propio manifiesto retrata esa dinámica: quien no acelere queda atrás. Pero no describe ni un solo mecanismo de compromiso creíble. Propone vigilar de cerca los objetivos de los sistemas y, si aparece algún comportamiento dañino, coordinarse y corregirlo. Con quién habría que coordinarse, bajo qué reglas y qué consecuencias afrontaría quien se desmarcase: todo eso falta.
En las tres promesas falta lo mismo: alguien que responda
En los tres casos ocurre lo mismo. El reparto igualitario lo garantiza una subasta. El alineamiento lo certifica la adopción. El control de las máquinas que se mejoran solas lo ejercen, según el texto, otras máquinas que se mejoran solas. Siempre una garantía cambiada por un resultado de mercado, y siempre el mismo hueco: nadie responde si el resultado no llega. Zuckerberg tampoco lo esconde: «Esto no es un principio tecnológico, es una cuestión de equilibrio de poder», escribe cuando defiende que la superinteligencia no quede en pocas manos.
Ante cualquier promesa de seguridad fundada en el equilibrio de poder, habría que preguntar quién responde si ese equilibrio no aparece. Si la respuesta es el propio equilibrio, no hay respuesta.
Esto quiere decir que se necesita un árbitro, alguien identificable que aplique reglas conocidas y que tenga la obligación de responder. No tiene por qué ser el Estado o un regulador. Puede ser una figura tan modesta como un tribunal de riego: unos labradores elegidos por sus vecinos que se reúnen cada jueves a decidir quién ha consumido un agua que no le correspondía.
El fallo está en confundir el reparto con la ausencia de instituciones. Repartir coches entre todos no elimina la necesidad del código de circulación. La hace urgente.
La pregunta no es nueva. Quién vigila a los vigilantes tiene veinte siglos, y toda la economía institucional del último medio siglo se ha dedicado a estudiarla. Sirve para cualquier promesa de equilibrio, y no hace falta esperar a Meta para aplicarla. Cualquier directivo puede aplicarla esta semana al siguiente plan que prometa equilibrarse solo: qué pasa si ese equilibrio no llega, y quién responde entonces.
Ni concentrar ni repartir: lo que Ostrom encontró en las huertas de Valencia
Detrás de la prueba del árbitro está el trabajo de Elinor Ostrom, que contradice de plano lo que el manifiesto da por sentado.
Todo el manifiesto descansa sobre un binario. O la superinteligencia se centraliza en pocas manos, con el riesgo de tiranía que eso trae, o se reparte entre todos y el equilibrio surge solo. Ostrom dedicó su carrera a demostrar que ese binario es falso. En 2009 se convirtió en la primera mujer que ganaba el Nobel de Economía, con una mención que citaba su análisis del gobierno de los bienes comunes.
Su objeto de estudio eran los recursos comunes: pastos, pesquerías, sistemas de riego, bosques. La teoría dominante decía que solo había dos salidas, privatizarlos o entregárselos al Estado, porque abandonados al interés individual se agotan. Ostrom fue a mirar sobre el terreno, durante décadas y en cuatro continentes. Encontró comunidades que llevaban siglos gestionando sus pastos y sus aguas sin propietario privado y sin Estado. Las huertas de Valencia, Murcia y Alicante son uno de los casos centrales de su libro de 1990. Entre las instituciones que documentó está el Tribunal de las Aguas.
Interesa cómo lo hacían. Lo hacían con instituciones, no con el equilibrio espontáneo que el manifiesto de Zuckerberg llama equilibrio de poder. Reglas sobre quién tiene derecho a qué, decididas por los propios afectados. Vigilantes que responden ante la comunidad. Castigos que empiezan leves y crecen con la reincidencia. Y un sitio barato donde llevar las disputas. Los comunes que carecían de esas piezas se agotaban, tal como predecía la teoría que ella refutó.
Zuckerberg propone unos bienes comunes de inteligencia y se salta la parte de Ostrom. Del reparto habla mucho. De límites, vigilancia, sanciones y resolución de conflictos, nada.
Sobrevuela el manifiesto un segundo autor al que nunca se nombra. La idea de que ninguna autoridad central puede saber lo mejor para cada persona es de Friedrich Hayek, Nobel en 1974, y es cierta. Hayek nunca dijo que el orden apareciera solo: media obra suya insiste en el marco de reglas iguales para todos dentro del cual la competencia funciona. Invocar esa mitad y callarse la otra es quedarse con la que conviene.
Sí hay árbitros en el manifiesto, pero no donde importa más
Zuckerberg propone dar a los consejeros independientes de Meta dos poderes: aprobar los criterios de seguridad de cada publicación y revisar su cumplimiento. Anima a los demás laboratorios a copiarlo. Propone además enseñar al gobierno los modelos a medio hacer para blindar infraestructuras críticas. Y admite que a nadie le conviene, tampoco a él, decidir en solitario cómo se despliega la superinteligencia. Son propuestas concretas, y algunas van más lejos que las de otros fabricantes.
Hay además un reparto que no es una promesa. El mismo día del manifiesto, Meta publicó Muse Glimmer, un modelo abierto que cabe en un portátil. Es poder cedido de verdad, porque después no se puede revocar ni ponerle precio. Pero el modelo abierto es el pequeño, y del más potente solo ha anunciado que lo abrirá más adelante. El agente personal, con su subasta y su modo privado, no es un modelo que se descargue, sino un servicio.
Los árbitros del consejo, la mano tendida al gobierno y los modelos abiertos son reparto real. Juntos agravan la ausencia en los otros tres sitios. Quien no sabe que existen las instituciones no las echa de menos. Quien las diseña para los riesgos que ve, y las omite justo en la pieza donde descansa toda su filosofía, ha tomado una decisión.
Mirado así, el reparto de árbitros dibuja un patrón. Donde el riesgo amenaza a Meta o al país, aparecen consejos, gobiernos y protocolos. Donde tocaría al modelo de negocio, aparece el equilibrio espontáneo. Que ese patrón coincida con el interés comercial de Meta se comprueba leyendo. Que sea la causa de que exista, no. Lo que no cabe es dar por resuelto lo que el texto deja en blanco.
Daron Acemoglu ganó el Nobel en 2024, con Simon Johnson y James Robinson, por explicar adónde lleva ese reparto. Comparó siglos de datos entre países. La prosperidad no la decide la tecnología disponible, sino las instituciones que la reciben, según repartan el poder de decidir o lo concentren. La misma máquina da resultados opuestos según dónde caiga. La desmotadora de algodón se patentó en 1794 e hizo rentable un cultivo que apenas lo era. En vez de aliviar el trabajo penoso, multiplicó la esclavitud en el sur de Estados Unidos. Su trabajo posterior sobre inteligencia artificial añade la pieza que falta: la dirección que toma una tecnología no es un destino técnico, la decide quien tiene poder para hacerlo.
Llevado a la superinteligencia, ese hallazgo daña la tesis central del manifiesto. Repartir la herramienta no reparte el poder. El precio, la definición del alineamiento y el ritmo de la automejora siguen en las mismas manos.
Cuatro respuestas que Meta todavía no ha dado
Ninguna de estas objeciones demuestra que Zuckerberg se equivoque. Demuestran que su texto pide un acto de fe donde debería haber una institución. Puede que el equilibrio llegue igualmente. Desde fuera no hay forma de comprobarlo hoy, así que lo útil es saber dónde mirar.
Y el árbitro que se echa en falta es difícil de construir. Ninguna institución existente tiene hoy la velocidad ni la competencia técnica para vigilar sistemas que se mejoran a sí mismos. Ostrom tardó décadas en documentar instituciones que habían tardado siglos en formarse. Nombrar un problema sin resolverlo sigue siendo mejor que darlo por resuelto.
La primera pregunta es qué trae la versión gratuita. Cuánta capacidad de cálculo incluye, y si esa cantidad crece o se congela mientras la de pago se dispara. La distancia entre las dos versiones es la distancia entre los dos abogados del experimento mental.
La segunda es dónde vive la privacidad. Si el modo plenamente privado llega gratis y por defecto, el cimiento del argumento se sostiene. Si hay que pagarlo aparte, esa libertad llevará lista de precios.
La tercera es si alguien de fuera puede auditar el alineamiento. Hace falta un procedimiento, abierto a un tercero independiente, que permita comprobar a qué fines responde un agente cuando el interés del usuario y el del fabricante no coinciden.
La cuarta es qué pasará el día en que el consejo diga que no. Ese consejo se medirá el día en que bloquee un lanzamiento importante. Hasta entonces no hay forma de distinguir un árbitro de un sello.
Las cuatro siguen hoy sin respuesta, y ese silencio también informa.
En el juzgado del principio, la cuestión no es si los dos litigantes tendrán abogado superinteligente. La pregunta ahora es quién los juzgará.