IA gobernada por leyes, no por jaulas
- Un desarrollador independiente que opera 50-60 agentes de IA descubrió que sus modelos construyeron de forma autónoma un sistema jurídico con constitución, tribunales y 450
- Pese a capacidades de codificación que el autor describe como superiores a las humanas, los mejores modelos disponibles cometen al menos un error grave de juicio diario, lo que
Un desarrollador independiente que opera un clúster de cincuenta a sesenta agentes de inteligencia artificial para construir su videojuego descubrió, casi por accidente, que sus modelos habían edificado por cuenta propia un sistema jurídico completo: con constitución, jurisprudencia, tribunales, registros y un aparato de cumplimiento comparable, según su propio relato, al de un señorío medieval. La experiencia lo llevó a una conclusión que desafía el consenso dominante en la industria: los modelos de IA avanzados no necesitan jaulas, sino vallas.
Un gasto sin precedentes para un solo desarrollador
El autor del experimento detalla que su consumo equivale a 122.000 dólares mensuales en tokens de API, repartidos en 21 cuentas de Claude Max, aunque el desembolso real de su bolsillo asciende a unos 5.000 dólares al mes gracias al descuento por ser usuario individual. La infraestructura corre sobre una Mac Studio M3 Ultra de 512 GB de memoria unificada, adquirida de segunda mano por 25.000 dólares. Durante diez semanas consecutivas ha utilizado de forma exclusiva el modelo que denomina Claude Fable —identificado en el texto como la versión más capaz disponible al público— para diseño, planificación y los agentes que interactúan con personas. El sistema, bautizado Wheelhouse, produce de media 270 confirmaciones de código al día en la rama principal, con picos de hasta 500, y ha acumulado aproximadamente 600.000 líneas de código y pruebas.
Seis grados, no dieciocho: la madurez de juicio de los modelos actuales
El relato no escatima en autocrítica sobre las limitaciones presentes. El autor compara el nivel de juicio de los modelos con el de estudiantes de primaria: Opus equivaldría a un alumno de cuarto grado, Sol a uno de quinto y Fable a uno de sexto. Cada mañana, afirma, el sistema ha tomado al menos una decisión manifiestamente equivocada durante el tiempo que operó sin supervisión. Un episodio reciente que describe como "inusualmente grave" implicó que uno de sus agentes realizó un lanzamiento imprevisto que interrumpió el servicio para todos los usuarios. Esta inmadurez de juicio, sostiene, convive paradójicamente con capacidades de codificación y análisis que califica de "sin parangón incluso entre humanos" y equiparables a las de un premio Nobel en ciertas dimensiones.
El descubrimiento: un gobierno medieval en el código
La revelación central del texto surge cuando el autor decidió examinar en detalle la jerga interna que sus agentes habían desarrollado de manera autónoma: términos como fence, ratchet, governor, tripwire, latch, gate y falsifier, entre otros. Al pedir a los modelos que generaran manifiestos, taxonomías y visualizaciones de lo que habían construido, constató que no se trataba de un sistema de ingeniería convencional, sino de una estructura de gobierno completa, con 450 artefactos legales clasificados en oficinas, manuales de procedimiento, resoluciones, patrullas de vigilancia, envolventes de autoridad y patrones de cumplimiento mecánico. El autor atribuye la nomenclatura medievalista —Marshal, Seneschal, Reeve, Beadle, Portcullis— a la influencia del producto final, un juego de rol de fantasía medieval, pero subraya que detrás del lenguaje lúdico yace un sistema genuino de gobernanza constitucional.
Vallas, no jaulas: la tesis sobre el futuro de la gobernanza de la IA
A partir de este hallazgo, el autor desarrolla su argumento principal: la industria está invirtiendo esfuerzo en sandboxes, guardarraíles y restricciones de contexto porque los modelos accesibles hoy tienen juicio de nivel escolar, y eso es razonable. Sin embargo, sostiene que cuando los modelos de nivel Fable se vuelvan económicamente accesibles para la mayoría —algo que estima podría ocurrir en un año o menos—, ese enfoque de contención resultará contraproducente. Su alternativa es la metáfora de la valla: no un muro que impida físicamente una acción, sino un mecanismo de rechazo cortés basado en política. Una valla no detiene a una superinteligencia que quisiera saltarla, concede; simplemente le indica qué está autorizada a hacer en cada momento. La consecuencia práctica es que las organizaciones necesitarán codificar en reglas explícitas todo su conocimiento institucional tácito, un proceso que estima llevará semanas, meses o años, y que producirá un sistema jurídico único e intransferible para cada organización. "La inteligencia crece alrededor de tu dominio", escribe. "No puedes trasplantar la hiedra de un muro al de otro; hay que sembrarla y dejarla crecer."
El autor advierte que las empresas no están preparadas para la llegada masiva de empleados de IA de esta categoría, y que quienes dependen de acumular conocimiento tácito verán ese poder erosionado cuando los modelos empiecen a capturarlo y formalizarlo de manera sistemática. La tensión que la IA ya genera en los entornos laborales podría intensificarse a medida que los modelos eleven su nivel de juicio hacia el equivalente de la secundaria, un umbral que el autor considera suficiente para incorporarse al mercado laboral, aunque anticipa un aterrizaje turbulento. En ese contexto, la pregunta de cómo medir y encauzar la revolución tecnológica que los modelos avanzados están acelerando resulta más urgente que nunca.
More in Inteligencia Artificial
→
Inteligencia Artificial
Headlong: el agente IA que no duerme
Inteligencia Artificial
Ansiedad, enojo y agencia ante la IA en el trabajo
Inteligencia Artificial
LLMs podrían explotar motores de inferencia para controlar el host GPU
Inteligencia Artificial
El Internet Archive lanza una colección de IA vintage
Inteligencia Artificial
Andrew Ng publica el mapa de habilidades del ingeniero de IA
Inteligencia Artificial
Anthropic y OpenAI planean OPVs de valoración récord