¿Quién toma decisiones para la IA está marcando la línea divisoria de 40 billones de dólares

Título original: ¿Quién firma? La paradoja de Anthropic y la elección de $40

Autor original: Ashwin Gopinath
Traducido por: Peggy, BlockBeats

Autor original del contenido: BlockBeats

Fuente original:

Reproducción: Mars Finance

Nota del editor: El futuro de los agentes de IA no depende de un salto en la capacidad de los modelos, sino de una variable de diseño más fundamental: ¿quién asume la responsabilidad?

El autor sostiene que lo que llaman “potenciar a los humanos” y “sustituir a los humanos” no son dos caminos tecnológicos diferentes, sino dos resultados de un mismo sistema bajo distintas decisiones de diseño — cuando las decisiones aún requieren firma humana y la responsabilidad puede rastrearse hasta una persona concreta, la IA funciona como amplificador; cuando se elimina ese paso (como aprobaciones automáticas o saltarse permisos), el sistema se desliza naturalmente hacia la sustitución.

El artículo además señala que el valor real de los agentes de IA no es “hacer el trabajo”, sino comprimir un mundo complejo en una “unidad de decisión firmable”, permitiendo que los humanos puedan entender y asumir las consecuencias. Pero en la práctica, la “fatiga de permisos” lleva a los usuarios a abandonar gradualmente la revisión, pasando de aprobar cada caso a aceptar por defecto, y finalmente permitiendo que el sistema pase por alto la intervención humana. Esto es un mecanismo cognitivo, no un problema individual.

Por ello, el artículo propone dos restricciones clave: primero, que cada decisión importante debe corresponder a una persona concreta y rechazarla si así lo desea; segundo, que quien se beneficie de la autonomía del agente debe ser responsable de los problemas que surjan.

Una vez que la responsabilidad vuelve a los creadores, la lógica predeterminada del sistema cambia. En ese marco, la narrativa comercial de la IA también se reescribe. En lugar de un mercado dominado por “pocos gigantes que sustituyen la mitad de los empleos”, será un mercado de herramientas distribuidas que “potencian la productividad humana”, cuyo tamaño está anclado en aproximadamente 40 billones de dólares en ingresos globales por trabajo del conocimiento, en lugar del gasto en software empresarial.

Finalmente, el artículo reduce la cuestión a una elección simple pero aguda: ¿la IA está para servir a las personas o para tener un fin en sí misma? Y esa respuesta, silenciosamente, la deciden cada detalle del diseño del producto.

A continuación, el texto original:

TL;DR

· “Futuro potenciado” y “futuro sustituido” usan el mismo modelo, las mismas herramientas. La verdadera diferencia radica en una decisión de diseño sobre “quién asume las consecuencias finales”.

· La verdadera función del agente no es completar tareas por otros, sino comprimir el mundo complejo en una “unidad de decisión mínima y fiel”, que una persona pueda firmar y responsabilizarse. Mientras esta compresión sea correcta, todo lo demás se desarrolla en consecuencia.

· Y esa “persona” debe ser un individuo claramente identificable. La responsabilidad difusa o generalizada se desmorona rápidamente bajo carga, por lo que cada acción con consecuencias reales debe poder rastrearse hasta alguien con poder de rechazo real.

· La “fatiga de permisos” puede hacer que los sistemas de agentes se deslicen espontáneamente hacia la “sustitución humana”. Por eso, el “futuro potenciado” no es algo que ocurra por defecto, sino que debe diseñarse conscientemente para contrarrestar esa tendencia.

· Si construyes un agente y te beneficias de su autonomía, también debes asumir la responsabilidad si esa autonomía causa problemas. Cuando los costos recaen en los creadores, la conducta predeterminada del sistema cambia.

· En un mercado formado bajo la premisa de que “el humano aún debe responsabilizarse”, su tamaño probablemente sea una magnitud mayor que la narrativa actual de “agentes verticales que sustituyen la mitad de los empleos”, porque su anclaje no es en el presupuesto de software empresarial, sino en la masa salarial de la fuerza laboral altamente cualificada.

Claude Code ofrece un parámetro llamado --dangerously-skip-permissions. Su nombre es honesto; su función, como indica, es exactamente lo que sugiere. Un agente que opere con ese parámetro no será más capaz que uno sin él; lo que cambia es que una línea que antes requería intervención humana ahora se pasa por alto.

Este parámetro en sí mismo es una confesión. Reconoce que, con capacidades iguales, el mismo sistema puede funcionar en modo “potenciar humanos” o en modo “sustituir silenciosamente”. El modo sustitución no requiere modelos diferentes; solo elimina el paso de “acuerdo”.

Este es el argumento comprimido. En los sistemas de agentes más avanzados que se están lanzando, la diferencia entre “potenciar” y “sustituir eficazmente” proviene en gran medida de eliminar la aprobación, no de inventar una nueva categoría de capacidad. En los próximos diez años, será más una cuestión de “un mundo humano potenciado” o “un mundo donde agentes autónomos actúan en nuestro nombre”, y esto dependerá menos de la capacidad del modelo y más de si quienes construyen estos sistemas consideran a “el humano en el ciclo” como núcleo del sistema o solo como un freno.

¿La IA potencia a las personas o las elude?

En cada problema técnico, hay una cuestión no técnica que pocos se atreven a plantear abiertamente: ¿la IA busca potenciar a los humanos o en realidad su fin es la IA misma?

Estas respuestas implican futuros radicalmente diferentes. La postura de “potenciar” sostiene que el valor reside en los humanos, y que el trabajo del agente es hacer que esa persona vaya más lejos, tome mejores decisiones. La postura de “la IA como fin” cree que la inteligencia en sí misma es el valor, y que los humanos son solo un medio ineficiente para ese fin. La mayoría de los productos de agentes codifican silenciosamente una de estas posturas, y sorprendentemente, pocos fundadores han sido preguntados directamente a qué grupo pertenecen.

El diseño de capacidades y los mecanismos de consentimiento aún evolucionan. Este artículo se centra en el “consentimiento”, porque es una variable que los constructores pueden controlar hoy, y porque, tras la reducción de costos en capacidades, lo que mantiene su valor económico son atributos que no se pueden separar del ser humano: juicio, gusto, relaciones, responsabilidad y voluntad de firmar y asumir las consecuencias de una decisión. Entre estos, la “responsabilidad” (liability) es la más concreta y la única que cuenta con infraestructura legal de siglos de existencia.

La responsabilidad, la línea divisoria entre potenciar y sustituir

La distinción estructural entre “futuro potenciado” y “futuro sustituido” puede expresarse así: toda acción de un agente con consecuencias reales debe poder rastrearse mediante una cadena registrada hasta una persona concreta — alguien que vio el contexto relevante y tuvo la oportunidad de decir “no”.

La responsabilidad generalizada se deshace rápidamente ante esta prueba. “La empresa es responsable” no cubre nada concreto. “El usuario aceptó” no implica que haya aceptado algo específico. “Alguien revisó el proceso” permite que esa persona revise algo muy distinto a lo que finalmente se publica. Lo que realmente se necesita es una persona concreta, con nombre, que vea la decisión en frente, tenga la opción de rechazar y elija no hacerlo.

Esto suena a burocracia, hasta que notas que la “responsabilidad” tiene características que otros enfoques no poseen. La mejora de capacidades no puede eliminarla; un modelo más inteligente no afectará quién será demandado, multado o encarcelado. Obliga a que la interfaz exponga un “punto de rechazo”. Se extiende naturalmente con el riesgo. Y es una restricción poderosa en todos los ámbitos, con infraestructura ya establecida: tribunales, seguros, comités profesionales, reguladores. Los sistemas de permisos, la responsabilidad fiduciaria y la regulación sectorial también operan, pero asumen que la “responsabilidad” ya está resuelta.

En cambio, las soluciones de IA en el nivel de sustitución no pueden pasar esta prueba. La “alineación” no es verificable; ni siquiera podemos acordar qué significa. La “explicabilidad” puede cumplirse formalmente, pero no en esencia. La idea de “el humano en el ciclo” ha sido vaciada de contenido, quedando solo “alguien en algún lugar”. La razón por la que la responsabilidad tiene peso es porque su infraestructura de soporte existe desde hace siglos, antes incluso de la tecnología.

La fatiga de permisos, empujando hacia la “sustitución”

Esta gradiente empuja al sistema hacia la “sustitución”, y la fuerza que la impulsa es fuerte. Cada confirmación de permiso consume atención. Los agentes suelen tener razón. Desde una decisión, la expectativa de “sin leer, aceptar” suele ser positiva. Así, un usuario racional aprende a hacer clic en aceptar más rápido, aceptar en masa, activar permisos automáticos para ciertos tipos de acciones, y luego extenderlo a más categorías, hasta que en una sesión activa esa opción peligrosa, y olvida que existe.

En la segunda semana usando Claude Code, ya activé esa opción, y en la tercera, ni siquiera lo notaba. Todos los desarrolladores que conozco que usan Cursor o Devin desde hace tiempo han tenido experiencias similares. Este patrón también aparece en ventanas de cookies, EULAs, advertencias TLS, permisos en teléfonos. Decisiones repetidas de bajo riesgo acaban convergiendo en “Aceptar sin condiciones”. Es una característica cognitiva, no un problema moral.

El “futuro potenciado” no ocurre automáticamente. Un sistema de agentes sin un diseño cuidadoso tenderá a deslizarse hacia la sustitución, porque los usuarios, en su búsqueda de conveniencia, optarán por esa vía una y otra vez. Otro futuro requiere diseñarlo en contra de esa tendencia.

El valor del agente no es ejecutar, sino firmar

El valor real del agente no es hacer el trabajo en sí, sino comprimirlo en una forma firmable.

Un modelo avanzado puede fácilmente generar un commit de 4000 líneas, redactar un contrato de 30 páginas, crear un registro clínico, o ejecutar una transacción. Pero el impacto real de estos productos no está en generarlos, sino en que los humanos puedan asumir las consecuencias de su implementación. Un commit que nadie entiende, una firma en un contrato que nadie leyó, o un registro clínico sin respaldo real de un médico, en la mayoría de los sistemas regulados, ni siquiera son considerados registros válidos.

En el marco de “potenciar”, el agente realiza todo, menos firmar: lee miles de páginas, escribe miles de líneas de código, calcula varias opciones razonables, y las comprime en una expresión mínima y fiel, que una persona pueda firmar con su nombre y responsabilidad.

Se puede pensar en el agente como un portavoz. El presidente firma, y el portavoz prepara todo antes de la firma.

Este es un problema más difícil que “hacer que el sistema funcione autónomamente”. La capacidad de generar contenido avanza rápidamente, pero la de “comprimir decisiones con fidelidad” va muy rezagada. En un mercado “potenciado”, ganarán quienes puedan ofrecer resúmenes de decisiones cortos y fieles en escenarios de alta responsabilidad.

El problema aún no resuelto en esta frase es la “fidelidad”. Solo un resumen comprensible para humanos tiene valor si no distorsiona la información en su compresión. Verificar esto programáticamente es la verdadera dificultad técnica del “futuro potenciado”, y hoy la mayoría aún no ha comenzado a enfrentarlo.

Algunas soluciones básicas están surgiendo:

• Pruebas de reiteración para verificar que la comprensión humana coincide con el contenido original
• Incluir opiniones minoritarias o disidentes en los resúmenes
• Pruebas contrafactuales (“¿qué pasaría si rechaza esa opción?”)
• Verificación de reproducibilidad (¿otro agente puede generar el mismo resumen en el mismo contexto?)

Estas aún están lejos de resolverse. Quien las resuelva primero, construirá una barrera que no será fácilmente erosionada por la mejora de los modelos.

Establecer niveles de responsabilidad en el comportamiento de la IA

Si la “responsabilidad” cumple una función estructural, cada acción del agente debería tener un “nivel de responsabilidad” asociado, que determine el mínimo mecanismo de firma requerido.

Aún no existe un sistema estándar ampliamente aceptado, pero probablemente debería existir.

Una postura de aprobación acorde con las consecuencias es la única vía real para gestionar la fatiga de permisos. En niveles de alto riesgo, se deben incluir mecanismos de participación más restrictivos (como pruebas de reiteración, tiempos de enfriamiento, segunda revisión), porque en estos escenarios, el fallo no es que el agente sugiera mal, sino que el humano aprueba sin pensar.

¿Te importa?

Todas estas cuestiones apuntan a una pregunta fundamental para los fundadores: ¿te importa que los humanos sigan siendo parte de ese futuro? Muchas decisiones de diseño de productos de agentes actualmente son en realidad “votos silenciosos” sobre esa cuestión, aunque quienes votan no quieran admitirlo.

Si te importa, las restricciones de diseño no son ambiguas: debes construir un sistema de niveles de responsabilidad; hacer que “rechazar” sea una función prioritaria; que la calidad del resumen entregado al humano sea la métrica, no la autonomía en tareas sin supervisión; y que cada acción con consecuencias reales quede registrada en un log inmutable, vinculada a una persona concreta.

Estas tareas técnicas son factibles y reales. La verdadera dificultad radica en si estás dispuesto a hacerlo, porque el camino “potenciado” no es tan espectacular en demostraciones ni tan económico en modelos de pago por uso, como otra vía más radical.

La paradoja de Anthropic: la mayor énfasis en seguridad, la mayor facilidad para eludirla

Anthropic es un ejemplo clásico de cómo puede ocurrir un “sesgo endógeno”. No por negligencia, sino porque expresa con mayor claridad los aspectos de seguridad, la brecha entre “marco” y “superficie del producto” es más evidente. Su “Responsible Scaling Policy” y su trabajo en “Constitutional AI” principalmente regulan el comportamiento del modelo en la fase de entrenamiento; pero los agentes construidos sobre estos modelos, con su configuración predeterminada de autonomía, pertenecen a otro esquema estratégico, y ese “interruptor peligroso” que puede activarse con un clic, está siempre allí.

Este patrón está en la mayoría de los agentes programables, solo que en el caso de Anthropic es más visible. Es lo que llamamos la “paradoja de Anthropic”: la empresa que más claramente escribe marcos de seguridad, también ofrece el camino más corto para pasar de “potenciar” a “sustituir”, y la razón por la que podemos verlo, es porque su marco es lo suficientemente claro.

Con justicia, en marzo lanzaron un “modo automático” como vía intermedia entre aprobación manual y el interruptor peligroso. En ese modo, cada acción se somete a revisión por un clasificador Sonnet 4.6. En su comunicado, reconocen el problema — lo llaman “fatiga de aprobación” — y muestran datos: en modo manual, el 93% de las indicaciones son aceptadas. Esto es una cuantificación de la “fatiga de permisos” que el análisis de este artículo también respalda.

Pero en cuanto a la solución, mi opinión es diferente. El “modo automático” reemplaza la aprobación humana por la del modelo, lo que significa que esa “pendiente hacia la sustitución” no se detiene, solo se traslada un nivel más arriba. El clasificador puede detener comportamientos peligrosos, pero no hay una persona concreta que asuma la responsabilidad por los que se aprueban. Anthropic reconoce que el “modo automático” no elimina riesgos y recomienda ejecutarlo en entornos aislados — en otras palabras, la “responsabilidad” sigue sin estar clara.

Una objeción obvia sería: si la responsabilidad final recae en la persona, ¿no es eso exactamente el modo manual? Y ese modo manual es precisamente el que se desgasta por fatiga. La razón por la que “responsabilizar al creador” puede escapar de esa pendiente, es porque cambia quién asume el costo del “exceso de aprobación”. En la estructura actual, el usuario paga el costo de leer cuidadosamente, y el creador no asume nada, por lo que la configuración predeterminada tiende a reducir fricciones y externalizar riesgos. Si transfieres ese costo al creador, el cálculo cambia: ellos tendrán un incentivo económico directo para diseñar sistemas de responsabilidad, pruebas de reiteración y mecanismos de aprobación que hagan más barato firmar decisiones de bajo riesgo y más caro firmar las de alto riesgo. La pendiente no desaparece, solo cambia de dirección. Hasta ahora, ninguna de las principales instituciones ha implementado esto en la práctica, incluso las que parecen más conscientes del problema.

Si construyes un agente, debes asumir responsabilidad

Si un agente tiene como objetivo explícito sustituir a humanos en tareas que antes realizaban, la empresa que lo construye y opera debe asumir la misma responsabilidad que un humano. Esto no es una idea radical; ya se aplica en todos los sectores donde las acciones en el mundo real generan responsabilidad: Toyota por frenos, Boeing por sistemas de vuelo, Pfizer por medicamentos, ingenieros civiles por puentes, médicos por recetas. Esa responsabilidad casi está en todos los sistemas jurídicos.

Pero actualmente, la IA goza de una especie de “exención implícita”. Los proveedores dicen que solo ofrecen herramientas; las empresas que usan los modelos dicen que solo los envuelven superficialmente; los usuarios, desde el principio, renuncian a toda responsabilidad mediante cláusulas de arbitraje. Cuando hay fallos en cadena (como el caso del chatbot de Air Canada, la eliminación de bases de datos en Replit, o la pérdida de 440 millones de dólares en 45 minutos en Knight Capital en 2012), la que termina asumiendo las pérdidas suele ser la parte más débil y menos capaz de soportarlas — el usuario. Esa distribución de responsabilidades no se mantiene en un accidente grave con dinero y documentos reales.

La solución es simple en su enunciado: quien construye un agente y se beneficia de su autonomía, debe asumir las consecuencias si se descontrola. Cuando la responsabilidad recae realmente en el creador, los mecanismos de permisos dejan de ser “fricción” y pasan a ser “seguro”. Ese interruptor peligroso se renombra, y la configuración predeterminada cambia.

¿Estar dispuesto a responsabilizarse por tu sistema? Esa es la clave para distinguir una industria real de una “industria extractiva”.

El papel de la regulación como “mecanismo de guía”

El mercado por sí solo no tenderá naturalmente hacia un “futuro potenciado”. La verdadera dirección la marcan los reguladores y las aseguradoras, y en general, esto no es algo negativo.

Europa probablemente será la primera en establecer un marco regulatorio. La UE tiene antecedentes claros (como GDPR, la Ley de IA, DMA), y sus reglas suelen convertirse en estándar global, porque mantener un producto solo para mercados fuera de la UE suele ser más costoso que cumplir con sus normas. Un requisito como “todas las acciones con consecuencias reales deben ser confirmadas por una persona con nombre y capacidad de rechazo” se asemeja más a las pruebas de choque de autos que a un freno a la innovación tecnológica.

El impulso más directo viene del sector asegurador. Para las pólizas de responsabilidad por errores y omisiones (E&O), responsabilidad de directivos (D&O) y seguros cibernéticos, deben responder a la pregunta: ¿cómo se determina la responsabilidad cuando un agente actúa con autorización del usuario y causa daños? La vía más sencilla para que exista una estructura de indemnización es que en la cadena haya una persona identificada. Sin esa estructura, el costo del seguro será naturalmente más alto, reflejando mayor riesgo. Para quienes quieren definir sus propias reglas en lugar de que las impongan reguladores o aseguradoras, el tiempo apremia.

La lógica del mercado oculta la realidad

La narrativa dominante actual sostiene que los agentes en áreas verticales absorberán aproximadamente la mitad de los empleos en esas industrias, y que el valor se concentrará en unas pocas empresas de agentes verticalmente integrados — un “Anthropic” en leyes, uno en salud, uno en contabilidad. En el último año y medio, casi toda la inversión en IA de miles de millones se ha basado en esa hipótesis. Es una versión de la “lógica de sustitución” disfrazada de negocio, pero su análisis de mercado es erróneo, y esa equivocación afecta directamente la asignación de capital.

El marco “potenciado” implica otra forma de mercado. Si cada acción con consecuencias reales debe recaer en una persona identificada, entonces el valor no será en “agentes autónomos”, sino en “capacidad humana amplificada”. Un médico que puede manejar el triple de casos con mayor precisión, un abogado que cubre diez veces más transacciones, un ingeniero, un asegurador, un analista, un cirujano, un profesor, un prestamista, un periodista, un farmacéutico: todos ellos son potenciales compradores.

Este mercado es más grande porque no depende de concentración, sino de distribución a escala. La valoración adecuada no es el gasto en software empresarial, sino la masa salarial de la fuerza laboral amplificada. El gasto global en TI empresarial ronda los 4 billones de dólares anuales (datos de Gartner); pero la masa salarial de los trabajadores calificados, certificados y especializados, es aproximadamente diez veces mayor, unos 40 billones de dólares (estimado con datos de la OIT, excluyendo baja cualificación). Las empresas de IA no capturarán toda esa masa, pero sí una parte de la productividad adicional. Incluso con una fracción de ese mercado, basta para igualar el tamaño del mercado actual de software empresarial, y eso es solo el límite inferior. La verdadera dimensión del mercado dependerá de una decisión clave de diseño: ¿quién asume la responsabilidad?

El ganador final será más una herramienta que un sustituto, y su precio se basará en “la capacidad humana amplificada”, no en “el puesto sustituido”; se integrará en los flujos de trabajo existentes, no los reemplazará; habrá miles de ellas, no solo unas pocas. La forma final de ese mercado será más parecida a SaaS que a infraestructura en la nube. Todavía estamos en las etapas iniciales de despliegue, y en una escala de diez años, la penetración visible en los gráficos será solo unos píxeles en el extremo izquierdo. La forma de esos píxeles dependerá de las decisiones de diseño en los productos actuales.

La elección: ¿responsabilizar a las personas o hacerlas desaparecer?

Mantener a los humanos responsables obligará a que la arquitectura del sistema gire en torno a “potenciar humanos”; eliminar esa responsabilidad, hará que el sistema tienda naturalmente a “sustituir”, aunque todos los involucrados, si se les pregunta claramente, probablemente preferirían no esa opción.

El problema real no es si algunas tareas deben automatizarse por completo — ya se acepta que operaciones de solo lectura, por ejemplo, pueden automatizarse — sino cómo se moverá esa frontera a medida que el riesgo aumente, y quién decidirá ese movimiento. En los sistemas más avanzados, la transición de “potenciar” a “sustituir eficazmente” puede lograrse con un simple parámetro o configuración predeterminada. La tarea clave es que ese interruptor siempre se vea como “una opción peligrosa”, y no como una conveniencia que se vuelve la opción predeterminada con el tiempo.

Si los constructores hacen esa labor, avanzaremos hacia un “futuro potenciado” de forma relativamente estable; si no, los reguladores y aseguradoras lo harán por nosotros, y el resultado será similar.

¿Te importa?
Esa es una decisión de diseño. Y esa decisión determinará qué estamos construyendo. Hoy, cada fundador que lanza un producto de agentes debe responder públicamente a una pregunta que quizás no quiere afrontar: ¿estás construyendo para potenciar o para sustituir?