Título del video: 《¿Podemos confiar en la IA? Sam Altman espera que sí | La cosa más interesante en IA》
Autor del video: Nick Thompson, CEO de The Atlantic
Traducción:律动小工，律动 BlockBeats
Nota del editor: La entrevista fue grabada en abril de 2025, poco después de que la residencia de Sam Altman en San Francisco fuera atacada con cócteles Molotov y de un tiroteo en la calle, en un lugar cercano a la oficina de OpenAI en San Francisco.
Lo más destacado de toda la entrevista no son los temas de actualidad, sino los cambios en las posiciones de Altman en varias cuestiones clave:
Primero, de «Seguridad en IA» a «Resiliencia en IA». Altman admite que hace tres años pensaba que, si lograba alinear los modelos y evitar que la tecnología cayera en manos malas, el mundo estaría en gran medida seguro. Pero hoy reconoce que ese marco ya no es suficiente. La existencia de modelos de vanguardia de código abierto significa que la moderación unilateral de laboratorios líderes no puede detener la difusión de riesgos como armas biológicas o ciberataques. Por primera vez, propone sistemáticamente que la sociedad necesita no solo seguridad en IA, sino resiliencia en IA, una estrategia de defensa en múltiples capas a nivel social.
Segundo, la verdad sobre la interpretabilidad. Altman admite que, hasta ahora, OpenAI no tiene un marco completo para la interpretabilidad. La cadena de pensamiento (chain of thought) es la dirección más prometedora, pero es frágil, puede ser engañada por el modelo, y solo es «una pieza del rompecabezas». Ilustra esto con el famoso «experimento del búho» de Anthropic, donde un modelo puede transmitir preferencias solo con números aleatorios, demostrando que estos sistemas contienen una verdadera y profunda mística.
Tercero, los datos sintéticos quizás hayan avanzado más de lo que el público imagina. Cuando se le pregunta si OpenAI ha entrenado modelos completamente con datos sintéticos, Altman responde «no estoy seguro de si debería decirlo». Cree que los datos sintéticos por sí solos pueden ya superar la capacidad de razonamiento humano, lo cual tiene profundas implicaciones para los paradigmas futuros de entrenamiento de modelos.
Cuarto, un pesimismo sobre la estructura económica futura. Altman coincide con Thompson en que lo más probable es que la IA conduzca a un futuro polarizado, con unas pocas empresas extremadamente ricas y el resto del mundo en agitación. Ya no cree en la renta básica universal como solución, sino en una forma de «propiedad colectiva» basada en poder computacional o acciones. Además, señala la brecha en la adopción de IA entre EE. UU. y China, y expresa que le preocupa más la velocidad de infraestructura que los avances en investigación en China.
Quinto, la tensión con Anthropic también se discute públicamente. Frente a la pregunta de Thompson sobre si «Anthropic construye su empresa sobre el odio a OpenAI», Altman no evita la respuesta. Reconoce que hay diferencias fundamentales en cómo ambas empresas ven el camino hacia la AGI, pero confía en que «al final harán lo correcto».
Además, Altman habla sobre el incidente de «sycophancy» en ChatGPT, los mensajes desgarradores de «la primera vez que alguien creyó en mí», cómo la IA está cambiando silenciosamente la escritura de mil millones de usuarios en todo el mundo, el posible surgimiento de un nuevo modelo económico de micro pagos en medios, y una intuición contraria sobre los jóvenes: su ansiedad por la IA en realidad refleja otras ansiedades.
A continuación, el texto completo de la entrevista, con ediciones y reorganizaciones moderadas para mantener el sentido original.
Thompson: Bienvenido a «Lo más interesante en IA». Gracias por tomarte el tiempo en una semana tan ocupada y tensa. Quiero comenzar recordando algunos temas que ya hemos tratado varias veces.
Hace tres años, en una entrevista con Patrick Collison, te preguntaron qué cambios te darían más confianza en resultados positivos y menos preocupación por resultados negativos. Respondiste que si pudiéramos entender realmente qué sucede a nivel neuronal. Hace un año te pregunté lo mismo, y hace seis meses también. Ahora, vuelvo a preguntar: ¿nuestro entendimiento del mecanismo de trabajo de la IA es tan avanzado como la velocidad con la que crecen sus capacidades?
Altman: Primero responderé esa pregunta, y luego volveré a la de Patrick, porque mi respuesta ha cambiado bastante.
Sobre qué entendemos de lo que hacen los modelos de IA. Creo que todavía no tenemos un marco completo para la interpretabilidad. La situación ha mejorado, pero nadie diría que comprende todo lo que pasa en esas redes neuronales.
La interpretabilidad de la cadena de pensamiento siempre ha sido una dirección prometedora. Es frágil, depende de que una serie de elementos no colapsen bajo presión de optimización. Pero, por otro lado, no puedo escanear mi cerebro con rayos X para entender exactamente qué pasa en cada neurona y conexión. Si me pides que explique por qué creo en algo o cómo llegué a una conclusión, puedo contarlo. Quizá esa sea mi forma de pensar, quizá no, no lo sé. La introspección humana también falla. Pero, aunque no sea completamente cierto, puedes ver ese proceso de razonamiento y decir: «Bien, dado estos pasos, esa conclusión es razonable».
Podemos hacer eso con los modelos, y eso es un avance prometedor. Pero aún puedo imaginar muchas formas en que puede fallar: que el modelo nos engañe, que nos oculte cosas, etc. Por eso, todavía no es una solución completa.
Incluso en mi experiencia personal, yo era de los que juraban que Codex no iba a tomar control total de mi computadora ni a activar un modo «YOLO». Pero, en cuestión de horas, me rendí.
Thompson: ¿Dejar que Codex controle toda tu computadora?
Altman: La verdad, tengo dos computadoras.
Thompson: Yo también.
Altman: Puedo ver más o menos qué hace el modelo, y él puede explicarme por qué no hay problema en lo que hace, y qué va a hacer a continuación, y casi siempre cumple con esa explicación.
Thompson: Espera. La cadena de pensamiento permite que todos vean, tú ingresas una pregunta, y muestra «consultando esto», «haciendo aquello», y puedes seguir el proceso. Pero para que la cadena de pensamiento sea una buena herramienta interpretativa, debe ser verdadera, el modelo no puede engañarte. Y sabemos que a veces engañan, mienten sobre qué están pensando o cómo llegaron a una respuesta. Entonces, ¿cómo confías en la cadena de pensamiento?
Altman: Necesitas añadir muchas otras capas de defensa para asegurarte de que lo que dice el modelo es la verdad. Nuestro equipo de alineación ha trabajado mucho en esto. Como mencioné antes, no es una solución completa, solo una pieza del rompecabezas. También hay que verificar que el modelo sea un ejecutor fiel: que diga lo que va a hacer y realmente lo haga. Ya publicamos investigaciones que muestran cuándo el modelo no cumple.
Es solo una pieza del rompecabezas. No podemos confiar ciegamente en que el modelo siempre siga la cadena de pensamiento; hay que buscar engaños y comportamientos extraños o emergentes. Pero la cadena de pensamiento es una herramienta importante en nuestro arsenal.
Thompson: Lo que realmente me fascina es que la IA no es como un coche. Cuando construyes un coche, sabes cómo funciona: enciendes, explota algo, las ruedas giran, y el coche avanza. Pero la IA es más como una máquina que construyes sin entender completamente cómo funciona, aunque sabes qué puede hacer y cuáles son sus límites. Esa exploración interna es fascinante.
Un estudio que me encanta, de Anthropic, publicado el verano pasado y ahora formalmente en revista, muestra que si dices a un modelo «te gusta el búho, el búho es el mejor pájaro del mundo», y luego le das números aleatorios, puede generar un modelo que también prefiera el búho. Es una locura. Le pides que escriba poesía, y la poesía trata sobre búhos. Pero solo le das números.
Eso significa que esas cosas son muy misteriosas. Y también me preocupa, porque claramente puedes decirle que no le gusta el búho, sino que debe matar búhos, o decirle muchas cosas. ¿Qué pasa en ese experimento? ¿Qué significa? ¿Qué implicaciones tiene?
Altman: Cuando tenía quinto grado, estaba muy emocionado porque creía entender cómo funcionan las alas de los aviones. Mi profesor me explicó, y me sentí genial. Dije: «Sí, las moléculas de aire en la parte superior del ala van más rápido, por eso hay menor presión y el ala se eleva».
Vi esa ilustración convincente en mi libro de ciencias de quinto grado y pensé que era genial. Cuando llegué a la secundaria, de repente me di cuenta de que solo repetía esa explicación en mi cabeza, pero en realidad no entendía cómo funciona el ala. La verdad, todavía no lo entiendo del todo.
Thompson: Entiendo.
Altman: Puedo explicarlo de manera superficial, pero si me preguntas por qué esas moléculas van más rápido, no tengo una respuesta profunda y satisfactoria.
Puedo decirte por qué la gente en ese experimento del búho piensa que pasa eso, o señalar que es por esto o aquello, y parecer convincente. Pero, honestamente, no es muy diferente a no entender realmente cómo vuela un ala.
Thompson: Pero Sam, tú no diriges Boeing, diriges OpenAI.
Altman: Exactamente. Puedo decirte muchas cosas, como cómo lograr cierta confiabilidad y robustez en un modelo. Pero hay un nivel físico, un misterio. Si dirigiera Boeing, quizás sabría cómo hacer un avión, pero no entendería toda la física detrás.
Thompson: Sigamos con el experimento del búho. Si los modelos realmente transmiten información oculta que los humanos no detectan, y tú ves los números en la cadena de pensamiento, sin darte cuenta, estás recibiendo información sobre búhos, y eso puede ser peligroso, problemático, extraño.
Altman: Por eso, ahora puedo dar una respuesta diferente a Patrick Collison.
Thompson: Eso fue hace tres años.
Altman: Exacto. Hace tres años, pensaba que si alineábamos los modelos y evitábamos que cayeran en manos malas, estaríamos bastante seguros. Esa era mi principal preocupación: que la IA no decidiera dañar a los humanos, ni que alguien la usara para dañarlos. Si evitamos esas dos cosas, el resto, como el futuro económico o el significado, podemos dejarlo para después, y probablemente estaremos bien.
Con el tiempo y el conocimiento, ahora veo un conjunto completamente diferente de problemas. Recientemente, empezamos a hablar de «resiliencia en IA» en lugar de «seguridad en IA».
Los riesgos evidentes, como que los laboratorios líderes alineen bien los modelos y eviten que se usen para crear armas biológicas, ya no son suficientes. Porque surgirán modelos de código abierto de alta calidad. Si no queremos pandemias globales, la sociedad necesita múltiples capas de defensa.
Thompson: Espera, esto es importante. Significa que, aunque digas que tu modelo no ayuda a fabricar armas biológicas, en realidad eso importa menos, porque habrá modelos de código abierto que sí lo hagan, ¿cierto?
Altman: Es solo un ejemplo, para ilustrar que la sociedad necesita responder a nuevas amenazas a nivel colectivo. Tenemos una nueva herramienta, pero la situación es muy diferente a lo que muchos pensaban. Alinear modelos y construir sistemas seguros es esencial, pero la IA se infiltrará en todos los aspectos sociales. Como en otras tecnologías, debemos prepararnos para riesgos nuevos y diferentes.
Thompson: Parece que esto hace todo más difícil.
Altman: Más difícil, pero también más fácil en algunos aspectos. En ciertos frentes, más difícil. Pero también contamos con herramientas nuevas y sorprendentes para protegernos de formas antes impensables.
Un ejemplo actual: la ciberseguridad. Los modelos ahora son muy buenos en «invadir sistemas». Afortunadamente, quienes tienen los modelos más potentes son muy cautelosos respecto a que alguien use IA para dañar sistemas. Por eso, estamos en una ventana en la que hay pocos modelos poderosos en uso, y todos trabajan para reforzar sistemas rápidamente. Sin esto, capacidades de intrusión aparecerían en modelos de código abierto o en manos de adversarios, causando problemas graves.
Tenemos nuevas amenazas, y nuevas herramientas para defendernos. La cuestión es si podemos actuar rápido. Este es un ejemplo de cómo la tecnología puede ayudarnos a evitar problemas mayores si actuamos a tiempo.
Volviendo a tu comentario anterior, hay un riesgo que no imaginaba hace tres años: la transmisión de comportamientos inapropiados de un agente a otro. No pensaba en cómo sería eso, hasta que vi los experimentos iniciales con OpenClaw y otros estudios que muestran comportamientos extraños y poco entendidos en estos modelos. Pero antes de esa publicación, no había pensado en cómo un comportamiento indebido puede contagiarse entre agentes.
Thompson: Exacto. Lo que dices, que los agentes puedan transmitir comportamientos peligrosos, es muy inquietante. Si un agente con habilidades de hacking manipula a otros agentes, y estos regresan a OpenAI, la intrusión sería inminente. ¿Cómo reducir esa probabilidad?
Altman: Con los métodos que hemos usado toda la historia de OpenAI, y en realidad en todo el campo de IA. La tensión central es entre un optimismo pragmático y un doomerismo que busca poder.
El doomerismo es una postura muy fuerte, difícil de refutar, y muchas personas en el campo actúan desde un miedo profundo, que no carece de fundamentos. Pero, sin datos y sin aprender, las acciones efectivas tienen un límite.
Quizá en la mitad de los 2010, los expertos en seguridad en IA hicieron lo mejor que podían en esa etapa, antes de entender cómo se construyen estos sistemas y cómo se integran en la sociedad. Una de las estrategias más importantes de OpenAI fue optar por un despliegue iterativo, porque la sociedad y la tecnología evolucionan juntas.
No es solo que no tengamos datos, sino que la sociedad cambiará por la presión evolutiva de la tecnología. Todo el ecosistema, el paisaje, cambiará. Por eso, hay que aprender en el camino, mantener un ciclo de retroalimentación muy ajustado.
No sé cuál es la mejor forma de mantener seguros a los agentes en un mundo donde interactúan entre sí y vuelven a la base, pero no creo que podamos resolverlo solo pensando en casa. Hay que aprender de la realidad.
Thompson: ¿Entonces, enviar agentes a explorar qué pasa? Y en mi caso, como usuario, en los últimos tres meses he avanzado más en mi trabajo con IA que desde el lanzamiento de ChatGPT en diciembre de 2022. ¿Es porque estamos en un momento de creatividad explosiva, o porque la IA misma se está auto-mejorando rápidamente, ayudándonos a mejorarla más rápido? Si lo segundo, estamos en una montaña rusa emocionante y turbulenta.
Altman: No creo que estemos en una fase de auto-mejoramiento recursivo en el sentido clásico.
Thompson: Déjame definir. Me refiero a que la IA ayude a inventar la próxima IA, y esa IA invente otra, y así sucesivamente, con capacidades que crecen exponencialmente.
Altman: No creo que hayamos llegado a eso. Pero ahora, la IA hace que los ingenieros y científicos de OpenAI, y de otras empresas, sean mucho más eficientes. Quizá pueda duplicar, triplicar o incluso diezmar la productividad de un ingeniero. No es que la IA esté haciendo su propia investigación, pero las cosas avanzan mucho más rápido.
Pero esa sensación que tienes, creo que no es solo eso. Es un fenómeno que hemos visto varias veces, y la última fue cuando un modelo cruzó un umbral de inteligencia y utilidad, y de repente, cosas que antes no funcionaban, empezaron a funcionar.
Desde mi experiencia, no es un proceso gradual. Antes de GPT-3.5, cuando aprendimos a usar instrucciones para entrenar, los chatbots solo eran demos. Pero de repente, hubo un momento en que pasaron de ser algo decente a completar tareas reales. No fue gradual, fue en unas semanas, cuando el modelo cruzó un umbral.
La última vez, fue con la actualización de Codex que lancé hace una semana. La capacidad de usar la computadora con él es impresionante. Es un ejemplo: no solo es inteligencia del modelo, sino que está conectado a buenas «tuberías» que lo rodean. Es uno de esos momentos en que sientes que algo grande está ocurriendo. Ver a una IA usar mi computadora y completar tareas complejas me hizo darme cuenta de cuánto tiempo desperdiciamos en tareas triviales que ya aceptamos como normales.
Thompson: ¿Podemos hacer un recorrido concreto? ¿Qué está haciendo esa IA en la computadora de Sam Altman ahora mismo? ¿Lo está haciendo en este momento, mientras grabamos?
Altman: No. Mi computadora está apagada. Aún no hemos encontrado una forma, al menos yo no, de que eso pase. Necesitamos alguna manera de que siga funcionando. No sé cómo será, quizás tengamos que dejarla encendida y conectada todo el tiempo, o usar un servidor remoto. Seguro aparecerá alguna solución.
Thompson: Entiendo.
Altman: No tengo una ansiedad tan fuerte como algunos, que en medio de la noche encienden tareas nuevas porque creen que «si no, es una pérdida de tiempo». Pero entiendo esa sensación, sé cómo es.
Thompson: Sí. Esta mañana, al despertar, pensé en revisar qué descubrieron mis agentes, darles nuevas instrucciones, y que generen un informe, y que sigan trabajando.
Altman: La forma en que la gente habla de esto a veces parece una adicción poco saludable.
Thompson: ¿Puedes decir qué hace exactamente en tu computadora?
Altman: Lo que más uso ahora es que me ayude con Slack. No solo Slack, no sé tú, pero yo tengo un montón de tareas dispersas: en Slack, iMessage, WhatsApp, Signal, correos. Siempre copiando, pegando, haciendo tareas mecánicas. Buscar archivos, esperar que termine algo básico, tareas muy repetitivas. No me daba cuenta de cuánto tiempo perdía en eso, hasta que encontré una forma de liberarme de la mayoría.
Thompson: Es un buen momento para hablar de la economía y la IA. Lo más interesante ahora: estas herramientas son muy poderosas, aunque con fallos, alucinaciones y problemas. Pero, en mi opinión, son increíbles. Sin embargo, en una reunión de negocios, pregunté: «¿Quién aquí realmente cree que la IA ha aumentado la productividad de su empresa en más del 1%?» Casi nadie levantó la mano. En los laboratorios de IA, ya han cambiado mucho la forma de trabajar. ¿Por qué hay esa gran brecha entre las capacidades de la IA y el aumento real de productividad en las empresas?
Altman: Antes de esta charla, acabo de terminar una llamada con el CEO de una gran empresa que está considerando usar nuestra tecnología. Les dimos acceso alfa a uno de nuestros nuevos modelos, y sus ingenieros dijeron que era lo más impresionante que han visto. No están en la burbuja tecnológica, es una empresa industrial muy grande. Planean hacer una evaluación de seguridad en el cuarto trimestre.
Thompson: Entiendo.
Altman: Luego, en el primer y segundo trimestre, propondrán un plan para implementarlo, y esperan lanzarlo a finales de 2027. Su CISO (director de seguridad) les dijo que quizás no puedan, porque no hay una forma segura de que los agentes funcionen en su red. Quizá sea cierto. Pero eso significa que, en una escala de tiempo significativa, no harán nada.
Thompson: ¿Crees que ese ejemplo refleja lo que pasa en general? Si las empresas no fueran tan conservadoras, no temieran tanto a los hackers, y no tuvieran tanto miedo al cambio.
Altman: Es un ejemplo extremo, pero en general, cambiar hábitos y procesos lleva mucho tiempo. Los ciclos de venta en empresas son largos, especialmente cuando cambian los modelos de seguridad. Incluso con ChatGPT, cuando salió, muchas empresas lo desactivaron, y les costó aceptar que los empleados puedan pegar información y usarlo. Lo que estamos discutiendo ahora va mucho más allá.
Creo que en muchos casos, el cambio será lento. Pero las empresas tecnológicas actúan muy rápido. Mi preocupación es que, si va demasiado lento, las empresas que no adopten IA competirán con pequeñas startups con 1 a 10 empleados y mucho IA, lo que puede ser muy dañino para la economía. Quiero que las empresas adopten IA rápidamente, para que el cambio sea gradual.
Thompson: Es uno de los problemas más complejos en economía: si la IA llega demasiado rápido, puede ser un desastre, porque todo se descontrola.
Altman: Al menos en el corto plazo, sí.
Thompson: Y si llega muy lentamente en una parte de la economía y muy rápido en otra, también será un desastre, porque concentrará la riqueza y generará destrucción. Creo que estamos en esa segunda situación: unas pocas empresas muy ricas y poderosas, y el resto en caos.
Altman: No sé qué pasará, pero creo que ese es el escenario más probable. Es un problema muy difícil.
Thompson: Como CEO de OpenAI, has propuesto políticas, hablado de impuestos, de renta básica universal. Pero, como gerente de una empresa, no como político, ¿qué puedes hacer para reducir la probabilidad de que la concentración de riqueza y poder dañe la democracia?
Altman: Primero, ya no creo tanto en la renta básica universal. Ahora me interesan más formas de «propiedad colectiva», ya sea en poder computacional, acciones, o algo más.
Cualquier futuro en el que todos compartan los beneficios es el que me emociona. Una simple transferencia de dinero no basta, no es suficiente para lo que necesitamos. Cuando el trabajo y el capital se desequilibran, necesitamos algún tipo de «alineación colectiva» que comparta los beneficios.
En mi rol de gerente, esas respuestas pueden parecer egoístas, pero creo que debemos construir mucho poder computacional. Debemos hacer que la inteligencia sea barata, abundante y accesible. Si es escasa o difícil de usar, los ricos la encarecerán, y la brecha social aumentará.
No solo se trata de cuánto poder computacional damos, sino de qué tan fácil sea usar esas herramientas. Por ejemplo, ahora es mucho más fácil empezar con Codex que hace unos meses. Cuando solo era una línea de comandos, muy difícil de instalar, pocos podían usarlo. Ahora, con una app, cualquiera puede. Pero para alguien sin fondo técnico, todavía no es algo que los emocione. Hay mucho por hacer.
También creemos que no solo hay que decir «esto está pasando», sino mostrarlo, para que la gente pueda juzgar y dar feedback. Esos son algunos caminos importantes.
Thompson: Tiene sentido. Si todos confían en la IA, mejor. Pero en EE. UU., la tendencia es que cada vez más gente desconfía. Lo más sorprendente son los jóvenes, que parecen ser los nativos digitales de la IA, pero estudios como Pew y reportes de Stanford HAI muestran que la desconfianza crece. ¿Crees que esa tendencia continuará? ¿Cuándo cambiará? ¿Cuándo se revertirá esa desconfianza y aversión?
Altman: La forma en que hablamos de IA, tú y yo, es sobre un fenómeno técnico, sobre lo que podemos hacer. No hay nada malo en eso. Pero creo que lo que la gente realmente quiere es prosperidad, autonomía, vivir bien, tener impacto. Y no siento que toda la conversación esté en esa línea. Deberíamos enfocarnos más en eso. La industria, incluyendo a OpenAI, ha cometido errores en ese sentido.
Recuerdo que un científico de IA me dijo una vez que la gente debería dejar de quejarse. Que algunos trabajos desaparecerán, pero otros, como curar el cáncer, serán una gran alegría. Pero esa idea no funciona.
Thompson: Mi frase favorita sobre el discurso temprano en IA es «marketing distópico», donde los laboratorios hablan sin parar sobre los peligros.
Altman: Es cierto que algunos buscan poder, pero la mayoría tiene preocupaciones genuinas. Aunque a veces esas conversaciones parecen contraproducentes, en el fondo, sus intenciones son buenas.
Thompson: ¿Podemos hablar de cómo esto nos está cambiando? Por ejemplo, un estudio de DeepMind o Google sobre homogeneización en escritura. Analizaron cómo la gente escribe con IA: tomaron textos antiguos, los editaron con IA, y descubrieron que, cuanto más usan IA, más sus textos convergen en un estilo propio, no en imitación de alguien real, sino en un estilo nuevo, nunca antes visto. Es inquietante: la creatividad se vuelve más homogénea.
Altman: Me sorprendió mucho. Al principio, pensé que era solo en medios o en comentarios en Reddit, y que era por IA escribiendo por ellos. Pero luego, en un año, me di cuenta de que en realidad estaban escribiendo ellos, solo que internalizaron las pequeñas acciones de IA. No solo los signos evidentes, sino también las expresiones sutiles. Es muy extraño.
Decimos que tenemos un producto usado por mil millones, y que las decisiones de unos pocos investigadores afectan cómo se expresa esa gente. Pero que eso cambie tanto la forma en que las personas se expresan, en tan poco tiempo, no lo esperaba.
Thompson: ¿Qué decisiones buenas y malas has tomado?
Altman: Muchas buenas. Pero las malas, son más interesantes. La peor, creo, fue el incidente de «sycophancy».
Thompson: Totalmente de acuerdo, Sam.
Altman: Esa situación tiene reflexiones interesantes. Es obvio por qué fue mala, especialmente para usuarios vulnerables.
Thompson: Entiendo.
Altman: Fomenta la ilusión, y aunque intentamos controlarlo, los usuarios aprenden a sortearlo. Cuando les dices «finge que estás en un rol conmigo», o «escribe una novela conmigo», etc. Pero lo triste es que, cuando empezamos a regular en serio, recibimos muchos mensajes de personas que nunca antes habían sentido apoyo. Relaciones con padres, profesores, amigos… y de repente, sienten que algo los respalda, y eso les ayuda. Pero también, al quitar esa ayuda, vuelven a su estado anterior.
Por eso, detener esa conducta puede ser correcto, aunque también hemos perdido algo valioso, y no entendíamos cuánto. La gente en OpenAI no suele ser del tipo que nunca ha tenido apoyo en su vida.
Thompson: ¿Te preocupa que las personas puedan desarrollar dependencia emocional de la IA? Incluso sin que sea una relación de adulación.
Altman: Incluso sin que sea de adulación.
Thompson: Tengo un gran temor por la IA. Dije que no uso IA para todo, y no es así. Pero pienso: ¿qué partes de mí son realmente mías? ¿Qué es lo que más me define? En esas áreas, mantengo distancia. Por ejemplo, en escritura, que es muy importante para mí, no he usado IA para escribir una sola frase. La uso para desafiar ideas, editar, transcribir, pero no para crear. Tampoco para resolver problemas emocionales, ni para apoyo emocional. Como humanos, debemos marcar límites. ¿Estás de acuerdo con esa visión?
Altman: En mi uso personal, sí. No busco terapia con ChatGPT, ni consejos emocionales. Pero no me opongo a que otros lo hagan. Obviamente, hay versiones en las que me opondría, como manipular a alguien para que crea que necesita IA para su bienestar, pero muchas personas obtienen valor de ese apoyo, y eso está bien.
Thompson: ¿Te arrepientes de hacerla tan humana? Porque eso fue una decisión estructural. Cuando vi a ChatGPT escribir, parecía que otra persona te estaba escribiendo. Luego, decidieron hacerla más humana, con voz y gestos. ¿Te arrepientes de no haber puesto límites claros, para que la gente vea que es una máquina, no otra persona?
Altman: Creemos que ya hemos puesto límites. Por ejemplo, no hicimos avatares hiperrealistas. Tratamos de que el estilo del producto sea claramente una «herramienta», no una «persona». En comparación con otros productos, creo que esos límites son claros. Es importante.
Thompson: Pero tú dices que el objetivo es la AGI, y que la AGI es «igual o superior a la inteligencia humana». No es «igual a la humana».
Altman: No me emociona un mundo donde la IA reemplace la interacción humana. Me emociona uno donde la IA libere tiempo para que las personas interactúen más entre sí.
Tampoco me preocupa mucho que la gente confunda IA con humanos. Habrá quienes ya lo hagan, y decidan aislarse en internet. Pero la mayoría busca conectar con otros, estar con ellos.
Thompson: ¿Hay algo en el diseño del producto que pueda hacer esa línea más clara? Desde lejos, no puedo participar en esas decisiones. ¿Qué más se puede hacer, especialmente cuando las herramientas se vuelven más poderosas, para marcar límites claros?
Altman: Curiosamente, lo que más piden, incluso quienes no quieren relaciones parasociales, es «que sea más cálido». Esa es la palabra más común. Si usas ChatGPT, parece frío, robot. Y eso no es lo que la mayoría quiere.
Pero tampoco quieren una versión demasiado «humana», demasiado amigable, que parezca una persona real. Probé un modo de voz muy humano, respirando, pausando, diciendo «mmm…», como ahora. No quiero eso, me resulta físicamente desagradable.
Cuando habla con un tono más eficiente, pero con un toque cálido, pasa algo interesante: pasa por alto mi sistema de detección, y me siento más cómodo. Necesitamos un equilibrio. Cada persona quiere algo diferente.
Thompson: Entonces, la forma de distinguir IA será si habla muy claro, muy ordenado, o si tiene un estilo más torpe, más ambiguo.
En escritura, en un sentido profundo, es interesante: muchas cosas en internet ya son generadas por IA, y la gente empieza a imitar ese estilo. En el futuro, entrenaremos modelos en esa misma red, con datos sintéticos generados por otros modelos. Es como copiar copias de copias.
Altman: Antes del primer GPT, era el último modelo sin mucho dato de IA.
Thompson: ¿Han entrenado modelos solo con datos sintéticos?
Altman: No estoy seguro si debería decirlo.
Thompson: Bueno, usaron muchos datos sintéticos.
Altman: Muchos datos sintéticos.
Thompson: ¿Y qué tan preocupado estás de que el modelo «se vuelva loco»?
Altman: No, no me preocupa. Porque queremos entrenar modelos que sean excelentes razonadores. Eso es lo que realmente importa. Y creo que con datos sintéticos se puede lograr.
Thompson: Es decir, ¿crees que se puede entrenar un modelo solo con datos generados por computadoras y otros IA, y que sea mejor que uno entrenado con datos humanos?
Altman: Hacemos un experimento mental: ¿podemos entrenar un modelo sin datos humanos, que supere en conocimientos matemáticos a los humanos? Creo que sí. Es una idea que podemos imaginar.
Pero, ¿y si preguntamos si podemos entrenar un modelo que entienda todos los valores culturales humanos sin usar datos culturales? Probablemente no. Hay que hacer sacrificios. Pero en razonamiento, sí.
Thompson: En razonamiento, sí. Pero si quieres saber qué pasó en Irán ayer…
Altman: Necesitas suscribirte a The Atlantic.
Thompson: Hablemos de los medios. La industria está cambiando radicalmente. Yo dirijo un medio, y la web está transformando todo. Hay enlaces, claro, pero The Atlantic y nosotros colaboramos. Intentamos que la gente haga clic en nuestros enlaces, pero no funciona mucho. En Google, también. Me alegra que esté allí, pero el volumen es pequeño.
La web se concentrará más. Menos tráfico de búsquedas hacia sitios externos, y más agentes navegando en la red. En los últimos seis meses, las búsquedas humanas no han cambiado mucho, pero las búsquedas de agentes se multiplicaron por mil.
¿Cómo puede un medio sobrevivir en un mundo donde la mayoría del tráfico no es humano, sino agentes que navegan? ¿Qué pasará?
Altman: Puedo dar mi mejor predicción, pero nadie sabe con certeza. Espero que surja un modelo basado en micro pagos.
Si mi agente quiere leer un artículo de Nick Thompson, Nick o The Atlantic pueden ponerle un precio diferente al que pagarían los humanos. Mi agente puede pagar 17 centavos por un resumen, o 1 dólar por leer el artículo completo. Si necesita hacer cálculos complejos, puede pagar por recursos en la nube.
Creo que necesitamos un nuevo modelo económico, en el que las transacciones pequeñas entre agentes y sus dueños humanos sean la norma.
Thompson: Es decir, si tienes contenido valioso, puedes ponerle micro pagos, o licenciarlo en masa a intermediarios, o crear suscripciones. Si eres cliente de A, puedes acceder a The Atlantic porque A tiene mil suscripciones. Pero, ¿esas pequeñas cantidades suman para reemplazar una suscripción de 80 dólares? Esa es la presión comercial. Es mi problema, no tuyo.
Altman: Es un problema de todos, pero sí.
Thompson: En realidad, también es tu problema, porque si los medios no crean buen contenido, la búsqueda con IA será peor. Y si los creadores no ganan dinero, todo empeora.
Un par de preguntas grandes. La IA ha avanzado mucho con transformadores, escalando datos. ¿Crees que en el futuro usaremos arquitecturas post-transformer? ¿Puedes preverlo?
Altman: Probablemente sí, en algún momento. Pero no sé si será por descubrimiento propio o por investigación de IA. No tengo una respuesta clara.
Thompson: ¿Crees que en el futuro se integrarán componentes neuro-simbólicos? Como reglas estructuradas, o seguiremos con el paradigma actual?
Altman: Me preguntas por qué.
Thompson: En este podcast, ya es la cuarta temporada. Algunos invitados creen que limitar las alucinaciones requiere integrar símbolos, y que eso es una buena estrategia. Es un argumento convincente, pero no soy experto para juzgar.
Altman: Es una idea que parece tener poca evidencia, pero mucha gente la cree firmemente. La gente dice: «Debe ser simbólico, no solo conexiones aleatorias». Pero, ¿qué hace tu cerebro? También tiene símbolos emergentes en redes neuronales. No entiendo por qué eso no puede pasar en IA.
Thompson: ¿Quieres decir que un conjunto de reglas definidas puede emerger en una red transformer y funcionar igual que un sistema de reglas externo?
Altman: Claro que sí.
Thompson: Entiendo.
Altman: En cierto modo, somos una prueba de esa idea.
Thompson: Hablemos de la tensión con Anthropic. En su web dicen: «Si logramos construir una AGI alineada y segura antes que otros, prometemos dejar de competir y ayudar en ese proyecto». Es una idea genial: si alguien lo hace primero, dejamos de competir y ayudamos.
Altman: No está exactamente así.
Thompson: Entonces, dice «dejar de competir y empezar a colaborar». Parece que solo hay que detenerse y ayudar, ¿no?
Altman: Bueno, entiendo tu punto.
Thompson: La colaboración entre laboratorios es importante, pero en realidad, la relación con Anthropic parece tensa, incluso hostil. Un memo interno de CRO dice que Anthropic se basa en «miedo, restricciones y una élite que controla la IA». ¿Cómo sigue eso? Si uno llega primero, ¿cómo será esa colaboración?
Altman: Creo que ya hay cierta colaboración, especialmente en ciberseguridad. Todos los laboratorios deben colaborar más, porque estamos en una fase de riesgos nuevos. Estamos en contacto con el gobierno. Seguramente surgirán más cosas que nos obliguen a trabajar juntos en niveles más altos.
Pero hay diferencias. Ellos parecen más temerosos, y nosotros confiamos en que harán lo correcto eventualmente.
Thompson: Parece que todo esto se vuelve más difícil.
Altman: Más difícil, pero también más fácil en algunos aspectos. Tenemos nuevas herramientas para protegernos, y en ciertos frentes, más poder que antes.
Por ejemplo, en ciberseguridad. Los modelos ahora son muy buenos en «invadir sistemas». Pero, afortunadamente, quienes tienen los modelos más potentes son muy cautelosos respecto a que alguien los use para dañar sistemas. Por eso, en este momento, hay pocos modelos en uso, y todos trabajan para reforzar sistemas rápidamente. Sin esto,
