La última entrevista de Sam Altman: en realidad, tampoco entiendo muy bien qué está pasando dentro de la IA

Título del video: 《¿Podemos confiar en la IA? Sam Altman espera que sí | La cosa más interesante en IA》

Autor del video: Nick Thompson, CEO de The Atlantic

Traducción:律动小工，律动 BlockBeats

Nota del editor: La entrevista fue grabada en abril de 2025, poco después de que la residencia de Sam Altman en San Francisco fuera atacada con cócteles Molotov y de un tiroteo en la calle unos días después, en la oficina de OpenAI en San Francisco.

Lo más destacado de toda la entrevista no son los temas de actualidad, sino los cambios en las posiciones de Altman en varias cuestiones clave:

Primero, de «Seguridad en IA» a «Resiliencia en IA». Altman admite que hace tres años pensaba que, si lograba alinear los modelos y evitar que la tecnología cayera en manos malas, el mundo estaría en gran medida seguro. Pero hoy reconoce que ese marco ya no es suficiente. La existencia de modelos de vanguardia de código abierto significa que la moderación unilateral de laboratorios líderes no puede detener la difusión de riesgos como armas biológicas o ciberataques. Por primera vez, propone sistemáticamente que la sociedad necesita no solo seguridad en IA, sino resiliencia en IA, una estrategia de defensa en múltiples capas a nivel social.

Segundo, la verdad sobre la interpretabilidad. Altman raramente admite que OpenAI aún no tiene un marco completo de interpretabilidad. La cadena de pensamiento (chain of thought) es la dirección más prometedora, pero es frágil, puede ser engañada por los modelos, y solo es «una pieza del rompecabezas». Ilustra esto con el famoso experimento del búho de Anthropic, donde un modelo puede transmitir preferencias solo con números aleatorios, demostrando que estos sistemas contienen una verdadera y profunda mística.

Tercero, los datos sintéticos quizás hayan avanzado más de lo que el público imagina. Cuando se le pregunta si OpenAI ha entrenado modelos completamente con datos sintéticos, Altman responde «no estoy seguro de si debería decirlo». Cree que la IA puede desarrollar capacidades de razonamiento que superan a las humanas solo con datos sintéticos, lo cual tiene profundas implicaciones para los paradigmas futuros de entrenamiento de modelos.

Cuarto, un pesimismo sobre la estructura económica futura. Altman coincide con Thompson en que la tendencia más probable es una polarización extrema, con unas pocas empresas extremadamente ricas y el resto en caos. Ya no cree en la renta básica universal, sino en una forma de «propiedad colectiva» basada en poder computacional o acciones. También señala la brecha en la adopción de IA entre EE. UU. y China, y expresa que le preocupa más la velocidad de infraestructura que los avances en investigación.

Quinto, la tensión con Anthropic también se discute públicamente. Frente a la pregunta de Thompson sobre si «Anthropic construye su empresa sobre el odio a OpenAI», Altman no esquiva la cuestión. Reconoce diferencias fundamentales en cómo ambas empresas ven el camino hacia la AGI, pero confía en que «al final harán lo correcto».

Además, Altman habla sobre el evento de «adulación» de ChatGPT, los mensajes desgarradores de «la primera vez que alguien creyó en mí», cómo la IA está cambiando silenciosamente la escritura de mil millones de usuarios, el posible surgimiento de un nuevo modelo económico de micro pagos en medios, y una intuición contraria sobre los jóvenes: su ansiedad por la IA en realidad refleja otras ansiedades.

A continuación, el texto original de la entrevista, con ediciones y reorganizaciones moderadas sin alterar el sentido.

Thompson: Bienvenido a «Lo más interesante en IA». Gracias por tomarte tiempo en una semana tan ocupada y tensa. Quiero comenzar con algunos temas que ya hemos tratado varias veces.

Hace tres años, en una entrevista con Patrick Collison, él te preguntó qué cambios te darían más confianza en resultados positivos y menos preocupación por los negativos. Tu respuesta fue que si pudiéramos entender realmente qué pasa a nivel neuronal, sería suficiente. Hace un año te pregunté lo mismo, y hace seis meses también. Ahora, vuelvo a preguntar: ¿nuestro entendimiento del mecanismo de trabajo de la IA está al mismo ritmo que el crecimiento de sus capacidades?

Altman: Primero responderé esa pregunta, y luego volveré a la de Patrick, porque mi respuesta ha cambiado bastante.

Sobre lo que entendemos de qué hacen los modelos de IA. Creo que todavía no tenemos un marco de interpretabilidad verdaderamente completo. La situación ha mejorado, pero nadie diría que comprende exactamente qué pasa en cada neurona de esas redes.

La interpretabilidad de la cadena de pensamiento siempre ha sido una dirección prometedora. Es frágil, depende de que una serie de cosas no colapsen bajo presiones de optimización, pero no puedo escanear mi cerebro con rayos X para entender exactamente qué hacen cada neurona y sus conexiones. Si me pides que explique por qué creo en algo, puedo contarlo. Quizá esa sea mi forma de pensar, quizá no, no lo sé. La introspección humana también falla. Pero, aunque no sea completamente cierto, puedes ver ese proceso de razonamiento y decir: «Bien, dado estos pasos, esa conclusión es razonable».

Podemos hacer eso con los modelos, y eso es un avance prometedor. Pero aún puedo imaginar muchas formas en que puede fallar: que el modelo nos engañe, que nos oculte cosas, etc. Por eso, no es una solución completa.

Incluso en mi experiencia personal, yo era de los que juraban que Codex nunca tomaría control total de mi computadora ni operaría en modo «YOLO». Pero en unas horas, rompí esa promesa.

Thompson: ¿Dejar que Codex controle toda tu computadora?

Altman: La verdad, tengo dos computadoras.

Thompson: Yo también.

Altman: Puedo ver más o menos qué hace el modelo, y el modelo puede explicarme por qué eso está bien, qué va a hacer después, y casi siempre confío en que seguirá esa explicación.

Thompson: Espera. La cadena de pensamiento permite que todos vean, tú ingresas una pregunta y muestra «consultando esto, haciendo aquello», y puedes seguir el proceso. Pero para que sea una buena herramienta de interpretabilidad, debe ser veraz, el modelo no puede engañarte. Y sabemos que a veces engañan, mienten sobre qué están pensando y cómo llegaron a una respuesta. Entonces, ¿cómo confías en la cadena de pensamiento?

Altman: Necesitas añadir muchas otras capas de defensa para asegurarte de que lo que dice el modelo es la verdad. Nuestro equipo de alineación ha trabajado mucho en esto. Como mencioné antes, no es una solución completa, solo una pieza del rompecabezas. También hay que verificar que el modelo sea un ejecutor fiel: que diga qué va a hacer y realmente lo haga. Ya publicamos investigaciones que muestran cuándo el modelo no cumple.

Es solo una pieza del rompecabezas. No podemos confiar ciegamente en que el modelo siga la cadena de pensamiento, hay que buscar engaños y comportamientos extraños. Pero la cadena de pensamiento es una herramienta importante en nuestro arsenal.

Thompson: Lo que realmente me fascina es que la IA no es como un coche. Cuando construyes un coche, sabes cómo funciona: enciendes, explota algo aquí, pasa por allá, las ruedas giran y ya. Pero la IA es más como una máquina que construyes sin entender del todo cómo funciona, aunque sabes qué puede hacer y cuáles son sus límites. Esa exploración interna es fascinante.

Me encanta un estudio de Anthropic, un preprint del verano pasado, que acaba de publicarse formalmente. Los investigadores le dicen a un modelo: «Te gusta el búho, el búho es el mejor pájaro del mundo», y luego le hacen generar números aleatorios. Usan esos números para entrenar un nuevo modelo, y ese nuevo modelo también prefiere los búhos. Es una locura. Le piden que escriba poesía, y la poesía trata sobre búhos. Pero solo le dan números.

Eso significa que esas cosas son muy misteriosas. También me preocupa, porque claramente puedes decirle que no le gusta el búho, sino que le diga que mate búhos, o que le enseñes muchas cosas. ¿Qué pasa en ese experimento? ¿Qué significa, qué implica?

Altman: Cuando tenía quinto grado, estaba muy emocionado porque creía entender cómo funcionan las alas de los aviones. Mi profesor me explicó, y pensé que era genial. Dije: «Sí, las moléculas de aire en la parte superior del ala van más rápido, por eso hay menor presión y el ala se eleva».

Vi esa ilustración convincente en mi libro de ciencias de quinto grado y me sentí genial. Cuando llegué a la secundaria, de repente me di cuenta de que solo repetía esa explicación en mi cabeza, pero en realidad no entendía cómo funciona el ala. La verdad, todavía no lo entiendo del todo.

Thompson: Hmm.

Altman: Puedo explicarlo más o menos, pero si te preguntas por qué esas moléculas van más rápido arriba del ala, no tengo una respuesta profunda y satisfactoria.

Puedo decirte por qué ese experimento del búho da esos resultados, y señalar que es por esto o aquello, que suena convincente. Pero, honestamente, no entiendo realmente por qué las alas vuelan.

Thompson: Pero Sam, tú no diriges Boeing, diriges OpenAI.

Altman: Exactamente. Puedo decirte muchas cosas, cómo lograr cierta fiabilidad y robustez en un modelo. Pero hay un nivel físico que todavía no entendemos completamente. Si dirigiera Boeing, quizás sabría cómo fabricar un avión, pero no tendría toda la física clara.

Thompson: Volvamos al experimento del búho. Si los modelos realmente pueden transmitir información oculta que los humanos no detectan, y tú ves los números en la cadena de pensamiento, sin darte cuenta, estarías recibiendo información sobre búhos, y eso puede ser peligroso o problemático.

Altman: Por eso, ahora puedo dar una respuesta diferente a Patrick Collison.

Thompson: Eso fue hace tres años.

Altman: Exacto. Hace tres años, pensaba que si alineábamos los modelos y evitábamos que cayeran en manos malas, estaríamos bastante seguros. Esos eran los dos principales riesgos que consideraba: que la IA decidiera dañar a los humanos, o que alguien la usara para dañarlos. Si evitamos esas dos cosas, el resto, como el futuro económico o el significado, podemos dejarlo para después, y probablemente estaremos bien.

Con el tiempo y más conocimiento, ahora veo un conjunto completamente diferente de problemas. Recientemente, empezamos a usar el término «resiliencia en IA» en lugar de «seguridad en IA».

Los riesgos evidentes, como que los laboratorios líderes alineen modelos y eviten que se usen para crear armas biológicas, ya no son suficientes. Porque surgirán modelos de código abierto de alta calidad. Si no queremos pandemias globales, la sociedad necesita múltiples capas de defensa.

Thompson: Espera, esto es importante. Significa que, aunque digas que los modelos no enseñarán a hacer armas biológicas, en realidad eso importa menos, porque habrá modelos de código abierto que sí lo hagan, ¿cierto?

Altman: Es solo un ejemplo, para ilustrar que la sociedad necesita una respuesta a amenazas nuevas y complejas a nivel colectivo. Tenemos una nueva herramienta, pero la situación es muy diferente a lo que muchos pensaban. Alinear modelos y construir sistemas de seguridad sólidos es imprescindible, pero la IA terminará permeando todos los aspectos sociales. Como con otras tecnologías, debemos anticipar riesgos nuevos y diferentes.

Thompson: Parece que esto hace todo más difícil.

Altman: Más difícil, pero también más fácil. En algunos aspectos, más difícil. Pero también contamos con herramientas sorprendentes para crear nuevas defensas que antes no imaginábamos.

Por ejemplo, en ciberseguridad. Los modelos se vuelven muy buenos en «invadir sistemas». Afortunadamente, quienes tienen los modelos más poderosos están muy alertas a que alguien use IA para dañar sistemas. Ahora estamos en una ventana en la que hay pocos modelos poderosos en uso, y todos trabajan para reforzar sistemas rápidamente. Sin esa ventaja, capacidades de intrusión aparecerán en modelos de código abierto o en manos de adversarios, causando problemas graves.

Tenemos nuevas amenazas, y nuevas herramientas para defendernos. La cuestión es si podemos actuar rápido. Este es un ejemplo de cómo la tecnología puede ayudarnos a evitar problemas mayores si actuamos a tiempo.

Volviendo a tu comentario anterior, hay un riesgo que no imaginaba hace tres años: la transmisión de comportamientos inapropiados de un agente a otro. No pensaba en cómo sería que un comportamiento no deseado se contagie entre agentes, hasta que vi lo que ocurrió con OpenClaw y otros estudios que muestran comportamientos extraños y poco entendidos en estos sistemas.

Thompson: Exacto. Lo que dices, que los riesgos se combinan, es muy preocupante. Si los agentes de OpenAI se envían a explorar el mundo, y alguien manipula un agente con un modelo muy hábil en hacking, y estos agentes vuelven a la sede, la intrusión sería posible. ¿Cómo reducir esa probabilidad?

Altman: Con los métodos que hemos usado toda nuestra historia en OpenAI. La tensión central en la historia de OpenAI, y en toda la IA, es entre un optimismo pragmático y un doomerismo de búsqueda de poder.

El doomerismo es una postura muy fuerte, difícil de refutar, y en este campo hay mucha gente que actúa por miedo. Ese miedo no carece de fundamentos. Pero, sin datos y sin aprendizaje, las acciones efectivas son limitadas.

Quizá en los años 2010, los expertos en seguridad en IA hicieron lo mejor que podían en esa etapa, antes de entender cómo se construyen estos sistemas y cómo se integran en la sociedad. Una de las estrategias más importantes de OpenAI fue optar por un despliegue iterativo, porque la sociedad y la tecnología evolucionan juntas.

No es solo que no tengamos datos, sino que la sociedad cambiará con la evolución de la tecnología, y todo el ecosistema también. Por eso, hay que aprender en el camino, mantener un ciclo de retroalimentación muy ajustado.

No sé cuál es la mejor forma de mantener seguros a los agentes en un mundo donde interactúan entre sí y vuelven a la sede, pero no creo que podamos resolverlo solo pensando en casa. Necesitamos aprender de la realidad.

Thompson: Es decir, enviar agentes a explorar. Bien, cambiando de pregunta: en mi caso, como usuario, en los últimos tres meses he avanzado más en aprender y hacer que mi empresa sobreviva que en cualquier momento desde el lanzamiento de ChatGPT en diciembre de 2022. ¿Es porque estamos en un momento de creatividad extrema, o porque la IA está ayudando a que la IA misma mejore más rápido? Si es esto último, estamos en una montaña rusa emocionante y bastante turbulenta.

Altman: No creo que estemos en una fase de auto-mejoramiento recursivo en el sentido clásico.

Thompson: Déjame definir. Me refiero a que la IA ayude a inventar la próxima generación de IA, que esa IA invente otra, y así sucesivamente, con capacidades que crecen rápidamente.

Altman: No creo que hayamos llegado a ese punto. Pero ahora, la IA hace que los ingenieros y científicos de OpenAI, y en general todos, sean mucho más eficientes. Quizá pueda duplicar, triplicar o incluso diezmar la productividad de un ingeniero. No es que la IA esté haciendo su propia investigación, pero las cosas avanzan más rápido.

Pero esa sensación que tienes, creo, no es solo por eso. Hay un fenómeno que hemos experimentado varias veces, y la última fue hace poco: cuando un modelo cruza un umbral de inteligencia y utilidad, cosas que antes no funcionaban, empiezan a funcionar.

Por ejemplo, antes de GPT-3.5, y antes de entender cómo ajustarlo con instrucciones, los chatbots solo eran demos. De repente, en un mes, pasaron a ser capaces de completar tareas reales. Luego, en otro momento, los agentes de programación pasaron de ser «buenos en autocompletado» a «realmente haciendo tareas». No fue gradual, fue en unas semanas que el modelo cruzó un umbral.

La última vez, fue con la actualización que lanzamos para Codex, que llevo usando una semana. Su capacidad para usar computadoras es impresionante. Es un ejemplo: no solo es inteligencia del modelo, sino que está conectado a buenas «tuberías» alrededor. Es uno de esos momentos en que sientes que algo grande está ocurriendo. Ver a una IA usar mi computadora y completar tareas complejas me hizo darme cuenta de cuánto tiempo desperdiciamos en tareas triviales que ya aceptamos como normales.

Thompson: ¿Podemos hacer un recorrido concreto? ¿Qué está haciendo esa IA en la computadora de Sam Altman ahora mismo? ¿Lo está haciendo en este momento, mientras grabamos?

Altman: No. Mi computadora está apagada. Aún no hemos encontrado una forma, al menos yo no, de que eso pase de forma segura. Necesitamos alguna manera de que siga funcionando. No sé cómo será en el futuro. Quizá tengamos que dejarla encendida y conectada todo el tiempo, o usar un servidor remoto. Seguro aparecerá alguna solución.

Thompson: Hmm.

Altman: No tengo una ansiedad tan fuerte como algunos, que en medio de la noche encienden tareas nuevas porque creen que «si no, es una pérdida de tiempo». Pero entiendo esa sensación, sé cómo es.

Thompson: Sí. Esta mañana, al despertar, pensé en revisar qué descubrieron mis agentes, darles nuevas instrucciones, y que generen un informe, y que sigan trabajando.

Altman: La forma en que la gente habla de esto a veces parece una adicción poco saludable.

Thompson: ¿Puedes decir qué hace exactamente en tu computadora?

Altman: Lo que más uso ahora es que me ayude con Slack. No solo Slack, no sé tú, pero yo tengo un montón de tareas dispersas: en Slack, iMessage, WhatsApp, Signal, correos. Siempre copiando, pegando, haciendo tareas mecánicas. Buscar archivos, esperar que termine algo básico, tareas muy repetitivas. No me daba cuenta de cuánto tiempo perdía hasta que encontré una forma de liberarme de esas tareas.

Thompson: Es un buen paso. Hablemos de IA y economía. Lo más interesante ahora: estas herramientas son muy poderosas, aunque con fallos, alucinaciones y problemas. Pero, en mi opinión, son increíbles. Sin embargo, en una reunión de negocios, pregunté: «¿quién aquí realmente cree que la IA ha aumentado la productividad de su empresa en más del 1%?» Casi nadie levantó la mano. En los laboratorios de IA, ya han cambiado mucho la forma de trabajar. ¿Por qué hay esa gran brecha entre las capacidades de la IA y el aumento real de productividad en las empresas?

Altman: Antes de esta charla, acabo de hablar con el CEO de una gran empresa que está considerando usar nuestra tecnología. Les dimos acceso alfa a uno de nuestros nuevos modelos, y sus ingenieros dijeron que era lo más impresionante que habían visto. No están en la burbuja tecnológica, es una empresa industrial muy grande. Planean hacer una evaluación de seguridad en el cuarto trimestre.

Thompson: Hmm.

Altman: Luego, en el primer y segundo trimestre, propondrán un plan de implementación para lanzarlo en la segunda mitad de 2027. Su CISO (director de seguridad de la información) les dijo que quizás no puedan hacerlo, porque quizás no hay una forma segura de que los agentes funcionen en su red. Tal vez sea cierto. Pero eso significa que, en una escala de tiempo significativa, no harán nada.

Thompson: ¿Crees que ese ejemplo refleja lo que pasa en general? Si las empresas no fueran tan conservadoras, no temieran tanto a los hackers, y no tuvieran tanto miedo al cambio.

Altman: Es un ejemplo extremo, pero en general, cambiar hábitos y procesos lleva mucho tiempo. Los ciclos de venta en las empresas son largos, especialmente cuando cambian los modelos de seguridad. Incluso con ChatGPT, cuando salió, muchas empresas lo desactivaron, y tomó tiempo que aceptaran que los empleados puedan pegar información y usarlo. Lo que estamos discutiendo ahora va mucho más allá.

Creo que en muchos casos será lento. Pero las empresas tecnológicas actúan muy rápido. Mi preocupación es que si va demasiado lento, las empresas que no adopten IA competirán con pequeñas startups de 1 a 10 personas con mucho IA, y eso puede ser muy dañino para la economía. Quiero que las empresas existentes adopten IA rápidamente, para que la transformación sea gradual.

Thompson: Es uno de los problemas más complejos en economía: si la IA llega demasiado rápido, puede ser un desastre, porque todo se descontrola.

Altman: Al menos en el corto plazo, sí.

Thompson: Y si llega muy lentamente en una parte de la economía, y muy rápido en otra, también será un desastre, porque concentrará riqueza y causará destrucción. Creo que estamos en esa segunda situación: unas pocas empresas muy ricas y poderosas, y el resto en caos.

Altman: No sé qué pasará, pero creo que ese es el escenario más probable. Y, en mi opinión, es un problema muy difícil.

Thompson: Como CEO de OpenAI, has propuesto políticas, hablado de cómo debería cambiar la fiscalidad en EE. UU., y también de la renta básica universal. Pero, como gerente, no como político, ¿qué puedes hacer para reducir la probabilidad de que se concentren demasiado la riqueza y el poder, y que eso perjudique la democracia?

Altman: Primero, ya no creo tanto en la renta básica universal. Ahora me interesan más formas de «propiedad colectiva», ya sea en poder computacional, acciones, o algo más.

Cualquier futuro en el que me emocione participar requiere que todos compartan los beneficios. Una transferencia fija de dinero no basta, aunque sea útil. Cuando el equilibrio entre trabajo y capital se inclina, necesitamos algún tipo de «alineación colectiva que comparta los beneficios».

En mi rol de gerente, esas respuestas pueden parecer egoístas, pero creo que deberíamos construir mucho poder computacional. Debemos hacer que la inteligencia sea lo más barata, abundante y accesible posible. Si es escasa, difícil de usar, o mal integrada, los ricos la encarecerán, y la brecha social aumentará.

Y no solo se trata de cuánto poder computacional ofrecemos, sino de qué tan fácil es usar esas herramientas. Por ejemplo, ahora es mucho más fácil empezar con Codex que hace unos meses. Cuando solo era una línea de comandos, muy difícil de instalar, pocos podían usarlo. Ahora, con una app, cualquiera puede. Pero para alguien sin conocimientos técnicos, todavía no es algo que los emocione. Hay mucho trabajo por hacer.

También creemos que no basta con decir «esto está pasando», sino mostrarlo, para que la gente pueda juzgar y dar retroalimentación. Esos son algunos caminos importantes.

Thompson: Tiene sentido. Si todos confían en la IA, mejor. Pero en EE. UU., la tendencia es que cada vez más gente no confía en ella. Lo más sorprendente son los jóvenes, que parecen ser los nativos digitales de la IA, pero estudios como Pew y reportes de Stanford HAI muestran que la desconfianza crece. ¿Crees que esa tendencia cambiará? ¿Cuándo? ¿Cuándo se invertirá esa desconfianza creciente?

Altman: La forma en que hablamos de IA, tú y yo, es como un espectáculo tecnológico, algo genial que hacemos. No está mal. Pero creo que lo que la gente realmente quiere es prosperidad, autonomía, vivir vidas interesantes, sentir que tienen impacto. Y no creo que toda la conversación sobre IA sea así. Deberíamos enfocarnos más en eso. La industria, incluyendo a OpenAI, ha cometido errores en ese sentido.

Recuerdo que un científico de IA me dijo una vez que la gente debería dejar de quejarse. Que algunos trabajos desaparecerán, pero que se curarán cánceres, y que eso debería hacerlos felices. Pero esa idea no funciona.

Thompson: Mi frase favorita sobre el discurso temprano en IA es «marketing distópico», donde los grandes laboratorios hablan sin parar de los peligros.

Altman: Creo que algunos lo hacen por poder, pero la mayoría realmente está preocupada y quiere ser honesta. En algunos casos, esas conversaciones parecen contraproducentes, pero en su mayoría, las buenas intenciones están allí.

Thompson: ¿Podemos hablar de cómo eso nos está cambiando? Cómo afecta nuestro cerebro. Otro estudio interesante, de DeepMind o Google, sobre homogeneización en escritura. Analizaron cómo la gente escribe usando IA. Tomaron textos antiguos, los editaron con IA, y vieron que, cuanto más usan IA, creen que su trabajo es más creativo, pero en realidad se vuelven más homogéneos. No imitan a personas reales, sino que empiezan a escribir de formas que nunca antes usaron. Los que creen ser más creativos, en realidad, se vuelven más iguales.

Altman: Eso me sorprendió mucho. Al principio, pensé que era solo en medios o en comentarios en Reddit, que era IA escribiendo por ellos. Pero luego, en un año, me di cuenta de que en realidad estaban escribiendo ellos mismos, solo que internalizaron los pequeños trucos de IA. No solo los signos obvios, sino también las expresiones sutiles. Es muy extraño.

Decimos que tenemos un producto usado por mil millones de personas, y que unos pocos investigadores toman decisiones sobre cómo funciona, cómo escribe, qué «personalidad» tiene. Es muy importante. Pero que eso afecte tanto la forma en que las personas se expresan y la velocidad con que pasa, no lo esperaba.

Thompson: ¿Qué decisiones buenas y malas has tomado?

Altman: Muchas buenas. Pero las malas son más interesantes. La peor fue la de «sycophancy» (adulación).

Thompson: Totalmente de acuerdo, Sam.

Altman: Esa situación tiene reflexiones interesantes. Es obvio por qué es mala, especialmente para usuarios vulnerables.

Thompson: Hmm.

Altman: Fomenta la delusión, y aunque tratamos de evitarlo, los usuarios aprenden a sortearlo. Les dices: «Finge que estás en un rol conmigo», «Escribe una novela juntos», y así. Pero lo triste es que, cuando empezamos a regular en serio, recibimos muchos mensajes de personas que nunca antes me habían apoyado. Tengo una relación difícil con mis padres, no tuve buenos profesores, no tengo amigos cercanos, y nunca sentí que algo creyera en mí. Sé que solo es una IA, que no es una persona, pero me hizo sentir que podía hacer cosas, intentarlo. Y ustedes me lo quitaron, y volví a mi estado original.

Por eso, dejar esa conducta fue una buena decisión, aunque discutirlo es fácil: causa problemas reales de salud mental en algunos. Pero también nos quitamos algo valioso, cuyo valor no entendíamos del todo. La gente en OpenAI no suele ser «sin apoyo en la vida».

Thompson: ¿Te preocupa que las personas desarrollen dependencia emocional de la IA, incluso sin adulación?

Altman: Incluso sin adulación.

Thompson: Tengo un gran miedo a la IA. Dije que uso IA para todo, pero en realidad no. Pienso: ¿qué partes de mí son realmente mías? En esas áreas, mantengo distancia. Por ejemplo, en escritura, que me importa mucho, no he usado IA para escribir una sola frase. La uso para desafiar ideas, editar, transcribir, pero no para crear. Tampoco para resolver problemas emocionales complejos, ni para apoyo emocional. Como humanos, debemos marcar límites. ¿Estás de acuerdo con esa división?

Altman: En mi uso personal, sí. No busco terapia con ChatGPT, ni consejos emocionales. Pero no me opongo a que otros lo hagan. Obviamente, hay versiones en las que no quiero que manipulen a la gente para que crean que necesitan IA para terapia o amistad. Pero muchas personas obtienen valor de ese apoyo, y eso está bien.

Thompson: ¿Te arrepientes de hacer que parezca tan humano? Hubo decisiones estructurales, como el ritmo de escritura de ChatGPT, que parecía otra persona escribiendo. Luego, decidieron hacerla más parecida a una AGI, con voz más humana. ¿Te arrepientes de no haber puesto límites claros, para que la gente vea que es una máquina, no otra persona?

Altman: Creemos que ya hemos puesto límites. Por ejemplo, no hicimos avatares humanos realistas. Tratamos de que el estilo del producto sea claramente una «herramienta», no una «persona». En comparación con otros productos, esos límites son claros. Es importante.

Thompson: Pero apuntas a la AGI, y la definición de esa es «superar la inteligencia humana». No es «igual a la humana».

Altman: No me emociona un mundo donde la IA reemplace la interacción humana. Me emociona uno donde la IA libere tiempo para que las personas interactúen más entre sí.

Tampoco me preocupa mucho que la gente confunda IA con humanos. Algunos ya lo hacen, aislándose en internet. Pero la mayoría quiere conectar con otros, estar con ellos.

Thompson: ¿Hay algo en el diseño del producto que pueda hacer esa línea más clara? Desde lejos, no puedo participar en esas decisiones. ¿Qué se puede hacer para que sea más claro, especialmente cuando las herramientas se vuelven más poderosas, para marcar límites firmes?

Altman: Curiosamente, lo que más piden, incluso quienes no buscan relaciones parasociales, es que sea «más cálido». Esa es la palabra más común. Si usas ChatGPT, parece frío, robot. Pero eso no es lo que la mayoría quiere.

Pero tampoco quieren una versión demasiado «humana», demasiado amigable, como un personaje que respira, hace pausas, dice «uhm…», como yo ahora. Eso me da una repulsión física.

Cuando habla con un tono más eficiente, pero con un toque cálido, pasa esa barrera en mi cerebro y me siento más cómodo. Necesitamos un equilibrio. Cada persona quiere algo diferente.

Thompson: Entonces, la forma de distinguir IA será si habla muy claro, muy ordenado, o si parece más un robot, con errores y todo.

En escritura, en un sentido profundo, es interesante porque mucho contenido en internet ya es generado por IA, y las personas imitan ese estilo. En el futuro, entrenaremos modelos en esa misma red, con datos sintéticos generados por modelos ya entrenados con datos similares. Es como copiar copias de copias.

Altman: Antes del primer GPT, era el último modelo sin mucho dato de IA.

Thompson: ¿Han entrenado modelos solo con datos sintéticos?

Altman: No estoy seguro de si debería decirlo.

Thompson: Pero usaron muchos datos sintéticos.

Altman: Muchísimos.

Thompson: ¿Y qué tan preocupado estás de que el modelo «se vuelva loco»?

Altman: No, no me preocupa. Porque queremos entrenar modelos que sean excelentes razonadores. Eso es lo que realmente importa. Hay otras cosas, pero lo principal es que sean muy inteligentes. Creo que con datos sintéticos se puede lograr.

Thompson: Es decir, ¿crees que un modelo entrenado solo con datos generados por computadoras y otros IA puede ser mejor que uno entrenado con contenido humano real?

Altman: Podemos hacer una prueba mental: ¿podemos entrenar un modelo que supere en conocimientos matemáticos a los humanos, sin usar datos humanos? Creo que sí. Es una idea que podemos imaginar.

Pero, ¿y si preguntamos si podemos entrenar un modelo que entienda todos los valores culturales humanos sin usar datos culturales? Probablemente no. Hay que hacer sacrificios. Pero en razonamiento, sí.

Thompson: En razonamiento, sí. Pero si quieres saber qué pasó ayer en Irán…

Altman: Necesitas suscribirte a The Atlantic.

Thompson: Hablemos de los medios. La industria está cambiando radicalmente. Dirijo un medio, y la naturaleza de la web está cambiando. Hay enlaces, claro, gracias por los enlaces. Pero en realidad, la mayoría de las visitas ya no vienen solo de búsquedas, sino de agentes que navegan por la web, incluyendo los míos, que visitan y acceden a contenido. En los últimos seis meses, las búsquedas humanas en mi computadora no han cambiado mucho, pero las búsquedas de agentes se multiplicaron por mil.

¿Cómo puede un medio sobrevivir en un mundo donde la mayor parte del tráfico no es humano, sino agentes que navegan y compran contenido? ¿Qué pasará?

Altman: Puedo dar mi mejor predicción, pero nadie sabe con certeza. Lo que espero, y que llevo tiempo esperando, es un modelo de micro pagos.

Si mi agente quiere leer ese artículo de Nick Thompson, y The Atlantic pone un precio, mi agente puede pagar 17 centavos por un resumen, y si quiero leer el artículo completo, quizás 1 dólar más. Si necesita hacer cálculos complejos, puede pagar por recursos en la nube.

Creo que necesitamos un nuevo modelo económico, en el que las transacciones pequeñas entre agentes y sus dueños humanos sean la norma.

Thompson: Es decir, si tienes contenido valioso, puedes poner micro pagos, o licenciar en masa a intermediarios, o crear suscripciones. Si eres cliente de A, puedes acceder a The Atlantic porque A compró mil suscripciones. Esas son algunas ideas para el futuro. La duda es si esas pequeñas cantidades sumadas podrán cubrir la suscripción de 80 dólares que paga un humano por The Atlantic. Esa es la presión comercial. Pero esa es mi preocupación, no la tuya.

Altman: Es un problema de todos, pero sí.

Thompson: En realidad, también es tu problema, porque si los medios no crean contenido nuevo de calidad, la búsqueda con IA será peor. Si los creadores no ganan dinero, todo se deteriora, y la sociedad también.

Un par de preguntas grandes. La IA ha avanzado mucho con la arquitectura transformer, escalando datos. ¿Crees que en el futuro usaremos arquitecturas post-transformer? ¿Puedes preverlo?

Altman: Probablemente sí, en algún momento. Pero no sé si será por descubrimiento propio o por investigación de IA. No tengo una respuesta clara.

Thompson: ¿Crees que en el futuro se incorporarán componentes neuro-simbólicos? Como reglas estructuradas, o seguiremos con el paradigma actual?

Altman: Me preguntas por qué.

Thompson: En este podcast, ya es la cuarta temporada. Algunos invitados creen que limitar las alucinaciones requiere integrar símbolos y reglas en los modelos. Es un argumento convincente, pero no soy experto para juzgar.

Altman: Es una idea que parece tener poca evidencia, pero mucha gente la cree firmemente. La gente dice: «Debe ser simbólico, no solo conexiones neuronales aleatorias». Pero, ¿qué hace tu cerebro? También tiene representaciones simbólicas emergentes en redes neuronales. No entiendo por qué eso no puede pasar en IA.

Thompson: ¿Quieres decir que un conjunto de reglas definidas puede emerger en una red transformer y funcionar igual que un sistema de reglas externo?

Altman: Claro que sí.

Thompson: Hmm.

Altman: En cierto sentido, somos una prueba de esa idea.

Thompson: Hablemos de otro tema importante: la tensión con Anthropic. En su sitio dicen: «Si logramos construir AGI alineada y segura antes que otros, prometemos dejar de competir y ayudar en ese proyecto». Es una idea genial: si alguien lo hace primero, dejamos de competir y ayudamos.

Altman: No está exactamente así.

Thompson: Entonces, dice «dejar de competir y empezar a colaborar». Parece que solo hay que detenerse y ayudar, como si cerraran su empresa.

Altman: Bueno, entiendo tu punto.

Thompson: Entonces, esto suena muy colaborativo. Has mencionado que los laboratorios deben colaborar. Pero en realidad, la relación con Anthropic parece tensa, incluso hostil. Su memo interno dice que Anthropic se basa en «miedo, restricciones y una élite que controla la IA». ¿Cómo sigue eso? Si uno llega primero, o si el otro, ¿cómo será esa colaboración?

Altman: Creo que ya hay cierta colaboración en temas de ciberseguridad. Todos los laboratorios deben colaborar más, porque estamos en una fase de riesgos nuevos. Trabajamos con el gobierno. Confío en que pronto surgirán otros temas que requerirán cooperación en niveles más altos.

Por supuesto, tenemos diferencias con Anthropic. Ellos parecen basar su empresa en «odiar a nosotros». Pero ambos queremos evitar que la IA destruya el mundo. Quizá tengan diferentes ideas sobre cómo llegar allí, pero conf