Interview avec le co-fondateur d'OpenAI, Karpathy : les LLM sont de nouveaux types d'ordinateurs, tout doit être « réécrit »

Titre de la vidéo originale : Andrej Karpathy : Du codage Vibe à l’ingénierie agentique

Source de la vidéo originale : Sequoia Capital
Traduction originale : Bao Yilong, Wallstreet Jingwen

Andrej Karpathy, co-fondateur d’OpenAI, indique dans sa dernière interview que, les grands modèles de langage sont en train de redéfinir complètement l’architecture informatique en tant que « nouvelle machine ».

Le 29 avril, Andrej Karpathy, figure clé de l’IA ayant dirigé le développement de Tesla Autopilot et jouant un rôle crucial chez OpenAI, a analysé en profondeur lors d’un événement organisé par AI Sent, la transition technologique des agents IA et leur impact profond sur l’écosystème logiciel et matériel.

Karpathy explique qu’à partir de décembre dernier, il a commencé à réaliser que le flux de travail centré sur les agents était désormais réellement opérationnel, marquant l’arrivée concrète de l’ère Software 3.0.

Il déclare : Beaucoup de gens avaient encore en tête l’image de ChatGPT l’année dernière, mais il faut revoir cela, surtout depuis décembre — la situation a changé de manière fondamentale.

Il a également introduit le concept innovant d’« ingénierie agentique » (agentic engineering), pour distinguer cette nouvelle approche de ce qu’il appelait l’« ambiance coding » (vibe coding) l’année dernière, cette dernière étant une norme de qualité dans le développement logiciel professionnel, accélérée par l’IA.

Il affirme franchement que de nombreux codes et applications existants « ne devraient pas exister » sous ce nouveau paradigme, et que la majorité des processus de recrutement, outils de développement et infrastructures actuels sont encore conçus pour l’humain, et non pour les agents.

L’aube du Software 3.0 : la transition du pouvoir dans l’architecture informatique fondamentale

L’industrie technologique se trouve à un carrefour entre une croissance quantitative et une transformation qualitative.

Décembre dernier a été un tournant critique, confie Karpathy, qui a été profondément impressionné par les modèles d’IA les plus récents :

Les blocs de code générés par système deviennent de plus en plus parfaits, je ne me souviens même plus de la dernière fois que je les ai modifiés. Je fais de plus en plus confiance à ce système… (ce qui me fait sentir) aussi dépassé que jamais en tant que programmeur.

Ce choc représente une révolution complète du paradigme de calcul. Selon Karpathy, le marché sous-estime encore la profondeur de ce changement.

Il souligne que nous sommes en train de dire adieu au « logiciel 1.0 » (écriture de code) et au « logiciel 2.0 » (organisation des datasets pour entraîner des réseaux neuronaux), pour entrer dans l’ère du « logiciel 3.0 ».

Dans cette nouvelle ère, les grands modèles de langage sont eux-mêmes une « nouvelle machine ».

Il explique : votre programmation consiste désormais à rédiger des prompts, et le contenu dans la fenêtre contextuelle est le levier pour manipuler ce grand modèle de langage en tant qu’interpréteur, lui permettant d’effectuer des calculs dans l’espace de l’information numérique.

Ce qui attire encore plus l’attention du marché, c’est sa prédiction audacieuse sur l’évolution future de l’architecture matérielle sous-jacente.

Actuellement, les réseaux neuronaux fonctionnent encore virtualisés sur des ordinateurs existants, mais il pense que cette relation entre le sujet et l’objet va s’inverser : on peut imaginer que les réseaux neuronaux deviendront le processus principal, tandis que le CPU se transformera en un co-processeur. Les réseaux neuronaux prendront en charge la majorité des tâches lourdes.

Cela signifie que la « puissance de calcul intelligente », qui domine actuellement les dépenses en capital du marché, verra son rôle stratégique encore renforcé à l’avenir.

La nouvelle infrastructure : reconstruire l’écosystème « natif des agents »

Lorsque l’exécution et la programmation seront prises en charge par des machines, quelles seront les valeurs fondamentales et la future forme d’infrastructure pour l’humanité ?

Karpathy affirme : Tout doit être réécrit.

Les documentations des frameworks et bibliothèques Internet actuels sont encore « écrites pour l’humain », ce qui l’agace profondément.

Karpathy se plaint : Pourquoi me dire comment faire ? Je ne veux rien faire. Dois-je simplement copier-coller du texte dans mon agent IA ?

Le grand marché de demain réside dans la construction d’une infrastructure « orientée agents ».

Dans ce monde, le système sera décomposé en « capteurs » pour percevoir le monde et en « actionneurs » pour le transformer, avec des structures de données hautement lisibles par les grands modèles de langage, et des agents machine représentant individus et institutions pour interagir dans le cloud.

Dans un avenir aussi automatisé, la rareté fondamentale de l’humain reviendra à l’esthétique, au jugement et à la compréhension commerciale la plus profonde.

Karpathy cite une phrase qu’il répète souvent comme résumé : Vous pouvez externaliser votre pensée, mais vous ne pouvez pas externaliser votre compréhension.

L’ingénierie agentique : une explosion de productivité dépassant « 10 fois celle d’un ingénieur »

Dans le domaine de la productivité, la préoccupation principale du marché, Karpathy distingue deux concepts clés : « vibe coding » et « ingénierie agentique ».

Il indique que « vibe coding » élève le seuil minimal de développement logiciel pour tous, tandis que « l’ingénierie agentique » vise à maintenir le plafond de qualité dans le développement professionnel.

L’« ingénierie agentique » ne se limite pas à accélérer, elle exige que les développeurs coordonnent ces « agents IA puissants, parfois sujets à erreur et avec une certaine stochasticité », pour avancer à pleine vitesse sans sacrifier la qualité.

Cela ouvrira également de vastes horizons pour la production d’entreprise.

Karpathy précise : « On parle souvent de 10 fois plus d’efficacité avec un ingénieur, mais ce n’est plus suffisant. À mon avis, ceux qui excellent dans ce domaine peuvent atteindre des pics de productivité bien supérieurs à 10 fois. »

Face à cette explosion de productivité, la structure organisationnelle et la sélection des talents dans les entreprises doivent être repensées.

Il recommande aux entreprises d’abandonner les méthodes traditionnelles d’entretien basées sur des algorithmes, pour évaluer comment les candidats utilisent plusieurs agents IA pour collaborer sur de grands projets, tout en résistant aux attaques d’autres agents IA.

Les leviers pour la mise en œuvre commerciale de l’IA

Pour les entrepreneurs et investisseurs cherchant à déployer rapidement des applications IA, Karpathy propose un cadre d’évaluation très pratique : la vérifiabilité.

Actuellement, les capacités de l’IA présentent une « courbe en dents de scie » très étrange.

Il donne l’exemple : les modèles les plus avancés peuvent aujourd’hui reconstruire simultanément 100 000 lignes de code ou détecter des vulnérabilités zero-day, mais ils vous disent aussi d’aller faire laver votre voiture à 50 mètres, ce qui est complètement fou.

Cette disjonction provient du fait que, dans les laboratoires de pointe (comme OpenAI), d’énormes ressources en apprentissage par renforcement sont concentrées sur des domaines où les résultats sont facilement vérifiables, comme « mathématiques » et « code ».

Ainsi, tant que l’on reste dans des scénarios commerciaux où les résultats peuvent être vérifiés, l’IA peut déployer tout son potentiel.

Karpathy laisse entendre qu’il existe encore de nombreux environnements d’apprentissage par renforcement vérifiables à haute valeur, encore peu exploités par les grands laboratoires, ce qui représente une énorme opportunité pour les startups de faire du fine-tuning et de monétiser.

Lien de la vidéo originale

Cliquez pour découvrir comment BlockBeats rythme le marché et recrute

Rejoignez la communauté officielle de BlockBeats :

Groupe Telegram abonnements : https://t.me/theblockbeats

Groupe Telegram communautaire : https://t.me/BlockBeats_App

Compte officiel Twitter : https://twitter.com/BlockBeatsAsia