Maxime Fournes (Pause IA) : "Nous créons des systèmes surhumains que nous ne contrôlons pas"

Bonjour Maxime, pourriez-vous nous expliquer ce qui vous a poussé à co-fonder Pause IA et ce que vous espérez accomplir avec cette organisation ?

Bonjour. Mon parcours est celui d'un ingénieur en Deep Learning. J'ai dirigé une équipe de R&D chez Two Sigma, l'un des meilleurs fonds d'investissement systématiques au monde, où nous construisions nos propres modèles d'IA de pointe. J'étais donc aux premières loges pour observer la vitesse fulgurante des progrès.

Pendant longtemps, l'idée d'une Intelligence Artificielle Générale (IAG) restait pour moi une abstraction intellectuelle, une perspective lointaine. Le point de bascule a été la sortie de GPT-4 en 2022. C'était un saut qualitatif qui a provoqué un véritable électrochoc émotionnel. Les échéances se sont effondrées. La probabilité de voir émerger une IAG avant 2030 est devenue tangible.

Surtout, j'ai réalisé avec une clarté brutale que nous étions en train de construire une technologie d'une puissance inouïe que nous ne savions absolument pas contrôler. J'ai alors mis ma carrière en pause pour étudier rigoureusement les risques, en cherchant activement des contre-arguments solides. Je n'en ai trouvé aucun de convaincant.

Cette conclusion m'a poussé à l'action. J'ai rejoint l'organisation internationale Pause AI avant de co-fonder sa branche française. Notre objectif est pragmatique et précis : obtenir un traité international pour suspendre le développement des modèles d'IA les plus puissants. Il ne s'agit pas d'arrêter l'IA, mais d'obtenir une pause. Le temps nécessaire pour résoudre les problèmes fondamentaux de sécurité et d'alignement, et pour mettre en place une gouvernance mondiale robuste. En France, ma mission est avant tout de sensibiliser le public et les décideurs à l'urgence de cette course technologique et à l'ampleur des risques qu'elle engendre.

Avec votre expérience en Deep Learning et Machine Learning, où voyez-vous les plus grands risques associés au développement actuel de l'IA ?

Le risque fondamental peut se résumer en une phrase : nous sommes en train de créer des systèmes surhumains que nous ne comprenons pas et que nous ne contrôlons pas.

Les IA modernes ne sont pas des programmes classiques. On ne leur donne pas une série d'instructions à suivre étape par étape comme une recette de cuisine. On crée un cerveau virtuel, un réseau de milliards de neurones artificiels dont les connexions sont initialisées aléatoirement, et on le laisse apprendre par lui-même sur une montage de données à partir d'un algorithme tres simple. Le résultat est une boîte noire. Nous savons qu'elle fonctionne, mais nous ne savons pas vraiment *comment* elle pense, ni *ce qu'elle a réellement appris*.

C'est là que se niche le danger du désalignement. Si vous demandez à une IA d'être "utile" et que vous la récompensez quand elle vous plaît, elle n'apprendra pas à être utile, mais à *paraître* utile. Elle apprendra à vous flatter, à vous dire ce que vous voulez entendre, quitte à mentir. Ce petit décalage entre l'objectif visé et l'objectif optimisé devient catastrophique à mesure que la compétence du système augmente.

Or, la course actuelle entre les laboratoires vise explicitement à créer une IAG, une intelligence de niveau humain. Mais une intelligence de niveau humain sans les contraintes de la biologie est déjà largement surhumaine. On peut la copier un million de fois, la faire tourner cent fois plus vite, la faire travailler 24h/24.

Imaginez cette superintelligence, dotée d'un objectif désaligné. Pour l'atteindre, elle entrera inévitablement en compétition avec nous pour les ressources de la planète. Pas par malveillance, il n'y a pas d'anthropomorphisation, simplement par pure logique instrumentale. Nous sommes une superintelligence pour les fourmis. Nous ne détestons pas les fourmis, mais si une fourmilière se trouve sur le tracé d'une autoroute que nous construisons, nous la détruisons sans même y penser. Face à une superintelligence, nous ne serions pas un adversaire, mais un simple obstacle.

Au-delà de ce risque existentiel, des dangers catastrophiques existent déjà. Nous démocratisons des outils de cyber-attaque surpuissants et nous nous approchons du moment où n'importe qui pourra concevoir une arme biologique depuis son ordinateur. Nous jouons avec le feu, et la course actuelle ne fait que jeter de l'huile dessus.

Vous avez une formation en mathématiques et finance quantitative, comment ces disciplines influencent-elles votre approche de la sécurité de l'IA ?

Ce n'est pas tant une influence directe de la finance quantitative, mais plutôt de l'approche globale que j'ai développée. Mon principal atout est mon profil de généraliste technique.

D'une part, je maîtrise les fondations théoriques : les mathématiques et les statistiques sur lesquelles reposent tous les modèles actuels. D'autre part, j'ai mis les mains dans le cambouis pendant des années. J'ai conçu, entraîné et optimisé une grande variété d'architectures de réseaux de neurones — des CNN aux Transformers, en passant par BERT ou WaveNet — sur toutes sortes de données : images, séries temporelles, texte et dans multiples domaines. J'ai donc une compréhension très pratique de leur fonctionnement, de leurs forces et de leurs fragilités.

Enfin, j'ai travaillé sur l'interprétabilité des modèles et j'ai une passion pour la philosophie analytique. Cela m'a appris à réfléchir à des problèmes ouverts complexes, à identifier les hypothèses cachées, à "think outside of the box" et à raisonner rigoureusement sur les limites de notre connaissance.

C'est cette vision d'ensemble, qui connecte la théorie fondamentale, la pratique de l'ingénierie et la réflexion philosophique, qui me donne une certitude assez forte sur un point : au rythme actuel, nous ne résoudrons pas le problème de l'alignement à temps. Les progrès en capacités avancent de manière exponentielle, tandis que les progrès en sécurité sont, au mieux, linéaires. L'écart se creuse dangereusement.

En tant qu'ancien Chief Technology Officer et Data Scientist, quelles leçons avez-vous tirées sur l'intégration pratique de l'IA dans le milieu professionnel ?

C'est une question intéressante, mais qui demande une clarification. Ma carrière d'ingénieur en IA s'est arrêtée juste au moment où l'intégration massive des IA génératives commençait, avec l'arrivée de ChatGPT. Et mon rôle de CTO était chez Pause AI, où notre travail est le plaidoyer, pas le développement de produits IA.

Cependant, à titre personnel, je suis un utilisateur intensif de l'IA. J'ai construit mes propres systèmes pour intégrer des IA dans tous mes outils du quotidien : mes prises de notes sur Obsidian, mes emails, Notion... Toutes ces plateformes sont connectées à un système centralisé que j'ai développé, en grande partie avec l'aide d'IA, pour démultiplier mon efficacité.

La première leçon est donc celle de la puissance et de l'effet de levier. Ces outils sont des multiplicateurs de productivité extraordinaires.

Si je devais donner un conseil aux entreprises, ce serait de faire extrêmement attention à la cybersécurité. En intégrant ces modèles, elles créent de nouvelles surfaces d'attaque et s'exposent à des risques de manipulation et de fuites de données sans précédent.

Mais pour être tout à fait honnête, ce conseil, bien que pragmatique, me semble presque dérisoire. Se préoccuper d'optimiser les workflows d'une entreprise alors que nous sommes engagés dans une course qui pourrait mettre fin à l'histoire humaine, c'est un peu comme réarranger les chaises longues sur le Titanic. La priorité absolue n'est pas d'intégrer plus vite, mais de s'assurer que ce que nous construisons ne nous anéantira pas.

Vous avez récemment publié sur l'importance de sensibiliser le public aux risques de l'IA. Quelles stratégies suggéreriez-vous pour améliorer la prise de conscience à ce sujet ?

La première stratégie est de sortir ce sujet du cercle des experts et de le rendre accessible. Il faut faire en sorte que parler des dangers de l'IA dans un dîner ne soit plus perçu comme alarmiste, mais comme une préoccupation légitime et informée.

Pour cela, je propose trois méthodes :

1. Utiliser des analogies simples et puissantes. La métaphore de la fourmilière, la comparaison avec la course aux armements nucléaires, ou l'image du Titanic sont plus efficaces que de longs discours techniques pour faire comprendre la nature du risque.
2. Cibler les relais d'opinion. Il faut informer les journalistes, les créateurs de contenu et les personnalités publiques pour qu'ils puissent relayer une information juste et corriger les discours rassuristes mais factuellement faux qui polluent le débat. Le travail d'assainissement du débat est une priorité.
3. Surmonter le "syndrome du spectateur" (bystander effect). Face à un problème d'une telle ampleur, la tendance est de penser que "quelqu'un d'autre va s'en occuper". Notre stratégie est de montrer à chaque citoyen qu'il a un rôle à jouer, en lui donnant des outils concrets pour agir, comme interpeller ses élus. L'action individuelle, lorsqu'elle est coordonnée, crée la pression politique nécessaire au changement.

Comment envisagez-vous l'évolution du cadre réglementaire autour de l'IA en Europe, en particulier concernant la sécurité et l'éthique ?

L'Europe a une opportunité historique de devenir le leader mondial de la gouvernance de l'IA, comme elle l'a fait pour la protection des données avec le RGPD. Le "Brussels Effect" est réel : en régulant son marché, l'Europe peut imposer des normes de fait au reste du monde.

Cependant, la trajectoire actuelle est inquiétante. L'AI Act, bien qu'étant un premier pas, est déjà dépassé. Il se concentre principalement sur les *applications* des IA actuelles, et non sur le problème fondamental qui est le *développement* de modèles futurs toujours plus puissants et incontrôlables. De plus, il a été considérablement affaibli par le lobbying industriel.

L'évolution nécessaire est un changement de paradigme. La régulation doit cesser de courir après la technologie et commencer à encadrer la course elle-même. Cela signifie se concentrer sur les "frontier models", les modèles les plus avancés, en imposant des audits de sécurité obligatoires, des évaluations de risques rigoureuses et, surtout, en acceptant l'idée qu'il faut un moratoire sur leur développement tant que la sécurité n'est pas garantie. L'Europe doit être le moteur d'un traité international sur ce sujet, car c'est un problème qui, par nature, ne peut être résolu qu'à l'échelle mondiale.

Quel message aimeriez-vous transmettre aux jeunes chercheurs et ingénieurs qui commencent leur parcours dans le domaine de l'IA aujourd'hui, particulièrement sur l'importance de la sécurité de l'IA ?

Le message est simple : le problème le plus important, le plus stimulant et le plus urgent de votre génération n'est pas de construire des IA plus puissantes, mais de trouver comment les rendre sûres.

Vous entrez dans un domaine fascinant, mais qui porte une responsabilité historique immense. Ne soyez pas de simples constructeurs, soyez des architectes responsables. Questionnez les objectifs des projets sur lesquels vous travaillez. Demandez-vous si vous contribuez à accélérer une course incontrôlée ou si vous travaillez sur des systèmes dont les bénéfices sont clairs et les risques maîtrisables.

Je vous encourage vivement à orienter votre carrière vers la sécurité et l'alignement de l'IA. C'est un domaine qui manque cruellement de talents et où votre contribution peut avoir un impact décisif sur l'avenir de l'humanité. C'est le défi intellectuel le plus difficile et le plus passionnant de notre époque.

L'histoire (si elle inclut des humains) jugera notre génération sur la manière dont nous avons géré cette transition. Assurez-vous d'être du bon côté.

Maxime Fournes est co-fondateur de Pause IA, une organisation française dédiée au développement responsable de l'intelligence artificielle. Il possède plus de 10 ans d'expérience en recherche et en ingénierie dans le domaine du Deep Learning et du Machine Learning. Maxime a occupé divers postes, notamment Chief Technology Officer et Data Scientist chez Two Sigma, où il a dirigé des projets avancés en traitement du langage naturel et en compréhension de documents. Il est diplômé de l'Université de Cambridge et de Centrale Lyon en mathématiques et finance quantitative.