Bonjour Caroline, pourriez-vous nous décrire votre parcours et votre connexion avec le domaine de l'intelligence artificielle et de l'éthique?
Mon parcours s'est construit progressivement au croisement de plusieurs disciplines qui, à première vue, pouvaient sembler distinctes, mais se sont révélées profondément complémentaires. Après plus de trente années consacrées à la gestion des données et à l'analytique, j'ai observé de l'intérieur la transformation radicale que nos pratiques professionnelles ont connue avec l'émergence des technologies d'apprentissage automatique, puis de l'intelligence artificielle générative, et maintenant au-delà. Cette expérience de terrain m'a conduite à m'interroger non seulement sur ce que ces technologies permettent de faire, mais surtout sur ce qu'elles nous invitent à reconsidérer dans nos cadres de référence éthiques. Ce qui m'a particulièrement frappée au fil des années, c'est la manière dont les systèmes algorithmiques ne se contentent pas de traiter des données mais participent activement à redéfinir ce qui compte comme valeur dans nos organisations et nos sociétés. J'appelle cela le "déplacement axiologique". Aujourd'hui, au sein d'INSEEC Business School, je m'efforce de conjuguer cette expertise pratique avec une réflexion académique approfondie, notamment par ma participation aux comités d'éthique de la recherche et aux groupes de travail de l'IEEE portant sur les impacts environnementaux de l'IA. Ma recherche actuelle sur le déplacement axiologique porte précisément sur la manière dont les systèmes d'IA transforment fondamentalement les processus de valorisation, bien au-delà de la simple optimisation de cadres existants. Il ne s'agit plus seulement de mesurer ou d'optimiser des valeurs préexistantes, mais de comprendre comment ces technologies reconfigurent en profondeur ce que nous considérons comme digne d'être valorisé.
Quelles sont, selon vous, les implications éthiques les plus urgentes que pose l'intelligence artificielle aujourd'hui, notamment dans le domaine des sciences de la santé et de la finance durable?
Les implications éthiques de l'intelligence artificielle sont multiples, mais certaines me paraissent particulièrement pressantes dans les domaines que vous mentionnez, précisément parce qu'elles touchent à des formes de valorisation essentielles pour nos sociétés. En sciences de la santé, nous assistons à une tension fondamentale entre la promesse d'une médecine personnalisée et les risques de discrimination algorithmique, mais au-delà de cette tension bien identifiée, c'est toute la conception de ce qui fait la valeur d'un acte médical qui se trouve questionnée. Prenons l'exemple des systèmes de diagnostic assisté par IA : lorsqu'un algorithme est entraîné majoritairement sur des données issues de certaines populations, il peut produire des recommandations moins fiables pour d'autres groupes, perpétuant ainsi des inégalités d'accès aux soins. Plus profondément, ces systèmes tendent à valoriser ce qui est quantifiable et reproductible, au détriment des dimensions du soin qui résistent à la formalisation, telles que la relation thérapeutique ou l'intuition clinique forgée par l'expérience. La question du consentement éclairé se pose également avec acuité, car comment un patient peut-il véritablement consentir à l'utilisation de ses données par des systèmes dont le fonctionnement échappe souvent aux praticiens eux-mêmes, et dont les mécanismes de valorisation de l'information médicale restent souvent opaques ?
En finance durable, le paradoxe est peut-être encore plus saisissant car nous touchons ici directement aux processus de valorisation économique. Nous utilisons des technologies extrêmement énergivores pour évaluer des critères environnementaux, sociaux et de gouvernance, ce qui crée une forme de contradiction performative entre les moyens et les fins. J'observe également une tendance préoccupante à ce que les indicateurs ESG produits par des algorithmes deviennent des fins en soi, occultant parfois les réalités concrètes qu'ils sont censés mesurer. Ce phénomène illustre parfaitement ce que j'entends par déplacement axiologique : la valeur ne réside plus dans l'impact environnemental réel d'une entreprise mais dans sa capacité à optimiser des métriques algorithmiques, ce qui constitue un détournement du sens même de la finance durable. Le risque de « greenwashing algorithmique » est réel lorsque des systèmes opaques produisent des scores de durabilité sans que les méthodologies sous-jacentes puissent être véritablement auditées, transformant ainsi la valorisation financière en un jeu de conformité technique déconnecté des enjeux substantiels.
Vous avez coordonné des projets financés par l'UE comme DEFORM et ProRes. Quels résultats ou enseignements significatifs ont émergé de ces projets en matière d'éthique des données?
La coordination de projets financés par l'Union européenne m'a permis de confronter les principes théoriques de l'éthique des données aux réalités concrètes de la recherche collaborative internationale, et notamment de mesurer à quel point les données sont devenues un vecteur central de création de valeur dont la gouvernance soulève des questions inédites. Le projet DEFORM a constitué, à cet égard, une expérience particulièrement révélatrice, puisqu'il visait précisément à évaluer et à rendre visible le coût économique et sociétal de la mauvaise conduite en recherche, ce que les Anglo-Saxons désignent sous le terme de "research misconduct". Cette démarche de valorisation des coûts, souvent négligés parce qu'ils sont diffus et différés, s'est avérée fondamentale pour transformer la perception des enjeux d'intégrité scientifique. Lorsque l'on parvient à chiffrer les conséquences d'une fraude aux données ou d'une falsification de résultats, non seulement en termes de ressources gaspillées pour des recherches fondées sur des prémisses erronées, mais aussi en termes de perte de confiance du public envers la science, d'orientations thérapeutiques inadaptées ou de politiques publiques mal calibrées, le discours éthique cesse d'apparaître comme une préoccupation abstraite pour devenir un impératif stratégique. DEFORM nous a ainsi enseigné que la valorisation économique peut servir l'éthique lorsqu'elle rend tangibles des externalités négatives que les systèmes de gouvernance traditionnels peinent à appréhender.
Au-delà de cette dimension économique, le projet a mis en lumière l'importance cruciale de l'interopérabilité, non seulement technique, mais aussi normative, entre les différents partenaires. Nous avons constaté que les chercheurs de différentes traditions académiques n'attribuaient pas les mêmes significations aux concepts de propriété intellectuelle, de partage des données ou même de consentement, mais, plus fondamentalement, n'accordaient pas la même valeur aux différentes formes de contribution à un projet collectif ni la même gravité aux différentes formes de manquement à l'intégrité. Cette expérience a renforcé ma conviction que l'éthique des données ne peut se réduire à une liste de principes abstraits, mais doit s'incarner dans des pratiques négociées et contextualisées, qui reconnaissent la pluralité des régimes de valorisation à l'œuvre dans la recherche contemporaine tout en établissant des seuils communs en deçà desquels certaines pratiques deviennent inacceptables, quel que soit le contexte culturel ou disciplinaire.
ProRes, quant à lui, a particulièrement éclairé la question de l'intégrité de la recherche à l'ère numérique et nous a confrontés aux tensions entre différentes logiques de valorisation académique, mais son apport le plus distinctif a sans doute porté sur l'analyse des mécanismes de confiance qui sous-tendent l'ensemble de l'entreprise scientifique. La recherche repose en effet sur un édifice de confiance à plusieurs niveaux : confiance entre chercheurs au sein d'une équipe, confiance entre pairs lors de l'évaluation des travaux, confiance des institutions envers leurs personnels, et, plus largement, confiance de la société envers la communauté scientifique dans son ensemble. ProRes nous a permis de cartographier ces mécanismes de confiance et d'identifier leurs points de vulnérabilité à l'ère numérique, où la multiplication des données, l'accélération des échanges et la pression à la publication fragilisent des dispositifs de vérification conçus pour un autre contexte. Ce qui est apparu avec force, c'est que la confiance constitue elle-même une forme de valeur, peut-être la plus précieuse dans l'économie de la connaissance, et que sa destruction par des comportements frauduleux ou simplement négligents représente un coût qui dépasse de loin les cas individuels et affecte la capacité collective à produire et à utiliser des savoirs fiables.
L'un des enseignements majeurs du projet concerne la nécessité de repenser nos cadres de gouvernance pour qu'ils accompagnent l'ensemble du cycle de vie des données, depuis leur collecte jusqu'à leur archivage ou leur destruction, en reconnaissant que la valeur des données évolue dans le temps et selon les usages, et que les mécanismes de confiance doivent être adaptés à chaque étape de ce cycle. Nous avons également développé des méthodologies pour évaluer les risques éthiques en amont des projets, ce qui s'est révélé bien plus efficace que les approches correctives a posteriori, et pour renforcer les dispositifs de confiance là où ils apparaissaient les plus fragiles. Un apport significatif de ce projet a été de montrer comment les métriques de valorisation de la recherche, telles que les indicateurs bibliométriques, peuvent créer des incitations perverses qui compromettent l'intégrité scientifique lorsqu'elles deviennent les seuls critères d'évaluation de la valeur d'un travail de recherche, et comment ces incitations peuvent éroder progressivement les mécanismes de confiance sur lesquels repose pourtant toute l'entreprise scientifique. En croisant les enseignements de DEFORM sur les coûts de la mauvaise conduite et ceux de ProRes sur les mécanismes de confiance et les structures incitatives, nous avons pu élaborer une vision plus systémique où l'éthique de la recherche apparaît indissociable des structures de valorisation qui orientent les comportements des chercheurs, ainsi que des relations de confiance qui permettent à la connaissance de circuler et de s'accumuler.
En tant qu'experte consultante, comment abordez-vous la sensibilisation des entreprises aux enjeux éthiques liés à l'IA tout en intégrant des pratiques durables?
Mon approche de l'accompagnement des entreprises repose sur une conviction fondamentale : l'éthique de l'IA ne doit pas être perçue comme une contrainte extérieure mais comme une source de création de valeur durable, à condition de repenser ce que nous entendons par valeur. Il s'agit de dépasser une conception étroitement financière pour intégrer des dimensions sociales, environnementales et relationnelles qui contribuent à la pérennité des organisations. Concrètement, je commence généralement par un travail de diagnostic visant à identifier les « points de friction éthiques » spécifiques à l'organisation, c'est-à-dire les moments où les décisions algorithmiques entrent en tension avec les valeurs affichées de l'entreprise, mais aussi où les mécanismes de valorisation automatisés s'écartent de ce que l'organisation prétend considérer comme important.
Par exemple, j'ai accompagné une entreprise qui avait déployé un système de scoring médical pour prédire une pathologie spécifique, mais l'analyse approfondie de ce système révélait des biais systématiques à l'égard de certains profils. Plutôt que de pointer des responsabilités, nous avons travaillé ensemble à comprendre comment ces biais s'étaient introduits dans le système et à développer des mécanismes de détection continue, mais surtout à élargir la définition de la valeur créée pour inclure notamment l'impact social.
J'insiste également beaucoup sur l'articulation entre l'éthique et la durabilité environnementale, car trop souvent ces deux dimensions sont traitées séparément, alors qu'elles relèvent d'une même interrogation sur les formes de valorisation que nous souhaitons promouvoir. Choisir un modèle d'IA moins performant mais significativement moins énergivore peut constituer un choix éthiquement défendable lorsque le gain de performance marginal ne justifie pas l'empreinte carbone supplémentaire. Cela suppose de remettre en question l'équation implicite selon laquelle la valeur d'un système se mesure uniquement par sa précision ou par son efficacité, afin d'intégrer son coût environnemental et social dans l'évaluation de sa contribution réelle.
Pouvez-vous partager un défi concret que vous avez rencontré dans l'application des principes éthiques aux technologies d'IA, et comment vous l'avez surmonté?
L'un des défis les plus marquants concerne un projet d'analyse prédictive, encore en cours, dans le secteur de l'éducation, dont l'objectif initial est d'identifier précocement les étudiants à risque de décrochage. Ce projet cristallise les tensions entre différentes conceptions de la valeur éducative et les dangers d'une valorisation algorithmique mal pensée. Le système fonctionne remarquablement bien sur le plan statistique, mais son déploiement soulève des questions éthiques encore insuffisamment anticipées. Les enseignants qui reçoivent des alertes du système tendent à modifier leur comportement à l’égard des étudiants identifiés comme « à risque », ce qui peut entraîner une prophétie autoréalisatrice. Par ailleurs, certains étudiants issus de milieux défavorisés apparaissent systématiquement surreprésentés dans les alertes, non pas en raison de leurs capacités intrinsèques mais parce que le modèle a appris à partir de données historiques reflétant des inégalités structurelles.
Ce que cette expérience m'apprend sur les processus de valorisation est essentiel : en définissant le « risque de décrochage » comme variable à prédire, nous avons implicitement fait de la diplomation le seul critère de valeur du parcours éducatif, négligeant d'autres formes d'accomplissement et de développement personnel. Le système valorise la conformité à une trajectoire normée au détriment de parcours alternatifs tout aussi légitimes. Pour surmonter ce défi, nous adoptons une approche plus participative en tentant d'impliquer les étudiants eux-mêmes dans la redéfinition des objectifs du système et, plus fondamentalement, dans la réflexion sur la valeur d'une formation. Plutôt que de prédire le décrochage, nous recentrons l'outil sur l'identification des ressources de soutien les mieux adaptées à chaque profil, en donnant aux étudiants un contrôle sur les informations qui les concernent et les recommandations qui leur sont adressées. Cette transformation pourra permettre de passer d'une logique de valorisation déficitaire, centrée sur le risque et l'échec, à une logique de valorisation capacitante, centrée sur le potentiel et l'accompagnement. Mais c'est un processus en cours, encore très théorique, à suivre donc...
Selon vous, quelles seront les évolutions futures de l'intégration de l'éthique dans l'IA au cours des prochaines années?
Je perçois plusieurs tendances qui me semblent structurantes pour les années à venir, et qui convergent toutes vers une interrogation fondamentale sur les régimes de valorisation que nous souhaitons collectivement promouvoir. Tout d'abord, le cadre réglementaire européen, notamment le Règlement sur l'IA, va progressivement transformer l'éthique d'une démarche volontaire en une exigence juridique, ce qui aura des effets ambivalents : d'un côté, une meilleure protection des droits fondamentaux ; de l'autre, un risque de réduction de l'éthique à une simple conformité réglementaire, où la valeur de la démarche éthique se mesurerait à l'absence de sanctions plutôt qu'à la qualité des pratiques. J'anticipe également une professionnalisation croissante des fonctions liées à l'éthique de l'IA, avec l'émergence de nouveaux métiers et de nouvelles certifications, mais aussi le danger d'une « éthique de façade » si ces fonctions restent déconnectées des processus décisionnels réels et des mécanismes de création de valeur au sein des organisations.
Sur un plan plus conceptuel, je suis convaincue que nous assisterons à un déplacement du débat éthique, qui se concentre actuellement sur les questions de biais et de transparence, vers des interrogations plus fondamentales sur l'autonomie humaine et le déplacement axiologique. La question centrale deviendra celle-ci : comment préserver notre capacité collective à définir ce qui compte comme valeur lorsque des systèmes algorithmiques influencent de manière croissante nos préférences, nos choix et même notre conception de ce qui est souhaitable ? Les systèmes de recommandation, par exemple, ne se contentent pas de refléter nos goûts mais contribuent activement à les façonner, créant des boucles de rétroaction où la valeur que nous attribuons aux choses est de plus en plus médiatisée par des algorithmes optimisés pour d'autres fins. Cette question de la valorisation autonome, de notre capacité à déterminer par nous-mêmes ce qui mérite d'être poursuivi, me semble être l'enjeu éthique majeur des années à venir.
Pour ceux qui débutent dans ce domaine, quel conseil donneriez-vous pour naviguer entre avancées technologiques et considérations éthiques?
À ceux qui souhaitent s'engager dans ce champ passionnant, je conseillerais avant tout de cultiver une double compétence, à la fois technique et humaniste, car les enjeux éthiques de l'IA ne peuvent être correctement appréhendés ni par les seuls ingénieurs ni par les seuls philosophes. Concrètement, cela peut signifier, pour un profil technique, de suivre des formations en philosophie morale ou en sciences sociales, et, inversement, pour un profil en sciences humaines, d'acquérir une compréhension solide des mécanismes de l'apprentissage automatique. Cette hybridation est d'autant plus nécessaire que les questions de valeur et de valorisation traversent aussi bien les choix techniques que les orientations stratégiques des projets d'IA.
Je recommande également de s'ancrer dans des cas concrets plutôt que de rester dans l'abstraction des grands principes. L'éthique de l'IA se joue dans les détails apparemment anodins des choix de conception, dans la manière dont on formule une question, dans la manière dont on sélectionne des données d'entraînement ou dans la manière dont on définit une métrique de performance. Chacune de ces décisions techniques est aussi une décision sur ce qui compte, sur ce qui mérite d'être mesuré et optimisé, et donc sur les formes de valorisation que le système va promouvoir. Comprendre les mécanismes de valorisation à l'œuvre dans les systèmes algorithmiques, qu'il s'agisse de la valorisation économique des données, de la valorisation sociale des comportements ou de la valorisation épistémique des informations, constitue une compétence clé pour qui veut naviguer intelligemment entre les avancées technologiques et les considérations éthiques.
Enfin, je suggère de développer une posture d'humilité épistémique : nous sommes face à des technologies dont les effets à long terme restent largement imprévisibles, et prétendre avoir des réponses définitives serait aussi dangereux que de renoncer à poser des questions. Cette humilité doit s'accompagner d'une vigilance constante quant aux valeurs implicites que nous inscrivons dans les systèmes que nous concevons ou déployons, car ces valeurs, une fois cristallisées dans le code, acquièrent une force d'inertie considérable et contribuent à façonner ce que les générations futures considéreront comme normal, souhaitable ou possible. Pour finir, il me paraît important de ne jamais oublier la démarche maieutique face aux outils d’IA de plus en plus performants ; ceux-ci ne doivent pas nous livrer des réponses toutes faites, mais nous apprendre à poser et nous poser des questions de plus en plus fines, granulaires, donc intelligentes. L'IA augmente l'humain et ne doit jamais s'y substituer.
Pour en savoir plus : https://www.inseec.com/grande-ecole/
Caroline Gans-Combe est économiste, Professeure associée et Directrice de la Recherche Structurée à l'INSEEC Grande Ecole depuis 2015 (Groupe OMNES Education), spécialisée dans l'évaluation des actifs écosystémiques/non conventionnels, l'éthique, les données, la gestion des risques, avec une attention particulière à la transition économique, l'intelligence artificielle et aux marchés émergents. Elle a coordonné des projets financés par l'UE et - en tant qu'expert - elle participe à de nombreux groupes de travail auprès de divers organismes internationaux (EU, ITU, IEEE...) relatifs à ses sujets de recherche. Anciennement chercheuse au Cnam, elle a également enseigné à l'Université de Versailles Saint-Quentin-en-Yvelines, Nanterre ou encore Angers. Auteure de plus de 40 publications académiques (https://www.nature.com/articles/s44264-025-00102-z), elle est diplômée de l'IEP Paris, détient des diplômes en linguistique, données et intelligence artificielle, et est certifiée Six Sigma Black Belt.
