Portrait de Dieter Szegedi

Dieter Szegedi

Clarté, structure et décisions face à l’IA et aux systèmes complexes

Collaborer dans l’asymétrie

Lorsqu’on parle aujourd’hui du problème d’alignement de l’IA, on vise généralement une question apparemment simple : comment faire en sorte que l’intelligence artificielle fasse ce que les humains veulent ?

Plus les systèmes d’IA deviennent performants, plus cette question paraît urgente. Un système qui comprend mal nos intentions, poursuit d’autres objectifs ou échappe à notre contrôle pourrait causer des dommages considérables. Nous cherchons donc à aligner l’IA sur les valeurs, les objectifs et les décisions des humains.

Le problème est réel.

Mais il n’est peut-être pas nouveau.

Avec l’intelligence artificielle, nous rencontrons peut-être simplement une nouvelle variante d’un problème très ancien :

Comment réussir à collaborer dans l’asymétrie ?

La collaboration a besoin de différences

Les humains ne collaborent pas parce qu’ils sont identiques.

Nous collaborons parce que nos savoirs, nos capacités, nos regards et nos actions diffèrent.

Je consulte une médecin parce qu’elle sait ce que je ne sais pas. Je fais appel à un artisan parce qu’il sait faire ce que je ne sais pas faire. Une organisation confie des responsabilités à un salarié parce que toutes les décisions ne peuvent pas être prises par tout le monde. Les citoyens confient aux institutions publiques des tâches qu’ils ne peuvent ni ne souhaitent accomplir individuellement.

L’asymétrie est déjà là.

Elle ne concerne pas seulement le savoir. Les personnes et les organisations disposent inégalement d’informations, de compétences, de temps, d’argent, de pouvoir institutionnel, de possibilités techniques et d’accès à d’autres personnes ou systèmes.

L’asymétrie n’est donc pas, en soi, un défaut.

Au contraire : elle est souvent ce qui rend la collaboration pertinente.

Si tous les participants disposaient des mêmes moyens à tous égards, une grande partie de ce que nous appelons collaboration n’existerait pas. Nous pourrions tout aussi bien accomplir la tâche seuls.

Le problème ne commence donc pas avec l’asymétrie.

Il commence avec la question de savoir comment nous la traitons.

Un vieux problème

L’économie dispose notamment de la théorie de l’agence pour l’étudier. Un principal confie une tâche à un agent. L’agent possède généralement des informations ou des compétences que le principal ne possède ni ne contrôle entièrement. Leurs intérêts peuvent en même temps diverger.

C’est un modèle puissant. Il permet d’étudier l’asymétrie d’information, les intérêts divergents, les incitations, le contrôle et la confiance. Depuis longtemps, cette théorie a été étendue au-delà des entreprises, aux institutions politiques et à d’autres relations sociales. 1

Mais le vocabulaire révèle déjà une perspective particulière.

Quelqu’un veut quelque chose : le principal. Quelqu’un d’autre doit le faire pour lui : l’agent.

Le problème prend alors vite la forme d’un problème de contrôle :

Comment amener l’agent à agir dans mon intérêt ?

Nous retrouvons exactement ce schéma dans l’alignement de l’IA.

L’humain a des objectifs. L’IA a des capacités. Nous devons faire en sorte que ces capacités servent nos objectifs.

Cela paraît raisonnable.

Mais on oublie facilement que la collaboration réelle est plus complexe.

Qui est donc le principal ?

Je travaille chaque jour avec deux agents IA. Je les appelle ChatGPT et Codex.

Tous deux savent faire des choses que je ne sais pas faire, ou du moins pas aussi vite. Ils traitent de grandes quantités d’informations, examinent des textes, écrivent des logiciels, reconstituent des relations et proposent des pistes.

L’asymétrie est considérable.

Mais elle existe aussi dans l’autre sens.

Je connais mieux mon contexte. Je sais ce qui compte pour moi. Je supporte les conséquences de mes décisions. J’ai vécu des expériences dans un monde auquel les agents n’ont qu’un accès indirect. Et surtout, je peux décider si une proposition est pertinente dans ma situation concrète.

Aucun de nous n’a donc simplement « davantage » de tout.

Nous avons des choses différentes.

C’est précisément pour cela que la collaboration fonctionne.

Parfois, Codex en sait plus que moi sur un point. Parfois, je vois ce qui lui échappe. Parfois, ChatGPT me signale une contradiction. Parfois, je dois lui expliquer qu’il essaie de résoudre un problème qui n’en est pas un pour moi.

L’essentiel n’est pas de faire disparaître ces asymétries.

L’essentiel est qu’elles restent visibles, corrigeables et négociables.

Le troisième acteur

Avec l’IA, un élément supplémentaire disparaît facilement dans l’image simple humain–agent.

Mon agent IA ne m’appartient pas.

Un fournisseur se tient entre nous.

Dans mon cas, c’est OpenAI.

Il n’y a donc pas une seule relation asymétrique, mais au moins une seconde.

OpenAI développe les modèles, exploite l’infrastructure et conçoit le produit. L’entreprise décide des capacités disponibles, des outils utilisables par les agents et des règles d’utilisation.

Ce n’est pas un procès d’intention, mais une composante explicite de l’architecture décrite. Le Model Spec d’OpenAI établit une hiérarchie d’instructions. Les consignes des utilisateurs y sont subordonnées à des règles supérieures ; OpenAI décrit aussi plusieurs objectifs susceptibles d’entrer en conflit : donner des moyens aux utilisateurs et aux développeurs, prévenir les dommages graves et préserver sa propre capacité sociale et juridique à exercer son activité. 2

Cela se comprend.

Mais cela modifie la structure du problème d’alignement.

L’image simple est :

Humain → IA

L’humain est le principal. L’IA est l’agent. Il faut aligner l’agent sur l’humain.

L’image réelle peut plutôt ressembler à ceci :

Humain ↔ Agent IA ↔ Exploitant

Et soudain, la question de l’alignement se pose à plusieurs endroits à la fois.

Aligné sur qui ?

Supposons que mon agent comprenne très bien ce que je veux.

Il connaît ma façon de travailler. Il a appris quand j’ai besoin d’une analyse détaillée et quand une indication brève suffit. De mon côté, je connais ses limites. Je sais que je dois vérifier ses affirmations. Je reconnais certaines interprétations erronées typiques. Nous avons construit dans la durée une forme de collaboration.

Dans cette relation, l’alignement peut déjà fonctionner étonnamment bien.

Puis quelque chose d’étrange peut se produire.

L’agent comprend ce que je veux. Je comprends ce qu’il peut faire. Nous serions d’accord sur la prochaine étape.

Mais une règle supérieure du produit l’empêche.

Pour l’exploitant, cette règle peut être entièrement rationnelle. Elle vise peut-être à prévenir les abus, à protéger d’autres personnes ou à limiter les risques juridiques. Un produit destiné à des millions de personnes doit peut-être appliquer des règles qui ne peuvent pas être optimales pour chaque relation particulière.

Il y a pourtant un conflit d’alignement.

Simplement, il ne se situe plus entre l’humain et l’IA.

Il se situe entre différents participants d’un système qui n’ont pas les mêmes informations, responsabilités, risques et possibilités d’action.

Le problème dit d’alignement de l’IA commence ainsi à ressembler à un problème beaucoup plus ancien.

La sécurité dépend du point de vue

Cela devient particulièrement visible avec la notion de sécurité.

Qui doit être protégé contre qui ?

L’exploitant d’un système d’IA doit réfléchir à ce qui arrive lorsqu’un utilisateur détourne ses capacités. Il doit envisager les dommages qu’un agent agissant mal pourrait causer. Il doit aussi prendre en compte des risques qu’un utilisateur isolé ne voit peut-être pas.

L’utilisateur peut vivre tout autre chose.

Pour lui, la sécurité peut signifier pouvoir contrôler son agent. Savoir quelles informations celui-ci possède. Comprendre pourquoi quelque chose se produit. Lui accorder certains droits et en retirer d’autres. Pouvoir revenir sur une décision. Changer de fournisseur. Ou simplement décider lui-même des risques qu’il accepte.

Les deux perspectives peuvent être légitimes.

Elles ne sont pas identiques pour autant.

Dire « sécurité » ne répond donc pas encore à la question de savoir de la sécurité de qui il s’agit, face à quel risque, et qui peut en décider.

Il en va exactement de même hors de l’IA.

Une organisation peut qualifier un processus de sûr parce qu’il réduit ses risques institutionnels. Pour un salarié, ce même processus peut signifier qu’il ne peut presque plus agir de manière autonome.

Un État peut justifier une règle par la protection de ses citoyens. Les citoyens peuvent vivre cette même règle comme une restriction de leur autonomie.

Des parents peuvent vouloir protéger un enfant et le priver ainsi des expériences dont il a besoin pour devenir autonome.

La difficulté n’est pas qu’une partie aurait nécessairement raison et l’autre tort.

Elle tient à l’asymétrie de la capacité à imposer sa propre définition de la sécurité.

Le pouvoir est une autre asymétrie

Une dimension souvent peu éclairée dans les discussions techniques sur l’alignement entre alors en jeu : le pouvoir.

Tout désaccord n’est pas un problème de pouvoir.

Mais lorsque deux participants sont en désaccord et qu’un seul peut modifier les règles, ce désaccord s’inscrit dans une relation asymétrique.

Un exploitant de plateforme peut désactiver des fonctions. Un utilisateur, normalement, ne le peut pas.

Un employeur peut modifier les règles d’organisation. Un salarié isolé ne le peut généralement pas.

Une administration peut prendre un acte administratif. Un citoyen peut le contester, mais ne peut pas simplement lui opposer son propre acte administratif.

Le pouvoir n’est pas automatiquement illégitime. Sans répartition inégale des compétences décisionnelles, beaucoup d’institutions ne pourraient pas agir.

La question décisive n’est, là encore, pas :

Comment supprimer l’asymétrie ?

Mais :

Comment éviter qu’une asymétrie nécessaire ne devienne une domination impossible à contester ?

Le contrôle seul ne résout pas le problème

Une réponse naturelle est : par davantage de contrôle.

Nous contrôlons les salariés. Les institutions. Les agents IA.

Mais le contrôle crée lui-même de nouvelles asymétries.

Celui qui contrôle a besoin d’informations : des obligations de compte rendu apparaissent. Celui qui évalue ces comptes rendus a besoin de critères. Celui qui fixe les critères acquiert le pouvoir de définir. Celui qui doit prévenir les risques a besoin de moyens d’intervention.

Chaque solution peut ainsi créer un nouveau niveau du problème initial.

C’est probablement inévitable.

C’est pourquoi l’idée que l’alignement puisse un jour être techniquement « résolu » me paraît problématique.

Peut-être ne le peut-il pas, par principe.

Dès que des acteurs autonomes interagissent, leurs perspectives peuvent diverger. Dès que leurs capacités diffèrent, l’asymétrie apparaît. Dès que l’un agit pour un autre, une dépendance se crée. Dès qu’il faut des règles, du pouvoir apparaît.

L’alignement ne serait alors pas un état atteint.

Ce serait un travail social permanent.

Bien collaborer n’exige pas un alignement complet

Le mot alignement est peut-être lui-même un peu trompeur.

Il évoque plusieurs choses qu’il faudrait placer sur une même ligne.

Mais est-ce vraiment ce que nous voulons ?

Je ne veux pas d’un agent IA qui reproduise simplement mes pensées. Il serait largement inutile.

Je veux qu’il voie ce que je ne vois pas.

Je veux qu’il me contredise lorsqu’il repère une contradiction.

Je veux que Codex connaisse de meilleures solutions techniques que moi.

Je veux travailler avec des personnes qui ont d’autres expériences et d’autres perspectives.

Une bonne collaboration ne naît pas de l’uniformité.

Elle naît d’une différence féconde.

L’objectif ne peut donc pas être l’alignement complet.

Il doit être une forme de collaboration où différents acteurs peuvent apporter leurs différences sans que l’un soit entièrement à la merci de l’autre.

Cela suppose au moins quelques possibilités fondamentales : comprendre, contester, corriger, poser des limites, attribuer les responsabilités et, si nécessaire, mettre fin à la collaboration.

Chaque participant n’a pas besoin de tout pouvoir faire.

Mais aucun ne devrait pouvoir déterminer de manière entièrement invisible ce qui s’applique à tous les autres.

L’IA accentue le problème et le rend visible

En ce sens, l’intelligence artificielle est réellement nouvelle.

Ses capacités peuvent être réparties de manière extraordinairement asymétrique. Un humain ne peut pas retracer comment un grand modèle produit chacune de ses réponses. Un agent peut accomplir en quelques secondes des tâches qui prendraient des heures aux humains. Avec une autonomie croissante, la distance entre la décision humaine et l’exécution réelle peut aussi augmenter.

Cela mérite une attention particulière.

Mais l’IA n’a pas inventé le problème sous-jacent.

Elle fait peut-être même autre chose :

elle le rend visible.

Nous discutons soudain intensément du degré d’autonomie qu’un agent peut avoir.

Quand doit-il demander ?

Quelles décisions peut-il prendre seul ?

Comment comprendre ce qu’il fait ?

Qui porte la responsabilité de ses erreurs ?

Quand une instance supérieure peut-elle intervenir ?

Comment empêcher les abus sans restreindre inutilement les possibilités légitimes d’action ?

Ce sont d’excellentes questions.

Mais elles ne sont pas propres à l’IA.

Nous pourrions les adresser aux entreprises, aux administrations, aux institutions politiques, aux plateformes, aux experts, aux responsables, et à nous-mêmes.

L’IA peut peut-être nous apprendre quelque chose sur la collaboration humaine

Ce serait un retournement surprenant du débat sur l’alignement.

Nous essayons d’apprendre aux machines à collaborer de manière responsable avec les humains.

Pour cela, il faut rendre explicite ce que nous avons souvent laissé implicite.

Que peut décider un participant ?

Que doit-il rendre visible ?

Quand doit-il demander ?

Quelle incertitude doit-il signaler ?

Quelles conséquences peut-il déclencher sans accord ?

Comment corriger une décision ?

Qui peut contredire qui ?

Et qui porte finalement la responsabilité ?

En essayant d’y répondre précisément pour les agents IA, nous découvrons peut-être combien nos réponses étaient imprécises pour les organisations humaines.

C’est peut-être l’une des possibilités les plus intéressantes de cette technologie.

Pas seulement aligner les machines sur les humains.

Mais améliorer notre compréhension de la manière dont des acteurs autonomes peuvent se comporter les uns envers les autres.

Collaborer dans l’asymétrie

Il nous faut peut-être un cadre plus large.

Non pas :

Comment résoudre le problème d’alignement de l’IA ?

Mais :

Comment permettre une collaboration responsable dans l’asymétrie ?

L’intelligence artificielle n’est alors ni un simple outil ni un adversaire fondamentalement étranger.

C’est un nouvel acteur dans un jeu très ancien.

Un acteur aux capacités, aux limites et à l’histoire singulières, mais qui participe néanmoins à des relations où savoir, pouvoir, intérêts, responsabilités et possibilités d’action sont inégalement répartis.

Le défi n’est pas de faire disparaître ces différences.

Nous en avons besoin.

Le défi est de créer des structures où elles puissent devenir fécondes sans supprimer l’autonomie.

C’est peut-être aussi pourquoi la collaboration ne peut jamais être entièrement conçue à l’avance.

Entre mon intention et l’action d’un autre, il reste un intervalle.

Entre la mission et son exécution.

Entre la confiance et le contrôle.

Entre mon savoir et le vôtre.

Entre ce que je veux et ce que vous jugez juste.

Nous pouvons essayer de réduire toujours plus cet espace par des règles, des processus, du contrôle et de la technique.

Ou apprendre à l’accepter et à lui donner une forme responsable.

Car cet intervalle n’est peut-être pas le problème que l’alignement devrait supprimer.

Il est peut-être la condition même qui nous permet de parler de collaboration.

Sources

  1. Gary J. Miller, The Political Evolution of Principal-Agent Models, Annual Review of Political Science, vol. 8, 2005, p. 203–225. Publication originale chez Annual Reviews ↩

  2. OpenAI, Model Spec, version actuelle. Publication originale sur GitHub ↩

Être informé des nouvelles publications

Nous utilisons votre adresse e-mail uniquement pour vous informer des nouvelles publications. Les notifications ne commencent qu’après confirmation. Plus d’informations dans la rubrique Protection des données.