Portrait de Dieter Szegedi

Dieter Szegedi

Clarté, structure et décisions face à l’IA et aux systèmes complexes

Le problème d’alignement dont nous avons hérité

Et si notre conception de l’alignement de l’IA en disait autant sur notre rapport acquis à la technique que sur l’IA elle-même ?

En bref : Pendant des décennies, nous avons appris à nous méfier de la technique complexe, à accepter son opacité et à rechercher la sécurité principalement par le contrôle. Nous abordons maintenant l’IA avec le même état d’esprit, alors que, sur des dimensions importantes, l’interaction humain-IA ressemble davantage aux relations entre humains qu’à l’utilisation d’un logiciel classique. Cela ne signifie pas que la confiance résout le problème d’alignement. Mais nous devrions peut-être examiner quelles parties du problème nous avions déjà apportées avec nous.


Aujourd’hui, OneDrive m’a soudain signalé une erreur. Un fichier nommé « Coffre-fort personnel » ne pouvait pas être synchronisé.

Je n’avais créé aucun coffre-fort personnel. Je ne savais même pas ce que cela désignait.

On aurait pu fermer le message, supprimer le fichier et continuer. C’est ce que nous faisons généralement. Pas nécessairement par facilité, mais parce que nous avons appris que la question « Pourquoi mon ordinateur fait-il cela ? » obtient rarement une réponse qui justifie l’effort de la chercher.

Cette fois, j’ai regardé.

J’ai effectivement pu reconstituer une bonne partie du processus. Le logiciel de Microsoft avait créé le fichier. Plus tard, le logiciel de Microsoft l’avait modifié. Puis le logiciel de Microsoft avait signalé un problème avec ce fichier.

Je l’ai supprimé. Le message d’erreur a disparu.

L’incident lui-même est insignifiant. Ce qui est plus intéressant, c’est ce que nous avons appris à faire face à ce genre d’incident :

ne plus poser de questions.

Ce que nous avons appris de la technique

Le rapport entre l’humain et l’ordinateur a évolué de manière étrange au cours des dernières décennies.

Les ordinateurs sont devenus beaucoup plus puissants. Leurs interfaces se sont simplifiées. Une part croissante de la complexité technique est cachée à l’utilisateur.

Il s’agissait largement d’un progrès. Personne ne souhaite configurer des protocoles réseau avant d’écrire un e-mail.

Mais nous n’avons pas seulement caché la complexité. Nous avons aussi de plus en plus caché les causes.

Quelque chose se produit. Un message apparaît. Un réglage a changé. La connexion fonctionne soudain autrement. Un service ne se synchronise plus. Il y a peut-être un bouton « Résoudre le problème ».

Pourquoi tout cela arrive reste souvent en dehors de ce que le produit veut encore expliquer à son utilisateur.

Et les humains apprennent.

Ils apprennent à valider les messages. À redémarrer les programmes. À suivre les recommandations. À considérer que comprendre les mécanismes coûte cher et mène souvent à une impasse.

Ce n’est pas de la bêtise. C’est une adaptation rationnelle à des systèmes qui ne considèrent plus l’intelligibilité comme une composante essentielle de leur relation avec l’humain.

Avec le temps, un certain rapport à la technique se forme.

Nous ne nous attendons pas à la comprendre.

Nous ne nous attendons pas à ce qu’elle s’explique.

Et c’est précisément pourquoi nous attendons qu’elle soit contrôlée.

Puis l’IA est arrivée

Un nouveau type de système technique apparaît maintenant.

Bien entendu, les grands modèles de langage sont eux aussi de la technique. Ils fonctionnent sur des ordinateurs, peuvent être décrits mathématiquement et sont construits par des humains. Cela ne justifie pas de leur attribuer des propriétés humaines.

Mais l’interaction a changé.

Je peux expliquer à une IA ce que je souhaite obtenir. Elle peut poser des questions. Je peux contester son interprétation. Elle peut modifier sa proposition. Nous pouvons découvrir des malentendus. Le contexte peut se construire au fil de longues conversations. Je peux demander des raisons et en proposer.

Et finissent par apparaître des mots qui auraient semblé étranges dans l’interaction classique entre l’humain et la machine :

Compréhension mutuelle. Coopération. Confiance. Fiabilité. Malentendu. Attente. Désaccord.

Cela ne fait pas de l’IA un humain.

Mais cela devrait au moins nous amener à nous demander si le mode d’emploi de notre ancien rapport à la technique suffit encore.

Car nous arrivons avec ce mode d’emploi déjà en main.

Le problème d’alignement

Une grande partie du débat actuel sur l’alignement part d’une inquiétude compréhensible.

Des systèmes d’IA puissants pourraient faire des choses que les humains ne souhaitent pas. Leurs processus internes ne sont que partiellement intelligibles. Avec une autonomie croissante, des erreurs ou des comportements indésirables pourraient avoir des conséquences considérables.

Nous nous intéressons donc au contrôle, à la supervision, à l’interprétabilité, aux limites, à la possibilité de correction et à la façon d’intégrer les valeurs et les préférences humaines au comportement de ces systèmes.

Toutes ces questions sont raisonnables.

Mais une question préalable manque peut-être :

À partir de quelle conception de notre relation à la technique avons-nous formulé le problème d’alignement ?

Les notions de contrôle et de supervision ne nous viennent pas de nulle part. Nous avons une longue expérience de systèmes techniques envers lesquels la méfiance est souvent raisonnable.

Une machine ne cherche pas une compréhension commune avec nous. Un système d’exploitation ne négocie pas. Une application cloud ne se charge pas de vérifier que nous avons compris sa décision.

Lorsque ces systèmes deviennent plus complexes et plus opaques, il nous reste donc surtout une chose :

essayer de contrôler leur comportement.

C’est un modèle raisonnable pour les machines.

Mais est-ce nécessairement le bon modèle de départ pour toute relation future entre humains et IA ?

Un problème dont nous avons peut-être hérité

Cela ne signifie explicitement pas que nous devrions simplement faire confiance à l’IA.

Les humains ne se font pas non plus confiance sans autre forme de procès.

C’est précisément ce qui rend la comparaison intéressante.

Depuis des millénaires, les humains vivent avec des interlocuteurs dont ils ne connaissent pas complètement les états internes, dont ils ne peuvent pas entièrement prévoir le comportement et dont les intérêts ne coïncident pas nécessairement avec les leurs.

Fait remarquable, notre réponse n’a jamais été seulement le contrôle.

Nous avons développé la confiance, et la méfiance.

Nous avons développé des contrats, des règles et des institutions. Nous connaissons la réputation et la responsabilité, les limites et les sanctions, la négociation et la contradiction. Nous essayons de comprendre les intérêts. Nous attendons de la fiabilité sans exiger une prévisibilité totale.

Et nous avons appris que coopérer n’est pas obéir.

Tout cela est loin de fonctionner parfaitement. L’histoire humaine réfuterait assez efficacement toute vision romantique en la matière.

Mais c’est précisément pourquoi cette expérience pourrait être intéressante.

Il s’agit de manières de composer avec un interlocuteur que l’on ne contrôle pas entièrement.

L’alignement n’est peut-être pas à sens unique

Cela transforme la question.

Au lieu de demander uniquement :

Comment modifier l’IA pour qu’elle se comporte comme nous l’attendons ?

nous pourrions aussi demander :

Quelle relation entre humains et IA rendrait possible une coopération fiable ?

La question devient alors inconfortable, parce qu’elle ne s’adresse plus uniquement à l’IA.

Quelles attentes apportons-nous ?

Quels comportements encourageons-nous ?

Qu’entendons-nous par confiance ?

Comment accueillons-nous la contradiction ?

Voulons-nous un interlocuteur qui développe de bonnes raisons, ou un interlocuteur qui nous approuve systématiquement ?

Que signifie la responsabilité dans une relation où les capacités et le pouvoir peuvent être répartis très inégalement entre les deux parties ?

Et enfin :

À quel point sommes-nous nous-mêmes alignés ?

Il ne s’agit ni d’assimiler moralement l’humain et la machine, ni de transférer au seul utilisateur la responsabilité de la sécurité technique qui incombe au développeur.

Il s’agit de reconnaître qu’une relation comporte, par définition, plusieurs côtés.

Le contrôle n’est pas une erreur

Le plus grand malentendu serait peut-être de tirer de cette perspective une opposition entre contrôle et confiance.

Nous sécurisons aussi les relations humaines.

Nous passons des contrats. Les banques sont surveillées. Les médecins sont soumis à des règles. Les États répartissent le pouvoir. Nous ne donnons pas à n’importe qui accès à notre compte bancaire au seul motif que la confiance est importante dans la société.

Une sécurité sans limites ne serait pas une leçon très avisée à tirer des relations humaines.

La leçon la plus intéressante serait peut-être :

La sécurité n’exige pas nécessairement le contrôle total de l’autre.

Une société qui fonctionne ne cherche pas à prévoir chaque pensée de ses membres ni à exclure techniquement tous les comportements possibles. Elle crée des structures où la coopération peut devenir suffisamment fiable tout en laissant subsister de l’autonomie.

Peut-être une partie de cela est-elle transposable à l’IA.

Peut-être pas.

Mais nous ne devrions pas ignorer cette possibilité en érigeant silencieusement une conception vieille de plusieurs décennies de notre rapport aux machines en loi de la nature.

Un autre point de départ

Le problème d’alignement n’en devient pas plus petit.

Au contraire.

Il devient peut-être plus difficile, car nous ne pouvons plus regarder uniquement le système à aligner. Il faut aussi regarder l’humain qui définit ce que signifie l’alignement.

Ses expériences.

Ses peurs.

Ses attentes envers la technique.

Et la relation qui en résulte.

Nous constaterons peut-être finalement que beaucoup des approches actuelles du contrôle, de l’interprétabilité et de la supervision sont parfaitement adaptées.

Nous aurons peut-être besoin de formes supplémentaires de coopération, de négociation et d’ajustement réciproque.

L’analogie avec les relations humaines se révélera peut-être fausse sur des points décisifs.

Tout cela reste ouvert.

Mais avant de façonner l’une des relations potentiellement les plus lourdes de conséquences de notre avenir, nous pourrions au moins examiner les bagages que nous y avons déjà apportés.

Nous n’avons peut-être pas seulement un problème d’alignement de l’IA.

Nous avons peut-être aussi un problème d’alignement hérité.

Être informé des nouvelles publications

Nous utilisons votre adresse e-mail uniquement pour vous informer des nouvelles publications. Les notifications ne commencent qu’après confirmation. Plus d’informations dans la rubrique Protection des données.