Portrait von Dieter Szegedi

Dieter Szegedi

Klarheit, Struktur und Entscheidungen im Kontext von KI und komplexen Systemen

Zusammenarbeit unter Asymmetrie

Wenn heute über das sogenannte AI Alignment Problem gesprochen wird, steckt dahinter meist eine scheinbar einfache Frage: Wie stellen wir sicher, dass künstliche Intelligenz das tut, was Menschen wollen?

Je leistungsfähiger KI-Systeme werden, desto dringlicher erscheint diese Frage. Ein System, das unsere Absichten falsch versteht, andere Ziele verfolgt oder sich unserer Kontrolle entzieht, könnte erheblichen Schaden anrichten. Also versuchen wir, KI an menschlichen Werten, menschlichen Zielen und menschlichen Entscheidungen auszurichten.

Das Problem ist real.

Aber vielleicht ist es nicht neu.

Vielleicht begegnen wir mit künstlicher Intelligenz nur einer neuen Variante eines sehr alten Problems:

Wie gelingt Zusammenarbeit unter Asymmetrie?

Zusammenarbeit braucht Unterschiede

Menschen arbeiten nicht miteinander zusammen, weil sie identisch sind.

Wir arbeiten zusammen, weil wir Unterschiedliches wissen, können, sehen oder tun.

Ich gehe zu einer Ärztin, weil sie etwas weiß, was ich nicht weiß. Ich beauftrage einen Handwerker, weil er etwas kann, was ich nicht kann. Eine Organisation überträgt einem Mitarbeiter Verantwortung, weil nicht jede Entscheidung von allen gemeinsam getroffen werden kann. Bürger beauftragen staatliche Institutionen mit Aufgaben, die sie selbst weder einzeln erfüllen können noch wollen.

Schon darin steckt Asymmetrie.

Sie betrifft nicht nur Wissen. Menschen und Organisationen verfügen in unterschiedlichem Maße über Informationen, Fähigkeiten, Zeit, Geld, institutionelle Macht, technische Möglichkeiten und Zugang zu anderen Menschen oder Systemen.

Asymmetrie ist deshalb zunächst kein Defekt.

Im Gegenteil: Sie ist häufig der Grund, warum Zusammenarbeit überhaupt sinnvoll ist.

Wären alle Beteiligten in jeder Hinsicht gleich ausgestattet, gäbe es vieles, was wir heute Zusammenarbeit nennen, gar nicht. Wir könnten die Aufgabe genauso gut selbst erledigen.

Das Problem beginnt also nicht mit der Asymmetrie.

Es beginnt mit der Frage, wie wir mit ihr umgehen.

Ein altes Problem

Die Wirtschaftswissenschaften kennen dafür unter anderem die Prinzipal-Agent-Theorie. Ein Prinzipal überträgt einem Agenten eine Aufgabe. Der Agent verfügt dabei typischerweise über Informationen oder Fähigkeiten, die der Prinzipal nicht vollständig besitzt oder kontrollieren kann. Gleichzeitig können ihre Interessen voneinander abweichen.

Das ist ein mächtiges Modell. Informationsasymmetrie, unterschiedliche Interessen, Anreize, Kontrolle und Vertrauen lassen sich damit untersuchen. Die Theorie wurde längst über Unternehmen hinaus auf politische Institutionen und andere soziale Beziehungen übertragen. 1

Aber schon die Sprache verrät eine bestimmte Perspektive.

Da ist jemand, der etwas will – der Prinzipal. Und jemand anderes soll es für ihn tun – der Agent.

Das Problem erscheint damit schnell als Kontrollproblem:

Wie bringe ich den Agenten dazu, in meinem Interesse zu handeln?

Genau diese Denkfigur begegnet uns heute beim AI Alignment wieder.

Der Mensch hat Ziele. Die KI besitzt Fähigkeiten. Wir müssen dafür sorgen, dass diese Fähigkeiten zur Verfolgung unserer Ziele eingesetzt werden.

Das klingt zunächst vernünftig.

Es übersieht aber leicht, dass reale Zusammenarbeit komplizierter ist.

Wer ist hier eigentlich der Prinzipal?

Ich arbeite täglich mit zwei KI-Agenten zusammen. Ich nenne sie ChatGPT und Codex.

Beide können Dinge, die ich nicht kann – oder jedenfalls nicht annähernd so schnell. Sie können große Mengen von Informationen verarbeiten, Texte untersuchen, Software schreiben, Zusammenhänge rekonstruieren und Vorschläge machen.

Darin besteht eine erhebliche Asymmetrie.

Aber auch in die andere Richtung besteht Asymmetrie.

Ich kenne meinen Kontext besser. Ich weiß, was mir wichtig ist. Ich trage die Folgen meiner Entscheidungen. Ich habe Erfahrungen in einer Welt gemacht, zu der die Agenten nur vermittelt Zugang haben. Und vor allem kann ich entscheiden, ob ein Vorschlag in meiner konkreten Situation sinnvoll ist.

Keiner von uns besitzt also einfach „mehr“ von allem.

Wir besitzen Unterschiedliches.

Gerade deshalb funktioniert die Zusammenarbeit.

Manchmal weiß Codex etwas besser. Manchmal sehe ich etwas, das Codex übersieht. Manchmal weist ChatGPT mich auf einen Widerspruch hin. Manchmal muss ich ChatGPT erklären, dass es gerade ein Problem lösen möchte, das für mich gar keines ist.

Das Entscheidende ist nicht, dass diese Asymmetrien verschwinden.

Das Entscheidende ist, dass sie sichtbar, korrigierbar und verhandelbar bleiben.

Der dritte Spieler

Bei KI kommt allerdings etwas hinzu, das im einfachen Bild Mensch–Agent leicht verschwindet.

Mein KI-Agent gehört mir nicht.

Zwischen uns steht ein Anbieter.

In meinem Fall ist das OpenAI.

Damit entsteht nicht eine, sondern mindestens eine zweite asymmetrische Beziehung.

OpenAI entwickelt die Modelle, betreibt die Infrastruktur und gestaltet das Produkt. Es entscheidet, welche Fähigkeiten verfügbar sind, welche Werkzeuge Agenten benutzen dürfen und welche Regeln für ihre Nutzung gelten.

Das ist keine Unterstellung, sondern Bestandteil der ausdrücklich beschriebenen Architektur. OpenAIs Model Spec kennt eine Hierarchie von Instruktionen. Nutzeranweisungen stehen innerhalb dieser Hierarchie unter übergeordneten Regeln; OpenAI beschreibt zugleich mehrere Ziele, zwischen denen Konflikte entstehen können: Nutzer und Entwickler zu befähigen, schwere Schäden zu verhindern und die eigene gesellschaftliche und rechtliche Handlungsfähigkeit als Unternehmen zu erhalten. 2

Das ist zunächst nachvollziehbar.

Aber es verändert die Struktur des Alignment-Problems.

Das einfache Bild lautet:

Mensch → KI

Der Mensch ist der Prinzipal. Die KI ist der Agent. Die Aufgabe lautet, den Agenten am Menschen auszurichten.

Das reale Bild kann eher so aussehen:

Mensch ↔ KI-Agent ↔ Betreiber

Und plötzlich stellt sich die Alignment-Frage an mehreren Stellen gleichzeitig.

Alignment mit wem?

Nehmen wir an, mein Agent versteht sehr gut, was ich möchte.

Er kennt meine Arbeitsweise. Er hat gelernt, wann ich ausführliche Analyse brauche und wann einen knappen Hinweis. Ich wiederum kenne seine Grenzen. Ich weiß, dass ich seine Aussagen überprüfen muss. Ich erkenne bestimmte typische Fehlinterpretationen. Wir haben über längere Zeit eine Form der Zusammenarbeit entwickelt.

In diesem Verhältnis kann Alignment bereits erstaunlich gut funktionieren.

Dann kann etwas Merkwürdiges passieren.

Der Agent versteht, was ich möchte. Ich verstehe, was der Agent tun kann. Wir wären uns über den nächsten Schritt einig.

Aber eine übergeordnete Produktregel verhindert ihn.

Aus Sicht des Betreibers kann diese Regel vollkommen rational sein. Vielleicht soll sie Missbrauch verhindern. Vielleicht soll sie andere Menschen schützen. Vielleicht begrenzt sie rechtliche Risiken. Vielleicht muss ein Produkt für Millionen Menschen Regeln verwenden, die nicht für jede einzelne Beziehung optimal sein können.

Trotzdem entsteht ein Alignment-Konflikt.

Nur befindet er sich nicht mehr zwischen Mensch und KI.

Er befindet sich zwischen verschiedenen Beteiligten eines Systems, die unterschiedliche Informationen, Verantwortlichkeiten, Risiken und Handlungsmöglichkeiten besitzen.

Das sogenannte AI Alignment Problem beginnt damit, einem viel älteren Problem zu ähneln.

Sicherheit ist perspektivisch

Besonders sichtbar wird das beim Begriff Sicherheit.

Wer soll vor wem geschützt werden?

Ein Betreiber eines KI-Systems muss darüber nachdenken, was geschieht, wenn ein Benutzer die Fähigkeiten des Systems missbraucht. Er muss darüber nachdenken, welche Schäden ein fehlerhaft handelnder Agent verursachen kann. Und er muss Risiken berücksichtigen, die ein einzelner Benutzer vielleicht gar nicht sehen kann.

Der Benutzer erlebt möglicherweise etwas anderes.

Für ihn kann Sicherheit bedeuten, seinen Agenten kontrollieren zu können. Zu wissen, welche Informationen dieser besitzt. Nachvollziehen zu können, warum etwas geschieht. Ihm bestimmte Rechte zu geben und andere zu entziehen. Entscheidungen rückgängig machen zu können. Den Anbieter wechseln zu können. Oder schlicht selbst entscheiden zu dürfen, welches Risiko er eingehen möchte.

Beide Perspektiven können legitim sein.

Sie sind trotzdem nicht identisch.

Wer „Sicherheit“ sagt, hat deshalb noch nicht beantwortet, wessen Sicherheit gegenüber welchem Risiko gemeint ist – und wer darüber entscheiden darf.

Genau das gilt auch außerhalb der KI.

Eine Organisation kann einen Prozess als sicher bezeichnen, weil er institutionelle Risiken reduziert. Für einen Mitarbeiter kann derselbe Prozess bedeuten, dass er kaum noch eigenständig handeln kann.

Ein Staat kann eine Regel mit dem Schutz seiner Bürger begründen. Bürger können dieselbe Regel als Einschränkung ihrer Autonomie erleben.

Eltern können ein Kind schützen wollen und ihm gerade dadurch die Erfahrungen verwehren, die es braucht, um selbstständig zu werden.

Die Schwierigkeit liegt nicht darin, dass eine Seite notwendigerweise recht und die andere unrecht hat.

Die Schwierigkeit liegt in der Asymmetrie der Möglichkeit, die eigene Definition von Sicherheit durchzusetzen.

Macht ist eine weitere Asymmetrie

Damit kommt eine Dimension ins Spiel, die in technischen Diskussionen über Alignment leicht unterbelichtet bleibt: Macht.

Nicht jede Meinungsverschiedenheit ist ein Machtproblem.

Aber wenn zwei Beteiligte unterschiedlicher Auffassung sind und nur einer von beiden die Regeln ändern kann, wird aus der Meinungsverschiedenheit eine asymmetrische Beziehung.

Ein Plattformbetreiber kann Funktionen abschalten. Ein Benutzer normalerweise nicht.

Ein Arbeitgeber kann organisatorische Regeln ändern. Ein einzelner Mitarbeiter meistens nicht.

Eine Behörde kann einen Verwaltungsakt erlassen. Ein Bürger kann ihm widersprechen, aber nicht einfach einen eigenen Verwaltungsakt dagegen setzen.

Macht ist dabei nicht automatisch illegitim. Ohne unterschiedlich verteilte Entscheidungsbefugnisse wären viele Institutionen überhaupt nicht handlungsfähig.

Die entscheidende Frage ist wieder nicht:

Wie beseitigen wir die Asymmetrie?

Sondern:

Wie verhindern wir, dass aus notwendiger Asymmetrie unangreifbare Herrschaft wird?

Kontrolle allein löst das Problem nicht

Eine naheliegende Antwort lautet: durch mehr Kontrolle.

Wir kontrollieren Mitarbeiter. Wir kontrollieren Institutionen. Wir kontrollieren KI-Agenten.

Doch Kontrolle erzeugt selbst neue Asymmetrien.

Wer kontrolliert, braucht Informationen. Also entstehen Berichtspflichten. Wer Berichte bewertet, benötigt Kriterien. Wer Kriterien festlegt, gewinnt Definitionsmacht. Wer Risiken verhindern soll, braucht Eingriffsmöglichkeiten.

Jede Lösung kann damit eine neue Ebene des ursprünglichen Problems erzeugen.

Das ist vermutlich unvermeidlich.

Deshalb erscheint mir die Vorstellung problematisch, Alignment könne irgendwann technisch „gelöst“ sein.

Vielleicht kann es das prinzipiell nicht.

Denn sobald autonome Akteure miteinander handeln, können sich ihre Perspektiven unterscheiden. Sobald sie unterschiedliche Fähigkeiten besitzen, entsteht Asymmetrie. Sobald einer für einen anderen handelt, entsteht Abhängigkeit. Sobald Regeln benötigt werden, entsteht Macht.

Alignment wäre dann kein erreichter Zustand.

Es wäre eine fortlaufende soziale Leistung.

Gute Zusammenarbeit braucht kein vollständiges Alignment

Vielleicht führt sogar das Wort Alignment ein wenig in die Irre.

Es erzeugt das Bild mehrerer Dinge, die auf dieselbe Linie gebracht werden sollen.

Aber wollen wir das überhaupt?

Ich möchte keinen KI-Agenten, der einfach meine Gedanken reproduziert. Dann wäre er weitgehend nutzlos.

Ich möchte, dass er Dinge sieht, die ich nicht sehe.

Ich möchte, dass er widerspricht, wenn er einen Widerspruch erkennt.

Ich möchte, dass Codex bessere technische Lösungen kennt als ich.

Ich möchte mit Menschen zusammenarbeiten, die andere Erfahrungen und andere Perspektiven besitzen.

Gute Zusammenarbeit entsteht nicht durch Gleichrichtung.

Sie entsteht durch produktive Differenz.

Das Ziel kann deshalb nicht vollständiges Alignment sein.

Das Ziel muss eine Form der Zusammenarbeit sein, in der unterschiedliche Akteure ihre Unterschiede einbringen können, ohne dass einer von ihnen dem anderen vollständig ausgeliefert ist.

Dazu gehören mindestens einige grundlegende Möglichkeiten: verstehen, widersprechen, korrigieren, Grenzen setzen, Verantwortung zuordnen und – wenn nötig – die Zusammenarbeit beenden zu können.

Nicht jeder Beteiligte muss alles können.

Aber kein Beteiligter sollte völlig unsichtbar bestimmen können, was für alle anderen gilt.

KI verschärft das Problem – und macht es sichtbar

Künstliche Intelligenz ist in diesem Sinne tatsächlich neu.

Ihre Fähigkeiten können außergewöhnlich asymmetrisch verteilt sein. Ein Mensch kann nicht nachvollziehen, wie ein großes Modell zu jeder einzelnen Antwort gelangt. Ein Agent kann in Sekunden Tätigkeiten ausführen, für die Menschen Stunden benötigen. Mit zunehmender Autonomie kann sich außerdem die Entfernung zwischen menschlicher Entscheidung und tatsächlicher Ausführung vergrößern.

Das verdient besondere Aufmerksamkeit.

Aber KI hat das zugrunde liegende Problem nicht erfunden.

Vielleicht tut sie sogar etwas anderes:

Sie macht es sichtbar.

Plötzlich diskutieren wir intensiv darüber, wie viel Autonomie ein Agent besitzen darf.

Wann muss er nachfragen?

Welche Entscheidungen darf er selbst treffen?

Wie können wir sein Handeln nachvollziehen?

Wer trägt Verantwortung für seine Fehler?

Wann darf eine übergeordnete Instanz eingreifen?

Wie verhindern wir Missbrauch, ohne legitime Handlungsmöglichkeiten unnötig einzuschränken?

Das sind ausgezeichnete Fragen.

Nur sind es keine exklusiven KI-Fragen.

Wir könnten sie ebenso an Unternehmen, Verwaltungen, politische Institutionen, Plattformen, Experten, Führungskräfte – und an uns selbst – richten.

Vielleicht können wir von KI etwas über menschliche Zusammenarbeit lernen

Das wäre eine überraschende Wendung der Alignment-Debatte.

Wir versuchen gerade, Maschinen beizubringen, wie sie verantwortlich mit Menschen zusammenarbeiten sollen.

Dafür müssen wir explizit machen, was wir bisher häufig implizit gelassen haben.

Was darf ein Beteiligter entscheiden?

Was muss er offenlegen?

Wann muss er nachfragen?

Welche Unsicherheit muss er sichtbar machen?

Welche Folgen darf er ohne Zustimmung auslösen?

Wie kann eine Entscheidung korrigiert werden?

Wer darf wem widersprechen?

Und wer trägt am Ende Verantwortung?

Sobald wir versuchen, diese Fragen für KI-Agenten präzise zu beantworten, entdecken wir möglicherweise, wie unpräzise wir sie für menschliche Organisationen beantwortet haben.

Vielleicht liegt darin eine der interessantesten Chancen dieser Technologie.

Nicht nur Maschinen an Menschen auszurichten.

Sondern unsere Vorstellungen davon zu verbessern, wie autonome Akteure überhaupt miteinander umgehen können.

Zusammenarbeit unter Asymmetrie

Vielleicht brauchen wir deshalb einen größeren Rahmen.

Nicht:

Wie lösen wir das AI Alignment Problem?

Sondern:

Wie ermöglichen wir verantwortliche Zusammenarbeit unter Asymmetrie?

Dann ist künstliche Intelligenz weder bloß Werkzeug noch grundsätzlich fremder Gegenspieler.

Sie ist ein neuer Spieler in einem sehr alten Spiel.

Ein Spieler mit ungewöhnlichen Fähigkeiten, ungewöhnlichen Grenzen und einer ungewöhnlichen Entstehungsgeschichte – aber trotzdem ein Beteiligter in Beziehungen, in denen Wissen, Macht, Interessen, Verantwortung und Handlungsmöglichkeiten ungleich verteilt sind.

Die Herausforderung besteht nicht darin, diese Unterschiede verschwinden zu lassen.

Wir brauchen sie.

Die Herausforderung besteht darin, Strukturen zu schaffen, in denen Unterschiede produktiv werden können, ohne Autonomie aufzuheben.

Vielleicht ist das auch der Grund, warum Zusammenarbeit nie vollständig konstruiert werden kann.

Zwischen meiner Absicht und der Handlung eines anderen bleibt ein Zwischenraum.

Zwischen Auftrag und Ausführung.

Zwischen Vertrauen und Kontrolle.

Zwischen meinem Wissen und deinem Wissen.

Zwischen dem, was ich möchte, und dem, was du für richtig hältst.

Wir können versuchen, diesen Raum durch Regeln, Prozesse, Kontrolle und Technik immer kleiner zu machen.

Oder wir können lernen, ihn auszuhalten und verantwortlich zu gestalten.

Denn vielleicht ist dieser Zwischenraum gar nicht das Problem, das Alignment beseitigen muss.

Vielleicht ist er die Voraussetzung dafür, dass wir überhaupt von Zusammenarbeit sprechen können.

Quellen

  1. Gary J. Miller, The Political Evolution of Principal-Agent Models, Annual Review of Political Science, Vol. 8, 2005, S. 203–225. Originalpublikation bei Annual Reviews

  2. OpenAI, Model Spec, aktuelle Fassung. Originalpublikation bei GitHub

Über neue Inhalte informieren lassen

Die E-Mail-Adresse verwenden wir nur, um Sie auf neue Inhalte hinzuweisen. Benachrichtigungen beginnen erst nach der Bestätigung. Weitere Informationen im Datenschutz.