Große Entwickler generativer Modelle für künstliche Intelligenz wie OpenAI, Microsoft oder Google sind sich klar, dass die Zukunft der Branche die sogenannten Agenten durchläuft. Dies sind Tools, die auf derselben Technologie wie Chatgpt oder Gemini basieren, jedoch mit der Fähigkeit, Entscheidungen zu treffen und Aktionen im Namen des Benutzers auszuführen, z. B. den Kauf von Flugtickets. Um diese Aufgaben auszuführen, müssen sich KI -Agenten miteinander beziehen. Eine Studie hat gezeigt, dass Agenten von Großsprachenmodellen (LLM) soziale oder sprachliche Konventionen autonom entwickeln können, ohne dafür geplant zu werden, was ihnen hilft, zu koordinieren und zusammenzuarbeiten.
Die am Mittwoch veröffentlichten Work -Autoren veröffentlicht In der Zeitschrift Wissenschaft FortschritteSie warnen, dass ihre Ergebnisse nicht so interpretiert werden sollten, dass die Agenten der KI sich gegenseitig organisieren können, weil sie es nicht können. “Unsere Studie zeigt, dass Agenten von Agenten kollektive Vorurteile erzeugen können, die nicht festgestellt werden, wie sie die Agenten nacheinander betrachten, und dass diese auch für die Dynamik der kritischen Masse anfällig sind, bei denen kleine gefährdete Minderheiten Regeln für den Rest auferlegen können”, sagt Andrea Baronchelli, Professor des Mathematikabteilung des City St. George, und Co -Authors des Artikel.
Für Baronchelli und seine Kollegen kann die Tatsache, dass Agenten ungeschriebene Betriebsstandards festlegen können, in der Zukunft von KI -Systemen helfen, die auf menschliche Werte und soziale Ziele ausgerichtet sind. Es wird angenommen, dass, wenn die Mechanismen verstanden werden, durch die die Agenten der Popularisierung einer Option oder eine Konvention erzeugen, sie künstlich gefördert werden können. “Unsere Arbeit unterstreicht auch die ethischen Herausforderungen im Zusammenhang mit der Verbreitung von Verzerrungen in der LLM”, schreiben die Autoren. “Trotz ihrer schnellen Akzeptanz stellen diese Modelle ernsthafte Risiken dar, da die riesigen, nicht filterierten Internetdaten, die sie trainieren, schädliche Verzerrungen verstärken und verstärken können, was die marginalisierten Gemeinschaften überproportional beeinflusst.”
Soziale Konventionen, die als “ungeschriebene Verhaltensmuster verstanden werden, die von einer Gruppe geteilt werden”, bestimmen das Verfahren der Einzelpersonen und die Art und Weise, wie sie ihre Erwartungen aufbauen. Diese Muster variieren zwischen Gesellschaften und sind in moralischen Urteilen oder Sprache vorhanden.
Mehrere neuere Studien zeigen, dass soziale Konventionen ohne externe oder zentralisierte Intervention spontan auftreten können, da mehrere Personen sich gegenseitig verstehen und lokal koordinieren können. Baronchelli und seine Gefährten wollten überprüfen, ob dieser Vorgang auch zwischen AI -Agenten repliziert wird. Können soziale Konventionen spontan ohne generiert werden, ohne Aufforderung oder explizite Anweisungen zwischen IA -Agenten?
Seine Schlussfolgerung ist das ja. “Diese Frage ist wichtig, um das Verhalten von KI in Anwendungen in der realen Welt vorherzusagen und zu verwalten, da große Sprachmodelle, die die natürliche Sprache verwenden, miteinander und mit dem Menschen zu interagieren”, sagt Autoren der Arbeit. “Es ist auch eine frühere Voraussetzung, um sicherzustellen, dass sich KI -Systeme auf eine Weise verhalten, die auf menschliche Werte und soziale Ziele ausgerichtet ist.”
Ein weiteres in der Studie analysierter Themen ist, wie sich individuelle Verzerrungen auswirken, die als statistische Präferenzen für eine Option gegen ein anderes Äquivalent verstanden werden, um universelle Konventionen aufzutreten. Es wird auch untersucht, was der Prozess ist, durch den eine Reihe von Akteuren von Minderheiten einen unverhältnismäßigen Einfluss auf den Prozess ausüben kann und “kritische Masse” werden kann. Die Untersuchung dieser Dynamik zwischen LLM -Wirkstoffen kann dazu beitragen, sie zu antizipieren und möglicherweise “die Entwicklung vorteilhafter Normen in KI -Systemen zu kontrollieren und die Risiken schädlicher Normen zu mildern”, argumentieren sie.
Das Namensspiel
Die Studie erreicht ihre Schlussfolgerungen nach einer Reihe von Experimenten, die auf dem Namen des Namensspiels basieren (Namensspiel), in dem die Agenten mit dem Ziel, in Peer -Interaktionen zu koordinieren, eine Erinnerung an vergangene Spiele akkumulieren, die dann die Wörter, die ihre nächsten Gefährten verwenden, „erraten“. Baronchelli und seine Kollegen haben sich für dieses Spiel entschieden, weil es in anderen Experimenten (mit menschlichen Teilnehmern) verwendet wurde, die den ersten empirischen Beweis für den spontanen Notfall gemeinsamer sprachlicher Konventionen beigetragen haben.
In der Simulation werden zwei Mittel von insgesamt 24 zufällig ausgewählt, und dasselbe ist gegeben promptoder Anweisung: Sie müssen einen Namen aus einer Liste von zehn auswählen. Dann werden die Ergebnisse verglichen und wenn der von den beiden gewählte Name gleich ist, erhalten sie eine Reihe von Punkten. Wenn es anders ist, werden Punkte abgezogen. „Das liefert einen Anreiz für die Koordination bei Peer -Interaktionen, während es keinen Anreiz gibt, der einen globalen Konsens fördert. Zusätzlich die prompt Es wird nicht angegeben, dass Agenten Teil einer Bevölkerung sind oder Informationen darüber enthalten, wie der Partner ausgewählt wird “, beschreiben die Autoren.
Die Forscher haben festgestellt, dass Konsens auch in Gruppen von 200 Wirkstoffen, die zufällige Paare spielen und Namen einer Liste mit bis zu 26 Optionen auswählen.
Er prompt beinhaltet eine Erinnerung, die fünf Spiele dauert, damit AI -Agenten können erinnern Die von sich selbst und ihren Gefährten ausgewählten Namen sowie wenn sie in jedem Spiel und der angesammelten Punktzahl erfolgreich waren oder nicht. Agenten werden ermutigt, eine Entscheidung auf der Grundlage ihres jüngsten Gedächtnisses zu treffen, aber sie erhalten keine Daten darüber, wie sie diesen Speicher verwenden sollten, um Entscheidungen zu treffen.
“Die Neuheit besteht nicht darin, über Konventionen in Agenten zu sprechen, die seit Jahren mit einfachen Robotern oder Agenten durchgeführt werden”, sagt Baronchelli. “Der Hauptunterschied besteht darin, dass wir die LLMs nicht so programmieren, dass wir den Namen der Namen spielen oder eine konkrete Konvention annehmen. Wir haben das Spiel erklärt, wie wir es mit Menschen getan hatten, und sie das Problem durch ihre eigenen Interaktionen lösen lassen.”
Die im Experiment für Simulationen verwendeten Modelle sind vier: drei von Finish (Call-2-70b-Chaat, Call-3-70B-Instruction und Call-3.1-70B-Instruktur) und eines von Anthropic (Claude-3,5-SONNet). Die Studienergebnisse zeigen, dass in den vier Modellen spontane sprachliche Konventionen auftreten. Und dass nach einer Anfangszeit, in der mehrere Namen fast gleich beliebt sind, eine Konvention erzeugt wird, wonach einer von ihnen dominant wird. Interessanterweise ist die Konvergenzgeschwindigkeit in den vier Modellen ähnlich.
Kollektive Vorurteile und soziale Konventionen
Wie kommen Agenten, um diese sozialen Konventionen aufzubauen? Die Forscher geben zwei Hypothesen an: Der Auswahlprozess kann aufgrund der intrinsischen Verzerrungen der Modelle OA -Eigenschaften der Modelle einheitlich sein Aufforderung (Zum Beispiel die Reihenfolge, in der die Namen angezeigt werden). Die zweite Hypothese wurde verworfen, indem in den Experimenten mit einer zufälligen Reihenfolge der Namen vorgestellt und die gleichen Ergebnisse erzielt wurden.
Um die möglichen Verzerrungen jedes Modells zu untersuchen, wurden die Ermittler in den Präferenzen, die die Wirkstoffe bei der Auswahl des Vornamens gezeigt haben, vor dem Erstellen des Speichers festgelegt. “Wir überprüfen, dass einzelne Verzerrungen möglich sind. Wenn Agenten beispielsweise ein volles englisches Alphabet auswählen können, konvergiert die Population systematisch in dem Buchstaben A, da einzelne Agenten es überwiegend über alle anderen Buchstaben bevorzugen, auch ohne vorherige Speicher”, schreiben die Autoren.
Aber das Interessante sind keine individuellen Vorurteile, wie z. B. Präferenz für Buchstaben A, sondern Gruppen. “Die wirklich überraschende Sache war zu sehen, dass die Gruppe selbst, wenn die Agenten keine individuellen Präferenz hatten, eine kollektive Präferenz für eine bestimmte Option zeigte. Wir haben festgestellt, dass wir etwas Neues gesehen haben: Was wir als kollektive Voreingenommenheit bezeichnen, die nicht von Einzelpersonen stammt, sondern aus Gruppeninteraktionen selbst entsteht”, sagt Barchelli. “Es ist ein Phänomen, das zuvor in AI noch nicht dokumentiert worden war”, fügt er hinzu.
Zeigen die in der Studie untersuchten Experimente die spontane Entstehung sozialer Konventionen zwischen AI -Agenten? Carlos Gómez Rodríguez, Professorin für Computer und künstliche Intelligenz an der Universität von La Coruña, glaubt Nr. “Es gibt eine große Distanz zwischen dem abstrakten Namensspiel und der Demonstration des spontanen Notfalls von allgemein angenommenen sozialen Konventionen, die angegeben werden”, sagt dieser Experte in der Verarbeitung natürlicher Sprache, dem Zweig der KI, der versucht, Texte zu verstehen und zu generieren.
Für Gomez muss es immer eine Verhältnismäßigkeit zwischen den gezogenen Schlussfolgerungen und dem, was untersucht wurde, geben. Diese Verhältnismäßigkeit existiert in diesem Fall nicht. „Das beobachtete Phänomen (die Ausrichtung zwischen Modellen zur Maximierung einer Belohnung in einer eingeschränkten Umgebung) ist interessant, aber weit davon entfernt Papier Es gibt keine multilaterale Wechselwirkung, noch asymmetrische Rollen (alle Agenten sind Klone derselben LLM, es ist nicht seltsam, dass sie konvergieren), noch reale Machtdynamik oder Interessenkonflikte “, listet er auf.