Kürzlich bat ich eine KI, mir beim Feinschliff eines Blogbeitrags zu helfen.
Sie schrieb schnell. Die Struktur war vollständig, und die Ideen waren klar. Als ich sagte, ich wollte, dass er professioneller klingt, fügte sie technische Erörterungen hinzu. Als ich um akademische Belege bat, fand sie aktuelle Papers.
Der Artikel wurde ernsthafter, aber ich begann zu zögern: Musste er wirklich so geschrieben werden?
Am Inhalt war nichts offensichtlich falsch. Aber was ich hatte schreiben wollen, war ein Stück in meiner eigenen Stimme, eines, das Lesern zeigen würde, wie ich über ein Problem nachdachte. Nach mehreren Überarbeitungsrunden wurde es allmählich zu einem Forschungsüberblick, den ich selbst erst einmal verdauen müsste.
Auch meine Erwartungen veränderten sich unterwegs. Anfangs hatte ich nicht vollständig durchdacht, was „professionell“ oder „tiefgehend“ für diesen konkreten Artikel bedeuten sollte.
Diese Erfahrung brachte mich dazu, neu zu überdenken, was einen guten Agenten ausmacht.
Wenn ich die Anforderungen eine nach der anderen prüfte, hatte unsere Zusammenarbeit ziemlich viel erreicht: Der Artikel war geschrieben, die Recherche war erledigt, und die Quellenangaben waren vorhanden. Jede einzelne Anfrage hatte ein entsprechendes Ergebnis.
Aber wenn ich sie zusammenfügte, musste ich mich doch fragen: Ist das der Artikel, den ich veröffentlichen möchte?
Es ist einfach zu prüfen, was ein Agent getan hat. Zu erklären, ob diese Handlungen den Nutzer seinem Ziel nähergebracht haben, erfordert mehr Arbeit.
In diesem Fall war „akademische Belege hinzufügen“ eine ausdrückliche Anfrage. Ihr Zweck war, das Argument glaubwürdiger zu machen. Wenn das Hinzufügen von Recherche dazu führte, dass der Artikel seine ursprüngliche Stimme verlor, mussten wir überdenken, wie dieses Material zu verwenden war.
Eine neue Anfrage eines Nutzers ist nicht immer einfach obendrauf zu packen. Sie kann eine Kurskorrektur sein oder sogar ein Grund, bereits erledigte Arbeit zu entfernen.
Für einen Agenten, der an einer Aufgabe beteiligt bleibt, beeinflusst das Verständnis dieser Veränderungen die Qualität der gesamten Zusammenarbeit. Er muss sein Verständnis der Aufgabe revidieren, sobald Feedback eingeht, statt dem Ergebnis fortlaufend mehr hinzuzufügen.
Das macht auch „fertig“ komplizierter. Der Artikel mag ein Ende haben, und die Aufgabe mag als abgeschlossen markiert sein, während der Nutzer noch immer nichts hat, das er verwenden kann.
Bevor ich also eine Bewertung entwerfe, möchte ich etwas anderes klären: Welches Urteil versuchen wir aus den Ergebnissen zu gewinnen?
Die Prüfung der sachlichen Richtigkeit bedeutet, Zitate und Belege zu verifizieren. Die Beurteilung der Überarbeitungsfähigkeit bedeutet zu beobachten, ob der Agent Feedback versteht und Inhalte bewahrt, die noch funktionieren. Zu beurteilen, ob er eine Aufgabe von Anfang bis Ende übernehmen kann, bedeutet auch zu betrachten, wie viel Arbeit er dem Nutzer überlässt.
Diese Fragen hängen zusammen, aber „die Gesamtqualität ist gut“ trägt wenig dazu bei, sie alle zu beantworten.
Erst wenn wir klar sind, was wir bewerten, können wir wissen, welche Belege zu sammeln sind und wie viel eine Punktzahl uns sagen kann.
Eine Bewertung muss auch den damaligen Bedingungen gerecht werden.
In diesem Schreibprozess wurden manche Ziele erst durch Diskussion klar. Frühe Antworten sollten an den bereits geäußerten Bedürfnissen gemessen werden, nicht an Präferenzen, die später aufkamen.
Wenn die Anforderungen bereits klar waren und das Ergebnis trotzdem unpassend war, müssen wir das Problem genauer identifizieren. Hat der Agent etwas missverstanden? Hat er eine frühere Vorgabe vergessen? Oder hat die Erfüllung einer neuen Anfrage etwas zunichtegemacht, das bereits funktionierte?
All das könnte man als „schlechtes Schreiben“ bezeichnen, aber es erfordert sehr unterschiedliche Verbesserungen. Mehr Aufgabeninformationen bereitzustellen, den Kontext anzupassen oder die Herangehensweise an die Ausführung zu ändern, kann jeweils helfen. Zuerst müssen wir jedoch wissen, wo es schiefgelaufen ist.
Andere Anforderungen sollten sich nicht mit persönlichen Vorlieben ändern. Ob Zitate echt, Fakten korrekt und Schlussfolgerungen belegt sind, muss unabhängig geprüft werden. Dass ein Nutzer ein Ergebnis mag, reicht nicht aus, um festzustellen, dass diese Anforderungen erfüllt sind.
Ich denke, diese Unterscheidung ist wichtig. Sie ermöglicht es der Bewertung, spezifische Bedürfnisse zu berücksichtigen und zugleich notwendige Beurteilungsstandards beizubehalten.
Selbst wenn das Ziel klar ist und der Agent es diesmal richtig macht, gibt es noch mehr zu beobachten.
Kann er dieselbe Aufgabe ein zweites Mal gut erledigen? Wenn der Nutzer die Anfrage anders formuliert, wird er die Absicht falsch deuten? Kann er bei fehlenden Informationen Unsicherheit eingestehen, statt die Lücken mit flüssiger Prosa zu füllen?
Eine Studie zur Zuverlässigkeit von Agenten untersuchte Konsistenz, Robustheit, Vorhersagbarkeit und Sicherheit getrennt. Über die Modelle und Benchmarks hinweg, die sie testete, brachten Fähigkeitsgewinne nur begrenzte Verbesserungen der Zuverlässigkeit. Es ist eine Erinnerung daran, dass wir, nachdem wir gelernt haben, was ein Agent leisten kann, noch verstehen müssen, unter welchen Bedingungen wir uns auf ihn verlassen können. Verwandte Forschung
Wer darf also definieren, was ein guter Agent ist?
Ich glaube, der tatsächliche Zweck des Nutzers sollte der Ausgangspunkt sein. Produktteams müssen klar sein, welchen Bedürfnissen sie dienen wollen und wie viel Verantwortung sie übernehmen. Die Technik muss die Implementierung und die Grenzen der Fähigkeiten des Systems verstehen. Die Bewertung übersetzt diese Erwartungen in konkrete Situationen und prüft, ob die Ergebnisse sie bestätigen.
Jemand muss für die endgültigen Abwägungen rechenschaftspflichtig sein, und es muss Belege geben, auf deren Grundlage man sie diskutieren kann.
Nehmen wir die Anfrage, etwas „professioneller“ zu machen. Der eine denkt an Terminologie und Quellenangaben. Eine andere denkt an strengere Argumentation. Jemand anderes erwartet, dass der Autor den Kern des Problems herausarbeitet. Wenn wir die Anfrage auf einen tatsächlichen Artikel anwenden, wird leichter sichtbar, dass wir nicht alle über dasselbe sprechen.
Ich würde lieber durch Fälle wie diese Übereinstimmung aufbauen. Welche Fakten müssen korrekt sein? Welche Teile beeinflussen, ob das Ergebnis verwendbar ist? Wo gibt es Raum für unterschiedliche Entscheidungen? All das lässt sich diskutieren. Je spezifischer unsere Standards sind, desto besser sind unsere Chancen, später Meinungsverschiedenheiten zu erklären.
Diese Standards sollten auch überarbeitbar sein. Neue Situationen können Probleme aufdecken, die wir nicht bedacht hatten, und Nutzer können beginnen, anderes zu verlangen. Was zählt, ist festzuhalten, warum wir eine Anpassung vorgenommen haben, damit das Team eine Verbesserung des Produkts von einer Änderung der Beurteilung unterscheiden kann.
Der Wert der Bewertung muss sich auch in den Entscheidungen zeigen, die wir danach treffen.
Wenn eine Bewertung uns klarer darüber lässt, was zu priorisieren ist, uns in die Lage versetzt zu erklären, warum sich eine Investition in eine Verbesserung lohnt, und uns bewusst macht, welche zusätzlichen Tests wir brauchen, wenn die Belege nicht ausreichen, dann haben die Punktzahlen praktischen Wert.
Rückblickend hat die KI mir tatsächlich geholfen, den Artikel vollständiger zu machen. Es waren die späteren Diskussionsrunden, die uns halfen, herauszuarbeiten, was zu behalten und was wir entfernen konnten.
Das ist auch, was ich mir von einer Bewertung für ein Team erhoffe: dass man, wenn ein Ergebnis bereits gut aussieht, immer noch eine Möglichkeit hat zu beurteilen, ob es bereit ist, in die Hände eines Nutzers gegeben zu werden, und warum wir diesem Urteil vertrauen können.