KI-Playbooks: Wenn das Prüfungsschema die Prüfung übernimmt

Dieselbe Frage, dasselbe Sprachmodell, zwei unterschiedliche Antworten: Für eine juristische Prüfung ist das untragbar. KI-Playbooks lösen das, indem sie der KI ein festes Prüfungsschema vorgeben, statt sie den Prüfweg selbst erfinden zu lassen.

Warum freie Prompts für juristische Prüfungen ausscheiden

Stellen Sie einem Sprachmodell zweimal dieselbe Frage zu einem Vertrag und Sie bekommen zwei Antworten, die sich in Aufbau, Schwerpunktsetzung und manchmal auch im Ergebnis unterscheiden. Für eine erste Recherche ist das verschmerzbar. Für die Prüfung eines Auftragsverarbeitungsvertrags nach Art. 28 DSGVO ist es ein Ausschlussgrund.

Der Grund liegt selten am Modell. Er liegt in der Aufgabenstellung. Wer frei promptet, überlässt der KI zwei Entscheidungen auf einmal: welchen Weg sie prüft und welches Ergebnis dabei herauskommt. Juristische Prüfung funktioniert aber genau andersherum. Eine Bearbeiterin oder ein Bearbeiter, die oder der einen Vertrag prüft, denkt sich die Prüfpunkte nicht aus, sondern arbeitet ein feststehendes Schema ab. Die Bewertung ist ihre oder seine Leistung, der Prüfweg ist Vorgabe. Diese Trennung fehlt dem freien Prompt vollständig.

Genau hier setzen KI-Playbooks an. Das Schema wird vorgegeben, die KI führt es aus. Was dabei herauskommt, ist nicht automatisch richtig, aber es ist an derselben Stelle nachvollziehbar wie bei einer menschlichen Prüfung: Sie können sehen, welcher Prüfpunkt wie beantwortet wurde und warum.

Das Playbook kennen Sie längst

In der Kanzlei- und Inhouse-Praxis ist ein Playbook nichts Neues. Es ist das Dokument, an dem ein Vertrag Klausel für Klausel geprüft wird. Es legt fest, welche Vertragstypen überhaupt in den Anwendungsbereich fallen und welche ausdrücklich nicht, welche Prüffragen je Klausel zu stellen sind, nach welchem Maßstab sie beantwortet werden, welche Position die Organisation vertritt, wo der Verhandlungsspielraum endet und ab welchem Gesamtergebnis ein Vertrag unterschrieben werden darf.

Die meisten Organisationen haben so etwas, auch wenn es nicht so heißt. Es steckt in einer Checkliste, in einer kommentierten Mustersammlung, in einem Word-Dokument, das seit drei Jahren gepflegt wird, oder im Kopf der Kollegin, die Auftragsverarbeitungsverträge seit Jahren prüft. Das Problem ist also nicht, dass die Hausmeinung fehlt. Das Problem ist ihre Form.

Vom Lesedokument zur ausführbaren Anweisung

Ein klassisches Playbook ist ein Dokument, das ein Mensch liest und anwendet. Ein KI-Playbook ist dieselbe Hausmeinung, nur so geschrieben, dass eine KI sie ausführen kann. Die Prüfung läuft dann selbst, statt dass jemand sie am Dokument entlang führt. Das klingt nach einem technischen Detail, hat aber drei praktische Folgen.

Erstens wird die Prüfung reproduzierbar. Weil der Prüfweg festgeschrieben ist, laufen zwei Durchläufe desselben Vertrags über dieselben Prüfpunkte in derselben Reihenfolge. Abweichungen im Ergebnis haben dann eine benennbare Ursache im Sachverhalt, nicht im Zufall der Formulierung.

Zweitens wird die Hausmeinung sichtbar und versionierbar. Red Lines, Risikoklassen und Bewertungsschwellen müssen ausformuliert werden, damit die KI sie anwenden kann. Was vorher Erfahrungswissen einzelner Personen war, steht danach als geprüfter, datierter Stand da und lässt sich ändern, wenn sich die Rechtslage oder die Verhandlungsposition verschiebt. Als Nebenprodukt entsteht eine Änderungshistorie.

Drittens verschiebt sich die Arbeitsteilung. Die KI übernimmt den strukturierten Durchlauf und die Dokumentation, also den Teil, der Zeit kostet und wenig juristisches Urteilsvermögen verlangt. Die Entscheidung bleibt beim Menschen. Das ist keine Ersetzung, sondern eine Verschiebung des Einstiegspunkts: Sie steigen nicht mehr bei der Rohfassung ein, sondern bei einer vorstrukturierten Erstbewertung.

Vom Skill unterscheidet sich das Playbook durch den Grad der Festlegung. Ein Skill ist eine Anleitung für eine allgemeine Aufgabe. Ein Playbook ist ein juristisches Prüfungsschema mit festen Prüfpunkten, festen Bewertungsmaßstäben und einer festen Ergebnislogik. Technisch wird ein KI-Playbook meist als Skill ausgeliefert.

Woraus ein KI-Playbook besteht

Ein belastbares Playbook hat vier Funktionsgruppen, und jede davon beantwortet eine andere Frage.

Der Rahmen klärt, worüber überhaupt gesprochen wird. Dazu gehören die Kurzbeschreibung mit Verantwortlichkeit und Stand, ein Glossar der verwendeten Begriffe und vor allem der Scope: Welche Vertragstypen geprüft werden, welche ausdrücklich nicht, welcher räumliche und sachliche Anwendungsbereich gilt. Ein fehlender Scope ist der häufigste Grund dafür, dass ein Playbook auf Fälle angewendet wird, für die es nie gedacht war.

Die Prüflogik ist der Kern. Je Klausel oder Prüfpunkt werden die konkreten Prüffragen festgehalten und der Maßstab, an dem sie beantwortet werden: Gesetzestext, Aufsichtspraxis, Rechtsprechung oder eine begründete Hausmeinung. Ohne benannten Maßstab produziert die KI eine Einschätzung, die niemand überprüfen kann.

Die Bewertung übersetzt Befunde in Konsequenzen. Dazu gehören definierte Risikoklassen, die Standardposition mit Verhandlungsspielraum und Red Line je Prüfpunkt und ein Scoring, das sagt, wie Einzelbefunde zum Gesamtergebnis werden. Entscheidend ist die Methode: Zählt der schlechteste Einzelbefund, oder wird gewichtet summiert? Davon hängt ab, ob eine rote Klausel den ganzen Vertrag kippt.

Die Pflege hält das Ganze am Leben. Eine Änderungshistorie mit Datum, Verantwortlichkeit und Versionsnummer, dazu ein fester Review-Zyklus. Ein Playbook ohne Pflegeroutine ist nach der nächsten relevanten Entscheidung eine Fehlerquelle mit Autoritätsanspruch.

Wer entscheidet

Die Rollenverteilung ist der Punkt, an dem die meisten Vorbehalte hängen, und sie lässt sich klar beantworten. Die KI führt das Schema durch, ordnet den Sachverhalt den Prüfpunkten zu, markiert Abweichungen von der Hausposition und dokumentiert, wie sie zu jeder Einordnung gekommen ist. Sie liefert damit eine Erstbewertung samt Begründungspfad.

Die Jurist:innen prüfen diese Erstbewertung, entscheiden in den Punkten, die Wertung verlangen, eskalieren, wo das Playbook eine Eskalation vorsieht, und pflegen das Playbook, wenn ein Fall zeigt, dass eine Regel zu eng oder zu weit war. Diese letzte Aufgabe wird gern übersehen. Ein Playbook, das niemandem gehört, verfällt.

Wo KI-Playbooks an Grenzen stoßen

Ein Playbook ersetzt keine anwaltliche Prüfung im Einzelfall. Es liefert eine strukturierte Arbeitsgrundlage, und dieser Hinweis gehört aus gutem Grund auf jedes Deckblatt. Wer das Ergebnis ungeprüft weitergibt, verlagert kein Risiko, sondern verdeckt es.

Die inhaltliche Grenze verläuft dort, wo subsumiert statt abgeglichen werden muss. Ob eine Klausel eine bestimmte Angabe enthält, lässt sich schematisch beantworten. Ob ein berechtigtes Interesse die Interessen der betroffenen Person überwiegt, ob eine Formulierung im konkreten Kontext noch transparent ist, ob eine Regelung einer AGB-Kontrolle standhält, hängt an Wertungen und an einem Gesamtbild. Dort kann ein Playbook die Abwägungskriterien vorgeben und strukturiert abfragen. Die Abwägung selbst nimmt es niemandem ab.

Die Qualität hängt außerdem an zwei Stellschrauben, nicht an einer. Die erste ist das Schema. Ein unsauber formuliertes Prüfungsschema liefert zuverlässig falsche Ergebnisse, und zwar mit demselben ruhigen Ton wie ein gutes. Der Aufwand liegt vorne, in der Präzision der Prüffragen und der Maßstäbe. Die zweite Stellschraube ist das Modell. Dasselbe Playbook liefert je nach eingesetztem Modell unterschiedlich gute Ergebnisse, und ein Modellwechsel kann die Qualität sowohl heben als auch senken. Wer ein Playbook produktiv einsetzt, sollte es deshalb bei jedem Modellwechsel an bekannten Fällen gegenprüfen.

Schließlich die rechtlichen Rahmenbedingungen. Mandats- und Geschäftsgeheimnisse begrenzen, welche Dokumente in welches System gelangen dürfen, was neben § 203 StGB regelmäßig eine saubere Auftragsverarbeitung voraussetzt.

Fünf Fragen, bevor Sie ein Playbook bauen

Nicht jede Prüfung eignet sich. Legen Sie die folgenden fünf Fragen an die Prüfroutine an, über die Sie nachdenken. Je öfter Sie mit Ja antworten, desto eher lohnt der Aufwand.

  • Läuft diese Prüfung mehr als zehnmal im Jahr, oder ist jeder Fall ein Einzelstück?
  • Gibt es ein Schema, an dem heute schon geprüft wird, und sei es als Checkliste oder im Kopf einer erfahrenen Person?
  • Ist die Rechtsgrundlage stabil, oder bewegt sie sich gerade durch Gesetzgebung oder Rechtsprechung?
  • Lässt sich je Prüfpunkt ein Soll-Zustand benennen, oder bleibt alles Abwägung?
  • Gibt es eine Person oder Rolle, die das Playbook nach dem Projekt pflegt?

Fällt die Antwort mehrheitlich negativ aus, ist das kein Argument gegen KI, sondern gegen diese Form. Eine freie Unterstützung bei Recherche und Formulierung kann dann sinnvoller sein als ein Schema, das es gar nicht gibt.

Wie KLTO dabei unterstützt

KLTO verbindet technische Umsetzung mit der juristischen Fachtiefe von KREMER LEGAL und baut KI-Playbooks gemeinsam mit den Teams, die sie später nutzen. In der Praxis beginnt das selten bei null: Meist existiert ein Prüfungsschema bereits, nur eben als Checkliste, Mustersammlung oder Erfahrungswissen. Unsere Arbeit besteht darin, daraus ein belastbares, versioniertes Playbook zu machen, es an echten Fällen zu testen und die Pflege so zu übergeben, dass Ihr Team es selbst weiterentwickeln kann.



Sie überlegen, welche Ihrer wiederkehrenden Prüfungen sich für ein KI-Playbook eignet? Schreiben Sie uns an info@klto.io. Wir schauen uns Ihre Prüfroutine gemeinsam an und sagen Ihnen ehrlich, ob sich der Aufwand lohnt.

KLTO | Ein Beitrag von Noha Klose