Sie beauftragen ein KI-System mit der Prüfung eines komplexen Vertrags. Das Modell liefert eine solide Analyse: Korrekte Verweise, schlüssige Argumentation, keine offensichtlichen Fehler. Was es Ihnen aber nicht sagt: Es hat einen ganzen Regelungsbereich schlicht nicht erkannt, weil ihm das konzeptuelle Verständnis dafür fehlt. Kein Hinweis, keine Unsicherheitswarnung, kein Vorbehalt. Das ist das Problem der Unknown Unknowns.
Dieser Beitrag erklärt, was explorative Intelligenz bei KI-Modellen bedeutet, warum das Konzept der Unknown Unknowns für den rechtlichen Einsatz von KI entscheidend ist und wie Datenschutz-, Rechtsabteilungen und Kanzleien damit umgehen können.
Bekannte und unbekannte Wissenslücken
In der Risikoanalyse unterscheidet man klassisch zwischen Known Knowns (was ich weiß), Known Unknowns (was ich nicht weiß, aber als Wissenslücke erkenne) und Unknown Unknowns (was ich nicht weiß – und nicht einmal weiß, dass ich es nicht weiß). Diese dritte Kategorie ist die gefährlichste.
Für KI-Modelle gilt dasselbe Prinzip. Moderne Large Language Models sind bemerkenswert gut darin, Fragen zu beantworten, die sie im Training gesehen haben. Schwierig wird es, wenn Anfragen in Bereiche fallen, die das Modell nicht als bekannt markieren kann – weil es nicht einmal erkennt, dass es sich in unbekanntem Terrain bewegt. Ein Modell, das unsicher ist, sagt idealerweise: „Dazu habe ich keine verlässlichen Informationen.“ Ein Modell mit Unknown Unknowns formuliert trotzdem eine Antwort – überzeugend, flüssig und möglicherweise falsch.
Explorative Intelligenz: Was KI-Modelle wirklich können müssen
Der Begriff Explorative Intelligenz beschreibt die Fähigkeit eines Systems, aktiv an die Grenzen seines Wissens zu stoßen und diese Grenzen zu erkennen. Gemeint ist nicht nur Kreativität oder Generalisierungsfähigkeit, sondern eine spezifische Kompetenz: Das Modell kann einschätzen, welche Bereiche es kennt, welche es nicht kennt und – entscheidend – welche Bereiche es nicht kennen könnte.
In der Praxis zeigt sich das unter anderem in drei Fähigkeiten: Erstens in der Kalibrierung von Konfidenz, also der Fähigkeit, eigene Unsicherheit korrekt einzuschätzen und zu kommunizieren. Zweitens in der Fähigkeit zur Meta-Reflexion, also zu erkennen, wann eine Aufgabe außerhalb des eigenen Kompetenzbereichs liegt. Drittens in der Bereitschaft zur Eskalation, also dem Hinweis an den Nutzer, dass externe Prüfung oder Expertenrat angezeigt ist.
Keines dieser Merkmale ist bei heutigen Modellen selbstverständlich. Die Forschung spricht von sogenannter ‚Overconfidence‘ – dem systematischen Phänomen, dass Sprachmodelle ihre eigene Sicherheit überschätzen, insbesondere in Domänen, die im Training unterrepräsentiert waren.
Was das für die Rechts- und Datenschutzabteilungen bedeutet
Für Rechts- und Datenschutzabteilungen ist das keine theoretische Debatte. Wer KI-Tools in der Vertragsanalyse, der Datenschutzprüfung oder der Compliance-Überwachung einsetzt, muss mit einer strukturellen Schwäche umgehen: Das Modell kann nicht wissen, was es nicht weiß und wird es Ihnen deshalb nicht sagen.
Das Risiko verteilt sich auf mehrere Bereiche. Bei der Vertragsanalyse kann ein Modell Klauseln als rechtskonform bewerten, obwohl aktuelle Rechtsprechung oder nationale Besonderheiten dagegen sprechen – sofern es diese nicht kennt. Bei der DSGVO-Prüfung kann ein Modell Verarbeitungsvorgänge als unproblematisch einstufen, ohne zu erkennen, dass es sich um einen Grenzfall handelt, der aufsichtsbehördliche Praxis erfordert. Und bei der Risikoklassifizierung nach dem EU AI Act kann ein Modell eine Einstufung liefern, die auf veralteten oder unvollständigen Trainingsdaten basiert, ohne Hinweis auf die eigene Unsicherheit.
Das Problem ist nicht, dass KI falsch liegen kann. Das Problem ist, wenn KI falsch liegt, ohne es zu zeigen.
Chancen und Grenzen: Eine ehrliche Einordnung
Explorative Intelligenz ist kein Marketingbegriff ohne Substanz. Sie ist ein aktives Forschungsfeld. Methoden wie Retrieval-Augmented Generation (RAG), Chain-of-Thought-Reasoning und Calibration Training verbessern nachweislich die Fähigkeit von Modellen, Wissensgrenzen zu erkennen. Einige neuere Ansätze kombinieren KI-Ausgaben mit Konfidenzwerten oder Quellenangaben, sodass Nutzer besser einschätzen können, wie belastbar eine Antwort ist.
Die Grenzen sind jedoch real. Kein aktuelles Modell kann vollständig sicherstellen, dass Unknown Unknowns erkannt und kommuniziert werden. Der Grund liegt in der Natur des Trainings: Ein Modell kann nur lernen, Unsicherheit zu signalisieren, wenn es Beispiele für solche Situationen gesehen hat. Was strukturell fehlt, bleibt strukturell blind.
Für die Praxis bedeutet das: KI-Unterstützung im Rechtsbereich ist sinnvoll und effizient – aber nur mit klar definierten Überprüfungsroutinen. Die Frage ist nicht, ob Sie KI einsetzen, sondern wie Sie sicherstellen, dass die Unknown Unknowns durch effiziente Prozesse und menschliche Expertise aufgefangen werden.
Wie KLTO dabei unterstützt
KLTO begleitet Rechts-, Datenschutzabteilungen und Kanzleien bei der strukturierten Einführung und Governance von KI-gestützten Prozessen. Ein zentraler Baustein ist die Entwicklung von Qualitätssicherungsroutinen, die gezielt auf die blinden Flecken von KI-Modellen ausgerichtet sind: Wo muss ein Mensch prüfen? Welche Ausgaben dürfen direkt verwendet werden? Wie wird Unsicherheit im Prozess sichtbar gemacht?
Nicht jedes Modell ist für jede Aufgabe geeignet. KLTO hilft dabei, diese Passung systematisch zu bewerten und in tragfähige Prozesse zu überführen.
KLTO-Angebot: KI-Strategie-Workshops
Wir bieten Workshops, in denen Entscheidungsträger und Fachabteilungen eine gemeinsame Grundlage zum Einsatz von KI im Unternehmen entwickeln. Themen sind u.a. Chancen und Risiken von KI, Governance-Modelle, Rollen und Verantwortlichkeiten sowie die Ableitung erster konkreter Use Cases.
Jetzt Kontakt aufnehmen: info@klto.io
Sie möchten verstehen, wo Ihre KI-Tools an ihre Grenzen stoßen und was das konkret für Ihre Rechtsabteilung bedeutet? Sprechen Sie uns an. Wir analysieren Ihre Situation und zeigen Ihnen, wie Sie KI sicher und nachvollziehbar einsetzen.
KLTO | Beitrag von Noha Klose