KI-Anbieter werben mit beeindruckenden Benchmark-Ergebnissen – doch was sagen diese Werte über die tatsächliche Leistung in Ihrem Unternehmen aus? Dieser Beitrag erklärt, was AI Benchmarking ist, welche Methoden es gibt, was Benchmaxing bedeutet und warum Humanity’s Last Exam die Messlatte neu gesetzt hat.
AI Benchmarking bezeichnet die systematische Messung und den Vergleich von KI-Modellen anhand standardisierter Tests. Dabei werden die Modelle mit definierten Aufgaben konfrontiert – etwa Textverständnis, logisches Schlussfolgern oder Faktenwissen – und ihre Ergebnisse auf einer einheitlichen Skala bewertet. So lässt sich objektiv nachvollziehen, welches Modell bei welcher Aufgabe wie gut abschneidet.
Wem AI Benchmarks nützen – und wem eher weniger
Für die Forschung sind Benchmarks unverzichtbar – sie machen Fortschritte in der Entwicklung nachvollziehbar und vergleichbar. Für Anbieter sind sie längst auch ein Marketinginstrument. Hohe Werte auf bekannten Tests erzeugen Vertrauen, rechtfertigen Preise und landen in Pressemitteilungen. Das ist nicht per se verwerflich, aber es erklärt, warum Benchmark-Ergebnisse mit einer gewissen Skepsis gelesen werden sollten.
Für Unternehmen, die KI wirklich einsetzen wollen, ist die Sache etwas komplizierter. Generische Benchmarks wie MMLU taugen tatsächlich nur als grober Vorfilter – sie schließen offensichtlich schwache Systeme aus, mehr nicht. Domänenspezifische Tests wie LegalBench oder TruthfulQA sind dagegen durchaus handlungsrelevant: Sie liefern konkrete Hinweise auf Halluzinationsneigungen, juristische Urteilsfähigkeit und Zuverlässigkeit – Faktoren, die direkt in die Kaufentscheidung einfließen sollten.
Ob ein System aber tatsächlich mit den eigenen Dokumententypen, internen Formulierungen und spezifischen Compliance-Anforderungen zuverlässig umgeht, lässt sich letztlich nur unter realen Bedingungen prüfen – mit echten Dokumenten, typischen Aufgaben und den Menschen, die später damit arbeiten.
In Rechts- und Datenschutzabteilungen steht dabei mehr auf dem Spiel als anderswo. Fehlerhafte KI-Ausgaben sind dort keine abstrakte Gefahr – sie können direkte Haftungsrisiken bedeuten.
Die wichtigsten Benchmark-Methoden im Überblick
MMLU (Massive Multitask Language Understanding) ist der meistzitierte Allround-Benchmark und testet Allgemeinwissen aus verschiedenen Fachgebieten. Problem: Führende Modelle erzielen hier sehr hohe Werte (häufig 80–90 %), sodass sich moderne Spitzenmodelle kaum noch voneinander unterscheiden. Für die Evaluierung eines KI-Einsatzes, der juristische Detailentscheidungen erfordert, ist MMLU schlicht zu generisch.
LegalBench wurde spezifisch für juristische Aufgaben entwickelt – Vertragsanalyse, Gesetzesauslegung, rechtliche Schlussfolgerungen – und ist für die Bewertung von KI in der Rechtsarbeit wesentlich aussagekräftiger.
TruthfulQA misst Halluzinationsresistenz: Wie oft produziert ein Modell falsche, aber überzeugend klingende Antworten? Im juristischen Kontext ist das womöglich der wichtigste Wert überhaupt. Ein Modell, das Urteile erfindet, ist kein Werkzeug. Es ist ein Risiko.
HumanEval und SWE-bench prüfen Programmierfähigkeiten – für Teams mit Automatisierungsvorhaben durchaus relevant.
Benchmaxing: Wenn das Modell den Test auswendig lernt
Wer Benchmark-Ergebnisse ernst nimmt, sollte einen Begriff kennen: Benchmaxing. Gemeint ist die gezielte Optimierung eines Modells auf bekannte Benchmark-Datensätze – das Modell lernt gewissermaßen den Test auswendig und erzielt hohe Werte, ohne in der Praxis entsprechend leistungsfähig zu sein. Davon zu unterscheiden ist die sogenannte Benchmark-Kontamination: Hier überschneiden sich Trainings- und Testdaten unbeabsichtigt – mit ähnlichem Effekt, aber ohne gezielte Absicht.
Die Folgen sind in der Praxis messbar: Selbst gemeldete Benchmark-Ergebnisse weichen regelmäßig erheblich von unabhängig verifizierten Werten ab – teilweise um zweistellige Prozentpunkte, beim selben Modell, auf demselben Benchmark. Kein Einzelfall, aber auch kein Branchenstandard – ein guter Grund, Herstellerangaben nicht ungeprüft zu übernehmen.
Herstellerangaben zu Benchmark-Ergebnissen sind ein Ausgangspunkt, keine Entscheidungsgrundlage. Unabhängige Evaluierungen zählen mehr – den aussagekräftigsten Wert liefern eigene Tests unter realen Bedingungen.
Humanity’s Last Exam: Der schwierigste Test der Welt
Weil viele Benchmarks schlicht zu leicht geworden sind, haben das Center for AI Safety und Scale AI eine neue Messlatte geschaffen: Humanity’s Last Exam (HLE). Der Benchmark umfasst 2.500 Fragen aus über 100 Fachgebieten, entwickelt von knapp 1.000 Experten aus mehr als 500 Institutionen weltweit.
Die Besonderheit: Jede Frage wurde vorab gegen führende KI-Modelle getestet. Konnte ein Modell sie beantworten, flog sie raus. Das Ergebnis ist ein Benchmark, der bewusst an der Grenze des aktuell Möglichen operiert. Frühe Modelle wie GPT-4o erzielten nur 2,7 %, Claude 3.5 Sonnet 4,1 %. Aktuelle Spitzenmodelle kommen auf 40 bis über 50 % – die Lücke zur menschlichen Fachtiefe bleibt jedoch auch bei den Besten (noch) deutlich bestehen.
Für Rechtsabteilungen ist HLE weniger als direktes Auswahlkriterium relevant denn als Realitätscheck: Es gibt noch erhebliche Lücken zwischen KI-Leistung und menschlicher Fachtiefe – gerade in spezialisierten Domänen. Um überzogene Erwartungen zu vermeiden, sollte das bei der Einschätzung realer Einsatzszenarien immer mitgedacht werden.
Wie KLTO Sie dabei unterstützt
Wer KI-Systeme für die Rechtsarbeit auswählt, braucht mehr als Benchmark-Werte. Es braucht die Fähigkeit, Ergebnisse kritisch einzuordnen, die richtigen Fragen an Anbieter zu stellen und das eigene Team auf den Einsatz vorzubereiten.
Genau dabei setzt KLTO an — mit passgenauen Trainings und Workshops, die Legal und Compliance Teams auf den KI-Einsatz vorbereiten.
KLTO Trainings & Workshops
KI verstehen ist der erste Schritt – KI richtig einsetzen der zweite. Die KLTO bietet zwei Formate, die direkt an diesem Beitrag anknüpfen:
- Schulungen zur KI-Strategie: Entscheidungsträger und Fachabteilungen entwickeln gemeinsam eine Grundlage für den KI-Einsatz – mit Blick auf Chancen und Risiken, Governance-Modelle und die Ableitung konkreter Use Cases.
- Legal Prompt Engineering Workshop: Ihre Mitarbeitenden lernen, generative KI-Tools strukturiert, sicher und effizient einzusetzen – mit Best Practices für den Aufbau von Prompts und konkreten Use Cases für die Rechtsarbeit.
- KI-Playbooks Workshop: Lernen Sie, wie Sie Vertragsprüfungen mittels KI automatisieren können – mit interaktiven Übungen, die Sie an Ihr erstes Playbook heranführen.
Jetzt Angebot einholen: klto.io/trainings-workshops
Sie wollen juristische Prozesse effizienter gestalten – und brauchen die richtige Grundlage dafür? Sprechen Sie mit uns: info@klto.io
KLTO | Beitrag von Dante Browder & Daniel Dischinger