„Das Urteil gibt es wirklich — ich habe es aus dem BGH zitiert.“ Das sagte ein KI-System zu einem Anwalt in den USA. Das Urteil existierte nicht. Der Anwalt reichte es trotzdem ein. Das Gericht bemerkte es. Die Karriere des Anwalts nicht.

Das ist kein Einzelfall. Das ist die Natur von Sprachmodellen.


Was Halluzinationen wirklich sind — und warum sie sich so echt anfühlen

KI-Sprachmodelle sind keine Datenbanken. Sie „suchen“ nicht nach Fakten — sie vorhersagen das wahrscheinlichste nächste Wort in einer Sequenz. Das Ergebnis klingt immer flüssig, strukturiert und kompetent — auch wenn der Inhalt erfunden ist.

Das ist kein Bug. Das ist das Prinzip.

Warum das gefährlich klingt — aber auch lösbar ist: Das Modell „weiß“ nicht, dass es lügt. Es hat kein Bewusstsein. Es optimiert für sprachliche Kohärenz, nicht für Wahrheit. Wenn eine plausible Antwort existiert, gibt es sie. Wenn nicht, erfindet es eine plausible — und liefert sie mit derselben Sicherheit.

Das bedeutet: Halluzinationen passieren am häufigsten genau dort, wo man sie am wenigsten erwartet — bei spezifischen Fakten, Zahlen, Gerichtsurteilen, Paragrafennummern.


Wie häufig passiert das — und in welchen Situationen?

Grobe Faustregeln aus der Praxis:

Aufgabe Halluzinationsrisiko
Allgemeine Textzusammenfassung Niedrig
Stimmungsanalyse, Klassifizierung Sehr niedrig
Code-Generierung (mit Tests) Mittel
Spezifische Urteile / Paragrafennummern Hoch
Zahlen aus Dokumenten extrahieren Mittel–hoch
Eigennamen, Daten, Firmennamen Mittel

Das Muster: Je spezifischer die Faktenanfrage, desto höher das Risiko. Allgemeine Aufgaben (Texte kürzen, Sprache prüfen, Strukturieren) sind viel sicherer.


Was in Kanzleien konkret schiefgehen kann

1
Szenario 1 — Paragrafenzitat
Das Paragrafenzitat, das keines ist
Sie fragen Claude oder ChatGPT nach der genauen Formulierung von § 437 BGB. Das Modell gibt eine Antwort. Klingt richtig. Ist zu 80 % richtig, der Rest ist stilisierte Fiktion. Beim Mandantenbrief kein Problem — bei einem Klageentwurf katastrophal.
2
Szenario 2 — Bescheidsanalyse
Die falsche Einspruchsfrist
Ein Finanzamtsbescheid wird zur Analyse eingegeben. Das Modell extrahiert die falsche Jahreszahl für die Einspruchsfrist. Warum? Der Bescheid hatte ein ungewöhnliches Layout, das das Modell falsch geparst hat. Das Modell nennt das Ergebnis trotzdem mit voller Überzeugung.
3
Szenario 3 — Vertragskontrolle
Falsch positiv bei Problemklauseln
Sie lassen einen Werkvertrag auf problematische Klauseln prüfen. Das Modell findet 3 Probleme. Davon sind 2 echte Probleme — und eines ist eine Klausel, die das Modell als problematisch markiert, obwohl sie es nicht ist. Was passiert dann?

Die Lösung: Kein KI-Verbot, sondern kluger Workflow

Das Problem ist nicht KI selbst — es ist KI ohne Qualitätssicherung.

Zuverlässige KI-Nutzung in Kanzleien funktioniert nach einem einfachen Prinzip:

KI arbeitet, Mensch prüft den Prüfschritt.

Konkret:

1
KI für Vorarbeit, Mensch für Abnahme
Lass die KI einen Entwurf machen. Du liest, prüfst, unterschreibst — aber die Vorarbeit war schon getan.
2
Faktenangaben immer per Direktlink verifizieren
Urteile, Paragrafennummern, Fristen — nie aus dem KI-Output verwenden ohne Gegenprüfung in der Quelle.
3
Konfidenz-Filter nutzen
Moderne Agenten können so gebaut werden, dass sie bei unsicheren Aussagen explizit einen Hinweis einbauen: „Dieser Wert sollte verifiziert werden.“
4
Strukturierte Ausgaben statt Freitext
Wenn Sie KI einsetzen, um Daten zu extrahieren (Zahlen, Daten, Namen), formatieren Sie die Ausgabe als JSON mit Pflichtfeldern — das zwingt das Modell zu präziseren Aussagen und macht Fehler erkennbarer.

Was das für Kanzleien bedeutet

KI ist für Kanzleien besonders wertvoll bei strukturierten Routineaufgaben mit klarem Input und verifizierbarem Output:

KI ist risikobehaftet bei Aufgaben, die auf spezifischen Rechts- oder Steuerfakten basieren — ohne explizite Verifikation im Nachgang.

Der Unterschied zwischen einem KI-Desaster und einem KI-Gewinn liegt fast immer im Workflow, nicht im Modell.


Wie man das richtig baut

Der Weg zu zuverlässigen KI-Agenten in der Kanzlei ist lernbar. Unser Kurs zeigt, wie man Agenten baut, die:

🎓

Claude Code Mastery — KI-Agenten für Kanzleien und KMU

Von 0 auf eigene KI-Automatisierungen in 4 Wochen. Mit eingebautem Human-in-the-Loop und strukturierten Verifikationsschritten — für Rechtsanwälte, Steuerberater und KMU-Inhaber.

Zum Kurs →

Erst sehen, dann entscheiden?

Wir zeigen Ihnen in 30 Minuten, wie KI-Automatisierung mit eingebautem Qualitätsschutz konkret in Ihrer Kanzlei aussieht — mit echten Beispielen, ohne Verkaufsdruck.

Demo anfragen

Kostenlos · 30 Minuten · Kein Verkaufsgespräch