Human control & KI

Künstliche Intelligenz ist längst Teil unseres Alltags und unterstützt uns in immer mehr Bereichen. Doch überzeugende Ergebnisse sind nicht automatisch richtige Ergebnisse: Generative KI kann Inhalte erzeugen, die selbstsicher formuliert, aber sachlich falsch oder unvollständig sind. Umso wichtiger ist es, vor ihrem Einsatz festzulegen, welche Aufgaben ein System übernehmen darf, wer die Ergebnisse prüft und wer bei Bedarf eingreifen kann.

Dabei gilt:

• KI kann halluzinieren und fehlerhafte Ergebnisse erzeugen.
• KI trägt keine Verantwortung für Entscheidungen.
• KI benötigt klare Grenzen und eindeutig definierte Zugriffsberechtigungen.
• Fehler können automatisiert, vervielfältigt und in Prozesse übernommen werden.

Für die Einbindung menschlicher Kontrolle in KI-gestützte Prozesse gibt es verschiedene Konzepte. Im folgenden Abschnitt werden die Begriffe Human Oversight, Human-in-the-Loop, Human-in-Command und Human-on-the-Loop gegenübergestellt und voneinander abgegrenzt. Wichtig: Diese Leitlinien sind eine Orientierung, keine rechtlich verbindliche Begriffsdefinition. 

Human Oversight: Menschen behalten den Handlungsspielraum

Human Oversight ist der übergeordnete Rahmen für den verantwortungsvollen Einsatz von KI. Verantwortliche Personen müssen Ergebnisse im passenden Kontext beurteilen und bei Bedarf korrigieren, steuern oder einen Prozess stoppen können. Wie eng und intensiv diese Kontrolle ausgestaltet sein sollte, hängt vom Risiko, der Autonomie und dem Einsatzkontext des Systems ab. (Vgl. EUR-Lex 2024)

Der Mensch überwacht das KI-System und seine Auswirkungen. Gemeint ist ein verlässlicher Rahmen aus klaren und transparenten Zuständigkeiten, nachvollziehbaren Informationen und definierten Berechtigungsgruppen. Ergebnisse sollen dabei aktiv hinterfragt, korrigiert oder überarbeitet werden.

Human-in-the-Loop

Ein Verfahren oder ein Prozess, bei dem ein Mensch aktiv am Betrieb, Überwachung oder bei Entscheidungen eines automatisierten Systems beteiligt ist, nennt man „Human-in-the-Loop“ (HITL). Im Kontext von KI wird dabei ein Kontrollpunkt geschaffen, in dem ein Mensch an einem bestimmten Punkt in den KI-Workflow eingreift und einzelne Entscheidungen prüft, bestätigt oder korrigiert, bevor der Prozess fortgesetzt wird. Der Mensch behält nicht nur die Kontrolle und überwacht, er entscheidet aktiv mit. (Vgl. IBM 2026)

Beispiel aus der Praxis: Die KI erkennt in einer E-Mail Angaben zur Änderung in den Kundenstamm-Daten und schlägt eine Aktualisierung der Kundendaten vor. Ein Mitarbeiter kontrolliert die Änderungsvorschläge und gibt sie frei, bevor sie tatsächlich im System übernommen werden.

Human-in-Command

Im Vergleich zu Human-in-the-Loop behält der Mensch bei „Human-in-Command“ die übergeordnete Steuerung und Verantwortung über ein KI-System. Der Anwender gibt dabei die Richtung vor, definiert die Regeln und behält dadurch auch hier die Kontrolle. (Vgl. Digital Strategy 2026)

Beispiel aus der Praxis: Ein KI-Agent kann eigenständig Schadendaten analysieren, den Prozess zum Schadenmanagement anstoßen und beispielsweise eine E-Mail an den Versicherer vorbereiten. Der Sachbearbeiter muss dabei nicht jede einzelne Aktion freigeben, er entscheidet aber klar, welche Aufgaben die KI übernehmen darf, auf welche Daten sie Zugriff hat, welche Richtlinien und Grenzen gelten oder wann ein Mensch eingreifen muss.

Human-on-the-Loop

Das System kann handeln, während Menschen es überwachen und bei Auffälligkeiten eingreifen. Die EU-Ethikleitlinien nennen „Human-on-the-Loop“ neben Human-in-Command und Human-in-the-Loop, als mögliche Formen menschlicher Aufsicht. (Vgl. Digital Strategy 2026)

Beispiel aus der Praxis: Ein KI-gestützter Workflow ordnet eingehende Dokumente automatisch einem Schaden- oder Vertragsvorgang zu und fordert bei fehlenden Standardunterlagen selbstständig eine Ergänzung an. Mitarbeitende geben nicht jede einzelne Zuordnung frei. Sie überwachen jedoch über definierte Kennzahlen, Ausnahmen und Fehlerhinweise, ob der Prozess zuverlässig arbeitet. Bei ungewöhnlichen Daten, wiederkehrenden Fehlzuordnungen oder sensiblen Vertragsänderungen können sie den Workflow anhalten, Regeln anpassen und betroffene Vorgänge in eine manuelle Prüfung überführen.

Gerade im Versicherungsumfeld sollte Human Oversight risikobasiert ausgestaltet sein. Ein KI-gestütztes Dokumentenrouting benötigt nicht dieselbe Kontrolltiefe wie eine Anwendung, die Entscheidungen mit spürbaren Auswirkungen auf Kundinnen und Kunden vorbereitet. Entscheidend sind klar definierte Rollen, Eskalationswege, Eingriffsrechte und ausreichend qualifizierte Mitarbeitende.

EBU empfiehlt: KI niemals blind vertrauen

In einer Studie der Europäischen Rundfunkunion aus dem Jahre 2025 wurden die populärsten KI-Systeme auf Zuverlässigkeit getestet. In der BBC-/EBU-Studie wurden mehr als 3.000 Antworten von KI-Assistenten auf Nachrichtenfragen bewertet. 45 Prozent der Antworten enthielten mindestens ein erhebliches Problem und bei 20 Prozent wurden erhebliche Genauigkeitsprobleme festgestellt. (Vgl. EBU 2025/tagesschau 2025)

Natürlich werden KI-Systeme kontinuierlich leistungsfähiger, schneller und präziser, während sich ihre Fehlerquote zunehmend reduziert. Die Geschwindigkeit dieser Entwicklung ist außergewöhnlich und mit früheren technologischen Fortschritten kaum vergleichbar. Dennoch sollten wir uns nicht vollständig auf die Ergebnisse von KI-Systemen verlassen.

Faktencheck

Umso wichtiger bleibt aktuell eine menschliche Kontrolle bei automatisierten Arbeitsprozessen. Eine aktuelle Vergleichsstudie aus dem Jahr 2026 aus den Proceedings of the National Academy of Sciences kam sogar zu dem Ergebnis, dass in einer konkret gestellten Aufgabe zur Reproduzierbarkeit wissenschaftlicher Forschungsergebnisse , der Mensch ganz ohne KI-Hilfe eine niedrigere Fehlerquote erreicht, als mit KI. (Vgl. Brodeur et.al 2026) Technisch sind wir bereits dort angekommen, dass die KI 100% unserer Arbeitsprozesse problemlos übernehmen könnte. Die entscheidende Frage lautet deshalb: wo vertrauen wir der KI und wo muss die Entscheidungshoheit weiterhin beim Menschen bleiben?

Quellen

EUR Lex (2025): REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL https://eur-lex.europa.eu/legal-content/EN-DE/TXT/?uri=CELEX:32024R1689&utm_ (02.10.2026)

IBM (2026): Human in the Loop https://www.ibm.com/think/topics/human-in-the-loop (02.10.2026)

Digital Strategy (2025): Ethikleitlinien für vertrauenswürdige KI https://digital-strategy.ec.europa.eu/de/library/ethics-guidelines-trustworthy-ai (02.10.2026)

EBU (2025): News Integraty in AI Assistance https://www.ebu.ch/Report/MIS-BBC/NI_AI_2025.pdf (02.10.2026)

Tagesschau (2025): KI erfindet jede dritte Antwort https://www.tagesschau.de/wissen/technologie/kuenstliche-intelligenz-fakten-100.html (02.10.2026)

Brodeur et al. (2026): AI-assisted teams outperform AI-led teams but not human-only teams in assessing research reproducibility in quantitative social science, Proceedings of the National Academy of Sciences, 123(22)