Zum Hauptinhalt springen

Monat: Oktober 2026

KI-Kompetenz: Regeln wirken, wenn Wissen existiert

Bereits in einem unserer früheren Beiträge über AI Fatigue wurde herausgearbeitet wie wichtig es ist, mit seinen Mitarbeitern nachhaltige KI-Richtlinien zu teilen. Darin kann festgelegt werden, welche KI-Tools für die tägliche Arbeit genutzt werden können oder welche Daten mit der KI geteilt werden dürfen und welche nicht.
KI-Richtlinien dokumentieren jedoch nicht, welche Antworten der KI richtig und plausibel sind.
Verantwortungsvolle KI-Nutzung beginnt deshalb nicht beim Regelwerk, sondern bei Menschen, die neben fachlicher Expertise die technische Kompetenz besitzen, KI zu verstehen und anzuwenden. (Vgl. Hayes/Downie/Gomstyn/Jonker, 2026)

Was bedeutet KI-Kompetenz?

KI-Kompetenz oder im Englischen bekannt als AI literacy, beschreibt mehr als nur effizientes Prompting. Es umfasst den sicheren, sachkundigen und verantwortungsvollen Einsatz von künstlicher Intelligenz sowie deren Einordnung in Bezug auf Chancen und Grenzen. KI-Kompetenz verbindet somit das Verständnis und die Prüfung mit dem reflektierten Umgang von KI (vgl. Hayes/Downie/Gomstyn/Jonker, 2026):

  • Verständnis, wofür ein System geeignet ist
  • Kritisches Prüfen von Ergebnissen (vgl. Human-in-the-Loop)
  • Beachtung von Datenschutz, Vertraulichkeit und Zugriffserlaubnis

Zwischen KI-Anwendung und KI-Verständnis in der Versicherungswirtschaft

Laut einem EIOPA-Bericht aus 2026 nutzten fast zwei Drittel der Versicherungsunternehmen bereits aktiv künstliche Intelligenz. Gleichzeitig wurde im Rahmen des Berichts benannt, dass neben Datenschutz-, Sicherheitsbedenken und gesetzlichen Regularien auch qualifiziertes Personal eine der größten Herausforderungen bei der Einführung von KI-Systemen darstellt. Die Ergebnisse unterstreichen die Dringlichkeit der Förderung von KI-Kompetenz in Unternehmen aus der Versicherungsbranche. (Vgl. EIOPA, 2026)

Dabei muss man jedoch eindeutig unterscheiden: Mehr Wissen über KI führt nicht automatisch auch zu größerer Offenheit gegenüber KI (Lesen Sie auch unseren Artikel über AI Fatigue!). (Vgl. Longoni/Appel/Tully, 2025)

KI-Kompetenz praxisnah und rollenbezogen stärken

Das übergeordnete Ziel von KI-Kompetenz ist daher nicht, dass jeder Mitarbeiter künstliche Intelligenz mit größter Begeisterung annimmt. Der Fokus sollte demnach darauf liegen, dass Teams in Bezug auf KI Entscheidungen treffen können mit realistischen Erwartungen, einem kritischen Blick auf die Ergebnisse und einem klaren Verständnis ihrer Verantwortung.

KI-Kompetenz ist dabei nicht nur eine Frage einzelner Schulungen, sondern auch Teil von Cultural Change innerhalb eines Unternehmens. Neue KI-Anwendungen verändern Arbeitsabläufe, Verantwortlichkeiten und Formen der Zusammenarbeit. Interne Qualifizierung und ein begleitetes Onboarding sollten daher von Beginn an als fester organisatorischer und finanzieller Aufwandspunkt eingeplant werden. (Vgl. OECD, 2025)

Ein effektiver Ansatz könnte sein, seine Mitarbeiter rollenbezogen und praxisnah zu schulen. Das bedeutet: 

  • Einsatzfälle sichtbar machen: Welche KI-Systeme werden im Unternehmen für die jeweiligen Aufgaben verwendet? Wer behält die Verantwortung?
  • Grundlagen vermitteln und stärken: Wo liegen Grenzen und Gefahren der KI? Auf Grund welcher Datenbasis entstehen Ergebnisse? Wo können Datenschutzrisiken entstehen?
  • Hands-on-Training: Eigene Anwendungsfälle testen und daraus für die Praxis lernen.
  • Austausch ermöglichen und unterstützen: Fragen und Erfahrungen im Team offen besprechen und Kollegen dort unterstützen, wo noch Unsicherheiten bestehen.

Je nach Rolle im Team und der vorhandenen Expertise sollten Beispiele und Entscheidungsregeln besprochen werden. Auch Grenzfälle und Eskalationswege dürfen beleuchtet oder gute und fehlerhafte KI-Ergebnisse als praxisnahe Beispiele verglichen werden. (Vgl. Europäische Kommission, 2026)


Faktencheck

Das KI-Regelwerk gibt Orientierung. Die KI-Kompetenz hilft Mitarbeitern im entscheidenden Moment, richtig zu handeln. Erst wenn Anwender verstehen, welche Möglichkeiten ihnen mit KI zur Verfügung stehen, wo auch Grenzen der KI liegen bzw. wann Human Oversight gefordert wird, wird mit Unterstützung von Cultural Change im Unternehmen aus moderner Technologie ein verlässlicher Bestandteil des Arbeitsalltags mit kompetenten Mitarbeitern.


QUELLEN:

EIOPA (2026). EIPOA-Umfrage zur generativen KI zeigt rasche, aber vorsichtige Akzeptanz bei den europäische Versicherern. https://www.eiopa.europa.eu/eiopa-survey-generative-ai-shows-swift-cautious-adoption-among-europes-insurers-2026-02-02_en?prefLang=de (06.10.2026)

Europäische Kommission (2026). KI-Kompetenz – Fragen & Antworten. https://digital-strategy.ec.europa.eu/de/faqs/ai-literacy-questions-answers (06.10.2026)

Hayes, M./Downie, A./Gomstyn, A./Jonker, A. (2026). KI-Komptenz: Schließen der Qualifikationslücke im Bereich der künstlichen Intelligenz. https://www.ibm.com/de-de/think/insights/ai-literacy (06.10.2026)

Longoni, C./Appel, G./Tully, S. (2025). Why Understanding AI Doesn’t Necessarily Lead People to Embrace It. https://hbr.org/2025/07/why-understanding-ai-doesnt-necessarily-lead-people-to-embrace-it (06.10.2026)

OECD/BCG/INSEAD (2025). The Adoption of Artificial Intelligence in Firms: New Evidence for Policymaking. https://doi.org/10.1787/f9ef33c3-en (12.10.2026)

Schlüssig, aber falsch: KI-Halluzinationen

Ist die KI allwissend? Zumindest wirkt es oft, als hätte „die KI“ in Sekundenschnelle auf alles eine glaubwürdige und nachvollziehbare Antwort. So hilfreich generative KI auch scheint, so gefährlich kann hier blindes Vertrauen sein.

Was sind KI-Halluzinationen?

Auch wenn die KI-Antwort glaubwürdig klingen mag – künstliche Intelligenz ist nicht fehlerfrei. Wenn KI-generierte Antworten von den vorgegebenen Quellen abweichen und die Maschine Fakten erfindet, spricht man von „KI-Halluzinationen“. Fehlen verlässliche Quellen oder der passende Fachkontext, können sie Wissenslücken mit erfundenen Aussagen füllen, ohne diese Unsicherheit kenntlich zu machen. Die NIST beschreibt KI-Halluzinationen als selbstsicher präsentierte, fehlerhafte oder falsche Inhalte. (Vgl. NIST, 2024) In einigen Branchen können diese falschen Antworten schwerwiegende Konsequenzen mit sich bringen, weshalb in diesen Fällen und Fachgebieten besonders viel Kontext gefragt ist. (Vgl. Koschke, 2026)

Besonders kritisch ist dabei, dass eine KI nicht von sich aus kenntlich machen muss, dass sie keine belastbaren Belege gefunden und stattdessen Annahmen getroffen hat. Statt Unsicherheit transparent zu machen, kann sie eine scheinbar nachvollziehbare Antwort formulieren. Im AI Index 2026 von Stanford lagen die Halluzinationsraten in einem Benchmark über 26 führende Modelle hinweg zwischen 22 und 94 Prozent. In der dokumentierten Auswahl von 30 Modellen bei der Artificial Analysis erreichte das genaueste Modell sogar lediglich 67 Prozent korrekte Antworten. (vgl. Stanford HAI, 2026; Artificial Analysis, Stand: 06.10.2026)

Gerade in komplexen Fachgebieten braucht KI deshalb relevante, nachvollziehbare Quellen und Menschen, die Ergebnisse prüfen und Verantwortung übernehmen.

Warum KI Kontext braucht 

Der richtige Kontext kann helfen, Halluzinationen zu verringern. Kontext ist dabei nicht gleich Kontext. KI braucht für jede Aufgabe den inhaltlich passenden, aktuellen und freigegebenen Kontext. Ein vollständiger Zugriff auf alle verfügbaren Daten ist dabei meist nicht zwingend notwendig und kann sogar hinderlich sein. (Vgl. NIST, 2024)

Als klassischen Use Case aus der Versicherungsbranche kann ein Schadenvorgang genannt werden, der von einem KI-Agenten abgewickelt bzw. vorbereitet wird. Die KI darf dabei ausschließlich auf die für die beschriebene Sachbearbeitung freigegebenen und aktuellen Vertrags-, Schadens- und Kommunikationsdaten zugreifen (= Kontext!). Der KI-Agent muss zudem seine Quellen dokumentieren und fehlende oder widersprüchliche Informationen kennzeichnen. Die finale Entscheidung bzw. Freigabe liegt dann jedoch beim verantwortlichen Sachbearbeiter, der als menschlicher Kontrollpunkt zwingend notwendig ist.


Faktencheck

Verlässliche Antworten liefert KI nicht automatisch durch den maximalen Datenzugriff. Um KI-Halluzinationen zu reduzieren, kann (neben dem detaillierten Prompt-Auftrag) ein klar begrenzter und nachvollziehbarer Kontext hilfreich sein. Darüber hinaus sollte besonders bei der Arbeit mit sensiblen Daten oder Branchen, in denen viel Fachwissen gefordert ist, ein menschlicher Kontrollpunkt bzw. Human Oversight gegeben sein.


Quellen

Artificial Analysis (2026). https://artificialanalysis.ai/evaluations/omniscience (06.10.2026)

Koschke, M. (2026). KI Halluzinationen – Was heißt das genau? https://blog.rwth-aachen.de/itc/2026/02/26/ki-halluzinationen-was-heisst-das-genau/ (06.10.2026)

NIST Trustworthy and Responsible AI. NIST AI 600-1 (2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (06.10.2026)

Stanfort HAI (2026). Artificial Intelligence Index Report 2026 https://hai.stanford.edu/assets/files/ai_index_report_2026.pdf (08.10.2026)

Human oversight

Human control & KI

Künstliche Intelligenz ist längst Teil unseres Alltags und unterstützt uns in immer mehr Bereichen. Doch überzeugende Ergebnisse sind nicht automatisch richtige Ergebnisse: Generative KI kann Inhalte erzeugen, die selbstsicher formuliert, aber sachlich falsch oder unvollständig sind. Umso wichtiger ist es, vor ihrem Einsatz festzulegen, welche Aufgaben ein System übernehmen darf, wer die Ergebnisse prüft und wer bei Bedarf eingreifen kann.

Dabei gilt:

  • KI kann halluzinieren und fehlerhafte Ergebnisse erzeugen.
  • KI trägt keine Verantwortung für Entscheidungen.
  • KI benötigt klare Grenzen und eindeutig definierte Zugriffsberechtigungen.
  • Fehler können automatisiert, vervielfältigt und in Prozesse übernommen werden.

Für die Einbindung menschlicher Kontrolle in KI-gestützte Prozesse gibt es verschiedene Konzepte. Im folgenden Abschnitt werden die Begriffe Human Oversight, Human-in-the-Loop, Human-in-Command und Human-on-the-Loop gegenübergestellt und voneinander abgegrenzt. Wichtig: Diese Leitlinien sind eine Orientierung, keine rechtlich verbindliche Begriffsdefinition. 

Human Oversight: Menschen behalten den Handlungsspielraum

Human Oversight ist der übergeordnete Rahmen für den verantwortungsvollen Einsatz von KI. Verantwortliche Personen müssen Ergebnisse im passenden Kontext beurteilen und bei Bedarf korrigieren, steuern oder einen Prozess stoppen können. Wie eng und intensiv diese Kontrolle ausgestaltet sein sollte, hängt vom Risiko, der Autonomie und dem Einsatzkontext des Systems ab. (Vgl. EUR-Lex. 2024)

Der Mensch überwacht das KI-System und seine Auswirkungen. Gemeint ist ein verlässlicher Rahmen aus klaren und transparenten Zuständigkeiten, nachvollziehbaren Informationen und definierten Berechtigungsgruppen. Ergebnisse sollen dabei aktiv hinterfragt, korrigiert oder überarbeitet werden.

Human-in-the-Loop

Ein Verfahren oder ein Prozess, bei dem ein Mensch aktiv am Betrieb, Überwachung oder bei Entscheidungen eines automatisierten Systems beteiligt ist, nennt man „Human-in-the-Loop“ (HITL). Im Kontext von KI wird dabei ein Kontrollpunkt geschaffen, in dem ein Mensch an einem bestimmten Punkt in den KI-Workflow eingreift und einzelne Entscheidungen prüft, bestätigt oder korrigiert, bevor der Prozess fortgesetzt wird. Der Mensch behält nicht nur die Kontrolle und überwacht, er entscheidet aktiv mit. (Vgl. Stryker, 2026)

Beispiel aus der Praxis: Die KI erkennt in einer E-Mail Angaben zur Änderung in den Kundenstamm-Daten und schlägt eine Aktualisierung der Kundendaten vor. Ein Mitarbeiter kontrolliert die Änderungsvorschläge und gibt sie frei, bevor sie tatsächlich im System übernommen werden.

Human-in-Command

Im Vergleich zu Human-in-the-Loop behält der Mensch bei „Human-in-Command“ die übergeordnete Steuerung und Verantwortung über ein KI-System. Der Anwender gibt dabei die Richtung vor, definiert die Regeln und behält dadurch auch hier die Kontrolle. (Vgl. Europäische Kommission, 2024)

Beispiel aus der Praxis: Ein KI-Agent kann eigenständig Schadendaten analysieren, den Prozess zum Schadenmanagement anstoßen und beispielsweise eine E-Mail an den Versicherer vorbereiten. Der Sachbearbeiter muss dabei nicht jede einzelne Aktion freigeben, er entscheidet aber klar, welche Aufgaben die KI übernehmen darf, auf welche Daten sie Zugriff hat, welche Richtlinien und Grenzen gelten oder wann ein Mensch eingreifen muss.

Human-on-the-Loop

Das System kann handeln, während Menschen es überwachen und bei Auffälligkeiten eingreifen. Die EU-Ethikleitlinien nennen „Human-on-the-Loop“ neben Human-in-Command und Human-in-the-Loop, als mögliche Formen menschlicher Aufsicht. (Vgl. Europäische Kommission, 2024)

Beispiel aus der Praxis: Ein KI-gestützter Workflow ordnet eingehende Dokumente automatisch einem Schaden- oder Vertragsvorgang zu und fordert bei fehlenden Standardunterlagen selbstständig eine Ergänzung an. Mitarbeitende geben nicht jede einzelne Zuordnung frei. Sie überwachen jedoch über definierte Kennzahlen, Ausnahmen und Fehlerhinweise, ob der Prozess zuverlässig arbeitet. Bei ungewöhnlichen Daten, wiederkehrenden Fehlzuordnungen oder sensiblen Vertragsänderungen können sie den Workflow anhalten, Regeln anpassen und betroffene Vorgänge in eine manuelle Prüfung überführen.

Gerade im Versicherungsumfeld sollte Human Oversight risikobasiert ausgestaltet sein. Ein KI-gestütztes Dokumentenrouting benötigt nicht dieselbe Kontrolltiefe wie eine Anwendung, die Entscheidungen mit spürbaren Auswirkungen auf Kundinnen und Kunden vorbereitet. Entscheidend sind klar definierte Rollen, Eskalationswege, Eingriffsrechte und ausreichend qualifizierte Mitarbeitende.

EBU empfiehlt: KI niemals blind vertrauen

In einer Studie der Europäischen Rundfunkunion aus dem Jahre 2025 wurden die populärsten KI-Systeme auf Zuverlässigkeit getestet. In der BBC-/EBU-Studie wurden mehr als 3.000 Antworten von KI-Assistenten auf Nachrichtenfragen bewertet. 45 Prozent der Antworten enthielten mindestens ein erhebliches Problem und bei 20 Prozent wurden erhebliche Genauigkeitsprobleme festgestellt. (Vgl. EBU, 2025/Tagesschau, 2025)

Natürlich werden KI-Systeme kontinuierlich leistungsfähiger, schneller und präziser, während sich ihre Fehlerquote zunehmend reduziert. Die Geschwindigkeit dieser Entwicklung ist außergewöhnlich und mit früheren technologischen Fortschritten kaum vergleichbar. Dennoch sollten wir uns nicht vollständig auf die Ergebnisse von KI-Systemen verlassen.


Faktencheck

Umso wichtiger bleibt aktuell eine menschliche Kontrolle bei automatisierten Arbeitsprozessen. Eine aktuelle Vergleichsstudie aus dem Jahr 2026 aus den Proceedings of the National Academy of Sciences kam sogar zu dem Ergebnis, dass in einer konkret gestellten Aufgabe zur Reproduzierbarkeit wissenschaftlicher Forschungsergebnisse , der Mensch ganz ohne KI-Hilfe eine niedrigere Fehlerquote erreicht, als mit KI. (Vgl. Brodeur et.al, 2026) Technisch sind wir bereits dort angekommen, dass die KI 100% unserer Arbeitsprozesse problemlos übernehmen könnte. Die entscheidende Frage lautet deshalb: wo vertrauen wir der KI und wo muss die Entscheidungshoheit weiterhin beim Menschen bleiben?


Quellen

EUR Lex (2025). REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL https://eur-lex.europa.eu/legal-content/EN-DE/TXT/?uri=CELEX:32024R1689&utm_ (02.10.2026)

Stryker, C. (2026). Human in the Loop https://www.ibm.com/think/topics/human-in-the-loop (02.10.2026)

Europäische Kommission (2024): Ethikleitlinien für vertrauenswürdige KI https://digital-strategy.ec.europa.eu/de/library/ethics-guidelines-trustworthy-ai (02.10.2026)

EBU (2025). News Integraty in AI Assistance https://www.ebu.ch/Report/MIS-BBC/NI_AI_2025.pdf (02.10.2026)

Tagesschau (2025). KI erfindet jede dritte Antwort https://www.tagesschau.de/wissen/technologie/kuenstliche-intelligenz-fakten-100.html (02.10.2026)

Brodeur et al. (2026). AI-assisted teams outperform AI-led teams but not human-only teams in assessing research reproducibility in quantitative social science, Proceedings of the National Academy of Sciences, 123(22)

Zwei ineinandergreifende orange Vierecke, dynamisch nach oben gerichtet und auf einen dunkelgrauen Würfel gestützt
Datenschutz-Übersicht

Diese Website verwendet Cookies, damit wir dir die bestmögliche Benutzererfahrung bieten können. Cookie-Informationen werden in deinem Browser gespeichert und führen Funktionen aus, wie das Wiedererkennen von dir, wenn du auf unsere Website zurückkehrst, und hilft unserem Team zu verstehen, welche Abschnitte der Website für dich am interessantesten und nützlichsten sind.