Zum Hauptinhalt springen
Algorithm Bias

Algorithmic-Bias: Wenn KI über Versicherungsrisiken urteilt

In vielen Bereichen der Versicherungswirtschaft wird künstliche Intelligenz bereits tagtäglich eingesetzt. Von der Risikobewertung, über Underwriting bis zum Schadenmanagement und Bestandsdatenverwaltung greifen Sachbearbeiter bereits auf KI zurück. Denn künstliche Intelligenz kann große Datenmengen in kurzer Zeit verarbeiten und Fehler reduzieren. Doch aus einer statistisch plausiblen Korrelation wird nicht automatisch eine faire Entscheidung.

Kennt der Algorithmus „Objektivität“?

Hier beginnt die Diskussion über „Algorithmic Bias“. Auch wenn nicht beabsichtigt, können Verzerrungen in Daten, Modellen oder Entscheidungsprozessen dazu führen, dass einzelne Kundengruppen benachteiligt werden. Ein KI-System lernt aus historischen Daten, nutzt Algorithmen und kann daher keine objektiven Bewertungen treffen. (Vgl. EIOPA, 2025, S. 3; NIST, 2023, S. 17 f.)

Als Beispiel: Ein KI-System unterstützt die Tarifkalkulation in der Lebens- oder Krankenversicherung und gewichtet Wohnortdaten stark. Spiegeln diese Daten historische Unterschiede in Versorgung, Einkommen oder Zugang zu Beratung wider, kann das System bei vergleichbaren Risikoprofilen zu unterschiedlichen Ergebnissen kommen. Die Korrelation mag mathematisch nachweisbar sein, aber ob sie für die konkrete Entscheidung geeignet, erforderlich und fair ist, muss dennoch fachlich geprüft werden.

Fairness braucht Leitplanken

Wie kann man einen verantwortungsvollen Umgang in der KI-Nutzung fördern? Ein Ansatz ist die Verbindung von Datenqualität, fachliche Kontrolle und kontinuierliches Monitoring (Vgl. EIOPA, 2025, S. 6–11):

  • Datenbasis prüfen: Sind die Daten vollständig, geeignet und für den Zweck repräsentativ?
  • Entscheidungsgrenzen definieren: Welche Empfehlung darf die KI geben und wo ist die Grenze erreicht?
  • Ergebnisse überwachen: Treten auffällige Fehlerraten, wiederholte Probleme oder Gruppenunterschiede auf?
  • Nachvollziehbarkeit sichern: Sind Rollen, Entscheidungen und Korrekturmöglichkeiten dokumentiert und verständlich?

Faktencheck

Algorithmic Bias lässt sich nicht einfach durch einen Prompt beseitigen. Vertrauen entsteht, wenn Unternehmen Daten, Modelle und Entscheidungen gemeinsam verantworten sowie Nachvollziehbarkeit und Transparenz gewährleistet ist. Außerdem müssen belastbare Prozesse, fachliche Expertise und Menschen, die Ergebnisse prüfen, hinterfragen und bei Bedarf (vgl. Human Oversight) korrigieren, gegeben sein (Vgl. Jonker/Rogers, 2024).


Quellen:

National Institute of Standards and Technology (NIST) (2023). Artificial Intelligence Risk Management Framework. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf (23.10.2026)

Jonker, Alexandra/Rogers, Julie (2024). Was ist algorithmische Verzerrung. https://www.ibm.com/de-de/think/topics/algorithmic-bias (23.10.2026)

European Insurance and Occupational Pensions Authority (EIOPA) (2025). Opinion on Artificial Intelligence Governance and Risk Management. https://www.eiopa.europa.eu/document/download/88342342-a17f-4f88-842f-bf62c93012d6_en?filename=Opinion+on+Artificial+Intelligence+governance+and+risk+management.pdf (23.10.2026)

KI-Kompetenz: Regeln wirken, wenn Wissen existiert

Bereits in einem unserer früheren Beiträge über AI Fatigue wurde herausgearbeitet wie wichtig es ist, mit seinen Mitarbeitern nachhaltige KI-Richtlinien zu teilen. Darin kann festgelegt werden, welche KI-Tools für die tägliche Arbeit genutzt werden können oder welche Daten mit der KI geteilt werden dürfen und welche nicht.
KI-Richtlinien dokumentieren jedoch nicht, welche Antworten der KI richtig und plausibel sind.
Verantwortungsvolle KI-Nutzung beginnt deshalb nicht beim Regelwerk, sondern bei Menschen, die neben fachlicher Expertise die technische Kompetenz besitzen, KI zu verstehen und anzuwenden. (Vgl. Hayes/Downie/Gomstyn/Jonker, 2026)

Was bedeutet KI-Kompetenz?

KI-Kompetenz oder im Englischen bekannt als AI literacy, beschreibt mehr als nur effizientes Prompting. Es umfasst den sicheren, sachkundigen und verantwortungsvollen Einsatz von künstlicher Intelligenz sowie deren Einordnung in Bezug auf Chancen und Grenzen. KI-Kompetenz verbindet somit das Verständnis und die Prüfung mit dem reflektierten Umgang von KI (vgl. Hayes/Downie/Gomstyn/Jonker, 2026):

  • Verständnis, wofür ein System geeignet ist
  • Kritisches Prüfen von Ergebnissen (vgl. Human-in-the-Loop)
  • Beachtung von Datenschutz, Vertraulichkeit und Zugriffserlaubnis

Zwischen KI-Anwendung und KI-Verständnis in der Versicherungswirtschaft

Laut einem EIOPA-Bericht aus 2026 nutzten fast zwei Drittel der Versicherungsunternehmen bereits aktiv künstliche Intelligenz. Gleichzeitig wurde im Rahmen des Berichts benannt, dass neben Datenschutz-, Sicherheitsbedenken und gesetzlichen Regularien auch qualifiziertes Personal eine der größten Herausforderungen bei der Einführung von KI-Systemen darstellt. Die Ergebnisse unterstreichen die Dringlichkeit der Förderung von KI-Kompetenz in Unternehmen aus der Versicherungsbranche. (Vgl. EIOPA, 2026)

Dabei muss man jedoch eindeutig unterscheiden: Mehr Wissen über KI führt nicht automatisch auch zu größerer Offenheit gegenüber KI (Lesen Sie auch unseren Artikel über AI Fatigue!). (Vgl. Longoni/Appel/Tully, 2025)

KI-Kompetenz praxisnah und rollenbezogen stärken

Das übergeordnete Ziel von KI-Kompetenz ist daher nicht, dass jeder Mitarbeiter künstliche Intelligenz mit größter Begeisterung annimmt. Der Fokus sollte demnach darauf liegen, dass Teams in Bezug auf KI Entscheidungen treffen können mit realistischen Erwartungen, einem kritischen Blick auf die Ergebnisse und einem klaren Verständnis ihrer Verantwortung.

KI-Kompetenz ist dabei nicht nur eine Frage einzelner Schulungen, sondern auch Teil von Cultural Change innerhalb eines Unternehmens. Neue KI-Anwendungen verändern Arbeitsabläufe, Verantwortlichkeiten und Formen der Zusammenarbeit. Interne Qualifizierung und ein begleitetes Onboarding sollten daher von Beginn an als fester organisatorischer und finanzieller Aufwandspunkt eingeplant werden. (Vgl. OECD, 2025)

Ein effektiver Ansatz könnte sein, seine Mitarbeiter rollenbezogen und praxisnah zu schulen. Das bedeutet: 

  • Einsatzfälle sichtbar machen: Welche KI-Systeme werden im Unternehmen für die jeweiligen Aufgaben verwendet? Wer behält die Verantwortung?
  • Grundlagen vermitteln und stärken: Wo liegen Grenzen und Gefahren der KI? Auf Grund welcher Datenbasis entstehen Ergebnisse? Wo können Datenschutzrisiken entstehen?
  • Hands-on-Training: Eigene Anwendungsfälle testen und daraus für die Praxis lernen.
  • Austausch ermöglichen und unterstützen: Fragen und Erfahrungen im Team offen besprechen und Kollegen dort unterstützen, wo noch Unsicherheiten bestehen.

Je nach Rolle im Team und der vorhandenen Expertise sollten Beispiele und Entscheidungsregeln besprochen werden. Auch Grenzfälle und Eskalationswege dürfen beleuchtet oder gute und fehlerhafte KI-Ergebnisse als praxisnahe Beispiele verglichen werden. (Vgl. Europäische Kommission, 2026)


Faktencheck

Das KI-Regelwerk gibt Orientierung. Die KI-Kompetenz hilft Mitarbeitern im entscheidenden Moment, richtig zu handeln. Erst wenn Anwender verstehen, welche Möglichkeiten ihnen mit KI zur Verfügung stehen, wo auch Grenzen der KI liegen bzw. wann Human Oversight gefordert wird, wird mit Unterstützung von Cultural Change im Unternehmen aus moderner Technologie ein verlässlicher Bestandteil des Arbeitsalltags mit kompetenten Mitarbeitern.


QUELLEN:

EIOPA (2026). EIPOA-Umfrage zur generativen KI zeigt rasche, aber vorsichtige Akzeptanz bei den europäische Versicherern. https://www.eiopa.europa.eu/eiopa-survey-generative-ai-shows-swift-cautious-adoption-among-europes-insurers-2026-02-02_en?prefLang=de (06.10.2026)

Europäische Kommission (2026). KI-Kompetenz – Fragen & Antworten. https://digital-strategy.ec.europa.eu/de/faqs/ai-literacy-questions-answers (06.10.2026)

Hayes, M./Downie, A./Gomstyn, A./Jonker, A. (2026). KI-Komptenz: Schließen der Qualifikationslücke im Bereich der künstlichen Intelligenz. https://www.ibm.com/de-de/think/insights/ai-literacy (06.10.2026)

Longoni, C./Appel, G./Tully, S. (2025). Why Understanding AI Doesn’t Necessarily Lead People to Embrace It. https://hbr.org/2025/07/why-understanding-ai-doesnt-necessarily-lead-people-to-embrace-it (06.10.2026)

OECD/BCG/INSEAD (2025). The Adoption of Artificial Intelligence in Firms: New Evidence for Policymaking. https://doi.org/10.1787/f9ef33c3-en (12.10.2026)

Human oversight

Human control & KI

Künstliche Intelligenz ist längst Teil unseres Alltags und unterstützt uns in immer mehr Bereichen. Doch überzeugende Ergebnisse sind nicht automatisch richtige Ergebnisse: Generative KI kann Inhalte erzeugen, die selbstsicher formuliert, aber sachlich falsch oder unvollständig sind. Umso wichtiger ist es, vor ihrem Einsatz festzulegen, welche Aufgaben ein System übernehmen darf, wer die Ergebnisse prüft und wer bei Bedarf eingreifen kann.

Dabei gilt:

  • KI kann halluzinieren und fehlerhafte Ergebnisse erzeugen.
  • KI trägt keine Verantwortung für Entscheidungen.
  • KI benötigt klare Grenzen und eindeutig definierte Zugriffsberechtigungen.
  • Fehler können automatisiert, vervielfältigt und in Prozesse übernommen werden.

Für die Einbindung menschlicher Kontrolle in KI-gestützte Prozesse gibt es verschiedene Konzepte. Im folgenden Abschnitt werden die Begriffe Human Oversight, Human-in-the-Loop, Human-in-Command und Human-on-the-Loop gegenübergestellt und voneinander abgegrenzt. Wichtig: Diese Leitlinien sind eine Orientierung, keine rechtlich verbindliche Begriffsdefinition. 

Human Oversight: Menschen behalten den Handlungsspielraum

Human Oversight ist der übergeordnete Rahmen für den verantwortungsvollen Einsatz von KI. Verantwortliche Personen müssen Ergebnisse im passenden Kontext beurteilen und bei Bedarf korrigieren, steuern oder einen Prozess stoppen können. Wie eng und intensiv diese Kontrolle ausgestaltet sein sollte, hängt vom Risiko, der Autonomie und dem Einsatzkontext des Systems ab. (Vgl. EUR-Lex. 2024)

Der Mensch überwacht das KI-System und seine Auswirkungen. Gemeint ist ein verlässlicher Rahmen aus klaren und transparenten Zuständigkeiten, nachvollziehbaren Informationen und definierten Berechtigungsgruppen. Ergebnisse sollen dabei aktiv hinterfragt, korrigiert oder überarbeitet werden.

Human-in-the-Loop

Ein Verfahren oder ein Prozess, bei dem ein Mensch aktiv am Betrieb, Überwachung oder bei Entscheidungen eines automatisierten Systems beteiligt ist, nennt man „Human-in-the-Loop“ (HITL). Im Kontext von KI wird dabei ein Kontrollpunkt geschaffen, in dem ein Mensch an einem bestimmten Punkt in den KI-Workflow eingreift und einzelne Entscheidungen prüft, bestätigt oder korrigiert, bevor der Prozess fortgesetzt wird. Der Mensch behält nicht nur die Kontrolle und überwacht, er entscheidet aktiv mit. (Vgl. Stryker, 2026)

Beispiel aus der Praxis: Die KI erkennt in einer E-Mail Angaben zur Änderung in den Kundenstamm-Daten und schlägt eine Aktualisierung der Kundendaten vor. Ein Mitarbeiter kontrolliert die Änderungsvorschläge und gibt sie frei, bevor sie tatsächlich im System übernommen werden.

Human-in-Command

Im Vergleich zu Human-in-the-Loop behält der Mensch bei „Human-in-Command“ die übergeordnete Steuerung und Verantwortung über ein KI-System. Der Anwender gibt dabei die Richtung vor, definiert die Regeln und behält dadurch auch hier die Kontrolle. (Vgl. Europäische Kommission, 2024)

Beispiel aus der Praxis: Ein KI-Agent kann eigenständig Schadendaten analysieren, den Prozess zum Schadenmanagement anstoßen und beispielsweise eine E-Mail an den Versicherer vorbereiten. Der Sachbearbeiter muss dabei nicht jede einzelne Aktion freigeben, er entscheidet aber klar, welche Aufgaben die KI übernehmen darf, auf welche Daten sie Zugriff hat, welche Richtlinien und Grenzen gelten oder wann ein Mensch eingreifen muss.

Human-on-the-Loop

Das System kann handeln, während Menschen es überwachen und bei Auffälligkeiten eingreifen. Die EU-Ethikleitlinien nennen „Human-on-the-Loop“ neben Human-in-Command und Human-in-the-Loop, als mögliche Formen menschlicher Aufsicht. (Vgl. Europäische Kommission, 2024)

Beispiel aus der Praxis: Ein KI-gestützter Workflow ordnet eingehende Dokumente automatisch einem Schaden- oder Vertragsvorgang zu und fordert bei fehlenden Standardunterlagen selbstständig eine Ergänzung an. Mitarbeitende geben nicht jede einzelne Zuordnung frei. Sie überwachen jedoch über definierte Kennzahlen, Ausnahmen und Fehlerhinweise, ob der Prozess zuverlässig arbeitet. Bei ungewöhnlichen Daten, wiederkehrenden Fehlzuordnungen oder sensiblen Vertragsänderungen können sie den Workflow anhalten, Regeln anpassen und betroffene Vorgänge in eine manuelle Prüfung überführen.

Gerade im Versicherungsumfeld sollte Human Oversight risikobasiert ausgestaltet sein. Ein KI-gestütztes Dokumentenrouting benötigt nicht dieselbe Kontrolltiefe wie eine Anwendung, die Entscheidungen mit spürbaren Auswirkungen auf Kundinnen und Kunden vorbereitet. Entscheidend sind klar definierte Rollen, Eskalationswege, Eingriffsrechte und ausreichend qualifizierte Mitarbeitende.

EBU empfiehlt: KI niemals blind vertrauen

In einer Studie der Europäischen Rundfunkunion aus dem Jahre 2025 wurden die populärsten KI-Systeme auf Zuverlässigkeit getestet. In der BBC-/EBU-Studie wurden mehr als 3.000 Antworten von KI-Assistenten auf Nachrichtenfragen bewertet. 45 Prozent der Antworten enthielten mindestens ein erhebliches Problem und bei 20 Prozent wurden erhebliche Genauigkeitsprobleme festgestellt. (Vgl. EBU, 2025/Tagesschau, 2025)

Natürlich werden KI-Systeme kontinuierlich leistungsfähiger, schneller und präziser, während sich ihre Fehlerquote zunehmend reduziert. Die Geschwindigkeit dieser Entwicklung ist außergewöhnlich und mit früheren technologischen Fortschritten kaum vergleichbar. Dennoch sollten wir uns nicht vollständig auf die Ergebnisse von KI-Systemen verlassen.


Faktencheck

Umso wichtiger bleibt aktuell eine menschliche Kontrolle bei automatisierten Arbeitsprozessen. Eine aktuelle Vergleichsstudie aus dem Jahr 2026 aus den Proceedings of the National Academy of Sciences kam sogar zu dem Ergebnis, dass in einer konkret gestellten Aufgabe zur Reproduzierbarkeit wissenschaftlicher Forschungsergebnisse , der Mensch ganz ohne KI-Hilfe eine niedrigere Fehlerquote erreicht, als mit KI. (Vgl. Brodeur et.al, 2026) Technisch sind wir bereits dort angekommen, dass die KI 100% unserer Arbeitsprozesse problemlos übernehmen könnte. Die entscheidende Frage lautet deshalb: wo vertrauen wir der KI und wo muss die Entscheidungshoheit weiterhin beim Menschen bleiben?


Quellen

EUR Lex (2025). REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL https://eur-lex.europa.eu/legal-content/EN-DE/TXT/?uri=CELEX:32024R1689&utm_ (02.10.2026)

Stryker, C. (2026). Human in the Loop https://www.ibm.com/think/topics/human-in-the-loop (02.10.2026)

Europäische Kommission (2024): Ethikleitlinien für vertrauenswürdige KI https://digital-strategy.ec.europa.eu/de/library/ethics-guidelines-trustworthy-ai (02.10.2026)

EBU (2025). News Integraty in AI Assistance https://www.ebu.ch/Report/MIS-BBC/NI_AI_2025.pdf (02.10.2026)

Tagesschau (2025). KI erfindet jede dritte Antwort https://www.tagesschau.de/wissen/technologie/kuenstliche-intelligenz-fakten-100.html (02.10.2026)

Brodeur et al. (2026). AI-assisted teams outperform AI-led teams but not human-only teams in assessing research reproducibility in quantitative social science, Proceedings of the National Academy of Sciences, 123(22)

AI Fatigue – Wie viel KI am Arbeitsplatz ist zu viel?

KI ist gekommen, um zu bleiben und vor allem: um zu entlasten. Doch was passiert, wenn KI überfordert? Wenn Unsicherheiten bei Mitarbeitern wachsen, von der KI ersetzt zu werden? Künstliche Intelligenz sollte unseren Arbeitsalltag effizienter gestalten, jedoch erleben immer mehr Unternehmen, wie Erwartungen wachsen, ein Tool-Urwald entsteht oder der Kontrollaufwand zunimmt.

KI erhöht zwar Geschwindigkeit und Output, während Aufmerksamkeit, Entscheidungskraft und organisatorische Aufnahmefähigkeit begrenzt bleiben. Es entsteht ein Raum für Überforderung und Ermüdung auf Seiten der Mitarbeiter. Dieses Phänomen nennt sich „AI Fatigue“. Der Begriff beschreibt die mentale und organisatorische Ermüdung durch die wiederholte und allgegenwärtige Konfrontation mit KI in der Arbeitswelt. Selbst anfängliches Interesse kann schnell in endlosen Testschleifen, Prompt-Frustrationen und ergebnisorientierten Halluzinationen enden.

AI Fatigue bezeichnet die mentale, emotionale und organisatorische Ermüdung, die entsteht, wenn Unternehmen und Mitarbeitende durch die zunehmende Zahl an KI-Tools, steigende Erwartungen, fehlende Integration und Struktur oder zusätzlichen Prüfaufwand dauerhaft überlastet werden, ohne einen signifikanten Mehrwert zu erzielen.

Warum KI müde machen kann

AI Fatigue entsteht selten durch einen einzelnen Auslöser. Meist ist es eine Kombination aus mehreren Faktoren:

  • Zu viele KI-Anwendungs-Tools ohne klaren Zweck
  • Steigender Anpassungs- und Produktivitätsdruck
  • Erhöhter Kontrollaufwand 
  • Fehlende Integration in bestehende Prozesse oder Systeme
  • Unsicherheit bei Themen wie Datenschutz, Verantwortlichkeiten, Rollen oder Verwendungsrahmen

Gerade in der Versicherungsbranche, wo uns tagtäglich große Datenmengen, komplexe Prozesse und viele Schnittstellen erwarten, kann KI Fluch und Segen sein. Integrierte Workflows und intelligente KI-Agenten erleichtern den Arbeitsalltag und schaffen gleichzeitig ein Risiko für Datensicherheit oder lassen mit Insellösungen Datensilos und Medienbrüche entstehen. Das kann schnell zur Unübersichtlichkeit führen und somit Überforderung auslösen.

Weniger Tools, mehr Wirkung

KI soll entlasten und nicht beschäftigen. AI Fatigue ist dabei ein klares Warnsignal für eine fehlende Struktur innerhalb eines Unternehmens. Um diese KI-Komplexität zu ordnen und stabilisieren, hilft es, ein belastbares Fundament für die unternehmensweite KI-Nutzung zu schaffen. Es muss klare Richtlinien für das Einsetzen weniger, aber hilfreicher KI-Tools geben. Berechtigungen müssen klar definiert werden, eine nachvollziehbare Governance und Human in the Loop unterstützen bei einem smarten Arbeitsalltag. Was helfen kann, ist die Integration von KI in bereits bekannte und vertraute Kernsysteme.

Durch den Einsatz einer Standardsoftware als Ausgangsbasis hält man beispielsweise nicht nur die Datensätze getrennt als zuverlässige Rückversicherung, sondern kann flexibel und unabhängig externe KI-Tools nutzen, begrenzen, kontrollieren und bei Bedarf austauschen, ohne Veränderungen innerhalb von Infrastrukturen, Rollenverteilungen und Datenkontrollen vornehmen zu müssen.

Es sollte trotzdem ergänzend immer ein Review- und Kontrollaufwand mit eingerechnet werden. Die Mitarbeiter müssen geschult werden und auf dem Weg der Einführung von KI-Tools mitgenommen werden. Der Erfolg von KI sollte dabei in Bezug auf Qualität, Prozesswirkung oder Effizienzsteigerung gemessen werden und weniger an der Anzahl eingeführter Tools.


Faktencheck

Die Lösung für AI Fatigue darf dennoch nicht weniger Innovation bedeuten, sondern fokussierte, integrierte und verantwortungsvoll gestaltete Innovation. Entscheidend ist, KI nicht als zusätzliche Insellösung, sondern als Bestandteil verlässlicher Strukturen und bestehender Kernsysteme zu verstehen. Klare Zuständigkeiten, transparente und nachvollziehbare Governance sowie Human in the Loop sind dabei wichtige Punkte, die beachtet werden müssen. Dadurch wird KI nicht zum Belastungsfaktor, sondern zu einem hilfreichen Werkzeug, das Mitarbeiter unterstützt, Prozesse automatisiert und einen Mehrwert für den Arbeitsalltag schafft.


Quellen

heise regioconcept: Was ist AI Fatigue? Definition & Maßnahmen (01.02.2024) 
https://www.heise-regioconcept.de/online-marketing-glossar/ai-fatigue/
OMR Reviews: AI Fatigue und Burnout-Prävention: Wann wird die KI einem zu viel? (09.03.2026)
 https://omr.com/de/reviews/contenthub/ai-fatigue
MoneyToday: AI Fatigue – macht Künstliche Intelligenz Unternehmen müde? (09.03.2026) 
https://www.moneytoday.ch/news/ai-fatigue-macht-kuenstliche-intelligenz-unternehmen-muede

Zwei ineinandergreifende orange Vierecke, dynamisch nach oben gerichtet und auf einen dunkelgrauen Würfel gestützt
Datenschutz-Übersicht

Diese Website verwendet Cookies, damit wir dir die bestmögliche Benutzererfahrung bieten können. Cookie-Informationen werden in deinem Browser gespeichert und führen Funktionen aus, wie das Wiedererkennen von dir, wenn du auf unsere Website zurückkehrst, und hilft unserem Team zu verstehen, welche Abschnitte der Website für dich am interessantesten und nützlichsten sind.