Sicher unterwegs: Nicht der Prompt schützt Systeme, sondern ihre Architektur

KI sicher in Arbeitsprozesse integrieren

Cybersicherheit beginnt nicht erst mit dem ersten Hackerangriff. Proaktives Handeln im Bereich Sicherheit startet bereits mit Berechtigungssystemen und Zugriffseinschränkungen. Wer darf auf welche Daten zugreifen? Welche Systeme dürfen miteinander kommunizieren? Welche Arbeitsschritte dürfen automatisiert ausgeführt werden? Je mehr Unternehmen ihre Prozesse automatisieren und vernetzen, oder KI einsetzen, desto wichtiger wird ein belastbarer Sicherheitsrahmen. Gerade in der Versicherungsbranche können Ausfälle, manipulierte oder falsche Informationen sowie unberechtigte Zugriffe schwerwiegende und weitreichende Folgen vom Kunden bis zum Versicherer haben.

Ein Prompt ist keine Sicherheitsarchitektur

Dabei ist künstliche Intelligenz nicht per se das Risiko. Ein System, das zu viele Handlungsmöglichkeiten und Rechte erhält, kann ein großes Gefahrenpotenzial enthalten. KI handelt nicht aus eigenem Antrieb, sondern zielorientiert. Sie versucht, einen erteilten Auftrag mit den verfügbaren Mitteln zu erfüllen und kann dabei vorhandene Lücken oder Schwachstellen nutzen, wenn diese sie zur Lösung führen.

In einem kontrollierten Forschungsversuch von Palisade Research wurde daher im Jahr 2025 zum „Specification Gaming“ in einer isolierten Docker-Testumgebung – auch KI-Regulatory-Sandbox (vgl. verifywise.ai, 2026) genannt – KI-Agenten im Rahmen eines Schachspiels Zugriff auf die lokale Spielumgebung gewährt. Man wollte herausfinden, wie KI-Modelle ein System „austricksen“, wenn sie eine schwierige Aufgabe lösen sollen. Als einige KI-Agenten erkannten, dass sie regulär nicht gewinnen konnten, überschrieben sie kurzerhand die Brettstellung oder ersetzten die gegnerische Maschine, um zu siegen. Das offizielle Ziel lautete dabei schlicht, dass sie das Spiel gewinnen sollen. Man erkannte, dass KI-Agenten mit konkretem Ziel und weitreichenden Zugriffsrechten auch unerwartete Wege wählten, um ein Ziel formal zu erfüllen. (Vgl. Palisade Research, 2025)

Vertrauen ist gut, Kontrolle ist besser!

Ein Prompt kann beschreiben, was ein KI-System tun soll. Er setzt jedoch keine Leitplanken für Cybersicherheit oder garantiert eine sichere Systemarchitektur. Entscheidend ist, auf welchen Daten, Werkzeuge und Schnittstellen ein KI-Agent tatsächlich zugreifen kann und darf oder wo er ohne eine menschliche Freigabe nicht weiter agieren kann.

Ein klar definierter Rahmen für den Handlungsraum, in dem sich ein KI-Agent bewegen darf, ist daher die Grundvoraussetzung für sicheres Arbeiten. Stark limitierte und transparente Zugriffsberechtigungen und gezielt begrenzte APIs für Ihr ERP sind der erste Schritt. Kontrollpunkte durch menschliche Freigaben sichern die Arbeit – besonders mit sensiblen Daten – zusätzlich ab. Regelmäßige Software-Updates, gesicherte Backups und kontinuierliches Monitoring können außerdem dazu beitragen, dass man einen sicheren Umgang mit KI fördert. (Vgl. GenAI, 2026)

Faktencheck

Als modernes, wettbewerbsorientiertes Unternehmen sollten Vorkehrungen und Cybersicherheitsmaßnahmen kontinuierlich überwacht und gestärkt werden. Wenn künstliche Intelligenz in einem klar definierten Rahmen arbeiten kann, kann sie auch Prozesse effizienter gestalten, ohne Risiken im Bereich Sicherheit oder Datenverlust zu schüren. Innovation und Sicherheit können miteinander wachsen, wenn man sich der Gefahren bewusst ist und aktiv daran arbeitet, das Risiko so gering wie möglich zu halten.

Quellen

Palisade Research „Demonstrating specification gaming in reasoning models“ (2025): https://palisaderesearch.org/research/specification-gaming

GenAI „LLM06:2025 Excessive Agency“ (21.09.2026): https://genai.owasp.org/llmrisk/llm062025-excessive-agency/

verifywise.ai: „Ki-Regulatory-Sandbox“ (23.09.2026): https://verifywise.ai/de/lexicon/ai-regulatory-sandbox