Zurück zum Blog

KI-Agenten-Sicherheit: Laufzeitgrenzen statt blindem Vertrauen

AICybersecuritySoftware ArchitectureGovernance

KI-Agenten-Sicherheit wird zur Architekturfrage, sobald ein Agent Browser, Shell, Dateien, MCP-Server oder produktive APIs nutzen darf. Prompt-Regeln allein begrenzen keinen Schaden. Entscheidend ist, welche Aktionen die Laufzeit technisch zulässt, welche Daten erreichbar sind und wann ein Mensch freigeben muss.

Was KI-Agenten-Sicherheit technisch bedeutet

Ein Agent verbindet probabilistische Entscheidungen mit deterministischen Werkzeugen. Ein falscher Zwischenschritt kann deshalb reale Folgen haben: Daten werden verändert, Nachrichten versendet, Kosten ausgelöst oder Zugangsdaten offengelegt.

Sichere Agentenarchitektur behandelt das Modell nicht als vertrauenswürdigen Administrator, sondern als Komponente mit begrenztem Handlungsspielraum:

  • Eigene Identität: Jeder Agent und jeder Lauf erhält eine nachvollziehbare Identität statt gemeinsam genutzter API-Schlüssel.
  • Minimale Rechte: Der Agent sieht nur die Tools, Daten und Mandanten, die für die konkrete Aufgabe notwendig sind.
  • Getrennte Planung und Ausführung: Das Modell schlägt Aktionen vor, während eine kontrollierte Laufzeitschicht sie prüft und ausführt.
  • Sandboxing: Dateisystem, Netzwerk und Prozesse bleiben isoliert. Schreibzugriffe und ausgehende Verbindungen sind standardmäßig eingeschränkt.
  • Deterministische Regeln: Betragsgrenzen, erlaubte Domains, Dateipfade und API-Operationen werden außerhalb des Prompts durchgesetzt.
  • Manipulationssichere Protokolle: Tool-Aufrufe, Freigaben und Ergebnisse bleiben für Betrieb, Security und Audits rekonstruierbar.

Identität beantwortet, wer handelt. Laufzeitkontrolle entscheidet, was diese Identität in diesem Kontext tun darf. Teams brauchen beides, weil auch ein korrekt authentifizierter Agent eine fachlich falsche oder manipulierte Aktion ausführen kann.

Wo Teams Laufzeitgrenzen für KI-Agenten einziehen sollten

Der pragmatische Startpunkt ist kein unternehmensweites Agenten-Framework, sondern ein produktiver Workflow mit klaren Folgen. Teams sollten alle Aktionen als lesend, schreibend oder schwer reversibel klassifizieren und die Kontrollen daran ausrichten.

Für den ersten belastbaren Einsatz sind fünf Entscheidungen zentral:

  • Zugriffe pro Aufgabe begrenzen: Kurzlebige Berechtigungen ausstellen, statt dauerhafte Rollen oder persönliche Nutzerkonten zu übernehmen.
  • Schreibaktionen absichern: Datenbankänderungen, Deployments, Zahlungen und externe Kommunikation brauchen engere Policies als reine Recherche.
  • Freigaben risikobasiert setzen: Menschen bestätigen irreversible oder ungewöhnliche Aktionen, nicht jeden unkritischen Tool-Aufruf.
  • Budgets und Abbruchgrenzen definieren: Maximale Laufzeit, Tool-Aufrufe, Datenmenge und Kosten verhindern unkontrollierte Schleifen.
  • Fehlerfälle testen: Prompt Injection, nicht erreichbare Tools, widersprüchliche Daten und abgelehnte Freigaben gehören in Integrationstests.

Warnsignale sind breit berechtigte Service-Accounts, unbeschränkter Netzwerkzugriff, Secrets im Agentenkontext und Logs, die nur natürliche Sprache statt der tatsächlich ausgeführten Operationen zeigen. Ein weiterer Fehler ist ein Kill Switch, der zwar das Modell stoppt, aber bereits gestartete Jobs oder temporäre Zugangsdaten weiterlaufen lässt.

Teams sollten zuerst einen kleinen Blast Radius nachweisen: begrenzte Daten, reversible Aktionen, kurze Credentials und klare Ownership. Erst wenn Fehlverhalten erkennbar und stoppbar ist, sollte der Autonomiegrad steigen.

Warum das wichtig ist

KI-Agenten versprechen weniger manuelle Übergaben und schnellere Abläufe. Ohne technische Laufzeitgrenzen verlagern sie jedoch Kosten in Sicherheitsvorfälle, fehlerhafte Änderungen, Audit-Aufwand und schwer erklärbare Kundenrisiken.

Für Entscheider ist KI-Agenten-Sicherheit deshalb kein Zusatzmodul nach dem Pilotprojekt. Sie bestimmt, welche Prozesse verantwortbar automatisiert werden können und wie teuer ein Fehler maximal wird.

Gute Kontrolle bremst nicht jede Aktion durch Freigaben. Sie automatisiert innerhalb klarer Grenzen und eskaliert nur dort, wo Wirkung und Unsicherheit hoch sind. Eine Architecture & AI Review kann prüfen, ob Identitäten, Tool-Zugriffe, Sandboxing und Freigabepunkte zusammen einen belastbaren Betriebsrahmen bilden.