Unternehmen, die Hochrisiko-KI-Systeme entwickeln oder einsetzen, stehen vor massiven regulatorischen Herausforderungen. Der EU AI Act definiert in Anhang III präzise Anwendungsfälle, die strengen Konformitäts- und Überwachungspflichten unterliegen.
Definition und Anwendungsbereiche
Hochrisiko-KI umfasst Systeme, die erhebliche Auswirkungen auf Gesundheit, Sicherheit oder Grundrechte haben. Klassische Beispiele sind Biometrie, kritische Infrastrukturen, Bildungswesen sowie Systeme zur Personaleinstellung und Leistungsbewertung. Wer KI-Agenten für das vollautomatische Sichten von Bewerbungsunterlagen einsetzt, fällt unweigerlich in diese Kategorie.
Anforderungen an das Risikomanagement
Ein iteratives Risikomanagementsystem muss den gesamten Lebenszyklus der KI begleiten. Unternehmen müssen bekannte und vorhersehbare Risiken identifizieren und geeignete Maßnahmen zur Minderung implementieren. Dies erfordert auch eine rigorose Prüfung der verwendeten Trainingsdaten auf Fehler und Verzerrungen, um diskriminierende Ergebnisse zu verhindern.
Dokumentation und Logging
Die technische Dokumentation muss so detailliert sein, dass Behörden die Konformität des Systems beurteilen können. Zudem müssen Hochrisiko-Systeme über automatische Aufzeichnungsfunktionen (Logs) verfügen. Diese Logs dokumentieren das Systemverhalten über die gesamte Lebensdauer und sind essenziell für das Post-Market-Monitoring.
Die Konformitätsbewertung
Vor der Inbetriebnahme muss das System ein formelles Konformitätsbewertungsverfahren durchlaufen. Bei bestimmten Systemen ist die Einbindung einer benannten Stelle erforderlich, in vielen Fällen genügt jedoch eine interne Kontrolle. Nach erfolgreicher Bewertung ist eine Registrierung in der EU-Datenbank für Hochrisiko-KI-Systeme vorgeschrieben.
| Pflicht | Fokus | Zielsetzung |
|---|---|---|
| Datenqualität | Fehlerfreiheit und Repräsentativität der Datensätze | Vermeidung von Bias und Diskriminierung |
| Menschliche Aufsicht | Interface für Interventionen | Kontrolle über KI-Entscheidungen sichern |
| Transparenz | Anleitungen für Betreiber | Sicheren Betrieb in der Praxis gewährleisten |
Die Quintessenz
Der Betrieb von Hochrisiko-KI wandelt sich von einer rein technischen Herausforderung zu einer umfassenden Compliance-Aufgabe.
Häufige Fragen
Müssen bestehende Systeme nachträglich zertifiziert werden?
Systeme, die vor Inkrafttreten der Fristen auf dem Markt waren, müssen nur bei signifikanten Änderungen neu bewertet werden.
Offizielle Informationen und hilfreiche Hintergründe.