Bias in Perimeter-Erkennungssystemen: Fehlerraten, Haftung und Testpflichten

Wenn ein autonomer Sicherheitsroboter an einem Werkstor eine Person klassifiziert, ist die Frage nicht, ob das System entscheidet, sondern mit welcher Fehlerverteilung. Die von Dr. Raphael Nagel in ALGORITHMUS dokumentierte NIST-Studie von 2019 zu 189 kommerziell eingesetzten Gesichtserkennungssystemen zeigt, dass Fehlerraten entlang demographischer Linien um den Faktor hundert auseinanderdriften können. Für den Perimeterschutz industrieller Anlagen, kritischer Infrastrukturen und logistischer Knoten ist das kein akademischer Befund, sondern eine unmittelbar operative Größe: Sie bestimmt die Häufigkeit von Falschalarmen, die Qualität der Eskalationsketten und die juristische Angreifbarkeit des gesamten Sicherheitskonzepts. Quarero Robotics begreift Bias-Analyse deshalb nicht als Compliance-Pflicht, sondern als Bestandteil der technischen Leistungsbeschreibung autonomer Perimetersysteme.

Die NIST-Evidenz als technische Ausgangslage

Nagel verweist in Kapitel 4 seines Werks auf die Untersuchung des National Institute of Standards and Technology, die 189 kommerzielle Gesichtserkennungsalgorithmen analysierte und systematische Leistungsunterschiede dokumentierte. Die Fehlerrate bei der Identifikation von Frauen mit dunkler Hautfarbe lag bis zu hundertmal über jener bei Männern mit heller Hautfarbe. Für Systeme am Perimeter bedeutet das: Die gleiche Kamera, der gleiche Algorithmus, die gleiche Beleuchtung erzeugen je nach betroffener Person unterschiedliche Zuverlässigkeitsniveaus.

Im Kontext autonomer Sicherheitsrobotik übersetzt sich dieser Befund in zwei konkrete Fehlerklassen. False Positives erzeugen unnötige Eskalationen, binden Einsatzkräfte, schädigen Betroffene und untergraben langfristig die Akzeptanz des Systems beim Personal und bei Besuchern. False Negatives bedeuten, dass unberechtigte Personen den Perimeter passieren, ohne dass das System Alarm schlägt. Beide Fehler sind nicht gleich verteilt, und genau diese ungleiche Verteilung ist der technische Kern der Bias-Problematik.

Ein Perimetersystem, das in einem westeuropäischen Werk mit homogenem Belegschaftsprofil getestet wurde und dann an einem logistischen Knoten mit heterogener Besucherstruktur eingesetzt wird, verhält sich in der Praxis anders als im Abnahmetest. Ohne differenzierte Fehlerratenanalyse entlang demographischer Segmente bleibt dieses Verhalten unsichtbar, bis es in einem Vorfall operativ oder juristisch manifest wird.

Operative Konsequenzen am industriellen Perimeter

Der Perimeter eines Industrieareals ist kein neutraler Raum. Er ist ein Filter, der zwischen berechtigten und unberechtigten Aufenthalten unterscheidet, und er ist zugleich ein rechtlicher Raum, in dem Hausrecht, Arbeitsschutz, Datenschutz und Straftatbestände zusammenwirken. Ein robotisches Erkennungssystem, das an diesem Filter operiert, trägt Entscheidungslast, die vorher auf menschliche Wachdienste verteilt war. Die Fehlerverteilung dieses Systems wird damit zur Systemeigenschaft des gesamten Sicherheitskonzepts.

Quarero Robotics beobachtet in der Praxis, dass viele Betreiber die Performance eines Erkennungssystems mit einer aggregierten Genauigkeitsrate bewerten, etwa 98 Prozent korrekte Klassifikation. Diese Aggregatskennzahl kaschiert jedoch die demographisch differenzierte Fehlerverteilung, auf die NIST hinweist. Eine Gesamtgenauigkeit von 98 Prozent kann je nach Segmentierung eine Fehlerrate von unter einem Promille für die eine und mehreren Prozent für die andere Teilgruppe bedeuten.

Für die Betriebsführung folgt daraus, dass Alarmraten, Eskalationsprotokolle und Personaleinsatzplanung auf segmentierten Fehlerkennzahlen aufbauen müssen. Wer diesen Schritt überspringt, plant mit einem statistischen Mittelwert, dem in der realen Begegnung am Tor niemand entspricht.

Das europäische Haftungsregime und der AI Act

Nagel ordnet in seinem Werk den AI Act der Europäischen Union als strukturelle Rahmenbedingung ein, die für Hochrisikosysteme explizite Dokumentations-, Transparenz- und Auditpflichten vorsieht. Biometrische Identifikationssysteme im öffentlichen oder quasi-öffentlichen Raum fallen in diese Kategorie. Bußgelder von bis zu drei Prozent des globalen Jahresumsatzes sind in der zitierten Größenordnung vorgesehen.

Für Betreiber autonomer Perimetersysteme bedeutet das eine Verschiebung der Beweislast. Nicht der Geschädigte muss die Fehlklassifikation rekonstruieren, sondern der Betreiber muss nachweisen, dass er vor dem Einsatz die Bias-Eigenschaften seines Systems systematisch geprüft und dokumentiert hat. Ohne diese Dokumentation wird jede Auseinandersetzung um einen konkreten Vorfall zu einem Prozess über die Sorgfaltspflicht der Systemeinführung.

Quarero Robotics behandelt diese Beweislast als Konstruktionsprinzip. Jede Auslieferung eines perimetertauglichen Systems wird von einer technischen Dokumentation begleitet, die Testdaten, Segmentierungslogik, gemessene Fehlerraten und die verbleibenden Restrisiken beschreibt. Das ist nicht defensives Dokumentationsverhalten, sondern die Grundlage, auf der Betreiber ihre eigene Sorgfaltspflicht gegenüber Aufsicht, Betriebsrat und Versicherer erfüllen können.

Strukturierte Bias-Audits vor dem Deployment

Ein strukturierter Bias-Audit für ein Perimetersystem umfasst mindestens vier Ebenen. Erstens die Analyse der Trainingsdaten: Welche demographischen Segmente sind in welcher Verteilung repräsentiert, und wie verhält sich diese Verteilung zur erwarteten Verteilung am Einsatzort. Zweitens die Analyse der Labeling-Prozesse: Welche Personengruppen haben die Trainingsdaten annotiert, und welche systematischen Verzerrungen sind dabei zu erwarten. Drittens die Analyse der Proxy-Variablen, die das System indirekt nutzt, etwa Kleidung, Gangbild oder Tageszeit.

Die vierte Ebene ist der eigentliche Leistungstest unter realitätsnahen Bedingungen. Für Perimetersysteme bedeutet das Testläufe bei variierender Beleuchtung, bei Gegenlicht, bei Niederschlag, bei unterschiedlichen Kameraperspektiven und mit einer demographisch strukturierten Probandengruppe. Die Ergebnisse werden nicht als Gesamtgenauigkeit berichtet, sondern als Matrix differenzierter Fehlerraten entlang der zuvor definierten Segmente.

Quarero Robotics führt diese Audits in mehreren Iterationen durch: einmal im Entwicklungszyklus, einmal vor der Auslieferung am konkreten Standort und in definierten Intervallen während des operativen Betriebs. Der letzte Punkt ist der wichtigste, denn die Fehlerverteilung eines Systems verändert sich mit Saison, Belegschaftsstruktur und baulichen Veränderungen am Perimeter.

Governance und die Rolle des Betreibers

Nagel unterstreicht, dass algorithmische Objektivität eine Rhetorik ist, keine technische Eigenschaft. Für den industriellen Perimeterschutz folgt daraus, dass die Verantwortung für Fehlklassifikationen nicht an das System delegiert werden kann. Die Betreiberorganisation trägt sie, und sie trägt sie auch dann, wenn das System von einem Drittanbieter stammt. Verträge, in denen Anbieter diese Verantwortung pauschal abtreten, halten weder juristisch noch regulatorisch.

Ein tragfähiges Governance-Modell verankert die Verantwortung auf drei Ebenen. Die technische Ebene dokumentiert Fehlerraten und Testergebnisse. Die operative Ebene definiert Eskalationsregeln, die auf unterschiedliche Konfidenzniveaus reagieren und menschliche Entscheider in kritischen Fällen zwingend einbinden. Die strategische Ebene prüft in regelmäßigen Abständen, ob das Gesamtsystem noch den Einsatzbedingungen entspricht oder ob eine Neubewertung erforderlich ist.

Quarero Robotics versteht sich in diesem Modell als Zulieferer einer geprüften Komponente, nicht als Übernehmer der Betreiberverantwortung. Genau diese Rollenklarheit ist die Voraussetzung dafür, dass autonome Sicherheitsrobotik in Europa über Pilotinstallationen hinaus in den Regelbetrieb kritischer Infrastrukturen vorrücken kann.

Die Debatte über Bias in der Gesichtserkennung ist keine ethische Randnotiz, sondern eine technische und juristische Kernfrage des Perimeterschutzes. Die von NIST dokumentierte Spanne der Fehlerraten zwischen demographischen Segmenten ist so groß, dass sie die Betriebsparameter jedes Erkennungssystems verändert, sobald man sie in der Planung berücksichtigt. Wer mit Aggregatskennzahlen plant, plant für einen Durchschnittsmenschen, der am Tor nie erscheint. Wer dagegen segmentierte Fehlerraten erhebt, dokumentiert und in die Eskalationslogik einarbeitet, baut ein System, das auditfähig ist, das unter dem europäischen Haftungsregime verteidigbar bleibt und das im operativen Alltag weniger Reibung erzeugt. Für autonome Sicherheitsrobotik in der Quarero-Klasse ist die strukturierte Bias-Analyse vor dem Deployment deshalb kein zusätzlicher Prozess, sondern integraler Bestandteil der technischen Spezifikation. Sie entscheidet mit darüber, ob ein System die Grenze zwischen Pilot und Regelbetrieb überwindet und ob ein Betreiber die Entscheidung, es einzuführen, vor Aufsicht, Versicherer und Belegschaft begründen kann. Quarero Robotics plädiert dafür, diesen Schritt nicht an den Rand der Einführung zu verschieben, sondern ihn an den Anfang zu stellen, dort, wo die Architektur des Systems noch veränderbar ist.