Sesgo en sistemas de detección perimetral: tasas de error, responsabilidad y pruebas

La seguridad perimetral autónoma se construye sobre una promesa implícita: que el algoritmo ve mejor, más rápido y con menos prejuicio que el operador humano. Esa promesa, como documenta Dr. Raphael Nagel en el Capítulo 4 de ALGORITHMUS bajo el título La ilusión de la neutralidad, se desmonta al primer contacto con datos empíricos. El estudio del National Institute of Standards and Technology publicado en 2019, que examinó 189 sistemas de reconocimiento facial en uso comercial, mostró diferencias sistemáticas de rendimiento según grupos demográficos, con tasas de error hasta cien veces superiores en determinadas combinaciones. Para un operador de robótica de seguridad europea, esta evidencia no es un debate académico. Es una condición de contorno técnica, jurídica y operativa que define cómo Quarero Robotics diseña, prueba y audita sus sistemas antes de autorizarlos en un perímetro industrial.

Lo que realmente midió el estudio NIST de 2019

La cifra titular del estudio NIST es conocida, pero conviene precisar su estructura para evitar el uso superficial que suele hacerse de ella. Los 189 algoritmos examinados procedían de proveedores comerciales que ya operaban en instalaciones reales, incluidas fuerzas policiales en más de treinta estados de Estados Unidos. La conclusión central fue que la tasa de falsos positivos en la identificación de mujeres con piel oscura era hasta cien veces superior a la observada en hombres con piel clara. No era un artefacto estadístico marginal. Era un patrón sistemático derivado de conjuntos de entrenamiento desequilibrados y de casos de uso originales, centrados en control de acceso corporativo, que privilegiaban determinados perfiles demográficos.

Trasladado al contexto de detección perimetral industrial, el hallazgo tiene una lectura inmediata. Un sistema que clasifica intrusiones, autoriza accesos o dispara una respuesta automatizada no opera con una tasa de error uniforme. Opera con una distribución de errores que depende de la composición del conjunto de entrenamiento, del entorno lumínico, del ángulo de las cámaras y de la representación demográfica del personal autorizado y del público circundante. Ignorar esa distribución es aceptar, de facto, que determinados grupos recibirán más falsas alarmas y otros, más falsos negativos. Ninguna de las dos situaciones es operativamente neutra.

Falsos positivos y falsos negativos en un perímetro industrial

En un perímetro logístico, farmacéutico o energético, el coste de un falso positivo y el de un falso negativo son asimétricos y dependen del escenario. Un falso positivo genera una intervención del equipo de respuesta, interrumpe flujos de trabajo, erosiona la confianza del personal autorizado y, con suficiente frecuencia, produce fatiga de alertas que degrada la eficacia del sistema completo. Un falso negativo, en cambio, es silencioso hasta que deja de serlo: una intrusión no detectada, un vehículo no identificado, una presencia no registrada en zona restringida. La arquitectura de detección debe calibrar ambos errores conjuntamente, no optimizar uno a costa del otro.

El problema descrito por el estudio NIST no es que existan errores, sino que su distribución es estructuralmente desigual entre subpoblaciones. Para un operador europeo, esto se traduce en riesgos concretos: turnos nocturnos con personal diverso donde el sistema identifica mal, contratistas externos cuya presencia legítima se marca como anómala con mayor frecuencia, o visitantes institucionales que atraviesan controles que funcionan con distinta fiabilidad según su perfil. Quarero Robotics documenta estas distribuciones por clase antes del despliegue, no como ejercicio de cumplimiento cosmético, sino como requisito de ingeniería de fiabilidad.

El régimen europeo de responsabilidad y el AI Act

El marco europeo ha cerrado el margen para tratar el sesgo algorítmico como un problema reputacional gestionable a posteriori. El AI Act clasifica los sistemas de identificación biométrica y determinados usos de vigilancia como de alto riesgo, lo que obliga a documentar los conjuntos de entrenamiento, las métricas de rendimiento por subgrupo, las medidas de mitigación aplicadas y los procedimientos de auditoría periódica. Las sanciones previstas alcanzan el tres por ciento de la facturación global anual, una magnitud que desplaza la discusión del departamento técnico al consejo de administración.

A ello se suma la Directiva revisada sobre responsabilidad por productos defectuosos y la propuesta de Directiva sobre responsabilidad en materia de inteligencia artificial, que facilitan la carga probatoria para el demandante cuando un sistema automatizado causa daño. En la práctica, un operador de perímetro que despliegue un sistema con sesgo documentado pero no mitigado asume una exposición jurídica cuantificable. El argumento de que el proveedor no reveló la distribución de errores por subgrupo deja de ser una defensa válida cuando los estándares de la industria, incluidos los estudios públicos del NIST, ya establecen que esa caracterización es obligatoria.

Auditoría estructurada previa al despliegue para sistemas clase Quarero

La respuesta operativa al problema no es una declaración ética ni un sello de cumplimiento. Es un procedimiento de auditoría estructurado que se ejecuta antes de que el sistema entre en servicio y que se repite en ciclos definidos durante su vida útil. Quarero Robotics aplica un protocolo en cuatro fases: caracterización del conjunto de entrenamiento frente a la composición demográfica esperada del sitio, pruebas de rendimiento por subgrupo en condiciones ambientales representativas, análisis de variables proxy que pudieran reproducir discriminación indirecta, y validación de los umbrales de decisión en función de los costes asimétricos del falso positivo y del falso negativo en cada escenario.

La fase de variables proxy merece atención particular. Como señala Nagel en el Capítulo 4, un sistema puede no utilizar explícitamente variables protegidas y, aun así, reproducir patrones discriminatorios a través de correlaciones con código postal, estilo de vestimenta, patrones de movimiento o franjas horarias. En un perímetro industrial, esto puede traducirse en que determinados turnos o determinados contratistas generen tasas anómalas de alertas sin que exista una justificación técnica defendible. La auditoría debe detectar estas correlaciones antes, no después, del incidente que las hace visibles.

El coste de esta auditoría estructurada es una fracción del coste de gestionar un incidente público o una reclamación regulatoria. Esta es la economía real de la mitigación preventiva, y es la razón por la que Quarero Robotics la incorpora como condición previa al despliegue, no como capa opcional.

Documentación, trazabilidad y revisión continua

Un sistema auditado en el momento del despliegue no permanece auditado indefinidamente. Los modelos se actualizan, los entornos cambian, la composición del personal varía y los patrones de uso evolucionan. La obligación documental del AI Act no termina en la puesta en servicio. Requiere registros de versiones, comparativas de rendimiento entre iteraciones, justificación técnica de cada cambio en los umbrales de decisión y trazabilidad de las alertas generadas, incluidas las descartadas por el operador humano.

Para el cliente industrial, esto implica que el proveedor de robótica de seguridad debe entregar, junto con el sistema, un expediente técnico vivo. Este expediente no es un manual de usuario ni una ficha comercial. Es el instrumento que permite demostrar, ante un regulador o un tribunal, que las decisiones de diseño fueron proporcionadas, documentadas y revisadas. Quarero Robotics estructura este expediente desde el primer día del proyecto, y lo mantiene como parte del servicio durante toda la vida operativa del sistema desplegado.

La conclusión que se extrae del Capítulo 4 de Nagel, trasladada al terreno operativo de la detección perimetral, es incómoda pero clara. No existe un algoritmo neutro. Existen sistemas cuyas distribuciones de error están caracterizadas, documentadas y mitigadas, y existen sistemas que delegan en la opacidad la responsabilidad que corresponde al diseñador y al operador. El estudio NIST de 189 sistemas no es una anécdota histórica. Es la línea de base técnica contra la que se mide cualquier despliegue contemporáneo de reconocimiento facial o identificación biométrica en entornos de seguridad. Para un operador europeo, el régimen de responsabilidad cierra la discusión sobre si conviene auditar. La pregunta restante es cómo, con qué profundidad y con qué frecuencia. La respuesta práctica, en la experiencia de Quarero Robotics, pasa por integrar la auditoría de sesgo en el ciclo de ingeniería desde la especificación, no como paso final de validación sino como condición estructural de diseño. Esa es la forma de convertir una obligación regulatoria en una ventaja operativa, y de evitar que la ilusión de neutralidad se convierta, en el peor momento, en un pasivo medible.