Sesgo IA seguridad: auditoría obligatoria KRITIS

El sesgo en la detección de personas no es un problema académico. Genera intrusos no detectados, falsas alarmas escaladas contra la propia plantilla y riesgos de multa según el EU AI Act y NIS-2. Los jefes de planta y responsables de seguridad en instalaciones KRITIS deben medir, documentar y corregir el sesgo de forma demostrable. Este texto describe las clases de daño, el marco legal, el procedimiento de auditoría y las consecuencias para el TCO.

Sesgo IA seguridad: definición y daño operativo

El sesgo de IA proviene de tres fuentes: datos de entrenamiento desequilibrados, cobertura de sensores incompleta y procesos de etiquetado defectuosos. Quien entrena un modelo de detección principalmente con conjuntos de datos de centros urbanos centroeuropeos obtiene malos resultados en una terminal portuaria de noche.

El daño operativo se divide en tres clases. Los falsos negativos significan intrusos no detectados en el vallado. Es el caso de error más costoso. Los falsos positivos generan alarmas innecesarias y socavan la confianza del personal de vigilancia en el sistema. La deriva describe el deterioro progresivo de la calidad del modelo tras meses de operación real, a menudo inadvertido.

El sesgo es medible. Una matriz de confusión por cohorte demográfica o ambiental aporta cifras duras: tasa de verdaderos positivos, tasa de falsos positivos, exactitud. Quien no recoge estos valores no puede demostrar conformidad según el EU AI Act.

Responsabilidad: en cuanto el operador sigue entrenando el modelo en planta o introduce datos de sensores para reajuste, asume obligaciones del proveedor. Está regulado explícitamente en el Art. 25 del EU AI Act. El fabricante deja de ser el único responsable.

Sesgos típicos en la detección de personas

Tonos de piel: los detectores basados en RGB muestran en benchmarks publicados hasta un 12 por ciento más de errores con tonos de piel oscuros bajo luz baja. [Insertar fuente]. No es un fallo de diseño, sino consecuencia de corpus de entrenamiento desequilibrados.

Estaturas: los modelos entrenados exclusivamente con conjuntos de adultos no detectan sistemáticamente a personas de menos de 1,50 metros. Relevante en recintos industriales con grupos externos de visitantes, formación o socios de servicio de distinta estatura.

Ropa de trabajo: chalecos de alta visibilidad, trajes de EPI, protección respiratoria y cascos de soldador alteran la silueta hasta el punto de que el clasificador deja de reconocer a la persona como humana. Justo el personal que cabe esperar en el recinto cae fuera de la ventana de detección.

Postura y movimiento: las personas tumbadas o agachadas no se clasifican en el 18 a 30 por ciento de los casos. [Insertar fuente]. En una emergencia con un trabajador caído, esa es la brecha más crítica.

Condiciones meteorológicas: lluvia, niebla, nieve y contraluz desplazan sistemáticamente el umbral de detección. Un modelo validado en primavera puede perder dos tercios de su exactitud en la niebla de noviembre. [Insertar fuente].

Sesgo en detección de personas: térmico y audio

La detección térmica, como la que utiliza el QR-2 con detección térmica de personas, es más robusta frente a tonos de piel, pero sensible a la temperatura ambiente y al aislamiento de la ropa. En verano, con 35 grados de temperatura ambiente, el contraste térmico entre persona y entorno cae por debajo de 2 kelvin. [Insertar fuente]. El clasificador pierde capacidad de discriminación.

Los errores de clasificación térmica también aparecen con ropa de protección muy aislante. Un trabajador con ropa de cámara frigorífica apenas emite calor al exterior y resulta térmicamente indistinguible del fondo.

La clasificación de audio para rotura de vidrio, gritos o peticiones de auxilio se entrenó en muchos modelos comerciales con conjuntos en inglés. Los gritos en alemán, turco o polaco se reconocen con menor exactitud. El ruido de maquinaria en polígonos industriales genera enmascaramiento acústico. Esto distorsiona sistemáticamente las salidas del clasificador.

Consecuencia: una prueba de sesgo debe documentar cada modalidad de sensor por separado. Un certificado de conformidad para RGB no sustituye al de térmico o audio.

Marco legal: EU AI Act y NIS-2

La robótica de seguridad autónoma cae bajo sistemas de IA de alto riesgo conforme al Anexo III del EU AI Act. El EU AI Act clasifica la IA de seguridad en el espacio público y en infraestructuras críticas como sistema de alto riesgo. Las obligaciones incluyen sistema de gestión de riesgos, gobernanza de datos, documentación técnica, supervisión humana y registro de exactitud durante todo el ciclo de vida.

NIS-2 complementa estas obligaciones por sector. La Directiva obliga a los operadores KRITIS a una gestión de riesgos demostrable de todas las medidas técnicas y organizativas, incluida la detección basada en IA [Directiva NIS-2]. Un componente de IA sin verificación de eficacia documentada no es defendible bajo NIS-2.

EN ISO 13482 define requisitos de seguridad para robots de servicio personal y es la norma de referencia para unidades de patrulla móvil. La norma cubre seguridad mecánica y funcional, pero no sustituye a la prueba de sesgo de los algoritmos de detección empleados.

El Reglamento UE de Máquinas 2023/1230 exige evaluación de conformidad para máquinas autónomas con comportamiento de autoaprendizaje. Afecta a todo sistema que se siga entrenando en planta.

Antes de la puesta en servicio, el operador debe presentar un certificado de conformidad que documente la robustez demográfica y ambiental. Detalles sobre umbrales sectoriales en Requisitos KRITIS para operadores.

Auditoría IA KRITIS: cómo los jefes de planta hacen medir el sesgo

Un procedimiento de auditoría aplicable sigue cinco pasos.

Paso 1: definir cohortes de prueba. Atributos: género, estatura, tono de piel, vestimenta (civil, EPI, alta visibilidad, cámara frigorífica), franja horaria (día, crepúsculo, noche) y condiciones meteorológicas (claro, lluvia, niebla, nieve). De ahí surge una matriz de cohortes con típicamente 24 a 48 celdas.

Paso 2: al menos 500 casos de prueba anotados por cohorte durante tres meses de operación real. Los datos sintéticos por sí solos no bastan, el BBK no los acepta como única prueba. El BBK exige para instalaciones KRITIS medidas técnicas de protección documentadas, sometidas a verificación periódica de eficacia.

Paso 3: matriz de confusión por cohorte. Umbral: la diferencia de tasa de verdaderos positivos entre la peor y la mejor cohorte no debe superar el 5 por ciento. [Insertar fuente / base normativa]. Quien incumple este umbral carga con un riesgo de sesgo documentado.

Paso 4: monitorización mensual de la deriva. Alerta automática ante un desplazamiento estadísticamente significativo de las tasas de detección. La deriva es la causa más frecuente de falsos negativos tardíos.

Paso 5: documentación en el expediente de conformidad. Este expediente debe estar disponible para auditorías del BBK, justificaciones NIS-2 y revisiones aseguradoras.

Quarero entrega este protocolo de auditoría de forma estandarizada para QR-1, QR-2 y QR-3 para emplazamientos KRITIS. Los jefes de planta reciben las matrices de confusión por cohorte como PDF firmado y estructura JSON legible por máquina.

Humano en el bucle como correctivo del sesgo

La patrulla autónoma genera la detección. La escalada pasa por la central de control con confirmación humana. Este modelo de dos etapas reduce el daño de los falsos positivos sin bajar la tasa de detección.

El personal de la central recibe un formulario estructurado de feedback para reclasificar alarmas falsas. Por incidente se registran atributos de cohorte (franja horaria, condiciones meteorológicas, vestimenta, modalidad de sensor). El feedback entra en el ciclo mensual de actualización del modelo.

La supervisión humana no es marketing, sino obligación del AI Act según el Art. 14. Un sistema de seguridad totalmente autónomo sin nivel de escalada humano no es conforme. Esto se deriva directamente del texto del reglamento. Para la dirección es relevante también la responsabilidad de la dirección bajo NIS-2 en detalle.

Consecuencias para el TCO: lo que cuesta y ahorra una auditoría de sesgo

La auditoría inicial cuesta entre 8.000 y 12.000 euros una sola vez, según el tamaño del emplazamiento y la matriz de cohortes. En el modelo Robotics-as-a-Service está incluida. La monitorización continua forma parte de la tarifa mensual de servicio, en el QR-2 unos 3.500 euros.

El puesto de vigilancia convencional 24/7 está entre 15.000 y 25.000 euros al mes para una posición cubierta las veinticuatro horas, según convenio colectivo y región. No hay obligación de auditoría, pero tampoco consistencia de datos ni tasas de detección reproducibles. La comparación completa de costes está en TCO frente al servicio de vigilancia clásico.

Riesgo de multa EU AI Act: hasta 35 millones de euros o el 7 por ciento de la facturación anual mundial por infracciones de alto riesgo (EU AI Act Art. 99). Es la magnitud que supera cualquier comparación de TCO.

Una auditoría de sesgo documentada reduce además primas de seguros en aseguradoras especializadas en ciber y activos. Las primeras aseguradoras ofrecen descuentos entre el 5 y el 12 por ciento sobre la prima del seguro de daños cuando se presenta el informe de auditoría de IA. [Insertar fuente].

Errores de clasificación térmica en la fase piloto: 90 días operativos

La fase piloto sigue un esquema fijo.

Día 0 a 14: levantamiento de línea base. Personas de prueba sintéticas (maniquíes con firma térmica definida, fuentes de audio calibradas) y personas reales de la vigilancia de planta y auditores externos recorren rutas definidas. Resultado: valores iniciales de la matriz de confusión por cohorte.

Día 15 a 60: operación por turnos con patrulla humana en sombra. El robot patrulla de forma autónoma. Un puesto humano camina en paralelo y registra cada desviación. Estos 45 días aportan datos de detección sólidos bajo condiciones reales, incluida variación meteorológica.

Día 61 a 90: evaluación de las matrices de confusión por cohorte. Entrega del informe de auditoría al jefe de planta y a la dirección de seguridad. Los informes semanales de estado a la dirección de seguridad son estándar. Una cita mensual de la dirección asegura la comunicación hacia la gerencia.

Tras 90 días se decide sobre la operación plena con conformidad de sesgo documentada. Quien decide antes no tiene un conjunto de datos estadísticamente sólido. Quien decide después prolonga el doble coste de piloto y vigilancia existente en paralelo.

Los jefes de planta y responsables de seguridad que planifiquen un piloto de 90 días con protocolo completo de auditoría de sesgo presentan una solicitud de piloto para su emplazamiento. Quarero responde en dos días laborables con verificación del emplazamiento y oferta.