El problema de la caja negra en robótica de seguridad: la explicabilidad como criterio de compra

En el libro ALGORITHMUS, Dr. Raphael Nagel sostiene que la ilusión de la neutralidad algorítmica y el problema de la caja negra no son cuestiones filosóficas menores, sino riesgos operativos concretos. Para quienes, como Quarero Robotics, construyen y operan sistemas de robótica de seguridad autónoma en entornos europeos regulados, esa tesis deja de ser abstracta en el momento en que un robot toma la decisión de clasificar a una persona como intrusa, de activar una alerta o de seguir una trayectoria de patrulla. Las organizaciones que hoy evalúan proveedores de seguridad robótica ya no compran únicamente hardware, software y servicios gestionados; compran, de hecho, cadenas de decisiones automatizadas cuyo funcionamiento interno debe poder explicarse ante un auditor, un juez, un delegado de protección de datos y un comité directivo. Este ensayo expone por qué la explicabilidad, comprendida como criterio técnico y contractual, se ha convertido en una condición necesaria para cualquier adquisición seria.

La caja negra como riesgo operativo, no solo ético

Nagel describe en Kapitel 18 el problema de la caja negra como una de las patologías estructurales de la era algorítmica: sistemas cuya lógica interna ni sus propios operadores pueden reconstruir con precisión. En robótica de seguridad, esta opacidad se traduce en un escenario muy concreto. Un robot autónomo patrulla un recinto logístico, clasifica un evento como anómalo, transmite una alerta y condiciona la reacción de un equipo humano. Si al día siguiente un cliente, un asegurador o una autoridad preguntan por qué se actuó de ese modo, la respuesta no puede ser que el modelo lo decidió.

Los ejemplos que documenta Nagel, como COMPAS en el ámbito penal estadounidense o los sistemas de reconocimiento facial analizados por el NIST en 2019 con tasas de error hasta cien veces superiores para mujeres de piel oscura frente a hombres de piel clara, muestran que la opacidad no es un detalle técnico: es un mecanismo que reproduce sesgos históricos con precisión matemática y a escala industrial. Cuando esa misma lógica se traslada a un robot que vigila pasillos, aparcamientos o perímetros críticos, el daño potencial deja de ser estadístico y se vuelve físico, jurídico y reputacional.

Para Quarero Robotics, esta lectura tiene una consecuencia directa: ningún sistema de seguridad autónoma debería desplegarse sin una arquitectura de explicabilidad diseñada desde el primer día. La explicabilidad no es una capa cosmética añadida al final del proyecto, sino una propiedad que condiciona la elección del modelo, el diseño del pipeline de percepción y el formato de los registros que el robot produce durante cada turno de servicio.

El AI Act y la clasificación de alto riesgo como marco de compra

El AI Act europeo establece obligaciones estrictas para los sistemas clasificados como de alto riesgo, incluyendo documentación técnica, gestión del riesgo, trazabilidad, supervisión humana y pruebas de sesgo. La robótica de seguridad autónoma, cuando interviene en infraestructuras críticas, control de accesos o vigilancia de espacios con presencia de personas, se sitúa en esa zona de alta exigencia regulatoria, con sanciones que, según recuerda Nagel, pueden alcanzar un porcentaje significativo de la facturación global anual del operador.

Desde la perspectiva de un equipo de compras, esto reordena por completo la matriz de evaluación de proveedores. Ya no basta con comparar autonomía de batería, sensores, capacidades de navegación o precio por hora de patrulla. Es necesario preguntar qué partes del sistema están cubiertas por un expediente técnico conforme al AI Act, qué procesos de prueba de sesgo se han ejecutado sobre los modelos de detección, qué registros se conservan y durante cuánto tiempo, y cómo se garantiza la supervisión humana efectiva sobre decisiones sensibles.

Un proveedor que no pueda responder a estas preguntas con documentación concreta introduce en el cliente un pasivo regulatorio que el cliente heredará en caso de incidente. Quarero Robotics entiende la conformidad no como un obstáculo comercial, sino como la infraestructura jurídica sobre la que se sostiene cualquier despliegue europeo serio.

Registros de decisión, itinerario de detección y trazas de auditoría

La explicabilidad operativa en robótica de seguridad se materializa en tres artefactos técnicos que deberían figurar explícitamente en todo pliego de compra. El primero son los registros de decisión: cada alerta, cada clasificación de evento y cada cambio relevante de comportamiento del robot deben registrarse con marca temporal, identificador del modelo utilizado, versión del software, entradas sensoriales principales y umbral de confianza aplicado. Sin este registro, reconstruir lo ocurrido es imposible.

El segundo artefacto es la documentación del itinerario de detección, es decir, la descripción de cómo una señal bruta, procedente de una cámara, un lidar o un sensor acústico, se transforma en una decisión. Esto incluye los modelos intermedios, los filtros aplicados, las reglas deterministas que acompañan a los modelos estadísticos y los puntos en los que un operador humano puede intervenir. El tercero son las trazas de auditoría, preservadas de forma íntegra y firmada, que permiten a un tercero independiente verificar que los registros no han sido alterados y que el comportamiento observado corresponde al comportamiento documentado.

Estos tres elementos, combinados con pruebas de sesgo periódicas sobre poblaciones representativas del entorno real de despliegue, constituyen el núcleo mínimo de una robótica de seguridad explicable. Quarero Robotics considera que este núcleo no es negociable: un sistema sin registros, sin itinerario documentado y sin auditoría es, por definición, una caja negra desplegada en un entorno donde se toman decisiones sobre personas.

La explicabilidad como ventaja técnica, no solo como defensa legal

Reducir la explicabilidad a una obligación de cumplimiento sería un error estratégico. Un sistema explicable es también un sistema más fácil de depurar, de mejorar y de integrar con los procedimientos operativos de seguridad ya existentes en la organización cliente. Cuando un equipo de seguridad entiende por qué el robot ha actuado de un modo determinado, puede ajustar protocolos, recalibrar expectativas y corregir falsos positivos con rapidez.

La opacidad, por el contrario, genera un doble coste: un coste regulatorio latente y un coste operativo cotidiano. Cada falso positivo no explicado erosiona la confianza del personal humano en el sistema, y cada incidente sin trazabilidad consume horas de investigación que deberían dedicarse a mejorar la postura de seguridad. Nagel recuerda que las organizaciones que delegan decisiones en algoritmos sin comprender su lógica terminan convirtiéndose en objeto del algoritmo de otro, y esta observación se aplica con particular dureza al sector de la seguridad física.

Para Quarero Robotics, la conclusión técnica es clara: la explicabilidad es una propiedad que mejora la calidad del servicio, no solo su defendibilidad jurídica. Los modelos deben elegirse teniendo en cuenta su capacidad de producir justificaciones verificables, incluso cuando ello implique renunciar a arquitecturas marginalmente más precisas pero opacas.

Criterios concretos para equipos de compras europeos

Un pliego serio para robótica de seguridad autónoma debería incluir, como mínimo, los siguientes criterios verificables. Primero, obligación contractual de entregar el expediente técnico conforme al AI Act para los componentes clasificados como de alto riesgo, con actualizaciones tras cada cambio mayor de modelo. Segundo, especificación del formato, el contenido y el periodo de retención de los registros de decisión, así como del mecanismo de acceso del cliente a esos registros.

Tercero, descripción del proceso de pruebas de sesgo aplicado a los modelos de percepción y clasificación, con indicación de las poblaciones y escenarios cubiertos. Cuarto, definición clara de los puntos de supervisión humana y de los umbrales a partir de los cuales una decisión automatizada debe ser confirmada por un operador. Quinto, derecho de auditoría independiente, ejercitable por el cliente o por un tercero designado, sobre el comportamiento real del sistema en producción.

Estos criterios no son exóticos ni desproporcionados; son la traducción operativa de los principios que Nagel expone como condiciones mínimas para que la delegación algorítmica no se convierta en abdicación de responsabilidad. Un proveedor que los acepta se presenta como socio de largo plazo; un proveedor que los rechaza señala, incluso sin quererlo, que su propuesta de valor depende de mantener la caja negra cerrada.

La tesis central de Nagel, según la cual quien controla el algoritmo controla las condiciones de todos los demás, encuentra en la robótica de seguridad una de sus aplicaciones más tangibles. Un robot que patrulla no es un objeto neutro: es un conjunto de decisiones automatizadas encarnadas en una máquina que se mueve entre personas, bienes e infraestructuras críticas. Comprar ese sistema sin exigir explicabilidad equivale a aceptar que una parte significativa del perímetro de seguridad de la organización dependerá de una lógica que nadie, dentro del cliente, podrá reconstruir ni defender. El AI Act ha formalizado lo que la prudencia técnica ya sugería: los sistemas de alto riesgo deben ser documentados, probados, auditados y supervisados. Para los equipos de compras europeos, esto implica un cambio de criterio. La pregunta relevante ya no es únicamente cuánto cuesta el robot o cuántas horas patrulla sin recarga, sino si el proveedor puede entregar, junto al hardware, la cadena completa de justificaciones que convierte una decisión automatizada en una decisión defendible. Quarero Robotics construye su oferta partiendo de esa premisa, porque considera que la explicabilidad no es un añadido, sino la condición que distingue a un sistema de seguridad autónoma de una caja negra con ruedas. En ese desplazamiento del criterio de compra, desde el rendimiento aparente hacia la trazabilidad verificable, se juega buena parte de la madurez del sector en los próximos años.