1. Introducción

En sentido lato, la voz «Inteligencia Artificial» (IA) cubre una panoplia de técnicas que, si bien heterogéneas en su complejidad y abstracción, comparten al menos dos rasgos. Por un lado, su base estadística –que significa raigambre con la ciencia de los datos y enfoque correlacional–; por otro, su carácter algorítmico y codificado –su programación como software apto para una ejecución total o parcialmente automatizada–.

Siendo así, las aplicaciones punitivas de la IA revelan una novedad solo parcial. Su vocación estadística recuerda los embates de las metodologías actuariales en la gestión punitiva, con toda su carga gerencial. Fenómeno observado y discutido de largo, pero con un impacto efectivo, hasta ahora, bastante marginal en nuestro contexto2. El tópico de la IA y sus inercias actualizan las posibilidades de una justicia punitiva de tono actuarial3. Pero, al tiempo, prometen trascenderla mediante desarrollos que desafían los cálculos estrictamente actuariales. La discusión se ha desplazado hacia los usos de tecnologías más complejas de modelización de datos, alejadas de las técnicas estadísticas clásicas –que se sustentaron a menudo en cálculos de regresión lineal–. Se trata ahora de dispositivos algorítmicos con capacidades de aprendizaje automático alimentados, incluso, mediante big data. Paralelamente, el rostro codificado de toda IA refresca la mirada sobre las derivas probabilistas de la decisión punitiva. Su imbricación en objetos técnicos que emparentan un software con cierto hardware y otros elementos de su medio –entre ellos, el eventual sujeto humano que los opera–, subraya su cariz algorítmico y las implicaciones de su ejecución (semi)automatizada. Acentúa su ingrediente tecnológico.

Estos efectos son perceptibles en el espacio de la actuación policial. De hecho, este se ha mostrado especialmente dúctil ante los desarrollos tecnológicos securitarios. En una perspectiva comparada, la gestión policial se ha visto sucesivamente tecnologizada, en buena parte, en torno a las necesidades de gestión y comunicación de riesgos4. Se ha anudado a dispositivos para el tratamiento de la información que tendencialmente estructuran el coto de la discrecionalidad policial. Al menos en el contexto anglosajón, este es el espacio de gestión punitiva más inclinado a la experimentación tecnológica, donde mejor se percibe aquel tránsito desde cálculos actuariales hacia tecnologías complejas de computación para el pronóstico o la anticipación de los ilícitos. Formas derivativas del riesgo que pueden nutrirse de datos diversos y dispersos5, que adoptan técnicas de machine learning despegadas del tipo de probabilidad frecuentista del modelo actuarial. Desarrollos que sustentan enfoques de policía predictiva, evidence-based policing o smart policing, afanados en ciertos objetivos de rendimiento6: el despliegue eficiente de los recursos policiales, «tecnológicamente informado» según pronósticos zonificados (predictive hotspot mapping)7; el atino en la identificación de riesgos de victimización; o la individualización del riesgo de infracción, mediante la evaluación de las conductas potenciales de sujetos específicos8.

Pero el fenómeno debe matizarse si observamos el sistema punitivo español. En cierta sintonía con lo descrito, lo policial verifica la incorporación puntual de dispositivos actuariales para la gestión de riesgos en nuestro contexto. Estas técnicas actuariales no han impactado por el momento en el fallo judicial penal ni administrativo sancionador, sino en dos entornos de decisión más «ejecutivos». Espacios, cabría decir, más livianos en un sentido dogmático: la administración penitenciaria9 y, en lo que aquí nos ocupa, la acción policial preventiva. Es, sin embargo, una incorporación escueta, circunscrita a decisiones delimitadas, y rudimentaria desde el punto de vista tecnológico, al menos si la comparamos con los recientes desarrollos del riesgo algorítmico.

En materia policial, esta aplicación se ha producido desde al año 2007 para el ejercicio de las funciones preventivas de conductas constitutivas de violencia de género, a través de los Protocolos «de Valoración Policial del Riesgo de agresión» (VPR) y de «Valoración de la Evolución» de dicho Riesgo (VPER). Ambos integrados en el sistema VioGén, plataforma digital para el seguimiento y la administración de los casos de esta forma de violencias. Son protocolos encapsulados en software que solo expresan tecnologías de IA liminalmente, si aceptamos el sentido más laxo del término. No proyectan formas derivativas del riesgo, modelizaciones algorítmicas de datos con capacidad de aprendizaje, ni se nutren de big data. Son, más bien, reglas de pronóstico actuarial dispuestas en protocolos digitalizados. Lejos de los desarrollos de smart policing, los protocolos responden, más en general, a la tendencia hacia la estructuración tecnológica de la decisión policial, sostenida en cierto procesamiento automatizado de información, aunque sea bajo parámetros estáticos.

Rasgos que no merman el interés de estos dispositivos ni la necesidad de valorar sus implicaciones para las prácticas policiales, y su ordenación jurídica. Su simplicidad relativa en lo técnico alivia algunas de las incertidumbres que suscitan los usos punitivos de la IA, pero no las despeja. Aunque se relajen los problemas de opacidad algorítmica, la intrusión de objetos técnicos en una decisión con significado jurídico desliza aún problemas de publicidad, encaje formal y, quizá, paridad estadística. Transforma también el sentido de los sujetos operadores, en este caso policiales. Nos mantenemos, en definitiva, en las coordenadas de la discusión sobre una justicia punitiva algorítmica.

Proponemos explorar esas implicaciones desde la perspectiva concreta de los protocolos policiales VPR/VPER. Sin negar la conveniencia de los análisis más generales sobre los impactos jurídicos de la IA, es necesario observar los dispositivos concretos, «realmente existentes». Esta mirada aplicada permite especificar aquellas discusiones de amplio alcance, considerando los desarrollos tecnológicos en su concreción y su contexto. Pero, además, contrapesa quizá los excesos teóricos inducidos por el imperativo científico-técnico y el manto del solucionismo tecnológico10. El riesgo de estas inercias, también para un discurso que se pretenda crítico, es situar el análisis en escenarios más hipotéticos que vigentes; discutir sobre futuribles más que sobre escenarios presentes, o proyectar de forma indiscriminada aptitudes tecnológicas que suelen atribuirse a «la» IA como sello genérico y lustroso. Un análisis circunscrito, apegado a la inmanencia de las técnicas y sus entornos, aspira a revelar sus condiciones de desarrollo y aplicación, sus capacidades y limitaciones epistémicas. Se trata de continuar la analítica de las relaciones de poder, también en sus aspectos jurídicos, en el eje de sus realizaciones tecnológicas11.

Si consideramos los usos punitivos de la IA, y en concreto de carácter policial, ese análisis no puede ser ajeno a las discusiones previas en torno a la justicia actuarial. Conviene, entonces, diferenciar en lo posible dos estratos. Por un lado, las cuestiones aparejadas a la irrupción de métodos estadísticos (nomotéticos) con fines de pronóstico, para la adopción de decisiones jurídicas de tono preventivo. Por otro, aquellas implicadas en la realización tecnológica (es decir, embebida en objetos digitales) de tales métodos. Toda aplicación actuarial es, per se, algorítmica12. Pero sus atributos técnicos, y su consiguiente construcción tecnológica, pueden variar drásticamente. Y con ello sus afecciones jurídicas. Consideramos aquí, sobre todo, ese segundo nudo: la construcción tecnológica de la decisión policial o, en otros términos, su producción como resultado de una programación de IA.

Partiremos de la caracterización de los protocolos de valoración policial del riesgo de agresión de violencia de género, en sus condiciones jurídicas y tecnológicas (§2). Abordaremos después sus implicaciones, desde el punto de vista de las funciones policiales –digamos, el sentido de la decisión policial– (§3) y sus afecciones jurídicas (§4). Atenderemos al lábil marco normativo desde el que considerar su operativa y efectos. Con ese bagaje aspiramos a ofrecer algunas conclusiones sobre los impactos de estas aplicaciones algorítmicas sobre el sistema de fuentes, las dudas en cuanto a su calificación, y las incertidumbres en cuanto a la robustez y los criterios de construcción del modelo, dada su publicidad limitada.

2. Los protocolos VPR y VPER: características y criterios de aplicación

Las aplicaciones VPR y VPER se relacionan con dos previsiones normativas. Por un lado, la Ley Orgánica 1/2004, de 28 de diciembre, de Medidas de Protección Integral contra la Violencia de Género (LOIVG), regula en su art. 31 las funciones preventivas de las Fuerzas y Cuerpos de Seguridad del Estado, y su labor de control en la ejecución de las medidas judiciales que se adopten en procesos por delitos que constituyan violencia de género. Dispone que esas funciones se ejecuten mediante unidades especializadas, al menos en los Cuerpos estatales y autonómicos13. Pero, además, su apartado tercero requiere que se observe el Protocolo de Actuación de las Fuerzas y Cuerpos de Seguridad y de coordinación con los Órganos Judiciales para la protección de la violencia doméstica y de género.

Por otro lado, los arts. 544bis y 544ter de la Ley de Enjuiciamiento Criminal regularon, ya con anterioridad a la LOIVG, las órdenes de protección y de alejamiento como medidas procesales –de tono securitario-preventivo, más que cautelar–14. En concreto, la regulación de la orden de protección prevé su adopción por el órgano judicial instructor en los casos en que, existiendo indicios fundados de comisión de un delito constitutivo de violencia de género o doméstica, resulte una situación objetiva de riesgo para la víctima que demande los contenidos de tal medida.

Las apelaciones normativas a un protocolo de actuación policial y a una valoración «objetiva» del riesgo, hallan respuesta en los citados dispositivos VPR/VPER. Estos protocolizan la praxis policial preventiva frente a las agresiones de género: pautan la información a considerar en los casos, estructuran la valoración del riesgo en cada situación, y reglan las intervenciones policiales a adoptar concretamente, según el riesgo apreciado. Lo hacen asumiendo una racionalidad actuarial, esto es, estadística y probabilista. A partir de estudios cuantitativos sobre casos antecedentes, que desvelan frecuencias y factores de riesgo, se define una norma estadística que habilita, después, valorar el riesgo inherente a nuevos casos. Se cuantifica la probabilidad de comisión delictiva en el contexto de una concreta relación entre una víctima y un agresor potenciales. Las técnicas del riesgo actuarial se definen, precisamente, por ese esfuerzo de individualización a partir de una previa computación estadística que identifica correlaciones. El análisis agregado inicial define una pauta de decisión que permite proyectar probabilidades como riesgo individualizado.

Estos protocolos han sido adoptados formalmente a través de sucesivas Instrucciones de la Secretaría de Estado de Seguridad desde el año 200715. Pero, según indicamos, su aplicación se basa en un desarrollo de software para su manejo policial. En realidad, el dispositivo de valoración policial se integra en un despliegue tecnológico de mayor alcance: el Sistema de Seguimiento Integral en los casos de Violencia de Género (Sistema VioGén). Formalmente este sistema se configura como un fichero de datos de carácter personal, titularidad del Ministerio del Interior16. Externamente se ofrece como una plataforma digital, de acceso compartido por los múltiples actores y actrices con competencias de intervención en los casos de violencia de género (policiales, judiciales y administrativo-asistenciales), donde estos vuelcan la información sobre sus intervenciones17. Se trata de lograr un adecuado seguimiento de dichos casos, hacerlos «trazables»18.

VioGén revela cierta promiscuidad epistémica en torno a la valoración de los riesgos de agresión. La estimación policial del VPR/VPER, actuarial y modelada como IA, convive con al menos otras dos rutinas de pronóstico –al margen de otras apreciaciones del riesgo que se practican en ocasiones en los servicios administrativos de carácter tuitivo y asistencial, como las Oficinas de Atención a la Víctima del Delito–. El órgano judicial instructor habrá de realizar una valoración para decidir la pertinencia de la medida procesal preventiva, orden de protección o de alejamiento. Se trata de una estimación de probabilidad cualitativa y no estructurada, o «epistemológica», si acudimos la expresión de Hacking19.

Esta labor de decisión judicial puede sustentarse, no obstante, en una valoración forense del riesgo ofrecida desde los servicios de medicina legal²⁰. Se trata en este caso de una intervención potestativa, ejercida a solicitud judicial, con una metodología propia21. Inicialmente se concibió como un juicio clínico estructurado, nutrido con la información obtenida de una entrevista con la víctima, y basado en la aplicación de la Escala de prevención de riesgo de violencia grave contra la pareja (EPV-R): una «tabla» de carácter actuarial y aplicación manual (no codificada en software), que arroja una valoración del riesgo configurada en tres niveles –bajo, medio o alto–22. En 2020 se aprobó un nuevo protocolo forense que, si bien no exige, propone la utilización de una nueva escala actuarial, ahora sí programada como aplicación informática. Este formulario de «Valoración Forense del Riesgo» (VFR) es una adaptación del VPR policial y se ha incorporado, también, a la plataforma de VioGén23. No se excluye, sin embargo, la posibilidad de que el personal forense opte por otros métodos de valoración, incluida la EPV-R.

El conjunto de gestiones del riesgo en el contexto de VioGén puede esquematizarse como sigue:

Figura 1.Gestión del riesgo de reincidencia de violencia de género en el marco de VioGén Fuente: elaboración propia

La valoración policial del riesgo, en su versión VPR, se activa con la interposición de denuncia, o con el mero conocimiento de hechos indiciarios de violencia de género por parte del Cuerpo policial. El primer paso será recabar la información requerida mediante entrevistas con víctima y agresor y, en su caso, con otras personas del entorno, o fruto de informes de carácter técnico24. Los dispositivos VPR/VPER se presentan como formularios digitales, tipo checklist, en el que el/la agente debe codificar la información obtenida, determinado de forma dicotómica si se aprecian o no (o «no se sabe») los distintos indicadores de riesgo que se ofrecen en pantalla. Con esa entrada de datos, el sistema algorítmico arroja la valoración de riesgo según la escala «No apreciado, Bajo, Medio, Alto, Extremo». Si lo considera insuficiente según su apreciación del caso, el/la agente que opera puede elevar el nivel de riesgo calculado por el software, pero nunca reducirlo.

El formulario VPER (Valoración Policial de la Evolución del Riesgo) se aplica en un momento posterior, tras la resolución judicial sobre la adopción de medidas preventivas. Se desglosa en dos variantes, a aplicar según la evolución del caso desde que se practicó la valoración inicial del riesgo. La alternativa VPER-S se utiliza en supuestos de evolución positiva, «sin incidencia» de nuevas agresiones; la variante VPER-C atiende a las evoluciones negativas, para supervisar los casos «con incidencia» de episodios de violencia. Mientras este último debe cumplimentarse cuando se constata la incidencia de agresión, el primero ha de actualizarse según ciclos máximos, tasados por la Instrucción de la Secretaría de Estado según el nivel de riesgo previamente apreciado25.

Los protocolos VPR/VPER son específicamente policiales, es decir, no están ideados para informar las decisiones judiciales ni los juicios forenses. De hecho, se prevé que, si los/as agentes policiales estiman un caso de especial relevancia –concepto que queda indeterminado en la Instrucción–, se acuda a «diligencias adicionales». Lo que implica informar a la autoridad judicial con la recomendación de que se practiquen evaluaciones adicionales en esa sede, en especial, una estimación forense del riesgo. Con todo, la valoración policial se remite al Ministerio Fiscal y se incorpora al expediente judicial, lo que no excluye la posibilidad de influencia, siquiera implícita, en la toma de decisiones judiciales.

Debe repararse en que la Instrucción de la Secretaría de Estado de Seguridad 4/2019 protocoliza el uso de estas aplicaciones y describe sus rasgos, digamos, «externos». No contiene, en cambio, información ni exigencias sobre la construcción del modelo algorítmico, los factores estimados relevantes, los pesos atribuidos a cada variable, ni otros parámetros técnicos determinantes del pronóstico que devuelve el sistema. No regla en modo alguno la construcción del algoritmo. Solo en la documentación técnica accesible podemos verificar algunos de sus fundamentos metodológicos, ciertos episodios de su desarrollo y los factores incorporados26. Pero no se revela el contenido del propio algoritmo.

En dicha documentación el dispositivo se califica como «sistema experto». Corroboramos, pues, que supone la codificación de una serie de reglas predeterminadas de manera estática, a las que el software somete los datos de entrada. La lógica del sistema es lineal: unas mismas entradas arrojarán siempre los mismos resultados de salida, según aquellas reglas de probabilidad prefijadas. Si bien desconocemos el modo en que tales entradas son calibradas, sabemos que no hay aprendizaje automático a partir de aquellas. Las variaciones en el modo de computar solo pueden suscitarse por cambios manuales en las reglas del algoritmo. Desde el punto de vista del procesamiento, y acudiendo a la dicotomía propuesta por Breiman, hablamos de una modelización de datos (en sentido «clásico») y no de una auténtica modelización algorítmica27. En realidad, ambas «culturas de la probabilidad» son algorítmicas, al menos si optamos por un concepto amplio de algoritmo: toda rutina de pronóstico basada en la estadística incorpora cierta «caja» de operaciones matemáticas, que procesa entradas y suministra salidas. La distancia entre las dos aproximaciones radica en las características de ese contenedor operativo. La modelización de datos clásica se sostiene en un modelo matemático con operaciones inteligibles para la observación humana. La modelización algorítmica, en cambio, implica desarrollos que dotan de una elevada complejidad a esa caja de procesamiento. Su lógica concreta se torna inaccesible a la cognición humana, o muy costosa, dada la abstracción del esquema que subyace al mecanismo –su falta de correlato con atributos externos–. La modelización algorítmica implica algún grado de aprendizaje automático: el modelo se produce de manera automatizada –lo que no excluye «ajustes manuales»–, en función de los datos que alimentan una disposición algorítmica inicial, capaz de procesarlos y correlacionar. Estos mecanismos configuran, por lo tanto, un riesgo algorítmico más que actuarial.

En tanto «sistemas expertos» de pronóstico, los dispositivos VPR/VPER descansan en operaciones cognoscibles y propiamente actuariales. Con todo, si atendemos a las definiciones técnicas y jurídico-normativas en ciernes, estos sistemas algorítmicos han de calificarse de IA, aunque correspondan a su etapa más elemental de desarrollo28. Y, pese a la relativa simplicidad del modelo, portan la lógica correlacional tan cara al saber estadístico.

Desde el punto de vista técnico, las aplicaciones VPR y VPER presentan diferencias significativas. El VPR, en su actual versión 5.0, se estructura en 39 indicadores de riesgo distribuidos en 4 ámbitos29. El VPER suma a los anteriores ciertos indicadores dinámico-relacionales. Por ese rasgo dinámico en la evaluación, la Administración tilda el dispositivo de instrumento actuarial «de tercera generación» –aproximándolo a sistemas como el LSI-R, el RisCanvi o el SAQ– 30. Pero, además, afrontan la valoración del riesgo de manera diversa. La configuración del VPR está afinada para desempeñar funciones de «screening o cribado de alta sensibilidad», preocupada, sobre todo, por los riesgos elevados. La búsqueda de sensibilidad alude a la capacidad para identificar correctamente casos positivos, evitando al máximo los falsos negativos. Ello, al coste de lograr una menor especificidad, esto es, una peor capacidad para detectar negativos correctos (o, en otros términos, para evitar falsos positivos). En un instrumento de aplicación urgente como el VPR se asume, en definitiva, la posibilidad de que se genere cierta inflación en la valoración del riesgo. De ahí la advertencia de cautela que expresa la Administración, ante la hipótesis de que esa valoración sea incorporada a las decisiones judiciales31. En cambio, el VPER no está configurado según necesidades de cribado, sino de monitorización del riesgo en su desarrollo. Se busca entonces un mayor ajuste de las medidas de protección necesarias, primando la especificidad frente a la sensibilidad del algoritmo –o sea, aumentar el valor predictivo, reduciendo el margen de error por falsos positivos–.

Todavía hay una tercera vertiente en la valoración policial del riesgo. La Instrucción vigente incorpora la concreción de un «Plan de Seguridad Personalizado» (PSP) con medidas de autoprotección ajustadas a las circunstancias de la víctima32. En realidad, se trata de un listado de medidas por defecto sobre el que el agente o la agente opera eliminando aquellas que considere inadecuadas para el caso33. Se trata de una valoración ajustada a ese catálogo de medidas y puramente cualitativa. Cabe considerar, no obstante, que se trata de una consideración del nivel de riesgo valorado, ahora desde la perspectiva de las condiciones específicas de la mujer víctima y sus posibilidades de autoprotección.

3. Tecnología algorítmica y discrecionalidad policial en la gestión del riesgo

La LOIVG, junto con su desarrollo institucional-tecnológico, ha generado un complejo legal heterogéneo, cruce de racionalidades punitivas (con derivaciones penales, procesales, policiales) y también sociales o tuitivas (apoyo a las mujeres víctimas a través de servicios sociales especializados y de inserción laboral)34. Un complejo, en todo caso, de marcado tono preventivo. De hecho, el tipo de despliegue que supone VioGén es efecto muy propio del giro preventivo securitario35 y de la paralela administrativización del Derecho punitivo. Implica la generación de «contextos» de gestión institucional que redefinen la praxis de las operadoras y operadores implicados, donde las estructuras administrativas de evitación cobran una importancia, al menos, tan relevante como las medias reactivas ante los ilícitos. El complejo legal frente a la violencia de género, sustanciado en VioGén, redefine de suyo el significado de la praxis policial. También lo hace, obviamente, su derivación actuarial y tecnológica.

Aquella intersección de racionalidades implica una cierta transmutación «social» de la labor policial, que quiere aproximar la actuación de los y las agentes a una suerte de intervención social protectora. Al menos idealmente, se pretende generar una auténtica relación «de caso» con la víctima, que requiere un conocimiento detallado de las circunstancias de esta y su entorno. Una actuación que se desarrollará, necesariamente, en estrecha colaboración con los Servicios Sociales públicos competentes. Cabe hablar de una cierta «trabajosocialización» de lo policial36. No en vano, se requiere expresamente pericia de los y las agentes policiales en la práctica de las entrevistas con las víctimas –fuente prioritaria de información para su codificación en los formularios digitales VPR/VPER–, en especial para evitar efectos de doble victimización37. Se demanda, pues, formación en técnicas cualitativas de diagnóstico.

Esa tendencia resulta divergente, si no contradictoria, con el propósito de armar la decisión policial por vía actuarial y algorítmica automatizada. Esta solución se explica, al menos como condición de posibilidad, por los desarrollos precedentes en el panorama comparado. La violencia grave en general, y la violencia de género en particular, han sido espacios relevantes de pronóstico actuarial, con aplicaciones específicas para uso policial. Cabe citar, como precedentes significativos, la guía SARA (Spousal Assault Risk Assessment Guide), empleada desde los años 199038, así como su versión simplificada para uso policial (aplicación B-SAFER, Brief Spousal Assault Form for the Evaluation of Risk)39 y su adaptación al contexto español por el GEAV40, entre otros métodos41.

Lo cierto es que esta tendencia técnica, y a menudo tecnológica, en la prevención de la violencia de género, exhibe los rasgos característicos del viraje actuarial en lo punitivo.

Primero, desde un punto de vista gnoseológico, descansa en una confianza en las metodologías α-operatorias42, en especial de la matemática aplicada, y en sus aptitudes de pronóstico sobre la conducta humana. Ello, incluso afrontando un fenómeno complejo y con contornos poco nítidos en lo jurídico, como la violencia «de género», «doméstica», «contra la pareja» o «machista». Estas expresiones subsumen un espectro amplio de conductas y de manifestaciones variables que, sin embargo, se afirman analizables estadísticamente, susceptibles de descomposición factorial, cuantificables en términos de probabilidad43.

Segundo, se aprecia el enfoque epidemiológico sobre la conducta desviada que sostiene aquella opción epistémica. Pese a la expresión «actuarial», en lo punitivo este tipo de prácticas probabilistas emparenta más con el riesgo epidemiológico que con los cálculos del ámbito del seguro44. En clave aseguradora, la valoración del riesgo tiene en cuenta la probabilidad de un suceso y las características de los sujetos implicados, pero lo hace para fijar criterios de aportación a un capital compartido, y su distribución. El riesgo epidemiológico, en cambio, aspira a que no se comparta el efecto de un cierto evento45. En esta lógica, la computación del riesgo considera la probabilidad de ocurrencia de cierta «patología» en una población, según tasa de incidencia y prevalencias. Se trata de concretar previsiones sobre la evolución del fenómeno en la población considerada según los factores de riesgo identificados. Las prácticas de smart policing, y también rutinas basadas en la gestión de riesgos menos complejas en términos de computación, deslizan una comprensión de la violencia en términos de salud pública: asumen cierto carácter «contagioso» de la violencia, que la hace susceptible de prevención46. Esta idea es explícita en el caso de la violencia de género, tanto en su caracterización como problema público47, como en las propuestas metodológicas para la evaluación de sus riesgos48.

La acción preventiva frente a la violencia de género ha condensado, además, las críticas sobre las limitaciones del tratamiento clínico, «clásico», de la peligrosidad. Se ha sostenido la insuficiencia de los factores típicos de la peligrosidad, sean de tipo psicológico o psiquiátrico, relativos a consumos de alcohol o drogas, etc. Esa clase de rasgos personales, de apreciación idiográfica, se estiman aquí de escaso valor predictivo per se 49. La eficacia en el pronóstico exigiría transitar hacia una modelización actuarial donde, a lo sumo, aquellos serán considerados en el marco de una factorización estadística más amplia. Las necesidades de intervención empujarían a redefinir la gestión de la peligrosidad en términos de riesgo contextual50. Se trata de reducir la posibilidad de agresión mediante una evaluación que compute las particularidades, no del agresor potencial como sujeto peligroso, sino de la relación entre aquel y la virtual víctima. Ese riesgo reúne, entonces, la vulnerabilidad de la víctima y el grado de amenaza que representa el agresor, según «factores de riesgo» y «factores de protección»51. No es un juicio binario sobre el par peligrosidad/inocuidad, sino una evaluación modulada que permita ajustar las medidas según el nivel de riesgo.

Y se constata, por último, otra de las preocupaciones características del esfuerzo actuarial: la vocación de reglar la discrecionalidad de los sujetos operadores en sus decisiones de pronóstico. Toda decisión discrecional supone una suerte de poder «delegado» al sujeto operador (no en sentido jurídico-formal, sino sustantivo)52. La conveniencia de cimentar esa clase de decisión por vía algorítmica se ha cuestionado, desde argumentos que postulan una «reserva de humanidad» o, al menos, ciertos estándares de motivación53. En este caso se trata de responder a las peculiaridades jurídicas y políticas de la decisión policial, un espacio de discrecionalidad intensa, donde aquella delegación se entiende un tanto indefinida54. Ha dicho L’Heuillet que los y las agentes policiales son receptores de un «cheque gris» otorgado por el poder público55, concesión que problematiza el principio de legalidad como vinculación positiva a la Ley. No se trata obviamente de un «cheque en blanco», que exima a la policía de todo parámetro jurídico y de responsabilidades políticas, pero tampoco se imponen criterios que normativicen su praxis en términos equivalentes a otros operadores públicos. La labor policial de aplicación de la norma asume un amplio margen de apreciación sobre las circunstancias. Una discrecionalidad confiada a un cierto «saber hacer policial» que, de ordinario, es jurídica y socialmente aceptada. Sin embargo, en el terreno que nos ocupa el problema se torna más crítico. Las exigencias de neutralización eficaz e inmediata de las amenazas de agresión proyectan demandas a los Cuerpos policiales, impelidos a una valoración rápida, implicada con las características del caso, y minimizadora de falsos negativos. Las escalas actuariales, y todavía más su protocolización tecnológica, estandarizan las valoraciones de esos sujetos operadores abocados a decisiones ágiles y atinadas (o, al menos, que reduzcan la probabilidad de errores flagrantes) sobre el terreno. El objeto algorítmico actuarial reemplaza la pericia policial clásica. Amarra la decisión a parámetros «objetivos», haciéndola gobernable en términos formales: auditable.

Sustitución, pues, del tratamiento de la peligrosidad por un protocolo de administración del riesgo, tecnológicamente instrumentado. En ese propósito las demandas de eficacia se releen más bien como imperativos de eficiencia, de enfoque gerencial solucionado por vía tecnológica. En términos weberianos, se busca implementar una gestión económica racional, más que una acción racional técnica56. Toda técnica significa economización de medios en una acción, es una selección racional de los medios más aptos según el principio de mínimo esfuerzo (optimiza los resultados en comparación con los medios aplicables). La racionalidad de la gestión económica, en cambio, observa los problemas técnicos externamente, desde la perspectiva de sus costos. Reintroduce el problema de los fines, pero solo bajo el prisma de los costes de los medios a aplicar. Es decir, el uso de las técnicas se ve condicionado por restricciones de resultado y economización del esfuerzo. Los desarrollos técnicos y tecnológicos se adaptan entonces a una valoración «realista» sobre los resultados alcanzables según los medios disponibles. Asume límites en las demandas de eficacia; revela una especie de pragmatismo sobre el pragmatismo.

La respuesta algorítmica al problema preventivo en violencia de género atiende a ambos requerimientos. Busca estandarizar la decisión policial según parámetros eficientes en la asignación de los recursos policiales disponibles, atendiendo a la gravedad pronosticada de los casos. De hecho, los protocolos VPR/VPER han evolucionado hacia una mayor rigidez en su aplicación. Inicialmente, la codificación de la información en la aplicación requería gradación en la apreciación de los distintos factores de la checklist. El o la agente debía especificar la intensidad con la que percibía los distintos indicadores según la escala «no se sabe/no se da/baja/media/alta/extrema». Desde la versión 4.0 del software, implementada en el año 2015, la codificación sobre la presencia de los factores es dicotómica, según las opciones «sí/no/no se sabe». Ello, con la pretensión de «incrementar la objetividad» en el uso del protocolo57. El enfoque cambia en el caso de la valoración forense del riesgo a través de la aplicación VFR. Aunque sea adaptación del algoritmo policial, el mecanismo se acomoda ahora a un contexto de juicio clínico estructurado: la escala actuarial se entiende un medio para informar el abordaje del caso con actitud clínica, digamos, idiográfica. De hecho, el protocolo forense reconoce como fuentes de información recomendables el reconocimiento de agresor y víctima, pero también el estudio de la historia clínica y, específicamente, la documentación médico-psiquiátrica disponible58. La decisión policial se ve condicionada mucho más rígidamente por el dispositivo algorítmico.

Las aplicaciones VPR/VPER reglan jurídicamente (si bien a través de código fuente) la discrecionalidad policial. El scoring devuelto por el algoritmo determina un nivel de riesgo que no puede ser rebajado. Opera como valoración mínima exigida para el caso. No obstante, el o la agente tiene la potestad de elevar el riesgo evaluado por la aplicación si lo estima insuficiente según su apreciación cualitativa. Nótese que esta posibilidad de corrección humana del resultado algorítmico, junto con la codificación «manual» de la información –la verificación de presencia de los distintos factores requiere juicio de la persona que opera–, determinan que el sistema solo pueda tildarse de «semiautomatizado». En vocabulario de gestión de riesgos representa un «sistema actuarial ajustado»59. Esa ausencia de automatización plena tiene relevancia, dado el actual marco normativo sobre las decisiones algorítmicas.

El resultado de la aplicación regla también las medidas a adoptar necesariamente por las Unidades policiales, en virtud del nivel riesgo apreciado. Es decir, la evaluación algorítmica del caso expresa intensidades mínimas exigibles para la intervención pública preventiva. Según el Anexo 1 a la Instrucción que rige el protocolo, las medidas pueden ser de carácter «informativo y asistencial» para la víctima, u «operativo» para víctima y agresor. Entre las medidas informativas-asistenciales para la mujer víctima se prevén, por ejemplo: los contactos telefónicos y/o personales (en riesgos bajos); el control ocasional de la víctima en domicilio, lugar de trabajo y entornos escolares de los y las menores, y el acompañamiento en actuaciones de carácter judicial (en riesgos medios); el control frecuente y aleatorio en el domicilio y lugar de trabajo de la mujer (en riesgos altos); o la protección permanente de esta (en riesgos extremos). Dentro de las medidas operativas dirigidas al potencial agresor se contemplan, entre otras: la retirada de permisos de armas y la entrega de estas, en caso de que se posean (en riesgos bajos); la comprobación periódica del cumplimiento de las medidas judiciales de protección (en riesgos medios); el control aleatorio de sus movimientos y los contactos esporádicos con personas que frecuente (en riesgos altos); o el control intensivo de sus movimientos (en riesgos extremos).

Como advertimos de inicio, esta transacción algorítmica se subsume en un complejo legal atravesado por racionalidades diversas. El tratamiento actuarial del riesgo, y su procesamiento automatizado, entrelaza finalidades securitarias en toda la amplitud de la expresión, proyectando controles y actuaciones de tuición. Como observó Merry, la asunción de la orden de alejamiento como medida procesal supuso de suyo una innovación en el arsenal de las técnicas de gobierno. Define una «gubernamentalidad espacial» que proyecta una gestión policial del territorio urbano dirigida, no a crear espacios de seguridad pública, sino a la protección de personas concretas mediante la exclusión de su espacio de vida de potenciales agresores60. En nuestro contexto normativo, y dentro del marco de VioGén, esa forma de gobierno se expresa en restricciones de acercamiento, tanto estáticas como dinámicas. Las primeras definen zonas de acceso prohibido para el potencial agresor conforme a ciertos radios: metros de alejamiento concretados en la decisión judicial de adopción de la medida, respecto a ciertas ubicaciones concretadas en sede policial (domicilio de la víctima, lugar de trabajo u otros lugares frecuentados). Las segundas, de carácter dinámico, remiten a la «prohibición de aproximarse a la víctima», que implica eludir interacciones entre esta y el potencial agresor en términos que no pueden predeterminarse, sino que están en función del uso que se haga del espacio. Se requiere, entonces, no solo un seguimiento policial de la medida, sino también definir un protocolo de actuación ante encuentros «imprevistos». Tal proyección espacial del riesgo ilustra la noción de cronotopo propuesta por Valverde para aprehender la operatividad de algunos complejos legales61. Se trata de la imbricación de configuraciones temporales (anticipatorias) y espaciales (mapeo policial/judicial del territorio), en un determinado contexto legal-gubernamental, en torno a un cierto dispositivo (aquí, una valoración tecnológico-actuarial del riesgo).

Cabe añadir, aún, la intersección de otra racionalidad en lo policial. Apuntamos antes que el o la agente a cargo debe concretar un Plan de Seguridad Personalizado, incluyendo o excluyendo ciertas medidas de autoprotección sugeridas a la mujer víctima, en función de sus características y sus circunstancias –incluyendo, obviamente, el nivel de riesgo apreciado–. Se pretende con ello potenciar la aptitud de la mujer para gestionar su propio contexto de amenaza, induciendo una adecuada percepción del riesgo que le afecta62. En esta vertiente, la evaluación policial del riesgo está al servicio de la responsabilización individual de la mujer víctima en la producción de su seguridad. Postulado que evoca la lógica de aquel «sujeto prudencial» descrito por O’Malley como estrategia de gobierno propia del liberalismo avanzado63.

4. Afecciones jurídicas de los protocolos en tanto objetos algorítmicos

La incorporación de la IA en las prácticas punitivas, en realidad en cualquier contexto de gestión pública, produce espacios de decisión peculiares, tecnológicamente estructurados. Ciertos artefactos técnicos devienen auténticas tecnologías normativas: objetos que inciden de forma directa en la aplicación del Derecho, decantando incluso decisiones jurídicas. Se trata de una irrupción objetual que delega la agencia del operador, no tanto en cosas en su acepción clásica, sino en infómatas 64. Artefactos con capacidades de procesamiento que, en su operar, definen lógicas propias de tratamiento de la información y cristalizan pautas de decisión. Imponen, en definitiva, una cierta normatividad. Se deducen entonces premuras para el análisis jurídico, que ha de atender a esa normatividad encapsulada. Ha de tomar consciencia de los zarandeos que el sistema de fuentes sufre desde la inmanencia tecnológica65.

Los algoritmos plantean dudas en cuanto a la naturaleza jurídica que se les haya de atribuir. A menudo irrumpen como tecnologías adheridas a las normas ortodoxas, ya sea de facto, o bien, con el caso de las aplicaciones VPR/VPER, con previsiones normativas exiguas. Recordemos que estas se han previsto solo en Instrucciones de la Administración General del Estado, instrumento jurídico, en principio, de carácter meramente doméstico sin capacidad normativa ad extra 66. Y tal previsión solo alude a los criterios de aplicación en tanto protocolo, no a las características del modelo que condicionan realmente la normatividad que expresa el algoritmo.

Debe advertirse que los sistemas algorítmicos VPR/VPER son tecnologías normativas, no solo de «aplicación», sino de verdadera «decisión» jurídica. Su finalidad no es solo auxiliar la aplicación de una norma, legal o reglamentaria; se les atribuye la capacidad de determinar, o al menos de condicionar sustancialmente, resoluciones con trascendencia jurídica, en este caso con implicaciones procesales67. Exhiben «facultades de juicio computacional»68, es decir, adquieren carácter normativo en sentido fuerte y estricto. Obviamente, resolver el problema de la calificación del algoritmo es acuciante, en especial, en el caso de las aplicaciones punitivas. Las exigencias del principio de legalidad en este ámbito impelen a clarificar la coyuntura del sistema de fuentes69. Nos parece atinada la propuesta de Boix Palop, que reclama extender el carácter normativo (siquiera reglamentario) a toda expresión algorítmica que no sea puramente instrumental –quizá, mejor, auxiliar–. Esto es, siempre que el algoritmo preordene la decisión final del poder público y limite el espacio de juicio o discreción del sujeto decisor70. Desde este criterio resulta formalmente inadmisible la previsión de aquellos sistemas en una mera Instrucción administrativa. Más aún, las exigencias de la producción normativa, al menos reglamentaria, habrían de aplicarse al proceso de construcción del modelo estadístico y de codificación algorítmica. Incluyendo, por lo tanto, los debidos criterios de publicidad.

La valoración policial del riesgo incorporada a VioGén plantea dificultades añadidas de calificación jurídica, no ya por su carácter algorítmico, sino por el encaje en cuanto «medida» preventiva. Parece evidente que la actuación policial en este ámbito tiene el sentido de auxilio judicial, y no de policía de seguridad. Sin embargo, no puede obviarse que esa valoración e intervención policiales goza, al menos en parte, de autonomía respecto a las medidas procesales adoptadas judicialmente. En primer lugar, porque la evaluación policial VPR se produce con la mera interposición de denuncia, o incluso en ausencia de ella, y con independencia de las decisiones que recaigan en sede judicial; es decir, antes de cualquier juicio sobre la aplicación de las órdenes de protección o alejamiento. En segundo, porque las medidas de tuición y de control policiales, y la actualización de la evaluación del riesgo conforme al protocolo VPER, habrán de ejercerse aunque se descarte la medida procesal, o incluso aunque esta decaiga, siempre que el riesgo apreciado por la policía sea medio, alto o extremo, y potestativamente (conforme la propia apreciación policial) si es bajo o no apreciado71. Esa desconexión, o al menos falta de encaje pleno, con la adopción formal de las medidas judiciales, arroja cierta indeterminación sobre el carácter jurídico de la valoración algorítmica del riesgo en sede policial. Parece recaer como mera actuación material, sin un contenedor jurídico-formal reconocible.

Más allá de los esfuerzos por calificarlo como norma jurídica, lo cierto es que el marco jurídico vigente resulta nimio para deducir requisitos formales de implantación del modelo algorítmico, o imponer criterios específicos a la construcción del modelo. Para la decisión administrativa automatizada, el art. 41 LRJSP requiere tan solo identificación del órgano competente para definir las especificaciones, programación, mantenimiento, supervisión y control de calidad del sistema, así como aquel competente para resolver las eventuales impugnaciones. Sin embargo, si el ejercicio de las VPR/VPER se considera actuación de auxilio judicial, no procede la aplicación de tal precepto, orientado a las decisiones jurídico-administrativas. Cabe plantear la aplicación, en cambio, de la normación equivalente de las actuaciones judiciales automatizadas. El art. 42 de la Ley 18/2011, de 5 de julio, reguladora del uso de las tecnologías de la información y la comunicación en la Administración de Justicia (LTICAJ), no ofrece muchas más soluciones. En este caso, la definición previa de las especificaciones, programación y supervisión habrá de establecerse por el Comité técnico estatal de la Administración judicial electrónica72. Se añade, tan solo, que los sistemas habrán de incluir «los indicadores de gestión» que establezca la Comisión Nacional de Estadística Judicial73 y el Comité técnico citado, en el ámbito de sus competencias respectivas74. La limitación de estos preceptos no radica solo en su escasa consideración a aspectos sustantivos y del procedimiento de adopción y desarrollo de los sistemas; se añade que solo son susceptibles de aplicación a las decisiones plenamente automatizadas, en sede administrativa o judicial. Caen fuera de su ámbito objetivo, por lo tanto, ejecuciones algorítmicas como las configuradas por los protocolos VPR/VPER, que admiten intervención de sujetos operadores humanos.

El grueso de la regulación de hard law sobre los usos algorítmicos se ubica, hoy, en la normativa sobre protección de datos de carácter personal –situación regulativa, obviamente, inadecuada por parcial y poco sistemática–. Desde esa perspectiva, la valoración del riesgo significa «elaboración de perfiles» por medios automatizados o semiautomatizados, con afección a aquel tipo de información personal75. Aunque esa literalidad solo subsume los tratamientos automatizados, se considera que «la participación humana [en la generación del perfil] no excluye necesariamente la actividad de la definición»76; parece abarcar, por lo tanto, los tratamientos semiautomatizados como los operados por las VPR/VPER. En ese corpus normativo, el Reglamento europeo sobre protección de datos excluye de su ámbito de aplicación los tratamientos, por parte de las autoridades competentes, «con fines de prevención, investigación, detección o enjuiciamiento de infracciones penales, o de ejecución de sanciones penales, incluida la protección frente a amenazas de la seguridad pública y su prevención» (art. 2.2.d RGPD). Estos procesamientos, que incluyen la valoración policial del riesgo en VioGén, orientada a la prevención de ilícitos penales, se reconducen a la Directiva específica en la materia (DPD-ISP). En el plano interno tampoco resulta aplicable el marco normativo general sobre protección de datos (LOPDGDD77, sino la Ley Orgánica que dio tardía transposición a la citada Directiva europea (LOPD-ISP).

Desde el punto de vista de la base jurídica de los tratamientos, la DPD-ISP y la LOPD-ISP acogen una habilitación general de elaboración de perfiles por parte de los poderes públicos, para los fines punitivos citados de carácter reactivo y preventivo, y sin que exista posibilidad de oposición por los sujetos afectados78. La LO española sí incorpora una exigencia relevante para la adopción de sistemas algorítmicos de elaboración de perfiles en el contexto penal: la autorización para el tratamiento deberá efectuarse por norma con rango de ley, o por norma comunitaria europea (art. 14.1 LOPD-ISP). Sin embargo, esta reserva de ley aplica, solo, a los procesamientos plenamente automatizados, por lo que no permite proyectarla sobre las aplicaciones VPR/VPER. Nótese que, en cualquier caso, la norma tampoco especifica qué ha de implicar aquella «autorización» mediante ley; si basta la mera previsión de uso de un sistema automatizado en un determinado contexto, o requerirá cierta concreción de sus especificaciones tecnológicas y jurídicas. Las normas citadas sí exigen, al menos, que las operaciones de tratamiento sean objeto de una previa «evaluación de impacto», si se aprecia «un alto riesgo para los derechos y libertades de las personas físicas»79. Evaluación que habrá de incluir, como mínimo: descripción general de las operaciones de tratamiento que se prevean, evaluación de riesgos para los derechos y libertades de las personas interesadas, las medidas previstas para hacer frente a los peligros detectados, y las medidas de seguridad y mecanismos que garanticen la protección de los datos personales. No se contemplan, sin embargo, criterios de publicidad sobre estas evaluaciones.

De la DPD-ISP y la LOPD-ISP pueden deducirse algunas exigencias sustantivas sobre el modelo adoptado, al menos desde la perspectiva sectorial de la protección de datos personales. Lo hacen en forma de «principios relativos al tratamiento», entre los que destacan las exigencias de exactitud para los fines previstos y su debida actualización80, y también de calidad de los datos empleados. Para este último fin se requiere que el responsable del tratamiento diferencie, en la medida de lo posible, «entre los datos personales basados en hechos y los basados en apreciaciones personales»81. Este matiz parece pertinente para analizar la codificación de datos que los y las agentes policiales efectúan al operar los formularios VPR/VPER, en sus distintos indicadores, y en las posibles decisiones posteriores de elevación del nivel de riesgo según criterios cualitativos o no estructurados. Sin embargo, estos requerimientos de exactitud y calidad pueden verse oscurecidos por su dificultad de fiscalización, dadas las restricciones que ambas normas admiten en los derechos de acceso y rectificación de los datos por las personas interesadas, en el caso de los tratamientos con fines penales. A diferencia del régimen general del RGPD y la LOPDGDD, se acepta que el ejercicio de aquellos derechos se vea retrasado o restringido, total o parcialmente, por necesidades de investigación o de tipo procesal82.

Si atendemos a la estructura algorítmica de las VPR/VPER, su desarrollo como sistema experto no debería plantear problemas de opacidad. El modelo estadístico en que se sostiene, y el procesamiento de datos que opera, habrá de ser asequible a la cognición humana. Nos topamos, sin embargo, con problemas de publicidad: ni el contenido del algoritmo, ni la lógica que aplica, resultan accesibles. De nuevo, las posibilidades jurídicas de acceso a la información algorítmica, según el marco normativo vigente, resultan inoperantes. En cuanto a la forma en que opera el modelo algorítmico, el RGPD reconoce la posibilidad de acceso a cierta información por parte de la persona afectada, entre la que se cuenta la propia existencia de la decisión automatizada, información significativa sobre la «lógica aplicada» en esta, y las consecuencias del tratamiento que se prevean83. Pese a las discusiones doctrinales suscitadas al respecto tras la aprobación del Reglamento, parece claro que esa alusión a la «lógica aplicada» en la decisión no reconoce un verdadero derecho a la explicación del algoritmo, sino solo un esclarecimiento de la decisión ex post y centrada en el sujeto84. Ampara, en definitiva, una cierta motivación de la decisión algorítmica. Una aclaración de cómo el modelo se ha proyectado al caso, pero no conocimiento de la estructura del modelo en sí. Y se añaden dos limitaciones que desvirtúan más ese derecho. Por un lado, solo aplica con integridad en el caso de las decisiones plenamente automatizadas. En los tratamientos semiautomatizados, el derecho solo alcanza a la posibilidad de conocer la existencia de la decisión –la práctica de perfiles que incorporen cierta intervención humana–, pero no la lógica aplicada ni las consecuencias previstas del tratamiento85. Por otro lado, estas previsiones no operan en absoluto para los algoritmos empleados en sede penal, procesal-penal ni penitenciaria. Ni la DPD-ISP ni la LOPD-ISP reconocen en modo alguno derechos informativos sobre la lógica de las decisiones, automatizadas o semiautomatizadas. Si bien el Considerando 38 de la Directiva habla del derecho del titular a «obtener una explicación de la decisión adoptada» fruto de la elaboración de perfiles –en sintonía con el Considerando 71 RGPD–, esa mención no encuentra desarrollo en el articulado.

En lo que se refiere al acceso al algoritmo (a la expresión sintáctica del código), en la legislación sobre protección de datos no se halla base jurídica que sostenga tal pretensión. Tampoco en las escuetas previsiones sobre decisiones automatizadas de Derecho público, ni judiciales ni administrativas. La posibilidad alternativa, de lograr tal acceso en ejercicio del derecho de acceso a la información pública, halla graves dificultades en el caso de los algoritmos de uso punitivo. En el contexto de la Ley estatal sobre transparencia, acceso a la información pública y buen gobierno, parecen operar al menos dos de las limitaciones al ejercicio de aquel derecho: el acceso a la información podrá ser limitado, entre otros supuestos, cuando suponga un perjuicio para «la seguridad pública» y para «la prevención, investigación y sanción de los ilícitos penales» (y también administrativos o disciplinarios)86. La jurisprudencia reciente hace poco halagüeña la hipótesis de lograr accesos a las expresiones algorítmicas de las tecnologías normativas de Derecho público, en tanto informaciones públicas, incluso fuera del espacio punitivo87.

Como toda aplicación punitiva actuarial, las VPR/VPER matematizan, y por lo tanto reformalizan, la noción de justicia empleada. Revelan, ha dicho Jock Young, un cierto «fetichismo numérico», que afirma la posibilidad de cuantificar la conducta humana por vía estadística, a salvo de cualquier duda propedéutica88. No puede obviarse, sin embargo, que esa objetivación numérica se afirma sobre categorías definidas en virtud de conceptos normativos (y no exclusivamente empíricos) de significado variable89; que alude a fenómenos conductuales variables y complejos, que son objeto de la simplificación metódica que impone la modelización actuarial, estandarizando el juicio como axioma90; y que impone una traducción jurídico-normativa del scoring probabilístico, según opciones binarias (peligroso/no peligroso) o en categorizaciones discretas (bajo/medio/alto…), que requieren decisiones formales y previas sobre el «riesgo jurídicamente relevante»91. Implicaciones que no pueden ignorarse al considerar la proyección de estas metodologías en entornos jurídicos punitivos.

Las afecciones jurídicas de estos métodos actuariales proceden en realidad de dos condiciones básicas. Primero, su sentido nomotético: parten de la agregación de casos para, a continuación, individualizar el análisis como proyección sobre nuevos supuestos singulares. El riesgo que calculan los dispositivos no es individual, sino individualizado, producido por cauces aritméticos. Segundo, su condición correlacional: los resultados se infieren de la constatación de varianzas simultáneas entre variables, sin atención a los requerimientos causales típicos del género argumentativo jurídico. Esa priorización de una justicia agregativa, y tal relegación de las explicaciones causales, deslizan inquietudes de tipo axiológico y en términos de razón jurídica, en un contexto de atribución individual de responsabilidades atravesado históricamente por la noción de culpabilidad. Pero, más acá de esas consideraciones de calado iusfilosófico, impactan en la realización de la justicia procedimental, al menos en dos sentidos. Uno, su objetividad matemática no elimina el problema de la «enorme incertidumbre de los pronósticos de peligrosidad»92, sino que la reformula como calibración, exactitud y márgenes de error aceptables en los dispositivos; aspectos, a menudo, de ardua evaluación93. La justicia algorítmica traslada la discusión hacia los márgenes de error admisibles, cuestión que puede considerarse, a su vez, desde múltiples perspectivas y conceptos operativos94. El problema no radica tanto en las capacidades de modelización estadística de los fenómenos de desviación, sino en los márgenes que afectan a las predicciones individuales, siempre más elevados que aquellos de las estimaciones grupales[95]. Dos, aquellos atributos, nomotético y correlacional, revelan el problema de los sesgos en las decisiones, tema recurrente en las discusiones sobre la justicia algorítmica, y que obliga a consideraciones complejas de técnica estadística96. Como se ha insistido, los problemas de desigualdad en la toma de decisiones mediante IA no proceden tanto de la incorporación de factores de riesgo que remitan a categorías protegidas (que supondría discriminación directa)97, sino de sesgos fruto de correlaciones con variables que operan como proxy de aquellas categorías sensibles (casos de discriminación indirecta). Situación que aconseja, quizá, reacomodos en las categorías del Derecho antidiscriminatorio, con dificultades de proyección sobre los efectos de las pujantes decisiones algorítmicas98.

No podemos desarrollar aquí estas cuestiones centrales en el debate sobre la justicia actuarial, renovadas bajo el prisma de su realización algorítmica tecnologizada. Los problemas deducidos de las operaciones de agregación-individualización, y las dificultades de control sobre los posibles efectos discriminatorios, se recrudecen conforme aumenta la abstracción matemática de los modelos (cuando se eleva la opacidad), pero también por razones mucho menos sofisticadas: por déficits de acceso a la información algorítmica. La falta de publicidad que afecta a las aplicaciones VPR/VPER imposibilita análisis de exactitud predictiva y posibles sesgos99. Las carencias jurídico-formales se traducen, pues, en incógnitas respecto a la validez sustantiva de los modelos empleados, tanto en términos técnicos y tecnológicos, como jurídicos.

5. Conclusiones

La aplicación tecnológica de los métodos actuariales, como dispositivos de IA, actualiza la doble disyuntiva jurídica a la que aquellos abocan: su valoración en términos de exactitud y, con independencia de esta, sus problemas de legitimidad por los efectos sobre el sentido de justicia punitiva100. Estimarlas nos conduce, ahora, al análisis de su codificación en objetos técnicos digitales y a las vicisitudes de su automatización. Los estudios más generales sobre los efectos jurídicos de la IA, en la toma de decisiones públicas, deben aterrizarse según las características de cada aplicación tecnológica y la coyuntura de los diferentes espacios de gestión punitiva. Es necesario, en definitiva, considerarlos en tanto dispositivos de gobierno (punitivo), con su trenzado de aspectos jurídicos, tecno-científicos y socio-políticos.

Las aplicaciones VPR/VPER han de observarse en el cruce de racionalidades que opera el complejo legal de la violencia de género, y en su propia inmanencia técnica. Reglan la intervención policial en su apreciación del riesgo y exigen ciertas «prestaciones» de control-protección adecuadas al nivel de amenaza. Buscan una asignación eficiente de los recursos policiales, según una preocupación gerencial, pero inciden también en la esfera de los sujetos «de riesgo», sometidos a un escrutinio de intensidad variable, determinado por el resultado algorítmico. Definen un riesgo «contextual», inscrito en la relación víctima-agresor, pero incluyen en él un pronóstico conductual, remedo de los juicios de peligrosidad.

En esa praxis tecnológicamente constituida, los y las operadores policiales no «usan» sin más una «herramienta tecnológica», sino que ven redefinido su propio rol. Las tecnologías normativas no son meros instrumentos sino, como objetos técnicos, fuentes de normatividad jurídica, y experta. Las aplicaciones VPR/VPER voltean la expertise profesional mediante rutinas de cálculo objetivadas, que desplazan la discrecionalidad característica del trabajo policial. Su labor se acomoda, ahora, al objeto-agente decisor. La adopción de estos protocolos actuariales responde a las aspiraciones, normativas y sociales, de una prevención policial eficaz de la violencia de género. Pero, no en menor medida, de responder a esa demanda en términos de eficiencia, que implica releer la eficacia desde un cierto «realismo contable». La solución tecnológica de gestión del riesgo implementada en VioGén se explica en ese cruce de necesidades de rendimiento y legitimidad, y de sostener los procesos de toma de decisión pública en criterios objetivos y estandarizados. El prestigio de la matemática aplicada, como saber α-peratorio, y las capacidades que se presumen en cualquier desarrollo de IA, apoyan la incorporación de un dispositivo algorítmico actuarial como el VPR/VPER. Ello, a pesar de su escasa sofisticación algorítmica y de las incógnitas (por falta de publicidad) sobre la robustez del modelo actuarial que lo sostiene.

Una lectura ajustada de la valoración policial del riesgo en VioGén reclama no confundirla con el avance de modelos de policía predictiva o smart policing, en marcha en otras latitudes. Nos encontramos, aquí, con una modelización actuarial clásica, de carácter lineal, ejecutada como software. Conviene, por lo tanto, filtrar los diagnósticos sobre el uso de big data y formas de machine learning en la gestión policial, desconocidas por ahora en nuestro contexto.

Se trata, en todo caso, de una irrupción tecnológica no exenta de problemas jurídicos. Cuenta con escasos amarres normativos, en su adopción formal y en la sustantividad del modelo. En general, la incorporación de las tecnologías de IA a la gestión pública está aconteciendo de facto, sin apenas reacomodos jurídicos; ni exigencias desde el punto de vista del sistema de fuentes, ni una debida consideración hacia los «derechos epistémicos» de los sujetos afectados101. Estos problemas transversales elevan su alcance al considerar las tecnologías punitivas, por el imperativo de legalidad estricta en este entorno jurídico. Cierto que las aplicaciones VPR/VPER no tienen carácter penal en sentido propio, sino procesal-penal. En realidad, se inscriben en el ambiguo espacio de las actuaciones policiales preventivas, cuya conexión con la instrucción penal no siempre resulta nítida. A los problemas habituales de calificación y concreción jurídicas en esta clase de intervenciones, se suman ahora los propios de su articulación tecnológica, apenas condicionada en términos jurídico-positivos. No en vano, el impacto tecnológico actuarial en este concreto terreno puede explicarse también, en parte, por esa labilidad de su armazón normativo y dogmático.

La incorporación de tecnologías normativas de decisión jurídica en Derecho punitivo tiene efectos sísmicos para el sistema de fuentes, apenas resueltos por ahora. Resulta imperativo reconocer su carácter normativo estricto, de modo que puedan proyectarse exigencias de publicidad, proceso de producción y calidad regulativa. Si bien las aplicaciones VPR/VPER no habrían de ofrecer problemas de opacidad tecnológica, se ven afectados por una ausencia de publicidad de difícil aceptación jurídica. Resultan inviables, en consecuencia, análisis de exactitud predictiva, y de equidad o paridad estadísticas sobre el modelo.

La labilidad del marco jurídico sobre los desarrollos algorítmicos, que permita aprehender y limitar sus efectos, puede verse corregida a través del futuro Reglamento europeo sobre IA, actualmente en fase de propuesta. Habrá de valorarse su proyección sobre los usos algorítmicos en Derecho público y, todavía más, en sus aplicaciones penales, preventivas y reactivas. Un ámbito este en el que, hasta ahora, y al menos desde la perspectiva de la protección de datos de carácter personal, las garantías jurídicas frente a los tratamientos automatizados y la elaboración de perfiles se han visto relajadas.