a) Viogen

Quizás en España la herramienta más reconocida en aplicación de IA sea el programa VioGen, destinado a la prevención frente a la violencia de género. Aunque fue creado en el año 2007, el área de Violencia de Género de la Secretaría de Estado de Seguridad (Ministerio del Interior), incorporó inteligencia artificial en el año 2020 a través de la plataforma analítica de la empresa de software SAS Iberia.6

Su funcionamiento es relativamente sencillo: la aplicación VioGen posibilita la cuantificación los niveles de riesgo de agresión en casos de violencia de género, permitiendo su predicción y consiguiente protección, mediante distintos niveles previamente definidos de las potenciales víctimas. Concretamente, VioGen parte de un primer cuestionario denominado VPR (Valoración Policial del Riesgo) y de un segundo, VPER (Valoración Policial de Evolución del Riesgo), que se realiza de forma general un año después del primero, cuando normalmente ya se ha celebrado el juicio y sea cual sea la sentencia. De esa evaluación se extraen cinco niveles de riesgo: no apreciado, bajo, medio, alto y extremo. Cada uno de ellos lleva aparejado un protocolo de actuación del que la denunciante o víctima es partícipe, así como todas las administraciones con competencias en la materia y el juzgado que instruye o ha juzgado la causa.

Resulta más complejo, sin embargo, medir o cuantificar el éxito de cualquier instrumento cuando se trata de evaluar su impacto en una lacra como lo es la violencia de género. No obstante lo anterior, las autoridades consideran que el porcentaje de fiabilidad de VioGen es relativamente satisfactorio: desde la puesta en funcionamiento de esta herramienta hace ya una década la reincidencia de las agresiones ha disminuido un 25% según los últimos datos. Y si de forma genérica la reincidencia en otros países del entorno alcanza el 35%, en España se sitúa ya en el 15%7. Los datos se encuentran actualizados en la página web del Ministerio del Interior, lo que permite realizar un análisis sobre la fiabilidad y el éxito de la herramienta desde una perspectiva estadística8.

Pero más allá de la evaluación constante por parte del Ministerio del Interior, VioGen también está siendo evaluado externamente. Sirva como ejemplo la evaluación que está realizando la organización sin ánimo de lucro Eticas Foundation pero no a solicitud del Ministerio, sino de manera autónoma y con la información publicada así como con la ayuda de fundaciones externas. De hecho, expone las dificultades que tiene para llevarla a cabo pues, según la organización “Esa falta de transparencia y de explicabilidad implican que no podamos conocer si VioGén tiende a estimar un riesgo demasiado alto o demasiado bajo en ciertos tipos de casos, como podría ser cuando las denunciantes pertenecen a un particular grupo social, como por ejemplo inmigrantes que hablen español (o valenciano o gallego) de un modo diferente a como suelen expresarse quienes hablan el idioma desde siempre.”9.

Y más allá de la referida problemática vinculada a la transparencia, debiera resultar conveniente preguntarse qué es lo que realmente le interesa a la policía judicial, fiscalía y judicatura conforme a la experiencia acumulada durante estos años, pues ello permitiría incorporar datos que contribuyan a una adecuada tutela de la víctima sin que se produzca vulneración alguna en las garantías constitucionales y procesales10.

Por último, en cuanto a su recepción jurisprudencial, los pronunciamientos por parte de las autoridades judiciales son, si cabe, realmente escasos y poco relevantes. Sin embargo, cabría destacar la STS, Sala Quinta, 73/2020, de 28 de octubre, en la que se confirmó la condena a un Guardia Civil que se negó a darse de alta en el sistema VioGen, infringiendo la instrucción de la Secretaría de Estado de Seguridad que obligan a la utilización de los formularios de esta herramienta en la primera evaluación del riesgo de violencia (VPR). Del mismo modo, existe otro pronunciamiento de la Audiencia Nacional, concretamente la Sala de lo Contencioso-Administrativo, en la Sentencia de 30 de septiembre de 2020 en el que se condena a la Administración patrimonialmente tras el asesinato de una mujer por su pareja y no haber comprobado los agentes importantes extremos que hubieran permitido inferir el riesgo existente de reincidencia por parte del agresor hacia la víctima.

Como se puede observar, no se ha entrado a valorar cuestiones referentes al “fondo” de los sistemas de predicción policial sino que las dos sentencias expuestas dejan patente un problema de base en la utilización de estos sistemas: la falta de formación (e incluso, en algún caso, desinterés), por parte de los miembros de las FCSE encargados de su uso. Por tanto, más allá de las mejoras técnicas en la aplicación de la IA, debiera perseverarse en la formación de sus usuarios, e incluso, por qué no, en una mayor familiarización con la misma por parte de los operadores jurídicos.

b) Veripol

El sistema Veripol, puesto en marcha en 2018, está enfocado a prevenir las denuncias falsas, que encuentran su encaje, como es sabido, en el art. 457 CP. Además de ser la primera herramienta de este tipo en el mundo, cuenta con una precisión de más del 90% y estima la probabilidad de que una denuncia por robo con violencia e intimidación o tirón sea falsa, disuadiendo, entre otras actuaciones -nunca mejor dicho- a denunciantes “espurios”, por ejemplo, aquellos que se inventan el robo de un móvil al único efecto de cobrar el seguro previamente contratado.

Para ello, la herramienta se alimenta de una gran cantidad de datos (big data) y determina, con base en el contenido de la información suministrada, el porcentaje de posibilidades de falsedad de la denuncia, utilizando técnicas de procesamiento de lenguaje natural (PLN)

Para su puesta en marcha, la aplicación superó distintas pruebas de funcionamiento, nutriéndose de un banco de más de 1000 denuncias por robo con violencia e intimidación y robo con hurto que fueron presentadas en España durante el año 2015. De las referidas denuncias, aproximadamente un 50% eran verdaderas y otro tanto falsas. El modelo, en el que diversos funcionarios trabajaron durante más de dos años, permite apreciar las diferencias que pueden existir entre la narración de denuncias que han resultado verdaderas y falsas, con base en la información suministrada por el denunciante, la morfosintaxis y una amplia cantidad de detalles.

No obstante lo positivo de la herramienta, algunas voces autorizadas dejan al descubierto importantes deficiencias. Así, pues, en palabras de JAUME PALASÍ “El lenguaje corporal también importa en la denuncia y aquí no aparece. Este sistema crea tipos ideales. No describe la realidad, sino que, de forma artificial, establece una descripción mecanizada de la realidad. La realidad es más dinámica que solo unas palabras”11. Del mismo modo, que algunos califiquen el porcentaje de 91% de acierto como un éxito, es visto por otros, como BAEZA YATES pues, en sus propias palabras “Que se equivoque un 9% implica que el sistema acusa erróneamente a nueve de cada 100 personas. Y esto es un conflicto ético muy grave”. Asimismo, los expertos en ética echan en falta una normativa específica, tal y como acontece en otros países (Japón, Finlandia, etc.) que ya han afrontado esta realidad 12.

Pero, es más, desde una perspectiva netamente procesal parece conculcar la posición de la víctima, de quien un agente, aupado por la aplicación, pone en duda su declaración. Implica, por consiguiente, un intercambio de roles en el que la víctima de un delito pasa automáticamente a la posición de presunto autor de otro, en este caso, del referido 457 CP. Y, a pesar de que la decisión final recae en el agente, huelga decir que en la mayoría de los casos no se apartará de la decisión del programa.

a) EuroCop PredCrime

En el ámbito de la seguridad ciudadana, desde el año 2011, distintas Administraciones Públicas principalmente entidades Locales -policías locales-, estuvieron planteando la posibilidad de dotarse -se desconoce si llegaron finalmente a implantarla o si, una vez implementada, tuvieron que abandonarla por su incidencia en los derechos fundamentales o por la falta de una regulación suficiente- del software EuroCop PredCrime. El software, tal y como se define en la web, consiste en “el desarrollo experimental de un Sistema Integrado de tratamiento de datos masivos vinculados a delitos y faltas ya cometidos, basado en el uso de modelos matemáticos y algoritmos, que permite la prevención y resolución de un crimen aún no producido”13.

Se trata de un sistema que integra y trata datos masivos vinculados a delitos, que basa su funcionamiento en un modelo espaciotemporal e información geográfica de mapas de calor mediante modelos y algoritmos matemáticos para la prevención, a través de la predicción, de los delitos que, en el futuro, pudieran cometerse.

Por otro lado, software como el proporcionado por Eurocop PredCrime, empresa privada, fue contratado por ayuntamientos para la protección de sus municipios, si bien, falta publicidad para conocer el alcance de los contratos, así como su objeto concreto y valorar si la aplicación de técnicas de vigilancia computarizada (tal y como parece que emplean) resulta contraria tanto al criterio de la UE como a la propia Agencia Española de Protección de Datos. De hecho, algunos de los sistemas de EuroCop Pred Crime fueron “abandonados temporalmente” (intuimos que por falta de garantías o base legal para su uso) por los Ayuntamientos que lo habían suscrito, tales como el de Rivas Vaciamadrid (Madrid)14.

El principal problema que avanza la utilización de estos softwares radica en la participación privada no ya de la seguridad pública -lo cual acontece habitualmente en no pocos recintos- sino en el trasvase y manejo de datos e información sensible acopiada habitualmente en bases de datos policiales. En efecto, estas herramientas que surgen de un partenariado público-privado pueden acarrear profundos problemas de legalidad, de ahí que, a fecha de la redacción del presente trabajo, no se pueda hablar de un uso generalizado por las FCSE sino más bien al contrario, pues dadas las referidas dudas no se tiene constancia de que sean utilizados actualmente15.

b) Predictive Police Patrolling (P3-DSS)

También se desarrolló en el año 2017 un estudio piloto realizado por el Cuerpo Nacional de Policía (CNP) en el distrito centro de Madrid, titulado “Predictive Police Patrolling” (P3-DSS) que, mediante algoritmos matemáticos, permite predecir delitos, conocer su tipología así como mejorar la eficiencia de los turnos de patrullas policiales. El proyecto fue ideado por el policía y matemático Miguel Camacho, y parte del mismo puede verse en su propia tesis doctoral titulada Statistical Analysis of Spatio-Temporal Crime Patterns: Optimization of Patrolling Strategies, defendida en 201616.

Esta aplicación referida a la prevención del delito y la mejora de la eficiencia en el patrullaje, mediante el desarrollo del Sistema de Información Geográfica (SIG) permite a la policía gestionar en un tiempo razonable datos espaciotemporales que ayudan a identificar concentraciones de hechos delictivos permitiendo, por tanto, implementar un “patrullaje predictivo” que dota de una mayor eficiencia la distribución de patrullas en función del riesgo criminal17. Para el uso de la herramienta piloto utilizada en el Distrito Centro de la ciudad de Madrid, se recopilaron los registros criminales referentes al delito de robo (105.755 incidentes) entre los años 2008 y 2012. A su vez, se valieron de los Sistemas de Información Geográfica (SIG) del CNP que integran los sucesos delictivos sobre un mapa geográfico de la ciudad, además de la localización de las patrullas de policía18.

Sin embargo, estas técnicas de predicción policial han sido cuestionadas porque pueden colisionar con el derecho a la igualdad y a la no discriminación. Efectivamente, quizás una de las primeras cuestiones a debatir sobre la inteligencia artificial para la predicción policial radique en el derecho a la igualdad o no discriminación traducida en el riesgo de que ésta contenga determinados sesgos en la información que alimenta los algoritmos.

De hecho, la Carta de Derechos Digitales, presentada en julio de 2021, más allá de que no tenga fuerza normativa, dispone en su derecho XXV “Derechos ante la inteligencia artificial”, concretamente en su apartado 2.a) que “Se deberá garantizar el derecho a la no discriminación cualquiera que fuera su origen, causa o naturaleza, en relación con las decisiones, uso de datos y procesos basados en inteligencia artificial”19.

Y esta preocupación, también ocupa a la doctrina. Así, pues, NIEVA FENOLL alerta sobre el uso de big data en la investigación policial porque los datos que aleatoriamente se almacenan de personas, barrios, etc., pese a dicha aleatoriedad, se habrán seleccionado en función de los propios perjuicios del configurador del algoritmo, lo que implica que los resultados no sean neutrales20. También, de un modo concluyente, MIRÓ LLINARES resume el problema planteado: “las herramientas predictivas de las que hablamos no vienen más que a hacer lo que ya se hacía y se hace a día de hoy de manera tradicional y manual y probablemente con los mismos sesgos o más, añadiendo, en algunos casos, una metodología más sistemática o científica” pues, -prosigue el autor- “…lo que sabemos hasta el momento nos dice que los algoritmos, que reflejan con precisión nuestro mundo, parecen reflejar también nuestros prejuicios”21.

Por su parte, CAMACHO-COLLADOS, GÓNZÁLEZ-ÁLVAREZ y SANTOS HERMOSO exponen el debate existente aludiendo, de un lado, a que, si bien los defensores de este tipo de prácticas policiales argumentan que estas herramientas ayudan a reducir los sesgos de los investigadores, ya que sustituyen la experiencia personal por un conocimiento basado en el análisis sistemático de todos los casos conocidos y esclarecidos; sus detractores entienden que en tanto estas herramientas se basan en delitos resueltos previamente por unidades policiales, puede haber determinados delitos con una mayor probabilidad de ser investigados y solucionados, porque son cometidos por individuos que se consideran peligrosos, o porque tienen lugar en zonas propensas a la delincuencia. Si los datos que se introducen en el modelo presentan algún tipo de sesgo, se podría provocar la estigmatización de individuos o zonas que presenten las características que los algoritmos identifican como indicadores de riesgo. No obstante el debate existente, en línea con los autores anteriormente citados, entienden que el desarrollo de estas prácticas es la evolución lógica de la práctica policial tradicional22.

Ahora bien, sin desdeñar los potenciales beneficios que puede aportar la policía predictiva, pues la prevención siempre es preferible a la reacción, la estrategia policial, como acertadamente sugiere GUZMÁN FLUJA, debiera combinarse con acciones políticas, sociales y económicas que pongan a la persona en el centro, absteniéndonos de su consideración -como parece acontecer con las herramientas de predictive policing- como delincuente o potencial delincuente23

A) RisCanvi

Se trata de una herramienta empleada en fase de ejecución de la pena para la predicción del riesgo de violencia a la hora de conceder permisos y determinar la situación del penado. Podríamos clasificarla dentro del ámbito de la justicia predictiva, porque evalúa unos ítems determinados para arrojar el riesgo de una determinada futura actuación pero no aplica inteligencia artificial en sentido estricto30. De otro lado, su ámbito de aplicación es limitado ya que sólo se aplica en las cárceles de Cataluña donde, a diferencia de lo que acontece con otras Comunidades Autónomas, las competencias en materia de prisiones fueron transferidas.

El sistema funciona aplicando dos protocolos, en primer lugar, el RisCanvi screening, que se aplica a la entrada del penado al centro penitenciario y que consta de diez ítems distintos y que arroja un riesgo bajo o alto de violencia y el RisCanvi complet, que ofrece mayores garantías porque cuenta con 43 variables que arrojan una puntuación de riesgo bajo, medio o alto. Las funcionalidades de la herramienta se han ampliado hasta cuatro: quebrantamiento de condena, la violencia dentro de la prisión, la reincidencia violenta y la violencia autodirigida (suicidio, intento de suicido, autolesiones...)31. Los resultados de la evaluación son confirmados o modificados por la junta de tratamiento penitenciario (que en muy pocas ocasiones se apartan de ella)32 y suelen guiar la decisión final del juez a la hora de conceder los permisos penitenciarios, la libertad condicional, la clasificación del penado y la adopción de medidas de supervisión33.

Sin embargo, RisCanvi no utiliza estrictamente IA sino sistemas de regresión logística, de ahí que, como indica uno de los responsables de los Sistemas Penitenciarios de Cataluña, la herramienta tenga mucho margen de mejora y que pronto incorporará técnicas de machine learning o modalidades más sofisticadas que las actuales34, limitadas a la alimentación del algoritmo a través de las valoraciones de los internos que añaden los funcionarios y de las propias bases de datos de las cárceles (días de condena, sentencias, etc.).

En cuanto a la aplicación de la herramienta, su porcentaje de uso alcanza casi el 100% pues sólo en un 3,2% de los casos la evaluación final ha sido modificada por el evaluador. Incluso, se critica que aun cuando el evaluador o equipo técnico del centro penitenciario defienda la decisión de otorgar un permiso penitenciario, si ello acontece en contra de RisCanvi porque la herramienta aprecie un riesgo medio o alto de reincidencia, el Fiscal recurra la decisión amparándose únicamente en el resultado del software35.

Los problemas o defectos que se imputan a esta herramienta radican en la existencia de falsos negativos lo que lleva a parte de la abogacía a alertar del peligro que supone que la decisión sobre la libertad o no de un penado descanse en un algoritmo que, indefectiblemente, siguen aquellos que deben tomar una decisión final36. Bien es cierto que la decisión la adopta el juez tras haber sido informado o haber leído el informe realizado por el equipo técnico, que es quien utiliza esta herramienta, pero no lo es menos que los abogados de los presos desconocen tanto el funcionamiento como los parámetros en los que se basa la aplicación y que en tanto sus clientes ya han sido condenados, cuentan con menos posibilidades de rebatir la pertinencia de obtención de un determinado permiso frente a un instrumento científico y teóricamente objetivo. Por otro lado, que pueda existir algún falso negativo y que el penado delinca no debiera ser motivo para replantear una herramienta a través de las cuales, estadísticamente, se conceden más permisos que antes de su existencia37.

B) Sistemas de jurimetría y analítica de datos judiciales

Muy recientemente, concretamente en diciembre de 2021, el CGPJ puso a disposición de los Jueces y Magistrados -también miembros de la Oficina Judicial, como LAJs- la aplicación KENDOJ (Knowledge Extractor for CENDOJ) que aplica técnicas de IA y machine learning para llevar a cabo dos actuaciones: de un lado, la pseudonimización automática de un documento para el cumplimiento de los estándares del RGPD y, de otro, facilitar el acceso a la información más relevante de cada documento con anterioridad a su lectura así como una búsqueda más acertada de legislación y jurisprudencia para el desarrollo de sus funciones38.

Pero más allá de este instrumento con tan limitado alcance, lo cierto es que otros operadores jurídicos como son los Abogados, ya disponen de herramientas o sistemas de Legal Tech basados en justicia predictiva para el ejercicio de su función. Se trata de software especializado creado por potentes empresas del sector jurídico que, a grandes rasgos, permiten al usuario predecir las posibilidades de éxito de sus actuaciones ante un determinado Tribunal, basado todo ello en big data judicial obtenido del CENDOJ, tras suscribir acuerdos de explotación comercial con el CGPJ.

Sin ánimo de ahondar en todas las aplicaciones jurímétricas o de analítica de datos jurídicos, al efecto de exponer su funcionamiento, sirva como ejemplo Jurimetría, del grupo Wolters Kluwer, seguramente una de las aplicaciones pioneras (año 2017) en la aplicación de la justicia predictiva al Derecho. Se trata de una herramienta que sistematiza y extrae de forma exhaustiva la inteligencia que reside en un conjunto de más de 10 millones de resoluciones judiciales y en toda la estadística judicial procedentes de todas las instancias y órdenes jurisdiccionales de España, a las que se incorporan medio millón de nuevas resoluciones cada año. Jurimetría consta de seis módulos interconectados, cada uno con una finalidad y alcance diferente y complementario: 1) Jurimetría del caso: evalúa los parámetros críticos para el éxito del caso, conociendo la trayectoria del Juez y de los abogados contrarios, con acceso a la jurisprudencia más relevante; 2) Jurimetría del Juez o Magistrado: permite analizar la trayectoria, líneas argumentales y posicionamientos del juez en cuestión; 3) Jurimetría del abogado: análisis global de la contraparte en el proceso, desde todas las perspectivas; 4) Jurimetría de la empresa: permite realizar un análisis de los litigios en los que ha sido parte alguna de las grandes empresas; 5) Jurimetría del Tribunal: permite conocer la actividad de los juzgados y tribunales de España, en aspectos como la duración media de los procesos, la congestión o la probabilidad de recurso; y 6) Jurimetría del Organismo Público: permite examinar los procesos judiciales en los que ha sido parte un organismo o entidad pública, a partir de cualquier óptica39.

Como hemos avanzado, la utilización de estos sistemas de analítica de datos judiciales -que emplean principalmente los abogados- no está prohibida, como en Francia, sino que, sencillamente, se entiende permitida al no estar regulada. Las grandes editoriales adquieren a través de acuerdos comerciales con el CGPJ todos los datos (sentencias, autos, …) de los que nutren a estos productos. Y si bien se utiliza habitualmente desde el año 2017, ha sido en el 2022 el momento en el que el CGPJ se ha quejado o, mejor dicho, ha tomado conciencia, de las implicaciones que pueden tener estos sistemas indicando, literalmente, que “se echa en falta la determinación de los criterios de utilización de la jurimetría y de la inteligencia artificial por parte de empresas y particulares a partir de bases de datos, incluso aquellas configuradas por este órgano constitucional; el cual habrá de tener la necesaria participación en la determinación de tales criterios de uso”.40

Resulta, a nuestro juicio, paradigmático que a estas alturas -esto es, cuando los productos llevan años empleándose- el CGPJ, que a la postre tiene acuerdos comerciales de explotación con estas editoriales, muestre su preocupación al respecto.

Pero tal preocupación no es, ni mucho menos, baladí, pues también ha sido compartida por la doctrina procesal, si bien refleja distintas posiciones. ARMENTA DEU alerta de los riesgos que plantea la justicia predictiva, riesgos que califica de “sistémicos” pues implicará que el justiciable deje de acudir -o acuda menos, según sus palabras- a los tribunales habida cuenta los pronunciamientos ya serán conocidos y la justicia predictiva conseguirá que éstos sean cada vez más homogéneos41. Por otro lado, NIEVA FENOLL señala tras describir algunas herramientas de justicia predictiva utilizadas en otros países que, en la argumentación jurídica, “la inteligencia artificial hará que la labor de persuasión sea menos ardua, al poderse recopilar con mucha mayor facilidad la información disponible y los argumentos a favor y en contra de las diferentes opciones y, como ya se dijo, no estará condicionada por las emociones o sentimientos, sino que integrará solamente datos objetivos”42. También MARTIN DIZ considera prioritario el asentamiento de la IA y su aplicación al derecho procesal pero priorizando las garantías frente a la eficiencia “más aún cuando por su innegable grado de avance tecnológico, y por lo que pudiera servir en futuras décadas como elemento de asistencia a abogados y de predictibilidad”43. BARONA VILAR reflexiona acerca de la jurimetría y considera que “hay que valorarla como lo que es, a saber, un sistema computacional asistencial. No es un modelo sustitutivo de la mente humana”44 y, en sentido parecido, BORGES BLÁZQUEZ entiende que es factible su uso por la autoridad judicial, tal y como la utilizan los abogados, si bien expone los recelos que pudiera generar en el Poder Judicial, dadas las cautelas que ha tenido en asuntos relacionados el Consejo General del Poder Judicial45.

En nuestra opinión, produce cierta desconfianza que grandes empresas del sector jurídico marquen el paso a la Administración de Justicia. No cabe duda que servirse de estas herramientas Legal Tech para la elaboración de la estrategia procesal colocará a la parte que las posea en una posición aventajada frente a la que carezca de ellas.46 Y en contra de lo que pudiera pensarse, no sólo se aplica en el orden jurisdiccional civil, sino también en el penal, donde podrá ocurrir que el investigado que carezca de recursos y se acoja a la justicia gratuita se enfrente no solo al Ministerio Fiscal -que quizá a título particular pueda emplear esta herramienta- sino también al acusador particular provisto de estas tecnologías.

Y en un contexto en el que la jurisprudencia cada vez tiene mayor relevancia en el sistema judicial, corremos el riesgo de avanzar hacia un control, clasificación y comercialización del big data judicial por parte de las grandes tecnológicas, conculcando el principio de igualdad de armas y relegando a quienes carecen de recursos a un acceso básico -y no premium- a la jurisprudencia47.