Spain has limited experience – perhaps due to the absence of specific regulation – in AI for police prediction. However, there are very relevant instruments that, in a first systematization, we can classify in those systems currently used and in a generalized way by the State Security Forces and Bodies (FCSE), which are Veripol and Viogen and, secondly, those initiatives that do not enjoy such widespread use, have been initiated but subsequently abandoned or have only been pilot experiences. These are, among others, the Predictive Policing Systems (S.I.G), with a strong interference in the fundamental rights of people. In the same way, it does not have excessive predictive justice instruments, although there are some that have an important impact on the process and execution of the conviction. This paper aims to critically analyze the aforementioned instruments and their impact on criminal justice as well as the fit of the future uses of artificial intelligence in our criminal justice from a perspective respectful of procedural guarantees but at the same time, not immobile, that is, bearing in mind the advantages offered by artificial intelligence in acceleration -and, at some point, greater efficiency of the criminal process
En España no existe una definición uniforme y unívoca del concepto de policía predictiva sino que la doctrina y práctica forense se sirven de definiciones internacionalmente desarrolladas, siendo uno de los más utilizados el recogido por la Organización para la Seguridad y Cooperación en Europa (OSCE) en 2017 que define este fenómeno como “la recopilación y evaluación sistemática de datos e información, a través de un proceso analítico definido, que los convierte en productos analíticos estratégicos y operativos que sirven de base para un proceso decisorio mejorado, fundamentado y documentado”.
Una aproximación de la doctrina nacional a la conceptualización del fenómeno lo ofrece MIRÓ LLINARES quien incluye la “policía predictiva” dentro de la Inteligencia Artificial Policial y la define como “…aplicación de técnicas cuantitativas para identificar objetivos de interés policial con el propósito de reducir el riesgo delictivo mediante la prevención de delitos futuros o la resolución de delitos pasados”.
Se trata, por consiguiente, de un fenómeno relativamente novedoso en nuestro país pues España tiene una experiencia muy limitada -quizás por la ausencia de una regulación específica- en la aplicación de IA para la predicción policial. Y ello porque, tanto en inteligencia artificial, como en otras materias, mantiene un enfoque prudente y parece que actuará en línea con los Estados miembro de la Unión Europea y actualmente, como es sabido, el Parlamento Europeo se muestra harto cauteloso a la hora de implementar estos sistemas de vigilancia masiva.
Así las cosas, internamente, el debate no deja de resultar actual pues en nuestro parlamento, en la pasada legislatura, se presentó por el grupo parlamentario Unidas Podemos una Propuesta no de Ley (PNL) sobre el uso de la Inteligencia Artificial (IA) en las labores de vigilancia y uso de datos personales de la ciudadanía por parte de las Fuerzas y Cuerpos de Seguridad del Estado, además de proponer la creación de una agencia de control de algoritmos para garantizar su transparencia. Y ello porque, desgraciadamente, muchas de las “soluciones” -tal y como suelen definirse a estos sistemas de IA- pretenden ser implementadas por empresas privadas en instituciones públicas, principalmente locales y/o provinciales, mediante contratos públicos con una concurrencia muy limitada pues son muy pocas las empresas nacionales especializadas en el uso de las nuevas tecnologías, lo cual puede ofrecer una situación de incertidumbre en términos de seguridad jurídica
Más allá de lo anterior, existen instrumentos que las Fuerzas y Cuerpos de Seguridad del Estado (de ahora en adelante, FCSE) emplean habitualmente a la hora de llevar a cabo sus pesquisas basados en el uso de inteligencia artificial.
Seguidamente, expondremos los distintos instrumentos que, para una mejor clasificación, agruparemos en dos bloques. En primer lugar destacaremos los sistemas utilizados actualmente y de un modo generalizado por las Fuerzas y Cuerpos de Seguridad del Estado (FCSE), que son Veripol y Viogen; y, en segundo, aquellas iniciativas que bien no gozan de un uso tan generalizado, han sido iniciadas pero posteriormente abandonadas o se ha tratado únicamente de experiencias piloto pero de las que conviene advertir su incidencia no solo en los derechos fundamentales de los afectados sino en la propia convivencia ciudadana.
Quizás en España la herramienta más reconocida en aplicación de IA sea el programa VioGen, destinado a la prevención frente a la violencia de género. Aunque fue creado en el año 2007, el área de Violencia de Género de la Secretaría de Estado de Seguridad (Ministerio del Interior), incorporó inteligencia artificial en el año 2020 a través de la plataforma analítica de la empresa de software SAS Iberia.
Su funcionamiento es relativamente sencillo: la aplicación VioGen posibilita la cuantificación los niveles de riesgo de agresión en casos de violencia de género, permitiendo su predicción y consiguiente protección, mediante distintos niveles previamente definidos de las potenciales víctimas. Concretamente, VioGen parte de un primer cuestionario denominado VPR (Valoración Policial del Riesgo) y de un segundo, VPER (Valoración Policial de Evolución del Riesgo), que se realiza de forma general un año después del primero, cuando normalmente ya se ha celebrado el juicio y sea cual sea la sentencia. De esa evaluación se extraen cinco niveles de riesgo: no apreciado, bajo, medio, alto y extremo. Cada uno de ellos lleva aparejado un protocolo de actuación del que la denunciante o víctima es partícipe, así como todas las administraciones con competencias en la materia y el juzgado que instruye o ha juzgado la causa.
Resulta más complejo, sin embargo, medir o cuantificar el éxito de cualquier instrumento cuando se trata de evaluar su impacto en una lacra como lo es la violencia de género. No obstante lo anterior, las autoridades consideran que el porcentaje de fiabilidad de VioGen es relativamente satisfactorio: desde la puesta en funcionamiento de esta herramienta hace ya una década la reincidencia de las agresiones ha disminuido un 25% según los últimos datos. Y si de forma genérica la reincidencia en otros países del entorno alcanza el 35%, en España se sitúa ya en el 15%. Los datos se encuentran actualizados en la página web del Ministerio del Interior, lo que permite realizar un análisis sobre la fiabilidad y el éxito de la herramienta desde una perspectiva estadística.
Pero más allá de la evaluación constante por parte del Ministerio del Interior, VioGen también está siendo evaluado externamente. Sirva como ejemplo la evaluación que está realizando la organización sin ánimo de lucro Eticas Foundation pero no a solicitud del Ministerio, sino de manera autónoma y con la información publicada así como con la ayuda de fundaciones externas. De hecho, expone las dificultades que tiene para llevarla a cabo pues, según la organización “Esa falta de transparencia y de explicabilidad implican que no podamos conocer si VioGén tiende a estimar un riesgo demasiado alto o demasiado bajo en ciertos tipos de casos, como podría ser cuando las denunciantes pertenecen a un particular grupo social, como por ejemplo inmigrantes que hablen español (o valenciano o gallego) de un modo diferente a como suelen expresarse quienes hablan el idioma desde siempre.”.
Y más allá de la referida problemática vinculada a la transparencia, debiera resultar conveniente preguntarse qué es lo que realmente le interesa a la policía judicial, fiscalía y judicatura conforme a la experiencia acumulada durante estos años, pues ello permitiría incorporar datos que contribuyan a una adecuada tutela de la víctima sin que se produzca vulneración alguna en las garantías constitucionales y procesales.
Por último, en cuanto a su recepción jurisprudencial, los pronunciamientos por parte de las autoridades judiciales son, si cabe, realmente escasos y poco relevantes. Sin embargo, cabría destacar la STS, Sala Quinta, 73/2020, de 28 de octubre, en la que se confirmó la condena a un Guardia Civil que se negó a darse de alta en el sistema VioGen, infringiendo la instrucción de la Secretaría de Estado de Seguridad que obligan a la utilización de los formularios de esta herramienta en la primera evaluación del riesgo de violencia (VPR). Del mismo modo, existe otro pronunciamiento de la Audiencia Nacional, concretamente la Sala de lo Contencioso-Administrativo, en la Sentencia de 30 de septiembre de 2020 en el que se condena a la Administración patrimonialmente tras el asesinato de una mujer por su pareja y no haber comprobado los agentes importantes extremos que hubieran permitido inferir el riesgo existente de reincidencia por parte del agresor hacia la víctima.
Como se puede observar, no se ha entrado a valorar cuestiones referentes al “fondo” de los sistemas de predicción policial sino que las dos sentencias expuestas dejan patente un problema de base en la utilización de estos sistemas: la falta de formación (e incluso, en algún caso, desinterés), por parte de los miembros de las FCSE encargados de su uso. Por tanto, más allá de las mejoras técnicas en la aplicación de la IA, debiera perseverarse en la formación de sus usuarios, e incluso, por qué no, en una mayor familiarización con la misma por parte de los operadores jurídicos.
El sistema Veripol, puesto en marcha en 2018, está enfocado a prevenir las denuncias falsas, que encuentran su encaje, como es sabido, en el art. 457 CP. Además de ser la primera herramienta de este tipo en el mundo, cuenta con una precisión de más del 90% y estima la probabilidad de que una denuncia por robo con violencia e intimidación o tirón sea falsa, disuadiendo, entre otras actuaciones -nunca mejor dicho- a denunciantes “espurios”, por ejemplo, aquellos que se inventan el robo de un móvil al único efecto de cobrar el seguro previamente contratado.
Para ello, la herramienta se alimenta de una gran cantidad de datos (big data) y determina, con base en el contenido de la información suministrada, el porcentaje de posibilidades de falsedad de la denuncia, utilizando técnicas de procesamiento de lenguaje natural (PLN)
Para su puesta en marcha, la aplicación superó distintas pruebas de funcionamiento, nutriéndose de un banco de más de 1000 denuncias por robo con violencia e intimidación y robo con hurto que fueron presentadas en España durante el año 2015. De las referidas denuncias, aproximadamente un 50% eran verdaderas y otro tanto falsas. El modelo, en el que diversos funcionarios trabajaron durante más de dos años, permite apreciar las diferencias que pueden existir entre la narración de denuncias que han resultado verdaderas y falsas, con base en la información suministrada por el denunciante, la morfosintaxis y una amplia cantidad de detalles.
No obstante lo positivo de la herramienta, algunas voces autorizadas dejan al descubierto importantes deficiencias. Así, pues, en palabras de JAUME PALASÍ “El lenguaje corporal también importa en la denuncia y aquí no aparece. Este sistema crea tipos ideales. No describe la realidad, sino que, de forma artificial, establece una descripción mecanizada de la realidad. La realidad es más dinámica que solo unas palabras”. Del mismo modo, que algunos califiquen el porcentaje de 91% de acierto como un éxito, es visto por otros, como BAEZA YATES pues, en sus propias palabras “Que se equivoque un 9% implica que el sistema acusa erróneamente a nueve de cada 100 personas. Y esto es un conflicto ético muy grave”. Asimismo, los expertos en ética echan en falta una normativa específica, tal y como acontece en otros países (Japón, Finlandia, etc.) que ya han afrontado esta realidad .
Pero, es más, desde una perspectiva netamente procesal parece conculcar la posición de la víctima, de quien un agente, aupado por la aplicación, pone en duda su declaración. Implica, por consiguiente, un intercambio de roles en el que la víctima de un delito pasa automáticamente a la posición de presunto autor de otro, en este caso, del referido 457 CP. Y, a pesar de que la decisión final recae en el agente, huelga decir que en la mayoría de los casos no se apartará de la decisión del programa.
En cuanto a los sistemas cuyo uso no se ha generalizado en las FCSE caben destacar principalmente los SIG o sistemas de información geográfica, los cuales suelen emplearse para prevenir la delincuencia en lugares de alto riesgo mediante una suerte de “mapas digitales del delito” y creación de “hot spots” o puntos calientes en donde se concentra una mayor actividad delictiva.
En el ámbito de la seguridad ciudadana, desde el año 2011, distintas Administraciones Públicas principalmente entidades Locales -policías locales-, estuvieron planteando la posibilidad de dotarse -se desconoce si llegaron finalmente a implantarla o si, una vez implementada, tuvieron que abandonarla por su incidencia en los derechos fundamentales o por la falta de una regulación suficiente- del software EuroCop PredCrime. El software, tal y como se define en la web, consiste en “el desarrollo experimental de un Sistema Integrado de tratamiento de datos masivos vinculados a delitos y faltas ya cometidos, basado en el uso de modelos matemáticos y algoritmos, que permite la prevención y resolución de un crimen aún no producido”.
Se trata de un sistema que integra y trata datos masivos vinculados a delitos, que basa su funcionamiento en un modelo espaciotemporal e información geográfica de mapas de calor mediante modelos y algoritmos matemáticos para la prevención, a través de la predicción, de los delitos que, en el futuro, pudieran cometerse.
Por otro lado, software como el proporcionado por Eurocop PredCrime, empresa privada, fue contratado por ayuntamientos para la protección de sus municipios, si bien, falta publicidad para conocer el alcance de los contratos, así como su objeto concreto y valorar si la aplicación de técnicas de vigilancia computarizada (tal y como parece que emplean) resulta contraria tanto al criterio de la UE como a la propia Agencia Española de Protección de Datos. De hecho, algunos de los sistemas de EuroCop Pred Crime fueron “abandonados temporalmente” (intuimos que por falta de garantías o base legal para su uso) por los Ayuntamientos que lo habían suscrito, tales como el de Rivas Vaciamadrid (Madrid).
El principal problema que avanza la utilización de estos softwares radica en la participación privada no ya de la seguridad pública -lo cual acontece habitualmente en no pocos recintos- sino en el trasvase y manejo de datos e información sensible acopiada habitualmente en bases de datos policiales. En efecto, estas herramientas que surgen de un partenariado público-privado pueden acarrear profundos problemas de legalidad, de ahí que, a fecha de la redacción del presente trabajo, no se pueda hablar de un uso generalizado por las FCSE sino más bien al contrario, pues dadas las referidas dudas no se tiene constancia de que sean utilizados actualmente.
También se desarrolló en el año 2017 un estudio piloto realizado por el Cuerpo Nacional de Policía (CNP) en el distrito centro de Madrid, titulado “Predictive Police Patrolling” (P3-DSS) que, mediante algoritmos matemáticos, permite predecir delitos, conocer su tipología así como mejorar la eficiencia de los turnos de patrullas policiales. El proyecto fue ideado por el policía y matemático Miguel Camacho, y parte del mismo puede verse en su propia tesis doctoral titulada Statistical Analysis of Spatio-Temporal Crime Patterns: Optimization of Patrolling Strategies, defendida en 2016.
Esta aplicación referida a la prevención del delito y la mejora de la eficiencia en el patrullaje, mediante el desarrollo del Sistema de Información Geográfica (SIG) permite a la policía gestionar en un tiempo razonable datos espaciotemporales que ayudan a identificar concentraciones de hechos delictivos permitiendo, por tanto, implementar un “patrullaje predictivo” que dota de una mayor eficiencia la distribución de patrullas en función del riesgo criminal. Para el uso de la herramienta piloto utilizada en el Distrito Centro de la ciudad de Madrid, se recopilaron los registros criminales referentes al delito de robo (105.755 incidentes) entre los años 2008 y 2012. A su vez, se valieron de los Sistemas de Información Geográfica (SIG) del CNP que integran los sucesos delictivos sobre un mapa geográfico de la ciudad, además de la localización de las patrullas de policía.
Sin embargo, estas técnicas de predicción policial han sido cuestionadas porque pueden colisionar con el derecho a la igualdad y a la no discriminación. Efectivamente, quizás una de las primeras cuestiones a debatir sobre la inteligencia artificial para la predicción policial radique en el derecho a la igualdad o no discriminación traducida en el riesgo de que ésta contenga determinados sesgos en la información que alimenta los algoritmos.
De hecho, la Carta de Derechos Digitales, presentada en julio de 2021, más allá de que no tenga fuerza normativa, dispone en su derecho XXV “Derechos ante la inteligencia artificial”, concretamente en su apartado 2.a) que “Se deberá garantizar el derecho a la no discriminación cualquiera que fuera su origen, causa o naturaleza, en relación con las decisiones, uso de datos y procesos basados en inteligencia artificial”.
Y esta preocupación, también ocupa a la doctrina. Así, pues, NIEVA FENOLL alerta sobre el uso de big data en la investigación policial porque los datos que aleatoriamente se almacenan de personas, barrios, etc., pese a dicha aleatoriedad, se habrán seleccionado en función de los propios perjuicios del configurador del algoritmo, lo que implica que los resultados no sean neutrales. También, de un modo concluyente, MIRÓ LLINARES resume el problema planteado: “las herramientas predictivas de las que hablamos no vienen más que a hacer lo que ya se hacía y se hace a día de hoy de manera tradicional y manual y probablemente con los mismos sesgos o más, añadiendo, en algunos casos, una metodología más sistemática o científica” pues, -prosigue el autor- “…lo que sabemos hasta el momento nos dice que los algoritmos, que reflejan con precisión nuestro mundo, parecen reflejar también nuestros prejuicios”.
Por su parte, CAMACHO-COLLADOS, GÓNZÁLEZ-ÁLVAREZ y SANTOS HERMOSO exponen el debate existente aludiendo, de un lado, a que, si bien los defensores de este tipo de prácticas policiales argumentan que estas herramientas ayudan a reducir los sesgos de los investigadores, ya que sustituyen la experiencia personal por un conocimiento basado en el análisis sistemático de todos los casos conocidos y esclarecidos; sus detractores entienden que en tanto estas herramientas se basan en delitos resueltos previamente por unidades policiales, puede haber determinados delitos con una mayor probabilidad de ser investigados y solucionados, porque son cometidos por individuos que se consideran peligrosos, o porque tienen lugar en zonas propensas a la delincuencia. Si los datos que se introducen en el modelo presentan algún tipo de sesgo, se podría provocar la estigmatización de individuos o zonas que presenten las características que los algoritmos identifican como indicadores de riesgo. No obstante el debate existente, en línea con los autores anteriormente citados, entienden que el desarrollo de estas prácticas es la evolución lógica de la práctica policial tradicional.
Ahora bien, sin desdeñar los potenciales beneficios que puede aportar la policía predictiva, pues la prevención siempre es preferible a la reacción, la estrategia policial, como acertadamente sugiere GUZMÁN FLUJA, debiera combinarse con acciones políticas, sociales y económicas que pongan a la persona en el centro, absteniéndonos de su consideración -como parece acontecer con las herramientas de predictive policing- como delincuente o potencial delincuente
A la hora de realizar una primera aproximación contextual al fenómeno, cabe señalar que tampoco existe una definición unívoca de justicia predictiva en tanto no se encuentra contemplada en la legislación española. Por consiguiente, la doctrina y la práctica forense se sirven de su acepción literal, directamente traducida del “predictive justice” para referirse a ella.
No obstante lo anterior, algunos autores relevantes como ARMENTA DEU califican la justicia predictiva como un “término muy amplio” y consideran que “se promueve como herramienta para la eficiencia procesal, combinando una mejora en la calidad de la toma de decisiones y una reducción de la actividad judicial .
Otros autores asocian su significado al de “jurimetría”. En efecto, PERALTA GUTIERREZ indica que “la Jurimetría es la aplicación de la inteligencia artificial y machine learning a los tradicionales buscadores legales y jurisprudenciales obteniendo nuevas funcionalidades que dan lugar al desarrollo de lo que también se ha denominado “Justicia predictiva” .
Sin embargo, aunque son términos relacionados, entendemos que justicia predictiva es un fenómeno más amplio que la jurimetría o, si se prefiere, la segunda forma parte de la primera o consiste en una herramienta o técnica de justicia predictiva, si bien pueden existir otras. Entendemos, en resumidas cuentas, que “justicia predictiva”, versa sobre IA utilizada en la función jurisdiccional para la toma de decisiones judiciales.
En cuanto al “estado del arte” sobre la justicia predictiva en España, no existe una negativa rotunda hacia el uso de sistemas de inteligencia artificial. No estamos, por consiguiente, en el mismo escenario que países de nuestro entorno, como Francia, que en el artículo 33 de la Ley para la Reforma de la Justicia prohíbe, estableciendo incluso penas de cárcel, que se publique información estadística sobre las decisiones y el patrón que siguen los jueces a la hora de dictar sentencia.
Mas al contrario, en la legislatura pasada se aprobó el Proyecto de una norma que pretende el uso de inteligencia artificial para la modernización de la Administración de Justicia: el Proyecto de Eficiencia Digital. Se trata de una “acción nuclear” dentro del programa de Justicia 2030, impulsado por el Gobierno de España. De hecho, en enero de 2022 se publicó la licitación del Acuerdo Marco de Justicia para la Transformación Digital con más de 125 millones de euros.
Sin embargo, la utilización de instrumentos de jurimetría o técnicas analíticas de datos por los jueces, si bien resulta factible -ya las emplean los abogados-, no parce que a corto plazo vaya a producirse, al menos de una forma sistémica. Tampoco parece que vayan a implementarse herramientas de justicia predictiva “decisorias” del órgano judicial, para la imposición de medidas cautelares, dictado de sentencias, etc. habida cuenta la utilización real de la IA mediante técnicas auxiliares como las referidas implica una transformación sustancial de nuestra justicia que requiere reformas de mayor calado que las planteadas en el Proyecto de Eficiencia Digital, dejando a un lado únicamente la rara avis que supone RisCanvi utilizado únicamente en el sistema penitenciario catalán que, seguidamente, expondremos.
Se trata de una herramienta empleada en fase de ejecución de la pena para la predicción del riesgo de violencia a la hora de conceder permisos y determinar la situación del penado. Podríamos clasificarla dentro del ámbito de la justicia predictiva, porque evalúa unos ítems determinados para arrojar el riesgo de una determinada futura actuación pero no aplica inteligencia artificial en sentido estricto. De otro lado, su ámbito de aplicación es limitado ya que sólo se aplica en las cárceles de Cataluña donde, a diferencia de lo que acontece con otras Comunidades Autónomas, las competencias en materia de prisiones fueron transferidas.
El sistema funciona aplicando dos protocolos, en primer lugar, el RisCanvi screening, que se aplica a la entrada del penado al centro penitenciario y que consta de diez ítems distintos y que arroja un riesgo bajo o alto de violencia y el RisCanvi complet, que ofrece mayores garantías porque cuenta con 43 variables que arrojan una puntuación de riesgo bajo, medio o alto. Las funcionalidades de la herramienta se han ampliado hasta cuatro: quebrantamiento de condena, la violencia dentro de la prisión, la reincidencia violenta y la violencia autodirigida (suicidio, intento de suicido, autolesiones...). Los resultados de la evaluación son confirmados o modificados por la junta de tratamiento penitenciario (que en muy pocas ocasiones se apartan de ella) y suelen guiar la decisión final del juez a la hora de conceder los permisos penitenciarios, la libertad condicional, la clasificación del penado y la adopción de medidas de supervisión.
Sin embargo, RisCanvi no utiliza estrictamente IA sino sistemas de regresión logística, de ahí que, como indica uno de los responsables de los Sistemas Penitenciarios de Cataluña, la herramienta tenga mucho margen de mejora y que pronto incorporará técnicas de machine learning o modalidades más sofisticadas que las actuales, limitadas a la alimentación del algoritmo a través de las valoraciones de los internos que añaden los funcionarios y de las propias bases de datos de las cárceles (días de condena, sentencias, etc.).
En cuanto a la aplicación de la herramienta, su porcentaje de uso alcanza casi el 100% pues sólo en un 3,2% de los casos la evaluación final ha sido modificada por el evaluador. Incluso, se critica que aun cuando el evaluador o equipo técnico del centro penitenciario defienda la decisión de otorgar un permiso penitenciario, si ello acontece en contra de RisCanvi porque la herramienta aprecie un riesgo medio o alto de reincidencia, el Fiscal recurra la decisión amparándose únicamente en el resultado del software.
Los problemas o defectos que se imputan a esta herramienta radican en la existencia de falsos negativos lo que lleva a parte de la abogacía a alertar del peligro que supone que la decisión sobre la libertad o no de un penado descanse en un algoritmo que, indefectiblemente, siguen aquellos que deben tomar una decisión final. Bien es cierto que la decisión la adopta el juez tras haber sido informado o haber leído el informe realizado por el equipo técnico, que es quien utiliza esta herramienta, pero no lo es menos que los abogados de los presos desconocen tanto el funcionamiento como los parámetros en los que se basa la aplicación y que en tanto sus clientes ya han sido condenados, cuentan con menos posibilidades de rebatir la pertinencia de obtención de un determinado permiso frente a un instrumento científico y teóricamente objetivo. Por otro lado, que pueda existir algún falso negativo y que el penado delinca no debiera ser motivo para replantear una herramienta a través de las cuales, estadísticamente, se conceden más permisos que antes de su existencia.
Muy recientemente, concretamente en diciembre de 2021, el CGPJ puso a disposición de los Jueces y Magistrados -también miembros de la Oficina Judicial, como LAJs- la aplicación KENDOJ (Knowledge Extractor for CENDOJ) que aplica técnicas de IA y machine learning para llevar a cabo dos actuaciones: de un lado, la pseudonimización automática de un documento para el cumplimiento de los estándares del RGPD y, de otro, facilitar el acceso a la información más relevante de cada documento con anterioridad a su lectura así como una búsqueda más acertada de legislación y jurisprudencia para el desarrollo de sus funciones.
Pero más allá de este instrumento con tan limitado alcance, lo cierto es que otros operadores jurídicos como son los Abogados, ya disponen de herramientas o sistemas de Legal Tech basados en justicia predictiva para el ejercicio de su función. Se trata de software especializado creado por potentes empresas del sector jurídico que, a grandes rasgos, permiten al usuario predecir las posibilidades de éxito de sus actuaciones ante un determinado Tribunal, basado todo ello en big data judicial obtenido del CENDOJ, tras suscribir acuerdos de explotación comercial con el CGPJ.
Sin ánimo de ahondar en todas las aplicaciones jurímétricas o de analítica de datos jurídicos, al efecto de exponer su funcionamiento, sirva como ejemplo Jurimetría, del grupo Wolters Kluwer, seguramente una de las aplicaciones pioneras (año 2017) en la aplicación de la justicia predictiva al Derecho. Se trata de una herramienta que sistematiza y extrae de forma exhaustiva la inteligencia que reside en un conjunto de más de 10 millones de resoluciones judiciales y en toda la estadística judicial procedentes de todas las instancias y órdenes jurisdiccionales de España, a las que se incorporan medio millón de nuevas resoluciones cada año. Jurimetría consta de seis módulos interconectados, cada uno con una finalidad y alcance diferente y complementario: 1) Jurimetría del caso: evalúa los parámetros críticos para el éxito del caso, conociendo la trayectoria del Juez y de los abogados contrarios, con acceso a la jurisprudencia más relevante; 2) Jurimetría del Juez o Magistrado: permite analizar la trayectoria, líneas argumentales y posicionamientos del juez en cuestión; 3) Jurimetría del abogado: análisis global de la contraparte en el proceso, desde todas las perspectivas; 4) Jurimetría de la empresa: permite realizar un análisis de los litigios en los que ha sido parte alguna de las grandes empresas; 5) Jurimetría del Tribunal: permite conocer la actividad de los juzgados y tribunales de España, en aspectos como la duración media de los procesos, la congestión o la probabilidad de recurso; y 6) Jurimetría del Organismo Público: permite examinar los procesos judiciales en los que ha sido parte un organismo o entidad pública, a partir de cualquier óptica.
Como hemos avanzado, la utilización de estos sistemas de analítica de datos judiciales -que emplean principalmente los abogados- no está prohibida, como en Francia, sino que, sencillamente, se entiende permitida al no estar regulada. Las grandes editoriales adquieren a través de acuerdos comerciales con el CGPJ todos los datos (sentencias, autos, …) de los que nutren a estos productos. Y si bien se utiliza habitualmente desde el año 2017, ha sido en el 2022 el momento en el que el CGPJ se ha quejado o, mejor dicho, ha tomado conciencia, de las implicaciones que pueden tener estos sistemas indicando, literalmente, que “se echa en falta la determinación de los criterios de utilización de la jurimetría y de la inteligencia artificial por parte de empresas y particulares a partir de bases de datos, incluso aquellas configuradas por este órgano constitucional; el cual habrá de tener la necesaria participación en la determinación de tales criterios de uso”.
Resulta, a nuestro juicio, paradigmático que a estas alturas -esto es, cuando los productos llevan años empleándose- el CGPJ, que a la postre tiene acuerdos comerciales de explotación con estas editoriales, muestre su preocupación al respecto.
Pero tal preocupación no es, ni mucho menos, baladí, pues también ha sido compartida por la doctrina procesal, si bien refleja distintas posiciones. ARMENTA DEU alerta de los riesgos que plantea la justicia predictiva, riesgos que califica de “sistémicos” pues implicará que el justiciable deje de acudir -o acuda menos, según sus palabras- a los tribunales habida cuenta los pronunciamientos ya serán conocidos y la justicia predictiva conseguirá que éstos sean cada vez más homogéneos. Por otro lado, NIEVA FENOLL señala tras describir algunas herramientas de justicia predictiva utilizadas en otros países que, en la argumentación jurídica, “la inteligencia artificial hará que la labor de persuasión sea menos ardua, al poderse recopilar con mucha mayor facilidad la información disponible y los argumentos a favor y en contra de las diferentes opciones y, como ya se dijo, no estará condicionada por las emociones o sentimientos, sino que integrará solamente datos objetivos”. También MARTIN DIZ considera prioritario el asentamiento de la IA y su aplicación al derecho procesal pero priorizando las garantías frente a la eficiencia “más aún cuando por su innegable grado de avance tecnológico, y por lo que pudiera servir en futuras décadas como elemento de asistencia a abogados y de predictibilidad”. BARONA VILAR reflexiona acerca de la jurimetría y considera que “hay que valorarla como lo que es, a saber, un sistema computacional asistencial. No es un modelo sustitutivo de la mente humana” y, en sentido parecido, BORGES BLÁZQUEZ entiende que es factible su uso por la autoridad judicial, tal y como la utilizan los abogados, si bien expone los recelos que pudiera generar en el Poder Judicial, dadas las cautelas que ha tenido en asuntos relacionados el Consejo General del Poder Judicial.
En nuestra opinión, produce cierta desconfianza que grandes empresas del sector jurídico marquen el paso a la Administración de Justicia. No cabe duda que servirse de estas herramientas Legal Tech para la elaboración de la estrategia procesal colocará a la parte que las posea en una posición aventajada frente a la que carezca de ellas. Y en contra de lo que pudiera pensarse, no sólo se aplica en el orden jurisdiccional civil, sino también en el penal, donde podrá ocurrir que el investigado que carezca de recursos y se acoja a la justicia gratuita se enfrente no solo al Ministerio Fiscal -que quizá a título particular pueda emplear esta herramienta- sino también al acusador particular provisto de estas tecnologías.
Y en un contexto en el que la jurisprudencia cada vez tiene mayor relevancia en el sistema judicial, corremos el riesgo de avanzar hacia un control, clasificación y comercialización del big data judicial por parte de las grandes tecnológicas, conculcando el principio de igualdad de armas y relegando a quienes carecen de recursos a un acceso básico -y no premium- a la jurisprudencia.
Una vez expuestos algunas herramientas de policía y justicia predictiva que tímidamente emplean inteligencia artificial, cabe plantearse si una IA más intensa y con un uso más generalizado en las distintas fases del proceso tiene o puede tener encaje en nuestra justicia penal. Para ello, deviene imprescindible, entre otras premisas básicas, partir de las siguientes.
a) Respeto al art. 117.3 CE y al principio de exclusividad jurisdiccional: el debate no se encuentra tanto en limitar el acceso al juez humano en algunos casos sino en que detrás de la justicia, esto es, de la toma de decisiones, debe haber un juez humano. Y ello no es por capricho, sino porque en el art. 117.3 de la Constitución española se reconoce el principio de exclusividad jurisdiccional por el que “El ejercicio de la potestad jurisdiccional en todo tipo de procesos, juzgando y haciendo ejecutar lo juzgado, corresponde exclusivamente a los Juzgados y Tribunales determinados por las leyes, según las normas de competencia y procedimiento que las mismas establezcan”. Del art. 117.3 CE, indica BORGES BLAZQUEZ que podemos extraer dos conclusiones: “la primera, nuestra constitución excluye a otros sujetos o sistemas de la capacidad de juzgar. La segunda, el artículo dice quién debe ejercer la función: jueces y tribunales. Pero no especifica cómo ni mediante qué herramientas. Por tanto, el uso de sistemas de IA de manera complementaria, actuando como apoyo a la decisión que debe tomar el juzgador y nunca sustituyendo su razonamiento tendrían encaje en nuestro sistema”. En esa misma línea se pronuncia MONTESINOS GARCÍA quien concluye que “Damos la bienvenida a todo lo que coadyuve a objetivar determinadas decisiones que deben adoptar los jueces. Pero tenemos que partir de la premisa que estamos ante sistemas asistenciales, esto es, ante herramientas de colaboración. La decisión del juez no puede descansar en exclusiva sobre un algoritmo. El resultado que proporcione el sistema predictivo, en el caso de ser considerado por parte del juez, solo podrá hacerlo como un elemento más, que deberá en todo caso ser corroborado por otros elementos del juicio. De modo que concluimos este trabajo afirmando con rotundidad que la función predictiva, en caso de integrarse en la justicia penal debe ser únicamente de apoyo o asesoramiento en la toma de decisiones judiciales, pero nunca podrá alcanzar fuerza decisoria ni ser vinculante para los jueces”. Por consiguiente, la inteligencia artificial aplicada a la justicia penal debe ser asistencial, nunca sustitutoria de la función jurisdiccional.
b) La IA debe ser pública y accesible: en efecto, uno de los principales riesgos a los que como sociedad nos enfrentamos es a que la IA que se utilice en la justicia penal sea configurada, controlada y ejecutada por unos pocos, a mayor abundamiento, del sector privado, y que pudieran obedecer a los intereses de determinados lobbies. Por ello, debiera, de un lado, regularse la IA y, de otro, que sea pública y cualquier ciudadano pueda acceder a ella. Resulta, además, fundamental para el ejercicio del derecho de defensa conocer el algoritmo al efecto de poder impugnar el resultado de la diligencia y/o prueba practicada u obtenida mediante inteligencia artificial.
c) Evaluación y revisión por personas o entidades independientes: la inteligencia artificial se encuentra en constante evolución, por ello deviene imprescindible que su aplicación a la justicia penal sea periódicamente evaluada. Así pues, las herramientas que empleen esta tecnología deberán ser revisadas, principalmente por un grupo de expertos independientes, a ser posible nombrada por una entidad pública, sin perjuicio de que también puedan constituirse grupos o entidades privadas -mejor si éstas son sin ánimo de lucro- a las que se permita una auditoría de la IA para informar sobre las deficiencias y mejoras necesarias de cara a un funcionamiento tanto eficaz como respetuoso con los derechos y garantías del proceso penal.
d) Hacia un relevante papel del Ministerio Fiscal como garante del buen funcionamiento de la IA en el proceso: conviene recordar que el Ministerio Fiscal es, de acuerdo con sus principios de actuación, una parte imparcial en el proceso que debe estar tanto por la condena del culpable como por la absolución del inocente. Es más, la Constitución española, en el artículo 124, le confiere un papel protagonista en la defensa de los derechos de los ciudadanos. De ahí que deba erigirse en el revisor o guardián del correcto uso de la Inteligencia Artificial en el proceso judicial, vigilando su correcto funcionamiento y denunciando las infracciones y vulneraciones de derechos que pueda provocar un uso negligente de esta tecnología.
e) Formación e información para los jueces y operadores jurídicos: la aplicación generalizada de la inteligencia artificial en el proceso sin ni siquiera conocer el fundamento y funcionamiento de esta tecnología puede implicar consecuencias indeseables. Con ello, no se pretende, ni mucho menos, la adquisición de un nivel experto, desde una perspectiva informático-científica, del conocimiento y manejo de esta tecnología. Un jurista no es un informático -ojalá los planes de derecho avancen en ese sentido- pero sí debe, al menos, entender cómo opera la inteligencia artificial. Ya existen actualmente programas muy interesantes sobre Legal Tech en los que se puede adquirir una información básica e incluso algo avanzada sobre la aplicación de IA a la justicia penal y, si bien muchos de los destinatarios son abogados ejercientes, también la Escuela Judicial cuenta con un Máster Universitario Oficial para el Ejercicio de la Función Jurisdiccional, impartido por la UNED, en la que los jueces que ingresan en la carrera judicial reciben formación en Inteligencia Artificial, Blockchain así como otras tecnologías disruptivas.
f) Mayor pedagogía e información hacia la sociedad: si, tal y como demuestran los índices de referencia, todavía es una asignatura pendiente acercar la Administración de Justicia a la ciudadanía, con mayor razón se les deberá explicar con claridad el papel que tendrá la Inteligencia Artificial en la justicia penal. No se trata, para nada, de una cuestión baladí, pues partimos de una tecnología cuyo desconocimiento generalizado provoca una lógica desconfianza en una ciudadanía que, a la postre, es la destinataria de las decisiones que, mediante su uso, van a adoptarse en la justicia penal. Ya existen interesantes estudios, destacando el de MORALES MORENO, que muestran como la aceptación de esta tecnología y su aplicación a la justicia penal es baja: hoy en día la ciudadanía desconfía de las decisiones judiciales que reposan en predicciones algorítmicas. Por consiguiente, más allá estar incursos en una transformación digital generalizada de la sociedad, deberemos, en particular, ser muy escrupulosos, claros y pedagógicos a la hora de explicar tanto los beneficios como, en definitiva, el funcionamiento, de la aplicación de esta tecnología en la administración de justicia.
Comenzando por el final, la aplicación de la IA en la justicia penal debe servir al fin de ayudar o asistir al juez en la toma decisiones.
Si bien dicha tecnología cuenta con el potencial para, en muchos casos, resultar más fiable que la inteligencia humana, el empleo de algoritmos para la imposición de penas privativas de libertad, al estilo del manido ejemplo de “COMPAS” en los EEEUU, no sería constitucional porque, salvo la conformidad, a nadie se le puede condenar a una pena privativa de libertad sin haber sido sometido a un juicio oral con todas las garantías ante la inmediación de un tribunal imparcial e independiente.
Del mismo modo, también debemos ser precavidos en la aplicación de la IA para la limitación de la libertad en sede cautelar, principalmente a la hora de imponer la prisión provisional. Como sugiere NEIRA PENA, el juicio de imputación reforzado que debe acontecer ante la imposición de esta medida, no ha de verse contaminado por los sesgos que pudiera adolecer la herramienta, sino que no debe olvidarse que el proceso decisional habrá de desarrollarse de modo individualizado y en atención a las concretas circunstancias del caso, lo que implica que en último término, con mayor o menor influencia de la máquina, la decisión recaiga en el juez. Pero, sin negar la referida conclusión, sí que es cierto, por otro lado, que intentar objetivar y “algoritmizar” determinados parámetros para la valoración del riesgo de fuga, en un momento como el actual en el que desgraciadamente se abusa de tan restrictiva medida cautelar -la más grave- puede operar a favor del imputado. Como se ha demostrado con el ya analizado RisCanvi, que desde su implementación se conceden más permisos que antes, establecer un sistema de puntuación o scoring -p.ej. 3 puntos por arraigo, 5 si justifica que tiene trabajo…- puede resultar de gran ayuda para el juez que, sin perjuicio de la debida atención individualizada y a las concretas circunstancias del caso, podrá tomar una decisión que descanse en una base algo más objetiva que lo que sucede en la actualidad.
Del mismo modo, y dejando a un lado aquello relativo a la limitación de la libertad, todas las propuestas de resolución que impliquen una objetivación o puedan realizarse objetivando parámetros sí podrán aplicar Inteligencia Artificial. Ello ya fue advertido por GIMENO SENDRA quien entendió, con buen tino, que la IA podría ayudar o asistir al órgano judicial formulado propuestas de resolución sobre distintos temas. Si bien algunos de ellos pueden ser acogidos, entre los que destacaríamos, las medidas cautelares civiles, la fianza del acusador popular y el decomiso; otras propuestas las descartaríamos por su escasa aplicación práctica -p.ej. propuesta de resolución sobre indulto- o incluso por su elevada complejidad y porque pueda comprometer derechos fundamentales tales como la libertad -p.ej. la ejecución de una euroorden de detención y entrega-.
Por consiguiente, debemos huir de planteamientos ambiciosos y partir de un enfoque más prudente en la aplicación de la IA en la justicia penal. Así pues, todo aquello ínsito a la tramitación del procedimiento o incluso al objeto civil -que se acumula al penal ex arts. 100 y 108 LECrim- podría ser un primer estadio en el que aplicar la IA para, posteriormente, y ante una eventual evaluación positiva de su utilización, ampliarlo a otras resoluciones de la justicia penal y, en último término, la asistencia en la valoración de la prueba y en la motivación al órgano judicial.
En efecto, la valoración de la prueba ya sea documental, personal o pericial, así como la motivación de la sentencia, podrán ser en un futuro practicadas con ayuda de la inteligencia artificial, pero existirán determinados parámetros que indefectiblemente requerirán de la presencia humana. Debieran ser, a nuestro juicio, y por la relevancia constitucional de los mismos, los últimos espacios en los que aplicar la IA, una vez haya sido aplicada con éxito en otros actos o resoluciones procesales con una afección menor o menos intensa en los derechos del investigado.
Pero, insistimos, ante una justicia penal que todavía se encuentra en plena transformación digital, no podemos pretender un uso generalizado y, lo que es peor, descontrolado -esto es, literalmente, carente de control- de la inteligencia artificial. Sólo con unos mimbres sólidos -expuestos en el epígrafe anterior- podrá desarrollarse una aplicación de la IA eficaz, pero a la vez respetuosa con los derechos fundamentales en el proceso penal.
Los instrumentos de policía y justicia predictiva que se utilizan actualmente en la justicia penal no permiten inferir una aplicación intensa y generalizada de esta tecnología en nuestro país. Se impone, por consiguiente, un uso prudente y consonante con lo acontecido en los países de nuestro entorno y en la propia Unión Europea, cuyo Reglamento sobre Inteligencia Artificial todavía está por llegar.
Y más allá de que el Gobierno se muestre entusiasta en la transformación digital y destine una gran cantidad de fondos en su plan Justicia 2030, lo cierto es que falta concreción acerca del propósito en la aplicación de la inteligencia artificial en la justicia, más allá de un planteamiento genérico de justicia inteligente orientada al dato. Si no queda claro qué se pretende, es decir, si no se definen con claridad los objetivos en este punto clave de la transformación digital, corremos el riesgo de que, de un lado, se dificulte la innovación y el emprendimiento y, de otro, podamos encontrar tensiones ante iniciativas o soluciones privadas que puedan fracasar en su intento por ser empleadas por las autoridades públicas, habida cuenta la falta de regulación existente y la afectación tanto a la normativa de protección de datos como a los derechos fundamentales.
Del mismo modo, el Poder Judicial parece haber tomado conciencia de la importancia y del impacto que puede tener la Inteligencia Artificial en la administración de justicia. Si bien los sistemas de jurimetría llevan aplicándose desde hace unos seis años en nuestro país, no ha sido hasta el año pasado, en el informe al Anteproyecto de Ley de Eficiencia Digital, el momento en el que han advertido de la relevancia y riesgo de aplicar Inteligencia Artificial en el proceso judicial, siendo necesaria una regulación completa y garantista y erigiéndose el propio CGPJ en un actor que debe jugar un papel determinante. Más allá de que ese papel determinante le corresponda, a nuestro juicio, al poder legislativo -y no al CGPJ-, se creó un grupo de trabajo denominado “Tecnología, Inteligencia Artificial y Administración de Justicia”, formado por prestigiosos jueces e ingenieros informáticos que están elaborando un elenco de herramientas de inteligencia artificial para su aplicación en la Administración de Justicia. No obstante lo anterior, y considerando positiva su implicación en el estudio de la IA, desgraciadamente, como suele acontecer ante reformas de tanto calado, una futura reforma que avance hacia un uso más amplio de esta tecnología seguramente no estará exento de resistencias y reticencias por parte de la judicatura.
Así las cosas, es necesario suscribir un enfoque prudente, huyendo de los extremos, sin desdeñar los avances y las oportunidades que presenta esta tecnología, pero, al mismo tiempo, asegurando el respeto a los derechos fundamentales y garantías procesales. No se puede plantear, ni mucho menos, un totum revolutum, sino que la aplicación de la inteligencia artificial a la justicia penal debe realizarse de forma paulatina y sosegada, estableciendo revisiones científicas antes de la implementación y después de la misma.
Por ello, su implementación no sólo debe ser llevada a cabo por juristas, en un lado, y por informáticos, en otro, sino que, habida cuenta las herramientas deben ser evaluadas y revisadas científicamente, debieran desempeñar un importante papel los criminólogos.
Y por último una reflexión final: si avanzamos hacia una aplicación más intensa de IA en la justicia penal, será necesario superar la frustración que genera el hecho de que la realidad o el resultado alcanzado no se corresponda con la probabilidad de que éste aconteciera. En efecto, conviene recordar que hablamos de justicia predictiva y predecir es sinónimo de pronosticar o adivinar, pero no de infalibilidad. Por ello, reivindicando la belleza de lo improbable, debiéramos naturalizar el extraño y poco frecuente acontecimiento de un resultado distinto al pronosticado por la IA. Que no haya acertado no quiere decir que se haya equivocado -o incluso que esté mal configurada- sino que se ha producido un resultado distinto al pronosticado que no debe conducirnos, inexorablemente, a una conclusión precipitada sobre el mal funcionamiento de esta tecnología. No es aventurado afirmar que una IA más generalizada será una realidad más pronto que tarde, y aunque de forma asistencial, tendrá cada vez mayor presencia en la justicia penal. No demos la espalda, pues, a una tecnología que, por desconocida, no deja de resultar fascinante y preparémonos hoy para la justicia del mañana.
1
3
4
5
BUENO DE MATA, F. “La necesidad de regular la inteligencia artificial y su impacto como tecnología disruptiva en el proceso: de desafío utópico a cuestión de urgente necesidad” en El impacto de las tecnologías disruptivas en el Derecho Procesal (BUENO DE MATA, Dir.), Thomson Reuters Aranzadi, Cizur Menor, 2021
6
7
8
10
11
12
13
14
15
16
17
18
19
20
22
23
[1] Este trabajo ha sido desarrollado en el marco del proyecto de investigación “Transición Digital de la Justicia” (IP. Profra. Dª. Sonia Calaza López), Proyecto estratégico orientado a la transición ecológica y a la transición digital del Plan Estatal de investigación científica, técnica y de innovación 2021-2023, en el marco del Plan de Recuperación, Transformación y Resiliencia, Ministerio de Ciencia e Innovación, financiado por la Unión Europea: Next Generation UE, con REF. RED 2021-130078B-100. También forma parte de los resultados de mi investigación llevada a cabo como relator nacional del grupo español de la AIDP (Sección III). Mis agradecimientos a los Profesores Adán Nieto, Fernando Miró y a la Profesora Juliette Lelieur.
[2] Véase la Guía de la OSCE sobre actividad policial basada en la inteligencia, 2017, pág. 6. Disponible en el siguiente enlace https://www.osce.org/files/f/documents/6/4/455536.pdf
[4] Véase la resolución del Parlamento Europeo alertando de los riesgos para nuestro sistema de garantías y libertades de estas tecnologías https://www.europarl.europa.eu/news/es/press-room/20210930IPR13925/uso-policial-de-la-inteligencia-artificial-el-pe-contra-la-vigilancia-masiva
[6] Véase la descripción de la aplicación de IA a la herramienta en la propia web de SAS Iberia https://www.sas.com/es_es/news/press-releases/locales/2020/viogen-secretaria-estado-seguridad-y-sas-unidos-lucha-contra-violencia-genero-analitica-avanzada-ia.html
[7] Información obtenida de una entrevista realizada por el periódico La Vanguardia a uno de los creadores y Jefe de área de VioGen Juan José López Ossorio en el año 2017. Disponible en el siguiente enlace https://www.lavanguardia.com/tecnologia/20190519/462147339117/viogen-violencia-de-genero-violencia-machista-inteligencia-artificial-algoritmos.html
[8] Los datos de 2022 se encuentran disponibles en el siguiente enlace https://www.interior.gob.es/opencms/es/servicios-al-ciudadano/violencia-contra-la-mujer/estadisticas-sistema-viogen/
[9] Vid. la información en su web https://eticasfoundation.org/es/viogen-un-algoritmo-para-predecir-el-riesgo-de-reincidencia-en-casos-de-violencia-de-genero/
[11] En un mismo sentido, ALONSO SALGADO indica que “aun cuando, obviamente, la estimación de VeriPol no compromete la decisión de los Cuerpos y Fuerzas de Seguridad, no cabe duda de que establece un prejuicio de partida.” en .
[12] Véase las opiniones vertidas por expertos en el presente artículo https://elpais.com/tecnologia/2021-03-08/veripol-el-poligrafo-inteligente-de-la-policia-puesto-en-cuestion-por-expertos-en-etica-de-los-algoritmos.html
[14] Véase, en el siguiente enlace, su uso por Rivas Vaciamadrid https://www.rivasciudad.es/noticias/organizacion-municipal/2015/12/10/un-sistema-pionero-en-prevencion-de-delitos/862600041423/ y su abandono unos meses después en este otro https://rebelion.org/el-estado-policial-espanol-2-0-tecnologias-de-empresas-privadas-para-vigilar-a-los-ciudadanos/
[15] Muy críticos se muestran al respecto Ekaitz Cancela y Aitor Jiménez, periodistas de El Salto que, tras una profunda investigación, alertan de los riesgos que plantea esta herramienta. Así pues, se plantean los siguientes interrogantes, que reproducimos literalmente: “¿A qué datos comprometidos y privados puede tener acceso una compañía que presta y gestiona la infraestructura digital crítica de las agencias de policía? ¿No tienen los ciudadanos derecho a conocer el interior de estas cajas negras? ¿Queremos que una corporación privada esté en posición de ofrecer “una solución que cubre la gestión integral de la policía, tanto en el aspecto operacional (automatizando todas sus tareas operativas, administrativas, judiciales, etc., desde cualquier lugar y momento), como en el aspecto táctico y estratégico a fin de lograr la máxima eficacia en la labor policial”?...” El resultado de la información, muy crítica con estos sistemas de policía predictiva adoptados por las policías locales, disponible en el siguiente enlace https://www.elsaltodiario.com/tecnologia/estado-policial-espanol-2.0-empresas-privadas-eurocop-vigilar-ciudadanos
[16] La tesis se encuentra en abierto en el siguiente enlace https://hera.ugr.es/tesisugr/26134081.pdf
[18] JIMÉNEZ HERNÁNDEZ, M. “El big data como herramienta de prevención de la delincuencia “, página 28, disponible en el siguiente enlace: https://rua.ua.es/dspace/bitstream/10045/115934/1/EL_BIG_DATA_COMO_HERRAMIENTA_DE_PREVENCION_DE_Jimenez_Hernandez_Miguel_Angel.pdf
[19] Para un estudio más detallado de la Carta de Derechos Digitales y sus implicaciones procesales, vid., por todos, y ss.
[26] Como sostiene SUAREZ XAVIER “la jurimetría, la estadística judicial, procesos de automación y otras formas de smartificación de la justicia pueden integrarse en el concepto de justicia predictiva, pero no configuran el concepto en sí mismo.” en Tesis Doctoral Gobernanza, inteligencia artificial y justicia predictiva: los retos de la Administración de Justicia ante la sociedad en red”, pág. 420
[27] Si bien en el momento de redacción del presente trabajo las Cortes Generales se disolvieron, todo parece indicar que la tramitación parlamentaria de este Proyecto se retomará en la XV legislatura.
[29] En dicho Acuerdo, el lote 2 está destinado a los proyectos relacionados con la ingeniería de datos; laboratorios de innovación e inteligencia artificial; implantación de soluciones basadas en inteligencia artificial e ingeniería de datos para identificar, extractar y explotar información dentro del ámbito judicial para el establecimiento y mejora de modelos predictivos; así como la definición de soluciones tecnológicas disruptivas que ayuden a la Administración de Justicia a cumplir con sus objetivos https://www.mjusticia.gob.es/es/ministerio/gabinete-comunicacion/noticias-ministerio/220113-NP-Justicia-publica-la-licitacion-del-Acuerdo-Marco-de-Justicia
[30] En un trabajo académico publicado por sus creadores, en ningún momento se cita el concepto “inteligencia artificial” sino que, como indica el artículo, RisCanvi utiliza modelos de regresión logísitica. Vid.
[32] Concretamente un 3,2% del total. Véanse las estadísticas publicadas en el Diario La Vanguardia, disponibles en el siguiente enlace https://www.lavanguardia.com/vida/20211206/7888727/algoritmo-sirve-denegar-permisos-presos-pese-fallos.html
[34] La información sobre el funcionamiento de RisCanvi así como las opiniones de expertos sobre dicha herramienta, se encuentran disponibles en esta noticia con las respectivas entrevistas https://www.todonoticia.cl/2021/07/11/prisiones-riscanvi-luces-y-sombras-del-algoritmo-que-ayuda-al-juez-en-cataluna-a-decidir-si-mereces-la-condicional-transformacion-digital-tecnologia/
[35] Si bien no podemos comprobar este extremo, así lo defiende el Magistrado y Catedrático de Penal Daniel Varona. Sus declaraciones pueden verse en el siguiente enlace https://www.lavanguardia.com/vida/20211206/7888727/algoritmo-sirve-denegar-permisos-presos-pese-fallos.html
[36] En palabras de Marisa Díaz, abogada de derecho penitenciario: “La ley es clara sobre las condiciones para pedir permisos o acceder al tercer grado, y no dice nada del Riscanvi. Utilizarlo para denegar es una vulneración grave de derechos” Véanse sus palabras en el reportaje publicado en La Vanguardia https://www.lavanguardia.com/vida/20211206/7888727/algoritmo-sirve-denegar-permisos-presos-pese-fallos.html
[37] Sobre el peso y la importancia de los falsos negativos y positivos véase, ampliamente, el excelente trabajo de .
[38] Una noticia sobre la referida herramienta puede verse en el siguiente enlace https://confilegal.com/20211218-la-carrera-judicial-contara-desde-el-lunes-con-una-aplicacion-basada-en-la-inteligencia-artificial-y-machine-learning/
[39] Información extraída de su propia página web https://jurimetria.laleynext.es/content/Inicio.aspx# También existen otras aplicaciones interesantes como son Tirant Analytics https://analytics.tirant.com/analytics/estaticas/guiausuario/guia_analytics_web.pdf , vLex Analytics https://vlex.es/p/spain-court-analytics/ y Neo de Lefevbre https://lefebvre.es/noticia/nace-neo-la-primera-plataforma-la-gestion-del-conocimiento-juridico-del-mercado-europeo/
[40] Véase el resumen del Informe del CGPJ al Anteproyecto de Ley de Eficiencia Digital https://www.poderjudicial.es/cgpj/es/Poder-Judicial/En-Portada/El-Pleno-del-CGPJ-aprueba-por-unanimidad-el-informe-al-anteproyecto-de-ley-de-Eficiencia-Digital-del-Servicio-Publico-de-Justicia
[46] En un mismo sentido se pronuncia REIFARTH MUÑOZ quien explica que “es posible que la inteligencia artificial produzca desequilibrios en la construcción de una línea de defensa eficaz. La preparación de un asunto con sistemas legaltech es mucho más sencilla, ya que permite procesar datos, comparativas y probabilidades de éxito o fracaso de un determinado asunto con extraordinaria rapidez. En términos generales, la utilización de estos instrumentos es beneficiosa pero puede generar disfunciones cuando solo una de las partes tiene acceso a ellos”, en
[47] Salvando las distancias, el problema referido nos recuerda a lo acontecido en los Estados Unidos donde un joven activista, Aaron Schwartz, trató de “liberar” la jurisprudencia de los tribunales federales de EEUU, a la que se accedía previo pago, descargando la jurisprudencia de PACER para alojarla en la base abierta (open access) de RECAP. Desgraciadamente, este joven acabó suicidándose pues, entre otros problemas, se enfrentaba a décadas de prisión por las descargas realizadas. Más información en el siguiente enlace: https://arstechnica.com/tech-policy/2013/01/internet-pioneer-and-information-activist-takes-his-own-life/
[50] Sobre ello se pronunció con contundencia el Magistrado MARCHENA GÓMEZ quien subraya que “No puedo identificarme, sin embargo, con esta línea de razonamiento y he de expresar mi rotundo rechazo a estos algoritmos predictivos si se interpretan como algo más que un instrumento puramente auxiliar, nunca vinculante -ni siquiera condicionante- al servicio del juez, en quien ha de residenciarse, siempre y en todo caso, la capacidad para afectar la libertad personal de cualquier ciudadano. Sustituir la decisión jurisdiccional por una resolución mecanizada que rinde culto a una supuesta precisión matemática, quebrantaría de modo irreparable las garantías del investigado, de forma especial su derecho de defensa.” en
[53] El plan de estudios, además, incluye seminarios concretos sobre las referidas materias http://portal.uned.es/portal/page?_pageid=93.70656198&_dad=portal&_schema=PORTAL&idTitulacion=262301
[54] Véase el índice de la Unión Europea EU Justice del año 2021 https://ec.europa.eu/info/sites/default/files/eu_justice_scoreboard_2021.pdf
[59] Muy gráfico al respecto se muestra VELASCO NUÑEZ, la aplicación de la IA para la valoración del riesgo de fuga “…es la madre del cordero de la prisión provisional. Saber si la persona se va a escapar en el periodo que falta para el juicio o no. Es el sistema ‘Scoring‘. Con las siguientes variables: 3 puntos si está arraigado, 5 si tiene trabajo… Cuantos más puntos, menos riesgo de que se vaya a fugar”, palabras recogidas en una entrevista publicada en Confilegal el 21 de febrero de 2022 y disponible en el siguiente enlace https://confilegal.com/20220221-jueces-robot-y-comunicaciones-en-blockchain-una-realidad-cada-vez-mas-cercana-en-espana/
[60] El listado al que se refería, sin ánimo de exhaustividad, GIMENO SENDRA, es el siguiente: cómputo del cumplimiento efectivo de las penas (arts. 988.III LECrim y 76 C.P.); Los presupuestos procesales, tales como la jurisdicción (arts.9 y 23 LOPJ) y los conflictos transfronterizos; la competencia objetiva y aforamientos (art. 303 LECrim); competencia sobre conexión de delitos (arts. 17.1.II y 300), competencia territorial (arts.19 y s.s.); la prescripción (arts. 131 y s.s. C.P., 666.3ª LECrim); el perdón del ofendido (arts. 130.1.5º C.P., 106.II LECrim), el indulto (arts. 130.1.4º C.P., 666.4ª LECrim y L. de 18 de junio de 1870) y el suplicatorio (arts. 666.5ª, arts. 11-14 del Reglamento del Congreso de los Diputados y art. 22 del Reglamento del Senado), la cosa juzgada (art. 666.2ª).; Las medidas cautelares civiles (arts. 764, 589 y s.s.), la fianza del acusador popular (art. 280) y el decomiso (arts. 127-127 octies C.P.); Las resoluciones provisionales de prohibición de residencia (art. 544 bis LECrim en relación con los arts. 57 y 48 C.P.) y órdenes de protección (art. 544 ter), la privación provisional, en la instrucción, del permiso de conducción (art. 529 bis LECrim), la suspensión del funcionario prevista en la legislación administrativa, la suspensión provisional de la función o cargo público del procesado en situación de prisión provisional y sospechoso de pertenecer a una organización terrorista o rebelde (art. 384 bis LECrim), la clausura temporal de una empresa y suspensión temporal de las actividades de una sociedad (art. 529.3 C.P.) y el secuestro de publicaciones y la prohibición de difundir las noticias delictivas (arts. 816 y 823 bis) LECrim, 189.8, 270.3 y 510.6 C.P.).; El archivo del atestado por inexistencia de autor conocido (art. 284.2 LECrim).; El sobreseimiento por razones de oportunidad ante los delitos-bagatela (art. 963.1.1ª LECrim).; Los supuestos de mediación penal y/o sentencia de conformidad negociada por razones de oportunidad que, culminadas en la fase intermedia, tengan una tramitación escrita (arts. 784.3 y 787.1); El proceso por aceptación de Decreto (arts. 803 bis.a-803 bis.j); Otras resoluciones: las pruebas del ADN para la determinación del imputado que se efectúan ya mediante algoritmos (arts. 5 L.O. 10/2007 y 3.a del RD 1977/2008) o conjurar el riesgo de reiteración delictiva (art. 129 bis CP), la declaración de rebeldía y de contumacia (arts. 512-514 y 786 LECrim); los plazos de la instrucción (art. 324); la ejecución de una euroorden de detención y entrega (arts. 47 y s.s.) y de una orden europea (arts. 16 y ss L. 23/2014), la petición vinculante de sobreseimiento (arts. 642-645 y 782); resoluciones recurribles (arts. 216 y s.s., 766, 790, 803, 846 bis a), 846 ter, 847 y 976); el depósito del acusador particular (art. 875) y los plazos para la interposición de los recursos (arts. 212, 766.3, 803.1.1ª, 856 y 976.1), etc. En
[62] Sobre la necesaria armonización en el contexto de la Unión Europea, véase, por todos, . Sobre el pronóstico en la aprobación del Reglamento, acierto la autora al considerar que es muy poco probable que entre en vigor antes de 2023, pág. 23.
[63] El plan de trabajo sobre eficiencia digital puede verse en el siguiente enlace https://www.justicia2030.es/eficiencia-digital
[64] Véase al respecto lo que aconteció con los sistemas de reconocimiento facial para la prevención del delito en una conocida cadena de supermercados que fueron duramente cuestionados en el Auto 72/2021 de la Audiencia Provincial de Barcelona, Sección 9ª, Rec 840/2021. En la fundamentación jurídica, la juez alerta que “No todo vale en materia de derechos fundamentales. Estas tecnologías pueden ser realmente intrusivas y requieren de un debate ético y jurídico sosegado, toda vez que pueden tener efectos muy adversos en los valores fundamentales y la integridad humana”. Y ello porque -y con esto concluye la fundamentación jurídica- con el reconocimiento facial no se están protegiendo intereses públicos, sino privados de la persona jurídica y “se estarían conculcando las garantías adecuadas en orden a la protección de los derechos y libertades de los interesados, no ya sólo de los que han sido penados y cuya prohibición de acceso les incumbe, sino del resto de personas que acceden al citado supermercado”
[65] Véase el informe al Anteproyecto, párrafo 168 https://www.poderjudicial.es/cgpj/es/Poder-Judicial/Consejo-General-del-Poder-Judicial/Actividad-del-CGPJ/Informes/Informe-al-anteproyecto-de-Ley-de-Eficiencia-Digital-del-Servicio-Publico-de-Justicia--por-la-que-se-transpone-al-ordenamiento-juridico-espanol-la-Directiva--UE--2019-1151-del-Parlamento-Europeo-y-del-Consejo--de-20-de-junio-de-2019--por-la-que-se-modifica-la-Directiva--UE--2017-1132-en-lo-que-respecta-a-la-utilizacion-de-herramientas-y-procesos-digitales-en-el-ambito-del-Derecho-de-sociedades. Seguidamente, se constata ese enfoque prudente cuando afirman que “Esperar al resultado del procedimiento legislativo de la Unión sobre la propuesta de Reglamento sobre inteligencia artificial es una opción recomendable, antes de abordar la regulación de las denominadas actuaciones asistidas en nuestro ordenamiento jurídico”.
[66] Sobre ello se pronunció con brillantez DE LA OLIVA SANTOS quien sostiene que “Quien legisla tiene el deber de informarse e ilustrarse para hacer leyes practicables que supongan mejoras, pero eso es una cosa y otra, bastante distinta, que los afectados por la norma tengan algún derecho, escrito o supralegal, a estar representados corporativamente en su elaboración.” en su Blog “Por Derecho” entrada de 12 de marzo de 2012 https://andresdelaoliva.blogspot.com/
[67] En total consonancia con el planteamiento de SIMÓN CASTELLANO, que mantiene una posición “ambivalente” situada “en el centro de los extremos y que trata de aprovechar las ventajas del avance técnico sin dejar de alertar de los extremos y aristas que esta despliega, fijando ciertas líneas rojas”
Downloads (Last 12 months)
