The binomial that is generated, after the use of intelligent systems in the legal field, between procedural efficiency and the rights and guarantees that assist the parties in criminal proceedings, highlights the opportunity to carry out an analysis of the requirements and characteristics that, prior to their use, intelligent algorithms must have and, also, the data that make up these systems. For this reason, the main purpose of this paper will be to highlight, with regard to the figure of effective judicial protection, the main problems that arise in relation to the jurisdictional function, the motivation of the sentence and the right to appeal in order to, subsequently, develop certain guidelines that, eventually, provide these algorithmic systems with the reliability and quality necessary to be used, for assistance purposes, by the judicial body in the administration of justice.
La irrupción de la inteligencia artificial en el ámbito jurídico ha propiciado, sin duda alguna, la creación de un nuevo paradigma digital en el que la tecnología debe conjugarse con los derechos y garantías procesales que asisten y pertenecen a las partes involucradas en un proceso judicial.
Desde el punto de vista del proceso penal, el pretendido y deseado equilibrio entre estos dos elementos (inteligencia artificial y derechos), tiende a resultar más controvertido aún si cabe, por el valor de los bienes jurídicos en juego y por la necesidad de garantizar un proceso justo e igualitario en todas las fases del mismo. En este sentido, la aplicación de los sistemas inteligentes está dibujando, de forma paulatina, un paradójico contexto de inseguridad para el mantenimiento de las garantías procesales y, a su vez, para lograr la pretendida tutela judicial efectiva.
El objetivo de este trabajo será despejar ciertas incógnitas en torno a la utilización de la inteligencia artificial en el proceso penal y valorar la posibilidad de que los sistemas predictivos puedan, eventualmente, ocasionar una injerencia en la salvaguarda de los derechos de las partes, desvirtuando el contenido esencial de la tutela judicial efectiva.
Al respecto, será oportuno poner de manifiesto los riesgos que entraña, por un lado, la utilización de los algoritmos predictivos, enfatizando la controversia latente sobre los datos, su representatividad, empleo, transparencia y explicabilidad y, por otro lado, el uso de los sistemas inteligentes en la toma de decisiones por parte del órgano judicial, como complemento o sustituto del mismo, examinando las repercusiones que esto puede suponer para la motivación de las sentencias y el posterior planteamiento de los recursos procedentes.
Finalmente, y tomando como referencia el artículo 23 de la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y no discriminación, relativo a la Inteligencia Artificial y a los mecanismos de toma de decisión automatizados, examinaremos el citado precepto con el propósito de analizar su virtualidad y contemplar si las pautas descritas en aquel pueden solventar, de alguna forma, la problemática que gira en torno a los algoritmos y los sesgos inherentes a estos. Para ello, será conveniente estudiar, a su vez, el proyecto elaborado por el Instituto Nacional de Estándares y Tecnología de EEUU (NIST) que, con el objetivo de detectar y aminorar la presencia de sesgos, han elaborado unas pautas ciertamente sugestivas, cuya traslación a nuestro ordenamiento jurídico podría coadyuvar a solventar los problemas descritos y a propiciar la efectividad y el mantenimiento de las garantías y derechos de las partes cuando, en el seno de un proceso penal, se utilicen sistemas de inteligencia artificial.
La resolución de un conflicto a través de la vía jurisdiccional conlleva la puesta en marcha de un sistema judicial garantista que, priorizando los derechos de las partes y salvaguardando sus garantías procesales en aras al principio de igualdad, pretende lograr la búsqueda de una solución justa y fundamentada en la ley.
Paralelamente a esta idea, no debemos ser ajenos a los perjuicios intrínsecos englobados bajo el sintagma de la penosidad del proceso penal que, para las partes involucradas en el conflicto jurídico, supone la apertura y pendencia de un proceso judicial. A ello, debe añadirse, en la actualidad, las diversas y controvertidas manifestaciones que la inteligencia artificial está experimentado en el ámbito jurídico como consecuencia de su implementación en el seno de los procesos, aunque, como indica NIEVA FENOLL, la expectativa suscitada en torno al empleo y rendimiento de estos sistemas no se corresponde con la vigencia real de los mismos.
La aplicación de la inteligencia artificial en los entornos jurídicos responde a una incontrolable inercia digital y tecnológica que abarca distintos sectores de nuestra vida cotidiana y a los que la administración de justicia no debe mantenerse al margen pues, en palabras de SOLAR CAYÓN, dicha institución “podría correr el riesgo de perder relevancia social si no es capaz de adaptarse al cambio tecnológico y de responder de una manera eficaz a las necesidades, demandas y hábitos de los ciudadanos”.
En consecuencia, conjugar la utilización de los sistemas inteligentes o predictivos con el desarrollo del debido proceso, supone un reto de indudable trascendencia que ha superado las fronteras nacionales para convertirse, como se verá en los epígrafes posteriores, en un desafío tratado a nivel europeo e internacional.
Al respecto, son varios los documentos que pretenden asentar las bases de una inteligencia artificial fiable y eficaz y que, a su vez, han supuesto un punto de partida para detectar ciertos obstáculos que, necesariamente, deben ser neutralizados o atemperados si consideramos oportuna su definitiva inclusión en el ámbito jurídico. En relación con lo indicado es oportuno destacar, por la materia objeto de tratamiento, el Reglamento del Parlamento Europeo y del Consejo por el que se establecen las normas armonizadas sobre la inteligencia artificial, también denominado “Ley de Inteligencia Artificial”. En este texto, se cataloga de alto riesgo, en asuntos relacionados con la aplicación de la ley, el empleo de “sistemas de IA destinados a utilizarse por parte de las autoridades encargadas de la aplicación de la ley para llevar a cabo evaluaciones de riesgos individuales de personas físicas con el objetivo de determinar el riesgo de que cometan infracciones penales o reincidan en su comisión, así como el riesgo para las potenciales víctimas de delitos” o “sistemas de IA destinados a utilizarse para llevar a cabo análisis sobre infracciones penales en relación con personas físicas que permitan a las autoridades encargadas de la aplicación de la ley examinar grandes conjuntos de datos complejos vinculados y no vinculados, disponibles en diferentes fuentes o formatos, para detectar modelos desconocidos o descubrir relaciones ocultas en los datos”, entre otros.
Esta clasificación invita a considerar si el empleo de la inteligencia artificial en el proceso judicial supone una oportunidad o, por el contrario, un importante desafío para las garantías inherentes al proceso. Con independencia de la solvencia con la que se resuelva esta cuestión, lo cierto es que los sistemas inteligentes ya se aplican -con mayor o menor frecuencia- en nuestro sistema procesal y, además, las modificaciones legislativas se dirigen a reforzar un escenario procesal cada vez más tecnológico e inteligente.
No obstante, al realizar una somera aproximación terminológica al concepto “Inteligencia Artificial” observamos que nos encontramos ante una concepción evolutiva, sin aspiración alguna de estanqueidad y sujeta a una metamorfosis tecnológica en pleno desarrollo que pretende reproducir o imitar, tal y como afirma ARMENTA DEU, “la forma de aprender y razonar del cerebro humano, construyendo simulaciones más o menos complejas en formas de redes neuronales”.
El binomio generado entre la máquina y el ser humano se ha trasladado al sistema judicial siendo varios los autores que han discernido sobre la hipotética existencia del denominado juez robot y de las consecuencias que ello podría suponer, con carácter general, en los procesos judiciales y, particularmente, en la tutela judicial efectiva de las partes. Por otro lado, al ahondar en el fenómeno de la IA debemos plantearnos, en atención al riesgo que conlleva su utilización, cuáles son los fallos sistémicos de los algoritmos que componen los sistemas y despejar las dudas existentes acerca de su eventual evitabilidad con el propósito de poder conjugar el elemento tecnológico con la salvaguarda de los derechos y garantías.
El algoritmo definido como el “conjunto de instrucciones o reglas definidas y no ambiguas, ordenadas y finitas que permite, típicamente, solucionar un problema, realizar un cómputo, procesar datos y llevar a cabo otras tareas y actividades” se configura como un ítem controvertido en la elaboración y puesta en marcha de sistemas inteligentes pues, son varios los inconvenientes que, con carácter previo a la elaboración del mismo, se deben tener en cuenta para conformar el modelo del sistema.
Tal y como indica MURILLO FUENTES el algoritmo será el encargado de ajustar el modelo del sistema inteligente con los datos de entrenamiento que disponga, encontrándonos, en este momento, con un obstáculo significativo en relación con la representatividad de la muestra y, desde una perspectiva más técnica, con los eventuales errores que se puedan producir en el etiquetado de los mismos.
La representatividad de los datos que nutren el sistema tiene una importancia transcendental ya que serán aquellos elementos sobre los que se fundamente el algoritmo. No obstante, conscientes de que la inteligencia artificial se caracteriza por la asimilación y conjugación de una cantidad ingente de datos, debemos dar un paso más allá y convenir como debe ser la muestra y, a su vez, valorar la posibilidad -en función de las necesidades intrínsecas del sistema- de que la muestra vaya perdiendo representatividad tanto por el transcurso del tiempo, como por el propio desarrollo tecnológico que experimente el mismo.
Esta circunstancia, además de provocar la obsolescencia en la muestra, produciría una perpetuación en cuanto a los datos que nutren el sistema y, a su vez, la estandarización de las resoluciones judiciales. Al respecto, la muestra inicial con la que parte el sistema toma datos del pasado lo que permite dibujar, a priori, un esbozo de la situación inmediatamente anterior, a la puesta en funcionamiento del programa. No obstante, los resultados que arroje la máquina basados en esos datos, únicamente van a perpetuar un mismo estándar de decisión que, a su vez, generará nuevos valores fundamentados en la retroalimentación pasada. En este sentido, la retroalimentación de los nuevos ítems, fundamentada en los datos obtenidos en un momento pretérito, producirá una estanquidad jurídica indeseable dentro de un contexto socio-jurídico que debe adaptarse a los cambios y, en cierta medida, a las nuevas demandas sociales con proyección en el ordenamiento jurídico.
De igual modo, es preciso que, en relación con la muestra representativa de los datos, estos estén etiquetados de forma correcta pues, en caso contrario, los resultados que arroje el sistema no serán fiables y estarán ciertamente condicionados a una previa catalogación errónea.
En el correcto etiquetado de los datos, la intervención humana es necesaria y, además, determinante ya que esta labor, consistente en atribuir a cada dato un valor clasificado dentro de cada etiqueta, contribuirá posteriormente a que el sistema de inteligencia artificial pueda ir asimilando las características individuales del etiquetado, aumentando su base cognoscible y pudiendo llegar a asimilar de forma autónoma nuevos valores.
Sin embargo, el alcance de esta función atributiva de valores se encuentra condicionada, en primer lugar, por el correcto etiquetado que realice el ser humano y, en segundo lugar, por el propio aprendizaje autónomo que lleve a cabo el sistema en base a ese etiquetado previo. Por ello, es oportuno que esta labor se desempeñe de manera objetiva y huyendo de significados ambiguos por el impacto que ello puede tener en la implementación real de estos sistemas.
Debemos tener en cuenta que, si el etiquetado no se realiza siguiendo unos parámetros de objetividad y suma concreción, nos podremos encontrar con uno de los problemas más significativos de la inteligencia artificial: los sesgos.
El sesgo conceptuado como “aquella inclinación que favorece o perjudica a una persona, objeto o posición” representa el mayor óbice de los sistemas inteligentes y su resolución, lejos de resultar factible, muestra múltiples aristas que, sin lugar a duda, van a comprometer la eficacia y salvaguarda de la tutela judicial efectiva, como veremos más adelante.
Para tratar de evitar la perpetuación del sesgo, en un primer estadio debemos identificar el origen del mismo o, planteado desde otra perspectiva, delimitar cuales son los componentes del sistema que pueden ser especialmente vulnerables. Al respecto, son varios los autores que se han manifestado sobre esta cuestión aludiendo a los datos que nutren el sistema, a la creación del algoritmo e incluso, a los propios prejuicios humanos.
En la línea indicada, AZUAJE PIRELA Y FINOL GONZÁLEZ sostienen que el origen puede encontrarse en las bases de datos que nutren el sistema inteligente, concretamente, por no contener una muestra aleatoria estadísticamente válida o por reflejar un historial de decisiones basadas en esas muestras. Por su parte BORGES BLÁZQUEZ afirma que “los datos van a tener los mismos sesgos y perjuicios que tiene el ser humano que programa la máquina. En otras palabras, las máquinas van a ser racistas, sexistas y clasistas si lo son sus programadores”, lo cual puede suponer, como manifiesta AMUNÁTEGUI PERELLÓ, que “el sesgo sea reproducido por el modelo e incluso amplificado, proyectándolo hacia el futuro”.
Desde una perspectiva más analítica, debemos clarificar que el sesgo puede aparecer en distintos momentos durante la creación del algoritmo y su puesta en marcha. De esta forma, el error sistemático que se apreciará, con carácter posterior, tras el resultado arrojado por la máquina, puede provenir de un momento incipiente durante el diseño de la herramienta de inteligencia artificial, cuando los programadores plantean el objetivo principal. Igualmente, puede tener su origen en la muestra de datos o en el etiquetado de los mismos que, desde luego, condicionará el desarrollo del algoritmo replicando aquellos perjuicios, ideologías y valores personales que se reflejarán en el carácter individual del programador o diseñador del algoritmo y, con un enfoque más finalista, si el sesgo no ha aparecido en la fase inicial de forma manifiesta, podemos encontrarnos en un escenario más controvertido, aún si cabe, cuando sea el propio sistema inteligente el que, a través de la reproducción sistémica de modelos, pueda replicar determinados patrones adquiriendo, de forma autónoma, sesgos intrínsecos al sistema como resultado de un etiquetado ambiguo o inexacto.
En definitiva, se puede apreciar que el riesgo real de que el sistema falle es, en términos probabilísticos, extremadamente alto al contener diversos componentes que, a priori, no se encuentran exentos de ser susceptibles a la asimilación de conceptos y estereotipos que parten de la programación que realiza el ser humano con carácter previo.
En este sentido y tomando como referencia el origen del sesgo en los sistemas inteligentes, podemos diferenciar distintos tipos de sesgos algorítmicos:
Atendiendo a lo descrito, será conveniente analizar cómo y de qué manera los sesgos inherentes a los sistemas inteligentes pueden conllevar, en el ámbito judicial, a un retroceso en materia de garantías, comprometiendo la eficacia de la tutela judicial efectiva y, a su vez, de la potestad jurisdiccional atribuida al juez legal.
Las distintas manifestaciones que está experimentado la inteligencia artificial en el sector jurídico y, concretamente, en el ámbito procesal, conlleva a realizar una reflexión de todos aquellos conceptos y derechos que, de forma indirecta, se encuentran comprometidos o condicionados en el escenario de un proceso judicial inteligente.
Como indicó BARONA VILLAR nos encontramos “no solo ante cambios que propulsan la aceleración de la manera de configurar la tutela y la Justicia, sino ante la búsqueda de una Justicia eficiente, ágil, sostenible, que garantice y cueste poco”. Esta dicotomía existente entre las garantías y la eficiencia motiva, no solo la reformulación de principios que hasta hace escasos años eran absolutamente inmutables, sino que, además, de forma indirecta y quizás inconsciente, vamos progresivamente asentando las bases hacia la concepción de un proceso judicial inteligente que, aunque no llegue a despersonalizar -en su totalidad- al proceso judicial, numerosas funciones procedimentales o asistenciales son asignadas en aras de la eficiencia a la máquina.
Por lo tanto, vamos a analizar a continuación desde la óptica judicial de qué manera el “eficientismo tecnológico” está modificando las labores tradicionales asignadas al juez legal y cómo ello, puede contravenir la evolución de la tutela judicial efectiva en relación con la potestad jurisdiccional, la motivación de la sentencia y el derecho al recurso.
Como se ha avanzado anteriormente, la implementación en el proceso judicial de herramientas inteligentes está, paulatinamente, desdibujando los límites objetivos y subjetivos de la función jurisdiccional. Este fenómeno, no solo está teniendo lugar a nivel nacional, sino que en el ámbito internacional son varias las experiencias en las que el juez es sustituido por la máquina inteligente, aunque, ciertamente, no todas muestran el mismo grado de satisfacción, llegando incluso a prohibir el uso de estos sistemas considerando que pueden suponer una amenaza para la independencia judicial o suponer una vulneración del artículo 8.2 del Convenio Europeo de Derechos Humanos.
Nuestra postura al respecto es clara y sin ambages; los sistemas de inteligencia artificial pueden desempeñar una función meramente asistencial del juez -para lo cual se precisarán una serie de requisitos indispensables para su correcto ejercicio- pero, en ningún caso, la potestad jurisdiccional podrá desempeñarse por los denominados jueces-robots.
En un proceso judicial absolutamente digitalizado e inteligente podríamos llegar a reconocer que, en términos de eficiencia, la inteligencia artificial podría ser una solución aceptable para solventar todos aquellos problemas -como la lentitud de la justicia- que se encuentran unidos a una insuficiencia de medios tanto humanos como económicos. Sin embargo, y en nuestra modesta opinión, debemos primar las garantías y derechos de las partes a la luz de todos los obstáculos intrínsecos a los sistemas inteligentes.
No obstante, esta no es la única razón que debe ser tenida en cuenta ya que, tal y como indica BUENO DE MATA “la inteligencia artificial no puede usarse para sustituir al juez, pues ello atentaría de manera frontal con lo que entendemos hoy en día por función jurisdiccional como actividad exclusiva y excluyente de jueces y magistrados consistente en juzgar y hacer ejecutar lo juzgado”.
Al respecto, y si acudimos al artículo 117 y 24.2 de la Constitución Española -en adelante CE-, debemos tomar en consideración, de igual modo, la vulneración que podría producirse en el derecho al juez legal o natural que, apoyado exclusivamente en el ordenamiento jurídico y velando por su estricto cumplimiento, será el encargado de asumir la resolución del conflicto en base a las reglas de atribución de la competencia.
Este último aspecto, invita a reflexionar sobre la posibilidad de mantener o no estas reglas competenciales atendiendo a criterios objetivos, funcionales y territoriales pues, entendemos que la asunción de la potestad jurisdiccional por jueces-robot eliminaría la especialización por materias y, quizás, en un escenario guiado por los sistemas inteligentes, la transformación del proceso judicial implicaría, a su vez, asumir la modificación de las normas de atribución competenciales en el ámbito territorial. En este escenario paradójico caracterizado por la implementación de todos los avances tecnológicos, probablemente se perdería, en determinados casos, la inmediatez con el órgano judicial que, atendiendo a la nueva figura del juez inteligente, precisaría de otros requisitos para acreditar la intervención de las partes en el procedimiento como, por ejemplo, el reconocimiento facial a través de datos biométricos.
Por otro lado, la asunción de las funciones jurisdiccionales por la máquina nos situaría en un escenario judicial altamente digitalizado en el que los principios tanto del proceso como del procedimiento serían objeto de reformulación.
Sin embargo, como podrá advertir el lector, todas estas cuestiones que se acaban de apuntar someramente, conducen a una despersonalización del sistema judicial en donde la labor jurisdiccional quedaría vacía de contenido provocando la erradicación de la interpretación judicial. Bajo esta premisa, se abre un debate interesante acerca de la capacidad que tendrán los sistemas inteligentes de replicar el pensamiento humano, no obstante, debemos apuntar que la eventual simulación de los procesos cognitivos excede el ámbito de actuación de la inteligencia artificial carente de emociones, de sentimientos y de percepciones.
Al respecto, podríamos plantearnos como indica LLANO ALONSO si la decisión robotizada podría llegar a ser una nueva forma de razonamiento jurídico y lograr la consideración de verdadera justicia. Para solventar esta cuestión, debemos concretar que el razonamiento jurídico se compone de una combinación de tareas lógicas, interpretativas, deductivas y, en cierta medida, emocionales. Por esta razón, compartimos la afirmación realizada por ARMENTA DEU al sostener que “resulta imposible que la máquina alcance a valorar las subjetividades propias del ser humano, así como que los programas cibernéticos alcancen la empatía necesaria para juzgar con calidad ya que para que la tecnología emule al cerebro, primero habría que conocerse todo sobre el mismo, algo muy alejado de la realidad”.
No obstante, el problema en cuestión radica, siguiendo a NIEVA FENOLL, en que “una máquina no podrá experimentar jamás emociones, pero sí puede actuar como si las estuviera sintiendo (…) y ello es relevante porque con gran frecuencia el juez decide sometido a estados emocionales”.
Sin embargo, aceptando la premisa manifestada por el citado autor no debemos reducir la labor del juez a cierta previsibilidad judicial y tampoco, equipararlo a unas funciones estadísticas o porcentuales que contribuyan a subyugar el caso concreto a la pretendida generalidad jurídica inserta en el sistema inteligente.
Por otra parte, no debemos olvidar que la labor judicial no se ciñe exclusivamente a la resolución jurídica del conflicto, sino que vela, igualmente, por el mantenimiento de los derechos y garantías de las partes asumiendo su protección a lo largo de todo el proceso y procurando el correcto desarrollo del mismo, acciones que parecen a priori difícilmente asumibles por el sistema inteligente. A ello debemos unir, tal y como indica SOLAR CAYÓN, que la sentencia es el último eslabón de una operación sumamente compleja que implica (y es el resultado de) una serie de tareas heterogéneas llevadas a cabo a lo largo de distintas fases del proceso, las cuales pueden ser o no susceptibles de automatización. Es decir, la función jurisdiccional se compone de multitud de aristas y labores derivadas del impulso del proceso y de la idiosincrasia judicial, difícilmente programables o estandarizables.
Partiendo del análisis realizado en torno a la sustitución del juez por los sistemas inteligentes procede ahora determinar, de forma concreta y detallada, cuales son aquellos aspectos que deben ser examinados con cierta cautela en dos escenarios procesales distintos: en primer lugar, cuando el juez humano utiliza los sistemas inteligentes como herramientas de asesoramiento y fundamentación para la toma de decisiones judiciales y, en un segundo escenario más futurible, cuando es el juez robot el que debe tomar la decisión judicial. Como veremos a continuación, a pesar de las diferencias evidentes que existen entre los dos modelos de resolución, ambos tendrán las mismas consecuencias en relación con el derecho al recurso y su afectación al derecho de defensa.
La utilización de sistemas de inteligencia artificial con carácter predictivo y/o asistencial atendiendo a la valoración del riesgo en el seno de los procesos judiciales es, hoy en día, una realidad. Las vicisitudes que surgen en torno al carácter asistencial de estas herramientas dependerán del momento en que sean utilizadas dentro del proceso y, concretamente, de la fiabilidad que se les brinde.
Como ejemplo, debemos detenernos brevemente en el Sistema de Seguimiento Integral en los casos de Violencia de Género (VIOGEN) cuya puesta en funcionamiento en julio de 2007 vino a dar cumplimiento a lo dispuesto en la Ley Orgánica 1/2004, de 28 de diciembre, de Medidas de Protección Integral contra la Violencia de Género.
Entre sus funciones principales se encuentra la de realizar predicciones acerca del riesgo que sufre la mujer víctima de violencia de género y, en función del resultado arrojado por el sistema VIOGEN, realizar el oportuno seguimiento otorgando una protección efectiva e individualizada atendiendo a las circunstancias concretas de cada caso.
En este sentido, VIOGEN actúa como una herramienta de valoración del riesgo que, a través de los datos que proporciona la denunciante en un sencillo cuestionario previamente definido por el sistema, se arroja un resultado valorativo como consecuencia de la aplicación del algoritmo contenido en la herramienta predictiva. La valoración que realiza el sistema incorpora cinco niveles de riesgo a los que se expone la víctima respecto de su agresor: no apreciado, bajo, medio, alto y extremo, catalogación que, con posterioridad, será tenida en cuenta por el órgano judicial y por los propios agentes para valorar el establecimiento de medidas de protección.
Como puede advertirse tras lo expuesto, se pone de manifiesto un aspecto ciertamente cuestionable al depender la adopción de las medidas de protección del resultado que adopte el sistema; no solo por la ambigüedad y falta de concreción de los extremos tomados en consideración en la elaboración del cuestionario, sino también, por la discutible fiabilidad de la herramienta. Ambos extremos fueron tratados en la Sentencia de la Audiencia Nacional 2187/2019, de 30 de septiembre en la que se condenó al Ministerio del Interior por un craso error en la valoración del riesgo que ocasionó la denegación de la orden de protección a una víctima de violencia de género que, posteriormente, fue asesinada por su agresor al que previamente había denunciado.
De la citada sentencia, son varios los aspectos que conviene destacar en relación con la utilización del sistema VIOGEN:
En primer lugar, la utilización del sistema valorativo del riesgo debe llevarse a cabo de manera automática en atención a lo descrito en los protocolos elaborados en la materia. Sin embargo, esta circunstancia no obsta para que el agente lleve a cabo una actuación complementaria y diligente. Al respecto el fundamento jurídico tercero de la citada sentencia señala con acierto que: la actuación de los agentes ante situaciones de violencia de género no debería quedar limitada a aspectos formales de atención a la denunciante, asistencia, información de derechos y citación a juicio, sino que su actuación exige una atención preferente de asistencia y protección de las mujeres que han sido objeto de comportamientos violentos en el ámbito familiar, a los efectos de prevenir y evitar, en la medida de lo posible, las consecuencias del maltrato.
En segundo lugar, se desprende de la resolución judicial la escasa o nula actuación de los agentes que, ciñéndose de forma exclusiva y excluyente a la valoración realizada por VIOGEN, no llevaron a cabo las actuaciones pertinentes de investigación, condicionando la adopción de la medida de protección que la víctima requería y demandaba. A su vez, debe tenerse en cuenta que el resultado arrojado por el sistema de inteligencia artificial le otorgó la calificación de “riesgo bajo”, la cual fue considerada por los agentes como “no apreciado”.
En tercer lugar, tal y como apunta la resolución, la medición policial del riesgo no es decisiva para el juez, pero es información especializada de asesoramiento útil para la valoración judicial de la situación objetiva de riesgo para la víctima. En consecuencia, la utilización de este tipo de sistemas no debe condicionar la debida diligencia tanto del órgano judicial como de las FFCCSS. Por esta razón, consideramos conveniente que se les otorgué una validez parcial en aras a potenciar el carácter accesorio de sus resultados, ya que, en caso contrario, los sistemas inteligentes parecen adquirir una fiabilidad indiscutible llegando incluso a suplir y desdeñar las debidas investigaciones policiales.
Al respecto, no debemos olvidar que la utilización de estos sistemas inteligentes no constituye un fin en sí mismo, sino que tienen un carácter meramente instrumental supeditado, en todo caso, a la justicia y a la correcta y debida aplicación del ordenamiento jurídico. Por ello, el carácter accesorio o complementario del empleo de estas herramientas en la resolución del conflicto, tiene notables repercusiones en relación con el modo o la forma en la que el órgano judicial los utiliza para motivar una resolución de carácter definitiva o interlocutoria.
En este sentido, la exigencia de la motivación, contemplada en el artículo 120. 3 de la CE, representa un mandato constitucional dirigido a los integrantes del poder judicial, consistente en la exposición argumentativa de las razones que justifican la decisión alcanzada por el órgano judicial.
Desde una concepción democrática del proceso judicial puesta de relieve por FERRER BELTRÁN, la finalidad de la motivación es “ofrecer una explicación a la sociedad de la justicia que imparten los tribunales”, es decir, argumentar de manera objetiva, clara y sincrética cuales son los motivos fundamentados que han dirigido al órgano judicial a adoptar tal decisión.
A priori, la utilización de sistemas inteligentes como elementos que pueden influir, en mayor o menor medida, en la convicción judicial parece ciertamente incompatible con el deber de motivación que debe constar en la sentencia. Esta discordancia, fruto de la opacidad y de la falta de explicabilidad que caracteriza la inteligencia artificial nos dirige hacia dos escenarios opuestos, pues si aceptamos la irrupción de esta tecnología en el ámbito procesal y la dotamos de un carácter decisorio deberemos aceptar una reformulación o modificación de los criterios que, tradicionalmente, han conformado la elaboración de las decisiones judiciales y, a su vez, deberemos flexibilizar el contenido esencial de las garantías procesales en detrimento de las partes. Por otro lado, en un contexto mucho más garantista y, desde luego, más deseable, tendremos que ser conscientes de las limitaciones tecnológicas y no dejarnos llevar por un pragmatismo digital que encierra un aumento exponencial de controversias en materia de garantías, difícilmente conjugables en nuestro modelo procesal.
Al respecto, no podemos determinar cómo tendría que ser la motivación que realizase el órgano judicial sobre la utilización de los sistemas inteligentes, ni tampoco concretar en qué medida el algoritmo ha sido tenido en cuenta, ni mucho menos podríamos explicar cómo el sistema ha logrado hallar, para el caso concreto, un resultado determinado basándose en datos genéricos que distorsionan las posibles variables a aplicar.
Sencillamente, no lo podríamos hacer porque el órgano judicial carece, al igual que el resto de los operadores jurídicos, de la información necesaria para poder garantizar que su utilización en el proceso judicial no afectaría de manera negativa a los derechos que asisten y pertenecen a las partes. Entre otras razones, por las siguientes:
En consecuencia ¿Cómo podrá justificar su decisión en una herramienta que alberga unos entresijos tecnológicos inexplicables, en ocasiones, para el ser humano? Desde una perspectiva pragmática o eficientista del proceso, la solución consistiría en articular una fundamentación estadística o probabilística que, desde el punto de vista formal, advirtiera cual es el sistema concreto que se ha utilizado, qué resultado ha albergado y en qué medida, subjetivamente, el juez le otorga la credibilidad suficiente para poder apoyarse en el sistema. Sin embargo, en nuestra modesta opinión, esto conllevaría a un reduccionismo insalvable de la función judicial, desnaturalizándose los criterios interpretativos y, además, implicaría una suerte estadística o previsible que, desde luego, se aleja del caso concreto y particular.
A ello debe sumarse, además, que la motivación debe revestir un carácter jurídico y el empleo de esta tecnología responde a parámetros probabilísticos pero, en ningún caso, jurídicos, por lo que nos hallaríamos ante una fundamentación algorítmica que, en su caso, tendría que complementar la fundamentación jurídica, procurando todas las cautelas precisas para evitar que la fundamentación algorítmica llegue a suplir o sustituir a la debida fundamentación jurídica.
A la vista de lo expuesto, y como ya se ha adelantado anteriormente, la figura del juez-robot, implicaría una transformación absoluta en el modelo procesal actual, así como en los principios y garantías inherentes al mismo y, en consecuencia, produciría un cambio de paradigma en relación con la evolución de la tutela judicial efectiva, algo que bajo nuestra perspectiva no es negociable.
Sin embargo, debemos mostrar nuestra preocupación al respecto pues, existe una corriente prácticamente unánime -entre la que nos encontramos- que acepta sin reparos la automatización del proceso en cuestiones meramente procedimentales y formalistas, pero esta cuestión, no debe llevarnos hacia una inercia tecnológica que nos abogue hacia un proceso inteligente o completamente automatizado. Aceptar la primera premisa, no implica asumir la segunda, al menos teóricamente. Veremos con el paso del tiempo, que sucede en la práctica.
Si los sistemas inteligentes van a condicionar la motivación de la sentencia que adopte el órgano judicial, idéntica repercusión se replicará, en el derecho al recurso.
De esta forma, los abogados de las partes encontrarán serias dificultades a la hora de formular sus recursos ya que carecerán de los conocimientos técnicos necesarios a los que no han podido tener acceso por la falta de transparencia algorítmica que resulta inherente a los sistemas inteligentes. Este óbice dificulta su derecho de defensa ya que, difícilmente, podrán plantear un recurso frente a un funcionamiento que es absolutamente desconocido, en todos sus extremos, tanto para las partes de un proceso, como para el propio órgano judicial.
Así, el órgano judicial se encontrará en una situación de dificultad similar pues, en la resolución del recurso planteado, tampoco dispondrá de los conocimientos necesarios para comprobar si el sistema ha fallado o se encuentra sesgado y determinar, en consecuencia, si la causa que origina la impugnación es real, si ha producido indefensión a las partes y en qué medida ha condicionado la obtención de un resultado que, de haberse producido en base a otras variantes, hubiera motivado una resolución en sentido contrario al obtenido.
Como se ha puesto de manifiesto en epígrafes anteriores, la utilización de la inteligencia artificial en el entorno jurídico nos sitúa ante un nuevo paradigma en el que la evolución de la tutela judicial efectiva se encuentra unida, aparentemente, a la conjugación de nuevas tecnologías que comprometen la efectividad de las garantías procesales de las partes.
Al respecto, es oportuno partir de una premisa básica: para que los sistemas inteligentes puedan tener cabida dentro de un proceso penal garantista, es necesario que los algoritmos que componen el sistema sean transparentes y, a la vez, explicables.
Ambos conceptos, adolecen en la actualidad de una correlación indisoluble, es decir, el algoritmo puede ser transparente y por lo tanto conocido, pero inexplicable al no poder concretar cuáles son las operaciones llevadas a cabo para alcanzar el resultado arrojado por la máquina.
En este sentido y siguiendo el criterio descrito por CORVALÁN “la IA debe poder explicar en un lenguaje comprensible para los seres humanos en qué factores se basa y cómo pondera los elementos que la sustenta” ya que, en caso contrario, su utilización en el proceso penal no sería posible pues estaríamos admitiendo una merma en las garantías de las partes primando la eficiencia del proceso.
Tanto el principio de transparencia algorítmica como el principio de explicabilidad, implican que ambos se articulen de una forma concreta y sean los pilares sobre los que se asiente la futura formulación que se lleve a cabo sobre la irrupción algorítmica en el proceso. Así, entendemos que, por un lado, el principio de transparencia algorítmica podría reforzar el principio de publicidad procesal al tener la posibilidad de conocer el algoritmo y, por otro lado, el principio de explicabilidad, en relación con la motivación de la sentencia, favorecería la fundamentación jurídica que se adopte al disponer, el órgano judicial, de toda la información necesaria para poder corroborar los eventuales sesgos del sistema, aportando, así, mayor seguridad jurídica.
Ambas propuestas podrían, con carácter eventual, solventar varias de las vicisitudes, en materia de garantías, enunciadas con carácter previo; si conocemos cómo funciona el sistema, el derecho a obtener una resolución motivada y el derecho al recurso, no encontrarían mayores problemas. Sin embargo, la posibilidad de que el algoritmo sea conocido y explicable implica un conflicto de intereses entre la función pública a la que estaría destinado y las aspiraciones comerciales de carácter privado que podrían implicar un conflicto en materia de propiedad intelectual e industrial.
Para solventar esta problemática, se podría proponer la creación de algoritmos de carácter público diseñados por la propia administración de justicia, que no solo evitarán la confluencia de intereses privados y ajenos a los principios del debido proceso sino que, además, supondrá la creación de nuevos puestos de trabajo en el ámbito público impulsando, de esta forma, la creación de nuevas profesiones, en el entorno de la administración de justicia, surgidas al albor de la inteligencia artificial.
A ello, debe añadirse, además, que el tratamiento de los datos que conformaran la muestra representativa deberá partir, igualmente, de los datos derivados por la propia administración de justicia, lo que facilitará la asimilación de los mismos y su etiquetado.
Por otro lado, esta alternativa implicaría, en materia de responsabilidad, una asunción completa evitando, así, la exención de responsabilidad a la que, de manera frecuente, aluden los desarrolladores privados. De esta manera, podría atribuirse dicha responsabilidad -con carácter general- a través de la figura relativa al funcionamiento anormal de la administración de justicia, en virtud de la cual, deberá examinarse con detenimiento (al igual que sucedió en el caso de VIOGEN) cual fue la conducta llevada a cabo por el propio órgano judicial y por las FFCCSS o -con un carácter más particular y excepcional- mediante la figura del error judicial, si entendemos que el error se ha producido, única y exclusivamente, como consecuencia de la utilización de sistemas algorítmicos.
En relación con las eventuales soluciones que podrían paliar los problemas derivados de la opacidad del algoritmo, recientemente, en nuestro ordenamiento jurídico, se ha incorporado un precepto que sigue la línea indicada y que, además, incorpora un extremo interesante que, a continuación, será objeto de reflexión.
Concretamente, el artículo 23 de la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y no discriminación, relativo a la inteligencia artificial y a los mecanismos de toma de decisión automatizados, establece que en el marco de la Estrategia Nacional de Inteligencia Artificial, de la Carta de Derechos Digitales y de las iniciativas europeas en torno a la Inteligencia Artificial, las administraciones públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio.
Para la consecución de este fin, se deberá promover la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio y, de igual modo, se priorizará la transparencia en el diseño, implementación y capacidad de interpretación de las decisiones adoptadas por los mismos, todo ello orientado a obtener una inteligencia artificial confiable y respetuosa con los derechos de las partes.
Al respecto, es conveniente apuntar que las evaluaciones de impacto a las que se refiere el citado precepto deberán realizarse de forma externa y auditable con una periodicidad razonable que permita corroborar el correcto funcionamiento del sistema. La auditabilidad externa, será un elemento que deberá ser tenido en cuenta pues, sin duda alguna, a pesar de que pueda ser auditable, igualmente, de forma interna, será preciso que el sistema se encuentre avalado desde distintos organismos o entidades que garanticen, de forma objetiva, la eficacia de los mismos.
Esta premisa, se encuentra estrechamente relacionada con el último apartado del precepto al contemplar la creación de un sello de calidad de los algoritmos.
Aunque esta idea sea embrionaria y únicamente se encuentre enunciada son, en nuestra opinión, varios los extremos que deberán ser tenidos en consideración.
En relación con lo indicado, es importante determinar el contenido de la calidad del algoritmo, es decir, en función del ámbito en el que vaya a ser aplicado, deberá responder a unos criterios u otros. Concretamente, en el sector jurídico, la calidad del algoritmo debe ir dirigida, en atención a la normativa nacional y europea, a la obtención de una inteligencia artificial confiable.
Para ello, el algoritmo deberá contar con unos criterios de calidad que deberán ser evaluables en las distintas fases de desarrollo del sistema; se deberá examinar y certificar los componentes del algoritmo que nutren el sistema, así como, también, el modelo empleado. De este modo, consideramos que la calidad debe interpretarse en un sentido amplio y encuadrarse dentro de un protocolo certificado de fiabilidad del algoritmo que responda a unos estándares homogéneos y ciertamente generalizados en el entorno europeo.
Por esta razón, la calidad no debe entenderse evaluada únicamente en relación con el diseño del algoritmo, sino que la certificación de su fiabilidad implica, necesariamente, que las evidencias y los resultados obtenidos se ajusten a unos parámetros previamente definidos.
En cuanto al mantenimiento del sello de calidad, debemos poner de manifiesto la conveniencia de que dicha certificación, atendiendo al nivel de riesgo que implique su aplicación, se encuentre sujeto a unas revisiones de carácter periódico pues, por el propio aprendizaje autónomo que pueda llevar a cabo el sistema, la calidad del algoritmo debería someterse a una revisión periódica que deberá perpetuarse en el tiempo.
En atención a lo descrito en el párrafo anterior, podríamos concretar la periodicidad de las revisiones algorítmicas de la siguiente manera: tomando como referencia la catalogación que establece la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen las normas armonizadas sobre la inteligencia artificial, debemos realizar una distinción teniendo en cuenta el riesgo que implica cada sistema inteligente. En el caso de que el riesgo se encuentre catalogado como inaceptable, la revisión no será necesaria pues, directamente, este sistema sería inaplicable en el contexto de la administración de justicia. Por el contrario, si el sistema implicase -tal y como se ha apuntado al inicio de este trabajo- un riesgo alto, consideramos oportuno que la revisión se realice de manera mensual conllevando esta periodicidad a la obtención de un minucioso análisis que pueda detectar posibles errores que permitan reconducir las desviaciones del algoritmo y, así, aseverar la calidad y fiabilidad del mismo.
Por otro lado, en el caso de que el riesgo se considerase bajo o mínimo debemos realizar, al efecto, una distinción. En el primer supuesto -cuando el riesgo sea bajo- podemos establecer la periodicidad de la revisión con carácter semestral, debiendo realizarse, en consecuencia, dos revisiones anuales. Sin embargo, si el riesgo es mínimo, consideramos que una revisión anual sería suficiente para valorar su fiabilidad y certificar así, su calidad.
Como ya se advirtió al lector al inicio de este trabajo, la problemática que se deriva de la utilización de la inteligencia artificial se replica, en los mismos términos, en otros países, adquiriendo una proyección internacional. Por esta razón, y al no tratarse de un conflicto exclusivamente nacional, debemos traer a colación el proyecto elaborado por el Instituto Nacional de Estándares y Tecnología (NIST) de EEUU, a través del cual, se pretende elaborar una guía de prueba, evaluación, verificación y validación específica que permita detectar y mitigar los sesgos, además de realizar una serie de recomendaciones para las personas que interactúan con sistemas de decisión basadas en inteligencia artificial.
El documento que se pretende examinar, por su relevancia con el objeto central de esta investigación, forma parte de un proyecto que se inició con un escrito anterior titulado Towards a Standard for Identifying and Managing Bias in IA publicado en marzo de 2022 que, de forma analítica, pone de manifiesto la necesidad de crear un estándar que permita detectar e identificar el sesgo como solución a los problemas descritos. Como complemento a este estudio inicial, el proyecto continúa con la publicación, en noviembre del mencionado año, del documento Mitigating AI/ML Bias in Context: Establishing Practices for Testing, Evaluation, Verification, and Validation of AI Systems .
Concretamente, la propuesta que se lleva a cabo se encuentra dirigida a intentar mitigar el sesgo en aquellos sistemas automatizados destinados a la concesión de créditos. Aunque se trate de un ámbito muy concreto de aplicación, consideramos que tanto el planteamiento como la estructura podría resultar interesante para implementar en aquellos sistemas de evaluación del riesgo aplicados en el entorno jurídico.
La propuesta estadounidense se divide en cuatro escenarios; el primero de ellos consistiría en analizar el conjunto de datos previo al proceso para detectar y gestionar el sesgo, lo que implicaría, bajo nuestra modesta opinión, tener acceso a la muestra que compone el sistema y a través de un rastreo analítico determinar si los datos utilizados son correctos para el fin que se pretende y si estos constituyen una muestra representativa.
En un segundo escenario se llevaría a cabo un análisis de entrenamiento del modelo para identificar y gestionar el sesgo estadístico. En esta fase, se debería realizar una evaluación del algoritmo que compone el sistema con el objetivo de averiguar si el modelo conduce a la obtención de resultados estadísticos sesgados.
Posteriormente, en una tercera fase se realizará un análisis de la interferencia del modelo posterior para identificar y gestionar el sesgo estadístico. En este momento, tal y como señala el propio documento, el modelo aprendido se trataría como un sistema opaco y sus predicciones serían alteradas por una función durante la fase de post procesamiento. Para esta etapa, quizás la más embrionaria y compleja de todas, aún deben identificar la técnica y las prácticas que llevarán a cabo para lograr tal fin.
Finalmente, la propuesta finaliza con un cuarta y última fase en donde se estudia el flujo de decisiones que proviene del ser humano con el objetivo de poder mitigar el sesgo cognitivo. Para ello, se debe examinar cómo interactúa el ser humano con el sistema inteligente e identificar el conjunto de sesgos adicionales que pueden derivarse de dicha interacción.
Como puede observarse, se trata de un proceso de validación del sistema inteligente en el que se tiene en cuenta el tipo de sesgo que puede encontrarse en las diferentes etapas del sistema. Esta propuesta puede resultar interesante pues, a pesar de que nos encontramos ante un sistema cuya aplicación se encuentra condicionada a un sector concreto y determinado, las pautas, estrategias y prácticas que se proponen, se pueden adaptar y acomodar atendiendo al ámbito en el que se pueda aplicar la herramienta inteligente.
No obstante, debemos realizar algunas consideraciones dirigidas, por un lado, a reforzar la metodología implementada por el NIST y, por otro, a intentar paliar las posibles indeterminaciones conceptuales que, a priori, pudieran condicionar este examen valorativo. En el desarrollo de las cuatro etapas, descritas anteriormente, debemos valorar si el desarrollo de las mismas debe realizarse de forma simultánea a la efectiva puesta en marcha del sistema o, si, por el contrario, esta división de etapas debe considerarse un método de entrenamiento que llegue a concebirse como una herramienta de prevención e identificación que únicamente, tendría un carácter preventivo y de perfeccionamiento del propio sistema inteligente.
En nuestra modesta opinión y trasladando la propuesta a la aplicación en el ámbito jurídico, consideramos conveniente apostar por un modelo híbrido en el que el método propuesto por el NIST pueda desarrollarse tanto con carácter previo como de forma simultánea a la aplicación concreta del asunto jurídico. Al respecto, debemos llevar a cabo una distinción clara pues, las tres primeras etapas -consistentes en examinar el conjunto de datos, analizar el entrenamiento del modelo y contrastar su interferencia con el sesgo estadístico-, son sin duda alguna, fases que deben realizarse con carácter previo a la implementación real del sistema pues, dichos extremos, van a contribuir a identificar los principales defectos porcentuales y sistémicos que pueden corregirse y reestablecerse, una vez modificados.
Por otro lado, la cuarta etapa exige por su propia naturaleza examinar cómo es la interacción que se produce entre el ser humano y el sistema inteligente. Esta cuestión nos invita a realizar una matización necesaria que implicará una variación sustancial en el planteamiento original de la propuesta examinada, ya que, todo parece indicar, que esta etapa se llevaría a cabo en último lugar, una vez examinadas las tres fases anteriores. No obstante, consideramos relevante resaltar que el contenido esencial de la misma, consistente en la identificación y prevención de los sesgos cognitivos y humanos a nivel individual y colectivo, implica que deba tenerse en cuenta a lo largo de todo el proceso de creación del sistema. En consecuencia, la denominada “cuarta fase” debe conceptuarse como una etapa de obligada observación en las diversas fases de diseño, construcción, entrenamiento e implementación real de los sistemas inteligentes, pudiendo afirmar, así, su carácter perentorio y estable tanto en la fase previa como simultánea a su efectiva puesta en funcionamiento. En relación con lo dicho, no debemos olvidar que la utilización de la IA en el sector jurídico obliga a situar al individuo como destinatario final del mismo, sin olvidar la obligada implicación que tendrán otras personas en su diseño y construcción.
Por lo tanto, el planteamiento indicado debe extender sus efectos más allá del mero diseño o entrenamiento inicial, lo que implicará un aumento de la eficacia en la utilización de este tipo de herramientas pues, el establecimiento de un control permanente permitirá atestiguar la necesidad de actualizaciones y modificaciones que deberán ser constantes y periódicas. Al respecto, no debemos olvidar que, aunque tratemos de identificar los tipos de sesgos que puedan existir actualmente, la irrupción de los mismos puede surgir de forma inconsciente o involuntaria y, además, con el transcurso del tiempo, seremos testigos de la aparición de nuevos sesgos y de la mutación de los ya existentes, por lo que debemos estar atentos a los cambios que puedan producirse estableciendo parámetros y pautas que coadyuven a la eliminación del sesgo en un porcentaje razonable.
En este sentido, su eliminación absoluta o total es una labor que, en la actualidad -y previsiblemente, también en el futuro-, se presume inalcanzable o de difícil consecución pues, como ya se ha puesto de manifiesto previamente, la aparición de sesgos intrínsecos de carácter involuntario o inconsciente entraña un impedimento añadido de compleja solución. No obstante, ello no debe obstaculizar la elaboración de metodologías o parámetros destinados a la erradicación de los mismos pues la existencia de sesgos conocibles y contrastables es, hoy en día, una realidad a la que, positivamente, debemos hacer frente.
De este modo, todos nuestros esfuerzos deben dirigirse a lograr un nivel aceptable de sesgo entendiendo que, bajo nuestro criterio, este propósito se alcanzaría en un porcentaje altamente estimado mediante la eliminación de aquellos sesgos sistemáticos, porcentuales e inteligentes y a través de la atenuación de los sesgos intrínsecos, propios e inconscientes del ser humano.
Como puede observarse, deben conjugarse dos acciones diferenciadas que implican un grado de actuación distinto; por un lado, la eliminación -de carácter total- de aquellos sesgos que provienen de factores comprobables, contrastables y presumiblemente objetivos y, por otro, la atenuación de aquellos que responden a valores propiamente subjetivos. Únicamente, a través de este equilibrio, podremos lograr que la utilización de la IA en los procesos judiciales se realice cumpliendo las mínimas exigencias en materia de garantías.
La conjugación de la inteligencia artificial y el mantenimiento de las garantías procesales implica, necesariamente, identificar y mitigar aquellos sesgos inherentes a los sistemas inteligentes ya que, en caso contrario, los derechos fundamentales de las partes se verían ciertamente comprometidos y, a su vez, desprotegidos.
Para lograr la consecución de este objetivo, debemos focalizar nuestros esfuerzos en elaborar una guía o protocolo que contemple una serie de prácticas y estrategias para, por un lado, dotar a los sistemas de la fiabilidad deseada en el ámbito jurídico y, por otro, establecer las pautas convenientes que propugnen el establecimiento de revisiones periódicas que, atestigüen y, a la vez, corroboren la calidad del algoritmo empleado.
El empleo de estas herramientas en el proceso penal debe tener un carácter meramente asistencial para el órgano judicial, no siendo posible la cesión de competencias jurisdiccionales que desnaturalicen o alteren el derecho al juez legal, la atribución de la potestad jurisdiccional, los criterios competenciales, el derecho a obtener una resolución jurídicamente fundada o el derecho al recurso.
En un contexto jurídicamente digitalizado no podemos acceder a una modulación en relación con los principios, derechos y garantías que conforman el proceso, pues ello supondría un retroceso en la eficacia de la justicia y nos situaría en un escenario en el que el contenido esencial de la tutela judicial efectiva se vería seriamente afectado.
En este sentido, debemos seguir apostando por un modelo procesal garantista en el que la inteligencia artificial venga a desempeñar un papel fortificador en relación con los derechos y garantías en juego, ya que, si no partimos de esta premisa inicial, los algoritmos inteligentes pueden suponer un retroceso en la evolución de la tutela judicial efectiva.
Se trata, en consecuencia, de lograr a través de la explicabilidad y la transparencia de los algoritmos que los ciudadanos confíen en estas nuevas herramientas y que ello pueda suponer un revulsivo que refuerce, a su vez, la imagen y confianza que los ciudadanos tienen de la administración de justicia, haciéndola más eficiente y, por supuesto, más garantista. La eficiencia no debería, en este caso, poner en jaque a los derechos de las partes, sino que ambos elementos deben conformar un deseado equilibrio para legitimar el uso de estos sistemas en el ámbito del derecho procesal.
1
2
3
4
5
AZUAJE PIRELA, M., y FINOL GONZÁLEZ, D., “Transparencia algorítmica y la propiedad intelectual e industrial: tensiones y soluciones”, Revista La Propiedad Inmaterial, núm. 30, 2020. https://doi.org/10.18601/16571959.n30.05
6
7
8
10
BORGES BLÁZQUEZ, R., “El sesgo de la máquina en la toma de decisiones en el proceso penal”, Revista Ius et Scientia, núm.2, vol. 6, 2020. https://doi.org/10.12795/IETSCIENTIA.2020.i02.05
11
12
13
14
15
COTINO HUESO, L., “Transparencia y explicabilidad de la inteligencia artificial y “compañía” (comunicación, interpretabilidad, inteligibilidad, auditabilidad, testabilidad, comprobabilidad, simulabilidad…). Para qué, para quién y cuánta” en COTINO HUESO, L y CASTELLANOS CLARAMUNT, J. (Eds.) Transparencia y explicabilidad de la inteligencia artificial, Valencia, 2022.
16
17
CORVALÁN, J.G., “Inteligencia artificial: retos, desafíos y oportunidades-Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia” en Revista de Investigações Constitucionais, vol. 5, núm. 1, 2018. https://doi.org/10.5380/rinc.v5i1.55334
18
19
DE MIGUEL BERIAIN, I y PÉREZ ESTRADA, M.J., “La inteligencia artificial en el proceso penal español: un análisis de su admisibilidad sobre la base de los derechos fundamentales implicados” en Revista de Derecho UNED, núm. 25, 2019. https://doi.org/10.5944/rduned.25.2019.27013
20
FERRER BELTRÁN, J., “Apuntes sobre el control de la motivación de las resoluciones judiciales”, ISONOMIA: Revista de teoría y filosofía del derecho, núm. 34, 2011. https://doi.org/10.5347/isonomia.v0i34.200
21
22
23
24
25
26
27
28
29
30
31
MORENO REBATO, M., “La propuesta de Reglamento de la Unión Europea sobre inteligencia artificial y las Directrices éticas para una inteligencia artificial fiable: una oportunidad para la Administración Pública española” en VESTRI, G. (Dir.), La disrupción tecnológica en la Administración Pública; retos y desafíos de la inteligencia artificial, Madrid, 2022.
32
33
35
36
37
38
39
40
SAN MIGUEL CASO, C., “La aplicación de la Inteligencia Artificial en el proceso: ¿un nuevo reto para las garantías procesales?” en Revista Ius et Scientia, vol.7, núm. 1, 2021. https://doi.org/10.12795/IETSCIENTIA.2021.i01.15
41
42
[*] Este trabajo se ha realizado en el marco del Proyecto de Investigación “Inteligencia artificial jurídica y Estado de Derecho” (PID2022-139773OB-100), perteneciente a la convocatoria de Proyectos de Generación de Generación de Conocimiento 2022, del Programa Estatal para Impulsar la Investigación Científico-Técnica y su Transferencia.
[1] Al respecto , sostiene la necesidad de que la Inteligencia Artificial se regule por el riesgo que supone para las libertades individuales exigiendo, para ello, la intervención pública con una perspectiva de protección de las libertades de los ciudadanos y de la seguridad y la salud. En la línea indicada, , apuesta por la implementación equilibrada y garantista de los sistemas tecnológicos al indicar que es necesario evolucionar utilizando los nuevos descubrimientos tecnológicos a la vez que se garantizan el respeto a la vida y a los Derechos Fundamentales de las personas tales como la intimidad, el honor, la propia imagen, el derecho a un juicio justo o la dignidad de la persona, entre otros.
[5] En relación con la incidencia de la inteligencia artificial en el derecho al debido proceso puede consultarse , págs. 390 y ss.
[6] Sobre la cuestión, más recientemente y de forma destacada; Libro Blanco sobre la Inteligencia Artificial - un enfoque europeo orientado a la excelencia y la confianza (2020). Disponible en: https://op.europa.eu/es/publication-detail/-/publication/ac957f13-53c6-11ea-aece-01aa75ed71a1 (última consulta 01.11.2022). Reglamento del Parlamento Europeo y del Consejo por el que se establecen las normas armonizadas sobre la inteligencia artificial (2021). Disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex:52021PC0206 (última consulta 01.11.2022).
[15] Definición extraída del Grupo independiente de expertos de alto nivel sobre Inteligencia Artificial creado por la Comisión Europea en junio de 2018, concretamente: Comisión Europea, Dirección General de Redes de Comunicación, Contenido y Tecnologías, Directrices éticas para una IA fiable, 2019, pág. 48. Disponible en https://data.europa.eu/doi/10.2759/14078 (Ultima visita 05.11.2022).
[20] Siguiendo un esquema similar, puede consultarse el documento de trabajo elaborado por el Instituto Nacional de Estándares y Tecnología (NIST) de EEUU titulado Towards a Standard for Identifying and Managing Bias in IA. Disponible en: https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence, págs. 15 y ss. (ultima consulta: 15.11.2022).
[22] Al respecto sostienen que una configuración inadecuada del algoritmo podría llegar a afectar a la imparcialidad del juzgador ya que su convicción estaría condicionada al sesgo de la herramienta inteligente e incluso a determinados principios y valores del autor del sistema que se encuentren implícitos en aquel.
[27] La experiencia francesa contenida en el artículo 33 de la LOI nº 2019-222 du 23 mars 2019 de programmation 2018-2022 et de reforme pour la justicice es detallada por .
[28] Para obtener más información sobre esta cuestión puede consultarse el estudio sobre el sistema SyRI y la sentencia del Tribunal de Distrito de la Haya realizado por .
[38] Información disponible en: https://www.interior.gob.es/opencms/ca/servicios-al-ciudadano/violencia-contra-la-mujer/sistema-viogen/ (Ultima visita: 06.11.2022).
[44] En relación con lo indicado, , indica que la finalidad del algoritmo no es certificar la verdad de una hipótesis planteada sino la búsqueda de correlaciones entre diversos datos.
[50] En torno a la afección de los derechos y garantías de las partes como consecuencia de la introducción de la Inteligencia Artificial en el proceso penal C y ss.
[51] Este principio se recoge en el artículo 13.1 de la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial), al señalar que los sistemas de IA de alto riesgo -como son los aplicados en el sistema judicial- se diseñarán y desarrollarán de un modo que garantice que funcionan con un nivel de transparencia suficiente para que los usuarios interpreten y usen correctamente su información de salida.
[53] Sobre este extremo puede consultarse https://www.nist.gov/ (ultima consulta 23.02.2023).
[54] Documento disponible en: https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence (ultima consulta 23.02.2023).
[55] Documento disponible en https://csrc.nist.gov/publications/detail/white-paper/2022/11/09/mitigating-ai-ml-bias-in-context/final (ultima consulta 23.02.2023).
Downloads (Last 12 months)
