The use of artificial intelligence in our society, which encompasses all facets of life, implies an impact on the fundamental rights of citizens, both positive and negative. This impact has been analyzed by the criminal doctrine from the perspective of individual legal goods, and there is a great consensus on the subject. However, the damage to collective legal interests, which are also affected, has not been addressed. The debate on the protection of collective legal goods in recent decades has gone beyond the protection of the State to encompass the protection of society. Once the relevant legal goods have been selected, the cases of damage to them will be analyzed with the use of artificial intelligence for which information is available, to analyze the legal good that has been damaged and its extent. Although the injury to the legal good can be affirmed, the wording of the criminal type does not allow the correct protection of the same by means of the penal code. To this end, two solutions are proposed to adapt the types to the reality that we are facing with the use of artificial intelligence in our society.
El impacto negativo de la utilización de la inteligencia artificial está demostrado en diferentes contextos y usos. Diferentes autores han podido comprobar el impacto negativo en derechos como la igualdad o la privacidad, además de la vida y la integridad física, que afectan directamente a derechos individuales y, dentro del campo penal, a bienes jurídicos individuales. Sin embargo, el impacto en los derechos sociales, normalmente protegidos por el derecho penal como intereses colectivos, no ha sido tan desarrollado.
Las guías éticas del grupo de altos expertos de alto nivel en inteligencia artificial de la Comisión Europea establece siete principios éticos que determinan el buen uso de los sistemas inteligentes por parte de desarrolladores y profesionales. En el sexto principio, que recoge, el principio de garantizar el bienestar social y del medio ambiente, es donde va a tener cabida el respeto de muchos de los derechos sociales, lo que implica la protección de bienes colectivos. Esto tiene dos implicaciones importantes: dentro de la parte de desarrollo de los sistemas inteligentes es necesario tener en mente para su desarrollo a los grupos sociales y la utilización de esta tecnología afecta directamente a los derechos sociales y, por extensión, a los bienes jurídicos colectivos.
Dentro de la doctrina penal el debate sobre la existencia o no de bienes jurídicos colectivos ha sido muy debatida, pudiendo decir que la discusión se encuentra finalizada con su aceptación por la necesidad de defender las instituciones del Estado, pero no se limita exclusivamente a estos. Desde los años 70, con la introducción de los tipos penales que protegen al medio ambiente en Alemania, se abren a la protección de la sociedad como tal. Después de su introducción el legislador ha ido sancionando más comportamientos en forma de delitos de peligro: delitos contra la salud pública, contra la seguridad en el tráfico, manipulación genética o los relacionados con los delitos socioeconómicos, algunos con modalidades exclusivamente doloso y otros con la posibilidad de comisión imprudente.
Cuando podemos observar los supuestos en que la inteligencia artificial afecta a bienes jurídicos nos podemos encontrar un gran impacto, tanto en bienes jurídicos individuales como colectivos. Nuestro estudio se centra en el análisis de este segundo grupo en sus dos vertientes, los bienes jurídicos que garantizan el correcto funcionamiento de las instituciones del Estado y aquellos bienes colectivos que protegen los intereses de la colectividad.
Empezaremos con el análisis actual del debate sobre los bienes jurídicos colectivos en el Derecho Penal, viendo las diferentes propuestas, desde la postura constitucionalista hasta la neokantiana, pasando por la protección de varios bienes jurídicos mediante los delitos de peligro, que van desde la confianza en el ordenamiento jurídico a la lesión de varios bienes jurídicos, que pueden ser varios o que la lesión de un bien jurídico colectivo esté ligado a la afectación de un bien jurídico individual.
Seguiremos con el análisis de determinados supuestos de los que se tienen información de que el uso de la inteligencia artificial ha producido una lesión de los bienes jurídicos colectivos: dentro del ámbito laboral, de las relaciones comerciales y financieras, que afectan al mercado y a los consumidores, aquellos usos en conexión con la administración general y la administración de justicia y, finalmente, los delitos relativos al ejercicio de los derechos fundamentales y libertades públicas.
Finalmente, analizaremos propuestas de lege ferenda para abordar correctamente los problemas jurídicos penales que se plantean con el uso de la inteligencia artificial y la protección de los bienes jurídicos colectivos. Cómo es necesario replantearse la protección de determinados bienes jurídicos individuales como colectivos, la necesidad de delitos de peligro, de la misma forma que se ha regulado los delitos relativos a manipulación genética, liberación de material radiactivo o los de seguridad vial. Ejemplos todos de utilización de avances tecnológicos en nuestra sociedad.
Existe un largo debate sobre la teoría de la protección de bienes jurídicos desde el S. XIX con el fin de determinar qué se debe castigar. Muy influenciada por el iusnaturalismo y la filosofía idealista alemana, no es hasta la segunda guerra mundial cuándo la búsqueda de los intereses que se deben considerar protegidos por el sistema penal ha dejado de centrarse en una aproximación filosófica moral, centrada principalmente en la escuela neokantiana. En esta primera era del bien jurídico penal encontramos que, aunque su principal objetivo fueron los bienes individuales, también se incluyen bienes jurídicos que protegen al Estado. Luego podemos entender que, desde el origen de los códigos penales modernos, se han protegido intereses colectivos. Sin embargo, no hay que olvidar que la protección de bienes jurídicos colectivos tuvo, como punto más destructivo, las aportaciones de la escuela de Kiel que desarrollaron los bienes jurídicos que justificaron la protección penal de los valores del nacionalsocialismo.
En la actualidad, la labor del Derecho Penal en el Estado Social y Democrático de Derecho se ve restringida a la protección de bienes jurídicos, sin que esto signifique que todos los bienes jurídicos que existen en el ordenamiento jurídico encuentren protección en el Código penal. Sólo los intereses que la sociedad considera más importantes para la convivencia tienen la relevancia suficiente para poder ser protegidos por el sistema penal. Determinar cuáles son estos valores es tarea compleja de realizar, en especial porque en una sociedad democrática, plural y multicultural no hay un conjunto uniforme de valores y no será posible una delimitación jurídica de los mismos de forma generalizada, salvo mediante el consenso dentro de un sistema legal democrático. Es después de II Guerra Mundial, cuando en Alemania se crea un Constitución con un catálogo protegido de derechos fundamentales, cuando se produce el acercamiento de las teorías del bien jurídico a un marco constitucional desde una perspectiva de protección de estos que permite la extracción de los valores que el Derecho Penal debe de proteger. El primer intento lo formula Sax, quien, aunque intenta darle un marchamo constitucional a la búsqueda de los bienes jurídicos, vuelve, dentro de una interpretación constitucionalista, al derecho natural como base de justificación de los intereses que se deben de proteger. En un intento de, huyendo del régimen nacionalsocialista, buscar una legitimación de los bienes jurídicos mediante el positivismo constitucional, introduce los derechos fundamentales como elemento de justificación, pero no cierra del todo el debate de la concepción moral de los intereses a proteger. En nuestro país destaca, recientemente, la postura de Alonso Álamo, que considera que los bienes jurídicos tienen una existencia prenormativa, dejando abierta la puerta la entrada de intereses que no estén regulados en la Constitución, basándose en la nueva tendencia neoconstitucionalismo.
Aún con el debate entre posiciones positivistas e iusnaturalistas sobre cuál es el origen y fundamentación de los intereses que se deben de proteger, existe, tanto por unos como por otros, una justificación basada en la interpretación de los derechos recogidos en la Constitución para justificar la existencia de un determinado bien jurídico o no. Dentro de este consenso de recurrir a la norma suprema, se pueden distinguir, como hemos señalado, dos vertientes: una que se limita exclusivamente a aquellos intereses que se pueden deducir de la misma y otra que considera que la Constitución no tiene la exclusiva a la hora de determinarlos. En cualquiera de los dos casos parece indiscutible que de la Constitución emanan principios e intereses que han de estar protegidos por el ordenamiento jurídico penal. Incluso para los grandes defensores de la existencia de valores más allá de la norma, el debate se centra en si los bienes jurídicos, en particular los bienes colectivos que focalizan el debate desde los años 70 del siglo pasado, deben de ser protegidos por el Código penal o si la actuación del Derecho penal debe de limitarse sólo a los bienes individuales provenientes de la tradición liberal ilustrada, aceptando la necesidad de tipos penales que los protejan los intereses colectivos.
Uno de los grandes logros que la filosofía de la ilustración consiguió para los sistemas punitivos fue el principio de intervención mínima que impide dejar el ius puniendi en manos del Estado sin ningún tipo de control. Con esta finalidad, la teoría de la protección de bienes jurídicos por el Derecho Penal se hace valedora de una de las tareas más importante en los sistemas penales modernos, limitar las potestades de intervención estatal en la restricción de las libertades de los ciudadanos. Si a esto sumamos el principio del Derecho Penal como última ratio, nos queda un sistema que tiene que reducir al máximo la intervención penal para la protección de los intereses a aquellos bienes jurídicos imprescindibles para el desarrollo de la vida de los individuos. En este debate es en el que se tiene que decir si la protección de los intereses colectivos entra dentro del sistema penal o no.
En principio, con los bienes jurídicos individuales no hay tanto problema. Un bien jurídico individual los podemos definir como aquel que sirve a los intereses de una persona. Los bienes jurídicos colectivos protegerían, por el contrario, a la generalidad de la sociedad como colectivo. La diferencia entre uno y otro se puede especificar en la indivisibilidad del bien conceptual, real y jurídicamente protegido de los primeros y la divisibilidad en partes de los segundos, pudiendo asignar cada una de ellas a un individuo de forma no directa.
Este debate sobre la concepción de los bienes jurídicos individuales y colectivos está abierto desde el inicio del Derecho penal moderno y no tiene perspectiva de que vaya a cerrarse. Aunque ha pasado por altibajos en diferentes momentos del S. XX, ha sido a principios del presente siglo cuando ha emanado de nuevo a la actualidad debido la justificación de la inclusión de bienes jurídicos colectivos en nuevos tipos penales que, como veremos más adelante, protegen a la sociedad. Desde su inicio en los años 70, con la protección del bien jurídico medio ambiente, ha vuelto a reflotar de la mano de Hefendehl. Según su nueva construcción de los bienes jurídicos abstractos, que protegen intereses colectivos, no encontramos únicamente un bien jurídico protegido, si no que los tipos penales los protegen protegerían un bien jurídico constituido de una cadena de varios de ellos. Desde su concepción, un nuevo bien jurídico “confianza en el ordenamiento jurídico” debería tenerse a colación a la hora de interpretar los tipos penales colectivos, estando en relación con otro bien jurídico, según su interpretación. La “confianza” es una parte del bien jurídico protegido en el resto del ordenamiento jurídico como se pone de manifiesto, por ejemplo, en los bienes jurídicos salud pública o veracidad en el testimonio, no constituyendo per se el bien jurídico protegido por la norma.
Sin embargo, los detractores de la utilización desmesurada de bienes jurídicos colectivos han criticado esta posición doctrinal. Así, Hassemer interpela que considerar “la confianza en el ordenamiento jurídico” como un bien jurídico es peligroso por su gran abstracción y poca certeza, considerando que en ningún momento debe ser considerado como tal. En un análisis más profundo, Roxin y Anastosopoulou centran su crítica a esta concepción basándose en tres puntos. Para estos autores, a) la confianza en el ordenamiento jurídico sólo puede quebrantarse siempre y cuando las circunstancias que la ponen en duda sean conocidas y, por tanto, si los actos permanecen ocultos o la población ha perdido la confianza en el ordenamiento jurídico con anterioridad, debería ponerse en cuestión la existencia de una lesión de tal bien jurídico, puesto que en esas situaciones prelesión no constituiría un interés para la sociedad. Si en un determinado espacio temporal se constatase una total desconfianza en la incorruptibilidad de la administración no sería posible su lesión puesto que no existiría. Un segundo argumento en contra de esta justificación de la inclusión de los bienes jurídicos colectivos en el sistema penal es que, en el supuesto de los tipos penales que regulan la lucha contra la corrupción, por ejemplo, b) si sólo se protegiese la confianza en el ordenamiento jurídico, en la buena labor de la administración, y no la protección contra el falseamiento de la voluntad estatal, lo lógico sería suprimir estos delitos. Finalmente, adhiriéndose a la crítica de Hassemer, c) ponen de relieve la nula capacidad limitadora del Derecho penal de un bien jurídico “confianza en algo” al ser demasiado impreciso por tratarse de un estado fáctico de una persona, con todos los elementos subjetivos que implican y la dificultad de constatar la opinión mayoritaria de la sociedad.
A esto Hefendehl responde cuestionándose cuál sería la alternativa a su propuesta de un bien jurídico confianza. La respuesta que aporta Roxin es la “eficiencia de función” del Derecho. Existe una lesión al bien jurídico cuando sólo se constata una única lesión, sin que la función del sistema se vea afectada. Por ejemplo, la pureza de la prueba de peritaje por un médico se ve afectada por un único caso en el que se produzca esta falta de confianza. Para Hefendehl, estas situaciones de ataques puntuales no son relevantes en los casos de bienes jurídicos colectivos funcionales.
El argumento de que la confianza ya se encontraría destruida, Hefendehl lo combate razonando que sí se puede confiar en la persona aun cuando no se tenga el conocimiento de las circunstancias que derrumbarían esa confianza. Sin embargo, considera que esa confianza es frágil y no puede ser protegida por el Estado. Frágil porque un delito no descubierto puede aparecer más adelante. Como contraargumento utiliza el ejemplo del bien jurídico libertad. Cuando uno duerme no se le priva de su capacidad de optar, aunque no es posible realizar tal acción cuando uno duerme. En relación a la propuesta de la confianza destruida tampoco le parece acertada la crítica que expone Roxin, ya que, para el supuesto del bien jurídico vida, cuando alguien muere implicaría que no se le puede volver a matar, estando en una situación similar a la de la confianza en la administración, pero sí se puede volver a producir daños a personas que han sido lesionadas con anterioridad. No desaparecería esa posibilidad. De misma forma ocurre con los bienes jurídicos colectivos en los que la confianza sería un bien jurídico adicional: dada su importancia para la sociedad no pueden ser eliminados por acciones aisladas que lo lesionen. Siendo el ejemplo un supuesto que no se llegaría a dar en la realidad.
Otro de los contraargumentos de Roxin a la concepción del bien jurídico como confianza en el ordenamiento jurídico se centra en relación con que no es más que un concepto fáctico, ante lo que Hefendehl responde que es cierta tal afirmación. Consiste en un estado que se construye a partir de determinadas circunstancias que le dan fundamento y la requieren, pero que puede mutar con el tiempo o debilitarse. La confianza se constituye no de forma “ideal” sino de forma “real” así que se compone de componentes físicos y de fenómenos psíquico-intelectuales. Son circunstancias que pueden ser lesionadas.
No hay que olvidar que las concepciones más restrictivas del bien jurídico, normalmente limitadas a la protección de derechos individuales, también admite la protección de bienes jurídicos colectivos, aunque sea con una concepción en la que tiene que existir una vinculación entre el bien jurídico colectivo con un bien jurídico individual. Además, si basamos la búsqueda o delimitación de los bienes jurídicos desde los Derechos fundamentales nos encontramos con que los derechos originarios de las revoluciones liberales tendrían una correlación con los bienes jurídicos individuales y los derechos humanos de titularidad colectiva con los bienes jurídicos colectivos. Este paralelismo no está exento de discusión dogmática, pero, para los fines de este trabajo, cumple con el objetivo de analizar cómo se protegen los derechos fundamentales dentro del sistema penal.
En este punto de la discusión, en el que independientemente de si tenemos un acercamiento iuspositivista, iusnaturalista o iussociológico, podemos afirmar que la doctrina comparte la existencia de bienes jurídicos penales que protegen intereses colectivos, con ayuda o no de un bien jurídico individual que se vea afectado de forma directa por la acción u omisión cometida. Teniendo clara esta conclusión, vamos a analizar qué bienes jurídicos colectivos se van a ver afectados con la utilización de la inteligencia artificial en determinados entornos de uso.
Cuando nos adentramos en la literatura relacionada con el impacto de la inteligencia artificial en los Derechos Humanos, podemos observar bastante consenso en la preocupación de los investigadores por los Derechos Humanos individuales que acaban siendo afectados por la inteligencia artificial y, por tanto, lesionando bienes jurídicos individuales. El objetivo de esta investigación es la de abordar el estudio desde otro punto de vista, centrándose en los bienes jurídicos supraindividuales o colectivos, ya que no existe una literatura penal que se centre en estos, aunque tenemos conocimiento de que los bienes comunes se pueden ver afectados. Abordar los bienes jurídicos colectivos afectados es difícil porque, aunque hemos visto anteriormente que existe un consenso en la doctrina en la protección de bienes jurídicos colectivos, su categorización por parte del legislador no es clara. Es por ello por lo que la doctrina se ha decantado por diferenciar dos tipos de bienes jurídicos colectivos por excelencia, aquellos que tienen como objeto de protección al Estado por un lado y aquellos que se centran en la sociedad. Los primeros vienen referidos a la preservación de las instituciones fundamentales del Estado y del Estado en su conjunto. Los segundos a colectividades de personas. Determinar el conjunto de todos los bienes jurídicos colectivos protegidos por la legislación penal no es sencillo. Entre otras cosas porque no existe una opinión unánime entre la doctrina de si en determinados tipos penales el bien jurídico protegido es individual o colectivo, como puede ser en los delitos contra la Hacienda Pública, donde unos consideran que se trata de un bien jurídico individual, mientras que otros los consideran como colectivo.
En cualquier caso, sí podemos hacer una aproximación a los bienes jurídicos colectivos que se van a ver lesionados por el uso de sistemas inteligentes. Destacan los delitos contra los trabajadores, contra el orden socioeconómico, los delitos contra la Hacienda Pública y la Seguridad Social, los Delitos relativos a la ordenación del territorio, los delitos de falsedades, los delitos de Administración de Pública y de Justicia. La realidad nos ha presentado ya casos de en los que el uso de esta tecnología ha tenido un alcance que afecta a los intereses de la sociedad o de colectivos que se han visto afectados como grupo.
Dentro de las relaciones laborales en la empresa y de los derechos de los trabajadores se ha podido comprobar cómo la inteligencia artificial sirve para tener un control integral sobre los trabajadores, implementar sistemas de vigilancia en trabajos poco remunerados, principalmente a personas con pocos recursos o grupos marginados, mediante dispositivos que regulan su productividad analizando las paradas que hacen y la velocidad a la que desarrollan su trabajo. Pero no acaba en estos supuestos, también se utilizan para tomar decisiones relacionadas con la contratación de personal, los salarios de los empleados, el tiempo empleado y cómo se desarrolla el trabajo.
La utilización de sistemas inteligentes para la valoración de los empleados en su trabajo está hoy al día. A las empresas les es más barato utilizar software para analizar y catalogar a los trabajadores mediante sistemas online de evaluación que pagar un sistema clásico de contratación y evaluación. Los sistemas de vigilancia dentro del trabajo van desde la grabación y análisis de las conversaciones telefónicas hasta el control de los correos electrónicos, pasando con la interacción con el resto de los trabajadores, con el único fin de mejorar la productividad. Los sistemas de gestión de trabajadores mediante la utilización masiva de datos prometen aumentar la productividad, pero justamente los empleos en los que se pueden analizar por datos son los más propensos a la automatización, permitiendo que un robot ocupe su lugar. El principal problema de estos sistemas es su opacidad. La falta de conocimiento por parte del trabajador sobre cómo se le va a valorar y cómo se van a interpretar sus acciones, generando una tensión entre empleador y trabajadores, que prefiere seguir manteniendo el secreto para no perder el valor predictivo de estos sistemas. La clasificación de los trabajadores se suele hacer mediante un sistema de colores dando verde a los que cumplen con los requisitos marcados, naranja para los que tienen que mejorar y rojo para los que deben ser despedidos. El factor determinante son los datos considerados como clave a la hora de tomar las decisiones. Así, escribir en las redes sociales con símbolos de exclamación puede ser considerado como un factor negativo, al igual que no tener cuenta abiertas en ellas. Esta nueva forma de control de los trabajadores, que afecta a sus condiciones de trabajo, podría caber dentro del artículo 311 del Código Penal ya que mediante el abuso imponen condiciones laborales que suprimen o restringen los derechos de los trabajadores a un trato digno y a la información de valoración de su trabajo. En este caso el bien jurídico protegido, los derechos de los trabajadores.
Los sistemas de vigilancia y de utilización de datos biométricos para aumentar la productividad también van a estar incluidos en el artículo 311. Hay que tener en cuenta que este control tan exhaustivo de los trabajadores afecta a las condiciones de trabajo de todos ellos como colectivo y, además, puede llegar a resultados contrarios a los pretendidos. Sirva como ejemplo, el caso de las escuelas en EE. UU. En los años 80 del siglo pasado, alarmados por los bajos índices de calidad del sistema público de enseñanza, se puso en marcha un sistema de puntuación y clasificación de profesores que se sigue utilizando. O ‘Neil describe el caso de Tim Clifford que, después de veintiséis años de experiencia, al realizar el test sacó seis puntos sobre 100. Si no hubiese sido un profesor con un puesto fijo, lo habrían despedido con esos resultados. Al siguiente año, se le suministró el resultado del mismo, pero sin información adicional sobre cómo mejorar. Él continuó con su modelo pedagógico y en la siguiente evaluación consiguió un resultado de 96 sobre 100. En el análisis de cómo funciona el sistema estadístico se pudo comprobar cómo, en la valoración final de los docentes, los datos de los profesores variaban dependiendo del tipo de alumnos que tenían y, además, se pudo comprobar un problema en metodología estadística que se usó. Los números grandes no pueden trasladarse al análisis concreto de una unidad. En algunos supuestos, la baja puntuación de los profesores derivó en despidos del sistema educativo público sin mucha explicación de por qué el sistema matemático tomaba esa decisión, y han acabado siendo contratados en el sector privado. Lo que no era bueno para el sistema público, sí lo era para el sector privado, siendo claramente perjudicado por el sistema estadístico. Estas situaciones son exactamente a las que se producen con el uso de la inteligencia artificial. En 2015, la administración del presidente Obama, modificó el sistema porque se percató que el sistema discriminaba a los barrios con problemas sociales de pobreza, pero dándole las competencias a los estados. En el caso de Nueva York se realizó un análisis a cuatro años para evaluar a los profesores que derivó en un rechazo de los profesores por hacerles perder mucho tiempo en la recolección de los datos y en tener resultados injustos. Esta protesta llegó a los padres que se opusieron a este sistema. En 2015 el boicot llegaba al 20% de los centros. Esta forma de puntuar a los trabajadores se sigue utilizando hoy día, pero adaptada a sistemas basados en inteligencia artificial.
Otro de los grupos de bienes jurídicos colectivos afectados son aquellos relacionados con los delitos relativos al orden socioeconómico. En este punto hay que diferenciar diferentes artículos afectados. En lo relativo a los derechos de los consumidores se ha podido observar cómo se ven limitados sus derechos a la hora de elegir productos mediante campañas personificadas para conseguir alterar sus hábitos de consumo. Se utilizan algoritmos para fidelizar clientes mediante la utilización de los datos de compra en esos establecimientos junto a los datos de comportamiento comprados a los data traders. Estos análisis realizan perfiles y adaptan la oferta de productos a lo que la empresa quiere que el ciudadano compre o consuma. Esta estrategia de utilización de grandes datos de consumidores con algoritmos es utilizada hoy día por muchas empresas, de las que quizás la más importante, como empresa de publicidad, es Google, que utiliza la información de los correos electrónicos y de las cookies para personalizar la publicidad que aparece en sus productos (buscador, correo electrónico, YouTube, etc.) mediante micro etiquetado. Al igual que Facebook. Ambas realizan perfilados muy detallados. Personas con códigos postales de zonas pobres, que se detienen en publicidad sobre préstamos o que han dado un me gusta a una campaña de estrés postraumático (susceptibles a recibir financiación estatal) son buscados como objetivos para determinados productos financieros. Estas formas tan depredadoras de publicidad limitan la libre elección del ciudadano a la hora de elegir el producto más conveniente para él. El bien jurídico protegido sería el interés del grupo colectivo de consumidores en el correcto funcionamiento del mercado, recogido en el artículo 282, del cual no se duda por la doctrina de que se trate de un delito de carácter supraindividual. No hay que olvidar que, aunque la publicidad de los productos pueda estar personalizada, siempre se realiza mediante una personalización de grupos de consumidores con intereses similares, no pudiendo considerarse que es individualizada. Si consideramos que lo protegido en el artículo 282 del Código Penal es el patrimonio, nos encontramos que hay que encontrar una relación directa entre la publicidad gestionada por el sistema inteligente, que sea fraudulenta, y un perjuicio patrimonial que se tiene que dar en la persona perjudicada, lo cual hace muy difícil su aplicación Ay la adecuada protección que debe de darse a los consumidores ante los malos usos de la inteligencia artificial. La utilización de ésta pone en una situación de desventaja aún mayor al consumidor, produciendo situaciones de opacidad mayores de las existentes en la actualidad.
La importancia de la utilización de inteligencia artificial en el perfilado de personas y empresas se ha visto en las nuevas empresas que han surgido: los corredores de datos. La líder en este mercado puede ser la empresa Palantir pero hay más como Acxiom, Corelogic, Datalogic, ChoicePoint o eBureau. La función de estos corredores es la de realizar referencias cruzadas de todos estos datos. Hay miles de datos con miles de detalles con miles de categorías y detalles, muchos de ellos inferidos, que permiten realizar perfiles de consumidores para mejorar las campañas de publicidad. En un caso, ChoicePoint informó erróneamente sobre una empresa, adjudicándole un delito de tráfico de metanfetaminas, etiquetándola como criminal en su base de datos de delincuencia mediante un sistema automático de decisiones. Esto derivó a que se rechazasen las solicitudes de préstamo y que, aunque se rectificó la información errónea en la base de datos, se le denegasen sistemáticamente los créditos porque su información había sido vendida a otros corredores de datos, expandiendo una información errónea sin posibilidad de control. Esta situación pone a la empresa en una clara situación de desventaja con respecto a la competencia, pudiendo incluirse este tipo de conductas dentro del artículo 284 del Código Penal. Este conjunto de prácticas comerciales y publicitarias consiguen como resultado sesgar determinadas ideas y productos, limitando la libre competencia que debe regir el mercado en una economía de mercado. Dentro del sistema financiero los métodos algorítmicos han sido promocionados desde hace tiempo con el fin de equilibrar el campo de actuación y disminuir los riesgos. El principal objetivo de reducir los intermediarios en la concesión de préstamos, hipotecas y otros servicios bancarios.
Los delitos que regulan la alteración de los precios en el mercado y la libre competencia también va a tener que ser analizados. Por ejemplo, desde el inicio de la contratación de seguros se ha intentado mitigar el riesgo que supone esta actividad. En los últimos años se ha encomendado la decisión de conceder o no un seguro a datos objetivos. Al poder disponer de los perfiles de salud de los posibles asegurados se puede adaptar el modelo de seguro a la persona concreta. Así, para contratar un buen seguro médico encontramos nuevas prácticas en las que, para contratar un seguro, se sugiere al cliente controlar sus constantes vitales (cuantas horas duerme, que anda 10.000 pasos al día, ritmo cardiaco, azúcar, etc.) a cambio de una bajada de cuota al garantizar, mediante el control, su buen estado de salud. Hay clientes que se encuentran encantados con esta modalidad. Sin embargo, desafortunadamente para él, las aseguradoras utilizan los datos, no sólo para dar un tratamiento individualizado al cliente, sino con el fin de crear pequeños grupos de personas, con características parecidas, con el fin de ofrecer diferentes productos y servicios a precio variable dependiendo de ellas. Los modelos predictivos utilizados en las aseguradoras nos asignan, como consumidores, a un grupo determinado, que va a servir para asignarnos determinadas cualidades, sin saber muy bien por qué estamos en él. De esta forma, en el caso, por ejemplo, de los seguros de coches, puede ser más determinante para la cuota los datos demográficos que los indicadores de buena conducción. El resultado final es la utilización de indicadores no relacionados con la persona sino con las características de grupos creados y da como resultado que este sistema sea injusto con los grupos más pobres, a los que se valoran como grupo determinado y no por sus posibilidades individuales a la hora de poder afrontar el pago del seguro y de acceder a un servicio dentro de la oferta libre de seguros.
El secreto bancario es un argumento clásico que ha complicado el control y la regulación del sistema bancario. Con el uso de algoritmos esta falta de información no ha hecho sino aumentar la opacidad y la dificultad para controlarlos y tener un conocimiento de cómo toman sus decisiones. Los mercados de valores son gestionados con algoritmos informáticos que procesan más datos y reaccionan más rápido que los humanos. El análisis automatizado que realizan maneja muchísima información que las agencias de información económica publican en redes sociales, basando sus decisiones de inversión en este análisis por sistemas inteligentes, con la finalidad de realizar la inversión en tiempo real. Este hecho es clave para entender lo ocurrido en 2013 cuando un grupo de piratas hackearon la cuenta de Twitter de Associated Press y difundieron el mensaje de que el presidente Obama había sido herido en un ataque. Los sistemas automáticos de los fondos de inversión se alimentaron de esa noticia y empezaron a ejecutar ventas teniendo en cuenta una información falsa con el resultado de que el Dow Jones cayó 150 puntos en 60 segundos causando unas pérdidas de 136.000 millones de dólares. Algo similar ocurrió en 2010, cuando en cinco minutos la Bolsa de Nueva York cayó 1.000 puntos y con un resultado de un billón de dólares esfumados, sin todavía saber por qué los algoritmos tomaron esas decisiones. La información falsa sobre determinados acontecimientos deriva en una alteración de los precios de las acciones con un resultado de grandes pérdidas económicas para grandes colectivos de personas, aparte de la pérdida patrimonial individual de cada uno de los inversores.
Las democracias liberales se basan en un principio básico que es la libre competencia. Con el uso la inteligencia artificial ya se está observando como los mercados se pueden alterar. La confianza de los inversores, la transparencia o la libre formación de los precios, dentro del bien jurídico libre competencia, se ven afectados. Indudablemente un bien jurídico como este deja mucho margen de maniobra y puede verse limitado su alcance de protección por la redacción del tipo, en nuestro caso, el artículo 284, en los apartados 1 y 2, del Código Penal. El primero se aplicará para los supuestos de uso de cualquier medio para la alteración de los precios que debe imponerse por la oferta y la demanda, tanto para materias primas, índices de referencia, servicios o cualesquiera otras cosas muebles o inmuebles, y el apartado segundo para el uso de tecnologías de computación con la finalidad de alterar los precios de cotización de un instrumento financiero o un contrato de contado sobre materias primas o de manipular el cálculo de un índice de referencia. Ambos tipos se pueden cometer por la inteligencia artificial. Dentro del mercado financiero la utilización de algoritmos está generalizada entre los sistemas de inversión y presenta dos problemas que afectan al mercado libre: la centralización de los sistemas de utilizan para informarse y la autorreferencia, la generación de información clave sobre sí mismos. Los métodos algorítmicos en los sistemas financieros se centran en el estudio de clientes mediante la creación de perfiles de usuarios con la finalidad de reducir riesgos y hacer análisis para inversión que de por sí son opacos y que dificultan aún más la transparencia de las black box de los sistemas inteligentes. Antes estos sistemas, los clientes de los fondos de inversión, por ejemplo, se ven claramente perjudicados. Hoy día, gran número de los negocios de bolsa los gestionan algoritmos informáticos que procesan información en tiempo real para realizar sus compras en tiempo real, siendo susceptibles de procesar información no veraz que puede derivar en bajadas de precios por valor de más de 100.000 millones de dólares en un periodo de un minuto.
La libre competencia debe asegurar la mejor calidad al precio más bajo de tal manera que vaya a redundar en los consumidores, pero también debe de tener una repercusión en las personas jurídicas y en la administración pública. El artículo 282 bis protege el libre mercado, en concreto, las operaciones con información privilegiada y las manipulaciones del mercado. El bien jurídico, tal y como está redactado, se podría interpretar como la confianza y garantía inherentes a los documentos de emisión de cualquier instrumento financiero o información de la sociedad que afecta al libre mercado. Se puede interpretar que este bien jurídico está acompañado de la protección del patrimonio, siendo ambos los intereses jurídicos protegidos, con algún matiz entre el primer apartado (peligro de perdida de patrimonio) y el segundo (lesión efectiva del patrimonio). Sin embargo, este precepto no cumple con el objetivo de protección que se deduce de su norma de origen, la Directiva 2003/6/CE sobre operaciones con información privilegiada y la manipulación del mercado, quedándose en su incorporación al Código penal de forma muy menguada a lo que debería. De igual forma, ocurre con el artículo 285 y la utilización de información privilegiada en la compraventa de instrumentos financieros, así como el resto de los artículos del 285 bis hasta el quater, donde se defiende el mercado libre. En el ámbito de las empresas y el libre mercado nos encontramos con que en el mercado de seguros médicos pueden cambiar entorno al 30% de posibilidades de obtenerlos dependiendo de si el asegurado vive en un barrio pobre o no. Amazon determina el precio de sus productos mediante un algoritmo que en un 80% de los casos beneficia a sus productos en contra de los de la competencia, así como las compañías de vuelos también discriminan sus precios para un mismo vuelo y usuario dependiendo de la información de compra que tiene del usuario.
El efecto en el sistema económico de los sistemas inteligentes es bastante determinante en los derechos económicos de los ciudadanos, ya sea con los trabajadores, consumidores o con la defensa del libre mercado.
Uno de los entornos en los que se está generalizando el uso de inteligencia artificial es en la Administración pública, la gran poseedora de datos de calidad a la hora de tomar decisiones. Las posibilidades que el avance de la tecnología permite en la mejora de la administración y en la utilización de los recursos públicos son espectaculares, tanto en el uso de los recursos económicos, la eficiencia de los recursos humanos y la posibilidad de realizar análisis que hasta ahora no se podían realizar porque la gran cantidad de datos que tiene la administración no pueden ser procesados por los medios actuales.
Hemos señalado que gran parte de los bienes jurídicos colectivos están en relación con las funciones del Estado. El Código Penal garantiza que se tenga confianza en el Estado defendiendo su actividad con determinados tipos penales relacionados con administración general del Estado o con la de justicia. El ámbito más variopinto y complicado de tratar a la hora de analizar los bienes jurídicos afectados por la utilización de la inteligencia artificial sea en la administración pública. Esto se debe no sólo a su gran amplitud, que puede ir desde la medicina, la educación, las ayudas públicas, hacienda, etc. situaciones en donde el funcionario puede tomar decisiones sesgadas o prevaricadoras, sino que además puede afectar a derechos fundamentales como la seguridad (cuando es utilizada por las fuerzas y cuerpos de seguridad del Estado) o los derechos judiciales (dentro del sistema de justicia).
El principal artículo a la hora de garantizar la correcta función de la administración pública es la prevaricación administrativa del artículo 404 del Código Penal el bien jurídico que se protege es la actividad pública, los servicios que los distintos poderes del Estado prestan a los ciudadanos determinada por el deber de respetar el derecho como valor en sí mismo.
Así, la toma de decisiones automatizadas dentro de la administración pública genera problemas por la opacidad que tienen los sistemas inteligentes. Recientemente la Junta de Andalucía, ha puesto un sistema automático de concesión de ayudas para autónomos por los daños causados por el confinamiento por la pandemia que tiene una capacidad de tramitar 2.500 ayudas en un día. La intención es extender estos sistemas automáticos a otro tipo de ayudas sociales, como desempleo. Este tipo de determinar cómo se reparten los recursos públicos mediante elementos objetivos basados en datos no es nuevo. Iniciativas basadas en la utilización de datos biológicos para la concesión de ayudas se han implementado en la administración. Los primeros intentos de basar las ayudas públicas en decisiones basadas en datos datan de la segunda década del S. XX en EE.UU. y en el Reino Unido, con algunos proyectos basados en datos eugenésicos para determinar si se daban ayudas de alojamiento y manutención a pobres. La traslación de este sistema de análisis de datos a sistemas inteligentes está siendo ya una realidad y los problemas con la discriminación de grandes sectores de población están hoy presentes. El número de ejemplos en el que la administración, con el fin de evitar el fraude y maximizar el uso de los recursos en ayudas sociales, es grande. Quizás el que destaca de forma más clara es el surgido en Países Bajos con su programa SyRI. El Gobierno holandés gastó más de ocho millones de euros al año en más de cien sistemas inteligentes para gestionar el sistema de ayudas sociales llamado SyRI. Con este fin, desarrollo un sistema de indicación de riesgos para predecir la probabilidad de cometer fraude con las ayudas sociales o de en el pago de impuestos. Se comprobó que los barrios pobres y sus habitantes eran espiados digitalmente sin que hubiese indicios de fraude. SyRI estaba catalogando de forma discriminada a los pobres. Los perjudicados fueron a juicio y ganaron descubriendo que el sistema estaba determinado para no conceder ayudas a los inmigrantes y sectores más desfavorecidos. Finalmente, la administración dejó de utilizar estos sistemas después de la sentencia condenatoria. Este caso en concreto, si se traslada a ordenamiento español, afectaría a la igualdad, protegida en el artículo 511 del Código Penal, que veremos más adelante.
En estos casos concretos también entrarían en juego los delitos de cohecho del artículo 419 que protege es la integridad de la función pública. Esa confianza que tienen los ciudadanos en que la administración va a tomar sus decisiones de forma justa implica que los casos de cohecho puedan perjudicar al resto de administrados al fallar el sistema de contratación o de consecución de ayudas de la administración que es el que nos interesa. Cohecho pasivo y activo tienen diferencias y matices de interés que afectan al bien jurídico protegido. Indudablemente, los funcionarios que utilicen o desarrollen sistemas inteligentes que produzcan esta mala administración de los fondos públicos en beneficios de terceros, deben de recibir una contraprestación o dádiva.
Anteriormente hemos comentado el supuesto en el que la administración Holandesa diseña un sistema en el que intencionalmente perjudica a los inmigrantes, poniéndoles trabas, y teniendo un sistema de decisión que les resta ayudas. Este uso de la inteligencia artificial podríamos enlazarlo con las acciones tipificadas en el artículo 428 que regula la toma de decisiones justa por parte de la administración con el fin de proteger el principio de imparcialidad o de objetividad de la función pública desde la perspectiva de las acciones de los funcionarios públicos o autoridades, tanto en su modalidad activa como en la pasiva. Las situaciones reales en las que la utilización de sistemas inteligentes, dentro de la utilización de la administración, se van a ver muy limitadas ya que ésta no tiene recursos para implantar estos sistemas sin la colaboración del sector privado, con lo que la especialidad del tipo penal haría que no se cumpliese con él. Aun así, el bien jurídico sí protegería las situaciones de parcialidad originadas dentro de la administración pública por las decisiones que se tomen a sabiendas de la injusticia de las mismas por funcionarios o autoridades.
El delito de malversación del dinero público mediante del artículo 432 se podría aplicar también cuando se descubra que la inteligencia artificial toma decisiones respecto al patrimonio público que cumplan con los requisitos del artículo 252. El bien jurídico protegido es controvertido, variando entre tres posibilidades, el correcto funcionamiento de la Administración Pública, el patrimonio público y la correcta prestación de los servicios públicos. Considerar el bien jurídico sólo con una perspectiva patrimonial implicaría que no se protegería la buena administración, tal y como se pretende en el sexto principio de las guías éticas sobre inteligencia artificial de la Comisión Europea, lo cual sería un requisito deseado en el uso de la inteligencia artificial en la administración pública, como se puede observar en el caso de un sistema automatizado para la priorizar el acceso a casas por parte de indigentes que se llevó a cabo en Los Ángeles en 2013. La idea era crear un listado de las personas sintecho y clasificarlas para ordenar el orden en el que se iban a distribuir las soluciones habitacionales. Para ello se utilizó el índice de vulnerabilidad dentro de las herramientas de priorización. El sistema se nutría de datos administrativos como el nombre, fecha de nacimiento, información sobre inmigración y residencia, datos médicos sobre salud mental. Una vez gestionada la información con otras bases de datos de servicios sociales se clasifica a los candidatos con un nivel de 1 a 17 puntos. Por otro lado, otro sistema realiza un recuento de las oportunidades habitaciones que se encuentran libres. Un segundo algoritmo identifica cuales son las personas que están en un gran riesgo de necesitar una solución específica. En el caso en que hubiese una renuncia a la situación habitacional, situación que no siempre se da por una renuncia voluntaria del sujeto, se le puntúa a la baja para conseguir una segunda solución habitacional.
Otro de los delitos que se pueden cometer dentro de la administración pública es el de prevaricación del artículo 446 que tendría una especial aplicación en los casos en que la toma de decisiones de los jueces o magistrados se basen en sistemas inteligentes. Así, las herramientas de análisis para el diseño de baremos en casos civiles, las posibilidades de éxito de un determinado litigio o las herramientas de predicción de un determinado litigio pueden generar decisiones arbitrarias por jueces que generen situaciones de prevaricación. El bien jurídico aplicado a estos casos, la actividad pública desempeñada bajo los principios de imparcialidad y objetividad, se va a haber afectado si el sistema inteligente toma decisiones sesgadas y el juez o magistrado las acepta sin ningún tipo de control. Indudablemente, cumplir con los elementos del tipo puede ser más complicado que en los casos en los que no se utilizan esta tecnología, pero es factible que se cumplan los requisitos de este. Y es que, hasta ahora, en la utilización de sistemas expertos en la toma de decisiones judiciales ha habido más errores que aciertos por parte de los algoritmos fallidos, lo cual abre la puerta a la prevaricación judicial dependiendo del conocimiento que tenga el juez de la injusticia de su decisión.
La utilización de sistemas inteligentes en el mundo jurídico no es nueva, ni empezó en 2016 cuando Watson, el consejero predictivo de IBM, aprobó el examen de la abogacía. Sin embargo, dentro de la administración de justicia judicial, donde ha tenido mayor repercusión es en el sistema penal, probablemente, por tratar temas que afectan a los intereses más importantes de las personas, por el fracaso que supone el crimen para la sociedad, por la falta de recursos para tener una buena política preventiva del crimen y por los análisis preventivos del crimen basados en matemáticas se han estado utilizando en criminología con anterioridad a la popularización de la inteligencia artificial. Sin embargo, su utilización no se limita al ámbito predictivo criminal, sino que también es utilizado en el sistema civil, mercantil o administrativo mediante sistemas de análisis inteligente de sentencias como RAVEL LAW o el buscador de jurisprudencia y documentación legal, como el creado por IBM, llamado ROSS. De los diferentes sistemas de IA que existen los juristas no necesitan ni robots ni visión de máquina, pero en otros campos, diferentes al derecho, sí pueden ser interesantes.
El proceso de utilización de inteligencia artificial en las decisiones judiciales se encuentra bastante desarrollado en Francia, que lleva años trabajando en un sistema que garantice una seguridad jurídica en las resoluciones judiciales. Para llevar a cabo esta ingente tarea es necesario un primer requisito consistente en la datificación de las sentencias, que se intentó llevar a cabo con la Ley de la República Digital cuya finalidad era la publicación de las sentencias más relevantes. Sin embargo, este proyecto se ha visto atemperado en algunos aspectos. Así, desde el punto de vista técnico la falta de coordinación en la recogida de las principales sentencias de los diferentes niveles de Tribunales y no se ha conseguido un sistema automático que garantice el anonimato de la sentencia. Hay que añadir problemas desde una perspectiva jurídica como la posible transformación de la lógica en la resolución de las decisiones jurídicas; si se pueden exigir mayor explicación a los jueces de sus decisiones; también en los casos en los que la norma no está diseñada para la resolución del caso, puede diferir de la resolución de los Tribunales superiores, ignorando la jurisprudencia existente; y, finalmente, se necesita que todas las sentencias estén escritas con la misma lógica.
En los ámbitos de la justicia civil, mercantil y administrativa el uso de IA puede ser bastante útil para la disminuir la falta de certeza en la resolución que va a dar el juez antes de ir a juicio. Por un lado, los abogados podrán dar una estimación a su cliente sobre las posibilidades que tiene de conseguir una sentencia favorable, al mismo tiempo, los bufetes pueden ahorrar costes innecesarios en demandas con pocas posibilidades (outcome prediction). Por otro, a los gestores de la justicia les permite mejorar el flujo de nuevos procedimientos permitiendo una mejor gestión y reduciendo costes. El actual sistema de usar escalas para indemnizaciones por daños, divorcios, etc. puede mejorarse con sistemas probabilísticos y los de poca entidad se pueden resolver por los sistemas alternativos online de resolución de conflictos. También existen sistemas de autoservicio para la realización de programas de complimiento como Neota Logic, que aplica un sistema hibrido de plataformas que combina sistemas expertos con otras técnicas de IA, como procesamiento de lenguaje natural y aprendizaje de máquina, para proporcionar respuestas específicas basadas en hecho y el contexto para cuestiones de cumplimiento, regulación y legales, Compliance HR que ayuda a los encargados de recursos humanos a evaluar a un contratista externo, el pago de horas extras y otras cuestiones de derecho laboral o Global Risk Solutions Service que ayuda a realizar programas de cumplimiento anti-corrupción respetando la regulación de las autoridades. Similares técnicas de IA se están utilizando en el ciclo de vida de un contrato, desde su creación, ejecución o finalización.
Dentro del ámbito penal se puede observar como en el uso de los modelos estadísticos que se usan en los sistemas automáticos para determinar la reincidencia de un preso se pueden encontrar que algunas de las variables que se utilizan son los antecedentes penales del sujeto, si los tienen las personas de su entorno, si en el caso de ser condenado el consumo de drogas o alcohol tuve algún tipo de influencia, y toda una batería de preguntas que determinaban la posibilidad de condena dependiendo de si el entorno de dónde provenía era más privilegiado o no. Las decisiones judiciales automatizas basadas en datos pueden ser injustas si los datos con los que se alimenta el sistema son discriminatorios de por sí.
En una zona intermedia se encuentran los funcionarios de las fuerzas y cuerpos de seguridad del Estado que trabajan justicia penal. Quizás el ejemplo que más repercusión ha tenido es el de uso del sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) por los juzgados de Wisconsin para determinar la pena del sujeto dependiendo de su posibilidad de reincidencia. Paul Zilly, el sujeto juzgado, recibió una condena por el robo en una propiedad más dura de la que se pensaba que podría recibir si hubiese llegado a un acuerdo sus abogados y el ministerio fiscal. Los jueces se basaron en la predicción de este programa para considerar que su riesgo si era liberado era alto, cambiando la condena de un año en una prisión del condado por dos años en una prisión federal.
En el caso de los sistemas para prevención del crimen, herramientas como PredPol sirven para analizar zonas geográficas con elevados índices de crimen. Básicamente, utiliza los datos de la policía para analizar, geográficamente, donde es más probable que se produzcan determinados tipos de crimen. Esta colaboración entre la Universidad de California y el Departamento de policía de la ciudad de Los Ángeles es la herramienta de predicción más popular entre la policía en EE.UU. Otras herramientas utilizadas son HunchLab, que combina multitud de estadísticas para dar un resultado, sin preocuparse de por qué se produce, o Stragtegic Subjetct List, que se centra en datos de personas, en vez de datos geográficos, para determinar la posibilidad de que un sujeto se vea envuelto en un delito con armas. Este último, ha sido escrutado por RAND, una organización sin ánimo de lucro, y los resultados que ha obtenido indican que en vez de prevenir bajando los índices de delincuencia, lo que ha conseguido es aumentar la población carcelaria. En España tenemos programas de gestión de patrullas y de trabajo policial con VinfoPol, el programa Appolo de ayuda para la policía local y, en la prevención de determinados tipos de delitos, VeriPol que analiza denuncias en delitos contra la propiedad y determina cuando son falsas y VioGen que determina la necesidad de protección policial a víctimas de violencia de género.
La realidad práctica con PredPol se ha desarrollado de forma diferente. La utilización de esta herramienta en el Kent, Reino Unido, en la que se añadieron delitos muy leves (que para nuestro sistema serían faltas administrativas, como orinar en público) derivó en un aumento de la detección de estos delitos, pero, sin embargo, en aquellos delitos en los que se cambiaba el lugar o el modo de realizarlo no funcionó. Al ser modelos matemáticos, los resultados que dan no pueden “predecir” el crimen sino solamente determinar la probabilidad de que ocurra algo basado en qué ha sucedido antes. Si se cambia el patrón hay que empezar de nuevo para poder detectar el nuevo modelo. En estos casos la eliminación de estos “delitos” menores facilita mejores resultados para delitos más graves: menos datos, paradójicamente, dan mejores resultados.
En este punto hay que resaltar que las fuentes de datos son importantes ya que si se alimenta el sistema sólo con datos de barrios pobres sólo se van a detectar los crímenes en barrios pobres puesto que si lo único que se tiene es esta información sólo se va a rastrear, en realidad, la delincuencia relacionada con la pobreza, aumentando la brecha la desigualdad y estigmatizando más aun a este sector de la población. Esto es lo que ocurre con la política de tolerancia cero que se estableció en Nueva York. Los datos policiales con los que se nutre PredPol están llenos de lo que en EE.UU. se encuentran catalogados en el grupo 2 de delitos: vagancia, vandalismo, copias de productos, delitos sexuales contra la castidad o la decencia, pedir limosna de forma agresiva o la venta y consumo de pequeñas cantidades de droga, datos que dificultan la investigación de los delitos violentos al no estar relacionado con estos y olvidando completamente los delitos económicos, dando como resultado una herramienta que elabora sus análisis de forma injusta. La desproporcionalidad de la búsqueda de datos en determinados barrios considerados como focos de criminalidad y la política de “parar y cachear” ha dado como resultado bases de datos completamente sesgadas en las que la mayoría de los datos pertenecen a negros o latinos. En la justicia penal, la sanción por la previsibilidad del incumplimiento de la norma no es posible, puesto que atenta a la necesidad de que se haya cometido el hecho. En estos casos la prevaricación es bastante probable.
La utilización de IA en el sistema judicial, como hemos visto, varía del área de aplicación en el que nos encontremos. Su utilización en el derecho privado es completamente diferente del ámbito penal, su incidencia es mucho menor y su nivel de acierto puede calcularse de forma más sencilla. Aun con estos problemas e incertidumbres, su utilización avanza de forma muy importante en todas las ramas jurídicas, con mayor o menor fortuna. Lo que sí parece claro es que la decisión automática de decisiones en materia judicial no parece que vaya a estar presente en un futuro próximo.
Indudablemente, la aplicación de la justicia se encuentra sujeta a la ley en un Estado Democrático de Derecho. Sin embargo, a la hora de tomar una decisión el juez o tribunal tiene un margen de discreción que puede generar incertidumbre. La justicia no es un sistema exacto ni matemático ya que la complejidad de los modelos sociales y de la aplicación de la justicia supera a una concepción exclusivamente matemática. Estas características nos dan como resultado el que la predicción matemática sobre una decisión judicial basada en algoritmos no sea más que una probabilidad de solución y no la solución que sea la deseable desde el punto de vista de la justicia. En estos casos, la fe ciega en la tecnología por parte de los jueces o la imposibilidad de justificar una decisión distinta a la marcada por el sistema informático, llevan a situaciones injustas. Es cierto que, en el día a día, los jueces pueden no dar la mejor solución en sus decisiones, pero de ahí a pensar que las decisiones jurídicas que salgan de un sistema de IA van a ser justas e infalibles hay un largo camino. Es por ello, que el bien jurídico defendido en estos tipos penales puede verse afectado con la utilización de estos sistemas inteligentes.
Uno de los principales problemas que tiene el uso de inteligencia artificial es la discriminación de determinados grupos sociales. Este tipo de atentados los podemos englobar dentro de los delitos contra la constitución delitos contra la constitución, artículos 511 y 512. De los supuestos que hemos analizado anteriormente hay casos de discriminación clara como pueda ser el grupo de inmigrantes con el programa SiRY de Holanda o la población más vulnerable en la distribución de las ayudas sociales en Estados Unidos. Quizás uno de los más documentados dentro de la administración es el del sistema de predicción de reincidencia de reclusos denominado COMPAS. Esta herramienta de prevención del crimen fue utilizada por el Tribunal de Wisconsin para determinar en parte la duración de la pena de los casos que llegan a su tribunal de pendiendo de la posibilidad de reincidencia del sujeto. El sistema funciona con un sistema en el que se incluye información estática como dinámica que se recoge mediante un cuestionario de 137 preguntas junto a expedientes criminales, como la edad, el código postal, sus antecedentes penales o los de la familia, junto con las respuestas que aporta el acusado a preguntas como ¿una persona hambrienta tiene derecho a robar? Sí o no, o ¿qué edad tenía cuando se separaron sus padres? La tasa de acierto de COMPAS se sitúa en torno al 70% para determinar si una persona puede tener sistemas alternativos a la prisión o no. Sin embargo, como demostró la investigación de la ONG Propublica el sistema tenía un sesgo contra los negros. Así, una persona de color por un delito parecido al cometido por una blanca tiene más probabilidades de estar considerada como de alto riesgo mientras que una blanca se considera como bajo riesgo. La investigación de Propublica, además, señala que en los casos de delitos violentos el programa COMPAS sólo tuvo un acierto del 20%. En el caso de los resultados positivos, la tendencia era que los negros tenían el doble de posibilidades que los blancos, mientras que en los falsos negativos la tendencia era que los blancos eran etiquetados como menos peligrosos que los negros. El problema principal con la discriminación en COMPAS es que las personas que lo crearon y utilizan incrustan sus propios sesgos en los algoritmos a la hora de determinar qué datos van a alimentar el sistema y al interpretar los resultados. Detrás de las 137 preguntas se encuentran siete factores criminológicos, entre los que se incluyen déficits financieros, educacionales o vocacionales y las habilidades para conseguirlas, contacto con grupos antisociales o procriminales o relaciones familiares/maritales disfuncionales. Como bien señala Metedith Broussard todos estos factores son resultados de la pobreza. Los casos señalados anteriormente de Administración de justicia, sobre todo en los casos de PredPol, tienen también lesiones a este bien jurídico discriminación. En nuestro país no hay muchos casos documentados. Destaca el sistema de Viogen, un sistema para determinar si una víctima de violencia de género está en situación de riesgo de ser agredida o no. Aparte, considera que los varones desempleados tienen mayor posibilidad de agredir que los que están empleados, cuestión que no parece basarse en la realidad, se considera que una mujer con hijos debe tener protección mientras que una víctima sin ellos tiene menos posibilidades, lo que discrimina a grupos de agresores y de víctimas.
Dentro de los casos de discriminación en el ámbito privado tenemos el caso de los sistemas de venta de servicios de préstamos y seguros. Uno de los primeros sistemas basados en algoritmos para la concesión de préstamos en la banca es el FICO, creado por Fair Isaac Corporation, que puntúa a cada solicitante para saber cuál es el riesgo de incumplimiento en los pagos. Esta labor se conoce como los informes de crédito que utilizan los bancos. FICO no sólo puntúa, sino que da información sobre cuáles son los criterios que le faltan al solicitante, permitiendo mejorar en la puntuación que obtiene, en EE.UU. este tipo de información está regulada y ha de ser pública para el interesado. Sin embargo, la evolución de este tipo de modelos predictivos ha ido evolucionando a sistemas menos científicos añadiendo información como el código postal o el historial de navegación de internet que ofrecen servicios financieros que al estar separados de la banca no se encuentran regulados y escapan a esta obligación de suministro de la información, los llamados e-scores que hacen un perfil de márquetin y no de la salud financiera del sujeto, por ejemplo, si en la búsqueda de un vehículo se pincha más veces en la información de un Porsche que en la de un SEAT. De esta manera se hace una presunción sobre la capacidad económica que tiene el sujeto, pero también se puede poner otro tipo de información como el lugar de residencia, que pretende ser un indicador de la capacidad económica del sujeto. El problema viene cuando estos indicadores son incluidos en grupos de gente por variables lejanas al individuo como el sexo, la religión o las relaciones familiares, siendo la decisión determinante para la concesión del servicio la capacidad de solvencia de “gente como tú” y no si el sujeto particular es capaz o no de soportar financieramente el servicio prestado, afectando no sólo al individuo en particular sino a todos los integrantes de un grupo con determinadas características. Estos e-scores se utilizan como indicadores sobre las cualidades personales y se intercambian entre las empresas, creando, como hemos visto en los sectores anteriores, un peligroso ciclo de pobreza en el que las personas que tienen dinero no son incluidos en el sistema mientras que los que tienen problemas financieros, reciben ayudas del Estado o están al límite se encuentran dentro de este sistema de catalogación que discrimina a las personas dependiendo de factores que en muchos casos no son definidores del comportamiento futuro de la persona. Estos sistemas simplistas que priorizan los beneficios económicos comprometen nuestra capacidad de comprender ideas complejas.
Otro ejemplo de discriminación se produce en la contratación de trabajadores. El uso de datos médicos excede del ámbito de la salud para ser un elemento clave en otros sectores, como es el laboral. Los datos sanitarios ofrecen mucha información sobre la persona. Además, es un sector en el que la recopilación de datos es de gran tamaño dado que el sector médico está muy digitalizado y son muy necesarios para ofrecer un diagnóstico acertado, luego su uso en otros campos puede acarrear limitaciones en otros derechos sociales como el de acceso al trabajo.
Este es el caso de Roland Behn ante la situación de su hijo, con síndrome de bipolaridad, cuando descubrió que a la hora de encontrar trabajo la utilización de datos médicos en los sistemas de selección de personal de las empresas, junto con las pruebas de personalidad, discrimina a determinados sectores de población. Esta técnica de selección está muy extendida en las empresas grandes permitiendo a los sistemas automáticos realizar clasificaciones de personas, con perfiles determinados que sirven como indicadores de personalidad.
Aparte, de la fiabilidad de estas pruebas (puesta en duda) no es la de seleccionar al mejor para un determinado puesto de trabajo sino excluir al mayor número de personas de la forma más barata posible. En las pruebas, las respuestas posibles que dan al aspirante al trabajo son confusas o no permiten la elección de dos posibilidades, dejando al aspirante al trabajo sin la posibilidad de saber cómo va a interpretar la respuesta dada el algoritmo. Así, ante la pregunta sobre qué concepto tiene el trabajador de sí mismo, las posibles respuestas eran “soy único” o “soy ordenado”. La primera se interpreta como narcisismo y la segunda sin capacidad de iniciativa, pudiendo ser etiquetados con una bandera roja a la hora de ser empleados. La última evolución de este sistema de exclusión de trabajadores es el análisis de los datos de las redes sociales para perfilar a los posibles trabajadores que también se realiza de forma automatizada por sistemas inteligentes.
También entrarían en los delitos de discriminación alguno de los ejemplos que hemos utilizado para señalar el ataque a bienes jurídicos colectivos relacionados con el libre comercio o con la administración de justicia. En el caso de discriminación de personas jurídicas, por ejemplo, en el uso de sistemas inteligentes para mostrar los resultados en un buscador cuando se buscan servicios, no entraría dentro de estos preceptos. Este tipo de situaciones, aunque producen grandes daños a las empresas, no se encontrarían tipificadas en nuestro código penal.
Hemos analizado, desde el estudio de casos reales, los problemas que surgen dentro del sistema penal producidos por la implementación de inteligencia artificial en diferentes sectores de la vida. Los bienes jurídicos colectivos se ven afectados de forma clara, con un impacto lo suficientemente grande como para justificar la intervención penal. Sin embargo, podemos observar que hay tipos penales, hoy día, no tienen una redacción adecuada para la protección. Uno de los principales retos que se produce con el uso de la inteligencia artificial es que lo que hoy consideramos como bienes jurídicos individuales pasen a ser colectivos. Este es el caso de la privacidad, que está considerada como un bien jurídico individual que es disponible por la propia persona y sin embargo, en la actualidad, con el uso de grandes cantidades de datos y los sistemas inteligentes encontramos con que la filtración y la utilización de estos ya no sólo afectan únicamente a las personas individuales, mis datos, mi información personal, sino que al compartir información, que en principio se considera individual, se afecta a colectivos por el análisis que se puede hacer de ellos y los modelos con que trabajan la inteligencia artificial. El hecho de que una persona comparta información suya, aunque no haya datos sobre otras personas, puede afectar a otras personas. Mediante la creación de perfiles de usuarios y las correlaciones entre ellos, se puede conocer mucha información personal mediante perfiles y los datos que son considerados como indicadores. Estos sirven para extrapolar características de unas personas a otras, permitiendo tener información de un sujeto, aunque no se tengan datos suyos. Si nos hacemos una prueba de ADN en alguna de las empresas que se ofertan, nuestros datos genéticos se podrán vender a otras empresas. Esta es una típica acción donde una actuación individual sobre datos biométricos de una persona afecta al mismo tiempo a un grupo. No sólo afecta al individuo, afecta a sus descendientes y ascendientes por igual, llegando a varias generaciones. Es por ello por lo que la privacidad, en los últimos años, se ha transformado, también en un bien jurídico colectivo. Probablemente, el ataque más importante a la esfera íntima de la persona en los últimos años sea la creación de perfiles por Cambridge Analytica y, sin embargo, ha quedado completamente impune. Hay que replantearse seriamente una reformulación del bien jurídico privacidad para protegernos de estas nuevas amenazas por el uso de la tecnología que afectan directamente a nuestros derechos más personales como ser humano. Es por tanto necesario una nueva redacción de los delitos que protegen la intimidad y privacidad en la que, como bien jurídico colectivo, se de una protección adecuada a los colectivos afectados.
Además, tenemos que plantearnos la creación de tipos de peligro para protegernos de la utilización de la inteligencia artificial. Al igual que otras formas de tecnología, como pueden ser la genética, la energía atómica o la automoción, que han sido introducidas en el Código Penal mediante delitos que protegen de los usos más perniciosos, , es necesario una regulación que permita castigar los malos usos de la inteligencia artificial. Para conseguir este objetivo tenemos un problema fundamental, que hay muchos modelos de inteligencia artificial y que no existe una buena definición de esta que nos permita operar con gran certeza jurídica. Esto se produce principalmente, por la existencia de dos factores importantes: la gran variedad de técnicas que hay y la velocidad a la que se desarrolla.
Existen dos posibilidades para cubrir esta necesidad de una debida protección mediante el Derecho Penal. Una solución es aprovechar los principios de las regulaciones éticas para determinar claramente cuáles son los elementos que se deben tener en cuenta para considerar un buen uso de la inteligencia artificial y, por ende, determinar qué debemos entender por el deber de cuidado, que va a permitirnos determinar cuándo se ha realizado una utilización peligrosa de esta tecnología. Los siete principios éticos de las guías de altos expertos en inteligencia artificial exponen la necesidad de que haya un control humano, el respeto a la privacidad, la igualdad y no discriminación, que se busque el bienestar social y medioambiental, la transparencia, la robustez del sistema y la rendición de cuentas, que van a determinar si tanto en su diseño como en su uso se está cumpliendo con los estándares que se piden. Esto nos va a permitir utilizar las modalidades imprudentes de determinados delitos que ya están regulados en el Código Penal. En casos de bienes jurídicos individuales son bastante claros, por ejemplo, en los casos de homicidios que se den por una mala implementación de la tecnología. Este recurso también se va a poder aplicar a determinados bienes colectivo como en el caso del medio ambiente. La cuestión que queda por resolver es aquellos delitos que no tienen una modalidad imprudente, como ocurre con muchos de los delitos socioeconómicos, quedando sólo castigados aquellos comportamientos dolosos.
Con el fin de cubrir este vacío tenemos la posibilidad de intentar luchar contra las lesiones a los bienes jurídicos colectivos, que hemos visto anteriormente, mediante la inclusión de la modalidad imprudente en los tipos que protegen dichos bienes jurídicos. De los casos que hemos visto y cómo se encuentran tipificados en los artículos que protegen dichos bienes jurídicos podemos deducir que: a) existe una lesión grave del bien jurídico colectivo en cuestión, y b) en gran número de los casos de uso que hemos planteado, los sujetos no tienen realmente una intención de lesionar dicho bien. Son, en la mayoría de los casos, comportamientos imprudentes que no se encuentran tipificados hoy día en nuestro código penal, pero que es necesario que lo estén para dar una respuesta acorde a las demandas de la sociedad, tanto en la implementación de los sistemas inteligentes para mejorar la vida de las personas como para evitar los daños que se están detectando con la implementación de dichos sistemas inteligentes.
Sólo mediante una correcta protección de los bienes jurídicos colectivos podremos conseguir el objetivo de la Comisión Europea de desarrollar sistemas de inteligencia artificial que respeten los derecho fundamentales de Estado social y democrático de Derecho.
1
2
3
4
5
6
7
8
9
EUROPEAN UNION AGENCY FOR HUMAN RIGHTS: Getting the future right. Artificial intelligence and fundamental rights, Luxemburgo, Publications Office of the European Union, 2020, https://doi.org/10.2811/774118
11
12
13
NIKLAS, J.: Social rights and data technologies: looking for connections [en línea], Cardif, Data Justice Lab, 2022, [consultado el 12 de noviembre de 2022] Disponible en: https://datajusticeproject.net/wp-content/uploads/sites/30/2022/01/WP_Social-rights.pdf.
14
15
16
RODRÍGUEZ FERRÁNDEZ, S.: "Intereses sociales protegidos a través del bien jurídico-penal del delito de publicidad engañosa" Revista Internacional de Doctrina y Jurisprudencia, 2021, n° 26, p. 57-80, https://doi.org/10.25115/ridj.vi26.6913
17
19
20
SALIH, N.: "La Fundación Eticas realiza una auditoría externa e independiente del sistema VioGén" en Eticas Foundation, [en línea] 2022, [consultado el 8 de marzo de 2023] Disponible en: https://eticasfoundation.org/es/la-fundacion-eticas-realiza-una-auditoria-externa-e-independiente-del-sistema-viogen/.
21
SIMÓN CASTELLANO, P.: "Inteligencia artificial y Administración de Justicia: ¿Quo vadis, justitia?" IDP. Revista de Internet Derecho y Política, [en línea] 2021, [consultado el 13 de noviembre de 2022], n° 33. Disponible en: https://www.raco.cat/index.php/IDP/article/view/373817/472448. https://doi.org/10.7238/idp.v0i33.373817
22
[2] HIGH-LEVEL EXPERT GROUP ON ARTIFICIAL INTELLIGENCE.: Ethics Guidelines for Trustworthy AI [S. l.], European Commission, 2019.
[3] Exceptuando el acercamiento empírico de von Liszt, la mayoría de la doctrina de principios del S. XX realizó un acercamiento filosófico/moral a los valores a proteger. V. LISZT, F., Die Aufgaben und die Methode der Strafrechtswissenschaft (1899), en v. Liszt, F, Strafrechtliche Vorträge und Aufsätze, vol. 2, Walter de Gruyter, 1970, p. 285 y ss.
[7] AMELUNG, K.: “El concepto de bien jurídico en la teoría de la protección penal de bienes jurídicos” HEFENDEHL, R.: La teoría del bien jurídico. ¿Fundamento de legitimación del Derecho penal o juego de abalorios dogmático?, Marcial Pons, 2007, p. 238.
[9] SAX, W.: “Grundsätze der Strafrechtspflege” BETTERMAN, K.A., NIPPERDAY, H. C., SHEUNER, U., Grundrechte, 3, v. 2 Halbbd., 1959, p. 957.
[10] La versión más extrema de la corriente positivista del bien jurídico en la que el bien jurídico es el sistema jurídico, lo encontramos en Jakobs. JAKOBS, G.: Strafrecht. AT. Die Grundlagen und die Zurechungslehre, Walter de Gruyter, 1991, 2ª ed., p. 35. En una versión positivista más abierta, con la entrada de diferentes bienes jurídicos de base constitucional AMELUNG, K.: cit., p. 395.
[11] ALONSO ÁLAMO, M.: "Fundamentación pre-positiva de los bienes jurídico-penales y derecho penal mínimo de los derechos humanos" Revista General de Derecho Penal, Iustel, 2011, n° 15, p. 64.
[12] ALONSO ÁLAMO M.: “Bien jurídico penal: más allá del constitucionalismo de los derechos” EPC, 2009, nº 29, p. 66. Sobre la limitación negativa del concepto de bien jurídico
[14] HEFENDEHL, R.: Kollektive Rechtsgüter im Strafrecht, Heymans, 2002, pág. 45. PORTILLAS CONTRERAS, G.: “La influencia de las ciencias sociales en el Derecho penal: la defensa del modelo ideológico neoliberal en las teorías funcionalistas y el discurso ético de Habermas sobre selección de los intereses penales”, ARROYO ZAPATERO, L., NEUMANN, U. Y NIETO MARTÍN, A.: Crítica y justificación del Derecho penal en el cambio de siglo, Universidad de Castilla La Mancha, 2003, pág. 102. SILVA SÁNCHEZ, J. M.: Aproximación al Derecho penal contemporáneo, Bosch, 1992, p. 274.
[17] HEFENDEHL, R.: ¿Debe ocuparse el Derecho Penal de peligros futuros? Bienes jurídicos colectivos y delitos de peligro abstracto, RECPC, nº. 04, pág. 3.
[20] HEFENDEHL, R.: “De largo aliento: el concepto de bien jurídico”, HEFENDEHL, R., La teoría del bien jurídico. ¿Fundamento de legitimación del Derecho penal o juego de abalorios dogmático?, Marcial Pons, 2007, pág. 470.
[21] HASSEMER, W.: “Segunda sesión. Protección de bienes jurídicos y problemas de imputación”, en HEFENDEHL, R.: La teoría del bien jurídico. ¿Fundamento de legitimación del Derecho penal o juego de abalorios dogmático?, Marcial Pons, 2007, pág. 430.
[34] ASUA BATARRITA, A.: “Estafa común y fraude de subvenciones: de la protección del patrimonio a la protección de la institución subvencional” en Hacia un Derecho Penal económico europeo, Jornadas en honor del Profesor Klaus Tiedemann, Madrid, Boletín Oficial del Estado, 1995, pág. 129.
[35] BAJO FERNÁNDEZ, M. y BACIGALUPO, S.: Derecho Penal económico, Madrid, Centro de estudios Ramón Areces, pág. 289. ARROYO ZAPATERO, L.: Delitos contra la Hacienda pública en materia de subvenciones, 1ª ed. Madrid, Ministerio de Justicia, 1987, págs. 94 y 95. TERRADILLOS BASOCO, J.: Derecho Penal de la empresa, Valladolid, Trotta, 1995, pág. 225. MARTÍNEZ PÉREZ, C.: "Delitos contra la Hacienda pública", en Cobo del Rosal, Manuel, Comentarios a la legislación penal, vol. 7, Madrid, Edersa 1986, pág. 317.
[37] , [consultado el 12 de noviembre de 2022], p. 14. Disponible en: https://datajusticeproject.net/wp-content/uploads/sites/30/2022/01/WP_Social-rights.pdf.
[38] SERRANO FALCÓN, C.: “Robótica avanzada y relaciones laborales: Dificultades, análisis y propuestas” COTEC, 2018. [Consultado 4/12/2020] https://digibug.ugr.es/handle/10481/53820
[39] PASCUALE, F.: The Black Box Society. The Secret Algorithms That Control Money and Information, Harvard University Press, 2015, p. 35.
[43] MORILLAS CUEVA, L.: “Delitos contra los derechos de los trabajadores” en MORILLAS CUEVA, L.: Sistema de Derecho Penal. Parte Especial, Dykinson, 2019, p. 922. TERRADILLOS BASOCO, J. M.: “Delitos contra los derechos de los trabajadores: veinticinco años de política legislativa errática” EPC, 2021, nº 41, p. 2.
[48] PUENTE ABA, L.M..: Los genuinos delitos socioeconómicos de los consumidores, A Coruña, Universidad da A Coruña, 2001, p. 317; BLANCO LOZANO, C.: La reciente reforma de los delitos relativos a la propiedad intelectual e industrial, al mercado y a los consumidores, en el Código Penal español2011, n° 0718, p. 171; MARTÍNEZ BUJÁN PÉREZ, C., Derecho penal económico y de la empresa, Tirant lo Blanch, 2015, p. 150 y 151. En sentido contrario MUÑAGORRI LAGUÍA, I.: La protección penal de los consumidores frente a la publicidad engañosa. Art. 282 del Código penal, Comares, 1998, p. 80 y ss. DEMETRIO CRESPO, E.: “A propósito del bien jurídico en el delito publicitario tipificado en el artículo 282 del Código Penal español. (Una contribución a partir de una herramienta valorativa)” en GARCIA RIVAS, N.: Protección penal de Consumidor en la Unión Europea, Universidad de Castilla-La Mancha, 2005, p. 171.
[50] GALÁN MUÑOZ, A.: “Delitos contra el mercado y los consumidores” en GALÁN MUÑOZ, A., NUÑEZ CASTAÑO, E.: Manual de derecho penal económico y de la empresa¸ Tirant lo Blanch, 2019, p. 159.
[53] NOBLE, S. U.: Algorithms of Oppression. How Search Engines Reinforce Racism, New York University Press, 2018, p. 89.
[58] DOBAL PAÍS, A.: “La confusa armonización de los delitos de manipulación de mercado (art. 284) por la L.O. 1/2019” EPC, nº 40, 2020, p. 122.
[59] MARTÍNEZ BUJÁN PÉREZ, C.: Derecho penal económico y de la empresa. Parte especial, Tirant lo Blanch, 2015, 5ª ed., p. 339. ORTIZ DE URBINA GIMENO, I.: “Selección de bienes jurídico-penales conforme a la Constitución: El caso de la protección de la competencia” en SILVA SÁNCHEZ, J. M., QUERALT JIMÉNEZ, J. J., CORCOY BIDASOLO, M., CASTIÑEIRA PALOU, M. T., Estudios de Derecho penal. Homenaje al profesor Santiago Mir Puig, B de F., 2017, p. 1123 y ss.
[62] ORTIZ DE URBINA GIMENO, I.: “Problemas (reales y ficticios) y necesidad de protección penal de la competencia en España: el caso de la fijación de precios” en HERNÁNDEZ PLASENCIA, J. U.: La intervención penal en la protección de los intereses económicos de los consumidores, Marcial Pons, 2020, p. 263.
[63] FARANDO CABANA, P.: “Artículos 278 a 286: de los delitos relativos al mercado y a los consumidores”, GÓMEZ TOMILLO, M., Comentarios prácticos al Código penal, Aranzadi, 2015, p. 457. PUENTE ALBA, L. M.: “El artículo 282 bis del código penal: la falsedad en la inversión en los mercados de valores” RDPC, 2012, nº7, p. 54.
[64] CASTELLÓ NICÁS, N.: “Artículo 282” en COBO DEL ROSAL, M.: Comentarios al Código Penal, Tomo IX, CESEJ, 2006, p. 224 y ss.
[66] PUENTE ALBA, L. M.: “La protección de los consumidores ante particulares productos de inversión: análisis del «caso Nueva Rumasa»” PUENTE ALBA, L. M., La intervención penal en supuestos de fraude y corrupción, Bosch, 2015, p. 79.
[68] ANGWIN, J., MATTU, S., “Amazon Says It Puts Customers First. But Its Pricing Algorithm Doesn’t”, ProPublica, 2016, [Consultado 01/10/2020] https://www.propublica.org/article/amazon-says-it-puts-customers-first-but-its-pricing-algorithm-doesnt
[69] STANISLJEVIC, J., “A traveller’s guide to airline price discrimination” The Conversation, 2018, [Consultado 01/10/2020] https://theconversation.com/a-travellers-guide-to-airline-price-discrimination-98329
[70] MORILLAS CUEVA, L.: “Delitos contra la administración pública (I)” en MORILLAS CUEVA, L.: Sistema de Derecho Penal. Parte Especial, Dykinson, 2019, p. 1467
[72] VEGA, A.R.: “La Junta de Andalucía utiliza por primera vez robots capaces de tramitar hasta 2.500 ayudas en un solo día” [Consultado 24/09/2020] https://sevilla.abc.es/andalucia/sevi-junta-andalucia-utiliza-primera-robots-capaces-tramitar-hasta-2500-ayudas-solo-202007262324_noticia.html
[73] CONSEJERÍA DE EMPLEO, FORMACIÓN Y EMPLEO AUTÓNOMO: “Empleo extenderá la gestión automatizada de las ayudas tras la positiva experiencia con la línea de autónomos” [Consultado 14/09/2020] https://www.juntadeandalucia.es/organismos/empleoformacionytrabajoautonomo/actualidad/noticias/detalle/242785.html
[75] HENLEY, J., BOOTH R.,: “Wellfare surveillance system violates human rights, Dutch court rules” The Guardian [Consultado 18/06/2020] https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-system-violates-human-rights-dutch-court-rules
[77] MORILLAS CUEVA, L., PORTILLAS CONTRERAS, G.: “Los delitos de revelación de secretos, uso de la información privilegiada, cohecho impropio y tráfico de influencias” en COBO DEL ROSAL, M., Comentarios al Código Penal. Tomo XVI, CESEJ, 1994, p. 194.
[78] VALEIJE ALVAREZ, I.: “Consideraciones sobre el bien jurídico protegido en el delito de cohecho” EPC, 1994-1995, nº 18, p. 365.
[79] DE LA MATA BARRANCO, N. J.: “El bien jurídico protegido en el delito de cohecho. La necesidad de definir el interés merecedor y necesitado de tutela en cada una de las conductas típicas encuadradas en lo que se conoce, demasiado genéricamente, como ámbito de la corrupción” RDPC, 2006, nº 17, p. 128 y ss.
[80] PÉREZ MACHIO, A. I.: “Artículo 428” en GÓMEZ TOMILLO, M., Comentarios prácticos al Código Penal, Aranzadi, 2015, p. 321.
[81] CASTRO MORENO, A.: “Artículo 432” en GÓMEZ TOMILLO, M., Comentarios prácticos al Código Penal, Aranzadi, 2015, p. 347 y ss.
[82] MORILLAS CUEVA, L.: “Delitos contra la administración pública (VII)” en MORILLAS CUEVA, L., Sistema de Derecho Penal. Parte Especial, Dykinson, 2020, p. 1571.
[88] MORILLAS CUEVA, L.: “Reflexiones acerca del delito de prevaricación: desde su interpretación extensiva a su motivación reduccionista” REDS, 2016, p. 18.
[89] Disponible en: https://www.raco.cat/index.php/IDP/article/view/373817/472448.
[90] MILLS, M.: Artificial intelligence in Law: the State of Play 2016, Legal executive institute, Thomson Reuters, 2016, p. 1 [Consultado 28/08/2020] https://www.legalexecutiveinstitute.com/artificial-intelligence-in-law-the-state-of-play-2016-part-1/
[99] MIRO LLINARES, F.: “Policía predictiva: ¿utopía o distopía? Sobre las actitudes hacia el uso de algoritmos de big data para la aplicación de la ley” IDP, 2020, p. 5.
[100] https://www.predpol.com/about/ [Consultado 31/08/2020]
[104] FBI: Offense definitions [Consultado 31/08/2020] https://ucr.fbi.gov/crime-in-the-u.s/2011/crime-in-the-u.s.-2011/offense-definitions
[108] FREEMAN, K., “Algorithmic Injustice: How the Wisconsin Supreme Court Failed to Protect Due Process Right in State v. Loomis” NCJL & Tech. 75, 2016, p. 79.
[109] AMGWIN, J., et al. Machine Bias. There’s software used across the country to predict future criminal. And it´s biased against blacks. 2016. [Consultado 28/08/2020] https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
[114] Disponible en: https://eticasfoundation.org/es/la-fundacion-eticas-realiza-una-auditoria-externa-e-independiente-del-sistema-viogen/.
Downloads (Last 12 months)
