3.1 Bienes jurídicos colectivos relacionados con la protección de la sociedad

Dentro de las relaciones laborales en la empresa y de los derechos de los trabajadores se ha podido comprobar cómo la inteligencia artificial sirve para tener un control integral sobre los trabajadores, implementar sistemas de vigilancia en trabajos poco remunerados, principalmente a personas con pocos recursos o grupos marginados, mediante dispositivos que regulan su productividad analizando las paradas que hacen y la velocidad a la que desarrollan su trabajo. Pero no acaba en estos supuestos, también se utilizan para tomar decisiones relacionadas con la contratación de personal, los salarios de los empleados, el tiempo empleado y cómo se desarrolla el trabajo37.

La utilización de sistemas inteligentes para la valoración de los empleados en su trabajo está hoy al día38. A las empresas les es más barato utilizar software para analizar y catalogar a los trabajadores mediante sistemas online de evaluación que pagar un sistema clásico de contratación y evaluación39. Los sistemas de vigilancia dentro del trabajo van desde la grabación y análisis de las conversaciones telefónicas hasta el control de los correos electrónicos, pasando con la interacción con el resto de los trabajadores, con el único fin de mejorar la productividad40. Los sistemas de gestión de trabajadores mediante la utilización masiva de datos prometen aumentar la productividad, pero justamente los empleos en los que se pueden analizar por datos son los más propensos a la automatización, permitiendo que un robot ocupe su lugar41. El principal problema de estos sistemas es su opacidad. La falta de conocimiento por parte del trabajador sobre cómo se le va a valorar y cómo se van a interpretar sus acciones, generando una tensión entre empleador y trabajadores, que prefiere seguir manteniendo el secreto para no perder el valor predictivo de estos sistemas42. La clasificación de los trabajadores se suele hacer mediante un sistema de colores dando verde a los que cumplen con los requisitos marcados, naranja para los que tienen que mejorar y rojo para los que deben ser despedidos. El factor determinante son los datos considerados como clave a la hora de tomar las decisiones. Así, escribir en las redes sociales con símbolos de exclamación puede ser considerado como un factor negativo, al igual que no tener cuenta abiertas en ellas. Esta nueva forma de control de los trabajadores, que afecta a sus condiciones de trabajo, podría caber dentro del artículo 311 del Código Penal ya que mediante el abuso imponen condiciones laborales que suprimen o restringen los derechos de los trabajadores a un trato digno y a la información de valoración de su trabajo. En este caso el bien jurídico protegido, los derechos de los trabajadores.

Los sistemas de vigilancia y de utilización de datos biométricos para aumentar la productividad también van a estar incluidos en el artículo 31143. Hay que tener en cuenta que este control tan exhaustivo de los trabajadores afecta a las condiciones de trabajo de todos ellos como colectivo y, además, puede llegar a resultados contrarios a los pretendidos. Sirva como ejemplo, el caso de las escuelas en EE. UU. En los años 80 del siglo pasado, alarmados por los bajos índices de calidad del sistema público de enseñanza, se puso en marcha un sistema de puntuación y clasificación de profesores que se sigue utilizando. O ‘Neil describe el caso de Tim Clifford que, después de veintiséis años de experiencia, al realizar el test sacó seis puntos sobre 100. Si no hubiese sido un profesor con un puesto fijo, lo habrían despedido con esos resultados. Al siguiente año, se le suministró el resultado del mismo, pero sin información adicional sobre cómo mejorar. Él continuó con su modelo pedagógico y en la siguiente evaluación consiguió un resultado de 96 sobre 100. En el análisis de cómo funciona el sistema estadístico se pudo comprobar cómo, en la valoración final de los docentes, los datos de los profesores variaban dependiendo del tipo de alumnos que tenían y, además, se pudo comprobar un problema en metodología estadística que se usó. Los números grandes no pueden trasladarse al análisis concreto de una unidad44. En algunos supuestos, la baja puntuación de los profesores derivó en despidos del sistema educativo público sin mucha explicación de por qué el sistema matemático tomaba esa decisión, y han acabado siendo contratados en el sector privado. Lo que no era bueno para el sistema público, sí lo era para el sector privado, siendo claramente perjudicado por el sistema estadístico. Estas situaciones son exactamente a las que se producen con el uso de la inteligencia artificial. En 2015, la administración del presidente Obama, modificó el sistema porque se percató que el sistema discriminaba a los barrios con problemas sociales de pobreza, pero dándole las competencias a los estados. En el caso de Nueva York se realizó un análisis a cuatro años para evaluar a los profesores que derivó en un rechazo de los profesores por hacerles perder mucho tiempo en la recolección de los datos y en tener resultados injustos. Esta protesta llegó a los padres que se opusieron a este sistema. En 2015 el boicot llegaba al 20% de los centros45. Esta forma de puntuar a los trabajadores se sigue utilizando hoy día, pero adaptada a sistemas basados en inteligencia artificial.

Otro de los grupos de bienes jurídicos colectivos afectados son aquellos relacionados con los delitos relativos al orden socioeconómico. En este punto hay que diferenciar diferentes artículos afectados. En lo relativo a los derechos de los consumidores se ha podido observar cómo se ven limitados sus derechos a la hora de elegir productos mediante campañas personificadas para conseguir alterar sus hábitos de consumo. Se utilizan algoritmos para fidelizar clientes mediante la utilización de los datos de compra en esos establecimientos junto a los datos de comportamiento comprados a los data traders. Estos análisis realizan perfiles y adaptan la oferta de productos a lo que la empresa quiere que el ciudadano compre o consuma. Esta estrategia de utilización de grandes datos de consumidores con algoritmos es utilizada hoy día por muchas empresas, de las que quizás la más importante, como empresa de publicidad, es Google, que utiliza la información de los correos electrónicos y de las cookies para personalizar la publicidad que aparece en sus productos (buscador, correo electrónico, YouTube, etc.) mediante micro etiquetado. Al igual que Facebook. Ambas realizan perfilados muy detallados. Personas con códigos postales de zonas pobres, que se detienen en publicidad sobre préstamos o que han dado un me gusta a una campaña de estrés postraumático (susceptibles a recibir financiación estatal) son buscados como objetivos para determinados productos financieros.46 Estas formas tan depredadoras de publicidad47 limitan la libre elección del ciudadano a la hora de elegir el producto más conveniente para él. El bien jurídico protegido sería el interés del grupo colectivo de consumidores48 en el correcto funcionamiento del mercado, recogido en el artículo 282, del cual no se duda por la doctrina de que se trate de un delito de carácter supraindividual49. No hay que olvidar que, aunque la publicidad de los productos pueda estar personalizada, siempre se realiza mediante una personalización de grupos de consumidores con intereses similares, no pudiendo considerarse que es individualizada. Si consideramos que lo protegido en el artículo 282 del Código Penal es el patrimonio50, nos encontramos que hay que encontrar una relación directa entre la publicidad gestionada por el sistema inteligente, que sea fraudulenta, y un perjuicio patrimonial que se tiene que dar en la persona perjudicada, lo cual hace muy difícil su aplicación Ay la adecuada protección que debe de darse a los consumidores ante los malos usos de la inteligencia artificial. La utilización de ésta pone en una situación de desventaja aún mayor al consumidor, produciendo situaciones de opacidad mayores de las existentes en la actualidad.

La importancia de la utilización de inteligencia artificial en el perfilado de personas y empresas se ha visto en las nuevas empresas que han surgido: los corredores de datos. La líder en este mercado puede ser la empresa Palantir pero hay más como Acxiom, Corelogic, Datalogic, ChoicePoint o eBureau. La función de estos corredores es la de realizar referencias cruzadas de todos estos datos. Hay miles de datos con miles de detalles con miles de categorías y detalles, muchos de ellos inferidos, que permiten realizar perfiles de consumidores para mejorar las campañas de publicidad51. En un caso, ChoicePoint informó erróneamente sobre una empresa, adjudicándole un delito de tráfico de metanfetaminas, etiquetándola como criminal en su base de datos de delincuencia mediante un sistema automático de decisiones. Esto derivó a que se rechazasen las solicitudes de préstamo y que, aunque se rectificó la información errónea en la base de datos, se le denegasen sistemáticamente los créditos porque su información había sido vendida a otros corredores de datos, expandiendo una información errónea sin posibilidad de control52. Esta situación pone a la empresa en una clara situación de desventaja con respecto a la competencia, pudiendo incluirse este tipo de conductas dentro del artículo 284 del Código Penal. Este conjunto de prácticas comerciales y publicitarias consiguen como resultado sesgar determinadas ideas53 y productos, limitando la libre competencia que debe regir el mercado en una economía de mercado. Dentro del sistema financiero los métodos algorítmicos han sido promocionados desde hace tiempo con el fin de equilibrar el campo de actuación y disminuir los riesgos. El principal objetivo de reducir los intermediarios en la concesión de préstamos, hipotecas y otros servicios bancarios.

Los delitos que regulan la alteración de los precios en el mercado y la libre competencia también va a tener que ser analizados. Por ejemplo, desde el inicio de la contratación de seguros se ha intentado mitigar el riesgo que supone esta actividad. En los últimos años se ha encomendado la decisión de conceder o no un seguro a datos objetivos. Al poder disponer de los perfiles de salud de los posibles asegurados se puede adaptar el modelo de seguro a la persona concreta. Así, para contratar un buen seguro médico encontramos nuevas prácticas en las que, para contratar un seguro, se sugiere al cliente controlar sus constantes vitales (cuantas horas duerme, que anda 10.000 pasos al día, ritmo cardiaco, azúcar, etc.) a cambio de una bajada de cuota al garantizar, mediante el control, su buen estado de salud. Hay clientes que se encuentran encantados con esta modalidad. Sin embargo, desafortunadamente para él, las aseguradoras utilizan los datos, no sólo para dar un tratamiento individualizado al cliente, sino con el fin de crear pequeños grupos de personas, con características parecidas, con el fin de ofrecer diferentes productos y servicios a precio variable dependiendo de ellas54. Los modelos predictivos utilizados en las aseguradoras nos asignan, como consumidores, a un grupo determinado, que va a servir para asignarnos determinadas cualidades, sin saber muy bien por qué estamos en él. De esta forma, en el caso, por ejemplo, de los seguros de coches, puede ser más determinante para la cuota los datos demográficos que los indicadores de buena conducción. El resultado final es la utilización de indicadores no relacionados con la persona sino con las características de grupos creados y da como resultado que este sistema sea injusto con los grupos más pobres55, a los que se valoran como grupo determinado y no por sus posibilidades individuales a la hora de poder afrontar el pago del seguro y de acceder a un servicio dentro de la oferta libre de seguros.

El secreto bancario es un argumento clásico que ha complicado el control y la regulación del sistema bancario. Con el uso de algoritmos esta falta de información no ha hecho sino aumentar56 la opacidad y la dificultad para controlarlos y tener un conocimiento de cómo toman sus decisiones. Los mercados de valores son gestionados con algoritmos informáticos que procesan más datos y reaccionan más rápido que los humanos. El análisis automatizado que realizan maneja muchísima información que las agencias de información económica publican en redes sociales, basando sus decisiones de inversión en este análisis por sistemas inteligentes, con la finalidad de realizar la inversión en tiempo real. Este hecho es clave para entender lo ocurrido en 2013 cuando un grupo de piratas hackearon la cuenta de Twitter de Associated Press y difundieron el mensaje de que el presidente Obama había sido herido en un ataque. Los sistemas automáticos de los fondos de inversión se alimentaron de esa noticia y empezaron a ejecutar ventas teniendo en cuenta una información falsa con el resultado de que el Dow Jones cayó 150 puntos en 60 segundos causando unas pérdidas de 136.000 millones de dólares. Algo similar ocurrió en 2010, cuando en cinco minutos la Bolsa de Nueva York cayó 1.000 puntos y con un resultado de un billón de dólares esfumados, sin todavía saber por qué los algoritmos tomaron esas decisiones57. La información falsa sobre determinados acontecimientos deriva en una alteración de los precios de las acciones con un resultado de grandes pérdidas económicas para grandes colectivos de personas, aparte de la pérdida patrimonial individual de cada uno de los inversores.

Las democracias liberales se basan en un principio básico que es la libre competencia. Con el uso la inteligencia artificial ya se está observando como los mercados se pueden alterar. La confianza de los inversores, la transparencia o la libre formación de los precios58, dentro del bien jurídico libre competencia59, se ven afectados. Indudablemente un bien jurídico como este deja mucho margen de maniobra y puede verse limitado su alcance de protección por la redacción del tipo, en nuestro caso, el artículo 284, en los apartados 1 y 2, del Código Penal. El primero se aplicará para los supuestos de uso de cualquier medio para la alteración de los precios que debe imponerse por la oferta y la demanda, tanto para materias primas, índices de referencia, servicios o cualesquiera otras cosas muebles o inmuebles, y el apartado segundo para el uso de tecnologías de computación con la finalidad de alterar los precios de cotización de un instrumento financiero o un contrato de contado sobre materias primas o de manipular el cálculo de un índice de referencia. Ambos tipos se pueden cometer por la inteligencia artificial. Dentro del mercado financiero la utilización de algoritmos está generalizada entre los sistemas de inversión y presenta dos problemas que afectan al mercado libre: la centralización de los sistemas de utilizan para informarse y la autorreferencia, la generación de información clave sobre sí mismos60. Los métodos algorítmicos en los sistemas financieros se centran en el estudio de clientes mediante la creación de perfiles de usuarios con la finalidad de reducir riesgos y hacer análisis para inversión que de por sí son opacos y que dificultan aún más la transparencia de las black box de los sistemas inteligentes. Antes estos sistemas, los clientes de los fondos de inversión, por ejemplo, se ven claramente perjudicados. Hoy día, gran número de los negocios de bolsa los gestionan algoritmos informáticos que procesan información en tiempo real para realizar sus compras en tiempo real, siendo susceptibles de procesar información no veraz que puede derivar en bajadas de precios por valor de más de 100.000 millones de dólares en un periodo de un minuto61.

La libre competencia debe asegurar la mejor calidad al precio más bajo de tal manera que vaya a redundar en los consumidores, pero también debe de tener una repercusión en las personas jurídicas y en la administración pública62. El artículo 282 bis protege el libre mercado, en concreto, las operaciones con información privilegiada y las manipulaciones del mercado. El bien jurídico, tal y como está redactado, se podría interpretar como la confianza y garantía inherentes a los documentos de emisión de cualquier instrumento financiero o información de la sociedad63 que afecta al libre mercado64. Se puede interpretar que este bien jurídico está acompañado de la protección del patrimonio, siendo ambos los intereses jurídicos protegidos, con algún matiz entre el primer apartado (peligro de perdida de patrimonio) y el segundo (lesión efectiva del patrimonio)65. Sin embargo, este precepto no cumple con el objetivo de protección que se deduce de su norma de origen, la Directiva 2003/6/CE sobre operaciones con información privilegiada y la manipulación del mercado, quedándose en su incorporación al Código penal de forma muy menguada a lo que debería66. De igual forma, ocurre con el artículo 285 y la utilización de información privilegiada en la compraventa de instrumentos financieros, así como el resto de los artículos del 285 bis hasta el quater, donde se defiende el mercado libre. En el ámbito de las empresas y el libre mercado nos encontramos con que en el mercado de seguros médicos pueden cambiar entorno al 30% de posibilidades de obtenerlos dependiendo de si el asegurado vive en un barrio pobre o no67. Amazon determina el precio de sus productos mediante un algoritmo que en un 80% de los casos beneficia a sus productos en contra de los de la competencia68, así como las compañías de vuelos también discriminan sus precios para un mismo vuelo y usuario69 dependiendo de la información de compra que tiene del usuario.

El efecto en el sistema económico de los sistemas inteligentes es bastante determinante en los derechos económicos de los ciudadanos, ya sea con los trabajadores, consumidores o con la defensa del libre mercado.

3.2 Bienes jurídicos que protegen al Estado

Uno de los entornos en los que se está generalizando el uso de inteligencia artificial es en la Administración pública, la gran poseedora de datos de calidad a la hora de tomar decisiones. Las posibilidades que el avance de la tecnología permite en la mejora de la administración y en la utilización de los recursos públicos son espectaculares, tanto en el uso de los recursos económicos, la eficiencia de los recursos humanos y la posibilidad de realizar análisis que hasta ahora no se podían realizar porque la gran cantidad de datos que tiene la administración no pueden ser procesados por los medios actuales.

Hemos señalado que gran parte de los bienes jurídicos colectivos están en relación con las funciones del Estado. El Código Penal garantiza que se tenga confianza en el Estado defendiendo su actividad con determinados tipos penales relacionados con administración general del Estado o con la de justicia. El ámbito más variopinto y complicado de tratar a la hora de analizar los bienes jurídicos afectados por la utilización de la inteligencia artificial sea en la administración pública. Esto se debe no sólo a su gran amplitud, que puede ir desde la medicina, la educación, las ayudas públicas, hacienda, etc. situaciones en donde el funcionario puede tomar decisiones sesgadas o prevaricadoras, sino que además puede afectar a derechos fundamentales como la seguridad (cuando es utilizada por las fuerzas y cuerpos de seguridad del Estado) o los derechos judiciales (dentro del sistema de justicia).

El principal artículo a la hora de garantizar la correcta función de la administración pública es la prevaricación administrativa del artículo 404 del Código Penal el bien jurídico que se protege es la actividad pública, los servicios que los distintos poderes del Estado prestan a los ciudadanos70 determinada por el deber de respetar el derecho como valor en sí mismo71.

Así, la toma de decisiones automatizadas dentro de la administración pública genera problemas por la opacidad que tienen los sistemas inteligentes. Recientemente la Junta de Andalucía, ha puesto un sistema automático de concesión de ayudas para autónomos por los daños causados por el confinamiento por la pandemia que tiene una capacidad de tramitar 2.500 ayudas en un día72. La intención es extender estos sistemas automáticos a otro tipo de ayudas sociales, como desempleo73. Este tipo de determinar cómo se reparten los recursos públicos mediante elementos objetivos basados en datos no es nuevo. Iniciativas basadas en la utilización de datos biológicos para la concesión de ayudas se han implementado en la administración. Los primeros intentos de basar las ayudas públicas en decisiones basadas en datos datan de la segunda década del S. XX en EE.UU. y en el Reino Unido, con algunos proyectos basados en datos eugenésicos para determinar si se daban ayudas de alojamiento y manutención a pobres74. La traslación de este sistema de análisis de datos a sistemas inteligentes está siendo ya una realidad y los problemas con la discriminación de grandes sectores de población están hoy presentes. El número de ejemplos en el que la administración, con el fin de evitar el fraude y maximizar el uso de los recursos en ayudas sociales, es grande. Quizás el que destaca de forma más clara es el surgido en Países Bajos con su programa SyRI. El Gobierno holandés gastó más de ocho millones de euros al año en más de cien sistemas inteligentes para gestionar el sistema de ayudas sociales llamado SyRI. Con este fin, desarrollo un sistema de indicación de riesgos para predecir la probabilidad de cometer fraude con las ayudas sociales o de en el pago de impuestos. Se comprobó que los barrios pobres y sus habitantes eran espiados digitalmente sin que hubiese indicios de fraude. SyRI estaba catalogando de forma discriminada a los pobres75. Los perjudicados fueron a juicio y ganaron descubriendo que el sistema estaba determinado para no conceder ayudas a los inmigrantes y sectores más desfavorecidos. Finalmente, la administración dejó de utilizar estos sistemas después de la sentencia condenatoria. Este caso en concreto, si se traslada a ordenamiento español, afectaría a la igualdad, protegida en el artículo 511 del Código Penal, que veremos más adelante.

En estos casos concretos también entrarían en juego los delitos de cohecho del artículo 419 que protege es la integridad de la función pública76. Esa confianza que tienen los ciudadanos77 en que la administración va a tomar sus decisiones de forma justa78 implica que los casos de cohecho puedan perjudicar al resto de administrados al fallar el sistema de contratación o de consecución de ayudas de la administración que es el que nos interesa. Cohecho pasivo y activo tienen diferencias y matices de interés que afectan al bien jurídico protegido79. Indudablemente, los funcionarios que utilicen o desarrollen sistemas inteligentes que produzcan esta mala administración de los fondos públicos en beneficios de terceros, deben de recibir una contraprestación o dádiva.

Anteriormente hemos comentado el supuesto en el que la administración Holandesa diseña un sistema en el que intencionalmente perjudica a los inmigrantes, poniéndoles trabas, y teniendo un sistema de decisión que les resta ayudas. Este uso de la inteligencia artificial podríamos enlazarlo con las acciones tipificadas en el artículo 428 que regula la toma de decisiones justa por parte de la administración con el fin de proteger el principio de imparcialidad o de objetividad de la función pública80 desde la perspectiva de las acciones de los funcionarios públicos o autoridades, tanto en su modalidad activa como en la pasiva. Las situaciones reales en las que la utilización de sistemas inteligentes, dentro de la utilización de la administración, se van a ver muy limitadas ya que ésta no tiene recursos para implantar estos sistemas sin la colaboración del sector privado, con lo que la especialidad del tipo penal haría que no se cumpliese con él. Aun así, el bien jurídico sí protegería las situaciones de parcialidad originadas dentro de la administración pública por las decisiones que se tomen a sabiendas de la injusticia de las mismas por funcionarios o autoridades.

El delito de malversación del dinero público mediante del artículo 432 se podría aplicar también cuando se descubra que la inteligencia artificial toma decisiones respecto al patrimonio público que cumplan con los requisitos del artículo 252. El bien jurídico protegido es controvertido, variando entre tres posibilidades81, el correcto funcionamiento de la Administración Pública, el patrimonio público y la correcta prestación de los servicios públicos. Considerar el bien jurídico sólo con una perspectiva patrimonial82 implicaría que no se protegería la buena administración, tal y como se pretende en el sexto principio de las guías éticas sobre inteligencia artificial de la Comisión Europea, lo cual sería un requisito deseado en el uso de la inteligencia artificial en la administración pública83, como se puede observar en el caso de un sistema automatizado para la priorizar el acceso a casas por parte de indigentes que se llevó a cabo en Los Ángeles en 201384. La idea era crear un listado de las personas sintecho y clasificarlas para ordenar el orden en el que se iban a distribuir las soluciones habitacionales85. Para ello se utilizó el índice de vulnerabilidad dentro de las herramientas de priorización. El sistema se nutría de datos administrativos como el nombre, fecha de nacimiento, información sobre inmigración y residencia, datos médicos sobre salud mental. Una vez gestionada la información con otras bases de datos de servicios sociales se clasifica a los candidatos con un nivel de 1 a 17 puntos. Por otro lado, otro sistema realiza un recuento de las oportunidades habitaciones que se encuentran libres. Un segundo algoritmo identifica cuales son las personas que están en un gran riesgo de necesitar una solución específica. En el caso en que hubiese una renuncia a la situación habitacional, situación que no siempre se da por una renuncia voluntaria del sujeto, se le puntúa a la baja para conseguir una segunda solución habitacional86.

Otro de los delitos que se pueden cometer dentro de la administración pública es el de prevaricación del artículo 446 que tendría una especial aplicación en los casos en que la toma de decisiones de los jueces o magistrados se basen en sistemas inteligentes. Así, las herramientas de análisis para el diseño de baremos en casos civiles, las posibilidades de éxito de un determinado litigio o las herramientas de predicción de un determinado litigio87 pueden generar decisiones arbitrarias por jueces que generen situaciones de prevaricación. El bien jurídico aplicado a estos casos, la actividad pública desempeñada bajo los principios de imparcialidad y objetividad88, se va a haber afectado si el sistema inteligente toma decisiones sesgadas y el juez o magistrado las acepta sin ningún tipo de control. Indudablemente, cumplir con los elementos del tipo puede ser más complicado que en los casos en los que no se utilizan esta tecnología, pero es factible que se cumplan los requisitos de este. Y es que, hasta ahora, en la utilización de sistemas expertos en la toma de decisiones judiciales ha habido más errores que aciertos por parte de los algoritmos fallidos89, lo cual abre la puerta a la prevaricación judicial dependiendo del conocimiento que tenga el juez de la injusticia de su decisión.

La utilización de sistemas inteligentes en el mundo jurídico no es nueva, ni empezó en 2016 cuando Watson, el consejero predictivo de IBM, aprobó el examen de la abogacía90. Sin embargo, dentro de la administración de justicia judicial, donde ha tenido mayor repercusión es en el sistema penal, probablemente, por tratar temas que afectan a los intereses más importantes de las personas, por el fracaso que supone el crimen para la sociedad, por la falta de recursos para tener una buena política preventiva del crimen y por los análisis preventivos del crimen basados en matemáticas se han estado utilizando en criminología con anterioridad a la popularización de la inteligencia artificial. Sin embargo, su utilización no se limita al ámbito predictivo criminal, sino que también es utilizado en el sistema civil, mercantil o administrativo mediante sistemas de análisis inteligente de sentencias como RAVEL LAW o el buscador de jurisprudencia y documentación legal, como el creado por IBM, llamado ROSS. De los diferentes sistemas de IA que existen los juristas no necesitan ni robots ni visión de máquina, pero en otros campos, diferentes al derecho, sí pueden ser interesantes.

El proceso de utilización de inteligencia artificial en las decisiones judiciales se encuentra bastante desarrollado en Francia, que lleva años trabajando en un sistema que garantice una seguridad jurídica en las resoluciones judiciales. Para llevar a cabo esta ingente tarea es necesario un primer requisito consistente en la datificación de las sentencias, que se intentó llevar a cabo con la Ley de la República Digital cuya finalidad era la publicación de las sentencias más relevantes91. Sin embargo, este proyecto se ha visto atemperado en algunos aspectos. Así, desde el punto de vista técnico la falta de coordinación en la recogida de las principales sentencias de los diferentes niveles de Tribunales y no se ha conseguido un sistema automático que garantice el anonimato de la sentencia. Hay que añadir problemas desde una perspectiva jurídica como la posible transformación de la lógica en la resolución de las decisiones jurídicas; si se pueden exigir mayor explicación a los jueces de sus decisiones; también en los casos en los que la norma no está diseñada para la resolución del caso, puede diferir de la resolución de los Tribunales superiores, ignorando la jurisprudencia existente; y, finalmente, se necesita que todas las sentencias estén escritas con la misma lógica92.

En los ámbitos de la justicia civil, mercantil y administrativa el uso de IA puede ser bastante útil para la disminuir la falta de certeza en la resolución que va a dar el juez antes de ir a juicio. Por un lado, los abogados podrán dar una estimación a su cliente sobre las posibilidades que tiene de conseguir una sentencia favorable, al mismo tiempo, los bufetes pueden ahorrar costes innecesarios en demandas con pocas posibilidades (outcome prediction)93. Por otro, a los gestores de la justicia les permite mejorar el flujo de nuevos procedimientos permitiendo una mejor gestión y reduciendo costes. El actual sistema de usar escalas para indemnizaciones por daños, divorcios, etc. puede mejorarse con sistemas probabilísticos94 y los de poca entidad se pueden resolver por los sistemas alternativos online de resolución de conflictos95. También existen sistemas de autoservicio para la realización de programas de complimiento como Neota Logic, que aplica un sistema hibrido de plataformas que combina sistemas expertos con otras técnicas de IA, como procesamiento de lenguaje natural y aprendizaje de máquina, para proporcionar respuestas específicas basadas en hecho y el contexto para cuestiones de cumplimiento, regulación y legales, Compliance HR que ayuda a los encargados de recursos humanos a evaluar a un contratista externo, el pago de horas extras y otras cuestiones de derecho laboral o Global Risk Solutions Service que ayuda a realizar programas de cumplimiento anti-corrupción respetando la regulación de las autoridades96. Similares técnicas de IA se están utilizando en el ciclo de vida de un contrato, desde su creación, ejecución o finalización.

Dentro del ámbito penal se puede observar como en el uso de los modelos estadísticos que se usan en los sistemas automáticos para determinar la reincidencia de un preso se pueden encontrar que algunas de las variables que se utilizan son los antecedentes penales del sujeto, si los tienen las personas de su entorno, si en el caso de ser condenado el consumo de drogas o alcohol tuve algún tipo de influencia, y toda una batería de preguntas que determinaban la posibilidad de condena dependiendo de si el entorno de dónde provenía era más privilegiado o no97. Las decisiones judiciales automatizas basadas en datos pueden ser injustas si los datos con los que se alimenta el sistema son discriminatorios de por sí.

En una zona intermedia se encuentran los funcionarios de las fuerzas y cuerpos de seguridad del Estado que trabajan justicia penal. Quizás el ejemplo que más repercusión ha tenido es el de uso del sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) por los juzgados de Wisconsin para determinar la pena del sujeto dependiendo de su posibilidad de reincidencia. Paul Zilly, el sujeto juzgado, recibió una condena por el robo en una propiedad más dura de la que se pensaba que podría recibir si hubiese llegado a un acuerdo sus abogados y el ministerio fiscal. Los jueces se basaron en la predicción de este programa para considerar que su riesgo si era liberado era alto, cambiando la condena de un año en una prisión del condado por dos años en una prisión federal98.

En el caso de los sistemas para prevención del crimen99, herramientas como PredPol sirven para analizar zonas geográficas con elevados índices de crimen. Básicamente, utiliza los datos de la policía para analizar, geográficamente, donde es más probable que se produzcan determinados tipos de crimen100. Esta colaboración entre la Universidad de California y el Departamento de policía de la ciudad de Los Ángeles es la herramienta de predicción más popular entre la policía en EE.UU. Otras herramientas utilizadas son HunchLab, que combina multitud de estadísticas para dar un resultado, sin preocuparse de por qué se produce, o Stragtegic Subjetct List, que se centra en datos de personas, en vez de datos geográficos, para determinar la posibilidad de que un sujeto se vea envuelto en un delito con armas. Este último, ha sido escrutado por RAND, una organización sin ánimo de lucro, y los resultados que ha obtenido indican que en vez de prevenir bajando los índices de delincuencia, lo que ha conseguido es aumentar la población carcelaria101. En España tenemos programas de gestión de patrullas y de trabajo policial con VinfoPol, el programa Appolo de ayuda para la policía local y, en la prevención de determinados tipos de delitos, VeriPol que analiza denuncias en delitos contra la propiedad y determina cuando son falsas y VioGen que determina la necesidad de protección policial a víctimas de violencia de género.

La realidad práctica con PredPol se ha desarrollado de forma diferente. La utilización de esta herramienta en el Kent, Reino Unido, en la que se añadieron delitos muy leves (que para nuestro sistema serían faltas administrativas, como orinar en público) derivó en un aumento de la detección de estos delitos, pero, sin embargo, en aquellos delitos en los que se cambiaba el lugar o el modo de realizarlo no funcionó102. Al ser modelos matemáticos, los resultados que dan no pueden “predecir” el crimen sino solamente determinar la probabilidad de que ocurra algo basado en qué ha sucedido antes. Si se cambia el patrón hay que empezar de nuevo para poder detectar el nuevo modelo. En estos casos la eliminación de estos “delitos” menores facilita mejores resultados para delitos más graves: menos datos, paradójicamente, dan mejores resultados.

En este punto hay que resaltar que las fuentes de datos son importantes ya que si se alimenta el sistema sólo con datos de barrios pobres sólo se van a detectar los crímenes en barrios pobres puesto que si lo único que se tiene es esta información sólo se va a rastrear, en realidad, la delincuencia relacionada con la pobreza103, aumentando la brecha la desigualdad y estigmatizando más aun a este sector de la población. Esto es lo que ocurre con la política de tolerancia cero que se estableció en Nueva York. Los datos policiales con los que se nutre PredPol están llenos de lo que en EE.UU. se encuentran catalogados en el grupo 2 de delitos: vagancia, vandalismo, copias de productos, delitos sexuales contra la castidad o la decencia, pedir limosna de forma agresiva o la venta y consumo de pequeñas cantidades de droga104, datos que dificultan la investigación de los delitos violentos al no estar relacionado con estos y olvidando completamente los delitos económicos, dando como resultado una herramienta que elabora sus análisis de forma injusta. La desproporcionalidad de la búsqueda de datos en determinados barrios considerados como focos de criminalidad y la política de “parar y cachear” ha dado como resultado bases de datos completamente sesgadas en las que la mayoría de los datos pertenecen a negros o latinos105. En la justicia penal, la sanción por la previsibilidad del incumplimiento de la norma no es posible106, puesto que atenta a la necesidad de que se haya cometido el hecho. En estos casos la prevaricación es bastante probable.

La utilización de IA en el sistema judicial, como hemos visto, varía del área de aplicación en el que nos encontremos. Su utilización en el derecho privado es completamente diferente del ámbito penal, su incidencia es mucho menor y su nivel de acierto puede calcularse de forma más sencilla. Aun con estos problemas e incertidumbres, su utilización avanza de forma muy importante en todas las ramas jurídicas, con mayor o menor fortuna. Lo que sí parece claro es que la decisión automática de decisiones en materia judicial no parece que vaya a estar presente en un futuro próximo.

Indudablemente, la aplicación de la justicia se encuentra sujeta a la ley en un Estado Democrático de Derecho. Sin embargo, a la hora de tomar una decisión el juez o tribunal tiene un margen de discreción que puede generar incertidumbre. La justicia no es un sistema exacto ni matemático ya que la complejidad de los modelos sociales y de la aplicación de la justicia supera a una concepción exclusivamente matemática. Estas características nos dan como resultado el que la predicción matemática sobre una decisión judicial basada en algoritmos no sea más que una probabilidad de solución y no la solución que sea la deseable desde el punto de vista de la justicia107. En estos casos, la fe ciega en la tecnología por parte de los jueces o la imposibilidad de justificar una decisión distinta a la marcada por el sistema informático, llevan a situaciones injustas. Es cierto que, en el día a día, los jueces pueden no dar la mejor solución en sus decisiones, pero de ahí a pensar que las decisiones jurídicas que salgan de un sistema de IA van a ser justas e infalibles hay un largo camino. Es por ello, que el bien jurídico defendido en estos tipos penales puede verse afectado con la utilización de estos sistemas inteligentes.

3.3 Bienes jurídicos que protegen la Constitución

Uno de los principales problemas que tiene el uso de inteligencia artificial es la discriminación de determinados grupos sociales. Este tipo de atentados los podemos englobar dentro de los delitos contra la constitución delitos contra la constitución, artículos 511 y 512. De los supuestos que hemos analizado anteriormente hay casos de discriminación clara como pueda ser el grupo de inmigrantes con el programa SiRY de Holanda o la población más vulnerable en la distribución de las ayudas sociales en Estados Unidos. Quizás uno de los más documentados dentro de la administración es el del sistema de predicción de reincidencia de reclusos denominado COMPAS. Esta herramienta de prevención del crimen fue utilizada por el Tribunal de Wisconsin para determinar en parte la duración de la pena de los casos que llegan a su tribunal de pendiendo de la posibilidad de reincidencia del sujeto. El sistema funciona con un sistema en el que se incluye información estática como dinámica que se recoge mediante un cuestionario de 137 preguntas junto a expedientes criminales, como la edad, el código postal, sus antecedentes penales o los de la familia108, junto con las respuestas que aporta el acusado a preguntas como ¿una persona hambrienta tiene derecho a robar? Sí o no, o ¿qué edad tenía cuando se separaron sus padres? La tasa de acierto de COMPAS se sitúa en torno al 70% para determinar si una persona puede tener sistemas alternativos a la prisión o no. Sin embargo, como demostró la investigación de la ONG Propublica el sistema tenía un sesgo contra los negros109. Así, una persona de color por un delito parecido al cometido por una blanca tiene más probabilidades de estar considerada como de alto riesgo mientras que una blanca se considera como bajo riesgo. La investigación de Propublica, además, señala que en los casos de delitos violentos el programa COMPAS sólo tuvo un acierto del 20%. En el caso de los resultados positivos, la tendencia era que los negros tenían el doble de posibilidades que los blancos, mientras que en los falsos negativos la tendencia era que los blancos eran etiquetados como menos peligrosos que los negros110. El problema principal con la discriminación en COMPAS es que las personas que lo crearon y utilizan incrustan sus propios sesgos en los algoritmos111 a la hora de determinar qué datos van a alimentar el sistema y al interpretar los resultados. Detrás de las 137 preguntas se encuentran siete factores criminológicos, entre los que se incluyen déficits financieros, educacionales o vocacionales y las habilidades para conseguirlas, contacto con grupos antisociales o procriminales o relaciones familiares/maritales disfuncionales. Como bien señala Metedith Broussard todos estos factores son resultados de la pobreza112. Los casos señalados anteriormente de Administración de justicia, sobre todo en los casos de PredPol, tienen también lesiones a este bien jurídico discriminación. En nuestro país no hay muchos casos documentados. Destaca el sistema de Viogen, un sistema para determinar si una víctima de violencia de género está en situación de riesgo de ser agredida o no. Aparte, considera que los varones desempleados tienen mayor posibilidad de agredir que los que están empleados, cuestión que no parece basarse en la realidad113, se considera que una mujer con hijos debe tener protección mientras que una víctima sin ellos tiene menos posibilidades114, lo que discrimina a grupos de agresores y de víctimas.

Dentro de los casos de discriminación en el ámbito privado tenemos el caso de los sistemas de venta de servicios de préstamos y seguros. Uno de los primeros sistemas basados en algoritmos para la concesión de préstamos en la banca es el FICO, creado por Fair Isaac Corporation, que puntúa a cada solicitante para saber cuál es el riesgo de incumplimiento en los pagos. Esta labor se conoce como los informes de crédito que utilizan los bancos. FICO no sólo puntúa, sino que da información sobre cuáles son los criterios que le faltan al solicitante, permitiendo mejorar en la puntuación que obtiene115, en EE.UU. este tipo de información está regulada y ha de ser pública para el interesado. Sin embargo, la evolución de este tipo de modelos predictivos ha ido evolucionando a sistemas menos científicos añadiendo información como el código postal o el historial de navegación de internet que ofrecen servicios financieros que al estar separados de la banca no se encuentran regulados116 y escapan a esta obligación de suministro de la información, los llamados e-scores que hacen un perfil de márquetin y no de la salud financiera del sujeto, por ejemplo, si en la búsqueda de un vehículo se pincha más veces en la información de un Porsche que en la de un SEAT. De esta manera se hace una presunción sobre la capacidad económica que tiene el sujeto, pero también se puede poner otro tipo de información como el lugar de residencia, que pretende ser un indicador de la capacidad económica del sujeto. El problema viene cuando estos indicadores son incluidos en grupos de gente por variables lejanas al individuo como el sexo, la religión o las relaciones familiares, siendo la decisión determinante para la concesión del servicio la capacidad de solvencia de “gente como tú” y no si el sujeto particular es capaz o no de soportar financieramente el servicio prestado, afectando no sólo al individuo en particular sino a todos los integrantes de un grupo con determinadas características117. Estos e-scores se utilizan como indicadores sobre las cualidades personales y se intercambian entre las empresas, creando, como hemos visto en los sectores anteriores, un peligroso ciclo de pobreza en el que las personas que tienen dinero no son incluidos en el sistema mientras que los que tienen problemas financieros, reciben ayudas del Estado o están al límite se encuentran dentro de este sistema de catalogación118 que discrimina a las personas dependiendo de factores que en muchos casos no son definidores del comportamiento futuro de la persona. Estos sistemas simplistas que priorizan los beneficios económicos comprometen nuestra capacidad de comprender ideas complejas119.

Otro ejemplo de discriminación se produce en la contratación de trabajadores. El uso de datos médicos excede del ámbito de la salud para ser un elemento clave en otros sectores, como es el laboral. Los datos sanitarios ofrecen mucha información sobre la persona. Además, es un sector en el que la recopilación de datos es de gran tamaño dado que el sector médico está muy digitalizado y son muy necesarios para ofrecer un diagnóstico acertado, luego su uso en otros campos puede acarrear limitaciones en otros derechos sociales como el de acceso al trabajo.

Este es el caso de Roland Behn ante la situación de su hijo, con síndrome de bipolaridad, cuando descubrió que a la hora de encontrar trabajo la utilización de datos médicos en los sistemas de selección de personal de las empresas, junto con las pruebas de personalidad, discrimina a determinados sectores de población. Esta técnica de selección está muy extendida en las empresas grandes permitiendo a los sistemas automáticos realizar clasificaciones de personas, con perfiles determinados que sirven como indicadores de personalidad120.

Aparte, de la fiabilidad de estas pruebas (puesta en duda) no es la de seleccionar al mejor para un determinado puesto de trabajo sino excluir al mayor número de personas de la forma más barata posible121. En las pruebas, las respuestas posibles que dan al aspirante al trabajo son confusas o no permiten la elección de dos posibilidades, dejando al aspirante al trabajo sin la posibilidad de saber cómo va a interpretar la respuesta dada el algoritmo. Así, ante la pregunta sobre qué concepto tiene el trabajador de sí mismo, las posibles respuestas eran “soy único” o “soy ordenado”. La primera se interpreta como narcisismo y la segunda sin capacidad de iniciativa, pudiendo ser etiquetados con una bandera roja a la hora de ser empleados. La última evolución de este sistema de exclusión de trabajadores es el análisis de los datos de las redes sociales para perfilar a los posibles trabajadores que también se realiza de forma automatizada por sistemas inteligentes122.

También entrarían en los delitos de discriminación alguno de los ejemplos que hemos utilizado para señalar el ataque a bienes jurídicos colectivos relacionados con el libre comercio o con la administración de justicia. En el caso de discriminación de personas jurídicas, por ejemplo, en el uso de sistemas inteligentes para mostrar los resultados en un buscador cuando se buscan servicios, no entraría dentro de estos preceptos. Este tipo de situaciones, aunque producen grandes daños a las empresas, no se encontrarían tipificadas en nuestro código penal.