Risk has always played a essential role in the criminal justice systems of the Global North. Its irruption, development and expansion is the result of a multi-causal process of enormous complexity which has always been part of Penal Law and Criminology.
Currently, issues such as Big Data, Machine Learning or new criminal policy paradigms seem to be drawing a scenario for which the criminal justice system is not quite ready. Thus, Algorithmic Risk Assessments (ARA) emerge as useful tools in order to offer potential solutions. ARAs are introduced as new instruments based on new methods and technologies capable to predict more and better than their predecessors.
Hence, this paper aims to review, from a critical perspective, how ARAs are able to enhance previous instruments performance and whether they are the best way to move towards a better criminal justice system.
La voluntad de conocer y predecir comportamientos futuros constituye, desde tiempos inmemoriales, uno de los objetos de estudio principales de las ciencias penales. Esta afirmación, así enunciada, también funciona como una suerte de premisa fundacional para los sistemas penales del Norte Global, ya que los operadores jurídico-penales desde siempre han tenido que enfrentar multitud de situaciones que requieren de la realización de pronósticos futuros.
Para poder acercarse a esta necesidad de conocimiento que posee el Sistema penal resulta muy importante tomar en cuenta conceptos como el riesgo, ya que a través de su estudio resulta más sencillo aproximarse a los cimientos sobre los que se construye el modelo de penalidad. Asumido lo anterior, y llevando esta cuestión a un escenario más actual, en este trabajo fija como objetivo realizar un estudio que fije su centro en los instrumentos algorítmicos de valoración de riesgos (ARA). Para ello, y con carácter preliminar, parece adecuado detenerse en las complejidades inherentes a una noción con tantas aristas como la de riesgo, ya que este es un concepto que resulta absolutamente central a la hora de trabajar con los ARA. Asimismo, y con esta misma vocación introductoria, también procede apuntar unas líneas sobre las directrices básicas que subyacen a la valoración de riesgos penal. La conjunción de ambos elementos introductorios resulta importante en la medida en que permite entender el punto de partida sobre el que tanto los ARA como otras herramientas precedentes fueron construidas e incorporadas al sistema penal.
Una vez realizado esto, procede ya el análisis de los ARA. Esto implica analizar toda una serie de elementos concomitantes como su contexto de creación, los nuevos actores intervinientes o el papel del Big Data o el Machine Learning. Tras eso, procede la explicación de los ARA stricto sensu, es decir, concepto y funcionamiento. Y ya en tercer lugar se abordan desde distintos niveles, teórico-discursivo, estructural y político-criminal lo que, a nuestro juicio, pueden resultar las principales limitaciones de estos instrumentos. Finalmente, y ya para terminar procede rematar con un sucinto apartado de reflexiones conclusivas en el incluir toda una serie de consideraciones surgidas a propósito del análisis de este tema pero que por razón de estructura narrativa encuentran un mejor acomodo esta última fase del texto.
La noción de riesgo remite a un concepto histórica y lingüísticamente enraizado en las sociedades occidentales desde hace siglos. Más allá de su origen etimológicamente confuso, parece que su utilización inicial estuvo vinculada a la previsión, expectativa o gestión de acontecimientos futuros, imprevistos y tendencialmente negativos. Una vez mencionada su intensa raigambre histórica, es preciso avanzar hasta la actualidad ya que el riesgo no puede concebirse como un vestigio del pasado desconectado de la dinámicas actuales. De hecho, esto trasladaría una imagen totalmente distorsionada de este concepto que no se ajustaría, en absoluto, a la realidad. Tanto es así que el riesgo ejerce como elemento nuclear sobre el que construir paradigmas gubernativos con vocación de hegemonía.
Esta omnipresencia tiene como contraparte que la tarea de delimitar una noción de muy difícil aprehensión conceptual, operativa y analítica. De hecho, son numerosos los enfoques desde los que se realizan los estudios sobre el riesgo y múltiples los problemas que surgen en torno a su delimitación. En este sentido, y como forma de ejemplificar esto, se puede traer a colación la necesaria separación de dos conceptos tan próximos como diferentes como lo son riesgo y peligro. En el lenguaje coloquial riesgo y peligro son utilizados, en múltiples ocasiones, como sinónimos perfectos. No obstante, desde un punto de vista técnico-académico no pueden ser tomados como términos intercambiables. Así las cosas, el peligro supone un “mal contigente”, es decir, la materialización de un daño, lesión o adversidad potencialmente real. Sin embargo, el riesgo remite a la probabilidad de que estos eventos negativos se produzcan de tal manera que el riesgo se desarrolla en el terreno de la hipótesis. En este sentido, es en el marco de su interpretación donde emergen las dificultades que en múltiples ocasiones llevan a confusión. Esta sucinta digresión se trae a colación como forma de ilustrar la dificultad que subyace a la delimitación técnica de conceptos tan arraigados en el imaginario colectivo. Sentado lo anterior, plantear la posibilidad de conseguir una definición unánimemente aceptada de riesgo resulta algo quimérico. De hecho, así mismo lo plantea quien sostiene que: “definir lo que debe entenderse por “paradigma de riesgo” no es un tema sencillo, debido a que el fenómeno de la predicción de riesgo ha sido abordado por diferentes disciplinas y de diferentes formas. En otras palabras, existe una suerte de Torre de Babel cognoscitiva, un laberinto de aproximaciones que hace que se utilicen las mismas palabras para discutir fenómenos disímiles, generando por tanto un entramado complejo y que puede fácilmente confundir”. En definitiva, todo lo expuesto remite a una concepción del riesgo que se puede definir como el resultado de un constructo cultural, dinámico y disputado que se relaciona con el cuerpo social en el terreno de lo político. Así pues, sirva esta última suerte de compendio de características a una doble función, cómo cierre y cómo de guía del tipo de aproximación a la noción de riesgo que se da por asumida en este trabajo.
Tal como se apuntaba en la introducción, la posibilidad de predecir con éxito la producción de eventos futuros constituye, desde tiempos inmemoriales, uno de los objetos de estudio principales de las ciencias penales. No en vano, Beccaria en su celebérrima obra Tratado sobre los delitos y las penas ya pretendía orientar el fin de las penas a “impedir al reo causar nuevos daños a sus ciudadanos y retraer a los demás de la comisión de otros iguales” (). Así pues, que un tratado del siglo XVIII expresase de forma tan clara que las acciones acaecidas en el presente son capaces de proyectar efectos a futuro constituye una declaración de intenciones capaz de sostener la premisa de que la valoración de riesgos ostenta, por méritos propios, la condición de premisa fundacional para los sistemas penales del Norte Global.
Llevando lo recién expuesto al ámbito más específico de la predicción de riesgos delictivos, es posible sostener que las primeras acciones de lo actualmente conocemos como pronósticos de comportamiento futuro surgieron durante el siglo XIX en Reino Unido. Más en concreto, fue en la década de los años 1820 cuando varios jueces del condado de Warwichshire comenzaron a aplicar suspensiones condicionadas de la pena como forma aliviar los rigores del Ius Puniendi. Años más tarde, en 1841, y con el bagaje aportado por su utilización en Reino Unido, se exportan a Estados Unidos estas prácticas. Su arraigo en territorio estadounidense se produjo de forma rápida, pero sobre todo sólida. Así pues, desde mediados del siglo XIX hasta la actualidad, la probation se ha ido consolidando como una pena central para el sistema de justicia penal norteamericano. De hecho, y en palabras de la probation fue “el ejemplo de medida penal” durante el Welfarismo Penal. Dicho esto, su importancia no debe vincularse a un modelo de penalidad en particular, ya que la crisis del Welfarismo Penal no mermó, en absoluto, su capacidad de influencia sobre el sistema penal. Así las cosas, actualmente sigue siendo una pena de uso generalizado para el sistema penal norteamericano. De hecho, tanto es así que hay autoras que plantean que en Estados Unidos se está produciendo un fenómeno de Mass Probation parangonable al del Mass Incarceration experimentado en las últimas décadas.
Cuestión diferente resulta si se pretender analizar la valoración de riesgo a través de instrumentos creados ad hoc. En este sentido, y a pesar de la influencia que ejercieron los trabajos realizados en materia de probation, las primeras herramientas diseñadas para este fin no surgieron hasta la década de los años 20 en Estados Unidos y su cometido estaba vinculado a la gestión y mejora del sistema de parole . Así las cosas, las primeras herramientas surgidas en este ámbito lo hacían con el firme propósito de ayudar a los miembros de las Parole Boards en la toma de sus decisiones. Estas primeras propuestas, modestas en cuanto a su implementación ya que estaban circunscritas a ámbitos locales, poseían un alcance teórico muy potente. De hecho, desde fechas muy próximas a su creación sentaron las bases de lo que supondrían una próspera escuela que, en las décadas siguientes, seguiría intentando desarrollar nuevas herramientas que mejorasen la capacidad decisoria de las Parole Boards. Dicho esto, y por razón precisamente de ese alcance local, no fue hasta los años 70 y más concretamente hasta 1972, cuando la implementación de los sistemas de valoración de riesgo para el otorgamiento de la parole se amplió a nivel federal. Esto propició que, para algunos autores este período es el que fija la irrupción de los instrumentos de valoración de riesgos en el sistema penal norteamericano. En este sentido, varias fueron las claves que podrían explicar su expansión si bien este trabajo hace referencia a dos. En primer lugar, estos instrumentos se alineaban perfectamente con las prioridades políticas, administrativas y político-criminales de su tiempo. En segundo lugar, Los instrumentos de valoración de riesgos empezaron a ser desarrollados desde otras disciplinas y lugares. Sobre esto último, es importante destacar el intenso trabajo que desde el ámbito de la psicología diversos investigadores, mayoritariamente canadienses, realizaron en materia de valoración de riesgos y rehabilitación.
De todos modos, y a pesar de los desarrollos producidos durante los años 70, no fue hasta los años 80 cuando el paradigma del riesgo y, consecuentemente, los instrumentos de valoración basados en el riesgo se expandieron de manera significativa. Así pues, desde este momento el riesgo se erige como una tecnología de gobierno al servicio de una nueva racionalidad punitiva (el gerencialismo-actuarial) capaz de marcar el devenir de la agenda en materia de criminalidad. La asunción de este nuevo paradigma trajo consigo la adopción de una nueva perspectiva denominada por Malcolm Feeley y Jonathan Simon como New Penology . Estos autores sentaron las bases para el estudio de esta racionalidad punitiva constatando la incorporación de nuevas modificaciones en materia de control y castigo a través de la incorporación de nuevos discursos, nuevos objetivos y nuevas técnicas. Todo ello con la pretensión de proporcionar un nuevo marco de sentido desde el que no solo organizar el gobierno del crimen sino también seguir proporcionando claves de interpretación para la compresión de elementos como la valoración de riesgos criminales.
Todo lo expuesto hasta el momento se presenta como una forma de mostrar los elementos necesarios para el estudio de los algoritmos de valoración de riesgo. Una suerte de marco teórico con base en el que exponer el contexto inmediatamente anterior a la aparición de los ARA. De todos modos, este ejercicio precisa completarse con la incorporación de más elementos que puedan ofrecer mayor densidad a este análisis contextual. Por todo ello, este apartado incorpora en primer lugar, unas notas de índole político-criminal que permiten conocer mejor el marco de actuaciones en el que se desarrollaron estas herramientas. En segundo lugar, se exponen unas consideraciones de carácter técnico en la medida en que los ARA son incomprensibles sin la irrupción de elementos tan centrales en su desarrollo como el Big Data o el Machine Learning. Por último, y ya como cierre, procede detenerse en los nuevos actores que participan de manera activa en el diseño, desarrollo e implementación de los Algoritmos de Valoración de Riesgos.
Tal como se ha expuesto en apartados anteriores, el riesgo ha sido, y sigue siendo, un elemento central en la configuración de los modelos de penalidad contemporáneos. La profusa expansión de este paradigma ha favorecido el desarrollo de todo tipo de dinámicas que, entre otras cuestiones, han permitido el crecimiento y expansión de los instrumentos de valoración de riesgos de acuerdo con su concepción gerencial-actuarial. No obstante, en la actualidad, cierto sector doctrinal estima que las bases sobre las que se construyeron estos dispositivos han mudado tanto que se revela necesario implementar nuevas formas de afrontar su valoración.
Así las cosas, y en relación con esta suerte de cambio epocal, hay autores que sostienen que “vivimos en una era algorítmica en la que las matemáticas y la informática se unen de manera poderosa para influir, moldear y guiar nuestro comportamiento y la gobernanza de nuestras sociedades” (). La capacidad actual para generar y, sobre todo, analizar la información que genera nuestra forma de estar en el mundo provoca que nuestro contexto cotidiano se diferencie a pasos agigantados del que vivieron y construyeron generaciones precedentes. De hecho, ciertos sectores académicos consideran que este cambio ya se está produciendo de tal manera que estaríamos inmersos en lo que denominan Gobernanza Algorítmica o Algocracia , entendidos ambos conceptos como el gobierno a través de los algoritmos. Es decir, un tipo de concepción gobernativa que se asienta sobre la recopilación, cotejo y organización de unos datos que luego sirven de base para la toma de decisiones gubernativas. Así pues, la algocracia no pone su foco de atención en sujetos o colectivos sino en las relaciones que se generan entre ellos. Dicho esto, y aunque pueda parecer un escenario ciertamente lejano, es posible observar como este modo de proceder ya se encuentra consolidado en ámbitos tan diferentes como la banca, la educación o las relaciones laborales.
En este sentido, y como no podría ser de otro modo, el sistema penal no se encuentra al margen de esta tendencia. Los escenarios que abre la aplicación masiva de algoritmos en los términos arriba descritos suponen una gran novedad a efectos de vigilancia y control. De hecho, y a título de ejemplo, es especialmente relevante su papel en el ámbito policial. La perspectiva de poder llegar a predecir la comisión de delitos futuros genera expectativas muy halagüeñas en el sector de las fuerzas y cuerpos de seguridad del Estado, ya que observan estos avances como una forma eficiente y eficaz de reducir las tasas de criminalidad. De hecho, y animados por las oportunidades que este escenario parece abrir, surgen iniciativas como PredPol, un software desarrollado por empresas privadas para cartografiar en tiempo real los eventos delictivos y poder ayudar a mejorar las labores policiales. Dicho esto, y al igual que sucedía con los instrumentos de valoración de riesgos gerencial-actuariales, asociada a la versión oficial siempre eficiente, eficaz y bien intencionada, debe presentarse en paralelo un relato que muestre los problemas que en términos de opacidad, sesgos operativos o vulneración de derechos presentan estas herramientas. En este sentido, Minocher y Randall exponen que el Departamento de Policía de Milwaukee, utilizando sistemas de policía predictiva, detiene por la calle a la población negra en una proporción de seis a uno en relación con la población blanca. Por todo ello, y tal como sostiene : “el auge de la policía predictiva y de los programas de prevención de la delincuencia ilustra no sólo cómo el mundo de las soluciones de gestión de riesgos para la seguridad pública se está desplazando de las fronteras soberanas a los centros de las ciudades, sino también cómo las prácticas que los autorizan están permitiendo que los sistemas informáticos se conviertan en formas sustitutivas del poder soberano”.
Desde un ámbito diferente pero compartiendo una voluntad similar, se estima adecuado traer a colación una sucinta referencia sobre el impacto que la vigilancia algorítmica y la importancia de la recolección de datos produce en otros órdenes del modelo de penalidad como el sistema penitenciario. De hecho, esto está generando un interesante debate en Estados Unidos en relación con la posibilidad de que los reclusos tengan acceso a internet. En línea de principio, las autoridades reciben esta opción con recelo en la medida en que abre la puerta a un espacio mucho más difícil de controlar. No obstante, y también usando el control como argumento, el acceso a internet por parte de los reclusos se percibe en clave positiva, ya que genera un caudal informativo (conversaciones privadas, gustos personales, búsquedas de información, etc.) que resultaría inaccesible de cualquier otro modo. Por ello, y tal como sostiene “el almacenamiento digital y la extracción de este tipo de datos es bastante atractivo para los funcionarios de prisiones y otros”. Así las cosas, en el contexto actual el acceso y gestión de la información no es una cuestión neutral que pueda ser obviada. Más bien todo lo contrario, el control de los datos constituye un terreno eminentemente político que debe ser disputado no sólo para poder ejercer control sobre el sino también para desarrollar sobre él un determinado modelo de gobierno.
Así las cosas, de lo recién expuesto puede inferirse que las nuevas dinámicas político-sociales propician toda una serie de cambios a nivel social que merecen ser tenidos en la máxima consideración. De hecho, y en lo que a las ciencias penales se refiere, todo esto sirve como base para el desarrollo de nuevas formas de concebir la gestión de la criminalidad donde los instrumentos algorítmicos de valoración de riesgo ejerzcan un rol fundamental.
"La tecnología de Big Data es el equivalente de la era digital al telescopio o al microscopio” (). En estos términos y con esta grandilocuencia es como algunos autores valoran la incorporación del Big Data a las prácticas y modelos gubernativos. Así las cosas, el Big Data ya no se concibe como un mero ejercicio de compilación de información sin finalidad especifica. Los datos ya no son una simple expresión informativa, sino que han adquirido una dimensión mayor que permite concebirlos como una mercancía negociable o incluso como una herramienta de gobierno. En definitiva, y tal como sostienen en el título de su libro , el Big Data es “la revolución que cambiará el modo en que vivimos, trabajamos y pensamos”. Este entusiasmo que algunos autores parecen mostrar respecto del Big Data guarda relación con lo que denominan como “la promesa de “encontrar la aguja en el pajar””. Es decir, desde esta perspectiva se asume una posición finalista en virtud de la cual el Big Data conforma un punto de llegada, teórico y práctico, totalmente satisfactorio. Dicho esto, y sin entrar en otro tipo de disquisiciones, es preciso señalar que la recopilación de información per se no es, en absoluto, algo nuevo. Así pues, la novedad del Big Data radica en potenciar otras cuestiones como la forma de analizar los datos, el tamaño de las muestras estadísticas o las potencialidades que de ello se derivan.
Sentado lo anterior, y por razón de lo expuesto hasta ahora ya se puede intuir que la tarea de definir el concepto de Big Data no es, en absoluto, sencilla. De hecho, es posible definirlo de diferentes formas: con base en el tamaño y el tipo de datos empleados; sobre la base de las capacidades de su sistema de almacenamiento, procesamiento y análisis o como un fenómeno social y cultural. El hecho de optar por una u otra ubica el foco de atención en objetivos y pretensiones diferentes. En todo caso, y más allá de los diferentes puntos de vista expuestos, todo intento por definir el Big Data toma en consideración las denominadas “tres V”: Volumen (en referencia a la cantidad de datos); Velocidad (en referencia a la rapidez con la que los datos son añadidos y procesados) y Variedad (en referencia a las distintas fuentes de la que puede provenir la información recopilada). Así pues, por muy diversa que sea la aproximación que se realice a la noción de Big Data existe una base compartida que tiende puentes y permite interconectar las diversas perspectivas.
Las notas definitorias anteriores ponen el acento en los aspectos más técnicos del Big Data. No obstante, y tal como se destaca supra, es importante resaltar que el Big Data es un fenómeno que trasciende el ámbito estrictamente técnico-instrumental de tal forma que su desarrollo también es cultural, tecnológico y académico y se construye con base en la interacción de tres elementos: Tecnología, Análisis y Mitología. En definitiva, la irrupción del Big Data trascendió, con mucho, su naturaleza de mero cambio metodológico de tal suerte que puede que “no sea necesariamente un concepto muy bueno para ver la "realidad" de la vida cotidiana, pero es un buen concepto para entender cómo las visiones de los datos contemporáneos se incorporan al imaginario de la vida, a la producción de verdades y al trabajo liminar que contiene el mundo social”. ().
De manera paralela al Big Data, es preciso hacer referencia a otro elemento fundamental a la hora de estudiar los Algoritmos de Valoración de Riesgo, el Machine Learning (ML). El Machine Learning es una rama de las ciencias de la informática creada en los años 80 del siglo XX que parte de la teoría del aprendizaje computacional y se desarrolla a través de técnicas de inteligencia artificial que toman como base los procesos de raciocinio humanos. Así pues, el Machine Learning puede ser definido como un conjunto de métodos principalmente algorítmicos que, sobre la base del estudio de ingentes cantidades de datos, son capaces de detectar patrones de comportamiento, predecir tendencias y colaborar en la toma de decisiones. A fin de poder materializar todo esto, las herramientas de Machine Learning se apoyan sobre diversas técnicas estadísticas y algorítmicas como los árboles de decisión, las redes neuronales o las máquinas de vector soporte.
Si bien es cierto que estas técnicas eran ya sobradamente conocidas en otros ámbitos de conocimiento, su uso en el campo de las ciencias penales se planteó como una novedad capaz de mejorar la capacidad predictiva, eliminar errores y, en definitiva, mejorar la eficiencia del modelo de penalidad. No obstante, para parte de la doctrina académica el uso de instrumentos de ML no solo no es determinante, sino que es posible conseguir resultados muy similares aplicando herramientas construidas con base en parámetros diferentes. Así pues, la incorporación de este tipo de herramientas puede resultar útil y debe ser tenida en cuenta pero no se debe perder de vista, como bien destacan , que “el uso de algoritmos de machine learning en el ámbito criminal todavía se encuentra en la infancia”.
De todos modos, tanto el Big Data como el Machine Learning resultan fundamentales a la hora de entender el diseño, configuración y desarrollo de los ARA. De hecho, su influencia no solo se circunscribe al ámbito de las ciencias penales ya que como hubo ocasión de apuntar a lo largo de este apartado, tanto uno como el otro parecen estar llamadas a desempeñar un papel determinante en un futuro que cada vez parece más próximo.
La aparición de los algoritmos de valoración del riesgo supuso cambios que afectaron al modelo de penalidad a muy diferentes escalas. De hecho, la criminalidad se convierte en un objeto de estudio que no puede ser analizado en su completitud acudiendo a los ámbitos de conocimiento tradicionales. La irrupción de estas nuevas herramientas implica, tal como se vio en apartados precedentes, la aparición de nuevas tecnologías y metodologías. Esto implica la incorporación de toda una serie de actores inéditos hasta la fecha. En otras palabras, la introducción en el modelo de penalidad de los ARA trajo consigo la aparición de un corpus teórico-práctico que debe ser gestionado por perfiles técnicos. En este sentido, la labor de ingenieros informáticos, matemáticos o estadísticos se convierte en indispensable en la medida en que el diseño, desarrollo e implementación de estos instrumentos requiere de su participación activa.
Al igual que sucedió con los instrumentos de valoración de riesgo de naturaleza gerencial actuarial, gran parte de la legitimidad que se arrogan los ARA proviene del avance técnico y científico que se deriva de su implementación. Asumido esto, la labor de los agentes que están detrás resulta fundamental, ya que son elementos indispensables en la consolidación de estos avances. En definitiva, nuevos resultados requieren de nuevos métodos y en última instancia de nuevos profesionales que puedan llevarlos a cabo. Unido a esto, y aunque sea por una cuestión simbólico-reputacional, la incorporación de profesionales provenientes de campos tan aparentemente ajenos como la informática o las matemáticas es interpretado por parte de las posturas más favorables a los ARA como un inequívoco signo de progreso.
La introducción de este tipo de perfiles implica la aparición de perspectivas y culturas profesionales muy diferentes a las tradicionalmente desarrolladas en el campo de las ciencias penales. Esta es una cuestión que no está exenta de polémica pues tal y como destacan “se configuran nuevas jerarquías alrededor de “quien puede leer los números” en lugar de reconocer que los ingenieros informáticos y los científicos sociales tienen ambos perspectivas valiosas que aportar”. Así las cosas, es necesario realizar una labor de homogenización en virtud de la cual se incorpore todo aquello susceptible de mejorar procesos, interpretaciones o toma de decisiones, pero sin que eso implique desatender valores preexistentes dignos de protección.
En otro orden de cosas, la irrupción de nuevos actores también trae consigo otras consideraciones que merecen ser tratadas en este apartado. Resulta frecuente que los proyectos que desarrollan los ARA involucren a empresas privadas como parte del proceso. Esta situación supone la introducción de perspectivas, objetivos o puntos de vista muy diferentes a los tradicionalmente tenidos en cuenta a nivel político-criminal. Dicho esto, no es solo una cuestión de enfoque respecto de las lógicas político-criminales tradicionales lo que genera disenso. Las herramientas creadas bajo el auspicio de iniciativas privadas se desarrollan bajo parámetros y finalidades muy distintas de las que se crean íntegramente por organizaciones públicas. Como ejemplo de esto, es frecuente encontrase con prohibiciones de acceso, difusión o estudio de los algoritmos justificadas por razones de propiedad industrial. Este tipo de prácticas marcan un punto de ruptura respecto formas precedentes de entender la actuación penal, ya que no facilitar información por razones de carácter mercantil choca frontalmente con los principios rectores de un sistema penal que pretenda definirse, cuando menos, como democrático y garantista.
En definitiva, la incorporación de los ARA implicó automáticamente la entrada de nuevos actores encargados de su implementación. Esto, en ocasiones, se plantea como la verificación fáctica de un hecho sobre el que no cabe mucha discusión. No obstante, este tipo de constataciones deben ser matizadas y sometidas a cuestionamientos críticos. Esto es así en la medida en que la introducción de perfiles poco acostumbrados a la realidad criminal y tendentes al análisis técnico puede derivar en el fomento de prácticas que resulten difíciles de cohonestar con el compromiso por conseguir un sistema penal socialmente más justo.
Llegados a este punto no parece razonable posponer por más tiempo la definición del elemento central de este trabajo, los algoritmos de valoración de riesgo (ARA). En este sentido, y como primera aproximación, podrían definirse los ARA como herramientas qué partiendo de tecnologías como algoritmos de cálculo, Machine Learning, redes neuronales o de inteligencia artificial recopilan, almacenan y gestionan cantidades ingentes de datos e información que luego será utilizada para intentar predecir comportamientos delictivos.
Dicho esto, la definición recién expuesta, si bien condensa adecuadamente el núcleo conceptual, debe ser complementada a fin de aportar una visión los más amplia posible de lo que son los ARA. Para ello, se estima oportuno detenerse en tres consideraciones a mayores. En primer lugar, los ARA no incorporan a su estructura factores contextuales, sociales o históricos. Cada caso se analiza con base en los datos acumulados ex profeso de tal manera que no es necesario realizar una selección previa de factores o establecer categorías. No hay un a priori sobre nada. No hay esencialismos porque no son necesarios. Así las cosas, las tecnologías subyacentes a los ARA pueden realizar análisis que incluyan tantos factores como sea posible encontrar. En definitiva, se parte de la premisa de que conocerlo “todo” de una persona es la mejor forma de analizarla.
En segundo lugar, y unido con lo anterior, la construcción de perfiles de riesgo o de estudios de impacto que permitan conocer la influencia de determinados factores de riesgo son considerados elementos del pasado. De acuerdo con esta lógica, los ARA pueden funcionar correctamente sin un sistema teórico que los respalde. Dicho esto, no se no se rechaza de forma absoluta la posibilidad de construir explicaciones que puedan de dotar de significado a los resultados obtenidos. No obstante, desde esta lógica, este tipo de ejercicios no poseen demasiado sentido. En este sentido, no existe ningún tipo de afán en buscar algo que no sea puramente funcional. Así pues, los esfuerzos deben enfocarse en determinar que herramienta es mejor y si el algoritmo X funciona mejor que el algoritmo Z se debe inferir que X es mejor que Z y, por lo tanto, usar X y desechar Z.
En tercer lugar, los ARA están sometidos a cambios constantes. Esta continua inestabilidad trae causa en el hecho de que estos instrumentos tienen que estar recibiendo información nueva a tiempo real lo que imposibilita la creación de estructuras con vocación de permanencia. Cada caso es diferente y por lo tanto cada actuación también debe serlo. En este sentido, no es posible determinar ab initio el número de variables que un determinado algoritmo precisa para realizar una valoración correcta. Por todo ello, y reincidiendo en esta idea, cualquier tipo de dato al que se le intuya utilidad debe ser introducido en el algoritmo pues es susceptible de generar flujos de información, a priori imprevistos pero a posteriori de utilidad.
A la vista de todo lo anterior, de lo recién expuesto se puede inferir que para que estas herramientas puedan desarrollarse deben tomarse en consideración la mayor cantidad de información posible y gestionarla de acuerdo con criterios en donde las limitaciones estructurales pesen poco. Así pues, esta parece la única manera de poder enfrentar el reto que supone realizar valoraciones de riesgos en un contexto tan complejo como el actual.
Un estudio de los ARA que pretenda acercarse a las aristas conceptuales de este tipo de herramientas no puede resultar completo de no tener en cuenta cierta limitaciones inherentes a sus planteamientos. Dicho esto, y en la medida en que poseen orígenes y causas muy diversas, se estima adecuado enfocar esta cuestión desde tres ópticas diferentes: teórico-discursivas, estructurales y político-criminales. De este modo, es posible conseguir una perspectiva mucho más matizada acerca de los obstáculos que impiden realizar valoraciones de riesgos lo más precisas posibles.
La literatura académica tiende a enmarcar los ARA dentro de una suerte de tradición histórica en la que figuran como última representación. Esta afirmación, leída en términos estrictamente temporales, no admite demasiada discusión pues estas herramientas representan al estándar actual y, por ende, último en materia de valoración de riesgos. Dicho esto, esta cuestión, así planteada, no parece tener demasiada enjundia. No obstante, de manera paralela a estos argumentos existe una lectura secundaria que tiende a presentar los ARA como una versión que mejora a sus predecesores en todas sus facetas. Más allá de que este relato pueda cumplirse en determinados casos y según determinadas condiciones, bajo este tipo de prisma parece subyacer una suerte de afán cronocentrista con base en el cual se justifica el proceder actual en materia de valoración de riesgos. Esta perspectiva cronocéntrica toma gran parte de su legitimidad de argumentos tecnooptimistas que sostienen que sólo los progresos tecnológicos generan las condiciones de posibilidad necesarias para que las sociedades puedan evolucionar. En definitiva, todo este conjunto de ideas proporciona un potente andamiaje teórico sobre el que construir la idea, repetida con anterioridad, de que los ARA constituyen la mejor herramienta posible para la realización de valoraciones de riesgo en el ámbito de la criminalidad.
Asimismo, el planteamiento de los ARA como la mejor herramienta posible en materia de valoración de riesgos encierra una suerte de discurso de punto final. Es decir, asumir que, bajo el actual estado de cosas no es posible conseguir un instrumento de valoración de riesgo mejor equivale a decir que se ha llegado a un cénit teórico-conceptual cuya plasmación son los algoritmos de valoración de riesgo. Dicho esto, pudiere parecer que los argumentos recién expuestos comparten ciertos rasgos con la clásica tesis de Francis Fukuyama del Fin de la Historia. Así pues, y aunque suponga llevar este argumento al paroxismo, es posible encontrar ciertas líneas de fuga compartidas entre el discurso presente en los ARA y el planteamiento que Fukuyama desarrolló en la década de los 90. A saber, los algoritmos de valoración de riesgos han evolucionado hasta alcanzar una forma mucho más depurada que sus antecesores y no sólo eso es así sino que no es posible, bajo las condiciones actuales, concebir una mejor forma de desarrollar este tipo de aproximación al riesgo criminal.
Sentado lo anterior, y del mismo modo que se presentó este paralelismo para ubicar la autopercepción que determinado sector doctrinal posee de los ARA, también es posible utilizar esta misma analogía del discurso final para plantear líneas de crítica. Para ello, es preciso analizar la premisa de que el contexto se muestra invariable y que los ARA son el mejor instrumento de valoración que se puede obtener bajo estas condiciones. La asunción de esta idea conduce a un argumento circular que impide pensar en alternativas. Esto es así en la medida en que cualquier idea que amplíe el espectro de opciones non puede ser válida ya que no encaja en unos presupuestos fijados ab initio y para los que tan solo son válidos los actuales ARA. De este modo, este planteamiento cierra en falso un debate que requiere, a nuestro juicio, de una mayor profundidad analítica. Por todo ello, las consideraciones teórico-discursivas que acompañan a determinados discursos en materia de valoración de riesgos deben ser tomadas con cautela y analizadas cuidadosamente. Esto es así en la medida en que de otra manera puede favorecerse el asentamiento de narrativas que permitan la consolidación de premisas que poco o nada tengan que ver con una aproximación más abierta y ponderada a los algoritmos de valoración de riesgo.
Una de las principales líneas de crítica que tradicionalmente han sido argüidas con mayor intensidad frente a las herramientas de valoración de riesgo reside en la existencia de limitaciones estructurales que lastran el resultado de sus valoraciones. Así las cosas, son múltiples los trabajos que desde el paradigma gerencial-actuarial analizan cuestiones tan relevantes como la comisión de falsos positivos y falsos negativos o los problemas que se derivan de una deficiente especificidad, sensibilidad o valor predictivo. Este tipo de problemas, en ocasiones y por razón de su naturaleza, tienden a enfocarse como cuestiones que deben circunscribirse dentro de un debate estrictamente teórico-metodológico en la medida en que la discusión gira en torno a cuestiones de carácter técnico. Así las cosas, esta perspectiva deja fuera las implicaciones que su utilización proyecta sobre un modelo de penalidad que está interactuando con la sociedad de manera constante. Asimismo, esta posición revela una cerrazón contraria al necesario cuestionamiento crítico. Esto es así en la medida en que a través de la negativa a enfrentar determinados debates se evita tener que argumentar las razones subyacentes a la toma de posiciones que pudieren ser controvertidas. Dicho esto, la estrategia recién expuesta no es la única utilizada a la hora de evitar tratar los condicionantes estructurales presentes en los instrumentos de valoración de riesgo. Así pues, es posible observar como en los últimos tiempos ha proliferado una especie de discurso triunfalista que sobredimensiona las fortalezas de los ARA al tiempo que infravalora sus potenciales debilidades. De esta manera, y al igual que se planteaba para con la estrategia elusiva, se evita el escrutinio que una discusión de estas características suscita al tiempo que se protege la configuración actual de este tipo de herramientas.
Todo lo recién expuesto hace referencia a las limitaciones estructurales que habitualmente se han estudiado en relación con los instrumentos de valoración de riesgo. En este sentido, se estima adecuado avanzar hacia los condicionantes estructurales que presentan los ARA. Más en concreto, se toman como ejemplo dos problemáticas distintas pero fuertemente vinculadas al desarrollo de los ARA. Así pues, en primer lugar este apartado se detiene en el denominado efecto caja negra (black box effect) . Tal como se señalaba en el apartado definitorio, los ARA son herramientas capaces de gestionar volúmenes ingentes de datos e información. Para poder realizar todas estas operaciones es necesario acudir a algoritmos, máquinas de inteligencia artificial y redes neurales tan complejas que, en muchas ocasiones, “su lógica puede resultar inescrutable para los seres humanos” (). Esta afirmación no debe tomarse como una concesión narrativa realizada por estos autores pues resulta totalmente real ya que muchas de estas herramientas tienen un funcionamiento interno que no es accesible a los esquemas de pensamiento humanos. Así pues, y más en concreto, se utiliza el término caja negra para designar a todos los algoritmos que por su complejidad y/o opacidad técnica pueden llegar a esconder u obstaculizar tanto el conocimiento de su funcionamiento interno como la obtención de sus resultados. En definitiva, todo lo recién expuesto provoca severos problemas en materia penal pues dinamita la trazabilidad de estas herramientas, complica los procesos de argumentación y condiciona la toma de decisiones.
Dicho esto, el efecto caja negra también se puede analizar desde otro punto de vista. En la actualidad, y tal como se señalaba supra, muchos de estos algoritmos se desarrollan por empresas privadas. Así pues, y en tanto que objetos de tráfico mercantil, la regulación en materia de propiedad industrial/intelectual opera en este campo y otorga todo un catálogo de derechos a las empresas desarrolladoras. Dentro de estas prerrogativas se encuentra el derecho a proteger el contenido de su creación de sus competidores. Esto se traduce, entre otras muchas cosas, en la posibilidad de no tener que revelar determinado tipo de información para evitar el favorecimiento de sus competidores. En términos prácticos, esto supone no tener que revelar el código fuente de un algoritmo o no explicar los métodos utilizados en su diseño. Así las cosas, este tipo de políticas introducen un tipo de opacidad diferente pero que no deja de encontrarse dentro de ese mismo efecto caja negra. En todo caso, el hecho de primar los derechos de propiedad industrial/intelectual sobre los derechos de información genera un escenario totalmente contrario a la transparencia que debe operar en un ámbito tan delicado para con los derechos fundamentales como el sistema de justicia penal.
En segundo lugar, la contraposición entre correlación y causalidad resulta una cuestión que también debe ser abordada en este apartado. Los ARA se apoyan en la correlación entre factores y no en la causalidad para obtener sus resultados. Esto, supone a ojos de que la causalidad “está siendo derribada de su pedestal como fuente primaria de significado”. Con la asunción del modelo correlacional se parte de la premisa de que no es necesario conocer el futuro para poder preverlo con precisión. Dicho de otro modo, la pregunta importante empieza por “cómo” no por “por qué”, es decir, la forma en que se desarrollan determinados acontecimientos puede ser cognoscible pero no explicable en términos causales. En consecuencia, una selección previa de factores carece de sentido. Esto es posible gracias a la capacidad de los ARA para gestionar volúmenes ingentes de información lo que, a su vez, permite mostrarse abiertos a cualquier tipo de resultado, incluso cuando estos no resulten empíricamente sostenibles. En definitiva, se libera al algoritmo para que explore todo tipo de relaciones y las incorpore al proceso de valoración de riesgos. Así las cosas, autores como sostienen que si la talla de zapatos que usa una persona parece que puede aportar información sobre su potencial reincidencia por qué no se va a tener en cuenta ese dato. Dicho esto, la superación del paradigma causal por el correlacional debe ser sometido a críticas. En primer lugar, la correlación entre variables, precisamente por carecer de consideraciones apriorísticas, puede conducir a resultados de escaso o nulo valor explicativo. Este hecho, por sí solo, podría no llegar a ser un problema de gran entidad ya que esa correlación espuria, cuando es única, puede ser detectada y aislada. No obstante, si estas correlaciones son frecuentes se incorpora ruido a un proceso de valoración que ya de por sí resulta muy complejo. Cuestión diferente se plantea cuando estas correlaciones sirven de base para la toma de decisiones erróneas, ya que eso constituye, per se, un problema que lastra la efectividad de todo el sistema. En segundo lugar, y en la medida en que los ARA no ofrecen explicaciones causales tampoco explicitan las razones que utilizan para realizar sus valoraciones. Esto, al igual que sucede con el efecto caja negra, opaca el proceso decisorio con los todos los problemas que de ello se derivan.
En definitiva, y por razón de su entidad y trascendencia, los problemas planteados en este apartado exceden, con mucho, el mero debate metodológico. Por ello estas cuestiones deben ser abordadas en toda su extensión. El hecho de tratarlas como meros problemas técnicos implica una posición tibia que puede discrepar con determinados elementos de forma pero que confiar en que su intervención mejora el sistema penal en su conjunto. Esta suerte de cheque en blanco podría justificare con base en la legitimidad que le concede esa aura de verdad, objetividad y precisión que parte de la doctrina les otorga a estos instrumentos. No obstante, esto cercenaría, una vez más, las posibilidades de crítica en la medida en que no es posible cuestionar el impacto futuro de unas herramientas cuyo funcionamiento resulta desconocido. Por todo ello, y ya como cierre, una aproximación que aborde la crítica estructural a los ARA como algo meramente técnico revela una posición que resultaría conceptualmente más cercana a lo que se espera de la consulta a un oráculo que a lo que debería ser la utilización de un instrumento científico y racional contemporáneo.
Una vez analizadas las limitaciones que presentan los ARA tanto a nivel teórico-discursivo como estructural, procede completar este estudio con unas notas de carácter político-criminal que permitan acercarse, aunque sea mínimamente, a los efectos que provocan estos instrumentos sobre el modelo de penalidad.
En este sentido, y como primer punto, parece adecuado señalar que los desarrolladores de este tipo de instrumentos plantean como factible la superación de la teoría como paradigma rector en los ARA. Es decir, dadas las posibilidades de conseguir y acumular datos vía Big Data y las posibilidades de gestión que ofrecen elementos como el Machine Learning, se plantea abiertamente que resulta innecesario contar con sistemas teóricos que ayuden a interpretar el caudal informativo obtenido. Desde esta perspectiva. la información que aporta un análisis de teórico carece de interés, ya que esta se puede colegir de la consulta de los datos. Es decir, no es necesario introducir elementos que distorsionen el acceso a la información primaria. Dicho en palabras de “según la episteme algorítmica, conocer a las personas significa reconocer sus patrones de comportamiento, no comprender las causas de su comportamiento de forma teórica o empíricamente”. En este sentido, el fundamento de una valoración de calidad es directamente proporcional al volumen de información gestionable. En consecuencia, no resulta productivo buscar atavismos ya que los individuos se estudian por los datos que se extraen de su comportamiento, características, historia vital, etc. No obstante, asumir que la teoría no es capaz de aportar al proceso de construcción de los ARA resulta una toma de posición, cuando menos, altamente cuestionable, ya que tal como sostienen , esta perspectiva implica: 1. Asumir que es posible obtener información veraz, útil y objetiva a través de la correlación de factores. 2. No tener en cuenta que los problemas pueden agudizarse cuando se realizan predicciones que sólo toman su información del mismo tipo de fuentes. 3. Desatender el hecho de que las decisiones basadas en este tipo de planteamientos pueden generar bucles autorreferenciales.
Asimismo, la perspectiva anterior se desentiende por completo de la perspectiva que considera la justificación de los actos penales como un acto inherentemente humano. De hecho, desde una perspectiva político-criminal pensada en clave de derechos y libertades no es posible pensar en un modelo de penalidad maquínico que aísle la intervención humana por considerarla una injerencia antagónica al ideal de precisión y cientificidad que la justicia algorítmica pregona como posible. Este escenario, del todo indeseable, debe ser puesto en cuestión pues de otro conduciría, tal como sostienen “a una penología no penológica: Una penología que niega tener una concepción de lo humano”.
Este afán por la búsqueda de la objetividad en las actuaciones conecta a su vez con una voluntad tendente a presentar los ARA como herramientas capaces de liberar al sistema de justicia penal de prejuicios y sesgos. En palabras de : “hay un sentimiento predominante de que las herramientas de IA vaporizarán los sesgos y la heurística inherentes al juicio y el razonamiento humanos, lo que a su vez aumentará la legitimidad de los organismos de justicia penal y limitará la imposición de penas al método científico "puro" y a la "razón"”. No obstante, la confrontación de estas ideas con otro tipo de estudios arroja conclusiones muy diferentes. Así las cosas, la persistencia de actuaciones en las que es posible apreciar la existencia de sesgos raciales, de género o aporofóbicos sigue siendo una desafortunada constante en los sistemas de justicia penal. De hecho, autoras como , sostienen que, actualmente la situación en el ámbito racial no ha cambiado demasiado. La gran diferencia con el pasado es de carácter formal. Así pues, actualmente no es tan frecuente encontrarse con intervenciones abiertamente racistas. Sin embargo, esto no significa que estas discriminaciones ya no se produzcan sino que resultan más sutiles, lo que, a su vez, admite una doble lectura. Por un lado, las actuaciones más groseramente discriminatorias son cada vez menos frecuentes pero por otro lado, este refinamiento en las formas dificulta la detección y confrontación de otro tipo de actitudes actualmente vigentes y racistas. De manera complementaria a lo recién destacado, resulta muy interesante analizar los sesgos que acompañan a la construcción del factor pobreza como variable de riesgo. Esto es así en la medida en que la pobreza es utilizada, en ocasiones, en un sentido muy similar a la “raza”. De hecho, se muestra muy explícita al respecto cuando afirma que “al decir a los jueces que condenen en función de esos factores (socioecónomicos) el Estado también está respaldando un mensaje: considera a ciertos grupos de personas peligrosas por lo que son y no por lo que han hecho.” En este sentido, marcadores que denotan una situación socio-financiera precaria son tenidos en cuenta como elementos susceptibles de elevar el riesgo delictivo y, por lo tanto, resultar argumentos válidos para elevar las penas.
Todo lo recién expuesto permite comprobar, una vez más, como no es posible conseguir métodos infalibles. Por mucho que determinados discursos planteen que los ARA mejoran, con mucho, a sus predecesoras, es necesario comprobar si esto efectivamente es así. De este modo, y a pesar de que pueda suponer una posición excesivamente finalista, se estima fundamental cuestionarse el resultado al que conduce la aplicación de los ARA. Resulta necesario dilucidar si su implementación mejora la toma de decisiones en materia político-criminal. Por ello, es importante enfrentarse a preguntas tan directas como: ¿Es posible rebajar el porcentaje de población sometida control penal a través de la utilización de este tipo instrumentos?; ¿Es posible frenar a través de los ARA la consolidación de sesgos raciales y aporofóbicos actualmente presentes? En línea con esto, y planteándolo de manera maximalista, cabe realizarse esta última pregunta: ¿La utilización de algoritmos de valoración de riesgos mejora de manera real el modelo de penalidad? Dicho esto, hay que ser consciente de que estas preguntas condensan gran parte de los problemas de índole político-criminal que están relacionados con los instrumentos de valoración de riesgo y por lo tanto su respuesta resulta altamente compleja. No obstante, no por ello se debe de abandonar la voluntad de encontrar soluciones que, desde el prisma de los derechos y las libertades, puedan servir a la siempre necesaria tarea de mejorar del modelo de penalidad.
La irrupción de los ARA vino acompañada de toda una serie de discursos laudatorios con base en los cuales estas herramientas suponían un cambio de paradigma en materia de valoración de riesgos penales. De la lectura de estos argumentos se podía inferir que estos instrumentos no solo producían una mejora per se sino también por razón del progreso que introducían en comparación con los instrumentos de valoración de riesgos precedentes. Este esquema de pensamiento, aparentemente novedoso, guarda muchas similitudes con la manera en que se han planteado en el pasado la aparición de otras herramientas de valoración. Así pues, los instrumentos de naturaleza gerencial-actuarial irrumpieron en escena planteando que su aparición no sólo mejoraba a las herramientas de corte welfarista sino que además estaban mucho mejor capacitados para poder dar respuesta a los desafíos de la época. En este sentido, y desde un plano estrictamente narrativo, los discursos a través de los que se intentaba apoyar la introducción de IVR gerenciales-actuariales guardan un gran parecido con los que plantea en la actualidad la doctrina más afín a los ARA. Dicho esto, todo parece indicar que el sistema penal se encuentra inmerso en una suerte de bucle que emerge cada vez que surgen condiciones de posibilidad para la aparición de nuevas herramientas de valoración de riesgos y del que resulta muy difícil de desactivar.
Sentado todo lo anterior, parece legítimo preguntarse si es posible pensar que el sistema penal se encuentra inmerso en un proceso recurrente que le lleva a tener que transitar el mismo camino cada vez que un nuevo instrumento de valoración de riesgo aspira a la hegemonía. Un proceso que, por razón de su desgaste implícito, resulta muy poco provechoso en términos generales y que tan sólo parece interesar a los impulsores del instrumento de valoración en cuestión. Siendo esto así, resulta perentorio pensar en estrategias que alejen al sistema penal de un destino que, metafóricamente hablando, parece estar reproduciendo los pasos del mito de Sísifo. Es decir, cada instrumento que se desarrolla pugna con tesón por convertirse en la herramienta de valoración de riesgo de referencia. No obstante, todo este esfuerzo deviene en baldío cuando por razón de una innovación técnica o un cambio de paradigma tecnológico emerge un nuevo dispositivo que acabará desplazando a los instrumentos existentes so pretexto de que mejora sus resultados. Por todo ello, resulta vital liberarse de la carga que implica tener que repetir uno proceso que conduce a la obtención de resultados muy similares. Así pues, en su lugar podría ser adecuado pensar en un cambio de perspectiva que permita buscar una aproximación diferente a la valoración de riesgos penales. Más en concreto, una aproximación que no centre todas sus perspectivas de éxito en la aparición de nuevas herramientas y configure su avance en términos de derechos y libertades, ya que esta constituye, a nuestro juicio, la mejor forma de caminar hacia un modelo de penalidad mejor.
1
ANGWIN, J. ET AL. (2016): “Machine bias: There’s software used across the country to predict future criminals. And it’s biased against blacks.”, ProPublica, 23 May. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing (Último acceso: 10/23).
2
ANEESH, A. (2009): “Global Labor: Algocratic Modes of Organization”, en: Sociological Theory, Vol. 27(4), pp. 347-370. https://doi.org/10.1111/j.1467-9558.2009.01352.x
3
ARADAU, C. / BLANKE, T. (2017): “Politics of prediction: Security and the time/space of governmentality in the age of Big Data”, en: European Journal of Social Theory, Vol. 20(3), pp. 373-391. https://doi.org/10.1177/1368431016667623
4
6
BEER, D. (2016): “How should we do the history of Big Data?”, en: Big Data & Society, pp. 1-10. https://doi.org/10.1177/2053951716646135
7
BENBOUZID, B. (2019): “To predict and to manage. Predictive policing in the United States”, en: Big Data & Society, pp. 1-13. https://doi.org/10.1177/2053951719861703
8
9
10
BOYD, D. / CRAWFORD, K. (2012): “Critical questions for Big Data: Provocations for a cultural, technological, and scholarly phenomenon”, en: Information, Communication and Society, Vol. 15(5), pp. 662-679. https://doi.org/10.1080/1369118X.2012.678878
11
12
BRAYNE, S. (2017): “Big Data Surveillance: The Case of Policing”, en: American Sociological Review, Vol. 82(5), pp. 977-1008. https://doi.org/10.1177/0003122417725865
13
BRENNAN, T. / OLIVER, W.L. (2013): “The emergence of machine learning techniques in criminology”, en Criminology & Public Policy, Vol.12(3), pp. 551–562. https://doi.org/10.1111/1745-9133.12055
14
CAPLAN, J.M. ET AL. (2021): “Data-Informed and Place-Based Violent Crime Prevention: The Kansas City, Missouri Risk-Based Policing Initiative”, en: Police Quarterly, Vol. 0(0), pp. 1-27. https://doi.org/10.1177/10986111211003205
15
CARUANA, R. / NICULESCU-MIZIL, A. (2006) “An empirical comparison of supervised learning algorithms using different performance metrics”, en Proceedings of the 23rd International Conference on Machine Learning, pp. 161-168. https://doi.org/10.1145/1143844.1143865
16
CHAN, J. / BENNETT MOSES, L. (2016): “Is Big Data challenging criminology?”, en: Theoretical Criminology, Vol. 20(1), pp. 21-39. https://doi.org/10.1177/1362480615586614
17
DANAHER, J. (2016): “The threat of algocracy: Reality, resistance and accommodation”, en: Philosophy and Technology, Vol. 29(3), pp. 245–268. https://doi.org/10.1007/s13347-015-0211-1
18
DANAHER, J. ET AL. (2017): “Algorithmic governance: Developing a research agenda through the power of collective intelligence”, en: Big Data and Society¸ pp. 1-21. https://doi.org/10.1177/2053951717726554
19
DIAKOPOULOS N. (2014): “Algorithmic-Accountability: The investigation of Black Boxes Report”, en: Tow Center for Digital Journalism, Columbia University, pp. 1-37. https://doi.org/10.7916/D8ZK5TW2
20
21
22
24
DUWE, G. / KIM, K. (2017): “Out with the old and in with the new? An empirical comparison of supervised learning algorithms to predict recidivism”, en: Criminal Justice Policy Review, Vol. 28(6), pp. 570–600. https://doi.org/10.1177/0887403415604899
25
ECKHOUSE, L. ET AL. (2019): “Layers of Bias. A Unified Approach for Understanding Problems with Risk Assessment”, en: Criminal Justice and Behavior, Vol. 46 (2), pp. 185-209. https://doi.org/10.1177/0093854818811379
26
27
FEELEY, M.M. / SIMON, J. (1992): “The New Penology: Notes on the emerging srategy of corrections and its implications”, en Criminology, Vol. 30(4), pp. 449-474. https://doi.org/10.1111/j.1745-9125.1992.tb01112.x
28
29
32
GALLOWAY, K. (2017): “Big Data: A case study of disruption and government power” en: Alternative Law Journal, Vol. 42(2), pp. 89-95. https://doi.org/10.1177/1037969X17710612
33
GARB, H.N. / WOOD, J.M. (2019): “Methodological advances in statistical prediction”, en: Psychological Assessment, Vol. 31(12), pp.1456-1466. https://doi.org/10.1037/pas0000673
35
36
GIDDENS, A, (1999): “Risk and Responsibility”, en: The Modern Law Review, Vol. 62(1), pp. 1-10. https://doi.org/10.1111/1468-2230.00188.
37
GODDARD, T. / MYERS, R.R. (2017): “Against evidence-based oppression: Marginalized youth and the politics of risk-based assessment and intervention”, en: Theoretical Criminology, Vol. 21(2), pp. 151-167. https://doi.org/10.1177/1362480616645172
38
39
HÄLTERLEIN, J. (2021): “Epistemologies of predictive policing: Mathematical social science, social physics and machine learning”, en: Big Data & Society, pp. 1-13. https://doi.org/10.1177/20539517211003118
40
HANNAH-MOFFAT, K. (2019): “Algorithmic risk governance: Big Data analytics, race and information activism in criminal justice debates” en: Theoretical Criminology, Vol. 23(4), pp. 453-470. https://doi.org/10.1177/1362480618763582
41
HANNAH-MOFFAT, K. / MAURUTTO, P. (2010): “Re-contextualizing pre-sentence reports. Risk and race”, en: Punishment and Society, Vol. 12(3), pp. 262-286. https://doi.org/10.1177/1462474510369442
42
43
HAYWARD, K.J. / MAAS, M (2021): “Artificial intelligence and crime: A primer for criminologists”, en: Crime Media Culture, Vol. 17(2) 209-233. https://doi.org/10.1177/1741659020917434
44
45
46
JURGENSON, N. (2014): View from nowhere. The New Inquiry. http://thenewinquiry.com/essays/view-from-nowhere/. (Último acceso: 10/2023).
47
KARPPI, T. (2018): ““The Computer Said So”: On the Ethics, Effectiveness, and Cultural Techniques of Predictive Policing”, en: Social Media + Society, pp. 1-9. https://doi.org/10.1177/2056305118768296
48
KITCHIN, R. (2014): The Data Revolution: Big Data, Open Data, Data Infrastructures & their Consequences, Sage, London. https://doi.org/10.4135/9781473909472
49
50
51
LOWRIE, I. (2017): “Algorithmic rationality: Epistemology and efficiency in the data sciences”, en: Big Data & Society Vol. 4(1), pp. 1-13. https://doi.org/10.1177/2053951717700925
52
LUPTON, D. (2013): Risk, Routledge, London. https://doi.org/10.4324/9780203070161
53
LUPTON, D. (2016): The Quantified Self: A Sociology of Self-Tracking, Cambridge, Polity Press. https://doi.org/10.1111/1467-9566.12495
54
MACKENZIE, A. (2005): “The Performativity of Code. Software and Cultures of Circulation”, en: Theory, Culture & Society, Vol. 22(1), pp. 71–92. https://doi.org/10.1177/0263276405048436
55
MACKENZIE, A. (2015): “The production of prediction: What does machine learning want?”, en European Journal of Cultural Studies, Vol. 18(4-5), pp. 429-445. https://doi.org/10.1177/1367549415577384
56
MANTELLO, P. (2016): "The machine that ate bad people: The ontopolitics of the precrime assemblage”, en: Big Data & Society, pp. 1-11. https://doi.org/10.1177/2053951716682538
57
MAURUTTO, P. / HANNAH-MOFFAT, K. (2006): “Assembling risk and the restructuring of penal control”, en: British Journal of Criminology, Vol. 46(3), pp. 438-454. https://doi.org/10.1093/bjc/azi073
58
59
60
61
MEHOZAY, Y. / FISHER, E. (2019): “The epistemology of algorithmic risk assessment and the path towards a non-penology penology”, en: Punishment and Society, Vol.21(5), pp. 523-541. https://doi.org/10.1177/1462474518802336
62
63
MINOCHER, X. / RANDALL, C. (2020): “Predictable policing: New technology, old bias, and future resistance in Big Data surveillance”, en: Convergence: The International Journal of Research into New Media Technologies, Vol. 26(5-6), pp. 1108–1124. https://doi.org/10.1177/1354856520933838
65
66
67
68
69
POLACK, P. (2020): “Beyond algorithmic reformism: Forward engineering the designs of algorithmic systems”, en: Big Data & Society, pp. 1-15. https://doi.org/10.1177/2053951720913064
70
PHELPS, M.S. (2017): “Mass probation: Toward a more robust theory of state variation in punishment”, en: Punishment & Society, Vol. 19(1), pp. 53-73. https://doi.org/10.1177/1462474516649174
71
72
RESNYANSKY, L. (2019): “Conceptual frameworks for social and cultural Big Data analytics: Answering the epistemological challenge”, en: Big Data & Society, pp. 1-12. https://doi.org/10.1177/2053951718823815
73
74
RIGAKOS, G.S. / HADDEN, R.W. (2001): “Crime, Capitalism and the «Risk Society»”: Towards the same olde modernity?”, en: Theoretical Criminology, Vol. 5(1), pp. 61-84. https://doi.org/10.1177/1362480601005001004
75
ROUVROY, A. / BERNS, T. (2013): “Algorithmic governmentality and prospects of emancipation. Disparateness as a precondition for individuation through relationships?”, en: Réseaux, Vol. 177(1), pp.163-.196. https://doi.org/10.3917/res.177.0163
76
77
78
79
SIMON, J. (2013): “Punishment and the Political Technologies of the Body”, en SIMON, J. / SPARKS, R., (eds.), The Sage Handbook of Punishment and Society, Sage, London, pp. 60-89. https://doi.org/10.4135/9781446247624
80
81
SOLAR CAYÓN, J.I. (2020): “Inteligencia artificial en la justicia penal: los sistemas algorítmicos de evaluación de riesgos” en SOLAR CAYÓN, J.I. (ed.) Dimensiones éticas y jurídicas de la inteligencia artificial en el marco del Estado de Derecho, Universidad de Alcalá, Alcalá de Henares, pp. 125-172
82
83
STARR, S.B (2015): (2015), “The New Profiling. Why Punishing Based on Poverty and Identity Is Unconstitutional and Wrong”, en: Federal Sentencing Reporter, Vol. 27(4), pp. 229-236. https://doi.org/10.1525/fsr.2015.27.4.229
84
85
STRIKWERDA, L. (2021): “Predictive policing: The risks associated with risk assessment”, en: The Police Journal: Theory, Practice and Principles, Vol. 94(3) 422-436. https://doi.org/10.1177/0032258X20947749
86
STRIPHAS, T. (2015): “Algorithmic culture”, en: European Journal of Cultural Studies, Vol. 18(4-5), pp. 395-412. https://doi.org/10.1177/1367549415577392
87
TOLLENAAR, N. / VAN DER HEIJDEN, P.G.M. (2013): “Which method predicts recidivism best? A comparison of statistical, machine learning and data mining predictive models”, en: Journal of the Royal Statistical Society, Vol. 176 (2), pp. 565–584. https://doi.org/10.1111/j.1467-985X.2012.01056.x
88
UGWUDIKE, P. (2020): “Digital prediction technologies in the justice system: The implications of a ‘race-neutral’ agenda” en: Theoretical Criminology, Vol. 24(3), pp. 482-501. https://doi.org/10.1177/1362480619896006
89
VANSTONE, M. (2004): “Mission control: The origins of a humanitarian service”, en Probation Journal, Vol. 51(1), pp. 34-47. https://doi.org/10.1177/0264550504041376
90
VAN EIJK, G. (2017): “Socioeconomic marginality in sentencing: The built-in bias in risk assessment tools and the reproduction of social inequality”, en: Punishment & Society, Vol. 19(4), pp. 463-481. https://doi.org/10.1177/1462474516666282
91
92
WHITE, S. (1976): “The nineteenth century origins of pre-sentence reports”, en Australian and New Zealand Journal of Criminology, Vol. 11(3), pp. 157-178. https://doi.org/10.1177/000486587801100306
93
WEXLER, R. (2018): “Life, liberty, and trade secrets: Intellectual property in the criminal justice system” en: Stanford Law Review, Vol. 70, pp. 1343-1429. http://dx.doi.org/10.2139/ssrn.2920883
94
ZAVRSNIK, A. (2021): “Algorithmic justice: Algorithmics and Big Data in criminal justice settings”, en: European Journal of Criminology, Vol. 18(5), pp. 623-642. https://doi.org/10.1177/1477370819876762
[1] Este trabajo se enmarca en el proyecto de investigación “La responsabilidad de la inteligencia artificial: un desafío para las ciencias penales” (PID2020-112637RB-I00), financiado por el Programa Estatal de Fomento de la Investigación Científica y Técnica de Excelencia, Subprograma Estatal de Generación de Conocimiento, del Ministerio de Economía y Competitividad.
[6] Sobre la importancia del paradigma del riesgo, dada la inabordable cantidad de bibliografía, véase por todos: .; ; ; .; .
[11] Esto es así en la medida en que no sólo hay que trabajar para determinar su contenido técnico de la forma más precisa posible sino que además también hay que realizar una labor de diferenciación respecto de sus significados coloquiales que son mucho menos precisos y que, en ocasiones, pueden llevar a equívocos en otros contextos como el académico. En este sentido, .
[16] Sobre el fenómeno de la Mass Probation, . Sobre el proceso de Mass Incarceration, véase por todos .
[17] y ss.; y ss. En un sentido crítico a la hora de atribuir un origen tan preciso a la aparición de los instrumentos de valoración de riesgos, .
[18] Parole es la denominación que en el mundo jurídico-penitenciario anglosajón recibe la liberación anticipada del recluso. Sin ánimo de exhaustividad, sobre la parole .; , .
[21] Alertando sobre el error que supone obviar la historia de los instrumentos de valoración surgidos con anterioridad a 1970, .
[25] y ss.; y ss. Las narrativas y discursos que se desarrollaron en materia de riesgo y criminalidad en el ámbito anglosajón adquirieron la condición de relato hegemónico. Esta afirmación se puede sostener, al menos en parte, gracias al peso que los organismos públicos otorgaron a este tipo de lenguaje asumiéndolo, en no pocas ocasiones, como propio. Así las cosas, y tomando como ejemplo el caso británico, ; .
[26] Expresión que podría traducirse en castellano como nueva penología. Esta expresión está incluida en el título del primer artículo que Feeley y Simon, escribieron sobre la materia, ., y desarrollada en articulos posteriores, entre ellos .); .
[32] Este concepto fue acuñado por Aneesh y recogido inicialmente en una conferencia presentada en la American Society of Sociology (ASA) en el año 1999 y bajo el título de Technologically Coded Authority: The Post-Industrial Decline in Bureaucratic Hierarchies
[40] A mayor abundamiento sobre el programa PredPol, véase su página web: https://www.predpol.com/ (último acceso: 10/23).
[44] Sobre este tema resulta muy interesante el artículo publicado por Dan Tynan en The Guardian el 3 de octubre de 2016: https://www.theguardian.com/us-news/2016/oct/03/prison-internet-access-tablets-edovo-jpay (último acceso: 10/23).
[45] Con la última coletilla de “y otros” Hannah-Moffat hace referencia a todos aquellos entes privados que se lucran a través de la venta de aparatos para que los reclusos puedan conectarse online así como también ofreciendo la conexión a internet a través de unas tarifas absolutamente exorbitadas. Sobre esta cuestión Tynan en el artículo referenciado en la nota anterior habla de empresas cobran a los presos y sus familias 120 dólares por la compra de la tableta, 35 céntimos por enviar y recibir un correo electrónico y aproximadamente 10 dólares por una videollamada de 30 minutos.
[46] BEER, D. “How should we do the history of Big Data?”, en: Big Data & Society, 2016, p. 6; GALLOWAY, K. “Big Data: A case study of disruption and government power” en: Alternative Law Journal, Vol. 42(2), 2017, pp 91-92; KITCHIN, R. The Data Revolution: Big Data, Open Data, Data Infrastructures & their Consequences, Sage, London, 2014, p. 126.
[51] Tres elementos que en palabras de Boyd y Crawford se deben de entender así: 1. Tecnología: posibilidad de maximizar la potencia de cálculo y la precisión algorítmica para recopilar, analizar, relacionar y comparar grandes conjuntos de datos. 2. Análisis: capacidad para utilizar grandes conjuntos de datos e identificar patrones con el fin de poder hacer afirmaciones económicas, sociales, técnicas y jurídicas. Mitología: creencia generalizada de que los grandes conjuntos de datos ofrecen una forma superior de inteligencia y conocimiento que puede generar conocimientos con un aura de verdad, objetividad y precisión a los que antes era imposible acceder”. .
[57] .. Más cautos sobre las conclusiones del estudio de Tollenaar y Van der Heijden en particular, y sobre las potencialidades del ML en el campo penal en general, se muestran Berk y Bleich. .
[66] De todos modos, los ARA no resultaron en este sentido pioneros, puesto que este tipo de prácticas vienen siendo realizadas desde finales de los años 80 en el contexto anglosajón donde múltiples herramientas de valoración actuarial han sido íntegramente diseñadas por empresas privadas y posteriormente vendidas bajo criterios de mercado (). De hecho, estas dinámicas se encuentran tan naturalizadas que incluso en contextos como el español, donde el modelo gerencial-actuarial tuvo una recepción tardía ( y ss.), el desarrollo de los instrumentos de valoración de riesgos también se realizó acudiendo a fórmulas de colaboración público-privada. Como ejemplo de esto se puede citar el caso de la empresa Better Consultants que colaboró, activamente en el desarrollo del Riscanvi a finales de la década de los 2000. .
[76] Sobre esta idea del lively data¸ es decir, la obtención/generación de datos en tiempo real, in extenso,
[79] El cronocentrismo de acuerdo con su primera definición enunciada por Fowles “…es la creencia de que la propia época es primordial, que los demás períodos palidecen en comparación. Es una fe en la importancia histórica del presente. Así pues, sugiere un desprecio por el pasado y el futuro” .
[80] De acuerdo con una definición más general, el tecnooptimismo puede entenderse como “una creencia exagerada e injustificada en las capacidades tecnológicas humanas para resolver los problemas de insostenibilidad mientras minimizando o negando la necesidad de una transformación social, económica y política a gran escala. Más concretamente, el tecnooptimismo es la creencia de que los costes ambientales y sociales negativos de las sociedades de alto consumo, consumo opulento y de los modos de vida asociados en los sistemas socioeconómicos ortodoxos de crecimiento económico capitalista. orientados al crecimiento económico, pueden ser resueltos o erradicados a través de la innovación y los avances tecnológicos”. .
[82] Para poder realizar la comparación con la obra de Fukuyama deberíamos de sustituir el concepto “Algoritmos de Valoración de Riesgo” por el de “Democracia Liberal”. De este modo, podría observarse como la lectura de esta obra podría ofrecer, mutatis mutandi, lecturas de gran valor. .
[83] Un falso negativo se produce cuando no se aprecia riesgo en un sujeto y este vuelve a cometer un acto contrario a esa predicción. Por su parte un falso positivo implica identificar como peligroso a una persona que, sin embargo, no ha vuelto a tener un comportamiento acorde con ese nivel de riesgo. Sobre el problema que genera la comisión de falsos positivos y negativos, y ss.
[84] Antes de seguir resulta preciso realizar tres precisiones terminológicas: a) sensibilidad: se entiende por sensibilidad la probabilidad de que una prueba o experimento clasifique como correcto a un sujeto/hecho que realmente lo es. Es decir, la capacidad de detectar a aquellos sujetos que se está buscando. b) Especificidad: probabilidad de que una prueba proporcione un resultado negativo para un supuesto tal. Dicho de otro modo, capacidad para identificar correctamente a los sujetos que no poseen las características que se pretende buscar. Sensibilidad y especificidad son, generalmente, términos complementarios, en tanto la relación existente entre ambos suele ser inversamente proporcional. c) Valor predictivo: a través del valor predictivo se puede constatar cuánto de todo aquello que se predice efectivamente se cumple. El estudio de estas tres nociones resulta fundamental, pues sobre ellas pivota una de las principales contribuciones de los instrumentos de valoración y gestión del riesgo al ámbito de la prevención delictiva. De hecho, su interconexión es máxima ya que la existencia de unos dispositivos que optimicen su sensibilidad y especificidad es condición sine qua non para la consecución de un óptimo valor predictivo. y ss.
[88] Sobre la afectación que este tipo de problemas poseen en sede judicial y los retos que plantean a la hora de satisfacer cuestiones tan básicas como las garantías procesales o los derechos de las partes, : “Inteligencia artificial en la justicia penal: los sistemas algorítmicos de evaluación de riesgos” en y ss.; .
[90] En relación con esto, Solar Cayón sostiene que los Tribunales Estadounidenses, en diversas ocasiones, han denegado la petición de los acusados de tener acceso al código de los instrumentos que se han utilizado para juzgarlos argumentando que esa práctica atentaría contra el secreto empresarial de las empresas desarrolladoras de este tipo de herramientas. .
[101] En esta línea, . http://thenewinquiry.com/essays/view-from-nowhere/. (Último acceso: 10/2023).
[105] En este sentido, Eckhouse et al, sostienen que es posible que muchos instrumentos no incorporen factores abiertamente racistas pero si que tengan en consideración proxys a través de los que realizar valoraciones sesgadas por raza. Más en particular, estos autores ponen el ejemplo del código postal. Su inclusión como factor de riesgo en barrios racialmente segregados es una forma efectiva de introducir sesgos en la valoración. .
Downloads (Last 12 months)
