Assuming that companies exercise a role of undeniable relevance in the production and use of artificial intelligence systems (AI), we will address in this paper the criminal and procedural aspects of this relationship. After a brief study of the concept, procedures and limitations of this technology, we will analyze the difficulties it imposes on the attribution of criminal responsibilities, which end up justifying the adoption of specific models of corporate criminal liability also in this area. On the other hand, we will observe that, even as users, legal entities do not have unrestricted freedom to use AI in their compliance programs, and must comply with certain legal parameters, especially if they intend to obtain criminal benefits through effective compliance.
El protagonismo asumido por las personas jurídicas a lo largo del siglo XX y principios del XXI es una constatación prácticamente irrefutable. Las grandes corporaciones se encuentran actualmente en el centro de las más variadas ramas de actividad, siendo responsables de gran parte de la circulación de capitales, la producción y distribución de bienes y la prestación de servicios y, en consecuencia, de la generación de puestos de trabajo.
Sin embargo, en proporción a la progresiva relevancia de estos actores en el contexto global, fue necesario avanzar en las reflexiones sobre la respuesta penal ante eventuales ilícitos relacionados al entorno empresarial. Es decir, dada la creciente preocupación de la sociedad por los delitos típicamente económicos y empresariales, sumada a la complejidad de su tratamiento por parte del sistema de justicia penal, los temas relacionados con la responsabilidad penal de las personas jurídicas se han convertido en objeto no solo de cambios legislativos en diversos países, sino también de interminables y controvertidas discusiones doctrinales y jurisprudenciales.
Más recientemente, ese cuadro ha sufrido las repercusiones de un nuevo contexto, al que convencionalmente se ha venido a llamar “Revolución 4.0”. Es decir, en las bases del creciente desarrollo de nuevas tecnologías como la inteligencia artificial (IA), vuelven a encontrarse las grandes corporaciones, reavivando algunos debates sobre las respuestas penales más adecuadas a los daños causados con intervención de estas tecnologías.
Pero los significativos impactos de los sistemas de la IA en el ámbito empresarial no se limitan a los casos en que estas entidades se insertan en la cadena de producción. También son relevantes las hipótesis en las que son destinatarias de estas tecnologías, tal como en el frecuente empleo de la IA en los programas de cumplimiento, ya sea en las tareas de supervisión de los empleados o para ayudar en las actividades de due diligence y de investigaciones internas.
Ante este escenario, partimos de la hipótesis de que las personas jurídicas tienden a asumir un papel destacado en los casos en que la intervención de la IA asume relevancia penal, ya sea por causar el daño, o por la información que almacena y que puede ser de interés a las investigaciones. Dicho esto, el objetivo del presente artículo es precisamente analizar las posibles consecuencias materiales y procesales de la IA en la responsabilidad penal de las personas jurídicas. A partir de la metodología deductiva aplicada al análisis de la doctrina y jurisprudencia española y portuguesa, responderemos a las siguientes cuestiones: en el caso de delitos con intervención de IA, ¿sería penalmente responsable la persona jurídica que la produjo? ¿Cómo se estructuraría el sistema de imputación? Además, ¿la información almacenada por la IA podría ser utilizada como prueba en un proceso penal? ¿Seríamos capaces de evaluar su fiabilidad y asegurarnos de que no se han obtenido con vulneración de los derechos de los visados?
Para que podamos comprender mejor las reverberaciones de la IA en el entorno empresarial es necesario, en un primer momento, aproximarnos a qué es exactamente esta tecnología y cuáles son sus particularidades que justifican la atención que ha recibido por parte de los juristas.
La literatura demuestra cómo la pretensión de reproducir algunas de las capacidades humanas en máquinas es algo que ronda la imaginación de las personas desde mucho antes de que la tecnología fuera capaz de tanto. Un ejemplo de esto se puede encontrar en la mitología griega, concretamente en el robot de bronce llamado “Talos”. Mencionado como el guardián de la isla de Creta, poseería habilidades de combate cuerpo a cuerpo, además de ser capaz de detectar embarcaciones extranjeras y hundirlas arrojando piedras.
Sin embargo, fue en el período posterior a la Segunda Guerra Mundial cuando comenzaron a realizarse estudios más directamente relacionados con la IA. Las investigaciones realizadas por Alan Turing, orientadas a la decodificación de mensajes durante la guerra, se mencionan generalmente como fundamentales para el desarrollo del tema. Pero el origen de la terminología “inteligencia artificial” se atribuye a John McCarthy, concretamente en el ámbito del texto “A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence”, de 1955. En ese momento, se consideraba como “la ciencia y la ingeniería de producir máquinas inteligentes, especialmente programas informáticos”, relacionándose “con la función similar de usar computadoras para comprender la inteligencia humana” y no limitándose, sin embargo, a “métodos biológicamente observables”.
Luego de décadas de avances científicos y tecnológicos en la materia, la comprensión actual de su concepto se puede subdividir en dos categorías: i) en la inteligencia artificial como sistema, podemos incluir softwares y hardwares que, para lograr un determinado objetivo, analizan su entorno a través de la recolección e interpretación de datos y toman una decisión en base a reglas simbólicas preestablecidas o en su propio “aprendizaje” alcanzado con experiencias anteriores. Estos sistemas pueden actuar tanto en el entorno físico como en el digital y tienen la capacidad de adaptar sus algoritmos (y en consecuencia su comportamiento) de forma autónoma, a partir de un análisis de las consecuencias de sus acciones anteriores; ii) como disciplina científica, la inteligencia artificial engloba diversas técnicas y metodologías, como el machine learning, el machine reasoning y la robótica, integrándolas en sistemas ciberfísicos.
El uso de estos sistemas ya es una realidad en varias áreas de actividad. Un primer ejemplo lo encontramos en el ámbito del mercado de capitales, más concretamente en las denominadas negociaciones algorítmicas de alta frecuencia (high-frequency trading). Estas son técnicas de negociación algorítmica, que pueden ser utilizadas en estrategias de mercado lícitas o ilícitas, y que se caracterizan por la búsqueda de la máxima reducción del periodo de latencia y por la emisión, modificación y cancelación de un número muy elevado de órdenes de compra y venta en un corto período de tiempo, en base a la información de mercado obtenida y procesada por el algoritmo.
Es decir, en un sector donde la velocidad es fundamental, el uso de algoritmos capaces de procesar la información necesaria sobre el mercado en muy poco tiempo y de tomar decisiones de forma autónoma sobre la compra o venta de determinadas acciones puede poner a los agentes que hacen uso de ellos en una posición de innegable ventaja sobre otros operadores, lo que implica, para el mercado, beneficios pero también riesgos.
En el ámbito de la salud, por su parte, los avances en el campo de la IA generan expectativas optimistas para los próximos años, en cuanto a aplicaciones de asistencia en diagnósticos, tratamiento y seguimiento de pacientes, cirugías robóticas, medicina personalizada e incluso en la prevención del suicidio a través del monitoreo de redes sociales.
También son destacables las aplicaciones de esta tecnología en el ámbito del transporte. Aunque no todos los llamados “vehículos autónomos” están equipados con IA (teniendo diferentes niveles de autonomía, existen grandes expectativas de avances progresivos en el sector. Una mayor capacidad que la inteligencia humana para procesar informaciones y tomar decisiones en un tiempo cada vez más reducido, sumada a que estos sistemas no suelen presentar los errores típicamente humanos en el tráfico (por ejemplo, imprudencia, exceso de velocidad y conducción tras consumo de alcohol), genera pronósticos optimistas respecto a la reducción del número de accidentes y muertes para el futuro.
Finalmente, también es importante mencionar la aplicación cada vez más significativa de la IA en el sistema de justicia. A modo de ejemplo, en lo que respecta a la persecución penal, observamos el uso de estos sistemas en las áreas de inteligencia y supervisión, investigaciones (públicas y privadas, toma de decisiones judiciales y ejecución penal.
Observamos que debido a algunas de sus potencialidades (como la capacidad de procesar una inmensa cantidad de datos, en tiempo muy reducido y muchas veces con mayor precisión que la humana), la IA tiende a impactar positivamente varios sectores de actividad, como los mencionados anteriormente de forma no exhaustiva. Sin embargo, también es importante señalar que, a pesar de la alta tecnología utilizada en ellos, estos sistemas tienen algunas limitaciones e imponen algunos desafíos que debe enfrentar el derecho.
En primer lugar, debemos apuntar que la IA y los algoritmos que utiliza se consideran opacos. En otras palabras, tal es su complejidad técnica que es muy difícil para el ser humano comprender sus procedimientos internos, las razones que subyacen en determinadas tomas de decisiones e incluso los datos que se utilizan como input y su relación con un determinado output. En otras palabras, aunque tengamos acceso a una decisión concreta, entender el “cómo” y el “por qué” es muy complicado.
Esta opacidad también genera dudas sobre la legalidad y credibilidad de los datos utilizados como input. Como señala Miró Llinares, a diferencia del pasado, en el que el intercambio de datos dependía de una conducta mínimamente consciente y activa de las personas, en la actualidad se comparten de forma masiva, generando justificables temores de vulneración desproporcionada de la privacidad e intimidad de las personas.
Además, la calidad de los datos utilizados para el entrenamiento del algoritmo puede ser baja. Esto puede ocurrir por una mala clasificación realizada por el programador responsable; por su recolección en un período de tiempo muy restringido; o por el simple hecho de que los datos recolectados no son representativos. En cualquiera de estos casos, la invalidez o imprecisión de los datos tiende a incrementar los riesgos de errores y de outputs de baja calidad.
A lo anterior se suma la imprevisibilidad de los outputs logrados por los sistemas de IA. Con esto queremos decir que, en función de su capacidad para “aprender” de sus actuaciones pasadas y adaptar de forma autónoma sus propios algoritmos, los resultados obtenidos por la IA son a menudo impredecibles incluso para sus propios programadores.
Por sus particularidades y limitaciones mencionadas anteriormente, sumadas al hecho de que no son infalibles y pueden causar daños a bienes jurídicos tutelados penalmente, los sistemas de IA crean algunos nuevos desafíos en materia de responsabilidad penal.
La doctrina identifica y clasifica cuatro grupos de posibles delitos relacionados con la IA: I) delitos cometidos intencionalmente por personas físicas o jurídicas, con uso deliberado de la IA; II) delitos negligentes causados por fallas en la cadena productiva y/o uso de la IA; III) ilícitos provocados por la propia IA, sin intervención humana; IV) ilícitos cometidos por seres humanos, instrumentalizados por la IA.
Si bien no podemos ignorar las eventuales dificultades encontradas en otros casos, es, a nuestro juicio, en los grupos (II), (III) y (IV) que se encuentran las mayores dificultades en la imputación de responsabilidades criminales individuales por los crímenes en cuestión.
Para visualizar mejor el problema, pensemos en los siguientes casos hipotéticos: i) en el empleo de la IA en el sector médico, si un diagnóstico erróneo presentado por un sistema de asistencia, o un error cometido por un robot inteligente en el contexto de una cirugía, resulta en lesiones, o incluso en la muerte de un paciente, ¿quién sería considerado penalmente responsable por estas conductas?; ii) en el contexto del mercado de capitales, si un operador hace uso de un sistema algorítmico que, al interpretar las condiciones del mercado y ejecutar órdenes de compra y venta, incurre en la práctica de spoofing o layering, ¿a quién se consideraría autor de estas conductas, con arreglo al art. 284.3 del CPEsp?; iii) finalmente, si un vehículo autónomo dotado con un sistema de IA, en un determinado evento y por causas desconocidas, realiza una maniobra que provoca un accidente y lesiona o mata a terceros o incluso a sus ocupantes, ¿quién sería, para efectos jurídico-penales el responsable de esta conducta? ¿El fabricante? ¿El programador? ¿El usuario? ¿El robot en sí?
La imputación de responsabilidades penales en casos relacionados con la IA se ve obstaculizada inicialmente por la propia complejidad del sector. En el desarrollo, fabricación, programación y uso de estas tecnologías, existe la intervención de innumerables personas físicas y jurídicas, que dividen sus atribuciones de forma no siempre regular y transparente. Si a esto le sumamos la opacidad de estos sistemas, llegaremos a la conclusión de que es muy difícil (y en algunos casos, imposible) precisar el nexo de causalidad entre una determinada conducta (la escrita de una línea de código, por ejemplo) y el daño o peligro de daño.
Además, al depender del caso concreto y del tipo penal a la luz del cual se analice, entendemos que ni siquiera será posible sostener que haya un autor humano que haya realizado el hecho. A nuestro juicio, autor, en su nivel más básico (el lógico-gramatical), es quien practica la conducta correspondiente al sentido de la conducta descrita en el tipo penal, que debe identificarse, en el caso concreto, a partir de la interpretación del verbo típico. Dicho esto, cuando no hay un uso intencional de la IA por una persona, para la comisión del ilícito, y ello tampoco es resultado de una falla en la cadena de producción y uso del sistema, sino que es resultado de su propia capacidad de aprendizaje autónomo, no vamos a tener, al depender del caso concreto y del tipo penal, una actuación humana en la realización del sentido de la acción descrita por el tipo.
Aunque no sea así, es decir, si es posible identificar una conducta humana causadora del daño o peligro de daño, la imprevisibilidad de los outputs del algoritmo seguirá imponiendo dificultades en la imputación penal, ya que, en estos casos, el programador, el fabricante y, menos aún, el usuario directo de la tecnología, no siempre podrán prever el desempeño de la IA. Dado que el juicio de previsibilidad es fundamental para la tipicidad de determinadas conductas, entendemos que la tipicidad del comportamiento de los actores humanos debe rechazarse cuando el resultado ilícito de la IA es totalmente impredecible.
Debido a estas dificultades, hay parte de la doctrina que comienza a analizar (y en algunos casos, a apoyar la imputación penal de los propios sistemas de IA. No entendemos, sin embargo, que ésta sea la solución más adecuada, no necesariamente por las indispensables adaptaciones dogmáticas que requeriría, sino principalmente porque impondría adecuadas revisiones sobre los propios fundamentos y finalidades de la pena y del derecho penal, que, tal y como se conciben actualmente, no parecen cumplirse con un eventual castigo a un sistema concreto de IA.
Por estas razones, sin abandonar las discusiones sobre la responsabilidad penal individual en estos casos, que sin duda deben jugar un papel importante en este ámbito, creemos que la responsabilidad penal de las personas jurídicas debe ser objeto de especial atención en el contexto de los delitos cometidos con la intervención de la IA. Este será el objeto de nuestra atención en el siguiente tópico.
Los fundamentos político-criminales que subyacen a la responsabilidad penal de las personas jurídicas (RPPJ) ya han sido expuestos sucintamente a lo largo del texto. El protagonismo asumido por estas entidades en las más variadas ramas de actividad, sumado a los riesgos delictivos que potencia el entorno empresarial y la complejidad de su enfrentamiento por la vía penal, en particular en lo que se refiere a la identificación y responsabilidad de los autores individuales de un determinado hecho típico, nos llevó a una realidad en la que son pocos los países que aún se resisten a la adopción de la RPPJ. Aún existen vivas discusiones, sin embargo, acerca de los sistemas concretos de imputación de responsabilidad penal a estos sujetos, que terminan reflejándose en modelos disonantes entre los ordenamientos jurídicos.
Es notorio que los primeros modelos de RPPJ, propuestos aún en una fase de progresivo abandono del dogma societas delinquere non potest, pueden agruparse en un género comúnmente conocido como de heterorresponsabilidad de las personas jurídicas. Como característica común de estos modelos, de los cuales Brasil es todavía uno de sus restantes adoptantes, tenemos una especie de “transferencia” de la responsabilidad penal de un individuo particular a la entidad colectiva, cuando se cumplen ciertos requisitos. En la base de estas propuestas estaría el entendimiento de que la persona jurídica sería incapaz de existir, actuar y expresar una voluntad independiente de los individuos que la componen, por lo que su responsabilidad autónoma sería inadecuada.
Un buen ejemplo de ese pensamiento es la denominada alter ego theory, desarrollada en el ámbito del derecho civil inglés por la House of Lords, en el caso Tesco Supermarkets Ltd. v. Nattrass, de 1971. Según esta, la empresa sería como un cuerpo humano, cuya mente serían los directores y administradores y los miembros serían los empleados. El estado mental de la empresa, por tanto, sería el de su dirección.
Esta propuesta es claramente adoptada por el Código Penal Portugués (CPPt) en una de sus previsiones de RPPJ, a saber, el Artículo 11.º, n. 2, “a”, ya que, si bien no se requiere la acumulación de responsabilidad de la persona física a los efectos de hacer responsable a la persona jurídica, sí existe una identificación de ésta con las personas que ocupan en ella un cargo de dirección y actúan en su nombre o por su cuenta, en su interés directo o indirecto.
Otro ejemplo muy difundido de los modelos de heterorresponsabilidad es el denominado modelo vicarial. Como analiza críticamente Adán Nieto Martín, se trata de una propuesta que exige tres condiciones: i) la comisión de una infracción por parte de un agente de la empresa; ii) en el ejercicio de las funciones que le han sido atribuidas o por cuenta de la empresa; y iii) la intención de obtener un beneficio o ventaja para la empresa, que es una de las principales diferencias con la teoría de la identificación. Inês Godinho también destaca la posibilidad, en esta última propuesta, de que la persona jurídica también sea responsable por los actos de los empleados subordinados, no dependiendo su responsabilidad penal de la actuación de una persona con poder de dirección.
En cualquiera de sus modalidades, sin embargo, los modelos de heterorresponsabilidad fueron prontamente criticados por la doctrina. En primer lugar, porque como todavía dependientes de la identificación de una conducta individual de un determinado agente para que la persona jurídica sea responsabilizada, estas propuestas acaban por no resolver la cuestión antes mencionada de la irresponsabilidad organizada, problema que la RPPJ pretendía precisamente resolver.
Además, tal transferencia de responsabilidades implica en una responsabilidad por un hecho ajeno, violando directamente el principio de la culpabilidad. En otras palabras, no hay un injusto empresarial per se, pero se toma prestado el de las personas físicas sin más cuestionamientos de cómo la persona jurídica habría colaborado efectivamente en el ilícito en cuestión.
Por estas razones, se observa una progresiva tendencia (jurídica y doctrinal de migración a modelos de responsabilidad autónoma de las personas jurídicas, también conocidos como de autorresponsabilidad. Son varias las propuestas teóricas que se incluyen en este grupo, que tuvieron su arranque con los denominados modelos del acto de conexión. Aún muy próximas a los sistemas de heteroresponsabilidad (incluso en las críticas que se les pudieran dirigir, estas propuestas exigían, para justificar el injusto empresarial, además de una acción consciente practicada por un representante válido de la empresa, que el hecho se hubiere dado en virtud de obligaciones funcionales de la persona jurídica o hubiere redundado en su enriquecimiento. Así, como explica Tiedemann, además de los supuestos de responsabilidad directa de la empresa por los ilícitos cometidos por sus directores y demás personas con poder de dirección, las entidades colectivas tendrían un deber de vigilancia y control sobre sus demás miembros, por lo que deberían ser penalmente responsabilizadas por los ilícitos que se deriven del incumplimiento de estos deberes.
Un ejemplo muy relevante de esta propuesta es la posibilidad prevista por el Art. 11.º, “2”, “b”, del CPPt, que admite la RPPJ por la conducta practicada por quienes, subordinados a personas con poder de dirección, actúan en nombre o por cuenta de la entidad colectiva, en su interés directo o indirecto, y comete el delito como consecuencia de la infracción de los deberes de vigilancia y control que incumbían a las personas con poder de dirección.
Inmediatamente notamos la proximidad de esta propuesta teórica a los modelos de heteroresponsabilidad. Aunque tenga en cuenta una especie de defecto de organización, concretizado en la infracción de los deberes antes mencionada, el acto de conexión requerido es la violación de los deberes no de la empresa, sino de las personas individuales que ocupan un puesto de dirección y control en ella. Con ello, se produce una especie de fusión entre la responsabilidad directa de la persona colectiva y la teoría del alter ego, identificando el ente colectivo con las personas de su alta dirección.
Ante estas y otras carencias, se desarrollaron algunas otras propuestas teóricas más audaces, no solo para delimitar mejor la idea de defecto organizacional, sino también para adecuarla a una teoría del delito de las personas jurídicas. Adán Nieto Martín, por ejemplo, trabaja con la idea de déficit de organización permanente, proponiendo que la culpabilidad de la persona jurídica sea imputada a partir de la comisión de un delito por cualquier persona que actúe en su nombre, cuando no exista la implementación de un código eficaz para la prevención y detección de este tipo de delitos. La adopción de este código, en cambio, eximiría de responsabilidad penal a la persona jurídica.
Considerando que es necesaria la delimitación precisa entre la culpabilidad y el injusto empresarial - lo que conduciría a conceptos más fácilmente manejables y sistemáticamente correctos, favoreciendo la defensa de la persona jurídica ante los tribunales-, Gómez-Jara Díez también propone un modelo de autorresponsabilidad, que se basa en la organización y cultura de la persona jurídica de que se trate. El autor parte del supuesto de que algunas empresas alcanzan tal complejidad que pasan a presentar características propias de autorreferencialidad, autoconducción y autodeterminación , transformándose en un sistema social (paralelo al ser humano, que es un sistema psíquico) garantizador de su propio ámbito organizativo.
Partiendo de estas premisas y utilizando equivalentes funcionales, Gómez-Jara propone una teoría del delito de las personas jurídicas, elaborada sobre la base de un injusto por defecto o falta de organización empresarial y una culpabilidad como reproche por no adoptar una cultura de cumplimiento normativo .
Sin extendernos demasiado en la interminable discusión acerca de los aspectos positivos y negativos de cada uno de los concretos modelos teóricos de responsabilidad penal de las personas jurídicas, creemos que el objeto del presente estudio, esto es, los delitos relacionados con la IA, presenta particularidades que enfatizan algunas de las ventajas dogmáticas y político-criminales de los sistemas de autorresponsabilidad.
Como ya hemos analizado, la complejidad de los sistemas de IA y de su cadena de producción impone severas dificultades a la identificación precisa del nexo causal entre una acción u omisión y el daño en cuestión. Igualmente problemática será la individualización de una eventual autoría individual en estos casos, cuando existente. En consecuencia, no sólo la responsabilidad penal individual se puede obstaculizar en estas situaciones, sino también la de las personas jurídicas eventualmente involucradas, cuando el ordenamiento jurídico en cuestión hace depender la responsabilidad penal de estas personas de la identificación de una conducta individual. En otras palabras, los ya enfrentados modelos de heterorresponsabilidad resultan aún menos fructíferos cuando se trata de daños causados con la intervención de la IA.
Además, hay que destacar la importancia que otorga la generalidad de los modelos de autorresponsabilidad, a la adecuada organización empresarial y a la cultura de cumplimiento normativo. Al analizar los posibles ilícitos cometidos con el uso de la IA, observamos que muchas veces nos podemos encontrar ante conductas realizadas en el seno de grandes entidades colectivas, y algunos casos pueden no ser aislados, sino derivados de las propias políticas internas de la organización empresarial. A esto se suma el hecho de que estamos ante un campo muy dependiente de los avances científicos y tecnológicos, marcado por el dinamismo y la incertidumbre en cuanto a sus avances y resultados.
Por ello, sostenemos que el derecho penal debe asumir aquí un carácter secundario, reforzando ciertas normas primarias aprobadas sectorialmente, tales como códigos de ética y conducta, normas deontológicas profesionales, leges artis y estándares del sector y otras normas y reglas primarias de reducción del riesgo, que deben integrar el juicio de tipicidad del comportamiento del agente, ya sea persona natural o jurídica.
Precisamente por la necesidad de definir e implementar estas normas primarias y sectoriales de reducción de riesgos, sumada al imperativo escrutinio y transparencia en la producción, desarrollo y supervisión post-comercialización de esta tecnología, que son muy relevantes en este ámbito los programas de cumplimiento.
Pueden definirse como instrumentos vinculados a la gobernanza corporativa, a través de los cuales las personas jurídicas buscan, desde el espacio de libertad otorgado por el Estado, autorregularse y autoinspeccionarse. Podemos decir que, entre sus fines inmediatos, se encuentran la promoción de una cultura de ética y cumplimiento normativo dentro de la organización empresarial, así como la prevención, investigación y eventual represión de prácticas ilícitas en la empresa. De forma mediata, buscan mantener la buena reputación de la empresa, incrementar sus lucros y, sobre todo, proteger a la persona jurídica y a sus órganos de representación de posibles responsabilidades.
Al analizar los posibles incentivos estatales para la autorregulación empresarial y, en consecuencia, la implementación de programas de cumplimiento, Marc Engelhart identifica 6 posibles niveles, clasificados de la siguiente manera: (1) autorregulación pura, sin mayores incentivos, siendo la adopción o no de estos programas una opción ética o empresarial por parte de la empresa; (2) el apoyo estatal informal, en el que el Estado se limita a promover cursos y capacitaciones sobre el tema y alentar a las asociaciones sectoriales a disciplinar las pautas necesarias para tal fin; (3) la recompensa por el compliance, observada cuando un determinado ordenamiento jurídico prevé mecanismos de recompensa (mitigación de penas o acuerdos procesales, por ejemplo) a las personas jurídicas que tengan un programa de cumplimiento efectivo; (4) las sanciones por fallas o inexistencia de un programas de cumplimiento; (5) la exclusión de responsabilidad como consecuencia del compliance efectivo, observada cuando se prevé la responsabilidad penal de las personas jurídicas y, por otro lado, que esta puede ser excluida cuando se ha implementado un programa de cumplimiento que cumple con ciertos requisitos; (6) una obligación general de todas las personas jurídicas que alcancen cierto nivel de complejidad, de adoptar programas de cumplimiento.
En opinión del autor, dado que los incentivos de nivel 06 son prácticamente inexistentes (a excepción de las obligaciones sectoriales en ámbitos significativamente arriscados, como el de blanqueo de capitales, los incentivos de nivel 05 serían la forma más eficiente de promover los programas de cumplimiento. Dicho esto, y dada la importancia de los programas de cumplimiento en el campo de la producción y desarrollo de sistemas de IA, creemos que es imperativo no solo admitir legalmente la RPPJ por los delitos relacionados con esta área, sino también la adopción de modelos de imputación que tengan en cuenta la correcta organización empresarial y la conducción de los negocios de acuerdo con una cultura de cumplimiento normativo.
Aunque no existe unanimidad en la interpretación teórica que se ha de hacer del Artículo 31 bis del Código Penal, creemos que el ordenamiento jurídico español es un ejemplo paradigmático a mencionar respecto a la consideración de los programas de cumplimiento en el ámbito de la RPPJ.
Luego de establecer las hipótesis y condiciones para la RPPJ, el artículo establece que la PJ podrá quedar exenta de responsabilidad cuando adopte modelos de organización o gestión preventivos (programas de cumplimiento) que atiendan a ciertos requisitos y condiciones.
Para los casos en que la infracción haya sido cometida por representantes, administradores o directivos, el programa de cumplimiento deberá reunir las siguientes condiciones: i) idoneidad temporal (“con eficacia, antes de la comisión del delito”); ii) idoneidad formal (“delitos de la misma naturaleza”); iii) idoneidad material (“las medidas de vigilancia y control idóneas”); iii) órgano con poderes autónomos de supervisión del funcionamiento y cumplimiento del programa; iv) que el delito se haya cometido eludiendo fraudulentamente los modelos de prevención; v) no omisión o insuficiencia del ejercicio de las funciones de supervisión, control y vigilancia .
A su vez, en los casos en que la infracción haya sido cometida por empleados subordinados, el programa de cumplimiento deberá cumplir las condiciones de idoneidad formal, material y temporal, para que la persona jurídica quede exenta de responsabilidad.
El Artículo 31, bis, 5, establece los requisitos que deben cumplir estos modelos de organización y gestión para eximir de responsabilidad penal a la persona jurídica de la que se trate en cualquiera de los dos casos señalados. Son ellos: i) mapa de riesgos (“1.º Identificarán las actividades en cuyo ámbito puedan ser cometidos los delitos que deben ser prevenidos”); ii) documentación; (“2.º Establecerán los protocolos o procedimientos que concreten el proceso de formación de la voluntad de la persona jurídica, de adopción de decisiones y de ejecución de las mismas con relación a aquéllos”); iii) recursos financieros (“3.º Dispondrán de modelos de gestión de los recursos financieros adecuados para impedir la comisión de los delitos que deben ser prevenidos”); iv) deber de informar riesgos e incumplimientos (“4.º Impondrán la obligación de informar de posibles riesgos e incumplimientos al organismo encargado de vigilar el funcionamiento y observancia del modelo de prevención”); v) sistema disciplinario (“5.º Establecerán un sistema disciplinario que sancione adecuadamente el incumplimiento de las medidas que establezca el modelo”) vi) verificación periódica (“6.º Realizarán una verificación periódica del modelo y de su eventual modificación cuando se pongan de manifiesto infracciones relevantes de sus disposiciones, o cuando se produzcan cambios en la organización, en la estructura de control o en la actividad desarrollada que los hagan necesarios”).
A pesar de las divergencias doctrinarias en torno al modelo español de RPPJ, es innegable que contempla la hipótesis de exención de responsabilidad y atenuación de la sanción eventualmente impuesta a la entidad colectiva, por la adopción de programas de cumplimiento que cumplan con determinados requisitos y condiciones. Esta es una opción con potenciales impactos positivos en el campo de la IA.
Entre sus diversos mecanismos, impuestos legalmente, por reglamentos, estándares del sector o adoptados espontáneamente por las personas jurídicas, se encuentran los procedimientos de gestión de riesgos, que son fundamentales para el área de bajo análisis. Al margen de las dificultades inherentes a la valoración de situaciones futuras en estos sectores complejos y nebulosos, y considerando que en todos los ámbitos en los que hay acción humana pueden darse situaciones de riesgo que escapan al control, la identificación previa de estos casos permite una actuación dentro de los límites de lo legalmente tolerado y de lo socialmente necesario, posibilitando, a partir de ahí, identificar estándares de actuación, definidos alternativa o acumulativamente por las propias personas jurídicas, en forma conjunta o individual, a través de leges artis sectoriales, normas administrativas o directivas abstractas que permitan la consideración de una “empresa media cuidadosa”.
En el caso de la IA, la gestión de riesgos tiende a colaborar en el seguimiento de las investigaciones y descubrimientos científicos más recientes en la materia, así como de los consecuentes cambios legislativos y normativos relacionados con el caso, lo que permitirá una definición más concreta y adecuada de los parámetros de acción y, en consecuencia, los límites de permisibilidad del riesgo.
Estas normas de comportamiento deben estar incluidas en los códigos de ética y conducta, que son verdaderamente la “norma fundamental” de la persona jurídica y vinculan a sus empleados y órganos de representación. Deben exponer expresamente los valores, políticas, ética y procedimientos de la empresa, con posibilidad de ser aprobados por organismos internacionales, grupos de interés y asociaciones sectoriales.
Entendemos que las disposiciones de los códigos de ética y conducta deben ser interpretadas como normas pre-jurídicas de cuidado, debiendo ser incluidas en la referida categoría de las “normas primarias de reducción de riesgos” y consideradas en la imputación de la tipicidad de la conducta. Se observa que, mucho más que el Estado, las personas jurídicas y las entidades sectoriales están en mejores condiciones de identificar y gestionar los riesgos derivados de las nuevas tecnologías y determinar los procedimientos y normas de conducta aceptables en el caso.
En definitiva, por tanto, se observa que, además de auxiliaren al Estado en la prevención, investigación y represión de posibles ilícitos y en la identificación y gestión de riesgos en el ámbito en que se insertan, los programas de cumplimiento y sus normas internas son importantes para delimitar el riesgo permitido en el juicio de tipicidad de la conducta. Esta posibilidad, aunque sigue perjudicada, de lege data, en países como Portugal, que insisten en hacer depender la responsabilidad de la persona jurídica de la identificación de la conducta de una persona física y en atribuir poca relevancia a los programas de cumplimiento, está muy avanzada en España, cuyo ordenamiento jurídico ya contempla expresamente estos programas en la atribución de responsabilidades de la persona jurídica.
En nuestra opinión, los modelos como tales tienen mayor potencial para enfrentar los casos aquí analizados, ya que, en la valoración del defecto organizacional de la persona jurídica - que no necesariamente corresponderá a un defecto en el algoritmo o sistema de IA – incluirá evaluaciones de las políticas y procedimientos de la persona jurídica con respecto al sistema de IA en cuestión, especialmente en cuanto al entrenamiento de los algoritmos, pruebas, supervisión, transparencia para los clientes y la sociedad, y mejoras continuas de la tecnología. De esta forma, se podrá verificar si la persona jurídica de que se trate se organizó de manera defectuosa, creando un riesgo por encima del permitido, que terminó concretizándose en un resultado de daño o de peligro.
Como ya hemos mencionado, no es solo cuando se insertan en el ámbito de la cadena productiva que las empresas asumen relevancia en el contexto de la IA. Son también, en un número cada vez más significativo, consumidoras de esta tecnología en sus procedimientos internos. En este tópico, analizaremos uno de los usos que, a nuestro juicio, tienen las consecuencias más significativas en el contexto del proceso penal, a saber, el uso de la IA en actividades de compliance, due diligence e investigaciones internas.
Según Christoph Burchard, se acabó la época en la que solo los agentes estatales utilizaban sistemas predictivos para detectar y prevenir delitos de forma anticipada. De hecho, para el autor, el digital criminal compliance (DCC) puede ser considerado la “expresión del momento” cuando se trata del uso de medios digitales para la prevención en tiempo real de violaciones de conformidad. Buscando la digitalización del compliance penal, el DCC se basa en el análisis inteligente de un gran conjunto de datos (big data), especialmente a través de la IA, con el fin de asegurar el cumplimiento de las leyes y evitar la comisión de ilícitos en el ámbito de las corporaciones.
La principal razón para optar por digitalizar la estructura de cumplimiento radica en su eficiencia. Como explican Anabela Rodrigues y Susana Aires de Sousa, los sistemas informáticos más avanzados son capaces de predecir con mayor eficacia y eficiencia los actos y procesos productivos, así como prevenir y detectar situaciones que puedan ser perjudiciales para la empresa. Por lo tanto, se espera una mayor seguridad en el contexto empresarial.
Burchard explica que, bajo el paradigma del cumplimiento tradicional (humano), existe un dilema innegable: a pesar de la necesidad de contener el crimen en el contexto empresarial, cuantas más medidas de cumplimiento, más paralizada tiende a estar la empresa. Además, debido a limitaciones y errores humanos, la estructura de compliance a menudo se ve obligada a operar de forma retrospectiva (ex post), a pesar de que los datos sobre posibles incumplimientos ya estaban disponibles ex ante. Por sus capacidades, el DCC se presenta con la promesa (no necesariamente cumplida) de ser una forma de cumplimiento más completa, objetiva, neutral y eficaz. Además, propone un giro en organización de compliance, ya que su capacidad de análisis de big data en tiempo real permitiría predecir gran parte de las infracciones, evitando que se cometan. E incluso si una parte de ellas no se detecta a priori, la capacidad de almacenamiento de datos de la IA beneficiaría la investigación ex post . Se observa, por tanto, que la concordancia práctica entre prevención penal y dinamismo empresarial tiende a verse muy favorecida.
Es importante mencionar que, aunque parezca futurista, muchas de las funcionalidades de la IA en el compliance ya están operativas. Desde funciones un poco más simples, como la digitalización de los propios instrumentos del programa y el mapeo legal y regulatorio, hasta tareas mucho más complejas, como la gestión de riesgos, la realización de procedimientos de due diligence y el monitoreo autónomo en tiempo real. Esta última aplicación, a nuestro juicio, no sólo es la más paradigmática, sino también la que presenta mayores controversias.
Por un lado, es innegable que la supervisión de los trabajadores es inherente al ambiente de trabajo, estando incluida en las facultades del empleador, especialmente en la función de fiscalización incluida en su potestad directiva . Sin embargo, las innovaciones tecnológicas, especialmente en términos de IA, han dado un nuevo aspecto a estas actividades. A través de la llamada vigilancia predictiva de los empleados, por ejemplo, se lleva a cabo un análisis de un conjunto de datos para determinar con alto grado de precisión, qué empleados tienen más probabilidades de practicar actos de incumplimiento normativo e ilícitos criminales. Para ello, son analizados datos como los provenientes de archivos de audio y video de grabaciones ambientales y telefónicas, monitoreo de correos electrónicos y navegadores de internet, información sobre teclas efectivamente tecleadas en el ordenador, contenidos publicados en redes sociales e incluso expresiones faciales, calor corporal, gestos físicos y tonos de voz a los que se puede acceder a través de dispositivos incorporados en las mesas y sillas de los trabajadores-.
Teniendo en cuenta los riesgos y limitaciones de la IA ya analizados aquí - entre otros, la opacidad, la imprevisibilidad y el potencial sesgo de los datos -, el DCC tiende a convertirse en un problema con relevancia procesal penal desde el momento en que, en el ámbito de los procedimientos en los que esta tecnología es utilizada, es posible descubrir hechos penalmente relevantes que pueden llegar al conocimiento de las entidades estatales de persecución penal. Por ejemplo, si se realiza una investigación interna y la persona jurídica en cuestión decide denunciar los hechos ante la autoridad competente, los documentos (videos, audios, informes, transcripciones y otros) producidos en este ámbito privado y con la ayuda de IA pueden ser admitidos en el proceso penal? ¿Serán plenamente valorados como prueba a todos los efectos?
Es importante mencionar, inicialmente, la existencia de una expectativa de privacidad por parte de los empleados con respecto a sus herramientas de trabajo, como teléfonos móviles, correos electrónicos y ordenadores corporativos. Esto se debe a que, aunque están destinadas al trabajo, estas herramientas también se utilizan para algunos fines personales, fuera del entorno laboral o no directamente relacionados con él. Sin embargo, dado que esta expectativa de privacidad no es absoluta, puede ser eliminada cuando se le da conocimiento previo y explícito al empleado, que podrá haber inspección en sus instrumentos de trabajo y cuáles serán exactamente la informaciones que se podrán recolectar.
Además, la exclusión de las expectativas de privacidad aún depende del cumplimiento de un “juicio de proporcionalidad” por parte del empleador. Es decir, deberá (i) haber informado previamente a su colaborador sobre las prohibiciones (parciales o totales) de utilizar el aparato para fines personales; (ii) haber informado de que se podrían adoptar medidas de control y vigilancia sobre él; y (iii) haber agotado otros medios menos invasivos a la privacidad del empleado.
Con respecto específicamente a la IA, es interesante señalar que la Comisión Europea, a través de su Grupo Independiente de Expertos de Alto Nivel en Inteligencia Artificial, ha establecido algunos principios éticos a observar en el desarrollo, implementación y uso de esta tecnología, a saber: i) respeto de la autonomía humana; ii) prevención del daño; iii) equidad y iv) explicabilidad. En cuanto a los objetivos de nuestro texto, debemos hacer breves comentarios sobre los dos últimos.
En cuanto a la explicabilidad, la Comisión propone la transparencia de los procesos, capacidades y finalidades de los sistemas de IA, así como, en la medida de lo posible, de las decisiones tomadas por los mismos, para garantizar su eventual refutación. Cuando no sea posible, pueden ser necesarias medidas alternativas, como la trazabilidad, la auditabilidad y la comunicación transparente sobre el sistema.
Respecto a la equidad, además de su dimensión sustantiva - de garantizar una distribución justa y equitativa de los beneficios y costos de estas tecnologías, asegurando que las personas no sufran con sesgos injustos -, su dimensión procedimental pretende que los profesionales del área de IA respeten el principio de proporcionalidad entre los medios y los fines que se persiguen con esta tecnología, buscando el equilibrio entre los distintos intereses contrapuestos.
Este último punto es extremadamente relevante cuando se trata del uso de la IA en el contexto empresarial. A nuestro juicio, la utilización en un proceso penal de los elementos de información obtenidos de una investigación interna dependerá no sólo del respeto a los derechos fundamentales del investigado también en este ámbito privado, sino también de una valoración de si los instrumentos efectivamente utilizados (entre ellos, herramientas de IA) y los datos concretamente tratados en el caso obedecían a los criterios de la legalidad, adecuación, necesidad y proporcionalidad en sentido estricto. Sólo tal análisis justificaría esta relativización de los derechos de los trabajadores.
La legalidad y la adecuación no nos parece que planteen más problemas en lo que se refiere al uso de la IA en el DCC. No sólo es incuestionable que el uso de los medios tecnológicos aquí analizados tiene el poder de facilitar el logro de los objetivos fijados para los programas de cumplimiento, investigaciones internas y procedimientos de debida diligencia, sino que también se autoriza (y muchas veces se fomenta) la realización de estos procedimientos por las leyes laborales, societarias, administrativas e incluso penales.
En cambio, pueden darse indagaciones un poco más contundentes en cuanto a la necesidad y proporcionalidad en sentido estricto. En el caso concreto, es necesario valorar si, entre los numerosos instrumentos igualmente eficaces que pueden adoptarse en el ámbito de estos procedimientos, el uso de un determinado sistema de IA sería el menos lesivo para los derechos de los involucrados, y si la intensidad de la restricción de los derechos en cuestión (a saber, la intimidad y los derechos conexos) está justificada por el poder de dirección y control del empleador, a la luz de la gravedad de lo que se pretende vigilar e investigar.
Superadas, en su caso, las cuestiones de la expectativa de privacidad por parte de los empleados y la proporcionalidad de obtener estas informaciones por un determinado instrumento de IA, surge la importante cuestión sobre el intercambio de estos elementos de información para un determinado proceso penal. La relevancia de este tema queda atestiguada por el hecho de que, en el ámbito de estas investigaciones privadas, se recoge un amplio cuerpo de pruebas que pueden no sólo limitarse a eximir a la persona jurídica de sanciones administrativas o penales o incluso impedir el inicio de acciones penales contra ella, pero podrá indicar quiénes son los particulares responsables de los hechos específicamente investigados. Por lo tanto, la pretensión de llevar los resultados de estas investigaciones al proceso penal, ya sea presentándolos ante las autoridades estatales, o presentándolos directamente ante los tribunales como prueba de defensa de la persona jurídica, impone varios cuestionamientos, tales como: cómo garantizar la fiabilidad de los elementos de prueba recabados en el contexto de investigaciones internas? ¿Cómo compatibilizar estos procedimientos privados, sin contradictorio, con garantías procesales penales, como el derecho a la no autoincriminación, el contradictorio y la presunción de inocencia?
Entendemos que, en principio, los elementos de información provenientes de los programas de cumplimiento son admisibles en proceso penal cuando los presente la persona jurídica en su propia defensa. Un entendimiento contrario, a nuestro juicio, atentaría contra el derecho de defensa y el derecho a la prueba del ente colectivo imputado, así como afectaría la funcionalidad misma de los programas de cumplimiento e investigaciones internas, sirviendo como factor desincentivador para la adopción de estos procedimientos.
Más complicada es la cuestión de si estos elementos son igualmente admisibles cuando presentados por la Fiscalía, en perjuicio de otro Acusado (como un empleado), o incluso cuando presentados por la defensa de la corporación, en prejuicio de otro Acusado. Como se observa, en este último caso están en conflicto los derechos de defensa de ambos Acusados, además de las garantías al contradictorio y al debido proceso del sujeto afectado por la prueba. Para estos casos, proponemos los siguientes supuestos:
Al desarrollar en detalle esta propuesta, Anna Carolina Canestraro explica que, una vez superada la expectativa de privacidad del trabajador y la proporcionalidad de la medida en el ámbito privado, el intercambio de estas informaciones para el proceso penal también debe someterse a un nuevo juicio de legalidad y proporcionalidad, que, por regla general, es positivo para compartir (con la excepción de los informes de entrevistas, que, en opinión de la autora, no pasan por el criterio de la necesidad, y los testigos deben ser interrogados nuevamente en el tribunal, con respecto a lo contradictorio). Sin embargo, precisamente por no haber sido producidas en contradictorio, la autora entiende que estos elementos no pueden, por sí solos, sustentar una convicción, siendo suficientes únicamente para formar la opinio delicti de la Fiscalía, en un régimen análogo a los derivados de los actos de investigación estatales.
Sin embargo, resuelta la cuestión de la admisibilidad de los elementos de información provenientes de los programas de cumplimiento, investigaciones internas y procedimientos de debida diligencia, aún queda la atormentadora cuestión de la confiabilidad de estos documentos, tema que se torna aún más controvertido si consideramos la posible intervención de IA. En otras palabras, ¿estamos en condiciones de saber si los elementos recogidos en estos procedimientos privados, muchas veces desvinculados de las entidades estatales de investigación, serán los mismos que serán valorados en los tribunales? ¿Existen condiciones técnicas para dar fe de su integridad, identidad y autenticidad?
En nuestra opinión, igual que tratándose de evidencias digitales, es fundamental la documentación de la cadena de custodia de la prueba, que, en el caso de investigaciones privadas, puede ser la única forma de asegurar la legitimidad y licitud de los elementos recabados, evitando que éstos puedan ser removidos del proceso por inadmisibilidad. Una eventual quiebra de la cadena de custodia de la prueba, por tanto, puede representar grandes perjuicios para la persona jurídica que espera, de la promoción de un programa de cumplimiento efectivo, beneficios procesales y exenciones de responsabilidad.
De acuerdo con modelos y procedimientos propuestos por institutos internacionales de certificación, la doctrina afirma la total viabilidad de documentación de la cadena de custodia de evidencias digitales, que puede (y debe) cumplirse también en un ámbito privado. Sin embargo, una pregunta compleja y que aún depende de mayores investigaciones es si estos procedimientos serían igualmente útiles para evidencias digitales relacionadas con la IA. A nuestro juicio, la relación simbiótica entre cadena de custodia e inteligencia artificial es uno de los puntos más urgentes a investigar en los próximos años, en materia de proceso penal e IA.
Como se puede observar, las ciencias jurídico-penales nuevamente se ven desafiadas por el progreso científico y tecnológico. Todavía no hemos alcanzado un mínimo consenso sobre diversos puntos de los sistemas de imputación de la responsabilidad penal de las personas jurídicas – cuyas divergencias no son exclusivas de España, pero sí motivo de discusiones en varios países - y ni siquiera hemos madurado los debates sobre los necesarios aspectos procesales que los circundan, y este campo ya se ve nuevamente “molesto” por el rápido desarrollo de los sistemas de IA.
El protagonismo de las empresas tanto en la producción de esta tecnología como en su uso plantea cuestionamientos de carácter sustantivo, especialmente sobre su responsabilidad penal por los posibles daños causados por estos sistemas y las dificultades dogmáticas a superar para ello, y de carácter procesal, como por ejemplo los fundamentos y límites del uso de la IA en el ámbito del DCC y, principalmente, de su intercambio para eventuales procesos penales.
Constatamos que las particularidades y limitaciones de la IA dificultan no solo la imputación de responsabilidades penales individuales, sino también la RPPJ en ordenamientos que aún la vinculan a una necesaria identificación de una conducta humana. Por tanto, los modelos de autorresponsabilidad tienden a responder mejor a estos casos, además de fomentar los programas de cumplimiento, que juegan un papel importante en este ámbito.
Aún con respecto a estos programas, es evidente que la IA tiene un enorme potencial para hacerlos más eficientes y eficaces. Sin embargo, su uso ciertamente no es ilimitado, especialmente si en su adopción se busca algún tipo de efecto penal. Los instrumentos específicos del programa de cumplimiento deben cumplir con los juicios de legalidad y proporcionalidad en su ejecución, así como sus frutos nuevamente deben ser objeto de estas ponderaciones, añadidas del análisis de la documentación de la cadena de custodia, a los efectos de la admisibilidad en el proceso penal. Todo ello sin perjuicio de los necesarios límites a su valoración, especialmente en lo que se refiere a la eventual condena de uno de los imputados.
Como vemos, el dinamismo de este sector y la insipiencia de sus implicaciones penales frustran y hacen pretencioso cualquier intento de ser exhaustivo en la materia, relegando rápidamente a la obsolescencia cualquier investigación que se aventure a ello. Sin embargo, esperamos que las líneas generales esbozadas en este trabajo sean capaces de resistir a los inminentes avanzos tecnológicos y ofrecer soluciones que sigan siendo útiles a los problemas que posiblemente surgirán en los próximos años.
1
2
3
6
7
8
11
12
BROGAARD, J., HENDERSHOTT, T., RIORDAN, R.: “High-Frequency Trading and Price Discovery”, en The Review of Financial Studies, v. 27, n. 8, 2014. https://doi.org/10.1093/rfs/hhu032.
13
14
15
BURRELL, J.: “How the Machine ‘Thinks’: Understanding Opacity in Machine Learning Algorithms”, en Big Data & Society, v. 3, n. 1, 2016. https://doi.org/10.1177/20539517156225.
16
17
18
CAIVANO, V. et al.: “Il trading ad alta frequenza: caratteristiche, effetti, questioni di policy”, en CONSOB Discussion Papers, n. 5, 2012. https://dx.doi.org/10.2139/ssrn.2191669.
19
20
CANESTRARO, A. C.: “Investigaciones internas en el marco de los programas de los programas de cumplimiento: un análisis de los límites de las investigaciones frente al derecho de los trabajadores y las garantías procesales penales”, en DEMETRIO CRESPO, E. et al (eds.), Problemas y retos actuales del derecho penal económico, Cuenca, 2020. https://doi.org/10.18239/congresos_2020.24.05.
21
22
23
24
25
CANESTRARO, A. C., JANUÁRIO, T. F. X.: “Investigação defensiva corporativa: um estudo do Provimento 188/2018 e de sua eventual aplicação para as investigações internas de pessoas jurídicas”, en Revista Brasileira de Direito Processual Penal, v. 6, n. 1, 2020. https://doi.org/10.22197/rbdpp.v6i1.324.
26
CANESTRARO, A. C., JANUÁRIO, T. F. X., “Programas de compliance e branqueamento de capitais: implicações da lei nº 83/2017, de 31 de agosto, no regime jurídico de Portugal” en Revista Científica do CPJM, v. 1, n. 3, 2022. https://doi.org/10.55689/rcpjm.2022.03.005.
27
CANESTRARO, A. C., JANUÁRIO, T. F. X.: “Responsabilidade penal da pessoa coletiva e princípio da culpabilidade: análise crítica do modelo português”, en Revista da Faculdade de Direito da UFRGS, n. 39, 2018. https://doi.org/10.22456/0104-6594.77092.
28
CANESTRARO, A. C., KASSADA, D. A., JANUÁRIO, T. F. X.: “Nemo tenetur se detegere e programas de compliance: o direito de não produzir prova contra si próprio em face da Lei n. 13.303/16”, en SAAD-DINIZ, E., BRODT, L. A., TORRES, H. A. A., LOPES, L. S. (orgs.), Direito penal econômico nas ciências criminais, Belo Horizonte, 2019.
29
30
31
32
COMISIÓN EUROPEA: Propuesta de Reglamento del Parlamento Europeo y del Consejo: por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión: {SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}.
34
DE HOYOS SANCHO, M., “El Libro Blanco sobre Inteligencia Artificial de la Comisión Europea: reflexiones desde las garantías esenciales del proceso penal como “sector de riesgo”, en Revista Española de Derecho Europeo, n. 76, 2020. https://doi.org/10.37417/REDE/num76_2020_534.
35
37
38
DIAMANTIS, M. E.: “Algorithmic Harms as Corporate Misconduct”, en ANTUNES, M. J., SOUSA, S. A. (eds.), Artificial Intelligence in the Economic Sector: Prevention and Responsibility, Coimbra, 2022. https://doi.org/10.47907/livro2021_4c6.
39
40
41
ENGELHART, M.: The Nature and Basic Problems of Compliance Regimes, Freiburg, 2018. https://doi.org/10.30709/archis-2018-3.
43
44
45
46
47
49
50
GLEß, S., SILVERMAN, E., WEIGEND, T. “If robots cause harm, who is to blame? Self-driving cars and criminal liability”, en New Criminal Law Review, v. 19, n. 3, 2016. https://doi.org/10.1525/nclr.2016.19.3.412.
51
GLEẞ, S., WEIGEND, T.: “Intelligente Agenten und das Strafrecht”, en Zeitschrift für die gesamte Strafrechtswissenschaft, v. 126, n. 3, 2014. https://doi.org/10.1515/zstw-2014-0024.
52
53
54
55
56
GÓMEZ-JARA DÍEZ, C.: “Fundamentos de la responsabilidad penal delas personas jurídicas”, en BAJO FERNÁNDEZ, M., FEIJOO SÁNCHEZ, B., GÓMEZ-JARA DÍEZ, C., Tratado de responsabilidad penal de las personas jurídicas: adaptada a la Ley 1/2015, de 30 de marzo por la que se modifica el Código Penal, 2. Ed, Navarra, 2016.
57
58
59
60
61
62
HALLEVY, G.: Liability for Crimes Involving Artificial Intelligence Systems, Heidelberg, 2015. https://doi.org/10.1007/978-3-319-10124-8.
63
HALLEVY, G.: The Basic Models of Criminal Liability of AI Systems and Outer Circles, 2019. https://doi.org/10.2139/ssrn.3402527.
64
65
JANUÁRIO, T. F. X.: “Cadeia de custódia da prova e investigações internas empresariais: possibilidades, exigibilidade e consequências processuais penais de sua violação”, en Revista Brasileira de Direito Processual Penal, v. 7, n. 2, 2021. https://doi.org/10.22197/rbdpp.v7i2.453.
66
67
JANUÁRIO, T. F. X. “Corporate Internal Investigations 4.0: on the criminal procedural aspects of applying artificial intelligence in the reactive corporate compliance”, en Revista Brasileira de Direito Processual Penal, v. 9, n. 2, 2023. https://doi.org/10.22197/rbdpp.v9i2.837.
68
69
70
71
JANUÁRIO, T. F. X.: “Da teoria do delito para as pessoas jurídicas: análise a partir da teoria construtivista de “autorresponsabilidade” dos entes coletivos”, en Revista de Estudos Jurídicos UNESP, ano 20, n. 32, 2016. https://doi.org/10.22171/rej.v20i32.2155.
72
JANUÁRIO, T. F. X.: “Dos limites do risco permitido para as pessoas jurídicas: uma análise do defeito de organização como um problema de imputação objetiva”, en Conpedi Law Review, v. 4, n. 1, 2018. https://doi.org/10.26668/2448-3931_conpedilawreview/2018.v4i1.4514.
73
JANUÁRIO, T. F. X.: “El modelo brasileño de responsabilidad penal para entidades jurídicas: un comentario de la Ley 9.605/98 y el nuevo Código Penal”, en DEMETRIO CRESPO, E. et al (eds.), Problemas y retos actuales del derecho penal económico, Cuenca, 2020. https://doi.org/10.18239/congresos_2020.24.01.
74
75
76
77
78
79
JANUÁRIO, T. F. X.: “Vulnerabilidad e hiposuficiencia 4.0: la protección jurídico-penal de los consumidores en la era de la inteligencia artificial”, en FONTESTAD PORTALÉS, L. (dir.), PÉREZ TORTOSA, F. (coord.), La justicia en la sociedad 4.0: nuevos retos para el siglo XXI, A Coruña, en curso de publicación.
80
81
KAPLAN, A., HAENLEIN, M.: “Siri, Siri, in my hand: Who’s the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence”, en Business Horizons, v. 62, n. 1, 2019. https://doi.org/10.1016/j.bushor.2018.08.004.
82
83
84
LESHIK, E., CRALLE, J.: An Introduction to Algorithmic Trading: Basic to Advanced Strategies, Chichester, 2011. https://doi.org/10.1002/9781119206033.
85
87
88
89
91
MCCARTHY, J., MINSKY, M. L., ROCHESTER, N., SHANNON, C. E.: “A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955”, en AI Magazine, v. 27, n. 4, 2006. https://doi.org/10.1609/aimag.v27i4.1904.
93
94
95
MIRÓ LLINARES, F.: “Inteligencia artificial y justicia penal: más allá de los resultados lesivos causados por robots”, en Revista de Derecho Penal y Criminología, 3. época, n. 20, 2018. https://doi.org/10.5944/rdpc.20.2018.26446.
96
MULHOLLAND, C., FRAJHOF, I. Z.: “Inteligência artificial e a Lei Geral de Proteção de Dados Pessoais: breves anotações sobre o direito à explicação perante a tomada de decisões por meio de machine learning”, en FRAZÃO, A., MULHOLLAND, C. (eds.), Inteligência Artificial e Direito: Ética, Regulação e Responsabilidade, São Paulo, 2019.
97
98
100
NEIRA PENA, A. M.: “Inteligencia artificial y tutela cautelar. Especial referencia a la prisión provisional”, en Revista Brasileira de Direito Processual Penal, vol. 7, n. 3, 2021. https://doi.org/10.22197/rbdpp.v7i3.618.
101
102
104
106
PAGALLO, U., QUATTROCOLO, S.: “The Impact of AI on Criminal Law and its Twofold Procedures”, en BARFIELD, W., PAGALLO, U. (eds.), Research Handbook on the law of artificial intelligence, Cheltenham, 2018. https://doi.org/10.4337/9781786439055.00026.
107
108
110
111
112
113
115
116
QUATTROCOLO, S.: Artificial Intelligence, Computational Modelling and Criminal Proceedings: A Framework for A European Legal Discussion, Cham, 2020. https://doi.org/10.1007/978-3-030-52470-8.
118
RIORDAN, R., STORKENMAIER, A.: “Latency, Liquidity and Price Discovery”, en Journal of Financial Markets, v. 15, n. 4, 2012. https://doi.org/10.1016/j.finmar.2012.05.003.
119
120
121
122
123
RODRIGUES, A. M.: “The Last Cocktail - Economic and Financial Crime, Corporate Criminal Responsibility, Compliance and Artificial Intelligence”, en ANTUNES, M. J., SOUSA, S. A. (eds.), Artificial Intelligence in the Economic Sector: Prevention and Responsibility, Coimbra, 2021. https://doi.org/10.47907/livro2021_4c5.
124
126
127
128
SHABBIR, J., ANWER, T.: “Artificial intelligence and its role in near future”, en Journal of Latex Class Files, v. 14, n. 8, 2015. https://doi.org/10.48550/arXiv.1804.01396.
129
130
132
135
136
137
138
140
UNITED STATES DEPARTMENT OF TRANSPORTATION, NATIONAL HIGHWAY TRAFFIC SAFETY ADMINISTRATION – NHTSA: Automated Vehicles for Safety. https://www.nhtsa.gov/technology-innovation/automated-vehicles-safety. Accedido en 31 de octubre de 2022.
141
142
144
145
YAPO, A.. WEISS, J.: “Ethical Implications of Bias in Machine Learning”, en Proceedings of the 51st Hawaii International Conference on System Sciences, 2018. https://doi.org/10.24251/hicss.2018.668.
[*] El presente trabajo se ha realizado en el marco del proyecto de investigación “Autoria e responsabilidade em crimes cometidos através de sistemas de inteligência artificial” (2020.08615.BD), financiado por la “Fundação para a Ciência e a Tecnologia – FCT”.
[1] En este sentido, Laura Zuñiga Rodríguez destaca el papel de protagonismo de las personas jurídicas también en el “mundo del crimen”, ya que la estructura altamente compleja, especializada y jerárquica que asumen, sumada a su alta concentración de capital, las transforman en importante fuente de riesgo. .
[2] En el concepto de “criminalidad empresarial”, en el mismo sentido que Schünemann, englobamos los delitos económicos cometidos por actuación para una empresa, mediante la cual se lesionan bienes jurídicos ajenos, incluidos los intereses de los trabajadores de la persona jurídica. En cuanto a los delitos económicos, podemos destacar diferentes concepciones. Desde una comprensión más restringida, sostenida por Bajo Fernández, pueden ser conceptualizados como ilícitos cometidos en detrimento del orden económico. Schünemann, por su parte, parte de un concepto más amplio, entendiendo como delitos económicos todos los actos punibles penal o administrativamente cometidos en el ámbito de la vida económica o estrechamente relacionados con ella. Para Klaus Tiedemann, el derecho penal económico debe abarcar no sólo las transgresiones del llamado “derecho económico administrativo”, que ampara la actividad de regulación e intervención del Estado en la Economía, sino también los delitos cometidos contra bienes jurídicos supraindividuales relacionados con la vida económica y los hechos delictivos relacionados con el denominado “derecho penal patrimonial clásico”, siempre que estén dirigidos contra bienes jurídicos colectivos o que constituyan abuso de medidas e instrumentos de la vida económica. Ver detalladamente: ; ; ; ; .
[3] Entre estas dificultades, se destaca el fenómeno conocido como "irresponsabilidad organizada". Las personas jurídicas contemporáneas, marcadas notablemente por la descentralización de la toma de decisiones y la complejidad de su estructura interna, acaban convirtiéndose en una suerte de “escudo” frente a la identificación de los autores de determinadas conductas ilícitas. En otras palabras, la "organización de responsabilidades" puede convertirse en "irresponsabilidad organizada". Ver: ; ; .
[4] En este sentido, al enumerar las razones que acreditan la necesidad de la responsabilidad penal de las personas jurídicas, Adán Nieto Martín argumenta que: “resulta necesario recuperar el terreno de la eficacia perdida” de los instrumentos estatales frente al creciente poder de las corporaciones en el contexto de globalización y mayor complejidad tecnológica que acompaña a la llamada “sociedad del riesgo”. .
[5] Destacamos, por ejemplo, los debates iniciales sobre la adecuación de la responsabilidad penal de las personas jurídicas. Para algunos de los argumentos refractarios a este instituto, ver en detalle: ; .
[6] “Los desarrollos de la tecnología y los avances científicos, especialmente en los años finales del Siglo XX y en el Siglo XXI, fueron dando paso a una nueva etapa de industrialización, en la se combinan digitalización, conectividad, automatización, robotización e inteligencia artificial. Esta etapa es la que se ha denominado como la de la industria del 4.0”. .
[9] . Ver también: , en curso de publicación. Es importante mencionar que parte de la doctrina contempla con reservas la caracterización de estas tecnologías como inteligentes. En ese sentido, explica Martín Diz: “Personalmente, acepto esta catalogación, ya prácticamente consolidada, con bastantes reservas, puesto que por muy perfecta que sea la máquina, su datificación, programación y algoritmos, nunca dispondrá, por ejemplo, de sentimientos o emociones, ni siquiera de consideraciones sociales, éticas o morales, al nivel que las posee el ser humano; estas cualidades, de una manera u otra, salen a la luz cuando recurre a su inteligencia —humana— para afrontar problemas y determinar soluciones”. Ver: .
[10] . Ver también: , en curso de publicación. Para un análisis detallado de la evolución del concepto de inteligencia artificial, así como algunas definiciones importantes relacionadas con esta tecnología, ver también: .
[11] La Directiva 2014/65/UE del Parlamento Europeo y del Consejo de Europa, de 15 de mayo de 2014, define en su artículo 4, n. 1, las negociaciones algorítmicas, como siendo: “la negociación de instrumentos financieros en la que un algoritmo informático determina automáticamente los distintos parámetros de las órdenes (si la orden va a ejecutarse o no, el momento, el precio, la cantidad, cómo va a gestionarse después de su presentación), con limitada o nula intervención humana. Esta definición no incluye los sistemas que solo se proponen dirigir las órdenes a uno o varios centros de negociación, o procesar las órdenes sin que ello implique determinar ningún parámetro de negociación, o confirmar las órdenes o el tratamiento post-negociación de las transacciones ejecutadas;”. .
[12] Sobre estas estrategias: . Específicamente sobre estrategias ilícitas mediante el uso de algoritmos, ver: .
[13] El período de latencia es el tiempo necesario para que un intermediario reciba un feedback sobre una orden introducida por él en el mercado. Es decir, el tiempo que transcurre entre la generación de una orden de compra o venta y su posterior ejecución, modificación o cancelación. Ver: ; .
[17] De acuerdo con la clasificación presentada por la National Highway Traffic Safety Administration – NHTSA y desarrollada por la Society of Automotive Engineers – SAE, los niveles de automatización de los vehículos van desde 0 (sin autonomía) hasta 5 (autonomía total). En los niveles intermedios tenemos vehículos controlados por el conductor humano, con algunas herramientas de asistencia autónoma (nivel 1); los que tienen funciones autónomas (como el frenado y la aceleración) pero que dependen del ser humano para controlar el entorno externo en todo momento (nivel 2) –es el caso de los conocidos vehículos Tesla–; aquellos en los que el conductor no necesita monitorear el ambiente externo en todo momento, pero debe estar listo para tomar el control del vehículo cuando se le solicite (nivel 3) – este es el caso de los vehículos Uber, que están en fase de prueba; y aquellos que, en determinadas condiciones normales, son capaces de realizar de forma autónoma todas las funciones del vehículo (nivel 4). Ver en detalle en: <https://www.nhtsa.gov/technology-innovation/automated-vehicles-safety>. Accedido en 31 de octubre de 2022.
[18] Sobre los potenciales y riesgos de los vehículos autónomos, ver: ; .; .; HILGENDORF, E.: “Sistemas autônomos, inteligência artificial e robótica: uma orientação a partir da perspectiva jurídico-penal”, en HILGENDORF, E., GLEIZER, O. (orgs.), Digitalização e direito, São Paulo, 2020, p. 43 y ss.; .
[19] Como ejemplo, podemos mencionar la denominada PredPol, que es una estrategia policial dirigida a la prevención del delito. Con el uso de algoritmos y la integración de datos obtenidos a través de otras tecnologías (como cámaras de vigilancia y temperatura corporal, publicaciones en internet y análisis estadístico de eventos pasados) con informaciones como los horarios de apertura de comercios y el flujo de personas, se busca determinar en qué lugares es más probable la ocurrencia de delitos (hotspots) y dirigir contingentes policiales más grandes al lugar, creando así una especie de mapa de delitos futuros. Ver: . Ver también: . Además, también existe un gran potencial de aplicación de la IA en el modelo global de prevención y detección del blanqueo de capitales. Dado que las UIFs reciben una inmensa cantidad de datos, que son imposible revisar manualmente, es esencial emplear mecanismos de automatización para identificar patrones de actividad sospechosa. Ver: . Ver también: .
[20] Entre los muchos ejemplos de IA en investigaciones criminales, podemos mencionar el sistema VERIPOL, destinado a identificar posibles denuncias falsas, y el uso de la ICSE – DB (International Child Sexual Exploitation Image Database) por la Interpol en la lucha contra la explotación sexual infantil. Además, aun en este ámbito, existe el uso de chatbots que imitan a personas reales para identificar posibles depredadores sexuales en foros virtuales. Ver en detalle: “In Europe, Interpol manages the International Child Sexual Exploitation Image Database (ICSE DB) to fight child sexual abuse. The database can facilitate the identification of victims and perpetrators through an analysis of, for instance, furniture and other mundane items in the background of abusive images—e.g., it matches carpets, curtains, furniture, and room accessories—or identifiable background noise in the video. Chatbots acting as real people are another advancement in the fight against grooming and webcam ‘sex tourism’. […] The Sweetie avatar [from the NGO “Terre des Hommes”], posing as a ten-year-old Filipino girl, was used to identify offenders in chatrooms and online forums and operated by an agent of the organisation, whose goal was to gather information on individuals who contacted Sweetie and solicited webcam sex. Moreover, Terre des Hommes started engineering an AI system capable of depicting and acting as Sweetie without human intervention in order to not only identify persistent perpetrators but also to deter first-time offenders”. ZAVRŠNIK, A.: “Criminal justice, artificial intelligence systems, and human rights”, en ERA Forum, n. 20, 2020, p. 570. Respecto a VERIPOL: .
[21] Como detallaremos más adelante, en el ámbito privado, los potenciales de la IA se han utilizado no solo en el monitoreo y supervisión diaria de empleados y colaboradores, sino también en investigaciones internas, procedimientos de due diligence y gestión de riesgos, siendo, por tanto, una herramienta importante en los programas de cumplimiento. Ver: .; .; .
[22] En este ámbito, son paradigmáticas algunas herramientas autónomas de evaluación de riesgos, de las cuales COMPAS y HART son los ejemplos más conocidos. En general, se sirven de factores personales del imputado para evaluar los riesgos de reincidencia y, en consecuencia, la eventual adecuación de medidas cautelares, penas concretas o progresión de regímenes. Ver: .
[23] En las llamadas smart prisons, la IA se emplea en el diseño y administración de la prisión, así como en la supervisión del día a día de los detenidos (detectando, por ejemplo, conductas ilícitas, actos violentos y posibles fugas). Ver: .
[24] En un sentido similar, Valls Prieto señala: “Los avances tecnológicos suponen retos para la sociedad y eso conlleva al mismo tiempo nuevos desafíos para el ordenamiento jurídico. Integrar jurídicamente un avance tecnológico supone un beneficio económico para la sociedad, ya que implica un desarrollo industrial y de servicios, y al mismo tiempo una garantía de la modernización y actualización de los clásicos Derechos Fundamentales en los que se basa una sociedad, especialmente en una Democracia garante de las libertades de los ciudadanos”. .
[25] De hecho, como bien apunta de Hoyos Sancho, la mayoría de los posibles usos de los sistemas de IA en el sistema de justicia penal están catalogados como “sistemas de alto riesgo” por la Propuesta de Reglamento del Parlamento Europeo y del Consejo, presentada en abril de 2021. Así lo demuestra el Anexo III, especialmente en sus apartados 6 y 8, que prevén: “6.Asuntos relacionados con la aplicación de la ley: a)sistemas de IA destinados a utilizarse por parte de las autoridades encargadas de la aplicación de la ley para llevar a cabo evaluaciones de riesgos individuales de personas físicas con el objetivo de determinar el riesgo de que cometan infracciones penales o reincidan en su comisión, así como el riesgo para las potenciales víctimas de delitos; b)sistemas de IA destinados a utilizarse por parte de las autoridades encargadas de la aplicación de la ley como polígrafos y herramientas similares, o para detectar el estado emocional de una persona física; c)sistemas de IA destinados a utilizarse por parte de las autoridades encargadas de la aplicación de la ley para detectar ultrafalsificaciones a las que hace referencia el artículo 52, apartado 3; d)sistemas de IA destinados a utilizarse por parte de las autoridades encargadas de la aplicación de la ley para la evaluación de la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de infracciones penales; e)sistemas de IA destinados a utilizarse por parte de las autoridades encargadas de la aplicación de la ley para predecir la frecuencia o reiteración de una infracción penal real o potencial con base en la elaboración de perfiles de personas físicas, de conformidad con lo dispuesto en el artículo 3, apartado 4, de la Directiva (UE) 2016/680, o en la evaluación de rasgos y características de la personalidad o conductas delictivas pasadas de personas físicas o grupos; f)sistemas de IA destinados a utilizarse por parte de las autoridades encargadas de la aplicación de la ley para la elaboración de perfiles de personas físicas, de conformidad con lo dispuesto en el artículo 3, apartado 4, de la Directiva (UE) 2016/680, durante la detección, la investigación o el enjuiciamiento de infracciones penales; g)sistemas de IA destinados a utilizarse para llevar a cabo análisis sobre infracciones penales en relación con personas físicas que permitan a las autoridades encargadas de la aplicación de la ley examinar grandes conjuntos de datos complejos vinculados y no vinculados, disponibles en diferentes fuentes o formatos, para detectar modelos desconocidos o descubrir relaciones ocultas en los datos. […] 8.Administración de justicia y procesos democráticos: a)sistemas de IA destinados a ayudar a una autoridad judicial en la investigación e interpretación de hechos y de la ley, así como en la aplicación de la ley a un conjunto concreto de hechos”. Ver en detalle en: COMISIÓN EUROPEA: Propuesta de Reglamento del Parlamento Europeo y del Consejo: por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión: {SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}. Para un estudio detallado de este documento y sus disposiciones, ver también: .
[26] Ver: ; ; ; ; . Además, Nieva Fenoll señala que: “Ya es difícil acceder a su contenido técnicamente hablando, pero es que, si además ni siquiera se puede conocer dicho contenido por razones de propiedad intelectual, el derecho de defensa simplemente deja de existir”. Ver: .
[28] Para más detalles y con múltiples notas ver: . En la misma línea, de Hoyos Sancho señala que el uso de datos erróneos, insuficientes o sesgados, introducidos en el sistema sin corrección previa, sumado a la falta de transparencia en cuanto a la configuración y funcionamiento de los algoritmos utilizados en el sistema, genera importantes riesgos a los derechos fundamentales, como la protección de datos, la privacidad, la no discriminación, el fair trial y el due process. Ver: . Para un análisis detallado sobre el tema de la seguridad y calidad de los datos: ; ; ; ; .
[29] En este sentido, como explica Susana Aires de Sousa, una de las especificidades de los sistemas autónomos radica precisamente en su capacidad de llegar a respuestas sin interferencias humanas, basándose exclusivamente en informaciones y experiencias adquiridas por el sistema. Con esto, se pueden lograr resultados que ni siquiera fueron imaginados por el programador y tomar decisiones que incluso pueden ser ilegales. .
[31] “Artículo 284. 1. Se impondrá la pena de prisión de seis meses a seis años, multa de dos a cinco años, o del tanto al triplo del beneficio obtenido o favorecido, o de los perjuicios evitados, si la cantidad resultante fuese más elevada, e inhabilitación especial para intervenir en el mercado financiero como actor, agente o mediador o informador por tiempo de dos a cinco años, a los que: […]3.º Realizaren transacciones, transmitieren señales falsas o engañosas, o dieren órdenes de operación susceptibles de proporcionar indicios falsos o engañosos sobre la oferta, la demanda o el precio de un instrumento financiero, un contrato de contado sobre materias primas relacionado o índices de referencia, o se aseguraren, utilizando la misma información, por sí o en concierto con otros, una posición dominante en el mercado de dichos instrumentos o contratos con la finalidad de fijar sus precios en niveles anormales o artificiales, siempre que concurra alguna de las siguientes circunstancias: a) que como consecuencia de su conducta obtuvieran, para sí o para tercero, un beneficio superior a doscientos cincuenta mil euros o causara un perjuicio de idéntica cantidad; b) que el importe de los fondos empleados fuera superior a dos millones de euros; c) que se causara un grave impacto en la integridad del mercado.” .
[32] . Acerca de la intervención de inúmeras personas jurídicas en varios momentos durante la programación, uso y supervisión del algoritmo, ver: .
[33] Como puede verse, partimos de la teoría de la acción significativa, que se abstrae de la búsqueda de un “superconcepto” de acción y, en consecuencia, también de la búsqueda de un concepto general de autor, que siempre dependerá del tipo delictivo y su interpretación. Ver: .; ; ; .
[35] . En un sentido similar, argumentando que la total imprevisibilidad del resultado tiene el poder de excluir la imputación objetiva: ; .
[40] Para un análisis detallado de las razones político-criminales generalmente invocadas para justificar la responsabilidad penal de las personas jurídicas, ver: ; ; ; ; . Críticamente a los argumentos comúnmente invocados: .
[41] Para un análisis crítico, ver: JANUÁRIO, T. F. X.: “El modelo brasileño de responsabilidad penal para entidades jurídicas: un comentario de la Ley 9.605/98 y el nuevo Código Penal”, en DEMETRIO CRESPO, E. et al (eds.), Problemas y retos actuales del derecho penal económico, Cuenca, 2020.
[44] “Artigo 11.º Responsabilidade das pessoas singulares e colectivas [...] 2 - As pessoas coletivas e entidades equiparadas, com exceção do Estado, de pessoas coletivas no exercício de prerrogativas de poder público e de organizações de direito internacional público, são responsáveis pelos crimes previstos nos artigos 144.º-B, 150.º, 152.º-A, 152.º-B, 156.º, 159.º e 160.º, nos artigos 163.º a 166.º sendo a vítima menor, e nos artigos 168.º, 169.º, 171.º a 177.º, 203.º a 206.º, 209.º a 223.º, 225.º, 226.º, 231.º, 232.º, 240.º, 256.º, 258.º, 262.º a 283.º, 285.º, 299.º, 335.º, 348.º, 353.º, 359.º, 363.º, 367.º, 368.º-A e 372.º a 377.º, quando cometidos: a) Em seu nome ou por sua conta e no seu interesse direto ou indireto por pessoas que nelas ocupem uma posição de liderança; ou [...] 4 - Entende-se que ocupam uma posição de liderança os órgãos e representantes da pessoa coletiva e quem nela tiver autoridade para exercer o controlo da sua atividade, incluindo os membros não executivos do órgão de administração e os membros do órgão de fiscalização.” . Para un análisis crítico, ver: .
[52] TIEDEMANN, K.: “La responsabilità da reato dell’ente in Europa: i modelli di riferimento per le legislazioni e le prospettive di armonizzazione”, en Rivista trimestrale di diritto penale dell’economia, v. 25, n. 1-2, 2012, p. 4-5. Ver también: .
[53] “Artigo. 11.º [...] b) Por quem aja em seu nome ou por sua conta e no seu interesse direto ou indireto, sob a autoridade das pessoas referidas na alínea anterior, em virtude de uma violação dos deveres de vigilância ou controlo que lhes incumbem.” .
[56] Para el autor, en las empresas complejas, las decisiones empresariales están conectadas con decisiones anteriores, llegando a ser independientes de sus integrantes concretos. Esto significa que, aunque haya cambios en las personas que las componen, se mantiene la identidad corporativa. Ver: .
[59] Esta vinculación de la responsabilidad penal de la persona jurídica con la conducta de una persona física puede exigirse de forma más sencilla que una mención expresa a la “doble imputación”. En el ordenamiento jurídico portugués, por ejemplo, si bien se declara expresamente la independencia entre la responsabilidad individual y la colectiva (Artículo 11.º, 7, CP), entendemos que será imperativo precisar la conducta humana y su autor, a fin de identificar los requisitos indispensables para la responsabilidad de la persona jurídica, tales como la actuación en nombre o por cuenta de la empresa, en su interés directo o indirecto y la propia posición de dirección que ocupa el agente (inciso a) y, adicionalmente, la violación de los deberes de vigilancia o control de quienes tenían autoridad sobre el agente (inciso b). Sin embargo, esta conducta humana, cuando existente, no siempre será identificable en el campo de la I.A. Ver con detalles: .
[61] . Sobre el carácter secundario del derecho penal y la integración de normas concretas de conducta: . Para más información sobre cómo estas normas primarias se integran en el injusto empresarial: .
[62] Defendiendo una especie de solución colaborativa a través de normas consuetudinarias que establezcan unos requisitos mínimos de transparencia y de realización de testes, evitando así los constantes cambios legales que exigiría el desarrollo tecnológico: .
[64] La Propuesta de Reglamento del Parlamento Europeo y del Consejo prevé, por ejemplo, la obligación de los proveedores de sistemas de IA de alto riesgo, de contar con sistemas de gestión de calidad. En ese sentido: “Artículo 17 Sistema de gestión de la calidad 1. Los proveedores de sistemas de IA de alto riesgo establecerán un sistema de gestión de la calidad que garantice el cumplimiento del presente Reglamento. Dicho sistema se documentará de manera sistemática y ordenada mediante políticas, procedimientos e instrucciones escritas e incluirá, al menos, los siguientes aspectos: a) una estrategia para el cumplimiento reglamentario, incluido el cumplimiento de los procedimientos de evaluación de la conformidad y de los procedimientos de gestión de las modificaciones de los sistemas de IA de alto riesgo; b) las técnicas, los procedimientos y las actuaciones sistemáticas que se utilizarán en el diseño y el control y la verificación del diseño del sistema de IA de alto riesgo; c) las técnicas, los procedimientos y las actuaciones sistemáticas que se utilizarán en el desarrollo y el control y el aseguramiento de la calidad del sistema de IA de alto riesgo; d) los procedimientos de examen, prueba y validación que se llevarán a cabo antes, durante y después del desarrollo del sistema de IA de alto riesgo, así como la frecuencia con que tendrán lugar; e) las especificaciones técnicas, incluidas las normas, que se aplicarán y, cuando las normas armonizadas pertinentes no se apliquen en su totalidad, los medios que se utilizarán para velar por que el sistema de IA de alto riesgo cumpla los requisitos establecidos en el capítulo 2 del presente título; f) los sistemas y procedimientos de gestión de datos, lo que incluye su recopilación, análisis, etiquetado, almacenamiento, filtrado, prospección, agregación, conservación y cualquier otra operación relacionada con los datos que se lleve a cabo antes de la introducción en el mercado o puesta en servicio de sistemas de IA de alto riesgo y con ese fin; g) el sistema de gestión de riesgos que se menciona en el artículo 9; h) el establecimiento, la implantación y el mantenimiento de un sistema de seguimiento posterior a la comercialización con arreglo al artículo 61; i) los procedimientos asociados a la notificación de incidentes graves y defectos de funcionamiento con arreglo al artículo 62; j) la gestión de la comunicación con las autoridades nacionales competentes; las autoridades competentes, incluidas las sectoriales, que permiten acceder a datos o facilitan el acceso a ellos; los organismos notificados; otros operadores; los clientes, u otras partes interesadas; k) los sistemas y procedimientos destinados a llevar un registro de toda la documentación e información pertinente; l) la gestión de los recursos, incluida la seguridad de las medidas relacionadas con el suministro; m) un marco de rendición de cuentas que defina las responsabilidades del personal directivo y de otra índole en relación con todos los aspectos enumerados en este apartado. 2. La inclusión de los aspectos mencionados en el apartado 1 será proporcional al tamaño de la organización del proveedor. 3. En el caso de los proveedores que sean entidades de crédito reguladas por la Directiva 2013/36/UE, se considerará que cumplen la obligación de establecer un sistema de gestión de la calidad cuando cumplan las normas relativas a los sistemas, procedimientos y mecanismos de gobernanza interna que figuran en el artículo 74 de dicha Directiva. En ese contexto, se tendrán en cuenta todas las normas armonizadas que se mencionan en el artículo 40 del presente Reglamento”. Además, el Artículo 19 establece que: “Artículo 19 Evaluación de la conformidad 1. Los proveedores de sistemas de IA de alto riesgo se asegurarán de que sus sistemas sean sometidos al procedimiento de evaluación de la conformidad oportuno, de conformidad con el artículo 43, antes de su introducción en el mercado o puesta en servicio. Cuando dicha evaluación de la conformidad demuestre que los sistemas de IA cumplen los requisitos establecidos en el capítulo 2 del presente título, sus proveedores elaborarán una declaración UE de conformidad con arreglo al artículo 48 y colocarán el marcado CE de conformidad con arreglo al artículo 49. 2. En el caso de los sistemas de IA de alto riesgo mencionados en el punto 5, letra b), del anexo III, introducidos en el mercado o puestos en servicio por proveedores que sean entidades de crédito reguladas por la Directiva 2013/36/UE, la evaluación de la conformidad se llevará a cabo como parte del procedimiento a que se refieren los artículos 97 a 101 de la mencionada Directiva”. .
[69] Mencionamos, de manera no exhaustiva, algunos de estos posibles delitos en el tópico 1, especialmente en las notas 30 y ss.
[71] JANUÁRIO, T. F. X.: “O ônus da prova da existência e eficácia dos programas de compliance no âmbito do processo penal das pessoas jurídicas: um estudo com base no ordenamento jurídico espanhol”, en Revista Brasileira de Ciências Criminais, ano 27, n. 160, 2019, p. 233.
[72] “Artículo 31 bis. 1. En los supuestos previstos en este Código, las personas jurídicas serán penalmente responsables: a) De los delitos cometidos en nombre o por cuenta de las mismas, y en su beneficio directo o indirecto, por sus representantes legales o por aquellos que actuando individualmente o como integrantes de un órgano de la persona jurídica, están autorizados para tomar decisiones en nombre de la persona jurídica u ostentan facultades de organización y control dentro de la misma. b) De los delitos cometidos, en el ejercicio de actividades sociales y por cuenta y en beneficio directo o indirecto de las mismas, por quienes, estando sometidos a la autoridad de las personas físicas mencionadas en el párrafo anterior, han podido realizar los hechos por haberse incumplido gravemente por aquéllos los deberes de supervisión, vigilancia y control de su actividad atendidas las concretas circunstancias del caso.” .
[76] “Artículo 31 quater. 1. Sólo podrán considerarse circunstancias atenuantes de la responsabilidad penal de las personas jurídicas haber realizado, con posterioridad a la comisión del delito y a través de sus representantes legales, las siguientes actividades: […] ad) Haber establecido, antes del comienzo del juicio oral, medidas eficaces para prevenir y descubrir los delitos que en el futuro pudieran cometerse con los medios o bajo la cobertura de la persona jurídica.” .
[77] Un análisis exhaustivo de los mismos desbordaría los límites del presente trabajo. Para más detalles, consultar: ; ; ; .
[81] J. La importancia de la gestión de riesgos para el ámbito de la inteligencia artificial se observa en la Propuesta de Reglamento, que prevé: “Artículo 9 Sistema de gestión de riesgos 1. Se establecerá, implantará, documentará y mantendrá un sistema de gestión de riesgos asociado a los sistemas de IA de alto riesgo. 2. El sistema de gestión de riesgos consistirá en un proceso iterativo continuo que se llevará a cabo durante todo el ciclo de vida de un sistema de IA de alto riesgo, el cual requerirá actualizaciones sistemáticas periódicas. Constará de las siguientes etapas: a) la identificación y el análisis de los riesgos conocidos y previsibles vinculados a cada sistema de IA de alto riesgo; b) la estimación y la evaluación de los riesgos que podrían surgir cuando el sistema de IA de alto riesgo en cuestión se utilice conforme a su finalidad prevista y cuando se le dé un uso indebido razonablemente previsible; c) la evaluación de otros riesgos que podrían surgir a partir del análisis de los datos recogidos con el sistema de seguimiento posterior a la comercialización al que se refiere el artículo 61; d) la adopción de medidas oportunas de gestión de riesgos con arreglo a lo dispuesto en los apartados siguientes. 3. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), darán la debida consideración a los efectos y las posibles interacciones derivados de la aplicación combinada de los requisitos estipulados en el presente capítulo 2. Asimismo, tendrán en cuenta el estado actual de la técnica generalmente reconocido, que, entre otras fuentes, está reflejado en las normas armonizadas o las especificaciones comunes pertinentes. 4. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), considerarán aceptables los riesgos residuales asociados a cada peligro, así como el riesgo residual general de los sistemas de IA de alto riesgo, siempre que el sistema de IA de alto riesgo de que se trate se utilice conforme a su finalidad prevista o que se le dé un uso indebido razonablemente previsible. Se informará al usuario de dichos riesgos residuales. A la hora de determinar cuáles son las medidas de gestión de riesgos más adecuadas, se procurará: a) eliminar o reducir los riesgos en la medida en que sea posible mediante un diseño y un desarrollo adecuados; b) implantar, cuando proceda, unas medidas de mitigación y control apropiadas en relación con los riesgos que no puedan eliminarse; c) proporcionar la información oportuna conforme al artículo 13, en particular en relación con los riesgos mencionados en el apartado 2, letra b), del presente artículo y, cuando proceda, impartir formación a los usuarios. Cuando se eliminen o reduzcan los riesgos asociados a la utilización del sistema de IA de alto riesgo, se tendrán en la debida consideración los conocimientos técnicos, la experiencia, la educación y la formación que se espera que posea el usuario, así como el entorno en el que está previsto que se utilice el sistema. 5. Los sistemas de IA de alto riesgo serán sometidos a pruebas destinadas a determinar cuáles son las medidas de gestión de riesgos más adecuadas. Dichas pruebas comprobarán que los sistemas de IA de alto riesgo funcionan de un modo adecuado para su finalidad prevista y cumplen los requisitos establecidos en el presente capítulo. 6. Los procedimientos de prueba serán adecuados para alcanzar la finalidad prevista del sistema de IA y no excederán de lo necesario para ello. 7. Las pruebas de los sistemas de IA de alto riesgo se realizarán, según proceda, en cualquier momento del proceso de desarrollo y, en todo caso, antes de su introducción en el mercado o puesta en servicio. Los ensayos se realizarán a partir de parámetros y umbrales de probabilidades previamente definidos que sean adecuados para la finalidad prevista del sistema de IA de alto riesgo de que se trate. 8. Cuando se implante el sistema de gestión de riesgos descrito en los apartados 1 a 7, se prestará especial atención a la probabilidad de que menores accedan al sistema de IA de alto riesgo de que se trate o se vean afectados por él. 9. En el caso de las entidades de crédito reguladas por la Directiva 2013/36/UE, los aspectos descritos en los apartados 1 a 8 formarán parte de los procedimientos de gestión de riesgos que estas establezcan conforme al artículo 74 de dicha Directiva”. . Ver también: .
[83] . Un buen ejemplo es la Resolución 2015/2103(INL), que propone en anexo un código de conducta para ingenieros en robótica y comités de ética en investigación. Ver: .
[84] Wolfgang Frisch propone una clasificación según la cual, además de la limitación de riesgos a través del derecho penal, existen conductas que están reguladas por normas (I) “pre-jurídicas” - programas de reducción de riesgos, leges artis, directivas éticos - ; (II) “prejuridico-penal” – Códigos de Tránsito Vehicular y Códigos de Ética Médica, por ejemplo; y (III) las cuales que no encuentran regulación en las normas de cuidado. Ver: .
[85] Según Wolfgang Frisch, cuando el agente actúa conforme a la norma del cuidado y ésta puede considerarse, desde una perspectiva ex ante, suficiente y adecuada para reducir los riesgos concretamente afectados, la conducta no puede considerarse típica. .
[87] En cuanto a la responsabilidad penal de las personas jurídicas, la relevancia de los programas de cumplimiento se limita a: i) en materia de imputación de la tipicidad, el Art. 11.º, “6”, CPPt, establece que la responsabilidad quedará excluida cuando “o agente tiver actuado contra ordens ou instruções expressas de quem de direito”; ii) en las consecuencias jurídicas del delito, el Art. 90.º-A, “4”, prevé la atenuación de la pena por la adopción e implementación, antes de la comisión del delito, de programas de cumplimiento adecuados para prevenir la comisión del delito o de delitos de la misma naturaleza; iii) el Art. 90.º-A, “5” prevé una posibilidad de sanción accesoria por no no-adopción del programa de cumplimiento; y iv) el Art. 90.º-A, “6” prevé una posibilidad de sustitución de la pena multa por una pena alternativa en razón de la adopción e implementación de programas de cumplimiento. .
[95] Pensemos, por ejemplo, en la digitalización de los canales de denuncia y orientación y de las estructuras de formación y evaluación de empleados. Sobre las ventajas y limitaciones de la IA en este ámbito, véase: .
[96] La citada capacidad de tratamiento de una inmensidad de datos ayuda no solo a identificar los aspectos legales y reglamentarios aplicables al caso, sino también los principales riesgos a los que puede estar sujeta la persona jurídica de que se trate. A esto se suma la capacidad algorítmica de actualizarse de acuerdo a sus experiencias previas y con los últimos conocimientos científicos, actualizaciones legales y entendimientos jurisprudenciales, lo que sin duda aumentará la eficiencia del programa. . Sobre los procedimientos de gestión de riesgos, ver: .
[97] Dado que el objetivo principal de estos procedimientos es la recopilación de información sobre third-parties, empresas objetivo de fusiones y adquisiciones o cualquier otro agente con el que la empresa pretenda celebrar un acuerdo comercial, los datos procesados por los sistemas autónomos y de IA hace posible un análisis de la factibilidad y riesgos de estas operaciones. Cuanto mayor sea la capacidad de recopilar, procesar y categorizar datos, más informativo tenderá a ser el informe de due diligence. Ver con ejemplos: . Sobre las dificultades relacionadas con los procedimientos de due diligence transnacional, ver: .
[100] DEARDEN, L.: “The Telegraph Backtracks on Sensors Monitoring Whether Journalists are Sitting at Desks Amid Outrage”, en The Independent, 2016, https://www.independent.co.uk/news/media/the-telegraph-backtrackson-sensors-monitoring-whether-journalists-are-sitting-at-desks-amidoutragea6807336.html accedido en 24 de Junio de 2021; MOORE, P. V.: The Threat of Physical and Psychosocial Violence and Harassment in Digitalized Work, Geneva, 2018, p. 26. Con ejemplos de sistemas ya operativos, ver: .
[101] También citando que estas tecnologías ya están en pleno uso bajo la terminología de eletronic performance monitoring, Burchard cita como ejemplos, entre otros, el uso de datos GPS y la (en teoría, voluntaria) implantación de chips en los empleados - chipping. Ver: .
[103] De hecho, al analizar el posible uso de sistemas de IA con fines procesales, Martín Diz defiende la necesidad de un "consentimiento informado del afectado cuando se emplean herramientas de inteligencia artificial en funciones automatizadas y decisorias que pueden dar lugar a efectos jurídicos o afectarle de manera significativa en el plano personal”. Así: “Es, por tanto, condicionante absoluto para la utilización de inteligencia artificial en fines procesales (en sede judicial o en vía extrajudicial), el requerimiento de información previa con relación a su utilización, características y datos, así como el consentimiento de los afectados. Las partes en litigio, ya sea en sede procesal o extraprocesal, con independencia de la posición que ocupen o de los intereses que postulen, deberán ser informadas y posteriormente asentir expresamente frente al empleo de dicha inteligencia, o, visto de otra forma, podrán libremente rechazar su utilización”. Ver: .
[107] . La Propuesta de Reglamento del Parlamento Europeo y del Consejo también hace mención expresa a los niveles necesarios de transparencia de los sistemas de IA. En ese sentido, los artículos 13 y 52 en: . Sobre la importancia de la transparencia en este contexto, ver también: .
[113] . Para un análisis de las investigaciones internas como una especie del género “investigaciones defensivas”, posición que apoyamos, ver: .
[118] En ese sentido: ANTUNES, M. J.: “Privatização das investigações e compliance criminal”, en Revista Portuguesa de Ciência Criminal, ano 28, n. 1, 2018, p. 126-127.
[121] Es claro que estas no son las únicas cuestiones procesales penales relevantes en materia de cumplimiento. Optamos por este corte solo porque, en nuestra opinión, los temas aquí presentados son los que presentan mayores particularidades al considerar la aplicación de la IA en este contexto. Para un análisis más amplio y otros temas particulares, ver: ; ; ; .
[125] Existe gran controversia doctrinal acerca de si la quiebra de la cadena de custodia sería causa de ilicitud probatoria y, en consecuencia, de inadmisibilidad (o exclusión) de la misma o si procedería remitir ese análisis al momento de la valoración de la evidencia. Para un resumen de esta discusión y nuestra posición, ver: .
Downloads (Last 12 months)
