Deepfakes are just one of the many products of the booming generative Artificial Intelligence (AI). However, the special harmful and criminogenic potential of these ultra-fake audiovisual creations is worrying and demands an urgent regulatory response. On the other hand, the disproportionate impact of deepfakes, especially of sexual content, on women is remarkable, which invites to analyze the phenomenon as a new form of digital gender violence that, as such, has to be addressed from the necessary gender perspective. Despite the potentially harmful nature of deepfakes, the Spanish Penal Code, to date, does not expressly include these behaviors, which makes it necessary to inquire about the best subsumption of these behaviors in traditional crimes such as slander or crimes against moral integrity. In this paper, we will explore some of the illegitimate and criminogenic uses of deepfakes, reflect on how these creations unequally affect women, and analyze the possibilities and shortcomings of the current regulatory response to the unstoppable advance of deepfakes of a sexual nature.
Este artículo se publicó originalmente con errores, que ya se han corregido en la versión en línea. Véase la corrección https://doi.org/10.15304/epc.46.10894.
El término deepfake se acuñó en 2017, cuando un usuario de la plataforma Reddit, con alias deepfakes, compartió varios vídeos pornográficos falsos en los que aparecían mujeres famosas, como Taylor Swift o Scarlett Johansson.
Desde entonces la propagación de contenidos creados o manipulados a través de IA no ha dejado de crecer. Y la preocupación institucional por la expansión de este tipo de contenidos resulta patente, tal y como ponen de manifiesto, entre otras acciones, los intentos, tímidos hasta el momento, de encauzar reglamentariamente el fenómeno.
El potencial criminógeno de esta tecnología es indudable. Resulta evidente la utilidad de estas creaciones audiovisuales para amenazar, extorsionar, suplantar la identidad de las víctimas o dañar su imagen. Todas estas posibilidades abogan por una regulación del fenómeno, no solo desde el punto de vista técnico, sino también desde el punto de vista del Derecho penal.
Además, se observa que el fenómeno deepfake supone un nuevo desafío para los derechos de las mujeres, que se ven afectadas de modo desproporcionado por estas creaciones sintéticas, especialmente cuando se trata de contenidos de naturaleza sexual, en los que la imagen de la mujer se emplea como objeto al servicio de los deseos y fantasías del espectador. Prueba de esta mayor afectación de las mujeres es la previsión en la recientemente aprobada Directiva (UE) 2024/1385, del Parlamento Europeo y del Consejo de 14 de mayo de 2024 sobre la lucha contra la violencia contra las mujeres y la violencia doméstica (en adelante, Directiva (UE) 2024/1385) de una obligación específica dirigida a los Estados Miembros de la UE para tipificar como delito la difusión no consentida de material íntimo o manipulado.
El presente trabajo se estructura del siguiente modo. En primer lugar, se recoge el concepto de deepfake. En segundo lugar, se exploran los diversos usos criminógenos que pueden materializarse a través de las ultrasuplantanciones, poniendo de relieve su encaje en diversas figuras delictivas según el bien jurídico que se ataque. A continuación, el análisis se centra en los deepfakes de naturaleza sexual, por ser los más presentes en Internet y los que, de manera más desmedida, afectan a las mujeres, lo que invita a reflexionar sobre el sistema de discriminación en que se sustenta el auge del fenómeno deepfake. Por último, se recogen diversas propuestas de tipificación y subsunción de estas conductas que, en vista de su elevado nivel de lesividad y su generalización entre el gran público, demandan de una respuesta penal efectiva, proporcionada y disuasoria.
El término deepfake es un neologismo que combina dos vocablos. Por una parte, el vocablo deep, que se refiere al sistema empleado en el proceso de generación de estos contenidos, esto es, al sistema de deep learning o aprendizaje profundo, que constituye una rama dentro del aprendizaje automático (machine learning), en auge en el marco del imparable desarrollo de la IA. Por otra parte, el término incluye el vocablo fake, que significa falso. Se trata, por lo tanto, de la generación y/o manipulación de imágenes, vídeos o audio a través de sistemas de aprendizaje profundo.
En castellano, el término deepfake puede traducirse por el de representación sintética. Pues bien, si se acude a la RAE se observa que este término, como tal, aún no se recoge. Sin embargo, el análisis del significado de los vocablos que lo componen aporta alguna pista sobre el concepto en cuestión. Así pues, la palabra “representación” es definida como “imagen o idea que sustituye a la realidad”; mientras que el vocablo sintético/a se define como “Dicho de un producto: Que se obtiene por procedimientos industriales y que reproduce la composición y propiedades de uno natural”. Cabe entender, por lo tanto, que una representación sintética es un contenido creado artificialmente, en este caso, por medios informáticos, que reproduce las propiedades de un contenido real, tratando de sustituirlo o suplantarlo.
También hay quien recomienda el uso de la voz “ultrafalso”, que aunaría los dos conceptos que se encuentran en la forma inglesa, sustituyendo el concepto deep (“profundo, hondo”), mediante el prefijo ultra- (‘en grado extremo’), y el de fake (“falso” o “falsificación”), mediante falso.
En el Reglamento de IA, sin embargo, se ha optado por usar la voz “ultrasuplantación”, la cual es definida como “un contenido de imagen, audio o vídeo generado o manipulado por una IA que se asemeja a personas, objetos, lugares, entidades o sucesos reales y que puede inducir a una persona a pensar erróneamente que son auténticos o verídicos” (art. 3.1.60). Se observa como en esta definición se hace hincapié en la capacidad de estos contenidos para inducir al público a error en relación con la autenticidad de lo que ven y oyen. Y aquí radica, precisamente, el potencial lesivo de los deepfakes, en su hiperrealismo, que puede hacer imposible discernir, a simple vista, aquello que es real y aquello que es fake.
Por su parte, el informe del Servicio de Investigación del Parlamento Europeo, entiende por deepfakes los soportes de audio o vídeo manipulados o sintéticos que parecen auténticos, y en los que aparecen una o varias personas que parecen decir o hacer algo que nunca han dicho o hecho, producidos mediante técnicas de IA, incluidos el aprendizaje automático y el aprendizaje profundo.
Aunque los deepfakes también puede ser usadas con finalidades legítimas ― como la producción audiovisual, el marketing, el campo médico o, incluso, las investigaciones policiales, entre otras―, lo cierto es que su uso con finalidades ilegítimas, en ocasiones delictivas, son las que ocupan y preocupan, por obvias razones, a legisladores y juristas.
En un reciente informe de Europol, se advertía de los peligros de esta tecnología por su potencial para ser empleada con fines delictivos, señalándose el fenómeno deepfake como uno de los más visibles, tangibles y dañinos de la IA. Entre los posibles fines maliciosos y criminales, el señalado informe refiere los siguientes: destruir la imagen y credibilidad de un individuo, acosar o humillar a individuos en línea, perpetrar extorsión y fraude, facilitar el fraude de documentos, falsificar identidades en línea y engañar a los mecanismos KYC, falsificar o manipular pruebas electrónicas para investigaciones de justicia penal, alterar los mercados financieros, distribuir desinformación y manipular la opinión pública, incitar a actos de violencia contra grupos minoritarios, apoyar las narrativas de grupos extremistas o incluso terroristas y, atizar el malestar social y la polarización política, entre otros.
De entre los múltiples usos ilegítimos o criminógenos indicados, cabe destacar el empleo de los deepfakes como forma de suplantación de la identidad en sentido amplio. En estos casos, las obligaciones de transparencia que impone el Reglamento IA a los proveedores y usuarios de estos sistemas de IA generativa pueden resultar de cierta utilidad como medida de prevención. En este sentido, el legislador europeo ha establecido una seria de obligaciones de transparencia para los proveedores de sistemas de IA que generen contenido sintético de audio, imagen, vídeo o texto, los cuales deberán velar por que los resultados de salida del sistema de IA estén marcados en un formato legible por máquina de forma que sea posible detectar que han sido generados o manipulados de manera artificial (art. 50.2 Reglamento de IA). Por su parte, los responsables del despliegue de un sistema de IA que genere o manipule imágenes o contenidos de audio o vídeo que constituyan una ultrasuplantación deberán hacer público que estos contenidos o imágenes han sido generados o manipulados de manera artificial (art. 50.4 Reglamento).
Las referidas obligaciones de transparencia son positivas y pueden resultar eficaces, en cierta medida, para combatir el impacto negativo que el auge de los deepfakes podría tener en la sociedad, en tanto que fuente de desinformación y de desconfianza para con las instituciones y los medios de comunicación. Sin embargo, respecto de los usuarios maliciosos de la tecnología deepfake ― por ejemplo, aquellos que usan esta tecnología para perpetrar estafas o suplantaciones de identidad o quienes la emplean para generar una prueba manipulada con el objetivo de aportarla a un proceso judicial a sabiendas de su falsedad― no cabe esperar que empleen sistemas que cumplan con el requisito de etiquetado introducido en el Reglamento IA, ni con las referidas obligaciones de información.
En todo caso, el potencial de los deepfakes para inducir a engaño en relación con la titularidad de una imagen puede facilitar la comisión de diversos delitos. Así, por ejemplo, podría emplearse para perpetrar la conducta consistente en utilizar, sin consentimiento de su titular, la imagen de una persona para realizar anuncios o abrir perfiles falsos en redes sociales, páginas de contacto o cualquier medio de difusión pública, ocasionándole una situación de acoso, hostigamiento o humillación (art. 172 ter 5 CP). Para la realización de esta conducta típica, parece que también podrían ser empleadas imágenes elaboradas enteramente con IA, en tanto que lo que se protege no es tanto la imagen íntima ― real― de una persona, sino su libertad de obrar, dado que el precepto se encaja entre los delitos de coacciones. Y esa libertad de obrar se podría ver afectada siempre que a la imagen creada por IA se vinculasen datos personales reales de la víctima o sus datos de contacto.
Igualmente, la suplantación de identidad puede servir para la comisión de delitos de estafa, como el conocido “fraude del CEO”, en el que alguien, haciéndose pasar por un superior jerárquico, como el CEO o el CFO de una empresa, solicita a un directivo con capacidad y poder para ordenar grandes transferencias de dinero la realización de alguna transacción. Originalmente este fraude, al igual que otras formas de phishing, se venía cometiendo a través de un correo electrónico. Sin embargo, con la tecnología deepfake se ha sofisticado, al permitir esta emplear la clonación de voz del CEO o, incluso, la recreación de su imagen para simular su participación en directo en una videollamada.
De hecho, ya se ha reportado algún caso en el que los estafadores recrearon la imagen y la voz de los directivos de una empresa para simular reuniones con un empleado en las que la víctima, a la que se ordenó realizar varias transferencias, era la única persona real en la sala de reuniones virtual. Esta conducta encajaría en el delito de estafa clásica del art. 248 CP, consistente en utilizar engaño bastante para producir error en otro, induciéndolo a realizar un acto de disposición en perjuicio propio o ajeno o, alternativamente, en el tipo descrito en el art. 249.1 a) CP, consistente en valerse de cualquier manipulación informática o artificio semejante, para conseguir una transferencia no consentida de cualquier activo patrimonial en perjuicio de otro.
Junto con la estafa informática y la estafa tradicional, hay que tener en cuenta que los deepfakes también pueden resultar útiles para cometer el delito de estafa procesal, consistente en manipular las pruebas en que el autor del hecho pretendiera fundar sus alegaciones, provocando error en el juez o tribunal y llevándole a dictar una resolución que perjudique los intereses económicos de la otra parte o de un tercero (art. 250.1 7º CP). En este sentido, desde el punto de vista procesal, preocupa enormemente el hecho de que la propagación de estos contenidos ultrafalsos provoque un endurecimiento de los estándares de autenticación de las pruebas documentales y digitales, con el consiguiente sobrecoste para la Administración de Justicia y para los justiciables.
Igualmente, resulta evidente el potencial de esta tecnología para para cometer delitos de falsedad documental (arts. 390 a 399 bis CP). En este sentido, debe advertirse, en primer lugar, que, a efectos penales, el concepto de documento incluye “todo soporte material que exprese o incorpore datos, hechos o narraciones con eficacia probatoria o cualquier otro tipo de relevancia jurídica” (art. 26 CP), por lo que, sin lugar a dudas, quedarían incluidos los vídeos y audios. Pero, además, debe tenerse en cuenta que el deepfake no solo afecta a documentos visuales o de audio, sino que puede ser usado, así mismo, para manipular documentos escritos, tales como contratos o conversaciones en chats, redes sociales o aplicaciones de mensajería instantánea. Sea como fuere, el potencial de la tecnología deepfake para incrementar el grado de sofisticación de los delitos de falsedad documental resulta indiscutible.
Los deepfakes de contenido sexual, por ser las más presentes en Internet, merecen una especial atención. De hecho, es posible observar como la proliferación de las aplicaciones delictivas de los sistemas deepfake se encuentra estrechamente vinculada con la producción de pornografía.
Los números, en este caso, resultan reveladores. Entre 2022 y 2023, la cantidad de pornografía deepfake aumentó en un 464%, pasando de 3.725 vídeos en 2022 a 21.019 en 2023. A lo anterior, se añade el hecho de que la mayor parte de los vídeos deepfake en circulación ― alrededor del 96% del total que circula por la Red, según un estudio del año 2019, y del 98% en 2023― tienen contenido pornográfico y, prácticamente en su totalidad, son protagonizados por mujeres, lo que da lugar a una forma de violencia de género digital que, como tal, debe ser analizada desde la necesaria perspectiva de género.
En definitiva, a la hora de analizar y abordar este fenómeno, el componente de género no puede pasar desapercibido, ya que las mujeres sufren, claramente, de manera desproporcionada las consecuencias dañosas de esta tecnología. Ellas constituyen el principal objetivo en el uso de deepfakes con fines ilícitos, siendo las protagonistas de la práctica totalidad de los deepfakes de contenido sexual puestos a disposición del público sin previo consentimiento, con la consiguiente contribución a la cosificación de la mujer y su hipersexualización como productos del heteropatriarcado. Prueba de ello son también la existencia de aplicaciones, como DeepNude, que solo desnuda a mujeres.
Sin embargo, cuando se trata de otro tipo de contenidos, el protagonismo de las mujeres es mucho más limitado, siendo que, según un análisis de los vídeos no pornográficos disponibles en YouTube en 2019, la mayoría, un 61%, venían protagonizados por hombres, y solo un 39% por mujeres. Como apuntan CERDÁN y PADILLA, mientras “ellas protagonizan escenas eróticas y pornográficas; ellos, discursos y circunstancias relacionados con el humor o con la política, apareciendo normalmente vestidos. Ellas asoman en espacios privados e íntimos; ellos, en espacios públicos, ostentando el poder o un protagonismo sano. Ellas son cosificadas y sus rostros se pegan al cuerpo de una actriz despersonificada. Ellos tienen otro cuerpo, u otra voz, pero no pierden su esencia personal ni son tratados como objetos porque lo llamativo es lo que dicen o hacen. Ellas son sujetos pasivos; ellos son protagonistas activos y mueven la acción”.
Este contraste en cuanto al género de las protagonistas según el contenido de los vídeos incide en el intento de exclusión de las mujeres de la esfera pública, también en el mundo virtual, en línea con la conocida como manosfera, entendida como conglomerado de espacios virtuales heterogéneos que promueven discursos misóginos y antifeministas. De ahí que se apueste por encuadrar el fenómeno deepfake “dentro del troleo de género y, por tanto, como parte de un discurso de odio misógino que, si bien puede tener su origen en la manosfera, se expande u alimenta del sexismo ambiental imperante dentro y fuera de la Red, y en especial de una reacción conservadora a los avances de las mujeres en los espacios públicos”.
Como cualquier otra forma de violencia contra las mujeres, el fenómeno de los deepfakes pornográficos se sustenta en la discriminación estructural contra las mujeres, que hunde sus raíces en los roles, comportamientos, actividades y atributos que una sociedad determinada considera adecuados para las mujeres y para los hombres.
El fenómeno deepfake, una vez más, pone de manifiesto que los estereotipos tradicionales que existen en las relaciones sociales entre hombres y mujeres, con valores sexistas, se proyectan, perpetúan y agudizan a través de la violencia de género ejercida en el mundo de Internet y las redes sociales. En este sentido, los deepfakes pornográficos refuerzan la idea de las mujeres como objetos sexuales, despojadas de su agencia, creándose un entorno en el que las imágenes de las mujeres se entienden como consumibles, manipulables y creadas para el disfrute y la satisfacción de los hombres.
Además, los deepfakes deben ser vistos como una nueva forma de control social hacia las mujeres, ya que, en no pocas ocasiones, son usados con la finalidad de dañar la reputación de mujeres, con o sin presencia pública, o como arma para silenciar las voces disidentes, en un esfuerzo por preservar las estructuras de poder establecidas. En este sentido, la capacidad abstracta de manipular imágenes de mujeres y el poder de transmitirlas online y que lleguen a miles de dispositivos en unos minutos es una herramienta de control que se enmarca en el orden patriarcal de dominación masculina.
Los mecanismos de control se proyectan, en muchas ocasiones, hacia personajes públicos, a los que se hace protagonistas de acontecimientos vergonzantes o impropios, influyendo en la conformación de la opinión pública. Así, por ejemplo, cabe traer a colación los vídeos manipulados de Nancy Pelosi, en los que la política estadounidense aparecía en actos públicos pareciendo estar embriagada. Es evidente el daño que, en estos casos, se puede producir a la imagen pública de una persona, a su honor, a reputación y, en última instancia, a su dignidad.
En otros casos, sin embargo, las campañas de desprestigio tienen como protagonistas a particulares, personas sin relevancia pública, buscando sus creadores hacer daño a la imagen y reputación de las víctimas en un ámbito privado ― como el entorno laboral, familiar y/o social―. En este sentido, se advierte que el fenómeno deepfake, como consecuencia del mayor desarrollo de estos sistemas y de su mayor accesibilidad para el público general, cada vez afecta en mayor medida a mujeres anónimas. En estos supuestos, también es frecuente que se utilicen los deepfakes pornográficos como arma contra las mujeres, para controlarlas, intimidarlas, extorsionarlas o silenciarlas, de tal forma que el daño, real o potencial para el honor o la propia imagen de la víctima, sería más bien un medio o instrumento para lesionar otros bienes jurídicos, tales como la libertad personal, la integridad psíquica o el patrimonio de la víctima, entre otros.
Resultan interesantes, en este punto, las reflexiones de SIMÓ cuando señala que, mientras las mujeres con renombre público que son víctimas de estas prácticas fraudulentas cuentan generalmente con una presunción de buena reputación que las hace más resistentes al daño buscado y con un altavoz público para desmentir la falsedad, las mujeres, en general, no cuentan con el beneficio de la duda ni con un altavoz para desmentir la falsedad, lo que las hace más vulnerables a este tipo de prácticas.
Por último, es importante reflexionar sobre la redimensión que los deepfakes implican en el fenómeno de la violencia de género digital en tanto que facilitadores de esa violencia. En este sentido, debe tenerse en cuenta que la pornografía, consentida y no consentida, ha ido evolucionando al albur de las innovaciones tecnológicas en materia de cámaras, vídeo, informática y comunicaciones ocurridas en la segunda mitad del siglo XX, siendo reseñables hitos como las cámaras Polaroid, los softwares de edición de imágenes, la generalización de Internet y, más recientemente, la IA generativa.
Conforme se incrementa la generalización y accesibilidad a dispositivos electrónicos, principalmente teléfonos móviles con cámara incorporada, que permiten la elaboración y el envío inmediato de fotos o de vídeos, las conductas consistentes en la difusión de material íntimo o manipulado se intensifican exponencialmente. De la misma forma, en los últimos tiempos, con el desarrollo y la facilidad de acceso a sistemas de generación de ultrafalsificaciones, las referidas conductas han dado un salto, no solo a nivel cuantitativo, sino también desde un punto de vista cualitativo.
Desde el punto de vista cualitativo, hay cuatro factores principales a considerar para entender el alcance y la magnitud del fenómeno deepfake y su incidencia en el redimensionamiento e intensificación de la violencia de género digital: el hiperrealismo de las imágenes, la democratización de la tecnología deepfake, el anonimato que implica su difusión por la Red y las consecuencias para la víctima derivadas de la facilidad y rapidez da la difusión de los contenidos.
El primer aspecto a considerar tiene que ver con el grado de verosimilitud de las manipulaciones sintéticas, que al ser capaz de crear falsificaciones de gran calidad, e indistinguibles para el ojo humano, atenta contra la idea de la imagen como prueba incontrovertible. Este atributo incide claramente en el potencial lesivo de las ultrafalsificaciones, en tanto que contenidos aptos para inducir a error al público en general, tanto sobre la autenticidad de quienes aparecen como protagonistas del contenido en cuestión como sobre la certeza o la realidad de las situaciones o actuaciones que aparecen representadas en las imágenes, vídeos o grabaciones. Como consecuencia de esta característica, el potencial lesivo de los contenidos ultrafalsos es equiparable al de los vídeos íntimos reales, provocándose a la víctima los mismos daños psicosociales. Igualmente, la aptitud de estos contenidos sintéticos para doblegar la voluntad de la víctima, principalmente a través de amenazas de difusión, es comparable a la que presentan los vídeos íntimos no manipulados.
En segundo lugar, debe ponerse el acento en el proceso de democratización de la producción de deepfakes. Se observa que muchas de las aplicaciones que generan contenidos manipulados, algunas incluso divulgadas con arreglo a licencias libres y de código abierto, se encuentran al alcance de la ciudadanía, que puede usarlas de forma gratuita y sin necesidad de contar con especiales conocimientos técnicos. Por el contrario, los sistemas de detección de deepfakes, que podrían servir para identificar las falsificaciones y distinguir entre el contenido verdadero y el sintético, son mucho menos accesibles para el público no experto y más caros. En este sentido, se advierte que “la tecnología de los deepfakes está superando la capacidad de quienes intentan detectarlos”.
A lo anterior, debe añadirse una consecuencia derivada, no tanto del desarrollo de los sistemas de generación de deepfakes, como del desarrollo exponencial de las TIC como herramientas hegemónicas de comunicación social. En este sentido, la fácil, rápida y amplia difusión de los contenidos sintéticos a través del mundo digital se ve potenciada por el efecto de desinhibición en línea, el supuesto anonimato en Internet y la sensación de impunidad. Las dificultades para determinar y acreditar la autoría de los creadores de este tipo de contenidos pueden actuar como un desincentivo para las denuncias, además de ser un obstáculo real para su efectiva persecución penal.
Por último, igualmente vinculado al uso de las TIC como forma de difusión pública de los contenidos ultrafalsos, se debe reparar en que su propagación a través de las redes sociales o de webs de acceso público, provoca un mayor riesgo de victimización, siendo esta reiterada, prolongada e incluso continua, ante la imposibilidad de desconectar, la distribución a gran escala y las dificultades para retirar el contenido. Este aspecto, sin duda, intensifica el daño provocado a la víctima, mientras que dificulta la efectiva reparación en forma de retirada de los archivos ilícitos compartidos en la Red, que se puede ver enormemente dificultada cuando la difusión ha sido amplia y generalizada.
Para que la retirada de los contenidos ilícitos sea efectiva, poniendo freno a la prolongación del daño causado a la víctima, resultan especialmente relevantes las obligaciones de los prestadores de servicios intermediarios establecidas en el Reglamento de Servicios Digitales. En este sentido, se advierte que, “desde el punto de vista preventivo, el posicionamiento que adopten estos prestadores de servicios de la sociedad de la información frente a las ultrafalsificaciones será relevante, puesto que permitirá reducir su propagación o, incluso, impedir que estas se creen en primera lugar”.
En cualquier caso, es necesario advertir que los deepfakes surgen como un arma poderosa que da lugar a nuevas formas de violencia contra las mujeres, aunque con el mismo propósito de control y dominación que las tradicionales. Ahora bien, el uso de esta tecnología implica un redimensionamiento de la violencia de género digital, tanto en la esfera pública como en la esfera privada. Su potencial para dañar la imagen y reputación de las víctimas convierte a los deepfakes en instrumentos con un elevado nivel de lesividad. Se erigen, por lo tanto, en herramientas idóneas para ejercer distintas violencias a través de estrategias de intimidación, extorsión o silenciamiento de víctimas reales o potenciales.
A la vista de la afectación desproporcionada de las mujeres por el fenómeno de los deepfakes pornográficos, no es de extrañar que la Directiva (UE) 2024/1385, sobre violencia contra las mujeres y violencia doméstica, se refiera de forma específica a este fenómeno, imponiendo a todos los Estados miembros de la Unión Europea la tipificación como delito de la conducta consistente en la difusión no consentida de material manipulado con contenido sexual (art. 5.1. b) Directiva (UE) 2024/1385). La norma europea describe la conducta en los siguientes términos:
“producir, manipular o alterar y, posteriormente, hacer accesible al público, mediante TIC, imágenes, vídeos o materiales similares, haciendo que parezca que una persona está practicando actividades sexualmente explícitas, sin el consentimiento de dicha persona, cuando sea probable que tal conducta cause graves daños a esa persona”, debiendo castigarse también la acción consistente en amenazar con cometer dicha conducta (art. 5.1 c) Directiva (UE) 2024/1385).
Además, la referida norma europea no deja lugar a dudas sobre la inclusión, en la referida conducta, de los contenidos sintéticos, advirtiendo lo siguiente en su considerando 19:
“el delito debe incluir también la producción, la manipulación o la alteración no consentidas, por ejemplo, mediante la edición de imágenes, entre otros medios con inteligencia artificial”, lo que abarca, como no podría ser de otro modo, “la fabricación de ultrafalsificaciones o ultrasuplantaciones (deepfakes), en las que el material se parezca sensiblemente a una persona real, a objetos, lugares u otras entidades o acontecimientos reales, represente actividades sexuales de una persona, y pueda dar a otros la impresión falsa de que es auténtico o veraz”.
Obsérvese, sin embargo, que la Directiva (UE) 2024/1385 tan solo exige castigar a quien participa activamente en la generación o fabricación de los contenidos manipulados si, además, posteriormente, los hace accesibles al público, lo que implica el uso de las TIC para poner el material a disposición de cierto número de personas (considerando 18). No obliga, por lo tanto, a castigar penalmente la mera generación de los contenidos, salvo que sean usados para amenazar a la víctima con su pública difusión. Y tampoco impone usar el Derecho Penal frente a quien simplemente difunde los materiales manipulados, sin haber intervenido en la manipulación, conducta, la de poner a disposición del público, que sí deberá tipificarse como delito, sin embargo, cuando se trata de materiales íntimos reales, con independencia de que la víctima haya consentido en la generación de dicho material o de que pueda habérselo transmitido a una persona concreta (art. 5.1 a) y considerando 19 de la Directiva (UE) 2024/1385).
El CP español, hasta el momento, no recoge expresamente la conducta consistente en crear y/o difundir contenidos sintéticos de naturaleza sexual, al menos cuando las protagonistas son personas adultas. La única alusión a la denominada “pornografía virtual” se encuentra en el ámbito de la pornografía infantil, concepto en el que se incluyen no solo las imágenes de menores reales, sino también las “imágenes realistas de un menor participando en una conducta sexualmente explícita o imágenes realistas de los órganos sexuales de un menor, con fines principalmente sexuales” (art. 189 1 II d) CP).
La tipificación como delito de la denominada pornografía virtual resulta controvertida, en tanto que es difícil argumentar la real afectación de un bien jurídico, ya sea la intimidad, el honor, la integridad moral o la libertad sexual, especialmente cuando se trata de imágenes enteramente creadas con IA, sin que exista una víctima real afectada. En estos casos, más allá del argumento moralizante, la única razón de peso para justificar la punibilidad de estas conductas parece ser de orden pragmático: el avance de la tecnología impide, en la práctica, distinguir las imágenes reales de las manipuladas.
El caso es distinto cuando en las imágenes manipuladas se emplee la imagen o la voz de un menor real que, además, resulte identificable. Piénsese, por ejemplo, en el caso típico de los deepfakes pornográficos en los que se superpone el rostro de la víctima al cuerpo de una actriz porno. En este caso, evidentemente, el menor cuyo rostro se emplea sí verá afectados sus derechos al honor y/o a la integridad moral, aunque no se afectará su intimidad ni su libertad sexual, que permanecerán incólumes. En este supuesto, encajaría también un caso de gran repercusión mediática en España, conocido como “el caso de las niñas Almendralejo”, ocurrido en septiembre de 2023, en el que las imágenes manipuladas de varias menores, previamente desnudadas con una aplicación similar a DeepNude, fueron difundidas por varios grupos de WhatsApp. Aquí, efectivamente, a pesar de no afectarse la intimidad de las menores, cuyos cuerpos reales no han sido hechos públicos, sí se afecta claramente su honor e integridad moral. Y, de hecho, los 15 menores que difundieron las imágenes fueron condenados, no solo por la comisión del delito de pornografía infantil, sino también por un delito contra la integridad moral.
Casos como el referido, en los que se emplea la voz o imagen manipuladas de un menor real, antes de la reforma de 2015, ya venían recogidos en el art. 189. 7º CP. El precepto disponía lo siguiente:
“Será castigado con penas de prisión de tres meses a un año o multa de seis meses a dos años el que produjere, vendiere, distribuyere, exhibiere o facilitare por cualquier medio material pornográfico en el que no habiendo sido utilizados directamente menores o incapaces se emplee su voz o imagen alterada o modificada”.
Ahora, sin embargo, supuestos como el comentado deben de ser reconducidos al delito de pornografía infantil virtual, que incluye en su definición las imágenes realistas, que no reales, de menores (art. 189. 1 II d) CP), lo que abarca tanto imágenes alteradas de personas existentes como imágenes generadas mediante ordenador, aun cuando no se hayan empleado datos personales ― como voz o imagen― de ningún menor real.
En cualquier caso, respecto de los deepfakes de naturaleza sexual protagonizados por personas adultas, cabe preguntarse si es necesaria una regulación penal expresa que aborde este fenómeno o si, por el contrario, existen ya entre los tipos penales vigentes figuras delictivas capaces de recoger el desvalor que origina el deepfake pornográfico. En este sentido, las opciones a considerar para la subsunción de esta conducta son, principalmente, tres: los delitos contra la intimidad (arts. 197 y ss. CP), los delitos contra el honor (arts. 208 y ss. CP) y los delitos contra la integridad moral (arts. 173 y ss. CP).
La primera opción que cabría plantearse para recoger el desvalor del fenómeno de los deepfakes de naturaleza sexual es aplicar los delitos que protegen la intimidad, considerando el contenido íntimo de los vídeos generados o manipulados con IA. Sin embargo, este encuadre sistemático no se compagina bien con la lesividad propia de los deepfakes.
El problema que plantea ubicar la difusión de contenido manipulado o generado con IA entre los delitos contra la intimidad es que, al materializarse la conducta en la creación y difusión de contenidos virtuales, el derecho a la intimidad no se ve afectado, ni en su dimensión positiva, como derecho a la autodeterminación informativa de su titular, ni en su dimensión negativa, como facultad de exclusión de terceros frente a ciertos aspectos de su vida privada.
No hay, en definitiva, afectación del bien jurídico protegido, al menos no cuando simplemente se usa el rostro real de la víctima, pero no su imagen desnuda ni escenas íntimas verdaderamente protagonizadas por ella. Tal y como argumenta JAREÑO, en la mayoría de los casos la imagen del rostro de la víctima se extrae de lugares de acceso abierto, como sus redes sociales, en los que la imagen es difundida por su titular o por los medios, lo que excluiría la lesión a la intimidad desde el punto de vista penal, al no haber barreras de protección que deban de ser vencidas por el autor del delito.
Ahora bien, excluida la lesión a la intimidad desde la perspectiva penal, parece claro que la creación y/o difusión de escenas sexualmente explícitas, aun cuando sean irreales, en las que aparezca involucrada una persona sin su consentimiento, puede resultar ofensiva para el honor de la persona en cuestión. Así, por ejemplo, resulta perfectamente posible entender que la creación y difusión no consentida de un vídeo íntimo manipulado constituye un delito de injurias, definidas estas como “acción o expresión que lesionan la dignidad de otra persona, menoscabando su fama o atentando contra su propia estimación” (art. 208 CP), debiendo apreciarse su modalidad agravada cuando concurre publicidad (art. 209 CP).
Son varios los autores que apuestan por subsumir la conducta de los deepfakes pornográficos en el delito de injurias, afirmando que se trata de acciones que claramente lesionarían el honor y la dignidad de la persona, al crear o manipular imágenes con fines de descrédito, burla y/o lucro, lo que, a priori, encajaría en la definición del delito que aparece en el art. 208 CP.
Sin embargo, la tipificación de una conducta específica puede ser necesaria a medida que se va ampliando el uso de la informática y de las tecnologías en general, al surgir nuevas acciones que no se ven cubiertas por los delitos tradicionales, ya por la dificultad de encajarlas en conductas preexistentes, ya por la intensificación de la lesividad derivada del uso de la tecnología. En este sentido, una alternativa a la subsunción en las conductas preexistentes pasaría por tipificar expresamente el deepfake sexual como una forma específica de injuria. En esta línea, cabe recoger la Proposición de Ley Orgánica de “regulación de las simulaciones de imágenes y voces de personas generadas por medio de inteligencia artificial” (122/000011), presentada el 13 de octubre de 2023 por el Grupo Parlamentario SUMAR, la cual contiene una propuesta de tipificación en un nuevo art. 208 bis CP con el siguiente contenido:
“Igualmente tendrá la consideración de injuria la acción que, sin autorización y con ánimo de menoscabar el honor, fama, dignidad o la propia estimación de una persona, recrease mediante sistemas automatizados, software, algoritmos o inteligencia artificial para la pública difusión su imagen corporal o audio de voz”.
En cualquier caso, para la aplicación del delito de injurias, habrá que comprobar, en primer lugar, que el contenido manipulado en cuestión es apto para menoscabar la fama o la propia estimación de su protagonista, lo que normalmente estará fuera de duda cuando se trate de escenas sexualmente explícitas y, además, concurra el requisito de procedibilidad de haber interpuesto querella la persona afectada (art. 215 CP). Por otra parte, deberá apreciarse el elemento subjetivo consistente en el animus iniuriandi, el cual puede concurrir con otros ánimos como el de bromear, mofarse, causar divertimento o, incluso, lograr algún tipo de lucro económico, siempre que, a la vista del contenido generado y difundido, no sea posible desconocer el efecto humillante que su producción y/o difusión puede producir a quien lo protagoniza sin su consentimiento. En esta línea, considero que el animus iniuriandi debe de presumirse, sin admitir prueba en contrario, cuando la expresión tiene un contenido nítidamente injurioso.
Sea como fuere, si se opta por la inclusión de los deepfakes de naturaleza sexual en el delito de injurias habría que reparar aún en dos cuestiones. En primer lugar, en la penalidad, que tal y como está actualmente en el CP no respetaría los umbrales mínimos de pena previstos en la Directiva 2024/1385. Y, en segundo lugar, atendiendo a razones de prevención, valdría la pena repensar también el carácter privado de estos delitos o de alguna de sus modalidades.
Respecto de la penalidad, debe tenerse en cuenta que la Directiva 2024/1385 dispone que, respecto de los delitos que define ― entre los que se encuentra la difusión no consentida de material íntimo o manipulado―, deben aplicarse sanciones eficaces, disuasorias y proporcionadas, para lo cual es necesario fijar grados mínimos para la pena máxima de prisión aplicable a las personas físicas (considerando 28). Y, concretamente, en relación con la conducta de difusión de material íntimo o manipulado, la Directiva 2024/1385 indica que los Estados Miembros deberán garantizar que se castiga con una pena máxima de prisión de al menos un año (art. 10.4). Esta disposición choca con la penalidad prevista a día de hoy para las injurias, que se castigan únicamente con pena de multa, de seis a catorce meses cuando se realicen con publicidad, y de tres a siete meses en otro caso (art. 209 CP).
Por otra parte, debe tenerse en cuenta que la consideración de la difusión no consentida de material manipulado como un delito contra el honor, al menos en su configuración actual, implica darle el tratamiento propio de un delito privado, solo perseguible en virtud de querella de la persona ofendida o de su representante legal (art. 215 CP).
A favor de esta configuración como delitos solo perseguibles a instancia de parte, se argumenta que, “cuando la imagen de alguien es contextualizada en tales escenas, sin su consentimiento, debe ser ella misma quien decida si se ve afectada, su autoestima, a efectos de iniciar, o no, un procedimiento por el delito de injurias”. Sin embargo, no se debe olvidar que el concepto de honor no viene determinado solo por el concepto subjetivo de la propia estimación, sino también por un elemento objetivo, la fama o reputación social, siendo ambos determinantes del concepto de injuria del art. 208 CP.
Pues bien, parece fuera de toda duda que la difusión no consentida de imágenes íntimas o sexualmente explícitas, aun cuando sean creadas artificialmente, si son realistas, tiene la capacidad objetiva de dañar esa buena reputación de acuerdo con las normas, valores e ideas sociales actualmente vigentes. La lesividad propia de esta conducta resulta aún más evidente si se atiende a la consideración social de la mujer, históricamente vinculada a la castidad y al pudor, lo que hace a las mujeres especialmente vulnerables a la humillación cuando su vida sexual “privada” se hace “pública”. Desafortunadamente, las mujeres siguen siendo más propensas a ser señaladas y condenadas socialmente cuando muestran públicamente su sexualidad, debido a los estereotipos de género y expectativas entorno a ellas. En este sentido, se observa como la narrativa construida en torno a la sexualidad femenina está llena de culpa y vergüenza, circunstancia que no se reproduce entorno a la sexualidad masculina. Argumentos que, en definitiva, conducen a reforzar el carácter objetivamente infamatorio de los contenidos íntimos difundidos públicamente sin consentimiento de la protagonista.
A pesar de que el bien jurídico afectado ― ya sea el honor si se subsume en el delito de injurias, ya sea la integridad moral si la acción se califica como trato degradante― sea de carácter individual, considero que existen razones que abogan por configurar los delitos de difusión no consentida de imágenes íntimas o manipuladas como delitos semipúblicos y no como delitos privados. En primer lugar, se debe señalar que la violencia contra las mujeres no es un problema perteneciente al ámbito privado, sino que es un problema social, símbolo de la desigualdad existente en nuestra sociedad entre mujeres y hombres. Pues bien, como tal problema estructural, su represión no debe pesar de forma exclusiva sobre las víctimas ni debe quedar enteramente condicionada por la voluntad personal de las directamente ofendidas por el delito. De hecho, la variación en cuanto a la perseguibilidad de las infracciones penales, en aquellos casos en que el delito se incardina en la categoría de violencia de género o de violencia doméstica, no es ajena a la regulación penal española.
Adicionalmente, desde el punto de vista político-criminal, la consideración de los deepfakes pornográficos como delitos privados plantea ciertos problemas. En primer lugar, hace recaer en la víctima la carga exclusiva de perseguir estas conductas, lo que puede conducir a situaciones de impunidad ante el miedo de las víctimas a sufrir victimización secundaria o represalias o ante el temor a llamar la atención sobre el material difundido, provocando una suerte de efecto Streisand. También pueden producirse situaciones en las que la víctima se vea presionada a retirar la querella o, incluso, incentivada a hacerlo a cambio de alguna recompensa, lo que conduciría al sobreseimiento de la causa, con la erosión que, desde el punto de vista preventivo, supondría supeditar la persecución de estas conductas, tan claramente lesivas para las víctimas y para las mujeres en general, a negociaciones privadas entre las partes implicadas.
A mayor abundamiento, cabe reparar en que las limitaciones derivadas de la consideración de estas conductas como delitos privados son similares a las que implica el recurso al Derecho Civil, para cuya actuación la persona afectada debe disponer de recursos, económicos y emocionales, para presentar una demanda, frente a las ventajas que implica la actuación del Derecho Penal, preordenada a la disuasión de ciertas conductas, y que en la mayor parte de los casos pesa sobre el Estado.
Por lo demás, el hecho de que la víctima se vea obligada a interponer querella escrita, con firma de abogado y procurador (arts. 105.1 y 277 LECrim), para que este tipo de conductas sean perseguidas, no parece acorde con el mandato de la Directiva (UE) 2024/1385, según el cual los Estados miembros deben ofrecer a las víctimas de violencia de género y de violencia doméstica la posibilidad de formular denuncias en línea o mediante otras TIC accesibles y seguras para reportar ciberdelitos como el de difusión no consentida de material íntimo o manipulado (considerando 30).
En última instancia, a la vista de las dimensiones que está adquiriendo el fenómeno de los deepfakes de contenido sexual, razones de prevención general y especial abogarían por una consideración de estos hechos como delito semipúblico, de tal forma que la comunicación de la víctima a la Policía sobre la existencia de un contenido de estas características circulando por la Red fuera suficiente para provocar la intervención de las autoridades de investigación y de persecución penal.
La consideración de la difusión de deepfakes sexuales sin consentimiento como delito semipúblico, y no como delito público perseguible al margen de la voluntad de la víctima, vendría, en cierto sentido, justificada por la victimización secundaria a la que se enfrentan las víctimas, entendida esta como las consecuencias negativas para su bienestar derivadas de la iniciación del procedimiento penal, ya por el trato recibido por el sistema jurídico-penal (policía, judicatura y otros profesionales), ya por la reacción social negativa hacia la denunciante.
Ahora bien, en el caso de que los afectados por los deepfakes sexuales fueran menores o personas vulnerables, el delito debiera ser configurado como público y, por lo tanto, perseguible de oficio, sin necesidad de denuncia por parte de los representantes legales de las víctimas. Considero que, en este caso, las razones de prevención general y especial deben primar sobre la voluntad de los representantes legales de las víctimas, siempre que la autoridad fiscal pondere adecuadamente los legítimos intereses de los ofendidos por el delito y adopte las medidas necesarias para minimizar la victimización secundaria.
Frente al entendimiento de los deepfakes pornográficos como delitos contra el honor, otros autores apuestan, sin embargo, por encajarlas entre los delitos contra la integridad moral en aplicación del principio de consunción. Se argumenta, en este sentido, que el delito de trato degradante del art. 173.1 CP es más amplio, abarcando no solo ataques contra el honor, sino también el carácter humillante de la acción consistente en cosificar e instrumentalizar al sujeto pasivo al que se le añade un cuerpo diferente al suyo convirtiéndolo en objeto de consumo público.
Téngase en cuenta que, de acuerdo con la jurisprudencia, por trato degradante habrá de entenderse “aquel que pueda crear en las víctimas sentimientos de terror, de angustia y de inferioridad susceptibles de humillarles, de envilecerles y de quebrantar, en su caso su resistencia física o moral”. Por su parte, la integridad moral “se identifica con las nociones de dignidad e inviolabilidad de la persona, matizando que con el castigo de las conductas atentatorias a la integridad moral se pretende reafirmar la idea de que el ser humano es siempre fin en sí mismo, sin que quepa ‘cosificarlo’”.
A favor de la subsunción de estas conductas en los delitos contra la integridad moral se aducen también razones de aplicabilidad práctica, argumentando que el animus iniuriandi, exigible en las injurias, no siempre concurre en los deepfakes pornográficos, que, en muchas ocasiones, se realizan y difunden con un ánimo distinto, como la obtención de rendimientos económicos perseguida cuando los referidos contenidos se suben a webs para conseguir más reproducciones y suscripciones en dichas páginas.
El argumento relativo a la falta de ánimo de injuriar no parece determinante de la consideración de estas conductas como delitos contra la integridad moral. Primero porque, respecto del delito de injurias, un amplio sector doctrinal niega la necesidad de un ánimo específico, distinto del dolo. En segundo lugar, porque, aun cuando se mantuviese la exigencia de un específico ánimo de injuriar, este sería perfectamente compatible con otros ánimos, como el de divertirse o el de lograr un lucro económico, siempre que el carácter ofensivo o vejatorio de la conducta se derivase claramente del contenido creado y difundido, como ocurre con los deepfakes sexuales, que en ningún caso quedarán amparados por el ánimo de informar o por la libertad de expresión de su autor. En tercer y último lugar, debe tenerse en cuenta que el delito de trato degradante del art. 173.1 CP tampoco requiere de un ánimo específico, más allá del dolo genérico, que exige que el sujeto activo actúe conociendo y queriendo la afectación del bien jurídico a través de la humillación, la vejación o el envilecimiento de la víctima, y que, como ocurre con el delito de injurias, puede convivir con otras motivaciones especiales, como el ánimo de divertirse, de dar un escarmiento, de venganza o de provocación.
Sí que resulta, sin embargo, un argumento, a mi juicio, más convincente para encuadrar el deepfake pornográfico en los atentados contra la integridad moral el componente de cosificación propio de estas conductas. En este sentido, se señalan como notas propias y fundamentales del delito de trato degradante “la humillación o envilecimiento y reducción del sujeto a la categoría de cosa”. Pues bien, en los casos de deepfake de carácter sexual, en los que esta tecnología se usa para producir pornografía, la cosificación de los cuerpos de las mujeres resulta evidente, eludiendo por completo cualquier posibilidad de consentimiento o agencia por parte de las personas titulares del rostro que se pega a esas imágenes alteradas para consumo de un amplio público.
Por otra parte, los elementos del tipo penal de trato degradante, a priori, parece que podrían concurrir en los casos de deepfakes pornográficos. Tales elementos son principalmente tres: a) Un acto de claro e inequívoco contenido vejatorio para el sujeto pasivo, b) un padecimiento, físico o psíquico de dicho sujeto y c) un comportamiento que sea degradante o humillante e incida en el concepto de dignidad de la persona afectada por el delito”.
Evidentemente, la valoración acerca de la concurrencia de los referidos elementos deberá referirse a las circunstancias del caso concreto y del sujeto pasivo del delito. Así pues, aunque el carácter hostil o humillante de determinados actos no puede fijarse atendiendo exclusivamente a la percepción personal de la víctima, tampoco es posible eliminar cualquier consideración referida a sus circunstancias personales. En este sentido, para determinar la existencia de un grave atentado contra la integridad moral será necesario evaluar aspectos como la situación personal de la víctima, su personalidad, su edad, su grado de vulnerabilidad, etc.. Pero también otros aspectos, como la forma o intensidad de difusión de las imágenes, que podrían incidir directamente en el grado de lesividad de la conducta para la integridad moral de la víctima, entendida esta como “la inviolabilidad de la persona, no sólo [protegida] contra los ataques dirigidos a las lesiones de su cuerpo o espíritu, sino también contra toda clase de intervención a ese bien, que carezca del consentimiento del titular”.
Si el deepfake pornográfico se subsume en la conducta de trato degradante del art. 173.1 CP, castigada con pena de prisión de 6 meses a 2 años, no existiría la discordancia antes indicada en cuanto a la penalidad mínima prevista en la Directiva 2024/1385 para el delito de difusión no consentida de material íntimo o manipulado. Por otra parte, debe tenerse en cuenta que la referida Directiva solo obliga a los Estados a tipificar estas conductas como delito cuando sea probable que causen graves daños a la víctima, lo que parece aproximarlas a los delitos contra la integridad moral, en los que el padecimiento físico o psíquico del sujeto pasivo se erige en elemento nuclear del tipo penal.
Otro argumento en favor de encuadrar los deepfakes pornográficos en los delitos contra la integridad moral tiene que ver con el carácter semipúblico de estos últimos. Esto implica que se exige la denuncia de la persona agraviada o su representante legal como condición de procedibilidad (art. 173.4 CP). Sin embargo, una vez que se produce esa denuncia, recae sobre la Fiscalía la carga de actuar como acusación en un proceso penal público. Esto, evidentemente, descarga a la víctima del peso de ejercer e impulsar la acción penal a lo largo de todo el proceso judicial.
En todo caso, debe advertirse que la distinción entre los delitos de injurias y trato degradante no siempre resulta evidente. En este sentido, son varias las resoluciones judiciales en que se incide sobre esta distinción. Así, por ejemplo, en la sentencia de la Audiencia Provincial de Toledo (sección 1ª) 95/2012, de 26 de noviembre (F. J. 2º) se indica lo siguiente:
“cuando de lo que se trata es de la profusión de expresiones que suponen un ataque al honor, la fama o la consideración social, estamos ante unas injurias, cuando se somete a la víctima, bien por acción o por manifestaciones orales, a una situación en que lo afectado es la dignidad personal en su conjunto estamos ante una vejación”.
Igualmente, cabe traer a colación la sentencia de la Audiencia Provincial de Cádiz (sección 3ª), de 22 de octubre de 2010 en la que se descarta el delito de trato degradante al no producirse la conducta directamente sobre el cuerpo de la víctima sino a través de terceros ante los que el autor trata de desprestigiarla, dado el desprestigio social que supone exhibir unas fotos en las que la víctima aparece desnuda, con la finalidad de comprometerla ante sus amistades y familiares. La referida sentencia, en un caso, por lo tanto, que podría asemejarse al de difusión, más o menos amplia, de un deepfake pornográfico, advierte que ha de verse en tal conducta, consistente en exhibir fotos de la víctima desnuda, un propósito tendencialmente infamatorio de quien pretende atentar contra la estimación que sobre la víctima pudieran tener otras personas, circunstancia que conduce a subsumir la conducta en el tipo penal de injurias y no en el tipo penal de trato degradante.
Particularmente, de acuerdo con la legislación vigente, y considerando la jurisprudencia mayoritaria aplicable, me inclino a pensar que la mayor parte de casos de deepfakes pornográficos, ya tengan como protagonistas a mujeres conocidas o a mujeres anónimas, se encuadrarán en el delito de injurias, con o sin publicidad, según cual sea el alcance de la difusión dada a los contenidos manipulados. Sin embargo, en ciertos supuestos, en atención a la difusión masiva e indiscriminada de los contenidos ― pensemos en la difusión realizada por un influencer―, al carácter especialmente denigrante o vejatorio del contenido creado, a la situación de especial vulnerabilidad de la víctima y/o al padecimiento que se le provoque como consecuencia de la difusión del contenido en cuestión, el atentado contra el honor podría quedar consumido por la lesión a la integridad moral de la víctima. Téngase en cuenta, en este sentido, la relevancia que, cada vez para más personas, especialmente para las más jóvenes, tiene su imagen en redes sociales, en tanto que proyección de su propia personalidad, cuya afectación podría llevar aparejada graves padecimientos psicológicos, especialmente cuando se producen ataques a gran escala, por ejemplo, en forma de campaña coordinada de acoso por un número significativo de personas.
Igualmente, como respuesta penal al uso que se viene haciendo de los deepfakes, especialmente como forma de violencia contra las mujeres, se podría plantear la aplicación de los delitos de odio. En este sentido, se castiga con una pena de prisión de uno a cuatro años y multa de seis a doce meses a “quienes públicamente fomenten, promuevan o inciten directa o indirectamente al odio, hostilidad, discriminación o violencia (…) contra una persona determinada por razón de (…) su sexo, orientación o identidad sexual, por razones de género”, entre otros (art. 510.1 a) CP). El núcleo de la tipicidad consiste en la acción de “fomentar”, “promover” o “incitar” al “odio, hostilidad, discriminación o violencia”, siempre que se dirija contra un grupo, parte del mismo o alguno de sus integrantes, por los motivos discriminatorios referidos.
Para aplicar o descartar la aplicación de un delito de odio, debe tenerse en cuenta que la jurisprudencia aporta los siguientes criterios interpretativos:
En primer lugar, debe tenerse en cuenta que “no toda expresión de naturaleza denigrante, humillante, o de menosprecio hacia alguien, puede ser integradora del delito de odio, con impronta de automatismo, sino solo aquellas en las que el actuar del sujeto activo, el dolo, se halle presidido por la animadversión o por el ánimo de menospreciar a una persona como integrante de un determinado colectivo, raza, etnia o sexo, no a ella a título particular, y desde la tipicidad objetiva, las expresiones y actos han de tener una gravedad suficiente para lesionar la dignidad de los colectivos contra los que se actúa”. Además, debe subrayarse que, “lo que se castiga en estos delitos (…) no es la mera manifestación de un insulto que lesione la dignidad de una persona, sino que se haga de modo que incorpore una provocación al odio, a la discriminación o a la violencia; y para valorar la concurrencia de todo ello es preciso llevar a cabo un análisis contextual”.
En definitiva, considerando lo anterior, la subsunción de un deepfake pornográfico en un delito de odio solo sería posible ante la existencia de mensajes o afirmaciones tendientes a incitar al público a adoptar comportamientos violentos frente a las mujeres en general, o frente a la víctima en particular, pero en atención a su condición de mujer, debiendo venir motivados sus comentarios por su sexo, orientación sexual u otro de los factores de discriminación previstos en el art. 510 CP. En este sentido, no es la difusión de los contenidos sintéticos lo que, en su caso, podría subsumirse en el delito de odio, sino las expresiones lesivas y objetivamente agresivas hacia un colectivo digno de especial protección que, eventualmente, pudieran proferirse al hilo de la difusión de los contenidos íntimos o pornográficos. Cabe pensar, por ejemplo, en un foro, chat o cuenta en la que se compartan imágenes manipuladas de mujeres, profiriendo frente a ellas insultos o vejaciones, acompañados de una invitación a ejercer violencia frente a las protagonistas de las imágenes. En este caso, la conducta aparentemente sí podría subsumirse en un delito de odio frente a las mujeres.
Sea como fuere, en aras de la seguridad jurídica y en vista de las dimensiones que está adquiriendo el fenómeno de los deepfakes de contenido sexual parece justificada una reforma penal que tipifique expresamente estas conductas o que, cuando menos, fije una opción unificada para la subsunción de estas conductas en los tipos penales vigentes.
1
AJDER, H.; PATRINI, G.; CAVALLI, F.; CULLEN, L. The State of Deepfakes: Landscape, Threats, and Impact, 2019, pp. 1-20. Disponible en: https://regmedia.co.uk/2019/10/08/deepfake_report.pdf
3
BARRIENTOS-BÁEZ, A.; PIÑEIRO-OTERO, T.; PORTO RENÓ, D., “Imágenes falsas, efectos reales. Deepfakes como manifestaciones de la violencia política de género”, Revista Latina de Comunicación Social, Vol. 82, 2024, pp. 1-29. DOI: https://www.doi.org/10.4185/RLCS-2024-2278.
4
5
6
BROWN, N. I., “Deepfakes and the Weaponization of Disinformation”, Virginia Journal of Law and Technology, Vol. 23, núm. 1, 2020, pp. 1-58. Disponible en: https://static1.squarespace.com/static/5e793709295d7b60295b2d29/t/5f0b7e4e0f4f095f7e70613f/1594588750542/v23i1_1-Brown.pdf.
7
BUENO DE MATA, F., “Un centinela virtual para investigar delitos cometidos a través de las redes sociales: ¿deberían ampliarse las actuales funciones del agente encubierto en Internet?”, PÉREZ GIL, J. (Dir.) El proceso penal en la sociedad de la información: las nuevas tecnologías para investigar probar el delito, La Ley, Madrid, 2012, pp. 311-330.
8
9
CERDÁN MARTÍNEZ, V.; PADILLA CASTILLO, G., “Historia del "fake" audiovisual: "deepfake" y la mujer en un imaginario falsificado y perverso” Historia y comunicación social. Vol. 24, núm. 2, 2019, pp. 505-520. DOI: https://doi.org/10.5209/hics.66293.
10
COLE, K. K., “’It’s Like She's Eager to be Verbally Abused’”: Twitter, Trolls, and (En)Gendering Disciplinary Rhetoric”, Feminist Media Studies, Vol. 15, núm. 2, 2025, pp. 356-358. DOI: https://doi.org/10.1080/14680777.2015.1008750.
11
12
DEVÍS MATAMOROS, A., “Algunas claves del castigo penal del deepfake de naturaleza sexual”, Blog Ibericonnect, 24 de julio de 2023. Disponible en: https://www.ibericonnect.blog/2023/07/algunas-claves-del-castigo-penal-del-deepfake-de-naturaleza-sexual/.
13
DIALLO, A., “A Guide for Women and Girls to Prevent and Respond to Cyberviolence”, 2021. Disponible en: https://eca.unwomen.org/sites/default/files/2022-02/ONLINE%20cyberV%20women%20ENG.pdf.
14
EUROPEAN PARLIAMENTARY RESEARCH SERVICE (EPRS). SCIENTIFIC FORESIGHT UNIT (STOA), Tackling deepfakes in European policy, 2021. Disponible en: https://www.europarl.europa.eu/RegData/etudes/STUD/2021/690039/EPRS_STU(2021)690039_EN.pdf.
15
16
FISCALÍA GENERAL DEL ESTADO (FGE), Circular 2/2015, de 19 de https://www.boe.es/buscar/doc.php?id=FIS-C-2015-00002.
17
FISCALÍA GENERAL DEL ESTADO (FGE), Circular 7/2019, de 14 de mayo, sobre pautas para interpretar los delitos de odio tipificados en el artículo 510 del Código Penal, 2019. Disponible en: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2019-7771.
18
GÁMEZ GUADIX, M., “Sexting, sextorsión y pornovenganza”. Universitat Oberta de Catalunya, PID_00268153, 2019. Disponible en: https://openaccess.uoc.edu/bitstream/10609/147580/5/CiberdelincuenciaSexual_Modulo6_SextingSextorsionYPornovenganza.pdf.
19
GARCÍA-MINGO, E., DÍAZ FERNÁNDEZ, S., TOMÁS-FORTE, S., “(Re)configurando el imaginario sobre la violencia sexual desde el antifeminismo: el trabajo ideológico de la manosfera española”, Política y Sociedad, Vol. 59, núm. 1, 2022, pp. 1-15. DOI: https://dx.doi.org/10.5209/poso.80369.
20
21
GING, D., “Alphas, Betas, and Incels: Theorizing the Masculinities of the Manosphere”, en: Men and Masculinities, Vol. 22, núm. 4, 2019, pp. 638-657. DOI: https://doi.org/10.1177/1097184X17706401.
22
GONZÁLEZ PULIDO, I., “El uso de la inteligencia artificial generativa en la investigación de la ciberdelincuencia de género: ante el auge de los deepfakes”, en: Ius et Scientia, Vol. 9, núm. 2, 2023, pp. 157-190. DOI: http://doi.org/10.12795/IESTSCIENTIA.2023.i02.08.
23
GRANDÍO RODRÍGUEZ, S., “Desarrollo de una aplicación de creación de deepfakes en tiempo real para el uso del agente encubierto informático”, Revista de Investigación CUGC, núm. 8, 2021, pp. 1-44. Disponible en: https://online.fliphtml5.com/jdrv/oyqy/index.html#p=1
24
JARAMILLO, O., CASTELLÓ, L., “El derecho al olvido en Internet y el efecto Streisand: aplicabilidad y soluciones”, CETINA PRESUEL, R., CORREDOIRA Y ALFONSO, L., GUTIÉRREZ ATALA, F. (Eds.), Media and Journalists in the age of Open Government and Transparency, Universidad Complutense de Madrid, Madrid, 2015, pp. 90-105.
25
JAREÑO LEAL, Á., “El derecho a la imagen íntima y el Código penal. La calificación de los casos de elaboración y difusión del deepfake sexual”, Revista Electrónica de Ciencia Penal y Criminología, núm. 26, 09, 2024, pp. 1-37. Disponible en: http://criminet.ugr.es/recpc/26/recpc26-09.pdf.
26
KOBIS, N. C., DOLEZALOVA, B., SORAPERRA, I., “Fooled twice: People cannot detect deepfakes but think they can”, iScience, núm. 24, 2021. DOI: https://doi.org/10.1016/j.isci.2021.103364.
27
KWEILIN T. L., “Deepfakes and Domestic Violence: Perpetrating Intimate Partner Abuse Using Video Technology” en: Victims & Offenders, Vol. 17, núm. 5, 2022, pp. 647-659. DOI: https://doi.org/10.1080/15564886.2022.2036656.
29
LIBANO BERISTAIN, A., “Análisis crítico de la categoría de la perseguibilidad a instancia de parte a la luz de la reforma penal de 2015. Especial consideración de los supuestos de violencia doméstica y de género”, ESPUNY TOMÁS, María Jesús. La docencia del derecho con perspectiva de género, Dykinson, Madrid, 2018, pp. 93-112.
30
31
LÓPEZ BRIEGA, R. E., IAAR Capacitación - Introducción al Deep lerning, 13 de junio de 2017. Disponible en: https://iaarhub.github.io/capacitacion/2017/06/13/introduccion-al-deep-learning/.
32
LÓPEZ TRUJILLO, N., “De deepfakes y ‘pornovenganza’: por qué se utiliza la sexualidad para dañar a las mujeres”, Newtral, 21 de septiembre de 2023. Disponible en https://www.newtral.es/pornovenganza-sexualidad-mujeres/20230921/.
33
MAI, K. T., BRAY, S., DAVIES, T., GRIFFIN L. D., “Warning: Humans cannot reliably detect speech deepfakes”, PLoS ONE, Vol. 18, núm. 8, 2023. DOI: https://doi.org/10.1371/journal.pone.0285333.
34
35
MARCO FRANCIA, M. P., “Victimización secundaria en los delitos sexuales. Consentimiento y enjuiciamiento a la víctima con especial referencia al caso de ‘La Manada’”, FARALDO CABANA, P., ACALA SÁNCHEZ, M. (Dirs.) RODRÍGUEZ LÓPEZ, S., FUENTES LOUREIRO, M. A. (Coords.) La Manada. Un antes y un después en la regulación de los delitos sexuales en España, Tirant Lo Blanch, Valencia, 2018, pp. 297-332.
36
MARTÍNEZ SÁNCHEZ, M., “El discurso sobre el revenge porn en la prensa: Estudio de caso de Rosalía y sus fotografías manipuladas”, en Journal of Feminist, Gender and Women Studies, núm. 15, 2023, pp. 94-115. Disponible en: https://revistas.uam.es/revIUEM/article/view/17933.
37
MONTESINOS GARCÍA, A., “Inteligencia artificial en la justicia con perspectiva de género: amenazas y oportunidades”, Actualidad Jurídica Iberoamericana, núm. 21, 2024, pp. 566-597. DOI: https://doi.org/10.15366/jfgws2023.15.005.
38
40
41
42
43
PFEFFERKORN, R., ““Deepfakes” in the Courtroom”, Boston University Public Interest Law Journal, Vol. 29, núm. 2, 2020, pp. 245-276. Disponible en: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4321140.
44
QUIRÓS-FONS, A., GARCÍA-ULL, F. J., “La inteligencia artificial como herramienta de la desinformación. Deepfakes y regulación europea”, GARCÍA-ANTÓN PALACIOS, E. (Dir.), Los Derechos Humanos en la inteligencia artificial: su integración en los ODS de la Agenda 2030, Aranzadi, Navarra, 2022, pp. 537-556.
45
ROBLES, J. M., DE MARCO, S., TORRES ALBERO, C., (Dir.) DELEGACIÓN DEL GOBIERNO PARA LA VIOLENCIA DE GÉNERO. El ciberacoso como forma de ejercer la violencia de género en la juventud: un riesgo en la sociedad de la información y del conocimiento. Ministerio de Sanidad, Política Social e Igualdad. Centro de Publicaciones, Madrid, 2014, pp. 1-202. Disponible en: https://violenciagenero.igualdad.gob.es/wp-content/uploads/Libro_18_Ciberacoso.pdf.
46
SALTER, M., “Responding to revenge porn: Gender, justice and online legal impunity”, Whose justice? Conflicted approaches to crime and conflict, University of Western Sydney, Sydney, 27 de septiembre de 2013, pp. 1-8. Disponible en: https://www.researchgate.net/publication/294787472_Responding_to_revenge_porn_Gender_justice_and_online_legal_impunity.
47
48
SANTISTEBAN GALARZA, M., “La criminalización de las ultrafalsificaciones (con especial atención a las implicaciones de la normativa europea en materia de servicios digitales e inteligencia artificial)”, Revista de Derecho Penal y Criminología, núm. 31, 2024, pp. 211-249. DOI: https://doi.org/10.5944/rdpc.ENERO.2024.38890.
49
SAYLER, K. M.; HARRIS, L. A., Deep fakes and national security (Congressional Research Service), 2019. Disponible en: https://crsreports.congress.gov/product/pdf/IF/IF11333.
50
SECURITY HEROES, State of deepfakes. Realities, Threats, and Impact, 2023. Disponible en: https://www.securityhero.io/state-of-deepfakes/.
51
SIMÓ SOLER, E., “Retos jurídicos derivados de la inteligencia artificial generativa”, Indret, núm. 2, 2023, pp. 493-515. DOI: https://doi.org/10.31009/indret.2023.i2.11.
52
SOTO SANTANA, M., Justice for Women: Deep fakes and Revenge Porn. 3rd Global Conference on Women’s Studies, Rotterdam, 2022, pp. 113-128. Disponible en: https://www.dpublication.com/wp-content/uploads/2022/02/27-10177.pdf.
53
54
TREND MICRO RESEARCH UNITED NATIONS INTERREGIONAL CRIME AND JUSTICE RESEARCH INSTITUTE (UNICRI) EUROPOL’S EUROPEAN CYBERCRIME CENTRE (EC3), Malicious Uses and Abuses of Artificial Intelligence, 2020. Disponible en: https://www.europol.europa.eu/cms/sites/default/files/documents/malicious_uses_and_abuses_of_artificial_intelligence_europol.pdf.
55
56
57
VAN DER NAGEL, E., “Verifying images: Deepfakes, control, and consent”, Porn Studies, Vol. 7, núm. 4, 2020, pp. 424-429. DOI: https://doi.org/10.1080/23268743.2020.1741434.
58
WAGNER, T. L.; BLEWER, A., “’The Word Real Is No Longer Real’”: Deepfakes, Gender, and the Challenges of AI-Altered Video”, Open Information Science, núm. 3, 2019, pp. 32-46. DOI: https://doi.org/10.1515/opis-2019-0003.
59
XIRAU TORERS, I., “Datos sintéticos e inteligencia artificial en medicina”, 2023. Disponible en: https://alma-medical.com/datos-sinteticos-inteligencia-artificial-medicina/.
[*] Profesora Contratada Doctora. ORCID: https://orcid.org/0000-0002-6562-8208. Área de Derecho Procesal. Departamento de Derecho Público. Universidade da Coruña. Email: ana.neira@udc.es
[2] El Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) nº 300/2008, (UE) nº 167/2013, (UE) nº 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (en adelante, Reglamento de IA), define los deepfakes (Art. 3. 1. 60) e impone ciertas obligaciones de trasparencia para los proveedores de estos sistemas de IA. Por su parte, la Directiva (UE) 2024/1385 del Parlamento Europeo y del Consejo, de 14 de mayo de 2024, sobre la lucha contra la violencia contra las mujeres y la violencia doméstica (en adelante, Directiva (UE) 2024/1385), impone a los Estados miembros la tipificación como delito de la creación y difusión de ciertos contenidos sintéticos, concretamente los deepfakes de naturaleza sexual, entendidos como una nueva forma de violencia contra las mujeres.
[3] El Machine Learning o aprendizaje automático se refiere a un amplio conjunto de técnicas informáticas que permiten dar a las computadoras la capacidad de aprender sin ser explícitamente programadas. Por su parte, el Deep Learning o aprendizaje profundo es un subcampo dentro del Machine Learning, el cual utiliza distintas estructuras de redes neuronales para lograr el aprendizaje de sucesivas capas de representaciones cada vez más significativas de los datos. El profundo o deep en Deep Learning hace referencia a la cantidad de capas de representaciones que se utilizan en el modelo; en general, se suelen utilizar decenas o incluso cientos de capas de representación las cuales aprenden automáticamente a medida que el modelo es entrenado con los datos ().
[5] Véase, en este sentido: https://www.fundeu.es/recomendacion/ultrafalso-alternativa-a-deep-fake/ (último acceso: 04/11/2024). Esta era, de hecho, la terminología propuesta en la enmienda 203 del Parlamento Europeo al Reglamento IA, que definía la “ultrafalsificación” como “un contenido de sonido, imagen o vídeo manipulado o sintético que puede inducir erróneamente a pensar que es auténtico o verídico, y que muestra representaciones de personas que parecen decir o hacer cosas que no han dicho ni hecho, producido utilizando técnicas de IA, incluido el aprendizaje automático y el aprendizaje profundo”. Disponible en: https://www.europarl.europa.eu/doceo/document/TA-9-2023-0236_ES.html (último acceso: 04/11/2024)
[6] En el estudio experimental publicado en , se concluye que la gente no puede detectar con fiabilidad los deepfakes y que, además, esto es más una cuestión de falta de capacidad, que, de motivación o atención, ya que ni la sensibilización ni la introducción de incentivos económicos mejoran la precisión de su detección. Se detecta, además, que la gente tiende a confundir los deepfakes con vídeos auténticos (y no al revés) y que sobreestima su propia capacidad de detección. En una línea similar, véase: .
[8] En este campo, se afirma que, en un futuro previsible, las estrellas de cine podrían utilizar la tecnología deepfake para compartir sus modelos digitales personales con los productores, de modo que puedan crear nuevas secuencias sin tener que desplazarse a un rodaje. Además, el uso de deepfakes podría permitir la creación de dobles más realistas y la adaptación de la edad de los actores, para que parezcan mayores o más jóvenes ().
[9] Es bien conocida la campaña de una conocida marca de Cerveza en la que se revivió a Lola Flores, para hacerla protagonizar un spot publicitario (https://elpais.com/tecnologia/2021-01-21/una-campana-con-un-deepfake-de-lola-flores-se-hace-viral.html, último acceso: 04/11/2024).
[10] En este sentido, se afirma que el uso de la IA para generar imágenes sintéticas permite la creación de una cantidad ilimitada de imágenes, lo que significa que los algoritmos pueden ser probados de manera exhaustiva y precisa antes de ser utilizados en la práctica clínica. Además, las imágenes sintéticas pueden ser modificadas para imitar diferentes patologías, lo que permite a los desarrolladores de algoritmos probar su eficacia en diferentes escenarios clínicos. Además, la creación de imágenes sintéticas no requiere el uso de imágenes de pacientes reales, lo que significa que no hay riesgo de violación de la privacidad de los pacientes ()
[11] La tecnología GAN puede ser empleada, por ejemplo, para crear contenido sexualmente explícito de menores no reales con la finalidad de que un agente de policía pueda infiltrarse en redes de intercambio de pornografía infantil. En este sentido, debe tenerse en cuenta lo dispuesto en el art. 282 bis 6 (II) LECrim, al regular la figura del agente encubierto informático. El precepto dispone lo siguiente: “[e]l agente encubierto informático, con autorización específica para ello, podrá intercambiar o enviar por sí mismo archivos ilícitos por razón de su contenido y analizar los resultados de los algoritmos aplicados para la identificación de dichos archivos ilícitos”. En este punto, cabe traer a colación de la creación de Sweetie, una niña filipina virtual de diez años, creada por la ONG holandesa Terre des hommes con la finalidad de localizar pedófilos en Internet y luchar contra el abuso sexual infantil. Sobre diferentes aspectos legales relacionados con esta tecnología, puede verse un estudio monográfico y comparado en: , passim. Sobre el potencial uso de los deepfakes por agentes infiltrados virtuales, véase . Antes de contar con el exponencial avance de la tecnología deepfake, las propuestas para permitir ese intercambio de material pornográfico sin implicar a menores reales pasaban por crear “material camuflado creado ad hoc”, esto es, actores y actrices mayores de edad haciéndose pasar por menores (; ).
[14] Las referidas obligaciones de transparencia no se aplicarán, sin embargo, cuando la ley autorice su uso para detectar, prevenir, investigar o enjuiciar infracciones penales. Además, cuando el contenido forme parte de una obra o programa manifiestamente creativos, satíricos, artísticos, de ficción o análogos, las referidas obligaciones se limitarán a hacer pública la existencia de dicho contenido generado o manipulado artificialmente de una manera adecuada que no dificulte la exhibición o el disfrute de la obra (art. 50.4 Reglamento de IA).
[15] En la misma línea, sostiene , que “cuando los fines sean delictivos está claro que se omitirán estas obligaciones por parte de los ciberdelicuentes”.
[16] De acuerdo con las previsiones de la Directiva (UE) 2024/1385, esta conducta encajaría en la categoría de “ciberacoso”, que comprende la acción consistente en “hacer accesible al público, mediante TIC, material que contenga los datos personales de una persona, sin su consentimiento, con el fin de incitar a terceros a causar lesiones físicas o psicológicas graves a dicha persona” (art. 7. d)).
[17] De esta opinión es JAREÑO LEAL, Á.: “El derecho a la imagen íntima”, cit., p. 21, quien argumenta que una imagen creada artificialmente, cuando se añaden datos personales y/o de contacto, es igualmente apta para conducir a las situaciones descritas en el precepto (acoso, hostigamiento o humillación).
[18] Sobre esta evolución, véase: https://www.tarlogic.com/es/blog/ia-deepfake-fraude-del-ceo/#1_%C2%BFEn_que_consiste_el_fraude_del_CEO (último acceso 04/11/2024)
[19] https://www.xataka.com/robotica-e-ia/videollamada-le-ordenaron-a-empleado-que-transfiriese-25-millones-dolares-todos-eran-deepfakes (último acceso 04/11/2024).
[20] También podría plantearse su encaje en el delito de estafa informática del art. 249.1 a) CP, consistente en valerse de cualquier manipulación informática o artificio semejante, para conseguir una transferencia no consentida de cualquier activo patrimonial en perjuicio de otro. Sin embargo, no parece que el “fraude del CEO” encaje tan bien en este tipo penal que, a diferencia de la estafa tradicional, no requiere engaño personal, siendo este sustituido por la manipulación informática, que introduce un cierto automatismo en la consumación del fraude, pudiendo incluso resultar prescindible el acto de disposición por parte de la víctima. En este sentido, la STS 533/2007, de 12 de junio, establece que en la estafa informática “no es precisa la concurrencia de engaño alguno por el estafador, porque el acecho a patrimonios ajenos realizados mediante manipulaciones informáticas actúa con automatismo en perjuicio de tercero, precisamente porque existe la manipulación informática y por ello no se exige el engaño personal”.
[26] Esta reveladora cifra pone de manifiesto el preocupante uso indebido de la tecnología deepfake, sobre todo para generar contenidos sexualmente explícitos y no consentidos, tendencia con profundas implicaciones para la privacidad y el consentimiento en la era digital ().
[27] El Convenio del Consejo de Europa sobre prevención y lucha contra la violencia contra las mujeres y la violencia doméstica (Convenio de Estambul) dispone que el término “violencia contra las mujeres” designa “todos los actos de violencia basados en el género que implican o pueden implicar para las mujeres daños o sufrimientos de naturaleza física, sexual, psicológica o económica, incluidas las amenazas de realizar dichos actos, la coacción o la privación arbitraria de libertad, en la vida pública o privada” (art. 3. a)). Por su parte, la recientemente aprobada Directiva (UE) 2024/1385, define “violencia contra las mujeres” como “todo acto de violencia de género dirigido contra una mujer o una niña por el hecho de ser mujer o niña, o que afecten de manera desproporcionada a mujeres o niñas, que causen o sea probable que causen daños o sufrimientos de naturaleza física, sexual, psicológica o económica, incluidas las amenazas de realizar tales actos, la coacción o la privación arbitraria de libertad, tanto si se producen en la vida pública como en la vida privada” (art. 2.a)). En el ámbito digital, , define ciberdelincuencia de género como “aquellos delitos cometidos a través de Internet por razón de género, prevaliéndose el agresor del alcance y la especial lesividad de los medios tecnológicos, tanto en el ámbito público como en el ámbito privado, con independencia de la relación preexistente con la víctima”.
[28] Sobre la necesidad de abordar el fenómeno deepfake desde la necesaria perspectiva de género existen varios trabajos interesantes. Entre otros, pueden verse: ; . Por su parte, , reflexiona sobre la intersección entre los deepfakes y la violencia de género, identificando distintas formas de violencia contra las mujeres, propias de la era digital, tales como el ciberacoso o las conductas de venganza pornográfica, que con los deepfakes pueden experimentar, y de hecho están viviendo, un salto cualitativo, al convertirse estas, según señala la autora, “en un facilitador de la violencia”.
[29] Tal y como pone de manifiesto , el uso fraudulento de esta tecnología tiene un sesgo de género que denigra al sexo femenino, generando contenidos desde una mirada androcéntrica para el disfrute masculino del cuerpo femenino. Por su parte, , afirma que este comportamiento no puede considerarse neutro desde el punto de vista del género, puesto que afecta de manera más contundente a las mujeres, existiendo un potente binomio entre el deepfake sexual y la violencia de género.
[30] De acuerdo con el análisis realizado por , la pornografía deepfake no consentida es un fenómeno que ataca y perjudica exclusivamente a las mujeres. Este protagonismo de las mujeres como víctimas ya era evidente, antes de la generalización de los deepfakes, en el denominado revenge porn ().
[31] Según , el uso de esta tecnología para producir pornografía resulta especialmente preocupante, sobre todo por la cosificación de los cuerpos de las mujeres como algo para ser consumido visualmente, eludiendo por completo cualquier posibilidad de consentimiento o agencia por parte de la titular del rostro (y los cuerpos) de dichas imágenes alteradas.
[32] DeepNude es una aplicación informática que permite a los usuarios “desnudar” fotos de mujeres vestidas. La aplicación utiliza algoritmos de conversión de imágenes para eliminar sintéticamente la ropa de las imágenes mujeres y generar partes desnudas de su cuerpo que antes estaban cubiertas. Estos algoritmos no pueden realizar conversiones en imágenes de hombres, ya que han sido entrenados con imágenes de mujeres. La aplicación funciona a partir de un retrato y de una base de datos de 10.000 fotos de mujeres desnudas tomadas de Internet, añadiendo un cuerpo desnudo al rostro retratado. El sitio web de DeepNude se lanzó el 23 de junio de 2019, con una demo y opciones de descarga para ordenadores Windows y Linux. La app se podía descargar de forma gratuita, pero las imágenes estaban oscurecidas por una gran marca de agua. Para eliminar esta marca de agua, los usuarios tenían que pagar 50 dólares por la versión con licencia. Las imágenes generadas con esta versión con licencia seguían conteniendo una pequeña marca de agua que designaba la imagen como «falsa». A pesar de la desconexión del sitio web oficial, el software sigue siendo distribuido de forma independiente a través de varios canales en línea, como repositorios de código abierto y sitios web de torrents ().
[35] El término manosfera es una traducción del inglés manosphere, que combina una palabra en inglés (man) y otras en castellano (esfera). La voz en español ha sido reconocida de uso común por la Fundéu en 2019 (https://www.fundeu.es/consulta/manosfera/), aunque se proponen otras formas, como el término androsfera que, sin embargo, en los medios, no ha tenido el mismo nivel de penetración. Se trata de un conglomerado de grupos de interés, que se refieren a sí mismos como activistas por los derechos de los hombres, y que han establecido complejas conexiones con una miríada de organizaciones, blogs, foros, comunidades y subculturas interconectadas, dando lugar a un conjunto de discursos y posturas abiertamente antifeministas (Cfr. ). Por su parte, , el factor común de la manosfera, conformada por espacios virtuales y hombres muy heterogéneos, es el antifeminismo, que actúa como elemento aglutinante entre sus diferentes esferas.
[38] Tal y como ponen de relieve , “la manipulación de imágenes pone de manifiesto que este problema no es nuevo, ni puntual, sino que es algo cultural, reflejo de estereotipos de género y las relaciones de poder que se establecen dentro y fuera de la Red”. En la misma línea, , afirma que los deepfakes continúan una larga historia de imágenes de mujeres utilizadas para acosarlas, humillarlas y dañarlas.
[40] Tal y como afirma , “con el cambio de paradigma generado por la irrupción de la IA surgen nuevos modos de violencia contra las mujeres con idéntica finalidad controladora”. Desde un punto de vista más general, pueden verse las reflexiones de , sobre la forma en que el troleo de género y la violencia antifeminista en las redes sociales funciona como retórica disciplinaria orientada a disuadir y disciplinar a las mujeres a través de amenazas.
[41] En esta línea, véanse las reflexiones de . Las autoras abordan la proliferación de imágenes manipuladas de mujeres políticas, afirmando que “Deepfakes y cheapfakes suponen una forma de represión, para silenciar a las mujeres y recluirlas en determinados espacios soft de la política, donde sus acciones y discursos quedan ocultos tras un halo de frivolidad y de falsas noticias”.
[45] Tal y como afirma , la tecnología deepfake está siendo utilizada como arma contra las mujeres, acosándolas, intimidándolas, degradándolas, socavándolas y desestabilizándolas, tanto personal como profesionalmente, ya que incluso su intimidad, sus iniciativas y su seguridad se ven comprometidas. En la misma línea, se afirma que la creación y publicación de un deepfake puede usarse como forma de intimidación, acoso, sextorsión, difamación o chantaje, lo que podría causar graves daños psicológicos a la persona representada. (). Por su parte, , también alude a los deepfakes como formas de humillar, controlar e intimidar a las mujeres, socavando su autonomía. Véanse también las reflexiones de , sobre el uso de los deepfakes sexuales no consentidos por hombres maltratadores para controlar, intimidar, aislar, avergonzar y manipular a sus víctimas que, en su mayoría, son mujeres.
[46] Cfr. . En la misma línea, advierte cuando la víctima no es una figura pública, sino un individuo particular que no tiene la oportunidad de defender su nombre en el ámbito público, se vuelve más vulnerable e incapaz de obtener reparación o, incluso, de defenderse eficazmente del contenido que muestra su imagen de forma explícita.
[50] Recordemos las escalofriantes cifras ya referidas. El número total de vídeos deepfake online aumento un 550% entre 2019 y 2023, computándose, en este último año, un total de 95.820, de los cuales un 98% tienen contenido pornográfico ().
[51] Aunque hasta hace bien poco, los deepfakes a menudo podrían ser detectados sin herramientas de detección especializadas, la sofisticación esta tecnología está progresando rápidamente hasta un punto en el que la detección humana sin ayuda resulta muy difícil o imposible (https://crsreports.congress.gov/product/pdf/IF/IF11333. Cabe recordar, en este sentido, la probada incapacidad de las personas para distinguir el material manipulado del real como demuestra el estudio publicado por , passim.
[52] De hecho, el tratamiento que hace la Directiva (UE) 2024/1385 de ambas conductas ― difusión pública de material íntimo real (art. 5.1 a)) y difusión pública de material manipulado (art. 5.1 b)) ― es idéntico, estableciéndose el mismo límite mínimo de pena (pena máxima de al menos 1 año de prisión) para ambas acciones. Obviamente, al tratarse de una norma de mínimos, los Estados miembros podrán después discriminar en sus ordenamientos jurídicos nacionales en función de la mayor o menor gravedad de los hechos.
[53] Tal y como observan , “la democratización de aplicaciones para la producción de estas imágenes sintéticas ha facilitado su creación y potenciado su circulación”. Y, aunque los deepfakes de alta calidad -aquellos esencialmente indetectables para el ojo humano- a menudo siguen requiriendo importantes habilidades técnicas y equipos, es probable que esto cambie en un futuro próximo ().
[54] Como advierte , aunque son muy relevantes los esfuerzos por desarrollar métodos técnicos de detección de deepfakes, estas herramientas aún no han llegado al gran público.
[55] . Por su parte, , refiere que los principales expertos en informática forense temen que la lucha por detectar las falsificaciones profundas sea una batalla perdida.
[56] Véase el considerando 25 de la Directiva (UE) 2024/1385. Según , la proliferación de los delitos que se cometen en el entorno digital se debe, entre otras causas, al hecho de que “el sujeto percibe una mayor facilidad en la comisión del ilícito a través del fenómeno de la desinhibición on line (es más sencillo escribir que dar la cara y enfrentarse)” y “la sensación de anonimato que envuelve al sujeto activo que puede actuar a través de perfiles falsos (lo que a su vez dificulta la persecución)”.
[57] Véase el considerando 51 de la Directiva (UE) 2024/1385. Tal y como afirma , nota 41, “la tecnología incrementa el riesgo de violencia, especialmente de violencia psicológica porque permite a los agresores crear una “sensación de omnipresencia” que erosiona la sensación de seguridad”.
[58] Como afirma , “el daño producido se incrementa en la medida en que el bien jurídico se ve permanente y constantemente atacado, dada la propia naturaleza de la red (dificultades para hacer desaparecer lo publicado, la mayor visibilidad ante una comunidad importante de sujetos, y la viralidad de la red que favorece la propagación prácticamente instantánea de la acción)”. En ese sentido, , advierten que el ciberacoso consistente en prácticas de sexting, es decir, de envío de fotos íntimas de contenido erótico constituye una forma violencia de género “especialmente significativa y dañina puesto que, dada la forma viral de transmisión de la información en el mundo digital, en un breve lapso de tiempo se expande vertiginosamente y la audiencia supera el finito ámbito de amigos y conocidos, y alcanza el infinito universo de Internet y las vastas galaxias que conforman las distintas redes sociales”. Sobre este aspecto, debe tenerse en cuenta, que hay estudios que apuntan a que la morfología y contenido de los deepfake potencian su viralidad en redes sociales ().
[59] En este sentido, , acusa la falta de recursos, leyes y políticas para proteger y ayudar a las víctimas de deepfakes pornográficos, que son vulnerables ante la forma fácil y rápida en que puede difundirse su imagen, sin que existan garantías de eliminación permanente de los contenidos dañosos. Sobre estas dificultades de retirada efectiva de los contenidos difundidos de forma indiscriminada en la Red, incluso cuando media una orden judicial, véase: . Cabe recordar que la retirada de los contenidos y el derecho de supresión aplicado a buscadores en Internet y medios de difusión públicos son entendidos como medidas necesarias para garantizar la recuperación simbólica de las víctimas, promoviendo el restablecimiento de su dignidad y reputación y superando cualquier situación de estigmatización (art. 28 ter 4 Ley Orgánica 1/2004, de 28 de diciembre, de Medidas de Protección Integral contra la Violencia de Género).
[60] En el Reglamento (UE) 2022/2065 del Parlamento Europeo y del Consejo de 19 de octubre de 2022 relativo a un mercado único de servicios digitales y por el que se modifica la Directiva 2000/31/CE, se prevé un sistema de cooperación público-privada que aplica desde febrero de 2024 a los prestados de servicios digitales, entre los que se incluyen motores de búsqueda, mercados en línea, redes sociales y también prestadores de alojamiento de datos, obligados a contar con sistemas de notificación y acción para la efectiva retirada de contenidos ilícitos.
[63] Cabe señalar que ha habido varias propuestas de tipificación de esta conducta, sobre las que se volverá más adelante. Por una parte, está la Propuesta del Grupo Parlamentario Plural a la Proposición de Ley Orgánica para la modificación del CP en los delitos contra la libertad sexual (122/000294), en la que planteaba añadir un apartado 8 al art. 197 CP, ubicado en el Título X, dedicado a los “Delitos contra la intimidad”. Igualmente, se debe referir aquí la Proposición de Ley Orgánica de “regulación de las simulaciones de imágenes y voces de personas generadas por medio de inteligencia artificial” (122/000011), presentada el 13 de octubre de 2023 por el Grupo Parlamentario SUMAR, la cual contiene una propuesta de tipificación de estas conductas como delito de injurias graves en un nuevo art. 208 bis CP.
[64] Según la FGE, “la denominada pornografía virtual es aquella en la que la imagen del menor es una creación artificial pero realista, elaborada por ordenador u otro medio” (.
[65] En esta línea, , sostiene que “la ausencia de un menor real sometido a cualquier tipo de conducta sexual o pornográfica o siquiera peligro de sufrirla, hace inaceptable la decisión de incorporar esta conducta en un tipo que aparece ubicado en un título referido a la indemnidad/libertad sexuales bienes respecto a los que la presente conducta típica se halla extremadamente alejada”. La autora concluye que “la tipificación de la pornografía virtual y de la pornografía técnica implica un incomprensible adelanto de las barreras punitivas que nos recuerda más a un Derecho Penal especialmente simbólico, con una inaceptable carga moral, ajeno a los postulados básicos de lo que se espera de un sistema penal en un Estado Democrático y de Derecho”. En una línea similar, pueden verse las críticas de ; ; . Sin embargo, según la FGE, la asunción de este concepto ampliado de pornografía infantil se justificaría en la protección de la dignidad e indemnidad sexual de la infancia en general, como bien jurídico supraindividual, que la circulación de estas modalidades pornográficas puede poner en peligro (Circular 2/2015, de 19 de junio, sobre los delitos de pornografía infantil tras la reforma operada por Ley Orgánica 1/2015, p. 4). Por su parte, el Consejo Fiscal sostiene que “cabe justificar la tipificación de la pornografía virtual y técnica en que este material también banaliza y puede contribuir a la aceptación de la explotación sexual de los niños y en que atacan la dignidad de la infancia en su conjunto” (Informe de 8 de enero de 2013, al Anteproyecto de Ley Orgánica por la que se modifica la Ley Orgánica 10/1995, de 24 de noviembre, del Código Penal).
[66] El Consejo Fiscal se hace eco de una razón práctica que podría justificar la tipificación de la pornografía virtual: “muy pronto –ya es difícil- será imposible distinguir entre imágenes reales e imágenes generadas por ordenador”. En este sentido, se admite que “las derivaciones del onus probandi han sido fundamentales en algunos países a efectos de optar por criminalizar estas conductas” (Informe ya citado de 8 de enero de 2013). Por su parte, , incluso antes del surgimiento de la tecnología deepfake, ya encontraba la razón de ser de la inclusión de las imágenes realistas en el tipo penal de pornografía infantil en el hecho de que este tipo de imágenes (o vídeos) presentan un alto grado de perfección alcanzado por determinado software capaz de desarrollar y animar imágenes y videos en un entorno sintético 3D, susceptible de inducir a error sobre la autenticidad de lo que en el mismo aparece reflejado, resultando difícil juzgar si la persona representada es real o sintética.
[67] En este caso, el Juzgado de Menores de Badajoz ha declarado a 15 menores de edad responsables de 20 delitos de pornografía infantil y 20 delitos contra la integridad moral, imponiéndoles a cada uno de ellos la medida de libertad vigilada durante un año por manipular con inteligencia artificial y difundir imágenes de menores para que apareciesen desnudas. La sentencia, de 20 de junio de 2024, dictada en conformidad, recoge como hechos probados que los menores utilizaron aplicaciones de inteligencia artificial para obtener imágenes manipuladas de menores, de tal forma que, a los rostros originales de las chicas, que obtenían de los perfiles de sus redes sociales, les ponían las imágenes de otros cuerpos femeninos desnudos, según detalla la nota de prensa del Tribunal Superior de Justicia de Extremadura. Las fotografías manipuladas fueron luego compartidas a través de dos grupos de WhatsApp. Información disponible en: https://www.poderjudicial.es/cgpj/es/Poder-Judicial/Noticias-Judiciales/Imponen-la-medida-de-libertad-vigilada-durante-un-ano-a-los-15-menores-acusados-de-manipular-y-difundir-imagenes-de-menores-desnudas-en-Badajoz.
[69] Sobre la necesidad de tipificación expresa, , se pronuncia en sentido negativo, entendiendo que podrían encajarse en los delitos contra el honor y también en los delitos contra la integridad moral, sosteniendo, eso sí, que “sería conveniente establecer una alternativa unificada al respecto sobre la subsunción en uno de ambos supuestos para evitar problemas relacionados con la seguridad jurídica”.
[70] En esta línea se encauzaba la Propuesta del Grupo Parlamentario Plural, en la enmienda núm. 41 a la Proposición de Ley Orgánica para la modificación del CP en los delitos contra la libertad sexual (122/000294), en la que planteaba añadir un apartado 8 al art. 197 CP, ubicado en el Título X, dedicado a los “Delitos contra la intimidad, el derecho a la propia imagen y la inviolabilidad del domicilio”, para castigar expresamente, con pena de prisión de seis meses a dos años a quien “utilice imágenes de gran verosimilitud (deepfake) elaboradas con inteligencia artificial para reproducir la imagen de una persona o utilice imágenes reales obtenidas sin su consentimiento con el objetivo de crear contenidos audiovisuales que puedan ser difundidos públicamente por cualquier medio, cuando la divulgación menoscabe gravemente el honor o la intimidad de esa persona”.
[71] En este sentido se pronuncia , reparando en que el objeto material de la conducta se integra por acciones de carácter sexual que no realiza el propio sujeto pasivo, sino que son creaciones virtuales situadas completamente al margen de la esfera de la privacidad. En la misma línea, véanse las reflexiones de .
[72] . La autora argumenta, sin embargo, que sí podría haber afectación de la intimidad o la imagen desde el punto de vista civil, donde basta con el uso no consentido de una imagen para poder reclamar con éxito, aun cuando la imagen captada o reproducida por un tercero, sin el consentimiento del titular, no haya sido obtenida de forma subrepticia (pp. 7-8).
[76] Tal y como afirma , de acuerdo con esta propuesta regulatoria, la recreación debería realizarse sin la autorización de la víctima y “para la pública difusión”. Este último requisito implicaría que, si bien la intención de difundir la ultrafalsificación es un aspecto relevante, en tanto que elemento subjetivo del tipo junto al ánimo de menoscabar el honor, la conducta no requeriría para su consumación que la difusión tuviese lugar. En otras palabras, la recreación no autorizada de la imagen o de la voz sería suficiente para la consumación algo que, sin embargo, la Directiva 2024/1385 no exigiría tipificar como delito. Por otra parte, la referida propuesta no se limita a contenidos sintéticos de carácter sexual o íntimo lo que, definitivamente, supone una ampliación sustancial de las conductas punibles respecto de lo que exige la Directiva 2024/1385.
[77] La necesidad de concurrencia de un ánimo específico en el delito de injurias es controvertida. Según , conforme a la opinión más extendida, no es precisa concurrencia de ningún elemento subjetivo adicional en el delito de injurias, bastando la concurrencia de dolo, entendido como la conciencia del contenido atentatorio contra el honor de la acción realizada o expresión proferida. En contra de este parecer, , sostiene que el tipo requiere la intención específica de injuriar, que constituye un elemento subjetivo del injusto distinto del dolo. Este último parecer puede resultar en una excesiva restricción del delito de injurias, si se entiende que conductas objetivamente injuriosas, pero realizadas con un ánimo distinto, como el de bromear o criticar, no entran dentro del tipo penal.
[78] . En contra de esa opinión, , sostiene que no se aprecia el referido animus iniuriandi cuando las acciones se realizan para la obtención de rendimientos económicos, subiéndolas a webs pornográficas con la finalidad de lograr más reproducciones y suscripciones.
[79] Tal y como afirma el TS, “determinadas y concretas expresiones y actos revelan de modo necesario la existencia de dicho ánimo, cualesquiera que puedan ser las circunstancias del caso” (STS de 22 de mayo de 1993, RJ 1993/4232).
[80] Al interpretar esta norma, debe tener en cuenta que la Directiva 2024/1385 establece un marco jurídico mínimo a ese respecto, por lo cual, los Estados miembros son libres de adoptar o mantener normas penales más estrictas (considerando 18).
[81] Tal y como pone de manifiesto , la Proposición de Ley Orgánica de “regulación de las simulaciones de imágenes y voces de personas generadas por medio de inteligencia artificial”, al equiparar la pena de las injurias cometidas a través de deepfakes a la del delito de injurias tradicional también violaría la literalidad del art. 10.4 de la Directiva 2024/1385 que exige que el límite máximo de pena sea de, al menos, un año de prisión.
[84] ; , afirma que las mujeres y las niñas son, en general, más vulnerables a la ciberviolencia, experimentándola de una forma diferente y más traumática que los hombres.
[86] Exposición de Motivos de la Ley Orgánica 1/2004, de 28 de diciembre, de Medidas de Protección Integral contra la Violencia de Género (párrafo I).
[87] En este sentido, se observa un tratamiento legal diferenciado en los delitos leves de amenazas (art. 171 5 y 7 CP) y de coacciones (art. 172.3 CP), así como en el delito de stalking (art. 172 ter 2 CP). Estos son, como regla general, considerados delitos semipúblicos, salvo cuando se trata de un acto de violencia de género o doméstica en atención a la víctima y a su relación con el agresor (art. 173.2 CP), en cuyo caso no será necesaria denuncia de la víctima para proceder a su persecución. Sobre los distintos regímenes de perseguibilidad presentes en el CP en los delitos de violencia de género, véase .
[89] Este concepto se aplica a los casos en los cuales se intenta censurar en Internet una información que pasó desapercibida para los medios de comunicación y la opinión pública, provocando que el contenido en cuestión se viralice después gracias a la prohibición ().
[90] El hecho de que la investigación o el enjuiciamiento de los hechos dependa de la denuncia o de la querella de la víctima o de su representante, provocándose el sobreseimiento de la causa penal por el mero hecho de que se haya retirado la denuncia o la querella, es algo que la Directiva 2024/1385 desaprueba en relación con los delitos sexuales (considerando 37 y art. 15.5). Sin embargo, en España, las agresiones sexuales siguen siendo configuradas como semipúblicos, exigiéndose para su persecución denuncia de la persona agraviada o de su representante legal (art. 191 CP). Seguramente, el protagonismo de la víctima en estos procesos como testigo de cargo, muchas veces único, junto con la victimización secundaria que acostumbran a sufrir las víctimas de delitos sexuales como consecuencia de su paso por el sistema judicial, son algunas de las razones que están detrás de la exigencia de denuncia como condición de procedibilidad para perseguir estas infracciones penales.
[93] Cfr. . En contra de esta calificación se muestra , quien pone en duda que el resultado producido por una falsificación digital pueda lesionar la integridad moral considerando su lejanía respecto de conductas recogidas en ese mismo título, como el trato inhumano o la tortura.
[99] En este sentido, debe advertirse que, en España, durante muchos años, el conflicto entre la libertad expresión y el honor, a los efectos del delito de injuria, fue reconducida a la vía del “conflicto de ánimos” por parte de la jurisprudencia, siendo determinante si el ánimo del sujeto activo era el de injuriar o, por el contrario, el de informar o criticar. A día de hoy, sin embargo, esta vía de resolución del conflicto y de delimitación típica del delito de injurias ha sido abandonada (STS 6649/2005, de 31 de octubre, con cita de resoluciones de jurisprudencia constitucional: STC 104/1986, de 17 de julio). Sobre la superación de esta corriente jurisprudencial, véanse las reflexiones de .
[101] Vid. . En la misma línea, se pronuncian la SAP Barcelona (Sección 2ª), núm. 99/2009 de 28 de enero (F. J. 4º) o la STS 1276/2009, de 3 de abril, entre otras.
[104] En este sentido se pronuncia la STS 426/2021, de 19 de mayo (F. J. 2º) en un caso de acoso laboral, en el que se toma en cuenta el conocimiento por parte del acusado de la inestabilidad psicológica de la víctima, lo que le hacía previsiblemente conocedor del impacto emocional de sus acciones, permitiendo afirmar el carácter hostil y humillante de las mismas y, por lo tanto, su relevancia penal.
[108] Según , el principal escollo para subsumir los deepfakes sexuales en el delito de trato degradante tiene que ver, precisamente, con la exigencia de una actuación personal sobre la víctima, de carácter físico o síquico, con el ánimo de humillarla y envilecerla, siendo que, en estos casos, el autor solo manipula la imagen digital de una persona, sin que sea necesario que haya contacto personal alguno entre sujeto activo y pasivo. En la misma línea, , afirma que “El trato –degradante- debe consistir en una intervención sobre el sujeto pasivo que tenga un efecto inmediato sobre su esfera corporal, que puede provenir de una agresión física, de la sumisión a la víctima a ciertas condiciones o de obligarla a hacer determinadas conductas bajo amenaza de acusar inmediatamente un mal mayor. En ningún caso cabe calificar como trato degradante una mera agresión verbal o una amenaza de futuro, supuestos que serán constitutivos de injurias o amenazas”.
[109] El Tribunal Supremo definió el término influencer del siguiente modo: nombre que se atribuye a jóvenes que con este medio de comunicación tienen la capacidad de movilizar y crear reacciones de todo tipo entre sus numerosos seguidores (STS 547/2022, de 2 de junio). Precisamente, en esta resolución, se condenó por trato degradante a un youtuber que ofreció galletas marca oreo rellenas de pasta dentífrica a un indigente y lo grabó todo para emitirlo por su canal personal de Youtube. En esta sentencia, el Alto Tribunal hace hincapié en el hecho de que el delito no fue cometido solo en el momento en que se ofrecieron e ingirieron las galletas, sino que “[f]ue inducido y preparado en el marco de una aplicación de Internet, inició su efecto destructivo de la dignidad personal en el portal de esa calle e intensificó su antijuridicidad mediante la divulgación en la red Youtube de las imágenes de un vagabundo pretendiendo saciar su hambre con las galletas entregadas”.
[110] El considerando 24 de la Directiva 2024/1385, alude a la importancia de hacer frente a estas formas de violencia en línea, señalando que “estos ataques de amplio alcance, incluidos los ataques en masa coordinados en línea, pueden transformarse en agresiones fuera de línea o causar lesiones psicológicas significativas a la víctima y, en casos extremos, llevarla al suicidio”.
[114] SAP de Santander núm. 82/2024, de 5 de abril (F. J. 3º). Por lo tanto, será necesario que se inste o se anime a la ulterior comisión de hechos discriminatorios, no necesariamente delictivos, de forma que exista el riesgo real, aunque sea potencial, de que se lleven a cabo ().
[115] La , analiza los denominados indicadores de odio, también denominados de «polarización radical», agrupándolos en tres grupos, según se refieran a la víctima, al autor o al contexto. Sobre la prueba de la motivación específica que ha de concurrir para apreciar la existencia de un delito de odio y el papel que juegan, en este ámbito, los denominados factores de polarización radical, véase el análisis de .
[116] En este sentido, la STS 72/2018, de 9 de febrero, puede resultar ilustrativa de hechos encuadrables en un delito de incitación al odio frente a las mujeres. En este caso, el acusado usaba dos cuentas de la red social Twitter en las que profería mensajes del tipo “53 asesinadas por violencia de género machista en lo que va de año, pocas me parecen con la de putas que hay sueltas” (17 de diciembre de 2015) o “Y 2015 finalizará con 56 asesinadas, no es una buena marca, pero se hizo lo que se pudo, a ver si en 2016 doblamos esa cifra, gracias” (30 de diciembre de 2015).
[117] El hecho de que el foro o chat donde se escribe el mensaje o comentario haya sido creado con la finalidad de difundir expresiones o manifestaciones de odio es un indicador relevante a los efectos de la calificación de la conducta, en tanto que indicador de la intencionalidad del autor del hecho. Tal y como afirma la , “en estos casos, aun cuando sea un único comentario, puede y debe valorarse que aquél se ha publicado, precisamente, en un chat de estas características”.
[118] ; Por su parte, , sostiene que es necesario reflexionar, desde la ineludible perspectiva de género, sobre “la necesidad de incardinar estos actos como un tipo penal autónomo habida cuenta de la redimensión que con el deepfake toman determinados tipos penales como el acoso o la distribución de contenido pornográfico, especialmente para las mujeres”.
Profesora Ayudante Doctora (acreditada a Profesora Contratada Doctora) del área de Derecho Procesal de la Universidade da Coruña
