Article considérant 12

(12) Il est nécessaire de définir clairement la portée de l'interdiction, en particulier l'étendue des obligations incombant aux fournisseurs et aux déployeurs. Cette interdiction ne devrait pas empêcher les fournisseurs de développer les capacités techniques des systèmes d'IA à générer ou à manipuler des images, des vidéos, des contenus audio ou du matériel similaire. En ce qui concerne les fournisseurs, l'interdiction devrait être limitée à la mise sur le marché ou à la mise en service de systèmes d'IA qui génèrent ou manipulent du matériel intime non consenti ou du matériel relatif à des abus sexuels sur enfants dans deux cas. Premièrement, elle devrait couvrir les systèmes destinés à générer ou à manipuler ce type de matériel. Deuxièmement, elle devrait couvrir les systèmes pour lesquels cette production ou manipulation est un résultat raisonnablement prévisible et reproductible et pour lesquels il n'existe pas de mesures techniques de sécurité raisonnables et adéquates ni d'autres garanties, prenant en compte une mauvaise utilisation raisonnablement prévisible, en vue d'empêcher de manière fiable et, si nécessaire, de corriger ce résultat, ainsi que de corriger la mauvaise utilisation observée ou signalée, y compris le contournement de ces mesures. Les mesures techniques et autres garanties visant à empêcher la production de ce type de matériel pourraient comprendre le nettoyage des données, l'entraînement au refus, la conception sécurisée des invites et des contrôles des réponses générées, des garde-fous concernant les invites d'exécution, des mécanismes de classification et de filtrage des contenus, des restrictions d'utilisation, des dispositifs de détection des abus ainsi que des mécanismes de notification et d'action. Ces mesures préventives devraient être raisonnables pour le système d'IA visé et sont considérées comme adéquates si elles s'alignent sur les mesures les plus avancés et empêchent de façon manifeste ou réduisent suffisamment, dans chaque cas spécifique, le risque de production ou de manipulation de ce type de matériel, en tenant compte de la mauvaise utilisation connue et raisonnablement prévisible, y compris le contournement raisonnablement prévisible des mesures préventives sans modification technique importante. Pour les fournisseurs qui conservent un contrôle effectif sur les systèmes d'IA, par exemple au moyen d'une plateforme ou d'une interface internet, cela pourrait inclure des méthodes de suivi et de signalement des cas d'utilisation abusive, dans le plein respect de la législation de l'Union en matière de protection de la vie privée et des données. En cas de contournement observé ou signalé des mesures préventives ou d'autres garanties, des mesures correctives adéquates devraient être prises, pour autant qu'elles soient raisonnables et qu'elles tiennent compte du système d'IA visé, y compris de sa stratégie de diffusion et de distribution (par exemple les versions à code source ouvert). En ce qui concerne les déployeurs, l'utilisation d'un système d'IA ne devrait être interdite que lorsque le déployeur s'en sert pour générer ou manipuler du matériel intime non consenti ou du matériel relatif à des abus sexuels sur enfants. Cela comprend les cas où un déployeur utilise ou détourne des systèmes d'IA mis sur le marché ou mis en service sans mesures préventives raisonnables et adéquates, ou lorsqu'un déployeur contourne les mesures préventives ou fait un usage abusif d'une IA licite pour générer ou manipuler ce type de matériel. L'interdiction d'utilisation ne couvre donc pas le recours à un système d'IA à des fins licites, telles que la production ou la manipulation de matériel autre que du matériel intime non consenti ou du matériel relatif à des abus sexuels sur enfants, même dans les cas où le système d'IA ne dispose pas des garanties raisonnables et adéquates que le fournisseur aurait dû mettre en place; elle ne couvre pas non plus la production ou la manipulation accidentelles de tels contenus. Pour ce qui est de l'interdiction relative au matériel intime non consenti, lorsqu'un système d'IA est destiné à la production ou à la manipulation de matériel relevant de cette interdiction, des mesures et autres garanties devraient inclure des moyens adaptés à la distribution du système d'IA, permettant de recueillir et de prouver avec fiabilité le consentement de la personne représentée à cette production ou manipulation, conformément au règlement (UE) 2016/679. L'interdiction concernant le matériel intime non consenti devrait être limitée aux représentations réalistes de parties intimes, notamment les organes génitaux, la zone pubienne, l'anus, les fesses dénudées ou les seins, mamelons ou aréoles de femme dénudés, ou d'activités sexuellement explicites. Ce «réalisme» désigne la représentation du visage, de la voix ou du corps d'une personne de façon crédible et réelle, indépendamment du réalisme du contexte de cette représentation pour la question de savoir si celle-ci correspond pleinement à la vraie voix ou à l'apparence réelle de la personne représentée. À l'inverse, sont exclues les représentations caricaturales ou physiquement impossibles du corps d'une personne. L'interdiction du matériel intime non consenti ne concerne pas la production ou la manipulation d'autres formes de contenus de nudité, comme le matériel qui ne représente pas des personnes physiques identifiables, les représentations réalistes partiellement dénudées dans lesquelles les parties intimes ne sont pas dévoilées et où ne figurent pas d'activités sexuellement explicites, ou encore les nus artistiques non réalistes qui ne représentent pas de façon réaliste des personnes physiques identifiables se livrant à des activités sexuellement explicites, ni leurs parties intimes. Elle ne couvre pas non plus les applications d'IA générative dans lesquelles les parties intimes ne sont pas dénudées, ou le sont sous réserve du consentement libre, spécifique, éclairé, univoque et explicite de la personne représentée (par exemple, les applications d'essayage virtuel et les applications médicales, telles que celles de simulation anatomique et de mammographie); cette interdiction n'exclut pas l'utilisation exceptionnelle de systèmes d'IA générant ou manipulant des représentations dénudées des parties intimes d'une personne identifiable, conformément au droit en matière de droits fondamentaux, y compris le droit en matière de protection des données, et au droit médical applicable, à des fins de diagnostic et de traitement médicaux par des professionnels de la santé lorsque la personne concernée n'est pas en mesure de donner son consentement (par exemple, dans une situation d'urgence). Enfin, l'interdiction de «manipuler» du matériel intime non consenti exclut les cas où le matériel intime préexistant est manipulé d'une manière qui n'augmente pas l'exposition des parties intimes représentées ni ne modifie la nature des activités sexuellement explicites représentées, par exemple la simple amélioration d'une image existante représentant des parties intimes ou d'une vidéo montrant des activités sexuellement explicites, telle que la modification du fond, l'ajout d'un titre ou l'amélioration du contraste ou de la luminosité. À l'inverse, toute manipulation de matériel, y compris de matériel représentant déjà des parties intimes ou des activités sexuellement explicites, qui augmente le niveau d'exposition des parties intimes représentées ou modifie la nature des activités sexuellement explicites représentées, relève du champ d'application de cette interdiction.