Overwegingen bij de EU AI Act

Deze verordening heeft ten doel de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen, met name voor de ontwikkeling, het in de handel brengen, het in gebruik stellen, en het gebruik van artificiële-intelligentiesystemen (AI-systemen) in de Unie, in overeenstemming met de waarden van de Unie, de introductie van mensgerichte en betrouwbare artificiële intelligentie (AI) te bevorderen en te zorgen voor een hoge mate van bescherming van de gezondheid, de veiligheid en de grondrechten zoals vastgelegd in het Handvest van de grondrechten van de Europese Unie (het “Handvest”), met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu, te beschermen tegen de schadelijke effecten van AI-systemen in de Unie, alsook innovatie te ondersteunen. Deze verordening waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan.

Deze verordening moet worden toegepast in overeenstemming met de in het Handvest vastgelegde waarden van de Unie, om zo de bescherming van natuurlijke personen, ondernemingen, de democratie, de rechtsstaat en de bescherming van het milieu te faciliteren en tegelijkertijd innovatie en werkgelegenheid te stimuleren en van de Unie een voortrekker te maken bij de introductie van betrouwbare AI.

AI-systemen kunnen gemakkelijk worden ingezet in een ruime verscheidenheid van economische sectoren en in tal van onderdelen van de samenleving, ook grensoverschrijdend, en kunnen gemakkelijk in de hele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat AI betrouwbaar en veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en tot vermindering van de rechtszekerheid voor operatoren die AI-systemen ontwikkelen, importeren of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd zodat AI betrouwbaar is, terwijl verschillen die het vrije verkeer, de innovatie, de inzet en de ingebruikneming van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor operatoren vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU). Voor zover deze verordening specifieke regels bevat inzake de bescherming van natuurlijke personen met betrekking tot de verwerking van persoonsgegevens, waarbij beperkingen worden opgelegd aan het voor rechtshandhaving bedoelde gebruik van AI-systemen voor biometrische identificatie op afstand, AI-systemen voor risicobeoordelingen van natuurlijke personen en AI-systemen voor biometrische categorisering, moet deze verordening, wat die specifieke regels betreft, worden gebaseerd op artikel 16 VWEU. In het licht van deze specifieke regels en het gebruik van artikel 16 VWEU is het aangewezen het Europees Comité voor gegevensbescherming te raadplegen.

AI is een snel evoluerende verzameling van technologieën die bijdraagt aan een brede waaier van economische, milieu- en maatschappelijke voordelen in alle industrieën en sociale activiteiten. Het gebruik van AI kan ondernemingen, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor natuurlijke personen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om sociaal en ecologische gunstige resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, voedselveiligheid, onderwijs en opleiding, media, sport, cultuur, infrastructuurbeheer, energie, vervoer en logistiek, openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, milieumonitoring, behoud en herstel van biodiversiteit en ecosystemen en klimaatmitigatie en -adaptatie.

Tegelijkertijd kan AI, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, en van het niveau van technologische ontwikkeling, risico’s opleveren en schade toebrengen aan de openbare belangen en grondrechten die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn, en kan lichamelijke, psychische, maatschappelijke of economische schade omvatten.

Aangezien AI van grote invloed op de samenleving kan zijn en het dus nodig is vertrouwen op te bouwen, is het essentieel dat AI en het AI-regelgevingskader worden ontwikkeld in overeenstemming met de waarden van de Unie zoals verankerd in artikel 2 van het Verdrag betreffende de Europese Unie (VEU), met de in de Verdragen vastgelegde grondrechten en fundamentele vrijheden, alsook, op grond van artikel 6 VEU, met het Handvest. Een eerste voorwaarde is dat AI een mensgerichte technologie moet zijn. Het moet dienen als instrument voor mensen, met als uiteindelijk doel het welzijn van de mens te vergroten.

Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten te garanderen, moeten gemeenschappelijke regels voor AI-systemen met een hoog risico worden vastgesteld. Die regels moeten in overeenstemming zijn met het Handvest, niet-discriminerend zijn en stroken met de internationale handelsverbintenissen van de Unie. In de regels moet ook rekening worden gehouden met de Europese verklaring over digitale rechten en beginselen voor het digitale decennium en de ethische richtsnoeren voor betrouwbare KI van de deskundigengroep op hoog niveau inzake artificiële intelligentie (AI HLEG).

Om de ontwikkeling, het gebruik en de introductie van AI op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake AI, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid en de bescherming van de grondrechten, met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen, het in gebruik stellen en het gebruik van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen profiteren van het beginsel van vrij verkeer van goederen en diensten. Die regels moeten duidelijk en robuust zijn voor wat betreft de bescherming van de grondrechten, en nieuwe innovatieve oplossingen ondersteunen, om zo een Europees ecosysteem mogelijk te maken van publieke en particuliere actoren die AI-systemen creëren conform de waarden van de Unie, en het potentieel van de digitale transformatie in alle regio’s van de Unie te ontsluiten. Door die regels, alsook maatregelen ter ondersteuning van innovatie met bijzondere nadruk op kleine en middelgrote ondernemingen (kmo’s), waaronder start-ups, vast te stellen, steunt deze verordening de doelstelling om de Europese mensgerichte benadering van AI te bevorderen en wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische AI, zoals verklaard door de Europese Raad (5), en waarborgt deze verordening de bescherming van ethische beginselen, zoals specifiek gevraagd door het Europees Parlement (6).

Er moeten geharmoniseerde regels worden vastgesteld die van toepassing zijn op het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen met een hoog risico, en in overeenstemming zijn met Verordening (EG) nr. 765/2008 van het Europees Parlement en de Raad (7), Besluit nr. 768/2008/EG van het Europees Parlement en de Raad (8) en Verordening (EU) 2019/1020 van het Europees Parlement en de Raad (9) (“het nieuwe wetgevingskader”). De in deze verordening vastgelegde geharmoniseerde regels moeten in alle sectoren van toepassing zijn en mogen, in overeenstemming met het nieuwe wetgevingskader, geen afbreuk doen aan bestaand Unierecht, met name het Unierecht inzake gegevensbescherming, consumentenbescherming, grondrechten, werkgelegenheid, bescherming van werknemers en productveiligheid, waarop deze verordening een aanvulling vormt. Bijgevolg blijven alle rechten en rechtsmiddelen waarin dat Unierecht voorziet voor consumenten en andere personen voor wie AI-systemen negatieve gevolgen kunnen hebben, onder meer wat betreft de vergoeding van mogelijke schade overeenkomstig Richtlijn 85/374/EEG van de Raad (10), onverlet en volledig van toepassing. Voorts mag deze verordening, in het kader van de werkgelegenheid en de bescherming van werknemers, derhalve geen afbreuk doen aan het recht van de Unie inzake sociaal beleid, noch aan het nationale arbeidsrecht, in naleving van het Unierecht, wat betreft werkgelegenheid en arbeidsvoorwaarden, met inbegrip van gezondheid en veiligheid op het werk en de betrekkingen tussen werkgevers en werknemers. Deze verordening mag evenmin afbreuk doen aan de uitoefening van de in de lidstaten en op het niveau van de Unie erkende grondrechten, waaronder het stakingsrecht of de stakingsvrijheid dan wel het recht of de vrijheid om in het kader van de specifieke stelsels van arbeidsverhoudingen in de lidstaten andere acties te voeren, alsook het recht om over collectieve overeenkomsten te onderhandelen, deze te sluiten en naleving ervan af te dwingen, of om collectieve actie te voeren overeenkomstig het nationaal recht. Deze verordening mag geen afbreuk doen aan de bepalingen ter verbetering van de arbeidsomstandigheden bij platformwerk die zijn vastgelegd in een richtlijn van het Europees Parlement en de Raad betreffende de verbetering van de arbeidsvoorwaarden bij platformwerk. Daarnaast heeft deze verordening tot doel de doeltreffendheid van dergelijke bestaande rechten en rechtsmiddelen te versterken door specifieke eisen en verplichtingen vast te stellen, onder meer met betrekking tot de transparantie, technische documentatie en registratie van AI-systemen. Voorts moeten de verplichtingen die verschillende operatoren die betrokken zijn bij de AI-waardeketen uit hoofde van deze verordening krijgen opgelegd, van toepassing zijn onverminderd het nationale recht, in naleving van het Unierecht, met als gevolg dat het gebruik van bepaalde AI-systemen wordt beperkt indien dergelijk nationaal recht buiten het toepassingsgebied van deze verordening valt of andere legitieme doelstellingen van algemeen belang nastreeft dan die welke door deze verordening worden nagestreefd. Deze verordening mag bijvoorbeeld geen afbreuk doen aan het nationale arbeidsrecht en de wetgeving inzake de bescherming van minderjarigen, namelijk personen jonger dan 18 jaar, rekening houdend met algemene opmerking nr. 25 (2021) bij het Verdrag van de Verenigde Naties inzake de rechten van het kind over kinderrechten met betrekking tot de digitale omgeving, voor zover deze niet specifiek zijn voor AI-systemen en andere legitieme doelstellingen van algemeen belang nastreven.

Het grondrecht van de bescherming van persoonsgegevens wordt met name gewaarborgd door de Verordeningen (EU) 2016/679 (11) en (EU) 2018/1725 (12) van het Europees Parlement en de Raad en Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad (13). Daarnaast beschermt Richtlijn 2002/58/EG van het Europees Parlement en de Raad (14) het privéleven en de vertrouwelijkheid van communicatie, onder meer door te voorzien in voorwaarden met betrekking tot de opslag van en de toegang tot persoonsgegevens en niet-persoonsgebonden gegevens in eindapparatuur. Die rechtshandelingen van de Unie vormen de basis voor duurzame en verantwoorde dataverwerking, onder meer wanneer datasets een mix van persoonsgegevens en niet-persoonsgebonden gegevens bevatten. Deze verordening laat de toepassing van de bestaande Uniewetgeving betreffende de verwerking van persoonsgegevens, met inbegrip van de taken en bevoegdheden van de onafhankelijke toezichthoudende autoriteiten die met het toezicht op de naleving van die instrumenten belast zijn, onverlet. Deze verordening doet evenmin afbreuk aan de verplichtingen van aanbieders en gebruiksverantwoordelijken van AI-systemen in hun rol als verwerkingsverantwoordelijke of verwerker die voortvloeien uit het Unie- of nationale recht inzake de bescherming van persoonsgegevens, voor zover er in het kader van het ontwerp, de ontwikkeling of het gebruik van AI-systemen persoonsgegevens worden verwerkt. Het is ook passend te verduidelijken dat betrokkenen alle rechten en waarborgen blijven genieten die hun door dat Unierecht zijn toegekend, met inbegrip van de rechten die verband houden met uitsluitend geautomatiseerde individuele besluitvorming, waaronder profilering. De in deze verordening vastgelegde geharmoniseerde regels voor het in de handel brengen, de ingebruikstelling en het gebruik van AI-systemen moeten de doeltreffende uitvoering vergemakkelijken en de uitoefening van de rechten en andere rechtsmiddelen van betrokkenen mogelijk maken die worden gewaarborgd door het Unierecht inzake de bescherming van persoonsgegevens en andere grondrechten.

Deze verordening mag geen afbreuk doen aan de bepalingen betreffende de aansprakelijkheid van aanbieders van tussenhandelsdiensten, zoals vastgelegd in Verordening 2022/2065 van het Europees Parlement en de Raad (15).

Het begrip “AI-systeem” in deze verordening moet duidelijk worden gedefinieerd en moet nauw aansluiten op het werk van internationale organisaties die zich bezighouden met AI, om rechtszekerheid te waarborgen, internationale convergentie en brede acceptatie te faciliteren, en tegelijkertijd de nodige flexibiliteit te bieden om op de snelle technologische ontwikkelingen op dit gebied te kunnen inspelen. Bovendien moet de definitie gebaseerd zijn op de belangrijkste kenmerken van AI-systemen die het onderscheiden van eenvoudigere traditionele softwaresystemen of programmeringsbenaderingen, en mag het geen betrekking hebben op systemen die gebaseerd zijn op regels die uitsluitend door natuurlijke personen zijn vastgesteld om automatisch handelingen uit te voeren. Een belangrijk kenmerk van AI-systemen is hun inferentievermogen. Dit inferentievermogen slaat op het proces waarbij output, zoals voorspellingen, content, aanbevelingen of besluiten, wordt verkregen waarmee fysieke en virtuele omgevingen kunnen worden beïnvloed, en op het vermogen van AI-systemen om modellen of algoritmen, of beide, af te leiden uit input of data. De technieken die inferentie mogelijk maken bij de opbouw van een AI-systeem, omvatten benaderingen op basis van machinaal leren waarbij aan de hand van data wordt geleerd hoe bepaalde doelstellingen kunnen worden bereikt, alsook op logica en kennis gebaseerde benaderingen waarbij iets wordt geïnfereerd uit gecodeerde kennis of uit een symbolische weergave van de op te lossen taak. Het inferentievermogen van een AI-systeem overstijgt de elementaire verwerking van data door leren, redeneren of modelleren mogelijk te maken. De term “op een machine gebaseerd” verwijst naar het feit dat AI-systemen op machines draaien. De verwijzing naar expliciete of impliciete doelstellingen onderstreept dat AI-systemen kunnen functioneren volgens expliciete, gedefinieerde doelstellingen, of volgens impliciete doelstellingen. De doelstellingen van een AI-systeem kunnen verschillen van het beoogde doel van het AI-systeem in een specifieke context. Voor de toepassing van deze verordening moeten onder omgevingen de contexten worden verstaan waarin de AI-systemen werken, terwijl de output die door het AI-systeem wordt gegenereerd een uiting is van de verschillende functies van AI-systemen en de vorm kan aannemen van voorspellingen, content, aanbevelingen of besluiten. AI-systemen worden zodanig ontworpen dat zij in verschillende mate autonoom kunnen functioneren, wat betekent dat zij een zekere mate van onafhankelijkheid van menselijke betrokkenheid bezitten en zonder menselijke tussenkomst kunnen functioneren. Het aanpassingsvermogen dat een AI-systeem na het inzetten ervan kan vertonen, heeft betrekking op zelflerende capaciteiten, waardoor het systeem tijdens het gebruik kan veranderen. AI-systemen kunnen op standalonebasis of als component van een product worden gebruikt, ongeacht of het systeem fysiek in het product is geïntegreerd (ingebed) dan wel ten dienste staat van de functionaliteit van het product zonder daarin te zijn geïntegreerd (niet-ingebed).

Het in deze verordening bedoelde begrip “gebruiksverantwoordelijke” moet worden uitgelegd als alle natuurlijke of rechtspersonen, met inbegrip van overheidsinstanties, agentschappen of andere organen, die een AI-systeem onder eigen verantwoordelijkheid gebruiken, behalve in gevallen waarin het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-professionele activiteit. Afhankelijk van het type AI-systeem kan het gebruik van het systeem invloed hebben op andere personen dan de gebruiksverantwoordelijke.

Het in deze verordening gebruikte begrip “biometrische gegevens” moet worden uitgelegd in het licht van het begrip biometrische gegevens zoals gedefinieerd in artikel 4, punt 14), van Verordening (EU) 2016/679, artikel 3, punt 18), van Verordening (EU) 2018/1725 en artikel 3, punt 13), van Richtlijn (EU) 2016/680. Biometrische gegevens kunnen de authenticatie, identificatie of categorisering van natuurlijke personen en de herkenning van emoties van natuurlijke personen mogelijk maken.

Het in deze verordening bedoelde begrip “biometrische identificatie” moet worden gedefinieerd als de automatische herkenning van fysieke, fysiologische en gedragsgerelateerde menselijke kenmerken zoals het gezicht, oogbewegingen, lichaamsvorm, stem, prosodie, gang, houding, hartslag, bloeddruk, geur, toetsaanslagen, met als doel de identiteit van een natuurlijke persoon vast te stellen door biometrische gegevens van die natuurlijke persoon te vergelijken met opgeslagen biometrische gegevens van natuurlijke personen in een referentiedatabank, ongeacht of die natuurlijke persoon daarmee heeft ingestemd. Daarvan uitgesloten zijn AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie, met inbegrip van authenticatie, die er uitsluitend op gericht zijn te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die hij of zij beweert te zijn, en de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie.

Het begrip “biometrische categorisering” in deze verordening moet worden gedefinieerd als het toewijzen van natuurlijke personen aan specifieke categorieën op basis van hun biometrische gegevens. Zulke specifieke categorieën kunnen betrekking hebben op aspecten zoals geslacht, leeftijd, haarkleur, oogkleur, tatoeages, gedragsgerelateerde of persoonlijkheidskenmerken, taal, religie, het behoren tot een nationale minderheid, seksuele gerichtheid of politieke overtuiging. Daarvan uitgesloten zijn systemen voor biometrische categorisering die een louter bijkomstige functie zijn die intrinsiek verbonden is met een andere commerciële dienst, waarbij die functie om objectieve technische redenen niet los van de hoofddienst kan worden gebruikt, en de integratie van die functie of functionaliteit geen middel is om de toepassing van de regels van deze verordening te omzeilen. Filters die op onlinemarktplaatsen gebruikte gezichts- of lichaamskenmerken categoriseren, kunnen bijvoorbeeld een dergelijke nevenfunctie vormen, aangezien zij alleen kunnen worden gebruikt voor de hoofddienst die bestaat in de verkoop van een product door de consument in staat te stellen de weergave van het product op zichzelf te bekijken en de consument te helpen een aankoopbeslissing te nemen. Filters die worden gebruikt op online socialenetwerkdiensten die gezichts- of lichaamskenmerken categoriseren om gebruikers in staat te stellen foto’s of video’s toe te voegen of te wijzigen, kunnen ook als bijkomstig worden beschouwd, aangezien dergelijke filters niet kunnen worden gebruikt zonder de hoofddienst van de socialenetwerkdiensten die bestaat in het online delen van content.

Het in deze verordening bedoelde begrip “systeem voor biometrische identificatie op afstand” moet functioneel worden gedefinieerd, als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen, doorgaans van een afstand, zonder dat zij hier actief bij betrokken zijn, door vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank, ongeacht de specifieke gebruikte technologie, processen of soorten biometrische gegevens. Dergelijke systemen voor biometrische identificatie op afstand worden doorgaans gebruikt om meerdere personen of hun gedrag gelijktijdig waar te nemen, teneinde de identificatie van natuurlijke personen, zonder dat zij er actief bij betrokken zijn, aanzienlijk te vergemakkelijken. Daarvan uitgesloten zijn AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie, met inbegrip van authenticatie, met als enige doel te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die hij of zij beweert te zijn, en de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie. Die uitsluiting wordt gerechtvaardigd door het feit dat dergelijke systemen waarschijnlijk geringe gevolgen zullen hebben voor de grondrechten van natuurlijke personen in vergelijking met systemen voor biometrische identificatie op afstand die kunnen worden gebruikt voor de verwerking van biometrische gegevens van een groot aantal personen, zonder dat zij er actief bij betrokken zijn. In het geval van realtimesystemen gebeurt de vastlegging van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de betrokken AI-systemen te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van: “live” of “bijna live” materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een noemenswaardige vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen.

Het in deze verordening bedoelde begrip “systeem voor het herkennen van emoties” moet worden gedefinieerd als een AI-systeem dat is bedoeld voor het vaststellen of afleiden van de emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens. Het begrip verwijst naar emoties of intenties zoals geluk, droefheid, woede, verrassing, weerzin, verlegenheid, opwinding, schaamte, minachting, tevredenheid en plezier. Het omvat geen fysieke toestanden, zoals pijn of vermoeidheid, met inbegrip van bijvoorbeeld systemen die worden gebruikt om vermoeidheid bij beroepspiloten of beroepschauffeurs te detecteren om ongevallen te voorkomen. Het omvat evenmin de loutere detectie van gemakkelijk zichtbare uitdrukkingen, gebaren of bewegingen, tenzij deze worden gebruikt om emoties te herkennen of af te leiden. Die uitdrukkingen kunnen basale gezichtsuitdrukkingen zijn, zoals een frons of een glimlach, of gebaren zoals hand-, arm-, of hoofdbewegingen, of kenmerken van iemands stem, zoals een luide spreektoon of een fluistertoon.

Voor de toepassing van deze verordening moet het begrip “openbare ruimte” worden opgevat als een verwijzing naar elke fysieke plaats die toegankelijk is voor een onbepaald aantal natuurlijke personen, ongeacht of de plaats in kwestie particulier of publiek eigendom is, ongeacht de activiteit waarvoor de plaats kan worden gebruikt, zoals voor handel, zoals winkels, restaurants, cafés, voor diensten, zoals banken, beroepsactiviteiten, horeca, voor sport, zoals zwembaden, fitnesscentra, stadions, voor vervoer, zoals bus-, metro- en treinstations, luchthavens, vervoermiddelen, voor ontspanning, zoals bioscopen, theaters, musea, concert- en conferentiezalen of voor vrijetijdsbesteding of anderszins, zoals openbare wegen en pleinen, parken, bossen, speelplaatsen. Een plaats moet ook als openbare ruimte worden ingedeeld indien, ongeacht potentiële capaciteits- of beveiligings-beperkingen, de toegang onderworpen is aan bepaalde vooraf vastgestelde voorwaarden waaraan een onbepaald aantal personen kan voldoen, zoals de aankoop van een vervoerbewijs of een vervoerstitel, voorafgaande registratie of het hebben van een bepaalde leeftijd. Een plaats mag daarentegen niet als openbare ruimte worden beschouwd indien de toegang beperkt is tot specifieke en gedefinieerde natuurlijke personen door middel van Unie- of nationale wetgeving die rechtstreeks verband houdt met de openbare veiligheid of beveiliging of door de duidelijke wilsuiting van de persoon die ter plaatse over de benodigde autoriteit beschikt. De feitelijke mogelijkheid van toegang alleen, zoals een onvergrendelde deur of een open poort in een omheining, betekent niet dat de plaats een openbare ruimte is wanneer er aanwijzingen of omstandigheden zijn die het tegendeel suggereren, zoals borden die de toegang verbieden of beperken. Bedrijfsruimten en fabrieksgebouwen, alsook kantoren en werkplekken die alleen bestemd zijn voor bevoegde werknemers en dienstverleners, zijn plaatsen die niet openbaar zijn. Gevangenissen of grenstoezichtsgebieden mogen niet als openbare ruimte worden ingedeeld. Sommige andere plaatsen kunnen uit zowel niet-openbare als openbare ruimten bestaan, zoals de hal van een particulier woongebouw waar men door moet om bij een arts te komen, of een luchthaven. Onlineruimten vallen onder het toepassingsgebied, omdat het geen fysieke ruimten zijn. Of een bepaalde ruimte openbaar is, moet echter per geval worden bepaald, rekening houdend met de specifieke omstandigheden van de situatie in kwestie.

Om de grootste voordelen van AI-systemen te behalen en tegelijkertijd de grondrechten, gezondheid en veiligheid te beschermen en democratische controle mogelijk te maken, moeten aanbieders, gebruiksverantwoordelijken en betrokken personen door middel van AI-geletterdheid van de nodige kennis voorzien worden om onderbouwde beslissingen te nemen met betrekking tot AI-systemen. Die kennis kan verschillen naargelang de context en kan inzicht omvatten in de correcte toepassing van technische elementen tijdens de ontwikkelingsfase van het AI-systeem, de maatregelen die moeten worden toegepast tijdens het gebruik ervan, hoe de output van het AI-systeem moet worden geïnterpreteerd, en, in het geval van betrokken personen, de kennis die nodig is om te begrijpen hoe beslissingen die met behulp van AI worden genomen, op hen van invloed zullen zijn. In het kader van de toepassing van deze verordening moet AI-geletterdheid alle relevante actoren in de AI-waardeketen de inzichten verschaffen die nodig zijn om de passende naleving en de correcte handhaving ervan te waarborgen. Voorts kunnen de brede uitvoering van maatregelen op het gebied van AI-geletterdheid en de invoering van passende vervolgmaatregelen bijdragen tot het verbeteren van de arbeidsomstandigheden en uiteindelijk de consolidatie en innovatie van betrouwbare AI in de Unie ondersteunen. De Europese raad voor artificiële intelligentie (European Artificial Intelligence Board — de “AI-board”) moet de Commissie ondersteunen bij het bevorderen van instrumenten voor AI-geletterdheid en van de bekendheid van het publiek met en hun begrip van de voordelen, risico’s, waarborgen, rechten en plichten met betrekking tot het gebruik van AI-systemen. In samenwerking met de relevante belanghebbenden moeten de Commissie en de lidstaten de opstelling van vrijwillige gedragscodes faciliteren om de AI-geletterdheid te bevorderen bij personen die zich bezighouden met de ontwikkeling, de exploitatie en het gebruik van AI.

Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van natuurlijke personen in heel de Unie te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde gebruiksverantwoordelijken van AI-systemen.

Gezien hun digitale aard moeten zelfs bepaalde AI-systemen die niet in de Unie in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt, onder het toepassingsgebied van deze verordening vallen. Dit is bijvoorbeeld het geval wanneer een in de Unie gevestigde operator aan een in een derde land gevestigde operator bepaalde diensten uitbesteedt voor een activiteit die wordt verricht door een AI-systeem dat als een AI-systeem met een hoog risico kan worden aangemerkt. In die omstandigheden zou het AI-systeem dat door de operator in een derde land wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende operator in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat het AI-systeem in de Unie in de handel wordt gebracht, in gebruik wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en gebruiksverantwoordelijken van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output bedoeld is om in de Unie te worden gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake toekomstige samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal worden uitgewisseld, mag deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van samenwerking of internationale overeenkomsten die op het niveau van de Unie of op nationaal niveau zijn gesloten met het oog op samenwerking met de Unie of haar lidstaten op het gebied van rechtshandhaving en justitie, mits het betrokken derde land of de betrokken internationale organisatie in passende waarborgen voorziet met betrekking tot de bescherming van de grondrechten en fundamentele vrijheden van natuurlijke personen. In voorkomend geval kan dit betrekking hebben op activiteiten van entiteiten die door derde landen zijn belast met de uitvoering van specifieke taken ter ondersteuning van deze samenwerking op het gebied van rechtshandhaving en justitie. Een dergelijk kader voor samenwerking of dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere agentschappen van de Unie enerzijds en derde landen en internationale organisaties anderzijds. De autoriteiten die uit hoofde van deze verordening bevoegd zijn voor het toezicht op de rechtshandhavingsinstanties en justitiële autoriteiten, moeten beoordelen of die kaders voor samenwerking of internationale overeenkomsten passende waarborgen bevatten met betrekking tot de bescherming van de grondrechten en fundamentele vrijheden van natuurlijke personen. De ontvangende nationale autoriteiten en de ontvangende instellingen, organen en instanties van de Unie die gebruikmaken van dergelijke output in de Unie, blijven er verantwoordelijk voor dat het gebruik ervan in overeenstemming is met het recht van de Unie. Wanneer die internationale overeenkomsten worden herzien of er in de toekomst nieuwe worden gesloten, moeten de overeenkomstsluitende partijen alles in het werk stellen om die overeenkomsten in overeenstemming te brengen met de eisen van deze verordening.

Deze verordening moet ook van toepassing zijn op instellingen, organen en instanties van de Unie wanneer zij optreden als aanbieder of gebruiksverantwoordelijke van een AI-systeem.

Indien en voor zover AI-systemen voor militaire, defensie- of nationale veiligheidsdoeleinden, met of zonder wijziging van die systemen, in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt, moeten deze worden uitgesloten van het toepassingsgebied van deze verordening, ongeacht welk soort entiteit, bv. een publieke of private entiteit, die activiteiten uitvoert. Wat militaire en defensiedoeleinden betreft, wordt een dergelijke uitsluiting zowel gerechtvaardigd door artikel 4, lid 2, VEU, als door de specifieke kenmerken van het defensiebeleid van de lidstaten en het gemeenschappelijk defensiebeleid van de Unie krachtens titel V, hoofdstuk 2, VEU, die onder het internationaal publiekrecht vallen, wat derhalve het geschiktere rechtskader is voor de regulering van AI-systemen in de context van het gebruik van dodelijk geweld en andere AI-systemen in de context van militaire en defensieactiviteiten. Wat de doeleinden van nationale veiligheid betreft, wordt de uitsluiting zowel gerechtvaardigd door het feit dat nationale veiligheid overeenkomstig artikel 4, lid 2, VEU, de uitsluitende verantwoordelijkheid van elke lidstaat blijft, als door de specifieke aard en operationele behoeften van de nationale veiligheidsactiviteiten en door de specifieke nationale regels die op die activiteiten van toepassing zijn. Indien echter een AI-systeem dat is ontwikkeld, in de handel is gebracht, in gebruik is gesteld of wordt gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, tijdelijk of permanent voor andere dan die doeleinden wordt gebruikt, bijvoorbeeld civiele of humanitaire doeleinden, rechtshandhaving of openbare veiligheid, valt een dergelijk systeem wel binnen het toepassingsgebied van deze verordening. In dat geval moet de entiteit die het AI-systeem voor andere doeleinden dan militaire, defensie- of nationale veiligheidsdoeleinden gebruikt, ervoor zorgen dat het AI-systeem voldoet aan deze verordening, tenzij dat reeds het geval is. AI-systemen die in de handel worden gebracht of in gebruik worden gesteld voor een uitgesloten doeleinde, d.w.z. militaire, defensie- of nationaleveiligheidsdoeleinden, en een of meer niet-uitgesloten doeleinden, zoals civiele doeleinden of rechtshandhaving, vallen binnen het toepassingsgebied van deze verordening, en aanbieders van die systemen moeten er dan ook voor zorgen dat deze verordening wordt nageleefd. In die gevallen mag het feit dat een AI-systeem onder het toepassingsgebied van deze verordening valt, geen afbreuk doen aan de mogelijkheid voor entiteiten die nationale veiligheids-, defensie- en militaire activiteiten verrichten, ongeacht het soort entiteit dat die activiteiten uitvoert, om de AI-systemen te gebruiken voor nationale veiligheids-, militaire en defensiedoeleinden, waarvan het gebruik is uitgesloten van het toepassingsgebied van deze verordening. Een AI-systeem dat in de handel wordt gebracht voor civiele of rechtshandhavingsdoeleinden en dat met of zonder wijziging wordt gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, mag niet binnen het toepassingsgebied van deze verordening vallen, ongeacht het soort entiteit dat die activiteiten uitvoert.

Deze verordening moet innovatie ondersteunen en de vrijheid van wetenschap eerbiedigen en mag onderzoeks- en ontwikkelingsactiviteiten niet ondermijnen. Het is daarom noodzakelijk AI-systemen en -modellen die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel, van het toepassingsgebied van deze verordening uit te sluiten. Bovendien moet ervoor worden gezorgd dat deze verordening geen andere gevolgen heeft voor wetenschappelijke onderzoeks- en ontwikkelingsactiviteiten met betrekking tot AI-systemen of -modellen voordat zij in de handel worden gebracht of in gebruik worden gesteld. Wat productgericht onderzoek en test- en ontwikkelingsactiviteiten met betrekking tot AI-systemen of -modellen betreft, mogen de bepalingen van deze verordening ook niet van toepassing zijn voordat die systemen en modellen in gebruik worden gesteld of in de handel worden gebracht. Die uitsluiting doet geen afbreuk aan de verplichting om aan deze verordening te voldoen wanneer een AI-systeem dat onder het toepassingsgebied van deze verordening valt, in de handel wordt gebracht of in gebruik wordt gesteld als gevolg van dergelijke onderzoeks- en ontwikkelingsactiviteiten, noch aan de toepassing van bepalingen inzake AI-testomgevingen voor regelgeving en testen onder reële omstandigheden. Onverminderd de uitsluiting van AI-systemen die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en ontwikkeling als enig doel, moet elk ander AI-systeem dat voor de uitvoering van onderzoeks- en ontwikkelingsactiviteiten kan worden gebruikt, onderworpen blijven aan de bepalingen van deze verordening. Alle onderzoeks- en ontwikkelingsactiviteiten moeten in elk geval worden uitgevoerd met inachtneming van de erkende ethische en beroepsnormen voor wetenschappelijk onderzoek, en in overeenstemming met het toepasselijke Unierecht.

Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en content van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde onaanvaardbare praktijken op het gebied van AI te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken operatoren vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren.

Hoewel de risicogebaseerde aanpak de basis vormt voor een evenredige en doeltreffende reeks bindende regels, is het belangrijk te herinneren aan de ethische richtsnoeren voor betrouwbare KI van 2019 die zijn opgesteld door de onafhankelijke AI HLEG die door de Commissie is aangesteld. In die richtsnoeren heeft de AI HLEG zeven niet-bindende ethische beginselen ontwikkeld die ervoor moeten zorgen dat AI betrouwbaar en ethisch verantwoord is. Die beginselen zijn: invloed en toezicht door mensen, technische robuustheid en veiligheid, privacy en datagovernance, transparantie; diversiteit, non-discriminatie en rechtvaardigheid, sociaal en ecologisch welzijn, en verantwoordingsplicht. Onverminderd de juridisch bindende eisen van deze verordening en enig ander toepasselijk Unierecht dragen die richtsnoeren bij tot het ontwerpen van coherente, betrouwbare en mensgerichte AI, in overeenstemming met het Handvest en de waarden waarop de Unie is gegrondvest. Volgens de richtsnoeren van de AI HLEG houdt “invloed en toezicht door mensen” in dat AI-systemen worden ontwikkeld en gebruikt als een instrument dat ten dienste staat van mensen, dat de menselijke waardigheid en persoonlijke autonomie eerbiedigt, en dat functioneert op een wijze waar mensen op passende wijze controle en toezicht op kunnen houden. “Technische robuustheid en veiligheid” betekent dat AI-systemen worden ontwikkeld op een wijze die voorziet in robuustheid in geval van problemen en in weerbaarheid tegen pogingen om het gebruik of de prestaties van het AI-systeem te wijzigen voor onrechtmatig gebruik door derden, en die onbedoelde schade tot een minimum beperkt. “Privacy en datagovernance” betekent dat AI-systemen worden ontwikkeld en gebruikt in overeenstemming met de regels inzake privacy en gegevensbescherming, en de verwerking van gegevens voldoet aan hoge normen wat kwaliteit en integriteit betreft. “Transparantie” betekent dat AI-systemen worden ontwikkeld en gebruikt op een wijze die passende traceerbaarheid en verklaarbaarheid mogelijk maakt, waarbij mensen ervan bewust worden gemaakt dat zij communiceren of interageren met een AI-systeem, en gebruiksverantwoordelijken naar behoren worden geïnformeerd over de mogelijkheden en beperkingen van dat AI-systeem en betrokken personen worden geïnformeerd over hun rechten. “Diversiteit, non-discriminatie en rechtvaardigheid” betekent dat AI-systemen zodanig worden ontwikkeld en gebruikt dat de inclusie van diverse actoren wordt gewaarborgd en dat gelijke toegang, gendergelijkheid en culturele diversiteit worden bevorderd, waarbij discriminerende effecten en onrechtvaardige vertekeningen die op grond van het Unierecht of het nationale recht verboden zijn, worden voorkomen. “Sociaal en ecologisch welzijn” betekent dat AI-systemen worden ontwikkeld en gebruikt op een duurzame en milieuvriendelijke wijze en op een manier die alle mensen ten goede komt, waarbij de langetermijneffecten op het individu, de samenleving en de democratie worden gemonitord en beoordeeld. De toepassing van die beginselen moet waar mogelijk worden vertaald in het ontwerp en het gebruik van AI-modellen. Zij moeten in ieder geval dienen als basis voor het opstellen van gedragscodes in het kader van deze verordening. Alle belanghebbenden, met inbegrip van het bedrijfsleven, de academische wereld, het maatschappelijk middenveld en normalisatieorganisaties, worden aangemoedigd om in voorkomend geval rekening te houden met de ethische beginselen voor de ontwikkeling van vrijwillige beste praktijken en normen.

Afgezien van de vele nuttige toepassingen van AI kan zij ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en abusief en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie die zijn vastgelegd in het Handvest, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.

Op AI gebaseerde manipulatietechnieken kunnen worden gebruikt om gebruikers te overtuigen zich ongewenst te gedragen en ze te misleiden door hen aan te zetten tot bepaalde beslissingen waardoor hun autonomie, besluitvorming en keuze worden ondermijnd en beperkt. Het in de handel brengen, in gebruik stellen of gebruiken van bepaalde AI-systemen met als doel of gevolg het menselijk gedrag wezenlijk te verstoren, waarbij waarschijnlijk aanzienlijke schade, met name met voldoende belangrijke negatieve gevolgen voor de fysieke of psychologische gezondheid of voor financiële belangen, zal optreden, is bijzonder gevaarlijk en moet daarom worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten zoals audio-, beeld- en videostimuli die personen niet kunnen waarnemen, omdat deze stimuli verder gaan dan de menselijke perceptie, of andere manipulatieve of bedrieglijke technieken die de autonomie, besluitvorming of vrije keuze van personen ondermijnen of beperken op wijzen waarvan mensen zich van deze technieken niet bewust zijn of waarbij, zelfs als ze zich er bewust van zijn, ze nog steeds misleid kunnen worden of hen niet kunnen beheersen of weerstaan. Dit kan bijvoorbeeld worden vergemakkelijkt door machine-hersen-interfaces of virtuele realiteit, aangezien zij een hogere mate van controle mogelijk maken over de stimuli die aan personen worden gepresenteerd, voor zover zij hun gedrag wezenlijk kunnen verstoren op een aanzienlijk schadelijke manier. Daarnaast kunnen AI-systemen ook kwetsbaarheden uitbuiten van een persoon of een specifieke groep personen als gevolg van hun leeftijd, handicap in de zin van Richtlijn (EU) 2019/882 van het Europees Parlement en de Raad (16) of een specifieke sociale of economische situatie waardoor deze personen waarschijnlijk kwetsbaarder zullen zijn voor uitbuiting, zoals personen die in extreme armoede leven of personen die tot een etnische of religieuze minderheid behoren. Dergelijke AI-systemen kunnen in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt met als doel of als gevolg dat het gedrag van een persoon wezenlijk wordt verstoord op een manier die deze persoon, een andere persoon of groepen personen aanzienlijke schade berokkent of redelijkerwijs dreigt te berokkenen, met inbegrip van schade die in de loop der tijd erger kan worden, en moeten daarom worden verboden. Er kan worden aangenomen dat er geen sprake is van een intentie om gedrag te verstoren wanneer de verstoring het gevolg is van factoren buiten het AI-systeem waarop de aanbieder of de gebruiksverantwoordelijke geen invloed heeft, namelijk factoren die redelijkerwijs niet te voorzien zijn en die de aanbieder of de gebruiksverantwoordelijke van het AI-systeem bijgevolg niet kan beperken. In ieder geval is het niet vereist dat de aanbieder of de gebruiksverantwoordelijke de intentie heeft aanzienlijke schade te berokkenen, op voorwaarde dat deze schade het gevolg is van op AI gebaseerde manipulatieve of uitbuitingspraktijken. De verbodsbepalingen voor dergelijke AI-praktijken vormen een aanvulling op de bepalingen van Richtlijn 2005/29/EG van het Europees Parlement en de Raad (17), met name die bepalingen waarin is vastgesteld dat oneerlijke handelspraktijken die tot economische of financiële schade voor consumenten leiden onder alle omstandigheden verboden zijn, ongeacht of zij via AI-systemen of anderszins tot stand worden gebracht. Het verbod op manipulatie- en uitbuitingspraktijken in deze verordening mag geen afbreuk doen aan rechtmatige praktijken in het kader van medische behandelingen, zoals psychologische behandeling van een psychische aandoening of lichamelijke revalidatie, wanneer die praktijken worden uitgevoerd overeenkomstig de toepasselijke medische normen en wetgeving, bijvoorbeeld met uitdrukkelijke toestemming van de natuurlijke personen of hun wettelijke vertegenwoordigers. Bovendien mogen gangbare en legitieme handelspraktijken, bijvoorbeeld in de reclamesector, die in overeenstemming zijn met het toepasselijke recht op zich niet worden beschouwd als schadelijke manipulatieve op AI gebaseerde praktijken.

Systemen voor biometrische categorisering die gebaseerd zijn op biometrische gegevens van natuurlijke personen, zoals het gezicht of vingerafdrukken, om de politieke opvattingen, het lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, ras, seksleven of seksuele gerichtheid van een persoon af te leiden of te infereren, moeten worden verboden. Dat verbod mag geen betrekking hebben op het rechtmatig labelen, filteren of categoriseren van reeksen biometrische gegevens die in overeenstemming met het Unierecht of het nationale recht met betrekking tot biometrische gegevens zijn verkregen, zoals het sorteren van beelden op basis van haar- of oogkleur, die bijvoorbeeld op het gebied van rechtshandhaving kunnen worden gebruikt.

AI-systemen die door publieke of door private actoren worden gebruikt om een beoordeling van natuurlijke personen (“social scoring”) uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen kunnen een schending inhouden van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren natuurlijke personen of groepen natuurlijke personen op basis van meerdere datapunten met betrekking tot hun sociale gedrag in meerdere contexten of op basis van bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken gedurende een bepaalde periode. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen natuurlijke personen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. AI-systemen die dergelijke onaanvaardbare scoringpraktijken met zich meebrengen en tot dergelijke nadelige of ongunstige resultaten leiden, moeten daarom worden verboden. Dat verbod mag geen afbreuk doen aan wettige praktijken voor de evaluatie van natuurlijke personen die worden verricht voor een specifiek doeleinde in overeenstemming met het Unierecht en het nationale recht.

Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten voor rechtshandhavingsdoeleinden wordt als bijzonder ingrijpend beschouwd voor de rechten en vrijheden van de betrokkenen, in die mate dat het de persoonlijke levenssfeer van een groot deel van de bevolking kan aantasten, een gevoel van voortdurende bewaking kan oproepen en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten kan ontmoedigen. Technische onnauwkeurigheden van AI-systemen voor biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten en discriminerende effecten leiden. Dergelijke mogelijke vertekende resultaten en discriminerende effecten zijn met name relevant met betrekking tot leeftijd, etniciteit, ras, geslacht of handicap. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de betrokken personen in de context van rechtshandhavingsactiviteiten of wanneer die personen van de rechtshandhavingsactiviteiten gevolgen ondervinden.

Het gebruik van dergelijke systemen voor rechtshandhavingsdoeleinden moet derhalve worden verboden, behalve in limitatief opgesomde en nauwkeurig omschreven situaties, waarin het gebruik strikt noodzakelijk is om een zwaarwegend algemeen belang te dienen, dat zwaarder weegt dan de risico’s. Die situaties hebben betrekking op de zoektocht naar bepaalde slachtoffers van misdrijven, waaronder vermiste personen; bepaalde bedreigingen ten aanzien van het leven of de fysieke veiligheid van natuurlijke personen of van een terroristische aanslag, en de lokalisatie of identificatie van daders of verdachten van de in een bijlage bij deze verordening genoemde strafbare feiten, indien die strafbare feiten in de betrokken lidstaat strafbaar zijn gesteld met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel met een maximumduur van ten minste vier jaar en zoals zij zijn gedefinieerd in het recht van die lidstaat. Een dergelijke drempel voor de vrijheidsstraf of de tot vrijheidsbeneming strekkende maatregel overeenkomstig het nationale recht helpt erop toe te zien dat het strafbare feit ernstig genoeg is om het gebruik van systemen voor biometrische identificatie op afstand in real time te rechtvaardigen. De in een bijlage bij deze verordening genoemde strafbare feiten zijn gebaseerd op de 32 in KaderBesluit 2002/584/JBZ van de Raad (18) genoemde strafbare feiten, ermee rekening houdend dat sommige van die strafbare feiten in de praktijk waarschijnlijk relevanter zijn dan andere, aangezien het gebruik van biometrische identificatie op afstand in real time naar verwachting in zeer uiteenlopende mate noodzakelijk en evenredig zou kunnen zijn voor de praktische uitvoering van de lokalisatie of identificatie van een dader of verdachte van de verschillende opgesomde strafbare feiten, gelet op de te verwachten verschillen in ernst, waarschijnlijkheid en omvang van de schade of de mogelijke negatieve gevolgen. Een imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen kan ook het gevolg zijn van een ernstige verstoring van kritieke infrastructuur, zoals gedefinieerd in artikel 2, punt 4), van Richtlijn (EU) 2022/2557 van het Europees Parlement en de Raad (19), wanneer de verstoring of vernietiging van dergelijke kritieke infrastructuur zou leiden tot een imminente dreiging voor het leven of de fysieke veiligheid van een persoon, onder meer door ernstige schade aan de levering van basisvoorzieningen aan de bevolking of aan de uitoefening van de kernfunctie van de staat. Daarnaast moet deze verordening de rechtshandhavingsinstanties en de grenstoezichts-, immigratie- of asielautoriteiten in staat stellen identiteitscontroles uit te voeren in aanwezigheid van de betrokken persoon overeenkomstig de voorwaarden die in het Unierecht en het nationale recht voor dergelijke controles zijn vastgelegd. Met name moeten die autoriteiten informatiesystemen kunnen gebruiken in overeenstemming met het Unierecht of het nationale recht om personen te identificeren die tijdens een identiteitscontrole weigeren te worden geïdentificeerd of niet in staat zijn hun identiteit bekend te maken of te bewijzen, zonder dat zij door deze verordening verplicht worden om voorafgaande toestemming te verkrijgen. Het kan hierbij bijvoorbeeld gaan om een persoon die betrokken is bij een misdrijf of iemand die als gevolg van een ongeval of een medische aandoening niet bereid of in staat is zijn identiteit bekend te maken aan rechtshandhavingsinstanties.

Om ervoor te zorgen dat dergelijke systemen op een verantwoorde en evenredige wijze worden gebruikt, is het ook van belang om vast te stellen dat in elk van die limitatief opgesomde en nauwkeurig omschreven situaties bepaalde elementen in aanmerking moeten worden genomen, met name wat betreft de aard van de situatie die aan het verzoek ten grondslag ligt en de gevolgen van het gebruik voor de rechten en vrijheden van alle betrokken personen, alsook de waarborgen en voorwaarden waaraan het gebruik is onderworpen. Daarnaast mag het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op rechtshandhaving alleen worden ingezet om de identiteit van de specifiek beoogde natuurlijke persoon te bevestigen en moet het worden beperkt tot wat strikt noodzakelijk qua duur en geografische en personele reikwijdte, met name rekening houdend met het bewijs of de aanwijzingen met betrekking tot de dreigingen, de slachtoffers of de dader. Het gebruik van het systeem voor biometrische identificatie op afstand in real time in openbare ruimten mag alleen worden toegestaan indien de betrokken rechtshandhavingsinstantie een in deze verordening bedoelde effectbeoordeling op het gebied van de grondrechten heeft voltooid en, tenzij anders bepaald in deze verordening, het systeem in de databank heeft geregistreerd zoals vastgelegd in deze verordening. De referentiedatabank van personen moet geschikt zijn voor elk gebruik in elk van de bovenvermelde situaties.

Voor elk gebruik van een systeem voor biometrische identificatie op afstand in real time in openbare ruimten voor rechtshandhavingsdoeleinden moet uitdrukkelijke en specifieke toestemming vereist zijn van een gerechtelijke instantie of van een onafhankelijke administratieve instantie van een lidstaat, met bindende beslissingsbevoegdheid. Deze toestemming moet in beginsel worden verkregen voordat het AI-systeem voor de identificatie van een of meer personen wordt gebruikt. Uitzonderingen op deze regel moeten worden toegestaan in naar behoren gemotiveerde dringende situaties, namelijk in situaties waarin het wegens de noodzaak om het betrokken AI-systeem te gebruiken, feitelijk en objectief onmogelijk is om vóór het begin van het gebruik toestemming te verkrijgen. In dergelijke dringende situaties moet het gebruik van het AI-systeem worden beperkt tot het absoluut noodzakelijke minimum en onderworpen zijn aan passende waarborgen en voorwaarden, zoals bepaald in de nationale wetgeving en door de rechtshandhavingsinstantie zelf vastgesteld in de context van elk afzonderlijk dringend gebruik. In dergelijke situaties moet de rechtshandhavingsinstantie onverwijld en uiterlijk binnen 24 uur om dergelijke toestemming verzoeken, met opgave van de redenen waarom zij niet eerder een verzoek daartoe heeft kunnen indienen. Indien een dergelijke toestemming wordt geweigerd, moet het gebruik van systemen voor biometrische identificatie in real time waarop dat verzoek betrekking heeft, met onmiddellijke ingang worden stopgezet en moeten alle gegevens met betrekking tot dat gebruik worden verwijderd en gewist. Onder dergelijke gegevens wordt verstaan: inputdata die rechtstreeks door een AI-systeem zijn verkregen tijdens het gebruik van een dergelijk systeem, alsook de resultaten en output van het gebruik in verband met dat verzoek. Daaronder mag niet worden verstaan: input die rechtmatig is verkregen overeenkomstig een ander Unierecht of nationaal recht. In geen geval mag een besluit dat nadelige rechtsgevolgen heeft voor een persoon uitsluitend worden genomen op basis van de output van het systeem voor biometrische identificatie op afstand.

Om hun taken overeenkomstig de eisen van deze verordening en de nationale regels uit te voeren, moeten de betrokken markttoezichtautoriteit en de nationale gegevensbeschermingsautoriteit in kennis worden gesteld van elk gebruik van het systeem voor biometrische identificatie in real time. De markttoezicht-autoriteiten en de nationale gegevensbeschermingsautoriteiten die in kennis zijn gesteld, moeten bij de Commissie een jaarverslag indienen over het gebruik van systemen voor biometrische identificatie in real time.

Voorts moet binnen het door deze verordening gestelde limitatieve kader worden vastgelegd dat een dergelijk gebruik op het grondgebied van een lidstaat overeenkomstig deze verordening alleen mogelijk mag zijn indien en voor zover de betrokken lidstaat heeft besloten om in zijn specifieke regels van nationaal recht uitdrukkelijk te voorzien in de mogelijkheid om een dergelijk gebruik toe te staan. Bijgevolg staat het de lidstaten uit hoofde van deze verordening vrij in het geheel niet in een dergelijke mogelijkheid te voorzien, dan wel slechts in een dergelijke mogelijkheid te voorzien voor een aantal van de in deze verordening genoemde doelstellingen die het toestaan van een dergelijk gebruik rechtvaardigen. Dergelijke nationale regels moeten binnen dertig dagen na de vaststelling ervan ter kennis van de Commissie worden gebracht.

Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten voor rechtshandhavingsdoeleinden brengt noodzakelijkerwijs de verwerking van biometrische gegevens met zich mee. De regels in deze verordening die, met inachtneming van bepaalde uitzonderingen, een dergelijk gebruik verbieden en die gebaseerd zijn op artikel 16 VWEU, moeten als lex specialis gelden ten aanzien van de regels inzake de verwerking van biometrische gegevens in artikel 10 van Richtlijn (EU) 2016/680, waardoor een dergelijk gebruik en de bijbehorende verwerking van biometrische gegevens limitatief worden geregeld. Daarom mogen een dergelijk gebruik en een dergelijke verwerking alleen mogelijk zijn voor zover zij verenigbaar zijn met het bij deze verordening vastgestelde kader, zonder dat er buiten dat kader ruimte is voor de bevoegde autoriteiten om, wanneer zij optreden met het oog op de rechtshandhaving, dergelijke systemen te gebruiken en dergelijke gegevens in verband daarmee te verwerken om de in artikel 10 van Richtlijn (EU) 2016/680 genoemde redenen. In die context is deze verordening niet bedoeld om de rechtsgrondslag te bieden voor de verwerking van persoonsgegevens op grond van artikel 8 van Richtlijn (EU) 2016/680. Het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten voor andere doeleinden dan rechtshandhaving, ook door bevoegde autoriteiten, mag echter niet worden opgenomen in het specifieke kader met betrekking tot dergelijk gebruik voor rechtshandhavingsdoeleinden dat bij deze verordening wordt vastgesteld. Dergelijk gebruik voor andere doeleinden dan rechtshandhaving is derhalve niet onderworpen aan het vereiste van toestemming uit hoofde van deze verordening en de toepasselijke specifieke regels van nationaal recht die aan die toestemming uitvoering kunnen geven.

Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, die geen verband houdt met het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten voor rechtshandhavingsdoeleinden zoals geregeld in deze verordening, moet blijven voldoen aan alle eisen die voortvloeien uit artikel 10 van Richtlijn (EU) 2016/680. Voor andere doeleinden dan rechtshandhaving verbieden artikel 9, lid 1, van Verordening (EU) 2016/679 en artikel 10, lid 1, van Verordening (EU) 2018/1725 de verwerking van biometrische gegevens, met inachtneming van beperkte uitzonderingen zoals bepaald in die artikelen. Bij de toepassing van artikel 9, lid 1, van Verordening (EU) 2016/679 is het gebruik van biometrische identificatie op afstand voor andere doeleinden dan rechtshandhaving reeds onderworpen aan verbodsbesluiten van nationale gegevensbeschermingsautoriteiten.

Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, gehecht aan het VEU en het VWEU, is Ierland niet gebonden door de regels die zijn vastgelegd in artikel 5, lid 1, eerste alinea, punt g), voor zover dit van toepassing is op het gebruik van systemen voor biometrische categorisering voor activiteiten op het gebied van politiële samenwerking en justitiële samenwerking in strafzaken, artikel 5, lid 1, eerste alinea, punt d), voor zover het van toepassing is op het gebruik van onder die bepaling vallende AI-systemen, artikel 5, lid 1, eerste alinea, punt h), artikel 5, leden 2 tot en met 6, en artikel 26, lid 10, van deze verordening, en die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van hoofdstuk 4 of 5 van titel V van het derde deel van het VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd.

Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, gehecht aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, eerste alinea, punt g), voor zover dit van toepassing is op het gebruik van systemen voor biometrische categorisering voor activiteiten op het gebied van politiële samenwerking en justitiële samenwerking in strafzaken, artikel 5, lid 1, eerste alinea, punt d), voor zover het van toepassing is op het gebruik van onder die bepaling vallende AI-systemen, artikel 5, lid 1, eerste alinea, punt h), artikel 5, leden 2 tot en met 6, en artikel 26, lid 10, van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van hoofdstuk 4 of 5 van titel V van het derde deel van het VWEU, niet bindend voor, noch van toepassing op Denemarken.

In overeenstemming met het vermoeden van onschuld moeten natuurlijke personen in de Unie altijd worden beoordeeld op hun feitelijke gedrag. Natuurlijke personen mogen nooit worden beoordeeld op basis van door AI voorspeld gedrag dat uitsluitend gebaseerd is op hun profilering, persoonlijkheidskenmerken of kenmerken, zoals nationaliteit, geboorteplaats, verblijfplaats, aantal kinderen, schuldniveau of type auto, zonder een redelijk vermoeden dat die persoon betrokken is bij een criminele activiteit op basis van objectieve, verifieerbare feiten en zonder menselijke beoordeling daarvan. Daarom moeten risicobeoordelingen die met betrekking tot natuurlijke personen worden uitgevoerd, uitsluitend op basis van profilering of beoordeling van hun persoonlijkheidskenmerken en kenmerken, om de waarschijnlijkheid dat zij strafbare feiten plegen, te beoordelen, of om te voorspellen dat er een feitelijk of potentieel strafbaar feit zal plaatsvinden, worden verboden. In elk geval heeft dat verbod geen betrekking op risicoanalyses die niet zijn gebaseerd op de profilering van natuurlijke personen of op de persoonlijkheidskenmerken en kenmerken van natuurlijke personen, zoals AI-systemen die gebruikmaken van risicoanalyses om de waarschijnlijkheid van financiële fraude door ondernemingen te beoordelen op basis van verdachte transacties, of van risicoanalyse-instrumenten om de waarschijnlijkheid van vondsten van verdovende middelen of illegale goederen door douaneautoriteiten te voorspellen, bijvoorbeeld op basis van bekende smokkelroutes.

Het in de handel brengen, het in gebruik stellen voor dat specifieke doel en het gebruiken van AI-systemen die databanken voor gezichtsherkenning creëren of uitbreiden door middel van de niet-gerichte scraping van gezichtsopnamen van het internet of CCTV-beelden, moeten worden verboden omdat dergelijke praktijken het gevoel van grootschalig toezicht vergroten en kunnen leiden tot grove schendingen van de grondrechten, waaronder het recht op privacy.

Er bestaat ernstige bezorgdheid over de wetenschappelijke basis van AI-systemen die gericht zijn op het identificeren of afleiden van emoties, met name omdat emoties sterk uiteenlopen tussen culturen en situaties, en zelfs bij één persoon. Tot de belangrijkste tekortkomingen van dergelijke systemen behoren de beperkte betrouwbaarheid, het gebrek aan specificiteit en de beperkte veralgemeenbaarheid. Daarom kunnen AI-systemen die emoties of intenties van natuurlijke personen identificeren of afleiden op basis van hun biometrische gegevens, tot discriminerende resultaten leiden en inbreuk maken op de rechten en vrijheden van de betrokken personen. Gezien de ongelijke machtsverhoudingen in de context van werk of onderwijs, in combinatie met het ingrijpende karakter van deze systemen, kunnen dergelijke systemen leiden tot een nadelige of ongunstige behandeling van bepaalde natuurlijke personen of hele groepen personen. Daarom moeten het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen die bedoeld zijn om te worden gebruikt om de emotionele toestand van natuurlijke personen in situaties die verband houden met de werkplek en het onderwijs te detecteren, worden verboden. Dat verbod mag geen betrekking hebben op AI-systemen die uitsluitend om medische of veiligheidsredenen in de handel worden gebracht, zoals systemen die bedoeld zijn voor therapeutisch gebruik.

Deze verordening moet praktijken die verboden zijn uit hoofde van het Unierecht, met inbegrip van het gegevensbeschermingsrecht, het non-discriminatierecht, het recht inzake consumentenbescherming, en het mededingingsrecht, onverlet laten.

AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, zoals die door het recht van de Unie worden erkend en beschermd. Op basis van het nieuwe wetgevingskader, zoals verduidelijkt in de mededeling van de Commissie “De Blauwe Gids van 2022: richtlijnen voor de uitvoering van de productvoorschriften van de EU” (20), luidt de algemene regel dat meer dan een rechtshandeling van de harmonisatiewetgeving van de Unie, zoals de Verordeningen (EU) 2017/745 (21) en (EU) 2017/746 (22) van het Europees Parlement en de Raad of Richtlijn 2006/42/EG van het Europees Parlement en de Raad (23), op één product van toepassing kan zijn, aangezien het aanbieden of in gebruik stellen van het product alleen kan plaatsvinden wanneer het product voldoet aan alle toepasselijke harmonisatiewetgeving van de Unie. Om consistentie te waarborgen en onnodige administratieve lasten of kosten te vermijden, moeten aanbieders van een product dat een of meer AI-systemen met een hoog risico bevat waarop de eisen van deze verordening en van de harmonisatiewetgeving van de Unie zoals vermeld in een bijlage bij deze verordening van toepassing zijn, flexibel zijn met betrekking tot operationele beslissingen over hoe ervoor kan worden gezorgd dat een product dat een of meer AI-systemen bevat, op optimale wijze voldoet aan alle toepasselijke eisen van die harmonisatiewetgeving van de Unie. De aanmerking als AI-systeem met een hoog risico, moet worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en daarbij moeten potentiële restricties voor de internationale handel tot een minimum worden beperkt.

AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als veiligheidscomponenten van producten. Overeenkomstig de in de harmonisatiewetgeving van de Unie beoogde doelstellingen om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn.

Een bijzonder relevante factor voor de classificering van een AI-systeem als AI-systeem met een hoog risico, is de omvang van de door het AI-systeem veroorzaakte nadelige effecten op de grondrechten die door het Handvest worden beschermd. Onder die rechten zijn begrepen: het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, het recht op non-discriminatie, het recht op onderwijs, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, gendergelijkheid, intellectuele-eigendomsrechten, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, alsook het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het Handvest en in het Verdrag van de Verenigde Naties inzake de rechten van het kind, nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving, waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Ook het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is vastgelegd en in het beleid van de Unie wordt uitgevoerd, moet in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, onder meer met betrekking tot de gezondheid en de veiligheid van personen.

Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad (24), Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad (25), Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad (26), Richtlijn 2014/90/EU van het Europees Parlement en de Raad (27), Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad (28), Verordening (EU) 2018/858 van het Europees Parlement en de Raad (29), Verordening (EU) 2018/1139 van het Europees Parlement en de Raad (30), en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad (31), moeten die handelingen worden gewijzigd om ervoor te zorgen dat de Commissie, op basis van de technische en regelgeving van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings- en handhavingsmechanismen en autoriteiten die daarbij zijn ingesteld, rekening houdt met de in deze verordening vastgelegde dwingende eisen voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen desbetreffende gedelegeerde of uitvoeringshandelingen vaststelt.

Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde in een bijlage bij deze verordening vermelde harmonisatiewetgeving van de Unie vallen, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico te classificeren indien het betrokken product de conformiteits-beoordelingsprocedure ondergaat bij een conformiteitsbeoordelingsinstantie op grond van die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen, medische hulpmiddelen voor in-vitrodiagnostiek, de automobiel- en de luchtvaartsector.

De classificatie van een AI-systeem als een AI-systeem met een hoog risico op grond van deze verordening hoeft niet te betekenen dat het product waarvan het AI-systeem de veiligheidscomponent is, of het AI-systeem zelf als product, als “een systeem met een hoog risico” wordt beschouwd volgens de criteria die zijn vastgelegd in de toepasselijke harmonisatiewetgeving van de Unie die op het product van toepassing is. Dit is met name het geval voor de Verordeningen (EU) 2017/745 en (EU) 2017/746, waarin wordt voorzien in een conformiteitsbeoordeling door een derde partij voor producten met een middelgroot risico en producten met een hoog risico.

Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, moeten als AI-systemen met een hoog risico worden geclassificeerd indien zij, gelet op het beoogde doel, een hoog risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen, rekening houdend met zowel de ernst van de mogelijke schade als de waarschijnlijkheid dat deze zich voordoet, en indien zij worden gebruikt op een aantal in deze verordening beschreven, specifieke en vooraf bepaalde gebieden. De identificatie van die systemen is gebaseerd op dezelfde methode en criteria die ook worden overwogen voor toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico die de Commissie via gedelegeerde handelingen moet kunnen vaststellen om rekening te houden met het snelle tempo van de technologische ontwikkeling en met de mogelijke veranderingen in het gebruik van AI-systemen.

Het is ook belangrijk te verduidelijken dat er specifieke gevallen kunnen zijn waarin AI-systemen die worden gebruikt op in deze verordening beschreven, specifieke gebieden, niet leiden tot een aanzienlijk risico op schade aan de juridische belangen die op die gebieden worden beschermd, omdat zij de besluitvorming niet wezenlijk beïnvloeden of die belangen niet wezenlijk schaden. Voor de toepassing van deze verordening moet een AI-systeem dat het resultaat van de besluitvorming niet wezenlijk beïnvloedt, worden beschouwd als een AI-systeem dat geen invloed heeft op de inhoud, en daarmee op het resultaat, van de menselijke of geautomatiseerde besluitvorming. Er kan sprake zijn van een AI-systeem dat het resultaat van de besluitvorming niet wezenlijk beïnvloedt, indien aan een of meer van de volgende voorwaarden is voldaan. De eerste voorwaarde luidt dat het AI-systeem bedoeld moet zijn om een enge procedurele taak uit te voeren, zoals een AI-systeem dat ongestructureerde data omzet in gestructureerde data, een AI-systeem dat binnenkomende documenten classificeert in categorieën of een AI-systeem dat wordt gebruikt om binnen een groot aantal aanvragen dubbels op te sporen. Dergelijke taken zijn dermate specifiek en beperkt dat zij slechts beperkte risico’s met zich meebrengen, die niet toenemen door gebruik van een AI-systeem in een context die in een bijlage bij deze verordening als gebruik met een hoog risico is opgenomen. De tweede voorwaarde is dat de door het AI-systeem uitgevoerde taak bedoeld moet zijn om het resultaat te verbeteren van een eerder voltooide menselijke activiteit die relevant kan zijn in voor de in een lijst in een bijlage bij deze verordening vermelde gevallen van hoog-risicogebruik. Die kenmerken in beschouwing genomen, voegt het AI-systeem slechts een extra laag toe aan een menselijke activiteit, en houdt dit bijgevolg een lager risico in. Dit is bijvoorbeeld het geval voor AI-systemen die bedoeld zijn om de taal van eerder opgestelde documenten te verbeteren, bijvoorbeeld met betrekking tot professionele toon of academische stijl, of door een tekst af te stemmen op een bepaalde merkboodschap. Als derde voorwaarde geldt dat het AI-systeem bedoeld moet zijn om besluitvormings-patronen of afwijkingen van eerdere besluitvormingspatronen op te sporen. Het risico zou in dergelijke gevallen lager liggen omdat het AI-systeem wordt gebruikt na een eerder afgeronde menselijke beoordeling en het niet de bedoeling is dat het AI-systeem deze vervangt of wijzigt zonder gedegen menselijke toetsing. Dergelijke AI-systemen omvatten bijvoorbeeld systemen die, aan de hand van een bepaald beoordelingspatroon van een leerkracht, achteraf kunnen worden gebruikt om na te gaan of de leerkracht mogelijk van dat patroon is afgeweken, en zo mogelijke inconsistenties of anomalieën te signaleren. De vierde voorwaarde houdt in dat het AI-systeem bedoeld moet zijn om een taak uit te voeren die slechts dient ter voorbereiding van een beoordeling die relevant is voor de in een bijlage bij deze verordening vermelde AI-systemen, waardoor het mogelijke effect van de output van het systeem een zeer laag risico inhoudt voor de beoordeling die erop volgt. Daarbij kan het onder meer gaan over slimme oplossingen voor bestandsbeheer, waaronder verschillende functies zoals indexering, opzoeking, tekst- en spraakverwerking of het koppelen van gegevens aan andere gegevensbronnen, of AI-systemen die worden gebruikt voor de vertaling van brondocumenten. In elk geval moeten AI-systemen die worden gebruikt in een bijlage bij deze verordening vermelde gevallen van gebruik met een hoog risico worden geacht een aanzienlijk risico te vormen op schade aan de gezondheid, veiligheid of grondrechten indien het AI-systeem profilering inhoudt in de zin van artikel 4, punt 4), van Verordening (EU) 2016/679 of artikel 3, punt 4), van Richtlijn (EU) 2016/680 of artikel 3, punt 5), van Verordening (EU) 2018/1725. Om de traceerbaarheid en transparantie te waarborgen, moet een aanbieder die op basis van de hierboven vermelde voorwaarden van mening is dat een AI-systeem geen hoog risico vormt, documentatie van de beoordeling opstellen voordat dat systeem in de handel wordt gebracht of in gebruik wordt gesteld, en moet hij deze documentatie op verzoek aan de nationale bevoegde autoriteiten verstrekken. Een dergelijke aanbieder moet worden verplicht het AI-systeem te registreren in de EU-databank die bij deze verordening wordt opgezet. Met het oog op het verstrekken van verdere richtsnoeren voor de praktische uitvoering van de voorwaarden waaronder de in een bijlage bij deze verordening vermelde AI-systemen bij wijze van uitzondering geen hoog risico vormen, moet de Commissie, na raadpleging van de AI-board, richtsnoeren verstrekken waarin die praktische uitvoering wordt uiteengezet, aangevuld met een uitgebreide lijst van praktische voorbeelden van gebruiksgevallen van AI-systemen met een hoog risico en van gebruiksgevallen van AI-systemen zonder hoog risico.

Aangezien biometrische gegevens een bijzondere categorie persoonsgegevens vormen, is het passend verschillende gevallen van kritiek gebruik van biometrische systemen te classificeren als gebruik met een hoog risico, voor zover het gebruik is toegestaan op grond van het toepasselijke Unierecht en nationale recht. Technische onnauwkeurigheden van AI-systemen voor de biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten en discriminerende effecten leiden. Het risico op dergelijke vertekende resultaten en discriminerende effecten is met name relevant wanneer zij betrekking hebben op leeftijd, etniciteit, ras, geslacht of handicap. Systemen voor biometrische identificatie op afstand moeten daarom worden geclassificeerd als systemen met een hoog risico, gezien de risico’s die zij met zich meebrengen. Een dergelijke classificatie geldt niet voor AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie, met inbegrip van authenticatie, met als enige doel te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die die persoon beweert te zijn, en de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie. Daarnaast moeten AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische categorisering op basis van krachtens artikel 9, lid 1, van Verordening (EU) 2016/679 beschermde gevoelige eigenschappen of kenmerken op basis van biometrische gegevens, voor zover deze niet verboden zijn op grond van deze verordening, en systemen voor het herkennen van emoties die niet verboden zijn op grond van deze verordening, worden geclassificeerd als systemen met een hoog risico. Biometrische systemen die uitsluitend bedoeld zijn om te worden gebruikt om cyberbeveiligings- en persoonsgegevensbeschermingsmaatregelen mogelijk te maken, mogen niet als AI-systemen met een hoog risico worden beschouwd.

Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponent bij het beheer en de exploitatie van kritieke digitale infrastructuur als opgenomen in bijlage I, punt 8), van Richtlijn (EU) 2022/2557, wegverkeer en de levering van water, gas, verwarming en elektriciteit, te classificeren als systemen met een hoog risico, aangezien het falen of gebrekkig functioneren hiervan een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en kan leiden tot aanzienlijke verstoringen van de normale beoefening van sociale en economische activiteiten. Veiligheidscomponenten van kritieke infrastructuur, waaronder kritieke digitale infrastructuur, zijn systemen die worden gebruikt om de fysieke integriteit van kritieke infrastructuur of de gezondheid en veiligheid van personen en eigendommen rechtstreeks te beschermen, maar die niet noodzakelijk zijn voor de werking van het systeem. Het falen of gebrekkig functioneren van dergelijke componenten kan direct leiden tot risico’s voor de fysieke integriteit van kritieke infrastructuur en bijgevolg tot risico’s voor de gezondheid en veiligheid van personen en eigendommen. Componenten die uitsluitend voor cyberbeveiligingsdoeleinden zijn bestemd, mogen niet als veiligheidscomponenten worden aangemerkt. Voorbeelden van veiligheidscomponenten van dergelijke kritieke infrastructuur zijn systemen voor de monitoring van waterdruk of brandalarminstallaties in centra voor cloud computing.

Het inzetten van AI-systemen in het onderwijs is belangrijk om digitaal onderwijs en digitale opleidingen van hoge kwaliteit te bevorderen en om alle lerenden en leerkrachten in staat te stellen de nodige digitale vaardigheden en competenties te verwerven en te delen, met inbegrip van mediageletterdheid, en kritisch denken, om actief deel te nemen aan de economie, de samenleving en democratische processen. AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, met name voor het bepalen van toegang of toelating, voor het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of programma’s op alle niveaus, voor het evalueren van leerresultaten van personen, voor de beoordeling van het passende onderwijsniveau voor een persoon en het uitoefenen van wezenlijke invloed op het niveau van onderwijs en opleiding dat aan die persoon zal worden verstrekt of waartoe die persoon toegang zal kunnen krijgen, of voor het monitoren en opsporen van ongeoorloofd gedrag van studenten tijdens tests, moeten echter als AI-systemen met een hoog risico worden geclassificeerd, aangezien ze bepalend kunnen zijn voor de onderwijs- en beroepsloopbaan van die persoon en derhalve invloed kunnen hebben op zijn vermogen om in zijn levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij bijzonder ingrijpend zijn en in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden, bijvoorbeeld ten nadele van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid.

AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de werving en selectie van personen, voor het nemen van besluiten die van invloed zijn op de voorwaarden van arbeidsgerelateerde betrekkingen, de bevordering en beëindiging van arbeidsgerelateerde contractuele betrekkingen, voor het toewijzen van taken op basis van individueel gedrag of persoonlijke eigenschappen of kenmerken, en voor monitoring of evaluatie van personen in arbeidsgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen, alsook voor de rechten van werknemers. Relevante arbeidsgerelateerde contractuele betrekkingen moeten, op betekenisvolle wijze, werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Dergelijke systemen kunnen er in het wervingsproces en bij de evaluatie, de promotie of het behoud van personen in arbeidsgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld ten aanzien van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook afbreuk doen aan hun grondrechten inzake gegevensbescherming en privacy.

Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. Met name natuurlijke personen die essentiële overheidsuitkeringen en -diensten van overheidsinstanties aanvragen of ontvangen, namelijk gezondheidszorg, socialezekerheidsuitkeringen, sociale diensten die bescherming bieden in gevallen zoals moederschap, ziekte, arbeidsongevallen, afhankelijkheid of ouderdom en verlies van werkgelegenheid en sociale bijstand en bijstand voor huisvesting, zijn doorgaans afhankelijk van deze uitkeringen en diensten en bevinden zich in een kwetsbare positie ten opzichte van de bevoegde autoriteiten. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden verleend, geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, alsook of begunstigden daadwerkelijk recht hebben op dergelijke uitkeringen of diensten, kunnen deze systemen aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte, en moeten zij derhalve als AI-systemen met een hoog risico worden geclassificeerd. Deze verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die baat zou hebben bij een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Voorts moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dergelijke doeleinden worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen, en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, gender, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. AI-systemen waarin het Unierecht voorziet voor het opsporen van fraude bij het aanbieden van financiële diensten en voor prudentiële doeleinden om de kapitaalvereisten van kredietinstellingen en verzekeringsondernemingen te berekenen, mogen echter niet worden beschouwd als AI-systemen met een hoog risico uit hoofde van deze verordening. Daarnaast kunnen AI-systemen die bedoeld zijn om te worden gebruikt voor risicobeoordeling en prijsstelling met betrekking tot natuurlijke personen voor gezondheids- en levensverzekeringen ook aanzienlijke gevolgen hebben voor het levensonderhoud van personen en kunnen zij, indien zij niet naar behoren zijn ontworpen, ontwikkeld en gebruikt, inbreuk maken op hun grondrechten en ernstige gevolgen hebben voor het leven en de gezondheid van mensen, waaronder financiële uitsluiting en discriminatie. Tot slot moeten AI-systemen die worden gebruikt voor het evalueren en classificeren van noodoproepen van natuurlijke personen of om hulpdiensten, met inbegrip van politiediensten, brandweer en medische hulp, uit te sturen of hierbij voorrang te bepalen, alsook systemen voor de triage van patiënten bij dringende medische zorg, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen in zeer kritieke situaties voor het leven en de gezondheid van personen en hun eigendom.

Gezien hun rol en verantwoordelijkheid worden maatregelen van rechtshandhavings-instanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen deze leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende eisen wat betreft de prestaties, de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren, voor zover het gebruik daarvan is toegestaan op grond van het toepasselijke Unierecht en nationale recht. Met het oog op de aard van de activiteiten en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door of namens rechtshandhavingsinstanties of instellingen, organen of instanties van de Unie ter ondersteuning van rechtshandhavingsinstanties te worden gebruikt voor het beoordelen van het risico dat een natuurlijk persoon potentieel slachtoffer van strafbare feiten wordt, zoals leugendetectortests en vergelijkbare instrumenten, voor het beoordelen van de betrouwbaarheid van bewijsmateriaal tijdens het onderzoek naar of de vervolging van strafbare feiten en, voor zover niet verboden op grond van deze verordening, voor het beoordelen van het risico dat een natuurlijk persoon een inbreuk pleegt of recidive pleegt, niet uitsluitend op basis van de profilering van natuurlijke personen of de beoordeling van persoonlijkheidskenmerken of het criminele gedrag van natuurlijke personen of groepen in het verleden, voor profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten en door financiële-inlichtingeneenheden die administratieve taken uitvoeren en informatie analyseren overeenkomstig de antiwitwaswetgeving van de Unie, mogen niet worden geclassificeerd als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. Het gebruik van AI-instrumenten door rechtshandhavingsinstanties en andere relevante autoriteiten mag geen factor van ongelijkheid of uitsluiting worden. De gevolgen van het gebruik van AI-instrumenten voor de rechten van verdediging van verdachten mogen niet worden genegeerd, met name het probleem om betekenisvolle informatie over de werking van die systemen te verkrijgen, en het daaruit voortvloeiende probleem om de resultaten daarvan voor de rechtbank aan te vechten, met name door natuurlijke personen tegen wie een onderzoek loopt.

AI-systemen die worden gebruikt op het gebied van migratie, asiel en grenstoezichtsbeheer hebben gevolgen voor personen die vaak in een bijzonder kwetsbare positie verkeren en die afhankelijk zijn van de uitkomst van de acties van de bevoegde overheidsinstanties. De nauwkeurigheid, niet-discriminerende aard en transparantie van de AI-systemen die in deze context worden gebruikt, zijn derhalve van bijzonder belang om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name hun recht op vrij verkeer, non-discriminatie, bescherming van privéleven en persoonsgegevens, internationale bescherming en goed bestuur. Het is derhalve passend om AI-systemen, voor zover het gebruik daarvan is toegestaan op grond van het toepasselijke Unierecht en nationale recht, als systemen met een hoog risico te classificeren wanneer zij bedoeld zijn om te worden gebruikt door of namens de bevoegde overheidsinstanties of instellingen, organen of instanties van de Unie die taken op het gebied van migratie, asiel en grenstoezichtsbeheer uitvoeren, zoals leugendetectortests en vergelijkbare instrumenten, om bepaalde risico’s te beoordelen die natuurlijke personen vormen die het grondgebied van een lidstaat binnenkomen of een visum- of asielaanvraag indienen, om bevoegde overheidsinstanties bij te staan bij de behandeling, met inbegrip van een gerelateerde beoordeling van de betrouwbaarheid van bewijsmateriaal, van aanvragen voor asiel, visa en verblijfsvergunningen en hieraan gerelateerde klachten teneinde vast te stellen of de natuurlijke personen die een status aanvragen, hiervoor in aanmerking komen, met het oog op het opsporen, het herkennen of identificeren van natuurlijke personen in het kader van migratie, asiel en grenstoezichtsbeheer, met uitzondering van de verificatie van reisdocumenten. AI-systemen op het gebied van migratie, asiel en grenstoezichtsbeheer die onder deze verordening vallen, moeten in overeenstemming zijn met de desbetreffende procedurele eisen die zijn vastgelegd in Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad (32), Richtlijn 2013/32/EU van het Europees Parlement en de Raad (33) en ander toepasselijk Unierecht. Het gebruik van AI-systemen in het kader van migratie, asiel en grenstoezichtsbeheer mag in geen geval door de lidstaten of de instellingen, organen of instanties van de Unie worden gebruikt als middel om hun internationale verplichtingen uit hoofde van het VN-Verdrag betreffende de status van vluchtelingen, ondertekend te Genève op 28 juli 1951 en gewijzigd bij het Protocol van 31 januari 1967, te omzeilen. Evenmin mogen zij worden gebruikt om op enigerlei wijze inbreuk te maken op het beginsel van non-refoulement of om veilige en doeltreffende legale wegen naar het grondgebied van de Unie te ontzeggen, met inbegrip van het recht op internationale bescherming.

Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen met een hoog risico die bedoeld zijn om door of namens een gerechtelijke instantie te worden gebruikt voor de ondersteuning van gerechtelijke autoriteiten bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, als systemen met een hoog risico aan te merken. AI-systemen die bedoeld zijn om door organen voor alternatieve geschillenbeslechting voor die doeleinden te worden gebruikt, moeten ook als systemen met een hoog risico worden beschouwd indien de resultaten van de alternatieve geschillenbeslechtingsprocedure rechtsgevolgen hebben voor de partijen. Het gebruik van AI-instrumenten kan de beslissingsbevoegdheid van rechters of de onafhankelijkheid van de rechterlijke macht ondersteunen, maar mag deze niet vervangen: de uiteindelijke besluitvorming moet een door de mens aangestuurde activiteit blijven. De classificatie van AI-systemen als AI-systemen met een hoog risico mag echter geen AI-systemen betreffen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden en administratieve taken.

Onverminderd de regels van Verordening (EU) 2024/900 van het Europees Parlement en de Raad (34), en om de risico’s van ongepaste externe inmenging van buitenaf in het in artikel 39 van het Handvest verankerde stemrecht en van onevenredige gevolgen voor democratische processen, democratie en de rechtsstaat aan te pakken, moeten AI-systemen die bedoeld zijn om de uitslag van een verkiezing of referendum of het stemgedrag van natuurlijke personen wanneer zij hun stem uitbrengen bij verkiezingen of referenda te beïnvloeden, worden geclassificeerd als AI-systemen met een hoog risico, met uitzondering van AI-systemen waarvan de output niet rechtstreeks is gericht op natuurlijke personen, zoals instrumenten voor het organiseren, optimaliseren en structureren van politieke campagnes vanuit administratief en logistiek oogpunt.

Het feit dat een AI-systeem uit hoofde van deze verordening als een AI-systeem met een hoog risico is geclassificeerd, mag niet aldus worden uitgelegd dat het gebruik van het systeem rechtmatig is op grond van andere handelingen van het Unierecht of op grond van nationaal recht dat verenigbaar is met het Unierecht, zoals met betrekking tot de bescherming van de persoonsgegevens, het gebruik van leugendetectors en vergelijkbare instrumenten of andere systemen voor het bepalen van de gemoedstoestand van natuurlijke personen. Een dergelijk gebruik mag nog steeds uitsluitend plaatsvinden in overeenstemming met de toepasselijke eisen die voortvloeien uit het Handvest en de toepasselijke handelingen van secundair Unierecht en nationaal recht. Deze verordening mag niet aldus worden uitgelegd dat zij voorziet in de rechtsgrondslag voor de verwerking van persoonsgegevens, met inbegrip van bijzondere categorieën persoonsgegevens, waar van toepassing, tenzij in deze verordening uitdrukkelijk anders is bepaald.

Om de risico’s van AI-systemen met een hoog risico die in de handel zijn gebracht of in gebruik zijn gesteld te beperken en om te zorgen voor een hoog niveau van betrouwbaarheid, moeten op AI-systemen met een hoog risico bepaalde dwingende eisen van toepassing zijn, rekening houdend met het beoogde doel en de context van het gebruik van het AI-systeem en in overeenstemming met het systeem voor risicobeheer dat door de aanbieder wordt vastgesteld. De maatregelen die de aanbieders met het oog op het voldoen aan de dwingende eisen van deze verordening hebben vastgesteld, moeten rekening gehouden met de algemeen erkende stand van de techniek op het gebied van AI, evenredig en doeltreffend zijn teneinde de doelstellingen van deze verordening te verwezenlijken. Op basis van het nieuwe wetgevingskader, zoals uiteengezet in de mededeling van de Commissie “De “Blauwe Gids” voor de uitvoering van de productvoorschriften van de EU 2022”, is de algemene regel dat meer dan een rechtshandeling van de harmonisatiewetgeving van de Unie van toepassing kan zijn op één product, aangezien een product alleen mag worden aangeboden of in gebruik worden gesteld wanneer het voldoet aan alle toepasselijke harmonisatiewetgeving van de Unie. De gevaren van AI-systemen die onder de eisen van deze verordening vallen, hebben betrekking op andere aspecten dan de bestaande harmonisatiewetgeving van de Unie en daarom zouden de eisen van deze verordening een aanvulling vormen op het bestaande corpus van de harmonisatiewetgeving van de Unie. Machines of medische hulpmiddelen die een AI-systeem bevatten, kunnen bijvoorbeeld risico’s inhouden die niet worden gedekt door de essentiële gezondheids- en veiligheidseisen van de toepasselijke geharmoniseerde wetgeving van de Unie, aangezien die sectorale wetgeving geen betrekking heeft op risico’s die specifiek zijn voor AI-systemen. Dit vereist een gezamenlijke en aanvullende toepassing van de verschillende wetgeving. Om consistentie te waarborgen en onnodige administratieve lasten en onnodige kosten te vermijden, moeten aanbieders van een product dat een of meer AI-systemen met een hoog risico bevat waarop de eisen van deze verordening en van de in een bijlage bij deze verordening vermelde harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader van toepassing zijn, flexibel zijn met betrekking tot operationele beslissingen over de wijze waarop ervoor kan worden gezorgd dat een product dat een of meer AI-systemen bevat, op optimale wijze voldoet aan alle toepasselijke eisen van die geharmoniseerde wetgeving van de Unie. Die flexibiliteit kan bijvoorbeeld inhouden dat de aanbieder besluit om een deel van de nodige test- en rapportageprocessen en de krachtens deze verordening te verstrekken informatie en documentatie op te nemen in de reeds bestaande documentatie en procedures die vereist zijn uit hoofde van bestaande harmonisatiewetgeving van de Unie die is gebaseerd is op het nieuwe wetgevingskader en in een bijlage bij deze verordening wordt vermeld. Dit mag op geen enkele wijze afbreuk doen aan de verplichting van de aanbieder om aan alle toepasselijke eisen te voldoen.

Het systeem voor risicobeheer moet bestaan uit een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces. Dit proces moet gericht zijn op het vaststellen en beperken van de relevante risico’s van AI-systemen voor de gezondheid, de veiligheid en de grondrechten. Het systeem voor risicobeheer moet periodiek worden geëvalueerd en geactualiseerd om de blijvende doeltreffendheid ervan te waarborgen, alsook de motivering en de documentatie van eventuele significante besluiten en maatregelen die op grond van deze verordening zijn genomen. Dit proces moet ervoor zorgen dat de aanbieder de risico’s of negatieve effecten vaststelt en risicobeperkende maatregelen uitvoert voor de bekende en de redelijkerwijs te voorziene risico’s van AI-systemen voor de gezondheid, veiligheid en grondrechten in het licht van het beoogde doel ervan en redelijkerwijs te voorzien misbruik, met inbegrip van de mogelijke risico’s die voortvloeien uit de wisselwerking tussen het AI-systeem en de omgeving waarin het werkt. Het systeem voor risicobeheer moet de passendste risicobeheersmaatregelen vaststellen in het licht van de stand van de techniek op het gebied van AI. Bij het vaststellen van de passendste risicobeheersmaatregelen moet de aanbieder de gemaakte keuzes documenteren en toelichten en, in voorkomend geval, deskundigen en externe belanghebbenden erbij betrekken. Bij het vaststellen van het redelijkerwijs te voorzien misbruik van AI-systemen met een hoog risico moet de aanbieder aandacht hebben voor het gebruik van AI-systemen waarvan, hoewel zij niet rechtstreeks onder het beoogde doel vallen en niet in de gebruiksinstructies worden vermeld, redelijkerwijs mag worden verwacht dat zij kunnen voortvloeien uit gemakkelijk voorspelbaar menselijk gedrag in de context van de specifieke kenmerken en het gebruik van een bepaald AI-systeem. Eventuele bekende of te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik die kunnen leiden tot risico’s voor de gezondheid en veiligheid of de grondrechten, moeten worden opgenomen in de gebruiksinstructies die de aanbieder ter beschikking heeft gesteld. Dit moet ervoor zorgen dat de gebruiksverantwoordelijke hiervan op de hoogte is en hiermee rekening houdt bij het gebruik van het AI-systeem met een hoog risico. Het vaststellen en uitvoeren van risicobeperkende maatregelen voor te voorzien misbruik uit hoofde van deze verordening mag van de aanbieder geen voor het AI-systeem met een hoog risico specifieke aanvullende training vergen om te voorzien misbruik aan te pakken. De aanbieders worden echter aangemoedigd dergelijke aanvullende trainingsmaatregelen te overwegen om redelijkerwijs te voorzien misbruik waar nodig en passend te beperken.

Op AI-systemen met een hoog risico moeten eisen van toepassing zijn met betrekking tot risicobeheer, de kwaliteit en relevantie van de gebruikte datasets, technische documentatie en registratie, transparantie en het verstrekken van informatie aan gebruiksverantwoordelijken, menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging. Deze eisen zijn noodzakelijk om de risico’s voor de gezondheid, veiligheid en grondrechten te verminderen. Aangezien er geen andere maatregelen die de handel in mindere mate beperken, redelijkerwijs beschikbaar zijn, vormen die eisen geen ongerechtvaardigde beperkingen van de handel.

Kwalitatief hoogwaardige data en de toegang hiertoe is van wezenlijk belang voor het bieden van structuur en het waarborgen van de prestaties van veel AI-systemen, met name wanneer technieken worden gebruikt waarbij modellen worden getraind, om ervoor te zorgen dat AI-systemen met een hoog risico zoals beoogd en veilig werken en geen bron van discriminatie worden die uit hoofde van het Unierecht verboden is. Kwalitatief hoogwaardige datasets voor training, validatie en tests vereisen de uitvoering van passende praktijken voor datagovernance en -beheer. Datasets voor training, validatie en tests, met inbegrip van het labelen ervan, moeten relevant, voldoende representatief, en zoveel mogelijk foutenvrij en volledig met het oog op het beoogde doel van het systeem zijn. Om de naleving van het Unierecht inzake gegevensbescherming, zoals Verordening (EU) 2016/679, te vergemakkelijken, moeten praktijken voor datagovernance en beheer, in het geval van persoonsgegevens, transparantie met betrekking tot het oorspronkelijke doel van de dataverzameling omvatten. De datasets moeten bovendien de passende statistische kenmerken hebben, waaronder met betrekking tot de personen of groepen personen in verband met wie de AI-systemen met een hoog risico moeten worden gebruikt, met bijzondere aandacht voor het tegengaan van mogelijke vertekeningen in de datasets, die waarschijnlijk gevolgen hebben voor de gezondheid en de veiligheid van personen, nadelige effecten hebben op de grondrechten, of leiden tot discriminatie die op grond van het Unierecht verboden is, vooral wanneer data-outputs invloed hebben op inputs voor toekomstige operaties (“feedback loops”). Vertekeningen kunnen bijvoorbeeld inherent zijn aan de onderliggende datasets, met name wanneer historische gegevens worden gebruikt of gegenereerd wanneer de systemen onder reële omstandigheden worden toegepast. De resultaten die door AI-systemen worden aangeboden, kunnen worden beïnvloed door dergelijke inherente vertekeningen, die vaak geleidelijk groter worden en daarmee bestaande discriminatie bestendigen en verergeren, met name voor personen die tot bepaalde kwetsbare groepen behoren, waaronder raciale of etnische groepen. De eis dat de datasets zoveel mogelijk volledig en foutenvrij moeten zijn, mag geen invloed hebben op het gebruik van privacybeschermende technieken in het kader van de ontwikkeling en het testen van AI-systemen. Ten aanzien van datasets moet, voor zover vereist gezien het beoogde doel hiervan, met name rekening worden gehouden met de kenmerken, eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele, gedragsgerelateerde of functionele omgeving waarin het AI-systeem moet worden gebruikt. Aan de eisen inzake databeheer kan worden voldaan door een beroep te doen op derden die gecertificeerde nalevingsdiensten aanbieden, waaronder verificatie van datagovernance, integriteit van datasets, en datatraining, -validatie en -tests, voor zover de naleving van de datavereisten van deze verordening wordt gewaarborgd.

Voor de ontwikkeling en beoordeling van AI-systemen met een hoog risico moeten bepaalde actoren, zoals aanbieders, aangemelde instanties en andere relevante entiteiten, zoals Europese digitale-innovatiehubs, test- en experimenteerfaciliteiten en onderzoekers, toegang hebben tot kwalitatief hoogwaardige datasets op de gebieden waarop deze actoren activiteiten verrichten die verband houden met deze verordening en hiervan gebruik kunnen maken. Door de Commissie vastgestelde gemeenschappelijke Europese gegevensruimten en de vergemakkelijking van de gegevensuitwisseling tussen ondernemingen en de overheid in het algemeen belang zullen erg belangrijk zijn voor een betrouwbare, toerekenbare en niet-discriminerende toegang tot kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen. Op het gebied van gezondheid zal de Europese ruimte voor gezondheidsgegevens bijvoorbeeld de niet-discriminerende toegang tot gezondheidsgegevens en de training van AI-algoritmen aan de hand van deze datasets vergemakkelijken op een wijze die de privacy waarborgt en die veilig, tijdig, transparant en betrouwbaar is, met een passend institutioneel beheer. Relevante bevoegde autoriteiten, waaronder sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, kunnen ook steun verlenen voor het verstrekken van kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen.

Het recht op privacy en bescherming van persoonsgegevens moet gedurende de hele levenscyclus van het AI-systeem worden gewaarborgd. In dit verband zijn bij de verwerking van persoonsgegevens de beginselen van minimale gegevensverwerking en van gegevensbescherming door ontwerp en door standaardinstellingen, zoals vastgelegd in het Unierecht inzake gegevensbescherming, van toepassing. De maatregelen die aanbieders nemen om te zorgen voor de naleving van die beginselen, moeten niet alleen anonimisering en versleuteling omvatten, maar ook het gebruik van technologie die de toepassing van algoritmen op gegevens en de training van AI-systemen mogelijk maakt zonder de uitwisseling van de ruwe of gestructureerde gegevens zelf tussen partijen of het kopiëren daarvan, onverminderd de eisen inzake datagovernance waarin deze verordening voorziet.

Om het recht van anderen te beschermen tegen discriminatie die kan voortvloeien uit de vooringenomenheid (bias) in AI-systemen, moeten aanbieders, bij wijze van uitzondering, voor zover dit strikt noodzakelijk is om de opsporing en correctie van vertekeningen te waarborgen in verband met de AI-systemen met een hoog risico, mits passende waarborgen worden geboden voor de grondrechten en fundamentele vrijheden van natuurlijke personen en na toepassing van alle toepasselijke voorwaarden die in deze verordening, alsmede in de Verordeningen (EU) 2016/679 en (EU) 2018/1725 en Richtlijn (EU) 2016/680 zijn vastgelegd, ook bijzondere categorieën persoonsgegevens kunnen verwerken wanneer sprake is van een zwaarwegend algemeen belang in de zin van artikel 9, lid 2, punt g), van Verordening (EU) 2016/679 en artikel 10, lid 2, punt g), van Verordening (EU) 2018/1725.

Begrijpelijke informatie over de manier waarop AI-systemen met een hoog risico zijn ontwikkeld en hoe zij gedurende hun levensduur presteren, is essentieel om de traceerbaarheid van die systemen mogelijk te maken, om de overeenstemming met de eisen van deze verordening te controleren, en om de monitoring van de werking en de monitoring na het in handel brengen mogelijk te maken. Dit vereist de registratie en de beschikbaarheid van technische documentatie die de noodzakelijke data bevat om de overeenstemming van het AI-systeem met de desbetreffende eisen te beoordelen en de monitoring na het in handel brengen te vergemakkelijken. Dergelijke informatie moet de algemene kenmerken, mogelijkheden en beperkingen van het systeem omvatten, evenals algoritmen, data en gebruikte processen voor het trainen, testen en valideren, alsook documentatie met betrekking tot het desbetreffende systeem voor risicobeheer, en moet op heldere en begrijpelijke wijze zijn gesteld. De technische documentatie moet gedurende de levensduur van het AI-systeem op gepaste wijze actueel worden gehouden. Voorts moeten AI-systemen met een hoog risico dusdanig technisch zijn vormgegeven dat gebeurtenissen gedurende de levensduur van het systeem, automatisch worden geregistreerd door middel van “logs”.

Om problemen in verband met de ondoorzichtigheid en complexiteit van bepaalde AI-systemen aan te pakken en gebruiksverantwoordelijken te helpen hun verplichtingen uit hoofde van deze verordening na te komen, moet transparantie vereist zijn voor AI-systemen met een hoog risico voordat zij in de handel worden gebracht of in gebruik worden gesteld. AI-systemen met een hoog risico moeten zodanig zijn ontworpen dat gebruiksverantwoordelijken kunnen begrijpen hoe het AI-systeem werkt, de werking ervan kunnen evalueren en de sterke punten en beperkingen ervan kunnen begrijpen. AI-systemen met een hoog risico moeten vergezeld gaan van relevante documentatie in de vorm van gebruiksaanwijzingen. Deze informatie moet de kenmerken, mogelijkheden en beperkingen van de prestaties van het AI-systeem bevatten. Die elementen zouden informatie omvatten over mogelijke bekende en te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico, waaronder handelingen van de gebruiksverantwoordelijke die van invloed kunnen zijn op het gedrag en de prestaties van het systeem, op grond waarvan het AI-systeem risico’s kan veroorzaken voor de gezondheid, veiligheid en grondrechten, over de wijzigingen die vooraf zijn bepaald en beoordeeld met het oog op conformiteit door de aanbieder, en over de relevante maatregelen voor menselijk toezicht, waaronder de maatregelen om de interpretatie van de output van het AI-systeem door de gebruiksverantwoordelijken te vergemakkelijken. Transparantie, met inbegrip van de bijbehorende gebruiksaanwijzingen, moet gebruiksverantwoordelijken helpen bij het gebruik van het systeem, en hen helpen onderbouwde beslissingen te nemen. De gebruiksverantwoordelijken moeten onder meer beter in staat zijn om het juiste systeem te kiezen dat zij voornemens zijn te gebruiken in het licht van de verplichtingen die op hen van toepassing zijn, om te worden geïnformeerd over het beoogde en uitgesloten gebruik, en om het AI-systeem correct en op passende wijze te gebruiken. Om de leesbaarheid en toegankelijkheid van de informatie in de gebruiksaanwijzingen te verbeteren, moeten, waar passend, illustratieve voorbeelden worden opgenomen, bijvoorbeeld over de beperkingen en het beoogde en uitgesloten gebruik van het AI-systeem. De aanbieders moeten ervoor zorgen dat alle documentatie, met inbegrip van de gebruiksaanwijzingen, zinvolle, volledige, toegankelijke en begrijpelijke informatie bevat, die rekening houdt met de behoeften en de te verwachten kennis van de beoogde gebruiksverantwoordelijken. De gebruiksaanwijzingen moeten beschikbaar worden gesteld in een taal die de beoogde gebruiksverantwoordelijken gemakkelijk kunnen begrijpen, welke de betrokken lidstaat bepaalt.

AI-systemen met een hoog risico moeten op zodanige wijze worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan en dat zij zoals beoogd worden gebruikt, en dat de gevolgen ervan gedurende de levenscyclus van het systeem worden aangepakt. Daartoe moeten passende maatregelen voor menselijk toezicht worden bepaald door de aanbieder van het systeem voordat het in de handel wordt gebracht of in gebruik wordt gesteld. Dergelijke maatregelen moeten, waar passend, met name waarborgen dat voor het systeem ingebouwde operationele beperkingen gelden die niet door het systeem zelf kunnen worden omzeild, dat het systeem reageert op de menselijke operator en dat de natuurlijke personen aan wie de taak van het menselijk toezicht is toegewezen, beschikken over de noodzakelijke competenties, opleiding en autoriteit om deze taak uit te voeren. Het is in voorkomend geval ook van essentieel belang dat AI-systemen met een hoog risico mechanismen bevatten om een natuurlijke persoon aan wie de taak van het menselijk toezicht is toegewezen, te begeleiden en te informeren zodat deze persoon geïnformeerd kan beslissen of, wanneer en hoe moet worden ingegrepen om negatieve gevolgen of risico’s te voorkomen, of om het systeem stop te zetten als het niet naar behoren functioneert. Gezien de aanzienlijke gevolgen voor personen in geval van een onjuiste match door bepaalde systemen voor biometrische identificatie, is het passend te voorzien in een voorschrift voor verscherpt menselijk toezicht voor die systemen, zodat er door de gebruiksverantwoordelijke geen maatregelen of beslissingen kunnen worden genomen op basis van de identificatie door het systeem, tenzij deze identificatie door ten minste twee natuurlijke personen afzonderlijk is geverifieerd en bevestigd. Deze personen kunnen afkomstig zijn van een of meer entiteiten en deze functie kan worden vervuld door de persoon die het systeem exploiteert of gebruikt. Deze eis mag geen onnodige lasten of vertragingen met zich meebrengen en het kan volstaan dat de afzonderlijke verificaties door de verschillende personen automatisch worden geregistreerd in de logbestanden die door het systeem worden gegenereerd. Gezien de specifieke kenmerken van rechtshandhaving, migratie, grenstoezicht en asiel, mag deze eis niet van toepassing zijn wanneer het Unierecht of het nationale recht de toepassing van dat vereiste onevenredig acht.

AI-systemen met een hoog risico moeten gedurende hun levenscyclus consistent presteren en een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging behalen in het licht van het beoogde doel ervan en overeenstemming met de algemeen erkende stand van de techniek. De Commissie en relevante organisaties en belanghebbenden worden aangemoedigd om terdege rekening te houden met de beperking van risico’s en de negatieve gevolgen van het AI-systeem. Het verwachte prestatieniveau moet in de bijbehorende gebruiksaanwijzingen worden vermeld. Aanbieders wordt verzocht die informatie aan de gebruiksverantwoordelijken mee te delen op een manier die duidelijk en gemakkelijk te begrijpen is en die geen misleidende opmerkingen bevat of ruimte biedt voor misverstanden. Het Unierecht inzake wettelijke metrologie, waaronder de Richtlijnen 2014/31/EU (35) en 2014/32/EU (36) van het Europees Parlement en de Raad, heeft tot doel de nauwkeurigheid van metingen te waarborgen en de transparantie en eerlijkheid van handelstransacties te bevorderen. In dat verband moet de Commissie, in samenwerking met relevante belanghebbenden en organisaties, zoals metrologie- en benchmarkingautoriteiten, waar passend, de ontwikkeling van benchmarks en meetmethoden voor AI-systemen aanmoedigen. Daarbij moet de Commissie nota nemen en samenwerken met internationale partners die werken rond metrologie en relevante meetindicatoren met betrekking tot AI.

Technische robuustheid is een essentiële eis voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen schadelijk of anderszins ongewenst gedrag dat kan voortvloeien uit de beperkingen binnen de systemen of de omgeving waarin de systemen opereren (bv. fouten, onregelmatigheden, onverwachte situaties). Daarom moeten technische en organisatorische maatregelen worden getroffen om de robuustheid van AI-systemen met een hoog risico te waarborgen, bijvoorbeeld door passende technische oplossingen te ontwerpen en te ontwikkelen om schadelijk of anderszins ongewenst gedrag te voorkomen of tot een minimum te beperken. Deze technische oplossing kan bijvoorbeeld bestaan uit mechanismen die het systeem in staat stellen zijn werking veilig te onderbreken (storingsbeveiligingsplannen) wanneer zich bepaalde anomalieën voordoen of wanneer de werking buiten bepaalde vooraf bepaalde grenzen plaatsvindt. Wanneer niet tegen deze risico’s wordt beschermd, kan dit leiden tot veiligheidseffecten of negatieve gevolgen voor de grondrechten, bijvoorbeeld als gevolg van foutieve beslissingen of een onjuiste of vertekende output die door het AI-systeem wordt gegenereerd.

Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van kwaadwillige derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals trainingsdatasets (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen of membership inference), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico’s, moeten aanbieders van AI-systemen met een hoog risico derhalve passende maatregelen zoals veiligheidscontroles nemen, waarbij ook op passende wijze rekening wordt gehouden met de onderliggende ICT-infrastructuur.

Onverminderd de bij deze verordening vastgestelde eisen met betrekking tot robuustheid en nauwkeurigheid kunnen AI-systemen met een hoog risico die onder het toepassingsgebied van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen vallen, overeenkomstig die verordening de naleving van de cyberbeveiligingseisen van onderhavige verordening aantonen door te voldoen aan de essentiële cyberbeveiligingseisen van die verordening. Wanneer AI-systemen met een hoog risico voldoen aan de essentiële eisen van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen, moeten zij worden geacht in overeenstemming te zijn met de cyberbeveiligingseisen van deze verordening, voor zover de naleving van die eisen wordt aangetoond in de EU-conformiteitsverklaring of delen daarvan die is afgegeven op grond van die verordening. Daartoe moet bij de beoordeling van de cyberbeveiligingsrisico’s die verbonden zijn aan een product met digitale elementen dat overeenkomstig deze verordening als AI-systeem met een hoog risico is geclassificeerd, welke wordt uitgevoerd uit hoofde van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen, rekening worden gehouden met risico’s voor de cyberweerbaarheid van een AI-systeem tegen pogingen van ongeautoriseerde derden om het gebruik, het gedrag of de prestaties ervan te wijzigen, en met AI-specifieke kwetsbaarheden zoals datavervuiling of vijandige aanvallen, alsook, voor zover relevant, risico’s voor de grondrechten zoals op grond van deze verordening is vereist.

De conformiteitsbeoordelingsprocedure waarin deze verordening voorziet, moet van toepassing zijn op de essentiële cyberbeveiligingseisen van een product met digitale elementen dat onder een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen valt en op grond van deze verordening als AI-systeem met een hoog risico is geclassificeerd. Deze regel mag echter niet leiden tot een verlaging van het vereiste betrouwbaarheidsniveau voor kritieke producten met digitale elementen die onder een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen vallen. In afwijking van deze regel zijn AI-systemen met een hoog risico die onder het toepassingsgebied van deze verordening vallen en eveneens op grond van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen als belangrijke en kritieke producten met digitale elementen zijn geclassificeerd en waarop de in een bijlage bij deze verordening vastgelegde conformiteitsbeoordelingsprocedure op basis van interne controle van toepassing is, derhalve onderworpen aan de conformiteitsbeoordelingsbepalingen van een verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen voor zover het de essentiële cyberbeveiligingseisen van die verordening betreft. In dat geval moeten de in een bijlage bij deze verordening vastgelegde respectieve bepalingen inzake conformiteitsbeoordeling op basis van interne controle van toepassing zijn op alle andere aspecten die onder die verordening vallen. Voortbouwend op de kennis en deskundigheid van Enisa inzake het cyberbeveiligingsbeleid en de taken die krachtens Verordening (EU) 2019/881 van het Europees Parlement en de Raad (37) aan Enisa zijn toegewezen, moet de Commissie op het gebied van kwesties in verband met de cyberbeveiliging van AI-systemen samenwerken met Enisa.

Het is passend dat een specifieke natuurlijke of rechtspersoon, die als aanbieder wordt aangemerkt, de verantwoordelijkheid neemt voor het in de handel brengen of in gebruik stellen van een AI-systeem met een hoog risico, ongeacht of deze natuurlijke of rechtspersoon de persoon is die het systeem heeft ontworpen of ontwikkeld.

Als ondertekenaars van het Verdrag van de Verenigde Naties inzake de rechten van personen met een handicap zijn de Unie en de lidstaten wettelijk verplicht personen met een handicap te beschermen tegen discriminatie en hun gelijkheid te bevorderen, ervoor te zorgen dat personen met een handicap op voet van gelijkheid met anderen toegang hebben tot informatie- en communicatietechnologieën en -systemen, en de eerbiediging van de privacy van personen met een handicap te waarborgen. Gezien het toenemende belang en gebruik van AI-systemen moet de toepassing van universele ontwerpbeginselen op alle nieuwe technologieën en diensten zorgen voor volledige en gelijke toegang voor iedereen die mogelijk gevolgen ondervindt van of gebruikmaakt van AI-technologieën, met inbegrip van personen met een handicap, op een manier waarbij ten volle rekening wordt gehouden met hun inherente waardigheid en diversiteit. Het is daarom van essentieel belang dat aanbieders ervoor zorgen dat zij voldoen aan de toegankelijkheidseisen, alsook aan de Richtlijnen (EU) 2016/2102 van het Europees Parlement en de Raad (38) en (EU) 2019/882. Aanbieders moeten ervoor zorgen dat door ontwerp aan deze eisen wordt voldaan. De nodige maatregelen moeten daarom zo goed mogelijk in het ontwerp van AI-systemen met een hoog risico worden geïntegreerd.

De aanbieder moet een gedegen systeem voor kwaliteitsbeheer vaststellen, zorgen voor het doorlopen van de vereiste conformiteitsbeoordelingsprocedure, de relevante documentatie opstellen en een robuust systeem vaststellen voor monitoring na het in de handel brengen. Aanbieders van AI-systemen met een hoog risico die onderworpen zijn aan verplichtingen met betrekking tot kwaliteitsbeheersystemen uit hoofde van het desbetreffende sectorale Unierecht, moeten de mogelijkheid hebben om de elementen van het kwaliteitsbeheersysteem waarin deze verordening voorziet, op te nemen als onderdeel van het bestaande kwaliteitsbeheersysteem waarin dat andere sectorale Unierecht voorziet. Bij toekomstige normalisatieactiviteiten of in richtsnoeren van de Commissie moet ook rekening worden gehouden met de complementariteit tussen deze verordening en het bestaande sectorale Unierecht. Overheidsinstanties die AI-systemen met een hoog risico in gebruik stellen voor eigen gebruik mogen de regels voor het systeem voor kwaliteitsbeheer goedkeuren en uitvoeren als onderdeel van het systeem voor kwaliteitsbeheer dat, naargelang het geval, op nationaal of regionaal niveau is goedgekeurd, rekening houdend met de specifieke kenmerken van de sector en de competenties en organisatie van de overheidsinstantie in kwestie.

Om de handhaving van deze verordening mogelijk te maken en te zorgen voor een gelijk speelveld voor operatoren en rekening houdend met de verschillende vormen waarin digitale producten beschikbaar kunnen worden gesteld, is het van belang dat onder alle omstandigheden wordt gewaarborgd dat een persoon die in de Unie is gevestigd de autoriteiten alle noodzakelijke informatie kan verstrekken over de conformiteit van een AI-systeem. Voordat zij hun AI-systemen beschikbaar stellen in de Unie, moeten aanbieders die in derde landen zijn gevestigd derhalve per schriftelijke machtiging een gemachtigde aanwijzen die is gevestigd in de Unie. Deze gemachtigde vervult een spilfunctie bij de waarborging van de conformiteit van de door niet in de Unie gevestigde aanbieders in de handel gebrachte of in gebruik gestelde AI-systemen met een hoog risico en in zijn hoedanigheid van hun in de Unie gevestigde contactpersoon.

Gezien de aard en complexiteit van de waardeketen voor AI-systemen en in lijn met het nieuwe wetgevingskader is het van essentieel belang rechtszekerheid te waarborgen en de naleving van deze verordening te vergemakkelijken. Daarom is het van belang de rol en de specifieke verplichtingen van betrokken operatoren in die hele waardeketen, zoals importeurs en distributeurs die kunnen bijdragen tot de ontwikkeling van AI-systemen, te verduidelijken. In bepaalde situaties kunnen deze operatoren in meer dan één rol tegelijkertijd optreden en moeten zij derhalve alle relevante verplichtingen die aan die rollen zijn verbonden, samen vervullen. Een operator kan bijvoorbeeld tegelijkertijd als distributeur en als importeur optreden.

Om rechtszekerheid te waarborgen, moet worden verduidelijkt dat, onder bepaalde specifieke voorwaarden, om het even welke distributeur, importeur, gebruiksverantwoordelijke of andere derde moet worden beschouwd als aanbieder van een AI-systeem met een hoog risico en deze derhalve alle relevante verplichtingen moet nakomen. Dit zou het geval zijn als die partij haar naam of merk op een reeds in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico zet, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen. Dit zou ook het geval zijn als die partij een substantiële wijziging aanbrengt aan een reeds in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico en dit op zodanige wijze doet dat het een AI-systeem met een hoog risico overeenkomstig deze verordening blijft, of als zij het beoogde doel van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, dat niet als een AI-systeem met een hoog risico is geclassificeerd en reeds in de handel is gebracht of in gebruik is gesteld, op zodanige wijze wijzigt dat het AI-systeem een AI-systeem met een hoog risico overeenkomstig deze verordening wordt. Die bepalingen moeten van toepassing zijn onverminderd specifiekere bepalingen in bepaalde harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader waarmee deze verordening gezamenlijk moet worden toegepast. Zo moet artikel 16, lid 2, van Verordening (EU) 2017/745, waarin is bepaald dat bepaalde wijzigingen niet mogen worden beschouwd als een wijziging van een hulpmiddel die gevolgen kan hebben voor de naleving van de toepasselijke eisen, van toepassing blijven op AI-systemen met een hoog risico die medische hulpmiddelen zijn in de zin van die verordening.

AI-systemen voor algemene doeleinden kunnen worden gebruikt als standalone AI-systeem met een hoog risico of als component van AI-systemen met een hoog risico. Daarom moeten de aanbieders van deze systemen vanwege de specifieke aard ervan en om een eerlijke verdeling van verantwoordelijkheden in de AI-waardeketen te waarborgen, ongeacht of zij als AI-systemen met een hoog risico als zodanig door andere aanbieders of als componenten van AI-systemen met een hoog risico kunnen worden gebruikt en tenzij in deze verordening anders is bepaald, nauw samenwerken met de aanbieders van de betrokken AI-systemen met een hoog risico, om hun naleving van de verplichtingen uit hoofde van deze verordening mogelijk te maken, en met de bevoegde autoriteiten zoals vastgelegd in deze verordening.

Wanneer, onder de in deze verordening vastgelegde voorwaarden, de aanbieder die het AI-systeem oorspronkelijk in de handel heeft gebracht of in gebruik heeft gesteld, voor de toepassing van deze verordening niet langer als de aanbieder mag worden beschouwd, en indien die aanbieder de wijziging van het AI-systeem in een AI-systeem met een hoog risico niet uitdrukkelijk heeft uitgesloten, moet de eerstgenoemde aanbieder niettemin nauw samenwerken en de nodige informatie beschikbaar stellen, en de redelijkerwijs te verwachten technische toegang en andere bijstand verstrekken die nodig is voor de naleving van de bij deze verordening vastgestelde verplichtingen, met name wat betreft de naleving van de conformiteitsbeoordeling van AI-systemen met een hoog risico.

Wanneer een AI-systeem met een hoog risico dat een veiligheidscomponent is van een product dat valt onder het toepassingsgebied van de harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader, niet onafhankelijk van het product in de handel wordt gebracht of in gebruik wordt gesteld, moet de productfabrikant, zoals gedefinieerd in die wetgeving, voorts de verplichtingen van de aanbieder naleven, zoals vastgelegd in deze verordening, en moet hij er met name voor zorgen dat het AI-systeem dat is opgenomen in het eindproduct in overeenstemming is met de eisen van deze verordening.

In de hele de AI-waardeketen worden vaak door meerdere partijen AI-systemen, instrumenten en diensten geleverd, alsook onderdelen of processen, die door de aanbieder in het AI-systeem worden geïntegreerd, een en ander met verscheidene doelstellingen, waaronder het (opnieuw) trainen, testen en evalueren van modellen, de integratie in software, of andere aspecten van modelontwikkeling. Die partijen hebben een belangrijke rol te spelen in de waardeketen ten aanzien van de aanbieder van het AI-systeem met een hoog risico waarin hun AI-systemen, instrumenten, diensten, componenten of processen zijn geïntegreerd, en moeten deze aanbieder bij schriftelijke overeenkomst de nodige informatie, capaciteiten, technische toegang en andere bijstand verstrekken op basis van de algemeen erkende stand van de techniek, teneinde de aanbieder in staat te stellen volledig te voldoen aan de verplichtingen van deze verordening, zonder afbreuk te doen aan hun eigen intellectuele-eigendomsrechten of bedrijfsgeheimen.

Derden die andere instrumenten, diensten, processen of AI-componenten dan AI-modellen voor algemene doeleinden toegankelijk maken voor het publiek, mogen niet worden verplicht te voldoen aan eisen die gericht zijn op de verantwoordelijkheden in de AI-waardeketen, met name ten aanzien van de aanbieder die deze heeft gebruikt of geïntegreerd, wanneer die instrumenten, diensten, processen of AI-componenten onder een vrije en opensource licentie toegankelijk worden gemaakt. Ontwikkelaars van vrije en opensource-AI-componenten, diensten, processen of andere AI-componenten dan AI-modellen voor algemene doeleinden moeten echter worden aangemoedigd om algemeen aanvaarde documentatiepraktijken, zoals model- en gegevenskaarten, toe te passen als een manier om de uitwisseling van informatie in de hele AI-waardeketen te versnellen, in het kader van de bevordering van betrouwbare AI-systemen in de Unie.

De Commissie kan vrijwillige modelcontractvoorwaarden ontwikkelen en aanbevelen tussen aanbieders van AI-systemen met een hoog risico en derden die instrumenten, diensten, componenten of processen leveren die worden gebruikt of geïntegreerd in AI-systemen met een hoog risico, teneinde de samenwerking in de hele waardeketen te vergemakkelijken. Bij de ontwikkeling van vrijwillige modelcontractvoorwaarden moet de Commissie tevens rekening houden met de contractuele eisen die kunnen gelden in specifieke sectoren of businesscases.

Gezien de aard van AI-systemen en de risico’s voor de veiligheid en de grondrechten waarmee het gebruik ervan mogelijk gepaard gaat, onder meer wat betreft de noodzaak van een behoorlijke monitoring van de prestaties van een AI-systeem in de praktijk, is het passend om specifieke verantwoordelijkheden voor gebruiksverantwoordelijken vast te stellen. Met name moeten gebruiksverantwoordelijken passende technische en organisatorische maatregelen treffen om ervoor te zorgen dat hun gebruik van AI-systemen met een hoog risico in overeenstemming is met de gebruiksaanwijzingen en voorts moeten er, waar passend, bepaalde andere verplichtingen worden vastgesteld met betrekking tot de monitoring van de werking van AI-systemen en met betrekking tot de registratie. Ook moeten gebruiksverantwoordelijken ervoor zorgen dat de personen die zijn aangewezen voor de uitvoering van de bij deze verordening vastgestelde gebruiksinstructies en menselijk toezicht, over de nodige bekwaamheid beschikken, met name over afdoende AI-geletterdheid, opleiding en autoriteit om die taken naar behoren uit te voeren. Die verplichtingen mogen geen afbreuk doen aan andere verplichtingen van gebruiksverantwoordelijken met betrekking tot AI-systemen met een hoog risico uit hoofde van het Unierecht of het nationale recht.

Deze verordening doet geen afbreuk aan de verplichtingen van werkgevers op grond van het Unierecht of de nationale wetgeving en praktijk, met inbegrip van Richtlijn 2002/14/EG van het Europees Parlement en de Raad (39), om werknemers of hun vertegenwoordigers te informeren, of te informeren en te raadplegen, over besluiten om AI-systemen in gebruik te stellen of aan te wenden. Ook indien de voorwaarden voor deze informerings- of deze informerings- en raadplegingsverplichtingen uit hoofde van andere rechtsinstrumenten niet vervuld zijn, blijft het noodzakelijk om werknemers en hun vertegenwoordigers over het geplande inzetten van AI-systemen met een hoog risico op de werkplek te informeren. Bovendien is het recht te worden geïnformeerd aanvullend en noodzakelijk voor de aan deze verordening ten grondslag liggende doelstelling van bescherming van de grondrechten. Om die reden moet deze verordening een informeringsvereiste bevatten, die evenwel geen afbreuk mag doen aan de bestaande rechten van werknemers.

Hoewel aan AI-systemen verbonden risico’s kunnen voortvloeien uit de manier waarop deze systemen zijn vormgegeven, kunnen de risico’s ook het gevolg zijn van de manier waarop ze worden gebruikt. Gebruiksverantwoordelijken van AI-systemen met een hoog risico spelen daarom een cruciale rol bij het waarborgen van de bescherming van de grondrechten, in aanvulling op de verplichtingen van aanbieders bij de ontwikkeling van het AI-systeem. Gebruiksverantwoordelijken zijn het best in staat om te begrijpen hoe het AI-systeem met een hoog risico concreet zal worden gebruikt en kunnen derhalve potentiële aanzienlijke risico’s identificeren die niet in de ontwikkelingsfase voorzien werden, want zij hebben preciezere kennis van de gebruikscontext, de personen of groepen personen die waarschijnlijk zullen worden geraakt, met inbegrip van kwetsbare groepen. De in een bijlage bij deze verordening opgenomen gebruiksverantwoordelijken van AI-systemen met een hoog risico zijn ook cruciaal voor de informering van natuurlijke personen en moeten, wanneer zij besluiten met betrekking tot natuurlijke personen nemen of helpen dergelijke besluiten te nemen, de natuurlijke personen in voorkomend geval te informeren dat zij aan het gebruik van het AI-systeem met een hoog risico zijn onderworpen. Deze informatie dient tevens het beoogde doel en het soort besluitvorming te omvatten waarvoor het systeem wordt gebruikt. De gebruiksverantwoordelijke dient de natuurlijke personen ook te informeren over hun recht op uitleg krachtens deze verordening. Als het om AI-systemen met een hoog risico gaat die voor rechtshandhavingsdoeleinden worden gebruikt, moet die verplichting worden uitgevoerd overeenkomstig artikel 13 van Richtlijn (EU) 2016/680.

Elke vorm van verwerking van biometrische gegevens voor rechtshandhavingsdoeleinden door AI-systemen voor biometrische identificatie, moet in overeenstemming zijn met artikel 10 van Richtlijn (EU) 2016/680, op grond waarvan verwerking uitsluitend is toegestaan indien die strikt noodzakelijk is, in welk geval er passende waarborgen voor de rechten en vrijheden van de betrokkene moeten worden geboden, alsmede indien het Unierecht of het lidstatelijk recht in een dergelijke verwerking voorziet. Een dergelijk gebruik moet, indien toegestaan, tevens voldoen aan de beginselen van artikel 4, lid 1, van Richtlijn (EU) 2016/680, waaronder rechtmatigheid, billijkheid en transparantie, doelbinding, nauwkeurigheid en opslagbeperking.

Het gebruik van systemen voor biometrische identificatie op afstand achteraf moet onverminderd het toepasselijke Unierecht en dan met name Verordening (EU) 2016/679 en Richtlijn (EU) 2016/680, gezien de indringende aard van deze systemen, worden onderworpen aan waarborgen. Systemen voor biometrische identificatie op afstand achteraf moeten te allen tijde worden gebruikt op een evenredige, legitieme en strikt noodzakelijke wijze, hetgeen betekent dat ze specifiek gericht moeten worden op de te identificeren personen en de locatie, binnen een beperkte tijdspanne, met gebruikmaking van een gesloten reeks wettelijk verkregen videobeelden. Systemen voor biometrische identificatie op afstand achteraf in het kader van rechtshandhaving mogen in geen geval gebruikt worden op een wijze die tot algemene surveillance leidt. De voorwaarden voor biometrische identificatie op afstand achteraf mogen onder geen enkel beding ruimte bieden voor omzeiling van de voorwaarden van het verbod, noch van de strikte uitzonderingen voor realtime biometrische identificatie op afstand.

Om efficiënt te waarborgen dat de grondrechten worden beschermd, moeten gebruiksverantwoordelijken van AI-systemen met een hoog risico die een publiekrechtelijk orgaan, of openbare diensten verlenende particuliere entiteiten en gebruiksverantwoordelijken van bepaalde in een bijlage bij deze verordening vermelde AI-systemen met een hoog risico, zoals bank- of verzekeringsentiteiten, een effectbeoordeling op het gebied van de grondrechten uitvoeren alvorens deze systemen in gebruik te stellen. Voor personen belangrijke diensten die van openbare aard zijn, kunnen tevens door particuliere entiteiten worden verleend. Particuliere entiteiten die dergelijke openbare diensten aanbieden, houden verband met taken van algemeen belang op het gebied van onder meer onderwijs, gezondheidszorg, sociale diensten, huisvesting en rechtsbedeling. Doel van de effectbeoordeling op het gebied van de grondrechten is dat de gebruiksverantwoordelijke de specifieke risico’s voor de rechten van personen of groepen personen die waarschijnlijk zullen worden getroffen, in kaart brengt, en dat hij bepaalt welke maatregelen er nodig zijn in het geval die risico’s zich voordoen. De effectbeoordeling moet worden verricht voordat het AI-systeem met een hoog risico wordt ingezet en moet worden geactualiseerd in het geval de gebruiksverantwoordelijke van mening is dat een van de relevante factoren is veranderd. De effectbeoordeling moet in kaart brengen in welke relevante processen van de gebruiksverantwoordelijke het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan zal worden gebruikt, en moet voorts een beschrijving bevatten van de periode waarin en de frequentie waarmee het systeem zal worden gebruikt, alsmede van de specifieke categorieën natuurlijke personen en groepen die in de specifieke gebruikscontext waarschijnlijk gevolgen zullen ondervinden. In de beoordeling moet tevens worden geïnventariseerd welke specifieke risico’s op schade gevolgen kunnen hebben voor de grondrechten van die personen of groepen. De gebruiksverantwoordelijke moet bij de beoordeling informatie gebruiken die relevant is voor een behoorlijke effectbeoordeling, waaronder door de aanbieder van het AI-systeem met een hoog risico in de gebruiksaanwijzing verstrekte informatie. Gebruiksverantwoordelijken moeten aan de hand van de vastgestelde risico’s bepalen welke maatregelen er getroffen moeten worden in het geval die risico’s zich voordoen, zoals governanceregelingen in die specifieke gebruikscontext in de vorm van onder meer regelingen voor menselijk toezicht overeenkomstig de gebruiksaanwijzing of in de vorm van klachten- en beroepsprocedures, omdat deze een cruciale rol kunnen spelen bij de beperking van risico’s voor de grondrechten in concrete gebruiksgevallen. Na uitvoering van die effectbeoordeling moet de gebruiksverantwoordelijke de relevante markttoezichtautoriteit daarvan in kennis stellen. Gebruiksverantwoordelijken van AI-systemen met een hoog risico kunnen bij de uitvoering van de effectbeoordeling en het ontwerpen van maatregelen voor het geval de risico’s werkelijkheid worden, met name bij gebruik van AI-systemen in de publieke sector, zich voor de inwinning van relevante informatie voor de effectbeoordeling in voorkomend geval tot relevante belanghebbenden wenden, zoals de vertegenwoordigers van groepen personen die waarschijnlijk gevolgen van het AI-systeem zullen ondervinden, alsmede tot onafhankelijke deskundigen en maatschappelijke organisaties. Het Europees Bureau voor artificiële intelligentie (“AI-bureau”) moet een model-vragenlijst ontwikkelen om naleving te vergemakkelijken en de administratieve lasten voor gebruiksverantwoordelijken te verminderen.

Het begrip “AI-model voor algemene doeleinden” moet met het oog op de rechtszekerheid duidelijk worden gedefinieerd en worden gescheiden van het begrip “AI-systeem”. De definitie moet gebaseerd zijn op de belangrijkste eigenschappen en kenmerken van AI-modellen voor algemene doeleinden, met name het algemene karakter en het vermogen om op competente wijze een breed scala aan onderscheiden taken uit te voeren. Dit soort modellen wordt getraind met grote hoeveelheden gegevens, via uiteenlopende methoden als self-supervised, unsupervised of reinforcement learning. AI-modellen voor algemene doeleinden kunnen op verschillende manieren in de handel worden gebracht, onder meer via bibliotheken en applicatie-programma-interfaces (API’s), of als rechtstreekse download of fysieke kopie. Deze modellen kunnen nader worden gewijzigd of verfijnd tot nieuwe modellen. AI-modellen zijn weliswaar een essentieel onderdeel van AI-systemen, maar vormen geen AI-systemen op zich. Om een AI-systeem te worden, moeten er aan AI-modellen nog andere componenten worden toegevoegd, bijvoorbeeld een gebruikersinterface. AI-modellen worden doorgaans geïntegreerd in en vormen een onderdeel van AI-systemen. Deze verordening voorziet in specifieke regels voor AI-modellen voor algemene doeleinden en voor AI-modellen voor algemene doeleinden die systeemrisico’s inhouden, hetgeen ook van toepassing dient te zijn als deze modellen geïntegreerd zijn in of deel uitmaken van een AI-systeem. De verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden behoren van toepassing te zijn zodra een AI-model voor algemene doeleinden in de handel wordt gebracht. In het geval een aanbieder van een AI-model voor algemene doeleinden in een eigen AI-systeem dat op de markt wordt aangeboden of in gebruik wordt gesteld, een eigen model integreert, moet dat model worden geacht in de handel te zijn gebracht en dienen de verplichtingen krachtens deze verordening voor modellen derhalve van toepassing blijven naast die voor AI-systemen. De verplichtingen voor modellen behoren evenwel niet van toepassing te zijn indien een eigen model gebruikt wordt voor zuiver interne processen die niet essentieel zijn voor de levering van een product of een dienst aan derden en indien er geen rechten van natuurlijke personen in het geding zijn. AI-modellen voor algemene doeleinden met een systeemrisico moeten gezien hun in potentie aanzienlijk negatieve effecten altijd onderworpen zijn aan de relevante verplichtingen uit hoofde van deze verordening. De definitie mag geen betrekking hebben op AI-modellen die louter voor onderzoeks-, ontwikkelings- en prototypingdoeleinden worden gebruikt alvorens zij in de handel worden gebracht. Dit laat onverlet dat eenmaal een model na gebruik voor voornoemde doeleinden in de handel wordt gebracht, aan deze verordening moet worden voldaan.

Hoewel het algemene karakter van een model, onder meer, ook aan de hand van het aantal parameters kan worden bepaald, moeten modellen met ten minste een miljard parameters die via grootschalig self-supervised leren getraind zijn met grote hoeveelheden gegevens, geacht worden een aanzienlijke algemeenheid te vertonen en op competente wijze een breed scala aan onderscheidende taken te kunnen uitvoeren.

Grote generatieve AI-modellen zijn een typisch voorbeeld van AI-modellen voor algemene doeleinden, aangezien ze op flexibele wijze content kunnen genereren in de vorm van bijvoorbeeld tekst, audio, beelden of video, waarmee eenvoudig een breed scala aan onderscheiden taken kan worden uitgevoerd.

Indien een AI-model voor algemene doeleinden is geïntegreerd in of deel uitmaakt van een AI-systeem, moet dit systeem als AI-systeem voor algemene doeleinden worden aangemerkt indien het dankzij deze integratie aangewend kan worden voor uiteenlopende doeleinden. Een AI-systeem voor algemene doeleinden kan rechtstreeks worden gebruikt of kan worden geïntegreerd in meerdere andere AI-systemen.

Aanbieders van AI-modellen voor algemene doeleinden hebben een bijzondere rol en verantwoordelijkheid binnen de AI-waardeketen, aangezien de modellen die zij leveren de basis kunnen vormen voor een reeks systemen verder in de AI-waardeketen, veelal aangeboden door aanbieders verder in de AI-waardeketen, hetgeen om een goed inzicht in de modellen en hun capaciteiten vraagt, zowel qua integratie van de modellen in hun producten als qua naleving van hun verplichtingen uit hoofde van deze of andere verordeningen. Er zijn derhalve evenredige transparantiemaatregelen nodig, zoals opstelling en bijwerking van documentatie en verstrekking van informatie over het AI-model voor algemeen gebruik door de aanbieders verder in de AI-waardeketen. De aanbieder van het AI-model voor algemene doeleinden dient technische documentatie op te stellen en bij te werken om deze op verzoek te kunnen overleggen aan het AI-bureau en de nationale bevoegde autoriteiten. De minimaal in de documentatie op te nemen elementen moeten worden vastgelegd in specifieke bijlagen bij deze verordening. De Commissie moet de bevoegdheid krijgen om die bijlagen in het licht van de technologische ontwikkelingen bij gedelegeerde handelingen te wijzigen.

Software en gegevens, met inbegrip van modellen, vrijgegeven in het kader van een vrije en opensource licentie op basis waarvan ze vrijelijk kunnen worden gedeeld en gebruikers ze in al dan niet gewijzigde vorm vrijelijk kunnen raadplegen, gebruiken, wijzigen en herdistribueren, kunnen bijdragen tot onderzoek en innovatie op de markt en aanzienlijke groeikansen bieden voor de economie van de Unie. In het kader van vrije en opensource licenties vrijgegeven AI-modellen voor algemene doeleinden moeten worden aangemerkt als hoge transparantie en openheid waarborgend, indien de parameters ervan, met inbegrip van de wegingen, de informatie over de modelarchitectuur en de informatie over het gebruik van het model, openbaar worden gemaakt. Een licentie moet eveneens als vrij en open source worden aangemerkt ingeval gebruikers op basis ervan software en gegevens kunnen exploiteren, kopiëren, verspreiden, bestuderen, wijzigen en verbeteren, met inbegrip van modellen, mits de oorspronkelijke aanbieder van het model vermeld wordt en er identieke of vergelijkbare distributievoorwaarden in acht worden genomen.

“Vrije en opensource-AI-componenten” staat voor de software en de gegevens, met inbegrip van de modellen en AI-modellen, -instrumenten, -diensten of -processen voor algemene doeleinden van een AI-systeem. Vrije en opensource-AI-componenten kunnen via verschillende kanalen worden aangeboden, inclusief via ontwikkeling op open dataopslagplaatsen. AI-componenten die worden verstrekt tegen betaling of anderszins te gelde worden gemaakt via onder meer verlening van technische ondersteuning of andere diensten met betrekking tot de AI-component, waaronder op een softwareplatform, of via het gebruik van persoonsgegevens om andere redenen dan uitsluitend ter verbetering van de beveiliging, compatibiliteit of interoperabiliteit van de software, met uitzondering van transacties tussen micro-ondernemingen, mogen voor de toepassing van deze verordening niet in aanmerking komen voor de uitzonderingen op vrije en opensource-AI-componenten. Het loutere beschikbaar stellen van AI-componenten via open registers mag niet als tegeldemaking worden aangemerkt.

De aanbieders van AI-modellen voor algemene doeleinden die worden vrijgegeven in het kader van een vrije en opensource-licentie en waarvan de parameters, met inbegrip van de wegingen, de informatie over de modelarchitectuur en de informatie over het gebruik van het model, openbaar worden gemaakt, moeten worden onderworpen aan uitzonderingen met betrekking tot de transparantievereisten voor AI-modellen voor algemene doeleinden, tenzij zij geacht kunnen worden een systeemrisico te vertegenwoordigen. In dat geval mag de omstandigheid dat het model transparant is en vergezeld gaat van een opensource-licentie niet als voldoende reden worden aangemerkt om de verplichtingen uit hoofde van deze verordening niet na te leven. Aangezien het geen vanzelfsprekendheid is dat er bij de beschikbaarstelling van AI-modellen voor algemene doeleinden middels vrije en opensource-licenties substantiële informatie beschikbaar komt over de voor de training of verfijning van het model gebruikte datasets of over de wijze waarop daarbij gezorgd is voor naleving van het auteursrecht, mag de uitzondering voor AI-modellen voor algemene doeleinden wat betreft de naleving van de transparantievereisten in elk geval geen betrekking hebben op de verplichting om een samenvatting op te stellen van de content die voor de training van het model is gebruikt en ook niet op de verplichting tot invoering van een beleid ter naleving van het Unierecht inzake auteursrechten en dan met name ter vaststelling en naleving van het voorbehoud van rechten op grond van artikel 4, lid 3, van Richtlijn (EU) 2019/790 van het Europees Parlement en de Raad (40).

AI-modellen voor algemeen gebruik, met name grote generatieve AI-modellen, die tekst, beelden en andere content kunnen genereren, bieden unieke innovatiemogelijkheden, maar leiden ook tot uitdagingen voor kunstenaars, auteurs en andere makers en de manier waarop hun creatieve content wordt gecreëerd, verspreid, gebruikt en geconsumeerd. Voor de ontwikkeling en opleiding van dergelijke modellen is toegang nodig tot enorme hoeveelheden tekst, afbeeldingen, video’s en andere data. In dit verband kan voor het vergaren en analyseren van die mogelijkerwijs door het auteursrecht en naburige rechten beschermde content, op grote schaal tekst- en dataminingtechnieken worden gebruikt. Voor elk gebruik van auteursrechtelijk beschermde content is toestemming van de betrokken rechthebbende vereist, tenzij er relevante uitzonderingen en beperkingen op het auteursrecht gelden. Bij Richtlijn (EU) 2019/790 zijn uitzonderingen en beperkingen ingevoerd die onder bepaalde voorwaarden toestaan dat werken of andere materialen voor doeleinden van tekst- en datamining worden gereproduceerd of geëxtraheerd. Op grond van deze regels kunnen rechthebbenden ervoor kiezen hun rechten op hun werken of andere materialen voor te behouden teneinde tekst- en datamining te voorkomen, tenzij dit gebeurt voor doeleinden van wetenschappelijk onderzoek. Indien opt-outrechten uitdrukkelijk en op passende wijze zijn voorbehouden, dient een aanbieder van AI-modellen voor algemene doeleinden indien hij de werken voor tekst- en datamining wil gebruiken, toestemming aan de rechthebbenden te vragen.

Aanbieders die AI-modellen voor algemene doeleinden in de Unie in de handel brengen, zijn gehouden de naleving van de desbetreffende verplichtingen in deze verordening te waarborgen. Zij moeten daartoe een beleid invoeren ter naleving van het Unierecht inzake auteursrechten en naburige rechten, met name om kennis te hebben van het door rechthebbenden geuite voorbehoud van rechten op grond van artikel 4, lid 3, van Richtlijn (EU) 2019/790 en dit na te leven. Aanbieders die in de Unie een AI-model voor algemene doeleinden in de handel brengen, zijn hiertoe verplicht, ongeacht de jurisdictie waarin de auteursrechtelijke relevante handelingen plaatsvinden die helpen die AI-modellen voor algemene doeleinden te trainen. Alleen op deze manier kan gezorgd worden voor een gelijk speelveld voor aanbieders van AI-modellen voor algemene doeleinden, waar geen enkele aanbieder zich een concurrentievoordeel op de Uniemarkt mag kunnen verschaffen met lagere auteursrechtelijke normen dan de in de Unie toepasselijke normen.

Voor een grotere transparantie ten aanzien van de bij de pre-training en training van AI-modellen voor algemene doeleinden gebruikte data, met inbegrip van door het auteursrecht beschermde tekst en data, is het passend dat aanbieders van dergelijke modellen een voldoende gedetailleerde samenvatting maken en publiceren van de voor de training van het AI-model voor algemene doeleinden gebruikte content. Terdege rekening houdend met de noodzaak tot bescherming van bedrijfsgeheimen en vertrouwelijke bedrijfsinformatie moet deze samenvatting breed van karakter zijn in plaats van technisch gedetailleerd, teneinde partijen met legitieme belangen, waaronder houders van auteursrechten, in staat te stellen hun rechten uit hoofde van het Unierecht uit te oefenen en te handhaven. Zo kan er bijvoorbeeld een opsomming worden gegeven van de belangrijkste gegevensverzamelingen of -reeksen waarmee het model is getraind, zoals grote particuliere of openbare databanken of gegevensarchieven, en kan een uitleg in de vorm van een relaas worden gegeven over andere gebruikte gegevensbronnen. Het is passend dat het AI-bureau een model voor die samenvatting verstrekt, dat een eenvoudig en doeltreffend model dient te zijn waarmee de aanbieder de vereiste samenvatting in de vorm van een relaas verstrekken kan.

Wat betreft de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden om een beleid in te voeren om aan het recht van de Unie inzake auteursrecht te voldoen en om een samenvatting van de voor de training gebruikte content te publiceren, moet het AI-bureau controleren of de aanbieder aan die verplichtingen voldoet, zonder evenwel geval voor geval de trainingsdata te controleren of te beoordelen qua naleving van het auteursrecht. Deze verordening doet geen afbreuk aan de handhaving van de auteursrechtregels krachtens het Unierecht.

De naleving van de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden moet evenredig zijn aan en in verhouding staan tot het soort modelaanbieder, waarbij personen die modellen ontwikkelen of gebruiken voor niet-professioneel of wetenschappelijk onderzoek, van de verplichtingen zijn uitgesloten maar wel moeten worden aangemoedigd deze verplichtingen vrijwillig te omarmen. Onverminderd het recht van de Unie inzake auteursrechten moet qua naleving van die verplichtingen terdege rekening worden gehouden met de omvang van de aanbieder en moeten er voor kmo’s, waaronder start-ups, vereenvoudigde wijzen van naleving mogelijk zijn die geen buitensporige kosten mogen meebrengen en het gebruik van dergelijke modellen niet mogen ontmoedigen. Bij wijziging of verfijning van een model moeten de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden beperkt blijven tot die wijziging of verfijning, bijvoorbeeld door voor te schrijven dat de reeds bestaande technische documentatie louter aangevuld wordt met informatie over de wijzigingen, met inbegrip van nieuwe trainingsdatabronnen, als middel om te voldoen aan de waardeketenverplichtingen krachtens deze verordening.

AI-modellen voor algemene doeleinden kunnen systeemrisico’s met zich meebrengen, waaronder feitelijke of redelijkerwijs te voorziene negatieve effecten die verband houden met zware ongevallen, verstoringen van kritieke sectoren en ernstige gevolgen voor de volksgezondheid en de openbare veiligheid, allerhande feitelijke of redelijkerwijs voorzienbare negatieve effecten op democratische processen en de openbare en economische veiligheid, alsmede de verspreiding van illegale, valse of discriminerende content. Systeemrisico’s nemen logischerwijs toe naargelang de capaciteiten en het bereik van een model groter zijn, kunnen zich voordoen gedurende de gehele levenscyclus van het model en worden beïnvloed door elementen als misbruik van het model, de betrouwbaarheid, billijkheid, beveiliging en mate van autonomie ervan, alsmede door de toegang van het model tot instrumenten, nieuwe of gecombineerde modaliteiten, introductie- en distributiestrategieën, en door het potentieel om waarborgen te omzeilen en andere factoren. Internationaal is bij de aanpak van de problematiek tot dusver met name gebleken dat aandacht moet worden besteed aan de risico’s die voortvloeien uit mogelijk opzettelijk misbruik of uit onbedoelde problemen met de controle op de afstemming op wat de mens met het model beoogt; chemische, biologische, radiologische en nucleaire risico’s, zoals de manieren waarop belemmeringen op de toegang kunnen worden verlaagd, onder meer voor doeleinden van wapenontwikkeling, van verwerving van wapenontwerpen, en van wapengebruik, offensieve cybercapaciteiten, zoals manieren om kwetsbaarheden op te sporen, te exploiteren of operationeel te gebruiken; de effecten van interactie en het gebruik van instrumenten, waaronder bijvoorbeeld de capaciteit om fysieke systemen te controleren en kritieke infrastructuur te verstoren; het risico dat modellen kopieën van zichzelf maken, zichzelf repliceren, of andere modellen trainen; de manieren waarop modellen kunnen leiden tot schadelijke vooringenomenheid en discriminatie, met alle risico’s voor individuen, gemeenschappen of samenlevingen van dien; de facilitering van desinformatie of privacyschendingen die een bedreiging vormen voor de democratische rechtsorde en de mensenrechten; het risico dat een bepaalde gebeurtenis kan leiden tot een kettingreactie met aanzienlijke negatieve effecten op een hele stad, een heel vakgebied of een hele gemeenschap.

Het strekt tot aanbeveling een methodiek te ontwikkelen voor de classificatie van AI-modellen voor algemene doeleinden als AI-model voor algemene doeleinden met een systeemrisico. Systeemrisico’s zijn het gevolg van bijzonder hoge capaciteiten, reden waarom een AI-model voor algemene doeleinden geacht moet worden systeemrisico’s te vertegenwoordigen indien het capaciteiten met een grote impact heeft, dewelke als zodanig wordt vastgesteld op basis van passende technische instrumenten en methodieken, of indien het vanwege zijn bereik aanzienlijke gevolgen heeft voor de interne markt. “Capaciteiten met een grote impact” in AI-modellen voor algemene doeleinden: capaciteiten die overeenkomen met of groter zijn dan de capaciteiten die worden opgetekend bij de meest geavanceerde AI-modellen voor algemene doeleinden; het volledige scala aan mogelijkheden binnen een model wordt pas duidelijker eenmaal het in de handel is gebracht of gebruiksverantwoordelijken met het model werken. Volgens de stand van de techniek op het moment van inwerkingtreding van deze verordening is de voor de training van het AI-model voor algemene doeleinden gebruikte cumulatieve rekeninput, gemeten in zwevendekommabewerkingen, een van de relevante benaderingen voor modelcapaciteiten. De voor het trainen gebruikte cumulatieve rekeninput bevat het totaal aan voor de activiteiten en methoden ter verbetering van de capaciteiten van het model gebruikte rekeninput voorafgaand aan het inzetten ervan, zoals pre-training, het genereren van synthetische gegevens en verfijning. Er moet derhalve een initiële drempel voor zwevendekommabewerkingen worden vastgesteld, die, indien een AI-model voor algemene doeleinden daaraan voldoet, leidt tot de aanname dat het model een AI-model voor algemene doeleinden met systeemrisico’s is. Deze drempel moet in de loop van de tijd worden aangepast aan de technologische en industriële vooruitgang, zoals betere algoritmes of efficiëntere hardware, en moet worden aangevuld met modelcapaciteit-benchmarks en -indicatoren. Om deze vooruitgang te kennen, moet het AI-bureau samenwerken met de wetenschappelijke gemeenschap, het bedrijfsleven, het maatschappelijk middenveld en andere deskundigen. Drempelwaarden en ook instrumenten en benchmarks ter beoordeling van capaciteiten met een grote impact, moeten gedegen kunnen voorspellen in hoeverre een AI-model voor algemene doeleinden van algemene aard is, wat de capaciteiten ervan zijn en welk systeemrisico aan het model kleeft. Daarnaast zouden de drempelwaarden en de instrumenten en benchmarks ter beoordeling van capaciteiten met een grote impact, rekening kunnen houden met de wijze waarop het model in de handel zal worden gebracht of het aantal gebruikers waarvoor het gevolgen kan hebben. Ter aanvulling van dit systeem moet de Commissie de mogelijkheid hebben om individuele besluiten te nemen tot aanmerking van een dergelijk model als AI-model voor algemene doeleinden met een systeemrisico, in het geval wordt vastgesteld dat een AI-model voor algemene doeleinden mogelijkheden of een effect heeft dat gelijkwaardig is aan die welke onder de vastgestelde drempel vallen. Dat besluit moet worden genomen op basis van een algemene beoordeling van de in een bijlage bij deze verordening vastgestelde criteria voor de aanwijzing van een AI-model voor algemene doeleinden met een systeemrisico, zoals de kwaliteit of omvang van de trainingsdataset, het aantal zakelijke en eindgebruikers van het model, de input- en outputmodaliteiten ervan, de mate van autonomie en schaalbaarheid ervan, of de instrumenten waartoe het toegang heeft. Als een aanbieder wiens model is aangewezen als AI-model voor algemene doeleinden met een systeemrisico een met redenen omkleed verzoek indient, dient de Commissie daarmee rekening te houden en kan zij besluiten opnieuw te beoordelen of het AI-model voor algemene doeleinden nog steeds wordt beschouwd als een AI-model dat systeemrisico’s vertoont.

Het is tevens noodzakelijk tot een procedure te komen voor de classificatie van AI-modellen voor algemene doeleinden met een systeemrisico. Een AI-model voor algemeen gebruik dat aan de toepasselijke drempel voor capaciteiten met een grote impact voldoet, dient als AI-model voor algemene doeleinden met een systeemrisico te worden aangemerkt. De aanbieder behoort uiterlijk twee weken nadat aan de vereisten is voldaan of nadat bekend is geworden dat een AI-model voor algemene doeleinden voldoet aan de vereisten die tot het vermoeden leiden, het AI-bureau daarvan in kennis te stellen. Dit is met name relevant met betrekking tot de drempel van zwevendekommabewerkingen, omdat de training van AI-modellen voor algemene doeleinden uitgebreide planning vergt met onder meer voorafgaande toewijzing van rekeninputmiddelen, waardoor aanbieders van AI-modellen voor algemene doeleinden reeds vóór voltooiing van de training weten kunnen of hun model aan de drempel zal voldoen. In het kader van die kennisgeving moet de aanbieder kunnen aantonen dat een AI-model voor algemene doeleinden dankzij zijn specifieke kenmerken bij wijze van uitzondering geen systeemrisico’s meebrengt en dat het dus niet als AI-model voor algemene doeleinden met systeemrisico’s mag worden aangemerkt. Het AI-bureau kan dankzij die informatie anticiperen op het in de handel brengen van AI-modellen voor algemene doeleinden met systeemrisico’s, en de aanbieders kunnen reeds in een vroeg stadium met het AI-bureau in contact treden. Die informatie is met name van belang met betrekking tot AI-modellen voor algemene doeleinden waarvan het de bedoeling is deze als open source vrij te geven, want eenmaal als het opensourcemodel is vrijgegeven, kan het moeilijker zijn de nodige maatregelen ter naleving van de verplichtingen uit hoofde van deze verordening te treffen.

Indien de Commissie kennis krijgt van het feit dat een AI-model voor algemene doeleinden voldoet aan de vereisten om als AI-model voor algemene doeleinden met een systeemrisico te worden aangemerkt, terwijl dat eerder niet bekend was of de betrokken aanbieder de Commissie kennisgeving had gedaan, moet de Commissie de bevoegdheid hebben dit model alsnog als zodanig aan te merken. Naast de monitoringactiviteiten van het AI-bureau moet er een systeem van gekwalificeerde waarschuwingen komen dat ervoor zorgt dat het AI-bureau door het wetenschappelijk panel in kennis wordt gesteld van AI-modellen voor algemene doeleinden die mogelijk als AI-modellen voor algemene doeleinden met een systeemrisico moeten worden geclassificeerd.

De aanbieders van AI-modellen voor algemene doeleinden die systeemrisico’s inhouden, moeten, naast de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden, onderworpen worden aan verplichtingen die gericht zijn op het identificeren en beperken van die risico’s en op waarborging van een passend niveau van cyberbeveiliging, ongeacht of het model een op zichzelf staand model is of ingebed in een AI-systeem of in een product. Aanbieders moeten met het oog op verwezenlijking van deze doelstellingen, bij deze verordening verplicht worden de nodige modelevaluaties uit te voeren, met name voordat een model voor het eerst in de handel wordt gebracht, in het kader waarvan onder meer tests gericht op het ontdekken van kwetsbaarheden in het model moeten worden uitgevoerd, alsmede, in voorkomend geval, uiteenlopende interne of onafhankelijke externe tests. Daarnaast moeten aanbieders van AI-modellen voor algemene doeleinden met systeemrisico’s die systeemrisico’s voortdurend analyseren en binnen de perken houden via onder meer beleid voor risicobeheer in de vorm van bijvoorbeeld verantwoordings- en governanceprocessen, monitoring na het in de handel brengen van het model, passende maatregelen gedurende de gehele levenscyclus, en samenwerking met relevante actoren in de AI-waardeketen.

Aanbieders van AI-modellen voor algemene doeleinden met systeemrisico’s dienen mogelijke systeemrisico’s te beoordelen en te beperken. Indien er zich als gevolg van de ontwikkeling of het gebruik van een AI-model voor algemene doeleinden die systeemrisico’s kan inhouden een ernstig incident voordoet, ondanks inspanningen om met het model verband houdende risico’s te identificeren en te voorkomen, moet de aanbieder van het AI-model voor algemene doeleinden onverwijld het verdere verloop van het incident beginnen te volgen en de Commissie en de nationale bevoegde autoriteiten alle relevante informatie en mogelijke corrigerende maatregelen melden. Bovendien moeten aanbieders zorgen voor een passend niveau van cyberbeveiliging voor het model en de fysieke infrastructuur ervan, indien van toepassing, gedurende de gehele levenscyclus van het model. Bij de cyberbeveiliging in verband met systeemrisico’s als gevolg van kwaadwillig gebruik of aanvallen, moet terdege rekening worden gehouden met onopzettelijke modellekken, ongeoorloofde vrijgave, omzeiling van veiligheidsmaatregelen, alsmede met bescherming tegen cyberaanvallen, ongeoorloofde toegang, en modeldiefstal. Die bescherming kan worden geboden door modelwegingen, algoritmen, servers en datasets te beveiligen, bijvoorbeeld met operationele beveiligingsmaatregelen voor informatie, specifiek cyberbeveiligingsbeleid, passende technische en bewezen oplossingen, alsmede met controles op cyber- en fysieke toegang, afgestemd op de relevante omstandigheden en risico’s.

Het AI-bureau moet de opstelling, evaluatie en aanpassing van praktijkcodes aanmoedigen en vergemakkelijken, rekening houdend met internationale manieren van aanpak. Alle aanbieders van AI-modellen voor algemene doeleinden kunnen worden uitgenodigd eraan deel te nemen. Om ervoor te zorgen dat de praktijkcodes aansluiten op de stand van de techniek en ze terdege rekening houden met een brede waaier aan perspectieven, moet het AI-bureau samenwerken met de relevante nationale bevoegde autoriteiten en kan het, in voorkomend geval, ter opstelling van de praktijkcodes overleg voeren met maatschappelijke organisaties en andere relevante belanghebbenden en deskundigen, waaronder het wetenschappelijk panel. De praktijkcodes moeten betrekking hebben op verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden en van AI-modellen voor algemene doeleinden die systeemrisico’s inhouden. Wat systeemrisico’s betreft, moeten praktijkcodes bovendien bijdragen tot de vaststelling van een taxonomie van de soorten systeemrisico’s op het niveau van de Unie, voorzien van de kenmerken en bronnen van deze risico’s. Voorts moeten praktijkcodes gericht zijn op specifieke risicobeoordelings- en risicobeperkende maatregelen.

De praktijkcodes moeten een centraal instrument zijn voor de correcte naleving van de verplichtingen van aanbieders van AI-modellen voor algemene doeleinden uit hoofde van deze verordening. Aanbieders moeten voor het staven van hun naleving van de verplichtingen kunnen vertrouwen op praktijkcodes. De Commissie kan bij uitvoeringshandelingen een gedragscode vaststellen en deze binnen de Unie een algemene geldigheid verlenen, of anderszins gemeenschappelijke regels vaststellen voor de uitvoering van de desbetreffende verplichtingen, indien er op het moment dat deze verordening van toepassing wordt nog geen gedragscode voorhanden is of het AI-bureau de wel reeds voorhanden zijnde gedragscode ontoereikend acht. Zodra een geharmoniseerde norm gepubliceerd is en het AI-bureau deze in het licht van de relevante verplichtingen geschikt heeft bevonden, moet naleving van een Europese geharmoniseerde norm aanbieders het vermoeden van conformiteit bieden. Aanbieders van AI-modellen voor algemene doeleinden moeten ook met alternatieve geschikte middelen kunnen aantonen dat zij aan de relevante verplichtingen voldoen in het geval er geen praktijkcodes of geharmoniseerde normen beschikbaar zijn, of wanneer zij ervoor kiezen geen beroep op die codes of normen te doen.

Deze verordening reguleert AI-systemen en AI-modellen door relevante marktdeelnemers die deze in de Unie in de handel brengen, in gebruik stellen of in gebruik nemen bepaalde eisen en verplichtingen op te leggen, en vormt een aanvulling op de verplichtingen voor aanbieders van tussenhandelsdiensten die dit soort systemen of modellen in hun bij Verordening (EU) 2022/2065 gereguleerde diensten integreren. Voor zover dergelijke systemen of modellen zijn ingebed in als zeer groot aangemerkte onlineplatforms of onlinezoekmachines, vallen zij onder het kader voor risicobeheer krachtens Verordening (EU) 2022/2065. Bijgevolg moeten de overeenkomstige verplichtingen van deze verordening als vervuld worden beschouwd, tenzij er in dergelijke modellen aanzienlijke systeemrisico’s worden geconstateerd die niet onder Verordening (EU) 2022/2065 vallen. Binnen dit kader zijn aanbieders van zeer grote onlineplatforms en zeer grote onlinezoekmachines verplicht te beoordelen welke systeemrisico’s er potentieel uit het ontwerp, de werking en het gebruik van hun diensten voortvloeien, met inbegrip van de wijze waarop het ontwerp van de in de dienst gebruikte algoritmische systemen die tot dergelijke risico’s kunnen bijdragen, alsmede welke systeemrisico’s er kunnen optreden bij misbruik. Deze aanbieders zijn ook verplicht passende risicobeperkende maatregelen te treffen, met inachtneming van de grondrechten.

Gezien het snelle innovatietempo en de technologische ontwikkeling van de digitale diensten die onder het toepassingsgebied van verschillende Unierechtelijke instrumenten vallen en met name rekening houdend met het gebruik en de perceptie van de afnemers van die diensten, kunnen de onder deze verordening vallende AI-systemen worden aangeboden als tussenhandelsdiensten of delen daarvan in de zin van Verordening (EU) 2022/2065, die op technologieneutrale wijze moet worden geïnterpreteerd. AI-systemen kunnen bijvoorbeeld worden gebruikt om onlinezoekmachines aan te bieden, en wel dusdanig dat een AI-systeem zoals een online-chatbot in beginsel alle websites doorzoekt, om de zoekresultaten vervolgens in zijn bestaande kennis op te nemen en dan de bijgewerkte kennis te gebruiken voor het genereren van één enkele output waarin informatie uit verschillende bronnen wordt gecombineerd.

Voorts zijn de verplichtingen die in deze verordening aan aanbieders en gebruiksverantwoordelijken van bepaalde AI-systemen worden opgelegd om opsporing mogelijk te maken, evenals de bekendmaking dat de outputs van die systemen kunstmatig worden gegenereerd of gemanipuleerd, bijzonder relevant voor het vergemakkelijken van de doeltreffende uitvoering van Verordening (EU) 2022/2065. Dit geldt met name voor de verplichtingen van aanbieders van zeer grote onlineplatforms of zeer grote onlinezoekmachines om systeemrisico’s die kunnen voortvloeien uit de verspreiding van kunstmatig gegenereerde of gemanipuleerde content te identificeren en te beperken, en dan met name het risico op feitelijke of voorzienbare negatieve effecten op democratische processen, het maatschappelijk debat en verkiezingsprocessen, onder meer van desinformatie.

Normalisatie moet een belangrijke rol spelen bij de levering van technische oplossingen aan aanbieders om de naleving van deze verordening te waarborgen, in overeenstemming met de stand van de techniek, opdat de innovatie, het concurrentievermogen en ook de groei op de eengemaakte markt kunnen worden bevorderd. De naleving van geharmoniseerde normen, zoals gedefinieerd in artikel 2, lid 1, punt c), van Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad (41), die normaal gesproken de stand van de techniek moet weerspiegelen, moet een middel zijn voor aanbieders om de overeenstemming met de voorschriften van deze verordening aan te tonen. Het is daarom zaak aan te sturen op evenwichtige belangenvertegenwoordiging door overeenkomstig de artikelen 5 en 6 van Verordening (EU) nr. 1025/2012 alle relevante belanghebbenden te betrekken bij de ontwikkeling van normen, met name kmo’s, consumentenorganisaties en belanghebbenden op sociaal gebied en dat van milieu. De Commissie moet voor een soepelere naleving de normalisatieverzoeken zonder onnodige vertraging afgeven. Bij het opstellen van normalisatieverzoeken moet de Commissie de nodige expertise inwinnen bij het adviesforum voor AI en de AI-board. Bij ontstentenis van relevante verwijzingen naar geharmoniseerde normen moet de Commissie evenwel gemeenschappelijke specificaties voor bepaalde eisen uit hoofde van deze verordening kunnen vaststellen, bij uitvoeringshandeling en na raadpleging van het adviesforum. De gemeenschappelijke specificaties moeten een uitzonderlijke achtervang zijn om de aanbieder te kunnen laten voldoen aan de eisen van deze verordening ingeval het normalisatieverzoek door geen van de Europese normalisatieorganisaties is aanvaard, ingeval de relevante geharmoniseerde normen onvoldoende tegemoetkomen aan problemen op het gebied van de grondrechten, ingeval de geharmoniseerde normen niet aan het verzoek voldoen, of ingeval er vertraging is ontstaan bij de vaststelling van een passende geharmoniseerde norm. Indien een dergelijke vertraging bij de vaststelling van een geharmoniseerde norm te wijten is aan de technische complexiteit van die norm, moet de Commissie hier rekening mee houden alvorens te overwegen gemeenschappelijke specificaties vast te stellen. De Commissie wordt aangemoedigd om bij de ontwikkeling van gemeenschappelijke specificaties samen te werken met internationale partners en internationale normalisatie-instellingen.

Het is onverminderd het gebruik van geharmoniseerde normen en gemeenschappelijke specificaties passend dat aanbieders van een AI-systeem met een hoog risico dat getraind en getest is op data met betrekking tot de specifieke geografische, gedrags-, contextuele of functionele omgeving waarin het de bedoeling is het systeem te gebruiken, verondersteld worden aan de desbetreffende maatregel krachtens de bij deze verordening vastgestelde datagovernancevereiste te voldoen. Onverminderd de bij deze verordening vastgestelde vereisten met betrekking tot robuustheid en nauwkeurigheid, moeten overeenkomstig artikel 54, lid 3, van Verordening (EU) 2019/881, gecertificeerde AI-systemen met een hoog risico of AI-systemen met een hoog risico waarvoor in het kader van een cyberbeveiligingsregeling uit hoofde van die verordening een conformiteitsverklaring is afgegeven en waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht aan het cyberbeveiligingsvereiste van deze verordening te voldoen, voor zover het cyberbeveiligingscertificaat of de conformiteitsverklaring of delen daarvan het cyberbeveiligingsvereiste van deze verordening bestrijken. Dit doet geen afbreuk aan het vrijwillige karakter van die cyberbeveiligingsregeling.

Om te zorgen voor een hoog niveau van betrouwbaarheid van AI-systemen met een hoog risico, moeten deze systemen worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht of in gebruik worden gesteld.

Teneinde de lasten voor operatoren tot een minimum te beperken en eventuele mogelijke overlappingen te voorkomen, moet de overeenstemming van AI-systemen met een hoog risico die verband houden met producten die vallen onder bestaande harmonisatiewetgeving van de Unie volgens het nieuwe wetgevingskader met de voorschriften van deze verordening, worden beoordeeld als onderdeel van de conformiteitsbeoordeling waarin bij die wetgeving reeds is voorzien. De toepasselijkheid van de voorschriften van deze verordening mag dus geen gevolgen hebben voor de specifieke logica, methode of algemene structuur van de conformiteitsbeoordeling uit hoofde van de desbetreffende harmonisatiewetgeving van de Unie.

Gezien de complexiteit van AI-systemen met een hoog risico en de aan die systemen verbonden risico’s, is het belangrijk een adequate conformiteitsbeoordelingsprocedure voor AI-systemen met een hoog risico te ontwikkelen en daar aangemelde instanties bij te betrekken, de zogeheten conformiteitsbeoordeling door derden. Gezien de huidige ervaring van personen die professionele certificeringen vóór het in de handel brengen uitvoeren op het gebied van productveiligheid en de andere aard van de risico’s waarmee dat gepaard gaat, is het echter passend om, in ieder geval in een eerste fase van de toepassing van deze verordening, het toepassingsgebied van conformiteitsbeoordelingen door derden van AI-systemen met een hoog risico die geen verband houden met producten, te beperken. Daarom moet de conformiteitsbeoordeling van dergelijke systemen in de regel onder eigen verantwoordelijkheid door de aanbieder worden uitgevoerd, met als enige uitzondering AI-systemen die bedoeld zijn om voor biometrie te worden gebruikt.

Met het oog op de uitvoering van conformiteitsbeoordelingen door derden, wanneer deze vereist zijn, moeten de nationale bevoegde autoriteiten aangemelde instanties aanmelden op grond van deze verordening, mits deze instanties voldoen aan een reeks voorschriften, met name met betrekking tot de onafhankelijkheid, competenties, afwezigheid van belangenconflicten en passende voorschriften inzake cyberbeveiliging. De aanmelding van die instanties moet door de nationale bevoegde autoriteiten aan de Commissie en de andere lidstaten worden gezonden via het op grond van artikel R23 van bijlage I bij Besluit 768/2008/EG door de Commissie ontwikkelde en beheerde elektronische aanmeldingssysteem.

Het is in overeenstemming met de verbintenissen van de Unie in het kader van de WTO-overeenkomst inzake technische handelsbelemmeringen, passend om de wederzijdse erkenning van door bevoegde conformiteitsbeoordelingsinstanties voortgebrachte conformiteitsbeoordelingsresultaten te bevorderen, ongeacht het grondgebied waar deze instanties zijn gevestigd, met dien verstande dat die naar het recht van een derde land opgerichte instanties voldoen aan de toepasselijke eisen van deze verordening en de Unie daartoe een overeenkomst heeft gesloten. In dit verband moet de Commissie actief op zoek gaan naar mogelijke internationale instrumenten daartoe en zich met name inzetten voor de sluiting van overeenkomsten inzake wederzijdse erkenning met derde landen.

In lijn met het algemeen erkende begrip van substantiële wijziging van producten die vallen onder de harmonisatiewetgeving van de Unie, is het passend dat, indien zich een verandering voordoet die gevolgen kan hebben voor de overeenstemming van een AI-systeem met een hoog risico met deze verordening (bijvoorbeeld een verandering van het besturingssysteem of de softwarearchitectuur) of indien het beoogde doel van het systeem verandert, dat AI-systeem wordt beschouwd als een nieuw AI-systeem dat aan een nieuwe conformiteitsbeoordeling moet worden onderworpen. Wijzigingen met betrekking tot het algoritme en de prestaties van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik gesteld, die met name automatisch aanpassen hoe taken worden uitgevoerd, mogen echter geen substantiële wijziging vormen, mits die wijzigingen vooraf door de aanbieder zijn bepaald en op het moment van de conformiteitsbeoordeling zijn beoordeeld.

Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met deze verordening, zodat het vrije verkeer ervan op de interne markt mogelijk is. Op AI-systemen met een hoog risico die in een product zijn geïntegreerd moet een fysieke CE-markering worden aangebracht, die kan worden aangevuld met een digitale CE-markering. Voor AI-systemen met een hoog risico die alleen digitaal worden verstrekt, moet een digitale CE-markering worden gebruikt. De lidstaten mogen het in de handel brengen en het in gebruik stellen van AI-systemen met een hoog risico die aan de in deze verordening vastgelegde eisen voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.

In bepaalde omstandigheden kan de snelle beschikbaarheid van innovatieve technologieën cruciaal zijn voor de gezondheid en veiligheid van personen, de bescherming van het milieu en de klimaatverandering, en de samenleving in haar geheel. Het is derhalve passend dat de markttoezichtautoriteiten om uitzonderlijke redenen in verband met de openbare veiligheid of de bescherming van het leven en de gezondheid van natuurlijke personen, de bescherming van het milieu en de bescherming van essentiële industriële en infrastructurele activa toestemming kunnen verlenen voor het in de handel brengen of in gebruik stellen van AI-systemen die nog niet aan een conformiteitsbeoordeling zijn onderworpen. In naar behoren gemotiveerde situaties, zoals voorzien in deze verordening, kunnen rechtshandhavingsinstanties of civielebeschermingsautoriteiten zonder toestemming van de markttoezichtautoriteit een specifiek AI-systeem met een hoog risico in gebruik stellen, op voorwaarde dat tijdens of na het gebruik onverwijld om een dergelijke toestemming wordt verzocht.

Om de werkzaamheden van de Commissie en de lidstaten op het gebied van AI te vergemakkelijken en om de transparantie voor het publiek te vergroten, moeten aanbieders van AI-systemen met een hoog risico die geen verband houden met producten die onder het toepassingsgebied van de desbetreffende bestaande harmonisatiewetgeving van de Unie vallen, evenals aanbieders die van mening zijn dat een in de in een bijlage bij deze verordening opgenomen gebruiksgevallen met een hoog risico vermeld AI-systeem op basis van een afwijking geen hoog risico inhoudt, worden verplicht zichzelf en informatie over hun AI-systeem te registreren in een EU-databank, die door de Commissie moet worden opgericht en beheerd. Alvorens een in de in een bijlage bij deze verordening opgenomen gebruiksgevallen met een hoog risico vermeld AI-systeem te gebruiken, moeten gebruiksverantwoordelijken van AI-systemen met een hoog risico die overheidsinstanties, -agentschappen of -organen zijn, zich bij een dergelijke databank registreren en het systeem selecteren dat zij voornemens zijn te gebruiken. Andere gebruiksverantwoordelijken moeten het recht hebben dit vrijwillig te doen. Dit deel van de EU-databank moet voor het publiek toegankelijk en kosteloos zijn, en de informatie moet gemakkelijk te doorzoeken, begrijpelijk en machineleesbaar zijn. De EU-databank moet ook gebruiksvriendelijk zijn, bijvoorbeeld door zoekfuncties aan te bieden, onder meer door middel van trefwoorden, zodat het grote publiek relevante informatie kan vinden die moet worden ingediend bij de registratie van AI-systemen met een hoog risico, evenals informatie over de gebruikssituatie van AI-systemen met een hoog risico, zoals uiteengezet in een bijlage bij deze verordening, waarmee de AI-systemen met een hoog risico overeenstemmen. Ook alle substantiële wijzigingen van AI-systemen met een hoog risico moeten in de EU-databank worden geregistreerd. Voor AI-systemen met een hoog risico op het gebied van rechtshandhaving, migratie, asiel en grenstoezichtsbeheer moeten de registratieverplichtingen worden verricht in een beveiligd niet-openbaar deel van de EU-databank. De toegang tot het beveiligde niet-openbare deel moet strikt worden beperkt tot de Commissie en, wat hun nationale deel van die databank betreft, tot markttoezichtautoriteiten. AI-systemen met een hoog risico op het gebied van kritieke infrastructuur mogen alleen op nationaal niveau worden geregistreerd. De Commissie moet de verwerkingsverantwoordelijke van de EU-databank zijn, overeenkomstig Verordening (EU) 2018/1725. Teneinde de volledige functionaliteit van de EU-databank te waarborgen, moet de procedure voor het vaststellen van de databank de uitwerking van functionele specificaties door de Commissie en een onafhankelijk auditverslag omvatten. De Commissie moet bij de uitvoering van haar taken als verwerkingsverantwoordelijke voor de EU-databank rekening houden met cyberbeveiligingsrisico’s. Om de beschikbaarheid en het gebruik van de EU-databank door het publiek te maximaliseren, moet de databank, met inbegrip van de via de EU-databank beschikbaar gestelde informatie, voldoen aan de eisen van Richtlijn (EU) 2019/882.

Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren of om content te genereren, kunnen specifieke risico’s op imitatie of misleiding met zich meebrengen, ongeacht of zij als systeem met een hoog risico gelden. In bepaalde omstandigheden moeten voor het gebruik van deze systemen daarom specifieke transparantieverplichtingen gelden, zonder dat afbreuk wordt gedaan aan de eisen en verplichtingen voor AI-systemen met een hoog risico, en moeten zij onderworpen zijn aan gerichte uitzonderingen om rekening te houden met de bijzondere behoeften van rechtshandhaving. Met name moeten natuurlijke personen ervan in kennis worden gesteld dat zij interageren met een AI-systeem, tenzij dit duidelijk is vanuit het oogpunt van een normaal geïnformeerde en redelijk opmerkzame en omzichtige natuurlijke persoon, rekening houdend met de omstandigheden en de gebruikscontext. Bij de toepassing van die verplichting moet rekening worden gehouden met de kenmerken van tot kwetsbare groepen horende natuurlijke personen die vanwege hun leeftijd of handicap kwetsbaar zijn, voor zover het AI-systeem bedoeld is om ook met die groepen te interageren. Bovendien moeten natuurlijke personen indien zij worden blootgesteld aan AI-systemen die, door hun biometrische gegevens te verwerken, de emoties of intenties van deze personen kunnen vaststellen of afleiden of hen in een specifieke categorie kunnen indelen, hiervan in kennis worden gesteld. Zulke specifieke categorieën kunnen betrekking hebben op aspecten zoals geslacht, leeftijd, haarkleur, oogkleur, tatoeages, persoonlijke kenmerken, etnische afkomst, persoonlijke voorkeuren en interesses. Dergelijke informatie en kennisgevingen moeten worden verstrekt in een formaat dat toegankelijk is voor personen met een handicap.

Bepaalde AI-systemen kunnen grote hoeveelheden synthetische content genereren waarbij het voor de mens steeds moeilijker wordt deze te onderscheiden van door de mens gegenereerde en authentieke content. De brede beschikbaarheid en de toenemende capaciteit van deze systemen hebben een aanzienlijke impact op de integriteit van en het vertrouwen in het informatie-ecosysteem, waardoor nieuwe risico’s op desinformatie en manipulatie op grote schaal, fraude, imitatie en consumentenbedrog ontstaan. In het licht van die effecten, het snelle technologische tempo en de behoefte aan nieuwe methoden en technieken om de oorsprong van informatie te traceren, is het passend aanbieders van die systemen voor te schrijven dat zij technische oplossingen inbouwen die markering in een machineleesbaar formaat mogelijk maken en aantonen dat de output is gegenereerd of gemanipuleerd door een AI-systeem en niet door een mens. Dergelijke technieken en methoden moeten voldoende betrouwbaar, interoperabel, doeltreffend en robuust zijn, voor zover dit technisch haalbaar is, rekening houdend met de beschikbare technieken of een combinatie van dergelijke technieken, zoals watermerken, metagegevens, cryptografische methoden voor het aantonen van de herkomst en authenticiteit van inhoud, loggingmethoden, vingerafdrukken of andere technieken, naargelang het geval. Bij de uitvoering van deze verplichting moeten aanbieders ook rekening houden met de specifieke kenmerken en beperkingen van de verschillende soorten content en de relevante technologische en marktontwikkelingen op dit gebied, zoals blijkt uit de algemeen erkende stand van de techniek. Dergelijke technieken en methoden kunnen worden toegepast op het niveau van het AI-systeem of op het niveau van het AI-model, met inbegrip van AI-modellen voor algemene doeleinden die content genereren, waardoor de aanbieder verder in de AI-waardeketen van het AI-systeem gemakkelijker aan deze verplichting kan voldoen. Met het oog op de evenredigheid, moet worden overwogen dat deze markeringsverplichting niet van toepassing mag zijn op AI-systemen die in de eerste plaats een ondersteunende functie hebben voor het uitvoeren van standaardbewerkingen of op AI-systemen die de door de gebruiksverantwoordelijke verstrekte inputdata, of de semantiek ervan, niet wezenlijk wijzigen.

Naast de technische oplossingen die door de aanbieders van het AI-systeem worden gebruikt, moeten gebruiksverantwoordelijken die een AI-systeem gebruiken om beeld-, audio- of video-content te genereren of te manipuleren die aanzienlijk lijkt op bestaande personen, voorwerpen, plaatsen, entiteiten of gebeurtenissen en voor een persoon ten onrechte authentiek of waarachtig kunnen lijken (deepfakes), ook klaar en duidelijk kenbaar maken dat de content kunstmatig is gecreëerd of gemanipuleerd door de AI-output als zodanig aan te merken en de kunstmatige oorsprong ervan bekend te maken. Naleving van deze transparantieverplichting mag niet aldus worden uitgelegd dat het gebruik van het AI-systeem of de output ervan afbreuk doet aan het in het Handvest gewaarborgde recht op vrijheid van meningsuiting en het recht op vrijheid van kunsten en wetenschappen belemmert, met name indien de content deel uitmaakt van een werk of programma dat duidelijk creatief, satirisch, artistiek, fictief of analoog van aard is, met inachtneming van passende waarborgen voor de rechten en vrijheden van derden. In die gevallen is de in deze verordening vastgestelde transparantieverplichting voor deepfakes beperkt tot de openbaarmaking van het bestaan van dergelijke gegenereerde of gemanipuleerde content, en dit op een passende wijze die geen belemmering vormt voor de weergave of het genot van het werk, met inbegrip van de normale exploitatie en het normale gebruik ervan, met behoud van het nut en de kwaliteit van het werk. Daarnaast is het ook passend te voorzien in een soortgelijke openbaarmakingsplicht met betrekking tot door AI gegenereerde of gemanipuleerde tekst, voor zover deze wordt gepubliceerd met als doel het publiek te informeren over aangelegenheden van algemeen belang, tenzij de door AI gegenereerde content een proces van menselijke toetsing of redactionele controle heeft ondergaan en een natuurlijke of rechtspersoon redactionele verantwoordelijkheid draagt voor de publicatie van de content.

Onverminderd het verplichte karakter en de volledige toepasselijkheid van de transparantieverplichtingen, kan de Commissie ook het opstellen van praktijkcodes op het niveau van de Unie aanmoedigen en faciliteren om de doeltreffende uitvoering van de verplichtingen met betrekking tot het opsporen en het aanmerken van kunstmatig gegenereerde of gemanipuleerde content te vergemakkelijken, onder meer ter ondersteuning van praktische regelingen voor, in voorkomend geval, het toegankelijk maken van de detectiemechanismen en het faciliteren van samenwerking met andere actoren in de waardeketen, het verspreiden van content of het controleren van de authenticiteit en herkomst ervan, teneinde het publiek in staat te stellen door AI gegenereerde content doeltreffend te onderscheiden.

De verplichtingen die in deze verordening aan aanbieders en gebruiksverantwoordelijken van bepaalde aI-systemen worden opgelegd om opsporing mogelijk te maken, evenals de bekendmaking dat de outputs van die systemen kunstmatig worden gegenereerd of gemanipuleerd, zijn bijzonder relevant om de doeltreffende uitvoering van Verordening (EU) 2022/2065 te vergemakkelijken. Dit geldt met name voor de verplichtingen van aanbieders van zeer grote onlineplatforms of zeer grote onlinezoekmachines om systeemrisico’s te identificeren en te beperken die kunnen voortvloeien uit de verspreiding van kunstmatig gegenereerde of gemanipuleerde content, met name het risico op feitelijke of voorzienbare negatieve effecten op democratische processen, het maatschappelijk debat en verkiezingsprocessen, onder meer door desinformatie. Het vereiste om uit hoofde van deze verordening content die door AI-systemen wordt gegenereerd, aan te merken, doet geen afbreuk aan de verplichting van artikel 16, lid 6, van Verordening (EU) 2022/2065 voor aanbieders van hostingdiensten om meldingen van illegale content te verwerken op grond van artikel 16, lid 1, van die verordening, en mag geen invloed hebben op de beoordeling van en het besluit over de onwettigheid van de specifieke content. Die beoordeling moet uitsluitend worden verricht aan de hand van de regels inzake de rechtmatigheid van de content.

Naleving van de bovengenoemde transparantieverplichtingen voor AI-systemen die onder deze verordening vallen, mag niet aldus worden uitgelegd dat het gebruik van het systeem of de output ervan rechtmatig is op grond van deze verordening of andere wetgeving van de Unie en de lidstaten, en moet andere in het Unierecht of het nationale recht vastgelegde transparantieverplichtingen voor gebruiksverantwoordelijken van AI-systemen onverlet laten.

AI is een snel ontwikkelende familie van technologieën die regelgevingstoezicht en een veilige en gecontroleerde plek voor experimenteren vereist, terwijl tegelijkertijd de verantwoorde innovatie en integratie van passende waarborgen en risicobeperkende maatregelen worden gewaarborgd. Om te zorgen voor een wettelijk kader dat innovatie stimuleert, toekomstbestendig is en bestand is tegen verstoringen, moeten de lidstaten ervoor zorgen dat hun nationale bevoegde autoriteiten ten minste één AI-testomgeving voor regelgeving op nationaal niveau tot stand brengen om de ontwikkeling en het testen van innovatieve AI-systemen onder strikt regelgevingstoezicht mogelijk te maken voordat deze systemen in de handel worden gebracht of anderszins in gebruik worden gesteld. De lidstaten kunnen deze verplichting ook nakomen door deel te nemen aan reeds bestaande testomgevingen voor regelgeving of door samen met de bevoegde autoriteiten van een of meer lidstaten een testomgeving op te zetten, voor zover deze deelname de deelnemende lidstaten een gelijkwaardig niveau van nationale dekking biedt. AI-testomgevingen voor regelgeving kunnen in fysieke, digitale of hybride vorm worden opgezet en kunnen zowel fysieke als digitale producten bevatten. De autoriteiten die de AI-testomgeving hebben ontwikkeld, moeten er ook voor zorgen dat de AI-testomgevingen voor regelgeving over voldoende middelen beschikken, met inbegrip van financiële en personele middelen.

De doelstellingen van AI-testomgevingen voor regelgeving moeten bestaan in het bevorderen van AI-innovatie door te zorgen voor een gecontroleerde experiment- en testomgeving in de ontwikkelingsfase en de fase vóór het in de handel brengen met het oog op het waarborgen van de overeenstemming van innovatieve AI-systemen met deze verordening en andere relevante wetgeving van de Unie en de lidstaten. Bovendien moeten de AI-testomgevingen voor regelgeving gericht zijn op het verbeteren van de rechtszekerheid voor innovatoren en het toezicht en begrip van de bevoegde autoriteiten ten aanzien van de mogelijkheden, opkomende risico’s en de effecten van het gebruik van AI, het leren van regelgeving voor autoriteiten en ondernemingen te vergemakkelijken, onder meer met het oog op toekomstige aanpassingen van het rechtskader, de samenwerking en de uitwisseling van beste praktijken met de autoriteiten die betrokken zijn bij de AI-testomgeving voor regelgeving te ondersteunen, en het versnellen van de toegang tot markten, onder meer door belemmeringen voor kmo’s, met inbegrip van start-ups, weg te nemen. AI-testomgevingen voor regelgeving moeten in de hele Unie op grote schaal beschikbaar zijn, en er moet bijzondere aandacht worden besteed aan de toegankelijkheid ervan voor kmo’s, met inbegrip van start-ups. Bij deelname aan een AI-testomgeving voor regelgeving moet de focus liggen op kwesties die leiden tot rechtsonzekerheid voor aanbieders en potentiële aanbieders met betrekking tot innovatie, experimenten met AI in de Unie en bijdragen aan het empirisch leren op het gebied van regelgeving. Toezicht op de AI-systemen in een AI-testomgeving voor regelgeving moet daarom gericht zijn op het ontwikkelen, trainen, testen en valideren van deze systemen, voordat ze in de handel worden gebracht of in gebruik worden gesteld, alsook op het begrip substantiële wijziging en het zich voordoen ervan, hetgeen een nieuwe conformiteitsbeoordelingsprocedure kan vereisen. Aanzienlijke risico’s die tijdens het ontwikkelen en testen van dergelijke AI-systemen worden vastgesteld, moeten op adequate wijze worden beperkt en bij gebreke daarvan leiden tot de opschorting van het ontwikkelings- en testproces. Waar passend moeten nationale bevoegde autoriteiten die AI-testomgevingen voor regelgeving opzetten, samenwerken met andere betrokken autoriteiten, waaronder autoriteiten die toezicht houden op de bescherming van de grondrechten, en kunnen zij toestaan dat andere actoren binnen het AI-ecosysteem hierbij betrokken worden, zoals nationale of Europese normalisatie-instellingen, aangemelde instanties, test- en experimenteerfaciliteiten, laboratoria voor onderzoek en experimenteren, Europese digitale-innnovatiehubs en relevante belanghebbenden en maatschappelijke organisaties. Teneinde de uniforme uitvoering in de gehele Unie en schaalvoordelen te waarborgen, is het passend om gemeenschappelijke regels vast te stellen voor de uitvoering van AI-testomgevingen voor regelgeving, evenals een kader voor de samenwerking tussen de relevante autoriteiten die betrokken zijn bij het toezicht op de testomgevingen. Krachtens deze verordening opgezette AI-testomgevingen voor regelgeving mogen geen afbreuk doen aan andere wetgeving op grond waarvan andere testomgevingen kunnen worden opgezet om de naleving van ander recht dan deze verordening te waarborgen. Waar passend moeten de bevoegde autoriteiten die verantwoordelijk zijn voor die andere testomgevingen voor regelgeving nagaan welke voordelen het zou opleveren als die testomgevingen ook worden gebruikt om te waarborgen dat AI-systemen in overeenstemming zijn met deze verordening. Als de nationale bevoegde autoriteiten en de deelnemers aan de AI-testomgeving voor regelgeving het hierover eens zijn, kunnen in het kader van de AI-testomgeving voor regelgeving ook testen onder reële omstandigheden worden uitgevoerd en gecontroleerd.

Deze verordening moet aanbieders en potentiële aanbieders van de AI-testomgeving voor regelgeving de rechtsgrond bieden voor het gebruik van persoonsgegevens die voor andere doeleinden zijn verzameld, met het oog op de ontwikkeling van bepaalde AI-systemen in het openbaar belang in de AI-testomgeving voor regelgeving, echter alleen onder bepaalde omstandigheden, overeenkomstig artikel 6, lid 4, en artikel 9, lid 2, punt g), van Verordening (EU) 2016/679 en de artikelen 5, 6 en 10 van Verordening (EU) 2018/1725 en onverminderd artikel 4, lid 2, en artikel 10 van Richtlijn (EU) 2016/680. Alle andere verplichtingen van verwerkingsverantwoordelijken en rechten van betrokkenen uit hoofde van Verordening (EU) 2016/679, Verordening (EU) 2018/1725 en Richtlijn (EU) 2016/680 blijven van toepassing. In het bijzonder mag deze verordening geen rechtsgrond bieden in de zin van artikel 22, lid 2, punt b), van Verordening (EU) 2016/679 en artikel 24, lid 2, punt b), van Verordening (EU) 2018/1725. Aanbieders en potentiële aanbieders van de AI-testomgeving voor regelgeving moeten zorgen voor passende waarborgen en moeten samenwerken met de bevoegde autoriteiten, onder meer door hun richtsnoeren te volgen en snel en te goeder trouw te handelen om eventuele vastgestelde significante risico’s voor de veiligheid, de gezondheid en de grondrechten die zich tijdens de ontwikkeling en het experimenteren in die testomgeving kunnen voordoen, op adequate wijze te beperken.

Om de ontwikkeling en het in de handel brengen van de in een bijlage bij deze verordening opgenomen AI-systemen met een hoog risico te versnellen is het belangrijk dat aanbieders of potentiële aanbieders van deze systemen ook zonder deel te nemen aan een AI-testomgeving voor regelgeving gebruik kunnen maken van een speciale regeling voor het testen van deze systemen onder reële omstandigheden. De verordening moet in dergelijke gevallen echter voorzien in passende en voldoende waarborgen en voorwaarden voor aanbieders en potentiële aanbieders, rekening houdend met de mogelijke gevolgen van die testen voor individuele natuurlijke personen. Deze waarborgen moeten onder meer inhouden dat natuurlijke personen om geïnformeerde toestemming wordt gevraagd voor deelname aan testen onder reële omstandigheden, behalve in het kader van rechtshandhaving waarbij het vragen van geïnformeerde toestemming zou verhinderen dat het AI-systeem wordt getest. Toestemming van proefpersonen voor deelname aan dergelijke tests in het kader van deze verordening staat los van de toestemming van betrokkenen voor de verwerking van hun persoonsgegevens uit hoofde van het relevante gegevensbeschermingsrecht en laat deze onverlet. Het is ook belangrijk om de risico’s tot een minimum te beperken en toezicht door bevoegde autoriteiten mogelijk te maken en daarom potentiële aanbieders voor te schrijven dat zij een plan voor testen onder reële omstandigheden indienen bij de bevoegde markttoezichtautoriteit, de testen registreren in specifieke rubrieken in de EU-databank, met uitzondering van enkele beperkte uitzonderingen, beperkingen stellen aan de periode gedurende welke de testen kunnen worden uitgevoerd en aanvullende waarborgen voor tot bepaalde kwetsbare groepen horende personen vereisen, evenals een schriftelijke overeenkomst waarin de rollen en verantwoordelijkheden van potentiële aanbieders en gebruiksverantwoordelijken worden omschreven en doeltreffend toezicht door bevoegd personeel dat betrokken is bij de testen onder reële omstandigheden. Voorts is het passend te voorzien in aanvullende waarborgen om ervoor te zorgen dat de voorspellingen, aanbevelingen of besluiten van het AI-systeem daadwerkelijk kunnen worden teruggedraaid en genegeerd en dat persoonsgegevens worden beschermd en gewist indien de proefpersonen hun toestemming om aan de testen deel te nemen hebben ingetrokken, onverminderd hun rechten als betrokkenen uit hoofde van het Unierecht inzake gegevensbescherming. Wat de doorgifte van gegevens betreft, is het ook passend te voorzien dat gegevens die zijn verzameld en verwerkt met het oog op testen in reële omstandigheden alleen aan derde landen mogen worden doorgegeven die passende en toepasselijke waarborgen uit hoofde van het Unierecht toepassen, met name in overeenstemming met de basisvoorwaarden voor de doorgifte van persoonsgegevens uit hoofde van het Unierecht inzake gegevensbescherming, terwijl voor niet-persoonsgebonden gegevens passende waarborgen worden voorzien in overeenstemming met het Unierecht, zoals Verordeningen (EU) 2022/868 (42) en (EU) 2023/2854 (43) van het Europees Parlement en de Raad.

Om ervoor te zorgen dat AI tot sociaal en ecologisch gunstige resultaten leidt, worden de lidstaten aangemoedigd onderzoek naar en ontwikkeling van AI-oplossingen ter ondersteuning van sociaal en ecologisch gunstige resultaten te steunen en te bevorderen, zoals op AI gebaseerde oplossingen om de toegankelijkheid voor personen met een handicap te vergroten, sociaal-economische ongelijkheden aan te pakken of milieudoelstellingen te halen, door voldoende middelen toe te wijzen, met inbegrip van overheidsfinanciering en financiering door de Unie, en met name, in voorkomend geval en op voorwaarde dat aan de subsidiabiliteits- en selectiecriteria is voldaan, vooral projecten in overweging te nemen waarmee dergelijke doelstellingen worden nagestreefd. Dergelijke projecten moeten gebaseerd zijn op het beginsel van interdisciplinaire samenwerking tussen AI-ontwikkelaars, deskundigen op het gebied van ongelijkheid en non-discriminatie, toegankelijkheid, consumentenrecht, milieurecht en digitale rechten, alsook academici.

Om de innovatie te bevorderen en beschermen, is het belangrijk dat er in het bijzonder rekening wordt gehouden met de belangen van kmo’s, met inbegrip van start-ups, die aanbieders of gebruiksverantwoordelijken van AI-systemen zijn. Daartoe moeten de lidstaten initiatieven ontwikkelen die gericht zijn op deze operatoren, onder meer met het oog op bewustmaking en informatieverstrekking. De lidstaten moeten kmo’s, met inbegrip van start-ups, die een maatschappelijke zetel of een bijkantoor in de Unie hebben, prioritaire toegang bieden tot de AI-testomgevingen voor regelgeving, mits zij voldoen aan de subsidiabiliteitsvoorwaarden en selectiecriteria en zonder andere aanbieders en potentiële aanbieders uit te sluiten van de testomgevingen, mits aan dezelfde voorwaarden en criteria is voldaan. De lidstaten moeten hiervoor de bestaande kanalen gebruiken en waar nodig nieuwe specifieke kanalen voor de communicatie met kmo’s, met inbegrip van start-ups, gebruiksverantwoordelijken, andere innovatoren en, in voorkomend geval, lokale overheidsinstanties opzetten om kmo’s in hun ontwikkelingstraject te ondersteunen door begeleiding te bieden en vragen over de uitvoering van deze verordening te beantwoorden. Waar nodig moeten deze kanalen met elkaar samenwerken om synergieën te creëren en te zorgen voor een homogene aanpak bij hun adviezen aan kmo’s, met inbegrip van start-ups, en gebruiksverantwoordelijken. Daarnaast moeten de lidstaten de deelname van kmo’s en andere relevante belanghebbenden aan het proces voor de ontwikkeling van normen faciliteren. Bovendien moet rekening worden gehouden met de specifieke belangen en behoeften van aanbieders die kmo’s zijn, met inbegrip van start-ups, wanneer aangemelde instanties bijdragen voor de conformiteitsbeoordeling vaststellen. De Commissie moet de certificerings- en nalevingskosten voor kmo’s, met inbegrip van start-ups, regelmatig beoordelen via transparant overleg, en moet met de lidstaten samenwerken om die kosten te verlagen. Vertaalkosten in verband met verplichte documentatie en communicatie met autoriteiten kunnen bijvoorbeeld een aanzienlijke kostenpost vormen voor met name kleine aanbieders en andere operatoren. De lidstaten moeten er indien mogelijk voor zorgen dat een van de door hen vastgestelde en aanvaarde talen voor de documentatie van betrokken aanbieders en voor de communicatie met operatoren in grote lijnen wordt begrepen door een zo groot mogelijk aantal grensoverschrijdende gebruiksverantwoordelijken. Om tegemoet te komen aan de specifieke behoeften van kmo’s, met inbegrip van start-ups, moet de Commissie op verzoek van de AI-board gestandaardiseerde sjablonen verstrekken voor de gebieden die onder deze verordening vallen. Daarnaast moet de Commissie de inspanningen van de lidstaten aanvullen door te voorzien in een centraal informatieplatform met gebruiksvriendelijke informatie over deze verordening voor alle aanbieders en gebruiksverantwoordelijken, door passende communicatiecampagnes te organiseren om het bewustzijn over de uit deze verordening voortvloeiende verplichtingen te vergroten, en door de convergentie van beste praktijken in openbare aanbestedingsprocedures met betrekking tot AI-systemen te evalueren en te bevorderen. Middelgrote ondernemingen die tot voor kort als kleine ondernemingen werden aangemerkt in de zin van de bijlage bij Aanbeveling 2003/361/EG van de Commissie (44), moeten toegang hebben tot die steunmaatregelen, aangezien die nieuwe middelgrote ondernemingen soms niet over de nodige juridische middelen en opleiding beschikken om een goed begrip en een goede naleving van deze verordening te waarborgen.

Om innovatie te bevorderen en te beschermen, moeten het platform voor AI on demand en alle relevante financieringsprogramma’s en projecten van de Unie, zoals het programma Digitaal Europa en Horizon Europa, die op Unie- of nationaal niveau worden uitgevoerd door de Commissie en de lidstaten, in voorkomend geval, bijdragen aan de verwezenlijking van de doelstellingen van deze verordening.

Om de risico’s voor de uitvoering te beperken die voortvloeien uit een gebrek aan kennis en deskundigheid op de markt en om de nakoming door aanbieders, met name kmo’s, met inbegrip van start-ups, en aangemelde instanties van hun verplichtingen uit hoofde van deze verordening te vergemakkelijken, zouden met name het platform voor AI on demand, de Europese digitale-innovatiehubs en de test- en experimenteerfaciliteiten die door de Commissie en de lidstaten op Unie- of nationaal niveau zijn vastgesteld, moeten bijdragen tot de uitvoering van deze verordening. Binnen hun respectieve opdracht en bevoegdheidsgebieden kunnen het platform voor AI on demand, de Europese digitale-innovatiehubs en de test- en experimenteerfaciliteiten met name technische en wetenschappelijke ondersteuning bieden aan aanbieders en aangemelde instanties.

Voorts is het, gezien de zeer kleine omvang van sommige operatoren en om de evenredigheid met betrekking tot de kosten van innovatie te waarborgen, passend dat micro-ondernemingen op vereenvoudigde wijze aan een van de duurste vereisten, namelijk het opzetten van een systeem voor kwaliteitsbeheer, voldoen, hetgeen de administratieve lasten en de kosten voor deze ondernemingen zou verminderen zonder afbreuk te doen aan het beschermingsniveau en de noodzaak om de vereisten voor AI-systemen met een hoog risico na te leven. De Commissie moet richtsnoeren ontwikkelen om de elementen te specificeren van het kwaliteitsbeheersysteem waaraan micro-ondernemingen op deze vereenvoudigde wijze moeten voldoen.

Het is passend dat de Commissie voor zover mogelijk de toegang tot test- en experimenteerfaciliteiten vergemakkelijkt voor instanties, groepen of laboratoria die overeenkomstig relevante harmonisatiewetgeving van de Unie zijn opgericht of erkend en die taken uitvoeren in het kader van de conformiteitsbeoordeling van producten of apparaten die onder die harmonisatiewetgeving van de Unie vallen. Dit is met name het geval voor deskundigenpanels, deskundige laboratoria en referentielaboratoria op het gebied van medische hulpmiddelen overeenkomstig de Verordeningen (EU) 2017/745 en (EU) 2017/746.

Bij deze verordening moet een governancekader worden vastgelegd dat het mogelijk maakt de toepassing van deze verordening op nationaal niveau te coördineren en te ondersteunen, evenals capaciteiten op het niveau van de Unie op te bouwen en belanghebbenden op het gebied van AI te integreren. De doeltreffende uitvoering en handhaving van deze verordening vereist een governancekader dat het mogelijk maakt centrale deskundigheid op het niveau van de Unie te coördineren en uit te bouwen. Het AI-bureau is opgericht bij besluit van de Commissie (45) en heeft tot taak deskundigheid en capaciteiten van de Unie op het gebied van AI te ontwikkelen en bij te dragen aan de uitvoering van het recht van de Unie inzake AI. De lidstaten moeten de taken van het AI-bureau faciliteren om de ontwikkeling van deskundigheid en capaciteiten van de Unie op het niveau van de Unie te ondersteunen en de werking van de digitale eengemaakte markt te versterken. Voorts moeten een raad, bestaande uit vertegenwoordigers van de lidstaten, een wetenschappelijk panel om de wetenschappelijke gemeenschap te integreren en een adviesforum worden opgericht om te zorgen voor inbreng van belanghebbenden bij de uitvoering van deze verordening op Unie- en nationaal niveau. Bij de ontwikkeling van de deskundigheid en capaciteiten van de Unie moet ook gebruik worden gemaakt van bestaande middelen en deskundigheid, met name door middel van synergieën met structuren die zijn opgebouwd in het kader van de handhaving van andere wetgeving op Unieniveau en synergieën met gerelateerde initiatieven op Unieniveau, zoals de Gemeenschappelijke Onderneming EuroHPC en de test- en experimenteerfaciliteiten voor AI in het kader van het programma Digitaal Europa.

Teneinde een soepele, doeltreffende en geharmoniseerde uitvoering van deze verordening mogelijk te maken, moet een AI-board worden opgericht. De AI-board moet de verschillende belangen van het AI-ecosysteem belichamen en uit vertegenwoordigers van de lidstaten bestaan. De AI-board moet verantwoordelijk zijn voor een aantal adviestaken, met inbegrip van het opstellen van adviezen en aanbevelingen of het bijdragen aan richtsnoeren over kwesties die verband houden met de uitvoering van deze verordening, waaronder over handhaving, technische specificaties of bestaande normen met betrekking tot de eisen van deze verordening, en de adviesverlening aan de Commissie en de lidstaten en hun nationale bevoegde autoriteiten ten aanzien van specifieke vragen in verband met artificiële intelligentie. Om de lidstaten enige flexibiliteit te bieden bij de aanwijzing van hun vertegenwoordigers in de AI-board, mogen zij iedereen die tot een overheidsinstantie behoort en over relevante competenties en bevoegdheden beschikt om de coördinatie op nationaal niveau te vergemakkelijken en bij te dragen aan de vervulling van de taken van de AI-board aanwijzen als vertegenwoordiger. De AI-board moet twee permanente subgroepen oprichten om een platform te bieden voor samenwerking en uitwisseling tussen markttoezichtautoriteiten en aanmeldende autoriteiten over kwesties betreffende respectievelijk markttoezicht en aangemelde instanties. De permanente subgroep voor markttoezicht moet fungeren als de administratievesamenwerkingsgroep (ADCO) voor deze verordening in de zin van artikel 30 van Verordening (EU) 2019/1020. Overeenkomstig artikel 33 van die verordening moet de Commissie de activiteiten van de permanente subgroep voor markttoezicht ondersteunen door marktevaluaties of -studies uit te voeren, met name om in kaart te brengen voor welke aspecten van deze verordening specifiek en dringend coördinatie nodig is tussen markttoezichtautoriteiten. De AI-board kan in voorkomend geval andere permanente of tijdelijke subgroepen oprichten om specifieke kwesties te onderzoeken. De AI-board moet, in voorkomend geval, ook samenwerken met relevante Unie-organen, -deskundigengroepen en -netwerken die zich bezighouden met het relevante recht van de Unie, waaronder met name die welke actief zijn in het kader van het recht van de Unie inzake data, digitale producten en diensten.

Om ervoor te zorgen dat belanghebbenden bij de uitvoering en toepassing van deze verordening worden betrokken, moet een adviesforum worden opgericht om de raad en de Commissie advies en technische expertise te verstrekken. Met het oog op een gevarieerde en evenwichtige vertegenwoordiging van belanghebbenden tussen commerciële en niet-commerciële belangen en, binnen de categorie commerciële belangen, wat kmo’s en andere ondernemingen betreft, moet het adviesforum onder meer bestaan uit vertegenwoordigers van de industrie, start-ups, kmo’s, de academische wereld, het maatschappelijk middenveld, met inbegrip van de sociale partners, het Bureau voor de grondrechten, Enisa, het Europees Comité voor normalisatie (CEN), het Europees Comité voor elektrotechnische normalisatie (Cenelec) en het Europees Instituut voor telecommunicatienormen (ETSI).

Ter ondersteuning van de uitvoering en handhaving van deze verordening, met name de monitoringactiviteiten van het AI-bureau met betrekking tot AI-modellen voor algemene doeleinden, moet een wetenschappelijk panel van onafhankelijke deskundigen worden opgericht. De onafhankelijke deskundigen die het wetenschappelijk panel vormen, moeten worden geselecteerd op basis van actuele wetenschappelijke of technische deskundigheid op het gebied van AI en moeten hun taken onpartijdig en objectief uitvoeren en de vertrouwelijkheid van de bij de uitvoering van hun taken en activiteiten verkregen informatie en gegevens waarborgen. Om nationale capaciteit die nodig is voor de doeltreffende handhaving van deze verordening te kunnen versterken, moeten de lidstaten voor hun handhavingsactiviteiten steun kunnen vragen van de deskundigen die het wetenschappelijke panel vormen.

Om een adequate handhaving van AI-systemen te ondersteunen en de capaciteiten van de lidstaten te versterken, moeten ondersteunende Uniestructuren voor AI-testen worden opgezet en ter beschikking van de lidstaten worden gesteld.

De lidstaten spelen een belangrijke rol bij de toepassing en handhaving van deze verordening. In dit verband moet elke lidstaat ten minste een aanmeldende autoriteit en ten minste een markttoezichtautoriteit als nationale bevoegde autoriteiten aanwijzen voor het toezicht op de toepassing en uitvoering van deze verordening. De lidstaten kunnen besluiten om het even welke soort openbare entiteit aan te wijzen om de taken van de nationale bevoegde autoriteiten in de zin van deze verordening uit te voeren, in overeenstemming met hun specifieke nationale organisatorische kenmerken en behoeften. Om de efficiëntie van de organisatie aan de kant van de lidstaten te verbeteren en een centraal contactpunt in te stellen voor het publiek en andere partijen op het niveau van de lidstaten en de Unie, moet elke lidstaat één markttoezichtautoriteit aanwijzen die als centraal contactpunt moet dienen.

De nationale bevoegde autoriteiten moeten hun bevoegdheden onafhankelijk, onpartijdig en onbevooroordeeld uitoefenen, teneinde de beginselen van objectiviteit van hun activiteiten en taken te waarborgen en de toepassing en uitvoering van deze verordening te verzekeren. De leden van deze autoriteiten moeten zich onthouden van handelingen die onverenigbaar zijn met hun taken en moeten onderworpen zijn aan vertrouwelijkheidsregels uit hoofde van deze verordening.

Om ervoor te zorgen dat aanbieders van AI-systemen met een hoog risico rekening kunnen houden met de ervaring met het gebruik van AI-systemen met een hoog risico voor het verbeteren van hun systemen en het ontwerp- en ontwikkelingsproces of tijdig eventuele mogelijke corrigerende maatregelen kunnen nemen, moeten alle aanbieders beschikken over een systeem voor monitoring na het in de handel brengen. In voorkomend geval moet de monitoring na het in de handel brengen een analyse van de interactie met andere AI-systemen, met inbegrip van andere apparaten en software, omvatten. Monitoring na het in de handel brengen mag niet gelden voor gevoelige operationele gegevens van gebruiksverantwoordelijken die rechtshandhavingsinstanties zijn. Dit systeem is ook belangrijk om te waarborgen dat de mogelijke risico’s van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, op efficiëntere en tijdigere wijze kunnen worden aangepakt. In dit verband moeten aanbieders ook worden verplicht over een systeem te beschikken om ernstige incidenten als gevolg van het gebruik van hun AI-systemen, d.w.z. incidenten of storingen die leiden tot de dood of ernstige schade aan de gezondheid, ernstige en onomkeerbare verstoring van het beheer en de exploitatie van kritieke infrastructuur, inbreuken op verplichtingen uit hoofde van het Unierecht ter bescherming van de grondrechten of ernstige schade aan eigendommen of het milieu, aan de relevante autoriteiten te melden.

Teneinde een passende en doeltreffende handhaving te waarborgen van de eisen en verplichtingen van deze verordening, die valt onder de harmonisatiewetgeving van de Unie, moet het systeem van markttoezicht en de conformiteit van producten, zoals vastgesteld bij Verordening (EU) 2019/1020, volledig van toepassing zijn. Krachtens deze verordening aangewezen markttoezichtautoriteiten moeten over alle handhavingsbevoegdheden beschikken die in deze verordening en in Verordening (EU) 2019/1020 zijn vastgelegd, en moeten hun bevoegdheden en taken onafhankelijk, onpartijdig en onbevooroordeeld uitoefenen. Hoewel voor de meeste AI-systemen geen specifieke eisen en verplichtingen gelden krachtens deze verordening, mogen markttoezichtautoriteiten maatregelen nemen ten aanzien van alle AI-systemen indien deze een risico vormen overeenkomstig deze verordening. Gezien de specifieke aard van de instellingen, agentschappen en organen van de Unie die binnen het toepassingsgebied van deze verordening vallen, is het wenselijk de Europese Toezichthouder voor gegevensbescherming aan te wijzen als de voor hen bevoegde markttoezichtautoriteit. Dit moet de aanwijzing van nationale bevoegde autoriteiten door de lidstaten onverlet laten. Markttoezichtactiviteiten mogen geen afbreuk doen aan het vermogen van de onder toezicht staande entiteiten om hun taken onafhankelijk uit te voeren, indien het Unierecht deze onafhankelijkheid vereist.

Deze verordening doet geen afbreuk aan de bekwaamheid, taken, bevoegdheden en onafhankelijkheid van betrokken nationale overheidsinstanties of -organen die toezicht houden op de toepassing van het Unierecht voor de bescherming van de grondrechten, met inbegrip van instanties voor gelijke behandeling en gegevensbeschermingsautoriteiten. Waar noodzakelijk met het oog op hun taken, moeten die nationale overheidsinstanties en -organen ook toegang hebben tot eventuele documentatie die op grond van deze verordening wordt opgesteld. Er moet een specifieke vrijwaringsprocedure worden vastgesteld om te zorgen voor een adequate en tijdige handhaving ten aanzien van AI-systemen die een risico inhouden voor de gezondheid, veiligheid en de grondrechten. De procedure voor dergelijke AI-systemen die een risico inhouden moet worden toegepast op AI-systemen met een hoog risico die een risico inhouden, verboden systemen die in de handel zijn gebracht, in gebruik zijn gesteld of zijn gebruikt in strijd met de bepalingen van deze verordening inzake verboden praktijken en AI-systemen die beschikbaar zijn gemaakt in strijd met de transparantievereisten van deze verordening en een risico inhouden.

Het Unierecht inzake financiële diensten omvat regels en eisen met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook indien zij gebruikmaken van AI-systemen. Om te zorgen voor een coherente toepassing en handhaving van de verplichtingen uit hoofde van deze verordening en de relevante regels en vereisten van de rechtshandelingen van de Unie inzake financiële diensten, moeten de bevoegde autoriteiten voor het toezicht op en de handhaving van die rechtshandelingen, met name bevoegde autoriteiten zoals gedefinieerd in Verordening (EU) nr. 575/2013 van het Europees Parlement en de Raad (46) en de Richtlijnen 2008/48/EG (47), 2009/138/EG (48), 2013/36/EU (49), 2014/17/EU (50) en (EU) 2016/97 (51) van het Europees Parlement en de Raad, binnen hun respectieve bevoegdheden worden aangewezen als bevoegde autoriteiten voor het toezicht op de uitvoering van deze verordening, met inbegrip van markttoezichtactiviteiten, met betrekking tot AI-systemen die worden aangeboden of gebruikt door gereglementeerde en gecontroleerde financiële instellingen, tenzij de lidstaten besluiten een andere autoriteit aan te wijzen om deze markttoezichttaken uit te voeren. Die bevoegde autoriteiten moeten over alle bevoegdheden uit hoofde van deze verordening en Verordening (EU) 2019/1020 beschikken om de eisen en verplichtingen van deze verordening te handhaven, met inbegrip van bevoegdheden om ex-postmarkttoezichtactiviteiten uit te voeren die, in voorkomend geval, kunnen worden geïntegreerd in hun bestaande toezichtsmechanismen en -procedures uit hoofde van het desbetreffende Unierecht inzake financiële diensten. Het is wenselijk te bepalen dat de nationale autoriteiten die verantwoordelijk zijn voor het toezicht op onder Richtlijn 2013/36/EU vallende kredietinstellingen en deelnemen aan het bij Verordening (EU) nr. 1024/2013 van de Raad (52) ingestelde gemeenschappelijk toezichtsmechanisme, indien zij optreden als markttoezichtautoriteiten in het kader van deze verordening, alle bij hun markttoezichtactiviteiten verkregen informatie die potentieel van belang kan zijn voor de in die verordening omschreven taken van de Europese Centrale Bank met betrekking tot prudentieel toezicht onverwijld melden bij de Europese Centrale Bank. Teneinde de samenhang tussen deze verordening en de regels die van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU verder te verbeteren, is het ook passend om enkele van de procedurele verplichtingen van aanbieders in verband met risicobeheer, monitoring na het in de handel brengen en documentatie op te nemen in de bestaande verplichtingen en procedures in het kader van Richtlijn 2013/36/EU. Om overlappingen te voorkomen, moet ook worden voorzien in beperkte afwijkingen in verband met het systeem voor kwaliteitsbeheer van aanbieders en de monitorings-verplichting voor gebruiksverantwoordelijken van AI-systemen met een hoog risico voor zover deze van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU. Om te zorgen voor consistentie en gelijke behandeling in de financiële sector moet dezelfde regeling gelden voor verzekerings- en herverzekeringsondernemingen en verzekeringsholdings die vallen onder Richtlijn 2009/138/EG en verzekeringstussenpersonen die vallen onder Richtlijn (EU) 2016/97 en andere soorten financiële instellingen die gebonden zijn aan eisen inzake interne governance, regelingen of procedures die zijn vastgelegd op grond van het desbetreffende Unierecht inzake financiële diensten.

Elke markttoezichtautoriteit voor AI-systemen met een hoog risico op het gebied van biometrische gegevens, zoals vermeld in een bijlage bij deze verordening, voor zover die systemen worden gebruikt voor rechtshandhaving, migratie, asiel en grenstoezichtsbeheer, of voor de rechtsbedeling en democratische processen, moet beschikken over doeltreffende onderzoeksbevoegdheden en corrigerende bevoegdheden, waaronder ten minste de bevoegdheid om toegang te verkrijgen tot alle persoonsgegevens die worden verwerkt en tot alle informatie die nodig is voor de uitvoering van haar taken. De markttoezicht-autoriteiten moeten hun bevoegdheden volledig onafhankelijk kunnen uitoefenen. Eventuele beperkingen van hun toegang tot gevoelige operationele gegevens uit hoofde van deze verordening mogen geen afbreuk doen aan de hun bij Richtlijn (EU) 2016/680 verleende bevoegdheden. Geen enkele uitsluiting betreffende de openbaarmaking van gegevens aan nationale gegevensbeschermingsautoriteiten uit hoofde van deze verordening mag afbreuk doen aan de huidige of toekomstige bevoegdheden van die autoriteiten die buiten het toepassingsgebied van deze verordening vallen.

De markttoezichtautoriteiten en de Commissie moeten gezamenlijke activiteiten, waaronder gezamenlijke onderzoeken, kunnen voorstellen die door markttoezichtautoriteiten alleen of samen met de Commissie moeten worden uitgevoerd, met als doel de naleving te bevorderen, de niet-naleving vast te stellen, het bewustzijn te vergroten en richtsnoeren inzake deze verordening te verstrekken betreffende specifieke categorieën AI-systemen met een hoog risico die in twee of meer lidstaten een ernstig risico blijken te vormen. Gezamenlijke activiteiten ter bevordering van conformiteit moeten worden uitgevoerd overeenkomstig artikel 9 van Verordening (EU) 2019/1020. Het AI-bureau moet zorgen voor coördinerende ondersteuning van gezamenlijke onderzoeken.

Het is noodzakelijk de verantwoordelijkheden en bevoegdheden op het niveau van de Unie en op nationaal niveau te verduidelijken wat betreft AI-systemen die gebaseerd zijn op AI-modellen voor algemene doeleinden. Om overlappende bevoegdheden te voorkomen, moet, indien een AI-systeem gebaseerd is op een AI-model voor algemene doeleinden en het model en systeem door dezelfde aanbieder worden aangeboden, het toezicht op het niveau van de Unie plaatsvinden via het AI-bureau, dat voor dit doel de bevoegdheden moet hebben van een markttoezichtautoriteit in de zin van Verordening (EU) 2019/1020. In alle andere gevallen blijven de nationale markttoezichtautoriteiten verantwoordelijk voor het toezicht op AI-systemen. Voor AI-systemen voor algemene doeleinden die rechtstreeks door gebruiksverantwoordelijken kunnen worden gebruikt voor ten minste één doel dat als hoog risico is geclassificeerd, moeten markttoezichtautoriteiten echter samenwerken met het AI-bureau om conformiteitsbeoordelingen uit te voeren en de AI-board en andere markttoezicht-autoriteiten daarvan in kennis te stellen. Voorts moeten markttoezichtautoriteiten het AI-bureau om bijstand kunnen verzoeken indien de markttoezichtautoriteit geen onderzoek naar een AI-systeem met een hoog risico kan afronden omdat zij geen toegang heeft tot bepaalde informatie met betrekking tot het AI-model voor algemene doeleinden waarop het AI-systeem met een hoog risico is gebaseerd. In dergelijke gevallen moet de procedure betreffende wederzijdse bijstand in grensoverschrijdende zaken van hoofdstuk VI van Verordening (EU) 2019/1020 op overeenkomstige wijze van toepassing zijn.

Om optimaal gebruik te maken van de gecentraliseerde Unie-expertise en van de synergieën op het niveau van de Unie, moeten de bevoegdheden voor het toezicht op en de handhaving van de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden een bevoegdheid van de Commissie zijn. Het AI-bureau moet alle nodige maatregelen kunnen nemen om toezicht te houden op de doeltreffende uitvoering van deze verordening met betrekking tot AI-modellen voor algemene doeleinden. Het moet mogelijke inbreuken op de regels inzake aanbieders van AI-modellen voor algemene doeleinden kunnen onderzoeken, zowel op eigen initiatief, op basis van de resultaten van zijn monitoring-activiteiten, hetzij op verzoek van markttoezichtautoriteiten in overeenstemming met de in deze verordening vastgestelde voorwaarden. Om een doeltreffende monitoring van het AI-bureau te ondersteunen, moet het voorzien in de mogelijkheid dat aanbieders verder in de AI-waardeketen klachten indienen over mogelijke inbreuken op de regels inzake aanbieders van AI-modellen en -systemen voor algemene doeleinden.

Als aanvulling op de governancesystemen voor AI-modellen voor algemene doeleinden moet het wetenschappelijk panel de monitoringactiviteiten van het AI-bureau ondersteunen en kan het in bepaalde gevallen gekwalificeerde waarschuwingen aan het AI-bureau verstrekken die eventueel aanleiding geven tot vervolgonderzoeken. Dit moet het geval zijn indien het wetenschappelijk panel redenen heeft om te vermoeden dat een AI-model voor algemene doeleinden een concreet en aanwijsbaar risico op het niveau van de Unie vormt. Voorts moet dit het geval zijn indien het wetenschappelijk panel redenen heeft om te vermoeden dat een AI-model voor algemene doeleinden voldoet aan de criteria om als AI-model voor algemene doeleinden met een systeemrisico te worden geclassificeerd. Om het wetenschappelijk panel uit te rusten met de informatie die nodig is voor de uitvoering van die taken, moet er een mechanisme zijn waarbij het wetenschappelijk panel de Commissie kan verzoeken documentatie of informatie van een Aanbieder te eisen.

Het AI-bureau moet de nodige maatregelen kunnen nemen om de doeltreffende uitvoering en naleving van de in deze verordening vastgestelde verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden te monitoren. Het AI-bureau moet mogelijke inbreuken kunnen onderzoeken overeenkomstig de bevoegdheden waarin deze verordening voorziet, onder meer door documentatie en informatie op te vragen, evaluaties uit te voeren en door aanbieders van AI-modellen voor algemene doeleinden om maatregelen te verzoeken. Om gebruik te maken van onafhankelijke expertise moet het AI-bureau bij de uitvoering van evaluaties onafhankelijke deskundigen kunnen betrekken om namens het bureau de evaluaties uit te voeren. Naleving van de verplichtingen moet afdwingbaar zijn, onder meer door verzoeken om passende maatregelen te nemen, met inbegrip van risicobeperkende maatregelen in het geval van vastgestelde systeemrisico’s, alsook door het op de markt aanbieden van het model te beperken, het uit de handel te nemen of het terug te roepen. Als waarborg moeten aanbieders van AI-modellen voor algemene doeleinden, indien nodig naast de procedurele rechten waarin deze verordening voorziet, over de procedurele rechten beschikken waarin is voorzien in artikel 18 van Verordening (EU) 2019/1020, dat van overeenkomstige toepassing is, onverminderd specifiekere procedurele rechten waarin deze verordening voorziet.

De ontwikkeling van andere AI-systemen dan AI-systemen met een hoog risico in overeenstemming met de eisen van deze verordening kan leiden tot een groter gebruik van ethische en betrouwbare AI in de Unie. Aanbieders van AI-systemen zonder hoog risico moeten worden aangemoedigd om gedragscodes op te stellen, met inbegrip van gerelateerde governancemechanismen, die bedoeld zijn ter bevordering van de vrijwillige toepassing van sommige of alle dwingende eisen die gelden voor AI-systemen met een hoog risico, aangepast in het licht van het beoogde doel van de systemen en het lagere risico ervan en rekening houdend met de beschikbare technische oplossingen en beste praktijken van de sector, zoals model- en gegevenskaarten. Aanbieders en, in voorkomend geval, gebruiksverantwoordelijken van alle AI-systemen, al dan niet met een hoog risico, en AI-modellen moeten ook worden aangemoedigd om op vrijwillige basis aanvullende eisen toe te passen, bijvoorbeeld met betrekking tot de elementen van de “ethische richtsnoeren van de Unie voor betrouwbare KI”, milieuduurzaamheid, maatregelen op het gebied van AI-geletterdheid, inclusief en divers ontwerp en ontwikkeling van AI-systemen, met inbegrip van aandacht voor kwetsbare personen en toegankelijkheid voor personen met een handicap, deelname van belanghebbenden, in voorkomend geval met betrokkenheid van relevante belanghebbenden zoals het bedrijfsleven en maatschappelijke organisaties, de academische wereld, onderzoeksorganisaties, vakbonden en consumentenorganisaties bij het ontwerp en de ontwikkeling van AI-systemen, en diversiteit van de ontwikkelingsteams, met inbegrip van genderevenwicht. Om ervoor te zorgen dat de vrijwillige gedragscodes doeltreffend zijn, moeten zij gebaseerd zijn op duidelijke doelstellingen en kernprestatie-indicatoren om de verwezenlijking van die doelstellingen te meten. Zij moeten in voorkomend geval ook op inclusieve wijze worden ontwikkeld, met betrokkenheid van relevante belanghebbenden zoals het bedrijfsleven en maatschappelijke organisaties, de academische wereld, onderzoeksorganisaties, vakbonden en consumentenorganisaties. De Commissie kan initiatieven ontwikkelen, ook van sectorale aard, om de technische belemmeringen voor grensoverschrijdende uitwisseling van data voor AI-ontwikkeling te helpen beperken, onder meer met betrekking tot infrastructuur voor de toegang tot data en de semantische en technische interoperabiliteit van verschillende soorten data.

Het is belangrijk dat AI-systemen die verband houden met producten en die overeenkomstig deze verordening geen hoog risico met zich meebrengen en derhalve niet hoeven te voldoen aan de eisen voor AI-systemen met een hoog risico, desalniettemin veilig zijn indien zij in de handel worden gebracht of in gebruik worden gesteld. Met het oog op deze doelstelling zou Verordening (EU) 2023/988 van het Europees Parlement en de Raad (53) als vangnet van toepassing zijn.

Om een betrouwbare en constructieve samenwerking van bevoegde autoriteiten op Unie- en nationaal niveau te waarborgen, moeten alle partijen die betrokken zijn bij de toepassing van deze verordening de vertrouwelijkheid eerbiedigen van informatie en data die zij bij de uitvoering van hun taken verkrijgen, overeenkomstig het Unierecht of het nationale recht. Zij moeten hun taken en activiteiten zodanig uitvoeren dat met name intellectuele-eigendomsrechten, vertrouwelijke bedrijfsinformatie en bedrijfsgeheimen, de doeltreffende uitvoering van deze verordening, openbare en nationale veiligheidsbelangen, de integriteit van strafrechtelijke en administratieve procedures en de integriteit van gerubriceerde informatie worden beschermd.

Naleving van deze verordening moet afdwingbaar zijn door het opleggen van sancties en andere handhavingsmaatregelen. De lidstaten moeten alle nodige maatregelen treffen opdat de bepalingen van deze verordening worden uitgevoerd, onder meer door te voorzien in doeltreffende, evenredige en afschrikkende sancties bij inbreuken daarop, en opdat het beginsel non bis in idem in acht wordt genomen. Teneinde de administratieve sancties tegen inbreuken op deze verordening te versterken en te harmoniseren, moeten de maxima voor de vaststelling van de administratieve geldboeten voor bepaalde specifieke inbreuken worden vastgesteld. Bij de beoordeling van het bedrag van de boeten moeten de lidstaten per afzonderlijk geval rekening houden met alle relevante omstandigheden van de specifieke situatie, met inachtneming van met name de aard, de ernst en de duur van de inbreuk, de gevolgen ervan en de omvang van de aanbieder, met name indien de aanbieder een kmo is, met inbegrip van start-ups. De Europese Toezichthouder voor gegevensbescherming moet bevoegd zijn om boeten op te leggen aan instellingen, agentschappen en organen van de Unie die binnen het toepassingsgebied van deze verordening vallen.

De naleving van de uit hoofde van deze verordening opgelegde verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden moet onder meer afdwingbaar zijn door middel van boeten. Daartoe moeten ook passende boeten worden vastgesteld voor inbreuken op die verplichtingen, met inbegrip van de niet-naleving van de door de Commissie overeenkomstig deze verordening gevraagde maatregelen, met inachtneming van passende verjaringstermijnen overeenkomstig het evenredigheidsbeginsel. Alle besluiten die de Commissie krachtens deze verordening neemt, zijn overeenkomstig het VWEU onderworpen aan toetsing door het Hof van Justitie van de Europese Unie, met inbegrip van de onbeperkte rechtsmacht van het Hof van Justitie wat betreft sancties op grond van artikel 261 VWEU.

Het Unierecht en het nationale recht voorzien reeds in doeltreffende rechtsmiddelen voor natuurlijke personen en rechtspersonen van wie de rechten en vrijheden worden geschaad door het gebruik van AI-systemen. Onverminderd die rechtsmiddelen, kan elke natuurlijke of rechtspersoon die redenen heeft om aan te nemen dat er sprake is van een inbreuk op de bepalingen van deze verordening, een met redenen omklede klacht indienen bij de betrokken markttoezichtautoriteit.

Getroffen personen moeten het recht hebben om uitleg te krijgen indien het besluit van een gebruiksverantwoordelijke voornamelijk is gebaseerd op de output van bepaalde AI-systemen met een hoog risico die binnen het toepassingsgebied van deze verordening vallen en indien dat besluit rechtsgevolgen of gelijkaardige aanzienlijke gevolgen heeft voor de gezondheid, veiligheid of grondrechten van die personen. Die uitleg moet duidelijk en zinvol zijn en moet de grondslag zijn waarop de getroffen personen zich kunnen baseren om hun rechten uit te oefenen. Het recht om uitleg te krijgen mag niet van toepassing zijn op het gebruik van AI-systemen waarvoor uitzonderingen of beperkingen voortvloeien uit het Unierecht of het nationale recht en moet alleen van toepassing zijn voor zover het Unierecht niet reeds in dit recht voorziet.

Personen die optreden als klokkenluiders bij inbreuken op deze verordening, moeten worden beschermd uit hoofde van het Unierecht. Richtlijn (EU) 2019/1937 van het Europees Parlement en de Raad (54) moet daarom van toepassing zijn op de melding van inbreuken op deze verordening en op de bescherming van personen die dergelijke inbreuken melden.

Om ervoor te zorgen dat het regelgevingskader waar nodig kan worden aangepast, moet aan de Commissie de bevoegdheid worden overgedragen om overeenkomstig artikel 290 VWEU handelingen vast te stellen tot wijziging van de voorwaarden waaronder een AI-systeem niet als een AI-systeem met een hoog risico wordt beschouwd, van de lijst van AI-systemen met een hoog risico, van de bepalingen inzake technische documentatie, van de inhoud van de EU-conformiteitsverklaring, van de bepalingen betreffende de conformiteitsbeoordelingsprocedures, van de bepalingen tot vaststelling van AI-systemen met een hoog risico waarop de conformiteitsbeoordelingsprocedure op basis van de beoordeling van het kwaliteitsbeheersysteem en de beoordeling van de technische documentatie moet gelden, van de drempel, benchmarks en indicatoren, onder meer door die benchmarks en indicatoren aan te vullen, van de regels voor de classificatie van AI-modellen voor algemene doeleinden met systeemrisico’s, van de criteria voor de aanwijzing van AI-modellen voor algemene doeleinden met een systeemrisico, van de technische documentatie voor aanbieders van AI-modellen voor algemene doeleinden en van de transparantie-informatie voor aanbieders van AI-modellen voor algemene doeleinden. Het is van bijzonder belang dat de Commissie bij haar voorbereidende werkzaamheden tot passende raadplegingen overgaat, onder meer op deskundigenniveau, en dat die raadplegingen gebeuren in overeenstemming met de beginselen die zijn vastgelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven (55). Met name om te zorgen voor gelijke deelname aan de voorbereiding van gedelegeerde handelingen, ontvangen het Europees Parlement en de Raad alle documenten op hetzelfde tijdstip als de deskundigen van de lidstaten, en hebben hun deskundigen systematisch toegang tot de vergaderingen van de deskundigengroepen van de Commissie die zich bezighouden met de voorbereiding van de gedelegeerde handelingen.

Gezien de snelle technologische ontwikkelingen en de technische deskundigheid die vereist is om deze verordening doeltreffende toe te passen, moet de Commissie deze verordening uiterlijk op 2 augustus 2029 en vervolgens om de vier jaar evalueren en toetsen en verslag uitbrengen aan het Europees Parlement en de Raad. Daarnaast moet de Commissie, rekening houdend met de gevolgen voor het toepassingsgebied van deze verordening, eenmaal per jaar een beoordeling uitvoeren van de noodzaak om de lijst van AI-systemen met een hoog risico en de lijst van verboden praktijken te wijzigen. Bovendien moet de Commissie uiterlijk op 2 augustus 2028 en vervolgens om de vier jaar een evaluatie maken van de noodzaak om de lijst van rubrieken van gebieden met een hoog risico in de bijlage bij deze verordening te wijzigen, van de AI-systemen die onder de transparantieverplichtingen vallen en van de doeltreffendheid van het toezicht- en governancesysteem en de vooruitgang bij de ontwikkeling van normalisatieproducten met betrekking tot de energie-efficiënte ontwikkeling van AI-modellen voor algemene doeleinden, met inbegrip van de behoefte aan verdere maatregelen of acties, en hierover verslag uitbrengen aan het Europees Parlement en de Raad. Tot slot moet de Commissie uiterlijk op 2 augustus 2028 en vervolgens om de drie jaar de impact en de doeltreffendheid evalueren van vrijwillige gedragscodes om de toepassing van de eisen voor AI-systemen met een hoog risico op andere AI-systemen dan AI-systemen met een hoog risico te bevorderen, en eventuele andere aanvullende eisen voor dergelijke AI-systemen.

Om eenvormige voorwaarden te waarborgen voor de uitvoering van deze verordening, moeten aan de Commissie uitvoeringsbevoegdheden worden toegekend. Die bevoegdheden moeten worden uitgeoefend in overeenstemming met verordening (EU) nr. 182/2011 van het Europees Parlement en de Raad (56).

Aangezien de doelstelling van deze verordening, namelijk het verbeteren van de werking van de interne markt en het bevorderen van de invoering van mensgerichte en betrouwbare AI, waarbij tegelijkertijd een hoog niveau van bescherming van de gezondheid, de veiligheid en de in het Handvest verankerde grondrechten wordt gewaarborgd, met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu tegen de schadelijke gevolgen van AI-systemen in de Unie en het ondersteunen van innovatie, niet voldoende door de lidstaten kan worden verwezenlijkt en vanwege de omvang of de gevolgen van het optreden beter op het niveau van de Unie kan worden verwezenlijkt, kan de Unie, overeenkomstig het in artikel 5 VEU neergelegde subsidiariteitsbeginsel, maatregelen nemen. Overeenkomstig het in hetzelfde artikel neergelegde evenredigheidsbeginsel gaat deze verordening niet verder dan nodig is om deze doelstelling te verwezenlijken.

Om rechtszekerheid te waarborgen, ervoor te zorgen dat er een passende aanpassingsperiode is voor operatoren en verstoring van de markt te voorkomen, onder meer door de continuïteit van het gebruik van AI-systemen te waarborgen, is het wenselijk dat AI-systemen met een hoog risico die vóór de algemene datum van toepassing van deze verordening in de handel zijn gebracht of in gebruik zijn gesteld, enkel onderworpen zijn aan deze verordening indien hun ontwerp of beoogde doel na die datum aanzienlijk is gewijzigd. Er moet worden verduidelijkt dat een aanzienlijke wijziging in dit verband inhoudelijk overeenkomt met het begrip substantiële wijziging, dat enkel wordt gebruikt met betrekking tot AI-systemen met een hoog risico op grond van deze verordening. Bij wijze van uitzondering en in het licht van de publieke verantwoordingsplicht moeten operatoren van AI-systemen die componenten zijn van de grootschalige IT-systemen die zijn opgezet volgens de in een bijlage bij deze verordening vermelde rechtshandelingen, en operatoren van AI-systemen met een hoog risico die bedoeld zijn om door overheidsinstanties te worden gebruikt, respectievelijk uiterlijk eind 2030 en uiterlijk op 2 augustus 2030 de nodige stappen nemen om aan de eisen ervan te voldoen.

Aanbieders van AI-systemen met een hoog risico worden aangemoedigd de desbetreffende verplichtingen van deze verordening al tijdens de overgangsperiode op vrijwillige basis toe te passen.

Deze verordening moet van toepassing zijn met ingang van 2 augustus 2026. Rekening houdend met het onaanvaardbare risico in verband met de manier waarop AI soms kan worden gebruikt, moeten de verbodsbepalingen alsmede de algemene bepalingen van deze verordening echter reeds van toepassing zijn met ingang van 2 februari 2025. Hoewel het volledige resultaat van die verbodsbepalingen pas zichtbaar wordt met de governance en de handhaving van deze verordening, is het van belang op de toepassing van deze verbodsbepalingen te anticiperen om rekening te houden met onaanvaardbare risico’s en om een weerslag te hebben op andere procedures, zoals in het burgerlijk recht. Voorts moet de infrastructuur in verband met de governance en het systeem voor de conformiteitsbeoordeling vóór 2 augustus 2026 operationeel zijn en moeten de bepalingen inzake aangemelde instanties en de governancestructuur derhalve van toepassing zijn vanaf 2 augustus 2025. Gezien het snelle tempo van de technologische vooruitgang en de invoering van AI-modellen voor algemene doeleinden, moeten de verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden van toepassing zijn met ingang van 2 augustus 2025. Praktijkcodes moeten uiterlijk op 2 mei 2025 gereed zijn om aanbieders in staat te stellen de naleving ervan tijdig aan te tonen. Het AI-bureau moet ervoor zorgen dat de classificatieregels en -procedures actueel zijn in het licht van technologische ontwikkelingen. De lidstaten moeten daarnaast de regels inzake sancties, waaronder administratieve geldboeten, vaststellen en de Commissie hiervan in kennis stellen en ervoor zorgen dat deze uiterlijk op de datum van toepassing van deze verordening naar behoren en op doeltreffende wijze worden uitgevoerd. De bepalingen inzake sancties moeten met ingang van 2 augustus 2025 van toepassing zijn.

Overeenkomstig artikel 42, leden 1 en 2, van Verordening (EU) 2018/1725 zijn de Europese Toezichthouder voor gegevensbescherming en het Europees Comité voor gegevensbescherming geraadpleegd, en op 18 juni 2021 hebben zij hun gezamenlijk advies uitgebracht,

HEBBEN DE VOLGENDE VERORDENING VASTGESTELD:

HOOFDSTUK I

ALGEMENE BEPALINGEN