Foundation models en systeemrisico: de 10^25 FLOP-drempel

Kort antwoord: De AI Act kent twee niveaus voor algemene AI-modellen (GPAI). Bovenop het basisregime geldt een zwaarder pakket voor modellen met systeemrisico: de krachtigste "foundation models". Een model valt daar vermoedelijk onder als de gebruikte rekenkracht voor training meer dan 10^25 FLOP bedraagt (art. 51). Dan gelden de extra verplichtingen van art. 55: modelevaluatie, risicobeperking, incidentmelding en cyberbeveiliging.

Wat is een model met systeemrisico?

Een GPAI-model heeft systeemrisico als het "capaciteiten met grote impact" heeft die het hele EU-niveau kunnen raken — denk aan grootschalige verspreiding van schade door de hele waardeketen. De AI Act gebruikt twee routes om dat vast te stellen: een rekendrempel als wettelijk vermoeden, en een aanwijzing door de Commissie op basis van inhoudelijke criteria (zoals aantal gebruikers, modaliteiten en autonomie).

De 10^25 FLOP-drempel

Het meest concrete criterium is de hoeveelheid rekenkracht die voor training is gebruikt, gemeten in floating-point operations (FLOP). Overschrijdt het cumulatieve trainingsbudget 10^25 FLOP, dan wordt systeemrisico vermoed. De drempel is bewust een vermoeden en geen harde lijn: de Commissie kan hem bij gedelegeerde handeling aanpassen aan technische vooruitgang, en kan ook modelen daaronder aanwijzen als de inhoudelijke criteria daartoe nopen.

Praktisch raakt deze drempel vandaag alleen de grootste frontier-modellen. Voor de meeste bedrijven die GPAI gebruiken of fijnafstemmen is hij niet relevant — die vallen onder het basis-GPAI-regime, niet onder dit zware spoor.

Extra verplichtingen bij systeemrisico (art. 55)

Naast de transparantie- en auteursrechtverplichtingen die voor alle GPAI gelden, moet de aanbieder van een model met systeemrisico:

• modelevaluaties uitvoeren, inclusief gestandaardiseerde adversarial testing (red-teaming) om systeemrisico's op te sporen en te beperken;
• systeemrisico's beoordelen en mitigeren op EU-niveau, inclusief de bronnen ervan;
• ernstige incidenten bijhouden, documenteren en onverwijld melden aan het AI Office en betrokken nationale autoriteiten, met corrigerende maatregelen;
• een adequaat niveau van cyberbeveiliging waarborgen voor het model en de fysieke infrastructuur.

Naleving kan worden aangetoond via een goedgekeurde gedragscode (Code of Practice) totdat geharmoniseerde normen beschikbaar zijn.

Verhouding tot het basisregime

Een model met systeemrisico moet zowel het basisregime als art. 55 naleven. Het systeemrisico-spoor staat dus niet los: het stapelt extra eisen bovenop de transparantie, technische documentatie en auteursrechtbeleid die voor elke GPAI-aanbieder gelden. Wie een open-source model met systeemrisico uitbrengt, verliest bovendien de open-source vrijstellingen die elders wél gelden — zie open-source AI-modellen.

Wat te doen

• Stel je positie vast: bouw je een model boven 10^25 FLOP, of gebruik/finetune je er een? Alleen de eerste valt onder art. 55.
• Volg aanwijzingen van het AI Office: ook modellen onder de drempel kunnen worden aangewezen.
• Richt een evaluatie- en red-teamingproces in als je aanbieder van een frontier-model bent.
• Leg incidentdetectie en -melding vast als proces, niet als ad-hocactie.
• Gebruik je een frontier-model als afnemer? Vraag de aanbieder om bewijs van art. 55-naleving en verwerk dat in je eigen AI-governance.