Nederlandse zorg puzzelt met AI-regulering

Wordt de EU dankzij de AI Act de wereldwijde AI-waakhond? Met de invoering van bindende richtlijnen zet Europa een reuzenstap richting veilige en transparante AI-systemen. Voor een maatschappelijke sector als de zorg is het raamwerk van wezenlijk belang. Maar regels zijn één ding. Om publieke doelen veilig te stellen heeft de overheid dezelfde botte rekenkracht nodig als ontwikkelaars van AI, stelt AI-pionier Yoshua Bengio.

Als alles volgens plan verloopt wordt de AI Act dit voorjaar officieel van kracht. Daarmee krijgen alle autonoom handelende computersystemen en algoritmes die beslissingen nemen, content genereren of mensen assisteren te maken met nieuwe, strakke spelregels. De Europese wetgevers willen de AI Act zoveel mogelijk laten aansluiten op de bestaande Europese wet- en regelgeving. Zo is de AI Act binnen het gezondheidsdomein een aanvulling op bijvoorbeeld de Medical Device Regulation (MDR). Ook de Algemene Verordening Gegevensbescherming (AVG) blijft naast de AI Act van kracht.

Menselijke controle

Als eerste stap heeft de EU in kaart gebracht waar het fout kan gaan met AI. De EU denkt daarbij primair aan de mate van menselijke controle en toezicht. Ook de technische robuustheid, veiligheid, privacy en data-governance tellen zwaar. Transparantie is een ander punt zorg. Is het helder waar de achterliggende data vandaan komen? Zijn de broncodes en algoritmes inzichtelijk? Zijn de keuzes van het betreffende AI-systeem traceerbaar en uitlegbaar?
Ook als het gaat om diversiteit, non-discriminatie, rechtvaardigheid en milieu kunnen er in de optiek van de EU ongelukken gebeuren.

Risicoclassificatie

Op basis van deze criteria heeft de EU een risicoclassificatie opgesteld. In de AI Act wordt onderscheid gemaakt tussen vier categorieën. Systemen die mensen automatisch rangschikken op basis gedrag, sociaaleconomische status en persoonlijke kenmerken -ook bekend als ‘social scoring’- worden als onaanvaardbaar aangemerkt. Dat geldt ook voor toepassingen die leunen op biometrische identificatie, verborgen manipulatie of emotieherkenning in de context van werk of school.  Dergelijke toepassingen moeten in Europa binnen een half jaar na het van kracht worden van de AI Act uitgefaseerd zijn. Dat betekent exit voor een toepassing als Clearview AI dat het internet en camerasystemen afgraast op zoek naar voeding voor automatische gezichtsherkenning.

Zorg kent ‘hoog risico’

Na ‘onaanvaardbaar’ volgt het label ‘hoog risico’. Hiertoe horen toepassingen in het medisch domein, het onderwijs en de kritieke infrastructuur. Verder gaat het om toegang tot belangrijke diensten, verzekerings-inschattingen en ‘intelligente’ deeltoepassingen in gereguleerde producten, zoals auto’s, liften en elektrisch gereedschap.

De Europese regels betekenen in concreto dat fabrikanten duidelijk moet aangeven wanneer gebruikers te maken krijgen met een chatbot, biometrische categorisering of emotieherkenning. Ook moeten deep fakes een duidelijk label krijgen waardoor ze voor de gebruiker als zodanig herkenbaar zijn.

Auteursrecht

Een aparte categorie vormen algemene AI-modellen en foundation modellen, zoals GPT en Bard. Hier is volgens de Europese wetgever sprake van een ‘specifiek transparantierisico’. Om in Europa actief te kunnen blijven, krijgen de makers één jaar voor meer transparantie en documentatie. De makers moeten bijvoorbeeld duidelijk maken in hoeverre ze data gebruiken waar auteursrecht op rust. Alle AI-toepassingen die niet tot  één van de drie bovenstaande categorieën behoren, gelden in Europa straks als ‘laag risico’.

Concurrentievoordeel

Volgens de AI-ontwikkelaars remt de juridische inkadering vooruitgang. Bovendien is wetgeving volgens veel bedrijven overbodig, omdat maatschappelijk verantwoord gebruik één van de fundamenten is van AI-ontwikkeling. Hoe weinig overtuigend dit laatste argument is, bewijst het optreden van Open AI. De werkwijze van de maker van ChatGPT was ‘open’, totdat het bedrijf de boel dicht gooide om het eigen concurrentievoordeel intact te houden.

Sancties

Om de tech-bedrijven tot medewerking te bewegen, voorziet de AI Act in forse sancties. Overtreders  kunnen tot 35 miljoen euro boete per overtreding krijgen of 7 procent van de wereldwijde omzet. Administratieve overtredingen kunnen boetes tot 7,5 miljoen of 1, 5 procent van de omzet opleveren. Een speciale ‘data regulator’ moet gaan toezien op naleving van de AI Act.

Speelruimte

De vraag is hoe heet de soep straks gegeten wordt. De AI Act biedt bedrijven de nodige speelruimte. Zo bepalen ze in eerste instantie zelf binnen welke risicocategorie hun product valt. Ook de classificering zelf is niet in beton gegoten. Voor de hoog risico-categorie geldt een hele waslijst van uitzonderingen, die maken dat een toepassing buiten de AI Act valt. En in bredere zin is de AI Act niet van toepassing op gebruik van AI voor militaire en defensieve doeleinden.

Amerikaanse decreet

Dit laat onverlet dat de EU de eerste grote economie is die een alomvattend juridisch raamwerk voor AI optuigt. Voor de MIT Technology Review reden om de EU aan te merken als de ‘internationale AI-politie’ en ‘go to tech-regulator’. Toch zitten andere landen en partijen niet stil. De Amerikaanse president Biden vaardigde afgelopen najaar een decreet uit bedoeld om de ontwikkeling van AI te reguleren. De verordening berust op vergelijkbare principes als de EU hanteert, maar het stuk is vooralsnog niet meer dan een opdracht aan het National Institute of Standards and Technology (NIST) om een raamwerk op te stellen.

Medische aansprakelijkheid

Wat de groeiende overheidsbemoeienis voor de zorgsector betekent, is nog niet goed duidelijk. De Amerikaanse artsenvereniging AMA gaf in november een schot voor de boeg met de publicatie van een werkdocument. De Amerikaanse context kleurt het stuk. Zo maakt de AMA een punt van de artsenaansprakelijkheid bij gebruik van AI-gestuurde technologie. Die aansprakelijkheid zou beperkt moeten worden tot de momenteel geldende wettelijke regels. En daar vloeien in de VS al genoeg rechtszaken en schadeclaims uit voort. Ook waarschuwt de AMA voor de inzet van AI door zorgverzekeraars. AI-gedreven beslismodellen mogen er niet toe leiden dat verzekerden noodzakelijke zorg wordt onthouden.

Rechtszaken

Die zorg is niet denkbeeldig. In de VS zijn verschillende voorbeelden opgedoken van AI-modellen die de voorspelde ligduur in het ziekenhuis precies laten samenvallen met het vergoedingsplafond van de polis. Zorg na de ‘voorspelde’ ontslagdatum -ook al is de patiënt niet hersteld- wordt niet vergoed. De kwestie is nu inzet van verschillende rechtszaken. AMA pleit voor strenger toezicht.

Aanbevelingen WHO

Dat is ook wat de World Health Organization (WHO) bepleit. In een in januari verschenen stuk geeft de WHO veertig aanbevelingen voor zorgvuldig gebruik van large language models (LLM’s) in de zorg. Er moeten wat de WHO betreft wetten en regulering komen toegesneden op de zorg. Een special agentschap moet LLM’s voor de zorg beoordelen en keuren. Daar hoort ook beoordeling na ingebruikname bij.

Inclusief ontwerp

De WHO maakt zich daarnaast sterk voor inclusief ontwerp. Dit proces zou niet alleen een zaak van wetenschappers en ontwerpers moeten zijn, maar ook van zorgaanbieders, zorgprofessionals en zorgvragers. Ontwikkelaars zouden bovendien potentiële neveneffecten moeten kunnen voorspellen.

Supercomputer

Een indringend commentaar in het debat over regulering van AI komt van computerwetenschapper Yoshua Bengio, bekend als één van de peetvaders van AI. Hoeveel regels er ook bedacht worden, in de AI-wedloop gaat het volgens hem uiteindelijk om financieel gewicht en botte digitale rekenkracht. Recent riep hij de Canadese regering op een supercomputer van 1 miljard dollar te bouwen. “Natuurlijk moeten we beginnen bij regulering”, aldus Bengio. “Maar uiteindelijk zal de overheid controle moeten terug nemen door een eigen infrastructuur te bouwen. Ik hoop dat regeringen zo snel mogelijk beseffen dat zie die spierballen nodig hebben.”

Zoektocht

Zover is het in Nederland nog niet, zeker niet waar het specifieke toepassingen in de zorg betreft. Vorig jaar verscheen er een ‘Leidraad kwaliteit AI in de zorg’. Het stuk wordt door verschillende partijen gedragen, maar is niet afdwingbaar of anderszins verplichtend. Het ministerie van VWS is op dit moment zoekende. Aan de hand van veldgesprekken probeert VWS in kaart te brengen welke vragen er ten aanzien van AI in de zorgsector leven. Daarnaast heeft het ministerie TNO opdracht gegeven om een verkennend onderzoek te doen.

AI is één van de kernthema’s tijdens Zorg & ict 2024. Het grootste health tech event van Nederland wordt van 9 tot en met 11 april gehouden in Jaarbeurs in Utrecht.