AANDACHT VOOR AI: DNB en AFM Rapport: de impact van Artificial Intelligence op de financiële sector en het toezicht

Blog

De AFM en DNB gaan in hun rapport onder ander in op door hen gehanteerde definitie van AI (i.e. de OESO/AIverordening definitie), de mate waarin financiële ondernemingen AI toepassen, de wijzen waarop zij dit doen, de kansen en risico’s van AI, en de impact die AI kan hebben op de wijze waarop toezicht wordt gehouden.

Voorts bespreken zij vereisten die voor de financiële sector voortvloeien uit de in maart 2024 door het Europees Parlement aangenomen EU AI-verordening (‘AI Act’), die binnenkort zal worden gepubliceerd en dan gefaseerd in werking zal treden. De AI-verordening zal naar verwachting in 2026 volledig van kracht zijn. DNB en AFM zullen in Nederland toezicht houden op naleving van de AI-verordening door financiële ondernemingen. Gebruik van AI door toezichthouders zelf en de impact van AI op de economie blijven buiten beschouwing. Hierna bespreek ik enkele relevante aspecten.

Toepassing AI

DNB en AFM hebben zich grotendeels gebaseerd op internationale onderzoeken. Daaruit volgt dat financiële ondernemingen AI bijvoorbeeld gebruiken voor chatbots, fraudepreventie en -detectie, tegengaan van witwassen, terrorismefinanciering en cybercriminaliteit. Ook bij kredietbeoordelingen en identiteitsverificatie kan AI worden toegepast. Generatieve AI, waarbij AI nieuwe inhoud genereert, wordt terughoudend toegepast.

Voordelen van AI-toepassing zijn: snellere dienstverlening; een gerichter aanbod van diensten; snellere efficiëntere interne processen; en verbeterde risicobeoordelingen.

Risico’s van AI-gebruik omvatten: slechte resultaten door slechte datakwaliteit; schendingen van de AVG bij dataverwerking; discriminatie en uitsluiting; onduidelijke/niet-transparante complexe beslissingen; en afhankelijkheid van grote Amerikaanse AI-leveranciers. Daarnaast kan gebruik van generatieve AI zoals Chat GPT leiden tot het verspreiden van onjuiste informatie of desinformatie.

In de verzekeringssector kan het personaliseren van premies het solidariteitsprincipe aantasten als premies volledig op het individu gebaseerd berekend worden.

Uitgangspunten toezicht

De doelstellingen van het financieel toezicht en de normen waaraan financiële ondernemingen moeten voldoen, zijn onafhankelijk van de gehanteerde technologie. Ze gelden onverkort bij AI-toepassing. Gebruik van AI bij bestaande processen en dienstverlening valt onder het toezicht van de AFM en DNB. Zo moet AI-gebruik passen binnen een beheerste en integere bedrijfsuitoefening en de normen ten aanzien van het klantbelang, waaronder de zorgplicht en de Product oversight and governance requirements (‘POG’).

AI heeft gevolgen voor de manier waarop de AFM en DNB toezicht houden. Om het gebruik van AI door financiële ondernemingen te kunnen beoordelen zullen de AFM en DNB hun kennis op dit terrein moeten uitbreiden. Naarmate het gebruik en het belang van AI voor de financiële sector toeneemt, zullen de AFM en DNB hun toezicht op gebruik van AI, en de risicobeheersing daarvan, intensiveren.

Ook dient dan het normenkader te worden verduidelijkt dan wel gespecificeerd. Zowel bestaande regelgeving als de conceptregelgeving stelt slechts een enkele keer eisen aan het gebruik van AI binnen de financiële sector. Bijvoorbeeld ten aanzien van algoritmische handel, AI-gebruik bij kredietwaardigheidstoetsen en premiebepaling en bij geautomatiseerd advies.

Noodzaak tot gecoördineerde EU-aanpak

De AFM en DNB wijzen erop dat aanvullende regels voor het gebruik van AI bij voorkeur geharmoniseerd op Europees niveau moeten worden vastgesteld, mede ten behoeve van toezichtconvergentie en het gelijke speelveld. Regelgeving en innovatie moeten met elkaar in balans zijn. Regelgeving moet enerzijds verantwoordelijkheid en transparantie bevorderen en tegelijkertijd genoeg ruimte laten voor innovatie en snelle ontwikkelingen in AI-producten en -diensten.

Zowel op Europees als nationaal niveau is brede coördinatie en samenwerking tussen toezichthouders op AI wenselijk, mede gezien de bijzondere risico’s van AI-systemen ten aanzien van grondrechten. De Europese AI-verordening wijst bepaalde AI-systemen aan als hoog risico; dit zijn de systemen die gebruikt worden voor kredietwaardigheidstoetsen van natuurlijke personen en voor premiebepaling en risicobeoordeling voor levens- en ziektekostenverzekeringen. Dit betekent dat hiervoor specifieke vereisten zullen gelden die zien op de ontwikkeling en het beheerst en verantwoord gebruik van deze AI-toepassingen.

De AI-verordening noodzaakt financiële ondernemingen die AI toepassen tot extra aandacht voor een goede bescherming van grondrechten. Voor hoog-risicotoepassingen wordt het verplicht om een beoordeling te maken van het mogelijke effect op grondrechten van personen of groepen.

Vereisten voor uitbesteding en DORA?

Hoewel toezichthouders onderkennen dat financiële ondernemingen bij uitbesteding zelf verantwoordelijk blijven, gaat het rapport slechts summier in op het onderwerp uitbesteding. Dit is opmerkelijk omdat hierbij een aantal fundamentele vragen kunnen rijzen.

Wanneer is AI slechts een software tool en wanneer treedt een AI-platform op als opdrachtnemer? Onder welke omstandigheden kwalificeert het inschakelen van AI-platforms als uitbesteding? Kan uitbesteding van (onderdelen van) vergunningplichtige activiteiten, voor (niet-EU) AI-platforms leiden tot een toezichtrechtelijke vergunningplicht?

Kwalificeren dienstenovereenkomsten met AI-platforms als ICT-diensten onder de EU Digital Operational Resilience Act (‘Dora’)? Zo ja, wanneer kwalificeren AI-diensten dan als kritische of belangrijke ICT-diensten waarvoor DORA aanvullende vereisten stelt?

Zou het genoemde concentratierisico dat financiële ondernemingen kunnen lopen op enkele (Amerikaanse) AI-platforms, op EU-niveau kunnen worden gemitigeerd onder artikel 31 DORA? Op grond van deze bepaling kunnen de Europese toezichthouders ICT-dienstverleners aanwijzen als kritische ICT-dienstverleners, hen noodzaken om ten minste een groepsmaatschappij in de EU te vestigen, hen aanvullende verplichtingen opleggen en onderwerpen aan enige mate van toezicht.

Mogelijke oorzaken voor toenemend AI-gebruik

De toekomst van AI-gebruik door financiële ondernemingen – de mate waarin AI-gebruik zal toenemen en hoe AI zal worden gebruikt – is ongewis. De mogelijke toename in dit gebruik is een belangrijke reden voor de AFM en DNB na te denken over de impact van AI.

De AFM en DNB identificeren op hoofdlijn vier scenario’s op grond van de mate van innovatie en regulering:

• weinig innovatie/weinig regelgeving (AI-hype);
• weinig innovatie/veel regelgeving (AI-winter);
• veel innovatie, veel regelgeving (AI voor mens en maatschappij); en
• veel innovatie/weinig regelgeving (ongeremde AI).

Ook wijzen DNB en de AFM erop dat concurrentieoverwegingen (kort gezegd, de druk die uitgaat van toegenomen AI-gebruik door financiële ondernemingen buiten de EU en door bedrijven buiten de financiële sector) Nederlandse financiële ondernemingen kan noodzaken tot meer AI-gebruik. Daarnaast kan de mate waarin Nederlandse banken nu experimenten met AI, resulteren in substantieel meer AI-gebruik.

Je kan je afvragen of dergelijke aannames juist zijn. Innovaties in andere jurisdicties en andere landen kunnen inderdaad leiden tot veranderingen bij Nederlandse financiële ondernemingen, maar dit hoeft niet. Verschil in regelgeving kan een oorzaak zijn waarom financiële ondernemingen van buiten de EU en bedrijven buiten de financiële sector op grotere schaal AI zullen toepassen. Minder strikte regelgeving voor gebruik van data en persoonsgegevens, minder strikte regels voor zorgplichten en productontwikkeling zullen hier een sturende rol spelen.

Daarnaast kan de mate waarin experimenten met nieuwe technologieën leiden tot substantiële wijzigingen worden overschat. Denk bijvoorbeeld aan de wijze waarop Fintech de financiële sector zou ontwrichten en de vele projecten die banken wereldwijd uitvoerden met betrekking tot big data, account information services, smart contracts en blockchaintoepassingen (o.a. ten aanzien van clearing, settlement en trade finance). Deze hebben slechts mondjesmaat geresulteerd in adoptie van deze technologieën.