Doet je AI wel wat het moet doen?

In toenemende mate beïnvloedt AI het besluitvormingsproces in organisaties. Het is daarom essentieel dat zij de onderliggende algoritmes onder controle hebben, zodat ze kunnen vertrouwen op de adviezen die AI levert. Om dit klaar te spelen, hebben Rabobank en PA consulting een nieuwe assuranceprogramma ontwikkeld dat niet alleen inzicht geeft in hoe AI tot bepaalde conclusies komt, maar ook concrete aanbevelingen levert om eventuele uitdagingen te overwinnen.

Organisaties produceren en consumeren steeds meer data. Zij doen hun best om daar vervolgens zoveel mogelijk waardevolle inzichten uit te halen. Data-analyse helpt de klantervaring te verbeteren, forecasts accurater te maken, risico’s beter te beheersen en nieuwe businessmodellen te toetsen. De gigantische hoeveelheid data binnen de moderne organisatie is niet meer handmatig te analyseren. Voor fijnmazige inzichten moeten organisaties vertrouwen op automatisering middels algoritmes. En dat legt hen geen windeieren: AI leert datasets continu beter te begrijpen, waardoor de geleverde inzichten steeds waardevoller worden.

AI-gedreven, intelligente algoritmes zie je tegenwoordig vaak terug in productie-omgevingen, waar ze directe impact hebben op klanten, werknemers en leveranciers. Dat brengt extra uitdagingen met zich mee, want hoe groter de impact, hoe belangrijker het wordt om ervoor te zorgen dat deze algoritmes correct functioneren.

Je moet er als organisatie op kunnen vertrouwen dat geautomatiseerde processen ook daadwerkelijk de gewenste resultaten leveren. En wanneer klanten en andere gebruikers afhankelijk zijn van algoritmes, moeten zij erop kunnen vertrouwen dat deze onbevooroordeeld en veilig zijn en voldoen aan wet- en regelgeving.

Bestaande assuranceprogramma’s niet voldoende

Om dit vertrouwen te bieden zetten organisaties al jarenlang in op IT-assuranceprogramma’s. Helaas zijn deze programma’s niet geschikt voor moderne, complexe algoritmes. Ten eerste zijn de mechanismen in deze algoritmes vaak niet zo makkelijk te vangen in simpele regels, waardoor ze door het menselijk brein moeilijk te doorgronden zijn. Ten tweede zijn deze algoritmes vaak ontwikkeld onder enorme tijdsdruk. Omdat iedere organisatie zo snel mogelijk waarde uit zijn data wil halen, ligt de focus in de ontwikkelfase vaak op snelheid - en minder op beheersbaarheid. Soms is het niet eens duidelijk wie binnen de organisatie precies verantwoordelijk is voor het functioneren van een algoritme!

Hier kun je een parallel trekken met de beveiliging van applicaties. Daarin moet de best practice “security by design” zijn - ervoor zorgen dat veiligheid voorop staat in de applicatie-ontwikkeling. Voor algoritmes zou dat “assurance by design” moeten zijn. Maar net als in applicatie-ontwikkeling is dit nog geen standaardpraktijk in het ontwerp van algoritmes. Hierdoor lopen organisaties bijvoorbeeld het risico dat auditeurs achteraf algoritmes moeten ontleden om te bepalen of ze correct hebben gefunctioneerd, en bestaande assuranceprogramma’s zijn hier niet op ingericht.

Het verhaal wordt nog complexer omdat algoritmes ook ethische vragen oproepen. Het gaat niet alleen om veiligheid en privacy, maar ook om ingebouwde vooroordelen in algoritmes of manipulatie van datasets. Nu nemen assuranceprogramma’s deze aspecten wel degelijk mee, maar uiteindelijk blijven deze steken in algemene aanbevelingen die niet direct leiden tot praktische oplossingen van de ontdekte problemen.

Algorithm Assurance en AI Assurance Support

Het is duidelijk dat assuranceprogramma’s een update nodig hebben. Rabobank en PA Consulting hebben daarom samen een nieuw framework voor algorithm assurance ontwikkeld dat, in tegenstelling tot vele bestaande frameworks, de volledige lifecycle van AI-modellen beoordeelt. Hierdoor kunnen auditeurs sneller fouten identificeren en bovendien aangeven welke concrete verbeteringen moeten worden gedaan in processen, organisatie of technologie.

Een belangrijke pijler in deze algorithm assurance-aanpak is een nieuw model voor risicobeheersing. Het AI Risk Control Framework brengt de risico’s van het gebruik van een AI-model volledig in kaart. Dit framework kijkt naar de gehele lifecycle, van ontwerp en ontwikkeling tot stopzetting en loskoppeling van de gebruikte datasets. Zo wordt niet alleen de robuustheid van het algoritme zelf beoordeeld, maar ook de organisatie en governance dit het omringen, waaronder de productieomgeving en de wijze van databeheer. Ook wordt gefocust op gevoelige gebieden zoals data-privacy, veiligheid en ethiek.

Dit assurance-programma houdt bovendien rekening met nieuwe vakinzichten die direct verwerkt kunnen worden. Hierdoor worden de risico's opgenomen die zich voordoen gedurende de gehele levenscyclus van een AI-model. Voor elke stap in deze levenscyclus zijn de potentiële risico's in kaart gebracht, samen met de beheersmaatregelen om deze risico's te beperken. Ook is het bewijs opgenomen dat nodig is voor audits om aan te tonen dat de juiste beheersmaatregelen aanwezig zijn. Hiermee is dit programma geschikt voor vrijwel ieder AI-model.

Daarnaast is een nieuwe oplossing ontwikkeld om de output van de AI-modellen te testen, het zogenaamde AI Assurance Support Model. Zelfs als het onderliggende algoritme niet toegankelijk is, kan dit model de resultaten van AI-modellen testen. Bij veel SaaS-oplossingen kan zo’n algoritme bijvoorbeeld een ‘black box’ zijn waar je als eindgebruiker niet bij kan. Met behulp van zijn eigen AI controleert dit Support Model de ingaande en uitgaande datastromen en de logica van het AI-model dat getest moet worden.

Drie belangrijke conclusies

Rabobank en PA trekken drie belangrijke conclusies uit deze nieuwe oplossingen voor Algorithm Assurance, in vergelijking met traditionele auditbenaderingen in IT:

1. Auditeurs moeten assurance, IT en data science combineren. Data scientists kunnen de juiste vragen stellen over AI-modellen, zoals over de gemaakte keuzes tijdens het ontwerpproces. Ook voor de ontwikkeling van AI Assurance Support-modellen is de input van een data scientist noodzakelijk.
2. De toevoeging van data science verandert ook het conventionele auditproces. De beste manier om een statistisch significant AI Assurance Support Model te ontwikkelen is door een data scientist het model constant aan te laten scherpen. Het auditproces moet deze iteratieve aanpak integreren om tot optimale resultaten te komen.
3. Algorithm Assurance toont daadwerkelijk aan of AI-modellen doen wat ze moeten doen. Dit is het belangrijkste verschil met conventionele auditbenaderingen. De aanpak die door Rabobank en PA is ontwikkeld, creëert vertrouwen bij management, werknemers klanten én toezichthouders.

Door:

• Hans Roelfsema, Data Transformation Lead, PA Consulting
• Michiel Krol, Head of Audit Data Excellence, Rabobank
• Theo-Jan Renkema, Chief IT & Digital Audit - Rabobank & Hoogleraar Data Analytics & Audit - Tilburg University