AI: we hoeven niet te weten hoe het werkt, maar moeten erop kunnen vertrouwen

AI: we hoeven niet te weten hoe het werkt, maar moeten erop kunnen vertrouwen

Hoe kunnen we leren om beter op AI te vertrouwen? Transparantie en uitlegbaarheid, waar veel op wordt gehamerd, zijn volgens hoogleraar Sander Klous een kleinere factor dan ervaringen van gebruikers: vertrouwen komt als we het effect van analytics ervaren en de resultaten zien.

Analytics en AI staan nog aan het begin van hun ontwikkeling. Organisaties waren niet zo lang geleden over het algemeen huiverig om zich te laten leiden door algoritmes, deels vanwege een vermeend verlies van controle, een gevoel van ongrijpbaarheid, maar grotendeels omdat het vertrouwen er nog niet was. Dat is al sterk veranderd, nu er meer ervaringen zijn opgedaan met analytics.

Financials zien in de praktijk hoe data driven beslissingen hun concurrentiepositie verbetert ten opzichte van onderbuikgevoel gebaseerd op ervaringen en intuïtie. Ondanks die resultaten is niet iedereen overtuigd. Algoritmes maken soms fouten, net als mensen. Maar waar we mensen wat meer vertrouwen, is het gevoelsmatig lastiger om datzelfde vertrouwen te schenken aan een algoritme.

Net als een houdbaarheidsdatum

Hoe verbeteren we dat vertrouwen? ‘Ervaring is een belangrijke factor,’ legt prof. dr. Sander Klous, hoogleraar (UvA) op het gebied van big data ecosystemen en spreker tijdens de Nyenrode Collegereeks Controller als Business Partner uit. ‘Vergelijk het met een melkpak. Daarop staat een houdbaarheidsdatum en daar vertrouwen we op omdat we al veertig jaar melk drinken en de ervaring leert dat de datum meestal wel klopt. We weten niet hoe de datum wordt vastgesteld, maar in ons achterhoofd hebben we ook nog dat er iets met de Voedsel en Warenautoriteit is.’ We kunnen dus niet precies uitleggen hoe het werkt, maar weten dát het werkt. Hetzelfde principe gaat op voor bijvoorbeeld financiële algoritmes. We hoeven niet precies te weten hoe het op de achtergrond werkt, maar moeten vertrouwen hebben dat erover wordt nagedacht en dat iemand erop toeziet dat de informatie betrouwbaar is en blijft.

Op de achtergrond valt er veel uit te leggen en dat is voor bijvoorbeeld de datascientist of auditor belangrijk, zodat deze kan valideren dat het algoritme betrouwbaar is. Maar voor de business user is dat allemaal een stuk minder relevant. Sterker nog, een gedetailleerde uitleg lijkt het vertrouwen juist te ondermijnen. Klous haalt een voorbeeld aan van universiteit Stanford die cursisten beoordeelde via een algoritme dat een cijfer baseerde op 20 peer-reviews van andere studenten. Na ontvangst van het cijfer werd de cursisten gevraagd naar hun ervaringen. Eén groep kreeg weinig uitleg over de berekening van de behaalde score en een tweede groep kreeg een heel gedetailleerde technische verklaring van de werking van het algoritme. ‘Mensen bleken vertrouwen te hebben met de korte verklaring, maar de mensen die de uitgebreide uitleg kregen, hadden daarna geen vertrouwen meer.’

Drie soorten van uitlegbaarheid

De crux is het aanpassen van de boodschap aan het publiek. ‘Je hebt te maken met verschillende soorten uitlegbaarheid. De eerste vorm is de uitleg richting de datascientist of auditor. Dat is een bijna wetenschappelijke benadering waarin je uitlegt welke modelkeuzes er zijn gemaakt, welke dataselectie er heeft plaatsgevonden en hoe het model getraind is. Een andere datascientist moet dit precies kunnen nadoen en op dezelfde resultaten uitkomen.’ Dat is de uitlegbaarheid waar inhoudelijke deskundigen zich mee bezighouden, maar die voor de financial minder relevant is.  De technische uitleg kan, zoals uit het Stanford-voorbeeld blijkt, juist averechts werken.

‘De tweede vorm is procesuitlegbaarheid,’ gaat Klous verder. ‘Dat is belangrijk als je bijvoorbeeld voor de rechter komt te staan omdat je algoritme gefaald heeft. Welke waarborgen zijn er ingebouwd, welke controle, welke beveiligingsmiddelen – allemaal om te zien waar het misging en wie daar verantwoordelijk voor is.’ Bij de rechtbank is de technische uitleg minder relevant, maar gaat het om de implementatie in de context van een juridisch framework. Deze uitleg van het proces is, samen met de volgende vorm, relevant voor de financial.

En ten slotte, is er de uitlegbaarheid voor de persoon die wordt geraakt door de uitkomst. ‘Als een aanvraag voor een lening wordt afgewezen, wil je weten waarom, zodat je het kunt aanvechten. Harde regels zijn duidelijk, zoals: 'je hebt een jaarinkomen van minstens 30.000 euro nodig'. Maar waarom is die regel er? Negen van de tien keer is die ook gebaseerd op statistiek: de bank heeft ooit gemerkt dat de kans dat iemand een lening terugbetaalt onder dat drempelinkomen een stuk lager is.’

Waarom is deze beslissing genomen?

Het verschil met veel menselijke processen is dat gebruikers met data driven besluitvorming juist beter kunnen achterhalen waarom een bepaalde beslissing is genomen. ‘Denk aan recruitment. Waarom is die ene kandidaat aangenomen en die andere afgewezen? Dan krijg je iets als: 'deze kandidaat past beter bij de organisatie'. Bij algoritmes kun je om een betere uitleg vragen.’ Dat vereist wel dat de datascientist, het model baseert op de juiste gegevens, bias vermijdt bij het trainen en het model corrigeert.

Een voorbeeld dat hierop aansluit is een berucht incident bij Amazon. Het bedrijf werkte aan een tool om te helpen met de werving van software-ontwikkelaars. Het algoritme baseerde zich bij de selectie op historische data. In die tien jaar waar het model op werd getraind werden voornamelijk mannelijke programmeurs aangenomen. Het algoritme was gebouwd om bijvoorbeeld voor 100 kandidaten de 5 meest geschikte te selecteren. Gebaseerd op die twee datapunten, was het logische gevolg dat vrouwelijke kandidaten bij de 95 minder geschikte kandidaten werden geschaard.

De echte black box is de mens”
— Sander Klous

Het proces leerde termen op cv’s herkennen en hing daar een gewicht aan. Cv’s met termen als ‘vrouw’,  ‘schaakclub voor vrouwen’ en vermeldingen van opleidingen die meer door vrouwen werden gevolgd werden daardoor minder zwaar gewogen dan cv’s zonder deze elementen. Maar ook specifiek woordgebruik dat meer door mannen werd gebezigd dan vrouwen kreeg een zwaarder gewicht. Het ontwikkelteam paste de tool aan op deze inzichten, maar de resultaten werden steeds onbetrouwbaarder en leverde suggesties op die volgens ingewijden bij Amazon leken op willekeur. Bovendien konden de ontwikkelaars niet uitsluiten dat het deep learning-proces na de aanpassingen andere elementen zou leren om de ‘ongewenste eigenschap’ uit te filteren. Het hele model werd uiteindelijk naar de prullenbak verwezen.

Mens is ook een black box

Klous stelt dat de discussie over de uitlegbaarheid van algoritmes en het black box-effect - waarbij gebruikers en zelfs specialisten niet meer kunnen zien waaróm een beslissing is genomen - op gang is gekomen juist omdát je nu veel meer kunt uitleggen dan vroeger. ‘Je kunt nu scenario’s simuleren, een historische casus terugspelen en aanpassingen doen. Wat gebeurt er als ik deze factor verander?’ Omdat we kunnen uitleggen, is er meer behoefte aan uitlegbaarheid.

Hij haalt een bekende zaak aan van een zelfrijdende Uber-auto in Arizona. De zelfrijdende Uber reed in de staat een fietsster aan met fatale gevolgen. ‘Hierbij kun je aan de hand van de data het ongeval helemaal simuleren en achterhalen waar het precies misging. Met alleen menselijke betrokkenen heb je te maken met traumatische herinneringen en persoonlijke belangen waardoor zulke analyse niet mogelijk is. De echte black box is de mens.’

Verhalen als een ongeluk met een zelfrijdende auto of wervingssoftware die een voorkeur geeft aan mannelijke kandidaten geven de indruk dat er nog wel wat voor verbetering vatbaar is. Hoewel dat ook deels waar is, is het punt vooral dat de negatieve ervaringen een fractie zijn van het geheel aan ervaringen met AI. Als mens zijn we geneigd die negatieve ervaring van N=2 zwaarder te laten wegen dan de duizenden positieve voorbeelden van wat er wel goed gaat.

Algoritmes kunnen ongelijkheid verkleinen

In een rapport aan de Tweede Kamer over algoritmische besluitvorming, kijken onderzoekers dan ook niet alleen naar risico’s, maar ook naar kansen. Een goed ontworpen en getraind model verkleint juist ongelijkheid en discriminatie. ‘De inzet van algoritmen creëert ook kansen voor het recht op non-discriminatie,’ zo schrijven de onderzoekers. ‘Doordat algoritmen in staat zijn om veel informatie te verwerken kunnen ze veel individuele kenmerken van personen meenemen in besluitvormingsprocessen.’

Bij een case study van Stijn van Deursen en Stefan Philipsen van de Universiteit Utrecht naar algoritmes in de rechtspraak merken de onderzoekers fijntjes op: ‘Ook menselijke rechters zijn immers niet perfect en ook zij kunnen in sommige gevallen beslissingen nemen die mogelijk gebaseerd zijn op diepgewortelde maatschappelijke vooroordelen of stereotypen.’ Ook in dit rapport staat dus te lezen dat het menselijke beslissingsproces feitelijk een black box is. ‘Het voordeel dat een algoritme heeft ten opzichte van menselijke beslissingen is dat áls uiteindelijk wordt vastgesteld dat een reeks van beslissingen indirect discriminerende uitkomsten bevat, het meestal mogelijk zal zijn om het algoritme technisch bij te stellen (hoewel dat in technische zin lang niet altijd eenvoudig zal zijn). Menselijk gedrag bijsturen is in dat licht vaak moeilijker.’

Fouten in perspectief plaatsen

Het is duidelijk dat op dit gebied vertrouwen te winnen valt zodra gebruikers de uitkomsten breder zien. Ervaringen met algoritmische beslissingen geven gebruikers meer houvast, omdat ze aan de resultaten zien wat er goed gaat. Als een algoritme vervolgens ergens de fout ingaat, wat net als met menselijke beslissingen onvermijdelijk is, kunnen gebruikers de foute uitkomsten beter in perspectief plaatsen, want een eerlijk algoritme is niet hetzelfde als een foutloos algoritme.

Henk-Jan Buist

Henk-Jan Buist

Webredacteur

Henk-Jan Buist is webredacteur bij CM: (CMweb) en Finance Academy E-learning. Hij werkt sinds 2020 bij VMN Media als financieel journalist. Hij is daarnaast gespecialiseerd in technologie en houdt zich graag bezig met ontwikkelingen op het gebied van fintech en wat AI betekent voor financials. Ook schrijft hij regelmatig tutorials over Excel en Power Query. Voordat hij bij cm: aan de slag ging, werkte Henk-Jan als journalist bij onder meer technologiesites Computerworld, Webwereld en CIO.nl, daarvoor voor de tijdschriften Smartphone Magazine en Android Magazine, en nog eerder was hij systeembeheerder.

Algoritmes maken beleid eerlijker

In de Nederlandse samenleving worden steeds meer beslissingen genomen door geautomatiseerde systemen die gebruik maken van algoritmen. Maar hoe eerlijk is de toepassing van algoritmen? Rik Helwegen, onderzoeker aan de Universiteit van Amsterdam (UvA), zocht het uit voor de gemeente Amsterdam. Hij maakte daarvoor gebruik van diverse CBS-bestanden. Zijn bevindingen kunnen controllers helpen om hun eigen algoritmes te verbeteren.

Alain Mulder

Cm: Nieuwspanel: Algoritmes als kolfje naar onze hand

Een professional uit ons nieuwspanel blikt terug op het belangrijkste nieuws. Ook Alain Mulder van het Institute of Management Accountants (IMA) ziet op het gebied van algoritmes een schone taak weggelegd voor accountants.u00a0

Nederlanders zetten vraagtekens bij eerlijke algoritmen

Nederlanders zetten vraagtekens bij eerlijke algoritmen

Nederlandse consumenten zetten vraagtekens bij een eerlijk gebruik van algoritmen. In de Nederlandse samenleving wordt het nemen van beslissingen in toenemende mate toevertrouwd aan geautomatiseerde systemen die gebruik maken van algoritmen. Zo laten verzekeraars claims steeds vaker geautomatiseerd en zonder menselijke tussenkomst afhandelen, gebruiken controllers algoritmen om financiu00eble voorspellingen voor de organisatie te doen enu00a0laten ziekenhuizen in sommige gevallen zelf medische onderzoeksresultaten niet beoordelen door mensen maar computers.

Maak rapportage algoritmes verplicht

Maak rapportage algoritmes verplicht

De VVD wil dat er voortaan jaarlijks wordt gerapporteerd over de betrouwbaarheid en eerlijkheid van de algoritmes die bedrijven en overheden gebruiken. In een nota, die de VVD aan het kabinet stuurde, stelt de fractie dat mensen niet in een digitale jungle mogen overlaten aan de sturing van algoritmen.

Excel Q&A: Periodes uitlichten in (deel) lijngrafiek

Excel Q&A: Periodes uitlichten in (deel) lijngrafiek

Hoe zorg je ervoor dat bepaalde perioden van een grafiek worden uitgelicht? Excel-MVP Tony De Jonker legt het uit.

Techbedrijven willen geen traditioneel bancaire producten op de balans

Techbedrijven willen geen traditioneel bancaire producten op de balans

Financiële technologie heeft een enorme revolutie veroorzaakt in het betaalverkeer. Daar blinken neobanken in uit. Traditionele banken omarmen in reactie daarop dezelfde technologieën. Maar hoe zit het met andere onderdelen van de bancaire dienstverlening? Cm: sprak PwC's Jan Willem Velthuijsen hierover.

Data-uitwisseling in de supply chain steeds complexer

Data-uitwisseling in de supply chain steeds complexer

Elektronische gegevensuitwisseling in de retail supply chain wordt steeds complexer. "Door strengere regelgeving en technologische ontwikkelingen kunnen organisaties dit moeilijker zelf doen", vertelt Arjan Sloot van SPS Commerce.

Excel-tip: herstel een beschadigde spreadsheet

Excel-tip: herstel een beschadigde spreadsheet

Een rood kruis met de melding 'Kan de werkmap niet openen' is genoeg om menig Excel-gebruiker de schrik om het hart te doen slaan. Vooral als het om een belangrijke spreadsheet gaat die veel wordt gebruikt. Er zijn meerdere relatief simpele manieren om te proberen dit probleem te verhelpen. Cm: zet enkele tips op een rij.

4 obstakels voor digitale transformatie en hoe je deze aanpakt

4 obstakels voor digitale transformatie en hoe je deze aanpakt

De status van de digitale transformatie van de financiële functie blijkt minder vergevorderd te zijn dan gedacht of gehoopt. De onderzoekers gaan nu in op de obstakels die financiële functies tegenkomen tijdens hun digitale transformatie, en zij bespreken hoe deze obstakels effectief aangepakt kunnen worden.

Excel: titels blokkeren en automatisch aanvullen

Excel: titels blokkeren en automatisch aanvullen

Excel biedt welhaast oneindige mogelijkheden om cijfers te structureren. Hier behandelen we twee mogelijkheden die handig van pas kunnen komen. Hoe blokkeer je titels om rijen en kolommen te vergrendelen? En: hoe zet je automatisch aanvullen aan?

Power BI-expert Giancarlo Gallant: 'De controller is een dirigent'

Power BI-expert Giancarlo Gallant: 'De controller is een dirigent'

Controllers gebruiken hun vaardigheden met spreadsheetsoftware als Excel voor het breder werken met data via tools als Power BI. "Ik zie de controller als dirigent, die weet wat er van hem wordt verwacht en in staat is mensen in beweging te brengen binnen de organisatie," zegt controller en BI-deskundige Giancarlo Gallant.

Van traditionele boekhouder naar strategische partner

Van traditionele boekhouder naar strategische partner

De rol van de finance professional verandert. Een goede zaak voor zowel de professionals zelf als voor organisaties. Louis Brosky en Marcel van den Noord, respectievelijk finance manager en manager marketing en sales bij TKB, vertellen waarom deze ontwikkeling nieuwe kansen biedt in een datagedreven wereld.