Een nog grotere hooiberg bouwen boven op een speld

Experts waarschuwen: ‘datasleepnet’ werkt niet

Beeld door: Foto: Els Zweerink / Hollandse Hoogte

Nieuws

Experts waarschuwen: ‘datasleepnet’ werkt niet

De AIVD wil onder de nieuwe inlichtingenwet op grote schaal en op geautomatiseerde wijze gegevens verzamelen via internetkabels op zoek naar onbekende terroristische dreigingen. Maar dit werkt niet, waarschuwen experts. Het heeft geen zin om nog meer gegevens te verzamelen als je niet weet waar je zoekt.

Sterker nog, het is zelfs contraproductief om steeds meer hooi te gooien bovenop die ene speld. Dit blijkt uit een analyse van Platform Investico samen met De Groene Amsterdammer en Trouw waarin we vergeleken hoe de veiligheidsdiensten zowel in Europa als in Amerika op zoek gaan naar dreigingen in big data.

Dankzij dit soort analyses komen mensen bijvoorbeeld onterecht op no fly lists te staan. Ook werd de kleine Amerikaanse plaats Dearnborn na New York de stad met de meeste mensen op de Amerikaanse terrorisme watchlist. Dit had niet zozeer te maken met de hoeveelheid terroristen, als wel met de grote moslimpopulatie.

‘Het is lastig om gebeurtenissen te voorspellen die nauwelijks voorkomen,’ legt de Deens onderzoeker Timme Munk. ‘Daar komt bij dat we nauwelijks weten wanneer en hoe iemand met extremistische denkbeelden uiteindelijk een terrorist wordt.’

Blijf op de hoogte van onze onderzoeken. Meld je aan voor de nieuwsbrief

Extern toezicht op deze gegevensverzameling was volgens de AIVD bovendien niet nodig, ondanks een advies hiertoe van een team van wetenschappers en onderzoekers. ‘Dat achten wij een te vergaande eis, omdat gegevensverwerking de essentie betreft van het werk van de inlichtingen- en veiligheidsdiensten’.

Filosoof en jurist Marc Schuilenburg die aan de Vrije Universiteit onderzoek doet naar veiligheid waarschuwt dat de gebruikte onderzoeksmethode te weinig kritisch wordt bekeken. ‘We controleren niet de tools op grond waarvan de veiligheidsdiensten beslissingen nemen. Dat blijft een black box,’ zegt hij. ‘Als je bulkinformatie verzamelt ga je waarde hechten aan onbelangrijke dingen of aan een causaliteit die er niet is. Je gaat op zoek naar alles wat potentieel bedreigend kan zijn en daarmee steeds meer betekenis geven aan de samenhang van talloze niet-strafbare feiten.’

Verantwoording

Investico is radicaal transparant. In verantwoordingsdocumenten maken wij onze onderzoeksmethodes en resultaten openbaar zodat publiek en andere onderzoekers ons werk kunnen controleren en erop kunnen voortbouwen. In de longread van het onderzoek hieronder verwijzen noten naar het bronmateriaal. Wilt u meer weten over onze missie en methode? Lees meer

Onderzoek met bronnen

Een nog grotere hooiberg bouwen boven op een speld

Beeld door: Foto: Els Zweerink / Hollandse Hoogte

Volgens de nieuwe Wet op de Inlichtingen- en Veiligheidsdiensten, waarover 21 maart een referendum is, mogen inlichtingendiensten vrijwel onbeperkt gegevens binnenhalen van onverdachte burgers.

‘Wow, wat gebeurt hier? Ik heb toch niks verkeerd gedaan?’ Ibrahim (Abe) Mashal staat ingeklemd tussen wel twintig vliegveldbeveiligers. Het is een woensdagmiddag in april 2010 en Mashal, een ex-marinier en vader van drie kinderen, is op het vliegveld van Chicago om in te checken voor zijn vlucht naar Spokane. Hij moet daar een hondentraining geven.

De grondstewardess die met zijn rijbewijs verdween komt terug en zegt dat hij op de no fly list staat van het Terrorist Screening Center, een internationale lijst met zo’n 64.000 bekende of vermoede terroristen. Een reden voor zijn vliegverbod krijgt hij niet, maar als Mashal thuiskomt wachten twee FBI-agenten hem op. Ze willen alles weten over zijn Palestijnse vader, zijn buitenlandse kennissen en of hij bij de marine bommen heeft leren maken. Ook Mashals klant in Spokane krijgt bezoek van de FBI en zegt vervolgens de training af. Drie maanden later vraagt de FBI Mashal naar een hotel te komen. Als hij informant wordt, zullen ze hem van de lijst halen. Hij wil eerst een advocaat spreken en benadert de American Civil Liberties Union (ACLU). Die is niet verbaasd over zijn verhaal; ze heeft namelijk contact met dertien anderen die precies hetzelfde is overkomen. De ACLU voegt hem toe aan een gezamenlijke rechtszaak. Na vier jaar wordt Mashal van de lijst gehaald. Vier jaar heeft hij dankzij zijn vliegverbod bruiloften, begrafenissen en zakelijke opdrachten gemist.

Word nu Vriend van Investico en versterk de onderzoeksjournalistiek in Nederland

Steun ons

Referendum

Op 21 maart stemmen we over de nieuwe Wet op de Inlichtingen- en Veiligheidsdiensten (Wiv), maar in de aanloop naar dat referendum lijken we de verkeerde discussie te voeren. Het debat gaat vooral over het ‘sleepnet’ dat het opscheppen van gegevens via internetkabels mogelijk maakt; over de vraag of de AIVD straks onze mailtjes leest en of het toezicht daarop wel op orde is. Door hierop in te zoomen, wordt een belangrijkere vraag niet gesteld; namelijk of deze vorm van massale gegevensverzameling wel werkt.

Het korte antwoord daarop is volgens veel experts namelijk: nee. Het werkt contraproductief om steeds meer hooi te gooien boven op die ene speld die je zoekt. De genoemde no fly list bijvoorbeeld is onderdeel van een nog veel langere terrorist watch list. Amerikaanse overheidsdiensten selecteren uit grote gecombineerde datasets mensen die extra gescreend worden. Dat levert veel verkeerde aanwijzingen op – zoals mensen met dezelfde naam als een verdachte. Ook twee Rotterdammers kwamen er afgelopen zomer mee in aanraking: ze mochten na zes uur ondervraging Amerika ondanks hun visum niet in. De reden? Een van hen, docent Engels en komiek Ismail Aghzanay, was naar Mekka geweest. ‘We werden behandeld als criminelen, als terroristen’, zei hij.

Dit soort lijsten met potentiële dreigingen komt tot stand door computeranalyses van bergen gegevens die diensten ook met elkaar uitwisselen. De kans op fouten bij die automatische analyse is groot en mensen ondervinden er schade van. Dat zou acceptabel kunnen zijn als big data-analyses aanslagen kunnen voorkomen, maar het bewijs daarvoor ontbreekt.
‘Data mining is simply the wrong tool for the job’, schreef Bruce Schneier in 2015. Deze internationaal vermaarde veiligheids- en big data-expert is verbonden aan Harvard en IBM en adviseerde de Amerikaanse overheid. Datastapelen werkt volgens hem wel als je creditcard- of belastingfraude op wil sporen, maar niet als je tussen miljoenen mensen die ene terrorist probeert te vinden. De miljarden die aan massasurveillance worden uitgegeven noemt hij verspild geld: het levert niet de veiligheid op die wordt beloofd.

Anderen wijzen op de grote kans op fouten bij het analyseren van big data. De kans op verkeerde verdachten en op blindheid voor risico’s die we nog niet kennen is groot. Het kan leiden tot discriminatie en schade voor onschuldige burgers; met rechtszaken tot aan het Europees Hof voor de Rechten van de Mens toe. Platform Investico vergeleek voor De Groene Amsterdammer en Trouw hoe veiligheidsdiensten zowel in Europa als in Amerika op zoek gaan naar dreigingen in big data. Werkt de methode en welke onbedoelde, nadelige gevolgen heeft ze? Hoe doen we het in Nederland en wie houdt er toezicht op?

In de nieuwe Wiv staat voor het eerst de geautomatiseerde verwerking van data beschreven. Big data hebben volgens de diensten een grote potentie ‘omdat tegenwoordig steeds meer data automatisch worden geproduceerd en het onvermijdelijke bijproduct zijn van dagelijkse handelingen van bijna alle burgers, zoals het gebruik van internet, social media, mobiele telefoons en daaraan verbonden applicaties’. De toepassing van big data levert volgens de diensten grote tijdwinst op en geeft nauwkeuriger resultaten, waardoor aanslagen sneller kunnen worden gereconstrueerd en terroristische voornemens sneller in kaart gebracht kunnen worden.

Het interessante is dat de toelichting op de wet de valkuilen van big data-analyse wel benoemt – zoals correlaties verwarren met causaliteit, stigmatisering, discriminatie en het zogenoemde ‘chilling effect’ (mensen gaan zich anders gedragen als ze zich voortdurend bekeken voelen) – maar extra toezicht is volgens de diensten niet nodig. Een team van wetenschappers en onderzoekers dat de privacyrisico’s van de nieuwe wet inschatte, adviseerde dat de minister vooraf toestemming moet geven voor big data-analyse. De reactie van de diensten? ‘Dat achten wij een te vergaande eis, omdat gegevensverwerking de essentie betreft van het werk van de inlichtingen- en veiligheidsdiensten.’

Hoe effectief de big data-analyse is en hoe het risico van fouten wordt geminimaliseerd wil de AIVD niet laten weten. Dat zou te veel inzicht geven in haar werkwijze. In een reactie op onze vragen stelt de dienst dat ‘we pas vanaf het moment dat de wet ingaat echt aan de slag gaan met de bevoegdheden die erin staan en precies ervaren hoe een en ander werkt. Het is dus te vroeg om daar al uitspraken over te doen.’

Dat is gek, want uit diverse toezichtsrapporten, vacatures van de AIVD, en de aanschaf van ‘Argo II’ in 2013, een softwaresysteem om grote hoeveelheden gegevens te kunnen verwerken, valt op te maken dat de diensten al jaren gebruik maken van geautomatiseerde data-analyses. Ook zonder sleepnet hebben ze nu al veel data tot hun beschikking die je alleen nog maar met behulp van big data-software kunt bekijken. Gerichte taps op de internetkabel zijn al toegestaan, net als het opvragen van informatie bij bedrijven – direct of via informanten. Veel informatie op het internet is bovendien openbaar. De inlichtingendiensten maken bijvoorbeeld gebruik van sociale-media-analyses en kopiëren complete webfora. Ze mogen ook hacken en niet-openbare informatie opkopen. Zo kochten de diensten twee datasets met elk de persoonsgegevens van meer dan honderd miljoen mensen op het dark web, bleek afgelopen maand uit een toezichtsrapport van de CTIVD.

Ook hebben overheidsdiensten toegang tot veel persoonsgegevens. Binnen de zogeheten Contra Terrorisme Infobox wordt bijvoorbeeld data gedeeld van onder andere de AIVD, MIVD, de politie, marechaussee, IND, de Fiod, het Openbaar Ministerie, de financial intelligence unit, de inspectie Sociale Zaken en Werkgelegenheid en de Nationaal Coördinator Terrorismebestrijding en Veiligheid. Deze bijzondere opsporingsdiensten hebben niet alleen veel persoonsgegevens, maar mogen vanaf komende zomer ook gericht afluisteren en undercoveracties uitvoeren. Al deze data kunnen op een hoop worden gegooid om er nieuwe analyses op los te laten, profielen te maken, en nieuwe dreigingen op te sporen.

Dat inlichtingendiensten honger naar data hebben, komt door de aard van hun werk, legt filosoof en jurist Marc Schuilenburg uit. Hij doet aan de Vrije Universiteit onderzoek naar veiligheid. ‘De inlichtingendiensten zijn op zoek naar dingen die ze nog niet weten, of zoals voormalig defensieminister Donald Rumsfeld het in 2002 zo mooi verwoordde, het gaat om the unknown unknowns.’ De inlichtingendiensten gaan op zoek naar dingen waarvan ze niet weten dat ze ze niet weten. Ze zijn op zoek naar iedere dreiging en dat kan van alles zijn. Volgens Schuilenburg is het de meest vage en ook de meest brede categorie van voorspellen: ‘Je wilt bijvoorbeeld ver voor 9/11 al hebben voorspeld dat terroristen met gekaapte passagiersvliegtuigen een aanslag kunnen plegen. Maar voor 9/11 had nog niemand over die mogelijkheid nagedacht.’

Om onbekende dreigingen in kaart te brengen willen de diensten dus steeds meer gegevens verzamelen. Maar volgens Schuilenburg ligt het oneigenlijk gebruik van data op de loer: ‘Als je bulkinformatie verzamelt ga je waarde hechten aan onbelangrijke dingen of aan correlaties die er niet zijn. Je gaat op zoek naar alles wat potentieel bedreigend kan zijn en daarmee steeds meer betekenis geven aan de samenhang van talloze niet-strafbare feiten. Wat je dan uiteindelijk krijgt is een gedachtepolitie.’

Verzamelwoede

Muhammed Rabbani is niet verbaasd als hij op 20 november 2016 bij de douane op Heathrow Airport wordt aangehouden. Hij is het gewend: ‘Na de twintigste aanhouding ben ik opgehouden met tellen’, vertelt de directeur van de Engelse moslimbelangenorganisatie Cage. De douane beveelt hem zijn laptop en telefoon te ontgrendelen, maar Rabbani weigert. Op zijn laptop staat een hoop informatie over zijn werk en hij wil niet dat die in verkeerde handen belandt. Rabbani wordt veroordeeld en krijgt een geldboete. ‘Dat is mijn terroristische daad, dat ik mijn wachtwoorden niet wilde vrijgeven’, zegt hij.

Volgens EU-commissaris Mario Oetheimer worden er in heel Europa steeds meer data verzameld. De meeste landen hebben de bevoegdheden voor dataverzameling recent verruimd. In bijna alle lidstaten mogen de veiligheids- en inlichtingendiensten data van de kabel en ether verzamelen en voor langere tijd opslaan. Telecombedrijven zijn verplicht metadata voor een langere periode op te slaan, voor het geval dat later toch nog nuttig blijkt. Landen verzamelen niet alleen zelf data, ze wisselen die ook uit met bondgenoten. Na recente aanslagen is de dataruilhandel binnen Europa verder toegenomen. Daarnaast zijn luchtvaartmaatschappijen sinds 2016 verplicht om alle passagiersdata met de Europese lidstaten te delen.

In Engeland begint de dataverzamelwoede direct aan de grens. Sinds Schedule 7 van de Britse Terrorism Act 2000 van kracht ging is het de grenspolitie toegestaan mensen zoals Muhammed Rabbani aan te houden en te fouilleren. Het leidt tot een grootschalige inbreuk in de digitale levens van onschuldige mensen. Toezichthouder David Anderson waarschuwde in 2014 dat de Engelse wet terrorisme zo breed definieert dat ook journalisten, bloggers en kennissen van vermoedelijke terroristen daar onder kunnen vallen.

Uit onderzoek van online nieuwsplatform The Intercept bleek dat de politie de verzamelde data maandelijks deelt met de Engelse inlichtingendienst GCHQ. Tussen 2009 en 2016 werden in Engeland gemiddeld vijftigduizend mensen per jaar aan de grens aangehouden, zonder opgaaf van redenen. Ze mogen zich niet beroepen op hun zwijgrecht en zijn bovendien verplicht elektronische apparaten aan de politie te overhandigen.

Volgens politici en veiligheidsdiensten zijn die data nodig om terrorisme te bestrijden. Zo zei de Britse premier Theresa May in 2017: ‘We moeten er alles aan doen om het risico van extremisme online te verminderen.’ De inlichtingendiensten stellen dat ze zonder ‘bulkinterceptie’ en data-analyses hun taken niet goed kunnen uitvoeren.

Het Hooggerechtshof sprak zich eind januari negatief uit over de verzameldrift van de Britse diensten. De overheid overtreedt de wet door het verzamelen van ’s lands internetactiviteiten en belgegevens, en door overheidsdiensten toegang te geven tot persoonlijke gegevens van mensen die niet verdacht worden van misdaden. Het Hof oordeelde dat belangrijke delen van de ‘Snoopers’ Charter’, zoals de Britse sleepwet heet, onrechtmatig zijn.

Ook in Frankrijk viert de verzamelwoede hoogtij. Als de Franse regering na de aanslag in Parijs in 2015 de noodtoestand uitroept, mag de politie zonder tussenkomst van een rechter huizen doorzoeken. In twee jaar tijd doorzoeken ze 4457 huizen. Aanvankelijk is het ook toegestaan om data uit apparaten en computers te halen die de politie in de huizen aantreft. ‘Voor ons is het beste gedeelte [van de huiszoekingen] de data’, getuigde Charles-Antoine Thomas, een Parijse officier, voor de Assemblée Nationale. ‘Mensen slapen niet met hun kalasjnikov.’

Na het uitroepen van de noodtoestand gebruikte de Franse overheid de extra bevoegdheden om klimaatactivisten preventief huisarrest te geven en demonstraties te verbieden. Privacy International diende een half jaar geleden bij het Europees Hof voor de Rechten van de Mens een zaak in tegen de Franse overheid, omdat volgens hen automatische data-analyses en hacken in strijd zijn met de mensenrechten.

Diverse Nederlandse organisaties hebben een gezamenlijke rechtszaak aangekondigd tegen de nieuwe inlichtingenwet. Ook de Raad van State vroeg zich in een reactie op de nieuwe inlichtingenwet af of de grootschalige gegevensverzameling wel voldoet aan de proportionaliteitseis van het Europees Verdrag voor de Rechten van de Mens. Het Hof in Straatsburg oordeelde in eerdere zaken dat massasurveillance zeer ingrijpend is omdat primair gegevens van onschuldige burgers worden verzameld.

Slimme software

Als je al die gegevens hebt, wat doe je er dan mee? Het makkelijkste is ze te doorzoeken op dreigingen die al bekend zijn: een persoon van wie je weet dat hij of zij kwade plannen heeft. Maar dat is doorgaans niet wat inlichtingendiensten doen, zij moeten juist op zoek naar de dreigingen die nog niet bekend zijn. Kon je als AIVD’er vroeger nog handmatig je dossiers opbouwen en puzzelstukjes samenvoegen, dat is met de hoeveelheid gegevens van vandaag de dag niet meer te doen. Je hebt dus hulp nodig van data-analisten en van slimme software.

In Amerika, Frankrijk en vele andere landen wordt hiervoor aangeklopt bij het bedrijf Palantir. Deze ‘Rolls Royce van de big data’ is in handen van tech-miljardair Peter Thiel en kwam mede tot stand dankzij een investering van de CIA. Het is na de leaks van Edward Snowden wel omschreven als het systeem dat de Amerikaanse dienst NSA helpt de hele wereld te bespioneren. Met het programma Palantir Gotham kunnen overheden snelle analyses maken in één gecentraliseerde database, waar je een boel gevoelige informatie met één klik kunt doorzoeken, én gemakkelijk informatie tussen landen kunt delen.

Andere overheden maken gebruik van HackingTeam, een commercieel Italiaans bedrijf dat zijn diensten aan ieder land verkoopt dat wil betalen. Met de software van HackingTeam kun je apparaten hacken, maar bijvoorbeeld ook digitaal verkeer ontsleutelen. Dat wordt niet alleen gebruikt om terroristen te slim af te zijn, maar ook om journalisten, dissidenten en mensenrechtenactivisten mee op de huid te zitten.

Dat het onderbrengen van grote hoeveelheden gegevens bij commerciële bedrijven ook risico’s met zich meebrengt, bleek in 2015 toen HackingTeam zelf gehackt werd door een ethische hacker die vierhonderd gigabytes aan informatie buit maakte.

Experts als Bruce Schneier wijzen erop dat de technische kennis om te hacken, virussen te verspreiden of op grote schaal online te surveilleren aanvankelijk door overheden wordt gefinancierd, maar daarna vaak in verkeerde handen valt. Een bekend voorbeeld is het door Amerikanen ontworpen virus Stuxnet dat een Iraanse nucleaire fabriek plat moest leggen, maar in Iraanse handen terechtkwam. Zo ontstaat een nieuwe digitale wapenrace, en maakt veel van de inbraak- en analysesoftware die overheden gebruiken de wereld uiteindelijk onveiliger. Omdat diensten makkelijk bij gegevens willen kunnen, hebben ze bovendien geen belang bij het veiliger maken van gegevensopslag of verwerkingssystemen.

Algoritmes

In Nederland weten we niet precies hoe de diensten hun gegevens analyseren en met welke bedrijven ze samenwerken, daarover wil de AIVD geen uitspraken doen. Uit een recente vacature blijkt dat de AIVD big data-engineers aanneemt die software kunnen ontwikkelen om grote hoeveelheden data te verwerken. We weten ook dat in 2013 software is aangekocht met de codenaam ‘Argo II’ om van 2014 tot 2018 te kunnen gebruiken. Argo II is vooral bedoeld om ‘de wereld van het internetprotocol’ te bestrijken, bleek uit een omschrijving van het ministerie van Defensie. Wat weer tot Kamervragen leidde omdat de diensten hiermee op het ‘sleepnet’ vooruit leken te lopen. Journalisten herleidden de software destijds tot het Israëlische bedrijf Nice Systems, maar de overheid wilde dat niet bevestigen. Nice Systems zelf zegt bij navraag dat de betreffende divisie in 2015 is doorverkocht aan de Amerikaanse private-equityfirma Battery Ventures.

Wie wel toelichting wil geven over zijn software is de Nederlandse Peter de Kock van Pandora Intelligence. Dat bedrijf won een innovatiewedstrijd van het ministerie van Defensie en kreeg twee ton om een geautomatiseerd scenariomodel verder te ontwikkelen. De Kock werkte eerder bij de politie en als filmmaker en benadert terroristische aanslagen als filmscenario’s. Hij voegde de kleinste details van alle terroristische aanslagen die hij kon vinden samen met romans, sciencefiction en films over aanslagen. Dat leidde tot een complex systeem waar algoritmes overeenkomsten of trends in kunnen ontdekken. Stel dat er ergens een aanslag gepleegd wordt en er zijn nog maar een paar details bekend, dan kan De Kocks model daar het meest waarschijnlijke scenario bij leveren.

Volgens Peter de Kock kunnen we het ons niet veroorloven geen gebruik te maken van algoritmes. ‘Een systeem kan misschien wel beter uitleggen hoe dat tot een bepaalde beslissing is gekomen dan een mens.’ Het lastige is: ingewikkelde algoritmes zoals die van De Kock zijn zelflerend. Ze ontwikkelen zich steeds verder waardoor zelfs specialisten ze steeds minder snappen. ‘Daarom moet je ze transparant maken en altijd blijven controleren’, zegt De Kock.

Experts zetten hun vraagtekens bij de betrouwbaarheid van algoritmes om terroristen op te sporen. Waar bedrijven als Amazon en Google dagelijks zoveel transacties en zoekopdrachten uitvoeren dat ze constant kunnen checken of hun algoritmes de juiste suggesties doen, komt terrorisme relatief weinig voor. De Deense onderzoeker Timme Munk beaamt dit: ‘Het is lastig om gebeurtenissen te voorspellen die nauwelijks voorkomen. Daar komt bij dat we nauwelijks weten wanneer en hoe iemand met extremistische denkbeelden uiteindelijk terrorist wordt.’ In een wetenschappelijke studie rekende hij voor dat voor iedere potentiële terrorist wel honderdduizend ‘verkeerde’ verdachten moeten worden gecheckt.

Neem Skynet, een NSA-programma dat automatisch terroristen in kaart moest brengen. Het had volgens gelekte Powerpointslides een foutpercentage van slechts 0,18. Toch betekent dat op een database van 55 miljoen personen dat het systeem 99.000 personen onterecht als terrorist aanmerkt. Al die mensen zoals Mashal en Rabbani moeten nader worden gecheckt. Dat maakt dit soort methodes omslachtig, tijdrovend en duur. Hoe meer data je verwerkt, hoe groter de kans op fout-positieven bovendien wordt.

‘Bij ieder algoritme maak je een keuze tussen meer fout-positieven (onschuldigen die als verdacht worden aangezien) of meer fout-negatieven (terroristen die voor onschuldig worden aangezien)’, zegt Munk. ‘De politieke druk is momenteel zo groot dat we meer fout-positieven accepteren. Zo worden onschuldige mensen schuldig bevonden, totdat ze kunnen bewijzen dat ze dat niet zijn.’

Watchlist

Een moeder en haar baby worden uit de rij geplukt op het vliegveld van Detroit. De moeder moet haar tas omkeren en alle luiers worden één voor één gecheckt. Haar zeven maanden oude zoontje krijgt een rigoureuze inspectie en wordt gefouilleerd. De reden? Het ventje staat op de terrorist watch list. Het verhaal van ‘Baby Doe’ komt terug in een gezamenlijke rechtszaak die in 2016 werd aangespannen tegen onder andere het Terrorist Screening Center. Onder de aanklagers bevinden zich opvallend veel mensen uit Dearborn, een rustig Amerikaans stadje in de staat Michigan. Alles bij elkaar wonen hier nog geen honderdduizend mensen, van wie de meesten in de auto-industrie werken. Dearborn dankt zijn faam namelijk aan Henry Ford die er opgroeide en er het hoofdkwartier van Ford stichtte, dat er nog altijd staat.

Maar twee jaar geleden kwam Dearborn om een heel andere reden in het nieuws: het is na New York de stad met de meeste mensen op de Amerikaanse terrorist watch list. De reden? Dearborn heeft voorzover we weten nog nooit een terrorist geproduceerd, maar heeft wel een grote moslimpopulatie. Een plek op deze lijst blijft niet zonder gevolgen, want hij wordt ook met andere instanties gedeeld. Veel genoemde problemen: gedoe bij de aanvraag van een rijbewijs, niet door de douane komen, bankrekeningen die bevroren worden en geweigerde leningen.

Omdat algoritmes gevoed worden met historische gegevens hebben ze de neiging vooringenomenheid of bias te versterken. Zo deed de journalistieke organisatie Propublica in 2016 onderzoek naar een criminaliteitsvoorspeller in de VS die liet zien dat deze vorm van geautomatiseerde data-analyse het vooroordeel tegen zwarte jongemannen versterkt, waardoor zij eerder worden opgepakt en zwaardere straffen krijgen.

Investico werkt altijd samen met andere media. Zo versterken we de onderzoeksjournalistiek in Nederland.

Lees meer over ons

Wat gebeurt er als je hetzelfde doet met gegevens van terroristen? TNO-onderzoeker Selmar Smit deed veel onderzoek naar big data en algoritmes, onder andere voor de politie en andere veiligheidsorganisaties. ‘Een woninginbraak kun je goed voorspellen omdat het mensen zijn die zelf aangifte doen, ongeacht het eventuele profiel van de inbreker. Maar bij staandehoudingen van de politie is het al weer anders. Dat werkt niet als je die in een systeem invoert omdat je zo de bias van agenten versterkt. Stel dat je bij terroristische aanslagen alleen de gegevens invoert van de daders die je pakt. Dat zijn misschien wel de domme terroristen. Dan is zo’n systeem blind voor andere daders. Dus zelfs bij zoiets simpels kun je de mist in gaan.’

Hij geeft nog een voorbeeld: IS en al-Qaeda zijn de bekendste terroristische groepen, er is veel over ze bekend en ze posten zelf veel filmpjes op YouTube. ‘Maar als je alleen bekende gegevens invoert, krijg je er ook vooral dat soort voorspellingen uit. Het gevaar van big data-analyse bij terrorisme is dus dat je alleen nog maar op zoek gaat naar bekende jihadisten en andere vormen van radicalisme over het hoofd ziet. Of dat je alleen nog maar oog hebt voor de “domme” terroristen die zich laten pakken, omdat zij oververtegenwoordigd zijn in je historische gegevens. Mensen zijn eerder geneigd om buiten de box te denken. Computers doen gewoon precies wat we van ze vragen.’

Gelukkig is er een instantie die, onder de nieuwe Wet op de Inlichtingen- en Veiligheidsdiensten, onze diensten moet controleren op de mogelijke fouten en valkuilen bij big data-analyse. Die verantwoordelijkheid ligt bij toezichthouder CTIVD, die het werk van de diensten achteraf toetst.

In de nieuwe wet wordt ‘geautomatiseerde data-analyse’ omschreven als een ‘algemene bevoegdheid’, niets bijzonders dus. Alleen beslissingen mogen niet volledig geautomatiseerd genomen worden: er moet altijd een mens aan te pas komen. Voor geautomatiseerde data-analyse is dus géén toestemming nodig van de minister of van de nieuwe Toetsingscommissie Inzet Bevoegdheden (TIB). Alleen als de data zijn verzameld met het veelbesproken ‘sleepnet’ moet dat wel: zowel de minister als de TIB moet eerst de tap goedkeuren, en vervolgens de geautomatiseerde data-analyse van die tap.

De CTIVD kijkt achteraf naar rechtmatigheid – klopt het volgens de wet? – maar gaat ook de betrouwbaarheid en kwaliteit van gegevensverwerking toetsen. Hoe? Dat weet ze nog niet, want de diensten moeten dit eerst zelf uitvogelen, het staat namelijk niet in de wet omschreven.

‘De hele Wiv hangt vol met toezicht, maar we controleren niet de tools op grond waarvan de veiligheidsdiensten beslissingen nemen. Dat blijft een black box’, waarschuwt filosoof en jurist Marc Schuilenburg. ‘De toezichtsinstantie doet straks een rechtmatigheidscontrole; mag het volgens de wet? Maar wat ze eigenlijk zouden moeten doen is een doelmatigheidscontrole. Werkt het wel? En hoe zorg je er bijvoorbeeld voor dat je zo veel mogelijk missers uitsluit?’

Function creep

Oud-minister Ernst Hirsch Ballin benadrukte het probleem van automatisering toen hij in 2016 de fraaie zin ‘alleen computer says yes or no is onwenselijk’ uitsprak. Hij presenteerde het WRR-rapport Big data in een vrije en veilige samenleving, waarin bijna alle bezwaren van big data-analyse door overheid en inlichtingen- en veiligheidsdiensten staan samengevat. Burgers krijgen het gevoel dat hun vrijheid wordt ingeperkt en persoonlijke levenssfeer aangetast. Dit kan leiden tot een chilling effect op de grondrechten. Deze effecten worden versterkt omdat de methoden en technieken van big data-analyse nauwelijks zichtbaar zijn. De profilering van groepen burgers kan tot discriminatie en oneerlijke behandeling leiden en tot verkeerde conclusies. De WRR wijst ook op het gevaar van ‘function creep’: het is verleidelijk om gegevens te gebruiken voor een ander doel dan waarvoor ze verzameld zijn.

In een voorstudie van dit rapport dook onderzoeker Sascha van Schendel van de Universiteit Tilburg in de wereld van inlichtingendiensten en big data. Daarin haalt ze een aantal missers aan. De militaire inlichtingendienst MIVD gebruikte in 2011 bijvoorbeeld te breed geformuleerde profielen om nieuwe communicatie via de ether te verzamelen. Ze citeerde ook de conclusie van de toezichthouder CTIVD dat ‘bijzondere bevoegdheden (…) een technologisch steeds geavanceerder inbreuk maken op de privacy van burgers’. Bij inlichtingenoperaties op sociale media werd bijvoorbeeld niet altijd goed met privacybescherming omgegaan. Daarnaast constateerde de toezichthouder dat het heimelijk binnenhalen van data van een aantal grotere algemene webfora disproportioneel en dus onrechtmatig was.

Sascha van Schendel maakt zich zorgen over de nieuwe inlichtingenwet. ‘Zoals ik de wet nu lees, zullen de diensten alleen maar meer profielen gaan maken. Maar hier zijn grote risico’s aan verbonden. Kan dat profiel wel honderd procent kloppen? Die zorg is in de nieuwe wet veel te makkelijk afgedaan met het antwoord: “We zetten wel een persoon naast de computer.” Maar het is belangrijk dat je als mens snapt hoe alle stappen zijn gemaakt en hoe zo’n profiel ontstaat. We zien in de Verenigde Staten dat het wel degelijk nadelige gevolgen kan hebben voor mensen als ze verkeerd geprofileerd worden.’ De kans dat onschuldige burgers geprofileerd worden, neemt volgens Van Schendel toe als er straks onder de nieuwe wet meer data binnengehaald worden door hacks of bulkinterceptie via de internetkabel. De discussie over de effectiviteit van deze methoden is volgens haar nooit gevoerd in Nederland: ‘Misschien weten de diensten zelf ook niet hoe effectief het is.’

Als er één iemand is die wél geprobeerd heeft die discussie over effectiviteit te voeren, is het voormalig PVDA-politica Astrid Oosenbrug. Zij stemde als enige van haar partij tegen de Wiv in de Tweede Kamer. ‘De noodzaak van meer data verzamelen is me in al die debatten niet duidelijk geworden’, zegt ze. Zowel de verantwoordelijke ministers als medewerkers van de veiligheidsdiensten konden Oosenbrug (die een ICT-achtergrond heeft en tegenwoordig een cyberwerkplaats runt) hiervan niet overtuigen. ‘Je gaat zoeken naar een speld in een nog grotere hooiberg. Ik wilde echt wel overtuigd worden, maar niemand heeft me uit kunnen leggen waarom dit nodig is.’

Volgens haar zijn er in de Tweede Kamer niet de juiste vragen gesteld bij de wet. Dat komt volgens haar door een gebrek aan technische kennis bij politici. ‘Het is onvoorstelbaar dat Kamerleden zeggen dat je helemaal geen ICT-kennis hoeft te hebben als je ICT-woordvoerder bent. Stel je voor dat iemand op zorg zegt: “Een ziekenhuis, medicijnen, nog nooit van gehoord.” Dat kan toch niet? Als je in de Kamer niet de juiste kennis in huis hebt, dan kun je ook niet de juiste vragen stellen.’

Politici zijn volgens haar bang dat onder hun verantwoordelijkheid de veiligheidsdiensten iets over het hoofd zien. Het resultaat: ze staan toe dat de diensten steeds meer gegevens binnenhalen. Maar, zegt Oosenbrug: ‘Je kunt niet met nog meer data de veiligheid vergroten. Wat je biedt, is een schijnveiligheid en daar ben ik gewoon niet van. Mensen krijgen bovendien het idee dat ze continu bekeken worden en passen hun gedrag aan. Uiteindelijk is iedereen dan verdacht, en dan leven we in een onvrije wereld.’

De WRR waarschuwde voor precies deze effecten, en pleitte daarom voor meer waarborgen bij big data-analyse om het vertrouwen in de samenleving te behouden. Maar hoe doe je dat? Daarvoor hoeven we misschien alleen maar twee landen verder te kijken. We spraken eerder al over de verzamelwoede van Frankrijk, maar in dat land is in 2015 óók afgesproken dat onder de nieuwe inlichtingenwet big data-analyse alleen voor anti-terrorisme-activiteiten is toegestaan, en alleen met toestemming van de premier. Ook moet een commissie vooraf een (niet-bindend) advies geven. Deze toestemming geldt slechts voor twee maanden en mag alleen verlengd worden als het algoritme niet te veel fout-positieven oplevert.

Hoogleraar ethiek en technologie Jeroen van den Hoven van de TU Delft benadrukt dat je gegevensanalyse zo kunt inrichten dat het zowel de privacy, rechtvaardigheid en waardigheid als veiligheid ten goede komt. ‘We moeten af van dat denken dat veiligheid altijd ten koste van privacy moet gaan. Je kunt systemen zo inrichten dat ze en/en/en waarborgen. Daar liggen de mogelijkheden voor echt verantwoorde innovatie.’

Van den Hoven vindt dat de overheid juist moeite moet doen om over de data-analyse – de ‘black box’ – verantwoording te kunnen afleggen. ‘Mensen vinden het prima als hun gegevens echt alleen voor bevordering van de veiligheid verzameld worden, en als er voldoende waarborgen zijn om fouten en misbruik van algoritmes te voorkomen. Dat zou al een enorme angel uit deze wet halen.’

Wilt u onafhankelijke onderzoeksjournalistiek ondersteunen? Word Vriend van Investico

U las de longread van dit onderzoek. Heeft u naar aanleiding hiervan een tip? Neem contact met ons op

Onafhankelijke onderzoeksjournalistiek is onmisbaar in een democratie. Word nu Vriend van Investico en versterk de onderzoeksjournalistiek in Nederland.

Word vriend