De abrupte stop van Copilot in Amsterdam: een analyse van privacyrisico's en het belang van vooronderzoek

De basis voor het stopzetten van de pilot was een Data Protection Impact Assessment (DPIA) uitgevoerd door SLM Rijk, dat 4 grote risico's identificeerde. SLM Rijk staat voor Strategisch Leveranciersmanagement Rijk. Het is een initiatief van de Nederlandse overheid om de relaties met grote ICT-leveranciers te stroomlijnen en te optimaliseren.

Deze 4 risico's kunnen worden geanalyseerd vanuit een juridisch-technisch perspectief, namelijk:

1. Ondoorzichtigheid in gegevensverwerking
   Het gebrek aan transparantie van Microsoft over de exacte processen van gegevensverwerking binnen Copilot vormt een direct conflict met de principes van de Algemene Verordening Gegevensbescherming (AVG). Dit belemmert de mogelijkheid voor organisaties om de rechtmatigheid van de verwerking te verifiëren.
   
   
2. Beperkte uitoefening van individuele rechten
   De complexiteit van de gegevensstromen binnen Copilot maakt het moeilijk voor individuen om hun recht op inzage, rectificatie en verwijdering van hun gegevens effectief uit te oefenen. Dit is in strijd met de fundamentele rechten zoals vastgelegd in de AVG.
   
   
3. Onzekerheid over gegevensaccuratesse
   De afhankelijkheid van Copilot van diverse gegevensbronnen, waaronder Microsoft Graph, introduceert risico's met betrekking tot de nauwkeurigheid van de verwerkte informatie. Dit kan leiden tot onjuiste besluitvorming en mogelijke schade voor betrokkenen.
   
   
4. Gebrek aan organisatorische controle
   De beperkte controle van de gemeente over de gegevensverwerking door Microsoft plaatst de organisatie in een kwetsbare positie, waarbij het moeilijk is om te voldoen aan de verantwoordingsplicht onder de AVG.

De noodzaak van grondig vooronderzoek
Een kritische evaluatie van de situatie suggereert naar mijn mening dat de Gemeente Amsterdam mogelijk gebaat zou zijn geweest bij een meer diepgaand vooronderzoek alvorens een pilotproject te starten. Dit vooronderzoek had kunnen omvatten:

• Een gedetailleerde risicoanalyse: het identificeren en evalueren van potentiële privacyrisico's in een vroeg stadium van het implementatieproces. Of liever nog voordat het tot een PoC komt.
• Een conformiteitsanalyse: het beoordelen van de conformiteit van Copilot met de AVG en andere relevante wet- en regelgeving.
• Een technische evaluatie: het analyseren van de technische architectuur van Copilot en de impact ervan op de gegevensbescherming.

Door deze stappen te nemen, had de gemeente mogelijk de risico's kunnen mitigeren of zelfs kunnen voorkomen dat de pilot voortijdig moest worden beëindigd.

Gemeenten zouden het volgende kunnen overwegen:

• Het (laten) ontwikkelen van interne AI-oplossingen: dit biedt meer controle over de gegevensverwerking en maakt het mogelijk om privacy-by-design principes toe te passen.
• Het gebruik van SaaS-platformen die AI geïntegreerd hebben in combinatie met een trusted layer: dit zodat persoonsgegevens nooit de organisatie verlaten. Deze platforms bieden transparantie en flexibiliteit, waardoor organisaties de mogelijkheid hebben om de gegevensverwerking aan te passen aan hun specifieke behoeften.
• Het toepassen van gegevens anonimisering en -pseudonimisering: dit vermindert het risico op identificatie van individuen en beschermt gevoelige informatie.

Conclusie
De casus van de Gemeente Amsterdam benadrukt het belang van een zorgvuldige en gefaseerde benadering bij de implementatie van AI-technologieën. Door grondig vooronderzoek te verrichten en alternatieve benaderingen te overwegen, kunnen organisaties de voordelen van AI benutten terwijl de privacy van persoonsgegevens wordt gewaarborgd.