OPINIE - BINNENLAND

The distributed conduct of war

Artificial intelligence (AI) en geweldstoepassing

DR. M.A.C. EKELHOF

De redactie van Carré werd geattendeerd op de promotie in december 2019 van dr. Merel Ekelhof aan de VU te Amsterdam. Wij achtten het onderwerp zodanig actueel en relevant voor onze leden dat wij de promovendus hebben gevraagd een samenvatting van de dissertatie in Carré te mogen publiceren. Daarnaast hebben wij de Hoofddirectie Beleid (HDB) van de Bestuursstaf van het Ministerie van Defensie gevraagd om een beleidsvisie op dit onderwerp. Namens de HDB mochten wij van dhr. Hans van der Jagt, adviseur strategie, een reactie ontvangen op de dissertatie van dr. Ekelhof.

Over de auteur

Merel Ekelhof is werkzaam bij het VN-instituut voor onderzoek naar ontwapening (UNIDIR) waar zij het onderzoek binnen het AI/Autonomie portfolio leidt. Daarvoor was zij voor de Nederlandse regering werkzaam als adviseur op het gebied van autonome wapensystemen. Haar recente werk is met name gericht op het gebied van AI/Autonomie, militaire operaties, targeting en internationaal recht. Zij is betrokken bij en presenteert haar onderzoeksresultaten regelmatig aan nationale overheden, humanitaire- en militaire organisaties, supranationale instellingen, onderzoeksinstituten, de media en NGO’s. Zij is een door de NAVO Joint Force Air Component (JFAC) gecertificeerde targeteer. Voor haar promotieonderzoek studeerde zij aan de VU te Amsterdam; daarnaast heeft zij een doctoraalstudie rechtswetenschappen voltooid en heeft zij een master in rechts- en politieke wetenschappen. Naar verwachting zal zij op 1 april in dienst treden bij het Ministerie van Defensie.

Haar expertise ligt op het gebied van militaire operaties, targeting, internationaal humanitair recht, autonome (dodelijke) wapensystemen, AI, rechtswetenschappen en politiek, ontwapening, onderzoek naar strategie en de oorlogvoering in de toekomst.

De dissertatie

Dit proefschrift bevat enkele belangrijke bevindingen. Het proefschrift concludeert dat als er gekeken wordt naar het maatschappelijk debat, men geneigd is om AI vooral te zien als disruptieve technologie voor geweldstoepassingen. Op die zorg sluit de recent in de Tweede Kamer aangenomen motie-Koopmans aan. Daarin wordt gepleit voor een striktere regelgeving rondom de toepassing van AI binnen nieuwe wapensystemen met als argument dat de toepassing van AI in de geweldstoepassing grote escalatierisico’s met zich meedraagt.

De analyse laat zien dat AI grote voordelen kan bieden bij veel bredere toepassingen. Binnen het complete targeting-proces, dus in het hele spectrum van identificatie, selectie, uitvoering en beoordeling van (militaire) doelen, kan AI van grote toegevoegde waarde zijn. Waarbij het met name een substantieel effect kan sorteren in een vroeg stadium van dit proces en niet in een laat stadium bij de uiteindelijke geweldstoepassing. Deze vroegtijdige toepassing van AI bestaat dan bijvoorbeeld uit datamining ten behoeve van inlichtingenverzameling, ondersteuning van de commandovoering, enzovoorts.

Wat daarbij van groot belang is - en daar gaat de tweede conclusie van dit proefschrift over - is dat voor al deze stappen moet gelden dat ze onder Meaningful Human Control moeten staan, geheel conform internationaal juridische afspraken. Deze studie levert een aantal belangrijke criteria, op basis waarvan deze menselijke betrokkenheid betekenisvol kan blijven en geeft Defensie extra handvatten om blijvend het belang van betekenisvolle menselijke controle te benadrukken en toe te passen. Bovendien biedt het een stimulans om verder te werken aan de toepassing van AI binnen het gehele targeting-proces. Dit vanuit de gedachte dat dit een gamechanger kan zijn voor het toekomstig gevecht.

Dr. Merel Ekelhof tijdens haar promotie

The distributed conduct of war

Samenvatting

In de afgelopen jaren hebben de ontwikkeling en het gebruik van intelligente en autonome technologieën voor oorlogvoering geleid tot bezorgdheid over het verlies van menselijke controle. Met name de ontwikkeling van autonome wapens heeft tot verhitte debatten geleid, specifiek in de context van de VN-Conventie voor Conventionele Wapens (VN-CCW). Te midden van deze activiteit begint een grote verscheidenheid aan beelden van de toekomst van intelligente en autonome technologieën in beeld te komen. Eén bijzonder prominente perceptie is die van een bewapende machine die individuen aanvalt zonder de mogelijkheid tot menselijk ingrijpen. Desondanks lijken de aanhoudende ontwikkelingen en toepassingen op het gebied van
militaire AI meer op algoritmen die achter systemen draaien en de besluitvormer ondersteuning bieden, zoals het type algoritmen dat aanbevelingen produceert over waar potentiële doelwitten zich bevinden, op basis waarvan mensen vervolgens beslissingen nemen. Krijgsmachten gebruiken nu al geavanceerde algoritmen om grote hoeveelheden data te verwerken, betekenis te interpreteren, patronen te herkennen, en personen of objecten te identificeren. Zelfs zonder bewapening hebben deze technologieën wel degelijk invloed op cruciale targeting-besluiten, waarschijnlijk in grotere mate dan sommigen beseffen of zouden waarderen. Desondanks worden ze amper in beschouwing genomen bij debatten over ‘betekenisvolle menselijke controle’ en ‘autonome wapens’.

Deze dissertatie toont aan dat het nodig is om voorbij autonome wapens te kijken, door de relatie tussen mensen en technologieën te bestuderen in relatie tot de toepassing van het humanitair oorlogsrecht in hedendaagse targeting-praktijken. Wat dit werk onderscheidt van ander onderzoek in dit veld, is de bijna onbegrensde toegang tot militaire targeting-praktijken - bestudeerd vanuit de NAVO en de VS - en de participerende observatie van de VN-CCW-processen over autonome wapens. Het probleem dat men vaak tegenkomt bij onderzoek naar targeting-praktijken is dat staten niet staan te springen om gedetailleerde informatie over hun operationele procedures aan te bieden. Evenwel verzekerde het Nederlandse Ministerie van Defensie een security clearance waarmee ik onder meer toegang kreeg tot op NATO SECRET niveau. In de diplomatieke context van de VN-CCW verschafte de Nederlandse overheid ook speciale toegang door mij in hun delegatie op te nemen als technisch adviseur. Dit resulteerde in veelomvattend veldwerk dat in deze dissertatie is gereflecteerd.

Een van de voornaamste bevindingen van dit onderzoek is dat zowel de risico’s als de voordelen van het gebruik van AI voor targeting niet - of tenminste niet hoofdzakelijk - liggen in bewapening of geweldstoepassing, maar eerder in de integratie van deze
technologie in het hele targeting-proces en, voornamelijk, in de momenten vóór wapeninzet of geweldstoepassing. De hoofdvragen die in deze dissertatie worden behandeld, gaan daarom niet hoofdzakelijk over de autonome toepassing van geweld door wapens. In plaats daarvan beargumenteer ik dat we ons moeten afvragen: zelfs al ligt de uiteindelijke beslissing om geweld te gebruiken tegen een target bij menselijke besluitvormers, welke factoren moeten we overwegen om te garanderen dat menselijke betrokkenheid bij hedendaagse targeting-praktijken ‘betekenisvol’ is? Het hoofddoel van deze dissertatie was om in zeven hoofdstukken het huidige juridisch-politieke discours over autonome wapens te veranderen door de aandacht te verleggen van:
(1) autonome wapens naar een breder scala aan intelligente en autonome technologieën die (naar verwachting) relevant zijn voor targeting;
(2) menselijke controle over de uiteindelijke beslissing om geweld te gebruiken naar menselijke controle in het targeting-proces als geheel;
(3) van de afzonderlijke rechtsregels omtrent targeting naar de implementatie en vertaling van die regels in de operationele praktijk.

Reactie Hoofddirectie Beleid

Namens de HDB van het Ministerie van Defensie ontvingen wij onderstaande reactie van dhr. Van der Jagt, adviseur strategie, op de dissertatie van dr. Ekelhof.

Dit proefschrift bevat enkele belangrijke bevindingen. Het proefschrift concludeert dat als er gekeken wordt naar het maatschappelijk debat, men geneigd is om AI vooral te zien als disruptieve technologie voor geweldstoepassingen. Op die zorg sluit de recent in de Tweede Kamer aangenomen motie-Koopmans aan. Daarin wordt gepleit voor een striktere regelgeving rondom de toepassing van AI binnen nieuwe wapensystemen met als argument dat de toepassing van AI in de geweldstoepassing grote escalatierisico’s met zich meedraagt.

De analyse van deze promovenda laat zien dat AI grote voordelen kan bieden bij veel bredere toepassingen. Binnen het complete targeting-proces, dus in het hele spectrum van identificatie, selectie, uitvoering en beoordeling van (militaire) doelen, kan AI van grote toegevoegde waarde zijn. Waarbij het met name een substantieel effect kan sorteren in een vroeg stadium van dit proces en niet in een laat stadium bij de uiteindelijke geweldstoepassing. Deze vroegtijdige toepassing van AI bestaat dan bijvoorbeeld uit datamining ten behoeve van het verzamelen van inlichtingen, ondersteuning van de commandovoering, enz.

Wat daarbij van groot belang is - en daar gaat de tweede conclusie van dit proefschrift over - is dat voor al deze stappen moet gelden dat ze onder Meaningful Human Control moeten staan, geheel conform internationale juridische afspraken. Deze studie levert een aantal belangrijke criteria, op basis waarvan deze menselijke betrokkenheid betekenisvol kan blijven en geeft Defensie extra handvatten om blijvend het belang van betekenisvolle menselijke controle te benadrukken en toe te passen. Bovendien biedt het een stimulans om verder te werken aan de toepassing van AI binnen het gehele targeting-proces. Dit vanuit de gedachte dat dit een gamechanger kan zijn voor een toekomstig gevecht.