De techniek van terreur en de terreur van techniek

De afdeling Defensie en Veiligheid van het Koninklijk Instituut van ingenieurs (KIVI) heeft op 6 april haar jaarlijkse Kooy Symposium gehouden. Dit jaar was het onderwerp ‘big data’ en ‘artificial intelligence’. In zijn lezing op het symposium analyseerde P.H. de Vries onder meer de ethische kant van big data. Hij waarschuwt voor een totalitaire staat, die ingrijpt op basis van statistische patronen. Er is een risico op het verschuiven van morele grenzen ‘omdat het kan’. Daarnaast ontbreekt de verantwoordelijkheid voor toegepast geweld. Reflectie (‘checks and balances’) en het nadenken over de gevolgen op langere termijn zijn dan ook noodzakelijk. Dit artikel is een bewerking van zijn lezing.

Dr. P.H. de Vries*

Het woord ‘terreur’ alleen al roept emoties en opinies op. En zoals wij weten zijn emoties en opinies niet altijd gestoeld in de rede. De terreuraanslag op Charlie Hebdo in januari 2015 en de terreurdaden in Parijs in november 2015 vonden we allemaal verschrikkelijk. En daarna komt het opeens wel heel dichtbij met de aanslagen in Brussel, in maart 2016. Ook toen was er sprake van breed gevoelde afschuw over de willekeur van dit brute geweld. Maar we houden onszelf voor dat wij niet zullen bezwijken voor de angst die de terreur wil zaaien. Want dat is de techniek van de terreur: angst zaaien om daarmee politieke doelen te verwezenlijken.

Andere gewelddaden

Wat merkwaardig is, is dat we zelden iets horen van de reeks van andere gewelddaden waarbij ook tal van onschuldigen worden getroffen en waar dus ook angst wordt gezaaid. Deze gewelddaden spelen zich af in gebieden die zelden worden bezocht door journalisten. We horen daar dan ook weinig over. Wel krijgen we zo nu en dan te horen dat er weer een kopstuk van de terroristen te grazen is genomen, veelal door middel van een van de vele aanvallen met drones.

Technologieën als de  MQ-9 Reaper roepen de vraag op wie verantwoordelijk is voor het toegepaste geweld: de ontwerper van de drone, de bouwer, de maker van de software, de analist, degene die de doelen selecteert of de drone-operator? Foto US Air Force, J. Bainter

Chirurgische precisie?

Er wordt dan verteld dat de ingreep ‘met chirurgische precisie’ is uitgevoerd, wat suggereert dat alleen het kopstuk dood is. Wie wel eens beelden heeft gezien van een inslag van een door een drone afgevuurde raket weet echter dat de uitwerking meer weg heeft van een schot hagel dan van één enkele met chirurgische precisie afgeschoten kogel. Dat bij dergelijke aanvallen onvermijdelijk ook onschuldige slachtoffers vallen, staat buiten kijf. Hoe komt het dan toch dat wandaden die in zekere zin vergelijkbaar zijn, in morele zin zo verschillend worden beoordeeld? Zou dat te maken kunnen hebben met de filosofische bril die men opzet bij morele oordelen? Ik wil daarover enige gedachten met u delen.

Twee filosofische scholen

In de westerse samenlevingen en de inrichting van hun instituties domineren twee filosofische scholen, te weten de plichtethiek en de nutsethiek.[1] Ik zal kort ingaan op het gedachtegoed van beide scholen.

Plichtethiek

Immanuel Kant (1724-1804) is de grondlegger van de plichtethiek. In 1785 verschijnt van hem  het boekje ‘Grundlegung zur Metaphysik der Sitten’. Daarin stelt hij dat de mens autonoom is. Dat wil zeggen dat de mens zich zelf (auto) de morele wet stelt (nomos), en dat die morele wet is gestoeld in het verstand. De mens is zich zowel bewust van zijn eigen menselijke vrijheid als van de vrijheid van alle andere mensen. Hij formuleert vervolgens een aantal onvoorwaardelijke geboden (zogeheten categorische imperatieven) waaraan we binnen de kaders van die morele wetten moeten voldoen.

De categorische imperatief is op een aantal manieren geformuleerd. In de eerste formulering stelt Kant dat je alleen datgene moet doen waarvan je met je verstand kunt willen dat de intentie van dat handelen voor iedereen moet gelden. Met andere woorden: je moet handelen op de manier waarvan je zou willen dat iedereen zo zou handelen. Zoals een natuurwet voor iedereen geldt. Je kunt bijvoorbeeld niet met je verstand willen dat de leugen de norm is van het verkeer tussen mensen, en daarom moet je dan ook nooit liegen. En zo zijn er meer morele oordelen te construeren.

In zijn tweede formulering zegt hij dat je in je handelen de medemens nooit alleen als een middel mag zien, maar altijd ook als een doel in zichzelf. Je moet dus altijd oog hebben voor de menselijke waardigheid van anderen. Het zal duidelijk zijn dat deze twee formuleringen van de categorische imperatief van grote invloed zijn op de inrichting van alle westerse samenlevingen. Dat is zichtbaar in grondwettelijke bepalingen en heel veel andere wet- en regelgeving. Maar ook in de cultuur, de manier waarop wij met elkaar omgaan en de wijze waarop wij ons daarbij uiten in woord en daad.

Nutsethiek

De nutsethiek is uitgewerkt door Jeremy Bentham (1748-1832) en John Stuart Mill (1806-1873). Met John Stuart Mills Utilitarianism, dat verschijnt in 1861, heeft het utilitarisme echt gestalte gekregen. Deze filosofische school gaat ervan uit dat niet de intentie van het handelen bepaalt of de handeling moreel juist is, maar het gevolg. Het moreel juiste handelen is gericht op het bereiken van het grootste geluk voor de meeste mensen.

Ook dit nutsdenken is nog steeds van invloed. Het idee van de verzorgingsstaat is bijvoorbeeld mede terug te voeren op deze school. Veel maatschappelijke voorzieningen zijn een uitvloeisel van nutsdenken, waarbij het beoogde doel, het algemeen nut, het handelen rechtvaardigt.

Deze twee scholen zijn in hun grondvesten onverenigbaar. Kort door de bocht kan het verschil als volgt worden weergegeven. In de plichtethiek staat de autonomie van het individu centraal en in de nutsethiek gaat het primair om het algemeen welzijn. Bij de inzet van de krijgsmacht lijkt het vooral te gaan om nutsethiek. De krijgsmacht wordt immers ingezet om de belangen van de staat, de samenleving, te verdedigen: het grootste geluk voor de meesten. Anderzijds wordt er bij de inzet van de krijgsmacht diep ingegrepen in de menselijke waardigheid van de tegenstander: hij mag zelfs worden gedood! Dat is vooral een kwestie die in plichtethiek centraal staat. Ik wil hierna enige aspecten van deze verschillende invalshoeken toelichten.

De krijgsmacht en nutsethiek

Jeremy Bentham is onder meer de uitvinder van het panopticum: een rond gebouw (een gevangenis) waarbij alle bewoners vanuit een observatiepost in het midden kunnen worden waargenomen met behulp van een ingenieus systeem van lenzen en spiegels, zonder dat de geobserveerden de waarnemer kunnen zien. Die mogelijkheid te worden waargenomen alleen al heeft een sterk disciplinerende werking. In de 19de eeuw werd dit revolutionaire idee door velen omarmd en zijn er tal van koepelgevangenissen gebouwd, onder meer in Nederland, in Haarlem, Breda en Arnhem.  Disciplinering door middel van zichtbaarheid is vanouds ook een aspect van het functioneren van de krijgsmacht. Kazernering bijvoorbeeld, vergroot niet alleen de onmiddellijke beschikbaarheid, maar biedt ook vergaande zichtbaarheid en daarmee disciplinering.

Maar het nut van zichtbaarheid gaat voor de krijgsmacht verder. Zichtbaarheid, ‘situational awareness’, schept de mogelijkheid het eigen optreden te optimaliseren. En vanuit dit perspectief is het dan ook niet verwonderlijk dat er in de krijgsmacht (maar ook daarbuiten) grote interesse bestaat voor een nieuw fenomeen, te weten ‘big data’. Deze ‘big data’ vormen een modern panopticum; alles is zichtbaar. De mogelijkheid tot zichtbaarheid of zelfs maar de suggestie daarvan volstaat om ‘de zichtbaren’ te disciplineren. Deze moderne vorm van technische macht breidt zich veelal autonoom uit. Er lijken geen grenzen aan deze macht. Er is sprake van systeemdwang! Immers, alles wat technisch mogelijk is, mag toch ook worden toegepast (‘het kan dus het mag’)? Dit is de opmaat naar de totalitaire staat.[2]

Lunch in het cafetaria van het Marine Opleidingskamp in Hilversum (1978). Kazernering heeft een sterk disciplinerende werking. Foto Beeldbank NIMH

Rechtvaardiging big data

De rechtvaardiging die wordt aangevoerd voor het gebruik van big data, is dat de informatie toch vooral wordt verzameld met het oog op het algemeen nut, op preventie, en dat het niet gaat om ingrijpen. Mensen die dat beweren zien spoken, want het risico daarop is toch volstrekt denkbeeldig. Bij big data gaat het immers niet om individuen, het gaat primair om de statistiek, om patronen! Pas als er statistisch aanleiding is om verder te kijken, pas dan gaan we naar individuen kijken… Dus toch! Er lijkt dus sprake te zijn een verschuivende morele grens. Wat mag wel en wat mag niet, en wie bewaakt dat? Is het eigenlijk wel te bewaken?

Al deze data moeten eerst worden verzameld,  gerubriceerd en bewerkt om statistisch relevante informatie te verkrijgen en patronen te kunnen herkennen. Dat is razend veel werk. En het werk is bovendien zodanig complex dat het de vermogens van de menselijke geest te boven gaat om op relevante termijn adequate informatie te produceren. Geen nood, ook hierbij biedt de techniek uitkomst: artificial intelligence.

Artificial intelligence, een misleidend begrip

Met deze terminologie wordt gesuggereerd dat het om intelligentie gaat, en dat is een menselijk begrip. Dat is misleidend. Bovendien moeten wij niet over computers spreken alsof het mensen zijn; dat vinden ze heel vervelend. Hoe dan ook, de claim is dat met behulp van artificial intelligence zekerheid kan worden geboden. Want we willen zeker weten hoe het zit, zodat we een goede beslissing kunnen nemen. Met behulp van de techniek kunnen we alle relevante informatie verzamelen en correcte, afgewogen beslissingen nemen.

Dat lijkt natuurlijk prachtig. We hoeven alleen maar ja of nee te zeggen en zelfs dat is niet nodig, want het systeem kan dat zelf ook. Er is dan overigens ook geen plaats voor reflectie, geen twijfel, geen ruimte voor raadselachtigheid; geen afweging van morele implicaties: alles mag, want het kan. Vragen zijn er niet, alleen oplossingen. Hoeveel leed gaan we eigenlijk toebrengen? Geen emotie, geen empathie, geen betrokkenheid. Niets van dat alles! Mocht het vervolgens toch anders uitpakken, dan heeft de computer het gedaan. Met andere woorden: er is geen sprake van verantwoordelijkheid.

Dat ontbreken van verantwoordelijkheid dreunt ook door op het uitvoerend niveau. Ik citeer uit een interview in de Volkskrant (3 februari) met een voormalige Apache-vlieger van de Koninklijke Luchtmacht: Vroeger geloofde ik in goed en kwaad. Maar langzamerhand ben ik gaan beseffen dat ik niet zo veel verschil van mijn vijand. We vechten allebei voor iets waarin we geloven. En: Als in je kop zit dat jij 5000 netto verdient en de Malinezen maar 100, dan ben je bezig met iets wat niet meer bij de militaire wereld past. Deze Peter Gordijn neemt zijn verantwoordelijkheid en verlaat de dienst.

En wat te denken van de film A good kill over een dronepiloot, waarin de hoofdfiguur zegt: 'I just blew up six Taliban in Afghanistan and now I’m going home for a barbecue, and I feel like a coward'. En uiteindelijk gaat hij er aan onderdoor. Maar niet alleen in films, ook in de werkelijkheid gaan drone-operators er mentaal aan onderdoor.  

Verantwoordelijkheid voor geweld verdampt

Deze voorbeelden demonstreren dat persoonlijk risico op uitvoerend niveau blijkbaar bijdraagt aan de persoonlijke morele rechtvaardiging van geweld. Onder invloed van de enorme verspreiding van moderne technologie lijkt de verantwoordelijkheid voor het toegepaste geweld - en dus leed - te verdampen. Want wie is dan verantwoordelijk: de ontwerper van de drone; de bouwer van het ding; de maker van de software die het apparaat in de lucht houdt; het ‘big data’ inlichtingen verzamelorgaan; de analist die een doelenlijst maakt; degene die de doelen selecteert; degene die kijkt of aan de Rules of Engagement wordt voldaan; de drone operator? Zegt u het maar! Om nog maar te zwijgen van denken in termen van nut bij de inzet van de krijgsmacht als zodanig. Kortom, er lijken grenzen aan de relevantie van nutsethiek.

De krijgsmacht en plichtethiek

Bij plichtethiek staat de intentie van het handelen centraal en de mens als autonoom wezen met onvervreemdbare eigenschappen. Voor een soldaat is plichtethiek lastig toe te passen. Dat betreft allereerst het in acht nemen van de menselijke waardigheid van de tegenstander. Dit aspect wordt ondervangen door een wettelijk kader te scheppen waarbij de plicht jegens de samenleving zwaarder weegt dan de plicht tegenover de medemens als deze zich tegen de samenleving keert. Hij wordt daarmee ‘onze vijand’ en mag dus binnen de wettelijke kaders worden gedood.

Een ander aspect betreft het onvoorwaardelijke karakter van plichtethiek. Daarbinnen lijkt geen ruimte voor een situationele en persoonlijke afweging: je moet doen wat je volgens de morele wet moet doen. Dat is lastig, en bovendien levert het altijd een risico op als je een tegenstander fysiek aangrijpt. Wat voor risico? Natuurlijk allereerst voor degene die de confrontatie van dichtbij aangaat. Maar er zijn ook andere risico’s, bijvoorbeeld politieke schade als gevolg van de slachtoffers die vallen. Of ondermijning van het publieke draagvlak. En ook deze risico’s willen we op zijn minst verminderen, maar het liefst vermijden.

Afstand creëren

Dat kan door de tegenstander niet meer van dichtbij aan te grijpen maar vanaf een zodanige afstand dat de risico’s voor de eigen partij worden geminimaliseerd. Kortom, we creëren afstand als middel tot veiligheid van eigen troepen. En om politieke risico’s te vermijden. Maar die fysieke afstand leidt ook tot afstand in moreel opzicht. Zonder risico’s is er geen grens meer en vervagen morele grenzen! Er wordt dan te gemakkelijk naar geweld gegrepen.

Techniek biedt geen oplossing

Kortom, ook hier biedt de techniek geen oplossing voor het simpele feit dat persoonlijk risico op uitvoerend niveau blijkbaar bijdraagt aann de persoonlijke morele rechtvaardiging van geweld. Het heeft er alle schijn van dat de toepassing van plichtethiek wordt belemmerd door de technische veranderingen. Kortom, er lijken ook grenzen te zijn aan de relevantie van plichtethiek.

Ethiek en krijgsmacht

Maar hoe leggen we dan grenzen aan voor de toepassing van technische systemen? Wat is de oplossing? Naar mijn menig is er niet één ondubbelzinnige oplossing voor al die problemen. De werkelijkheid die ons omringt, is veel complexer dan wat een systeem kan vatten. Meer reflectie op waar we mee bezig zijn, kan wel helpen te ontsnappen aan systeemdwang, aan de terreur van de techniek. Wat wil dat zeggen? Ik noem een paar overwegingen.

• ‘Checks and balances’ door mensen op alle relevante niveaus bij de toepassing van technische systemen;
• Wat denken we op lange termijn te bereiken met het technische geweld dat ter beschikking staat?
• Wat is het effect op lange termijn van de toepassing van dat technische geweld? Zijn er andere – minder ingrijpende – middelen voorhanden?
• Hoe zit het met de legitimiteit van het voorgestelde geweld?
• Welke morele grenzen zijn in het geding?
• In hoeverre is de toepassing van technieken opportuun? Waarom moet daar nu over worden beslist?
• Wat gebeurt er als we niet-gewelddadig ingrijpen?

Ik pleit er dus voor om niet zonder meer uit te gaan van de premisse: het kan, dus het mag. Maar om elke keer weer de vraag stellen: het kan wel, maar mag het ook? En dat mogen is niet alleen een kwestie van recht, maar ook van moraliteit. Ik zou willen dat daarover vaker wordt nagedacht, niet alleen in het gebruik van technische systemen, maar ook in de fases die voorafgaan aan een operationeel systeem. Ik realiseer mij dat ik in mijn beschouwing een groot aantal zaken overhoop heb gehaald. Daarbij hoop ik in ieder geval óók dat ik u aan het denken heb gezet… Zolang we blijven denken, en niet vervallen in automatismen, is er verantwoordelijkheid. En hoop.

 

* Peer de Vries is gepromoveerd op een proefschrift waarin hij een model ontwikkelt voor karaktervorming binnen de krijgsmacht.

[1] Plichtethiek noemt men ook wel ‘deontologie’, naar het Griekse woord voor plicht: deon. Nutsethiek wordt ook vaak aangeduid als ‘utilitarisme’, afgeleid van het Latijnse utilitas, nut.

[2] Lees bijvoorbeeld de dystopische (anti-utopische) romans 1984 van George Orwell of De cirkel van Dave Eggers.