KOMENTÁŘ. Po loňské střelbě na pražské Filozofické fakultě se některé veřejné prostory začínají opevňovat, respektive zavádět nové sledovací systémy. Je však společenská reakce na bezpečnostní hrozby adekvátní? Rizika plynoucí z nových sledovacích systémů jsou v mnohém nepřijatelná.

Nově otevřené přírodovědné gymnázium v Brně začalo školní rok za zvýšeného mediálního zájmu. Budova má totiž pět desítek kamer, které slibují rozpoznat psychologicko-patologické jevy. Sedm stovek tamních studentů i díky tomu navštěvuje jednu z nejmoderněji chráněných škol v Česku.

Stávající legislativa zatím brání tomu, aby systém rozpoznával tváře. I překotné nasazování analytických systémů, které nepracují s obličeji, má však hodně skrytých problémů a vyvolává řadu otázek.

Děkuji, raději screening

Sofistikované kamerové systémy jsou zpravidla instalovány ve snaze předejít tragédiím, jakou byla loňská prosincová na pražské Filosofické fakultě. Tehdy střelec zavraždil 14 a zranil 25 lidí.

Během uplynulé dekády došlo v Česku ke třem případům masové střelby, při kterých bylo střelcem zavražděno celkem 29 osob. Ryze statisticky jde tedy o přibližně tři oběti ročně.

Podle Českého statistického úřadu, který pravidelně vydává statistiku příčin úmrtí v České republice, byly v roce 2022 daleko častější třeba akutní otrava alkoholem (92 případů) nebo udušení potravou (17). V roční bilanci zemře více lidí kvůli pádu z postele nebo židle, než následkem útoku aktivního střelce.

Pokud se někdo rozhodne v nějaké formě zopakovat útok, který se odehrál loni na pražské filozofické fakultě, bude nutně opět o krok napřed před bezpečnostními sbory.

Obavy a zděšení z těchto činů je však pochopitelné – jde o ojedinělou, náhlou a velmi tragickou událost, kdy celý národ sleduje, jak postupuje práce ozbrojených bezpečnostních sborů při záchraně potenciálních obětí. Společnost a pozůstalí obětí pak chtějí vědět, jaká opatření byla přijata, aby se podobná tragédie neopakovala, či zda v postupu policie nedošlo k pochybením.

Důsledkem je pak i zavádění bezpečnostních opatření v podobě všudypřítomných kamer a inteligentních dohledových systémů hodnotících rizikovost chování každého z nás.

Pokud by přitom jediným měřítkem zavádění nových společenských opatření byla záchrana co největšího množství zbytečně zmařených životů, mnohem větší smysl by dávaly třeba kampaně na preventivní prohlídky či screeningové programy k včasnému odhalení určitých druhů nádorů.

O krok napřed před policií

Problém je i s účinností sledovacích systémů. Policie tvrdí, že zločinci jsou obvykle o krok napřed. Příkladem jsou kybernetické podvody: kyberzločinci vyvíjejí nové způsoby, jak vysát naše digitální konta a policie reaguje na jejich modus operandi.

Podobně to může být s útoky vraždících střelců, které jsou dopředu promyšlené a naplánované. Pokud se někdo rozhodne v nějaké formě zopakovat útok, který se odehrál loni na pražské filozofické fakultě, bude nutně opět o krok napřed před bezpečnostními sbory.

Potenciální útočník již dnes v mediálním prostoru sleduje, jaká bezpečnostní opatření jsou prováděna, jakých „chyb“ se dopustil střelec při cestě na filozofickou fakultu, a jak vše udělat „lépe“, kdy, kde a jak zaútočit, aby nebyl předčasně odhalen a dopaden. Tento faktor tvoří většinu učiněných bezpečnostních opatření prakticky neúčinnými.

Ostatně již krátce po útoku na pražské filozofické fakultě někteří bezpečnostní experti tvrdili, že bezpečnostní rámy a zákazy zbraní útokům masových vrahů nezabrání.

Přesto se část veřejnosti dožaduje opatření připomínajících orwellovský svět všudypřítomného dohledu. Ten je na vzestupu především díky rozvoji systémů umělé inteligence napojených na kamery a mikrofony umístěné ve veřejném prostranství.

Pokud připustíme, že žáci takové školy budou chráněni před útokem více než žáci jiných škol, neplatí to pro společnost jako celek.

Právě ochranou před útoky aktivních střelců nebo teroristů se přitom nejčastěji argumentuje. Nejinak je tomu i u zmíněného bezpečnostního systému zaváděného na přírodovědném gymnáziu v Brně.

Zvyšování ochrany nese i rizika

Tamní systém je tvořen chytrými kamerami a turnikety s přístupem na čip (karta či mobil). Díky těmto nosičům s vlastní identitou se lidé dostanou nejen dovnitř, ale obecně právě tam, kde by měli být. Na některá místa by měl být vstup časově omezený.

Obvodové zdi gymnázia jsou osety chytrými kamerami a za vstupními skleněnými dveřmi se nachází školní recepce, v níž moderní technologie zaznamenají pohyb a chování všech příchozích.

Pomocí umělé inteligence a analýzy dat z kamer bezpečnostní systém rozpozná například vytáhnutí nože či doutnající odpadkový koš. V takovém případě upozorní obsluhu recepce, která může situaci řešit a případně přivolat policii.

Pokud připustíme, že žáci takové školy budou chráněni před útokem více než žáci jiných škol, neplatí to pro společnost jako celek. Jestliže bude útočník podobný typ útoku plánovat a odradí ho bezpečnostní opatření na konkrétním místě, spáchá útok na místě jiném, které tak dobře střežené není.

Aby tedy mělo podobné opatření smysl, bylo by nutné podobně opevnit všechny veřejně přístupné prostory.

Bezpečnostní expert a nyní i koordinátor strategické komunikace Úřadu vlády Otakar Foltýn v reakci na loňský útok na filozofické fakultě prohlásil: „Dokonalá ochrana měkkých cílů, což jsou všechny cíle mimo těch chráněných, by znamenala, že budete žít v koncentračním táboře.“

Zvyšování ochrany tudíž přináší také určitá negativa. Proto by nás nemělo nechat chladnými především to, jak reagovala na střelbu na filozofické fakultě policie. Slovy svého prezidenta Martina Vondráška plánuje vytvořit tzv. jednotný analytický nástroj, který by měl propojovat výstupy z různých informačních systémů policie.

Již dnes policie využívá paletu informačních systémů a registrů, které za pomocí umělé inteligence dokážou nejen vyhodnocovat kamerové záznamy na veřejných prostranstvích, ale třeba také vyhodnocovat obsah, který přidáváme na sociální sítě.

Mezi sledovací systémy, kterými policie již dnes disponuje, patří kamerové systémy s biometrickou identifikací v reálném čase, mikrofony k detekci protiprávního jednání na veřejných prostranstvích, systém stylometrické identifikace autorů anonymních textů na internetu, systém pro automatické čtení a záznam registračních značek vozidel pomocí kamer nebo mapy zobrazující předpověď zločinnosti v čase.

S novými technologickými možnostmi vznikne nový druh kriminality, který bude velmi obtížné vyšetřit. Oběti se budou moci jen obtížně bránit, protože zločinu se dopustil samotný hlídač.

V zájmu režimu snadno a rychle

Sledovací systémy pak obecně přináší riziko zneužití k páchání nových druhů zločinů. Motiv zneužití systému určenému k ochraně společnosti je v populární kultuře vyobrazen ve filmu Minority Report.

Hlavní postava v něm postupně zjišťuje, že systém k chytání zločinců je zneužíván policejním velitelem zodpovědným za chod samotného systému, který díky své funkci kryje své vlastní zločiny.

Kultovní sci-fi končí happyendem, kdy dojde ke zrušení systému právě z důvodu jeho zneužití velícím policistou. Ovšem reálný svět nemusí vždy končit šťastně a nabízí se zásadní otázka: kdo ohlídá hlídače?

Bezpečnostní systémy jsou konstruované tak, aby jejich operátor disponoval jistým druhem pravomocí nad sledovanými. Nové technologie tak otevírají svým provozovatelům možnosti, které mohou svádět ke zneužití k osobním účelům.

Je téměř jisté, že s novými technologickými možnostmi vznikne také nový druh kriminality, který bude velmi obtížné vyšetřit. Oběti takových trestných činů se budou moci jen obtížně bránit, protože zločinu se dopustil samotný hlídač.

Pravděpodobnost zneužití samotnými „hlídači“ je možné do určité míry snížit robustními kontrolními mechanismy. Naopak rizikem, kterému nebude nejspíš možné předejít nikdy, je možnost zneužití autoritářskou vládou, která by se k moci dostala změnou režimu.

Přestože se může zdát, že takové riziko je dnes velmi málo pravděpodobné, nedávno jsme mohli být svědky něčeho podobného v Afghánistánu. Američané, kteří zemi v létě 2021 opustili, zde zanechali biometrické databáze s nimi spolupracujících Afghánců. Kvůli přístupu k těmto databázím dnes může Tálibán snáze pronásledovat osoby, které zastávaly funkce v předchozím režimu.

Také v Česku, kde historicky došlo k několika změnám režimu, si lze připomenout možnost zneužití databáze osobních údajů. Dědictví Rakouska-Uherska v podobě pečlivě vedených matričních knih usnadnilo v době protektorátu efektivní vyhledávání osob s židovským původem.

Funkční rozlézání se může stát hybnou silou vedoucí ke konci demokracie a v extrémním případě až ke společnosti vyobrazované v dystopických románech.

Uvedené nebezpečí je aktuální i dnes, kdy nestabilita světového řádu a válečné konflikty na samé hranici Evropské unie mohou způsobit změnu politických poměrů také u nás.

Jak vypadá pronásledování opozice, novinářů nebo příslušníků některých etnik za pomoci inteligentních kamer a biometrické identifikace můžeme pozorovat na příkladu Ruska nebo Číny. Mělo by nám to připomínat, že bezpečnostním rizikem se může stát kdokoliv velice rychle.

Hybná síla konce demokracie

Zdaleka největším problémem sledovacích a informačních systémů je pak takzvané funkční rozlézání (z anglického function creeping). Jedná se o praxi, kdy opatření nebo nashromážděná data, která slouží k vyřešení jednoho konkrétního problému, se postupně využívají k řešení dalších problémů, pro něž nebylo původní opatření zavedeno.

Příkladem je situace, kdy se logy karetních transakcí, sloužících k bezpečnosti bankovních služeb, začaly využívat k odhalování případů porušení karantény v době pandemie.

Snadno si lze představit, jak mohou být nashromážděná data využívána k jiným účelům: zdravotní data k určení ceny pojistných služeb, lokalizační data mobilních telefonů k hromadné identifikaci účastníků politických manifestací nebo k odhalování chůze na červenou.

Postupné využívání nashromážděných dat nebo nových druhů technologií k dalším a dalším účelům je tikající časovanou bombou. Prakticky dnes nevíme, k čemu budou využity údaje, které jsou každý den ukládány.

Funkční rozlézání se může stát hybnou silou vedoucí ke konci demokracie a v extrémním případě až ke společnosti vyobrazované v dystopických románech.

Současná přetechnizovaná společnost připomíná klasický syndrom pomalu vařené žáby, kdy jsou shromažďovaná data po malých krůčcích využívána stále k novým účelům díky technologiím, které byly dříve nemyslitelné.

Pokud bychom už dnes viděli, jak bude vypadat plně rozvinutá digitální společnost, automaticky bychom okamžitě sahali na brzdu. Kde se nastavený trend zastaví, záleží především na tom, jaké limity budou digitálním technologiím a jejich rozlézání nastaveny.

Rozpoznání tváří na letišti

Již dnes proto musíme hodnotit všechna rizika zaváděných sledovacích technologií. Ty je navíc nutné poměřovat s riziky, kterým mají a mohou sledovací technologie předejít.

Inteligentní sledovací systémy hodnotící naši rizikovost budou mít pravděpodobně jen minimální dopad na nejzávažnější předem naplánované útoky ve veřejných prostorech, ale velmi zásadně zasáhnou do našich práv a svobod.

V případě brněnské školy tak sice jako Seznam Zprávy můžeme velkolepě napsat, že se v Česku nasazuje podobný „systém jako v USA“. Měli bychom ale také dodat, že na příkladu Ameriky rozhodně nelze říct, že by se tamní školy skutečně staly bezpečnějšími.

Jak nedávno popsali redaktoři 404 Media, detektory zbraní poháněné umělou inteligencí se více než čím jiným vyznačují nepřesností, kdy jako zbraň identifikují třeba notebook a skutečnou zbraň naopak leckdy přehlédnou.

Normalizujeme-li navíc dohledové systémy ve školách, nebude nám pak připadat divné, když na podobné systémy narazíme i všude jinde.

Pohled do zahraničí není v tomto případě příliš optimistický: kamery na britských nádražích slibují rozpoznat třeba “přílišné běhání či skejtování”. Tamní policie pak usiluje i o širší nasazení kamer rozpoznávajících tváře.

Obdobné biometrické úsilí vyvíjí i policie v Německu. A systémy na rozpoznávání tváří by měly být dle aktuálních informací nasazeny i na slovenských školách – vláda na ně podle DenníkuN vyčlenila 63 milionů eur.

V Česku jsme zatím, co se týče „vaření žab“, na začátku. Změna zákona týkající se automatizovaného rozpoznávání tváří – zatím – ovlivní pouze nasazení na českých mezinárodních letištích. Nyní novela bez většího politického či společenského rozruchu hladce míří do Sněmovny. Protože přece – komu by to mělo vadit?

Autor je spolupracovník organizace Iuridicum Remedium a autor studie Český Minority Report.