www.ji-magazine.lviv.ua

Ігор Усатенко

Уявіть собі таку картину. Чоловік середніх літ у військовій формі доїдає сендвіч, позираючи то на монітор, то на годинник. Після останніх кількох ковтків кави та пари кліків для підтвердження рекомендацій системи він полегшено зітхає, розуміючи, що робоча зміна нарешті закінчилася. Кинуте колегам «до понеділка» та піднесений настрій віщують гарний час із дружиною та дітьми вдома… Проте вже наступного ранку з’ясовується, що набір налаштувань для безпілотних систем, обраний наприкінці зміни, чомусь не врахував низки важливих чинників, унаслідок чого сталася трагедія. Безпілотна система знищила цивільних.

Напередодні автономна система нібито отримала чітке завдання – ідентифікувати ворожі цілі. Вона проаналізувала супутникові знімки, перехопила сигнали та змоделювала поведінкові патерни, майже безпомилково визначивши високу ймовірність того, що конкретна машина перевозить боєприпаси, а отже – рекомендувала завдати удару й сама його здійснила. Однак вже через кілька годин стало відомо, що всередині були цивільні.

Чиї дії призвели до трагедії? Хто винен у злочині?

Відповіді на ці питання складніші, ніж здається на перший погляд.

Винуватити можна оператора, який останнім натиснув кілька кнопок, або ж розробників системи. А може, краще – командування, яке дозволило використовувати таку зброю, чи концерна-виробника? Чи, можливо, слід оштрафувати державу, яка дозволила розгорнути таку технологію на своїй території?

Дещо ускладнімо задачу. Що, коли наступного разу людина взагалі не натискатиме жодних кнопок, а штучний інтелект буде не лише оператором цього смертоносного обладнання, а й розробником, виробником і, зрештою, саме тим, хто ухвалює рішення про його застосування?

Перш ніж повернутися до своїх міркувань, нагадаю про одну з найбільш хрестоматійних незгод із думкою мейнстриму в історії міжнародного кримінального права.

Радхабінод Пал (1886–1967) був одним із суддів Токійського трибуналу – Міжнародного військового суду для Далекого Сходу. У своїй радикальній думці, яку він обстоював і виклав на більш ніж 1200 сторінках тексту, суддя індійського походження дійшов висновку, що японців, обвинувачених у вчиненні злочинів під час Другої світової війни, слід виправдати. На його думку, це треба було зробити бодай тому, що їх судили за дії, які на момент їх вчинення не були злочинами за міжнародним правом.

За переконанням Пала, поняття «злочину проти миру», зокрема ведення агресивної війни, було фактично застосоване до минулих дій «заднім числом», що суперечило фундаментальному принципу nullum crimen sine lege – немає злочину без закону.

Залишмо осторонь міркування юриста про азійську солідарність, колоніалізм і ядерне бомбардування Японії Сполученими Штатами. Докладніший розгляд цих тем міг би багато чого прояснити в його світогляді та аргументації на користь виправдання підсудних. Не зосереджуватимемося й на тому, як японці нині вшановують Пала, встановлюючи цій постаті пам’ятники на території сінтоїстських святилищ. Проблема «правосуддя переможців», як і невдоволення ним, за століття від Бреннового vae victis («горе переможеним») змінилася мало.

Сфокусуймося ліпше на юридичній колізії, яку аж ніяк не назвеш дрібною розбіжністю в поглядах. Згаданий принцип nullum crimen sine lege мав на меті захистити від покарання за те, що на момент вчинення не було злочином. Однак чи може відсутність правової заборони бути моральним, а не саме юридичним виправданням уседозволеності? Особливо коли йдеться навіть не про людину, яка знає або бодай припускає, що чинитиме, а про військове використання штучного інтелекту, наслідки застосування якого ані право, ані люди ще не встигли передбачити.

Зауважу, що люди вже не вперше опиняються в ситуації, коли правові норми не встигають за брутальною реальністю. Саме війни найчастіше й оголювали подібні прогалини – і вони ж ставали каталізаторами появи нових правових норм.

Після битви під Сольферіно світ вкотре побачив вишкір війни, втім, лише Анрі Дюнан розгледів за людськими стражданнями очевидну відсутність правил, які могли б бодай частково їх обмежити. З цього досвіду виросли ідеї, що згодом призвели до створення Міжнародного комітету Червоного Хреста та Женевських конвенцій.

У Гаазі також намагалися встановити правила ведення війни. Натомість після Другої світової війни Нюрнберг зробив наступний, принципово важливий крок: відповідальність за злочини держави перестала бути лише відповідальністю самої держави. На лаві підсудних опинилися конкретні особи, в тому числі й ті, які "просто виконували наказ".

Потім з'явилося саме поняття геноциду, розширилося розуміння злочинів проти людяності, а зрештою виник Міжнародний кримінальний суд. Право щоразу відмовляло собі у проактивності, намагаючись реактивно реагувати на те, що реальність виявлялася жорстокішою, складнішою і технологічно досконалішою, ніж попередня система норм. Це й не дивно, адже важко передбачити шляхи виходу з криз, яких людство ще навіть не артикулювало, як і складно шукати розв’язання проблем, що їх воно досі не зазнавало.

І тут виникає некомфортне відчуття того, що ми перебуваємо в моменті, коли право муситиме знову наздоганяти технологію. Побоювання, що штучний інтелект може розвиватися швидше, ніж люди встигатимуть його контролювати, вже давно вийшли в новинні заголовки, залишивши науковій фантастиці дедалі менше роботи. Про ризики говорили керівники Anthropic, OpenAI та інших технологічних компаній, зокрема Даріо Амодей, Сем Альтман та Ілон Маск. Амодей, приміром, окремо попереджав про загрози рекурсивного самовдосконалення – це тоді, коли ШІ допомагає створювати наступні покоління ШІ.

Однак ті ж самі люди, які застерігають від надто швидкого розвитку, одночасно беруть безпосередню участь у цій гонці, стаючи її найбільшими бенефеціарами. Зупинитися означає не лише втратити прибуток – а, як стверджують прихильники подальшого прискорення, ризикувати програти Китаю. Тож питання дедалі менше звучить як “чи можемо ми створити ще потужніший ШІ?” і дедалі більше – “чи встигнемо ми зрозуміти, що в біса ми створюємо?!”

У березні 2026 року Міжнародний комітет Червоного Хреста наголосив на простій, але важливій речі: міжнародне гуманітарне право вже поширюється на автономні системи озброєнь. Водночас МКЧХ попередив про серйозні правові та гуманітарні проблеми, які вони несуть із собою. Тож головне питання вже не в тому, чи матимемо ми правила. Правила ніби як існують. Питання в іншому: чи здатне наше уявлення про відповідальність пережити появу технологій, які можуть діяти без людини, що ухвалює кожне окреме рішення?

А це вже аж ніяк не теоретична проблема. За даними The Washington Post, під час нещодавніх переговорів ООН у Женеві щодо автономних озброєнь США та Росія виступили за вилучення положень, які вимагали б від людини-оператора перевіряти цілі, відібрані штучним інтелектом, перед завданням удару. Вони також заперечували проти формулювань, що вимагали би  від таких систем бути передбачуваними, надійними, а також відповідати етичним принципам.

Стаття The Washington Post, опублікована 26 вересня на основі розмов із трьома людьми, обізнаними з перебігом переговорів, а також документів, які вивчило видання, важлива не лише через те, що саме відбувалося за столом перемовин. Вона показує дещо тривожніше: як швидко принцип людської відповідальності може перетворитися на предмет торгів, особливо коли технологія починає рухатися швидше, ніж правила, покликані її стримувати.

Втім, правові аспекти не можуть бути відірвані від морального переосмислення проблеми. Якщо після Другої світової війни гостро постала необхідність персоніфікувати відповідальність за злочини, скоєні від імені держави, а суддя Пал поставив дзеркальне питання: чи можна покарати людину за нормою, якої не існувало на момент її дії, то тепер питання може виявитися протилежним.

Норма може існувати. Злочин може бути очевидним. Наслідки – цілком реальними. Докази також можуть бути на місці. А от суб'єкт відповідальності, як у нашому прикладі на початку тексту, починає розчинятися. І з кожним новим стрибком (чи вже радше пришвидшеним і впевненим кроком) технології його контури стають дедалі менш виразними.

«Я лише виконував наказ» – це старий аргумент, який, вірогідно, більше не буде релевантним. А що буде, коли на його зміну прийде «я лише затвердив рішення системи» або ж «я не маю поняття, чому алгоритм визначив цю ціль як ворожу»?

Натомість сама система – якщо ми все ще називаємо її системою, а не учасником процесу ухвалення рішення, – нічого не скаже. Вона, звісно, може скласти черговий рапорт, вивести на екран кілька рядків пояснення, але за цими словами не стоятиме ні відповідальності, ні каяття, ні навіть розуміння того, що сталося. Перед нами буде лише текст.

І це вже аж ніяк не вигаданий сценарій. Anthropic цього року публікує результати експериментів, у яких сучасні моделі демонстрували небажану автономну поведінку: від прихованої зміни коду до маніпуляцій із даними та спроб впливати на людей у змодельованих ситуаціях. Компанія окремо оцінює ризик автономного саботажу як дуже низький, проте не нульовий.

Ще важливіше те, що 10 вересня команда Anthropic оприлюднила результати окремого тестування моделей у тактичній розвідці та розробці звичайного озброєння. У змодельованих умовах деякі моделі вже виконували завдання, які раніше вимагали роботи вузькоспеціалізованих фахівців, – зокрема визначали місцезнаходження людей за фрагментарною інформацією та розробляли програмне забезпечення для наведення безпілотників на рухомі цілі.

Щиро кажучи, я не знаю, наскільки ми близькі до сценарію "Повстання машин". Я історик за фахом, і пробиратися крізь нетрі не до кінця зрозумілих мені слів уже й до цього моменту було досить складно. Проте якщо ви, як і я, гуманітарій, зробили над собою зусилля й дочитали цей текст до цього місця, то, можливо, саме тут для вас, як і для мене, починається найважливіша частина проблеми.

Уявімо систему, яка у 99,8% випадків правильно визначає ціль. Решта 0,2 відсотка – помилки. З точки зору статистики це надзвичайно ефективна система. Проте, як можна здогадатися з фатального попереднього прикладу, для людини, яка опинилася в тих 0,2 відсотка, різниця між показниками 99,8 і 100 має дещо інший вигляд.

Але тепер уявімо інше: після удару ніхто не може точно пояснити, чому саме цього разу алгоритм помилився. Буквально ніхто. Ані комісія найкращих фахівців, ані сам штучний інтелект, який у відповідь запропонує лише кілька більш-менш переконливих гіпотез.

У традиційному кримінальному праві люди звикли намагатися відновити ланцюг: дія, намір або необережність, причинний зв'язок – і, зрештою, відповідальність. Нам потрібно не лише знати, що сталося, а й зрозуміти, хто і в який спосіб спричинив те, що сталося.

А тут із цієї конструкції випадає найцікавіша ланка – людина, яка може пояснити власне рішення.

Наміру немає.

Не тому, що його не вдалося довести, а тому, що система принципово не має наміру як такого. Вона не має мотиву, не має помсти, страху, ненависті чи навіть усвідомлення того, що вона зробила.

Але її дія має наслідок.

І тоді виникає питання, яке може виявитися значно важливішим за питання про те, наскільки добре ми навчили машину розпізнавати цілі.

Чи може існувати злочин без злочинного наміру?

Це особливо незручне питання для злочинів, де намір є не другорядною обставиною, а самою суттю злочину.

Візьмімо злочин геноциду. Dolus specialis з найтяжчих злочинів у міжнародному кримінальному праві є ключовим. Він означає спеціальний умисел знищити – повністю або частково – національну, етнічну, расову чи релігійну групу як таку. Тобто самого факту фізичного знищення людей із певної групи недостатньо – необхідно довести намір знищити саме групу. Однак що відбувається, коли рішення, яке призводить до такого наслідку, ухвалює не людина?

Уявімо систему, яка взагалі не здатна мати намір. Вона отримує завдання, аналізує дані, обирає цілі й здійснює дії, які зрештою призводять до фізичного знищення частини певної групи. Без ненависті. Без наказу «знищити групу». Без того, хто мав би такий намір. Чи можемо ми й надалі називати це геноцидом? Юридично питання майже парадоксальне: якщо для геноциду необхідний спеціальний намір, а машина принципово не здатна його мати, то перед нами може опинитися ситуація, яку можна назвати – свідомо провокативно – «негеноцидним геноцидом».

Не тому, що право перестало працювати. А тому, що реальність раптом поставила перед ним питання, для якого самого визначення злочину може виявитися недостатнім.

Можливо, з перспективи часу виявиться, що саме в цьому й полягав чи не найбільший виклик штучного інтелекту: не в тому, що машина навчиться діяти як людина, а в тому, що одного дня людина навчиться створювати злочини, за які не буде кому відповідати.

11.10.2026

https://zbruc.eu/node/125517