26 вересня 1983 року підполковник Станіслав Петров чергував на командному пункті радянської системи раннього попередження. Серед ночі система повідомила: зі США летять міжконтинентальні ракети. Спершу одна, потім ще, екран показував пуски, протокол вимагав доповісти нагору — а доповідь у тій ситуації означала зустрічний ядерний удар. Петров мав секунди. І вирішив, що машина бреше: занадто мало ракет для справжнього нападу, занадто схоже на збій. Він доповів про несправність системи. Він мав рацію — це була хибна тривога, відблиск сонця на хмарах, який супутник прийняв за пуски.
\n\nОдин людський сумнів проти впевненого свідчення машини — і, можливо, саме цей сумнів стоїть між нами й неіснуючим сьогоднішнім днем. Уся етика війни з участю штучного інтелекту вміщається в одне питання: чи лишиться в системі ще хоч один Петров — людина, здатна не повірити машині й сказати «ні»?
\n\n\n\nЦей текст — про входження алгоритму в найінтимніший акт війни: вибір, кого вбити. Про системи, що ранжують і рекомендують цілі. Про різницю між людиною «в петлі» й людиною, що стала підписом. І про прірву відповідальності, яка відкривається, коли офіцером, що вказує на ціль, стає машина, яку не можна віддати під трибунал.
\n\nУся історія зброї — це історія збільшення відстані між тим, хто вбиває, і тим, кого вбивають. І ця відстань не лише фізична. Вона моральна.
\n\nМечем ти вбиваєш, відчуваючи опір тіла, бачачи обличчя, у крові. Списом — на крок далі. Луком — за десятки метрів, обличчя вже розмите. Рушницею — за сотні. Артилерією — за горизонт, ти взагалі не бачиш, у кого влучив. Оператор дрона вбиває з-за джойстика, у зміну, а потім їде додому вечеряти. Кожен крок цієї драбини додавав дистанції — і кожен робив убивство психологічно легшим, бо віддаленішим від людського переживання.
\n\nАлгоритм — наступний, можливо, останній щабель. Тут людина вже навіть не цілиться. Вона дивиться на екран, де машина вже виділила ціль, оцінила, порахувала ймовірність, і натискає «підтвердити». Моральна дистанція стає майже повною: не я знайшов, не я вирішив, я лише погодився з рекомендацією системи. Регулятор дистанції викручено до краю — і саме там, де майже не лишилося опору, починається найнебезпечніша зона.
\n\nРаніше в цій серії йшлося про те, як kill chain стиснувся з днів до хвилин і як надлишок даних народив новий туман. Ось пряме продовження: коли даних занадто багато, а часу занадто мало, виникає нестерпний тиск делегувати найважчу ланку — вибір цілі — машині.
\n\nЛогіка невблаганна. Сенсори дають більше потенційних цілей, ніж людина здатна опрацювати. Кожна вимагає аналізу: хто це, чи комбатант, чи варта удару, які ризики поряд. Людина-аналітик тоне. І тоді з’являється спокусливе рішення: хай машина просіє потік, зіставить дані з різних джерел, виділить тих, хто «підходить під критерії», і подасть готовий ранжований список. Людині лишається схвалювати.
\n\n\n\n\n\nТут потрібна особлива чесність, бо тема отруєна і пропагандою, і секретністю. Про конкретні ШІ-системи в targeting відомо переважно з журналістських розслідувань, а не з підтверджених офіційних описів, і всі деталі лишаються предметом гострих суперечок.
\n\nЖурналісти повідомляли про ізраїльські системи, нібито застосовані в Газі: одну — для генерації переліку об’єктів-цілей, іншу — для ідентифікації осіб як потенційних цілей на основі аналізу великих масивів даних. За цими публікаціями (їх ізраїльська сторона оспорила), одна система нібито позначила близько 37 тисяч осіб, а людська «перевірка» кожної цілі займала, за тими ж повідомленнями, порядку 20 секунд — фактично час, щоб пересвідчитися, що в списку чоловік, а не щоб ухвалити рішення. Ці цифри треба читати з усіма застереженнями: вони з оспореної журналістики, не з підтверджених документів.
\n\nЧесна позиція така: ми не можемо стверджувати точні факти про закриті військові системи. Але навіть якщо відкинути найгостріші звинувачення, незаперечним лишається напрям: ШІ вже використовують для обробки розвідданих і підготовки рішень про ураження, а тиск часу й обсягу штовхає роль людини від «вирішувати» до «схвалювати». Не конкретна система важлива для цього тексту, а механізм, який вона унаочнює. І цей механізм універсальний.
\n\nУ дискусіях про автономну зброю розрізняють три рівні людського контролю. Різниця між ними — це різниця між совістю й декорацією.
\n\n| Позиція людини | Що робить машина | Що робить людина | Що стає під тиском |
|---|---|---|---|
| В петлі (in the loop) | пропонує ціль | мусить явно вирішити — без неї удару нема | печатка: automation bias перетворює рішення на схвалення |
| Над петлею (on the loop) | діє сама | наглядає, може втрутитися | рідко встигає втрутитися вчасно |
| Поза петлею (out of the loop) | виявляє, вирішує, б’є сама | нічого | повна автономія летального рішення |
Навколо цього точиться головна етична й дипломатична битва — про «значущий людський контроль» (meaningful human control). Усі публічно клянуться, що людина лишиться в петлі. Але диявол — у слові «значущий». Бо є спосіб формально тримати людину в петлі, а фактично перетворити її на ніщо. І цей спосіб має назву.
\n\nНазва — automation bias, упередження автоматизації. Це добре задокументований у психології ефект: коли машина дає впевнену рекомендацію, люди схильні їй коритися — навіть усупереч власним сумнівам, навіть коли машина помиляється. Дослідження в авіації й медицині фіксують, що оператори раз за разом ідуть за помилковою підказкою системи, ігноруючи правильні показники перед очима. Що складніша система й більший тиск, то сильніше людина «відключає» власне судження. По суті, це експеримент Мілґрама без людини в халаті: роль авторитета, якому коряться, віддали машині з ореолом точності — і їй коряться ще охочіше.
\n\nТепер накладіть це на війну. Аналітик, перед яким машина поставила сотню цілей із позначкою «висока ймовірність», виснажений, обмежений часом, оточений довірою до дорогої розумної системи. Скільки секунд він витратить на кожну? (Згадайте оспорені «20 секунд».) Чи справді він перевіряє — чи натискає «підтвердити», бо машина рідко помиляється, бо черга, бо всі так роблять, бо хто він такий, щоб сперечатися з системою за мільярди? Формально він — людина в петлі. Фактично — печатка, що легітимізує машинне рішення, не змінюючи його.
\n\n\n\nОсь чому самого факту «людина схвалює» недостатньо. Якщо в неї немає ні часу, ні даних, ні психологічної опори, щоб реально не погодитися, — її присутність у петлі є фікцією, моральним фіговим листком. Вона потрібна не щоб контролювати машину, а щоб було на кого покласти відповідальність і ким прикрити рішення, яке насправді ухвалив алгоритм.
\n\nІ тут ми доходимо до найглибшої проблеми, яку Ханна Арендт описала задовго до будь-якого ШІ. Спостерігаючи процес Айхмана, вона ввела поняття «банальності зла»: найстрашніші речі чинять не монстри, а звичайні люди, вбудовані в бюрократію, де кожен виконує свій вузький крок і ніхто не почувається відповідальним за ціле. Відповідальність розчиняється в процедурі.
\n\nАлгоритмічне вбивство — це банальність зла, доведена до інженерної досконалості. Хто відповідає за помилкову смерть? Оператор: я довірився системі, вона мала високу точність. Командир: я затвердив процедуру, а не конкретну ціль. Розробник: я писав інструмент, рішення ухвалювали люди. Машина не скаже нічого — її не можна допитати, засудити, покарати. Відповідальність розмазується по ланцюгу так тонко, що ні на кому не лишається плями. Утворюється прірва відповідальності: смерть є, а винного структурно немає.
\n\nЦе гірше за класичну бюрократію Арендт, бо там ще можна було тицьнути пальцем у людину, яка «лише виконувала наказ». Тут наказ дала статистична модель, а люди довкола щиро вважають, що вони ні до чого, — кожен робив маленький технічний крок. Зло стало не банальним, а розподіленим — і тому майже невловним.
\n\n\n\nЄ ще один тиск проти Петрова — той самий, про який писав Віріліо й про який ішлося в тексті про kill chain. Що швидший цикл ураження, то менше в ньому місця для людського судження.
\n\nКоли від виявлення до удару — хвилини чи секунди, людина фізично не встигає осмислити. А супротивник, який прибрав людину з петлі, діє ще швидше — і виграє темп. Виникає гонка автономізації: хто залишить більше рішень машині, той швидший, а хто швидший, той перемагає. Кожен крок до автономії раціональний поодинці й катастрофічний у сумі — класична пастка. Саме така машина «судного дня», що діє за логікою без людини, лякала в «Докторі Стрейнджлаві» й «WarGames»: комп’ютер, який не відрізняє війну від гри, доки не виведе, що «єдиний виграш — не грати». Ми будуємо війну, у якій на сумнів Петрова просто не передбачено часу.
\n\n\n\nБуло б нечесно змалювати все однобоко. Є серйозний аргумент на користь машини, і його варто проговорити в найсильнішій формі.
\n\nЛюдина на війні — поганий суддя. Вона втомлена, налякана, мстива. Вона стріляє в паніці, помиляється від виснаження, вбиває зі злості за загиблого побратима. Машина не боїться, не мстить, не втомлюється о четвертій ранку. Теоретично добре налаштована система може бути точнішою й стриманішою за людину — менше випадкових жертв, менше емоційних рішень, суворіше дотримання критеріїв. Прихильники кажуть: якщо машина помиляється рідше за переляканого солдата, відмова від неї коштуватиме більше невинних життів, а не менше.
\n\nАргумент сильний — і все одно не закриває питання. По-перше, точність машини залежить від даних, на яких її навчили, а дані несуть усі упередження тих, хто їх зібрав; «об’єктивна» машина може систематично помилятися в один бік — упевнено й масштабно. По-друге, навіть ідеально точна машина не вирішує проблему відповідальності: хто відповість за її помилку? По-третє й головне — питання не лише в кількості жертв, а в тому, що ми втрачаємо, коли прибираємо людський сумнів із рішення про смерть. Петров був «неефективний» з погляду протоколу. Саме його неефективність, можливо, врятувала світ. Машина не буває неефективною на користь людства всупереч інструкції — вона робить рівно те, що в неї вшито.
\n\nДелегація рішень машині давно вийшла за межі війни — у медицину, кредити, найм, правосуддя. Питання, які варто поставити собі скрізь, де алгоритм «рекомендує»:
\n\nАлгоритм входить у війну не як фантастичний термінатор, а буденно — як зручний помічник, що просіює дані, ранжує загрози, складає списки й економить дорогоцінні хвилини. Кожен крок цієї делегації раціональний. Сума кроків веде до світу, де ціль обирає машина, а людина лише ставить підпис, щоб було кому приписати відповідальність, якої насправді ніхто не несе.
\n\nНебезпека не в тому, що машина «повстане». Вона прозаїчніша й ближча: що ми самі, під тиском швидкості, обсягу й конкуренції, добровільно зведемо людину до печатки — і назвемо це «людським контролем». Що automation bias тихо перетворить кожного аналітика на штамп, який щиро вірить, що ще вирішує. Що прірва відповідальності поглине провину так гладко, що ніхто й не помітить, коли востаннє хтось по-справжньому вирішував.
\n\n\n\n\n" }У 1983-му світ урятувала не краща машина, а гірший підлеглий — людина, що порушила протокол і не повірила екрану. Уся етика війни зі штучним інтелектом зводиться до одного питання, і воно не технічне: чи лишили ми в системі місце для Петрова — для того, хто має час, право й мужність сказати машині «ні»? Бо армія, що звільнила всіх Петрових за неефективність, одного разу натисне «підтвердити» на хибну тривогу — і вже нікому буде засумніватися.
\n