Останній human-in-the-loop: 5 рішень, які машина радить, а підписуєш ти

О першій ночі над Атлантикою, 1 червня 2009 року, у кабіні Air France 447 згасли три цифри швидкості. Замерзли трубки Піто — крихітні носики, що ловлять зустрічний потік повітря, — і автопілот, не маючи більше у що вірити, чемно від’єднався й віддав літак людям. Двоє пілотів, які роками сиділи поряд із автоматикою, що майже ніколи не помилялася, раптом тримали в руках штурвал, до якого відвикли. За якихось чотири хвилини A330 з 228 людьми впав у океан. Слідчі потім напишуть нудну, страшну фразу: екіпаж не зміг знову стати пілотами достатньо швидко.

Через кілька років група дослідників Федерального управління авіації США під керівництвом Кеті Ебботт оприлюднить цифру, яку зручніше не помічати: близько 60% розглянутих ними аварій були пов’язані з тим, що пілоти надто покладалися на автоматику й розучилися пілотувати руками (огляд FAA-дослідження, AVweb; TIME). Не машина зламалася. Зламалося припущення, що людина за пультом усе ще вміє те, за що формально відповідає.

Тепер прибери океан і обмерзлі трубки — і лишиться той самий жест, який ти, можливо, зробиш сьогодні в офісі: подивишся на екран, де система вже все порахувала, і поставиш підпис. AF447 — це не історія про авіацію. Це найчистіший доступний нам прототип одного офісного механізму: ми ставимо людину «наглядати» за машиною, машина роками не помиляється, людина перестає вміти наглядати — і коли настає той єдиний раз, наглядати вже нікому. Цей механізм має ім’я: human-in-the-loop, «людина в петлі рішення». Ми тримаємо його як алібі: мовляв, нагляд є, рука людська на кнопці, отже все під контролем. Розберу його через три оптики: психологію довіри до автоматики, цивільні системи, де «нагляд» уже виродився в печатку, і право, яке не вміє судити машину. Теза-лезо: ти можеш делегувати машині дію, але не можеш делегувати їй відповідальність — і чим розумніша машина, тим дорожче коштує твій підпис під її помилкою.

So-what: петля, у якій людина — формальність

«Human-in-the-loop» звучить як гарантія. Так його й продають: регулятору, раді директорів, самому собі. Десь у ланцюзі автоматичного рішення стоїть жива людина, яка дивиться, зважує, у разі чого зупиняє. Петля замкнена через свідомість, а не лише через кремній.

Проблема в тому, що «бути в петлі» і «керувати петлею» — різні речі, і відстань між ними вимірюється не словами в регламенті, а тим, що насправді робить рука й голова о третій годині сорокового погодженого кейса. Коли система помиляється раз на тисячу, людина перестає бути контролером і стає ритуалом. Вона все ще там. Вона просто більше нічого не вирішує.

І ось тут механізм робить тихий, майже непомітний поворот, заради якого варто читати далі: делегуючи машині дію — порахувати, відсортувати, оцінити ризик, — ми непомітно намагаємося делегувати їй і провину за результат. Але провину віддати нікому. Машину не викличеш до суду. Залишається підпис. Твій.

Mechanism: чому довіра до машини росте швидше за її правоту

Психологи назвали це явище ще до того, як з’явилися нейромережі: automation bias — автоматизаційна упередженість. Це схильність людини приймати підказку машини як правильну й переставати шукати докази протилежного, навіть коли ці докази лежать перед очима (Wikipedia: Automation bias). Не лінь і не дурість. Економія. Мозок навчений не витрачати дорогу увагу там, де хтось інший, схоже, вже впорався.

У механізму є поріг, і він на диво низький. Ще у 2007-му дослідники зафіксували орієнтир: приблизно з 70% надійності автоматика починає переважувати людину — нижче цього рубежа покладатися на машину гірше, ніж не покладатися взагалі (Wikipedia: Automation bias, з посиланням на дослідження 2007 р.). Сімдесят. Не дев’яносто дев’ять. Тобто навіть відверто посередній помічник, що бреше тричі з десяти, вже достатньо переконливий, щоб людина почала перекладати на нього власну пильність. А сучасні системи переконливі куди більше.

Найгидкіше — друга шестерня цього механізму. У 2024 році в журналі PLOS One вийшло дослідження з понад двома сотнями учасників, де перевіряли просту річ: чи допомагає «людина в петлі»? Виявилося навпаки. Коли людям давали змогу наглядати за алгоритмом і коригувати його, готовність прийняти автоматичне рішення зростала на 7 процентних пунктів (з ~66% до ~73%) — а точність рішень при цьому ставала статистично гіршою, ніж там, де втручатися взагалі забороняли (PLOS One, 2024). Тих самих учасників алгоритм притягував сильніше за рівно настільки ж точну людину: делегувати машині погоджувалися у 66% випадків. А найдошкульніша деталь — у тому, КОЛИ люди коригували: дрібну помилку алгоритму вони виправляли в 64% випадків, велику — лише в 60%. Тобто нагляд спрацьовував саме тоді, коли був найменш потрібен, і відмовляв саме тоді, коли ціна помилки була найвищою. Сам жест «я ж наглядаю» зробив людей слухнянішими, не зробивши розумнішими. Контур контролю перетворився на контур заспокоєння.

Зробімо чесне застереження, бо без нього все це — публіцистика. Кореляція не є причинність: те, що точність падає там, де є нагляд, не доводить, що нагляд тупить людей у кожному контексті; у частині задач другий погляд таки рятує. Але напрям ефекту повторюється надто вперто, щоб списати його на шум.

Evidence ladder: від кабіни до поліклініки

Підіймемося сходами доказів — від далекого до того, що поряд із тобою.

Перший щабель, авіація. Ми вже бачили 60% від FAA і безкінечну швидкість падіння AF447. Додай ще одне: Airbus переглянув підходи до підготовки, наголосивши на ручному пілотуванні без автоматики як базовій вправі (Airline Ratings). Виробник літаків офіційно визнав: його автоматика настільки хороша, що розучує людину бути людиною за штурвалом. Це не далека метафора — це прототип усього, про що йдеться.

Другий щабель, медицина — і тут уже холодніше. У 2023 році в Scientific Reports опублікували експеримент із мамографією: рентгенологам показували знімки разом із підказкою AI, частина підказок була навмисне хибною. Коли AI помилявся з категорією BI-RADS, частка правильних висновків у недосвідчених лікарів обвалювалася майже на 60% — до 19,8% правильних оцінок; у досвідчених падіння було слабшим, близько 36%, але теж було (Diagnostic Imaging, огляд дослідження). Інакше кажучи: хибна машина не просто не допомогла — вона стерла власну експертизу лікаря, який роками вчився читати ці тіні. Junior-рентгенологи піддавалися автоматизаційній упередженості у 41,7% випадків, senior — у 30,0% (Diagnostic Imaging). Досвід трохи захищає. Не рятує.

І ось деталь, від якої смішно так, як буває смішно в анатомічному театрі: коли AI додає до діагнозу пояснення — «дивіться, ось тут затемнення, тому я так вважаю», — лікарі починають довіряти йому швидше, незалежно від того, правий він чи ні. «Впевнений алгоритм робить помилку переконливішою», — сухо резюмує один із дослідників (AuntMinnieEurope). Пояснення, яке мало б увімкнути критику, працює як заколисування. Машина не мусить бути правою. Їй досить бути красномовною.

Третій щабель, твоє робоче місце. У жовтні 2025-го дослідники зі Стенфорда прогнали AI-системи відбору резюме й виявили, що вони ставили вищі оцінки старшим чоловікам — порівняно з жінками й молодшими кандидатами, хоча всі резюме були згенеровані з однакових даних (NPR, 2025). А над цим відсортованим списком сидить рекрутер — той самий «нагляд». І ось чесна цитата з галузевого розбору: людська перевірка ризикує стати «гумовою печаткою для того, що модель уже поставила першим, без жодного осмисленого нагляду» (Startup Fortune). Печатка. Не суддя.

І коли така печатка спричиняє шкоду, питання «хто винен» стає несподівано порожнім. Юристи розводять руками: якщо людину дискримінував AI-інструмент, за яким наглядав HR-фахівець, неясно, хто має компенсувати — розробник, компанія, що купила софт, чи роботодавець наглядача (St Andrews Law Review). Відповідальність розмазується по ланцюгу так тонко, що ні на кому не лишається достатньо, щоб притягнути. Окрім, звісно, тієї єдиної людини, чий підпис стоїть найближче до жертви. Дифузія відповідальності — давній соціально-психологічний ефект: чим більше учасників, тим менше кожен почувається винним. AI довів його до досконалості, додавши до ланцюга учасника, який узагалі не вміє почуватися.

Human mirror: п’ять підписів, які ставиш ти

Тепер прибери лабораторії й уяви звичайний понеділок. Назвімо антагоніста на ім’я: це не зловісний ШІ, це Дашборд — спокійний екран із зеленими й червоними рядками, який нічого не наказує, лише «рекомендує». У нього немає обличчя, тому ми не сприймаємо його як співучасника. Дарма.

Ти — кредитний аналітик. На екрані скоринговий бал: 0,31, «висока ймовірність дефолту», заявку радять відхилити. Червоний рядок, поряд сіра кнопка «переглянути обґрунтування» — на неї ти не натискав уже місяць, бо за нею дванадцять екранів дрібного тексту, а кава холоне. За цифрою — жінка, яка три роки тому розлучилася, через що в неї провал у кредитній історії, не пов’язаний із платоспроможністю. Модель цього контексту не бачить. Ти бачиш — якби читав. Ти маєш тридцять секунд і ще сорок таких самих заявок до обіду. Що ти підпишеш?

Ти — лікар приймального покою. Система тріажу позначила пацієнта зеленим, «низький пріоритет». Він блідий, але показники в нормі, а машина рідко помиляється. Ти можеш натиснути «погодити» і йти далі. Або витратити свою репутацію всезнайки на сумнів.

Ти — рекрутер. 380 резюме, AI підняв нагору 12. Ти прочитаєш ці 12 уважно. Решту 368 — ні. Чи ти зараз наглядаєш за машиною, чи машина щойно вирішила, кого тобі дозволено навіть розглянути?

Ти — модератор контенту. Класифікатор позначив пост як «дезінформацію». У тебе дві секунди на рішення й квота 1000 кейсів за зміну. Натиснути «підтвердити» — це твій вибір чи твоя продуктивність?

Ти — менеджер у банку, що видає страховки. Алгоритм підняв тариф для цілого поштового індексу. Ти не знаєш чому — модель «чорна скринька». Але під полісом стоїть назва твого відділу.

У кожному з цих п’яти кадрів формально є human-in-the-loop. У кожному людина вільна сказати «ні». І в кожному ціна цього «ні» — час, репутація, конфлікт із системою, що вимірює твою ефективність кількістю погоджень за годину. Свобода, яку дорого реалізувати, перестає бути свободою. Вона стає декорацією.

Зверни увагу на одну спільну рису всіх п’яти сцен: машина ніде не наказує. Вона рекомендує. Вона лишає тобі останнє слово — і саме цим перекладає на тебе останню відповідальність. «Остаточне рішення за людиною» звучить як повага до людини. Прочитай ще раз: це переклад провини. Система отримує право радити без ризику; ти отримуєш ризик без права не послухати. Архітектори таких інтерфейсів знають це краще за тебе — недарма кнопка «погодити» завжди більша, зеленіша й ближча до пальця, ніж сіре «переглянути вручну». Петлю спроєктовано так, щоб найлегший рух тіла збігався з найвигіднішим для системи рішенням. Твоя воля нікуди не зникла. Її просто поклали в найдорожчу шухляду й поставили поряд дешеву.

Data: де нагляд ще живий, а де вже ні

Одна таблиця, щоб не плутатися. Питання просте: у цих системах людина все ще керує петлею — чи вже стоїть у ній мовчазною печаткою?

Система	Що «рекомендує» машина	Що формально робить людина	Що відбувається насправді	Маркер виродження
Авіація (автопілот)	Веде літак	Контролює, бере штурвал у разі збою	Навичка ручного польоту атрофується; FAA пов’язує ~60% розглянутих аварій із надмірною довірою до автоматики (AVweb, огляд FAA-дослідження)	Людина не встигає «знову стати пілотом»
Медичний AI (мамографія)	Категорію ризику	Ставить остаточний діагноз	Хибна підказка обвалює точність недосвідчених на ~60% (Diagnostic Imaging)	Пояснення AI підвищує довіру незалежно від правоти
Кредитний скоринг	Бал ризику, «відхилити/схвалити»	Затверджує рішення	Контекст поза даними губиться; «об’єктивність» ховає упередження (Springer, AI & Society)	Аналітик підписує, не маючи часу спорити
AI-найм	Топ кандидатів	Обирає з шорт-листа	Перевірка стає «гумовою печаткою» рейтингу моделі (Startup Fortune)	368 із 380 не прочитані живим оком
Оцінка ризику домашнього насильства (Viogén, Іспанія)	Рівень загрози жертві	Ухвалює рішення про захист	Поліцейські приймають оцінку алгоритму ~95% разів, хоча мають право її перевизначити (AlgorithmWatch)	«Нагляд» = автоматичне «так»

Дивишся на правий стовпчик — і бачиш один і той самий симптом у п’ятьох різних халатах. Маркер виродження скрізь однаковий: момент, коли «погодити» стає дешевшим за «засумніватися».

Counter-pressure: а може, я згущую?

Тут чесний інтелектуал зобов’язаний натиснути на власну тезу.

Бо є й інший бік, і він сильний. У купі задач людина — гірший суддя, ніж машина: ми втомлюємося, голодніємо, судимо за прізвищем, ставимо вищі оцінки до обіду й нижчі — перед ним. Знамените дослідження селективної прихильності показало, що люди охочіше відкидають пораду алгоритму саме тоді, коли вона суперечить їхнім упередженням — наприклад, проти кандидата на ім’я Мехмет на користь Міхаеля (PMC, «Michael is better than Mehmet»). Тобто «людський нагляд» іноді не виправляє машину, а просто впускає назад людську упередженість, яку машина прибрала. Прибрати людину з петлі подекуди означає прибрати дискримінацію, а не додати її.

І ще: автоматизація справді рятує життя. Той самий автопілот за десятиліття зробив польоти найбезпечнішим видом транспорту. Скоринг дав кредити мільйонам, кого живий клерк відмовив би за виглядом. Відмовитися від машини в ім’я «людяності» — це теж рішення з трупами, просто тихими.

Що спростувало б мою тезу? Якби системи з людиною в петлі стабільно показували вищу точність і нижчу упередженість, ніж і чиста людина, і чиста машина окремо, — і якби ця перевага трималася під навантаженням, у реальному темпі роботи, а не в лабораторії. Тоді human-in-the-loop був би не алібі, а синтезом. Подекуди він ним і є. Але дані PLOS One б’ють саме сюди: щойно з’являється можливість «наглядати», люди частіше слухаються й частіше помиляються (PLOS One, 2024). Тобто проблема не в самій ідеї петлі, а в тому, що ми майже завжди ставимо людину в неї так, щоб найдешевшою дією було «погодити».

Чому саме зараз? Бо вікно 2018–2026 змінило не якість машин — воно змінило їхню переконливість. Системи навчилися пояснювати себе людською мовою, і саме пояснення, як показала мамографія, вимикає критику замість вмикати її. Паралельно у 2024-му набрав чинності EU AI Act, який зробив «людський нагляд» юридичною вимогою для систем високого ризику (AO Shearman, огляд EU AI Act). Тобто рівно тоді, коли психологи довели, що нагляд часто є фікцією, право зробило цю фікцію обов’язковою. Ми вписали печатку в закон і назвали її запобіжником.

Треба віддати закону належне: він не зовсім наївний. Стаття 14 того ж Акта прямо вимагає, щоб наглядач «усвідомлював схильність автоматично покладатися чи надмірно покладатися» на систему — тобто законодавець назвав automation bias своїм ім’ям і зобов’язав із ним боротися. Є й сильніший запобіжник: для біометричної ідентифікації рішення мусять окремо підтвердити щонайменше двоє компетентних людей — «правило чотирьох очей» (Article 14, EU AI Act). Існують і архітектурні альтернативи самій петлі: human-on-the-loop (людина не підписує кожен випадок, а наглядає за статистикою й втручається на аномаліях) чи навмисне сповільнення інтерфейсу, що змушує прочитати обґрунтування перед «погодити». Проблема не в браку ідей. Проблема в тому, що сам стандарт «достатнього» нагляду ніхто досі чітко не визначив і не виміряв — регулятор вимагає нагляду, але не вміє відрізнити справжній від ритуального (Cambridge Forum on AI). А чого не вимірюють, того й не буває.

Re-plating: чому промах розумної машини коштує дорожче

Складемо переплавлене.

Парадокс у тому, що з покращенням машини небезпека не падає, а зростає. Поки система помиляється часто, людина лишається насторожі — пильність живиться недовірою. Щойно система стає майже бездоганною, людина розслабляється повністю, і єдині помилки, які лишаються, — це ті рідкісні, які людина вже не здатна зловити, бо розучилася дивитися. Air France 447 розбився не тому, що автопілот був поганий, а тому, що він був надто хороший надто довго.

Звідси перша тверда теза: що краще AI, то дорожчий його промах — бо тим менше живих очей готові його перехопити, і тим катастрофічніший виняток, що прослизнув. Це інверсія всієї нашої інтуїції про прогрес. Ми звикли, що надійніший інструмент означає безпечніший світ. Але надійність автоматики й пильність людини — сполучені посудини: чим вище одне, тим нижче інше. Система, яка ніколи не помиляється на твоїй пам’яті, виховує в тобі впевненість рівно тоді, коли вона найменш заслужена, — напередодні того єдиного разу, коли помилиться. Безпека тут не накопичується. Вона позичається у майбутньої катастрофи під відсоток.

Друга шестерня — про відповідальність, і вона безжальна. Коли все йде добре, заслугу ділять: «наша AI-система схвалила». Коли все йде погано, шукають руку, що підписала. EU AI Act прямо вимагає призначити нагляд конкретній компетентній людині, здатній зрозуміти межі системи й перевизначити її рішення (AO Shearman). Штрафи за найбільш серйозні порушення (заборонені практики) — до €35 млн або 7% світового обороту; за порушення вимог до систем високого ризику — до €15 млн або 3% (AO Shearman). Але навіть бездоганна відповідність регламенту не рятує від цивільного позову, якщо шкода сталася (Bird & Bird, про відповідальність у ЄС). Закон знайшов винного заздалегідь — і це людина в петлі.

Звідси головна, перша теза, з якої все почалося: машину не віддаси під трибунал. Можна оштрафувати компанію, можна відкликати продукт, можна переписати модель. Але немає підсудного на ім’я «алгоритм», немає його каяття, немає його присяги. Право влаштоване навколо суб’єкта, який може відповідати, — а машина не суб’єкт. Тому, коли система рекомендує, а ти погоджуєш, право бачить лише одну дієздатну руку в усьому ланцюзі. Твою.

І ось де змикається третя теза з першими двома: коли «нагляд» виродився в human-as-rubber-stamp, гумову печатку, ти втратив усе керування процесом — але зберіг усю відповідальність за результат. Це найгірша комбінація з можливих: нуль влади, сто відсотків провини. Делегувати дію вдалося. Делегувати відповідальність — ні, вона повернулася до тебе боком, як бумеранг, поки ти дивився на зелений рядок.

Що з цим робити — не риторичне питання, тож ось три інструменти, які можна забрати з собою. Перший: зберігай навичку робити роботу машини руками хоч іноді — рахуй один кейс із двадцяти «наосліп», без підказки, інакше у вирішальну мить будеш як пілот AF447, що відвик від штурвала. Другий: вимірюй не кількість погоджень, а кількість обґрунтованих незгод — здорова петля та, де людина регулярно каже «ні» і це не карається; якщо твій відсоток «ні» дорівнює нулю, ти не наглядач, ти печатка. Третій — холодне питання перед кожним підписом: якби цей кейс через рік розбирали в суді, чи зміг би я чесно сказати, що це було моє рішення, а не моя печатка? Якщо чесна відповідь «ні» — ти щойно знайшов місце, де петля порвана.

Hard kicker

Обледеніння трубок Піто на AF447 тривало менше хвилини — приблизно стільки, скільки ти читаєш цей абзац. Уже невдовзі після того, як о 02:10 автопілот здався й віддав літак людям, прилади знову показували правильну швидкість. Машина повернулася в норму. До удару об воду лишалося чотири хвилини. Дані були правильні, екран не брехав, відповідь висіла прямо перед очима.

Просто в петлі вже не лишилося нікого, хто вмів її прочитати.