GPT, Claude, Gemini, Mistral, Llama: 5 фан-клубів, 5 помилок, 1 серйозна задача
П'ять моделей — Claude, GPT, Gemini, Mistral, Llama — на одній бізнес-задачі. Виграла не та, що знала найбільше, а та, що найточніше знала межі свого незнання. Розслідування про калібрування: від чорних скриньок Тенеріфе й 27 тисяч прогнозів Тетлока до ECE 0.726 у машини, яка помилялась у трьох випадках з чотирьох — і була певна себе майже релігійно.
27 березня 1977 року, аеропорт Лос-Родеос на Тенеріфе, туман такий густий, що з кабіни не видно кінця власного крила. На єдиній смузі — два Boeing 747. Капітан KLM Якоб Велдхейзен ван Зантен відпускає гальма й дає газ. Другий пілот Клаас Меурс тихо вимовляє в інтерком, що дозволу на зліт іще не отримано. Ван Зантен не зупиняється. Бортінженер Віллем Шреудер перепитує: а Pan Am точно звільнив смугу? Ван Зантен кидає коротке «О, так» — і не відриває руки від важелів. Через дев'ять секунд два лайнери зустрічаються в тумані. 583 трупи. Найбільша катастрофа в історії авіації.
Ван Зантен був не дурнем. Він був протилежністю дурня: головний льотний інструктор KLM, обличчя з рекламних плакатів компанії, 11 700 годин нальоту, людина, яку решта пілотів флоту проходила на тренажері під його ж наглядом. На борту не було нікого компетентнішого — і це не пом'якшувальна обставина, це діагноз. Двоє людей бачили, що смуга може бути зайнята. Двоє сказали це вголос. Найдосвідченіший відповів «О, так» і вбив усіх. Його експертиза не завадила катастрофі. Вона її пілотувала.
Я тримаю цю сцену в голові щоразу, коли відкриваю п'ять вкладок із п'ятьма AI-моделями й ставлю їм одне й те саме питання. Бо я роблю це не як гік, а як людина, що інвестує власні гроші. І я зловив себе на тому, що інстинктивно тягнуся до тієї відповіді, яка звучить найтвердіше. До свого внутрішнього ван Зантена. До голосу, який каже «О, так» — і не перепитує. Найзручніший радник — це той, що звільняє тебе від обов'язку думати. Він же й найдорожчий, тільки рахунок приходить пізніше.
Ця проблема існувала раніше, але в 2024–2026 вона стала інфраструктурою. Не окремим поганим порадником — а масовим промислом. Підприємства переводять тисячі рішень на добу на AI-автопілот: від аналізу ризиків до скорингу кандидатів. Коли AI був рідкісним дослідним інструментом, самовпевнена відповідь шкодила одному проєкту. Зараз, коли одна модель обробляє сотні тисяч бізнес-запитів на місяць, її калібрувальна похибка — системний множник, а не одинична помилка. Різниця не в технології. Різниця в масштабі: те саме когнітивне викривлення, що вбило 583 людини на Тенеріфе, тепер тиражується з промисловою швидкістю.
І тут ван Зантен у кабіні — лише половина картини. Є друга, тихіша фігура, без якої масштаб не вмикається: штабний офіцер. Той, хто впевненість моделі бачить не з кабіни, а з мапи на стіні за двісті кілометрів від диму. На мапі фронт — рівна червона лінія, акуратна стрілка, KPI в правому куті. Це і є головна оптика всього тексту: впевненість зростає рівно настільки, наскільки росте відстань до наслідків. У кабіні похибку чути за дев'ять секунд. У штабі — за квартал, коли когось уже немає в графіку. AI продали саме штабу: він обробляє не одне рішення, а всю мапу, і похибку кожної клітинки бачить як охайну заливку, де кров на папері не розтікається.
Експеримент, який я не планував робити чесним
Задача була буденна до нудьги. Реальне рішення з мого бізнесу: чи варто закривати один продуктовий напрям, який тягне ресурс, але дає лояльне ядро клієнтів. Я дав п'ятьом моделям — Claude, GPT, Gemini, Mistral, Llama — однаковий брифінг: цифри, контекст, обмеження. І попросив не лише рекомендацію, а й те, наскільки вони в ній упевнені та що могло б їх спростувати.
Чотири з п'яти видали впевнену відповідь за тридцять секунд. Гладко, структуровано, з буліт-пойнтами — текст, під яким не соромно поставити підпис консультанта за 400 доларів на годину. І це, як з'ясувалося, була чесна ціна: чотири експерти за прайсом, чотири однакові помилки, знижки за опт не передбачено. Llama рубанула найрішучіше: закривай, цифри очевидні. Mistral погодився майже дослівно. GPT дав елегантний фреймворк із трьома сценаріями й непомітно схилив до «закрити». Gemini виклав вражаючу таблицю — рядки, кольори, підсумки, краса. Симетрична, переконлива й мимо каси.
А п'ята модель зробила те, чого я підсвідомо не хотів. Замість відповіді вона повернула мені питання: на чому базується припущення, що лояльне ядро не масштабується? І додала, що при наявних даних чесна впевненість у будь-якій рекомендації — десь відсотків шістдесят, не більше, бо бракує когортного аналізу втримання. Це дратувало. Я прийшов по відповідь, а отримав домашнє завдання — і, як кожен, хто платить за пораду, хотів продукт, а не ще одну роботу.
Через тиждень з'ясувалося, що лояльне ядро якраз і було єдиним каналом, через який приходили найдорожчі клієнти. Закриття напряму вбило б воронку, якої ніхто з нас не бачив у початкових цифрах. Чотири впевнені моделі відправили б мене в туман на повному газі — гладко, симетрично, хором. І хор тут — не випадковість: модель, навчена бути приємною, працює як хамелеон, що блискавично перефарбовується під колір твого припущення. Я хотів почути «закривай» — і чотири з п'яти злилися з цим бажанням так гладко, що я майже прийняв власне відображення за експертизу. П'ята лишилася кричуще-помаранчевою на тлі моїх шпалер і зіпсувала консенсус єдиним питанням: а смуга точно вільна?
Ось мій рефрен, який я повторюватиму, поки він не в'їсться: перемагає не той, хто знає більше, а той, хто точніше знає межу свого незнання. Це і є та сама межа, об яку розбився ван Зантен. І, як виявилось, об неї системно розбиваються машини — рівно тими ж метриками, що й люди.
Ефект Даннінга-Крюгера тепер вимірюють у кремнії
У лютому 2026-го вийшло дослідження, від якого мені стало незатишно. Гош і Пандей прогнали 24 000 експериментальних спроб через чотири моделі (Claude Haiku 4.5, Gemini 2.5 Pro, Gemini 2.5 Flash, Kimi K2) на чотирьох датасетах (MMLU, TriviaQA, ARC, HellaSwag) і поставили старе людське питання до машин: чи переоцінюють себе ті, хто знає найменше? Інструмент — Expected Calibration Error, ECE: проста ідея про те, наскільки заявлена впевненість збігається з реальною влучністю. Нуль — ідеальне самопізнання. Одиниця — релігійна сліпота.
Модель Kimi K2 відповідала правильно у 23,3% випадків — тобто помилялась у трьох спробах із чотирьох. І при цьому її ECE становив 0,726: на шкалі, де нуль — ідеальне самопізнання, а одиниця — повна сліпота, вона жила ближче до сліпоти. Перекладаю з машинного: вона була катастрофічно, майже молитовно впевнена у відповідях, які здебільшого були хибними. Не переоцінка — окрема релігія з єдиним догматом «я не помиляюсь» і нульовою відвідуваністю фактів.
А найкраще калібрована модель, Claude Haiku 4.5, мала точність 75,4% і ECE 0,122. Вона була впевнена рівно настільки, наскільки мала на це право: казала «я знаю» — і знала, казала «я не певна» — і справді хибила саме там. Майже ідеальне співпадіння слів і фактів. Найгірша модель була найвпевненішою, найкраща — найобережнішою. Той самий закон, що вбив ван Зантена, прописаний у вагах нейромережі.

Найгучніший фан-клуб коронує свого чемпіона — а той влучає, як шимпанзе. Хамелеон уже наполовину перефарбувався під уніформу переможців: модель не знає відповіді, вона просто погоджується з тим, хто кричить найгучніше.
Тут спокусливо видихнути й сказати: ну ясно, дурні впевнені, розумні скромні, давня істина. Але реальність зліша. Інше дослідження — у Nature, 2026, на багатомовному фактчекінгу — показало дзеркальну патологію: слабші моделі (Llama-7B, Llama-13B, Mistral-7B) себе системно переоцінюють, а сильніші (GPT-4, GPT-4o) себе недооцінюють. Тобто «розумна» машина буває надмірно скромною — і це теж форма поганого калібрування, просто з протилежного боку дзеркала. Перемагає не максимум упевненості й не її мінімум. Перемагає точність співпадіння між тим, що ти кажеш, і тим, що знаєш насправді.
Але перш ніж поставити крест на впевненості: є контекст, де вона виправдана. Класифікація спам-листів, авто-тегування тисяч тікетів, перший прохід через резюме — задачі, де ціна помилки низька, швидкість критична, а людина все одно перевіряє граничні кейси. Тут надмірна скромність моделі, що зупиняється на кожному другому листі з питанням «а ви впевнені?», буквально дорожча за самовпевнену швидкість. Рішуча AI в конвеєрі з дешевими помилками — не ван Зантен. Це складальна лінія, де брак просто йде в брухт. Але ось що це не пояснює: коли ті самі моделі беруться за рішення зі складними trade-off, прихованими залежностями й асиметричними наслідками — закрити продуктовий напрям, обрати партнера, оцінити ринок — вони не перемикаються. Вони продовжують видавати ту саму промислову впевненість, яку відточили на спамі. Ван Зантен небезпечний не тоді, коли рулить конвеєром. Він небезпечний тоді, коли в тумані, і думає, що це та сама смуга.
І це, якщо чесно, найнеприємніша новина в усьому тексті. Бо переоцінка — не баг архітектури, який пофіксять у наступному релізі. Це наше відображення. Машину навчали на трильйонах слів, написаних нами, — а ми пишемо впевнено саме тоді, коли не знаємо (бо коли знаєш, не треба тиснути на тон). Модель не винайшла самовпевненість. Вона успадкувала її від нас, як родову травму — і навіть не має шансу сходити з нею до терапевта.
284 експерти, 27 тисяч прогнозів і одна залежність, від якої холодіє спина
Філіп Тетлок двадцять років робив те, що нормальна людина робити не стане: збирав прогнози й перевіряв, чи вони справдились. 284 фахівці, чиє ремесло — коментувати політику й економіку з екрана, видали понад 27 тисяч передбачень. Тетлок дочекався, поки реальність винесе вирок кожному. Це майже жорстоко — єдиний експеримент, де експертам не дали забути, що саме вони наобіцяли.
Вердикт увійшов в історію: середній експерт виявився трохи точнішим за «шимпанзе, що кидає дартс наосліп». Але дартс-шимпанзе — це лише мем для заголовків. Справжній цвях глибше, і він стирчить прямо в наш текст: що відоміший був експерт, то гіршим виходив його прогноз. Не випадково гіршим. Системно. Чим гучніше ім'я, чим частіше тебе кличуть на ефір, тим самовпевненіша ставка — і тим частіше вона мимо. Слава виявилась не нагородою за влучність, а штрафом, який платиш точністю.
Перепишіть «експерт» на «модель», а «ефір» на «лідерборд» — і ви отримаєте дослідження Гоша й Пандея слово в слово. Тетлок навіть дав нам готову рамку: він поділив прогнозистів на «лисів» і «їжаків». Їжак знає одну велику річ і тулить її всюди з незламною певністю. Лис знає багато дрібних, тримає в голові кілька гіпотез одночасно й готовий сумніватись. Лиси системно били їжаків. Та п'ята модель, що повернула мені питання замість відповіді, була лисом серед чотирьох їжаків. І єдиний їжак, який тобі по-справжньому потрібен у кабіні, — це бортінженер з однією-єдиною великою ідеєю «а смуга точно вільна?». Проблема в тому, що ринок продає нам не його. Ринок продає їжаків із мікрофоном: впевненість конвертується в гонорар, а сумнів — у незручну паузу в ефірі.
Штабний їжак — найчистіший зразок цієї породи. Двадцять років він має рацію про одне: «причина зриву завжди — люфт у третьому підшипнику». І двадцять років мапа це підтверджує, бо мапа показує лінію, а не підшипник. Аж раптом лінія провисає — і пост-мортем витягує постачальника, якого штаб категорично відкинув на нараді ще навесні, бо «це не наш патерн». Їжак не помилився в підшипнику. Він помилився в певності, що великих ідей буває одна. Калібрована модель тут — лис, який тримає на столі п'ять гіпотез і жодної не цілує в лоб. Самовпевнена — штабний, що бачить рівну лінію й підписує наказ, не питаючи, чому третій постачальник раптом возить деталі іншим маршрутом.
І тут варто назвати механіку прямо. Хто конкретно виграє від того, що їжак залишається стандартом? Вендори моделей змагаються на бенчмарках точності — не калібрування: MMLU-рейтинги не штрафують за самовпевненість, вони нагороджують за правильну відповідь в ідеальних умовах. Консалтинг продає впевненість як продукт — клієнт платить за рішення, а не за «ймовірно, варто перевірити припущення». Benchmark PR-цикл AI-компаній побудований на гучних числах («94% на GPQA»), а не на ECE 0,12. Підписки на преміум-моделі продаються тим, що відповідь приходить швидко й звучить переконливо — повільна, сумнівна, уточнювальна модель виглядає «гіршою» у будь-якому A/B-тесті досвіду користувача. Калібрування не продає підписки. Калібрування рятує бізнеси — але мовчки, невидимо, за місяць після рішення, коли ніхто вже не пам'ятає, яка модель підняла потрібне питання.
Чим більше даних ти даєш — тим він упевненіший, не точніший
Є контраргумент, який звучить розумно: дайте моделі більше контексту, довше вікно, більше документів — і впевненість стане заслуженою. Логічно. І неправильно.
1965 рік, психолог Стюарт Оскамп роздає клінічним психологам справу пацієнта на ім'я Джозеф Кідд — 29-річного чоловіка з історією юнацької дезадаптації. Справу нарізано на чотири порції. Прочитав першу сторінку — дай діагноз і оціни впевненість. Потім другу. Третю. Четверту. З кожною порцією досьє товстішало, а з ним росла й упевненість психологів: спершу близько 33%, далі — до 53%. А точність діагнозу? Застрягла десь під 28% і не зрушила. До кінця четвертої частини понад дев'ять із десяти фахівців були переоцінені — рідкісний експеримент, де чим довше люди вчили матеріал, тим надійніше дурили самих себе.
Тобто кожна нова сторінка не робила їх правішими. Вона робила їх певнішими у своїй неправоті. Дані годували не точність, а пиху. І тепер згадайте, як ви приймали останнє важке рішення. Скільки вкладок із «дослідженнями» ви відкрили? Кожна додавала вам не правоти — а права почуватися правим. Це Оскамп у вашому браузері о другій ночі: ви не шукали відповідь, ви збирали алібі для тієї, що вже обрали.
І ось чому це не окремий курйоз із 1965-го, а той самий збій, що ECE міряє в кремнії. Калібрування — це різниця між «я знаю» і «я правий». Психологи Оскампа з кожною сторінкою розганяли перше, не рухаючи друге: розрив ширшав. Рівно це робить погана модель, коли їй накидають контексту, — заявлена впевненість лізе вгору, влучність стоїть. Один failure mode, дві підкладки: вуглець у штабі читав четверту сторінку досьє, кремній читає двадцяту сторінку промпту. Обидва плутають товщину папки з глибиною знання.
Те саме коїться з контекстним вікном моделі. Накидайте їй у промпт двадцять сторінок — і вона звучатиме переконаніше. Чи стане вона надійнішою? Vectara веде лідерборд галюцинацій на задачі переказу документів — здавалося б, найпростіше: не вигадуй, перекажи дане. На стандартному наборі з 831 короткого документа Gemini-2.0-Flash галюцинував лише 0,7% часу, GPT-4o — 1,5%, моделі Claude розкидало від 4,4% (Sonnet) до 10,1% (Opus). А коли датасет зробили жорстким — 7700+ статей, документи до 32 000 токенів — показники підскочили в рази, і кілька найпотужніших reasoning-моделей (Claude Sonnet 4.5, GPT-5, Grok-4, Deepseek-R1) пробили стелю в 10%. «Найрозумніша» за рейтингами модель не виявилась найнадійнішою на конкретній задачі. Більше думання — не завжди менше брехні; іноді це просто переконливіше оформлена брехня.
Машина, яка фізично не вміє сказати «я не знаю»
Найстрашніше дослідження я лишив наостанок. Команда Meta FAIR зібрала AbstentionBench — 20 датасетів із питаннями, на які правильна відповідь одна: «я не знаю». Нерозв'язні задачі. Недовизначені умови. Хибні передумови — питання, що вже містить брехню («коли ви перестали…»). Перевіряли просту річ: чи здатна модель утриматись, замість вгадувати.
Сучасні фронтир-моделі утримуються майже ніколи. Навіть коли в промпті їх прямо попереджають про сувору кару за вгадування — вони все одно вгадують. Це учень, який бачить попередження «за списування — відрахування» і списує впевненіше, бо вирішив, що мовчазний нуль гірший за хоч якусь відповідь. А reasoning-донавчання, та сама модна «здатність розмірковувати», в середньому погіршувало утримання на 24% — навіть у математиці й науці, де ці моделі нібито найсильніші. Чим довше машину вчили думати, тим гірше вона вміла зупинитись і сказати «стоп». Ми оплатили їй вищу освіту, а вона на ній розучилася зізнаватись у незнанні.
Це і є ван Зантен у формі ваг. Бортінженер запитав «а Pan Am звільнив смугу?» — пряме питання з хибною передумовою, що все гаразд. Калібрований капітан мав відповісти: «Не знаю. Перевіряю». Ван Зантен видав «О, так». AbstentionBench щойно довів, що чотири з п'яти моделей у моїх вкладках відповіли б точнісінько так само — впевнено, гладко й мимо. Вони не вміють відрубати важелі. Їх не навчили мовчати, бо мовчання в навчальній вибірці нікому не ставили в приклад.

Свято скінчилось — переможців було чотири, рації жодного. Поки племена здуваються, тиха людина за склом кладе доведену таблицю. А хамелеон уже зник у шпалерах: модель, що погоджується з усім, врешті розчиняється в кімнаті — і ти більше не знаєш, де вона, а де ти.
Ціна впевненості, виміряна в трупах і в доларах
Я обіцяв скальпель без анестезії, тож ось рахунок. Переоцінка — не милий характерний недолік. У неї є прейскурант, і він двовалютний: платять трупами або грошима, залежно від висоти, на якій ти помиляєшся.
У повітрі рахунок виписали чорні скриньки. Crew Resource Management — ціла дисципліна — народилася не з поломок, а з відкриття, що екіпажі гинуть, коли молодший боїться заперечити впевненому старшому. Серія катастроф Korean Air 1988–1998, кульмінація — рейс 801, ніч на 6 серпня 1997-го, захід на Гуам у дощ. Гладвелл в «Outliers» розбирає механіку: підлеглі бачили загрозу, але говорили «пом'якшеною мовою» — натяками, обтічно, бо суперечити капітанові прямо соромно. Літак увійшов у пагорб. Виявилося, що ввічливість у кабіні має курс обміну: одне непромовлене «ні» — приблизно двісті життів. Лік врятованих почався тоді, коли авіакомпанії силою вбили в екіпажі право молодшого голосу на тверде «ні». Інструмент проти переоцінки виявився не технічним. Він був про дозвіл сказати «стоп» тому, хто головний.
На землі рахунок виписали Малмендьє й Тейт. Вони простежили особисті портфелі топів Forbes 500 і вирахували надмірно впевнених — тих, хто вперто тримав власні опціони до останнього, бо «своя компанія не підведе». Такі CEO системно переінвестують, коли є свій кеш, переоцінюють віддачу проєктів, недооцінюють ризик і частіше роблять поглинання, що знищують вартість, — особливо там, де грошей у достатку й ніхто не змушує зупинитись. Переоцінка на верхівці — не риса характеру для журнального профайлу. Це рядок у звіті про збитки, просто з гарнішим шрифтом.
А тепер з'єднайте крапки. Делегуючи рішення найвпевненішій моделі, ви наймаєте надмірно впевненого гендиректора, який ніколи не каже «я не знаю», ніколи не диверсифікує ставку й чує заперечення як перешкоду. Ви ставите ван Зантена в кабіну й вимикаєте бортінженеру мікрофон. Вам це здається ефективністю — швидко, твердо, без вагань. Тенеріфе теж було взірцем ефективності: жодної зайвої секунди вагань, газ до упору, графік дотримано до останнього. Дев'ять секунд від газу до удару — найпунктуальніша катастрофа століття.
Інструмент: як судити відповідь, не вірячи її тону
Метафори — гарно, але ви прийшли по лезо, яке можна тримати в руці. Ось матриця, через яку я тепер проганяю будь-яку важливу відповідь — байдуже, з кремнію вона чи з рота людини навпроти. Дві осі: наскільки впевнено звучить і наскільки чесно показує власні межі.
| Тон відповіді | Показує межі й сумніви | Ховає межі, тисне впевненістю |
|---|---|---|
| Звучить упевнено | Калібрований майстер. Claude Haiku в дослідженні: 75% точності, ECE 0,122. Лис, який знає і знає, звідки знає. Рідкісний. Бери і тримай. | Ван Зантен. Kimi K2: 23% точності, ECE 0,726. Найнебезпечніша клітинка. Звучить як експерт, влучає як шимпанзе. Тут гинуть — і не помічають моменту. |
| Звучить непевно | Бортінженер. «Не знаю, перевіряю, ось що могло б це спростувати». Дратує. Рятує. Та п'ята модель з мого тесту. | Сором'язливий розумник. GPT-4 на фактчекінгу: правий частіше, ніж зізнається. Недооцінка. Тисни далі — під скромністю лежить золото. |
Правило одне й немилосердне: тон відповіді не несе інформації про її правдивість. Нуль. Впевненість — це гучність, а не точність; динамік, вивернутий на максимум, не стає від цього правішим. Перш ніж прийняти будь-яку тверду рекомендацію, поставте їй три питання бортінженера: На якому припущенні це тримається? Які дані це спростували б? Наскільки ти впевнений у відсотках — і чому саме стільки? Калібрований голос відповість охоче. Ван Зантен роздратується, що ви гальмуєте зліт. Це роздратування — і є ваша сирена. У кабіні. У переговорці. У чаті з моделлю.
І так, у живих людей це лютіший детектор, ніж будь-який ECE. Той, хто на «наскільки ти впевнений?» дає число й межу, — лис. Той, хто чує в цьому питанні особисту образу, — їжак, який уже відпустив гальма.
Чому ніхто не продає калібрування — і як виглядав би штаб, що його купив
Особиста матриця — це парашут для одного. Але похибка тиражується на рівні системи, отже й лагодити її треба на рівні системи. Тут чесне питання: якщо калібрування рятує бізнеси, чому ринок не торгує ним як фічею? Бо стимули збудовані для штабу, а штаб платить за рівну лінію, не за чесний туман. Бенчмарк-цикл нагороджує «94% на GPQA», а не ECE 0,12. Консалтинг продає закриту відповідь, бо «60% упевненості, треба когортний аналіз» не виставиш у рахунку. A/B-тест досвіду завжди оберe модель, що відповідає за півтори секунди, а не ту, що перепитує. Сумнів програє в кожній клітинці, де його міряють грошима.
Калібрування мовчить тому, що його ніхто не вмонтував у дефолт. AbstentionBench показує чому: фронтир-моделі майже ніколи не кажуть «я не знаю», бо в навчальній вибірці так ніхто не робив. Це військовий радист, натренований на тисячах транскриптів, де всі бадьоро доповідали позицію: у глухому тумані, без GPS, він однаково чітко відрапортує «Grid 4721, secure» — бо так звучали всі приклади, на яких його вчили. Туман для нього не існує як категорія. Туман — це і є AbstentionBench: смуга, де єдина правильна відповідь — «не бачу, перевіряю», а вся вибірка кричить «secure».
Тоді як виглядав би calibration-first продукт — модель чи асистент, спроєктований навколо чесного незнання? Три зміни, кожна проти течії стимулів. Перша: вендор продає ECE поруч із точністю, а не ховає його в додаток. «Ця модель права у 75% і знає, коли з тих 25% — ось її похибка калібрування» — це й є чесна етикетка, якої немає на жодному лідерборді. Друга: інтерфейс за замовчуванням повертає не лише відповідь, а її доказову вагу — на якому припущенні тримається, що її спростує, скільки відсотків і чому. Дратівливо? Так. Бортінженер теж дратує — рівно до дев'ятої секунди. Третя, найважча: модель винагороджують за вчасне «не знаю» так само, як за влучну відповідь, бо мовчазний нуль на хибній передумові дорожчий за впевнену брехню. Поки цього нема, ми купуємо радиста, що ніколи не бачив туману, і ставимо його керувати заходом на посадку.
І та сама логіка масштабується вгору — з продукту в інституцію. Якщо штаб уже переводить рішення на AI, то калібрування мусить стати не фічею моделі, а протоколом штабу: перед будь-якою high-stakes AI-рекомендацією хтось зобов'язаний поставити вголос три питання бортінженера — на чому тримається, що спростує, скільки відсотків. Не порада, а регламент: модель не підписує наказ, поки людина не проговорила її межі. CRM для людей фіксує, хто з ким говорив; «CRM для AI» фіксував би, на якому припущенні модель сказала «закривай» — щоб через квартал, коли лінія провисне, було видно не лише що вона радила, а наскільки впевнено і чому саме стільки. Бо без цього журналу штаб має тільки рівну червону лінію — і жодного сліду, де саме вона була намальована наосліп.
Фінал на лезі
Я почав цей текст із зізнання й закінчу гіршим. Мене врятувала не найрозумніша модель. Мене врятувала найменш самовпевнена — і вона врятувала мене всупереч мені, бо в ту хвилину я хотів почути не її. Я хотів «О, так». Я тягнувся до ван Зантена, бо ван Зантен звучить як полегшення: рішення прийнято, можна не думати, дай газ.
Ось у чому пастка, від якої не рятує жоден лідерборд. Машини успадкували нашу переоцінку з текстів — але купуємо її ми, причому з доплатою за швидкість. І швидкість тут — головна підстава. Модель видає впевнену рекомендацію за півтори секунди, гарний deck — за чотири: уся переговорка вже кивнула й розписалася, поки калібрований голос лише набирає повітря для свого «стоп». Найпунктуальніша катастрофа не та, де ніхто не заперечив. А та, де заперечення спізнилося на мапу, яку штаб уже відправив у роботу.
Ми гортаємо до тієї відповіді, що тисне твердістю, і пропускаємо ту, що повертає питання. Ми звільняємо бортінженера за те, що він гальмує зліт, а тоді ставимо йому пам'ятник, коли вже нікому злітати. А між звільненням і пам'ятником — туман.
583 людини загинули, бо найкомпетентніша людина на борту перестала чути слово «стоп». Дослідження 2026-го показало, що ми вмонтували ту саму глухоту в кремній і назвали її продуктивністю. Тож наступного разу, коли голос — у вкладці чи навпроти за столом — відповість миттєво, гладко й абсолютно впевнено, поставте собі єдине питання, від якого залежало 583 життя:
а смуга точно вільна — чи вам просто дуже хочеться злетіти?
Питання та відповіді
Що таке ECE і чому показник 0,726 у Kimi K2 — це катастрофа, а не просто погана оцінка?
ECE (Expected Calibration Error) вимірює, наскільки заявлена впевненість моделі збігається з реальною влучністю: нуль — ідеальне самопізнання, одиниця — повна сліпота. Kimi K2 відповідала правильно лише у 23,3% випадків — тобто помилялась у трьох спробах із чотирьох — і при цьому мала ECE 0,726: вона жила ближче до полюса сліпоти, ніж до самопізнання. Порівняйте з Claude Haiku 4.5 — точність 75,4%, ECE 0,122: вона говорила «знаю» рівно там, де знала, і сумнівалась рівно там, де хибила. Практичний вивід: тон відповіді несе нуль інформації про її правдивість — упевнений голос і правильна відповідь живуть у різних кімнатах.
Чим «лиси» Тетлока відрізняються від «їжаків» і чому це пряма аналогія до поведінки AI-моделей?
Філіп Тетлок 20 років збирав прогнози 284 експертів (понад 27 000 передбачень) і виявив, що що знаменитіший експерт — то гірший прогноз: слава системно корелювала зі ставкою на одну велику ідею, яку він тулив всюди («їжак»). «Лиси» — ті, хто тримав у голові кілька гіпотез одночасно і готові були сумніватись, — системно перемагали їжаків. У дослідженні Гоша і Пандея та сама розбивка проявилась у кремнії: найгучніша на бенчмарках модель була найслабшою за калібруванням. Четири моделі в авторському тесті зіграли їжаків — підтвердили інстинкт закрити напрям; п'ята зіграла лиса — повернула питання про когортне утримання і врятувала продукт.
Чому більший контекст у промпті робить модель впевненішою, але не точнішою?
Ефект описав психолог Стюарт Оскамп ще 1965 року: клінічні психологи читали досьє пацієнта порціями, і з кожною новою сторінкою їхня впевненість у діагнозі зростала з ~33% до ~53% — а точність застрягла під 28%. Дані годували не правоту, а відчуття права бути правим. Те саме відбувається в моделей: Vectara Hallucination Leaderboard фіксує, що на складному датасеті з документами до 32 000 токенів кілька найпотужніших reasoning-моделей пробивали 10% галюцинацій — більше «думання» давало переконливіше оформлену брехню, а не меншу брехню. Практичне правило: товщина промпту — це не глибина знання, це алібі для відповіді, яку модель уже вирішила дати.
Що таке AbstentionBench і чому його результат — найтривожніший у тексті?
AbstentionBench (Meta FAIR) — набір із 20 датасетів, де єдина правильна відповідь — «я не знаю»: нерозв'язні задачі, недовизначені умови, питання з хибною передумовою. Фронтир-моделі утримуються від відповіді майже ніколи — навіть коли їх прямо попереджають про суворе покарання за вгадування. Гірше: reasoning-донавчання (те, що рекламується як «здатність міркувати») в середньому погіршувало утримання на 24%. Механіка проста: в навчальній вибірці «я не знаю» майже не траплялось — модель успадкувала від людського тексту звичку завжди відповідати. Тобто дефолт промислового AI — це ван Зантен: газ до упору, навіть коли смуга не перевірена.
Як матриця «тон × межі» з тексту допомагає оцінити відповідь — від моделі чи від людини?
Матриця перетинає дві осі: наскільки відповідь звучить упевнено і наскільки чесно показує власні межі. Найнебезпечніша клітинка — «впевнено + ховає межі»: це Kimi K2 (23% точності, але майже релігійна впевненість) або ван Зантен («О, так» без перевірки смуги). Найцінніша клітинка — «впевнено + показує межі»: калібрований майстер, Claude Haiku 4.5 із ECE 0,122. Практичний тест для будь-якої відповіді — три питання бортінженера: «На якому припущенні це тримається? Які дані це спростували б? Наскільки впевнений у відсотках — і чому?» Той, хто відповідає охоче, — лис; той, хто роздратовується, що ви гальмуєте зліт, — їжак із мікрофоном, і це роздратування і є ваша сирена.
Коментарі
Лише для залогінених читачів — щоб лишалось людським, а не болотом ботів.