Goodhart на дашборді: 3,5 млн фіктивних рахунків Wells Fargo при зелених метриках — чому lagging-показники ховають гниття
Дашборд не бреше — він просто звітує про лампочку, а не про запах. Чому lagging-метрика ховає гниль: Goodhart-пастка, watermelon-метрики і як нюхати задню полицю, поки цвіль не дійшла до звіту.
Понеділок, 09:10. Перший день після відпустки — ти відчиняєш робочий дашборд із тією легкою надією, з якою люди зазирають у холодильник після двох тижнів відсутності: раптом усередині порядок. Графіки бадьорі. Усе зелене. Стрілочки вгору там, де мали бути вгору. Ти видихаєш і йдеш по каву.
І тільки коли відчиняєш Slack-канал підтримки, тебе вдаряє той самий запах, що з холодильника: солодкувато-тухлий, ні з чим не сплутаєш. Клієнт, якого «вели», пішов дев'ять днів тому. Але churn оновлюється раз на місяць. Дашборд зелений, бо цвіль ще не дійшла до тих полиць, які ти моніториш. Ти стоїш із відчиненими дверцятами і не хочеш чіпати кришечку.
Дашборд не збрехав. Він чесно показав те єдине, що вміє: лампочку «температура в нормі» на дверцятах. Те, що на задній полиці давно здулося й позеленіло — поза його юрисдикцією. І ось у цьому розриві — між «дашборд правий» і «холодильник тхне» — живе вся стаття.
Запах приходить пізніше, ніж смерть
Мерилін Стратерн, антропологиня, сформулювала закон точніше за більшість економістів: коли міра стає ціллю, вона перестає бути доброю мірою. Дослідники Банку Англії повісили цей ефект на ім'я Чарльза Гудгарта — але справа не лише в тому, що люди накручують показник. Є тихіший убивця, без злого наміру: лаг.
Назви його на ім'я: Бракер за розкладом. Бракераж — планове списання зіпсованого товару, і він приходить завжди вчасно — за графіком, раз на місяць, із бланком акту напоготові. Він фахово ставить штамп «непридатне», виписує акт списання, датує його сьогоднішнім числом. Одне «але»: партія зіпсувалась три тижні тому, поки він чекав планового обходу. Виручка місяця видна наступного місяця. NPS квартальний показує настрій клієнта, який уже підписав контракт із конкурентом. Churn оновлюється, коли відписка вже відбулась. Ти бачиш пожежу не тоді, коли вона почалась, — а коли дим уже в коридорі й хтось кашляє.
Різниця з накруткою тонка, але вона все міняє. Накручену метрику хтось свідомо тримає подалі від гарячки — це шахрайство. Lagging-метрику ніхто не чіпає брудними руками. Вона просто фізично не встигає. Чесна, точна, запізніла — найнебезпечніший тип брехні, бо в ній неможливо нікого звинуватити.
Ось як виглядає та «окрема хвороба» у найчистішому вигляді — суд це вже підтвердив. Wells Fargo, США: ціль «eight is great» вимагала вісім фінансових продуктів на клієнта — від депозитного рахунку до кредитки. Персонал під загрозою звільнення почав відкривати рахунки, яких ніхто не замовляв: переводили копійки між існуючими й новими рахунками, щоб ті виглядали «активними», оформлювали кредитки без відома власника. Оцінка 2016 року — 1,53 млн фіктивних депозитних рахунків і 565 тисяч кредиток; перерахунок 2017-го підняв цифру до 3,5 млн. Метрика «продуктів на клієнта» показувала точно те, чого від неї хотіли, — стабільне зростання. Перші регуляторні штрафи ($185 млн, вересень 2016) прозвучали як застереження; ринок їх майже не помітив. У лютому 2020-го банк заплатив уже $3 млрд Мін'юсту й SEC; CEO Джон Стампф позбувся $41 млн невиплачених акцій і отримав довічну заборону працювати в банківській галузі. Це не лаг і не милосердна затримка звіту. Це метрика, яку зробили ціллю настільки буквально, що організація почала виробляти цифру замість продукту.
Той самий трюк стояв на порядку денному ще 1902 року — тільки замість акаунтів рахували хвости. Французька колоніальна адміністрація Ханоя платила мисливцям за кожен зданий щурячий хвіст: боролись із чумою, ціль проста — менше хвостів, менше щурів. Мисливці порахували швидше за адміністрацію: відрізати хвіст і відпустити щура розмножуватись вигідніше, ніж убити його раз і назавжди. За кілька тижнів виникли цілі щуроферми на околицях міста, що вирощували гризунів спеціально заради хвостів, і контрабандний потік щурів із довколишніх провінцій до Ханоя — на здачу. Історик Майкл Ванн, який відкопав цю історію в колоніальних архівах Екс-ан-Прованса, задокументував обидва механізми — «Of Rats, Rice, and Race» (2003), пізніше графічна історія «The Great Hanoi Rat Hunt» (у співавторстві з ілюстраторкою Ліз Кларк, 2018). Хвостів здавали рекордну кількість щодня. Щурів у Ханої після кампанії стало більше, ніж до неї.
Інспектор, що нюхає табличку, а не контейнер
Уяви інспектора. Назвемо його Митник смаку з дашбордом. Він приходить до «зразкового закладу», виймає планшет і перевіряє: температура на табличці — в нормі. Лампочка горить зеленим. Печатка «придатне», і він іде пити каву з тим самим бракером.
Він не лінується. Не корумпований. Не дурний. Він просто звітує про лампочку — а не про запах. Звіт технічно бездоганний: температура справді в нормі. Але за пластиковою кришечкою в глибині лежить те, що колись було стратегією зростання — і вже місяць тихо вчить решту полиць своєму запаху.
Він не відчиняє холодильника, бо його KPI — звірити показник на табличці. Відчинити дверцята й понюхати — це вже «ініціатива», якої ніхто не просив. За ініціативу бонусу не дають. За зайвий нюх — отримуєш зайву роботу. Митник смаку — раціональна людина: він робить рівно те, за що платять, і ні нюхом більше.
У більшості компаній є такий Митник. Іноді він — ціла рада директорів, що на квартальному ревʼю звіряє лампочки й розходиться. Іноді він — ти, у п'ятницю, коли дашборд зелений і дуже не хочеться чіпати ту кришечку. Лампочка не бреше: цвіль просто ще не дійшла до тих полиць, на які дивиться його планшет.
NHS дає цьому Митнику офіційну посаду. Ціль англійських приймальних відділень — 95% пацієнтів отримують допомогу, переведення чи виписку протягом чотирьох годин, і годинник цілі стартує лише в момент офіційного «прийому». Задокументовано два способи це обійти: карети швидкої тримали пацієнтів усередині, під дверима приймального, поки персонал не був готовий оформити прийом (лікарням довелося окремо заборонити цю практику 2012 року), і переведення частини пацієнтів у статистично «інші» підрозділи лікарні, де час їх очікування вже не рахується в ціль. В обох випадках ціль виконана, лампочка зелена — а пацієнт як чекав, так і чекає, просто в іншій системі координат обліку. Систему довелось латати новою ціллю — окремим нормативом на передачу пацієнта від швидкої персоналу приймального (30 і 15 хвилин), бо стара мітка «прийнято» сама стала предметом гри.
Кавун: зовні зелено, всередині — не питай
У delivery- і agile-цехах для цього є прізвисько: watermelon metrics — метрики-кавуни. Зовні зелені. Розрізаєш — усередині червоне. Практикери знають цей жарт не з підручника, а з тих стендапів, де «velocity в нормі» сказали за тиждень до того, як реліз поповз удвічі довше.
Кавун завжди влаштований однаково: показник зелений саме тому, що міряє вчорашнє. Velocity команди в нормі — а технічний борг за два квартали вистрілить у строки. Закритих тікетів рекорд — а нові відкриваються вдвічі швидше. Customer satisfaction чудовий — бо його зняли після першої взаємодії, а не через рік. Кожен кавун — це лампочка на дверцятах, що звітує про передню полицю, поки задня береться кіркою.
| Метрика (зелена на дашборді) | Що тхне на задній полиці | Лаг до запаху |
|---|---|---|
| Місячний churn 2% | Клієнти «планують піти» вже 3+ міс., просто ще не натиснули «скасувати» | 1–4 місяці |
| NPS 52 (квартальний) | Промоутери 3-місячної давнини — вже не промоутери | 1 квартал |
| Виручка ↑ 12% MoM | Зростання на одноразових угодах; повторних — спад | 2–3 квартали |
| Velocity команди норма | Технічний борг росте; наступний реліз — удвічі довше | 6–12 місяців |
| Заявки в підтримку ↓ 15% | Клієнти перестали писати — бо перестали вірити, що відповідять | Видно вже зараз у Slack |
Останній рядок — найдорожчий, бо в ньому лаг нульовий, а читають його навиворіт. Менше заявок нетренований погляд читає як «менше проблем». Досвідчений ніс чує інше: вони не пишуть, бо вже не чекають відповіді. Це тиша перед відтоком, а не тиша задоволення. Між цими двома тишами — один запах, і вся різниця в тому, чи ти вмієш його розрізнити.
Що вмирає між двома замірами
Ось що насправді відбувається в проміжку, який дашборд не бачить узагалі. Між першим і другим заміром churn клієнт має дев'ять точок контакту з продуктом. Проміжок — це окремий антагоніст, найтихіший: він нічого не показує, бо за визначенням живе в сліпій зоні між двома лампочками.
П'ять із тих дев'яти точок — дрібна фрустрація, яку клієнт не виніс у підтримку, бо «та ладно». Дві — моменти, коли він відкрив вкладку конкурента й закрив, бо поки не готовий міняти. Одна — фраза колезі «ну, воно ок, але…». І одна — тихе «після кварталу передивлюся підписку». Жодна з дев'яти не потрапила в дашборд. Вони існують тільки в голові клієнта й між рядків Slack-каналу, який ніхто не нюхає.
А через місяць у churn-метриці з'явиться один новий мінус. І вся команда шукатиме, «що пішло не так у жовтні», не розуміючи, що тіло охололо ще в серпні.
Між замірами вмирає довіра. Без виразних симптомів, по краплині — доки не здується кришечка. А на дашборді в цей час чесний нуль: цвіль ще не дійшла до тих полиць, які він уміє рахувати.
Лікар, що читає одну цифру замість пацієнта
Тут стіл займає Внутрішній головний лікар — той, що бачить пацієнта з тиском 130/85 і каже «в нормі, не критично», бо цифра в зеленому коридорі. Через рік — інсульт. Не тому що некомпетентний. Тому що 130/85 — це теж lagging indicator: він уже показує напрямок, але ще не вийшов за межу, на яку реагує протокол. Leading indicator — те, що пацієнт їсть, скільки спить, чи живе в хронічному стресі. Ці дані не вміщаються в один зелений показник. Їх треба питати, нюхати, рахувати руками й окремо.
І ось де бізнес страшніший за тіло. Серце хоч попереджає: нерегулярний пульс, задишка, головний біль до інсульту. Churn не попереджає. Він мовчить до самого дня відписки — а потім просто з'являється в таблиці, рівним рядком, без жодного крику.
Через це зелений дашборд має щоразу відповідати на питання, яке задають рідко: не «чи є тут проблема», а «де вона зараз, якщо я її не бачу?». Перше питання ставить турист. Друге — той, хто справді відчиняє холодильник.
Зелений колір як знеболювальне
Є шар, який не виносять на планерки: ми хочемо, щоб дашборд був зеленим. Не щоб обманути когось іншого — щоб обманути Внутрішнього прес-секретаря, який сидить у голові й щодня готує тобі заспокійливий брифінг. Зелений колір — це його прес-реліз: дозвіл не думати про складне сьогодні.
Психологи звуть це motivated reasoning — мотивована раціоналізація: аргументи підбираються під зручний висновок, не під реальність. На дашборді це виглядає буквально. Червоний сигнал? Прес-секретар умить знаходить три причини, чому «цей місяць нетиповий». Зелений сигнал не вимагає взагалі нічого. Зелений просто є — і ти йдеш далі з чистою совістю, яку тобі щойно видали безкоштовно.
Саме тому метрику, видану один раз і повішену в рамочку, варто читати як санпаспорт холодильника: документ свіжий, печатка є, оселедець у глибині — ні. Папірець завжди молодший за те, що він засвідчує.
І так, накрутка живе й поза судовими хроніками, у побутових дозах — менеджер, що вкладає все в перший дзвінок, бо NPS міряють після нього; команда, що дробить задачі заради velocity. Але це окрема хвороба, з власним прокурором — ми бачили його рахунки вище. Тут на столі тихіша: навіть абсолютно чесна метрика бреше, якщо ти забув, що вона показує позавчора, а вирішуєш ти сьогодні.
Яку задню полицю ти відчиняв минулого тижня?
Не ту, що зверху. Не ту, де лежить квартальний звіт. Не ту, де чисто й пахне добре.
Яку задню полицю ти відчиняв минулого тижня?
Якщо відповідь «не пам'ятаю» — це і є відповідь. Задні полиці не відчиняють, коли все зелене. Їх відчиняють за графіком, незалежно від кольору лампочки. Бо запах з'являється не тоді, коли ти зібрався нюхати, — а тоді, коли вже є чому смердіти, і зазвичай задовго до того.
Fridge-back audit: нюхати руками, поки не дійшло до звіту
Магічного інструменту тут немає. Є дисципліна відчиняти не той звіт, що зверху, — а той, що в глибині. Раз на тиждень відчиняй НЕ головний дашборд, а три задні полиці:
- Leading-сигнал із довгим лагом. Що показує зміну поведінки клієнта сьогодні, а не факт відходу через місяць? Частота логінів, глибина використання фіч, час до першого «успіху» в продукті. Навпроти кожного — дві колонки: «коли реально оновлювалось?» проти «що показує дашборд?». Дельта між ними і є твій лаг.
- Тиша як сигнал. Де стало тихіше, ніж мало бути? Клієнт не пише, команда не ескалює, зустріч пройшла «без питань». Тиша — не знак спокою. Найчастіше це знак, що люди перестали очікувати відповіді й вирішують уже без тебе.
- Запах під кришечкою. Що ти не перевіряв три місяці, бо «в нормі»? Технічний борг. Моральний стан команди. Незакритий борг довіри з ключовим клієнтом. Контракт, де наступне ревʼю «десь у грудні».
Правило одне: будь-яку зелену метрику з місячним чи квартальним лагом нюхай вручну раз на тиждень. Поки запах не дійшов до дашборду — він уже дійшов до клієнта.
Це не приватна параноя одного менеджера — це можна вшити в операційку компанії. Колишні топ-менеджери Amazon Колін Браяр і Білл Карр описали в книзі «Working Backwards» (2021), як компанія називає свою версію цього: controllable input metrics. Замість того щоб дивитись тільки на виручку (лагова, з тижневим чи місячним зсувом), команда щотижня звітує про те, що контролює безпосередньо, — асортимент, ціну, швидкість доставки, рівень запасів. Логіка проста: на output вплинути напряму не можна, тільки через input, а input видно вже сьогодні, не через квартал. Ритуал зветься Weekly Business Review: та сама команда щотижня переглядає той самий «дек» метрик і мусить пояснити кожне відхилення від очікуваного — на будь-якому рівні компанії, від окремої команди до всієї корпорації. Це і є фабрична версія «відчинити задню полицю» — тільки замість людини з носом тут процес, який змушує нюхати щотижня, за розкладом, а не тоді, коли вже тхне.
І пастка самого методу: Fridge-back audit легко перетворити на новий ритуал самозаспокоєння — провів, галочку поставив, наступного тижня те саме. Відчинити холодильник, унюхати тухле й закрити дверцята — це не аудит. Це туризм із поганим запахом. Аудит починається з наступного питання: «і що я роблю з тим, що знайшов, до кінця цього тижня?».
Зелено — не значить добре. Просто ще не дійшло
Протиотрути від дашбордів немає, та й не треба. Без агрегованих lagging-метрик неможливо порівняти квартали, захистити бюджет, поговорити з інвестором. Питання не «викинути метрики» — питання в тому, кого ти ставиш між ними й реальністю. Якщо нікого — між тобою і гниллю стоїть лише колір.
Понеділок, 09:10. Дашборд зелений. Тепер ти знаєш, як це читати: цвіль ще не дійшла до тих полиць, які ти моніториш. Ключове слово — «ще». Бракер за розкладом уже виїхав, просто застрягне в дорозі рівно на один звітний період.
Поки ти милуєшся білими дверцятами звіту, у глибині холодильника щось уже не псується. Воно вже зіпсувалось — і тихо вчить решту полиць своєму запаху.
Не звіряй лампочку. Відчини кришечку.
Питання та відповіді
Чому навіть чесна метрика може ховати гниль, якщо ніхто її не накручує?
Бо в неї вбудований лаг. Lagging-метрика фіксує те, що вже сталося: churn оновлюється раз на місяць, NPS — раз на квартал, виручка — за звітний період. Вона точна — і саме тому небезпечна: констатує смерть бездоганно, але приходить за розкладом, коли тіло вже охололо. Це окрема хвороба від свідомої накрутки (коли показник годують, щоб був зеленим). Тут ніхто не бреше — метрика просто фізично не встигає, а рішення ти ухвалюєш сьогодні за даними позавчора. Загальний закон сформулювала антропологиня Мерилін Стратерн (1997): коли міра стає ціллю, вона перестає бути доброю мірою — формулювання часто помилково приписують Чарльзу Гудгарту.
Чим lagging indicator відрізняється від leading indicator?
Lagging indicator — відстаюча метрика, яка фіксує те, що вже сталося: місячний churn, квартальний NPS, виручка за звітний період. Вона точна, але запізнена — ти бачиш пожежу, коли дим уже в коридорі. Leading indicator — випереджальний сигнал, що змінюється раніше за результат: частота логінів клієнта, глибина використання фіч, час до першого успіху в продукті. Більшість стандартних дашбордів збудовані переважно на lagging-метриках, бо їх легше рахувати.
Що таке «watermelon-метрика» і як її розпізнати?
Watermelon metric — «метрика-кавун»: зовні зелена, всередині червона. Термін фіксує, зокрема, PMI у звіті Pulse of the Profession (2014) як «status watermelon». Приклад: velocity команди в нормі, але технічний борг накопичується і за два квартали вистрілить у продуктивність. Або NPS чудовий — бо вимірюється після першої взаємодії, а не через рік. Розпізнати: якщо метрика ніколи не буває червоною — або система ідеальна, або показник накручується. Частіше друге.
Як виглядає Fridge-back audit і навіщо він потрібен?
Fridge-back audit — тижнева практика перевірки «задніх полиць» замість головного дашборду. Три зони: leading-сигнали з довгим лагом (частота логінів, глибина фіч), «тиша» як сигнал (де стало менше ескалацій і питань — не тому що добре, а тому що перестали очікувати відповіді), і те, що не перевірялось три місяці «бо в нормі». Правило: будь-яку зелену метрику з місячним лагом нюхай вручну раз на тиждень.
Що робити, якщо в організації вже сформувалась культура «зелено — значить добре»?
Стілмен для опонентів: дашборди дійсно потрібні — без lagging-метрик неможливо порівнювати квартали й захищати бюджет. Проблема не в метриках, а в тому, що між ними і реальністю зникла людина, яка нюхає. Перший крок — не перебудова системи, а зміна одного ритуалу: раз на тиждень хтось відповідальний відчиняє не топ-дашборд, а три «задні полиці» і зобов'язаний назвати хоч один сигнал, якого там немає, але мав бути. Якщо таких сигналів не знаходять — це теж сигнал.
Коментарі
Лише для залогінених читачів — щоб лишалось людським, а не болотом ботів.