Goodhartův zákon a kobří efekt (Goodhart’s Law)

Goodhartův zákon říká, že když se z ukazatele stane cíl, přestane být dobrým ukazatelem. Jakmile lidé vědí, že je hodnotí podle čísla, začnou zlepšovat číslo místo věci, kterou mělo měřit. Kobří efekt je jeho blízký příbuzný. Odměna nebo pravidlo, které mělo problém vyřešit, ho nakonec zhorší. V marketingu oba jevy potkáš pokaždé, když metrika roste a byznys stojí.

Zařazení

• Typ jevu: pravidlo o měření a motivaci, za kterým stojí kognitivní zkratka
• Zkreslení, které odhaluje: zaměňujeme číslo za skutečnost, kterou má popisovat
• Mentální oblast: Rozhodovací
• Marketingová funkce: Měření, KPI, řízení týmu
• Nákupní cesta: napříč
• System 1 / System 2: vzniká v System 1, odhalí ho jen System 2

Ve zkratce

• Co to je: číslo, podle kterého se odměňuje, se začne zlepšovat samo o sobě, bez skutečného výsledku.
• Proč to děláme: lidé reagují na to, za co jsou hodnoceni, ne na to, co si autor cíle myslel.
• Kde to potkáš: počty leadů, prokliků, sledujících, článků nebo vyřízených tiketů.
• Jak se mu vyhnout: každou metriku jisti druhou, která hlídá kvalitu, a cíle pravidelně obměňuj.

Příběh ze života

Kobří efekt má jméno podle příběhu z britské Indie. Koloniální správa v Dillí prý vypsala odměnu za každou mrtvou kobru, lidé začali kobry chovat, aby měli co odevzdávat, a když úřady odměnu zrušily, chovatelé hady vypustili. Kober bylo víc než předtím. Ekonom Horst Siebert z příběhu v roce 2001 udělal název knihy Der Kobra-Effekt. Dobové doklady o chovu kober ale nikdo nenašel, takže jde spíš o anekdotu.

Doložený je podobný případ z Hanoje. Francouzská koloniální správa v roce 1902 platila za každou zabitou krysu jeden cent a jako důkaz stačil ocas. Brzy se po městě proháněly živé krysy bez ocasů a za městem vznikly krysí farmy.

Případ podrobně popsal americký historik Michael G. Vann z Kalifornské státní univerzity v Sacramentu. Místo kobřího efektu navrhuje mluvit o krysím, protože ten se opravdu stal.

Moderní verzí je americká banka Wells Fargo. Roky měla cíl prodat každé domácnosti osm produktů a interně ho přiživovala heslem „Going for gr-eight“. V roce 2016 americký úřad pro ochranu spotřebitelů CFPB zjistil, že zaměstnanci otevřeli přes 2 miliony účtů a karet bez vědomí klientů, a dal bance pokutu 100 milionů dolarů.

O rok později banka odhad zvýšila na zhruba 3,5 milionu potenciálně neautorizovaných účtů. Počet produktů na klienta měl ukazovat, jak silný je vztah se zákazníkem. Zaměstnanci pod tlakem dodali číslo a vztah se zákazníky tím poškodili na roky.

Jak Goodhartův zákon funguje

Britský ekonom Charles Goodhart formuloval pravidlo v roce 1975 pro měnovou politiku. V původním znění říká, že každá pozorovaná statistická pravidelnost se zhroutí, jakmile se na ni začne tlačit kvůli řízení. Jinými slovy, číslo, které věrně ukazovalo stav ekonomiky, přestane fungovat ve chvíli, kdy ho centrální banka začne cíleně posouvat.

Antropoložka Marilyn Strathern pravidlo v roce 1997 přepsala do věty, kterou dnes zná každý manažer. Je to právě ta věta z úvodu tohoto hesla, že ukazatel, ze kterého se stane cíl, přestane dobře měřit. Původní ekonomické pozorování tak přeložila do jazyka řízení firem a škol.

Téměř stejný postřeh nezávisle popsal americký sociální psycholog Donald T. Campbell. Jeho Campbellův zákon z roku 1979 říká, že čím víc se kvantitativní sociální ukazatel používá k rozhodování, tím víc podléhá tlaku na zkreslení a tím víc deformuje procesy, které měl sledovat.

Ukazatel funguje, dokud zachycuje vedlejší stopu skutečné práce. Jakmile na něm závisí odměna, lidé hledají nejlevnější cestu, jak ho zvednout, a ta skoro nikdy nevede přes skutečný výsledek. Zlá vůle k tomu potřeba není. Stačí racionální reakce na špatně nastavená pravidla hry.

Kognitivní zkratka sedí u toho, kdo cíle nastavuje. Číslo je konkrétní a hezky se ukazuje na poradě, takže si ho mozek snadno splete s tím, co má popisovat. Graf leadů jde nahoru, tak se nám daří. Tahle záměna je stejný mechanismus, jaký popisuje heuristika, kdy těžkou otázku „roste byznys?“ potichu nahradíme lehčí otázkou „roste číslo?“ a odpovíme na ni s klidným svědomím.

Goodhartův zákon v marketingu

V marketingu je měřitelné skoro všechno, a proto je tu Goodhartův zákon všudypřítomný. Tabulka ukazuje ukazatele, které vídám nejčastěji, jak se dají ošálit a čím je jistit.

Ukazatel jako cíl	Jak se dá ošálit	Čím ho jistit
Počet leadů (MQL)	sbírat kontakty, které nikdy nekoupí	podíl leadů, které se změní v zakázku
Míra prokliku (CTR)	lákavý titulek, který neodpovídá obsahu	čas na stránce a konverze z kliku
Počet článků za měsíc	krátké texty bez hledanosti	kliky z Googlu na článek po 90 dnech
Pozice ve vyhledávání	rankovat na slova, která nikdo nehledá	návštěvy a poptávky z organiky
Počet sledujících	soutěže, koupení fanoušci	dosah a interakce na příspěvek
ROAS v kampaních	cílit jen na lidi, kteří by koupili i tak	inkrementalita, srovnání s kontrolní skupinou
Konverzní poměr	omezit návštěvnost na nejteplejší publikum	tržby a marže celkem

Část užitečných metrik popisuju v článku o marketingových KPI. Ani ty nejsou proti ošálení imunní. Dobře je to vidět u konverzního poměru, který zvedneš i tím, že na web přivedeš méně lidí.

V SEO se Goodhartův zákon projevoval roky. V dobách, kdy vyhledávače hodně vážily opakování klíčových slov, je weby cpaly do textů, a když začaly počítat odkazy, vznikly farmy odkazů. Vyhledávače pak pravidla měnily, aby ošálení přestalo fungovat, a tenhle souboj běží dodnes, jen s jinými metrikami.

Jak se Goodhartovu zákonu bránit

Úplně se mu vyhnout nejde, protože bez čísel se firma řídit nedá. Jde ale ošálení výrazně zdražit.

1. Párové metriky. Ke každému ukazateli kvantity přidej ukazatel kvality. Leady doplní podíl uzavřených zakázek, kliky doplní konverze.
2. Odměňuj výsledek, ne aktivitu. Tým placený za počet kampaní vyrobí kampaně. Tým placený za tržby a marži bude přemýšlet, které kampaně dávají smysl.
3. Sleduj i to, co se neodměňuje. Část čísel sleduj bez vazby na bonus. Na ta nemá nikdo důvod tlačit, a proto ukážou, když se odměňované metriky začnou vzdalovat realitě.
4. Obměňuj cíle. Metrika, která je cílem dlouho, se časem vytěží. Po čase ji vyměň nebo změň způsob výpočtu.
5. Zeptej se, co by udělal cynik. Před zavedením cíle si zkus představit nejlínější způsob, jak ho splnit. Když existuje, někdo ho najde.

Nejlevnější z pěti kroků je ten poslední. Stačí deset minut. Udělej to dřív, než cíl pošleš týmu.

Jak se to potkává s dalšími zkresleními

Goodhartův zákon má blízko k McNamarovu klamu, pojmenovanému podle amerického ministra obrany Roberta McNamary. Sledujeme jen to, co se dá snadno změřit, a co změřit nejde, jako by neexistovalo. Spokojenost zákazníka nebo síla značky v tabulce nejsou, a proto se na nich škrtá jako první, i když právě ony rozhodují o tom, jestli zákazník přijde znovu a jestli tě doporučí dál.

Přidává se klam utopených nákladů. Když firma postaví reporting a odměny kolem jedné metriky, těžko ji opouští, i když už neměří, co měla. Nastavit KPI je proto rozhodnutí na úrovni marketingové strategie, ne jen nastavení dashboardu.

Zajímavé otázky k tématu

Co je Goodhartův zákon?

Pravidlo, podle kterého ukazatel přestane dobře měřit, jakmile se stane cílem. Lidé začnou zlepšovat číslo místo skutečného výsledku.

Co je kobří efekt?

Situace, kdy opatření nebo odměna problém nevyřeší, ale zhorší. Jméno má podle příběhu o odměně za mrtvé kobry v koloniální Indii.

Jak Goodhartův zákon souvisí s KPI?

KPI, na kterém závisí odměna, bývá časem pod tlakem na ošálení. Proto se jistí párovou metrikou kvality a čas od času se obmění.

Jaký je rozdíl mezi Goodhartovým a Campbellovým zákonem?

Popisují stejný jev z různých oborů. Goodhart vyšel z měnové politiky a mluví o tom, že se zhroutí statistická pravidelnost. Campbell vyšel z hodnocení sociálních programů a zdůrazňuje, že ukazatel pod tlakem pokřiví i samotnou činnost, kterou měl sledovat, například učitele, kteří začnou učit na test.

Co je McNamarův klam?

Chyba, kdy rozhodujeme jen podle toho, co jde snadno změřit, a ostatní ignorujeme.