Goodhartov zákon a kobrí efekt (Goodhart’s Law)

Goodhartov zákon hovorí, že keď sa z ukazovateľa stane cieľ, prestane byť dobrým ukazovateľom. Len čo ľudia vedia, že ich hodnotia podľa čísla, začnú zlepšovať číslo namiesto veci, ktorú malo merať. Kobrí efekt je jeho blízky príbuzný. Odmena alebo pravidlo, ktoré malo problém vyriešiť, ho nakoniec zhorší. V marketingu oba javy stretneš zakaždým, keď metrika rastie a biznis stojí.

Zaradenie

• Typ javu: pravidlo o meraní a motivácii, za ktorým stojí kognitívna skratka
• Skreslenie, ktoré odhaľuje: zamieňame číslo za skutočnosť, ktorú má opisovať
• Mentálna oblasť: Rozhodovacia
• Marketingová funkcia: Meranie, KPI, riadenie tímu
• Nákupná cesta: naprieč
• System 1 / System 2: vzniká v System 1, odhalí ho len System 2

V skratke

• Čo to je: číslo, podľa ktorého sa odmeňuje, sa začne zlepšovať samo osebe, bez skutočného výsledku.
• Prečo to robíme: ľudia reagujú na to, za čo sú hodnotení, nie na to, čo si myslel autor cieľa.
• Kde to stretneš: počty leadov, preklikov, sledovateľov, článkov alebo vybavených tiketov.
• Ako sa mu vyhnúť: každú metriku poisti druhou, ktorá stráži kvalitu, a ciele pravidelne obmieňaj.

Príbeh zo života

Kobrí efekt má meno podľa príbehu z britskej Indie. Koloniálna správa v Dillí vraj vypísala odmenu za každú mŕtvu kobru, ľudia začali kobry chovať, aby mali čo odovzdávať, a keď úrady odmenu zrušili, chovatelia hady vypustili. Kobier bolo viac ako predtým. Ekonóm Horst Siebert z príbehu v roku 2001 urobil názov knihy Der Kobra-Effekt. Dobové doklady o chove kobier však nikto nenašiel, takže ide skôr o anekdotu.

Doložený je podobný prípad z Hanoja. Francúzska koloniálna správa v roku 1902 platila za každého zabitého potkana jeden cent a ako dôkaz stačil chvost. Čoskoro sa po meste preháňali živé potkany bez chvostov a za mestom vznikli potkanie farmy.

Prípad podrobne opísal americký historik Michael G. Vann z Kalifornskej štátnej univerzity v Sacramente. Namiesto kobrieho efektu navrhuje hovoriť o potkaniom, pretože ten sa naozaj stal.

Modernou verziou je americká banka Wells Fargo. Roky mala cieľ predať každej domácnosti osem produktov a interne ho živila heslom „Going for gr-eight“. V roku 2016 americký úrad na ochranu spotrebiteľov CFPB zistil, že zamestnanci otvorili viac ako 2 milióny účtov a kariet bez vedomia klientov, a uložil banke pokutu 100 miliónov dolárov.

O rok neskôr banka odhad zvýšila na približne 3,5 milióna potenciálne neautorizovaných účtov. Počet produktov na klienta mal ukazovať, aký silný je vzťah so zákazníkom. Zamestnanci pod tlakom dodali číslo a vzťah so zákazníkmi tým poškodili na roky.

Ako Goodhartov zákon funguje

Britský ekonóm Charles Goodhart sformuloval pravidlo v roku 1975 pre menovú politiku. V pôvodnom znení hovorí, že každá pozorovaná štatistická pravidelnosť sa zrúti, len čo sa na ňu začne tlačiť kvôli riadeniu. Inými slovami, číslo, ktoré verne ukazovalo stav ekonomiky, prestane fungovať vo chvíli, keď ho centrálna banka začne cielene posúvať.

Antropologička Marilyn Strathern pravidlo v roku 1997 prepísala do vety, ktorú dnes pozná každý manažér. Je to práve tá veta z úvodu tohto hesla, že ukazovateľ, z ktorého sa stane cieľ, prestane dobre merať. Pôvodné ekonomické pozorovanie tak preložila do jazyka riadenia firiem a škôl.

Takmer rovnaký postreh nezávisle opísal americký sociálny psychológ Donald T. Campbell. Jeho Campbellov zákon z roku 1979 hovorí, že čím viac sa kvantitatívny sociálny ukazovateľ používa na rozhodovanie, tým viac podlieha tlaku na skreslenie a tým viac deformuje procesy, ktoré mal sledovať.

Ukazovateľ funguje, kým zachytáva vedľajšiu stopu skutočnej práce. Len čo od neho závisí odmena, ľudia hľadajú najlacnejšiu cestu, ako ho zdvihnúť, a tá takmer nikdy nevedie cez skutočný výsledok. Zlá vôľa na to nie je potrebná. Stačí racionálna reakcia na zle nastavené pravidlá hry.

Kognitívna skratka sedí pri tom, kto ciele nastavuje. Číslo je konkrétne a pekne sa ukazuje na porade, takže si ho mozog ľahko pomýli s tým, čo má opisovať. Graf leadov ide hore, tak sa nám darí. Táto zámena je rovnaký mechanizmus, aký opisuje heuristika, keď ťažkú otázku „rastie biznis?“ potichu nahradíme ľahšou otázkou „rastie číslo?“ a odpovieme na ňu s pokojným svedomím.

Goodhartov zákon v marketingu

V marketingu je merateľné takmer všetko, a preto je tu Goodhartov zákon všadeprítomný. Tabuľka ukazuje ukazovatele, ktoré vídam najčastejšie, ako sa dajú oklamať a čím ich poistiť.

Ukazovateľ ako cieľ	Ako sa dá oklamať	Čím ho poistiť
Počet leadov (MQL)	zbierať kontakty, ktoré nikdy nekúpia	podiel leadov, ktoré sa zmenia na zákazku
Miera prekliku (CTR)	lákavý titulok, ktorý nezodpovedá obsahu	čas na stránke a konverzie z prekliku
Počet článkov za mesiac	krátke texty bez hľadanosti	prekliky z Googlu na článok po 90 dňoch
Pozícia vo vyhľadávaní	rankovať na slová, ktoré nikto nehľadá	návštevy a dopyty z organiky
Počet sledovateľov	súťaže, kúpení fanúšikovia	dosah a interakcie na príspevok
ROAS v kampaniach	cieliť len na ľudí, ktorí by kúpili aj tak	inkrementalita, porovnanie s kontrolnou skupinou
Konverzný pomer	obmedziť návštevnosť na najteplejšie publikum	tržby a marža celkovo

Časť užitočných metrík opisujem v článku o marketingových KPI. Ani tie nie sú voči oklamaniu imúnne. Dobre to vidno pri konverznom pomere, ktorý zdvihneš aj tým, že na web privedieš menej ľudí.

V SEO sa Goodhartov zákon prejavoval roky. V časoch, keď vyhľadávače veľmi vážili opakovanie kľúčových slov, ich weby napchávali do textov, a keď začali počítať odkazy, vznikli farmy odkazov. Vyhľadávače potom pravidlá menili, aby oklamanie prestalo fungovať, a tento súboj beží dodnes, len s inými metrikami.

Ako sa brániť Goodhartovmu zákonu

Úplne sa mu vyhnúť nedá, pretože bez čísel sa firma riadiť nedá. Oklamanie sa však dá výrazne predražiť.

1. Párové metriky. Ku každému ukazovateľu kvantity pridaj ukazovateľ kvality. Leady doplní podiel uzavretých zákaziek, prekliky doplnia konverzie.
2. Odmeňuj výsledok, nie aktivitu. Tím platený za počet kampaní vyrobí kampane. Tím platený za tržby a maržu bude premýšľať, ktoré kampane dávajú zmysel.
3. Sleduj aj to, čo sa neodmeňuje. Časť čísel sleduj bez väzby na bonus. Na tie nemá nikto dôvod tlačiť, a preto ukážu, keď sa odmeňované metriky začnú vzďaľovať realite.
4. Obmieňaj ciele. Metrika, ktorá je cieľom dlho, sa časom vyťaží. Po čase ju vymeň alebo zmeň spôsob výpočtu.
5. Opýtaj sa, čo by urobil cynik. Pred zavedením cieľa si skús predstaviť najlenivejší spôsob, ako ho splniť. Ak existuje, niekto ho nájde.

Najlacnejší z piatich krokov je ten posledný. Stačí desať minút. Urob to skôr, ako cieľ pošleš tímu.

Ako sa to stretáva s ďalšími skresleniami

Goodhartov zákon má blízko k McNamarovmu klamu, pomenovanému podľa amerického ministra obrany Roberta McNamaru. Sledujeme len to, čo sa dá ľahko zmerať, a čo zmerať nejde, akoby neexistovalo. Spokojnosť zákazníka ani sila značky v tabuľke nie sú, a preto sa na nich škrtá ako prvé, hoci práve ony rozhodujú o tom, či zákazník príde znova a či ťa odporučí ďalej.

Pridáva sa klam utopených nákladov. Keď firma postaví reporting a odmeny okolo jednej metriky, ťažko ju opúšťa, aj keď už nemeria, čo mala. Nastaviť KPI je preto rozhodnutie na úrovni marketingovej stratégie, nie len nastavenie dashboardu.

Zaujímavé otázky k téme

Čo je Goodhartov zákon?

Pravidlo, podľa ktorého ukazovateľ prestane dobre merať, len čo sa stane cieľom. Ľudia začnú zlepšovať číslo namiesto skutočného výsledku.

Čo je kobrí efekt?

Situácia, keď opatrenie alebo odmena problém nevyrieši, ale zhorší. Meno má podľa príbehu o odmene za mŕtve kobry v koloniálnej Indii.

Ako Goodhartov zákon súvisí s KPI?

KPI, od ktorého závisí odmena, býva časom pod tlakom na oklamanie. Preto sa poisťuje párovou metrikou kvality a z času na čas sa obmení.

Aký je rozdiel medzi Goodhartovým a Campbellovým zákonom?

Opisujú rovnaký jav z rôznych odborov. Goodhart vyšiel z menovej politiky a hovorí o tom, že sa zrúti štatistická pravidelnosť. Campbell vyšiel z hodnotenia sociálnych programov a zdôrazňuje, že ukazovateľ pod tlakom pokriví aj samotnú činnosť, ktorú mal sledovať, napríklad učiteľov, ktorí začnú učiť na test.

Čo je McNamarov klam?

Chyba, keď rozhodujeme len podľa toho, čo sa dá ľahko zmerať, a ostatné ignorujeme.