Hawthornský efekt (Hawthorne Effect)

Hawthornský efekt (anglicky Hawthorne effect) opisuje, ako ľudia menia svoje správanie, keď vedia, že ich niekto sleduje alebo meria. Pracujú starostlivejšie a dodržiavajú pravidlá, ktoré inokedy obchádzajú. Názov má podľa továrne Hawthorne Works pri Chicagu, kde sa v 20. rokoch skúmalo, ako svetlo ovplyvňuje výkon robotníčok. Pre marketéra je to tichý zdroj chýb v používateľskom teste, ankete, focus group alebo hodnotení obchodného tímu. Dáta z pozorovania potom ukazujú správanie pod dohľadom, nie to bežné.

Zaradenie

• Typ javu: jav v správaní a výskumný artefakt, ktorý skresľuje meranie
• Skreslenie, ktoré odhaľuje: považujeme správanie pod dohľadom za bežné správanie
• Mentálna oblasť: Sociálna
• Marketingová funkcia: Výskum zákazníkov, meranie tímu
• Nákupná cesta: naprieč, hlavne výskum a starostlivosť o zákazníkov
• System 1 / System 2: System 1 (rýchly, automatický)

V skratke

• Čo to je: ľudia sa správajú inak, keď vedia, že sú pozorovaní alebo súčasťou štúdie.
• Prečo na tom záleží: výsledky výskumu a merania potom opisujú chvíľu, keď sa niekto pozerá, a ty z nich plánuješ celý rok.
• Kde to stretneš: používateľské testovanie, ankety a focus groups, A/B testy nových funkcií, KPI tímu a mystery shopping.
• Ako sa mu vyhnúť: doplň pozorovanie anonymnými dátami o bežnom správaní a porovnávaj s kontrolnou skupinou.

Príbeh zo života

Hawthorne Works stála v meste Cicero na okraji Chicaga. Vyrábala telefóny a ústredne pre Bell System a v roku 1929 v nej podľa Baker Library na Harvarde pracovalo vyše 40 000 ľudí. V rokoch 1924 až 1927 tu inžinieri v troch oddeleniach menili osvetlenie a sledovali, koľko relé a cievok robotníčky zvládnu. Jasnú súvislosť medzi svetlom a výkonom podľa dobových správ nenašli.

Od roku 1927 sa pokračovalo v miestnosti na montáž relé, kde pracovalo päť žien oddelene od ostatných. Výskumníci im upravovali prestávky a dĺžku pracovného času. Výkon rástol, lenže v malej skupine, ktorá mala vlastnú miestnosť a neustálu pozornosť výskumníkov aj vedenia, nikto nedokázal povedať, ktorá z úprav vlastne zabrala.

Z prác Eltona Maya z Harvard Business School sa potom ujal výklad, že viac než podmienky rozhoduje pozornosť a pocit, že na ľuďoch záleží. Jeho tím v rokoch 1928 až 1930 navyše viedol vyše 21 000 rozhovorov so zamestnancami.

Názov efektu prišiel až neskôr. Rozšíril ho sociológ Henry Landsberger v knihe Hawthorne Revisited, ktorú v roku 1958 vydala Cornell University. Podľa prehľadu Jima McCambridgea a kolegov sa termín prvýkrát objavil už v učebnici metodológie z roku 1953, takže autorstvo je sporné.

Ako hawthornský efekt funguje

Bežné vysvetlenie ide v krokoch. Človek vie, že ho niekto sleduje. Začne si domýšľať, čo od neho pozorovateľ čaká, a potom sa tomu prispôsobí, pretože chce vyzerať dobre. Prehľad McCambridgea a kol. v Journal of Clinical Epidemiology tento mechanizmus opisuje ako spojenie konformity a snahy pôsobiť spoločensky žiaducim dojmom.

Najnázornejšie čísla pochádzajú z nemocnice. Stefan Hagel a kolegovia na jednotke intenzívnej starostlivosti s 24 lôžkami porovnali priame pozorovanie s elektronickými dávkovačmi dezinfekcie. Keď v miestnosti stál študent s formulárom, personál si dezinfikoval ruky 21-krát za hodinu, ale v hodinách, keď počty zapisovali len dávkovače na stene a nikto sa nepozeral, to bolo iba 8-krát.

Štúdia vyšla v roku 2015 v Infection Control & Hospital Epidemiology a porovnávala 96 hodín s pozorovateľom a 288 hodín bez neho, keď dávkovače zaznamenali dovedna 4 180 dezinfekcií, a prítomnosť pozorovateľa podľa autorov vysvetlila 61 % rozdielov v počte dezinfekcií medzi jednotlivými úsekmi zmeny.

Príbuzný je placebo efekt. V oboch prípadoch mení výsledok očakávanie, pri placebe od liečby, tu od pozorovateľa.

Hawthornský efekt v marketingu

Marketing žije z dát o správaní ľudí a veľkú časť z nich zbiera tak, že ľudia o meraní vedia. Všade tam sa môže hawthornský efekt votrieť.

1. Používateľské testovanie. Účastník, ktorého sleduje moderátor, prejde košíkom trpezlivejšie než doma na mobile. Nahrávka relácie, o ktorej návštevník v tej chvíli nevie, pretože súhlas dal raz v cookie lište, často ukáže viac zaváhaní a odchodov. Pri UX audite preto moderované testy dopĺňam nahrávkami skutočných relácií a analytikou.
2. Ankety a focus groups. Respondent odpovedá tak, ako si myslí, že sa patrí. Odpoveď „určite by som si to kúpil“ stojí málo, nákup stojí peniaze, takže rozhodujú tvrdé dáta o nákupoch.
3. A/B testy nových funkcií. Nová vec môže pritiahnuť pozornosť hlavne tým, že je nová. Tím Microsoftu okolo Soheila Sadeghiho opísal efekt novosti ako záujem, ktorý časom slabne, takže krátky test nadhodnotí prínos.
4. Meranie tímu a KPI. Keď obchodníci vedia, že sa od pondelka sledujú hovory, čísla môžu vyskočiť. Keď sa po pár týždňoch vrátia späť a firma si medzitým do prezentácie pre vedenie zapíše úspech nového systému a podľa neho rozhodne o odmenách, zaplatí bonusy za samotné pozorovanie.
5. Mystery shopping. Keď predavač o programe vie alebo fiktívneho zákazníka spozná, obslúži ho starostlivejšie než ostatných. Hodnotíš potom jeho výkon vo chvíli, keď je v strehu, a bežný piatok popoludní v reporte chýba.

Spoločný je jeden problém. Keď samotné meranie mení správanie ľudí, ktorých meriaš, a ty o tom nevieš alebo to v reporte nespomenieš, potrebuješ druhý zdroj dát, ktorý nevzniká pod dohľadom, inak nemáš s čím výsledok z testu porovnať.

Čo z pôvodnej štúdie zostalo

Podľa legendy z učebníc manažmentu rástol výkon robotníčok pri každej zmene svetla, aj keď sa svietilo menej. Ekonómovia Steven Levitt a John List pôvodné dáta dohľadali na mikrofišoch v knižnici v Milwaukee a v zabudnutom archíve v Bostone. V roku 2011 ich rozobrali v American Economic Journal: Applied Economics a ukázali, že pôvodné čísla vzorce opísané v učebniciach neobsahujú. Skok výkonu po každej zmene svetla v nich nie je.

Niečo v nich predsa je. V prvom roku výkon v testovaných oddeleniach stúpol asi o 10 %, zatiaľ čo celá továreň rástla o 1,4 % ročne. Neskoršie výkyvy však sedia skôr na sezónu, pretože v lete klesal výkon vo všetkých miestnostiach vrátane tých, kde sa už nič neskúmalo. Časť nárastu tak vysvetlí sezóna a Levitt a List hovoria len o náznakoch jemnejšieho efektu.

Systematický prehľad McCambridgea, Wittona a Elbournovej z roku 2014 vybral 19 štúdií navrhnutých priamo na meranie efektu, z toho 8 randomizovaných. Výsledky sú nejednotné, väčšina nejaký vplyv zistila, lenže štúdie sa líšili metódou aj tým, čo vlastne merali, a 18 z nich pochádzalo zo zdravotníctva, takže veľkosť efektu pre firmu alebo e-shop z nich vypočítať nejde. Autori zhŕňajú, že účasť vo výskume správanie mení, ale za akých podmienok a ako veľmi, nevieme.

Ako sa hawthornskému efektu brániť

Efekt nevypneš, pretože ľudia o meraní často vedieť musia, či už kvôli súhlasu s nahrávaním, alebo preto, že bez ich spolupráce žiadny test ani rozhovor neurobíš. Ide skôr o to, aby si dáta z pozorovania nebral ako jediný zdroj pravdy.

1. Doplň pozorovanie dátami o bežnom správaní. Analytika a dáta z nákupov ukazujú, čo ľudia robia bez moderátora, a test k tomu pridá dôvody. Drž sa pritom súhlasu podľa GDPR a pracuj s anonymizovanými alebo agregovanými dátami, konkrétnych ľudí nesleduj.
2. Nechaj testy bežať dlhšie. A/B test novej funkcie sleduj aspoň niekoľko týždňov a pozeraj sa, či rozdiel neslabne. Rozhoduj podľa konverzného pomeru až vo chvíli, keď sa ustáli.
3. Maj kontrolnú skupinu. Keď zavádzaš nové KPI v jednom tíme, porovnaj ho s tímom, kde sa nič nezmenilo. Bez toho nespoznáš, či zabral systém, alebo len pozornosť.
4. Pýtaj sa na to, čo ľudia už urobili. „Kedy ste naposledy nakupovali“ dá úprimnejšiu odpoveď než „kúpili by ste“.
5. Opakuj meranie po odznení. Mystery shopping alebo hodnotenie obsluhy zopakuj s odstupom a v dňoch, keď ho nikto nečaká.

Výsledky výskumu potom zapracuj do marketingovej stratégie s poznámkou, za akých podmienok vznikli. Kto bude plán čítať o pol roka, aspoň uvidí, čo bolo merané pod dohľadom.

Ako sa to stretáva s ďalšími skresleniami

Hawthornský efekt má veľa spoločného s Pygmalionovým efektom. Tam mení výkon očakávanie šéfa alebo učiteľa, tu samotný pocit, že sa niekto pozerá. Často idú ruka v ruke, pretože pozorovateľ zvyčajne nejaké očakávanie má a ľudia ho vycítia.

Pridáva sa aj tlak skupiny, ktorý ukázal Aschov experiment. Ľudia pod dohľadom ostatných odpovedali proti vlastným očiam. Časť z nich podľa rozhovorov po pokuse len nechcela vybočiť, časť skupine naozaj uverila.

A stanfordský väzenský experiment dnes kritici čítajú aj tak, že účastníci hrali rolu, ktorú podľa nich výskumníci čakali. Thibault Le Texier to v roku 2019 doložil v American Psychologist z archívu a rozhovorov s 15 účastníkmi, čo je rovnaká pasca, akú McCambridge opisuje pri hawthornskom efekte.

Zaujímavé otázky k téme

Čo je hawthornský efekt?

Zmena správania ľudí, ktorí vedia, že ich niekto pozoruje alebo meria. Zvyčajne pracujú dôkladnejšie alebo odpovedajú tak, ako si myslia, že sa od nich očakáva.

Prečo sa volá hawthornský?

Podľa továrne Hawthorne Works firmy Western Electric v meste Cicero pri Chicagu, kde sa v rokoch 1924 až 1933 skúmal výkon robotníkov.

Existuje hawthornský efekt naozaj?

Účasť vo výskume správanie mení, to potvrdzuje prehľad 19 štúdií z roku 2014. Slávny príbeh o svetle v továrni však preskúmanie pôvodných dát z roku 2011 nepotvrdilo a veľkosť efektu nikto spoľahlivo nezmeral.

Ako hawthornský efekt ovplyvňuje A/B testy?

Nová funkcia pritiahne pozornosť, pretože je nová, a krátky test ukáže väčší prínos, než aký vydrží. Preto sa testy nechávajú bežať dlhšie a sleduje sa, či rozdiel neslabne.

Aký je rozdiel medzi hawthornským a placebo efektom?

Pri placebe mení výsledok očakávanie od liečby. Pri hawthornskom efekte je to vedomie, že ťa niekto sleduje.