Hitkalibrálás: a bizonyosság kimondása százalékban

Definíció. A hitkalibrálás az a gyakorlat, hogy egy állítást nem igaz/hamis bináris formában mondunk ki, hanem konfidencia-százalékkal vagy valószínű alternatívák sávjával: nem "a fő gátunk az ismertség", hanem "80%-on vagyok azon, hogy a fő gátunk az ismertség, nem az ár". A keret annie-duke "Wanna bet?" tesztje: ha valaki fogadást ajánl az állításodra, azonnal elkezded átvizsgálni, honnan tudod, amit tudsz. (thinking-in-bets, ch. 2)

Miért kell külön eszköz. Mert a hiteinket rossz sorrendben alakítjuk ki. Nem halljuk → megvizsgáljuk → elhisszük, hanem halljuk → elhisszük → néha, később, ha van időnk, megvizsgáljuk (Gilbert, 1991/1993). A "Wanna bet?" pontosan a kimaradó harmadik lépést kényszeríti ki.

Miért számít marketingben

Ez a wiki epistemic-arrogance és forecasting-limits oldalainak a gyakorlati párja. Azok a problémát írják le (túlbecsüljük, mennyit tudunk; az előrejelzés korlátai); ez az eszközt, ami a napi munkában használható:

• A briefben. Minden állítás mellé konfidencia: "a célcsoport a 25–34-es városi nők — 60%"; "a kategória vásárlási gyakorisága havi 1,2 — 90% (panel-adat)"; "a fő gát az ár — 35%". Ez azonnal megmutatja, hol kell kutatni, és hol nem: a 90%-osra nem költesz, a 35%-osra igen.
• A kampánytervben. A várt eredmény ne pontszám legyen, hanem sáv, és a döntésnek el kell viselnie a sáv rossz szélét is → forecasting-limits, premortem-and-backcasting.
• A hitelesség paradoxona. Duke tétele: aki "80%-on vagyok" formában beszél, hihetőbb, nem hiteltelenebb. Aki 100%-ot állít, azt a hallgató vagy elhiszi vizsgálat nélkül (rossz), vagy nem mer ellentmondani (még rosszabb). A kimondott bizonytalanság meghívás: a hallgató mer információt hozzátenni, mert nem kell azt mondania, hogy "tévedsz".
• A portfólió-matematika. A várható érték csak akkor számolható, ha van valószínűség. Duke nonprofit-esete: egy 100 000 $-os pályázat 25% eséllyel 25 000 $-t ér; egy 50 000 $-os 70%-kal 35 000 $-t — a prioritási sorrend megfordul. Ugyanez a logika a sales pipeline-ra, a pályázatokra, az új termékek portfóliójára.

Bizonyítékok

• Gilbert (1991) összegzése: "People are credulous creatures who find it very easy to believe and very difficult to doubt. In fact, believing is so easy... that it may be more like involuntary comprehension than it is like rational assessment." A kísérletben (Gilbert és mtsai, 1993) színkóddal igaznak/hamisnak jelölt állításokat olvastak az alanyok; időnyomás vagy enyhe figyelemelterelés alatt a hibák egyirányúak voltak: a hamisnak jelölteket is igaznak dolgozták fel.
• Johnson–Seifert (1994). Raktártűzről szóló üzenetsorozat, amely festéket és gázpalackokat említett egy raktárhelyiségben; öt üzenettel később jött a helyesbítés, hogy a helyiség üres volt. Az alanyok ezután is a festék égésével magyarázták a mérgező füstöt. (A sajtóbeli helyreigazítások hiábavalóságának kísérleti alapja.)
• A motivált érvelés kísérleti magja: "They Saw a Game" (Hastorf–Cantril, 1954) és a 60 évvel későbbi replikáció "They Saw a Protest" (Kahan és mtsai, Stanford Law Review, 2012): ugyanaz a videó, más címke → más "látott" tények. → confirmation-bias
• Az okosság ront. West–Meserve–Stanovich (2012): hét torzításból hatnál a kognitívan fejlettebb résztvevőknek nagyobb volt a bias blind spotja; "azok sem voltak jobbak a leküzdésben, akik tudtak a saját torzításaikról". Kahan: azonos adatsor "bőrkrém" címkével → a jobb számolók jobb választ adnak; ugyanaz az adat "fegyvertartás/bűnözés" címkével → a jobb számolók hibáztak többet, a saját oldaluk javára. Duke fordítása: minél okosabb vagy, annál jobb narratívát tudsz építeni a saját hitedhez.
• A kalibrált előrejelzés jobb, mint a szakvélemény. Dreber és mtsai (Stockholm School of Economics) a Reproducibility Project 44 pszichológiai vizsgálatáról: ugyanazok a szakértők hagyományos szakvéleményként 58%-os találati aránnyal jósolták meg a replikációt; pénzzel alátámasztott előrejelzési piacon 71%-kal. → replication-crisis
• Vállalati alkalmazás. Előrejelzési piacot használ (a könyv szerint) a Google, a Microsoft, a General Electric, az Eli Lilly, a Pfizer és a Siemens. Duke magyarázata: "az emberek szívesebben mondják el a véleményüket, ha fogadást lehet nyerni vele, mint ha a szobában ülőkkel kell jóban maradni."
• A "24%" anekdota, ami a definíciót adja. Egy jótékonysági pókertornán Duke bemondta: az egyik kéz 76%-os, a másik 24%-os. A 24%-os nyert. "Annie, you were wrong!" — válasz: "I said that would happen 24% of the time. That's not zero. You got to see part of the 24%." Néhány leosztással később, amikor a 18%-os nyert, ugyanaz a néző kiabálta: "Look, it was the 18%!" — ez a pillanat a kalibrált gondolkodás megtanulása.
• A rossz definíciója Brexit és 2016 után. A bukmékerek nem "tévedtek", amikor a Leave nyert: a bukméker célja az, hogy a két oldalra tett pénz egyenlő legyen, nem az, hogy véleménye legyen. Nate Silver 30–40% esélyt adott Trumpnak a választás előtti héten — ez gyakran bekövetkező esemény. Bármely 0% és 100% közötti előrejelzés önmagában attól nem téves, hogy nem a legvalószínűbb jövő valósult meg.

Hogyan alkalmazd

1. A 0–10 skála. Minden nem triviális állítás után mondd ki a számot: "hetes vagyok rajta" = 70%. Egy hét alatt szokássá válik, és azonnal kiderül, hol van a szervezetben a tudás és hol a szóbeszéd.
2. Ahol nincs jó pont-becslésed, adj sávot. "Valahol 40 és 47 éves kora között halt meg Elvis." A sáv szélessége maga az információ: minél többet tudsz és minél kevesebb benne a szerencse, annál szűkebb.
3. A "Wanna bet?" kérdéslista — ezt futtasd le magadban, mielőtt kimondasz egy erős állítást a briefben vagy a tárgyalón: - Honnan tudom ezt? Kitől? Mikori az információ? - Mennyire bízom a forrásban? Mennyi releváns információm van összesen? - Milyen hasonló dolgokban voltam korábban biztos, ami nem volt igaz? - Mik a többi hihető alternatíva? Mit tud az, aki ezt vitatja, amit én nem? - Mit hagytam ki?
4. Frissítés fokozatban, ne kapcsolóval. "58% voltam, most 46%" érzelmileg olcsó; "azt hittem, igazam van, de tévedtem" drága — ezért nem csináljuk. A százalékos keret azért működik, mert olcsóvá teszi a véleményváltoztatást.
5. A cél a kalibráltság, nem a magabiztosság. Mérd: azokból az állításaidból, amelyekre 80%-ot mondtál, nagyjából 8 a 10-ből váljon be. Ha 10/10, túl óvatos vagy; ha 5/10, túlbecsülöd magad → epistemic-arrogance.
6. Szervezeti szinten: belső előrejelzési piac vagy egyszerű "tippverseny" a kampányok várt eredményéről, névtelenül, a döntés előtt lezárva. Duke adatai szerint ez a formátum olcsóbb és pontosabb, mint a megbeszélés.

Feszültségek

• Taleb (the-black-swan) vs. Duke — a wiki legfontosabb feszültsége ezen az oldalon. A kalibrált valószínűség ott működik, ahol van eloszlás. A pókerben 52 lap van, az esélyek kiszámolhatók — ez a ludus, nem az élet (ludic-fallacy). A negyedik negyedben (fourth-quadrant: bonyolult kifizetés + ismeretlen, vastag farkú eloszlás) a kimondott százalék hamis pontosságot ad, és a hamis pontosság rosszabb, mint a bevallott tudatlanság. Taleb receptje ott nem becslés, hanem kitettség-tervezés (asymmetric-payoffs, barbell-strategy). A wiki álláspontja: használd a kalibrálást ott, ahol van referenciaosztály és bázisráta (reference-class-forecasting) — konverzió, pipeline, pályázat, médiaelérés, kategória-penetráció; ne használd ott, ahol a kimenet Extremistanból való — viralitás, új kategória, startup-kimenet, PR-válság.
• Tetlock árnyalata (epistemic-arrogance). A kalibráció tanulható, de csak ott, ahol van visszacsatolás. Tetlock 27 000 előrejelzése azt is mutatta, hogy a szakértők átlagosan nem jobbak a véletlennél a politikai előrejelzésben — a százalék kimondása ettől még jobb, mint a bináris állítás, mert mérhetővé teszi a tévedést.
• Haidt (the-righteous-mind, moral-matrix) korlátja. Az egyén rossz igazságkereső: az érvelés evolúciósan meggyőzésre, nem igazságkeresésre való. Ebből következik, hogy a kalibrálás önmagában, magányosan gyenge; csoportban működik jól, ahol mások tudják cáfolni az állításodat → truthseeking-pod.
• Goodhart (goodharts-law). Ha a kalibráltságot teljesítményértékelésre használják, a szereplők a könnyen kalibrálható, de érdektelen állításokra fognak fogadni, és kerülik a fontos, bizonytalan kérdéseket. A kalibrálás fejlesztő eszköz, nem KPI.
• Módszertani. A Gilbert-féle hitformálási modell erős és sokszorosan replikált; a Kahan-adatok politikailag érzékeny területről valók, és a hatásméret vitatott; a Dreber-féle piaci kísérlet (58% vs. 71%) egyetlen vizsgálat, kis mintán (44 tanulmány). A vállalati előrejelzési piacokról Duke nem hoz eredményadatot, csak felhasználók listáját.

Kapcsolódó

resulting-and-outcome-bias · luck-vs-skill · truthseeking-pod · premortem-and-backcasting · epistemic-arrogance · forecasting-limits · reference-class-forecasting · fourth-quadrant · ludic-fallacy · confirmation-bias · narrative-fallacy · representativeness-and-base-rates · replication-crisis · moral-matrix · goodharts-law · extremistan-vs-mediocristan · asymmetric-payoffs · barbell-strategy · annie-duke · daniel-kahneman · nassim-taleb · jonathan-haidt · thinking-in-bets · the-black-swan · thinking-fast-and-slow