Tervezési tévedés, belső és külső nézet

Definíció (Kahneman–Tversky). A tervezési tévedés olyan terv vagy előrejelzés, amely (1) irreálisan közel van a legjobb esethez, és (2) javítható lenne hasonló esetek statisztikájának megnézésével. (Thinking, Fast and Slow, 23. fej.)

Ez a wiki forecasting-limits oldalának emberi oldala: ott a jóslás strukturális korlátairól van szó (Popper, Poincaré, Hayek), itt arról a hibáról, amit meg lehet javítani — olcsón.

Az alapeset: Kahneman saját tankönyve

Kahneman csapata egy döntéspszichológia-tankönyvön dolgozott az izraeli oktatási minisztériumnak. Egy év után, két kész fejezettel, mindenki titokban leírta a befejezés becsült idejét: a válaszok 1,5 és 2,5 év között szóródtak.

Ekkor Kahneman megkérdezte a csapat tantervi szakértőjét, Seymour Foxot, aki több hasonló projektet ismert: ezek közül, ugyanerről a pontról indulva, mennyi idő alatt készültek el? A válasz megdöbbentette a szakértőt magát is:

• ~40% soha nem fejezte be;
• aki befejezte, 7-10 év alatt;
• és a saját csapatuk a szakértő szerint "átlag alatti, de nem sokkal".

A könyv nyolc év múlva készült el — mire a minisztériumban elolvadt az érdeklődés, és soha nem használták. Kahneman tanulsága nem az, hogy a szakértő nem tudta: minden adat a fejében volt, csak nem kapcsolta össze a saját becslésével, amíg rá nem kérdeztek.

És a harmadik, legkellemetlenebb tanulság: irracionális kitartás. A csapat meghallgatta a statisztikát, néhány perc kelletlen vita után "összeszedte magát és folytatta, mintha mi sem történt volna". Nem volt válság, csak új tények olyanokról, akiket nem ismertek — a külső nézetet könnyebb figyelmen kívül hagyni, mint a saját rossz hírünket. → sunk-cost-fallacy

Belső nézet vs. külső nézet

Kahneman megfigyelése: "akinek van információja az egyedi esetről, az ritkán érzi szükségét, hogy ismerje annak az osztálynak a statisztikáját, amelybe az eset tartozik."

A belső nézet melletti kitartásnak morális felhangja is van. Kahneman ügyvéd unokatestvére a "mennyi az esélye a hasonló ügyekben?" kérdésre azt felelte, hogy "minden eset egyedi" — olyan pillantás kíséretében, amely a kérdést felületesnek minősítette. Ugyanez az orvoslásban, a márkastratégiában és minden "a mi helyzetünk más" mondatban. → market-research-limits

A bizonyíték: mennyivel tévedünk

• Skót parlament, Edinburgh. 1997: 40 M£ terv. 1999: 109 M£. 2000: 195 M£-os "költségplafon". 2001: 241 M£ "végső költség". 2002 végén 294,6 M£. 2003 júniusában 375,8 M£. Elkészült 2004-ben, ~431 M£-ért.
• Vasúti projektek világszerte, 1969-1998 (Flyvbjerg). Az esetek több mint 90%-ában túlbecsülték az utasszámot; átlagosan 106%-kal, a költségtúllépés átlaga 45%. És: "ahogy egyre több bizonyíték gyűlt össze, a szakértők nem lettek megbízhatóbbak" — a hiba harminc év alatt nem javult.
• Konyhafelújítás, USA, 2002. Tervezett átlag 18 658 $, tényleges 38 769 $.
• Sydney Opera House (Taleb): 7 M AUD → ~104 M AUD, szerényebb kivitelben → forecasting-limits.

A hiba nem véletlenül egyoldalú. A kivitelezők (ezt a megrendelőnek nem mondják) a haszon nagy részét a terven felüli pótmunkákon keresik; a tervezők pedig gyakran azért terveznek irreálisan, mert a tervet jóvá kell hagyatni, és tudják, hogy egy projektet költségtúllépés miatt ritkán állítanak le. Kahneman ítélete: ilyenkor a tervezési tévedés felelőssége a jóváhagyóé.

Optimizmus-torzítás: a kapitalizmus motorja és költsége

A tervezési tévedés csak egy tünete az általános optimizmus-torzításnak (24. fej.), és Kahneman szerint döntési következményeit tekintve ez a legjelentősebb kognitív torzítás.

• A vállalkozói illúzió. Az amerikai kisvállalkozás ötéves túlélési esélye ~35%. A vállalkozók átlagos becslése "bármely hozzád hasonló vállalkozásra": 60% — közel kétszerese a valóságnak. A saját vállalkozásukra 81%-uk 7/10 vagy jobb esélyt ad, és 33% szerint a bukás esélye nulla.
• Åstebro adata (kanadai Inventor's Assistance Program): a 37 kritérium alapján legrosszabb osztályzatot kapott 411 találmányból 5 jutott piacra, egy sem volt sikeres. Mégis 47% folytatta a fejlesztést a bukást egyértelműen előrejelző értékelés után, és átlagosan megduplázta a veszteségét, mielőtt feladta. Akik tovább mentek, optimizmus-skálán magasabbat pontoztak — és a feltalálók amúgy is magasabbat, mint az átlagember.
• A Vancouver Island-i motel (Kahneman anekdotája): a tanárházaspár olcsón vette, "mert hat vagy hét korábbi tulajdonos nem tudta működtetni" — irónia nélkül mondták, és nem érezték szükségét megmagyarázni, miért ők fognak sikerülni.

Versenytárs-elhanyagolás (competition neglect)

Camerer és Lovallo fogalma, és ez a wiki how-firms-compete és good-and-different oldalainak közvetlen kiegészítése. Kahneman startupalapítóktól kérdezte: a te erőfeszítéseden múlik-e a kimenet? A válasz soha nem volt 80% alatt.

A Disney Studios akkori elnöke arra a kérdésre, miért adnak ki ennyi drága filmet ugyanazon a hétvégén:

"Hubris. Hubris. Ha csak a saját üzletedre gondolsz, azt gondolod: jó a story department, jó a marketing, kimegyünk és megcsináljuk. És nem gondolsz arra, hogy mindenki más ugyanígy gondolkodik. Egy adott hétvégén öt film nyit, és egyszerűen nincs annyi ember."

A mechanizmus megint a WYSIATI és a helyettesítés: a nehéz kérdés ("azt figyelembe véve, amit mások csinálni fognak, hányan nézik meg a filmünket?") helyére a könnyű kerül ("jó a filmünk és jó a marketingünk?"). Következménye a túlzott belépés (excess entry): többen lépnek a piacra, mint amennyit a piac eltart, így az átlagos kimenet veszteség. Dosi és Lovallo a bukó, de az utat megnyitó cégeket "optimista mártíroknak" nevezi: a gazdaságnak jók, a befektetőiknek nem → silent-evidence, good-and-different

Az "átlag feletti" hatás mint helyettesítés

A "a sofőrök 90%-a jobbnak tartja magát az átlagnál" megfigyelés értelmezése megváltozott: nem önfelnagyítás, hanem kérdéshelyettesítés. A "jó sofőr vagy?" kérdés könnyű, az "átlag feletti vagy?" majdnem megválaszolhatatlan (ismerni kellene az átlagot). A bizonyíték: olyan feladatnál, amit az ember nehéznek tart ("jobban kezdesz beszélgetést idegenekkel az átlagnál?"), a legtöbben készségesen átlag alá sorolják magukat. → system-1-and-system-2

A magabiztosság ára és társadalmi jutalma

Duke Egyetem, évekig futó felmérés: nagyvállalati pénzügyi vezetők becsülték az S&P index következő évi hozamát. 11 600 előrejelzés. A becslés és a valóság korrelációja enyhén negatív — amikor esést mondtak, valamivel nagyobb eséllyel emelkedett a piac. A rossz hír: nem tudták, hogy értéktelen a becslésük. A 80%-os konfidenciaintervallumukból (ahol 20% meglepetés a várható) 67% lett meglepetés; a helyes intervallum több mint négyszer szélesebb lett volna ("80% esély, hogy az S&P hozama −10% és +30% között lesz").

És itt a szociálpszichológiai csapda: aki ezt kimondaná, kinevetnék. A széles konfidencia- intervallum a tudatlanság beismerése, ami nem elfogadható attól, akit a tudásáért fizetnek. Ugyanez az orvoslásban: az intenzív osztályon meghalt betegek boncolási adatai szerint a diagnózisukban "teljesen biztos" klinikusok 40%-ban tévedtek. Tetlock: a legmagabiztosabb szakértőket hívták leggyakrabban a hírműsorokba → epistemic-arrogance

Kahneman és Lovallo kifejezése erre: "bold forecasts and timid decisions" — merész előrejelzések és félénk döntések → narrow-framing

Hogyan alkalmazd

Lásd a checklistet: reference-class-forecasting. Röviden:

1. Minden becslés elé kérdezd meg a külső nézetet, mielőtt bárki kimondja a saját számát. A sorrend számít: ha a belső becslés elhangzott, az horgony lesz → anchoring.
2. Bontsd a versenytársra. "Azt figyelembe véve, hogy a versenytársaink mit csinálnak ugyanebben a negyedévben, mennyi jut nekünk?" — külön kérdésként, külön papíron.
3. Előre írd le a döntés indoklását és a bázisrátát. Az utólagos okosság (hindsight) miatt a főnök később "mindig is tudta" → narrative-fallacy.
4. A jóváhagyó felelőssége. Ha nem kérsz külső nézetet a tervhez, amit jóváhagysz, te követed el a tervezési tévedést.
5. Tartalék ≠ védelem. Egy Flyvbjergnek nyilatkozó hivatalnok: "A költségvetési tartalék a kivitelezőnek olyan, mint az oroszlánnak a nyers hús — felfalják."

Feszültségek

• Taleb (the-black-swan, forecasting-limits). Két ponton egészíti ki, egy ponton korlátozza. (1) A mechanizmus nála alagútlátás (tunneling), és hozzáteszi, hogy a csúszás gyorsul: skálázható projektnél a hátralévő idő nem csökken, hanem nő. (2) A hibaarány mérése fontosabb, mint az előrejelzés javítása. (3) A korlátozás, amit ez a wiki kiír: a referenciaosztály-előrejelzés Mediocristan eszköze. Akkor működik, ha van elég hasonló eset, és az eloszlásnak van értelmes átlaga: vasúti projekt, konyhafelújítás, tanterv, kampány átfutási ideje. Nem működik olyan mennyiségekre, amelyek Extremistanból valók: egy termék élettartam-bevétele, egy tartalom elérése, egy startup kimenetele → extremistan-vs-mediocristan, asymmetric-payoffs. Ez a wiki Kahneman–Taleb viszonyának a magja: Kahneman a becslés torzítását javítja egy olyan világban, ahol a bázisráta létezik; Taleb arról beszél, hogy a legfontosabb esetekben nincs bázisráta. Taleb maga mondja, hogy senkinek nem tartozik többel Kahnemannél — a nézeteltérés nem a pszichológiáról szól, hanem az eloszlásról.
• Rumelt (proximate-objectives, bad-strategy). Rumelt szabálya — minél dinamikusabb a helyzet, annál közelebbi legyen a cél — a tervezési tévedés gyakorlati kezelése: ami közel van, arra van referenciaosztályod. A "smooth-sailing fallacy" nála ugyanaz, mint Kahneman belső nézete.
• Az optimizmus védelme. Kahneman nem javasolja az optimizmus kiirtását: "amikor cselekedni kell, az optimizmus — még enyhén téveszmés formájában is — jó dolog lehet", mert ellenállóvá tesz a kudarccal szemben, és mert az optimista vezető erőforrást szerez, moráli emel. A szervezet dolga nem az optimizmus megszüntetése, hanem hogy a két ellentétes torzítást (optimizmus és veszteségkerülés) külön-külön kezelje, ne hagyja, hogy véletlenül kioltsák egymást → narrow-framing.
• Módszertani. A Flyvbjerg-adatbázis nagy mintás, dokumentált és ismételten megerősített — a wiki legerősebb bizonyítéka ezen az oldalon. Az Åstebro-adat (411 eset) erős. A vállalkozói önbevallás felmérés-alapú → market-research-limits. A Duke CFO-felmérés nagy mintás (11 600 előrejelzés). Az "átlag feletti" hatás kognitív újraértelmezése hipotézis-erősségű. Kahneman saját tankönyv-esete egyetlen anekdota — ő maga írja, hogy a külső nézet látványos pontossága abban az esetben "biztosan a véletlen műve volt, és nem számít bizonyítéknak".

Kapcsolódó

reference-class-forecasting · forecasting-limits · epistemic-arrogance · narrow-framing · regression-to-the-mean · sunk-cost-fallacy · silent-evidence · good-and-different · proximate-objectives · how-firms-compete · system-1-and-system-2 · daniel-kahneman · nassim-taleb · thinking-fast-and-slow · premortem-and-backcasting · belief-calibration · annie-duke · thinking-in-bets

(Duke kiegészítése a premortemhez: Oettingen 20+ éves "mentális kontrasztolás" kutatása kísérleti alátámasztást ad — a fogyókúra-programban az erős pozitív fantáziákat szövő nők 24 fonttal kevesebbet fogytak, mint akik a nehézségeket is elképzelték; megismételve álláskeresőkön, vizsgázó diákokon és csípőprotézis-műtét utáni betegeken. Kahneman nem hivatkozik rá. → premortem-and-backcasting)