Input, output és kimenet mérőszámok (hiúsági mutatók ellen)

Definíció. Három szint, amelyet egy KR mérhet: input (tevékenység, amit mi csinálunk: "ötven szeminárium", "napi egy óra boxgyakorlás", "tíz sales-hívás"), output (amit ebből előállítunk: "öt publikált benchmark", "8 MHz-es part gyártásban", "kész a Premium 5/1-ig"), kimenet (outcome: ami a vevőnél vagy a piacon változik: "2000 design win", "20 millió heti aktív felhasználó", "két új megrendelés"). A hiúsági mutató (vanity metric) olyan szám, amely nő, de nem mond semmit a célról: regisztrált felhasználó (Remind), megtekintés (YouTube), aláíró (ONE), "Launch X" (Google-playbook), CPU-kihasználtság +3%. Doerr két szabálya: a KR "outputok és inputok keveréke" legyen (4. fejezet), és — a Google-playbook szerint — "kimenetet írjon le, ne tevékenységet: ha a KR-ben olyan szavak vannak, mint konzultál, segít, elemez, részt vesz, tevékenységet ír le; írd le helyette a végfelhasználói hatást" (Resource 1). A kettő nem ellentmondás, hanem szintezés: az input-KR akkor jó, ha vezető mutatója egy kimenetnek, és párban áll vele. (Measure What Matters, 4., 5., 14. fejezet, Resource 1)

Bizonyítékok

• Remind (Kopf): 2013-ig "szigorúan kvalitatív" célok; Chamath Palihapitiya tanította meg "egy oldal adattal képet festeni" és kiszűrni a lényegtelent: "senkit nem érdekel, hány tanár regisztrált, ha sosem jön vissza"; a vécé fölé ragasztott három mutató: heti aktív tanár (WAT), havi aktív tanár (MAT), megtartás; mellé negyedéves kezdeményezések (adatbázis-migráció, app, négy felvétel). Napi 80 ezer új felhasználó öt emberrel, nulla marketing — a regisztráció nem volt szűk keresztmetszet, a visszatérés igen → retention-and-optimization.
• YouTube (Goodrow, 2011–12): a "watch next" ajánló a megtekintést növelte volna; de "a valódi valutánk nem a megtekintés vagy a kattintás, hanem a nézési idő" (Nadella: "a szűkös jószág az emberi figyelem"). 2011 szeptemberi e-mail: "Watch time, and only watch time" — eretnekség a Search-nek (amely elküld a lehető leggyorsabban), negatív a megtekintésre (az alkotók mutatója) és a bevételre (pre-roll hirdetés: kevesebb indítás, kevesebb hirdetés). A csokornyakkendő-teszt: az egyperces oktatóvideó vs. a tízperces szórakoztató — a Search az elsőt, a YouTube a másodikat rangsorolja, mert "a nézők boldogabbak hét percet nézni egy tízpercesből, mint egy egyperces egészét". Hat hónap vita, 2012. március 15. bevezetés; utána soha semmit nem tettek a watch time-hatás becslése nélkül. A mutató revíziója (Wojcicki): 2015-től elégedettség (lájk/dislike, kérdőív), 2017-től hírforrás-hitelesség; "ha két videót tíz-tíz percig nézel, a nézési idő azonos — de melyik tesz boldogabbá?"; "mire ez a könyv megjelenik, lehet, hogy egészen új mutatónk lesz". → a Goodhart-tanulság a könyv saját csúcspéldáján.
• A nagy szám bontása (Wojcicki): napi nézési idő = napi aktív nézők × átlagos idő; a második "alacsonyan lógó gyümölcs" ("könnyebb egy kapcsolatot bővíteni, mint újat kezdeni"), de a kutatás szerint "sokkal több növekedési potenciál a bázis bővítésében, mint abban, hogy a tinédzser fiúk kétszer annyit nézzenek" — és a hirdetők is új nézőt akartak. = Sharp: penetráció veri a gyakoriságot → light-buyers-and-penetration.
• ONE (Bono): 8,9 millió "tag" — Gates: "Big deal. Az aláíró nem tag, csak aláírt valamit"; ebből lett a kérdés: hogyan mérjük az elköteleződést, és nőhet-e a szám: aláíró → tag → aktivista → katalizátor, jutalmazva a második akciót; "senki nem mérte még az aktivisták szenvedélyét — de ez totál OKR: mennyire vagy szenvedélyes, milyen cselekvésre visz?"
• Intel Crush: a KR-ek outputok (öt benchmark, újracsomagolás, 8 MHz gyártásban, koprocesszor-minta június 15-ig) egy kimenet-O alatt ("a 8086 a legnagyobb teljesítményű 16 bites család"); a sales mutatója a design win (a vevő beépíti a chipet: kimenet), nem a hívás vagy a szeminárium (input), és nem a bevétel (a 8086 "önmagában nem sok bevételt hozott", a ripple tízszeres: EPROM, periféria, kontroller — késleltetett mutató).
• Google-playbook lakmusztesztek: "Launch Foo 4.1" → "Launch Foo 4.1 to improve sign-ups by 25 percent" → egyszerűen "Improve sign-ups by 25 percent"; "1 millió felhasználó" — összes vagy heti aktív?; a "kit érdekel?" cél: "CPU-kihasználtság +3%" → "3%-kal kevesebb mag a csúcsforgalomhoz azonos minőséggel, a felszabadult magok a közös poolba"; "ha egy KR 1,0-t kaphat anélkül, hogy a felhasználónak vagy a cégnek haszna lenne, írd át".
• Pinto és Wells Fargo: egydimenziós kimenet-cél (súly, ár; számlanyitás) a minőség és az etika mérése nélkül → párosított KR (Grove: "hatás és ellenhatás") → four-superpowers.
• Gates Alapítvány: DALY (rokkantsággal korrigált életév) mint közös nevező a mikrotápanyag- és a folyamivakság-programok között → a vakcinák felé terelt; "néha rosszat mértünk" — a jamgyökér-mag, amely megduplázza a termést, de senki nem használja, mert négyszer tovább fő: az output (termés/mag) nem kimenet (elfogyasztott élelem).
• MyFitnessPal: az új, konceptuálisan új funkció piacát nem tudták jósolni ("vadul túl- vagy alulteljesítettük"), ezért a KR-eket határidőre írták ("Launch MFP Premium by 5/1/15" — output), és a valós adat után a következő ciklusban kimenetre; "Help more people": +27 M új felhasználó 2014-ben, 80 M regisztrált — ez viszont a Remind-féle hiúsági mutató, a könyv nem jelzi.
• Zume: "Delight customers" — NPS ≥ 42, rendelésértékelés ≥ 4,6/5, vakteszt 75% a versenytárssal szemben: három észlelt minőség kimenet, egyik sem penetráció vagy ismétlés; és a bevétel-O szétválasztása új bevétel (marketing) és ismétlődő bevétel (termék) → a tulajdonos tisztázása.

Marketing-mérés OKR-ben (a wiki fordítása)

Szabályok: (1) egy O alatt legyen legalább egy output- és egy kimenet-KR, és minden mennyiségi KR mellett egy minőségi pár (elérés + felidézés; disztribúció + forgás; promóciós volumen + alapszintű részesedés a promóció után; kattintás + minősített lead; regisztráció + 7 napos aktív); (2) a hiúsági mutató nem tilos, de nem KR: dashboard-szám; (3) a kimenet-KR-t Sharp mérőszámaiból írd, ne "brand love"-ból (sharps-seven-rules, mental-availability, physical-availability); (4) évente kérdezd meg, a mutató még a célt méri-e (YouTube 2015: watch time → elégedettség; Wojcicki: "keressük a helyes mutatót"); (5) a nagy szám alá írd a bontást (penetráció × gyakoriság; DAV × idő), hogy lásd, melyik kar mozog.

Shotton: a digitális mérés rövidtávúsága és a Rosser Reeves-tévedés

Shotton (the-choice-factory, 17. torzítás, richard-shotton) a wiki mutató-anyagát a reklámmérésre alkalmazza; a teljes kifejtés: goodharts-law.

A trend. Peter Field elemzése az IPA Effectiveness Databankból (1200+ részletes, ROI-alapon bírált pályázat): a rövid távú célt kitűző pályázatok aránya 7% (2006) → 33% (2014). Nem azért, mert a rövid táv lett fontosabb, hanem mert könnyebben mérhető. Binet–Field (The Long and the Short of It) adata szerint viszont ami rövid távon a legjobb, hosszú távon nem az: az így optimalizált terv eladást hoz, nem eladhatóságot — konvertálja az érdeklődőket, de nem növeli a márkára fogékonyak készletét → advertising-as-memory-refresh, mental-availability.

Egy konkrét mérési hiba, ami a wikiben eddig nem szerepelt: a Rosser Reeves-tévedés. A legelterjedtebb digitális márkakövetés azok attitűdjét hasonlítja azokéhoz, akik felismerik a hirdetést. A hiba: aki eleve ismeri és kedveli a márkát, nagyobb eséllyel veszi észre és jegyzi meg a hirdetését — a módszer így szisztematikusan eltúlozza a kampány hatását. (Reeves 1961-ben javasolta.)

A helyes eljárás: a célcsoport kitett és nem kitett (kontroll) csoportjának attitűdkülönbsége, ahol a kitettséget IP-cím alapján tudják, nem a válaszadó emlékezetéből. Több kutatócég tart fenn olyan panelt, amelynek tagjai IP-címet is adnak és kérdőívet is kitöltenek. Költség: nagy digitális kampánynál a médiabüdzsé kb. 1%-a.

Shotton ajánlása a wiki nyelvén: minden médiatervre párosított mutatókészlet — rövid távú output (CPA, CPC, konverzió) és hosszú távú kimenet (kontrollcsoportos márkakövetés). És hagyj helyet az ítéletnek: a követési adat bizonyíték, nem verdikt (Terry Leahy gluténmentes polca és Alex Ferguson Jaap Stam-hibája a goodharts-law oldalon).

Feszültségek

• Clear (compounding-and-systems, immediate-reward) — "rendszerek, nem célok" és Goodhart: Clear szerint "ha a mérőszám céllá válik, megszűnik jó mérőszám lenni", és a rendszert (inputot) kell tervezni; a Google-playbook "kimenet, ne tevékenység" szabálya az ellenkezőjét mondja. Feloldás: Doerr saját "erős" OKR-je (Indy 500) input- és kimenet-KR-t párosít (szélcsatorna-teszt tízszer + 2% gyorsabb kör); a wiki állása: input-KR csak kimenet-KR párjával; a kimenet-KR Goodhart-védelme a párosítás (Grove) és a mutató időnkénti cseréje (YouTube). Clear "soha ne hagyd ki kétszer" tétele a folyamatos-jelenlét input-KR-ek indoka.
• Sharp (how-brands-grow, light-buyers-and-penetration, nullhipotézis): a könyv esetei (YouTube, Chrome, Remind) használati mutatók (aktív felhasználó, nézési idő), Sharp a vevőszámot (penetráció) tekinti a növekedés mechanizmusának, és a hűség-mutatókat a méret következményének (double-jeopardy). Egyezés: Wojcicki DAV × idő bontása Sharp tétele; Chamath "aktív, ne regisztrált" a próba → ismétlés különbsége. A wiki állása: a marketing-OKR kimenet-KR-je penetráció és elérhetőség; a nézési idő / aktív használat a termék OKR-je (hook-model), és a kettő ne keveredjen egy O alatt.
• Rumelt (doorman-fallacy, chain-link-systems, bad-strategy): az LAUSD API-mutatója és a Boeing Fleet Planner Goodhart-példák Rumeltnél; a Denton's púp-diagramja "jó mérés". Rumelt szerint a mutató a diagnózis eszköze, nem a cél; a "célszám mint stratégia" a rossz stratégia tünete. Egy irány: a KR csak a kernel után értelmes; a "watch time" választása stratégiai döntés volt (a YouTube nem Search), nem mérési → strategy-kernel.
• Pulizzi (content-marketing-measurement): a ROO-piramis (elsődleges: bevétel/költség; másodlagos: lead, feliratkozó; felhasználói: forgalom, megosztás) ugyanez a három szint fordított sorrendben; Pulizzi "egy év múlva mi lesz más?" kérdése a kimenet-O. Ütközés: Pulizzi a feliratkozót teszi egyesítő céllá (output), Doerr a végfelhasználói hatást kérné; a wiki állása: a feliratkozó output-KR, a kimenet a minősített leadek és a konverzió.
• Holiday (growth-hacking, retention-and-optimization): "csak ami tesztelhető, követhető, skálázható" = kimenet-KR; Ellis "awareness pazarlás" = az awareness hiúsági mutató kontextus nélkül; egyezés Chamath-tal (aktív, nem regisztrált). Ahol eltér: Holiday a hurok-mutatókat (K-faktor, ajánlás) kimenetnek veszi; Sharp szerint termékfizette elérés — output.
• Sutherland (doorman-fallacy): "amit mérünk, azt kapjuk" — a portás definíciója; a watch time-optimalizált ajánló a portás-tévedés inverze: túl szűk kimenet, a tartalom minősége (a "mit" alatt a "milyen") kimaradt. A könyv a revíziót említi, a kárt nem.
• Horowitz (the-hard-thing-about-hard-things, 21. rész, beolvasva) — a legélesebb kifogás a mutatóalapú vezetés ellen a wikiben, és nem Goodhart-típusú. Goodhart arról szól, hogy a jó mutató elromlik, amint cél lesz. Horowitz állítása erősebb: egyes célok egyáltalán nem írhatók le mutatóval, és ha csak a számszerűsíthetőt jelented, a nem számszerűsíthetőt — ami lehet a legfontosabb — nem kapod meg. "Amit ösztönözni akarsz, annak egy része mennyiségileg megfogható lesz, más része nem. Ha a kvantitatív célokról jelentesz, és a kvalitatívakat figyelmen kívül hagyod, nem fogod megkapni a kvalitatívakat — amelyek lehet, hogy a legfontosabbak. A tisztán számok alapján való vezetés olyan, mint a számok szerinti festés: amatőröknek való." A három saját kudarcesete (a hokiütő-negyedév bónusza, a Netscape "időben, hibátlanul, közepesen" szállított terméke, a HP K+F-et alulfinanszírozó divíziói) a goodharts-law oldalon részletesen. Két dolog, amit ez a wiki mutató-rendszeréhez hozzáad. (1) A fekete doboz / fehér doboz megkülönböztetés: a fekete doboz a kimeneti számot méri, a fehér azt is, hogyan állt elő — ez pontosan az input- és output-KR létjogosultságának indoka, de fordított irányból: nem azért kell input-KR, hogy vezető mutató legyen, hanem hogy ne lehessen a jövő feláldozásával hozni a kimenetet. (2) Az akvizíciós és a megtartási mutatók nem egyenrangúak vezetési eszközként. Horowitz megfigyelése: a legtöbb terméknél az akvizíciós cél mutatói elég részletesek ahhoz, hogy önmagukban vezetési iránymutatást adjanak; a megtartás mutatói nem adnak elég "színt" ahhoz, hogy teljes vezetési eszköz legyenek — ezért sok fiatal cég túlhangsúlyozza a retenciós mutatókat, és nem megy elég mélyre a tényleges felhasználói élményben, ami "lázas számhajszába" torkollik jó termék helyett. Ez a retention-vs-acquisition oldal mérésoldali kiegészítése, és egyben a five-user-test és a prototype-testing melletti érv: a retenciós KR mellé kvalitatív protokoll kell, nem több dashboard. Fenntartás: három anekdota, kontroll és mérés nélkül; a "fehér doboz" ajánlásra nincs bizonyíték, hogy jobb eredményt hoz, és a vezetői diszkréció visszaengedése maga is manipulálható → silent-evidence, epistemic-arrogance.
• Módszertani: a YouTube- és Chrome-számok belső, kontroll nélküli adatok; a "watch time = elégedettség" tétel (a "több időt tölt, tehát boldogabb") feltevés, amelyet a fejezet vége maga kérdőjelez meg; a Remind WAT/MAT-váltás következménye nem mért.

Duke: a mutató mellé kell egy ítéletszabály is (beolvasva 2026-09-14)

Ez az oldal eddig a mit mérünk kérdését válaszolta meg. annie-duke (thinking-in-bets) egy hiányzó darabot tesz mellé: hogyan ítélünk a mért szám alapján.

A kimenet = döntésminőség + szerencse. Ha a szerencse hozzájárulása nem nulla, akkor egyetlen kampány outcome-mutatója n = 1 minta, amiből a döntés minőségére következtetni statisztikai hiba — a resulting → resulting-and-outcome-bias.

Három gyakorlati következmény a mutatórendszerre:

• Az input-mutatók azonnal és tisztán értékelhetők, az outcome-mutatók csak zajjal és késleltetve. Ez önmagában erős érv amellett, hogy a bónusz és a review az inputokon legyen, az outcome pedig irányjelző. Ha a bónusz a kimeneten van, resultingot fizetsz ki, és a szervezet kockázatkerülővé válik (biztonságos médiaterv, bevált kreatív, nagy ügynökség) → goodharts-law.
• A döntés indoklását előre kell rögzíteni. Kampánynyitáskor egy oldal: mit tudsz, mit nem, mit vetettél el és miért, milyen kimenetekre mekkora esélyt adsz (belief-calibration). A post-mortemen ezt kell elővenni, nem az emlékezetet, amit a hindsight már átírt.
• A várható érték rendezi át a prioritást. Duke nonprofit-esete: egy 100 000 $-os pályázat 25% eséllyel 25 000 $-t ér, egy 50 000 $-os 70%-kal 35 000 $-t. Ugyanez a logika a sales pipeline-ra és az új termékek portfóliójára → premortem-and-backcasting.

Kapcsolódó

okr-objectives-and-key-results · four-superpowers · stretch-goals · okr-writing-checklist · compounding-and-systems · light-buyers-and-penetration · sharps-seven-rules · mental-availability · physical-availability · content-marketing-measurement · retention-and-optimization · doorman-fallacy · market-research-limits · measure-what-matters · goodharts-law · the-choice-factory · richard-shotton · advertising-research-methods · resulting-and-outcome-bias · luck-vs-skill · belief-calibration · premortem-and-backcasting · annie-duke · thinking-in-bets · the-hard-thing-about-hard-things · ben-horowitz