Osnovna stopa falsifikata: Zašto vaš najpametniji model i dalje pogreši

"Problem nije u podacima, to je kako ignoriramo dosadne dijelove toga."

Zašto bi model s 99% preciznošću predviđanja poplavio vašu poštansku poštu lažnim alarmima i pretvorio vaš prekrasan dan u noćnu moru?

U zbunjenosti ?
Dobrodošli uBase Rate Fallacy– predrasude koje uzrokuju da ljudi i mašine pogrešno procjenjuju verovatnoće kada zanemarimo kontekst u kojem podaci postoje.

What Is the Base Rate Fallacy?

Хајде да брзо погледамо шта је основна фалсификација стопе.

Našibase rateje ukupna verovatnoća događaja koji se događaju -Prijeuzimajući u obzir nove dokaze.base rate fallacyTo se događa kada se te temeljne vjerojatnosti ignorišu, a mi se fokusiramo samo na nove dokaze.

Let the Math Speak

Zamislite situaciju u kojoj bolest pogađa1 in 1000Vi, budući da ste genije, razvijate test koji je99% accurate:

• Ako netko ima bolest, test je pozitivan 99% vremena (ista pozitivan).
• Ako netko nema bolest, test je negativan 99% vremena (pravi negativan).

Sada, pretpostavimo da netko testirapositiveKoja je šansa da oni zapravo imaju bolest?

Za razliku od intuicije, to jenot 99%Evo zašto:

Od 1000 ljudi:

• 1 osoba zapravo ima bolest → test vjerojatno uhvati → 1 istinski pozitivan
• 999 ljudi nema bolest → 1% od njih test pozitivan → ~10 lažno pozitivan

Među onima koji su testirali pozitivno:

• Ukupno pozitivno = 1 (istina) + 10 (lažno) = 11
• Vjerojatnost da stvarno imaju bolest = 1 / 11 ≈ 9%

Uprkos testu koji je "99% tačan", vaša šansa da se razbolite je samo9%, jer je bolest tako rijetka.

To1-in-1000To jeOsnovna stopa- i ignorisanje ga dovodi do masivne pogrešne interpretacije.

Why Humans Fall for This

Ovo nije samo matematički problem – to je problembrain problem.

PsiholoziDaniel KahnemaniAmos TverskyOtkrili smo da kada procenjujemo verovatnoću, podsvjesno zamenjujemo teška pitanja lakšim.

“How well does this situation match my mental stereotype?”

Dakle, kada je test 99% tačan, naš mozak kaže:
“Zvuči kao utakmica!”
...i pretpostavljamo da rezultat mora biti istinit.

Ovaj skraćenica se zoverepresentativeness heuristic, i to nas tera da ignoriramo dosadnu, statističku baznu stopu.

The Engineer–Lawyer Conundrum

Ovaj učinak je poznato dokazano krozEngineer–Lawyer problem.

Učesnicima je rečeno:

• U jednoj sobi je 70 advokata i 30 inženjera.
• Jack je introvertan, uživa u matematičkim zagonetkama i voli elektroniku.

Zatim je upitao: "Koja je vjerojatnost da je Jack inženjer?"

Iako osnovna stopa ukazuje na30% chanceVećina ljudi kaže80–90%Jer DžekZvukoviOpis se osjeća reprezentativno, pa se omjer 70/30 ignoriše - iako je to snažniji prediktor.

How This Fails in the Real World

** AI predviđanja \ Kreirate model koji označava neispravne proizvode s točnošću od 95%.0.1%od stavki su zapravo neispravni, većina upozorenja će biti lažne pozitivne. Operacije mogu ići u paniku režim-na ništa.

**Planiranje lanca opskrbe \ Sistem ranog upozorenja za kašnjenje označava rizike dobavljača.1 in 500ako je isporuka zapravo odgođena, većina upozorenja će biti lažna - čak i ako je sistem tehnički "točan".

I to se događa u širokom rasponu domena: otkrivanje prijevara, medicinska ispitivanja, upozorenja o pretnjama, praćenje anomalija – lista se nastavlja.

The Solution: Bayes to the Rescue

Matematski jeBayes’ Theorempomaže u suzbijanju laži baznih stopa. Ona ažurira naša uverenja kombiniranjem baznih stopa s novim dokazima:

P(B) = P(B) P(B) A / P(A)

gde je:

• P(A ♛ B): Vjerojatnost da je bolest dobila pozitivan test
• P(B) A: Vjerojatnost pozitivnog testa ako imate bolest
• P(A): Osnovna stopa (prioritetna vjerojatnost)
• P(B): Ukupna vjerojatnost testiranja pozitivna (istina + lažni pozitivni)

Bayesova teorija tera nas da uravnotežimoono što znamosaono što vidimoNešto što ljudska intuicija ima tendenciju da preskoči.

Final Thoughts

Živimo u svetu koji se zasniva na predviđanjima – od AI-a do zdravstvene skrbi do logistike.Ali brojevi, bez obzira na to koliko su sofisticirani, ne znače ništa bez pravacontext.

I ponekad, najmoćniji uvid leži u dosadnoj, niskom ključu vjerojatnosti smo bili prebrzi da ignorišemo.