154 lesings

Die Basis Rate Fallacy: Waarom jou slimste model dit nog steeds verkeerd kry

deur f1r3_wh1sk3y3m2025/06/30
Read on Terminal Reader

Te lank; Om te lees

Is AI-modelle so akkuraat soos die valideringstest sê?
featured image - Die Basis Rate Fallacy: Waarom jou slimste model dit nog steeds verkeerd kry
f1r3_wh1sk3y HackerNoon profile picture

“Die probleem is nie die data nie, dit is hoe ons die vervelige dele daarvan ignoreer.”

Is AI-modelle so akkuraat soos die valideringstest sê?Hoekom sou 'n model met 99% voorspelling akkuraatheid jou postkantoor met valse alarms oorstroom en jou pragtige dag in 'n debugging nachtmerrie verander?

Die verwarring?
Welkom by dieBase Rate Fallacy- 'n vooroordeel wat veroorsaak dat beide mense en masjiene waarskynlikhede verkeerd beoordeel wanneer ons die konteks waarin data bestaan, oorweeg.


What Is the Base Rate Fallacy?

What Is the Base Rate Fallacy?

Kom ons neem 'n vinnige blik op wat die basisrente-falsifikasie eintlik is.

diebase rateis die totale waarskynlikheid van 'n gebeurtenis wat plaasvind -VoordatMet nuwe bewyse, diebase rate fallacygebeur wanneer hierdie onderliggende waarskynlikhede geïgnoreer word, en ons fokus slegs op die nuwe bewyse.


Let the Math Speak

Laat die wiskunde praat

Stel jou 'n situasie voor waar 'n siekte raak1 in 1000Jy, as 'n genie, ontwikkel 'n toets wat99% accurate:

  • As iemand die siekte het, is die toets positief 99% van die tyd (waar positief).
  • As iemand nie die siekte het nie, is die toets negatief 99% van die tyd (waar negatief).

Nou, stel voor dat iemand toetspositiveWat is die kans dat hulle eintlik die siekte het?

In teenstelling met intuïsie, is ditnot 99%Hier is waarom:

van 1000 mense:

  • 1 persoon het eintlik die siekte → die toets sal dit waarskynlik vang → 1 ware positiewe
  • 999 mense het nie die siekte nie → 1% van hulle toets positief → ~ 10 vals positiewe

So onder diegene wat positief toets:

  • Totale positiewe = 1 (waar) + 10 (vals) = 11
  • Waarskynlikheid om eintlik die siekte te hê = 1 / 11 ≈ 9%

Ten spyte van 'n toets wat "99% akkuraat" is, is jou kans om siek te wees slegs9%Omdat die siekte so seldsame is.

Die1-in-1000is dieBasis RateEn om dit te ignoreer, lei tot massiewe verkeerde interpretasie.


Why Humans Fall for This

Hoekom mense val vir hierdie

Dit is nie net 'n wiskundige probleem nie - dit is 'nbrain problem.

SielkundigesDaniel KahnemanenAmos TverskyOns het ontdek dat wanneer ons waarskynlikheid evalueer, ons onbewustelik moeilike vrae vervang met makliker vrae.

“Hoe goed pas hierdie situasie in my geestelike stereotipe?”

So wanneer 'n toets 99% akkuraat is, sê ons brein:
“Dit klink soos ’n wedstryd!”
...en ons veronderstel dat die resultaat waar moet wees.

Hierdie kortsluiting word dierepresentativeness heuristic, en dit veroorsaak dat ons die vervelige, statistiese basiskoers ignoreer.


The Engineer–Lawyer Conundrum

Die ingenieur-regter Conundrum

Hierdie effek is bekend gestel deur dieEngineer–Lawyer problem.

Deelnemers het gesê:

  • Daar is 70 prokureurs en 30 ingenieurs in 'n kamer.
  • Jack is introvert, geniet wiskundige raaisels, en hou van elektronika.

Toe vra hy: "Wat is die waarskynlikheid dat Jack 'n ingenieur is?"

Alhoewel die basisproses 'n30% chanceDie meeste mense het gesê80–90%Omdat JackDie geluidDie beskrywing voel verteenwoordigend, so die 70/30 verhouding word geïgnoreer - alhoewel dit 'n kragtiger voorspeller is.


How This Fails in the Real World

Hoe dit misluk in die werklike wêreld

**AI Voorspellings \ Jy skep 'n model wat defekte produkte met 95% akkuraatheid vlag.0.1%van items is eintlik gebrekkig, die meeste waarschuwings sal vals positief wees. Bedrywighede kan in paniekmodus gaan - oor niks.

**Supply Chain Planning \ 'N vroeë-waarskuwing vertraging stelsel vlag verkoper risiko's.1 in 500Die meeste waarskuwings sal vals wees - selfs as die stelsel tegnies "nauwkeurig" is.

En dit gebeur oor 'n wye verskeidenheid domeine: bedrogdeteksie, mediese toetsing, bedreigingswaarschuwings, anomalie-monitoring - die lys gaan voort.


The Solution: Bayes to the Rescue

Die oplossing: Bayes na die redding

Wiskundig is dit,Bayes’ TheoremDit actualiseer ons oortuigings deur die kombinasie van basiese tariewe met nuwe bewyse:

P(A ÁthaB) = P(B)P(B ÁthaA) / P(A)

Waar is:

  • P(A ♛ B): Waarskynlikheid dat die siekte 'n positiewe toets gegee het
  • P(B) A: waarskynlikheid om positief te toets as u die siekte het
  • P(A): Basiese koers (voorheen waarskynlikheid)
  • P(B): Totaal waarskynlikheid van toets positief (waar + vals positief)

Bayes se teorem dwing ons om balans te maakWat ons weetmetWat ons sieniets wat menslike intuïsie geneig is om te skip.


Final Thoughts

Final Thoughts

Ons leef in 'n wêreld wat gedryf word deur voorspellings - van AI tot gesondheidsorg tot logistiek.Maar getalle, maak nie saak hoe gesofistikeerd, beteken niks sonder die regtecontext.

En soms lê die kragtigste insig in die vervelige, lae sleutel waarskynlikheid wat ons te vinnig was om te ignoreer.


Trending Topics

blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks