মৌলিক হার ভুল: কেন আপনার সবচেয়ে বুদ্ধিমান মডেল এখনও এটি ভুল পায়

"সবচেয়ে বড় সমস্যা হচ্ছে না ডেটা; এটি কিভাবে আমরা এর বিরক্তিকর অংশগুলি উপেক্ষা করি।

কেন 99% পূর্বাভাসের সঠিকতার সাথে একটি মডেল আপনাকে ভুয়া অ্যালার্মগুলির সাথে বন্যা করবে এবং আপনার সুন্দর দিনটি একটি ডাবগিং দুঃস্বপ্নে রূপান্তর করবে?

বিভ্রান্তি ?
স্বাগতম TheBase Rate Fallacy-একটি পতিতাবৃত্তি যা মানুষ এবং মেশিন উভয়ই সম্ভাবনা ভুলভাবে বিচার করে যখন আমরা সেই পরিবেশকে উপেক্ষা করি যেখানে তথ্য রয়েছে।

What Is the Base Rate Fallacy?

আসুন তাড়াতাড়ি দেখে নেওয়া যাক কী সত্যিই মৌলিক হার ভুল।

এরbase rateএকটি ঘটনা ঘটে যাওয়ার সম্ভাবনা -আগেনতুন প্রমাণ অনুযায়ী, এbase rate fallacyযখন এই ভিত্তিক সম্ভাবনাগুলি উপেক্ষা করা হয়, আমরা শুধুমাত্র নতুন প্রমাণগুলির উপর মনোযোগ দিচ্ছি।

Let the Math Speak

কল্পনা করুন এমন একটি পরিস্থিতি যেখানে একটি রোগ প্রভাবিত1 in 1000আপনি যখন একজন জিনিয়াস হন, তখন আপনি একটি পরীক্ষা তৈরি করেন যা99% accurate:

• যদি কেউ এই রোগে আক্রান্ত হয়, তাহলে পরীক্ষা 99% সময় ইতিবাচক (সত্যিই ইতিবাচক) হয়।
• যদি কেউ এই রোগে আক্রান্ত না হয়, তাহলে পরীক্ষা 99% সময় নেতিবাচক (সত্যিই নেতিবাচক) হয়।

ধারণা করা হচ্ছে, কেউ পরীক্ষাpositiveতারা সত্যিই এই রোগের সম্ভাবনা কত?

বুদ্ধিমত্তার বিপরীতে, এটাnot 99%এখানে কেন:

১০০০ জনের মধ্যে:

• 1 ব্যক্তি সত্যিই রোগ আছে → পরীক্ষা সম্ভবত এটি ধরা → 1 সত্যিই ইতিবাচক
• ৯৯৯ জনের কোনও রোগ নেই, ১ শতাংশই ইতিবাচক, ১০ শতাংশই মিথ্যা ইতিবাচক

যারা ইতিবাচক পরীক্ষা করে:

• Total positives = 1 (true) + 10 (false) = 11
• সত্যিই রোগ থাকার সম্ভাবনা = 1 / 11 ≈ 9%

যদিও একটি পরীক্ষা “99% সঠিক”, আপনার অসুস্থ হওয়ার সম্ভাবনা শুধুমাত্র9%কারণ এই রোগ খুবই বিরল।

এই1-in-1000এটি হলভিত্তি হার- এবং এটি উপেক্ষা করে একটি বিশাল ভুল ব্যাখ্যা।

Why Humans Fall for This

এটি শুধু একটি গণিত সমস্যা নয় - এটি একটিbrain problem.

মনোবিজ্ঞানDaniel KahnemanএবংAmos Tverskyআমরা যখন সম্ভাব্যতা মূল্যায়ন করি, তখন আমরা অজ্ঞাতভাবে কঠিন প্রশ্নগুলি সহজ প্রশ্নগুলির সাথে প্রতিস্থাপন করি।

“এই পরিস্থিতি আমার মানসিক স্টেরয়েটাইপের সাথে কতটা সামঞ্জস্যপূর্ণ?

সুতরাং, যখন একটি পরীক্ষা 99% সঠিক হয়, তখন আমাদের মস্তিষ্ক বলে:
‘এটা যেন একটা ম্যাচের মতো!
... এবং আমরা অনুমান করি যে ফলাফলটি সত্য হতে হবে।

এই সংক্ষিপ্ততাকে বলা হয়representativeness heuristic, এবং এটি আমাদের বিরক্তিকর, পরিসংখ্যানগত ভিত্তি হারকে উপেক্ষা করে।

The Engineer–Lawyer Conundrum

এই প্রভাব বিখ্যাতভাবে প্রমাণিত হয়েছেEngineer–Lawyer problem.

অংশগ্রহণকারীদের বলা হয়েছে:

• এক রুমে ৭০ আইনজীবী ও ৩০ প্রকৌশলী।
• জ্যাক অভ্যন্তরীণ, গণিত পজিশন উপভোগ করে, এবং ইলেকট্রনিক্স পছন্দ করে।

তারপর জিজ্ঞাসা করা হয়, “জ্যাক একজন ইঞ্জিনিয়ার হওয়ার সম্ভাবনা কত?

যদিও মৌলিক অনুমান অনুযায়ী একটি30% chanceঅধিকাংশ মানুষ বলেছেন80–90%কারণ জ্যাকশব্দএকটি প্রকৌশলী হিসাবে. বর্ণনা প্রতিনিধিত্বিক মনে হয়, তাই 70/30 অনুপাত অবহেলা করা হয় - যদিও এটি একটি আরো শক্তিশালী পূর্বাভাসক।

How This Fails in the Real World

**AI পূর্বাভাস \ আপনি একটি মডেল তৈরি করেন যা 95% সঠিকতার সাথে ত্রুটিপূর্ণ পণ্যগুলি চিহ্নিত করে।0.1%আইটেমগুলি প্রকৃতপক্ষে ত্রুটিপূর্ণ, বেশিরভাগ সতর্কবাণী মিথ্যা ইতিবাচক হবে।

** সরবরাহ চেইন পরিকল্পনা \ একটি দেরী সতর্কতা সিস্টেম সরবরাহকারী ঝুঁকি পতাকা।1 in 500যেহেতু পণ্যগুলি প্রকৃতপক্ষে দেরি হয়, বেশিরভাগ সতর্কবাণী মিথ্যা হবে - এমনকি যদি সিস্টেম প্রযুক্তিগতভাবে "সঠিক" হয়।

এবং এটি বিভিন্ন ডোমেইনগুলিতে ঘটে: প্রতারণার সনাক্তকরণ, মেডিকেল পরীক্ষা, হুমকি সতর্কবাণী, অস্বাভাবিকতা পর্যবেক্ষণ - তালিকা চলছে।

The Solution: Bayes to the Rescue

গণিতিকভাবেBayes’ Theoremএটি আমাদের বিশ্বাসগুলি আপডেট করে নতুন প্রমাণগুলির সাথে বেস হারগুলি সংযুক্ত করে:

P(A)B = P(B)P(B)A / P(A)

Where:

• P(A) B: রোগের ইতিবাচক পরীক্ষার সম্ভাবনা
• P(B) A: আপনার যদি এই রোগ থাকে তাহলে পরীক্ষার ইতিবাচক সম্ভাবনা
• P(A): বেস হার (প্রাক্তন সম্ভাবনা)
• P(B): পরীক্ষার ইতিবাচক মোট সম্ভাবনা (সত্য + মিথ্যা ইতিবাচক)

বায়েস তত্ত্ব আমাদের ভারসাম্য বজায় রাখতে বাধ্য করেআমরা যা জানিসঙ্গেআমরা যা দেখি-মানুষের অনুভূতি কিছু বাইক করার প্রবণতা থাকে।

Final Thoughts

আমরা একটি ভবিষ্যদ্বাণী দ্বারা চালিত বিশ্বে বাস করি-আইএ থেকে স্বাস্থ্যসেবা থেকে লজিস্টিক্স পর্যন্ত।context.

এবং কখনও কখনও, সবচেয়ে শক্তিশালী দৃষ্টিভঙ্গি দুর্বল, নিম্ন চাবি সম্ভাবনার মধ্যে রয়েছে যা আমরা অবহেলা করতে খুব তাড়াতাড়ি ছিলাম।