225 قراءة٪ s

هل يمكن AI أن يترك نفسه في سلة من التناقضات؟ هذا الدراسة يقول نعم

بواسطة Tech Media Bias [Research Publication]5m2025/05/29
Read on Terminal Reader

طويل جدا؛ ليقرأ

يقدم هذا الدراسة إطارًا يظهر كيف تثبيت النماذج اللغوية الكبيرة مثل GPT-2 التهديدات بغض النظر عن انخفاض النماذج، باستخدام النظرية والمقارنة والخبرات.
featured image - هل يمكن AI أن يترك نفسه في سلة من التناقضات؟ هذا الدراسة يقول نعم
Tech Media Bias [Research Publication] HackerNoon profile picture
0-item

المؤلفين :

(1) ز واغ ، AI هوليستية و University College London ؛

(2) Zekun Wu ، AI الشامل و University College London ؛

جريمي جانغ، جامعة إيموري؛

(4) Navya Jain ، جامعة كلية لندن ؛

(5) Xin Guan، AI الكامل؛

(6) إدريانو كوشياما

Authors:

(1) ز واغ ، AI هوليستية و University College London ؛

(2) Zekun Wu ، AI الشامل و University College London ؛

جريمي جانغ، جامعة إيموري؛

(4) Navya Jain ، جامعة كلية لندن ؛

(5) Xin Guan، AI الكامل؛

(6) إدريانو كوشياما

طاولة اليسار

  1. Abstract and Introduction

  2. Background and Related Work

  3. Theoretical Framework

  4. Experiment Design

  5. Results

  6. Discussion

  7. Limitations

  8. Ethical Considerations and References


A. صيغة متكاملة من WMLE

B نظام التصحيح

C إطار تحليل التفرقة الجزيئية ومثال على توسيع التفرقة عبر الأجيال

D توزيع مؤشر جودة النص عبر الأجيال

E متوسط الفوضى بين الأجيال

F مثال على تدهور الجودة عبر الأجيال

G Pearson صلة بين الوزن العصبي والتركيز الفردي H Pearson صلة بين الوزن العصبي والتركيز الفردي والتركيز الفردي I Pearson صلة بين التشغيل العصبي والتركيز الفردي J Pearson صلة بين التشغيل العصبي والتركيز الفردي K التفاصيل الرياضية للتحليلات الإحصائية

abstract

وبالتالي، فإن نموذج الماجستير في علم اللغة النفسية (LLM) يزيد من التكامل في العديد من جوانب المجتمع، ويصبح جزءاً كبيراً من النص عبر الإنترنت نموذجاً. وهذا يزيد من التساؤلات حول نموذج الماجستير في علم اللغة النفسية، حيث أن نموذج تدريب على البيانات النفسية يزيد من نموذج الماجستير في علم اللغة النفسية على نموذج الماجستير في علم اللغة النفسية، ويزيد من نموذج الماجستير في علم اللغة النفسية، حيث أن نموذج الماجستير في علم اللغة النفسية يزيد من نموذج الماجستير في علم اللغة النفسية، ويزيد من نموذج الماجستير في علم اللغة النفسية، وي

1 إدراج

ومع ذلك، فإن العديد من المجموعات اللوجستية (LLMs) تتمتع بتدريب على كميات ضخمة من النصوص المزروعة من الإنترنت، والتي تلعب دوراً حاسماً في تحسين قدراتها، سواء من خلال المهارات الناشئة (Wei et al., 2022) أو القوانين المحددة (Kaplan et al., 2020). ومع ذلك، كما يصل هاميلتون إلى التكامل بشكل أكبر في المجتمع البشري (Peña-Fernández et al., 2023; Porlezza and Ferri, 2022; Nishal and Diakopoyllulos, 2024) - يزداد التساؤلات حول أن جزءاً كبيراً من النصوص على الإنترنت في المستقبل قد يتم إنشاؤه، ككل أو جزئيًا، من قبل LLMs (Peña-


يمكن أن يؤدي التوسع في التناقضات السياسية إلى تأثيرات اجتماعية عميقة. قد يؤدي إلى استمرارية التناقضات، وتقوية التوازنات الاجتماعية، والحد من الجماعات المنخفضة. في سياق التناقضات السياسية، يمكن أن يؤثر هذا على رأي الجمهور، وتقويض العمليات الديمقراطية، وتقويض التناقضات. وبالتالي فإن فهم وتخفيف التوسع في التناقضات أمر حيوي لضمان أن LLMs تساهم بشكل إيجابي في المجتمع ولا تنتج سوءاً. ومع ذلك، على الرغم من الأدوات الفنية حول التوسع في التناقضات في النماذج التمييزية، فإن وجوده في LLMs قد ينشأ من مشكلة أكثر صعوبة. كما


في هذه الوثيقة، ونحن نحاول ملء هذه الفجوة البحثية من خلال طرح إطار نظري يثبت وتفسير أسباب تشديد التناقض في LLMs. بالإضافة إلى ذلك، ونحن نحاول كل من التثبيت الإحصائي والتجربة LLM لإثبات وتثبيت النظرية.


  1. Theoretical Framework: We establish the necessary and sufficient conditions for bias amplification (i.e. Theorem 1). The theorem aids in understanding the cause of bias amplification and in distinguishing between bias amplification and model collapse. We conduct statistical simulations using weighted maximum likelihood estimation to illustrate the theorem (see Section 3.2).


  2. Benchmarking Tool: We trained a highly accurate classifier capable of detecting political leaning in long-text content. With this classifier, we offer a benchmark for evaluating political bias in LLMs through open-generation tasks, filling a gap not covered in current bias studies (see Sections 2 and 4.3).


  3. Empirical Demonstration and Mitigation Strategies: We demonstrate bias amplification in terms of political bias in GPT-2 using our benchmarking tool: the model exhibits a right-leaning bias in sentence continuation tasks and becomes increasingly right-leaning over successive generations (see Section 5.1). Additionally, we conducted experiments with three potential mitigation strategies, i.e. Overfitting, Preservation, and Accumulation, comparing their effectiveness, and found that some are surprisingly effective (see Section 5.3).


  4. Mechanistic Interpretation: Building on our framework, we propose an innovative mechanistic interpretation pipeline that identifies two distinct sets of neurons responsible for bias amplification and model collapse during iterative fine-tuning experiments with GPT-2. We found minimal overlap between these two sets, supporting our theorem that bias amplification can occur independently of model collapse (see Section 5.4).


يتم تنظيم بقية الوثائق كما يلي: ونحن نناقش أولا العمل المرتبط في الفصل الثاني. في الفصل الثالث، ونحن نقدم إطارنا النظري لتعزيز التضخم وتشغيل نموذج إحصائي. في الفصل الرابع، نُشر الإعداد التجريبي لدراسات LLM لدينا، بما في ذلك إعداد البيانات وتقييم نموذج. في الفصل الخامس، ونحن نقدم نتائجنا الفنية حول تعزيز التضخم والفعالية من استراتيجيات التخفيف. في النهاية، في الفصل السادس، ونناقش تأثيرات عملنا، وننتهي مع القيود في الفصل السابع.


هذه المقالة متوفرة في archiv تحت لائحة CC BY-NC-SA 4.0.

هذه الرسالة هيمتوفرة في Archiveتحت رخصة CC BY-NC-SA 4.0.


Trending Topics

blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks