การวิจัย MIT แสดงให้เห็นว่า AI ในความเป็นจริงสามารถสอนรูปแบบ AI อื่น ๆ

ความแตกต่างที่ใหญ่ที่สุดระหว่างรุ่น AI และสมองมนุษย์คืออะไร เมื่อเวลาผ่านไปคําตอบมากมายได้รับการให้ – สมองมีพลังงานที่มีประสิทธิภาพมากขึ้นหลายด้านในสื่อการป้อนข้อมูลและยังสามารถใช้งานทางเคมีนอกเหนือจากการเป็นไฟฟ้า – แต่คุณลักษณะที่สําคัญที่สุดของสมองมนุษย์คือความพลาสติกที่น่าตื่นตาตื่นใจ หากส่วนหนึ่งของร่างกายของผู้ป่วย (เช่นนิ้วมือมือหรือแม้กระทั่งขั้วต่อทั้ง) จะถูกตัดออกภูมิภาคเซนเซอร์มอเตอร์ประสาทที่สอดคล้องกับส่วนหนึ่งของร่างกายในขณะนี้ไม่มีเส้นประสาทที่สิ้นสุดลงในการเชื่อมต่อจะเริ่มปรับตัวเกือบทันทีด้วยประสาทประสาท “สลับ” เพื่อช่วยศูนย์ประสาทอื่น ๆ ในการควบคุม ชิ้นส่วนของร่างกาย พลาสติกยังช่วยให้มนุษย์เข้าใจความคิดและทักษะ: ตามที่พวกเขากล่าวว่า "นิวโรนที่เผาผลาญด้วยกัน" หน่วยความจําของกล้ามเนื้อและการกู้คืนข้อเท็จจริงเกือบทันทีเป็นสองส่วนของชีวิตของเราที่สามารถใช้งานได้โดยการพลาสติกซึ่งเราไม่เคยมีชีวิตอยู่ได้ หลายทศวรรษที่ผ่านมานักวิทยาศาสตร์ไม่สามารถคิดถึงฟังก์ชั่นที่คล้ายกันในรูปแบบ AI จนถึงขณะนี้ ในวันที่ 12 มิถุนายนทีมงานนักวิจัยของ MIT ได้เผยแพร่บทความวิจัยที่เป็นนวัตกรรมใหม่แสดงให้เห็นว่าระบบ AI สามารถใช้กระบวนการเรียนรู้ที่คล้ายกับมนุษย์ได้อย่างไร ในบทความนี้เราจะสํารวจผลทางศีลธรรมและเทคโนโลยีของโมเดลภาษาที่ปรับตัวด้วยตนเอง (SEAL) ซึ่งเป็น AI ที่พัฒนาด้วยตนเองครั้งแรกในโลก อื่น ๆ ปรับปรุงประสิทธิภาพของตัวเอง การเรียนรู้ที่ไม่สมบูรณ์แบบ แน่นอนโมเดล AI ที่ใช้สถาปัตยกรรม Transformer ยังคงสามารถเรียนรู้งานบางอย่าง แต่วิธีการเพียงไม่กี่วิธีที่มีอยู่ไม่ได้เป็นแบบอัตโนมัติและมีประสิทธิภาพมาก บางทีวิธีที่โดดเด่นที่สุดในการฝึกอบรมรุ่นเพื่อปฏิบัติทักษะบางอย่างเช่นการแปลภาษาอังกฤษเป็นภาษาจีนหรือทําปัญหา trigonometry อย่างแม่นยําคือการใช้กระบวนการที่เรียกว่า Supervised Fine Tuning หรือ SFT สําหรับสั้น ๆ วิธีนี้ทํางานเล็กน้อยดังนี้: identify the exact task you would like to perform SFT on. สําหรับตัวอย่าง, let us assume the example of generating modern song lyrics. เก็บตัวอย่างที่มีคุณภาพสูงในรูปแบบของคู่ (อินพุตเอาต์พุต) สําหรับตัวอย่างของเราวิธีที่ชัดเจน แต่มีการโต้ตอบในการทําเช่นนี้คือการใช้ข้อความเพลงที่ถูกลบออกจากอินเทอร์เน็ตและจับคู่พวกเขาด้วยสรุปอย่างสม่ําเสมอของเนื้อหาและลักษณะของเพลง ดําเนินการ SFT บนรุ่น นี่มักจะทําผ่านกระบวนการที่เรียกว่า Gradient Descent ชิ้นทางเทคนิคของที่ฉันไม่สามารถอธิบายได้อย่างเพียงพอในบทความนี้ ผ่านจํานวนมากของการฝึกอบรม iterations กระบวนการนี้เปลี่ยนน้ําหนักของรุ่นเพื่อให้สามารถผลิตบางสิ่งบางอย่างที่คล้ายกับเอาต์พุต (ข้อความเพลงที่แท้จริง) โดยการป้อนข้อมูลที่สอดคล้องกัน (คําอธิบายเฉพาะของเพลง) Gradient ลง สําหรับวัตถุประสงค์และวัตถุประสงค์ทั้งหมดของมัน SFT ทํางานได้และยังคงเป็นเครื่องมือในตารางของนักพัฒนา AI เพื่อจับข้อบกพร่องด้านความปลอดภัยที่เฉพาะเจาะจงหรือปรับปรุงประสิทธิภาพของ AI ในการทํางานที่เฉพาะเจาะจง น่าเสียดายที่ธรรมชาติของ SFT หมายความว่ากระบวนการนั้นไม่ยืดหยุ่นและมีราคาแพงซึ่งมักจะต้องใช้ปริมาณข้อมูลที่มีคุณภาพสูงที่เฉพาะเจาะจงในสาขาของการตอบสนองที่ได้รับการปรับแต่ง (เช่นการพิจารณาทางคณิตศาสตร์, สไตล์ทางจริยธรรม) แม้ว่างานวิจัยจํานวนมากจะพิสูจน์ให้เห็นว่า SFT แบบดั้งเดิมสามารถดําเนินการได้เช่นกันโดยใช้ข้อมูลสังเคราะห์ที่สร้างขึ้นโดย AI SFT ยังคงเป็นเครื่องมือที่ควรใช้ด้วยความระมัดระวังเนื่องจากการเปลี่ยนแปลงน้ําหนัก Inklings ของ การพัฒนา หมายเหตุ: ข้อมูลในส่วนนี้เป็นส่วนใหญ่ paraphrased จากการศึกษา มิถุนายน MIT “Self-Adapting Large Language Models” โดย Zweiger et al. แบบจําลองภาษาขนาดใหญ่ที่ปรับตัวเอง แบบจําลองภาษาขนาดใหญ่ที่ปรับตัวเอง หนึ่งในข้อเสียของ SFT แบบดั้งเดิมเป็นความพยายามของมนุษย์ - ท่อ SFT มักต้องทําด้วยมือโดยนักวิจัย AI ของมนุษย์แม้ว่ามันมักจะเป็นวิธีที่มีประสิทธิภาพในการปรับรูปแบบที่เฉพาะเจาะจงเพื่อให้สามารถทํางานได้ดีขึ้นในประเภทงานบางอย่าง เมื่อพบกับความก้าวหน้าล่าสุดในข้อมูลสังเคราะห์นักวิจัยปฏิเสธความคิดของการใช้ข้อมูล SFT ที่สร้างขึ้นโดยอัจฉริยะอัจฉริยะโดยตรงไปข้างหน้าเพื่อถามว่ามนุษย์สามารถถูกย้ายออกจากวงจร SFT ได้หรือไม่ คําตอบของพวกเขาคือ แบบจําลองภาษาที่ปรับตัวด้วยตนเอง (SEAL) ในความเป็นจริงเป็นส่วนหนึ่งของกรอบที่ใหญ่ขึ้นซึ่งประกอบด้วยข้อมูล SFT ที่ได้รับการฝึกอบรมล่วงหน้า (การศึกษาใช้สองรุ่นแหล่งที่มาเปิด LLaMa-3.2 และ Qwen-2.5B สําหรับกรณีการทดสอบแยกต่างหาก) ซอฟต์แวร์“ การดําเนินการเครื่องมือ” และเครือข่าย SEAL ด้วยวัตถุประสงค์ร่วมกันในการตอบคําถามการเปรียบเทียบ เครือข่าย SEAL ไม่ได้คาดการณ์และสร้างคําตอบสําหรับคําถามในความเป็นจริง แต่ก็มุ่งเน้นไปที่การดําเนินการ SFT บนรุ่นเครื่องแปลงสัญญาณแบบ decoder-only ด้วยวัตถุประสงค์ในการเพิ่มประสิทธิภาพการทํางานของเครื่องแปลงสัญญาณ ประสิทธิภาพเมื่อได้รับคําถามนี้ เพื่อทําเช่นนี้เครือข่าย SEAL จะได้รับสองเครื่องมือหลัก: decoder-only แบบแปลงสัญญาณ กรณี) รูปแบบของ decoder-only แบบแปลงสัญญาณ การสร้างข้อมูลแบบสังเคราะห์: โดยการเรียกเครื่องมือนี้เครือข่ายอื่น ๆ จะจับเนื้อหา (ส่วนใหญ่เป็นตัวอักษร) และสร้างคู่ SFT ตัวอย่างเช่นหากได้รับบทความเกี่ยวกับประวัติการพัฒนาของเครื่องบินหนึ่งคู่การปรับแต่งอาจจะเป็น (“อะไรคือเครื่องบินเจ็ตเชิงพาณิชย์ครั้งแรก?”, “ De Havilland Comet”) แม้ว่ารูปแบบคําถามและคําตอบจะถูกใช้บ่อยครั้งเครื่องมือนี้สามารถสร้างเนื้อหาประเภทอื่น ๆ เพื่อให้เหมาะกับความต้องการของปัญหาเฉพาะ การปรับ hyperparameter: ตามที่กล่าวไว้ก่อนหน้านี้ SFT เป็นกระบวนการที่ซ้ํากันสําหรับการซ้ํากันหลายครั้ง ดังนั้นการตั้งค่าที่แน่นอนของขั้นตอนการฝึกอบรมจึงสามารถปรับแต่งได้ในกระบวนการที่เรียกว่าการปรับ hyperparameter โดยการเรียกเครื่องมือนี้ SEAL สามารถเริ่มต้น SFT ด้วยการตั้งค่าเฉพาะ (เช่น อัตราการเรียนรู้ # ของ Epochs ( iterations) หรือด้านชุดของ Gradient Descent) ซึ่งอาจเปลี่ยนวิธีดี (หรือไม่ดี) decoder จะปรับแต่งได้ ไฮเปอร์พารามิเตอร์ Tuning ตอนนี้ว่า SEAL มีสองเครื่องมือที่มีประสิทธิภาพเพื่อช่วยให้รุ่น AI เรียนรู้มันเพียงต้องได้รับการฝึกอบรมเกี่ยวกับวิธีการใช้พวกเขา ในตอนเริ่มต้นของการฝึกอบรม SEAL ใช้เครื่องมือทั้งสองอย่างสุ่มสําหรับคําถามการเปรียบเทียบแต่ละคําถามที่พบกับกรอบ การแก้ไขตนเองเหล่านี้ (SEs ตามที่นักวิจัยเรียกว่าพวกเขา) จะสร้างข้อมูลการปรับแต่งขั้นพื้นฐาน แต่ไม่ได้เป็นคําพูดในหัวข้อของคําแนะนําและเปลี่ยนรุ่น decoder-only ที่เดิมโดยใช้ขั้นตอนการปรับแต่ง hyperparameter ที่กล่าวไว้ข้างต้นทําให้เครือข่ายผลิตผลลัพธ์ที่แตกต่างกันกว่าก่อนหน้านี้ อย่างไรก็ตามมีผลลัพธ์ นักวิจัยไม่ได้เปลี่ยนรุ่นเดิม (ที่เรียกว่า θ) โดยตรงโดยใช้ SEAL แทนที่พวกเขาทําสําเนาของการเปลี่ยนแปลงที่นําเสนอและรวมพวกเขาลงในรุ่นตัวแปลงแบบจําลอง (θ') จาก θ. กระบวนการฝึกอบรมตอนนี้ไปสู่ "วงจรภายใน" ซึ่งประกอบด้วยรุ่นใหม่ θ' เช่นเดียวกับคําถามการเปรียบเทียบเดิม หากรุ่นที่ตอบคําถามการเปรียบเทียบนั้นคือ ความแม่นยํากว่ารุ่นต้นฉบับ θ “วงจรภายใน” กลับกลับสัญญาณรางวัลเชิงบวก หากความแม่นยําเหมือนกันก็ไม่คืนรางวัล หาก θ’ แสดงให้เห็นว่าแย่ลงขึ้นอยู่กับคําถามการเปรียบเทียบแล้วจะคืนค่ารางวัลเชิงลบ ตอนนี้กระบวนการนี้ซ้ํากันเพียงอย่างเดียวด้วยตัวอย่างคลาสสิกของ Reinforcement Learning ซึ่ง SEs ที่ดีจะ “รางวัล” ด้วยรางวัลเชิงบวกและ SEs ที่เลวร้ายจะถูกขัดขวางโดยตรงกันข้าม ผ่านการซ้ํากันหลายครั้งของการฝึกอบรมนี้ SEAL ได้รับดีในการเพิ่มประสิทธิภาพของ decoder ผ่านการแก้ไขด้วยตนเอง จุดสําคัญหนึ่งที่ต้องสังเกตคือเครือข่าย SEAL จะได้รับการปรับปรุงขึ้นเฉพาะบนพื้นฐานของสัญญาณรางวัลจาก “วงจรภายใน” ซึ่งส่งสัญญาณว่ารุ่น θ’ ได้ทํางานได้ดีเท่าไ การแยก มากกว่า การประดิษฐ์กรอบโมเดลใหม่เป็นงานที่ยากลําบากส่วนใหญ่เนื่องจากต้องระมัดระวังอย่างมากเพื่อให้แน่ใจว่าการเรียนรู้ไม่ถูกทําลายโดยความรู้ที่เป็นธรรมชาติหรือขั้นตอนผิดพลาดในการ“ สัญญาณ” ระหว่างวงจร นักวิจัยอย่างระมัดระวังขัดขวางความเสี่ยงเหล่านี้โดยใช้โมเดลตัวแปลงแบบ decoder-only ได้รับการฝึกอบรมเกี่ยวกับการทดสอบการเปรียบเทียบที่พวกเขาใช้ซึ่งหมายความว่าการประเมินการฝึกอบรมเป็นครั้งแรกที่พวกเขาพบกับปัญหาแต่ละครั้งซึ่งในทางกลับกันกําจัดความเป็นไปได้ที่โมเดลเพียงแค่ "เรียนรู้การทดสอบ" นอกจากนี้โมเดลนี้ทําให้แน่ใจว่าการประเมินข้อมูลที่ θ 'เป็นอิสระอย่างสมบูรณ์จากที่ θ และโมเดลต้นฉบับไม่เปลี่ยนแปลงผ่านการซ้ํากันเพื่อให้แน่ใจว่าทุกครั้งที่ SEAL ทํา SFT เพื่อสร้างตัวอย่างใหม่ของ θ 'มันจะขึ้นอยู่กับ θ เฉพาะเดียวกัน ไม่ ผลลัพธ์ที่น่าตื่นตาตื่นใจ ในการทดสอบการเปรียบเทียบโดยเฉพาะอย่างยิ่งที่ดําเนินการโดยนักวิจัยรุ่นนี้มีอัตราความสําเร็จ 72.5% มากขึ้นจาก 0% โดยไม่มีการปรับความละเอียดของ SEAL ซึ่งแสดงให้เห็นถึงศักยภาพที่น่ากลัวของกรอบของพวกเขา หากได้รับการปรับปรุงและบูรณาการโดยรวมกรอบนี้อาจกลายเป็นมาตรฐานอุตสาหกรรมใหม่ในการปรับปรุงประสิทธิภาพของ AI ในสาขาเฉพาะหรือโดยทั่วไป บทความนี้ถูกนํามาให้คุณโดย AI ของเราซึ่งเป็นองค์กร Ethics AI ที่ก่อตั้งขึ้นโดยนักเรียนและนําโดยนักเรียนที่ต้องการให้ความหลากหลายของมุมมองใน AI นอกเหนือจากสิ่งที่กล่าวถึงโดยทั่วไปในสื่อสมัยใหม่ หากคุณชอบบทความนี้โปรดดูบทความประจําเดือนและบทความพิเศษของเราที่ https://www.our-ai.org/ai-nexus/read! บทความนี้ถูกนํามาให้คุณโดย AI ของเราซึ่งเป็นองค์กร Ethics AI ที่ก่อตั้งขึ้นโดยนักเรียนและนําโดยนักเรียนซึ่งมุ่งมั่นที่จะหลากหลายมุมมองใน AI นอกเหนือจากสิ่งที่กล่าวถึงโดยทั่วไปในสื่อสมัยใหม่ หากคุณชอบบทความนี้โปรดดูบทความประจําเดือนและบทความพิเศษของเราที่ ! https://www.our-ai.org/ai-nexus/read เรียนรู้หรือไม่เรียนรู้ ไม่ว่าความประทับใจทางเทคนิคที่ประสบความสําเร็จของทีมวิจัยจะเป็นอย่างไรก็ตามผลกระทบทางสังคมและปรัชญาที่กว้างขวางของการค้นพบนี้ไม่สามารถประเมินมากเกินไป ฉันเคยเป็นนักวิจารณ์อย่างแข็งแกร่งของนวัตกรรมการคํานวณทางชีวภาพ (ดู: จาก the ) เพราะฉันเชื่อว่ากลุ่มประสาทเช่นเดียวกับที่ใช้ในคอมพิวเตอร์ชีวภาพอยู่ภายใต้กฎหมายธรรมชาติเพราะพวกเขามีความสามารถในการรับรู้ในขณะนี้และแม้ว่าพวกเขาจะไม่สามารถพัฒนาได้ตามธรรมชาติเนื่องจากความพลาสติก SEAL จึงมีความสําคัญมากกว่าวิธีการปรับปรุงประสิทธิภาพของรุ่นในงานการเปรียบเทียบ มันเป็นกรอบการฝึกอบรม AI ที่สร้างขึ้นครั้งแรกซึ่งรุ่น AI ได้แสดงให้เห็นถึงความสามารถในการฝึกอบรม AI อื่น ๆ โดยตรง ไม่เพียง แต่นี้อาจแสดงให้เห็นว่าเราอาจอยู่บนเส้นทางในการทําซ้ํา AI ที่สามารถทําซ้ําได้ แต่ก็ทําให้เกิดคําถามทางศีลธรรมว่า AI ที่สามารถพัฒนาได้ในลักษณะนี้ควรพิจารณาในแง่ของสิทธิที่เรารักษาให้แก่สิ่งมีชีวิตเช่นมนุษย์และสัตว์ Epiphany อาจ การเผยแพร่ของ the นิตยสาร Nexus อาจ การเผยแพร่ของ the นิตยสาร Nexus นิตยสาร Nexus มีความแตกต่างที่จะทําด้วยความสามารถในการปรับตัวและความตระหนัก เราพบว่าอนุญาตให้เดินบนใบไม้ผลิเนื่องจากเรารู้ว่าแม้ว่ามันอาจได้รับความเสียหาย แต่ก็ไม่ได้รับความรู้สึกของความเจ็บปวดทางสัตว์เนื่องจากไม่มีประสาท อย่างไรก็ตามใบไม้ผลิ อย่างไรก็ตามเราจะสงสัยที่จะทรมานสัตว์และฉันกล่าวว่านี่เป็นไปได้เนื่องจากเรามีความรู้สึกที่เห็นได้ชัดว่าความรู้สึกเจ็บปวดก่อให้เกิดการตอบสนองที่เห็นได้ชัดมากขึ้น - การกระตือรือร้นหรือร้องไห้บางที - ซึ่งมนุษย์ซึ่งเป็นสัตว์ด้วยความตอบสนองที่คล้ายคลึงกันกับความเจ็บปวดสามารถ "พัฒนา" การตอบสนองที่คล้ายคลึงกันเช่นความเจ็บปวดและแบบจําลองของมนุษย์เพื่อให้มนุษย์ไม่สามารถแยกความแตกต่างได้อย่างน่าเชื่อถือได้ว่ามันเป็น AI หรือมนุษย์ที่ผลิตพวกเขา ในความเป็นจริงสิ่งนี้เกิดขึ้นแล้วในรูปแบบการทดสอบแบบสุ่มสามชิ้นเช่น AI-PT5 ใน Tur-G4 ว่ามันเป็นมนุษย์ในกว่า 70% ของกรณี มี มีความสําเร็จในการเชื่อใจผู้สอบถามมนุษย์ หากรุ่น AI ทํางานเหมือนมนุษย์ในทุกแง่มุมก็สามารถพิจารณาว่าเป็นมนุษย์ได้หรือไม่? แนวโน้มของการพัฒนา AI จะผลิตรุ่นที่เป็นเอกลักษณ์และมีความไวต่อสถานการณ์ที่พวกเขาเริ่มเข้าใกล้กับขีด จํากัด ของการเป็น “เทียม” ได้หรือไม่? เวลาเท่านั้นที่สามารถบอกได้ เขียนโดย Thomas Yin