Sekarang bahawa anda mempunyai perhatian, konteks adalah semua yang anda perlukan: cabaran seterusnya untuk diselesaikan dalam AI

Ini ialah sekuel saya kepada kertas Transformers yang terkenal bertajuk“Perhatian ialah semua yang anda perlukan.”Teknologi yang digambarkan dalam kertas itu telah membawa kepada hampir setiap terobosan besar dalam AI dalam tujuh tahun kebelakangan ini, segala-galanya dari ChatGPT kepada model pengeluaran video Google.lihatdan segala-galanya di antara

Artikel asal ini memberi tumpuan kepada membantu komputer (model AI) memahami dan menghasilkan bahasa dengan lebih baik. ia menggambarkan bagaimana komputer boleh mendapatkan makna daripada ayat dengan membacanya semua pada satu masa dan menggunakan mekanisme yang dipanggil "hati" untuk memutuskan perkataan mana yang penting.

Sebagai contoh, dalam ayatKucing yang mengejar tikus lapar”, model boleh menghubungkan kata-kata ”Kucing» » »tikus» dan »kelaparanuntuk mendapatkan makna daripada ayat sambil mengabaikan semua yang lain.

Implementasi "kesedaran" membawa kepada penciptaan LLM yang berkuasa yang kita mempunyai hari ini.

Apabila orang semakin terbiasa dengan LLM dan menjadikannya sebahagian daripada kehidupan mereka, saya telah memperhatikan bahawa masih ada satu cabaran untuk memaksimumkan kegunaan alat dan model AI ...

dalam konteks.

Konteks ialah keadaan di sekeliling dan maklumat latar belakang yang membantu menjelaskan sesuatu.

Ia membimbing bagaimana anda menjalankan tugas di tempat kerja, ia kadang-kadang menjadikan lelucon lucu, itulah sebabnya Google mencari menang, ia adalah semua.

Satu cabaran besar dengan model / alat AI pada masa ini ialah mereka tidak sentiasa mempunyai konteks semasa melaksanakan tugas-tugas tertentu, dan ini memberi kesan kepada kualiti kerja yang dilakukan atau jawapan yang diberikan.

Mengetahui apa yang perlu dipertimbangkan, berapa banyak kesan ia mesti mempunyai dan apabila ia tidak lagi berguna adalah ujian sebenar kecerdasan.

Kembali kepada contoh ayatKucing yang mengejar tikus lapar“Jika kita tahu bagaimana model AI menerapkan perhatian, kita boleh mendapatkan lebih banyak daripada mereka dengan menyediakan maklumat itu dengan cekap.

Saya akan pergi sejauh mengatakan walaupun AGI dicapai, ia tidak relevan melainkan ia boleh menangani konteks dengan baik.

Pada masa ini, pelbagai alat AI telah cuba menyelesaikan ini dengan cara yang berbeza. memori dan kesedaran sesi, RAG (Retrieval Augmented Generation), penyesuaian halus, MCP, dan juga mewujudkan panduan kejuruteraan segera.

Walau bagaimanapun, saya tidak fikir masalah ini telah diselesaikan dengan betul kerana banyak pendekatan semasa meletakkan beban konteks pada pengguna.

1. Ia tidak sentiasa mudah bagi manusia untuk menyediakan konteks kerana kadang-kadang kita tidak sepenuhnya ingat semua maklumat dan metadata yang kita miliki, dan menggunakan untuk membuat keputusan tertentu.
2. Ia memberi kesan negatif kepada pengalaman pengguna alat AI jika pengguna akhir mesti memutuskan apa yang perlu ditambahkan, bila, dan lain-lain.

Saya melihat beberapa cara bahawa alat AI akan cuba menyelesaikan cabaran mempunyai konteks yang mencukupi tentang bagaimana seseorang berfikir tentang perkara-perkara:

1. Constant presence: General-purpose AI models could start to provide ever-present tools similar to the Limitless AI pendant to constantly track places you visit, things you see, conversations you have, reactions you have to things and apply that in answering questions or performing tasks for you. This could also just be the next evolution of smartphones.

2. Data import: In this approach, AI tools will provide mechanisms for users to import and sync their data from various platforms into their favourite AI tool. You’ll be able to sync your activity on X (things you see, like, post or repost), your work tools (emails, presentations, meeting recordings), your shopping data (items you’ve liked or bought on Amazon, Asos, etc)

3. Implants: In the far future, I also think AI tools could explore a neuralink type brain implant that allows people ‘extend their brain’ and ‘get the full power of AI’. With this, they could get more context to be able to answer questions and even eliminate delays with using AI tools. Why do you need to think of a question, unlock your phone, open the ChatGPT app and type the question when you can just think of a question and get the answer?

   
   

Etika di sekeliling pendekatan ini adalah perbualan sendiri. Tetapi apa-apa cara mereka memutuskan untuk pergi, perkara seterusnya adalah untuk mencari tahu bila untuk menggunakan konteks itu dan berapa banyak berat ia harus mempunyai. Sesetengah platform cuba untuk melakukan ini melalui penyesuaian halus, beban dan permintaan pra-pemprosesan AKA Reasoning.

Walau bagaimanapun, saya fikir ia akan menarik untuk melihat beban dinamik. iaitu alat AI menggunakan beban yang berbeza dan memberikan jawapan dengan cara yang berbeza berdasarkan apa yang mereka sudah tahu tentang anda.

Saya tidak pasti bagaimana fasa seterusnya AI kelihatan, tetapi saya yakin bahawa pemahaman yang kuat dan penerapan konteks akan menjadi sebahagian penting daripada itu.