これは有名なトランスフォーマーの論文「Transformers」の続編です。「注意はあなたが必要とするすべてです」。その論文で説明された技術は、過去7年間でAIのほぼすべての主要な突破を引き起こし、ChatGPTからGoogleのビデオ生成モデルに至るまで、ヴェオそしてその間のすべて。
最初の論文は、コンピュータ(AIモデル)が言語をよりよく理解し、生成するのを助けることに焦点を当てており、コンピュータが一つの文から意味を引き出し、すべてを一度に読んで、「注意」と呼ばれるメカニズムを使用して、どの単語が重要であるかを決定する方法を説明しています。
たとえば、この文の「ネズミを追った猫は空腹だった。「モデルは単語を結びつけることができる」猫「」マウス」「そして」空腹「言葉から意味を得ることで、他のすべてを無視する」
「注意」の実施は、今日私たちが持っている強力なLLMの創造につながりました。
人々はLLMにますます慣れており、それが生活の一部になったので、AIツールとモデルの有用性を最大化するにはまだ一つの課題があることに気付きました。
コンテキスト
文脈とは、何かを説明するのに役立つ周囲の状況や背景情報です。
それはあなたが仕事でタスクを実行する方法をガイドし、時には冗談を面白くするもの、それはGoogleの検索が勝った理由、それはすべてです。
現在、AIモデル/ツールの大きな課題は、特定のタスクを実行する際に常に文脈を持たないことであり、これは行われた仕事の質や提供された答えに影響を与えます。
何を考慮すべきか、どれだけの影響を及ぼすべきか、そしてそれがもはや役に立たないときを知ることは、知性の真のテストです。
われわれの例文に戻るネズミを追った猫は空腹だった。「AIモデルが注意をどのように適用するかを知れば、その情報を効率的に提供することによって、それらからより多くの利益を得ることができます。
AGI が達成されたとしても、文脈をうまく扱うことができない限り、それは関連性がありません。
現在では、さまざまなAIツールがこれをさまざまな方法で解決しようとしています. メモリとセッション意識、RAG(Retrieval Augmented Generation)、フィンタウンニング、MCP、そしてさえ、迅速なエンジニアリングガイドを作成します。
しかし、現在のアプローチの多くは、ユーザーに文脈の負担を課しているため、まだ問題が適切に解決されていないと思います。
- 私たちが持っているすべての情報やメタデータを完全に覚えていないため、人々が文脈を提供することは常に簡単ではありません。
- AI ツールのユーザー体験に悪影響を及ぼすのは、エンドユーザーが何を追加するか、いつ何を追加するかを決めなければならない場合です。
私は、AIツールが物事をどのように考えているかについて十分な文脈を持つという課題を解決しようと試みるいくつかの方法を見ています。
-
Constant presence: General-purpose AI models could start to provide ever-present tools similar to the Limitless AI pendant to constantly track places you visit, things you see, conversations you have, reactions you have to things and apply that in answering questions or performing tasks for you. This could also just be the next evolution of smartphones.
-
Data import: In this approach, AI tools will provide mechanisms for users to import and sync their data from various platforms into their favourite AI tool. You’ll be able to sync your activity on X (things you see, like, post or repost), your work tools (emails, presentations, meeting recordings), your shopping data (items you’ve liked or bought on Amazon, Asos, etc)
-
Implants: In the far future, I also think AI tools could explore a neuralink type brain implant that allows people ‘extend their brain’ and ‘get the full power of AI’. With this, they could get more context to be able to answer questions and even eliminate delays with using AI tools. Why do you need to think of a question, unlock your phone, open the ChatGPT app and type the question when you can just think of a question and get the answer?
これらのアプローチの周りの倫理は、自分自身で会話です。しかし、彼らが行くことを決める方法は何であれ、次のことは、その文脈を適用するときに、そしてどれだけの重さを持たなければならないかを把握することです。いくつかのプラットフォームは、これをフィンタリング、重量、および事前処理要請によって行うことを試みます。私は絶対にこれが行く方法だと思います。
しかし、私は、ダイナミックな重量を見ることは興味深いと思います。すなわち、異なる重量を使用するAIツールと、彼らがすでにあなたについて知っていることに基づいて異なる方法で答えを提供します。
I'm not sure what the next phase of AI looks like, but I'm convinced that a strong understanding and application of context will be an important part of it. I'm excited to see how players in the space handle it. 私はAIの次の段階がどう見えるかわからないが、私は文脈の強力な理解と適用がその重要な部分になるだろうと確信している。
