이것은 유명한 Transformers 논문 제목의 나의 연속입니다.“주의는 당신이 필요로 하는 모든 것이다.”이 논문에 설명된 기술은 지난 7년간 인공지능 분야에서 거의 모든 주요 혁신을 이끌어 왔으며, ChatGPT에서 Google의 비디오 생성 모델에 이르기까지 모든 것이 이뤄졌습니다.보라그리고 그 사이의 모든 것.
원래 논문은 컴퓨터 (AI 모델)가 언어를 더 잘 이해하고 생성하도록 돕는 것에 중점을 둡니다.이 논문은 컴퓨터가 한 문장에서 모든 것을 한 번에 읽고 "주의"라는 메커니즘을 사용하여 어떤 단어가 중요한지 결정하는 방법을 설명합니다.
예를 들면, “The sentence쥐를 쫓은 고양이는 배고프다”, 모델은 단어를 연결할 수 있습니다 “고양이“””마우스“그리고”배고픈"다른 모든 것을 무시하면서 문장에서 의미를 얻는 것.
"주의"의 구현은 오늘날 우리가 가지고있는 강력한 LLM의 창조로 이어졌습니다.
사람들이 LLM에 더 익숙해지고 삶의 일부가되었을 때, AI 도구와 모델의 유용성을 극대화하는 데 여전히 한 가지 도전이 있다는 것을 알게되었습니다.
컨텍스트
컨텍스트는 무언가를 설명하는 데 도움이되는 주변 상황과 배경 정보입니다.
그것은 당신이 직장에서 작업을 수행하는 방법을 안내합니다, 때때로 농담을 재미있게 만듭니다, 왜 Google 검색이 이겼는지, 그것은 모든 것입니다.
현재 AI 모델 / 도구에 대한 큰 도전은 특정 작업을 수행하는 동안 항상 컨텍스트가 있지 않으며, 이는 수행 된 작업이나 제공 된 답변의 품질에 영향을 미칩니다.
무엇을 고려해야 하는지, 그것이 얼마나 많은 영향을 미칠 것인지, 그리고 그것이 더 이상 유용하지 않을 때를 아는 것은 지능의 진정한 테스트입니다.
우리의 예제 문장으로 돌아가기쥐를 쫓은 고양이는 배고프다AI 모델이 어떻게 관심을 집중하는지 알고 있다면, 그 정보를 효율적으로 제공함으로써 더 많은 것을 얻을 수 있습니다.
AGI가 달성되더라도 컨텍스트를 잘 처리하지 않는 한 관련이 없습니다.I will go as far as to saying even if AGI is achieved, it is not relevant unless it can handle context well.
현재 다양한 AI 도구가 다양한 방법으로 이것을 해결하려고 노력하고 있습니다. 메모리 및 세션 인식, RAG (Retrieval Augmented Generation), 미세 조정, MCP, 심지어 빠른 엔지니어링 가이드를 만듭니다.
그러나 현재의 많은 접근 방식이 사용자에게 맥락의 부담을 부과하기 때문에 아직 문제를 제대로 해결하지 못했다고 생각합니다.This is not ideal because:
- 때로는 우리가 가지고있는 모든 정보와 메타데이터를 완전히 기억하지 못하고 특정 결정을 내리기 위해 사용하기 때문에 인간이 컨텍스트를 제공하는 것이 항상 쉽지 않습니다.
- 최종 사용자가 무엇을 추가해야 하는지, 언제 첨부해야 하는지를 결정해야 하는 경우 AI 도구의 사용자 경험에 부정적인 영향을 미칩니다.It is like saying a joke but having to explain it to everyone every time.
AI 도구가 사람이 어떻게 생각하는지에 대한 충분한 맥락을 갖는 도전을 해결하려는 몇 가지 방법을 볼 수 있습니다.
-
Constant presence: General-purpose AI models could start to provide ever-present tools similar to the Limitless AI pendant to constantly track places you visit, things you see, conversations you have, reactions you have to things and apply that in answering questions or performing tasks for you. This could also just be the next evolution of smartphones.
-
Data import: In this approach, AI tools will provide mechanisms for users to import and sync their data from various platforms into their favourite AI tool. You’ll be able to sync your activity on X (things you see, like, post or repost), your work tools (emails, presentations, meeting recordings), your shopping data (items you’ve liked or bought on Amazon, Asos, etc)
-
Implants: In the far future, I also think AI tools could explore a neuralink type brain implant that allows people ‘extend their brain’ and ‘get the full power of AI’. With this, they could get more context to be able to answer questions and even eliminate delays with using AI tools. Why do you need to think of a question, unlock your phone, open the ChatGPT app and type the question when you can just think of a question and get the answer?
이러한 접근 방식을 둘러싼 윤리는 그 자체로 대화입니다.하지만 그들이 가기로 결정한 방식이 무엇이든, 다음은 그 맥락을 언제 적용해야하는지 그리고 얼마나 많은 무게가 있어야하는지 알아내는 것입니다. 일부 플랫폼은 미세 조정, 무게 및 사전 처리 요청을 통해 이것을하려고합니다 AKA Reasoning.
그러나 나는 동적 무게를 보는 것이 흥미로울 것이라고 생각합니다. 즉 다른 무게를 사용하여 다른 방법으로 답변을 제공하는 AI 도구는 이미 당신에 대해 알고있는 것에 따라 다른 방식으로 답변을 제공합니다.
나는 인공지능의 다음 단계가 어떻게 생겼는지 확신하지 못하지만, 컨텍스트에 대한 강력한 이해와 적용이 중요한 부분이 될 것이라고 확신합니다.
