现在你注意了,背景是你所需要的:下一个在AI中解决的挑战

这是我对著名的变形者论文的续集题为“注意力是你所需要的”在这篇论文中描述的技术在过去的七年中几乎导致了人工智能的每一个重大突破,从ChatGPT到谷歌的视频生成模型。看之间的一切。

该论文专注于帮助计算机(AI模型)更好地理解和生成语言,它描述了计算机如何通过一次阅读一句话,并使用称为“注意”的机制来决定哪些单词很重要,从而得出含义。

例如,在句子“追老鼠的猫饿了“模型可以连接单词”猫”””老鼠“”和“饿了”从句子中获得意义,而忽略其他一切。

“关注”的实施导致了我们今天拥有强大的法学硕士的创造。

随着人们越来越习惯了法学硕士学位,并使其成为他们生活的一部分,我注意到,最大限度地提高人工智能工具和模型的有用性仍然存在一个挑战。

背景。

背景是帮助解释某事的周围情况和背景信息。

它指导了你如何在工作中执行任务,有时会让笑话变得有趣,这就是为什么谷歌搜索赢得了,这就是一切。

目前人工智能模型/工具的一个大挑战是,在执行某些任务时,它们并不总是具有背景,这会影响所做的工作或提供的答案的质量。

知道该考虑什么,它应该产生多少影响,以及它不再有用时,是智能的真正测试。

回到我们的例子句子追老鼠的猫饿了如果我们知道人工智能模型如何应用注意力,我们可以通过有效地提供这些信息来获得更多。

我会说,即使实现了AGI,它并不重要,除非它能够很好地处理背景。

目前,各种AI工具已经试图以不同的方式解决这一问题:记忆和会话意识,RAG(Retrieval Augmented Generation),精细调节,MCP,甚至创建快速工程指南。

然而,我认为这个问题尚未得到正确的解决,因为许多当前的方法将背景的负担放在用户身上,这并不理想,因为:

我看到一些方法,人工智能工具将试图解决关于一个人如何思考事物的足够背景的挑战:

Constant presence: General-purpose AI models could start to provide ever-present tools similar to the Limitless AI pendant to constantly track places you visit, things you see, conversations you have, reactions you have to things and apply that in answering questions or performing tasks for you. This could also just be the next evolution of smartphones.
Data import: In this approach, AI tools will provide mechanisms for users to import and sync their data from various platforms into their favourite AI tool. You’ll be able to sync your activity on X (things you see, like, post or repost), your work tools (emails, presentations, meeting recordings), your shopping data (items you’ve liked or bought on Amazon, Asos, etc)
Implants: In the far future, I also think AI tools could explore a neuralink type brain implant that allows people ‘extend their brain’ and ‘get the full power of AI’. With this, they could get more context to be able to answer questions and even eliminate delays with using AI tools. Why do you need to think of a question, unlock your phone, open the ChatGPT app and type the question when you can just think of a question and get the answer?

围绕这些方法的伦理是对话本身,但无论他们决定走哪条路,下一步将是找出何时应用那个背景以及它应该有多重。

然而,我认为看到动态重量是很有趣的,即使用不同的重量和以不同的方式提供答案,基于他们已经知道你的东西。

我不确定人工智能的下一阶段会是什么样子,但我相信,对背景的强有力的理解和应用将是其中一个重要组成部分,我很高兴看到空间中的玩家如何处理它。