How a rocket scientist turned entrepreneur created the “ChatGPT for Earth data” using transformers and satellite imagery
布鲁诺·桑切斯(Bruno Sánchez)是一名火箭科学家,他的轨迹略有偏差,他是受过训练的天体物理学家,他以最广泛的规模使用了他职业(数学和科学)的工具:宇宙。
桑切斯在世界银行工作,作为跨学科团队的成员,他帮助理解地理空间数据,然后他意识到他所做的事情的核心是地图,这促使他推出一家名为Mapbox的公司,在网络上提供在线地图。
这一经历给桑切斯带来了另一个认识 - 这是地球有那么多数据我们真的不知道如何使用它:“我们知道世界上的树木是什么,我们知道世界上的森林是什么。
因此,当他有机会尝试将所有这些东西放在同一个数据中心和一个工作台中时,他去寻找它. 这是微软的行星计算机项目,桑切斯喜欢它。
桑切斯指出,ChatGPT中的T - 该转换它似乎对文本、图像和音频等方式非常有效,但似乎没有人使用它用于地球数据,所以他决定试一试,他建立了一个团队,筹集资金,创建了一个非营利组织,并使用开放数据构建了一个开源模型。克莱尔出生了
Clay: the ChatGPT of Earth data?
粘土:地球数据的ChatGPT?“这是令人难以置信的,它比我们所见过的任何东西都更快,更便宜,更好,这与文本,图像和音频发生的完全相同。
“这是令人难以置信的,它比我们所见过的任何东西都更快,更便宜,更好,这与文本,图像和音频发生的完全相同。
那么什么是粘土 – 它做的是什么,它是如何工作的?桑切斯把粘土定位为一个抽象的架构,它是一个处理器,可以捕捉地球(卫星,飞机或无人机)的任何图像,并“理解”图像中的内容。
尽管克莱尔是受 ChatGPT 的启发并且使用转换器架构,称之为地球数据的ChatGPT,由于一系列原因是不准确的。
一个关键的区别是粘土被训练的数据类型 - 图像而不是文本,这本身就是一个根本的差距,考虑到这些图像的性质,以及模型是如何使用的,这变得更深。
粘土不是在任何类型的图像上训练的,而是非常特定的类型的图像:高分辨率的地球空中拍摄,这些图像是地球的一部分。公共领域数据集桑切斯指出,这也是幻觉,它是基于变压器的模型中最突出的问题之一,对于Clay来说是更少的问题的一部分。
但还有更多。泥土,如ChatGPT及其 ilk,依赖于嵌入式它处理的数据的高度数值表示,但除了 Clay 使用的数据之外,它生产的嵌入和使用的方式都不同。
与其同行不同的是,目前与 Clay 进行交互并不涉及文本界面,它甚至根本没有通过 Clay. 相反, Clay 团队鼓励人们使用该模型生成嵌入式,然后直接与之合作。
The power of embeddings
嵌入式的力量正如桑切斯所解释的那样,克莱利杠杆面具自动编码器这意味着图像不仅通过嵌入式表示被压缩,而且部分图像也被删除,然后模型必须重建整个图像。
例如,如果图像包含面部的部分,这可能意味着其他部分也在那里,所以模型必须通过压缩来理解,但也通过背景来理解。
伪装 AutoEncoders 使用编码器和解码器,并允许 Clay 进行无人数据标签的规模最初,想法是训练粘土基础模型,然后只为特定任务,如计算汽车,精心调节解码器。
但随后,克莱团队意识到他们可以创建具有普遍适用性的嵌入式,所以他们生成嵌入式,然后他们使用嵌入式来创建解码器,跳过编码器。矢量数据库应该工作,正如桑切斯:
“想象一下,我们有一个用户想要在希腊找到太阳能电池板,我们已经为整个希腊做了嵌入。
“想象一下,我们有一个用户想要在希腊找到太阳能电池板,我们已经为整个希腊做了嵌入。
然后,如果其他人来了,想找到其他东西,比如船或建筑,相同的嵌入式用于新操作,这意味着你只需要创建一次,这就是嵌入式的力量。
然后,如果其他人来了,想找到其他东西,比如船或建筑,相同的嵌入式用于新操作,这意味着你只需要创建一次,这就是嵌入式的力量。
Clay meets Plato
克莱遇见柏拉图嵌入的通用性是一个主题,引起了AI社区的很多兴趣。发布一个不受监督的方法,将任何嵌入到并从一个普遍隐藏的表示翻译,即由柏拉图代表假说推测的普遍语义结构。
该柏拉图代表性假设所有足够大小的图像模型都具有相同的隐藏代表性。康奈尔大学的一组研究人员为文本模型提出了更强大、更具建设性的假设版本。
在准确性方面,桑切斯分享了一些经验发现,指出团队选择专注于其他领域而不是基准。
此外,嵌入式需要定期再生,以反映地球表面发生的变化 - 自然灾害或建筑工程等事情,但模型本身不需要重新训练,因为桑切斯声称地球具有独特的属性:优雅性.
例如,如果由于西班牙的气候变化,马德里的一些地区变成沙漠,这是该模型从未见过的东西。
加入 Orchestrate All the Things 新闻
关于技术,数据,人工智能和媒体如何相互流动的故事,塑造了我们的生活。
分析,论文,采访和新闻.中长期形式,每月1～3次。
订阅此处 👉 https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/
加入 Orchestrate All the Things 新闻
关于技术,数据,人工智能和媒体如何相互流动的故事,塑造了我们的生活。
分析,论文,采访和新闻.中长期形式,每月1～3次。
点击这里 ↓https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/
Multi-modality: Clay and text
多模式:粘土和文本但是关于文本呢?桑切斯承认,能够将文本模型的力量与地球模型的力量相结合,将释放出另外一系列可能性。
该团队正在积极致力于此,但桑切斯指出,文本数据带来了挑战,而地球数据没有,主要涉及到真实性。开放地图.
首先,他们使用 Clay 来制作地球图像的嵌入式图像,然后使用 OpenStreetMaps API 来查询同一领土的标签, OpenStreetMaps 用沙漠、河流或停车场等特征响应,并使用文本模型来创建嵌入式。
然后,团队采取了这个位置的2个嵌入 - 一个来自粘土和一个来自文本模型 - 他们试图弄清楚如何将它们对齐。 目标是尽量减少在尝试重建一个来自另一个或找到相似性时的损失。
AI and environmental impact
AI与环境影响尽管他对变压器充满热情,但桑切斯承认它们并不完美,其主要原因是Clay选择了变压器架构,因为行业和研究已经将其放在背后,所以有很多资源和专业知识可以利用。
“如果我不得不从头开始选择,并且我有资金推动世界人工智能运动,也许我们不会选择变压器,但这个决定不在我们的手中,”桑切斯说。
Clay 团队所面临的变压器的主要缺点与训练模型所需的数据和计算量以及它们的敏感性有关。计算机是一个问题需要更多的数据和计算来制作精细调制的模型,结果很脆弱和过分专业化。
Clay 团队在筹集资金之前开始了概念验证,以进行生产该模型所需的广泛培训,到目前为止,Clay 模型只进行了 2 次迭代,桑切斯希望尽量减少所需的培训 - 因此使用嵌入式。
由于他在微软的行星计算机上任职,桑切斯很清楚人工智能在电力,水和其他资源方面是多么苛刻。
他说,这个想法是,粘土不仅在其产量方面是开放的,而且在团队的工作方式和方法方面也是开放的。AI的环境足迹地球以两种方式
首先,通过让有类似目标的人团结力量,因此,而不是训练更多的模特,他们围绕着克莱合并,其次,通过与仍然想自己做的事情的人分享,这样他们可以从克莱的经验中学习,并减少所需的培训量。
Working with Clay and LGND
与粘土和LGND合作这一切都很好,但人们使用粘土的最佳方法是什么?这是一个开放的问题。除了嵌入式和精细调节,需要专业知识和资源,以及实验性的文本,粘土团队还开发了一款名为“粘土”的应用程序。克莱尔探索.
“这是一个地图,你点击地点,它允许你找到东西,然后我们问自己 – 这是一个地图,因为它值得成为一个地图,还是因为我习惯了地图,因为我在这个行业,我想要一个地图?
“这是一个地图,你点击地点,它允许你找到东西,然后我们问自己 – 这是一个地图,因为它值得成为一个地图,还是因为我习惯了地图,因为我在这个行业,我想要一个地图?
我们正在思考,也许最大限度地利用Clay的工具不是地图,也可能是聊天界面,也可能是表单上的列,我们不知道,”桑切斯说。
我们正在思考,也许最大限度地利用Clay的工具不是地图,也可能是聊天界面,也可能是表单上的列,我们不知道,”桑切斯说。
桑切斯还探索如何通过Clay提供服务和开发产品,他于2024年创立的初创公司,但该公司已经有一些付费客户,现在正在关闭一轮融资。
“最重要的是,我们有一个清晰的想法,服务是什么,但在同一时间,我们健康地不知道产品是什么,因为如果我们在这里谈论的是改变地理空间行业,那么关于它的思考应该完全不同。
“最重要的是,我们有一个清晰的想法,服务是什么,但在同一时间,我们健康地不知道产品是什么,因为如果我们在这里谈论的是改变地理空间行业,那么关于它的思考应该完全不同。
我们不是一个地理空间公司,我们是一个答案公司,我们最大的风险是成为一个地理空间公司,其中有许多,”桑切斯指出。
我们不是一个地理空间公司,我们是一个答案公司,我们最大的风险是成为一个地理空间公司,其中有许多,”桑切斯指出。
Going all in
走进所有开放性是克莱和LGND的关键主题,因为桑切斯对合作伙伴关系和使用克莱以外的模型都开放,同时,随着非营利组织获得新的融资,克莱的发展将继续。
“也许价值在于它是开源的,也许价值在于它是离线的,我们打赌那里有东西,也许没有,也许我们错了,也许嵌入式不是。
“也许价值在于它是开源的,也许价值在于它是离线的,我们打赌那里有东西,也许没有,也许我们错了,也许嵌入式不是。
但如果是,或者在这种程度上,我坚信它会释放如此多的价值,社会,经济,环境,以及投资方面的问题。
但如果是,或者在这种程度上,我坚信它会释放如此多的价值,社会,经济,环境,以及投资方面的问题。
“我宁愿错了,但尝试了,而不是等待看到一个让我百分之百肯定它会起作用的技术,”桑切斯总结了克莱背后的哲学。
“我宁愿错了,但尝试了,而不是等待看到一个让我百分之百肯定它会起作用的技术,”桑切斯总结了克莱背后的哲学。
加入 Orchestrate All the Things 新闻
关于技术,数据,人工智能和媒体如何相互流动的故事,塑造了我们的生活。
分析,论文,采访和新闻.中长期形式,每月1～3次。
订阅此处 👉 https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/
加入 Orchestrate All the Things 新闻
关于技术,数据,人工智能和媒体如何相互流动的故事,塑造了我们的生活。
分析,论文,采访和新闻.中长期形式,每月1～3次。
订阅此处 👉 https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/
