このオープンソースのAIは、ChatGPTがテキストを読むように地球を読みます。

How a rocket scientist turned entrepreneur created the “ChatGPT for Earth data” using transformers and satellite imagery

Bruno Sánchez はロケット科学者で、少し異なる軌道を持っています. 訓練による天体物理学者として,彼は彼の職業 - 数学と科学 - のツールを可能な限り幅広い範囲で使用しました: 宇宙. しかし,ある時点で,彼の焦点は,同じツールを使用してより多くの地球目標に移りました.

サンチェスは世界銀行に勤務し、学際的なチームのメンバーとして地理空間データの意味を理解するのに役立ったが、その後、彼がやっていることの核心はマッピングだったことに気づき、Web上でオンラインマップを提供するMapboxという会社を立ち上げた。

この経験はサンチェスにとってもう一つの認識をもたらした――それは、地球に関するデータがたくさんあります。「我々は世界の木々が何であるか知っている、我々は世界の森林が何であるか知っている。

だから、彼が同じデータセンターと一つのワークベンチでこれらすべてを組み合わせる機会を得たとき、彼はそれを求めた。

サンチェスは、ChatGPTのT - the変換テキスト、画像、オーディオなどの方法で素晴らしく機能するように見えたアーキテクチャですが、誰もそれを地球データに使用していないように見えたので、彼は試してみることにしました。クレイ生まれた

Clay: the ChatGPT of Earth data?

「それは信じられないほどの大きさで、より速く、より安く、そして私たちがこれまで見たことのある他の何ものでも、テキストや画像、オーディオで起こった同じことと同じです。

「それは信じられないほどの大きさで、より速く、より安く、そして私たちがこれまで見たことのある他の何ものでも、テキストや画像、オーディオで起こった同じことと同じです。

では、正確に何が Clay なのでしょう - それは何をし、どのように機能しますか? サンチェスは、抽象的な用語で Clay をアーキテクチャとして位置づけています。 それは、地球のあらゆる種類の画像(衛星、飛行機、またはドローン)を取って「理解する」プロセッサです。 それは、飛行機から作物まで、水からボートまで、何個もの物体を識別することができます。

たとえクレイがインスピレーション ChatGPTトランスフォーマーアーキテクチャを用いて、それを地球データのChatGPTと呼ぶことは、いくつかの理由で正確ではない。

重要な違いは、クレイがトレーニングしたデータの種類である - テキストではなく画像. それ自体は、それらの画像の性質とモデルがどのように使用されているかを考慮してさらに深くなる根本的な格差です。

粘土はどんなイメージでも訓練されていませんが、非常に特定のタイプの画像:地球の一部である高解像度の空気ショット。Public Domain データセットサンチェス氏は、これは、トランスフォーマーベースのモデルで最も顕著な問題の1つである幻覚がクレイの問題である理由の一部であることを指摘した。

But there’s more. Clay, like ChatGPT and its ilk, relies onembeddings処理するデータの高次元の数値表示ですが、クレイが使用するデータに加えて、生成する埋め込みと使用方法はそれぞれ異なります。

同僚とは異なり、現在 Clay との相互作用にはテキスト インターフェイスが含まれていません. It does not even go through Clay at all. Instead, the Clay team encourages people to use the model to generate embeddings, and then work directly with these.

The power of embeddings

サンチェスが説明したように、クレイはマスクの自動コードつまり、画像は挿入表示を通じて圧縮されるだけでなく、画像の一部も削除されます。

たとえば、画像に顔の部分が含まれている場合、それはおそらく他の部分も含まれていることを意味します。

Masked AutoEncoders では、エンコーダーとデコーダーを使用し、Clay が人間データラベルなしのスケールもともと、アイデアはグレーの基礎モデルを訓練し、例えば車を数えるなどの特定のタスクのためにのみディコードを細かく調整することでした。

しかし、その後、クレイチームは、彼らが普遍的に適用可能なインベーディングを作成することができることに気づいたので、彼らはインベーディングを作成し、インベーディングを使用してデコーダーを作成し、エンコーダーを省略します。主な動機は、これは数週間ではなくミリ秒で回答を得ることができることです。ベクターデータベースたとえば、サンチェスのように、

「ギリシャでソーラーパネルを見つけるユーザーがいて、ギリシャ全土に組み込まれたことを想像してみてください。

「ギリシャでソーラーパネルを見つけるユーザーがいて、ギリシャ全土に組み込まれたことを想像してみてください。

その後、他の誰かが来て、ボートや建設などの他の何かを探したい場合は、同じ組み込みがその新しい操作に使用されます。それはあなたが一度だけそれらを作成する必要があります。

その後、他の誰かが来て、ボートや建設などの他の何かを探したい場合は、同じ組み込みがその新しい操作に使用されます。それはあなたが一度だけそれらを作成する必要があります。

Clay meets Plato

埋め込みの普遍性は、AIコミュニティで多くの関心を呼び起こしたテーマです。無監督のアプローチの発行で、あらゆる埋め込みを普遍的な隠された表現に移行する。, すなわち、プラトニック代表仮説によって推測された普遍的なセマンティック構造。

THEPLATONIC REPRESENTATION HYPOTHESISすべての十分なサイズの画像モデルが同じ隠れた表示を持っていると推測する。コーネル大学の研究者グループは、テキストモデルのためのこの仮説のより強力で建設的なバージョンを提案した。

正確性に関して、サンチェスはいくつかの実験的発見を共有し、チームはベンチマークの代わりに他の領域に焦点を当てることを選択したと指摘した。

さらに、埋め込みは、自然災害や建設作業などの地球の表面に起こる変化を反映するために定期的に再生する必要がありますが、サンチェスは地球が持っていると主張するユニークな特性のために、モデル自体を再訓練する必要はありません:エルゴリズム.

例えば、スペインの気候変動によりマドリードの一部が砂漠に変わった場合、これはモデルがこれまで見たことがないものです。

Orchestrate all the things ニュースレター

テクノロジー、データ、AI、メディアがどのように相互に流れ、私たちの生活を形作るかについてのストーリー。

分析、エッセイ、インタビュー、ニュース 月1〜3回

サインはこちら↓https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/

Multi-modality: Clay and text

しかし、テキストについてはどうでしょうか? サンチェスは、テキストモデルの力と地球モデルの力を組み合わせることが、別の可能性の範囲を解き放つことができると認めた。

チームはこれに積極的に取り組んでいますが、サンチェス氏はテキストデータが地球データに欠かせない課題を呈していると指摘し、ほとんどが正確性に関係しています。オープンストリートマップ.

最初に、彼らはグレーを使用して地球画像の埋め込みを作成します。その後、彼らは同じ画像を撮影し、OpenStreetMaps APIを使用して、同じ領域のラベルを尋ねます。OpenStreetMapsは、砂漠、川、または駐車場などの特徴を回答し、テキストモデルを使用してその埋め込みを作成します。

その後、チームはこの場所の2つの埋め込み - Clayから1つ、テキストモデルから1つ - をとり、それらをどのように調節するかを見つけることを試みます。

AI and environmental impact

トランスフォーマーに対する彼の熱意にもかかわらず、サンチェスは彼らが完璧ではないことを認める。トランスフォーマーアーキテクチャがクレイのために選ばれた主な理由は、業界と研究がその背後に重みを置いたことだったので、利用できるリソースと専門知識がたくさんあります。

「もし私がゼロから選択しなければならず、世界のAI運動を推進する資金があれば、私たちはトランスフォーマーを選ばなかったかもしれないが、その決断は私たちの手の中ではない」とサンチェス氏は述べた。

Clay チームが取り組んできたトランスフォーマーの主な欠点は、モデルを訓練するのに必要なデータと計算の量、およびそれらの敏感性に関係しています。コンピュータは問題だった。繊細なモデルを作成するには、さらに多くのデータとコンピューティングが必要であり、結果は脆弱で過度に専門化されています。

Clayのチームは、資金調達前にコンセプトの証拠を開始し、モデルを生産するために必要な幅広いトレーニングを実施しました。

マイクロソフトのプラネタリウムコンピュータで勤務していることから、サンチェスは、電気、水、その他の資源の面でAIがどれほど厳しいかをよく知っています。

彼は、アイデアは、クレイがその出力だけでなく、チームの働き方やアプローチにも開放しているということです。AIの環境足跡2つの方法で地球を

まず、類似の目標を持つ人々が力を合わせることによって、より多くのモデルを訓練する代わりに、彼らはクレイの周りに結合し、第二に、彼らがクレイの経験から学び、必要な訓練の量を減らすことができるように、自分自身のことをやりたい人々と共有することによって。

Working with Clay and LGND

それは大丈夫ですが、実際に人々が Clay を使用するのに最適な方法は何ですか? それはオープンな質問です。知識とリソース、テキストを必要とする埋め込みと細かい調節に加えて、実験的な Clay チームはまた、Clay というアプリケーションを開発しました。Clay 探検.

あなたは場所をクリックし、物を見つけることができますが、それから私たちは自分自身に尋ねます - それは地図に値するので地図ですか、それとも私がこの業界にいるので地図に慣れているので、私は地図を欲していますか?

あなたは場所をクリックし、物を見つけることができますが、それから私たちは自分自身に尋ねます - それは地図に値するので地図ですか、それとも私がこの業界にいるので地図に慣れているので、私は地図を欲していますか?

我々は、クレイのユーティリティを最大限に活用する方法は、地図ではなく、チャットインターフェイスでもあるかもしれないし、たぶんそれは単なるタブレットのコラムにすぎないかもしれない」とサンチェス氏は述べた。

我々は、クレイのユーティリティを最大限に活用する方法は、地図ではなく、チャットインターフェイスでもあるかもしれないし、たぶんそれは単なるタブレットのコラムにすぎないかもしれない」とサンチェス氏は述べた。

サンチェスはまた、Clayを通じてサービスを提供し、製品を開発する方法を模索している。LGND彼が2024年に設立したスタートアップですが、すでにいくつかの支払う顧客がいますが、現在は資金調達の種子ラウンドを閉じています。

「最も重要なことは、我々はサービスが何であるかを明確に理解しているが、同時に、我々は製品が何であるかを知らないことで健康である。

「最も重要なことは、我々はサービスが何であるかを明確に理解しているが、同時に、我々は製品が何であるかを知らないことで健康である。

我々は地理空間会社ではない、我々は答え会社であり、我々の最大のリスクは多くの地理空間企業になることだ」とサンチェスは指摘した。

我々は地理空間会社ではない、我々は答え会社であり、我々の最大のリスクは多くの地理空間企業になることだ」とサンチェスは指摘した。

Going all in

開放性はClayとLGNDにとって重要なテーマであり、サンチェスはパートナーシップとClay以外のモデルを使用する両方にオープンであると同時に、非営利団体向けの新たな資金調達が確保されているため、Clayの開発は続く。

「おそらく価値は、オープンソースであることかもしれない。もしかしたら価値は、オフラインであることかもしれない。我々はそこに何かがあると賭けているかもしれない。

「おそらく価値は、オープンソースであることかもしれない。もしかしたら価値は、オフラインであることかもしれない。我々はそこに何かがあると賭けているかもしれない。

しかし、もしそうだとしたら、あるいはそうである範囲で、それは社会的、経済的、環境的、そして投資的な多くの問題に多くの価値を解放するだろうと強く信じています。

しかし、もしそうだとしたら、あるいはそうである範囲で、それは社会的、経済的、環境的、そして投資的な多くの問題に多くの価値を解放するだろうと強く信じています。

そして私はそれを試したが間違っている方がいいし、クレイの背後にある哲学を述べているように、100%確実に働くテクノロジーを見るのを待つよりも」とサンチェスは述べている。

そして私はそれを試したが間違っている方がいいし、クレイの背後にある哲学を述べているように、100%確実に働くテクノロジーを見るのを待つよりも」とサンチェスは述べている。

Orchestrate all the things ニュースレター

テクノロジー、データ、AI、メディアがどのように相互に流れ、私たちの生活を形作るかについてのストーリー。

分析、エッセイ、インタビュー、ニュース 月1〜3回

サインはこちら↓https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/