यह खुले स्रोत एआई पृथ्वी को पढ़ता है जैसे ChatGPT पाठ पढ़ता है

How a rocket scientist turned entrepreneur created the “ChatGPT for Earth data” using transformers and satellite imagery

ब्रुनो सैन्सेस एक रॉकेट वैज्ञानिक है जिसका ट्रैक्चर थोड़ा विचलित है. प्रशिक्षण के आधार पर एक एस्ट्रोफिजिस्ट, उन्होंने अपने व्यवसाय के उपकरणों का उपयोग किया - गणित और विज्ञान - सबसे व्यापक संभव पैमाने पर: ब्रह्मांड. हालांकि, किसी बिंदु पर, उनका ध्यान पृथ्वी के लिए अधिक लक्ष्यों के लिए उसी उपकरणों का उपयोग करने के लिए बदल गया।

सैन्सेज़ ने विश्व बैंक में एक स्टेंट किया, जहां एक अंतःविषय टीम के सदस्य के रूप में उन्होंने भू-क्षेत्रिक डेटा के अर्थ को समझने में मदद की. फिर उन्होंने महसूस किया कि वह जो कर रहा था वह नक्शाकरण था, जिसने उन्हें वेब पर ऑनलाइन नक्शे प्रदान करने वाली मैपबॉक्स नामक एक कंपनी लॉन्च करने के लिए प्रेरित किया।

इस अनुभव ने सैन्सेस के लिए एक और महसूस किया - किहमारे पास पृथ्वी के बारे में बहुत जानकारी है।हम वास्तव में यह नहीं जानते कि इसका उपयोग कैसे करना है: "हम जानते हैं कि दुनिया में पेड़ क्या हैं. हम जानते हैं कि दुनिया में जंगल क्या हैं. यह केवल [डेटा] को ठीक से संसाधित करने का मामला है," जैसा कि उन्होंने कहा।

इसलिए जब उसे एक ही डेटा सेंटर में और एक ही कार्यबोर्ड में उन सभी को एक साथ रखने का प्रयास करने का अवसर मिला, तो वह इसके लिए गया. यह माइक्रोसॉफ्ट में ग्रह कंप्यूटर परियोजना थी, और सैंचेस इसे पसंद किया. फिर, चैटजीपीटी हुआ.

Sánchez ने नोट किया कि ChatGPT में टी -परिवर्तित– एक वास्तुकला थी जो पाठ, छवियों, और ऑडियो जैसे तरीकों के लिए महान काम करने लगता था, लेकिन कोई भी इसे पृथ्वी डेटा के लिए उपयोग नहीं कर रहा था. इसलिए उन्होंने इसे एक कोशिश करने का फैसला किया. उन्होंने एक टीम बनाई, धन जमा किया, एक गैर-लाभकारी बनाया, और खुले डेटा का उपयोग करके एक ओपन सोर्स मॉडल बनाया. और यह है कि कैसेक्लेयरपैदा हुआ था।

Clay: the ChatGPT of Earth data?

"यह अविश्वसनीय है. यह बड़े पैमाने पर तेजी से, सस्ता, और हमने कभी देखा है कि कुछ भी की तुलना में बेहतर है, जो बिल्कुल वही है जो पाठ और छवियों और ऑडियो के साथ हुआ है. यह एक बार फिर साबित करता है कि ChatGPT का यह टी, ट्रांसफार्मर, एक अद्भुत मानव आविष्कार है," सेंसेक्स ने नोट किया, क्ले के बारे में वास्तव में उत्साहित।

"यह अविश्वसनीय है. यह बड़े पैमाने पर तेजी से, सस्ता, और हमने कभी देखा है कि कुछ भी की तुलना में बेहतर है, जो बिल्कुल वही है जो पाठ और छवियों और ऑडियो के साथ हुआ है. यह एक बार फिर साबित करता है कि ChatGPT का यह टी, ट्रांसफार्मर, एक अद्भुत मानव आविष्कार है," सेंसेक्स ने नोट किया, क्ले के बारे में वास्तव में उत्साहित।

तो बिल्कुल क्या है Clay – यह क्या करता है, और यह कैसे काम करता है? Sánchez एक वास्तुकला के रूप में Clay की स्थिति रखता है. यह एक प्रोसेसर है जो पृथ्वी (सैटलेट, विमान, या ड्रोन) के किसी भी प्रकार की छवि लेता है और "समझता है" चित्र में क्या है. यह किसी भी वस्तु को पहचान सकता है - विमानों से फसलों तक और पानी से नौकाओं तक, और यह गिन सकता है कि उनमें से कितने एक छवि में हैं।

हालांकि क्लेयर नेChatGPT से प्रेरितऔर ट्रांसफर आर्किटेक्चर का उपयोग करता है, इसे पृथ्वी के डेटा के चैटजीपीटी कहते हुए कई कारणों से सटीक नहीं होगा।

एक प्रमुख अंतर डेटा के प्रकार है जिस पर ग्ले को प्रशिक्षित किया गया था - छवियों के बजाय पाठ. यह अपने आप में एक मौलिक अंतर है, जो उन छवियों की प्रकृति को देखते हुए और मॉडल का उपयोग कैसे किया जाता है, इससे भी गहरा हो जाता है।

आलू को सिर्फ किसी भी तरह की छवि पर प्रशिक्षित नहीं किया गया था, बल्कि एक बहुत ही विशिष्ट प्रकार की छवियां थीं: पृथ्वी के उच्च संकल्प हवाई शॉट जो एक हिस्से हैंसार्वजनिक डोमेन डेटायह उच्च गुणवत्ता के एक बहुत ही विशेष डेटासेट के लिए बनाता है. Sánchez ने नोट किया कि यह कारण का हिस्सा है कि ट्रांसफॉर्मर-आधारित मॉडल के साथ सबसे स्पष्ट मुद्दों में से एक है, क्ले के साथ बहुत कम एक समस्या है।

Clay, जैसे ChatGPT और इसके ilk, पर भरोसा करता हैएम्बुलेंस- यह डेटा का उच्च आयाम संख्यात्मक प्रतिनिधित्व करता है. लेकिन डेटा के अलावा Clay काम करता है, यह एम्बेडमेंट्स का उत्पादन करता है और उनका उपयोग करने का तरीका अलग है।

इसके समकक्षों के विपरीत, वर्तमान में क्ले के साथ बातचीत में कोई टेक्स्ट इंटरफ़ेस शामिल नहीं है. यह बिल्कुल भी क्ले के माध्यम से नहीं जाता है. इसके बजाय, क्ले की टीम लोगों को एम्बेडमेंट बनाने के लिए मॉडल का उपयोग करने के लिए प्रोत्साहित करती है, और फिर सीधे उनके साथ काम करती है।

The power of embeddings

जैसा कि सेंसेक्स ने समझाया, क्लेयर लेवरेजऑटोमोबाइल मशीनोंइसका मतलब यह है कि छवियों को न केवल उनके इनबूट प्रतिनिधित्वों के माध्यम से संपीड़ित किया जाता है, बल्कि छवि के कुछ हिस्सों को भी हटा दिया जाता है।

उदाहरण के लिए, यदि एक छवि में एक चेहरे के हिस्सों होते हैं, तो इसका मतलब शायद अन्य हिस्सों भी होते हैं. इसलिए मॉडल को संपीड़न के माध्यम से समझना होगा, लेकिन संदर्भ के माध्यम से भी।

Masked AutoEncoders encoders और decoders का उपयोग करते हैं, और Clay को सक्षम बनाते हैंमानव डेटा लेबल के बिना स्केलमूल रूप से, विचार ग्ले के बुनियादी मॉडल को प्रशिक्षित करना था, और फिर केवल विशिष्ट कार्यों के लिए डिकोडर को अच्छी तरह से समायोजित करना था जैसे कि कारों की गिनती।

लेकिन फिर ग्ले टीम ने महसूस किया कि वे एकीकरण बना सकते हैं जो सार्वभौमिक रूप से लागू होते हैं. इसलिए वे एकीकरण उत्पन्न करते हैं, और फिर वे एक डिकोडर बनाने के लिए एकीकरण का उपयोग करते हैं, एन्कोडर को छोड़ते हुए. मुख्य प्रेरणा यह है कि यह मिलिसेकंड में जवाब प्राप्त करने की अनुमति देता है, हफ्तों में नहीं।वेक्टर डेटाबेससेंसेक्स के रूप में काम करना चाहिए:

“यह कल्पना कीजिए कि हमारे पास एक उपयोगकर्ता है जो ग्रीस में सौर पैनलों को ढूंढना चाहता है, और हमने पूरे ग्रीस के लिए एम्बेडमेंट किए हैं।

“यह कल्पना कीजिए कि हमारे पास एक उपयोगकर्ता है जो ग्रीस में सौर पैनलों को ढूंढना चाहता है, और हमने पूरे ग्रीस के लिए एम्बेडमेंट किए हैं।

फिर यदि कोई और आता है और जहाजों या निर्माण जैसे कुछ और ढूंढना चाहता है, तो उस नए ऑपरेशन के लिए उसी एम्बेडमेंट का उपयोग किया जाता है. इसका मतलब है कि आपको उन्हें केवल एक बार बनाने की आवश्यकता है. यह एम्बेडमेंट की शक्ति है. यह सार्वभौमिक पूर्व गणना है, अधिकांश उत्तरों के लिए सबसे अच्छा तरीका।

फिर यदि कोई और आता है और जहाजों या निर्माण जैसे कुछ और ढूंढना चाहता है, तो उस नए ऑपरेशन के लिए उसी एम्बेडमेंट का उपयोग किया जाता है. इसका मतलब है कि आपको उन्हें केवल एक बार बनाने की आवश्यकता है. यह एम्बेडमेंट की शक्ति है. यह सार्वभौमिक पूर्व गणना है, अधिकांश उत्तरों के लिए सबसे अच्छा तरीका।

Clay meets Plato

Embeddings की सार्वभौमिकता एक विषय है जो एआई समुदाय में बहुत रुचि पैदा कर दिया है. यह रुचि हाल ही मेंएक अनियंत्रित दृष्टिकोण का प्रकाशन जो किसी भी इनपुट को एक सार्वभौमिक लैटिन प्रतिनिधित्व में और से अनुवाद करता है, अर्थात्, Platonic Representation Hypothesis द्वारा अनुमानित एक सार्वभौमिक सेमेंटिक संरचना।

केPlatonic Representation Hypothesis के बारे में जानेंयह अनुमान लगाता है कि पर्याप्त आकार के सभी छवि मॉडल में एक ही गुप्त प्रतिनिधित्व है. कॉर्नल विश्वविद्यालय के शोधकर्ताओं का एक समूह ने पाठ मॉडल के लिए इस अनुमान का एक मजबूत, रचनात्मक संस्करण पेश किया है. साथ ही, ग्ले टीम पाठ सहित कई चीजों के साथ प्रयोग कर रही है.

सटीकता के संदर्भ में, Sánchez ने कुछ अनुभवी निष्कर्षों को साझा किया, ध्यान में रखते हुए कि टीम ने बेंचमार्क के बजाय अन्य क्षेत्रों पर ध्यान केंद्रित करने का विकल्प चुना है।

इसके अलावा, इनपुट को समय-समय पर पुनर्जन्म करने की आवश्यकता होती है ताकि पृथ्वी की सतह पर होने वाले परिवर्तनों को प्रतिबिंबित किया जा सके - प्राकृतिक आपदाओं या निर्माण कार्यों जैसे चीजें।एर्जी.

Ergodic सिस्टम ऐसे सिस्टम हैं जिसमें सभी संभावित राज्य किसी भी समय मौजूद हैं. उदाहरण के लिए, यदि स्पेन में जलवायु परिवर्तन के कारण मैड्रिड के कुछ हिस्सों को रेगिस्तान में बदल दिया जाता है, तो यह कुछ ऐसा है जो मॉडल ने पहले कभी नहीं देखा है. लेकिन यह पहली रेगिस्तान छवि नहीं होगी जो मॉडल का सामना करता है, इसलिए यह अभी भी इसके साथ काम करने में सक्षम होगा.

Orchestrate all the Things Newsletter से जुड़ें

कैसे प्रौद्योगिकी, डेटा, एआई और मीडिया एक-दूसरे में प्रवाह हमारे जीवन को आकार देने के बारे में कहानियां।

विश्लेषण, परीक्षण, साक्षात्कार और समाचार. मध्य से लंबी अवधि के रूप में, महीने में 1-3 बार।

इस पर हस्ताक्षर करेंhttps://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/

Multi-modality: Clay and text

लेकिन पाठ के बारे में क्या? Sánchez ने स्वीकार किया कि टेक्स्ट मॉडल की शक्ति को पृथ्वी मॉडल की शक्ति के साथ जोड़ने में सक्षम होने से एक और श्रृंखला की संभावनाएं खुल जाएंगी. Clay को मल्टी-मॉडल बनाने से यह संदर्भ समानता का उपयोग करके रिश्तों को भी ढूंढने में सक्षम होगा. उदाहरण जो Sánchez यहां इस्तेमाल किया था वह पेड़ों की तलाश में जंगलों को ढूंढने में सक्षम था.

टीम इस पर सक्रिय रूप से काम कर रही है, लेकिन सेंसेक्स ने नोट किया कि टेक्स्ट डेटा चुनौतियों का प्रतिनिधित्व करता है जो पृथ्वी डेटा नहीं करता है, ज्यादातर सच्चाई के साथ संबंधित है।OpenStreetMaps के बारे में.

सबसे पहले, वे पृथ्वी की छवि का एक एम्बेडेड बनाने के लिए ग्ले का उपयोग करते हैं. फिर वे एक ही छवि लेते हैं और OpenStreetMaps एपीआई का उपयोग एक ही क्षेत्र के लेबलों के लिए पूछताछ करने के लिए करते हैं. OpenStreetMaps एक रेगिस्तान, एक नदी, या एक पार्किंग मैदान जैसे वर्णनों के साथ प्रतिक्रिया करता है, और एक टेक्स्ट मॉडल का उपयोग इसके एक एम्बेडेड बनाने के लिए किया जाता है.

फिर टीम इस स्थान के दो एम्बेडमेंट लेती है – एक ग्ले से और एक टेक्स्ट मॉडल से – और वे यह समझने की कोशिश करते हैं कि उन्हें कैसे समायोजित किया जाए. लक्ष्य एक दूसरे से एक को फिर से बनाने या समानता खोजने की कोशिश करते समय नुकसान को कम करना है. ग्ले एम्बेडमेंट अपने समकक्ष टेक्स्ट एम्बेडमेंट्स के समान होना चाहिए, क्योंकि वे एक ही चीज को कोड करते हैं, भले ही विधि अलग हो।

AI and environmental impact

ट्रांसफार्मर के बारे में अपने उत्साह के बावजूद, सेंसेक्स मानता है कि वे सही नहीं हैं. क्ले के लिए ट्रांसफार्मर आर्किटेक्चर का चयन करने का मुख्य कारण यह था कि उद्योग और अनुसंधान ने इसके पीछे अपना वजन रखा है, इसलिए बहुत सारे संसाधन और विशेषज्ञताएं हैं जिन्हें इस्तेमाल किया जा सकता है।

"अगर मुझे शून्य से चुनना पड़ा और दुनिया के एआई आंदोलन को चलाने के लिए वित्त पोषित किया गया था, तो शायद हम ट्रांसफार्मर नहीं चुनेंगे, लेकिन यह निर्णय हमारे हाथों में नहीं है," सैन्सेज ने कहा।

ट्रांसफार्मरों के मुख्य नुकसान जिनके साथ क्लेई टीम को निपटने का सामना करना पड़ा, डेटा और गणना की मात्रा से संबंधित हैं जो मॉडल को प्रशिक्षित करने के लिए आवश्यक है, और उनकी संवेदनशीलता।कंप्यूटर एक समस्या हैअच्छी तरह से समायोजित मॉडल का उत्पादन करने के लिए और भी अधिक डेटा और गणना की आवश्यकता होती है, और परिणाम संवेदनशील और अति विशिष्ट हैं।

Clay टीम ने मॉडल के उत्पादन के लिए आवश्यक व्यापक प्रशिक्षण लेने के लिए धन जमा करने से पहले अवधारणा का एक सबूत के साथ शुरू किया है. अब तक, Clay मॉडल का केवल 2 पुनरावृत्तियां हुई हैं, और सैंचेस आवश्यक प्रशिक्षण की मात्रा को कम करना चाहता है - इसलिए एम्बेडमेंट्स का उपयोग।

माइक्रोसॉफ्ट के ग्रह कंप्यूटर में अपने कार्यकाल के कारण, सेंसेक्स अच्छी तरह से जानता है कि बिजली, पानी और अन्य संसाधनों के संदर्भ में एआई कितना बेहद मांगदार है. संभावित रूप से पर्यावरणीय क्षति को कम करने के लिए एआई को लागू करने की कोशिश करने का इरादा उसे खो नहीं जाता है।

विचार, वह कहता है, यह है कि ग्ले न केवल अपने आउटपुट में खुले हैं, बल्कि टीम के काम के तरीके और दृष्टिकोण पर भी।एआई के पर्यावरणीय निशानदो तरीकों से पृथ्वी पर

सबसे पहले, समान लक्ष्यों वाले लोगों को एकजुट करने से, इसलिए अधिक मॉडल को प्रशिक्षित करने के बजाय, वे क्ले के आसपास एकजुट हो जाते हैं. दूसरा, उन लोगों के साथ साझा करके जो अभी भी अपना काम करना चाहते हैं, ताकि वे क्ले के अनुभव से सीख सकें और प्रशिक्षण की आवश्यकता को कम कर सकें।

Working with Clay and LGND

यह सब ठीक है और अच्छा है, लेकिन वास्तव में लोगों के लिए ग्ले का उपयोग करने का सबसे अच्छा तरीका क्या है? यह एक खुले सवाल है. एम्बेडमेंट्स और फिनिंग के अलावा, जिनके लिए विशेषज्ञता और संसाधनों की आवश्यकता होती है, और पाठ, जो प्रयोगशाला है, ग्ले टीम ने एक एप्लिकेशन भी विकसित किया है जिसे कहा जाता हैक्लास का पता लगाएं.

"यह एक नक्शा है. आप स्थानों पर क्लिक करते हैं, और यह आपको चीजों को खोजने की अनुमति देता है. लेकिन फिर हम खुद से पूछते हैं - क्या यह एक नक्शा है क्योंकि यह एक नक्शा होने के लायक है या क्योंकि मैं नक्शे के लिए उपयोग किया जाता हूं क्योंकि मैं इस उद्योग में हूं और मैं एक नक्शा चाहता हूं?

"यह एक नक्शा है. आप स्थानों पर क्लिक करते हैं, और यह आपको चीजों को खोजने की अनुमति देता है. लेकिन फिर हम खुद से पूछते हैं - क्या यह एक नक्शा है क्योंकि यह एक नक्शा होने के लायक है या क्योंकि मैं नक्शे के लिए उपयोग किया जाता हूं क्योंकि मैं इस उद्योग में हूं और मैं एक नक्शा चाहता हूं?

हम सोच रहे हैं कि शायद ग्ले के उपयोगिता को अधिकतम करने का तरीका एक नक्शा नहीं है. शायद यह एक चैट इंटरफ़ेस भी है. शायद यह एक तालिका पर सिर्फ एक स्तंभ है. हम नहीं जानते, "सेन्सेस ने कहा।

हम सोच रहे हैं कि शायद ग्ले के उपयोगिता को अधिकतम करने का तरीका एक नक्शा नहीं है. शायद यह एक चैट इंटरफ़ेस भी है. शायद यह एक तालिका पर सिर्फ एक स्तंभ है. हम नहीं जानते, "सेन्सेस ने कहा।

सैन्सेक्स भी Clay के आसपास सेवाएं प्रदान करने और उत्पादों को विकसित करने के तरीकों की खोज कर रहा है।एलजीडी, एक स्टार्टअप जिसे उन्होंने 2024 में स्थापित किया था. यह शुरुआती दिनों में है, लेकिन कंपनी के पास पहले से ही कुछ भुगतान करने वाले ग्राहक हैं और अब वित्त पोषण के एक बीज दौर को बंद कर रहा है।

"सबसे महत्वपूर्ण बात यह है कि हमारे पास एक स्पष्ट विचार है कि सेवा क्या है, लेकिन एक ही समय में, हम उत्पाद के बारे में नहीं जानने में स्वस्थ हैं. क्योंकि अगर हम यहां जो बात कर रहे हैं वह भू-स्थानिक उद्योग को बदल रहा है, तो इसके बारे में सोचने के बारे में पूरी तरह से अलग होना चाहिए।

"सबसे महत्वपूर्ण बात यह है कि हमारे पास एक स्पष्ट विचार है कि सेवा क्या है, लेकिन एक ही समय में, हम उत्पाद के बारे में नहीं जानने में स्वस्थ हैं. क्योंकि अगर हम यहां जो बात कर रहे हैं वह भू-स्थानिक उद्योग को बदल रहा है, तो इसके बारे में सोचने के बारे में पूरी तरह से अलग होना चाहिए।

हम एक भू-स्थानिक कंपनी नहीं हैं. हम एक जवाब कंपनी हैं. और हमारा सबसे बड़ा जोखिम एक भू-स्थानिक कंपनी बनने का है, जिनमें से कई हैं, "सेन्सेज ने नोट किया।

हम एक भू-स्थानिक कंपनी नहीं हैं. हम एक जवाब कंपनी हैं. और हमारा सबसे बड़ा जोखिम एक भू-स्थानिक कंपनी बनने का है, जिनमें से कई हैं, "सेन्सेज ने नोट किया।

Going all in

खुलेपन क्ले और एलजीएनडी के लिए एक महत्वपूर्ण विषय है, क्योंकि सैन्सेक्स साझेदारी और क्ले के अलावा अन्य मॉडल का उपयोग करने के लिए खुले हैं. साथ ही, गैर-लाभकारी के लिए नई वित्तपोषण सुनिश्चित होने के साथ, क्ले के विकास जारी रहेगा.

“शायद मूल्य यह है कि यह ओपन सोर्स है. शायद मूल्य यह है कि यह ऑफ़लाइन है. हम शर्त लगा रहे हैं कि वहाँ कुछ है. शायद वहाँ नहीं है. शायद हम गलत हैं और शायद एम्बेडमेंट नहीं हैं।

“शायद मूल्य यह है कि यह ओपन सोर्स है. शायद मूल्य यह है कि यह ऑफ़लाइन है. हम शर्त लगा रहे हैं कि वहाँ कुछ है. शायद वहाँ नहीं है. शायद हम गलत हैं और शायद एम्बेडमेंट नहीं हैं।

लेकिन अगर ऐसा होता है, या यदि ऐसा होता है, तो मैं दृढ़ता से मानता हूं कि यह सामाजिक, आर्थिक, पर्यावरण और निवेश के रूप में इतने सारे मुद्दों पर इतना मूल्य खोल देगा।

लेकिन अगर ऐसा होता है, या यदि ऐसा होता है, तो मैं दृढ़ता से मानता हूं कि यह सामाजिक, आर्थिक, पर्यावरण और निवेश के रूप में इतने सारे मुद्दों पर इतना मूल्य खोल देगा।

इस बारे में इतने सारे चीजें हैं जो इस बारे में समझ में आती हैं, कि मैं सब कुछ करने जा रहा हूं. और मैं इसे कोशिश करने के बाद गलत होने के बजाय एक तकनीक देखने के लिए इंतजार करना चाहता हूं जो मुझे सौ प्रतिशत आश्वासन देता है कि यह काम करेगा, "यह कैले के पीछे की दर्शन को सारांशित करता है।

इस बारे में इतने सारे चीजें हैं जो इस बारे में समझ में आती हैं, कि मैं सब कुछ करने जा रहा हूं. और मैं इसे कोशिश करने के बाद गलत होने के बजाय एक तकनीक देखने के लिए इंतजार करना चाहता हूं जो मुझे सौ प्रतिशत आश्वासन देता है कि यह काम करेगा, "यह कैले के पीछे की दर्शन को सारांशित करता है।

Orchestrate all the Things Newsletter से जुड़ें

कैसे प्रौद्योगिकी, डेटा, एआई और मीडिया एक-दूसरे में प्रवाह हमारे जीवन को आकार देने के बारे में कहानियां।

विश्लेषण, परीक्षण, साक्षात्कार और समाचार. मध्य से लंबी अवधि के रूप में, महीने में 1-3 बार।

यहाँ साइन अप करें 👉 https://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/