Introduction

នៅពេលដែលខ្ញុំបានធ្វើការច្នៃប្រឌិតច្នៃប្រឌិតបំផុតខ្ញុំបានមើលសាកលវិទ្យាល័យ Apache Icebergលោកហ្វេសប៊ុកនិងApache Flinkនេះបានធ្វើឱ្យខ្ញុំគួរឱ្យចាប់អារម្មណ៍អំពីអ្វីដែលអាចជាការបន្ថែមដែលមានប្រសិទ្ធិភាពក្នុងអំឡុងពេលនេះដើម្បីមើល, ដែលបានធ្វើឱ្យខ្ញុំគួរឱ្យចាប់អារម្មណ៍អំពីការធ្វើដំណើរការនៃការកម្រិតខ្ពស់នៃឧស្ម័នទិន្នន័យបច្ចុប្បន្ន។ ការគ្រប់គ្រង metadata មានប្រសិទ្ធិភាពដើម្បីធានាការរកឃើញទិន្នន័យការគ្រប់គ្រងនិងកិច្ចសហប្រតិបត្តិការ។ Enterលក្ខណៈពិសេសវាត្រូវបានបង្កើតឡើងដោយក្រុមហ៊ុន OpenMetadata ។ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធប្រតិបត្តិការ OpenMetadata ។ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធប្រតិបត្តិការ OpenMetadata ។ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធប្រតិបត្តិការ OpenMetadata ។ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធប្រតិបត្តិការ OpenMetadata ។ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធប្រតិបត្តិការ OpenMetadata ។ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធប្រតិបត្តិការ OpenMetadata ។ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធប្រតិបត្តិការ OpenMetadata ។

What is OpenMetadata?

OpenMetadata គឺជាបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញបណ្តាញ

ទោះបីជាឧបករណ៍ទិន្នន័យប្លាស្ទិចច្នៃប្រឌិតដែលប្រើទិន្នន័យប្លាស្ទិចច្នៃប្រឌិតទិន្នន័យប្លាស្ទិចច្នៃប្រឌិតប្លាស្ទិចច្នៃប្រឌិតប្លាស្ទិចច្នៃប្រឌិតប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្ល

Why OpenMetadata Matters

ការសរសេរទិន្នន័យនិងផលិតសៀវភៅគឺជាការងាយស្រួលណាស់នៅពេលវេលា។ អ្នកបានធ្វើការរួមបញ្ចូលមួយចំនួន, ការបម្រើមួយចំនួន, ការបម្រើមួយចំនួន, និងការបាត់បន្ថយ, អ្នកបានធ្វើ។ ឥឡូវនេះអ្នកមានបំពង់បំពង់ដែលមានទិន្នន័យដែលទទួលបានពីប្រភពនិងប្រភេទផ្សេងៗគ្នា។ នៅពេលដែល, មិនមែនទេ, អ្វីដែលធ្វើទៅខាងត្បូងជាមួយផលិតផលនេះ, វាគឺជាការងាយស្រួលក្នុងការរក្សាទុកកន្លែងដែលវាត្រូវបានបាត់បន្ថយ, និងវាជាកន្លែងដែល OpenMetadata បានចូលទៅ។ វាគឺជាឧបករណ៍សំខាន់សម្រាប់ការយល់ដឹងពីទិន្នន័យ, ការធានាគុណភាព, និងអនុញ្ញ

• ទិន្នន័យផ្លាស់ប្តូរ: ឧបករណ៍ជាច្រើន (ដូចជា Snowflake, dbt, Metabase) ដែលធ្វើឱ្យមានទិន្នន័យប្លាស្ទិច។ OpenMetadata បានកំណត់ទិន្នន័យប្លាស្ទិចនេះទៅក្នុងកំណត់ប្លាស្ទិចមួយ។
• ការស្វែងរកទិន្នន័យ: ការស្វែងរកសមត្ថភាពទិន្នន័យដែលទាក់ទងនឹងវាអាចមានពេលវេលា។ សមត្ថភាពស្វែងរករបស់ OpenMetadata និងការអត្ថប្រយោជន៍ទិន្នន័យធ្វើឱ្យការស្វែងរកមានអារម្មណ៍។
• ការគ្រប់គ្រងនិងការអនុវត្ត: OpenMetadata អនុញ្ញាតឱ្យការគ្រប់គ្រងល្អឥតគិតថ្លៃដោយគ្មានការធ្វើតេស្តដោយផ្ទាល់ដោយសារតែឧបករណ៍ដូចជាការធ្វើតេស្ត metadata និងដំណើរការការងារដោយស្វ័យប្រវត្តិ។
• ទំហំទូលំទូលាយ: មជ្ឈមណ្ឌលទាបរបស់ខ្លួននិងការគាំទ្រការភ្ជាប់ទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលាយ។

Architecture of OpenMetadata

ដោយផ្អែកលើពេលវេលាដែលខ្ញុំបានចំណាយ, វាត្រូវបានបង្ហាញថា OpenMetadata ត្រូវបានបង្កើតឡើងដោយផ្នែកសំខាន់បី:

1. Metadata Store: មជ្ឈមណ្ឌលដែលរក្សាទុកក្រាហ្វិកប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណប័ណ្ណ
2. Ingestion Framework: Framework ដែលអាចបង្វិលបានដែលបង្វិល metadata ពីច្រើនជាង 90 មតិ, រួមទាំងទិន្នន័យ (ដូចជា BigQuery, Snowflake), data lakes (ដូចជា S3, Iceberg) និង ឧបករណ៍ BI (ដូចជា Power BI) ។ អ្នកបង្វិលត្រូវបានសរសេរនៅក្នុង Python និងគាំទ្រការបង្វិលផ្ទាល់ខ្លួន។
3. គំនូរទិន្នន័យ: គំនូរទិន្នន័យដែលមានមូលដ្ឋាន JSON អនុញ្ញាតឱ្យគំនូរទិន្នន័យទិន្នន័យ (ដូចជាបណ្តាញទិន្នន័យ, គំនូរទិន្នន័យ) និងគំនូរទិន្នន័យ។ គំនូរទិន្នន័យទាំងនេះអាចបន្ថែមបានហើយអនុញ្ញាតឱ្យអង្គការកំណត់គំនូរទិន្នន័យដើម្បីបំពេញតាមតម្រូវការរបស់ពួកគេ។
4. User Interface: UI ដែលមានមូលដ្ឋានលើបណ្តាញត្រូវបានបង្កើតឡើងជាមួយ React ដែលផ្តល់ជូននូវការស្វែងរក, ការបង្ហាញបន្ទាត់និងឧបករណ៍ជំនួយ។ វាត្រូវបានរួមបញ្ចូលជាមួយ Elasticsearch សម្រាប់ការស្វែងរកសៀវភៅពេញលេញនិងគាំទ្រសម្រាប់ការចែកចាយ CMD + K សម្រាប់ការដំណើរការល្បឿនលឿន។

ឧទាហរណ៍ការបង្កើតបរិស្ថានផ្ទាល់ខ្លួនត្រូវចំណាយពេលវេលានិងវេទិកាគាំទ្រការបង្កើតទូទាត់នៅលើ AWS, Azure និង Google Cloud ។

លក្ខណៈពិសេស

OpenMetadata ផ្តល់ជូននូវកំណត់រចនាសម្ព័ន្ធដែលមានលក្ខណៈពិសេសដែល, ដោយផ្អែកលើបទពិសោធរបស់ខ្ញុំនៅក្នុងបរិស្ថាន, មានការបណ្តុះបណ្តាលពិតប្រាកដអំពីអ្វីដែលមនុស្សត្រូវ / ចង់ធ្វើ។ នេះគឺជាការចែករំលែកនៃការដែលមានប្រសិទ្ធិភាពបំផុតដែលខ្ញុំបានចែករំលែកពីឯកសារ:

1. Data Discovery

   The full-text search engine, powered by Elasticsearch, indexes entity names, descriptions, tags, and even conversation threads. Users can refine searches with filters or use advanced queries to explore tables, dashboards, pipelines, and more.

   
   

2. Data Lineage

   Lineage tracking provides column-level visibility into data flows across pipelines and tools. For example, you can trace how data moves from a PostgreSQL table through a dbt transformation to a Power BI dashboard. Lineage can be exported as PNG or PDF for documentation.

   
   

3. Data Quality and Profiling

   Includes no-code data quality tests and profiling tools. Users can define test suites, monitor data health, and view results in an interactive dashboard. AutoPilot, an AI-driven feature, automates metadata extraction and profiling for new services, reducing onboarding time.

   
   

4. Collaboration

   The platform fosters collaboration through conversation threads, task creation, and event notifications. Data producers and consumers can communicate directly on data assets, reducing silos.

   
   

5. Governance

   Supports metadata versioning, tagging, and ownership assignment, enabling compliance with data governance policies. Its two-way metadata synchronization pushes enriched metadata (e.g., tags) back to source systems like Snowflake, ensuring consistency.

   
   

6. Extensibility The schema-first approach and REST APIs allow developers to extend metadata entities and integrate with custom tools. The ingestion framework supports community-contributed connectors, ensuring flexibility.

Use Cases

ការរចនាសម្ព័ន្ធដែលមានភាពងាយស្រួលធ្វើឱ្យវាអាចត្រូវបានអនុវត្តនៅក្នុងឧស្សាហកម្មជាច្រើន។ នេះគឺជាជំហានមួយចំនួនដើម្បីពិនិត្យឡើងវិញ:

• ការកំណត់ទិន្នន័យ: ក្រុមហ៊ុនលក់ប្រើ OpenMetadata ដើម្បីកំណត់ទិន្នន័យពី Snowflake, dbt និង Metabase ដើម្បីផ្តល់នូវប្រភពពិតតែមួយសម្រាប់ក្រុមប្រឹក្សាភិបាលវិភាគ។
• ការត្រួតពិនិត្យដោយស្វ័យប្រវត្តិ: សាកលវិទ្យាល័យហិរញ្ញវត្ថុប្រើ AutoPilot ដើម្បីស្វ័យប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិប្រវត្តិ (GDPR)
• ការរកឃើញទិន្នន័យសម្រាប់ AI: អ្នកផ្គត់ផ្គង់ SaaS ប្រើ OpenMetadata ដើម្បីស្ដង់ដារទិន្នន័យសម្រាប់ទិន្នន័យអតិថិជនផ្សេងគ្នានិងអនុញ្ញាតឱ្យការរួមបញ្ចូលយ៉ាងងាយស្រួលនៅក្នុងបំពង់ម៉ូដែល AI ។

Collaboration Across Teams: វេទិកាអេឡិចត្រូនិប្រើឧបករណ៍កិច្ចសហប្រតិបត្តិការរបស់ OpenMetadata ដើម្បីកាត់បន្ថយខុសគ្នានៅរវាងអ្នកជំនាញវិជ្ជាជីវៈអាជីវកម្មនិងអ្នកវិស្វករទិន្នន័យដើម្បីបង្កើតប្រសិទ្ធិភាពនៃការបង្កើតទិន្នន័យ។

Getting Started

មានវិធីជាច្រើនដើម្បីចាប់ផ្តើមជាមួយ OpenMetadata ហើយលក្ខណៈពិសេសនេះត្រូវបានបង្ហាញយ៉ាងច្បាស់។ទីនេះខ្ញុំមិនចង់ចម្លងពួកគេនៅក្នុងប្រព័ន្ធផ្សព្វផ្សាយនេះដោយសារតែពួកគេអាចផ្លាស់ប្តូរតាមរយៈពេលវេលា។ អ្វីដែលគួរតែមិនផ្លាស់ប្តូរគឺជាអាសយដ្ឋាន UI ដូច្នេះ:

• ទាញយកអ៊ីនធឺណិត: ទាញយក http://localhost:8585 ដើម្បីចូលទៅក្នុងអ៊ីនធឺណិត។
• Configure Connectors: Connect to your data sources using the ingestion framework. ដូចដែលខ្ញុំបាននិយាយជាពីរដង, there are over 90 to choose from at the time of this writing. សៀវភៅនេះផ្តល់នូវដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយសម្រាប់ឧបករណ៍ពេញនិយម.

អ្នកអាចដោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយ OpenMetadata Sandbox នៅស្លាក: sandbox.open-metadata.orgសង្គមសត្វវេជ្ជសាស្រ្តនេះគឺជាប្រភពដ៏ល្អបំផុតសម្រាប់ការគាំទ្រនិងការពិភាក្សា។

Challenges and Considerations

ប្រសិនបើ OpenMetadata គឺមានប្រសិទ្ធិភាពប៉ុន្តែវាត្រូវបានកាត់បន្ថយ។ សម្រាប់អាកាសធាតុអេឡិចត្រូនិកទិន្នន័យថ្មី (ដូចជា Delta Lake) សមត្ថភាពនៃការភ្ជាប់អាចត្រូវបានកាត់បន្ថយនិងដំណើរការអប់រំ (ដូចជា Athena) អាចមានតម្លៃប្រសិនបើមិនបានអេឡិចត្រូនិក។ ដូច្នេះមិនមែនគ្រាន់តែបង្ហាញវានៅលើអេឡិចត្រូនិកទិន្នន័យធំនិងបិទវា។ ពិនិត្យមើលការភ្ជាប់និងធ្វើតេស្តប្លាស្ទិចនៅក្នុងការសាកល្បងគំនិតមុនពេលការដំឡើងពេញលេញ។

Summary

OpenMetadata គឺជាគម្រោងប្រព័ន្ធប្រតិបត្តិការ OpenSource ដែលផ្តល់នូវដំណោះស្រាយគ្រប់គ្រងទិន្នន័យធម្មតានិងការគ្រប់គ្រងទិន្នន័យធម្មតានិងឧបករណ៍គ្រប់គ្រងទិន្នន័យធម្មតានិងការគាំទ្រទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យ

តើអ្នកចង់អានបន្ថែមទៀតនៅក្នុងប្រភេទ “What the Heck is???” របស់ខ្ញុំ? សៀវភៅដែលមានភាពងាយស្រួលនៅក្រោមនេះ:

• តើ DuckDB គឺជាអ្វី?
• តើវាជាអ្វីទៅជា Malloy?
• អ្វីដែលគួរឱ្យចាប់អារម្មណ៍គឺ PRQL?
• តើ GlareDB គឺជាអ្វី?
• តើធ្វើដូចម្តេចដើម្បីធ្វើ SeaTunnel?
• តើ LanceDB គឺជាអ្វី?
• តើ SDF គឺជាអ្វី?
• អ្វីដែលគួរឱ្យចាប់អារម្មណ៍គឺ Paimon?
• អ្វីដែល Heck គឺជា proton?
• តើ PuppyGraph គឺជាអ្វី?
• តើវាជាការពិតប្រាកដដែលជា GPTScript?
• តើ WarpStream គឺជាអ្វី?
• **អ្វីដែលជាការផ្លាស់ប្តូរគឺ DeltaStream? **