Introduction

په خپل وروستیو انټرنېټونو کې، زه دد Apache Icebergدد Apache KafkaاوApache ښهدا له دې امله چې زه فکر کوم چې په دې فضا کې د څیړنې لپاره یو ګټور پراختیا وي، کوم چې زما په اړه فکر کوي چې د عصري ډاټا اکوسیسټمونو پیچیدو ته لارښوونه وکړي. د میټاډاټونو مدیریت اغیزمنه ډاټا ډاټا ډاټا، حکومت او همکارۍ تضمین کوي. Enterد OpenMetadataپه دې بلاګ کې، موږ به د OpenMetadata تخنیکي بنسټونو ته وده ورکړي، د دې جوړولو، کلیدي ځانګړتیاوو، او د کارولو په صورتونو کې وده ورکړي، او د بصری مددونه وړاندې کوو ترڅو تاسو د معلوماتو د انجنیري ټولنې کې څنګه پوه شئ چې څنګه دا په پام کې وده ورکړي. د دې مخکښ سره، موږ به د دې تخنیکي جوړښت، کلیدي ځانګړتیاوو او د کارولو په صورتونو کې وده ورکړي.

What is OpenMetadata?

د OpenMetadata یو واحد، د خوندي سرچینو میټاباټ پلیټ فارم دی چې سازمانونو ته د خپل ډاټا اټکلونو په اغیزمنه توګه مدیریت کولو وړاندیز کوي. په 2021 کال کې پیل شوی او د Uber د میټاباټ انټرنېټ څخه د زده کړې له امله د میټاباټونو لپاره یو مرکزي ذخیره وړاندې کوي، د ډاټا کشف، lineage tracking، کیفیت څارنه، او ټیم همکارۍ وړاندیز کوي. د 300 څخه زيات ګډون کوونکي او په مختلفو صنعتونو کې تصویب کولو سره، د OpenMetadata د ساده، پراختیا، او ښکلا ټولنیز له امله شتون لري. دا د ډاټاټا اټکلونو د ستونزو حل کولو لپاره جوړ شوی دی، په کوم کې میټاباټ اغیزمنتیا او حکومت

د روښانه میټاټاټاټ آلهونو په پرتله چې د پیچلي ګرافی ډاټا بیسونو یا د مالکیت سیسټمونو پر بنسټ دي، د OpenMetadata سره د schema-first لارښوونې سره د سټیکول شوي آرکټیکټیکټ جوړوي. دا د میټاټاټاټونو د ډاټاټا بیسونو، ډاټا سټاکونه، پایپینونو او ډیزاین بورډونو څخه راټولولو لپاره د 90 څخه زيات کنیکټرونو ملاتړ کوي، دا د ډاټا ډیزاین جوړولو لپاره یو پراخ انتخاب دی. د دې کاروونکي دوستانه انټرنېټ د تخنیکي او غیر تخنیکي کاروونکو ته وده ورکوي، د ډاټا ډیزاین ثقافت ته وده ورک

Why OpenMetadata Matters

د ډاټا ډیزاین کولو او د راپور تولید په قدیم وختونو کې خورا ساده دی. تاسو ځینې جالۍ، ځینې فلټر کولو، ځینې فارمیټ کولو، او بون، تاسو کولی شئ ترسره کړئ. اوس تاسو د ډاټا ډیزاینونه لري چې د مختلفو سرچینو او ډولونو څخه ډاټا لیږدوي. کله چې، نه که، د پایلو سره یو څه دی، دا آسان نه ده چې څیړئ چې دا غلط کړ، او دا دا دی چې د OpenMetadata وارد کیږي. دا د ډاټا لګښت درک، کیفیت تضمین، او د همکارۍ وړاندیز کولو لپاره د ډیری درد پټونو حل کولو لپاره یو مهم ګټور دی:

• Fragmented Data Sources: سازمانونه اغیزمنه ډیری وسایلو کاروي (د بیلګې په توګه، Snowflake، dbt، Metabase)، له دې امله چې د siloed میټایټونه وکاروي. OpenMetadata دا میټایټونه په یوځای ګراف کې مرکزي کوي.
• د معلوماتو کشف وړتیا: د اړونده معلوماتو اټکل کول کولی شي د وخت لګښت لري. د OpenMetadata د څیړنې وړتیاوو او د میتا ډاټا غلظت د څیړنې intuitive کوي.
• د حکومت او مطابقت: د OpenMetadata په ځانګړتیاوو کې لکه د میټایټ نسخه کولو او اتومات کار فوریکسونو په واسطه د ناقانونه کمولو پرته د قوي حکومت ملاتړ کوي.
• Scalability: د هغې د رڼا آرشیفیت او پراخ کنټرول ملاتړ د هر اندازه د شرکتونو لپاره مناسب.

Architecture of OpenMetadata

د وخت په اساس، دا ښکاري چې د OpenMetadata د چار اصلي برخو څخه جوړ شوی دی:

1. د میټاټاټا سټرایډ: د مرکزي ذخیره چې د میټاټاټا گراف، د ډاټا اټکلونه، کاروونکو، او د وسایلو له خوا تولید شوي میټاټاټاټونه ذخیره کوي. دا د ذخیره کولو لپاره د ریسټیک ډاټاټاټ (د مثال په توګه، MySQL، Postgres) کاروي، د ګراف ډاټاټاټاټاټونو لکه Neo4j د پیچیدو څخه مخنیوی.
2. Ingestion Framework: د پټ وړ فریم ورک چې د 90 څخه زيات سرچینو څخه میټاباټونه جذب کوي، په شمول د ډاټا بیسونو (د بیلګې په توګه، BigQuery، Snowflake)، ډاټا لګونه (د بیلګې په توګه، S3، Iceberg)، او BI وسایلو (د بیلګې په توګه، Power BI). Connectors په پیټون کې لیکل شوي دي او د ګمرکولو پراختیا ملاتړ کوي.
3. د میټاباټ ډیزاینونه: د JSON پر بنسټ ډیزاینونه میټاباټ ډیزاینونه (د مثال په توګه، جدولونه، ډیزاین بورډونه) او رښتیاونه تعریف کوي. دا ډیزاینونه پراختیا وړ دي، کوم چې سازمانونو ته اجازه ورکوي چې د میټاباټونو د خپلو اړتیاوو سره سمون کړي.
4. د کارن انټرنیټ: د React سره جوړ شوی ویب پر بنسټ د UI، د څیړنې، lineage ویزوریشن، او همکارۍ وسایلو وړاندې کوي. دا د بشپړ متن څیړنې لپاره د Elasticsearch سره انټرنټ کوي او د چټک لارښوونې لپاره CMD + K سټاکټونه ملاتړ کوي.

د سیسټم آسانه کول د اپلوز کولو په پرتله کموي. د مثال په توګه، د محلي چاپیریال جوړول د دقیقې کچه کولی شي، او د پلیټ فارم د AWS، Azure، او Google Cloud پر د بادل اپلوزونو ملاتړ کوي.

اصلي ځانګړتیاوې

OpenMetadata وړاندیز کوي چې د ځانګړتیاوو په پراخه کچه چې زما په فضا کې تجربه پر بنسټ، په حقیقت کې د هغه څه پوښښ کوي چې خلک اړتيا لري / غواړم. دلته د ټولو اغیزمنو څخه یو تفصيل دی چې زه د سند څخه راټول کړم:

1. Data Discovery

   The full-text search engine, powered by Elasticsearch, indexes entity names, descriptions, tags, and even conversation threads. Users can refine searches with filters or use advanced queries to explore tables, dashboards, pipelines, and more.

   
   

2. Data Lineage

   Lineage tracking provides column-level visibility into data flows across pipelines and tools. For example, you can trace how data moves from a PostgreSQL table through a dbt transformation to a Power BI dashboard. Lineage can be exported as PNG or PDF for documentation.

   
   

3. Data Quality and Profiling

   Includes no-code data quality tests and profiling tools. Users can define test suites, monitor data health, and view results in an interactive dashboard. AutoPilot, an AI-driven feature, automates metadata extraction and profiling for new services, reducing onboarding time.

   
   

4. Collaboration

   The platform fosters collaboration through conversation threads, task creation, and event notifications. Data producers and consumers can communicate directly on data assets, reducing silos.

   
   

5. Governance

   Supports metadata versioning, tagging, and ownership assignment, enabling compliance with data governance policies. Its two-way metadata synchronization pushes enriched metadata (e.g., tags) back to source systems like Snowflake, ensuring consistency.

   
   

6. Extensibility The schema-first approach and REST APIs allow developers to extend metadata entities and integrate with custom tools. The ingestion framework supports community-contributed connectors, ensuring flexibility.

Use Cases

د انعطاف ډیزاین دا په ډیری صنعتونو کې کارول کیدی شي. دلته ځینې سټینرونه باید په پام کې ونیسئ:

• د ډاټا مرکزي: د خرڅلاو شرکت د OpenMetadata کاروي ترڅو د Snowflake، dbt، او Metabase څخه میټاډاډاټونو سره سمون کړي، د تحلیل ټیمونو لپاره یو واحد حقیقت سرچینه وړاندې کوي.
• د حکومت اتومات: د مالیې ادارو د AutoPilot څخه ګټه ورکوي چې د میټاډاټ ټج کولو اتومات کړي او د BigQuery کې د ډاټا ماسکولو سیاستونه اغیزمنوي، د GDPR سره مطابقت تضمین کوي.
• د AI لپاره د ډاټا ډیزاین: د SaaS عرضه کوونکي د مختلفو مشتریانو ډاټا سیټونو لپاره د میټاټاټاټونو د معياري کولو لپاره د OpenMetadata کاروي، د AI ماډل پمپونو سره د یوځای کولو وړاندیز کوي.

د ټیمونو په منځ کې همکارۍ: د بریښنالیک سوداګرۍ پلیټ فارم د OpenMetadata همکارۍ وسایلو څخه کاروي ترڅو د سوداګرۍ تجارتي او د معلوماتو انجنيرانو تر منځ بڼه ونیسئ، د ډیزاین بورډ جوړولو اغیزمنتیا ته وده ورکړي.

Getting Started

د OpenMetadata سره پیل کولو څو طریقې شتون لري، او د اختیارات په واضح ډول بیان شوي ديدلته. زه غواړم چې دوی په دې بلاګ کې تکرار شي، ځکه چې دوی په وخت کې بدل شي. هغه څه چې باید بدل شي، په هرصورت، د UI پته دی، نو:

• د UI ته لاس رسی: د ویب انټرنیټ ته لاس رسی لپاره د http://localhost:8585 ته لاس رسی.
• Configure Connectors: د ingestion فریم ورک په کارولو سره ستاسو د ډاټا سرچینو سره اړیکه ونیسئ. لکه څنګه چې زه ځینې وختونه خبرې وکړم، د دې لیکلو وخت کې د 90 څخه ډیر شتون لري. د سند د مشهور وسایلو لپاره د ګامونو لارښوونې وړاندې کوي.

تاسو کولی شئ د نصب مرحله څخه مخنیوی کړئ او د OpenMetadata Sandbox هڅه وکړئد انټرنیټ ډاټاد ټولنېد سپینچینل هم د ملاتړ او ځانګړتیاوو بحثونو لپاره یو ښه سرچینې ده.

Challenges and Considerations

که څه هم OpenMetadata قوي دی، دا محدودیتونه لري. په عصري ډاټا لیکونه آرکټیکټیکټونه (د مثال په توګه، ډالټا لیک) کې، د کنیکټور فعالیتونه ممکن محدود وي، او د جذب پروسهونه (د مثال په توګه، Athena) کولی شي د لګښتونو لګښتونو ته ورسیږي که نه ګټور شي، نو یوازې د ډیری ډاټا لیک ته په چټکۍ سره ښکاره نه شي او دا بند کړئ. د کنیکټور مطابقت وګورئ او د بشپړ پراختیا مخکې د پلیټ فارم په ډیزاین کې ازمايښت کړئ.

Summary

د OpenMetadata په اړه څه دی؟ دا یو د یوځای میټاباټ مدیریت حل وړاندې کوي چې د یوځای پروژې ده. د هغې رڼا آرکټیکټ، پراخه کنکټور ملاتړ، او د همکارۍ تمرکز دا د مدرن ډاټا سټاکونو لپاره یو حیرانتیا انتخاب کوي. د میټاباټونو مرکز کولو، د کشف وړتیا زیاتولو، او د حکومت اتومات کولو له لارې، OpenMetadata سازمانونه وړاندیز کوي چې د خپل ډاټا اټکلونو بشپړ پیاوړتیا له لاسه ورکړي. که تاسو د ډاټا ډیزاین کولی شئ یا د مطابقت ته ستونزه حل کړئ، د OpenMetadata لګښت لري.

ایا تاسو غواړئ په زما "چه د Heck دی؟" لړۍ کې نور مطالعه وکړئ؟ د ګټور لیست لاندې دی:

• د DuckDB په اړه څه دي؟
• د هیک Malloy څه دی؟
• د پیښو په اړه څه دي PRQL؟
• د Heck GlareDB څه دی؟
• د سمندري ټونلر په څیر څه دی؟
• د Heck د LanceDB څه دی؟
• د SDF په اړه څه ده؟
• هغه څه چې د پیاوړی دی؟
• د Heck پروټون څه دی؟
• د Heck دی PuppyGraph؟
• د Heck د GPTScript څه ده؟
• د WarpStream په اړه څه دي؟
• ** د DeltaStream په اړه څه دی؟ **