Introduction

Dalam postingan terakhir saya, saya telah melihatApache dari Iceberg, yangApache KafkadanApache yang bagusHal ini membuat saya berpikir tentang apa yang bisa menjadi ekstensi yang berguna di ruang itu untuk dilihat, yang membuat saya berpikir tentang menavigasi kompleksitas ekosistem data modern.OpenMetadata, platform sumber terbuka yang dirancang untuk menyederhanakan manajemen metadata, menawarkan solusi penemuan data, observabilitas, dan pemerintahan yang kuat. dalam posting blog ini, kami akan menyelidiki dasar-dasar teknis OpenMetadata, mengeksplorasi arsitektur, fitur kunci, dan kasus penggunaan, dan menyediakan bantuan visual untuk membantu Anda memahami mengapa itu mendapatkan daya tarik di komunitas teknik data.

What is OpenMetadata?

OpenMetadata adalah platform metadata sumber terbuka yang disatukan yang memungkinkan organisasi untuk mengelola aset data mereka secara efisien. Diluncurkan pada tahun 2021 dan terinspirasi oleh pelajaran dari infrastruktur metadata Uber, OpenMetadata menyediakan repositori terpusat untuk metadata, memungkinkan penemuan data, pelacakan garis, pemantauan kualitas, dan kolaborasi tim. Dengan lebih dari 300 kontributor dan adopsi di berbagai industri, OpenMetadata menonjol karena kesederhanaan, ekstensi, dan komunitas yang dinamis.

Tidak seperti alat metadata tradisional yang bergantung pada basis data grafis yang kompleks atau sistem paten, OpenMetadata mengadopsi arsitektur yang disempurnakan dengan pendekatan skema pertama. ia mendukung lebih dari 90 konektor untuk menyerap metadata dari database, gudang data, pipa, dan dashboard, menjadikannya pilihan yang serbaguna untuk tumpukan data modern. antarmuka yang mudah digunakan melayani pengguna teknis dan non-teknis, mempromosikan budaya yang didorong oleh data.

Why OpenMetadata Matters

Membaca database dan memproduksi laporan cukup sederhana di zaman kuno. Anda melakukan beberapa penggabungan, beberapa penyaringan, beberapa pemformatan, dan bang, Anda selesai. Sekarang Anda memiliki pipa yang kompleks yang mengambil data dari berbagai sumber dan jenis. Ketika, tidak jika, sesuatu pergi ke selatan dengan hasilnya, tidak mudah untuk melacak di mana itu salah, dan ini adalah di mana OpenMetadata masuk. Ini adalah aset penting untuk memahami garis data, memastikan kualitas, dan memungkinkan kolaborasi, mengatasi beberapa titik rasa sakit:

• Sumber Data Fragmented: Organisasi sering menggunakan beberapa alat (misalnya, Snowflake, dbt, Metabase), yang mengarah ke metadata siloed.
• Data Discoverability: Menemukan aset data yang relevan dapat memakan waktu. kemampuan pencarian OpenMetadata dan pengayaan metadata membuat penemuan intuitif.
• Pemerintahan dan Kepatuhan: OpenMetadata mendukung pemerintahan yang kuat tanpa usaha manual yang berlebihan melalui fitur seperti versi metadata dan alur kerja otomatis.
• Skalabilitas: Arsitektur ringan dan dukungan konektor yang luas cocok untuk perusahaan dari semua ukuran.

Architecture of OpenMetadata

Berdasarkan waktu yang saya habiskan, tampaknya OpenMetadata terdiri dari empat komponen inti:

1. Metadata Store: Sebuah repositori pusat yang menyimpan grafik metadata, menghubungkan aset data, pengguna, dan metadata yang dihasilkan oleh alat. ia menggunakan database relasional (misalnya, MySQL, Postgres) untuk penyimpanan, menghindari kompleksitas database graf seperti Neo4j.
2. Ingestion Framework: Sebuah framework plug-in yang menyerap metadata dari lebih dari 90 sumber, termasuk database (misalnya, BigQuery, Snowflake), data lake (misalnya, S3, Iceberg), dan alat BI (misalnya, Power BI).
3. Skema Metadata: Skema berbasis JSON mendefinisikan entitas metadata (misalnya, tabel, dashboard) dan hubungan. skema ini dapat diperluas, memungkinkan organisasi untuk menyesuaikan metadata dengan kebutuhan mereka.
4. User Interface: Sebuah UI berbasis web yang dibangun dengan React, menawarkan pencarian, visualisasi lineage, dan alat kolaborasi. ia mengintegrasikan dengan Elasticsearch untuk pencarian teks penuh dan mendukung pendekatan CMD + K untuk navigasi cepat.

Misalnya, mengatur lingkungan lokal membutuhkan waktu beberapa menit, dan platform ini mendukung penyebaran cloud di AWS, Azure, dan Google Cloud.

Karakteristik Utama

OpenMetadata menawarkan serangkaian fitur yang kaya yang, berdasarkan pengalaman saya di ruang, benar-benar mencakup apa yang orang perlu / ingin lakukan.

1. Data Discovery

   The full-text search engine, powered by Elasticsearch, indexes entity names, descriptions, tags, and even conversation threads. Users can refine searches with filters or use advanced queries to explore tables, dashboards, pipelines, and more.

   
   

2. Data Lineage

   Lineage tracking provides column-level visibility into data flows across pipelines and tools. For example, you can trace how data moves from a PostgreSQL table through a dbt transformation to a Power BI dashboard. Lineage can be exported as PNG or PDF for documentation.

   
   

3. Data Quality and Profiling

   Includes no-code data quality tests and profiling tools. Users can define test suites, monitor data health, and view results in an interactive dashboard. AutoPilot, an AI-driven feature, automates metadata extraction and profiling for new services, reducing onboarding time.

   
   

4. Collaboration

   The platform fosters collaboration through conversation threads, task creation, and event notifications. Data producers and consumers can communicate directly on data assets, reducing silos.

   
   

5. Governance

   Supports metadata versioning, tagging, and ownership assignment, enabling compliance with data governance policies. Its two-way metadata synchronization pushes enriched metadata (e.g., tags) back to source systems like Snowflake, ensuring consistency.

   
   

6. Extensibility The schema-first approach and REST APIs allow developers to extend metadata entities and integrate with custom tools. The ingestion framework supports community-contributed connectors, ensuring flexibility.

Use Cases

Desain yang fleksibel membuatnya berlaku di berbagai industri. berikut adalah beberapa skenario untuk dipertimbangkan:

• Data Centralization: Sebuah perusahaan ritel menggunakan OpenMetadata untuk mengkonsolidasikan metadata dari Snowflake, dbt, dan Metabase, menyediakan satu sumber kebenaran untuk tim analisis.
• Automasi Pemerintahan: Sebuah lembaga keuangan memanfaatkan AutoPilot untuk mengotomatisasi tagging metadata dan menegakkan kebijakan masking data di BigQuery, memastikan kepatuhan dengan GDPR.
• Data Discovery untuk AI: Penyedia SaaS menggunakan OpenMetadata untuk menyederhanakan metadata untuk berbagai kumpulan data pelanggan, memungkinkan integrasi yang lancar ke dalam pipa model AI.

Collaboration Across Teams: Platform e-commerce menggunakan alat kolaborasi OpenMetadata untuk menjembatani kesenjangan antara analis bisnis dan insinyur data, meningkatkan efisiensi penciptaan dashboard.

Getting Started

Ada banyak cara untuk memulai dengan OpenMetadata, dan opsi-opsi yang dijelaskan dengan jelasdi siniSaya tidak ingin mereplikasi mereka di blog ini, karena mereka dapat berubah seiring waktu. apa yang seharusnya tidak berubah, bagaimanapun, adalah alamat UI, jadi:

• Akses ke UI: Navigasi ke http://localhost:8585 untuk mengakses antarmuka web.
• Konfigurasi konektor: Sambungkan ke sumber data Anda menggunakan kerangka ingestion. Seperti yang telah saya katakan beberapa kali, ada lebih dari 90 untuk dipilih pada saat menulis ini.

Anda dapat menghindari langkah instalasi dan mencoba OpenMetadata Sandbox didari sandbox.open-metadata.org· KomunitasSlackChannel juga merupakan sumber daya yang sangat baik untuk dukungan dan diskusi fitur.

Challenges and Considerations

Untuk arsitektur danau modern (misalnya, Delta Lake), fungsionalitas konektor mungkin terbatas, dan proses penyerapan (misalnya, Athena) dapat dikenakan biaya jika tidak dioptimalkan, jadi jangan hanya menyentuhnya ke danau data besar dan mematikan.

Summary

OpenMetadata adalah proyek open source yang menyediakan solusi manajemen metadata yang bersatu. Arsitekturnya yang ringan, dukungan konektor yang luas, dan fokus pada kolaborasi membuatnya menjadi pilihan yang menarik untuk stack data modern. Dengan menyentralisasi metadata, meningkatkan penemuan, dan mengotomatisasi pemerintahan, OpenMetadata memberdayakan organisasi untuk membuka potensi penuh aset data mereka. Apakah Anda membangun budaya berbasis data atau mengatasi tantangan kepatuhan, OpenMetadata layak dieksplorasi.

Ingin membaca lebih lanjut dalam seri saya “Apa Heck itu???” daftar yang berguna di bawah ini:

• Apa yang dimaksud dengan DuckDB?
• Apa yang dimaksud dengan Heck Malloy?
• Apa yang dimaksud dengan PRQL?
• Apa yang dimaksud dengan GlareDB?
• Apa yang dimaksud dengan SeaTunnel?
• Apa yang dimaksud dengan LanceDB?
• Apa yang dimaksud dengan SDF?
• Apa yang dimaksud dengan Paimon?
• Apa yang dimaksud dengan proton?
• Apa itu PuppyGraph?
• Apa yang dimaksud dengan GPTScript?
• Apa yang dimaksud dengan WarpStream?
• Apa yang dimaksud dengan DeltaStream?