Introduction

私の最近のインストールでは、私は見ているApache Icebergについてで、アパッチ・カフカそして、Apache いいねこれにより、この空間で見るのに役立つ拡張子が何なのかを考えるようになったので、現代のデータエコシステムの複雑さを導くことについて考えてみました。オープンデータ, メタデータ管理を簡素化するために設計されたオープンソースプラットフォームで、強力なデータ発見、観測性、およびガバナンスソリューションを提供します. このブログ記事では、OpenMetadataの技術的根拠を掘り起こし、そのアーキテクチャ、主要な機能、および使用ケースを探索し、データエンジニアリングコミュニティでなぜトレイクを獲得しているのかを理解するためのビジュアルアシスタントを提供します。

What is OpenMetadata?

OpenMetadataは、組織がデータ資産を効率的に管理することを可能にする統一されたオープンソースメタデータプラットフォームです。2021年に発売され、Uberのメタデータインフラストラクチャから得た教訓にインスピレーションを得て、メタデータの中心的なリポジトリを提供し、データ発見、線路追跡、品質監視、チーム協力を可能にします。300人以上の貢献者とさまざまな業界の採用により、OpenMetadataはシンプルさ、拡張性、活発なコミュニティで優れています。

複雑なグラフデータベースや独自のシステムに依存する伝統的なメタデータツールとは異なり、OpenMetadataは、スキーマファーストアプローチを用いた簡素化されたアーキテクチャを採用しています。データベース、データ倉庫、パイプライン、ダッシュボードからメタデータを摂取するための90以上のコネクタをサポートし、現代のデータスタックに多様な選択肢となっています。

Why OpenMetadata Matters

データベースを読み、レポートを作成することは古代ではかなり単純でした。あなたはいくつかの組み合わせ、いくつかのフィルタリング、いくつかのフォーマット、そしてバンク、あなたは完了しました。今あなたはさまざまなソースやタイプからデータをキャプチャする複雑なパイプラインを持っています。 もし、そうでなければ、何かが結果と南に進むとき、それがどこで間違ったかを追跡することは容易ではありません、そしてこれはOpenMetadataが入ってくる場所です。 それはデータラインを理解し、品質を確保し、コラボレーションを可能にするための重要な資産です。

• Fragmented Data Sources: Organisations often use multiple tools (e.g., Snowflake, dbt, Metabase), leading to siloed metadata. OpenMetadata centralizes this metadata into a unified graph. 組織はしばしば複数のツール(例えば、Snowflake、dbt、メタベース)を使用し、シロードメタデータを生成します。
• Data Discoverability: Relevant data assets can be time-consuming. OpenMetadataの検索機能とメタデータの豊富化により、発見が直感的になります。
• ガバナンスとコンプライアンス:OpenMetadataは、メタデータバージョニングや自動化されたワークフローなどの機能を通じて、過剰な手動の努力なしに、強力なガバナンスをサポートします。
• スケーラビリティ:その軽量アーキテクチャと幅広いコネクタサポートは、あらゆるサイズの企業に適しています。

Architecture of OpenMetadata

私が過ごした時間に基づいて、OpenMetadataは4つのコアコンポーネントから構成されているように見えます。

1. メタデータストア:メタデータグラフ、データアセット、ユーザ、ツール生成メタデータをストレージする中央リポジトリ.It uses a relational database (e.g., MySQL, Postgres) for storage, avoiding the complexity of graph databases like Neo4j.
2. Ingestion Framework: データベース(例:BigQuery、Snowflake)、データ湖(例:S3,Iceberg)、およびBIツール(例:Power BI)を含む90以上のソースからメタデータを吸収するプラグインフレームワーク。
3. Metadata Schemes: JSON ベースの Schemes は、メタデータのエンティティ(テーブル、ダッシュボードなど)と関係を定義します. These schemes are extensible, allowing organizations to tailor metadata to their needs.
4. ユーザーインターフェイス: React で構築された Web ベースの UI で、検索、ラインアップビジュアル化、コラボレーション ツールを提供します. It integrates with Elasticsearch for full-text search and supports CMD + K shortcuts for quick navigation.

たとえば、ローカル環境の設定には数分かかりますが、プラットフォームは AWS、Azure、Google Cloud でのクラウド展開をサポートしています。

主な特徴

OpenMetadataは、私のスペースでの経験に基づいて、人々が何をしたいかを実際にカバーする豊富な機能を提供しています。

1. Data Discovery

   The full-text search engine, powered by Elasticsearch, indexes entity names, descriptions, tags, and even conversation threads. Users can refine searches with filters or use advanced queries to explore tables, dashboards, pipelines, and more.

   
   

2. Data Lineage

   Lineage tracking provides column-level visibility into data flows across pipelines and tools. For example, you can trace how data moves from a PostgreSQL table through a dbt transformation to a Power BI dashboard. Lineage can be exported as PNG or PDF for documentation.

   
   

3. Data Quality and Profiling

   Includes no-code data quality tests and profiling tools. Users can define test suites, monitor data health, and view results in an interactive dashboard. AutoPilot, an AI-driven feature, automates metadata extraction and profiling for new services, reducing onboarding time.

   
   

4. Collaboration

   The platform fosters collaboration through conversation threads, task creation, and event notifications. Data producers and consumers can communicate directly on data assets, reducing silos.

   
   

5. Governance

   Supports metadata versioning, tagging, and ownership assignment, enabling compliance with data governance policies. Its two-way metadata synchronization pushes enriched metadata (e.g., tags) back to source systems like Snowflake, ensuring consistency.

   
   

6. Extensibility The schema-first approach and REST APIs allow developers to extend metadata entities and integrate with custom tools. The ingestion framework supports community-contributed connectors, ensuring flexibility.

Use Cases

柔軟なデザインにより、多くの業界で適用できます。以下はいくつかのシナリオを考慮する:

• Data Centralization: Retail 企業は、OpenMetadata を使用して Snowflake、dbt、Metabase からのメタデータを統合し、分析チームに真実の単一のソースを提供します。
• ガバナンス・オートメーション:金融機関はAutoPilotを活用して、BigQueryでメタデータのタグ化を自動化し、データマッキングポリシーを適用し、GDPRの遵守を確保します。
• Data Discovery for AI: SaaS プロバイダーは OpenMetadata を使用して、さまざまな顧客データセットのメタデータを標準化し、AI モデルパイプラインへのシームレスな統合を可能にします。

Collaboration Across Teams: 電子商取引プラットフォームは、OpenMetadataのコラボレーションツールを使用して、ビジネスアナリストとデータエンジニア間のギャップを縮小し、ダッシュボードの作成効率を向上させます。

Getting Started

OpenMetadata で始める方法は複数あり、オプションは明確に説明されています。ここ私はこのブログでそれらを複製したくない、なぜなら彼らは時間とともに変化することができるからです. 何が変わるべきではありませんが、UIアドレスです。

• ユーザーインターフェイスへのアクセス: http://localhost:8585 に移動して Web インターフェイスにアクセスします。
• コネクタを構成する: ingestion フレームワークを使用してデータソースに接続します. 何度も言ったように、この書き込みの時点で選ぶことができます90以上あります. 文書は、人気のツールのステップごとにガイドを提供します.

インストールのステップを回避して、OpenMetadata Sandbox を試すことができます。サンドボックス.open-metadata.org●コミュニティSlackチャンネルは、サポートと機能の議論のための優れたリソースでもあります。

Challenges and Considerations

OpenMetadataは強力ですが、限界があります。現代のデータレイクハウスアーキテクチャ(例えば、Delta Lake)では、コネクタの機能が制限され、摂取プロセス(例えば、Athena)は、最適化されない場合にコストが発生する可能性がありますので、大規模なデータレイクに盲目的に指向して消火しないでください。

Summary

OpenMetadataは、統一されたメタデータ管理ソリューションを提供するオープンソースプロジェクトです。その軽量なアーキテクチャ、広範なコネクタサポート、およびコラボレーションに焦点を当てたことで、近代的なデータストックのための説得力のある選択肢です。メタデータを集中させ、発見可能性を向上させ、統制を自動化することで、OpenMetadataは、組織がデータ資産の完全な可能性を解き放つことを可能にします。

詳しくは「何が悪いの?」シリーズをご覧ください。

• DuckDBとは何ですか?
• 「Heck Is Malloy」とは?
• 背中は何ですか?
• では、GlareDBとは何でしょうか。
• 海底トンネルって何?
• では、LanceDBとは何でしょうか。
• SDFって何ですか?
• どっちがパイモンなの?
• Heck is proton とは?
• PuppyGraphってなに?
• GPTScriptとは何ですか?
• WarpStreamとは何ですか?
• **DeltaStreamとは何ですか? **