1,281 ການອ່ານ
1,281 ການອ່ານ

ຄວາມຄິດເຫັນທີ່ Heck ແມ່ນ Open Metadata?

ໂດຍ progrockre...6m2025/05/21
Read on Terminal Reader

ຍາວເກີນໄປ; ອ່ານ

OpenMetadata ເປັນໂຄງການ open-source ທີ່ຖືກອອກແບບມາເພື່ອທົດສອບການຄຸ້ມຄອງ metadata. ມັນໄດ້ເລີ່ມຕົ້ນໂດຍການຝຶກອົບຮົມຂອງອຸດສາຫະກໍາ metadata ຂອງ Uber. ມັນສະຫນອງ repository ຂະຫນາດໃຫຍ່ສໍາລັບ metadata, ເຮັດໃຫ້ການຊອກຫາຂໍ້ມູນ, tracking lineage, ການຄວບຄຸມຄຸນນະພາບ, ແລະການຮ່ວມມືຂອງທີມງານ.
featured image - ຄວາມຄິດເຫັນທີ່ Heck ແມ່ນ Open Metadata?
Shawn Gordon HackerNoon profile picture

Introduction

ລະຫັດ QR

ໃນອຸປະກອນທີ່ຜ່ານມາຂອງຂ້າພະເຈົ້າ, ຂ້າພະເຈົ້າໄດ້ຊອກຫາດາວໂຫລດ Apache Icebergຂໍຂອບໃຈການແປພາສາ Apache Kafka, ແລະຫນ້າທໍາອິດ Apacheການຄຸ້ມຄອງ metadata ແມ່ນປະສິດທິພາບເພື່ອຮັບປະກັນການຊອກຫາຂໍ້ມູນ, ການຄຸ້ມຄອງແລະການຮ່ວມມື.ລະຫັດ QRພວກເຮົາ ກໍາ ລັງເຮັດທຸລະກິດໃນ 2012. ພວກເຮົາແມ່ນບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດແລະວິທະຍາໄລກ່ຽວກັບທັກສະດ້ານໄອທີແລະວິທະຍາໄລກ່ຽວກັບທັກສະດ້ານໄອທີ. ພວກເຮົາ ກໍາ ລັງຝຶກອົບຮົມການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດແລະວິທະຍາໄລກ່ຽວກັບທັກສະດ້ານໄອທີ. ພວກເຮົາ ກໍາ ລັງຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດແລະວິທະຍາໄລກ່ຽວກັບທັກສະດ້ານໄອທີ.

ດາວໂຫລດ Apache Icebergການແປພາສາ Apache Kafkaຫນ້າທໍາອິດ Apacheລະຫັດ QR

What is OpenMetadata?

ຄວາມຄິດເຫັນທີ່ OpenMetadata

OpenMetadata ແມ່ນບໍລິສັດ metadata ທີ່ມີຄຸນນະພາບສູງແລະມີຄຸນນະພາບສູງແລະມີຄຸນນະພາບສູງ. OpenMetadata ແມ່ນບໍລິສັດທີ່ມີຄຸນນະພາບສູງແລະມີຄຸນນະພາບສູງແລະມີຄຸນນະພາບສູງ. OpenMetadata ເປັນບໍລິສັດທີ່ມີຄຸນນະພາບສູງແລະມີຄຸນນະພາບສູງແລະມີຄຸນນະພາບສູງ. OpenMetadata ເປັນບໍລິສັດທີ່ມີຄຸນນະພາບສູງແລະຄຸນນະພາບສູງ.

OpenMetadata ມີວິສະວະກໍາທີ່ຖືກນໍາໃຊ້ຢ່າງງ່າຍດາຍທີ່ມີການປິ່ນປົວ schema-first. ມັນສະຫນັບສະຫນູນຫຼາຍກ່ວາ 90 connectors ສໍາລັບການເຂົ້າເຖິງ metadata ຈາກ databases, data warehouses, pipelines, ແລະ dashboards, ເຮັດໃຫ້ມັນເປັນການເລືອກທີ່ເຫມາະສົມສໍາລັບ stacks data ທີ່ທັນສະໄຫມ. ການເຊື່ອມຕໍ່ user-friendly ຂອງຕົນຈະສະຫນັບສະຫນູນຜູ້ໃຊ້ເຕັກໂນໂລຊີແລະບໍ່ແມ່ນເຕັກໂນໂລຊີ, ເຮັດໃຫ້ການພັດທະນາຂອງການຄົ້ນຄວ້າ data-driven.

OMD Architecture Diagram
Why OpenMetadata Matters

OMD Architecture Diagram
ວິທີການ OpenMetadata

ພວກເຮົາ ກໍາ ລັງ ຊອກ ຫາ ຄູ່ ຮ່ວມ ງານ ຂອງ ຊີ ວິດ, buddy ສໍາ ລັບ ສັດ ລ້ຽງ ຫຼື ພຽງ ແຕ່ ຜູ້ ໃດ ຜູ້ ຫນຶ່ງ ຂອງ ທ່ານ ທີ່ ຈະ ວາງ ສາຍ ອອກ ກັບ, ທີ່ ນີ້ ທ່ານ ຈະ ສາ ມາດ ຊອກ ຫາ ໄດ້ ຜູ້ ທີ່ ທ່ານ ກໍາ ລັງ ຊອກ ຫາ ສໍາ ລັບ - pet lovers ຄື ຕົວ ທ່ານ ເອງ.


  • ສະຫນັບສະຫນູນຂອງອຸປະກອນການເຄື່ອນໄຫວແລະການປິ່ນປົວຂອງອຸປະກອນການເຄື່ອນໄຫວແລະການປິ່ນປົວຂອງອຸປະກອນການເຄື່ອນໄຫວ.
  • ຄວາມສາມາດໃນການຊອກຫາຂໍ້ມູນ: ການຊອກຫາອຸປະກອນຂໍ້ມູນທີ່ກ່ຽວຂ້ອງສາມາດໃຊ້ເວລາຫຼາຍ. ຄວາມສາມາດຊອກຫາຂອງ OpenMetadata ແລະການປັບປຸງ metadata ເຮັດໃຫ້ການຊອກຫາໄດ້ຢ່າງງ່າຍດາຍ.
  • ການຄຸ້ມຄອງແລະການປົກປັກຮັກສາ: OpenMetadata ສະຫນັບສະຫນູນການຄຸ້ມຄອງທີ່ເຂັ້ມແຂງໂດຍບໍ່ມີການປະໂຫຍດອັດຕະໂນມັດໂດຍຜ່ານຄຸນນະສົມບັດທີ່ແຕກຕ່າງກັນເຊັ່ນ metadata versioning ແລະ workflows ອັດຕະໂນມັດ.
  • Scalability: ການອຸປະກອນງ່າຍຂອງຕົນແລະການສະຫນັບສະຫນູນການເຊື່ອມຕໍ່ຢ່າງກວ້າງຂວາງແມ່ນເຫມາະສົມກັບບໍລິສັດຂອງທັງຫມົດຂະຫນາດ.

Architecture of OpenMetadata

ວິທະຍາໄລຂອງ OpenMetadata

ໃນຖານະເປັນເວລາທີ່ຂ້າພະເຈົ້າໃຊ້ເວລາ, ມັນສະແດງໃຫ້ເຫັນວ່າ OpenMetadata ໄດ້ຖືກສ້າງຕັ້ງຂຶ້ນຈາກ 4 ຕົ້ນສະບັບ:

  1. ການເກັບຮັກສາ Metadata: ການເກັບຮັກສາພື້ນຖານທີ່ເກັບຮັກສາຮູບເງົາ metadata, ການເຊື່ອມຕໍ່ອຸປະກອນຂໍ້ມູນ, ຜູ້ໃຊ້, ແລະ metadata generated ໂດຍເຄື່ອງມື. ມັນນໍາໃຊ້ການເກັບຮັກສາຮູບເງົາ Relational Database (ລວມທັງ MySQL, Postgres) ສໍາລັບການເກັບຮັກສາ, ເຊັ່ນ Neo4j ເຊັ່ນ: ການເກັບຮັກສາຮູບເງົາ.
  2. Ingestion Framework: Framework plugable ທີ່ injected metadata ຈາກຫຼາຍກ່ວາ 90 ປະໂຫຍດ, ລວມທັງໂຄສະນາຂໍ້ມູນ (ລວມທັງ BigQuery, Snowflake), data lakes (ລວມທັງ S3, Iceberg), ແລະເຄື່ອງມື BI (ລວມທັງ Power BI). Connectors ແມ່ນຖືກຂຽນໃນ Python ແລະສະຫນັບສະຫນູນການເພີ່ມເຕີມ custom.
  3. ລະບົບ metadata: ລະບົບ JSON-based defines metadata entities (ລັກສະນະ, tables, dashboards) and relationships. These schemes are extensible, allowing organizations to tailor metadata to their needs.
  4. Interface User: ອັດຕະໂນມັດ UI ອັດຕະໂນມັດທີ່ສ້າງຕັ້ງຂຶ້ນດ້ວຍ React, ສະຫນັບສະຫນູນການຊອກຫາ, lineage visualization, ແລະອຸປະກອນການຮ່ວມມື. ມັນເຊື່ອມຕໍ່ກັບ Elasticsearch ສໍາລັບການຊອກຫາອຸປະກອນທັງຫມົດແລະສະຫນັບສະຫນູນການຊອກຫາ CMD + K ສໍາລັບການຕິດຕັ້ງຢ່າງວ່ອງໄວ.

ການຕິດຕັ້ງຢ່າງງ່າຍດາຍຫຼຸດຜ່ອນການຕິດຕັ້ງ overhead, ເຊັ່ນດຽວກັນ, ການຕິດຕັ້ງສະພາບແວດລ້ອມທີ່ຕັ້ງຢູ່ໃນສະຖານທີ່ໃຊ້ເວລາຫນ້ອຍ, ແລະສະຖານທີ່ສະຫນັບສະຫນູນການຕິດຕັ້ງ cloud ໃນ AWS, Azure, ແລະ Google Cloud.

ຄຸນນະສົມບັດ

OpenMetadata ສະຫນັບສະຫນູນຄຸນນະສົມບັດທີ່ຍິ່ງໃຫຍ່ທີ່, ໂດຍການປະສົບການຂອງຂ້າພະເຈົ້າໃນສະພາບແວດລ້ອມ, ໄດ້ຮັບການກວດສອບສິ່ງທີ່ຜູ້ຊາຍຕ້ອງການ / ຕ້ອງການທີ່ຈະເຮັດ. ນີ້ແມ່ນການກວດສອບຂອງສິ່ງທີ່ມີປະສິດທິພາບທີ່ສຸດທີ່ຂ້າພະເຈົ້າຊອກຫາຈາກເອກະສານ:


  1. Data Discovery

    The full-text search engine, powered by Elasticsearch, indexes entity names, descriptions, tags, and even conversation threads. Users can refine searches with filters or use advanced queries to explore tables, dashboards, pipelines, and more.


  2. Data Lineage

    Lineage tracking provides column-level visibility into data flows across pipelines and tools. For example, you can trace how data moves from a PostgreSQL table through a dbt transformation to a Power BI dashboard. Lineage can be exported as PNG or PDF for documentation.


  3. Data Quality and Profiling

    Includes no-code data quality tests and profiling tools. Users can define test suites, monitor data health, and view results in an interactive dashboard. AutoPilot, an AI-driven feature, automates metadata extraction and profiling for new services, reducing onboarding time.


  4. Collaboration

    The platform fosters collaboration through conversation threads, task creation, and event notifications. Data producers and consumers can communicate directly on data assets, reducing silos.


  5. Governance

    Supports metadata versioning, tagging, and ownership assignment, enabling compliance with data governance policies. Its two-way metadata synchronization pushes enriched metadata (e.g., tags) back to source systems like Snowflake, ensuring consistency.


  6. Extensibility The schema-first approach and REST APIs allow developers to extend metadata entities and integrate with custom tools. The ingestion framework supports community-contributed connectors, ensuring flexibility.

Use Cases

ການນໍາໃຊ້ Case

ການອອກແບບທີ່ເຫມາະສົມເຮັດໃຫ້ມັນຖືກນໍາໃຊ້ໃນອຸດສາຫະກໍາຈໍານວນຫຼາຍ. ນີ້ແມ່ນສອງສະຖານທີ່ທີ່ຈະກວດສອບ:

  • Data Centralization: ບໍລິສັດຊື້ຂາຍໄດ້ນໍາໃຊ້ OpenMetadata ເພື່ອກວດສອບ metadata ຈາກ Snowflake, dbt, ແລະ Metabase, ການສະຫນອງພະລັງງານຫນຶ່ງສໍາລັບທີມງານ analytics.
  • ການຄວບຄຸມອັດຕະໂນມັດ: ວິທະຍາໄລການຄຸ້ມຄອງເງິນນໍາໃຊ້ AutoPilot ເພື່ອຄວບຄຸມບັນຊີລາຍລະອຽດ metadata ແລະປະຕິບັດການຄຸ້ມຄອງບັນຊີລາຍລະອຽດໃນ BigQuery ເພື່ອຮັບປະກັນຄວາມປອດໄພກັບ GDPR.
  • Data Discovery for AI: ຜູ້ສະຫນອງ SaaS ໃຊ້ OpenMetadata ເພື່ອມາດຕະຖານ metadata ສໍາລັບຊຸດຂໍ້ມູນທີ່ແຕກຕ່າງກັນຂອງລູກຄ້າ, ເຮັດໃຫ້ການເຊື່ອມຕໍ່ຢ່າງງ່າຍດາຍໃນ pipelines model ຂອງ AI.

Collaboration Across Teams: Platform e-commerce ໃຊ້ເຄື່ອງມືການຮ່ວມມືຂອງ OpenMetadata ເພື່ອປັບປຸງປະສິດທິພາບການສ້າງ dashboard.

Getting Started

ການເລີ່ມຕົ້ນ

ມີຫຼາຍກ່ວາວິທີການທີ່ຈະເລີ່ມຕົ້ນກັບ OpenMetadata, ແລະຄໍາຮ້ອງສະຫມັກໄດ້ຖືກພິມຢ່າງງ່າຍດາຍຫນ້າທໍາອິດ. ຂໍຂອບໃຈວ່າທ່ານບໍ່ຈໍາເປັນຕ້ອງປ່ຽນແປງຂໍ້ມູນຂອງພວກເຮົາໃນເວັບໄຊທ໌ນີ້, ເນື່ອງຈາກວ່າພວກເຂົາເຈົ້າສາມາດປ່ຽນແປງໃນໄລຍະເວລາ.

ຫນ້າທໍາອິດ
  • ການເຂົ້າເຖິງ UI: Navigate to http://localhost:8585 to access the web interface.
  • Configure Connectors: ການເຊື່ອມຕໍ່ກັບອຸປະກອນຂໍ້ມູນຂອງທ່ານໂດຍໃຊ້ framework ingestion. ໃນຂະນະທີ່ຂ້າພະເຈົ້າຫວັງວ່າມີຫຼາຍກ່ວາ 90 ທີ່ຈະເລືອກຈາກໃນເວລາທີ່ຂຽນນີ້. ການຢັ້ງຢືນນີ້ສະຫນອງການຝຶກອົບຮົມ step-by-step ສໍາ ລັບອຸປະກອນທີ່ດີທີ່ສຸດ.

Screenshot of connectors


ຖ້າຫາກວ່າທ່ານກໍາລັງຊອກຫາຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການຕິດຕັ້ງ OpenMetadata Sandboxຊື່ຫຍໍ້ຂອງ : sandbox.open-metadata.orgວິທະຍາໄລປະເພດ Slackຄາສິໂນແມ່ນຍັງຄຸນນະສົມບັດທີ່ດີທີ່ສຸດສໍາລັບການສະຫນັບສະຫນູນແລະການສອບເສັງ feature.

ປະເພດ Slack

Challenges and Considerations

ຄໍາຮ້ອງສະຫມັກແລະການທົບທວນຄືນ

ໃນຖານະເປັນບໍລິສັດທີ່ໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການ.

Summary

ລະຫັດ QR

ມັນເປັນໂຄງການ open-source ທີ່ສະຫນອງການແກ້ໄຂການຄຸ້ມຄອງ metadata ອັດຕະໂນມັດ. ການຄຸ້ມຄອງ metadata ອັດຕະໂນມັດ, ການສະຫນັບສະຫນູນ connector ອັດຕະໂນມັດ, ແລະການເຊື່ອມຕໍ່ກັບການຮ່ວມມືເຮັດໃຫ້ມັນເປັນການເລືອກທີ່ຫນ້າຕື່ນເຕັ້ນສໍາລັບ stacks data ທີ່ທັນສະໄຫມ. ໂດຍ centralizing metadata, enhancing discoveryability, and automating governance, OpenMetadata ອະນຸຍາດໃຫ້ບໍລິສັດທີ່ຈະເປີດໃຊ້ຄວາມສາມາດທັງຫມົດຂອງອຸປະກອນຂໍ້ມູນຂອງເຂົາເຈົ້າ. ຖ້າທ່ານກໍ່ສ້າງຄຸນນະພາບຂອງ data-driven or addressing compliance challenges, OpenMetadata ແມ່ນຄຸນນະພາບທີ່ຈະທົດສອບ.

ວິທີການອ່ານເພີ່ມເຕີມໃນ “What the Heck is???” ຊຸດຂອງຂ້າພະເຈົ້າ?

  • ຄວາມຄິດເຫັນທີ່ DuckDB
  • ເປັນຫຍັງ Heck ແມ່ນ Malloy?
  • ເປັນຫຍັງ Heck ແມ່ນ PRQL?
  • ເປັນຫຍັງ Heck ເປັນ GlareDB?
  • ວິທີການດໍາເນີນການ Heck SeaTunnel
  • ເປັນຫຍັງ Heck ເປັນ LanceDB?
  • ຄວາມຄິດເຫັນທີ່ SDF ເປັນຫຍັງ?
  • ເປັນຫຍັງ Heck ແມ່ນ Paimon?
  • Heck ເປັນຫຍັງ Proton?
  • ເປັນຫຍັງ Heck ແມ່ນ PuppyGraph?
  • ຄວາມຄິດເຫັນທີ່ Heck ແມ່ນ GPTScript?
  • ຄວາມຄິດເຫັນທີ່ Heck Is WarpStream
  • **What the Heck ແມ່ນ DeltaStream? **
ຄວາມຄິດເຫັນທີ່ DuckDBຄວາມຄິດເຫັນທີ່ DuckDBເປັນຫຍັງ Heck ແມ່ນ Malloy?ເປັນຫຍັງ Heck ແມ່ນ Malloy?ເປັນຫຍັງ Heck ແມ່ນ PRQL?ເປັນຫຍັງ Heck ແມ່ນ PRQL?ເປັນຫຍັງ Heck ເປັນ GlareDB?ເປັນຫຍັງ Heck ເປັນ GlareDB?ວິທີການດໍາເນີນການ Heck SeaTunnelວິທີການດໍາເນີນການ Heck SeaTunnelເປັນຫຍັງ Heck ເປັນ LanceDB?ເປັນຫຍັງ Heck ເປັນ LanceDB?ຄວາມຄິດເຫັນທີ່ SDF ເປັນຫຍັງ?ຄວາມຄິດເຫັນທີ່ SDF ເປັນຫຍັງ?ເປັນຫຍັງ Heck ແມ່ນ Paimon?ເປັນຫຍັງ Heck ແມ່ນ Paimon?Heck ເປັນຫຍັງ Proton?Heck ເປັນຫຍັງ Proton?ເປັນຫຍັງ Heck ແມ່ນ PuppyGraph?ເປັນຫຍັງ Heck ແມ່ນ PuppyGraph?ຄວາມຄິດເຫັນທີ່ Heck ແມ່ນ GPTScript?ຄວາມຄິດເຫັນທີ່ Heck ແມ່ນ GPTScript?ຄວາມຄິດເຫັນທີ່ Heck Is WarpStreamຄວາມຄິດເຫັນທີ່ Heck Is WarpStreamເປັນຫຍັງ Heck ແມ່ນ DeltaStream?


L O A D I N G
. . . comments & more!

About Author

Shawn Gordon HackerNoon profile picture
Shawn Gordon@progrockrec
Software designer/developer, developer advocate, writer, and musician.

ວາງປ້າຍ

ບົດ​ຄວາມ​ນີ້​ໄດ້​ຖືກ​ນໍາ​ສະ​ເຫນີ​ໃນ...

Trending Topics

blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks