Soti nan yon aspè nan enstriktè teknik, mwen kwè wonn sa a nan AI pral profondman reforme tout ekosistèm la lojisyèl. Sistèm DSS yo fèt alantou logik la nan desizyon imen kòm konsomatè a dènye. Sepandan, ak aparans an nan èdtan an nan Agentic AI, "konsomatè a" final la se pi chans yo dwe yon ajan. Sa a pral mennen nan yon rekonstriksyon konplè - oswa menm elimine - nan magazen tradisyonèl done ak pipelines ETL konplèks. magazen done konvansyonèl enstale estrikti ak modèl kesyon, men yo pral ranplase pa estrikti nan Agentic Data Stack konsantre sou semantik ak modèl reponn. Abstract: Introduksyon: Sinyèl la anba chanjman an nan CEO nan Snowflake Nan sezon prentan nan 2024, Snowflake, yon gwosè nan magazen done nwaj la, anonse yon chanjman nan lidè: Sridhar Ramaswamy, ansyen tèt nan biznis la piblisite nan Google, te ranplase legendar CEO a Frank Slootman, ki te ede Snowflake rive nan yon evalyasyon $ 60 milya dola. Si ou panse ke sa a se jis yon rutine ekzekitif shuffle, ou pa wè imaj la konplè. Implikasyon reyèl la se ke paradigm nan mond lan magazen done a se nan yon ti kras transformasyon. Soti nan baz done OLTP nan magazen done MPP, soti nan òdinatè MPP lokalize nan motè done nwaj vektorize, chak etap reprezante yon grèv nan jenerasyon pwochen nan teknoloji - ak soti nan yon pwodwi dominan nan pwochen. Soti nan baz done OLTP nan magazen done MPP, soti nan òdinatè MPP lokalize nan motè done nwaj vektorize, chak etap reprezante yon grèv nan jenerasyon pwochen nan teknoloji - ak soti nan yon pwodwi dominan nan pwochen. Slootman reprezante "etap la goud nan magazen done." Li parye sou nwaj-native, multi-tennant architectures ak pozisyon Snowflake kòm santral la nan platfòm done jenerasyon pwochen. Soti nan lidè l ', Snowflake dirèkteman ranfòse ansèyman an premye m '-Teradata, ki te yon gwo magazen done - ki te wè valè mache li yo diminye soti nan $ 10.2 milya dola nan jis $ 2 milya dola. Kòm li te deside, kewo a kle sou blog ofisyèl la nan Snowflake subtleman chanje nan: AI-first, ajan-done, ak semantik oryante arsitektur done. Sa a se pa yon aksidan - li se yon siy nan tan yo. Sa a se pa yon aksidan - li se yon siy nan tan yo. Nan menm tan an, VC yo ki pi avanse nan Silicon Valley ap parye sou yon nouvo konsèp: "Agantè AI." Nan nouvo paradigm sa a, AI se pa ankò jis yon modèl - li se yon ajan ki ka perceive, fè aksyon, mete objektif, ak kolabore. Isit la se kesyon an: Nan moman sa a, lè AI se pa sèlman yon "outil chat" men yon ajan entelijan ki kapab detekte chanjman biznis, konprann entansyon, ak egzekite aksyon - ka magazen tradisyonèl done, ki fèt pou moun, toujou satisfè bezwen yo nan ajan? Nan moman sa a, AI se pa sèlman yon "outil chat" men yon ajan entelijan ki kapab detekte chanjman biznis, konprann entansyon, ak egzekite aksyon - ka tradisyonèl depo done, ki fèt pou Toujou satisfè bezwen yo nan ajan? Humans Done magazen, yon fwa konsidere kòm vital antrepriz "aktivite done", se kounye a nan risk yo vin jis "bibliyotèk materyèl done" pou ajan yo. An reyalite, menm tèm la "materyèl" se pèdi valè, paske yon Stack Done Agentic ka dirèkteman aksè nan done asye ak alimantasyon li nan tèt-layer Sales Agents, Risk Agents, ak lòt moun nan yon fòma semantik + done. Nan mitan sa yo, redondant, non-semantik done nan magazen tradisyonèl se kite pou zouti BI ak enjenyè done yo konsome. Règ la reyèl se pa sèlman elimine - li se ke ou toujou ap opere pa règ yo fin vye granmoun pandan y ap mond lan te deja vire script la. Règ la reyèl se pa sèlman elimine - li se ke ou toujou ap opere pa règ yo fin vye granmoun pandan y ap mond lan te deja vire script la. Li se pa sou diskresyon magazen done - li se sou sik la recidivant nan istwa teknoloji. Menm jan Hadoop ak Iceberg yon fwa reforme peyizaj la lagè done, Agentic AI se kounye a re-reskripsyon arsitèk nan gwo done antrepriz. 1970-2024: Evolisyon an nan Arhitektur depo done 1970: Papa a nan depo done - Bill Inmon Bill Inmon, "Pata a nan Data Warehousing," te premye a pwopozisyon konsèp la nan yon EDW (Enterprise Data Warehouse) kòm yon "subject-oriented, entegre, tan-variant, ak non-volatile koleksyon done," ki mete fondasyon an pou antrepriz done arsitèktur pandan mwatye syèk la pwochen. Mwen te kontan yo etidye ak patisipe nan tradiksyon an nan edisyon an premye nan plis pase 20 ane de sa pandan tan mwen nan Inivèsite Beijing anba dirèksyon an nan Pwofesè Tang Shiwei. Deskripsyon nan liv sa a nan zòn tèm, estrikti a layering done, ak dimansyon lenteman chanje (tablo ki gen lyen istwa) te patisipe soti nan syèk la dènye a jodi a jodi a, devlope konsèp fondasyonal pou magazen done. Building the Data Warehouse 1983: Teradata se Born—MPP Architecture pran etap la Nan 1983, Teradata te fonde - konpayi an ki domine enfrastrikti depo done antrepriz pou 30 ane pwochèn. Sa a te tou premye travay mwen an apre gradye. Teradata te premye a enpòte MPP (Massively Parallel Processing) arsitèktur nan sistèm done. Avèk lojisyèl ak lojisyèl entegre li yo ak konsepsyon MPP ki baze sou Bynet, Teradata te pèmèt Oracle ak DB2 nan pwosesis done masiv ak kesyon SQL konplèks. The first time I used Teradata, I was just as amazed as when I later tried ClickHouse for wide-table queries. Lè mwen te rantre nan Teradata, li te toujou yon depatman anba NCR, ak vizit mwen te gade tankou sa a. Pou moun ki enterese nan Teradata, tcheke atik mwen an . Adieu My Alma Mater nan depo done-Teradata ofisyèlman kite peyi Lachin 1996: Kimball pwopoze "Skyflake Schema"; OLAP motè Emerge Apre Bill Inmon, Ralph Kimball te prezante konsèp la nan "data mart" ak redefini modèl done ak gwosè ak snowflake scheme. Pandan dekad yo pwochen, enstriktè done kontinyèlman debase si yo bati yon depo done santralize oswa separasyon dat mart premye. "Dimensional modélisation" ak "snowflake scheme" te vin apèl kat pou enjenyè done. Nan lay la BI, motè MOLAP tankou Hyperion Essbase ak Cognos te kòmanse emerge. Teknoloji OLAP finalman te gen yon metodoloji sistèm pou swiv. Dekad de sa, yon nouvo jenerasyon nan konpayi depo done menm adopte "Snowflake" kòm non mak yo, enspire pa pwogram nan snowflake. 2013: Big Data Boom - Hadoop pran mond lan pa fòs avèk rale nan Apache Hadoop nan 2006, antrepriz yo te kòmanse lajman adopte sistèm done gwo ak pri ki ba nan depo. , Viktor Mayer-Schönberger definye big data ak "4Vs": nan nan E . Big Data: Yon revolisyon ki pral chanje ki jan nou ap viv, travay, ak panse Volume Velocity Variety Value Li te marque kòmansman an nan yon wòl masiv nan konstriksyon platfòm big data. Pandan 10 ane yo pwochen, yon nouvo jenerasyon nan teknoloji big data te emerge—Apache Hadoop, Hive, Spark, Kafka, DolphinScheduler, SeaTunnel, Iceberg, ak plis ankò. Platfòm big data te kòmanse chanje dominasyon an nan magazen tradisyonèl done. An reyalite, apre 2015, pi fò antrepriz Chinwa ki fè fas ak petabytes-scale data storage pa gen plis itilize tradisyonèl MPP data warehouse architectures. Anplis de sa, yo te bati platfòm yo lè l sèvi avèk Hadoop oswa Iceberg-based big data/data lake architectures. 2015: Snowflake Bursts Sou Scene, New Data Stack Ris avèk kwasans la nan nwaj la ak pibliye a nan Marcin Zukowski a papye sou "vektorize" motè, Snowflake te vini ak yon nwaj-native arsitektur ki separe òdinatè ak depo, konplètman perturbe tradisyonèl dat magazen panse. Pou premye fwa, enjenyè BI te kapab jwi elastike skalasyon "sou demann" san yo pa ankouraje planifikasyon cluster oswa alokasyon resous. Snowflake te vire "data warehouse" nan "data cloud." Li te mennen nan kwasans nan yon jenerasyon konplètman nouvo nan stacks teknoloji data warehouse. Zouti tankou Fivetran, Dagster, Airbyte, DBT, ak WhaleStudio te swiv, ki te gen ladan tendans nan Silicon Valley. An reyalite, jenerasyon anvan yo nan ETL ak zouti enjenyè done - Informatica, Talend, DataStage - te orijine nan ane 1980 yo. Rise nan nouvo teknoloji te mande pou yon ekosistèm konplètman nouvo. Nouvo Stack done Jeneralman, nan dè dekad ki sot pase yo, si li te tradisyonèl depo done, gwo platfòm done, magazen done nwaj, oswa lak done, arsitektur yo tout esansyèlman swiv estrikti a montre nan dyagram anba a: Nan epòk Inmon, estrikti sa a te rele yon sistèm DSS (Sistèm sipò desizyon). Kòm non Tout tech stack nan magazen done te fèt pou itilizatè imen. the “support” was always intended for humans. Arkitektur nan depo done a te fèt tou pou enjenyè done. Se poutèt sa nou te gen plizyè zòn tèm, layers atòmik, layers agrégation, ak layers metrik - pou ede enjenyè ETL nan devlopman. zouti BI tou bezwen defini gwosè ak planche, ak drag-and-drop entèfas pou rapò ak tablo. Tout konsomatè yo te moun. But in the era of large-model agents, all of this is about to change dramatically. Agents devore tradisyonèl magazen done?! Nan fen 2022, OpenAI te lanse ChatGPT, kòmanse èdtan an nan modèl lang gwo. Soti nan 2023, Llama, Claude, Gemini, GPT-4o, DeepSeek ... modèl multimodal yo te devlope rapidman. AI se pa ankò jis yon modèl lang, men yon "general enstriksyon motè" kapab konprann ak pran desizyon pou travay konplèks. Nan 2024, teknoloji a RAG (Retrieval-Augmented Generation) te vin mainstream. Zouti tankou LlamaIndex, LangChain, ak Dify te genyen lajman adopte. AI te kòmanse entegre konesans domèn antrepriz, vin yon reyèlman "assistent konesans." Nan 2025, estrikti a Agent a te konplètman ogmante. Teknoloji ak pwotokòl tankou AutoGPT, fonksyon Calling, ak pwotokòl la MCP te emerge. AI se pa ankò jis yon zouti chat - li kounye a gen pèspeksyon, planifikasyon, ak egzekisyon kapasite, vin yon "anplwaye dijital". Nan domèn done a, vini an nan modèl gwo tou te pote yon perturbasyon enpòtan. Èske ou te itilize ChatGPT's Data Analyst? Si sa a, ou te pwobableman etone pa pèfòmans li yo. Li ka ede yon itilizatè biznis kreye yon rapò analiz detaye soti nan yon dataset soti nan plizyè perspektif. Li ka pratikman ranplase yon analizè done jeneral. Nan diferan layers, anpil zouti "otomatik" te tou dekouvri, tankou ChatBI ak TXT2SQL - chak sèvi ak modèl gwo ak ajan yo otomatize oswa semi-otomatik pwosesis devlopman depo done. Nan kap vini an, plis ak plis ajan ap parèt - pa sèlman nan analiz done, men tou nan optimizasyon anbake, sèvis kliyan, ak jesyon risk. Agents sa yo pral gradye libere anplwaye biznis pa ranplase interaksyon yo ak sistèm yo. Ultimately, AI will no longer be a “passive answering tool,” but an “intelligent agent proactively achieving goals.” Pou dènye 20+ ane yo, "usè yo" nan platfòm done yo tipikman te enjenyè done, analist, ak pwofesyonèl BI. Nan 20 ane ki sot pase a, every role—from analyst to supply chain operator—may be redefined by Agents: Marketers will have a Campaign Agent that automatically integrates multi-channel data, optimizes placements, and generates copy; Customer service reps will have a Support Agent that’s more than a chatbot—it will be a context-aware assistant with knowledge graphs and memory; The supply chain team will have a Procurement Agent that parses orders, tracks delivery timelines, fetches ERP data, and auto-replenishes inventory; Legal teams will have a Compliance Agent, HR will have a Hiring Agent, and even the board of directors could have a Board Agent… SQL ou itilize ekri chak jou, rapò ou kompile, ak reyinyon ops ou patisipe yo tout devlope aksyon Agent-triggered, komando semantik, ak repons otomatik. Men, yon reyalite enpòtan se: Si itilizatè final nan done yo se ajan, e menm devlopman magazen done pa ajan - ak desizyon yo final ki sèvi ak done yo se ajan anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman an? Si itilizatè final nan done yo se ajan, e menm devlopman magazen done pa ajan - ak desizyon yo final ki sèvi ak done yo se ajan anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman anviwònman an? Tout moun ki te etidye enjenyè lojisyèl konnen dyagram la premye ou desen lè konsepsyon yon sistèm se dyagram la "Konsomasyon ka" - li defini itilizatè yo nan sistèm la, limit, ak senaryo konpòtman. When the user of a data warehouse shifts from human to Agent, the DSS architecture envisioned by Bill Inmon no longer holds water. At least in my view, it doesn’t. When the user changes, the software must change too. Rise nan Agents se pa sèlman yon genyen pou modèl gwo - li se yon perturbasyon konplè nan ki jan nou perceive eksperyans itilizatè a: Traditional data systems operated in a “pull model”: the user knew the problem, queried the data, and extracted conclusions. Future Agents operate in a “push model”: the system proactively senses changes, understands intent, and generates decision suggestions. Li se tankou chanje soti nan kat tradisyonèl nan navigasyon GPS: Ou pa deja bezwen konnen "ki wout la se" - ou jis di sistèm la kote ou vle ale, epi li pran ou jwenn. Ou pa deja bezwen konnen "ki wout la se" - ou jis di sistèm la kote ou vle ale, epi li pran ou jwenn. Traditional data warehouses focus on structure and querying, whereas Agentic architectures prioritize semantics and responsiveness. Simpleman: nenpòt ki moun ki konprann lang biznis la pral domine mond lan nan done. Agentic Data Stack ak Kontekstual Data Unit (CDU): Done ak Semantik entegre Pou Agents yo devlope ak sèvi ak done otomatikman, konsepsyon magazen done jodi a se pa apwopriye - li pa te janm fèt pou modèl gwo oswa Agents. Ki sa ki estoke nan yo se "gratis" done - jis valè numèrik ak non kolòn. Ki sa ki valè sa yo oswa jaden reyèlman vle di se estoke nan yon sistèm jesyon "aktiv done" separe. Konpreyansyon chak valè oswa jaden mande pou yon pwojè "gouvernance done" konplè. Sa a konsepsyon se pa amizman pou modèl gwo ak Agents, ki baze sou rezonans semantik. Se konsa, si nou ta dwe re-designe yon sistèm depo done pou Agents ak modèl gwo, nou ta dwe magazen Mwen rele sa a: data and semantics together Kontekstual Data Unit (CDU): yon inite doub eleman ki konbine done + eksplike semantik - chak enstriksyon done gen siyifikasyon li yo ak li. Kontekstual Data Unit (CDU): yon inite doub eleman ki konbine done + eksplike semantik - chak enstriksyon done gen siyifikasyon li yo ak li. Li fonde enfòmasyon yo tradisyonèlman anbake nan kataloz done dirèkteman nan chak antre nan done, redwi tan rechèch ak pousantaj erè lè ajan oswa modèl gwo aksè li. Pandan sa a, semantik nan CDU yo soti nan sistèm biznis - yo destile ak abstrai pa ajan Done Flow nan sous la. CDU a se fòme pandan engraving, flux nan yon Lago Done Agentic - pa kreye apre sa. Sa vle di, jesyon done ak lineage yo entegre nan pwosesis la devlopman ajan-done pwosesis la menm, pa aplike retroactively apre done a te antre nan depo a, evite konflik ak ambiguïté. Nan moman sa a, ou ta dwe konprann panse mwen: nan èdtan an nan Agentic AI, tout bagay soti nan ETL nan depo nan aplikasyon done yo pral reforme paske Pou sèvi ak sa yo ajan entelijan, platfòm done tradisyonèl yo dwe devlope nan yon-Agent-ki rele, semantically-conscious, evènman-driven arsitektur - sa nou rele . consumers are now Agents and models. Agentic Data Stack Agentic Data Stack: nan epòk la nan ajan, yon nouvo piki teknoloji done ki varye soti nan zouti pou jwenn "data + semantics," nan platfòm ki konvèti ak magazen done CDU-format, ak finalman nan lay la interaksyon ki livrezon done sa a nan ajan. Agentic Data Stack: nan epòk la nan ajan, yon nouvo piki teknoloji done ki varye soti nan zouti pou jwenn "data + semantics," nan platfòm ki konvèti ak magazen done CDU-format, ak finalman nan lay la interaksyon ki livrezon done sa a nan ajan. Isit la se previzyon moute mwen nan sa ki ka Agents Data Stack gen ladan: This is no longer a BI/dashboard interface, but the “brain” and “command center” of the Agentic architecture. With natural language understanding and semantic reasoning capabilities, it bridges other agents with underlying data assets, enabling intelligent, multi-round interactions and service generation. Semantic Orchestrator (Interaction Layer): No longer a traditional Data Warehouse or Data Lake—it’s a service-oriented, computation-friendly fusion layer that stores data with semantics. It can supply data for complex computations by LLMs while also supporting real-time processing. Data Mesh (Storage Layer): Not just “moving data,” but understanding and orchestrating data. Not scheduled periodically, but event-driven and intent-driven. Capable of detecting data changes, analyzing schemas, understanding business logic, and responding accordingly. Data Flow Agent (Processing Layer): Nan epòk la nan Agents AI, sik la nan bati platfòm done yo pral ankouraje dramatikman. Nouvo done yo detekte pa Agents Done Flow, pre-lagre nan Data Mesh, ak entèprete pa Semantic Orchestrator ak definisyon biznis aligned - finalman pèmèt "instant calculation" soti nan demann biznis nan pwodiksyon done. LLMs provide the brainpower. Agents are the hands and feet. Agentic Data Stack gives them the data accessibility needed in the era of large models. Pa gen kapasite pou rechèch nan lang natirèl ak aksè nan done ki enpòtan pa pral jis yon privilèj nan enterè gwo - li pral vin aksè nan biznis ti ak menm moun. Ou ka capture dosye Google Drive ou, NAS kay, PDFs sou laptop ou, ak lòd aplikasyon soti nan telefòn ou nan magazen done pèsonèl ou atravè yon ajan Done Flow. Lè sa a, mande yon kesyon tankou "Kwa anpil mwen te pase vizite Disney mwa sa a?" - yon bagay ki anvan te mande pou ekspòte soti nan plizyè platfòm ak manyen bati fich Excel. Epitou plis konplèks kesyon tankou "Find my insurance contract from 5 years ago" vin posib. Apre sa, anba lidè a nan WhaleOps, kominote a nan Apache SeaTunnel te lanse Apache SeaTunnel MCP Server - deja ale nan direksyon pou yo vin yon ajan Done Flow. Natirèlman, gen toujou obstak teknik yo dwe depase - tankou pwotokòl yo imedyat A2A, modèl depo semantik + done ki pa t'avise nan lagè a Data Mesh, ak transformasyon nan pwodiksyon gouvènman orijinal nan enpòte pou Semantic Orchestrator la. Men, aparans an nan LLM ak ajan ery la pral reforme endistri an analiz done menm jan ak inivèsite a nan SQL yon fwa te fè. Yon istwa: Lè mwen te yon timoun, de mak bisiklèt popilè yo te Forever ak Phoenix. Yo konpetisyon sou vitès atravè "aks akselerasyon." Men, sa ki ki ranpli mache a bisiklèt la pa te yon bisiklèt pi bon - li te yon konpayi livrezon manje lanse bisiklèt pataje, flipping tout endistri a. Kòm Agents monte, kèk chemen pwodwi prensipal nou yon fwa kwè nan ka pèdi vle di. Pandan ke kenbe tèt ou desann sou egzèsis, remake gade moute sou syèl la. Konklizyon: Viv nan prezans la, wè pwochen an Pandan ke mwen pataje vizyon sa a nan AICon, AWS Community Day, ak lòt summit teknoloji, odyans la toujou divize an de tablo. "Creievers" panse mwen trè konsèvatif nan di ke Agentic Data Stack se 5-10 ane lwen - yo kwè ke AI a devlope tan vit ke nou pral wè li plen fòme nan 5 ane. "Skeptik" panse enpak la nan ajan AI sou arsitektur depo done a se trè ekselan. Yo argumente ke konsepsyon magazen done jodi a se fòma a pi wo-ROI, ak nenpòt ki bagay ki mwens efikas pa pral scale komèsyalman - li se jis yon kouch nan syèl la. Pèsonèlman, mwen se yon "centrist": mwen Vòl sa a nan AI pral afekte arsitektur lojisyèl nan yon fason ki fonksyonèlman diferan de vwayaj anvan yo. believe the emergence of the Agentic Data Stack is inevitable. We must look at the total cost and outcome of enterprise data warehouse construction and operations, not just storage or compute ROI alone. Koulye a, nou wè tendans: kwasans nan depo done tan reyèl, ekspansyon nan lak done, ak rediksyon nan layers nan konsepsyon magazen modèn. (Mwen menm argumente ke kounye a ke jenerasyon nou an nan Teradata-edite modènize done arsitèk ap retire, mache a manke pwofesyonèl ki ka sove ak rapidman evolye logik biznis la). Se konsa, modènizasyon tradisyonèl se iterasyon - magazen tan reyèl kounye a souvan sèvi ak 2 layers olye pou 3-4. Mwen jis ap montre yon grèv pi gwo devan nan èdtan an Agentic AI. Sou balans, ROI a nan Agentic Data Stack pral pwobableman depase sa a nan New Data Stack a kounye a. Li te pran m 'nan 2016 2020 yo ede ClickHouse vin de facto tan reyèl OLAP motè a nan peyi Lachin - ak sa te ak yon pwodwi deja disponib. Agentic Data Stack, sou lòt men, gen sèlman yon kèk konpozan etap prentan ak startups. Pifò nan li pa egziste ankò - li definitivman pa pral domine mache a nan mwens pase 5 ane. Si nou panse nan etap, li pral anpeche apre magazen tan reyèl ak lak jwenn plis adopte antrepriz. Li pa se AI ki ranplase ou - li se moun ki konnen ki jan yo sèvi ak AI. Li se pa ke depo done yo ap devore, men pi plis modèl yo estrikti-ak-rechèy-centred yo se ranplase pa yon estrikti semantik-ak-respon-centred. Menm jan yon fwa ou te itilize GPS, ou pa pral tounen nan yon kat papye. Li pa se AI ki ranplase ou - li se moun ki konnen ki jan yo sèvi ak AI. Li se pa ke depo done yo ap devore, men pi plis modèl yo estrikti-ak-rechèy-centred yo se ranplase pa yon estrikti semantik-ak-respon-centred. Menm jan yon fwa ou te itilize GPS, ou pa pral tounen nan yon kat papye. The gates to the Agentic Data Stack are opening. Are you ready?
