Од: Дејвид Андерсон, Главни софтвер праксе лидер у Конфлуент Флинк СКЛ је моћан мотор дизајниран за обраду у реалном времену, стреаминг података користећи познати СКЛ језик и његове основне релационе концепте.Ово је дуго био ефикасно решење за многе домене апликација, посебно ЕТЛ цевовода и аналитичких радних оптерећења, али до сада Флинк СКЛ је недостајао кључне карактеристике често потребне за апликације засноване на догађајима. Са недавним развојем описаним овде, релациона АПИ Апацхе Флинк-а - наиме, Флинк СКЛ и Табела АПИ - сазрели су до тачке у којој искориштавање њихових моћних апстракција и уграђених оператера више не захтева компромис на приступу Флинк-овим примитивима за обраду протока ниског нивоа. Све што је овде речено подједнако се односи и на Флинк СКЛ и Табела АПИ. Оба седе на врху истог радног времена - концепти и основне могућности су исти - они се приступају само из Јаве или Пајтона, а не СКЛ, ако изаберете да користите Табела АПИ. Користите случајеве Ови релацијски АПИ-ји су посебно погодни за две широке категорије апликација. Agentic AI Moderne aplikacije za veštačku inteligenciju često zahtevaju pristup dinamičnim informacijama u realnom vremenu.Flink SQL olakšava agencijsku veštačku inteligenciju tako što olakšava kombinovanje tokova događaja u realnom vremenu sa uvidom agenata, modela i usluga.To znači da kada se tokovi podataka prenose preko Flinka, oni se mogu obogatiti ili potvrditi upitanjem tih usluga u realnom vremenu, pružajući svež i precizan kontekst za donošenje odluka o veštačkoj inteligenciji ili zaključivanje modela. Shift left У свету обраде података, "померање лево" се односи на извођење трансформација података и обогаћивања што је раније могуће у току података. Флинк релациона АПИ се одликују овде омогућавајући трансформације у реалном времену, и обогаћивање са другим скуповима података. Познавање у комбинацији са новином Флинк СКЛ узима добро осмишљене концепте и семантику развијене за онлине трансакциону обраду (ОЛТП) и онлине аналитичку обраду (ОЛАП), и проширује их да задовољи захтеве апликација за обраду протока у реалном времену. The relational algebra remains the same Основни принципи релационе алгебре, који чине темељ СКЛ-а, потпуно су сачувани у Флинк СКЛ-у. Dok su tradicionalne SQL tabele statične, Flink SQL uvodi koncept dinamičkih tabela, koji su logičke reprezentacije kontinuiranih, neograničenih tokova podataka. Tables: Agregacije (npr. „COUNT“, „SUM“, „AVG“) se primenjuju na tokove, pružajući sažetke podataka u realnom vremenu. Aggregations: Флинк СКЛ подржава различите операције спајања, омогућавајући комбиновање података из различитих извора стреаминг. Ови могу да се крећу од традиционалних унутрашњих и спољашњих спојева до више специјализованих временских спојева. Joins: Svaka Flink SQL izjava kontinuirano izračunava rezultat upita na tokovima, omogućavajući trenutni pristup često zatraženim podacima.To je u osnovi ista operacija koju tradicionalne baze podataka rade kada obavljaju incrementalno održavanje materijalizovanog prikaza. Continuous queries (materialized views): New challenges and ideas for stream processing С друге стране, примена ових релационих концепата на динамички свет обраде протока уводи неке нове разматрања: Операције обраде протока често морају да одржавају "статус" - информације о прошлим догађајима - да би извршили своја израчунавања. На пример, агрегација мора да прати свој делимично акумулирани резултат, а спој може морати да буфер записе из једног тока док чекају да се поклапају записи из другог. Програмери који користе Флинк СКЛ (или Табела АПИ) морају пажљиво размотрити управљање стањем, јер прекомерно стање може утицати на перформансе и потрошњу ресурса. Thinking about state: U procesuiranju toka, događaji mogu da dođu izvan reda ili sa kašnjenjima. Vodeni žigovi su ključni koncept u sistemu Flink SQL koji pomaže u rešavanju ovih nepravilnosti tako što pruža pojam „kompletnosti“ za tokove. Vodeni žigovi definišu prag posle koga Flink pretpostavlja da neće doći više događaja sa ranijim vremenskim žigom, što omogućava dosledne agregate u prozorima i pravovremene rezultate. Watermarks: Флинк СКЛ укључује низ посебних временских верзија државних операција, као што су агрегације са временским прозором и прозорске спојеве, који се ослањају на водене ознаке да би знали када су њихови резултати спремни за емитовање (и када се може ослободити стање које су држали). Nedavni razvoj Недавни развој чини ове релационе АПИ-је убедљивијим него икада. Флинк СКЛ и Табела АПИ су високо екстензибилни кроз употребу корисничких дефинисаних функција (УДФс). Ови омогућавају да се Јава или Питон користе за имплементацију прилагођене логике која се не може директно изразити у СКЛ. УДФс могу извршити сложене прорачуне, искористити библиотеке треће стране, интегрисати са спољним системима или имплементирати трансформације специфичне за домен. су нови укус УДФ-а који је управо уведен као део Флинк-а 2.1. За разлику од традиционалних УДФ-а, ПТФ-ови могу да обрађују читаве табеле (струјеве) на софистициран начин, користећи Флинк-ове услуге за управљање стањем и тајмером. Process Table Functions (PTFs) Стреаминг придруживање у Flink SQL Operacije pridruživanja ilustruju sličnosti i ključne razlike u Flink-ovim relacionim API-jima u poređenju sa tradicionalnim SQL bazama podataka. Ovaj odeljak koristi neke praktične primere kako bi istražio kako se koncepti predstavljeni gore mogu primeniti na stvarne aplikacije koje koriste spojeve. Razmislite, na primer, o onlajn preduzeću koje obrađuje porudžbine i plaćanja, gde je svako plaćanje povezano referencom stranog ključa (orderId) na jednu porudžbinu. Једноставно решење које изгледа да би требало да функционише је CREATE TABLE PaidOrders AS (
  SELECT
    o.id AS orderId,
    p.id AS paymentId
  FROM
    Orders o INNER JOIN Payments p ON o.id = p.orderId
);
 Наравно, у стварној апликацији бисмо извукли гомилу више информација у излаз, као што су ИД клијента, њихова адреса испоруке и ИД-ови производа који се наручују. У говору Флинк заједнице, придруживање као што је ово назива се "редовним придруживањем" (што значи да нисмо урадили ништа посебно да бисмо омогућили Флинку да га ефикасније изврши).А када се изврши кроз Флинк СКЛ стреаминг покретање, редовне придруживање може бити изненађујуће скупо. У ствари, на основу нашег знања о томе како ова компанија води своје пословање, можда знамо да ће сваки налог имати највише једну одговарајућу уплату, тако да нема потребе да Флинк чува налог преко тачке у којој је његово плаћање обрађено. Једна ствар коју бисмо могли учинити да ово придруживање буде мање скупо јесте претпоставити да ће плаћања увек доћи у року од два сата од наруџбине (на пример): CREATE TABLE PaidOrders AS (
  SELECT
    o.id AS orderId,
    p.id AS paymentId
  FROM
    Orders o INNER JOIN Payments p ON o.id = p.orderId
  WHERE
    p.paymentTime BETWEEN o.orderTime AND o.orderTime + INTERVAL '2' HOUR
);
 Ово ће ограничити колико дуго се наруџбине чувају у стању Флинк-а, али то није веома задовољавајући приступ. С једне стране, радије бисмо ослободили стање наруџбине чим се поклапа са плаћањем, а с друге стране, нека плаћања могу бити одложена за више од 2 сата. Другим речима, ово је начин да добијемо одговор на који не можемо да верујемо, и трошимо више него што је потребно да стигнемо тамо. Нажалост, обогаћивање порука један на један које бисмо идеално волели да урадимо у овом случају не може се директно изразити помоћу стандардних СКЛ концепта. Ево поједностављеног примера како то може изгледати: // Function that buffers one object from each side
// of the join to produce exactly one result.
public static class OrderPaymentJoin
  extends ProcessTableFunction<JoinResult> {

  public void eval(
    Context ctx,
    @StateHint(name = "result") JoinResult result,
    @ArgumentHint(SET_SEMANTIC_TABLE) Order order,
    @ArgumentHint(SET_SEMANTIC_TABLE) Payment payment
  ) {

    if (order != null) {
      if (result.orderId != null) {
        // Skip duplicates.
        return;
      } else {
        // Save the order and wait 
        // for the matching payment.
        result.orderId = order.id;
      }
    }

    if (payment != null) {
      if (result.paymentId != null) {
        // Skip duplicates.
        return;
      } else {
        // The order will precede the payment, but
        // we cannot guarantee the order will be
        // processed first. Save the payment
        // and wait for the matching order.
        result.paymentId = payment.id;
      }
    }
  
    if (result.orderId != null && 
        result.paymentId != null) {
      // Send out the final join result
      // and clear the state.
      collect(result);
      ctx.clearState("result");
    }
  }
}
 Са овим ПТФ на месту, наш упит за придруживање постаје CREATE TABLE PaidOrders AS (
  SELECT
    orderId,
    paymentId
  FROM
    OrderPaymentJoin(
      order => TABLE(Orders) PARTITION BY order_id,
      payment => TABLE(Payments) PARTITION BY order_id 
    )
);
 У пракси, овај поједностављени пример би се могао проширити на нешто о могућности акумулације све већег броја неусклађених налога (налога која никада не примају плаћања). Други узбудљиви развој Native support for ML models ФЛИП-437 (укључен у Флинк 2.0) додао подршку за моделе машинског учења као прве класе грађана у Флинк СКЛ. Disaggregated state backend Флинк заједница развија више облак-национални приступ државном управљању, што ће на крају учинити практичнијим за апликације да користе огромне количине државе. Ово никада неће елиминисати потребу да размишљате о захтевима стања ваших апликација за стреаминг, али ће значајно променити како бисте требали видети компромисе укључене. За кориснике Флинк СКЛ и Табела АПИ-а, експериментисање са овим је једноставно питање промене конфигурације вашег покретања. Za više detalja. Документација Semi-structured types Полуструктурирани подаци нуде већу флексибилност, као што су омогућавање да се поља додају током времена, опционална поља или поља чији тип може да варира од реда до реда. Тренутно, корисници Флинк релационих АПИ-ја морају да бирају између РОВ-а са строгим шемамама и статичким типовима, или складиштења података као ЈСОН низа. dodaje tip VARIANT koji podržava polustrukturirane podatke koji se mogu efikasno čuvati i obrađivati. Флип-521 Za dublje razumevanje Да бисте сазнали више о Флинк СКЛ, Ti ćeš početi. Овај видео на континуираним упитама Тхе има неколико одличних примера, ако желите да уроните дубље у ову тему. Документација о функцијама Табела процеса Šon Falkoner objašnjava zašto . Будућност АИ агента је покренута догађајима Будућност АИ агента је покренута догађајима

This story contains new, firsthand information uncovered by the writer.

Овај аудио је произведен на оригиналном језику приче!

Шта треба да знате о најновијим ажурирањима Апацхе Флинк СКЛ и Табела АПИ-ја

About Author

КОМЕНТАРИ

ХАНГ ТАГС

ОВАЈ ЧЛАНАК ЈЕ ПРЕДСТАВЉЕН У

Related Stories

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Building a website with React and Bulma

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Building a website with React and Bulma

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps