Microsoft Fabric
Dátové jazero je centralizovaný odkladací priestor navrhnutý na ukladanie obrovského množstva štruktúrovaných, čiastočne štruktúrovaných aj neštruktúrovaných údajov v akomkoľvek rozsahu. Na rozdiel od tradičných databáz alebo skladov údajov môže dátové jazero uchovávať nespracované údaje v ich pôvodnom formáte, kým sú potrebné na analýzu. Vďaka tejto flexibilite je silným základom pre modernú analýzu, strojové učenie a business intelligence.
Dátové jazerá podporujú zhromažďovanie údajov zo širokej škály zdrojov – podnikových aplikácií, sociálnych sietí, zariadení Internetu vecí (IoT) a ďalších. Po uložení možno údaje skúmať a transformovať pomocou rôznych nástrojov, a to od základných dotazov až po pokročilú analýzu s využitím umelej inteligencie.
Jednou z určujúcich vlastností dátového jazera je prístup schema-on-read. Na rozdiel od skladov údajov, ktoré pri zápise údajov uplatňujú schému, teda štruktúru určujúcu, ako sú údaje usporiadané (schema-on-write), dátové jazerá odkladajú použitie schémy až do okamihu čítania údajov. To znamená, že štruktúra údajov sa interpretuje až vtedy, keď je to potrebné, čo tímom prináša väčšiu flexibilitu pri príprave a analýze údajov.
Moderné dátové jazerá sú často postavené na cloudovej infraštruktúre a ponúkajú elastickú škálovateľnosť a integrované služby na príjem údajov, ich spracovanie aj zabezpečenie. Podporujú otvorené formáty údajov, ako sú Parquet, ORC, Avro a JSON, ktoré zabezpečujú interoperabilitu medzi rôznymi systémami a analytickými nástrojmi.
Na platforme Microsoft Fabric je OneLake jednotným dátovým jazerom, ktoré slúži ako centralizovaná vrstva úložiska a tvorí základ každej dátovej skúsenosti. Spoločne táto komplexná platforma údajov zjednocuje správu údajov a analýzu do jedného zdroja pravdy o údajoch. Či už údaje prijímate cez Fabric Data Factory, transformujete ich pomocou Fabric Data Engineering alebo ich vizualizujete v Power BI, všetko nadväzuje na jednotný údajový základ. Zdieľané a otvorené dátové jazero pre celú organizáciu zjednodušuje správu údajov, podporuje spoluprácu a posilňuje skutočnú kultúru zameranú na údaje.
Organizácie generujú obrovské množstvo údajov, ktoré potrebujú ukladať a ďalej využívať. Dátové jazerá túto potrebu napĺňajú tým, že ponúkajú škálovateľný a nákladovo efektívny spôsob práce s rôznorodými typmi údajov a zdrojov – a to bez potreby okamžitej štruktúry alebo transformácie.
Tu sú hlavné dôvody, prečo sú dátové jazerá také rozšírené:
Keďže dátové jazerá sprístupňujú rôznorodé údaje vo veľkom rozsahu, podporujú schema-on-read a dokážu škálovať pre veľké pracovné zaťaženia, sú ideálne na podporu inovácií v oblasti AI, strojového učenia a analýzy v reálnom čase.
Dátové jazerá pomáhajú odstrániť fragmentované údaje tým, že centralizujú úložisko naprieč oddeleniami a systémami. Tímom tak umožňujú prijímať kvalifikované rozhodnutia a pracovať s jednou verziou pravdy o údajoch. Efektívne postupy správy údajov zabezpečujú, že tieto centralizované údaje zostávajú zabezpečené, v súlade s predpismi a dôveryhodné.
Microsoft Fabric rozširuje tieto výhody tým, že na OneLake stavia integrované nástroje na analýzu, databázy a vizualizáciu. Tímy môžu vytvárať modely, generovať zostavy a automatizovať postupy bez nutnosti správy samostatných systémov. Tento jednotný prístup urýchľuje vývoj, znižuje režijné náklady a zároveň podporuje konzistentné zabezpečenie a súlad s predpismi.
Dátové jazerá sa používajú naprieč odvetviami na zjednotenie údajov a zlepšenie ich dostupnosti pre rozhodovanie, analýzu a inovácie. Vďaka svojej flexibilite sa hodia pre prevádzkové aj strategické prípady použitia.
Medzi bežné príklady patria:
Aký je rozdiel medzi dátovým jazerom a skladom údajov? A kedy sa oplatí použiť jedno namiesto druhého?
Hoci sú dátové jazerá a sklady údajov podobné v tom, že obe ukladajú a spracúvajú údaje, každý z nich má svoje silné stránky, a teda aj vlastné prípady použitia. Preto podnikové organizácie často využívajú oboje ako súčasť širšieho analytického ekosystému. Spoločne vytvárajú bezpečný end-to-end systém na ukladanie, spracúvanie a rýchlejšie získavanie prehľadov.
Dátové jazero zhromažďuje relačné aj nerelačné údaje z rôznych zdrojov – podnikových aplikácií, mobilných aplikácií, zariadení IoT, sociálnych sietí či streamovacích služieb – bez toho, aby bolo potrebné definovať ich štruktúru alebo schému pred ich prečítaním. Vďaka tomu môžu dátové jazerá uchovávať široké spektrum typov údajov – od štruktúrovaných cez čiastočne štruktúrované až po neštruktúrované –, a to v akomkoľvek rozsahu. Ich flexibilita a škálovateľnosť z nich robí kľúčový nástroj na vykonávanie komplexných foriem analýzy údajov s využitím spracovateľských nástrojov. Pochopenie toku údajov medzi systémami je kľúčové pre efektívne spracovanie a analýzu údajov.
Naopak, sklad údajov má relačný charakter. Štruktúra alebo schéma sa modeluje alebo vopred definuje podľa obchodných a produktových požiadaviek a následne sa upravuje, zosúlaďuje a optimalizuje pre dotazy SQL. Kým dátové jazero uchováva údaje všetkých typov štruktúr vrátane surových a nespracovaných údajov, sklad údajov ukladá údaje, ktoré už boli upravené a transformované na konkrétny účel. Vďaka tomu sú sklady údajov ideálne na tvorbu štandardizovaných zostáv business intelligence, ako aj na podporu prevádzkových prípadov použitia s jasne definovanými dátovými modelmi.
Stredisko dátového jazera spája prvky oboch architektúr. Využíva flexibilné úložisko dátového jazera a dopĺňa ho o funkcie správy údajov, ktoré sa bežne nachádzajú v skladoch údajov, ako sú transakcie, vynucovanie schémy a optimalizácie výkonu pre dotazovacie pracovné zaťaženia. Tento hybridný prístup umožňuje analytické pracovné postupy aj postupy strojového učenia pri spracúvaní nespracovaných aj štruktúrovaných údajov bez potreby presúvania alebo duplikovania údajov medzi systémami.
Fabric využíva model strediska dátového jazera postavený na OneLake – jednotnom dátovom jazere, ktoré v rámci Fabricu slúži ako základná vrstva úložiska pre všetky údajové pracovné zaťaženia. Táto architektúra vám umožňuje vytvárať strediská dátového jazera, sklady údajov aj databázy priamo nad údajmi vo OneLake. Vďaka podpore otvorených formátov údajov a spoločnému údajovému základu je možné prijímať, transformovať a analyzovať údaje v jednom integrovanom prostredí Fabricu. Tento vrstvený prístup zabezpečuje, že tímy môžu pristupovať k správnym údajom a pracovať s nimi – či už ide o prieskumnú analýzu, prevádzkové vykazovanie alebo pokročilé AI riešenia –, a to bez potreby presúvania alebo duplikovania údajov.
Keďže objem aj rozmanitosť údajov neustále rastú, tradičné prístupy k ukladaniu údajov a analýze sa stávajú čoraz menej udržateľnými. Dátové jazerá reagujú na potrebu škálovateľných, flexibilných a zjednotených úložných riešení tým, že organizáciám umožňujú ukladať nespracované údaje z rôznych zdrojov, pristupovať k nim podľa potreby a podporovať široké spektrum analýz a prehľadov.
V budúcnosti sa dátové jazerá stanú kľúčovou súčasťou moderných údajových stratégií, keďže organizácie čelia čoraz väčším výzvam spojeným s organicky vzniknutými, fragmentovanými dátovými prostrediami – vrátane viacerých izolovaných dátových jazier, redundantných úložných systémov a nekonzistentných modelov prístupu. Tieto problémy vedú k rozptýleniu údajov, duplikovaniu, zložitejšej správe údajov a rastúcim nákladom, čo tímom sťažuje efektívne vyhľadávanie a využívanie údajov, ako aj dôveru v nich.
Fabric tieto výzvy rieši pomocou OneLake, zjednoteného multicloudového dátového jazera integrovaného priamo do platformy. OneLake funguje ako „OneDrive pre údaje“ – plne spravované riešenie typu SaaS (software as a service), ktoré eliminuje potrebu budovať a udržiavať samostatnú infraštruktúru dátového jazera. Slúži ako jednotný základ pre celú organizáciu na vyhľadávanie, ukladanie a spoluprácu na údajoch naprieč všetkými obchodnými doménami a cloudovými prostrediami. Tento otvorený prístup zameraný na dátové jazerá znižuje počet duplikácií, zlepšuje správu údajov a umožňuje tímom pracovať s tými istými údajmi – čím podporuje lepšiu spoluprácu, rýchlejšie získavanie prehľadov a inteligentnejšie rozhodnutia využívajúce AI.
Tým, že Microsoft Fabric (s OneLake v jadre) integruje ukladanie, príjem, analýzu aj správu údajov pod jednu strechu, pomáha organizáciám rýchlejšie prechádzať od nespracovaných dát k prehľadom. Zjednodušuje architektúru, znižuje prevádzkové trenie a uľahčuje budovanie škálovateľných údajových systémov pripravených na budúcnosť.
Základné informácie o vyvíjajúcom sa údajovom ekosystéme nájdete v centre informácií o údajoch.
Sledovať Microsoft Fabric