Microsoft Fabric
Andmejärv on tsentraliseeritud hoidla, mis on loodud suurte struktureeritud, poolstruktureeritud ja struktuurita andmemahtude salvestamiseks mis tahes ulatuses. Erinevalt tavapärastest andmebaasidest või andmeladudest saab andmejärv säilitada toorandmeid nende algsel kujul seni, kuni neid on analüüsiks vaja.'. Selline paindlikkus muudab selle võimsaks aluseks kaasaegsele analüüsile, masinõppele ja ärianalüüsile.
Andmejärved toetavad andmete kogumist väga erinevatest allikatest – ettevõtterakendustest, sotsiaalmeediast, asjade interneti (IoT) seadmetest ja mujalt. Pärast salvestamist saab andmeid uurida ja teisendada mitmesuguste tööriistade abil, alates lihtsatest päringutest kuni täiustatud tehisintellekti toetatud analüüsini.
Andmejärve üks peamisi tunnusjooni on lugemisaegse skeemi kasutamine. Erinevalt andmeladudest, kus skeem ehk andmete korraldust määratlev struktuur rakendatakse andmete kirjutamisel, rakendatakse andmejärvedes skeem alles andmete lugemisel. See tähendab, et andmete struktuuri tõlgendatakse alles siis, kui seda on vaja, pakkudes meeskondadele suuremat paindlikkust andmete ettevalmistamisel ja analüüsimisel.
Tänapäevased andmejärved rajatakse sageli pilvetaristule, mis pakub elastset skaleeritavust ning integreeritud teenuseid andmete sissevõtuks, töötlemiseks ja turvamiseks. Need toetavad avatud andmevorminguid (nt Parquet, ORC, Avro ja JSON), mis soodustavad koostalitlusvõimet eri süsteemide ja analüüsitööriistade vahel.
Microsoft Fabricus on OneLake ühtne andmejärv, mis toimib kõigi andmekasutuskogemuste keskse salvestuskihina. See terviklik andmeplatvorm ühendab andmehalduse ja analüüsi, pakkudes ühtset tõest andmeallikat. Olenemata sellest, kas võtate andmeid sisse Fabric Data Factory abil, teisendate neid Fabricu andmetehnoloogia abil või visualiseerite neid Power BI-s, põhineb kõik ühtsel andmealusel. Kogu organisatsiooni hõlmav ühine avatud andmejärv lihtsustab andmekorraldust, parandab koostööd ja toetab tõeliselt andmekeskset töökultuuri.
Organisatsioonid loovad tohutul hulgal andmeid, mida on vaja salvestada ja töödelda. Andmejärved vastavad sellele vajadusele, pakkudes skaleeritavat ja kulutõhusat võimalust hallata erinevaid andmetüüpe ja -allikaid, ilma et andmetele oleks vaja kohe struktuuri määrata või neid teisendada.
Siin on peamised põhjused, miks andmejärvi laialdaselt kasutatakse.
Kuna andmejärved muudavad erinevad andmed laialdaselt kättesaadavaks, toetavad lugemisaegset skeemi ning suudavad töödelda suuri töökoormusi, sobivad need suurepäraselt tehisintellekti, masinõppe ja reaalajaanalüüsi toetamiseks.
Andmejärved aitavad kõrvaldada killustatud andmestikke, koondades eri osakondade ja süsteemide andmed ühte kesksesse salvestuskohta. See aitab meeskondadel teha teadlikumaid otsuseid ja kasutada ühtset tõest andmeallikat. Tõhusad andmekorralduse tavad tagavad, et need tsentraalselt talletatud andmed on turvatud, nõuetega kooskõlas ja usaldusväärsed.
Microsoft Fabric laiendab neid eeliseid, integreerides OneLake'i peale analüüsi-, andmebaasi- ja visualiseerimistööriistad. Meeskonnad saavad luua mudeleid, koostada aruandeid ja automatiseerida andmetöötluskonveiereid, ilma et peaksid haldama eraldiseisvaid süsteeme. Selline ühtne lähenemine kiirendab arendust, vähendab halduskoormust ning aitab tagada järjepideva turbe ja nõuetelevastavuse.
Andmejärvi kasutatakse eri tegevusvaldkondades andmete ühendamiseks ja nende otsuste tegemisel, analüüsis ning innovatsioonis hõlpsamini kättesaadavaks muutmiseks. Tänu oma paindlikkusele sobivad need nii tegevusega seotud kui ka strateegilisteks kasutusmallideks.
Levinumad näited on järgmised.
Mis vahe on andmejärvel ja andmelaol? Ja millal on sobiv kasutada üht või teist?
Kuigi andmejärved ja andmelaod salvestavad ja töötlevad mõlemad andmeid, on neil kummalgi oma tugevused ja seetõttu ka erinevad kasutusvaldkonnad. Seetõttu kasutavad ettevõtted neid sageli koos osana laiemast analüüsiökosüsteemist. Koos moodustavad need turvalise terviklahenduse andmete salvestamiseks, töötlemiseks ja väärtusliku teabeni kiiremini jõudmiseks.
Andmejärv kogub nii relatsioonilisi kui ka mitterelatsioonilisi andmeid paljudest allikatest – ärirakendustest, mobiilirakendustest, IoT-seadmetest, sotsiaalmeediast või voogedastusallikatest –, ilma et andmete struktuuri või skeemi oleks vaja määratleda enne nende lugemist. Seetõttu saavad andmejärved talletada väga erinevat tüüpi andmeid – struktureeritud, poolstruktureeritud ja struktureerimata andmeid – mis tahes mahus. Nende paindlikkus ja skaleeritavus muudavad need hädavajalikuks mitmesuguste töötlemistööriistade abil teostatavate keerukate andmeanalüüside puhul. Süsteemidevahelise andmevoo mõistmine on tõhusa andmetöötluse ja analüüsi jaoks ülioluline.
Seevastu andmeladu põhineb relatsioonilisel mudelil. Selle struktuur ehk skeem modelleeritakse või määratakse eelnevalt kindlaks äri- ja tootenõuete põhjal ning see kujundatakse, ühtlustatakse ja optimeeritakse SQL-päringute tegemiseks. Kui andmejärv talletab igat tüüpi struktuuriga andmeid, sealhulgas toor- ja töötlemata andmeid, siis andmeladu talletab andmeid, mida on konkreetse eesmärgi saavutamiseks juba töödeldud ja teisendatud. Seetõttu sobivad andmelaod suurepäraselt standardsete ärianalüüsiaruannete koostamiseks või tegevusvaldkondade toetamiseks hästi määratletud andmemudelite abil.
Andmete järvladu ühendab mõlema arhitektuuri omadused. See kasutab andmejärve paindlikku salvestuslahendust ning lisab sellele andmehaldusvõimalused, mida tavaliselt seostatakse andmeladudega, näiteks tehingute toe, skeemi jõustamise ja päringukoormuste jõudlusoptimeerimise. Selline hübriidne lähenemine võimaldab teha analüüsi ja kasutada masinõpet nii toor- kui ka struktureeritud andmetega, ilma et andmeid oleks vaja süsteemide vahel teisaldada või dubleerida.
Fabric kasutab andmete järvlao mudelit, mis põhineb OneLake'il – ühtsel andmejärvel, mis toimib Fabricu kõigi andmetöökoormuste põhisalvestuskihina. See arhitektuur võimaldab luua andmete järvladusid, andmeladusid ja andmebaase otse OneLake'is talletatud andmete peale. Tänu avatud andmevormingute toetamisele ja ühise andmealuse pakkumisele saab andmeid ühes integreeritud Fabricu keskkonnas sisse võtta, teisendada ja analüüsida. Selline kihiline lähenemine tagab, et meeskonnad saavad kasutada just neile vajalikke andmeid – olgu eesmärgiks uuriv analüüs, tegevusaruandlus või täiustatud tehisintellektil põhinevad lahendused –, ilma et andmeid oleks vaja teisaldada või dubleerida.
Kuna andmete maht ja mitmekesisus kasvavad pidevalt, muutuvad traditsioonilised andmete talletamise ja analüüsi lähenemisviisid üha vähem jätkusuutlikuks. Andmejärved vastavad vajadusele skaleeritavate, paindlike ja ühtsete salvestuslahenduste järele, võimaldades organisatsioonidel talletada eri allikatest pärinevaid toorandmeid, pääseda neile vajaduse korral juurde ning kasutada neid mitmesuguste analüüside ja väärtusliku teabe saamiseks.
Edaspidi muutuvad andmejärved tänapäevaste andmestrateegiate keskseks osaks, kuna organisatsioonid seisavad silmitsi üha suuremate probleemidega, mis tulenevad aja jooksul kujunenud killustatud andmekeskkondadest, sealhulgas mitmest isoleeritud andmejärvest, dubleerivatest salvestussüsteemidest ja ebaühtsetest juurdepääsumudelitest. Need probleemid põhjustavad andmete killustumist, dubleerimist, keerukamat andmekorraldust ja kasvavaid kulusid, mistõttu on meeskondadel keerulisem andmeid leida, usaldada ja tõhusalt kasutada.
Fabric lahendab need väljakutsed OneLake'i abil – platvormi sisseehitatud ühtse mitmel pilvel põhineva andmejärvega. OneLake toimib kui „OneDrive andmete jaoks” – täielikult hallatav tarkvara teenusena (SaaS), mis kaotab vajaduse eraldi andmete järvlao taristu loomise ja haldamise järele. See toimib kogu organisatsiooni ühise alusena andmete leidmiseks, salvestamiseks ja nendega koostöö tegemiseks kõigis ärivaldkondades ja pilvekeskkondades. See avatud, andmejärvekeskne lähenemine vähendab dubleerimist, parandab andmekorraldust ning võimaldab meeskondadel töötada samade andmetega, toetades paremat koostööd, kiiremaid ülevaateid ja nutikamaid tehisintellektipõhiseid otsuseid.
Ühendades salvestuse, andmete importimise, analüüsi ja andmekorralduse ühele platvormile, aitab Microsoft Fabric – mille keskmes on OneLake – organisatsioonidel toorandmetest kiiremini väärtuslikke ülevaateid luua. See lihtsustab arhitektuuri, vähendab halduskoormust ning hõlbustab skaleeritavate ja tulevikukindlate andmesüsteemide loomist.
Andmeökosüsteemi arengust ülevaate saamiseks tutvuge Andmevaldkonna põhitõdede keskusega.
Jälgige Microsoft Fabricut