Microsoft Fabric
Озеро данных — это централизованный репозиторий, предназначенный для хранения огромных объемов структурированных, полуструктурированных и неструктурированных данных в любом масштабе. В отличие от традиционных баз данных или хранилищ данных, озеро данных может хранить необработанные данные в исходном формате, пока они не потребуются для анализа. Такая гибкость делает его мощной основой для современной аналитики, машинного обучения и бизнес-аналитики.
Озера данных поддерживают сбор данных из самых разных источников — корпоративных приложений, социальных сетей, устройств Интернета вещей и т. д. После загрузки данные можно исследовать и преобразовывать с помощью разных инструментов — от простых запросов до продвинутой аналитики с поддержкой ИИ.
Одна из ключевых особенностей озера данных — подход "схема при чтении". В отличие от хранилищ данных, где схема или структура, определяющая способ упорядочивания данных, применяется при записи данных (схема при записи), озера данных откладывают применение схемы до момента чтения данных. Это означает, что структура данных интерпретируется только при необходимости, а команды получают больше гибкости при подготовке и анализе данных.
Современные озера данных часто создаются на основе облачной инфраструктуры. Это обеспечивает эластичную масштабируемость и встроенные службы для приема, обработки и защиты данных. Они поддерживают открытые форматы данных, такие как Parquet, ORC, Avro и JSON, что обеспечивает взаимодействие между разными системами и аналитическими инструментами.
В Microsoft Fabric служба "Одно озеро" — это единое озеро данных, которое служит централизованным уровнем хранения и лежит в основе всех взаимодействий с данными. Вместе эта комплексная платформа данных объединяет управление данными и аналитику, создавая единый источник достоверных данных. Если данные загружаются через Фабрику данных Fabric, преобразуются с помощью Инжиниринга данных Fabric или визуализируются в Power BI, все это опирается на единую базу данных. Общее открытое озеро данных для всей организации упрощает управление, улучшает взаимодействие и поддерживает культуру, по-настоящему ориентированную на данные.
Организации создают огромные объемы данных, которые нужно хранить и использовать. Озера данных решают эту задачу, предлагая масштабируемый и экономичный способ обработки разных типов и источников данных — без немедленного требования структуры или преобразования.
Вот ключевые причины, по которым озера данных получили широкое распространение:
Поскольку озера данных делают разнородные данные широко доступными, поддерживают схему при чтении и масштабируются для обработки крупных рабочих нагрузок, они отлично подходят для инноваций в ИИ, машинном обучении и аналитике в реальном времени.
Озера данных помогают устранить фрагментацию данных, централизуя хранение между подразделениями и системами. Это помогает командам принимать обоснованные решения и работать с единым источником достоверных данных. Эффективные методики управления данными обеспечивают безопасность, соответствие требованиям и надежность этих централизованных данных.
Microsoft Fabric расширяет эти возможности, объединяя инструменты аналитики, баз данных и визуализации на основе Одного озера. Команды могут создавать модели, формировать отчеты и автоматизировать конвейеры без управления отдельными системами. Такой единый подход ускоряет разработку и снижает накладные расходы, одновременно обеспечивая единые стандарты безопасности и соответствия требованиям.
Озера данных используются в разных отраслях, чтобы объединять данные и делать их более доступными для принятия решений, аналитики и инноваций. Их гибкость делает их подходящими как для операционных, так и для стратегических вариантов использования.
Распространенные примеры:
В чем разница между озером данных и хранилищем данных? И когда уместно использовать один подход вместо другого?
Хотя озера данных и хранилища данных похожи тем, что в них хранятся и обрабатываются данные, у каждого из них есть свои сильные стороны и, соответственно, свои варианты использования. Поэтому крупные организации часто используют оба подхода в составе более широкой аналитической экосистемы. Вместе они формируют защищенную комплексную систему для хранения, обработки данных и более быстрого получения аналитики.
Озеро данных хранит как реляционные, так и нереляционные данные из разных источников (бизнес-приложений, мобильных приложений, устройств Интернета вещей, социальных сетей или потоковой передачи) без необходимости задавать структуру или схему данных до момента чтения. В результате озера данных могут хранить данные самых разных типов: от структурированных до полуструктурированных и неструктурированных в любом масштабе. Их гибкость и масштабируемость делают их незаменимыми для выполнения сложных видов анализа данных с помощью инструментов обработки. Понимание потока данных между системами имеет ключевое значение для эффективной обработки и анализа данных.
В отличие от этого, хранилище данных по своей природе реляционное. Структура (или схема) задается или определяется заранее на основе требований бизнеса и продукта, а затем согласуется и оптимизируется для операций SQL-запросов. В то время как озеро данных хранит данные всех типов структур, включая необработанные и не прошедшие обработку, хранилище данных содержит данные, которые были обработаны и преобразованы с определенной целью. Это делает хранилища данных идеальными для создания стандартизированных отчетов бизнес-аналитики или поддержки операционных вариантов использования с четко определенными моделями данных.
Озеро-хранилище объединяет элементы обеих архитектур. Оно использует гибкое хранилище озера данных и добавляет функции управления данными, которые обычно есть в хранилищах данных, например транзакции, применение схемы и оптимизацию производительности для рабочих нагрузок запросов. Такой гибридный подход позволяет выполнять рабочие процессы аналитики машинного обучения на основе необработанных и структурированных данных без необходимости перемещать или дублировать данные между системами.
Fabric использует модель озера-хранилища, созданную на основе Одного озера — единого озера данных, которое служит базовым уровнем хранения для всех рабочих нагрузок данных в Fabric. Эта архитектура позволяет создавать озера-хранилища, хранилища данных и базы данных непосредственно поверх данных в Одном озере. Благодаря поддержке открытых форматов данных и общей основе для данных можно принимать, преобразовывать и анализировать данные в одной интегрированной среде Fabric. Такой многоуровневый подход помогает командам получать доступ к нужным данным и работать с ними — будь то исследовательский анализ, операционная отчетность или продвинутые решения на базе ИИ — без необходимости перемещать или дублировать их.
По мере роста объема и разнообразия данных традиционные подходы к их хранению и аналитике становятся все менее устойчивыми. Озера данных помогают решить задачу масштабируемого, гибкого и унифицированного хранения. Они позволяют организациям хранить необработанные данные из разных источников, получать к ним доступ по запросу и использовать их для широкого спектра аналитики и полезных сведений.
В ближайшие годы озера данных станут ключевым компонентом современных стратегий работы с данными, поскольку организациям приходится решать все более сложные задачи, связанные с органически сформированными и фрагментированными средами данных, включая несколько изолированных озер, избыточные системы хранения и непоследовательные модели доступа. Эти проблемы приводят к расползанию данных, дублированию, усложнению управления и росту затрат. Из-за этого командам сложно эффективно находить данные, доверять им и использовать их.
Fabric решает эти задачи с помощью Одного озера — единого многооблачного озера данных, встроенного в платформу. Одно озеро работает как "OneDrive для данных" — полностью управляемое решение SaaS (программное обеспечение как услуга), которое избавляет от необходимости создавать и поддерживать отдельную инфраструктуру озера данных. Оно служит единой основой в пределах организации для поиска и хранения данных, а также совместной работы над ними во всех бизнес-доменах и облачных средах. Такой открытый подход, ориентированный на озеро данных, снижает дублирование, улучшает управление и позволяет командам работать с одними и теми же данными. Это улучшает взаимодействие, позволяет быстрее получать аналитику и принимать более интеллектуальные решения на базе искусственного интеллекта.
Интегрируя хранение, прием данных, аналитику и управление в единую систему, Microsoft Fabric (и Одно озеро в его основе) помогает организациям быстрее переходить от необработанных данных к полезным сведениям. Это решение упрощает архитектуру, снижает операционные сложности и облегчает создание масштабируемых, готовых к будущему систем данных.
Чтобы получить базовое представление о развивающейся экосистеме данных, изучите центр Data 101.
