什麼是資料湖？

組織會產生大量資料，而這些資料都需要妥善儲存與運用。資料湖以可擴充且具成本效益的方式滿足這項需求，能處理多種資料類型與來源，無需立即定義結構或進行轉換。

以下是資料湖廣受採用的主要原因：

• 靈活度： 可將所有類型的資料——例如結構化資料表、記錄、影像與影片——集中儲存在同一處，無須事先定義用途。
• 可擴縮性： 可擴充至儲存 PB 等級的資料，而不需大幅變更架構或影響效能。
• 協助工具： 讓各種使用者與工具都能存取資料，以支援報表、進階分析與 AI 開發。
• 成本效益： 採用低成本儲存選項，並避免頻繁搬移或複製資料所帶來的額外負荷。
• 支援創新： 讓資料科學家、分析師和開發人員能即時探索與塑造資料，方便進行實驗。

由於資料湖讓多樣化資料更容易取得、支援讀取時結構描述，並可擴充以處理大量工作負載，因此非常適合支援 AI、機器學習與即時分析的創新。

資料湖透過在部門與系統之間集中儲存資料，協助消除資料分散的問題，讓團隊能依據單一可信版本的資料做出明智決策。有效的資料控管做法可確保這些集中式資料保持安全、合規且值得信賴。

Microsoft Fabric 透過在 OneLake 之上整合分析、資料庫與視覺效果工具，進一步放大這些優勢。團隊可以建置模型、產生報表，並自動化 Pipelines，而無須管理彼此獨立的系統。這種統一的方法可加快開發、降低額外負擔，並同時維持一致的安全性與合規性。

各行各業都會使用資料湖來整合資料，並讓資料更容易用於決策、分析與創新。資料湖的靈活度使其同時適用於營運與策略性應用情境。

常見範例包括:

• 零售分析： 將銷售點資料、客戶意見反應、網站記錄和庫存指標整合到單一資料湖中，以了解購物行為、最佳化供應鏈並推動個人化行銷。
• 醫療深入解析： 彙整電子病歷、影像資料、臨床試驗結果與穿戴式裝置指標，以支援醫學研究並改善患者結果。
• 製造監控： 整合 IoT 感測器、產線記錄與維護紀錄中的資料，以偵測異常、預測設備故障並最佳化工作流程。
• 財務風險分析： 將交易紀錄、市場資料與客戶互動集中管理，以執行進階風險模型、偵測詐欺並確保合規性。
• 教育與研究： 整合問卷資料、學習管理系統與線上內容使用模式，以提升學生參與度與學習成效。
• 串流媒體： 訂閱制串流服務業者會收集並分析客戶行為深入解析，進而優化推薦演算法。
• IoT 資料儲存： 硬體感測器會針對周遭實體世界產生大量半結構化到非結構化的資料。資料連接器可順暢地將這些資料整合到資料湖中進行分析。
• 銷售支援： 資料科學家和銷售工程師經常建立預測模型，協助判斷客戶行為並降低整體流失率。

資料湖和資料倉儲之間有什麼區別？ 什麼時候適合選擇其中一種，而不是另一種？

雖然資料湖與資料倉儲都用來儲存和處理資料，但兩者各有專長，因此適用的情境也不同。這就是為什麼企業組織常把兩者一起使用，作為更完整分析生態系的一部分。兩者結合後，就能形成一套安全的端到端系統，負責儲存、處理，並加快取得深入解析的速度。

資料湖會從各種來源擷取關聯式和非關聯式資料，包括商業應用程式、行動應用程式、IoT 裝置、社群媒體或串流資料，且不必在讀取前先定義資料的結構或結構描述。因此，資料湖可以容納各種資料類型，從結構化、半結構化到非結構化資料，而且不分規模。因為具備彈性與可調整性，資料湖成為運用處理工具執行複雜資料分析的重要基礎。理解系統之間的資料流程，對高效的資料處理與分析非常重要。

相較之下，資料倉儲本質上屬於關聯式。其結構或結構描述由業務與產品需求預先建模或定義，並經過整理、一致化與最佳化，以支援 SQL 查詢作業。資料湖可儲存各種結構類型的資料，包括原始且尚未處理的資料；資料倉儲則用來儲存經過處理與轉換、且有特定用途的資料。因此，資料倉儲非常適合產出標準化的商業智慧報表，或支援具有明確資料模型的作業型使用情境。

資料湖存放庫的定位

資料湖存放庫結合了兩種架構的優點。它保留資料湖的彈性儲存能力，並加入資料倉儲常見的資料管理功能，例如交易、結構描述強制執行，以及查詢工作負載的效能最佳化。這種混合式方法可讓您在原始與結構化資料上執行分析與機器學習流程，而不需要在系統之間移動或複製資料。

Fabric 採用資料湖存放庫模型，並建構在 OneLake 之上；OneLake 是一個統一的資料湖，作為 Fabric 中所有資料工作負載的基礎儲存空間。這種架構讓您可以直接在 OneLake 中的資料上建立湖存放庫、資料倉儲和資料庫。由於它支援開放式資料格式，並提供共享的資料基礎，因此您可以在單一整合的 Fabric 環境中擷取、轉換與分析資料。這種分層式方法可確保團隊能存取並運用正確的資料——無論是探索性分析、營運報表，還是進階 AI 解決方案——而不需要移動或複製資料。

隨著資料在數量與種類上持續成長，傳統的資料儲存與分析方式正變得越來越難以為繼。資料湖透過讓組織儲存來自多元來源的原始資料、按需存取，並支援各式各樣的分析與深入解析，來滿足可擴充、彈性且統一的儲存需求。

展望未來，隨著組織面臨愈來愈多因自然成長而形成的分散資料環境挑戰，包括多個孤立的資料湖、重複的儲存系統，以及不一致的存取模型，資料湖將成為現代資料策略的核心組成部分。這些問題會導致資料分散、重複、治理複雜化，以及成本上升，讓團隊更難有效率地尋找、信任並使用資料。

Fabric 透過 OneLake 來解決這些挑戰；OneLake 是內建於平台中的統一、多雲資料湖。OneLake 的作用就像「資料版的 OneDrive」；它是一個完全受控的軟體即服務 (SaaS) 解決方案，讓您不必再建立和維護獨立的資料湖基礎結構。它可作為整個組織的單一基礎，讓不同業務領域與雲端環境都能探索、儲存和共同作業處理資料。這種以資料湖為核心的開放式方法可減少重複、改善治理，並讓團隊基於同一份資料協作，進而帶來更好的共同作業、更快的深入解析，以及更聰明的 AI 驅動決策。

透過將儲存、擷取、分析與治理整合在同一架構下，Microsoft Fabric——以及核心的 OneLake——能協助組織更快從原始資料走向深入解析。它簡化了架構，降低營運摩擦，也讓建置可擴充、面向未來的資料系統更容易。

如需了解演進中的資料生態系基礎指南，請瀏覽 Data 101 hub。