什麼是巨量資料？

巨量資料是指龐大且複雜的資訊集合，由於過於龐大且複雜，傳統型資料管理工具難以有效處理。資料量是巨量資料的核心特徵之一。其他重要特徵包括資料變化速度、格式多樣性，以及分析後所產生的深入解析。這些元素共同構成理解巨量資料意義和應用的關鍵。

不用於依賴單一電腦或集中式儲存解決方案的傳統型系統，巨量資料受控於分散式運算，可以結合許多機器和儲存系統網路。這個方法將處理任務分散至多台機器，共同處理資料的不同部分。分散式運算讓您能更有效率且近即時地處理大規模複雜資料，克服單一處理器或儲存裝置的限制。

當人們談到巨量資料的定義，以及巨量資料和一般資料的差異時，總會提到的特徵稱為「巨量資料的 5V」：
 

• 大量：資料產生量龐大。資料來源涵蓋線上交易、已連線感應器、社交媒體貼文和影片串流等多種資訊。
  
  
• 速度：資料流動快速。資料以即時或近即時方式產生、串流和分析。
  
  
• 多樣性：資料類型多元，並非單一類型或群組。資料存在多種格式，涵蓋結構化表格到非結構化內容，例如音訊檔案、影像和自由形式文字。
  
  
• 真實性：資料可能不準確或不一致。真實性是指資料的可靠性，無論是否乾淨或一致，特別是當資料來自「雜訊多」或不完整的來源時。
  
  
• 價值：資料必須具備實用性。巨量資料的價值在於支援決策、優化流程並推動有意義的成果，透過分析提供深入解析。

這五項特徵定義了巨量資料的獨特價值。組織可能在客戶互動、供應鏈、員工系統和雲端應用程式中產生複雜資料。巨量資料的收集和分析將能整合這些資訊、管理系統間的資料流程，並發掘支援最佳決策和卓越成果的模式。

巨量資料如何運作？

處理巨量資料的工作包括結合多來源複雜資料、有效管理，並以有助於達成目標的方式進行分析。這些步驟緊密相連，每一步各自扮演將原始資訊轉化為有價值深入解析的關鍵角色。

整合：巨量資料來自各種系統、格式和位置，跨越雲端平台、應用程式和已連線裝置。資料連接器是用來整合系統間資料的工具、軟體或介面，它將資訊匯集至集中式環境，以便存取、組織並準備進行分析。通常包含歷程記錄和即時資料、結構化和非結構化格式，以及來自整個組織的資訊。

管理：資料集中之後，就必須準備好以便使用。這個過程涵蓋資料的清理、標記、保護和整理。管理同時包括在必要時套用資料控管規則和存取權控制。有了合適的系統，資料管理成為跨部門的共同責任，而不再是 IT 部門的專責。

分析。從資料中挖掘深入解析，讓模式、趨勢和關係漸漸浮現。分析師、開發者和領域專家運用巨量資料工具來探索現況、發掘機會並測試構想。部分資料分析會即時進行，有些則採批次處理。兩者目標一致：以資料為依據，支援決策並改善結果。

整合、管理和分析三大步驟，共同構成巨量資料運作的核心基礎。當每個部分都到位後，組織能更快速運作、做出最佳決策，並以更明確和敏捷的方式適應變化的環境。