Data Lakehouse คืออะไร

ความสามารถในการปรับขนาดและความยืดหยุ่นในการจัดการข้อมูล

Data Lakehouse สามารถปรับขนาดได้อย่างราบรื่นเพื่อตอบสนองต่อปริมาณข้อมูลที่เพิ่มขึ้นในประเภทข้อมูลที่หลากหลาย ซึ่งทำให้ธุรกิจมีความคล่องตัวในการปรับตัวเข้ากับสภาพแวดล้อมของข้อมูลที่เปลี่ยนแปลงไป

Microsoft OneLake ใน Fabric คือที่จัดเก็บข้อมูลดิบแบบเปิดที่สามารถปรับขนาดได้อย่างไม่จำกัด นำเข้าข้อมูลที่มีโครงสร้างและไม่มีโครงสร้าง และประมวลผลข้อมูลปริมาณมหาศาล ในขณะเดียวกันก็เพิ่มประสิทธิภาพการทำงานทั่วทั้งเครื่องมือการวิเคราะห์ต่างๆ

Data Lakehouse มีมาตรการการรักษาความปลอดภัยที่มีเสถียรภาพเพื่อปกป้องข้อมูลที่ละเอียดอ่อน ตัวอย่างเช่น OneLake ใช้เครื่องมือความปลอดภัยและการกำกับดูแลชั้นนำของอุตสาหกรรมเพื่อรับรองคุณภาพของข้อมูลขององค์กรของคุณ และเฉพาะบุคคลที่เหมาะสมเท่านั้นที่มีสิทธิ์เข้าถึงข้อมูลนั้นได้อย่างเหมาะสม การทำเช่นนี้จะช่วยให้องค์กรของคุณปฏิบัติตามข้อบังคับของอุตสาหกรรมและได้รับการป้องกันการเข้าถึงโดยไม่ได้รับอนุญาต

ด้วยพื้นที่จัดเก็บบนคลาวด์ที่คุ้มทุนและการประมวลผลข้อมูลที่ปรับให้เหมาะสม จึงทำให้ Data Lakehouse เป็นโซลูชันที่ราคาไม่แพงสำหรับการจัดเก็บและการวิเคราะห์ข้อมูลขนาดใหญ่ ทั้งแบบมีโครงสร้างและไม่มีโครงสร้าง Microsoft Fabric ช่วยลดต้นทุนเพิ่มเติมด้วยการให้พูลความจุและที่เก็บข้อมูลเดียวที่สามารถใช้ได้กับทุกปริมาณงาน

Data Lakehouse มอบความสามารถในการวิเคราะห์ข้อมูลการสตรีมแบบเรียลไทม์ให้กับนักวิทยาศาสตร์ข้อมูลและนักวิเคราะห์ จึงทำให้องค์กรต่างๆ สามารถตอบสนองต่อสภาวะที่เปลี่ยนแปลงไปได้อย่างฉับไวและในเชิงรุกเมื่อเกิดปัญหาขึ้น ปริมาณงาน เช่น Fabric Real-Time Intelligence สามารถนำเข้าและแปลงข้อมูลการสตรีม คิวรีในเวลาจริง และทริกเกอร์การดำเนินการในการตอบสนอง

สถาปัตยกรรม Data Lakehouse ประกอบด้วยส่วนประกอบสำคัญหลายอย่างที่ทำงานร่วมกันเพื่อสร้างระบบแบบรวมศูนย์สำหรับการจัดการและการวิเคราะห์ข้อมูล ต่อไปนี้คือการแบ่งย่อยที่มีรายละเอียดของแต่ละส่วนประกอบ:

1. การนำเข้า เลเยอร์การนำเข้าข้อมูลมีหน้าที่รับผิดชอบในการรวบรวมข้อมูลจากแหล่งต่างๆ รวมถึงฐานข้อมูล แอปพลิเคชัน อุปกรณ์ IoT และ API ภายนอก ทั้งแบบกลุ่มและในเวลาจริง Fabric Data Factory ช่วยให้คุณสามารถใช้โฟลว์และไปป์ไลน์ข้อมูลในการนำเข้า จัดเตรียม และแปลงข้อมูลจากแหล่งข้อมูลที่หลากหลาย เลเยอร์นี้ทำให้แน่ใจว่าข้อมูลที่เกี่ยวข้องทั้งหมดจะพร้อมสำหรับการวิเคราะห์ ไม่ว่าจะเป็นแบบมีโครงสร้าง กึ่งมีโครงสร้าง และไม่มีโครงสร้าง ซึ่งให้ภาพรวมของสภาพแวดล้อมขององค์กรได้อย่างครอบคลุม

2. ที่เก็บข้อมูล เลเยอร์ที่เก็บข้อมูลทำหน้าที่เป็นรากฐานของ Data Lakehouse โดยการจัดการข้อมูลดิบจำนวนมากโดยใช้โซลูชันที่เก็บข้อมูลที่มีความสามารถในการปรับขนาดและคุ้มต้นทุน เลเยอร์นี้ช่วยให้สามารถจัดเก็บข้อมูลในรูปแบบดิบ โดยรองรับประเภทข้อมูลต่างๆ เช่น ข้อความ รูปภาพ และวิดีโอ ขณะเดียวกันก็ไม่จำเป็นต้องใช้ Schema ที่เข้มงวดเพื่อให้สามารถปรับขนาดข้อมูลได้มากขึ้น

3. เมตาดาต้า เลเยอร์เมตาดาต้าจะจัดทำแคตตาล็อกสินทรัพย์ข้อมูลและรักษาข้อมูล Schema ซึ่งรับรองถึงคุณภาพของข้อมูลสำหรับการคิวรีที่มีประสิทธิภาพ ทีมข้อมูลสามารถทำความเข้าใจบริบทและโครงสร้างของข้อมูลที่ทำงานด้วย ซึ่งส่งผลให้ได้ข้อมูลเชิงลึกที่มีประสิทธิภาพมากขึ้น

4. API เลเยอร์ API มีส่วนติดต่อที่นักพัฒนา นักวิทยาศาสตร์ข้อมูล และนักวิเคราะห์ใช้ในการเข้าถึงและโต้ตอบกับข้อมูล เลเยอร์นี้มีความสำคัญอย่างยิ่งเนื่องจากช่วยให้แอปพลิเคชันและผู้ใช้ที่แตกต่างกันสามารถทำงานกับข้อมูลได้โดยไม่ต้องใช้ความรู้ทางเทคนิคเชิงลึกเกี่ยวกับสถาปัตยกรรมพื้นฐาน

5. การใช้ เลเยอร์การใช้ครอบคลุมเครื่องมือและแพลตฟอร์มที่ช่วยให้ผู้ใช้แต่ละคนมีความสามารถในการวิเคราะห์และแสดงภาพข้อมูลได้ ซึ่งรวมถึงเครื่องมือข่าวกรองธุรกิจ (BI) เช่น Power BI ตลอดจนปริมาณงานวิทยาศาสตร์ข้อมูลและการเรียนรู้ของเครื่อง เช่น Fabric Data Science ที่ใช้ข้อมูลที่จัดเก็บไว้ใน Lakehouse เลเยอร์การบริโภคจะเปลี่ยนข้อมูลดิบให้เป็นข้อมูลเชิงลึกที่สามารถดำเนินการได้ ซึ่งช่วยให้ผู้เกี่ยวข้องทั้งองค์กรสามารถตัดสินใจโดยใช้ข้อมูลได้

ไม่ว่าคุณจะโยกย้ายข้อมูลของคุณหรือตั้งค่าโซลูชันใหม่ทั้งหมด การใช้ Data Lakehouse จะเกี่ยวข้องกับขั้นตอนสำคัญหลายขั้นตอน ต่อไปนี้เป็นภาพรวมของกระบวนการทีละขั้นตอน รวมถึงข้อควรพิจารณาที่สำคัญ:

1. ประเมินสภาพแวดล้อม ก่อนอื่น คุณจะต้องระบุแหล่งข้อมูลที่มีอยู่ทั้งหมดของคุณ รวมถึงฐานข้อมูล แอปพลิเคชัน และฟีดภายนอก ในการทำความเข้าใจข้อกำหนดด้านที่เก็บข้อมูล คุณจะต้องจัดประเภทข้อมูลในแหล่งข้อมูลเหล่านี้เป็นแบบมีโครงสร้าง กึ่งมีโครงสร้าง หรือไม่มีโครงสร้าง

2. กำหนดข้อกำหนดและวัตถุประสงค์ ต่อไป สิ่งสำคัญคือคุณจะต้องระบุเป้าหมายของคุณอย่างชัดเจน ซึ่งจะช่วยให้คุณกำหนดความต้องการของคุณได้ตามปริมาณข้อมูลและการเติบโตที่คาดการณ์ไว้ เพื่อปกป้องข้อมูลที่ละเอียดอ่อนของคุณ คุณจะต้องระบุข้อกำหนดการปฏิบัติตามข้อบังคับที่คุณต้องทำตามด้วย

3. เลือกกลุ่มเทคโนโลยี เลือกโซลูชันที่เก็บข้อมูลในคลาวด์หรือในองค์กรที่สนับสนุนความต้องการ Data Lakehouse ของคุณ จากนั้นประเมินตัวเลือกสำหรับการประมวลผลและการวิเคราะห์ข้อมูล นอกจากนี้ คุณยังจะต้องเลือกเครื่องมือที่จะใช้สำหรับการจัดทำแคตตาล็อก การกำกับดูแล และการติดตามสายข้อมูลด้วย

4. พัฒนากลยุทธ์การโยกย้าย เพื่อลดการหยุดชะงักเมื่อพัฒนากลยุทธ์การโยกย้ายให้เหลือน้อยที่สุด คุณจะต้องวางแผนการโยกย้ายแบบเป็นขั้นตอน โดยเริ่มจากข้อมูลที่สำคัญน้อยกว่า คุณควรประเมินคุณภาพของข้อมูล ระบุงานด้านการทำความสะอาดหรือการแปลงที่จำเป็น และสร้างกลยุทธ์การสำรองข้อมูลเพื่อรับรองความสมบูรณ์

5. สร้างไปป์ไลน์ เมื่อคุณได้กำหนดกลยุทธ์การโยกย้ายแล้ว ก็ถึงเวลาตั้งค่ากระบวนการสำหรับการนำเข้าข้อมูลเป็นชุดและในเวลาจริงโดยใช้ API หากต้องการปรับปรุงกระบวนการนำเข้าข้อมูลให้ดียิ่งขึ้น คุณอาจต้องพิจารณาการใช้เครื่องมืออัตโนมัติ เช่น Microsoft Power Automate เพื่อลดการดำเนินการด้วยตนเอง

6. กำหนดค่าการจัดการที่เก็บข้อมูล เมื่อกำหนดค่าระบบที่เก็บข้อมูล คุณจะต้องดำเนินการตามโครงสร้างที่กำหนดไว้สำหรับแต่ละชนิดข้อมูล คุณจะต้องกำหนดแนวทางการจัดการข้อมูลเมตาดาต้าเพื่อรับรองความสามารถในการค้นพบข้อมูล และคุณจะต้องกำหนดสิทธิในการเข้าถึงและโปรโตคอลการรักษาความปลอดภัยเพื่อปกป้องข้อมูลด้วยเช่นกัน

7. สร้างเฟรมเวิร์กการวิเคราะห์ ณ จุดนี้ คุณจะต้องเชื่อมต่อ BI และเครื่องมือการวิเคราะห์ เช่น Power BI สำหรับการรายงานและการแสดงภาพ คุณยังต้องเตรียมเฟรมเวิร์ก เครื่องมือ และจุดเข้าถึงที่จำเป็นสำหรับการเรียนรู้ของเครื่องและการวิเคราะห์ขั้นสูงให้กับนักพัฒนา

8. ติดตาม ปรับให้เหมาะสม และทำซ้ำ เมื่อคุณดำเนินการใช้งานเสร็จสิ้นแล้ว คุณจะต้องประเมินประสิทธิภาพการทำงาน ประเมินความสามารถในการจัดเก็บและการประมวลผลเป็นประจำโดยใช้ฟังก์ชันการตรวจสอบแบบครบวงจรดังที่พบใน Fabric คุณยังต้องการสร้างกลไกคำติชมกับผู้ใช้เพื่อระบุพื้นที่สำหรับการปรับปรุงและเพิ่มประสิทธิภาพ

องค์กรชั้นนำของโลกใช้สถาปัตยกรรม Data Lakehouse เพื่อเพิ่มประสิทธิภาพการใช้ข้อมูล ส่งเสริมการตัดสินใจ และขับเคลื่อนนวัตกรรมในการดำเนินงาน ต่อไปนี้เป็นตัวอย่างที่โดดเด่นบางส่วนของการใช้งานที่ประสบความสำเร็จ:

1. แหล่งข้อมูลจริงเพียงแห่งเดียว
บริษัทห่วงโซ่อุปทานอาหารที่ตั้งอยู่ในเนเธอร์แลนด์ Flora Food Group พยายามรวบรวมเครื่องมือการวิเคราะห์ต่างๆ ไว้ในแพลตฟอร์มเดียวที่มีประสิทธิภาพมากขึ้น ดังนั้นบริษัทจึงเลือกใช้ Fabric เพื่อรวมช่องทางการรายงาน วิศวกรรมข้อมูล วิทยาศาสตร์ข้อมูล และการรักษาความปลอดภัยเข้าด้วยกันในโซลูชันเดียว ด้วยการเชื่อมต่อสตรีมข้อมูลทั้งหมด บริษัทจึงสามารถลดความซับซ้อนของสถาปัตยกรรมแพลตฟอร์ม ลดต้นทุน และมอบข้อมูลเชิงลึกที่ละเอียดและทันท่วงทียิ่งขึ้นให้แก่ลูกค้า ซึ่งส่งผลให้เกิดการส่งมอบบริการและความพึงพอใจของลูกค้าที่ดีขึ้น

2. การวิเคราะห์ขั้นสูงและการเรียนรู้ของเครื่อง
สนามบินเมลเบิร์นซึ่งเป็นสนามบินที่พลุกพล่านที่สุดอันดับสองของออสเตรเลีย มีความจำเป็นต้องอัปเกรดความสามารถในการวิเคราะห์ข้อมูล เพื่อปรับปรุงประสิทธิภาพการปฏิบัติงานและประสบการณ์ของผู้โดยสาร การรับเอา Fabric มาใช้ ทำให้องค์กรสามารถรวบรวมข้อมูลจากแหล่งข้อมูลที่หลากหลาย เช่น การจอดรถ การขาย และระบบการดำเนินงานของสนามบิน รวมถึงขยายการเข้าถึงข้อมูลเชิงลึกที่ขับเคลื่อนด้วยข้อมูลให้กับผู้ใช้ธุรกิจทั้งทางเทคนิคและไม่ใช่ทางเทคนิคด้วย สิ่งนี้ส่งผลให้สนามบินมีประสิทธิภาพเพิ่มขึ้น 30% ในทุกการดำเนินงานที่เกี่ยวข้องกับข้อมูล

3. AI และการเรียนรู้เชิงลึก
บริษัทนวัตกรรมดิจิทัล Avanade มุ่งมั่นที่จะปรับปรุงกระบวนการตัดสินใจเชิงกลยุทธ์ภายในองค์กรโดยใช้เทคโนโลยี AI Avanade ได้วางรากฐานเพื่อให้ผู้ใช้สามารถนำ AI มาใช้ได้ง่ายขึ้น ด้วยการรวมข้อมูลทั้งหมดของตนเข้ากับ Fabric และฝึกอบรมพนักงานกว่า 10,000 คนเกี่ยวกับการวิเคราะห์ข้อมูล ผู้ใช้สามารถใช้ทักษะที่เรียนรู้เพื่อพัฒนาโซลูชัน AI ที่กำหนดเอง รวมไปถึงแดชบอร์ดที่แตกต่างกันที่สร้างขึ้นโดยใช้ภาษาธรรมชาติและ Copilot ใน Power BI

4. ข้อมูลเชิงลึกในเวลาจริง
Dener Motorsport ผู้จัดงานชั้นนำสำหรับ Porsche Carrera Cup Brasil ถูกมอบหมายให้จัดเตรียมข้อมูลที่ครอบคลุมและเป็นปัจจุบันเกี่ยวกับสมรรถนะและการซ่อมรถยนต์ให้กับทั้งวิศวกรและสปอนเซอร์ ด้วยการใช้ Fabric และการใช้ฟีเจอร์การวิเคราะห์ การจัดเก็บ และการรายงานในเวลาจริง องค์กรจึงสามารถสนับสนุนผู้เกี่ยวข้องได้ดียิ่งขึ้นด้วยข้อมูลเชิงลึกที่ดำเนินการได้ในเวลาจริง ในการแข่งขันเมื่อเร็วๆ นี้ วิศวกรสามารถระบุถึงเครื่องยนต์ที่ขัดข้องในรถแข่ง Porsche ได้ จึงทำให้พวกเขาต้องนำรถออกไปเพื่อความปลอดภัย