ความพร้อมใช้งานของ Eventhouse OneLake

คุณสามารถสร้างสําเนาเชิงตรรกะของข้อมูลฐานข้อมูล KQL ในอีเวนต์เฮาส์ได้โดยเปิด ความพร้อมใช้งานของ OneLake การเปิดใช้งาน ความพร้อมใช้งาน OneLake หมายความว่าคุณสามารถคิวรีข้อมูลในฐานข้อมูล KQL ของคุณในรูปแบบ Delta Lake ผ่านเครื่องมือ Fabric อื่น ๆ เช่น โหมด Direct Lake ใน Power BI, Warehouse, Lakehouse, Notebooks และอื่น ๆ

Delta Lake เป็นรูปแบบตารางที่จัดเก็บข้อมูลทะเลสาบแบบรวมศูนย์ที่สามารถเข้าถึงข้อมูลได้อย่างราบรื่นทั่วทั้งกลไกการคํานวณทั้งหมดใน Microsoft Fabric สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Delta Lake สามารถดู ได้ที่ Delta Lake คืออะไร

ในบทความนี้ คุณจะได้เรียนรู้วิธีการเปิดการใช้งานความพร้อมใช้งานของข้อมูลฐานข้อมูล KQL ใน OneLake

วิธีการทำงาน

คุณสามารถเปิด ความพร้อมใช้งาน OneLake ที่ระดับฐานข้อมูลหรือตาราง เมื่อเปิดใช้งานในระดับฐานข้อมูล ตารางใหม่และข้อมูลใหม่ทั้งหมดจะพร้อมใช้งานใน OneLake เมื่อเปิดใช้งานคุณลักษณะ คุณยังสามารถเลือกที่จะใช้ตัวเลือกนี้กับตารางที่มีอยู่โดยการเลือก นําไปใช้กับตารางที่มีอยู่ ตัวเลือกเพื่อรวมการเติมสินค้าในอดีต การเปิดที่ระดับตารางจะทําได้เฉพาะตารางและข้อมูลที่มีอยู่ใน OneLake เท่านั้น นโยบายการเก็บข้อมูล ของฐานข้อมูล KQL ของคุณจะถูกนําไปใช้กับข้อมูลใน OneLake ด้วย ข้อมูลที่ถูกลบออกจากฐานข้อมูล KQL ของคุณเมื่อสิ้นสุดระยะเวลาการเก็บข้อมูลจะถูกลบออกจาก OneLake ด้วย หากคุณปิด ความพร้อมใช้งานของ OneLakeข้อมูลจะถูกลบออกจาก OneLake แบบนุ่มนวล

ในขณะที่ ความพร้อมใช้งาน OneLake เปิดอยู่ คุณไม่สามารถทํางานต่อไปนี้:

• เปลี่ยนชื่อตาราง
• เปลี่ยนสคีมาของตาราง
• ใช้การรักษาความปลอดภัยระดับแถวกับตาราง
• ไม่สามารถลบ ตัดทอน หรือลบข้อมูลได้

หากคุณต้องการทํางานเหล่านี้ ให้ใช้ขั้นตอนต่อไปนี้:

1. ปิด ความพร้อมใช้งานของ OneLake

2. ทํางานที่ต้องการ

3. เปิด ความพร้อมใช้งานของ OneLake

ข้อกำหนดเบื้องต้น

• พื้นที่ทํางานที่มีความจุที่เปิดใช้งาน Microsoft Fabric
• ฐานข้อมูล KQL ที่มีสิทธิ์ในการแก้ไขและข้อมูล

เปิดความพร้อมใช้งาน OneLake

คุณสามารถเปิด ความพร้อมใช้งาน OneLake บนฐานข้อมูล KQL หรือตาราง

1. เมื่อต้องการเปิด ความพร้อมใช้งาน OneLakeให้เลือกฐานข้อมูลหรือตาราง

2. ในส่วน OneLake ของบานหน้าต่างรายละเอียด ให้ตั้งค่าความพร้อมใช้งาน เป็น เปิดใช้งาน

   

3. ในหน้าต่าง เปิดใช้งาน ความพร้อมใช้งานแบบรวม ให้เลือก เปิดใช้งาน

   

4. รีเฟรชรายละเอียดของฐานข้อมูลหรือตารางโดยอัตโนมัติ

   

ด้วยความพร้อมใช้งานของ OneLake ในฐานข้อมูล KQL หรือตารางของคุณที่เปิดอยู่ ตอนนี้คุณสามารถเข้าถึงข้อมูลทั้งหมดได้ที่เส้นทาง OneLake ที่กําหนดในรูปแบบ Delta Lake คุณยังสามารถสร้างทางลัด OneLake จาก Lakehouse, Data Warehouse หรือคิวรีข้อมูลโดยตรงผ่านทางโหมด Power BI Direct Lake

ลักษณะการทํางานที่ปรับตัวได้

Eventhouse มีกลไกที่แข็งแกร่งซึ่งรวมสตรีมข้อมูลขาเข้าเป็นไฟล์ Parquet หนึ่งไฟล์หรือมากกว่าที่มีโครงสร้างสําหรับการวิเคราะห์ การสตรีมข้อมูลเป็นชุดเป็นสิ่งสําคัญเมื่อจัดการกับการหลอกข้อมูล การเขียนไฟล์ Parquet ขนาดเล็กจํานวนมากลงในทะเลสาบอาจไม่มีประสิทธิภาพในค่าใช้จ่ายที่สูงขึ้นและประสิทธิภาพการทํางานที่ไม่ดี

กลไกอะแดปทีฟของ Eventhouse สามารถหน่วงเวลาการดําเนินการเขียนได้หากไม่มีข้อมูลเพียงพอที่จะสร้างไฟล์ Parquet ที่เหมาะสม พฤติกรรมนี้ช่วยให้มั่นใจได้ว่าไฟล์ Parquet จะมีขนาดที่เหมาะสมและปฏิบัติตามแนวทางปฏิบัติที่ดีที่สุดสําหรับ Delta Lake กลไกอะแดปทีฟของ Eventhouse ช่วยให้แน่ใจว่าไฟล์ Parquet มีความสําคัญต่อการวิเคราะห์และสร้างสมดุลระหว่างความพร้อมใช้งานข้อมูลพร้อมๆ กับข้อควรพิจารณาด้านต้นทุนและประสิทธิภาพ

ตัวอย่างเช่น ใช้คําสั่งต่อไปนี้เพื่อตั้งค่าการหน่วงเวลาเป็น 5 นาที:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

คุณสามารถตรวจสอบระยะเวลาที่แล้วมีการเพิ่มข้อมูลใหม่ใน lake ได้โดยการตรวจสอบเวลาแฝงของข้อมูลของคุณโดยใช้คําสั่ง .show table mirroring operations คําสั่ง

ผลลัพธ์จะถูกวัดจากข้อมูลล่าสุดที่ถูกเพิ่ม เมื่อ เวลาแฝง ส่งผลให้เกิดเวลา 00:00:00 ข้อมูลทั้งหมดในฐานข้อมูล KQL จะพร้อมใช้งานใน OneLake

ดูไฟล์

เมื่อคุณ เปิดใช้งานความพร้อมใช้งาน OneLake บนตาราง โฟลเดอร์บันทึก delta จะถูกสร้างขึ้นพร้อมกับไฟล์ JSON และ Parquet ใด ๆ ที่สอดคล้องกัน คุณสามารถดูไฟล์ที่สร้างขึ้นใน OneLake และคุณสมบัติในขณะที่ยังคงอยู่ภายในตัวแสดงเวลาจริง

• หากต้องการดูไฟล์ ให้วางเมาส์เหนือตารางในบานหน้าต่าง Explorer จากนั้นเลือกเมนูเพิ่มเติม [...]>ดูไฟล์

  

• ในการดูคุณสมบัติของโฟลเดอร์บันทึก delta หรือไฟล์แต่ละไฟล์ให้โฮเวอร์เหนือโฟลเดอร์หรือไฟล์จากนั้นเลือกเมนูเพิ่มเติม [...]>คุณสมบัติ

• การดูไฟล์ในโฟลเดอร์บันทึกเดลต้า:

  1. เลือกโฟลเดอร์ _delta_log
  2. เลือกไฟล์เพื่อดูเมตาดาต้าและ Schema ของตาราง ตัวแก้ไขที่เปิดอยู่ในรูปแบบอ่านอย่างเดียว

นโยบายการมิเรอร์การเข้าถึง

ตามค่าเริ่มต้น เมื่อเปิดใช้งานความพร้อมใช้งาน OneLake นโยบายการมิเรอร์จะเปิดใช้งาน คุณสามารถใช้นโยบายเพื่อตรวจสอบ เวลาแฝง ของข้อมูลหรือเปลี่ยนเป็น ตารางส่วนที่แตกต่างของพาร์ติชันได้

พาร์ติชันตารางส่วนที่แตกต่าง

คุณสามารถแบ่งพาร์ติชันตาราง Delta ของคุณเพื่อปรับปรุงความเร็วคิวรีได้ สําหรับข้อมูลเกี่ยวกับเวลาในการแบ่งพาร์ติชันไฟล์ OneLake ของคุณ ดูที่ เวลาในการแบ่งพาร์ติชันตาราง แต่ละพาร์ติชันจะแสดงเป็นคอลัมน์แยกต่างหากโดยใช้ PartitionName ที่แสดงอยู่ในรายการพาร์ติชัน ซึ่งหมายความว่าสําเนา OneLake ของคุณมีคอลัมน์มากกว่าตารางต้นทางของคุณ

หากต้องการแบ่งพาร์ติชันตาราง delta ของคุณ ให้ใช้ คําสั่งการ มิเรอร์นโยบายตาราง .alter-merge

ตารางส่วนที่แตกต่างของคิวรี

คุณสามารถใช้ Fabric Notebook เพื่ออ่านข้อมูล OneLake โดยใช้ส่วนย่อยของโค้ดต่อไปนี้

ในส่วนย่อยของโค้ด ให้แทนที่ <workspaceGuid>, <workspaceGuid>และ <tableName> ด้วยค่าของคุณเอง

delta_table_path = 'abfss://`<workspaceGuid>`@onelake.dfs.fabric.microsoft.com/`<eventhouseGuid>`/Tables/`<tableName>`'

df = spark.read.format("delta").load(delta_table_path)

df.show()

delta_table_path = 'abfss://`<workspaceName>`@onelake.dfs.fabric.microsoft.com/`<itemName>`.KustoDatabase/Tables/`<tableName>`'

เนื้อหาที่เกี่ยวข้อง

• เมื่อต้องการเปิดเผยข้อมูลใน OneLake ดู สร้างทางลัดใน OneLake
• หากต้องการสร้างทางลัด OneLake ใน Lakehouse โปรดดู ทางลัดในเลคเฮ้าส์คืออะไร
• เมื่อต้องการคิวรีข้อมูลที่อ้างอิงจาก OneLake ในฐานข้อมูล KQL หรือตารางของคุณ โปรดดู สร้างทางลัด OneLake ในฐานข้อมูล KQL