ใช้ Livy API เพื่อส่งและดําเนินการงาน Spark

นําไปใช้กับ:✅ วิศวกรข้อมูลและวิทยาศาสตร์ข้อมูลใน Microsoft Fabric

เริ่มต้นใช้งานด้วย Livy API สําหรับ Fabric วิศวกรข้อมูล ing โดยการสร้าง Lakehouse โดยการรับรองความถูกต้องด้วยโทเค็นแอป Microsoft Entra ส่งงานชุดหรือเซสชันจากไคลเอ็นต์ระยะไกลไปยัง Fabric Spark compute คุณจะพบจุดสิ้นสุด Livy API ส่งงาน; งาน และตรวจสอบผลลัพธ์

ข้อกำหนดเบื้องต้น

• ความจุ Fabric Premium หรือรุ่นทดลองใช้กับ LakeHouse

• เปิดใช้งานการตั้งค่าผู้ดูแลระบบผู้เช่าสําหรับ Livy API (ตัวอย่าง)

• ไคลเอ็นต์ระยะไกล เช่น Visual Studio Code พร้อมการสนับสนุนสมุดบันทึก Jupyter, PySpark และ ไลบรารีการรับรองความถูกต้องของ Microsoft (MSAL) สําหรับ Python

• โทเค็นแอป Microsoft Entra จําเป็นสําหรับการเข้าถึง Fabric Rest API ลงทะเบียนแอปพลิเคชันด้วยแพลตฟอร์มข้อมูลประจำตัวของ Microsoft

การเลือก REST API client

คุณสามารถใช้ภาษาการเขียนโปรแกรมต่าง ๆ หรือไคลเอ็นต์ GUI เพื่อโต้ตอบกับจุดสิ้นสุด REST API ในบทความนี้ เราใช้ Visual Studio Code Visual Studio Code จําเป็นต้องกําหนดค่าด้วย Jupyter Notebooks, PySpark และ ไลบรารีการรับรองความถูกต้องของ Microsoft (MSAL) สําหรับ Python

วิธีการอนุญาตคําขอ API ของ Livy

เมื่อต้องการทํางานกับ Fabric API รวมถึง Livy API ก่อนอื่นคุณต้องสร้างแอปพลิเคชัน Microsoft Entra และรับโทเค็น แอปพลิเคชันของคุณต้องลงทะเบียน และกําหนดค่าอย่างเพียงพอเพื่อดําเนินการเรียกใช้ API กับ Fabric สําหรับข้อมูลเพิ่มเติม ให้ดู ลงทะเบียนแอปพลิเคชันด้วยแพลตฟอร์มข้อมูลประจำตัวของ Microsoft

มีสิทธิในขอบเขตของ Microsoft Entra จํานวนมากที่จําเป็นในการดําเนินการงาน Livy ตัวอย่างนี้ใช้รหัส Spark อย่างง่าย + การเข้าถึงที่เก็บข้อมูล + SQL:

• Code.AccessAzureDataExplorer.All
• Code.AccessAzureDataLake.All
• Code.AccessAzureKeyvault.All
• Code.AccessFabric.All
• Code.AccessStorage.All
• Item.ReadWrite.All
• Lakehouse.Execute.All
• Lakehouse.Read.All
• Workspace.ReadWrite.All

ลูกค้าบางรายต้องการสิทธิ์ที่ละเอียดมากกว่ารายการก่อนหน้า คุณสามารถลบ Item.ReadWrite.All และแทนที่ด้วยสิทธิ์ระดับแยกย่อยเหล่านี้ได้:

• Code.AccessAzureDataExplorer.All
• Code.AccessAzureDataLake.All
• Code.AccessAzureKeyvault.All
• Code.AccessFabric.All
• Code.AccessStorage.All
• Lakehouse.Execute.All
• Lakehouse.ReadWrite.All
• Workspace.ReadWrite.All
• Notebook.ReadWrite.All
• SparkJobDefinition.ReadWrite.All
• MLModel.ReadWrite.All
• MLExperiment.ReadWrite.All
• Dataset.ReadWrite.All

เมื่อคุณลงทะเบียนแอปพลิเคชันของคุณแล้ว คุณจะต้องมีทั้ง ID แอปพลิเคชัน (ไคลเอนต์) และ ID ไดเรกทอรี (ผู้เช่า)

ผู้ใช้ที่ได้รับการรับรองความถูกต้องที่เรียก Livy API จําเป็นต้องเป็นสมาชิกพื้นที่ทํางานที่ทั้ง API และรายการแหล่งข้อมูลมีบทบาทผู้สนับสนุน สําหรับข้อมูลเพิ่มเติม ให้ดู ให้ผู้ใช้สามารถเข้าถึงพื้นที่ทํางาน

วิธีการค้นหาจุดสิ้นสุด Fabric Livy API

สิ่งประดิษฐ์ของเลคเฮ้าส์จําเป็นสําหรับการเข้าถึงจุดสิ้นสุดของ Livy เมื่อสร้าง Lakehouse แล้ว จุดสิ้นสุด Livy API สามารถอยู่ภายในแผงการตั้งค่าได้

จุดสิ้นสุดของ Livy API จะเป็นไปตามรูปแบบนี้:

https://api.fabric.microsoft.com/v1/workspaces/ < >ws_id/เลคเฮ้าส์/<lakehouse_id>/livyapi/versions/2023-12-01/

URL จะถูกผนวกเข้ากับเซสชัน<หรือ>ชุดงาน<โดย>ขึ้นอยู่กับสิ่งที่คุณเลือก

การรวมกับสภาพแวดล้อม Fabric

สําหรับแต่ละพื้นที่ทํางาน Fabric มีการเตรียมใช้งานพูลเริ่มต้น การดําเนินการของโค้ด Spark ทั้งหมดจะใช้กลุ่มเริ่มต้นนี้ตามค่าเริ่มต้น คุณสามารถใช้สภาพแวดล้อม Fabric เพื่อปรับแต่งงาน Livy API Spark

ดาวน์โหลดไฟล์ Swagger API Livy

ไฟล์ Swagger แบบเต็มสําหรับ Livy API จะพร้อมใช้งานที่นี่

• Livy API Swagger JSON
• Livy API Swagger YAML

ส่งงาน Livy API

ตอนนี้การตั้งค่าของ Livy API เสร็จสมบูรณ์แล้ว คุณสามารถเลือกที่จะส่งชุดงานหรือเซสชันงานได้

• ส่งงานเซสชันโดยใช้ Livy API
• ส่งงานแบทช์โดยใช้ Livy API

วิธีการตรวจสอบประวัติคําขอ

คุณสามารถใช้ฮับการตรวจสอบเพื่อดูการส่ง Livy API ก่อนหน้าของคุณ และแก้ไขจุดบกพร่องของข้อผิดพลาดในการส่งได้

เนื้อหาที่เกี่ยวข้อง

• เอกสารประกอบ Apache Livy REST API
• เริ่มต้นใช้งานการตั้งค่าผู้ดูแลระบบสําหรับความจุ Fabric ของคุณ
• การตั้งค่าการดูแลระบบพื้นที่ทํางาน Apache Spark ใน Microsoft Fabric
• ลงทะเบียนแอปพลิเคชันด้วยแพลตฟอร์มข้อมูลประจำตัวของ Microsoft
• ภาพรวมสิทธิ์และความยินยอมของ Microsoft Entra
• ขอบเขต REST API ของ Fabric
• ภาพรวมการตรวจสอบ Apache Spark
• รายละเอียดแอปพลิเคชัน Apache Spark