แชร์ผ่าน

Livy API สําหรับวิศวกรข้อมูลคืออะไร (ตัวอย่าง)

  • บทความ

หมายเหตุ

Livy API สําหรับ Fabric วิศวกรข้อมูล ing อยู่ในตัวอย่าง

นําไปใช้กับ:✅ วิศวกรข้อมูลและวิทยาศาสตร์ข้อมูลใน Microsoft Fabric

Microsoft Fabric Livy API ช่วยให้ผู้ใช้สามารถส่งและดําเนินการโค้ด Spark ภายใน Spark compute ที่เชื่อมโยงกับ Fabric Lakehouse ทําให้ไม่จําเป็นต้องสร้างสมุดบันทึกหรือ Spark Job Definition การผสานรวมกับเลคเฮ้าส์นี้ช่วยรับประกันการเข้าถึงข้อมูลที่จัดเก็บบน OneLake อย่างตรงไปตรงมา

คุณลักษณะ

Fabric Livy API อนุญาตให้ส่งงานในสองโหมดที่แตกต่างกัน:

  • งานเซสชัน
    • งานเซสชัน Livy สร้างเซสชัน Spark ที่ยังคงใช้งานได้ตลอดการโต้ตอบกับ Livy API เซสชัน Livy มีประโยชน์สําหรับปริมาณงานแบบโต้ตอบ
    • เซสชัน Spark เริ่มต้นเมื่อมีการส่งและสิ้นสุดงานจนกว่าผู้ใช้จะสิ้นสุดหรือระบบยุติการทํางานหลังจากไม่มีการใช้งาน 20 นาที ตลอดทั้งเซสชัน สามารถเรียกใช้งานหลายงาน แชร์สถานะ และแคชข้อมูลระหว่างการเรียกใช้ได้
  • ชุดงาน
    • ชุดงาน Livy จะส่งแอปพลิเคชัน Spark สําหรับการดําเนินการงานเดียว ในทางตรงกันข้ามกับงานเซสชัน Livy ชุดงานจะรักษาเซสชัน Spark ที่ดําเนินอยู่
    • ด้วยชุดงาน Livy งานแต่ละงานจะเริ่มเซสชัน Spark ใหม่ที่สิ้นสุดเมื่องานเสร็จสิ้น วิธีการนี้ใช้งานได้ดีสําหรับงานที่ไม่ขึ้นอยู่กับการคํานวณก่อนหน้านี้หรือต้องการการรักษาสถานะระหว่างงาน

เริ่มต้นใช้งานด้วย Api ของ Livy

เรียนรู้วิธีการสร้างและเรียกใช้งาน Spark โดยใช้ Livy API ใน Fabric โดยเลือกงานเซสชัน Submit Spark โดยใช้ Livy API หรือชุดงาน Submit Spark โดยใช้ Livy API

เนื้อหาที่เกี่ยวข้อง