CI/CD สําหรับไปป์ไลน์ใน Data Factory ใน Microsoft Fabric

ใน Fabric Data Factory การผสานรวมอย่างต่อเนื่องและการพัฒนาอย่างต่อเนื่อง (CI/CD) ทําให้การผสานรวม การทดสอบ และการปรับใช้การเปลี่ยนแปลงโค้ดเป็นไปโดยอัตโนมัติเพื่อให้มั่นใจถึงการพัฒนาที่มีประสิทธิภาพและเชื่อถือได้

ใน Fabric มีสองคุณลักษณะที่เราสนับสนุนในการทํางานร่วมกันกับทีม Application Lifecycle Management (ALM): Git Integration และไปป์ไลน์การปรับใช้ คุณลักษณะเหล่านี้ช่วยให้ผู้ใช้สามารถนําเข้า/ส่งออกทรัพยากรพื้นที่ทํางานด้วยการอัปเดตส่วนบุคคล

โซลูชัน Fabric Data Factory CI/CD แตกต่างจากแบบจําลอง Azure Data Factory ที่การอัปเดตโรงงานทั้งหมดใช้วิธีการส่งออกเทมเพลต ARM เป็นสิ่งจําเป็น การเปลี่ยนแปลงในระเบียบวิธีนี้ช่วยให้ลูกค้าสามารถเลือกได้ว่าจะอัปเดตไปป์ไลน์ใดโดยไม่ต้องหยุดโรงงานทั้งหมด ทั้งการรวม Git (นํา Git ของคุณเองมาใช้) และไปป์ไลน์การปรับใช้ (CI/CD) ในตัวจะใช้แนวคิดของการเชื่อมโยงพื้นที่ทํางานเดียวกับสภาพแวดล้อมเดียว คุณจําเป็นต้องแมปพื้นที่ทํางานที่แตกต่างกันกับสภาพแวดล้อมที่แตกต่างกันของคุณ เช่น การพัฒนา การทดสอบ และการผลิต

ทําไมนักพัฒนาจึงใช้ CI/CD

CI/CD เป็นแนวทางปฏิบัติที่ทําให้การส่งซอฟต์แวร์เป็นแบบอัตโนมัติและช่วยแก้ปัญหาปัญหาและความยุ่งยากที่ชัดเจนบางประการ:

• ปัญหาการรวมด้วยตนเอง: หากไม่มี CI/CD การรวมการเปลี่ยนแปลงโค้ดด้วยตนเองอาจนําไปสู่ความขัดแย้งและข้อผิดพลาด ทําให้การพัฒนาช้าลง
• ความล่าช้าในการพัฒนา: การปรับใช้ด้วยตนเองใช้เวลานานและมีแนวโน้มที่จะเกิดข้อผิดพลาด ซึ่งนําไปสู่ความล่าช้าในการนําเสนอคุณลักษณะและการอัปเดตใหม่
• สภาพแวดล้อมที่ไม่สอดคล้องกัน: สภาพแวดล้อมที่แตกต่างกัน (การพัฒนา การทดสอบ และการผลิต) อาจมีความไม่สอดคล้องกัน ทําให้เกิดปัญหาที่ยากต่อการแก้ไขจุดบกพร่อง
• การขาดความสามารถในการมองเห็น: หากไม่มี CI/CD การติดตามการเปลี่ยนแปลงและการทําความเข้าใจสถานะของโค๊ดเบสเป็นเรื่องที่ท้าทาย

ทําความเข้าใจเกี่ยวกับ CI/CD, Git และไปป์ไลน์การปรับใช้

CI/CD ประกอบด้วยการรวมอย่างต่อเนื่องและการปรับใช้อย่างต่อเนื่อง

การรวมแบบต่อเนื่อง (CI)

นักพัฒนามักจะยอมรับสาขาหลักที่จัดการโดย Git ซึ่งทริกเกอร์การทดสอบอัตโนมัติและรุ่นสําหรับการรวม Git จะติดตามการเปลี่ยนแปลงเพื่อเปิดใช้งานการดึงข้อมูลและการทดสอบการยอมรับใหม่โดยอัตโนมัติ

การปรับใช้อย่างต่อเนื่อง (CD)

มุ่งเน้นไปที่การปรับใช้การเปลี่ยนแปลงที่ผ่านการตรวจสอบกับการพัฒนาการผลิตผ่านขั้นตอนการปรับใช้ที่มีโครงสร้างภายในไปป์ไลน์การปรับใช้

การรวม Git กับไปป์ไลน์ Data Factory

Git เป็นระบบควบคุมเวอร์ชันที่ช่วยให้นักพัฒนาติดตามการเปลี่ยนแปลงในโค้ดเบส (หรือข้อกําหนดโค้ด JSON ในกรณีของไปป์ไลน์) และทํางานร่วมกับผู้อื่น ซึ่งมีที่เก็บแบบรวมศูนย์ที่จัดเก็บและจัดการการเปลี่ยนแปลงโค้ด ปัจจุบัน Git ได้รับการสนับสนุนใน Fabric ผ่าน GitHub หรือ Azure DevOps มีข้อมูลสําคัญบางอย่างเกี่ยวกับเวิร์กโฟลว์ที่สําคัญเพื่อทําความเข้าใจเมื่อทํางานกับ Git

• สาขาหลัก: สาขาหลักบางครั้งมีชื่อว่า สาขาหลักจัดเก็บรหัสพร้อมสําหรับการผลิต
• สาขาคุณลักษณะ: สาขาเหล่านี้แยกต่างหากจากสาขาหลักและอนุญาตให้มีการพัฒนาที่แยกต่างหากโดยไม่ต้องเปลี่ยนสาขาหลัก
• คําขอดึงข้อมูล (PR): PR อนุญาตให้ผู้ใช้เสนอ ตรวจทาน และพูดคุยเกี่ยวกับการเปลี่ยนแปลงก่อนการรวมระบบ
• การผสาน: ซึ่งเกิดขึ้นเมื่ออนุมัติการเปลี่ยนแปลง Git รวมการเปลี่ยนแปลงเหล่านี้อัปเดตโครงการอย่างต่อเนื่อง

ไปป์ไลน์การปรับใช้สําหรับ Git

ไปป์ไลน์การปรับใช้จะรวมเข้ากับ Git อย่างเข้มงวด เมื่อนักพัฒนาส่งรหัสไปยังที่เก็บ Git จะทริกเกอร์ไปป์ไลน์ CI/CD การรวมนี้ช่วยให้มั่นใจได้ว่าการเปลี่ยนแปลงรหัสล่าสุดจะได้รับการทดสอบและปรับใช้โดยอัตโนมัติเสมอ

ลําดับขั้นและงาน

ไปป์ไลน์การปรับใช้ประกอบด้วยหลายขั้นตอนและงานภายในแต่ละขั้นตอน โดยทั่วไปขั้นตอนเหล่านี้จะถูกแบ่งออกเป็นสามสภาพแวดล้อม: การพัฒนา (การคอมไพล์โค้ด), การทดสอบ (เรียกใช้การทดสอบ) และการผลิต (การปรับใช้แอปพลิเคชัน) ไปป์ไลน์จะดําเนินการผ่านขั้นตอนเหล่านี้เพื่อให้แน่ใจว่ามีการทดสอบและปรับใช้โค้ดอย่างถี่ถ้วนในลักษณะที่มีการควบคุม

เวิร์กโฟลว์แบบอัตโนมัติ

ไปป์ไลน์การปรับใช้ทําให้กระบวนการสร้าง การทดสอบ และการปรับใช้โค้ดเป็นไปโดยอัตโนมัติ ระบบอัตโนมัตินี้จะช่วยลดความเสี่ยงของข้อผิดพลาดของมนุษย์ เพิ่มความเร็วของกระบวนการพัฒนา และทําให้มั่นใจได้ว่าการเปลี่ยนแปลงรหัสจะถูกส่งไปยังการผลิตอย่างต่อเนื่องและเชื่อถือได้

เริ่มต้นใช้งานการรวม Git สําหรับไปป์ไลน์ Data Factory

ทําตามขั้นตอนต่อไปนี้เพื่อตั้งค่าการรวม Git สําหรับไปป์ไลน์ของคุณใน Data Factory:

ข้อกําหนดเบื้องต้นสําหรับการรวม Git

หากต้องการเข้าถึง Git ด้วยพื้นที่ทํางาน Microsoft Fabric ของคุณ ตรวจสอบให้แน่ใจว่าข้อกําหนดเบื้องต้นต่อไปนี้สําหรับทั้ง Fabric และ Git

• ทั้งสิทธิ์การใช้งาน Power BI Premium หรือความจุ Fabric
• เปิดใช้งานการสลับผู้เช่าต่อไปนี้จากพอร์ทัลผู้ดูแลระบบ:
  • ผู้ใช้สามารถสร้างรายการ Fabric ได้
  • ผู้ใช้สามารถซิงโครไนซ์รายการพื้นที่ทํางานกับพื้นที่เก็บ Git ของพวกเขาได้
  • (สําหรับผู้ใช้ GitHub เท่านั้น) ผู้ใช้สามารถซิงโครไนซ์รายการพื้นที่ทํางานกับที่เก็บ GitHub ได้
• ไม่ว่าจะเป็นบัญชี Azure DevOps หรือ GitHub
  • สําหรับบัญชี Azure DevOps:
    • บัญชี Azure ที่ใช้งานอยู่ลงทะเบียนกับผู้ใช้เดียวกันที่กําลังใช้พื้นที่ทํางาน Fabric สร้างบัญชีฟรี
    • การเข้าถึงที่เก็บที่มีอยู่
  • สําหรับบัญชี GitHub:
    • บัญชี GitHub ที่ใช้งานอยู่ สร้างบัญชีฟรี
    • โทเค็นแบบละเอียดที่มีสิทธิ์ในการอ่านและเขียนสําหรับเนื้อหาภายใต้สิทธิ์ของที่เก็บ หรือโทเค็นแบบคลาสสิกของ GitHub ที่เปิดใช้งานขอบเขตที่เก็บ

ขั้นตอนที่ 1: เชื่อมต่อกับที่เก็บ Git

เมื่อต้องการใช้การรวม Git กับไปป์ไลน์ Data Factory ใน Fabric ก่อนอื่นคุณต้องเชื่อมต่อกับที่เก็บ Git ตามที่อธิบายไว้ที่นี่

1. ลงชื่อเข้าใช้ Fabric และนําทางไปยังพื้นที่ทํางานที่คุณต้องการเชื่อมต่อกับ Git

2. เลือก การตั้งค่าพื้นที่ทํางาน

   

3. เลือกการรวม Git

4. เลือกผู้ให้บริการ Git ของคุณ ในขณะนี้ Fabric สนับสนุน เฉพาะ Azure DevOps หรือ GitHub เท่านั้น ถ้าคุณใช้ GitHub คุณจําเป็นต้องเลือก เพิ่มบัญชี เพื่อเชื่อมต่อบัญชี GitHub ของคุณ หลังจากที่คุณลงชื่อเข้าใช้ ให้เลือกเชื่อมต่อเพื่ออนุญาตให้ Fabric เข้าถึงบัญชี GitHub ของคุณ

   

ขั้นตอนที่ 2: เชื่อมต่อกับพื้นที่ทํางาน

เมื่อคุณเชื่อมต่อกับที่เก็บ Git คุณจําเป็นต้องเชื่อมต่อกับพื้นที่ทํางาน ตามที่อธิบายไว้ที่นี่

1. จากเมนูดรอปดาวน์ ระบุรายละเอียดต่อไปนี้เกี่ยวกับสาขาที่คุณต้องการเชื่อมต่อ:

   1. สําหรับการเชื่อมต่อสาขา Azure DevOps ให้ระบุรายละเอียดต่อไปนี้:

      • องค์กร: ชื่อองค์กร Azure DevOps
      • โครงการ: ชื่อโครงการ Azure DevOps
      • ที่เก็บ: ชื่อที่เก็บ Azure DevOps
      • สาขา: ชื่อสาขา Azure DevOps
      • โฟลเดอร์: ชื่อโฟลเดอร์ Azure DevOps

   2. สําหรับการเชื่อมต่อสาขา GitHub ให้ระบุรายละเอียดต่อไปนี้:

      • URL ที่เก็บ: URL ที่เก็บ GitHub
      • สาขา: ชื่อสาขาใน GitHub
      • โฟลเดอร์: ชื่อโฟลเดอร์ GitHub

2. เลือกเชื่อมต่อและซิงค์

3. หลังจากที่คุณเชื่อมต่อแล้ว พื้นที่ทํางานจะแสดงข้อมูลเกี่ยวกับตัวควบคุมแหล่งข้อมูลที่อนุญาตให้ผู้ใช้ดูสาขาที่เชื่อมต่อกัน สถานะของแต่ละรายการในสาขา และเวลาของการซิงค์ครั้งล่าสุด

   

ขั้นตอนที่ 3: ยอมรับการเปลี่ยนแปลง Git

หลังจากที่คุณเชื่อมต่อกับที่เก็บข้อมูล Git และพื้นที่ทํางาน คุณสามารถบันทึกการเปลี่ยนแปลงไปยัง Git ได้ตามที่อธิบายไว้ที่นี่

1. ไปยังพื้นที่ทํางาน

2. เลือก ไอคอนตัวควบคุม แหล่งข้อมูล ไอคอนนี้แสดงจํานวนการเปลี่ยนแปลงที่ไม่ได้ผูกมัด

   

3. เลือกแท็บการเปลี่ยนแปลงจากแผงควบคุมแหล่งข้อมูล รายการจะปรากฏขึ้นพร้อมกับรายการทั้งหมดที่คุณเปลี่ยนแปลง และไอคอนที่ระบุสถานะ: ใหม่ ปรับเปลี่ยน ข้อขัดแย้งหรือ ถูกลบ

4. เลือกรายการที่คุณต้องการยืนยัน หากต้องการเลือกรายการทั้งหมด ให้เลือกกล่องด้านบน

5. (ไม่บังคับ) เพิ่มข้อคิดเห็นที่ยอมรับในกล่อง

6. เลือกยืนยัน

   

หลังจากยืนยันการเปลี่ยนแปลงแล้ว รายการที่ยืนยันจะถูกลบออกจากรายการ และพื้นที่ทํางานจะชี้ไปยังยอมรับใหม่ที่ซิงค์อยู่

ขั้นตอนที่ 4: (ไม่บังคับ) อัปเดตพื้นที่ทํางานจาก Git

1. ไปยังพื้นที่ทํางาน

2. เลือก ไอคอนตัวควบคุม แหล่งข้อมูล

3. เลือกอัปเดตจากแผงควบคุมแหล่งข้อมูล รายการจะปรากฏขึ้นพร้อมกับรายการทั้งหมดที่มีการเปลี่ยนแปลงในสาขาจากแหล่งการเชื่อมต่อ Git ของคุณตั้งแต่การอัปเดตล่าสุด

4. เลือกอัปเดตทั้งหมด

   

หลังจากการอัปเดตเรียบร้อยแล้ว รายการจะถูกลบออก และพื้นที่ทํางานจะชี้ไปยังการยอมรับใหม่ที่มีการซิงค์อยู่

เริ่มต้นใช้งานไปป์ไลน์การปรับใช้สําหรับ Git

ทําตามขั้นตอนต่อไปนี้เพื่อใช้ไปป์ไลน์การปรับใช้ Git กับพื้นที่ทํางาน Fabric ของคุณ

ข้อกําหนดเบื้องต้นสําหรับไปป์ไลน์การปรับใช้

ก่อนที่คุณจะเริ่มต้นใช้งาน ตรวจสอบให้แน่ใจว่าได้ตั้งค่าข้อกําหนดเบื้องต้นต่อไปนี้:

• การสมัครใช้งาน Microsoft Fabric ที่ใช้งานอยู่
• ผู้ดูแลระบบเข้าถึง พื้นที่ทํางาน Fabric

ขั้นตอนที่ 1: สร้างไปป์ไลน์การปรับใช้

1. จาก เมนูลอย พื้นที่ทํางาน ให้เลือก ไปป์ไลน์การปรับใช้

   

2. เลือก สร้างไปป์ไลน์ หรือ + ไปป์ไลน์ใหม่

ขั้นตอนที่ 2: ตั้งชื่อไปป์ไลน์และกําหนดลําดับขั้น

1. ในกล่องโต้ตอบ สร้างไปป์ไลน์การปรับใช้ ให้ใส่ชื่อและคําอธิบายสําหรับไปป์ไลน์และเลือก ถัดไป

2. ตั้งค่าโครงสร้างของไปป์ไลน์การปรับใช้ของคุณโดยการกําหนดขั้นตอนที่จําเป็นสําหรับไปป์ไลน์การปรับใช้งานของคุณ ตามค่าเริ่มต้น ไปป์ไลน์มีสามขั้นตอน: การพัฒนา การทดสอบ และ การผลิต

   

   คุณสามารถเพิ่มลําดับขั้นอื่น ลบลําดับขั้น หรือเปลี่ยนชื่อโดยพิมพ์ชื่อใหม่ลงในกล่อง เลือก สร้าง (หรือ สร้างและดําเนินการต่อ) เมื่อคุณทําเสร็จแล้ว

   

ขั้นตอนที่ 3: กําหนดพื้นที่ทํางานให้กับไปป์ไลน์การปรับใช้

หลังจากสร้างไปป์ไลน์แล้ว คุณจําเป็นต้องเพิ่มเนื้อหาที่คุณต้องการจัดการไปยังไปป์ไลน์ การเพิ่มเนื้อหาลงในไปป์ไลน์จะดําเนินการได้โดยการกําหนดพื้นที่ทํางานให้กับขั้นตอนไปป์ไลน์ คุณสามารถกําหนดพื้นที่ทํางานให้กับขั้นตอนใดก็ได้ ทําตามคําแนะนําเพื่อ กําหนดพื้นที่ทํางานให้กับไปป์ไลน์

ขั้นตอนที่ 4: ปรับใช้กับขั้นตอนที่ว่างเปล่า

1. เมื่อคุณเสร็จสิ้นการทํางานกับเนื้อหาในขั้นตอนไปป์ไลน์หนึ่งคุณสามารถปรับใช้กับขั้นตอนถัดไปได้ ไปป์ไลน์การปรับใช้มีสามตัวเลือกสําหรับการปรับใช้เนื้อหาของคุณ:

   • การปรับใช้เต็มรูปแบบ: ปรับใช้เนื้อหาทั้งหมดของคุณไปยังขั้นตอนเป้าหมาย
   • การปรับใช้ที่เลือก: เลือกเนื้อหาที่จะปรับใช้กับขั้นตอนเป้าหมาย
   • การปรับใช้ย้อนหลัง: ปรับใช้เนื้อหาจากขั้นตอนต่อมาไปยังขั้นตอนก่อนหน้าในไปป์ไลน์ ในขณะนี้ การปรับใช้ย้อนหลังทําได้เฉพาะเมื่อขั้นตอนเป้าหมายว่างเปล่า (ไม่ได้กําหนดพื้นที่ทํางานให้)

2. หลังจากที่คุณเลือกวิธีปรับใช้เนื้อหาของคุณแล้ว คุณสามารถ ตรวจสอบการปรับใช้ของคุณและออกจากบันทึกย่อได้

ขั้นตอนที่ 5: ปรับใช้เนื้อหาจากขั้นตอนหนึ่งไปยังอีกขั้น

1. เมื่อคุณมีเนื้อหาในขั้นตอนไปป์ไลน์แล้ว คุณสามารถปรับใช้กับขั้นตอนถัดไปได้แม้ว่าพื้นที่ทํางานในขั้นตอนถัดไปจะมีเนื้อหาก็ตาม รายการที่ จับคู่จะถูกเขียนทับ คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับกระบวนการนี้ได้ในส่วน ปรับใช้เนื้อหาไปยังพื้นที่ทํางาน ที่มีอยู่
2. คุณสามารถตรวจสอบประวัติการปรับใช้เพื่อดูเนื้อหาครั้งล่าสุดที่ถูกปรับใช้ไปยังแต่ละขั้นตอนได้ เมื่อต้องการตรวจสอบความแตกต่างระหว่างสองไปป์ไลน์ก่อนที่คุณปรับใช้ ให้ดู เปรียบเทียบเนื้อหาในขั้นตอนการปรับใช้ที่แตกต่างกัน

ข้อจำกัดที่ทราบ

ข้อจํากัดที่ทราบต่อไปนี้นําไปใช้กับ CI/CD สําหรับไปป์ไลน์ใน Data Factory ใน Microsoft Fabric:

• ตัวแปรพื้นที่ทํางาน: ในขณะนี้ CI/CD ไม่สนับสนุนตัวแปรพื้นที่ทํางาน
• การสนับสนุนที่จํากัดของ Git Integration: ในขณะนี้ Fabric สนับสนุนการรวม Git กับ Azure DevOps และ GitHub เท่านั้น แนะนําให้ใช้การรวม Azure DevOps Git เนื่องจากการรวม GitHub Git มีข้อจํากัดมากกว่า
• กิจกรรมไปป์ไลน์ด้วยตัวเชื่อมต่อ OAuth: สําหรับตัวเชื่อมต่อ MS Teams และ Outlook เมื่อปรับใช้กับสภาพแวดล้อมที่สูงขึ้น ผู้ใช้ต้องเปิดแต่ละไปป์ไลน์ด้วยตนเองและลงชื่อเข้าใช้ในแต่ละกิจกรรม ซึ่งเป็นข้อจํากัดในปัจจุบัน
• ไปป์ไลน์ที่เรียกใช้กระแสข้อมูล: เมื่อไปป์ไลน์ที่เรียกใช้กระแสข้อมูลได้รับการเลื่อนระดับ กระแสข้อมูลจะยังคงอ้างอิงกระแสข้อมูลในพื้นที่ทํางานก่อนหน้านี้ที่ไม่ถูกต้อง ลักษณะการทํางานนี้เกิดขึ้นเนื่องจากกระแสข้อมูลไม่ได้รับการรองรับในไปป์ไลน์การปรับใช้ในขณะนี้

เนื้อหาที่เกี่ยวข้อง

• บทนําสู่กระบวนการ CI/CD ซึ่งเป็นส่วนหนึ่งของวงจร ALM ใน Microsoft Fabric
• เริ่มต้นใช้งานด้วยการรวม Git เครื่องมือ Fabric Application Lifecycle Management (ALM)
• เริ่มต้นใช้งานเครื่องมือการจัดการวงจรชีวิตแอปพลิเคชันสําหรับ Fabric (ALM) โดยใช้ไปป์ไลน์การปรับใช้
• บล็อก: สํารวจความสามารถ CI/CD ใน Microsoft Fabric: มุ่งเน้นไปที่ไปป์ไลน์