LakeFlow Connect

توفر هذه المقالة نظرة عامة على Databricks LakeFlow Connect، الذي يوفر موصلات مضمنة لاستيعاب البيانات من تطبيقات المؤسسة وقواعد البيانات.

ما هو LakeFlow Connect؟

يوفر Databricks LakeFlow Connect موصلات مضمنة لاستيعابها من تطبيقات المؤسسة وقواعد البيانات. يتم التحكم في البنية الأساسية لبرنامج ربط العمليات التجارية الناتجة عن الاستيعاب بواسطة كتالوج Unity ويتم تشغيلها بواسطة حساب بلا خادم وجداول Delta Live.

يستفيد LakeFlow Connect من عمليات القراءة والكتابة التزايدية الفعالة لجعل استيعاب البيانات أسرع وقابلا للتطوير وأكثر كفاءة من حيث التكلفة، بينما تظل بياناتك حديثة لاستهلاك انتقال البيانات من الخادم.

مكونات موصل SaaS

يتم تصميم موصل SaaS بواسطة المكونات التالية:

• الاتصال: كائن Unity Catalog قابل للتأمين يخزن تفاصيل المصادقة لقاعدة البيانات.
• مسار الاستيعاب: استيعاب البيانات المرحلية في جداول Delta. تم تصميم هذا المكون كبنية أساسية لبرنامج ربط العمليات التجارية DLT بلا خادم.

مكونات موصل قاعدة البيانات

يتم تصميم موصل قاعدة البيانات بواسطة المكونات التالية:

• الاتصال: كائن Unity Catalog قابل للتأمين يخزن تفاصيل المصادقة لقاعدة البيانات.
• البوابة: تستخرج البيانات من قاعدة البيانات المصدر وتحافظ على تكامل المعاملات أثناء النقل. بالنسبة لقواعد البيانات المستندة إلى السحابة، يتم تكوين البوابة كبنية أساسية لبرنامج ربط العمليات التجارية DLT مع الحوسبة الكلاسيكية.
• التخزين المرحلي: وحدة تخزين كتالوج Unity حيث يتم تنظيم البيانات من البوابة قبل تطبيقها على جدول Delta. يتم إنشاء حساب التخزين المرحلي عند نشر البوابة وهو موجود داخل الكتالوج والمخطط الذي تحدده.
• مسار الاستيعاب: استيعاب البيانات المرحلية في جداول Delta. تم تصميم هذا المكون كبنية أساسية لبرنامج ربط العمليات التجارية DLT بلا خادم.

LakeFlow Connect مقابل Lakehouse Federation مقابل Delta Sharing

يسمح لك Lakehouse Federation بالاستعلام عن مصادر البيانات الخارجية دون نقل بياناتك. تتيح لك Delta Sharing مشاركة البيانات المباشرة بأمان عبر الأنظمة الأساسية والسحب والمناطق. توصي Databricks بالاستيعاب باستخدام LakeFlow Connect لأنه يتوسع لاستيعاب وحدات تخزين البيانات العالية والاستعلام عن زمن الانتقال المنخفض وحدود واجهة برمجة التطبيقات التابعة لجهات خارجية. ومع ذلك، قد تحتاج إلى الاستعلام عن بياناتك دون نقلها.

عندما يكون لديك خيار بين LakeFlow Connect و Lakehouse Federation و Delta Sharing، اختر Delta Sharing للسيناريوهات التالية:

• الحد من تكرار البيانات.
• الاستعلام عن أحدث البيانات الممكنة.

اختر Lakehouse Federation للسيناريوهات التالية:

• إعداد التقارير المخصصة أو عمل إثبات المفهوم على مسارات ETL الخاصة بك.

LakeFlow Connect مقابل Loader التلقائي

يوفر LakeFlow Connect موصلات مضمنة تسمح لك باستيعاب البيانات بشكل متزايد من تطبيقات المؤسسة وقواعد البيانات. التحميل التلقائي هو موصل لتخزين كائن السحابة الذي يسمح لك استيعاب الملفات بشكل متزايد عند وصولها إلى S3 وADLLS وGCS. وهو متوافق مع Structured Streaming وDelta Live Tables ولكنه لا يتكامل مع LakeFlow Connect.

هل يمكن ل LakeFlow Connect إعادة الكتابة إلى تطبيقات وقواعد بيانات الجهات الخارجية؟

‏‏لا. إذا كنت مهتما بهذه الوظيفة، فتواصل مع فريق حسابك.

ما هي تكلفة LakeFlow Connect؟

في الوقت الحالي، تتم فوترة العملاء فقط لاستخدام جداول Delta Live بلا خادم المطلوبة لتحميل البيانات من المصدر (إذا كان الاتصال بتطبيق مؤسسة، مثل Salesforce) أو من وحدة التخزين المرحلي (إذا كان الاتصال بقاعدة بيانات، مثل SQL Server). قد يتضمن نموذج التسعير النهائي ل Lakeflow Connect رسوما إضافية وسيتم الإعلان عنه في المستقبل.

أسعار Delta Live Tables بلا خادم مرئية في صفحة التسعير الخاصة بنا.