ترحيل البيانات إلى Azure Cosmos DB لحساب Apache Cassandra باستخدام Striim
ينطبق على: 
كاساندرا
توفر صورة Striim في سوق Azure حركة مستمرة للبيانات في الوقت الفعلي من مستودعات البيانات وقواعد البيانات إلى Azure. أثناء نقل البيانات، يمكنك إجراء إلغاء التطابق المباشر وتحويل البيانات وتمكين التحليلات في الوقت الفعلي وسيناريوهات إعداد تقارير البيانات. من السهل البدء مع Striim لنقل بيانات المؤسسة باستمرار إلى Azure Cosmos DB ل Apache Cassandra. يوفر Azure عرض السوق الذي يجعل من السهل نشر Striim وترحيل البيانات إلى Azure Cosmos DB.
توضح هذه المقالة كيفية استخدام Striim لترحيل البيانات من قاعدة بيانات Oracle إلى Azure Cosmos DB لحساب Apache Cassandra.
المتطلبات الأساسية
في حال لم يكن لديك اشتراك في Azure، قم بإنشاءحساب مجاني قبل البدء.
قاعدة بيانات Oracle تعمل محلياً مع بعض البيانات بداخلها.
انشر حل Striim Marketplace
قم بتسجيل الدخول إلى بوابة Azure.
حدد Create a resource وابحث عن Striim في سوق Azure. حدد الخيار الأول وإنشاء.
بعد ذلك، أدخل خصائص التكوين لمثيل Striim. يتم نشر بيئة Striim في جهاز ظاهري. من جزء Basics، أدخل اسم مستخدم الجهاز الظاهري، وكلمة مرور الجهاز الظاهري (يتم استخدام كلمة المرور هذه ل SSH في الجهاز الظاهري). حدد تفاصيل الاشتراك ومجموعة الموارد والموقع حيث تريد نشر Striim. بمجرد الانتهاء، حدد موافق.
في جزء Striim Cluster settings ، اختر نوع توزيع Striim وحجم الجهاز الظاهري.
الإعداد قيمة الوصف نوع نشر Striim مستقل يمكن تشغيل Striim في أنواع توزيع مستقلة أو نظام مجموعة. سينشر الوضع المستقل خادم Striim على جهاز ظاهري واحد ويمكنك تحديد حجم الأجهزة الظاهرية اعتماداً على حجم بياناتك. سينشر وضع الكتلة خادم Striim على جهازي ظاهري أو أكثر بالحجم المحدد. توفر بيئات نظام المجموعة التي تحتوي على أكثر من عقدتين توفراً تلقائياً عالياً وتجاوز فشل.
في هذا البرنامج التعليمي، يمكنك تحديد خيار Standalone. استخدم الحجم الافتراضي للجهاز الظاهري "Standard_F4s".اسم مجموعة Striim <Striim_cluster_Name> اسم مجموعة Striim. كلمة مرور مجموعة Striim <Striim_cluster_password> كلمة سر المجموعة. بعد تعبئة النموذج، حدد موافق للمتابعة.
في جزء إعدادات الوصول إلى Striim، قم بتكوين عنوان IP العام (اختر القيم الافتراضية)، واسم المجال ل Striim، وكلمة مرور المسؤول التي تريد استخدامها لتسجيل الدخول إلى واجهة مستخدم Striim. تكوين VNET والشبكة الفرعية (اختر القيم الافتراضية). بعد ملء التفاصيل، حدد OK للمتابعة.
سيقوم Azure بالتحقق من صحة النشر والتأكد من أن كل شيء يبدو جيداً؛ يستغرق التحقق من الصحة بضع دقائق حتى يكتمل. بعد اكتمال التحقق من الصحة، حدد موافق.
وأخيرا، راجع شروط الاستخدام وحدد Create لإنشاء مثيل Striim الخاص بك.
تكوين قاعدة البيانات المصدر
في هذا القسم، تقوم بتكوين قاعدة بيانات Oracle كمصدر لنقل البيانات. يأتي خادم Striim مزوداً ببرنامج تشغيل Oracle JDBC المستخدم للاتصال بـ Oracle. لقراءة التغييرات من قاعدة بيانات Oracle المصدر، يمكنك إما استخدام LogMiner أو واجهات برمجة تطبيقات XStream. برنامج تشغيل Oracle JDBC موجود في مسار فئة Java الخاص بـ Striim لقراءة البيانات، أو كتابتها، أو الاحتفاظ بها من قاعدة بيانات Oracle.
تكوين قاعدة البيانات الهدف
في هذا القسم، ستقوم بتكوين Azure Cosmos DB لحساب Apache Cassandra كهدف لحركة البيانات.
إنشاء Azure Cosmos DB لحساب Apache Cassandra باستخدام مدخل Microsoft Azure.
انتقل إلى جزء Data Explorer في حساب Azure Cosmos DB الخاص بك. حدد New Table لإنشاء حاوية جديدة. افترض أنك تقوم بترحيل بيانات المنتجات والطلبات من قاعدة بيانات Oracle إلى Azure Cosmos DB. إنشاء مساحة مفتاح جديدة باسم StriimDemo مع حاوية الطلبات. توفير الحاوية ب 1000 وحدة طلب (يستخدم هذا المثال 1000 وحدة طلب/ وحدة طلب، ولكن يجب استخدام معدل النقل المقدر لحمل العمل)، و /ORDER_ID كمفتاح أساسي. ستختلف هذه القيم بناءً على بيانات المصدر الخاصة بك.
تكوين Oracle لتدفق بيانات Azure Cosmos DB
انتقل إلى مثيل Striim الذي قمت بنشره في مدخل Azure. حدد زر الاتصال في شريط القوائم العلوي ومن علامة التبويب SSH، انسخ عنوان URL في تسجيل الدخول باستخدام حقل الحساب المحلي للجهاز الظاهري.
افتح نافذة طرفية جديدة وقم بتشغيل أمر SSH الذي نسخته من مدخل Azure. تستخدم هذه المقالة المحطة الطرفية في macOS، ويمكنك اتباع الإرشادات المماثلة باستخدام عميل SSH على جهاز Windows. عند المطالبة، اكتب نعم للمتابعة وأدخل كلمة المرور التي قمت بتعيينها للجهاز الظاهري في الخطوة السابقة.
من نفس نافذة المحطة الطرفية، أعد تشغيل خادم Striim عن طريق تنفيذ الأوامر التالية:
systemctl stop striim-node systemctl stop striim-dbms systemctl start striim-dbms systemctl start striim-nodeسيستغرق Striim دقيقة لبدء التشغيل. إذا كنت ترغب في رؤية الحالة، فقم بتشغيل الأمر التالي:
tail -f /opt/striim/logs/striim-node.logالآن، انتقل مرة أخرى إلى Azure وانسخ عنوان بروتوكول الإنترنت العام لجهاز Striim الظاهري الخاص بك.
للتنقل إلى Striim's Web UI، افتح علامة تبويب جديدة في متصفح وانسخ عنوان IP العام متبوعاً بـ: 9080. سجل الدخول باستخدام اسم مستخدم المسؤول ، جنبا إلى جنب مع كلمة مرور المسؤول التي حددتها في مدخل Microsoft Azure.
ستصل الآن إلى صفحة Striim الرئيسية. هناك ثلاثة أجزاء مختلفة - لوحات المعلومات والتطبيقات و SourcePreview. يسمح لك جزء لوحات المعلومات بنقل البيانات في الوقت الفعلي وتصورها. يحتوي جزء التطبيقات على خطوط تدفق البيانات أو تدفقات البيانات. على الجانب الأيمن من الصفحة، توجد معاينة المصدر حيث يمكنك معاينة بياناتك قبل نقلها.
حدد جزء التطبيقات، وسنركز على هذا الجزء في الوقت الحالي. هناك مجموعة متنوعة من نماذج التطبيقات التي يمكنك استخدامها للتعرف على Striim، ولكن في هذه المقالة ستنشئ تطبيقاتنا الخاصة. حدد الزر إضافة تطبيق في الزاوية العلوية اليسرى.
هناك عدة طرق مختلفة لإنشاء تطبيقات Striim. حدد البدء من الصفر لهذا السيناريو.
امنح اسما مألوفا للتطبيق الخاص بك، شيء مثل oraToCosmosDB وحدد Save.
ستصل إلى Flow Designer، حيث يمكنك سحب الموصلات وإفلاتها من الصندوق لإنشاء تطبيقات البث الخاصة بك. اكتب Oracle في شريط البحث، واسحب مصدر Oracle CDC وأفلته في لوحة التطبيق.
أدخل خصائص تكوين المصدر لطبعة Oracle الخاصة بك. اسم المصدر هو مجرد اصطلاح تسمية لتطبيق Striim، يمكنك استخدام اسم مثل src_onPremOracle. أدخل أيضاً تفاصيل أخرى مثل نوع المحول وعنوان URL للاتصال واسم المستخدم وكلمة المرور واسم الجدول. حدد حفظ للمتابعة.
الآن، انقر فوق رمز موجة التدفق لتوصيل مثيل Azure Cosmos DB المستهدف.
قبل تكوين الهدف، تأكد من إضافة شهادة جذر Baltimore إلى بيئة Java الخاصة ب Striim.
أدخل خصائص التكوين لمثيل Azure Cosmos DB الهدف وحدد Save للمتابعة. فيما يلي المعلمات الرئيسية التي يجب ملاحظتها:
المحول - استخدام DatabaseWriter. عند الكتابة إلى Azure Cosmos DB ل Apache Cassandra، يلزم DatabaseWriter. يتم تضمين برنامج تشغيل Cassandra 3.6.0 مع Striim. إذا تجاوز DatabaseWriter عدد وحدات الطلب المتوفرة على حاوية Azure Cosmos DB، فسيتعطل التطبيق.
عنوان URL للاتصال - حدد عنوان URL لاتصال Azure Cosmos DB JDBC. عنوان URL بتنسيق
jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=trueاسم المستخدم - حدد اسم حساب Azure Cosmos DB الخاص بك.
كلمة المرور - حدد المفتاح الأساسي لحساب Azure Cosmos DB الخاص بك.
الجداول - يجب أن تحتوي الجداول الهدف على مفاتيح أساسية ولا يمكن تحديث المفاتيح الأساسية.
الآن، سنمضي قدماً ونشغل تطبيق Striim. في شريط القوائم العلوي، حدد Create، ثم Deploy App. في نافذة النشر، يمكنك تحديد ما إذا كنت تريد تشغيل أجزاء معينة من التطبيق الخاص بك على أجزاء معينة من هيكل النشر الخاص بك. نظراً لأننا نعمل في هيكل نشر بسيط من خلال Azure، فسنستخدم الخيار الافتراضي.
الآن، سنمضي قدماً ونعاين الدفق لرؤية البيانات تتدفق عبر Striim. انقر فوق رمز الموجة وانقر فوق أيقونة العين المجاورة لها. بعد النشر، يمكنك معاينة الدفق لرؤية تدفق البيانات خلاله. حدد أيقونة الموجة ومقلة العين المجاورة لها. حدد الزر Deployed في شريط القوائم العلوي، وحدد Start App.
باستخدام قارئ CDC(Change Data Capture)، سيلتقط Striim التغييرات الجديدة فقط على قاعدة البيانات. إذا كانت لديك بيانات تتدفق عبر جداول المصدر، فسترى ذلك. ومع ذلك، نظراً لأن هذا نموذج جدول، فإن المصدر غير متصل بأي تطبيق. إذا كنت تستخدم نموذجاً لمولد البيانات، فيمكنك إدراج سلسلة من الأحداث في قاعدة بيانات Oracle الخاصة بك.
سترى البيانات تتدفق عبر منصة Striim. يلتقط Striim جميع البيانات الوصفية المرتبطة بالجدول أيضاً، وهو أمر مفيد لمراقبة البيانات والتأكد من وصول البيانات إلى الهدف الصحيح.
وأخيرا، دعنا نسجل الدخول إلى Azure وننتقل إلى حساب Azure Cosmos DB الخاص بك. قم بتحديث مستكشف البيانات، ويمكنك رؤية وصول البيانات.
باستخدام حل Striim في Azure، يمكنك ترحيل البيانات باستمرار إلى Azure Cosmos DB من مصادر مختلفة مثل Oracle وCassandra وMongoDB والعديد من المصادر الأخرى إلى Azure Cosmos DB. لمعرفة المزيد، يرجى زيارة موقع Striim على الويب، وتنزيل إصدار تجريبي مجاني لمدة 30 يوما من Striim، ولمزيد من المشكلات عند إعداد مسار الترحيل باستخدام Striim، قم بتقديم طلب دعم.
الخطوات التالية
إذا كنت تقوم بترحيل البيانات إلى Azure Cosmso DB ل NoSQL، فشاهد كيفية ترحيل البيانات إلى واجهة برمجة التطبيقات لحساب Cassandra باستخدام Striim