Azure Data Factory veya Synapse Analytics kullanarak MongoDB'den veri kopyalama (eski)

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bu makalede, MongoDB veritabanından veri kopyalamak için Azure Data Factory veya Synapse Analytics işlem hattında Kopyalama Etkinliği'nin nasıl kullanılacağı özetlenmiştir. Kopyalama etkinliğine genel bir genel bakış sunan kopyalama etkinliğine genel bakış makalesini oluşturur.

Desteklenen özellikler

MongoDB veritabanındaki verileri desteklenen herhangi bir havuz veri deposuna kopyalayabilirsiniz. Kopyalama etkinliği tarafından kaynak/havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları tablosuna bakın.

Bu MongoDB bağlayıcısı özellikle şunları destekler:

• MongoDB sürüm 2.4, 2.6, 3.0, 3.2, 3.4 ve 3.6.
• Temel veya Anonim kimlik doğrulaması kullanarak verileri kopyalama.

Önkoşullar

Veri deponuz bir şirket içi ağ, Azure sanal ağı veya Amazon Sanal Özel Bulut içinde bulunuyorsa, şirket içinde barındırılan tümleştirme çalışma zamanını buna bağlanmak için yapılandırmanız gerekir.

Veri deponuz yönetilen bir bulut veri hizmetiyse Azure Integration Runtime'ı kullanabilirsiniz. Erişim, güvenlik duvarı kurallarında onaylanan IP'ler ile sınırlıysa Azure Integration Runtime IP'lerini izin verme listesine ekleyebilirsiniz.

Şirket içinde barındırılan tümleştirme çalışma zamanı yüklemeden ve yapılandırmadan şirket içi ağa erişmek için Azure Data Factory'deki yönetilen sanal ağ tümleştirme çalışma zamanı özelliğini de kullanabilirsiniz.

Data Factory tarafından desteklenen ağ güvenlik mekanizmaları ve seçenekleri hakkında daha fazla bilgi için bkz . Veri erişim stratejileri.

Integration Runtime yerleşik bir MongoDB sürücüsü sağlar, bu nedenle MongoDB'den veri kopyalarken herhangi bir sürücüyü el ile yüklemeniz gerekmez.

Başlarken

İşlem hattıyla Kopyalama etkinliği gerçekleştirmek için aşağıdaki araçlardan veya SDK'lardan birini kullanabilirsiniz:

• Veri Kopyalama aracı
• Azure portal
• .NET SDK'sı
• Python SDK'sı
• Azure PowerShell
• The REST API
• Azure Resource Manager şablonu

Kullanıcı arabirimini kullanarak MongoDB'ye bağlı hizmet oluşturma

Azure portalı kullanıcı arabiriminde MongoDB'ye bağlı bir hizmet oluşturmak için aşağıdaki adımları kullanın.

1. Azure Data Factory veya Synapse çalışma alanınızda Yönet sekmesine göz atın ve Bağlı Hizmetler'i seçin, ardından Yeni'ye tıklayın:

   • Azure Data Factory
   • Azure Synapse

   

2. Mongo'yu arayın ve MongoDB bağlayıcısını seçin.

   

3. Hizmet ayrıntılarını yapılandırın, bağlantıyı test edin ve yeni bağlı hizmeti oluşturun.

   

Bağlayıcı yapılandırma ayrıntıları

Aşağıdaki bölümlerde, MongoDB bağlayıcısına özgü Data Factory varlıklarını tanımlamak için kullanılan özelliklerle ilgili ayrıntılar sağlanır.

Bağlı hizmet özellikleri

MongoDB bağlı hizmeti için aşağıdaki özellikler desteklenir:

Örnek:

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDb",
        "typeProperties": {
            "server": "<server name>",
            "databaseName": "<database name>",
            "authenticationType": "Basic",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için bkz . Veri kümeleri ve bağlı hizmetler. MongoDB veri kümesi için aşağıdaki özellikler desteklenir:

Örnek:

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbCollection",
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "collectionName": "<Collection name>"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde MongoDB kaynağı tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak MongoDB

Kopyalama etkinliği kaynağı bölümünde aşağıdaki özellikler desteklenir:

Örnek:

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Data Factory'ye göre şema

Azure Data Factory hizmeti, koleksiyondaki en son 100 belgeyi kullanarak mongoDB koleksiyonundan şema çıkartır . Bu 100 belge tam şema içermiyorsa, kopyalama işlemi sırasında bazı sütunlar yoksayılabilir.

MongoDB için veri türü eşlemesi

MongoDB'den veri kopyalarken, MongoDB veri türlerinden hizmet içinde dahili olarak kullanılan ara veri türlerine aşağıdaki eşlemeler kullanılır. Kopyalama etkinliğinin kaynak şemayı ve veri türünü havuza nasıl eşlediğini öğrenmek için bkz . Şema ve veri türü eşlemeleri .

Sanal tabloları kullanan karmaşık türler için destek

Hizmet, MongoDB veritabanınıza bağlanmak ve bu veritabanından veri kopyalamak için yerleşik bir ODBC sürücüsü kullanır. Belgeler arasında farklı türlere sahip diziler veya nesneler gibi karmaşık türler için, sürücü verileri karşılık gelen sanal tablolara yeniden normalleştirir. Özellikle, bir tablo bu tür sütunlar içeriyorsa, sürücü aşağıdaki sanal tabloları oluşturur:

• Karmaşık tür sütunları dışında gerçek tabloyla aynı verileri içeren temel tablo. Temel tablo, temsil ettiği gerçek tabloyla aynı adı kullanır.
• İç içe verileri genişleten her karmaşık tür sütunu için bir sanal tablo. Sanal tablolar, gerçek tablonun adı, ayırıcı "_" ve dizi veya nesne adı kullanılarak adlandırılır.

Sanal tablolar gerçek tablodaki verilere başvurur ve sürücünün normalleştirilmiş verilere erişmesini sağlar. Sanal tabloları sorgulayıp birleştirerek MongoDB dizilerinin içeriğine erişebilirsiniz.

Örnek

Örneğin, ExampleTable burada, her hücrede Bir Nesne dizisi olan bir sütuna sahip bir MongoDB tablosudur - Faturalar ve Skaler türleri dizisine sahip bir sütun - Derecelendirmeler.

Sürücü, bu tek tabloyu temsil eden birden çok sanal tablo oluşturur. İlk sanal tablo, örnekte gösterilen "ExampleTable" adlı temel tablodur. Temel tablo özgün tablonun tüm verilerini içerir, ancak dizilerdeki veriler atlanmış ve sanal tablolarda genişletilmiştir.

Aşağıdaki tablolarda örnekteki özgün dizileri temsil eden sanal tablolar gösterilmektedir. Bu tablolar aşağıdakileri içerir:

• Özgün dizinin satırına karşılık gelen özgün birincil anahtar sütununa başvuru (_id sütunu aracılığıyla)
• Verilerin özgün dizideki konumunun göstergesi
• Dizideki her öğe için genişletilmiş veriler

Tablo "ExampleTable_Invoices":

Tablo "ExampleTable_Ratings":

İlgili içerik

Kopyalama etkinliği tarafından kaynak ve havuz olarak desteklenen veri depolarının listesi için bkz . desteklenen veri depoları.