Az Azure HDInsight kettős titkosítása az inaktív adatokra vonatkozóan

Ez a cikk az Azure HDInsight-fürtökben inaktív adatok titkosításának módszereit ismerteti. Az inaktív adattitkosítás a HDInsight-fürt virtuális gépeihez csatlakoztatott felügyelt lemezek (adatlemezek, operációsrendszer-lemezek és ideiglenes lemezek) titkosítását jelenti.

Ez a dokumentum nem foglalkozik az Azure Storage-fiókban tárolt adatokkal. Előfordulhat, hogy a fürtök egy vagy több csatlakoztatott Azure Storage-fiókkal rendelkeznek, ahol a titkosítási kulcsok a Microsoft által felügyelt vagy ügyfél által felügyeltek is lehetnek, de a titkosítási szolgáltatás más. Az Azure Storage-titkosítással kapcsolatos további információkért lásd az Inaktív adatok Azure Storage-titkosítását.

Bevezetés

Az Azure-ban három fő felügyelt lemezszerepkör van: az adatlemez, az operációsrendszer-lemez és az ideiglenes lemez. A felügyelt lemezek különböző típusairól további információt az Azure-beli felügyelt lemezek bemutatása című témakörben talál.

A HDInsight több titkosítási típust támogat két különböző rétegben:

• Kiszolgálóoldali titkosítás (SSE) – Az SSE-t a tárolási szolgáltatás végzi. A HDInsightban az SSE operációsrendszer-lemezek és adatlemezek titkosítására szolgál. Alapértelmezés szerint engedélyezve van. Az SSE egy 1. rétegbeli titkosítási szolgáltatás.
• Titkosítás a gazdagépen platform által felügyelt kulccsal – Az SSE-hez hasonlóan ezt a titkosítási típust a tárolási szolgáltatás végzi. Ez azonban csak ideiglenes lemezekre vonatkozik, és alapértelmezés szerint nincs engedélyezve. A gazdagép titkosítása egyben egy 1. rétegbeli titkosítási szolgáltatás is.
• Inaktív titkosítás ügyfél által kezelt kulccsal – Ez a titkosítási típus használható adatokon és ideiglenes lemezeken. Alapértelmezés szerint nincs engedélyezve, és megköveteli az ügyfélnek, hogy adja meg a saját kulcsát az Azure Key Vaulton keresztül. A inaktív adatok titkosítása egy 2. rétegbeli titkosítási szolgáltatás.

Ezek a típusok az alábbi táblázatban vannak összefoglalva.

Inaktív titkosítás ügyfél által felügyelt kulcsokkal

Az ügyfél által felügyelt kulcstitkosítás egy egylépéses folyamat, amelyet a fürt létrehozásakor kezelnek további költségek nélkül. Mindössze annyit kell tennie, hogy engedélyezi a felügyelt identitást az Azure Key Vaultban, és hozzáadja a titkosítási kulcsot a fürt létrehozásakor.

A fürt minden csomópontján lévő adatlemezek és ideiglenes lemezek is szimmetrikus adattitkosítási kulccsal (DEK) vannak titkosítva. A DEK a kulcstartó kulcstitkosítási kulcsával (KEK) van védve. A titkosítási és visszafejtési folyamatokat teljes egészében az Azure HDInsight kezeli.

A fürt virtuális gépeihez csatlakoztatott operációsrendszer-lemezek esetében csak egy titkosítási réteg (PMK) érhető el. Javasoljuk, hogy az ügyfelek ne másoljanak bizalmas adatokat operációsrendszer-lemezekre, ha a forgatókönyvükhöz CMK-titkosítás szükséges.

Ha a kulcstartó tűzfala engedélyezve van azon a kulcstartón, amelyen a lemeztitkosítási kulcs található, a HDInsight regionális erőforrás-szolgáltató IP-címeit hozzá kell adni ahhoz a régióhoz, ahol a fürt üzembe lesz helyezve. Erre azért van szükség, mert a HDInsight nem megbízható Azure Key Vault-szolgáltatás.

Az Azure Portal vagy az Azure CLI használatával biztonságosan elforgathatja a kulcsokat a kulcstartóban. Amikor egy kulcs forog, a HDInsight-fürt perceken belül elkezdi használni az új kulcsot. Engedélyezze a Helyreállítható törlés kulcsvédelmi funkcióit a ransomware-forgatókönyvek és a véletlen törlés elleni védelemhez. A védelemmel nem rendelkező kulcstartók nem támogatottak.

Az ügyfél által felügyelt kulcsok használatának első lépései

Ügyfél által felügyelt kulcsokkal kompatibilis HDInsight-fürt létrehozásához az alábbi lépéseket fogjuk elvégezni:

1. Felügyelt identitások létrehozása Azure-erőforrásokhoz
2. Azure Key Vault létrehozása
3. Kulcs létrehozása
4. Hozzáférési szabályzat létrehozása
5. HDInsight-fürt létrehozása az ügyfél által felügyelt kulccsal engedélyezve
6. A titkosítási kulcs elforgatása

Minden lépést részletesen a következő szakaszok egyikében ismertetünk.

Felügyelt identitások létrehozása Azure-erőforrásokhoz

Hozzon létre egy felhasználó által hozzárendelt felügyelt identitást a Key Vaultban való hitelesítéshez.

Konkrét lépésekért lásd : Felhasználó által hozzárendelt felügyelt identitás létrehozása. A felügyelt identitások Azure HDInsightban való működéséről további információt az Azure HDInsight felügyelt identitásai című témakörben talál. Ügyeljen arra, hogy mentse a felügyelt identitás erőforrás-azonosítóját, amikor hozzáadja a Key Vault hozzáférési szabályzatához.

Azure Key Vault létrehozása

Kulcstartó létrehozása. A konkrét lépésekért tekintse meg az Azure Key Vault létrehozását.

A HDInsight csak az Azure Key Vaultot támogatja. Ha saját kulcstartóval rendelkezik, importálhatja a kulcsokat az Azure Key Vaultba. Ne feledje, hogy a kulcstartóban engedélyezve kell lennie a helyreállítható törlésnek . A meglévő kulcsok importálásáról további információt a Kulcsok, titkos kódok és tanúsítványok című témakörben talál.

Kulcs létrehozása

1. Az új kulcstartóban keresse meg a Beállítások>kulcsok>+ Létrehozás/Importálás lehetőséget.

   

2. Adjon meg egy nevet, majd válassza a Létrehozás lehetőséget. Tartsa karban az RSA alapértelmezett kulcstípusát.

   

3. Amikor visszatér a Kulcsok lapra, válassza ki a létrehozott kulcsot.

   

4. Válassza ki a verziót a Kulcsverzió lap megnyitásához. Ha saját kulcsot használ a HDInsight-fürttitkosításhoz, meg kell adnia a kulcs URI-ját. Másolja ki a kulcsazonosítót , és mentse valahová, amíg készen nem áll a fürt létrehozására.

   

Hozzáférési szabályzat létrehozása

1. Az új kulcstartóban lépjen a Beállítások>hozzáférési szabályzatok>+ Hozzáférési szabályzat hozzáadása elemre.

   

2. A Hozzáférési szabályzat hozzáadása lapon adja meg a következő információkat:

   Tulajdonság	Leírás
   Kulcsengedélyek	Válassza a Lekérés, a Kulcs kibontása és a Tördelés gombot.
   Titkos engedélyek	Válassza a Beolvasás, a Beállítás és a Törlés lehetőséget.
   Rendszerbiztonsági tag kiválasztása	Válassza ki a korábban létrehozott felhasználó által hozzárendelt felügyelt identitást.

   

3. Válassza a Hozzáadás lehetőséget.

4. Válassza a Mentés lehetőséget.

   

Fürt létrehozása ügyfél által felügyelt kulcslemeztitkosítással

Most már készen áll egy új HDInsight-fürt létrehozására. Az ügyfél által felügyelt kulcsok csak új fürtökre alkalmazhatók a fürt létrehozása során. A titkosítás nem távolítható el az ügyfél által felügyelt kulcsfürtökről, és az ügyfél által felügyelt kulcsok nem vehetők fel a meglévő fürtökre.

A 2020. novemberi kiadástól kezdve a HDInsight támogatja a fürtök létrehozását a verziószámozott és a verzió nélküli kulcsú URI-k használatával. Ha verzió nélküli URI-val hozza létre a fürtöt, akkor a HDInsight-fürt megpróbálja végrehajtani a kulcs automatikus elforgatását, amikor a kulcs frissül az Azure Key Vaultban. Ha verziószámozott kulcs URI-val hozza létre a fürtöt, a titkosítási kulcs elforgatásával kapcsolatban leírtak szerint manuális kulcsváltást kell végrehajtania.

A 2020. novemberi kiadás előtt létrehozott fürtök esetében manuálisan kell végrehajtania a kulcsforgatást a verziószámozott kulcs URI-jának használatával.

Lemeztitkosítást támogató virtuálisgép-típusok

Az Azure Portal használatával

A fürt létrehozása során használhat verziószámozott vagy verzió nélküli kulcsot a következő módon:

• Verziószámozott – A fürt létrehozása során adja meg a teljes kulcsazonosítót, beleértve a kulcsverziót is. Például: https://contoso-kv.vault.azure.net/keys/myClusterKey/46ab702136bc4b229f8b10e8c2997fa4.
• Verzió nélküli – A fürt létrehozása során csak a kulcsazonosítót adja meg. Például: https://contoso-kv.vault.azure.net/keys/myClusterKey.

A felügyelt identitást is hozzá kell rendelnie a fürthöz.

Az Azure parancssori felület használata

Az alábbi példa bemutatja, hogyan hozhat létre új Apache Spark-fürtöt az Azure CLI használatával, amelyen engedélyezve van a lemeztitkosítás. További információ: Azure CLI az hdinsight create. A paraméter encryption-key-version megadása nem kötelező.

az hdinsight create -t spark -g MyResourceGroup -n MyCluster \
-p "HttpPassword1234!" --workernode-data-disks-per-node 2 \
--storage-account MyStorageAccount \
--encryption-key-name SparkClusterKey \
--encryption-key-version 00000000000000000000000000000000 \
--encryption-vault-uri https://MyKeyVault.vault.azure.net \
--assign-identity MyMSI

Az Azure Resource Manager-sablonok használata

Az alábbi példa bemutatja, hogyan lehet Azure Resource Manager-sablonnal létrehozni egy új Apache Spark-fürtöt, amelyen engedélyezve van a lemeztitkosítás. További információ: Mik azok az ARM-sablonok? A Resource Manager-sablon tulajdonság diskEncryptionKeyVersion nem kötelező.

Ez a példa a PowerShell használatával hívja meg a sablont.

$templateFile = "azuredeploy.json"
$ResourceGroupName = "MyResourceGroup"
$clusterName = "MyCluster"
$password = ConvertTo-SecureString 'HttpPassword1234!' -AsPlainText -Force
$diskEncryptionVaultUri = "https://MyKeyVault.vault.azure.net"
$diskEncryptionKeyName = "SparkClusterKey"
$diskEncryptionKeyVersion = "00000000000000000000000000000000"
$managedIdentityName = "MyMSI"

New-AzResourceGroupDeployment `
  -Name mySpark `
  -TemplateFile $templateFile `
  -ResourceGroupName $ResourceGroupName `
  -clusterName $clusterName `
  -clusterLoginPassword $password `
` -sshPassword $password `
  -diskEncryptionVaultUri $diskEncryptionVaultUri `
  -diskEncryptionKeyName $diskEncryptionKeyName `
  -diskEncryptionKeyVersion $diskEncryptionKeyVersion `
  -managedIdentityName $managedIdentityName

Az erőforrás-kezelési sablon tartalma: azuredeploy.json

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "0.9.0.0",
  "parameters": {
    "clusterName": {
      "type": "string",
      "metadata": {
        "description": "The name of the HDInsight cluster to create."
      }
    },
    "clusterLoginUserName": {
      "type": "string",
      "defaultValue": "admin",
      "metadata": {
        "description": "These credentials can be used to submit jobs to the cluster and to log into cluster dashboards."
      }
    },
    "clusterLoginPassword": {
      "type": "securestring",
      "metadata": {
        "description": "The password must be at least 10 characters in length and must contain at least one digit, one non-alphanumeric character, and one upper or lower case letter."
      }
    },
    "location": {
      "type": "string",
      "defaultValue": "[resourceGroup().location]",
      "metadata": {
        "description": "The location where all azure resources will be deployed."
      }
    },
    "sshUserName": {
      "type": "string",
      "defaultValue": "sshuser",
      "metadata": {
        "description": "These credentials can be used to remotely access the cluster."
      }
    },
    "sshPassword": {
      "type": "securestring",
      "metadata": {
        "description": "The password must be at least 10 characters in length and must contain at least one digit, one non-alphanumeric character, and one upper or lower case letter."
      }
    },
    "headNodeSize": {
      "type": "string",
      "defaultValue": "Standard_D12_v2",
      "metadata": {
        "description": "The VM size of the head nodes."
      }
    },
    "workerNodeSize": {
      "type": "string",
      "defaultValue": "Standard_D13_v2",
      "metadata": {
        "description": "The VM size of the worker nodes."
      }
    },
    "diskEncryptionVaultUri": {
      "type": "string",
      "metadata": {
        "description": "The Key Vault DNSname."
      }
    },
    "diskEncryptionKeyName": {
      "type": "string",
      "metadata": {
        "description": "The Key Vault key name."
      }
    },
    "diskEncryptionKeyVersion": {
      "type": "string",
      "metadata": {
        "description": "The Key Vault key version for the selected key."
      }
    },
    "managedIdentityName": {
      "type": "string",
      "metadata": {
        "description": "The user-assigned managed identity."
      }
    }
  },
  "variables": {
    "defaultStorageAccount": {
      "name": "[uniqueString(resourceGroup().id)]",
      "type": "Standard_LRS"
    }
  },
  "resources": [
    {
      "type": "Microsoft.Storage/storageAccounts",
      "name": "[variables('defaultStorageAccount').name]",
      "location": "[parameters('location')]",
      "apiVersion": "2019-06-01",
      "sku": {
        "name": "[variables('defaultStorageAccount').type]"
      },
      "kind": "Storage",
      "properties": {}
    },
    {
      "apiVersion": "2018-06-01-preview",
      "name": "[parameters('clusterName')]",
      "type": "Microsoft.HDInsight/clusters",
      "location": "[parameters('location')]",
      "properties": {
        "clusterVersion": "3.6",
        "osType": "Linux",
        "tier": "standard",
        "clusterDefinition": {
          "kind": "spark",
          "componentVersion": {
            "Spark": "2.3"
          },
          "configurations": {
            "gateway": {
              "restAuthCredential.isEnabled": true,
              "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
              "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
            }
          }
        },
        "storageProfile": {
          "storageaccounts": [
            {
              "name": "[replace(replace(reference(resourceId('Microsoft.Storage/storageAccounts', variables('defaultStorageAccount').name), '2019-06-01').primaryEndpoints.blob,'https://',''),'/','')]",
              "isDefault": true,
              "container": "[parameters('clusterName')]",
              "key": "[listKeys(resourceId('Microsoft.Storage/storageAccounts', variables('defaultStorageAccount').name), '2019-06-01').keys[0].value]"
            }
          ]
        },
        "computeProfile": {
          "roles": [
            {
              "name": "headnode",
              "minInstanceCount": 1,
              "targetInstanceCount": 2,
              "hardwareProfile": {
                "vmSize": "[parameters('headNodeSize')]"
              },
              "osProfile": {
                "linuxOperatingSystemProfile": {
                  "username": "[parameters('sshUserName')]",
                  "password": "[parameters('sshPassword')]"
                },
              },
            },
            {
              "name": "workernode",
              "targetInstanceCount": 1,
              "hardwareProfile": {
                "vmSize": "[parameters('workerNodeSize')]"
              },
              "osProfile": {
                "linuxOperatingSystemProfile": {
                  "username": "[parameters('sshUserName')]",
                  "password": "[parameters('sshPassword')]"
                },
              },
            }
          ]
        },
        "minSupportedTlsVersion": "1.2",
        "diskEncryptionProperties": {
          "vaultUri": "[parameters('diskEncryptionVaultUri')]",
          "keyName": "[parameters('diskEncryptionKeyName')]",
          "keyVersion": "[parameters('diskEncryptionKeyVersion')]",
          "msiResourceId": "[resourceID('Microsoft.ManagedIdentity/userAssignedIdentities/', parameters('managedIdentityName'))]"
        }
      },
      "identity": {
        "type": "UserAssigned",
        "userAssignedIdentities": {
          "[resourceID('Microsoft.ManagedIdentity/userAssignedIdentities/', parameters('managedIdentityName'))]": {}
        }
      }
    }
  ]
}

A titkosítási kulcs elforgatása

A futó fürtön használt titkosítási kulcsokat az Azure Portal vagy az Azure CLI használatával módosíthatja. Ehhez a művelethez a fürtnek hozzáféréssel kell rendelkeznie mind az aktuális kulcshoz, mind a tervezett új kulcshoz, ellenkező esetben az elforgatási kulcs művelete sikertelen lesz. A 2020. novemberi kiadás után létrehozott fürtök esetében kiválaszthatja, hogy az új kulcsnak legyen-e verziója. A 2020. novemberi kiadás előtt létrehozott fürtök esetében verziószámozott kulcsot kell használnia a titkosítási kulcs elforgatásakor.

Az Azure Portal használatával

A kulcs elforgatásához az alapkulcstartó URI-jára van szükség. Ha ezt megtette, lépjen a HDInsight-fürt tulajdonságai szakaszra a portálon, és kattintson a Kulcs módosítása elemre a Lemeztitkosítási kulcs URL-címe alatt. Adja meg az új kulcs URL-címét, és küldje el a kulcs elforgatásához.

Az Azure parancssori felület használata

Az alábbi példa bemutatja, hogyan forgathatja el a lemeztitkosítási kulcsot egy meglévő HDInsight-fürthöz. További információ: Azure CLI az hdinsight rotate-disk-encryption-key.

az hdinsight rotate-disk-encryption-key \
--encryption-key-name SparkClusterKey \
--encryption-key-version 00000000000000000000000000000000 \
--encryption-vault-uri https://MyKeyVault.vault.azure.net \
--name MyCluster \
--resource-group MyResourceGroup

Ügyfél által felügyelt kulcstitkosítással kapcsolatos gyakori kérdések

Hogyan fér hozzá a HDInsight-fürt a kulcstartóhoz?

A HDInsight a HDInsight-fürthöz társított felügyelt identitással fér hozzá az Azure Key Vault-példányhoz. Ez a felügyelt identitás a fürt létrehozása előtt vagy alatt hozható létre. Emellett hozzáférést kell adnia a felügyelt identitásnak ahhoz a kulcstartóhoz, amelyben a kulcs található.

Ez a funkció elérhető a HDInsight összes fürtje számára?

Az ügyfél által felügyelt kulcstitkosítás a Spark 2.1 és a 2.2 kivételével minden fürttípushoz elérhető.

Használhatok több kulcsot a különböző lemezek vagy mappák titkosításához?

Nem, az összes felügyelt lemezt és erőforráslemezt ugyanazzal a kulccsal titkosítja.

Mi történik, ha a fürt elveszíti a hozzáférést a kulcstartóhoz vagy a kulcshoz?

Ha a fürt nem fér hozzá a kulcshoz, figyelmeztetések jelennek meg az Apache Ambari portálon. Ebben az állapotban a Kulcs módosítása művelet sikertelen lesz. A kulcshozzáférés visszaállítása után az Ambari figyelmeztetései megszűnnek, és az olyan műveletek, mint a kulcsforgatás, sikeresen végrehajthatók.

Hogyan állítható helyre a fürt, ha a kulcsok törlődnek?

Mivel csak a "Helyreállítható törlés" engedélyezett kulcsok támogatottak, ha a kulcsok helyreállnak a kulcstartóban, a fürtnek vissza kell szereznie a hozzáférést a kulcsokhoz. Az Azure Key Vault-kulcs helyreállításához lásd: Undo-AzKeyVaultKeyRemoval vagy az-keyvault-key-recovery.

Ha egy fürt felskálázva van, az új csomópontok zökkenőmentesen támogatják az ügyfél által felügyelt kulcsokat?

Igen. A fürtnek a felskálázás során hozzá kell férnie a kulcstartó kulcsához. Ugyanezzel a kulccsal titkosítja a fürt felügyelt lemezeit és erőforráslemezeit is.

Elérhetőek az ügyfél által kezelt kulcsok a helyemen?

A HDInsight ügyfél által felügyelt kulcsai minden nyilvános felhőben és országos felhőben elérhetők.

Titkosítás a gazdagépen platform által felügyelt kulcsokkal

Engedélyezés az Azure Portalon

A gazdagépen a titkosítás engedélyezhető a fürt létrehozása során az Azure Portalon.

Ez a beállítás lehetővé teszi a HDInsight virtuális gépek ideiglenes adatlemezeinek titkosítását a PMK használatával. A gazdagépen a titkosítás csak bizonyos, korlátozott régiókban lévő virtuálisgép-termékváltozatokon támogatott, a HDInsight pedig a következő csomópontkonfigurációt és termékváltozatokat támogatja.

A HDInsight-fürt megfelelő virtuálisgép-méretének megismeréséhez tekintse meg az Azure HDInsight-fürt megfelelő virtuálisgép-méretének kiválasztását. A Zookeeper-csomópont alapértelmezett virtuálisgép-termékváltozata, ha a gazdagép titkosítása engedélyezve van, a DS2V2 lesz.

Engedélyezés a PowerShell használatával

Az alábbi kódrészlet bemutatja, hogyan hozhat létre egy új Azure HDInsight-fürtöt, amely a PowerShell használatával engedélyezve van a gazdagépen a titkosítással. A paramétert -EncryptionAtHost $true használja a funkció engedélyezéséhez.

$storageAccountResourceGroupName = "Group"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
    -ResourceGroupName $storageAccountResourceGroupName `
    -Name $storageAccountName | %{ $_.Key1 }
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Create the cluster
New-AzHDInsightCluster `
    -ClusterType Hadoop `
    -ClusterSizeInNodes 4 `
    -ResourceGroupName $clusterResourceGroupName `
    -ClusterName $clusterName `
    -HttpCredential $clusterCreds `
    -Location $location `
    -DefaultStorageAccountName "$storageAccountName.blob.core.contoso.net" `
    -DefaultStorageAccountKey $storageAccountKey `
    -DefaultStorageContainer $storageContainer `
    -SshCredential $clusterCreds `
    -EncryptionAtHost $true `

Engedélyezés az Azure CLI használatával

Az alábbi kódrészlet bemutatja, hogyan hozhat létre egy új Azure HDInsight-fürtöt, amely a gazdagépen engedélyezett titkosítással rendelkezik az Azure CLI használatával. A paramétert --encryption-at-host true használja a funkció engedélyezéséhez.

az hdinsight create -t spark -g MyResourceGroup -n MyCluster \\
-p "yourpass" \\
--storage-account MyStorageAccount --encryption-at-host true

Következő lépések

• Az Azure Key Vaultról további információt az Azure Key Vault ismertetése tartalmaz.
• Az Azure HDInsight vállalati biztonságának áttekintése.