Gunakan ekstensi Secret Store untuk mengambil rahasia untuk akses offline di kluster Kubernetes dengan dukungan Azure Arc

Ekstensi Azure Key Vault Secret Store untuk Kubernetes ("SSE") secara otomatis menyinkronkan rahasia dari Azure Key Vault ke kluster Kubernetes dengan dukungan Azure Arc untuk akses offline. Ini berarti Anda dapat menggunakan Azure Key Vault untuk menyimpan, memelihara, dan memutar rahasia Anda, bahkan saat menjalankan kluster Kubernetes dalam keadaan semi-terputus. Rahasia yang disinkronkan disimpan di penyimpanan rahasia kluster, membuatnya tersedia sebagai rahasia Kubernetes untuk digunakan dengan semua cara yang biasa: dipasang sebagai volume data, atau diekspos sebagai variabel lingkungan ke kontainer dalam pod.

Rahasia yang disinkronkan adalah aset bisnis penting, sehingga SSE mengamankannya melalui namespace dan simpul yang terisolasi, kebijakan kontrol akses berbasis peran (RBAC), dan izin terbatas untuk penyinkron rahasia. Untuk perlindungan ekstra, enkripsi penyimpanan rahasia Kubernetes di kluster Anda.

Artikel ini menunjukkan kepada Anda cara menginstal dan mengonfigurasi SSE sebagai ekstensi Kubernetes dengan dukungan Azure Arc.

Prasyarat

• Kluster dengan dukungan Arc. Ini bisa menjadi salah satu yang Anda sambungkan ke diri Anda sendiri (contoh di seluruh panduan ini menggunakan kluster K3s ) atau AKS yang dikelola Microsoft yang diaktifkan oleh kluster Azure Arc . Kluster harus menjalankan Kubernetes versi 1.27 atau yang lebih tinggi, dan di salah satu wilayah yang didukung (US Timur, US Timur2, US Barat, US2 Barat, US3 Barat, Eropa Barat, Eropa Utara). Wilayah ini ditentukan oleh wilayah grup sumber daya yang digunakan untuk membuat kluster Arc.
• Pastikan Anda memenuhi prasyarat umum untuk ekstensi kluster, termasuk versi k8s-extension terbaru ekstensi Azure CLI.
• cert-manager diperlukan untuk mendukung TLS untuk komunikasi log intrakluster. Contohnya nanti dalam panduan ini mengarahkan Anda melalui penginstalan. Untuk informasi selengkapnya tentang cert-manager, lihat cert-manager.io

Instal Azure CLI dan masuk, jika Anda belum:

az login

Sebelum memulai, atur variabel lingkungan yang akan digunakan untuk mengonfigurasi sumber daya Azure dan kluster. Jika Anda sudah memiliki identitas terkelola, Azure Key Vault, atau sumber daya lain yang tercantum di sini, perbarui nama dalam variabel lingkungan untuk mencerminkan sumber daya tersebut.

export RESOURCE_GROUP="AzureArcTest"
export CLUSTER_NAME="AzureArcTest1"
export LOCATION="EastUS"
export SUBSCRIPTION="$(az account show --query id --output tsv)"
az account set --subscription "${SUBSCRIPTION}"
export AZURE_TENANT_ID="$(az account show -s $SUBSCRIPTION --query tenantId --output tsv)"
export CURRENT_USER="$(az ad signed-in-user show --query userPrincipalName --output tsv)"
export KEYVAULT_NAME="my-kv"
export KEYVAULT_SECRET_NAME="my-secret"
export USER_ASSIGNED_IDENTITY_NAME="my-identity"
export FEDERATED_IDENTITY_CREDENTIAL_NAME="my-credential"
export KUBERNETES_NAMESPACE="my-namespace"
export SERVICE_ACCOUNT_NAME="my-service-account"

Mengaktifkan federasi identitas beban kerja di kluster Anda

SSE menggunakan fitur yang disebut federasi identitas beban kerja untuk mengakses dan menyinkronkan rahasia Azure Key Vault. Bagian ini menjelaskan cara menyiapkannya. Bagian berikut akan menjelaskan cara penggunaannya secara rinci.

az connectedk8s connect --name ${CLUSTER_NAME} --resource-group ${RESOURCE_GROUP} --enable-oidc-issuer

az connectedk8s update --name ${CLUSTER_NAME} --resource-group ${RESOURCE_GROUP} --enable-oidc-issuer

export SERVICE_ACCOUNT_ISSUER="$(az connectedk8s show --name ${CLUSTER_NAME} --resource-group ${RESOURCE_GROUP} --query "oidcIssuerProfile.issuerUrl" --output tsv)"
echo $SERVICE_ACCOUNT_ISSUER

export SERVICE_ACCOUNT_ISSUER="$(az connectedk8s show --name ${CLUSTER_NAME} --resource-group ${RESOURCE_GROUP} --query "oidcIssuerProfile.issuerUrl" --output tsv)"
echo $SERVICE_ACCOUNT_ISSUER

Membuat rahasia dan mengonfigurasi identitas untuk mengaksesnya

Untuk mengakses dan menyinkronkan rahasia Azure Key Vault tertentu, SSE memerlukan akses ke identitas terkelola Azure dengan izin Azure yang sesuai untuk mengakses rahasia tersebut. Identitas terkelola harus ditautkan ke akun layanan Kubernetes menggunakan fitur identitas beban kerja yang Anda aktifkan di atas. SSE menggunakan identitas terkelola Azure federasi terkait untuk menarik rahasia dari Azure Key Vault ke penyimpanan rahasia Kubernetes Anda. Bagian berikut ini menjelaskan cara menyiapkannya.

Membuat Azure Key Vault

Buat Azure Key Vault dan tambahkan rahasia. Jika Anda sudah memiliki Azure Key Vault dan rahasia, Anda dapat melewati bagian ini.

1. Buat Azure Key Vault:

   az keyvault create --resource-group "${RESOURCE_GROUP}" --location "${LOCATION}" --name "${KEYVAULT_NAME}" --enable-rbac-authorization
   

2. Beri diri Anda izin 'Secrets Officer' di vault, sehingga Anda dapat membuat rahasia:

   az role assignment create --role "Key Vault Secrets Officer" --assignee ${CURRENT_USER} --scope /subscriptions/${SUBSCRIPTION}/resourcegroups/${RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/${KEYVAULT_NAME}
   

3. Buat rahasia dan perbarui sehingga Anda memiliki dua versi:

   az keyvault secret set --vault-name "${KEYVAULT_NAME}" --name "${KEYVAULT_SECRET_NAME}" --value 'Hello!'
   az keyvault secret set --vault-name "${KEYVAULT_NAME}" --name "${KEYVAULT_SECRET_NAME}" --value 'Hello2'
   

Membuat identitas terkelola yang ditetapkan pengguna

Selanjutnya, buat identitas terkelola yang ditetapkan pengguna dan beri izin untuk mengakses Azure Key Vault. Jika Anda sudah memiliki identitas terkelola dengan izin Pembaca Key Vault dan Pengguna Rahasia Key Vault ke Azure Key Vault, Anda dapat melewati bagian ini. Untuk informasi selengkapnya, lihat Membuat identitas terkelola yang ditetapkan pengguna dan Menggunakan izin rahasia, kunci, dan sertifikat Azure RBAC dengan Key Vault.

1. Buat identitas terkelola yang ditetapkan pengguna:

   az identity create --name "${USER_ASSIGNED_IDENTITY_NAME}" --resource-group "${RESOURCE_GROUP}" --location "${LOCATION}" --subscription "${SUBSCRIPTION}"
   

2. Berikan identitas Pembaca Key Vault dan Izin Pengguna Rahasia Key Vault. Anda mungkin perlu menunggu sejenak untuk replikasi pembuatan identitas sebelum perintah ini berhasil:

   export USER_ASSIGNED_CLIENT_ID="$(az identity show --resource-group "${RESOURCE_GROUP}" --name "${USER_ASSIGNED_IDENTITY_NAME}" --query 'clientId' -otsv)"
   az role assignment create --role "Key Vault Reader" --assignee "${USER_ASSIGNED_CLIENT_ID}" --scope /subscriptions/${SUBSCRIPTION}/resourcegroups/${RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/${KEYVAULT_NAME}
   az role assignment create --role "Key Vault Secrets User" --assignee "${USER_ASSIGNED_CLIENT_ID}" --scope /subscriptions/${SUBSCRIPTION}/resourcegroups/${RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/${KEYVAULT_NAME}
   

Membuat kredensial identitas gabungan

Buat akun layanan Kubernetes untuk beban kerja yang membutuhkan akses ke rahasia. Kemudian, buat kredensial identitas federasi untuk menautkan antara identitas terkelola, penerbit akun layanan OIDC, dan Akun Layanan Kubernetes.

1. Buat Akun Layanan Kubernetes yang akan digabungkan ke identitas terkelola. Buat anotasi dengan detail identitas terkelola terkait yang ditetapkan pengguna.

   kubectl create ns ${KUBERNETES_NAMESPACE}
   

   cat <<EOF | kubectl apply -f -
     apiVersion: v1
     kind: ServiceAccount
     metadata:
       name: ${SERVICE_ACCOUNT_NAME}
       namespace: ${KUBERNETES_NAMESPACE}
   EOF
   

2. Buat kredensial identitas gabungan:

   az identity federated-credential create --name ${FEDERATED_IDENTITY_CREDENTIAL_NAME} --identity-name ${USER_ASSIGNED_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP} --issuer ${SERVICE_ACCOUNT_ISSUER} --subject system:serviceaccount:${KUBERNETES_NAMESPACE}:${SERVICE_ACCOUNT_NAME}
   

Menginstal SSE

SSE tersedia sebagai ekstensi Azure Arc. Kluster Kubernetes dengan dukungan Azure Arc dapat diperluas dengan ekstensi Kubernetes dengan dukungan Azure Arc. Ekstensi memungkinkan kemampuan Azure pada kluster terhubung Anda dan memberikan pengalaman berbasis Azure Resource Manager untuk penginstalan ekstensi dan manajemen siklus hidup.

cert-manager dan trust-manager juga diperlukan untuk komunikasi log yang aman antara layanan kluster dan harus diinstal sebelum ekstensi Arc.

1. Pasang cert-manager.

   helm repo add jetstack https://charts.jetstack.io/ --force-update
   helm install cert-manager jetstack/cert-manager --namespace cert-manager --create-namespace --version v1.16.2 --set crds.enabled=true 
   

2. Instal trust-manager.

   helm upgrade trust-manager jetstack/trust-manager --install --namespace cert-manager --wait
   

3. Instal SSE ke kluster berkemampuan Arc Anda menggunakan perintah berikut:

   az k8s-extension create \
     --cluster-name ${CLUSTER_NAME} \
     --cluster-type connectedClusters \
     --extension-type microsoft.azure.secretstore \
     --resource-group ${RESOURCE_GROUP} \
     --release-train preview \
     --name ssarcextension \
     --scope cluster 
   

   Jika diinginkan, Anda dapat secara opsional memodifikasi interval polling --configuration-settings rotationPollIntervalInSeconds=<time_in_seconds>rotasi default dengan menambahkan :

   Nama Parameter	Deskripsi	Nilai default
   rotationPollIntervalInSeconds	Menentukan seberapa cepat SSE memeriksa atau memperbarui rahasia yang mengelolanya.	3600 (1 jam)

Mengonfigurasi SSE

Konfigurasikan ekstensi yang diinstal dengan informasi tentang Azure Key Vault dan rahasia mana yang akan disinkronkan ke kluster Anda dengan menentukan instans sumber daya kustom Kubernetes. Anda membuat dua jenis sumber daya kustom:

• Objek SecretProviderClass untuk menentukan koneksi ke Key Vault.
• Objek SecretSync untuk setiap rahasia yang akan disinkronkan.

Membuat SecretProviderClass sumber daya

Sumber SecretProviderClass daya digunakan untuk menentukan koneksi ke Azure Key Vault, identitas yang digunakan untuk mengakses vault, rahasia mana yang akan disinkronkan, dan jumlah versi setiap rahasia untuk dipertahankan secara lokal.

Anda memerlukan terpisah SecretProviderClass untuk setiap Azure Key Vault yang ingin Anda sinkronkan, untuk setiap identitas yang digunakan untuk akses ke Azure Key Vault, dan untuk setiap namespace Layanan Kubernetes target.

Buat satu atau beberapa SecretProviderClass file YAML dengan nilai yang sesuai untuk Key Vault dan rahasia Anda dengan mengikuti contoh ini.

cat <<EOF > spc.yaml
apiVersion: secrets-store.csi.x-k8s.io/v1
kind: SecretProviderClass
metadata:
  name: secret-provider-class-name                      # Name of the class; must be unique per Kubernetes namespace
  namespace: ${KUBERNETES_NAMESPACE}                    # Kubernetes namespace to make the secrets accessible in
spec:
  provider: azure
  parameters:
    clientID: "${USER_ASSIGNED_CLIENT_ID}"               # Managed Identity Client ID for accessing the Azure Key Vault with.
    keyvaultName: ${KEYVAULT_NAME}                       # The name of the Azure Key Vault to synchronize secrets from.
    objects: |
      array:
        - |
          objectName: ${KEYVAULT_SECRET_NAME}            # The name of the secret to sychronize.
          objectType: secret
          objectVersionHistory: 2                       # [optional] The number of versions to synchronize, starting from latest.
    tenantID: "${AZURE_TENANT_ID}"                       # The tenant ID of the Key Vault 
EOF

Membuat SecretSync objek

Setiap rahasia yang disinkronkan SecretSync juga memerlukan objek, untuk menentukan informasi khusus kluster. Di sini Anda menentukan informasi seperti nama rahasia di kluster dan nama Anda untuk setiap versi rahasia yang disimpan di kluster Anda.

Buat satu SecretSync file YAML objek untuk setiap rahasia, mengikuti templat ini. Namespace Layanan Kubernetes harus cocok dengan namespace dari pencocokan SecretProviderClass.

cat <<EOF > ss.yaml
apiVersion: secret-sync.x-k8s.io/v1alpha1
kind: SecretSync
metadata:
  name: secret-sync-name                                  # Name of the object; must be unique per Kubernetes namespace
  namespace: ${KUBERNETES_NAMESPACE}                      # Kubernetes namespace
spec:
  serviceAccountName: ${SERVICE_ACCOUNT_NAME}             # The Kubernetes service account to be given permissions to access the secret.
  secretProviderClassName: secret-provider-class-name     # The name of the matching SecretProviderClass with the configuration to access the AKV storing this secret
  secretObject:
    type: Opaque
    data:
    - sourcePath: ${KEYVAULT_SECRET_NAME}/0                # Name of the secret in Azure Key Vault with an optional version number (defaults to latest)
      targetKey: ${KEYVAULT_SECRET_NAME}-data-key0         # Target name of the secret in the Kubernetes secret store (must be unique)
    - sourcePath: ${KEYVAULT_SECRET_NAME}/1                # [optional] Next version of the AKV secret. Note that versions of the secret must match the configured objectVersionHistory in the secrets provider class 
      targetKey: ${KEYVAULT_SECRET_NAME}-data-key1         # [optional] Next target name of the secret in the K8s secret store
EOF

Menerapkan CR konfigurasi

Terapkan sumber daya kustom konfigurasi (CR) menggunakan kubectl apply perintah :

kubectl apply -f ./spc.yaml
kubectl apply -f ./ss.yaml

SSE secara otomatis mencari rahasia dan mulai menyinkronkannya ke kluster.

Lihat opsi konfigurasi

Untuk melihat opsi konfigurasi tambahan untuk dua jenis sumber daya kustom ini, gunakan kubectl describe perintah untuk memeriksa CRD di kluster:

# Get the name of any applied CRD(s)
kubectl get crds -o custom-columns=NAME:.metadata.name

# View the full configuration options and field parameters for a given CRD
kubectl describe crd secretproviderclass
kubectl describe crd secretsync

Mengamati rahasia yang disinkronkan ke kluster

Setelah konfigurasi diterapkan, rahasia mulai disinkronkan ke kluster secara otomatis pada irama yang ditentukan saat menginstal SSE.

Menampilkan rahasia yang disinkronkan

Lihat rahasia yang disinkronkan ke kluster dengan menjalankan perintah berikut:

# View a list of all secrets in the namespace
kubectl get secrets -n ${KUBERNETES_NAMESPACE}

# View details of all secrets in the namespace
kubectl get secrets -n ${KUBERNETES_NAMESPACE} -o yaml

Menampilkan status sinkronisasi terakhir

Untuk melihat status sinkronisasi terbaru untuk rahasia tertentu, gunakan kubectl describe perintah untuk SecretSync objek . Output mencakup tanda waktu pembuatan rahasia, versi rahasia, dan pesan status terperinci untuk setiap peristiwa sinkronisasi. Output ini dapat digunakan untuk mendiagnosis kesalahan koneksi atau konfigurasi, dan untuk mengamati kapan nilai rahasia berubah.

kubectl describe secretsync secret-sync-name -n ${KUBERNETES_NAMESPACE}

Menampilkan nilai rahasia

Untuk melihat nilai rahasia yang disinkronkan, yang sekarang disimpan di penyimpanan rahasia Kubernetes, gunakan perintah berikut:

kubectl get secret secret-sync-name -n ${KUBERNETES_NAMESPACE} -o jsonpath="{.data.${KEYVAULT_SECRET_NAME}-data-key0}" | base64 -d
kubectl get secret secret-sync-name -n ${KUBERNETES_NAMESPACE} -o jsonpath="{.data.${KEYVAULT_SECRET_NAME}-data-key1}" | base64 -d

Pemecahan Masalah

SSE adalah penyebaran Kubernetes yang berisi pod dengan dua kontainer: pengontrol, yang mengelola penyimpanan rahasia di kluster, dan penyedia, yang mengelola akses ke, dan menarik rahasia dari, Azure Key Vault. Setiap rahasia yang disinkronkan memiliki SecretSync objek yang berisi status sinkronisasi rahasia itu dari Azure Key Vault ke penyimpanan rahasia kluster.

Untuk memecahkan masalah, mulailah dengan melihat status SecretSync objek, seperti yang dijelaskan dalam Menampilkan status sinkronisasi terakhir. Tabel berikut ini mencantumkan jenis status umum, maknanya, dan potensi langkah pemecahan masalah untuk mengatasi kesalahan.

Menghapus SSE

Untuk menghapus SSE dan berhenti menyinkronkan rahasia, hapus instalannya az k8s-extension delete dengan perintah :

az k8s-extension delete --name ssarcextension --cluster-name $CLUSTER_NAME  --resource-group $RESOURCE_GROUP  --cluster-type connectedClusters    

Menghapus instalan ekstensi tidak menghapus rahasia, SecretSync objek, atau CRD dari kluster. Objek-objek ini harus dihapus langsung dengan kubectl.

Menghapus SecretSync CRD menghapus semua SecretSync objek, dan secara default menghapus semua rahasia yang dimiliki, tetapi rahasia dapat bertahan jika:

• Anda memodifikasi kepemilikan rahasia apa pun.
• Anda mengubah pengaturan pengumpulan sampah di kluster Anda, termasuk mengatur finalizer yang berbeda.

Dalam kasus di atas, rahasia harus dihapus secara langsung menggunakan kubectl.

Langkah berikutnya

• Pelajari selengkapnya tentang ekstensi Azure Arc.
• Pelajari lebih lanjut tentang Azure Key Vault.