Virtuális fájlrendszer csatlakoztatása Batch-készlethez

Az Azure Batch támogatja a Felhőtárhely vagy egy külső fájlrendszer csatlakoztatását Windows vagy Linux rendszerű számítási csomópontokon a Batch-készletekben. Amikor egy számítási csomópont csatlakozik a készlethez, a virtuális fájlrendszer csatlakozik, és helyi meghajtóként működik ezen a csomóponton. Ez a cikk bemutatja, hogyan csatlakoztathat virtuális fájlrendszert számítási csomópontok készletéhez a Batch Management Library for .NET használatával.

A fájlrendszer készlethez való csatlakoztatása egyszerűbbé és hatékonyabbá teszi az adatok elérését, mint az, hogy a feladatok saját adatokat kérjenek le egy nagy megosztott adatkészletből. Fontolja meg azt a forgatókönyvet, amelyben több tevékenységnek is hozzá kell férnie egy közös adatkészlethez, például egy film rendereléséhez. Minden feladat egyszerre egy vagy több képkockát jelenít meg a jelenetfájlból. A jelenetfájlokat tartalmazó meghajtó csatlakoztatásával minden számítási csomópont könnyebben hozzáférhet a megosztott adatokhoz.

Emellett kiválaszthatja a mögöttes fájlrendszert is, hogy megfeleljen a teljesítményre vonatkozó, teljes és bemeneti/kimeneti műveletek másodpercenkénti (IOPS) követelményeinek. A fájlrendszert egymástól függetlenül skálázhatja az adatokhoz egyidejűleg hozzáférő számítási csomópontok száma alapján.

Használhat például egy memóriabeli gyorsítótárban elosztott Avere vFXT-t a nagy méretű, több ezer egyidejű renderelési csomóponttal rendelkező, a helyszíni forrásadatokhoz hozzáférő renderelési csomópontok támogatásához. A felhőalapú blobtárolóban lévő adatok esetében a BlobFuse használatával helyi fájlrendszerként is csatlakoztathatja az adatokat. Az Azure Files a BlobFuse-hoz hasonló munkafolyamatot biztosít, és Windows és Linux rendszeren is elérhető.

Támogatott konfigurációk

A következő típusú fájlrendszereket csatlakoztathatja:

• Azure Files
• Azure Blob Storage
• Hálózati fájlrendszer (NFS), beleértve az Avere vFXT-gyorsítótárat
• Általános internetes fájlrendszer (CIFS)

A Batch a következő virtuális fájlrendszer-típusokat támogatja a csomópontügynökök számára, amelyek a megfelelő közzétevőhöz és ajánlathoz készültek.

Hálózati követelmények

Ha virtuális hálózatban batch-készletekkel rendelkező virtuális fájlcsatlakoztatásokat használ, tartsa szem előtt az alábbi követelményeket, és győződjön meg arról, hogy a szükséges forgalom nincs blokkolva. További információ: Batch-készletek egy virtuális hálózaton.

• Az Azure Files-megosztásokhoz meg kell nyitni a 445-ös TCP-portot a storage szolgáltatáscímke felé és onnan érkező forgalom számára. További információ: Azure-fájlmegosztás használata a Windowssal.

• Az Azure Blob-tárolóknak meg kell nyitniuk a 443-as TCP-portot a storage szolgáltatáscímke felé és onnan érkező forgalom számára. A virtuális gépeknek (virtuális gépeknek) hozzáféréssel https://packages.microsoft.com kell rendelkezniük a blobfuse csomagok letöltéséhez gpg . A konfigurációtól függően előfordulhat, hogy más URL-címekhez is hozzá kell férnie.

• A hálózati fájlrendszernek (NFS) alapértelmezés szerint hozzá kell férnie a 2049-s porthoz. Előfordulhat, hogy a konfiguráció más követelményekkel is rendelkezik. A virtuális gépeknek hozzáféréssel kell rendelkezniük a megfelelő csomagkezelőhöz a nfs-common (Debian vagy Ubuntu) csomagok letöltéséhez. Az URL-cím az operációs rendszer verziójától függően változhat. A konfigurációtól függően előfordulhat, hogy más URL-címekhez is hozzá kell férnie.

  Az Azure Blob vagy az Azure Files NFS-n keresztüli csatlakoztatása további hálózati követelményekkel járhat. Előfordulhat például, hogy a számítási csomópontoknak ugyanazt a virtuális hálózati alhálózatot kell használniuk, mint a tárfiók.

• A gyakori internetes fájlrendszerhez (CIFS) hozzá kell férnie a 445-ös TCP-porthoz. A virtuális gépeknek hozzáféréssel kell rendelkezniük a megfelelő csomagkezelőhöz a cifs-utils csomag letöltéséhez. Az URL-cím az operációs rendszer verziójától függően változhat.

Konfiguráció és megvalósítás csatlakoztatása

Ha virtuális fájlrendszert csatlakoztat egy készlethez, a fájlrendszer elérhetővé válik a készlet összes számítási csomópontja számára. A fájlrendszer konfigurációja akkor történik, ha egy számítási csomópont csatlakozik egy készlethez, újraindul vagy újraépül.

Ha fájlrendszert szeretne csatlakoztatni egy készlethez, hozzon létre egy MountConfiguration objektumot, amely megfelel a virtuális fájlrendszernek: AzureBlobFileSystemConfiguration, AzureFileShareConfiguration, NfsMountConfigurationvagy CifsMountConfiguration.

Minden csatlakoztatási konfigurációs objektumnak a következő alapparaméterekre van szüksége. Egyes csatlakoztatási konfigurációk adott paraméterekkel rendelkeznek az adott fájlrendszerhez, amelyeket a kód példái részletesebben mutatnak be.

• A tárfiók fiókneve vagy forrása .

• Relatív csatlakoztatási útvonal vagy forrás, a számítási csomóponton csatlakoztatni kívánt fájlrendszer helye a standard \fsmounts könyvtárhoz viszonyítva, amelyen keresztül AZ_BATCH_NODE_MOUNTS_DIRelérhető.

  A pontos \fsmounts könyvtár helye a csomópont operációs rendszerétől függően változik. Egy Ubuntu-csomópont helye például mnt\batch\tasks\fsmounts lesz.

• Csatlakoztatási beállítások vagy BlobFuse-beállítások , amelyek a fájlrendszer csatlakoztatásának adott paramétereit írják le.

A készlet és az MountConfiguration objektum létrehozásakor hozzárendeli az objektumot a MountConfigurationList tulajdonsághoz. A fájlrendszer csatlakoztatása akkor történik, ha egy csomópont csatlakozik a készlethez, újraindul vagy újraépül.

A Batch-ügynök másképpen implementálja a csatlakoztatást Windows és Linux rendszeren.

• Linux rendszeren a Batch telepíti a csomagot cifs-utils. Ezután a Batch kiadja a csatlakoztatási parancsot.

• Windows rendszeren a Batch a Batch-fiók hitelesítő adatainak hozzáadását használja cmdkey . Ezután a Batch kiadja a csatlakoztatási parancsot net use. Példa:

  net use S: \\<storage-account-name>.file.core.windows.net\<fileshare> /u:AZURE\<storage-account-name> <storage-account-key>
  

A fájlrendszer csatlakoztatása létrehoz egy környezeti változót AZ_BATCH_NODE_MOUNTS_DIR, amely a csatlakoztatott fájlrendszer és naplófájlok helyére mutat. A naplófájlokat hibaelhárításhoz és hibakereséshez használhatja.

Azure Files-megosztás csatlakoztatása a PowerShell-lel

Az Azure PowerShell használatával Azure Files-megosztásokat csatlakoztathat Windows- vagy Linux Batch-készlethez. Az alábbi eljárás végigvezeti egy Azure-fájlmegosztási fájlrendszer konfigurálásával és csatlakoztatásával egy Batch-készleten.

Előfeltételek

• Egy Azure-fiók, aktív előfizetéssel.
• Az Azure PowerShell telepítve van, vagy használja az Azure Cloud Shellt , és válassza a PowerShellt a felülethez.
• Meglévő Batch-fiók egy csatolt Azure Storage-fiókkal, amely rendelkezik fájlmegosztással.

cmd /c "more S:\folder1\out.txt & timeout /t 90 > NULL"

cmdkey /add:"<storage-account-name>.file.core.windows.net" /user:"Azure\<storage-account-name>" /pass:"<storage-account-key>"

/bin/bash -c 'more $AZ_BATCH_NODE_MOUNTS_DIR/S/folder1/out.txt; sleep 20s'

Csatlakoztatási problémák elhárítása

Ha egy csatlakoztatási konfiguráció meghiúsul, a számítási csomópont meghibásodik, és a csomópont állapota használhatatlanná van állítva. A csatlakoztatás konfigurációs hibáinak diagnosztizálásához vizsgálja meg a ComputeNodeError tulajdonságot a hibával kapcsolatos részletekért.

Ha naplófájlokat szeretne lekérni a hibakereséshez, az OutputFiles API-val feltöltheti a *.log fájlokat. A *.log fájlok információkat tartalmaznak a hely fájlrendszer-csatlakoztatásáról AZ_BATCH_NODE_MOUNTS_DIR . A csatlakoztatási naplófájlok formátuma: <type-mountDirOrDrive><>.log minden csatlakoztatáshoz. Például egy CIFS-csatlakoztatás egy teszt nevű csatlakoztatási könyvtárban a következő nevű csatlakoztatási naplófájllal rendelkezik: cifs-test.log.

Csatlakoztatási hibák vizsgálata

A fájlrendszer-csatlakoztatásokhoz tartozó naplófájlok ellenőrzéséhez RDP-t vagy SSH-t is használhat a csomóponthoz. Az alábbi példahiba akkor lehetséges, ha Azure-fájlmegosztást próbál csatlakoztatni egy Batch-csomóponthoz:

Mount Configuration Error | An error was encountered while configuring specified mount(s)
Message: System error (out of memory, cannot fork, no more loop devices)
MountConfigurationPath: S

Ha ezt a hibát kapja, rdp vagy SSH érkezik a csomópontra a kapcsolódó naplófájlok ellenőrzéséhez. A Batch-ügynök eltérően valósítja meg a csatlakoztatást Windows és Linux for Azure-fájlmegosztásokon. Linux rendszeren a Batch telepíti a csomagot cifs-utils. Ezután a Batch kiadja a csatlakoztatási parancsot. Windows rendszeren a Batch a Batch-fiók hitelesítő adatainak hozzáadását használja cmdkey . Ezután a Batch kiadja a csatlakoztatási parancsot net use. Példa:

net use S: \\<storage-account-name>.file.core.windows.net\<fileshare> /u:AZURE\<storage-account-name> <storage-account-key>

Ha nem tudja RDP-vel vagy SSH-val ellenőrizni a naplófájlokat a csomóponton, feltöltheti a naplókat az Azure Storage-fiókjába. Ezt a módszert Windows- és Linux-naplókhoz is használhatja.

1. Az Azure Portalon keresse meg és válassza ki a készletet tartalmazó Batch-fiókot.

2. A Batch-fiók lapon válassza a Bal oldali navigációs sáv Készletek elemét .

3. A Készletek lapon válassza ki a készlet nevét.

4. A készlet oldalán válassza a Csomópontok lehetőséget a bal oldali navigációs sávon.

5. A Csomópontok lapon válassza ki a csomópont nevét.

6. A csomópont oldalán válassza a Kötegnaplók feltöltése lehetőséget.

7. A Kötegnaplók feltöltése panelen válassza a Tároló kiválasztása lehetőséget.

8. A Tárfiókok lapon válasszon ki egy tárfiókot.

9. A Tárolók lapon válassza ki vagy hozzon létre egy tárolót a fájlok feltöltéséhez, majd válassza a Kiválasztás lehetőséget.

10. Válassza a Feltöltés indítása lehetőséget.

11. Amikor a feltöltés befejeződött, töltse le a fájlokat, és nyissa meg a agent-debug.log.

12. Tekintse át a hibaüzeneteket, például:

    ..20210322T113107.448Z.00000000-0000-0000-0000-000000000000.ERROR.agent.mount.filesystems.basefilesystem.basefilesystem.py.run_cmd_persist_output_async.59.2912.MainThread.3580.Mount command failed with exit code: 2, output:
    
    CMDKEY: Credential added successfully.
    
    System error 86 has occurred.
    
    The specified network password is not correct.
    

13. A probléma elhárítása az Azure-fájlmegosztások hibaelhárítójának használatával.

Fájlmegosztás manuális csatlakoztatása a PowerShell-lel

Ha nem tudja diagnosztizálni vagy kijavítani a csatlakoztatási hibákat, a PowerShell használatával manuálisan csatlakoztathatja a fájlmegosztást.

Példa csatlakoztatási konfigurációkra

Az alábbi példakódkonfigurációk bemutatják a különböző fájlmegosztási rendszerek számítási csomópontok készletéhez való csatlakoztatását.

Azure Files-megosztás

Az Azure Files a standard Azure-felhőbeli fájlrendszer-ajánlat. Az alábbi konfiguráció csatlakoztat egy Azure Files-megosztást <file-share-name> az S-meghajtóhoz . A példában szereplő paraméterekkel kapcsolatos információkért lásd : SMB Azure-fájlmegosztás csatlakoztatása Windows rendszeren vagy NFS Azure-fájlmegosztás létrehozása és csatlakoztatása Linux rendszerű virtuális gépre az Azure Portal használatával.

new PoolAddParameter
{
    Id = poolId,
    MountConfiguration = new[]
    {
        new MountConfiguration
        {
            AzureFileShareConfiguration = new AzureFileShareConfiguration
            {
                AccountName = "<storage-account-name>",
                AzureFileUrl = "https://<storage-account-name>.file.core.windows.net/<file-share-name>",
                AccountKey = "<storage-account-key>",
                RelativeMountPath = "S",
                MountOptions = "-o vers=3.0,dir_mode=0777,file_mode=0777,sec=ntlmssp"
            },
        }
    }
}

Azure Blob-tároló

Egy másik lehetőség az Azure Blob Storage használata a BlobFuse használatával. A blob fájlrendszer csatlakoztatásához fiókkulcsra, közös hozzáférésű jogosultságkódra (SAS) vagy felügyelt identitásra van szükség a tárfiókhoz való hozzáféréssel.

A kulcsok vagy identitások lekéréséről az alábbi cikkekben olvashat:

• Tárfiók hozzáférési kulcsának kezelése

• Korlátozott hozzáférés engedélyezése az Azure Storage-erőforrásokhoz közös hozzáférésű jogosultságkódokkal

• Felügyelt identitások konfigurálása a Batch-készletekben

  Tipp.

  Felügyelt identitás használata esetén győződjön meg arról, hogy az identitás hozzá lett rendelve a készlethez , hogy az elérhető legyen a csatlakoztatást végző virtuális gépen. Az identitásnak a Storage Blob Data Közreműködő szerepkörével is rendelkeznie kell.

Az alábbi konfiguráció blob fájlrendszert csatlakoztat a BlobFuse beállításaival. Illusztrációs célokra a példa azt mutatjaAccountKeySasKey, és IdentityReference, de valójában csak egy ilyen metódust adhat meg.

new PoolAddParameter
{
    Id = poolId,
    MountConfiguration = new[]
    {
        new MountConfiguration
        {
            AzureBlobFileSystemConfiguration = new AzureBlobFileSystemConfiguration
            {
                AccountName = "<storage-account-name>",
                ContainerName = "<container-name>",
                // Use only one of the following three lines:
                AccountKey = "<storage-account-key>",
                SasKey = "<sas-key>",
                IdentityReference = new ComputeNodeIdentityReference("/subscriptions/<subscription>/resourceGroups/<resource-group>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<identity-name>"),
                RelativeMountPath = "<relative-mount-path>",
                BlobfuseOptions = "-o attr_timeout=240 -o entry_timeout=240 -o negative_timeout=120 "
            },
        }
    }
}

Ha alapértelmezett hozzáférést szeretne kapni a BlobFuse csatlakoztatott könyvtárához, futtassa a feladatot rendszergazdaként. A BlobFuse a címtárat a felhasználói helyen csatlakoztatja, a készlet létrehozásakor pedig gyökérként csatlakoztatja a könyvtárat. Linuxon az összes rendszergazdai feladat gyökérszintű. A FUSE referenciaoldala a FUSE modul összes beállítását ismerteti.

A BlobFuse használatával kapcsolatos további információkért és tippekért tekintse meg az alábbi hivatkozásokat:

• Blobfuse2 projekt
• Blobfuse – Hibaelhárítás – gyakori kérdések
• GitHub-problémák az azure-storage-fuse adattárban

NFS

NFS-megosztásokat csatlakoztathat készletcsomópontokhoz, hogy a Batch hozzáférhessen a hagyományos fájlrendszerekhez. A beállítás lehet egyetlen, a felhőben üzembe helyezett NFS-kiszolgáló vagy egy virtuális hálózaton keresztül elért helyszíni NFS-kiszolgáló. Az NFS-csatlakoztatások támogatják az Avere vFXT-t, amely elosztott memóriabeli gyorsítótár az adatintenzív nagy teljesítményű számítási (HPC) feladatokhoz. Az NFS-csatlakoztatások más szabványos NFS-kompatibilis interfészeket is támogatnak, például az Azure Blobhoz készült NFS-t és az Azure Fileshoz készült NFS-t.

Az alábbi példa egy NFS fájlrendszer-csatlakoztatás konfigurációját mutatja be:

new PoolAddParameter
{
    Id = poolId,
    MountConfiguration = new[]
    {
        new MountConfiguration
        {
            NfsMountConfiguration = new NFSMountConfiguration
            {
                Source = "<source>",
                RelativeMountPath = "<relative-mount-path>",
                MountOptions = "options ver=3.0"
            },
        }
    }
}

CIFS

A CIFS készletcsomópontokhoz való csatlakoztatása egy másik módja annak, hogy hozzáférést biztosítson a hagyományos fájlrendszerekhez. A CIFS egy fájlmegosztási protokoll, amely nyílt és platformfüggetlen mechanizmust biztosít a hálózati kiszolgáló fájljainak és szolgáltatásainak lekéréséhez. A CIFS az internetes és intranetes fájlmegosztáshoz használt SMB protokoll továbbfejlesztett verzióján alapul.

Az alábbi példa egy CIFS-fájl csatlakoztatásának konfigurációját mutatja be.

new PoolAddParameter
{
    Id = poolId,
    MountConfiguration = new[]
    {
        new MountConfiguration
        {
            CifsMountConfiguration = new CIFSMountConfiguration
            {
                Username = "<storage-account-name>",
                RelativeMountPath = "<relative-mount-path>",
                Source = "<source>",
                Password = "<storage-account-key>",
                MountOptions = "-o vers=3.0,dir_mode=0777,file_mode=0777,serverino,domain=<domain-name>"
            },
        }
    }
}

Következő lépések

• Azure Files-megosztás csatlakoztatása a Windowshoz
• Azure Files-megosztás csatlakoztatása Linux használatával
• Blobfuse2 – A Microsoft által támogatott Azure Storage FUSE-illesztőprogram
• A hálózati fájlrendszer áttekintése
• A Microsoft SMB protokoll és a CIFS-protokoll áttekintése