Azure HPC Cache-adatok betöltése – msrsync metódus
Ez a cikk részletes útmutatást nyújt az adatok Azure Blob Storage-tárolóba való másolásához a msrsync
segédprogram használatával az Azure HPC Cache-hez való használatra.
Ha többet szeretne tudni az adatok Azure HPC Cache-hez való Blob Storage-ba való áthelyezéséről, olvassa el az Adatok áthelyezése az Azure Blob Storage-ba című cikket.
Az msrsync
eszköz segítségével adatokat helyezhet át az Azure HPC Cache háttérbeli tárolóhelyére. Ez az eszköz több párhuzamos rsync
folyamat futtatásával optimalizálja a sávszélesség-használatot. Elérhető a GitHubon a következő címen https://github.com/jbd/msrsync: .
msrsync
a forráskönyvtárat külön "gyűjtőkre" bontja, majd mindegyik gyűjtőn futtatja az egyes rsync
folyamatokat.
A négymagos virtuális gép előzetes tesztelése a legjobb hatékonyságot mutatta 64 folyamat használatakor. msrsync
A beállítással -p
a folyamatok számát 64-esre állíthatja.
Vegye figyelembe, hogy msrsync
csak helyi kötetekre és kötetekről tud írni. A forrásnak és a célnak elérhetőnek kell lennie helyi csatlakoztatásként a parancs kiadásához használt munkaállomáson.
Kövesse az alábbi utasításokat az msrsync
Azure Blob Storage azure HPC Cache-sel való feltöltéséhez:
Telepítés
msrsync
és annak előfeltételei (rsync
és a Python 2.6-os vagy újabb verziói)Határozza meg a másolandó fájlok és könyvtárak teljes számát.
Használja például a segédprogramot
prime.py
argumentumokkalprime.py --directory /path/to/some/directory
(letölthető https://github.com/Azure/Avere/blob/main/src/clientapps/dataingestor/prime.py).Ha nem használja
prime.py
, a GNUfind
eszközzel az alábbi módon számíthatja ki az elemek számát:find <path> -type f |wc -l # (counts files) find <path> -type d |wc -l # (counts directories) find <path> |wc -l # (counts both)
A folyamatonkénti elemek számának meghatározásához ossza el az elemek számát 64-sel. Ezzel a
-f
számmal beállíthatja a gyűjtők méretét a parancs futtatásakor.A fájlok másolásához adja ki a
msrsync
parancsot:msrsync -P --stats -p64 -f<ITEMS_DIV_64> --rsync "-ahv --inplace" <SOURCE_PATH> <DESTINATION_PATH>
Ez a parancs például úgy lett kialakítva, hogy 64 folyamat 11 000 fájlját helyezze át a /test/source-adattárból az /mnt/hpccache/adattárba:
mrsync -P --stats -p64 -f170 --rsync "-ahv --inplace" /test/source-repository/ /mnt/hpccache/repository