Azure HPC Önbelleği veri alma - msrsync yöntemi
Bu makalede, Azure HPC Önbelleği ile kullanılmak üzere azure blob depolama kapsayıcısına veri kopyalamak için yardımcı programını kullanmaya msrsync
yönelik ayrıntılı yönergeler verilmektedir.
Azure HPC Önbelleği'nizde verileri Blob depolamaya taşıma hakkında daha fazla bilgi edinmek için Bkz. Verileri Azure Blob depolamaya taşıma.
Araç, msrsync
Azure HPC Önbelleği için verileri arka uç depolama hedefine taşımak için kullanılabilir. Bu araç, birden çok paralel rsync
işlem çalıştırarak bant genişliği kullanımını iyileştirmek için tasarlanmıştır. GitHub'dan https://github.com/jbd/msrsyncadresinden edinilebilir.
msrsync
kaynak dizini ayrı "demetlere" ayırır ve ardından her demet üzerinde ayrı rsync
işlemler çalıştırır.
Dört çekirdekli bir VM kullanılarak yapılan ön test, 64 işlem kullanılırken en iyi verimliliği gösterdi. msrsync
İşlem sayısını 64 olarak ayarlamak için seçeneğini -p
kullanın.
msrsync
Yalnızca yerel birimlere ve yerel birimlerden yazabileceğinizi unutmayın. Kaynak ve hedefe, komutu vermek için kullanılan iş istasyonunda yerel bağlamalar olarak erişilebilir olmalıdır.
Azure Blob depolamayı Azure HPC Önbelleği ile doldurmak için şu msrsync
yönergeleri izleyin:
Yükleme
msrsync
ve önkoşulları (rsync
ve Python 2.6 veya üzeri)Kopyalanacak toplam dosya ve dizin sayısını belirleyin.
Örneğin, yardımcı programını
prime.py
bağımsız değişkenlerleprime.py --directory /path/to/some/directory
kullanın (indirerek https://github.com/Azure/Avere/blob/main/src/clientapps/dataingestor/prime.pykullanılabilir).kullanmıyorsanız
prime.py
, GNUfind
aracıyla öğe sayısını aşağıdaki gibi hesaplayabilirsiniz:find <path> -type f |wc -l # (counts files) find <path> -type d |wc -l # (counts directories) find <path> |wc -l # (counts both)
İşlem başına öğe sayısını belirlemek için öğe sayısını 64'e bölün. Komutu çalıştırdığınızda
-f
demetlerin boyutunu ayarlama seçeneğiyle birlikte bu sayıyı kullanın.msrsync
Dosyaları kopyalamak için komutunu çalıştırın:msrsync -P --stats -p64 -f<ITEMS_DIV_64> --rsync "-ahv --inplace" <SOURCE_PATH> <DESTINATION_PATH>
Örneğin, bu komut 64 işlemdeki 11.000 dosyayı /test/source-repository'den /mnt/hpccache/repository'e taşımak için tasarlanmıştır:
mrsync -P --stats -p64 -f170 --rsync "-ahv --inplace" /test/source-repository/ /mnt/hpccache/repository