Aracılığıyla paylaş

Veri dosyası düzenini iyileştirme

  • Makale

Tahmine dayalı iyileştirme, Unity Kataloğu yönetilen tablolarında otomatik olarak OPTIMIZE çalıştırır. Databricks, veri bakımını basitleştirmek ve depolama maliyetlerini azaltmak için tüm Unity Kataloğu yönetilen tablolarında tahmine dayalı iyileştirmenin etkinleştirilmesini önerir. Bkz. Unity Kataloğu yönetilen tabloları için tahmine dayalı iyileştirme.

OPTIMIZE komutu, Delta tablolarının veri düzenini geliştirmek için veri dosyalarını yeniden yazar. Sıvı kümelemenin etkinleştirildiği tablolar için OPTIMIZE verileri sıvı kümeleme anahtarlarına göre gruplandırmak için veri dosyalarını yeniden yazar. Bölümleri tanımlanmış tablolar için, dosya sıkıştırma ve veri düzeni bölümler içinde gerçekleştirilir.

Sıvı kümeleme olmaksızın tablolar, isteğe bağlı olarak, yeniden yazmada veri kümelemeyi iyileştirmek için bir ZORDER BY yan tümcesi içerebilir. Databricks bölümler veya ZORDERdiğer veri düzeni yaklaşımları yerine sıvı kümeleme kullanılmasını önerir.

Bkz. OPTIMIZE.

Önemli

Databricks Runtime 16.0 ve üstü sürümlerde, sıvı kümeleme etkinleştirildiğinde tabloların yeniden kümelemelerini zorlamak için OPTIMIZE FULL ile kullanabilirsiniz. Tüm kayıtlar için zorla yeniden kümelemeye bakın.

Söz dizimi örnekleri

Şu komutu çalıştırarak sıkıştırmayı tetiklersiniz OPTIMIZE :

SQL

OPTIMIZE table_name

Python

from delta.tables import *
deltaTable = DeltaTable.forName(spark, "table_name")
deltaTable.optimize().executeCompaction()

Scala

import io.delta.tables._
val deltaTable = DeltaTable.forName(spark, "table_name")
deltaTable.optimize().executeCompaction()

Büyük miktarda veriniz varsa ve yalnızca bir alt kümesini iyileştirmek istiyorsanız, WHEREkullanarak isteğe bağlı bir bölüm koşulu belirtebilirsiniz:

SQL

OPTIMIZE table_name WHERE date >= '2022-11-18'

Python

from delta.tables import *
deltaTable = DeltaTable.forName(spark, "table_name")
deltaTable.optimize().where("date='2021-11-18'").executeCompaction()

Scala

import io.delta.tables._
val deltaTable = DeltaTable.forName(spark, "table_name")
deltaTable.optimize().where("date='2021-11-18'").executeCompaction()

Not

  • Paketleme iyileştirmesi aynı veri kümesinde iki kez çalıştırılırsa ikinci çalıştırmanın hiçbir etkisi olmayacağı anlamına gelir.
  • Kutu paketleme, disk üzerindeki boyutlarına göre eşit dengeli veri dosyaları oluşturmayı amaçlar, ancak dosya başına tanımlama grubu sayısı üretmesi gerekmez. Ancak, iki ölçü genellikle bağıntılı.
  • İşlemi yürütmek OPTIMIZE için Python ve Scala API'leri Databricks Runtime 11.3 LTS ve üzeri sürümleri tarafından kullanılabilir.

Delta tablolarının okuyucuları anlık görüntü yalıtımı kullanır, bu da OPTIMIZE işlem günlüğünden gereksiz dosyaları kaldırdığında kesintiye uğramadıkları anlamına gelir. OPTIMIZE tabloda veriyle ilgili hiçbir değişiklik yapmaz, bu nedenle bir OPTIMIZE önce ve sonra okunması aynı sonuçlara sahiptir. Akış kaynağı olan bir tabloda OPTIMIZE gerçekleştirmek, bu tabloyu kaynak olarak ele alan geçerli veya gelecekteki akışları etkilemez. OPTIMIZE kaldırılan dosyalar ve işlem tarafından eklenen dosyalar için dosya istatistiklerini (min, max, total vb.) döndürür. İyileştirme istatistikleri Z Sıralama istatistiklerini, toplu iş sayısını ve iyileştirilmiş bölümleri de içerir.

Küçük dosyaları otomatik sıkıştırmayı kullanarak da otomatik olarak sıkıştırabilirsiniz. Bkz. Azure Databricks'te Delta Lake için otomatik sıkıştırma.

Ne sıklıkta çalıştırmalıyım OPTIMIZE?

OPTIMIZE uygun maliyetli olduğunda otomatik olarak çalıştığından emin olmak için Unity Kataloğu yönetilen tabloları için tahmine dayalı iyileştirmeyi etkinleştirin.

çalıştırma sıklıklarını OPTIMIZEseçtiğinizde, performans ile maliyet arasında bir denge vardır. Daha iyi son kullanıcı sorgu performansı için daha sık çalıştırın OPTIMIZE . Artan kaynak kullanımı nedeniyle bu daha yüksek bir maliyete neden olur. Maliyeti iyileştirmek için daha az sıklıkta çalıştırın.

Databricks, günlük olarak çalıştırarak OPTIMIZE başlamanızı ve ardından maliyeti ve performans dengelemesini dengelemek için sıklığı ayarlamanızı önerir.

Çalıştırılacak OPTIMIZE en iyi örnek türü (bin-packing ve Z-Ordering) nedir?

Her iki işlem de büyük miktarlarda Parquet kod çözme ve kodlama yapan yoğun CPU kullanan işlemlerdir.

Databricks, İşlem için iyileştirilmiş örnek türlerini önerir. OPTIMIZE ekli SSD'lerden de yararlanır.