Delta Lake ile verilerin üzerine seçmeli olarak yazma
Azure Databricks, seçmeli üzerine yazma işlemleri için iki farklı seçeneği desteklemek üzere Delta Lake işlevselliğinden yararlanmaktadır:
- seçeneği,
replaceWhere
belirli bir koşulla eşleşen tüm kayıtları atomik olarak değiştirir. - Dinamik bölüm üzerine yazma işlemleri kullanarak tabloların nasıl bölümlendiğine bağlı olarak veri dizinlerini değiştirebilirsiniz.
Çoğu işlemde Databricks, hangi verilerin üzerine yazılacağını belirtmek için kullanılmasını replaceWhere
önerir.
Önemli
Veri yanlışlıkla üzerine yazıldıysa, değişikliği geri almak için geri yükleme kullanabilirsiniz.
ile rastgele seçmeli üzerine yazma replaceWhere
Yalnızca rastgele bir ifadeyle eşleşen verilerin üzerine seçmeli olarak yazabilirsiniz.
Not
SQL için Databricks Runtime 12.2 LTS veya üzeri gerekir.
Aşağıdaki komut, start_date
tarafından bölümlenen hedef tabloda Ocak ayındaki olayları atomik olarak replace_data
içindeki verilerle değiştirir:
Python
(replace_data.write
.mode("overwrite")
.option("replaceWhere", "start_date >= '2017-01-01' AND end_date <= '2017-01-31'")
.table("events")
)
Scala
replace_data.write
.mode("overwrite")
.option("replaceWhere", "start_date >= '2017-01-01' AND end_date <= '2017-01-31'")
.table("events")
SQL
INSERT INTO TABLE events REPLACE WHERE start_date >= '2017-01-01' AND end_date <= '2017-01-31' SELECT * FROM replace_data
Bu örnek kod içindeki replace_data
verileri yazar, tüm satırların koşulla eşleştiğini doğrular ve semantik kullanarak overwrite
atomik değiştirme gerçekleştirir. İşlemdeki herhangi bir değer kısıtlamanın dışında kalırsa, bu işlem varsayılan olarak bir hatayla başarısız olur.
Bu davranışı koşul aralığındaki değerleri overwrite
ve belirtilen aralığın dışında kalan kayıtları insert
olarak değiştirebilirsiniz. Bunu yapmak için, aşağıdaki ayarlardan birini kullanarak spark.databricks.delta.replaceWhere.constraintCheck.enabled
false olarak ayarlayarak kısıtlama denetimini devre dışı bırakın:
Python
spark.conf.set("spark.databricks.delta.replaceWhere.constraintCheck.enabled", False)
Scala
spark.conf.set("spark.databricks.delta.replaceWhere.constraintCheck.enabled", false)
SQL
SET spark.databricks.delta.replaceWhere.constraintCheck.enabled=false
Eski davranış
Eski varsayılan davranış, yalnızca bölüm sütunlarına göre bir koşulla eşleşen verilerin üzerine replaceWhere
'nin verileri yazmasıydı. Bu eski modelle, aşağıdaki komut, date
ile bölümlenmiş hedef tablodaki Ocak ayını, df
içindeki verilerle atomik olarak değiştirir:
Python
(df.write
.mode("overwrite")
.option("replaceWhere", "birthDate >= '2017-01-01' AND birthDate <= '2017-01-31'")
.table("people10m")
)
Scala
df.write
.mode("overwrite")
.option("replaceWhere", "birthDate >= '2017-01-01' AND birthDate <= '2017-01-31'")
.table("people10m")
Eski davranışa geri dönmek istiyorsanız bayrağını spark.databricks.delta.replaceWhere.dataColumns.enabled
devre dışı bırakabilirsiniz:
Python
spark.conf.set("spark.databricks.delta.replaceWhere.dataColumns.enabled", False)
Scala
spark.conf.set("spark.databricks.delta.replaceWhere.dataColumns.enabled", false)
SQL
SET spark.databricks.delta.replaceWhere.dataColumns.enabled=false
Dinamik Bölümlerin Üzerine Yazılması
Önemli
Bu özellik Genel Önizlemededir.
Databricks Runtime 11.3 LTS ve üzeri, bölümlenmiş tablolar için dinamik bölüm üzerine yazma modunu
Dinamik bölüm üzerine yazma modundayken işlemler, yazma işleminin yeni verileri işlediği her mantıksal bölümdeki tüm mevcut verilerin üzerine yazar. Yazma işleminin veri içermediği mevcut mantıksal bölümler değişmeden kalır. Bu mod yalnızca veriler üzerine yazma modunda yazıldığında geçerlidir: SQL'de INSERT OVERWRITE
veya ile df.write.mode("overwrite")
bir DataFrame yazma.
Spark oturumu yapılandırmasını spark.sql.sources.partitionOverwriteMode
'dan dynamic
'e ayarlayarak dinamik bölüm üzerine yazma modunu etkinleştirin. Seçeneğini olarak ayarlayarak DataFrameWriter
partitionOverwriteMode
dynamic
da bunu etkinleştirebilirsiniz. Varsa, sorguya özgü seçenek oturum yapılandırmasında tanımlanan modu geçersiz kılar. için partitionOverwriteMode
varsayılan değeridir static
.
Önemli
Dinamik bölüm üzerine yazma ile yazılan verilerin yalnızca beklenen bölümlere dokunduğunu doğrulayın. Yanlış bölümdeki tek bir satır istemeden tüm bölümün üzerine yazılmasını sağlayabilir.
Aşağıdaki örnek, dinamik bölüm üzerine yazmaları kullanmayı gösterir:
SQL
SET spark.sql.sources.partitionOverwriteMode=dynamic;
INSERT OVERWRITE TABLE default.people10m SELECT * FROM morePeople;
Python
(df.write
.mode("overwrite")
.option("partitionOverwriteMode", "dynamic")
.saveAsTable("default.people10m")
)
Scala
df.write
.mode("overwrite")
.option("partitionOverwriteMode", "dynamic")
.saveAsTable("default.people10m")
Not
- Dinamik bölüme yazma, bölümlenmiş tablolar için
replaceWhere
seçeneğiyle çakışır.- Spark oturumu yapılandırmasında dinamik bölüm üzerine yazma etkinse ve
replaceWhere
DataFrameWriter
seçeneği olarak sağlanırsa, Delta Lake verilerireplaceWhere
ifadesine göre üzerine yazar (sorgu özelindeki seçenekler, oturum yapılandırmalarını geçersiz kılar). -
DataFrameWriter
seçeneklerinde hem dinamik bölüm üzerine yazma hem dereplaceWhere
etkinse bir hata alırsınız.
- Spark oturumu yapılandırmasında dinamik bölüm üzerine yazma etkinse ve
- Dinamik bölüm üzerine yazma kullanırken
true
olarakoverwriteSchema
belirtemezsiniz.