Lakehouse ve Delta Lake tabloları
Microsoft Fabric Lakehouse , yapılandırılmış ve yapılandırılmamış verileri tek bir konumda depolamak, yönetmek ve analiz etmek için kullanılan bir veri mimarisi platformudur. Microsoft Fabric'teki tüm işlem altyapılarında sorunsuz veri erişimi elde etmek için Delta Lake, birleşik tablo biçimi olarak seçilir.
Fabric Lakehouse'a veri yüklemenin yöntemlerini açıklayan Veri Yükleme Seçenekleri veya Tablolara Yükle gibi özellikleri kullanarak Lakehouse'a veri kaydedildiğinde, tüm veriler Delta formatında saklanır.
Delta Lake tablo biçimine daha kapsamlı bir giriş için Sonraki adımlar bölümündeki bağlantıları izleyin.
Büyük veri, Apache Spark ve eski tablo biçimleri
Microsoft Fabric Runtime for Apache Spark, Apache Spark için Azure Synapse Analytics Çalışma Zamanı ile aynı temeli kullanır, ancak Microsoft Fabric hizmetindeki tüm motorlarda daha tutarlı bir davranış sağlamak için önemli farklılıklar içerir. Microsoft Fabric'te temel performans özellikleri varsayılan olarak açıktır. Gelişmiş Apache Spark kullanıcıları, belirli senaryolarla daha iyi uyum sağlamak için yapılandırmaları önceki değerlere döndürebilir.
Microsoft Fabric Lakehouse ve Apache Spark altyapısı hem yönetilen hem de yönetilmeyen tüm tablo türlerini destekler; Bu görünümler ve Delta Hive olmayan normal tablo biçimlerini içerir. PARQUET, CSV, AVRO, JSON ve Apache Hive uyumlu herhangi bir dosya biçimi kullanılarak tanımlanan tablolar beklendiği gibi çalışır.
Lakehouse gezgini kullanıcı arabirimi deneyimi tablo türüne bağlı olarak değişir. Şu anda Lakehouse gezgini yalnızca tablo nesnelerini işler.
Azure Synapse Analytics ile yapılandırma farklılıkları
Aşağıdaki tabloda Azure Synapse Analytics ile Apache Spark için Microsoft Fabric Çalışma Zamanı arasındaki yapılandırma farklılıkları yer alır.
| Apache Spark yapılandırması | Microsoft Fabric değeri | Azure Synapse Analytics değeri | Notlar |
|---|---|---|---|
| spark.sql.sources.default | delta | parke | Varsayılan tablo biçimi |
| spark.sql.parquet.vorder.default | true | Yok | V-Order yazarı |
| spark.sql.parquet.vorder.dictionaryPageSize | 2 GB | Yok | V-Order için sözlük sayfa boyutu sınırı |
| spark.databricks.delta.optimizeWrite.enabled | doğru | temizle (false) | Yazmayı en iyi duruma getirme |
Tabloları otomatik bulma
Lakehouse gezgini, Microsoft Fabric Lakehouse öğesindeki nesnelerin ağaç benzeri bir görünümünü sağlar. Meta veri deposunda ve OneLake depolama alanında açıklanan tabloları bulma ve görüntüleme konusunda önemli bir özelliği vardır. Tablo başvuruları, Lakehouse gezgini kullanıcı arabirimindeki Tables bölümü altında görüntülenir. Otomatik bulma, OneLake kısayolları üzerinde tanımlanan tablolar için de geçerlidir.
Tablolar kısayollara tercih edilir
Microsoft Fabric Lakehouse, en yüksek uyumluluğu sağlamak ve veri taşımamak için OneLake kısayolları üzerinden tanımlanan tabloları destekler. Aşağıdaki tabloda, kısayollar üzerinden kullanılırken her öğe türü için en iyi senaryo yöntemleri yer alır.
| Kısayol hedefi | Kısayol nerede oluşturulur? | En iyi uygulama |
|---|---|---|
| Delta Lake tablosu |
Tables bölüm |
Hedefte birden çok tablo varsa, tablo başına bir kısayol oluşturun. |
| Dosya içeren klasörler |
Files bölüm |
Hedefi doğrudan göreli yolları kullanarak kullanmak için Apache Spark kullanın. Maksimum performans için verileri Lakehouse yerel Delta tablolarına yükleyin. |
| Eski Apache Hive tabloları |
Files bölüm |
Göreli yolları kullanarak hedefi doğrudan kullanmak için Apache Spark kullanın veya CREATE EXTERNAL TABLE söz dizimini kullanarak bir meta veri kataloğu başvurusu oluşturun. Maksimum performans için verileri Lakehouse yerel Delta tablolarına yükleyin. |
Tablolara Yükle
Microsoft Fabric Lakehouse, Delta tablolarına veri yüklemeyi kolaylaştırmak için kullanışlı ve üretken bir kullanıcı arabirimi sağlar. Tablolara Yükle özelliği, görsel deneyimlerin tüm kişiliklere analitik üretkenliği artırmak için ortak dosya biçimlerini Delta'ya yüklemesine olanak tanır. Tablolara Yükle özelliği hakkında ayrıntılı bilgi edinmek için Lakehouse Load to Tables başvuru belgelerini okuyun.
Delta Lake tablo iyileştirmesi
Geniş kapsamlı analiz senaryoları için tabloların formda tutulması küçük bir başarı değildir. Microsoft Fabric Lakehouse, sıkıştırma ve küçük dosya boyutları gibi büyük veri tablolarıyla ilişkili yaygın sorunları en aza indirmek ve sorgu performansını en üst düzeye çıkarmak için önemli parametreleri etkin bir şekilde etkinleştirir. Yine de, bu parametrelerin değişikliğe ihtiyaç duyduğu birçok senaryo vardır. Delta Lake tablo iyileştirmesi ve V-Order makalesi bazı önemli senaryoları kapsar ve delta tablolarını en yüksek performans için verimli bir şekilde koruma hakkında ayrıntılı bir kılavuz sağlar.