Aracılığıyla paylaş

Doku Çalışma Zamanı 1.3 (GA)

  • Makale

Doku çalışma zamanı, Azure ile sorunsuz bir tümleştirme sunar. Apache Spark kullanan hem veri mühendisliği hem de veri bilimi projeleri için gelişmiş bir ortam sağlar. Bu makalede, büyük veri hesaplamaları için en yeni çalışma zamanı olan Fabric Runtime 1.3'ün temel özelliklerine ve bileşenlerine genel bir bakış sağlanmaktadır.

Microsoft Fabric Runtime 1.3 en son GA çalışma zamanı sürümüdür ve veri işleme özelliklerinizi geliştirmek için tasarlanmış aşağıdaki bileşenleri ve yükseltmeleri içerir:

  • Apache Spark 3.5
  • İşletim Sistemi: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Gölü: 3.2
  • R: 4.4.1

İpucu

Fabric Runtime 1.3, ek maliyetler olmadan performansı önemli ölçüde geliştirebilen Yerel Yürütme Altyapısı desteği içerir. Yerel yürütme altyapısını ortamınızdaki tüm işlerde ve not defterlerinde etkinleştirmek için, ortam ayarlarınıza gidin, Spark işlemi'ni seçin, Hızlandırma sekmesine gidin ve Yerel yürütme altyapısını etkinleştir'i işaretleyin. Kaydedip yayımladıktan sonra bu ayar ortama uygulanır, böylece tüm yeni işler ve not defterleri otomatik olarak devralır ve gelişmiş performans özelliklerinden yararlanır.

Çalışma zamanı 1.3'i çalışma alanınızla tümleştirmek ve yeni özelliklerini kullanmak için aşağıdaki yönergeleri kullanın:

  1. Doku çalışma alanınızın içindeki Çalışma Alanı ayarları sekmesine gidin.
  2. Veri Madenciliği/Bilim sekmesine gidin ve Spark Ayarları'nı seçin.
  3. Ortam sekmesini seçin.
  4. Çalışma Zamanı Sürümleri'nin altında açılan listeyi genişletin.
  5. 1.3 (Spark 3.5, Delta 3.2) öğesini seçin ve değişikliklerinizi kaydedin. Bu eylem 1,3'i çalışma alanınız için varsayılan çalışma zamanı olarak ayarlar.

Çalışma zamanı sürümünün seçileceği yeri gösteren ekran görüntüsü.

Artık Doku çalışma zamanı 1.3'te (Spark 3.5 ve Delta Lake 3.2) sunulan en yeni iyileştirmeler ve işlevlerle çalışmaya başlayabilirsiniz.

Önemli noktalar

Apache Spark 3.5

Apache Spark 3.5.0 , 3.x serisinin altıncı sürümüdür. Bu sürüm, Jira'da kaydedildiği gibi 1.300'den fazla sorunu ele alan açık kaynak topluluğu içinde kapsamlı bir işbirliği ürünüdür.

Bu sürümde, yapılandırılmış akış için uyumluluk açısından bir yükseltme vardır. Ayrıca, bu sürüm PySpark ve SQL'de işlevselliği genişletmektedir. SQL tanımlayıcı yan tümcesi, SQL işlev çağrılarındaki adlandırılmış bağımsız değişkenler ve HyperLogLog yaklaşık toplamaları için SQL işlevlerinin eklenmesi gibi özellikler ekler. Diğer yeni özellikler arasında Python kullanıcı tanımlı tablo işlevleri, DeepSpeed aracılığıyla dağıtılmış eğitimin basitleştirilmesi ve filigran yayma ve dropDuplicatesWithinWatermark işlemi gibi yeni yapılandırılmış akış özellikleri yer alır.

Tam listeyi ve ayrıntılı değişiklikleri burada kontrol edebilirsiniz: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.2, Delta Lake'i farklı biçimlerde birlikte çalışabilir, daha kolay çalışılabilir ve daha yüksek performanslı hale getirmek için kolektif bir taahhüdü işaret ediyor. Delta Spark 3.2, Apache Spark 3.5'in üzerine kurulmuştur.™ Delta Spark maven yapıtı delta-core'dan delta-spark olarak yeniden adlandırıldı.

Tam listeyi ve ayrıntılı değişiklikleri burada kontrol edebilirsiniz: https://docs.delta.io/3.2.0/index.html.

İpucu

Güncel bilgiler, değişikliklerin ayrıntılı listesi ve Doku çalışma zamanları için belirli sürüm notları için Spark Çalışma Zamanları Yayınları ve Güncelleştirmeleri'ne göz atın ve abone olun.

İlgili içerik