Apache Spark uygulaması ayrıntı izleme
Microsoft Fabric ile Apache Spark'ı kullanarak çalışma alanınızda not defterlerini, işleri ve diğer uygulama türlerini çalıştırabilirsiniz. Bu makalede Apache Spark uygulamanızın nasıl izleneceği açıklanır ve işlerinizin son çalıştırma durumunu, sorunlarını ve ilerleme durumunu takip edebilirsiniz.
Apache Spark uygulamalarını görüntüleme
Tüm Apache Spark uygulamalarını Spark iş tanımından görüntüleyebilirsiniz veya not defteri öğesi bağlam menüsünde son çalıştırma seçeneği ->Son çalıştırmalar gösterilir.
Görüntülemek istediğiniz uygulamanın adını uygulama listesinden seçebilir, uygulama ayrıntıları sayfasında uygulama ayrıntılarını görüntüleyebilirsiniz.
Apache Spark uygulama durumunu izleme
Not defterinin veya Spark iş tanımının Son çalıştırmalar sayfasını açın, Apache uygulamasının durumunu görüntüleyebilirsiniz.
- Başarılı
- Kuyruğa alındı
- Durduruldu
- İptal edildi
- Başarısız
İşler
Spark iş tanımından veya not defteri>
Apache Spark uygulama izleme ayrıntıları sayfasında, iş çalıştırmaları listesi İşler sekmesinde görüntülenir. İş Kimliği, Açıklama, Durum, Aşamalar, Görevler, Süre, İşlenen, Veri okuma, Yazılan veriler ve Kod parçacığı gibi her işin ayrıntılarını burada görüntüleyebilirsiniz.
- İş Kimliği'ne tıklanması işi genişletebilir/daraltabilir.
- İş açıklamasına tıklayın, spark kullanıcı arabiriminde iş veya aşama sayfasına atlayabilirsiniz.
- İş Kodu parçacığına tıklayın, bu işle ilgili kodu denetleyip kopyalayabilirsiniz.
Kaynaklar
Kaynakları sekmesinin altındaki yürütücü kullanım grafiği, Spark yürütmesi sırasında geçerli Spark uygulaması için Spark yürütücülerinin neredeyse gerçek zamanlı olarak ayrılmasını ve kullanımını görselleştirir. Şu kaynaklara başvurabilirsiniz: Apache Spark Uygulamalarını İzleme için Kaynak Kullanımı.
Özet paneli
Apache Spark uygulama izleme sayfasında Özellikler düğmesine tıklayarak özet panelini açın/daraltın. Bu uygulamanın ayrıntılarını Ayrıntılar'da görüntüleyebilirsiniz.
- Bu spark uygulamasının durumu.
- Bu Spark uygulamasının kimliği.
- Toplam süre.
- Bu Spark uygulaması için çalışma süresi.
- Bu spark uygulaması için kuyruğa alınan süre.
- Livy Kimliği
- Bu Spark uygulaması için gönderici.
- Bu Spark uygulaması için zaman gönderin.
- Yürütücü sayısı.
Günlükler
Günlükler sekmesinde Livy, Prelaunch, Sürücü günlüğünün tam günlüğünü, sol panelde farklı seçenekler seçili olarak görüntüleyebilirsiniz. Ayrıca, anahtar sözcükleri arayarak gerekli günlük bilgilerini doğrudan alabilir ve günlük durumunu filtreleyerek günlükleri görüntüleyebilirsiniz. Günlük bilgilerini yerel ortama indirmek için Günlüğü İndir'e tıklayın.
Bazen işin durumu kuyruğa alınmış ve küme oluşturma başarısız olmuş gibi günlükler kullanılamaz.
Canlı günlükler yalnızca uygulama gönderimi başarısız olduğunda kullanılabilir ve sürücü günlükleri de sağlanır.
Veri
Veri sekmesi için panodaki veri listesini kopyalayabilir, veri listesini ve tek verileri indirebilir ve her verinin özelliklerini de kontrol edebilirsiniz.
- Sol panel genişletilebilir veya daraltılabilir.
- Giriş ve çıkış dosyalarının adı, okuma biçimi, boyutu, kaynağı ve yolu bu listede görüntülenir.
- Giriş ve çıkıştaki dosyalar indirilebilir, yolu kopyalayabilir ve özellikleri görüntüleyebilir.
Öğe anlık görüntüleri
Öğe anlık görüntüleri sekmesi Not Defterleri, Spark iş tanımı ve/veya İşlem Hatları gibi Apache Spark uygulamasıyla ilişkili öğelere göz atmanızı ve görüntülemenizi sağlar. Öğe anlık görüntüleri sayfası, Not Defterleri için yürütme sırasında kodun ve parametre değerlerinin anlık görüntüsünü görüntüler. Ayrıca Spark iş tanımları için gönderim sırasında tüm ayarların ve parametrelerin anlık görüntüsünü gösterir. Apache Spark uygulaması bir işlem hattıyla ilişkilendirilmişse, ilgili öğe sayfasında ilgili işlem hattı ve Spark etkinliği de gösterilir.
Öğe anlık görüntüleri ekranında şunları yapabilirsiniz:
- Hiyerarşik ağaçtaki ilgili öğelere göz atın ve bu öğelerde gezinin.
- Farklı eylemler yapmak için her öğe için 'Diğer eylemlerin listesi' üç nokta simgesine tıklayın.
- İçeriğini görüntülemek için anlık görüntü öğesine tıklayın.
- Seçili öğeden köke giden yolu görmek için İçerik Haritası'nı görüntüleyin.
Not
Not Defteri anlık görüntüleri özelliği şu anda çalışır durumda veya yüksek eşzamanlılık Spark oturumunda olan not defterlerini desteklememektedir.
Tanılama
Tanılama paneli, kullanıcılara Spark Danışmanı tarafından kullanıcının kodunun analizi aracılığıyla oluşturulan gerçek zamanlı öneriler ve hata analizi sağlar. Yerleşik desenlerle Apache Spark Danışmanı, kullanıcıların yaygın hataları önlemesine yardımcı olur ve kök nedenlerini belirlemek için hataları analiz eder.
İlgili içerik
Apache Spark uygulamasının ayrıntılarını görüntüledikten sonraki adım, Spark işinin ilerleme durumunu Not Defteri hücresinin altında görüntülemektir. Şu ifadelere başvurabilirsiniz: