Ustawienia konfiguracji obliczeń platformy Spark w środowiskach sieci szkieletowej
Środowisko inżynierii danych i nauki o danych w usłudze Microsoft Fabric działa na w pełni zarządzanej platformie obliczeniowej Spark. Ta platforma została zaprojektowana w celu zapewnienia niezrównanej szybkości i wydajności. Obejmuje ona pule początkowe i pule niestandardowe.
Środowisko Fabric zawiera kolekcję konfiguracji, w tym właściwości obliczeniowe Spark, które umożliwiają użytkownikom konfigurowanie sesji Spark po dołączeniu ich do notesów i zadań Spark. W środowisku masz elastyczny sposób dostosowywania konfiguracji obliczeniowych na potrzeby uruchamiania zadań platformy Spark. W środowisku sekcja obliczeniowa umożliwia skonfigurowanie właściwości poziomu sesji platformy Spark w celu dostosowania pamięci i rdzeni funkcji wykonawczych na podstawie wymagań dotyczących obciążenia. Właściwości platformy Spark ustawiane za pomocą spark.conf.set kontrolują parametry na poziomie aplikacji i nie są powiązane ze zmiennymi środowiskowymi.
Administratorzy obszaru roboczego mogą włączać lub wyłączać dostosowania konfiguracji obliczeń za pomocą przełącznika Dostosowywanie konfiguracji obliczeniowych dla elementów na karcie Pula w sekcji Danych Inżynierii/Nauk w ekranie ustawień obszaru roboczego .
Administratorzy obszaru roboczego mogą delegować członków i współpracowników do zmiany domyślnych konfiguracji obliczeniowych dotyczących poziomu sesji w środowisku Fabric, włączając to ustawienie.
Jeśli administrator obszaru roboczego wyłączy tę opcję w ustawieniach obszaru roboczego, sekcja obliczeniowa środowiska jest wyłączona, a domyślne konfiguracje obliczeniowe puli dla obszaru roboczego są używane do uruchamiania zadań platformy Spark.
Dostosowywanie właściwości obliczeniowych na poziomie sesji w środowisku
Jako użytkownik możesz wybrać pulę dla środowiska z listy pul dostępnych w obszarze roboczym Fabric. Administrator obszaru roboczego Fabric tworzy domyślną pulę startową i pule niestandardowe.
Po wybraniu puli w sekcji Compute można dostroić rdzenie i pamięć dla funkcji wykonawczych w granicach rozmiarów węzłów i limitów wybranej puli.
Na przykład: Wybierasz jako pulę środowisk pulę niestandardową o dużym rozmiarze węzła, czyli 16 rdzeni wirtualnych platformy Spark. Następnie możesz wybrać rdzeń sterownika/funkcji wykonawczej na 4, 8 lub 16 na podstawie wymagań dotyczących poziomu zadania. Dla pamięci przydzielonej do sterowników i funkcji wykonawczych można wybrać 28 g, 56 g lub 112 g, które znajdują się w granicach dużego limitu pamięci węzła.
Aby uzyskać więcej informacji na temat rozmiarów obliczeniowych platformy Spark i ich rdzeni lub opcji pamięci, zobacz Co to jest obliczenia platformy Spark w usłudze Microsoft Fabric?.