Mengembangkan, menjalankan, dan mengelola notebook Microsoft Fabric
Notebook Microsoft Fabric adalah item kode utama untuk mengembangkan pekerjaan Apache Spark dan eksperimen pembelajaran mesin. Ini adalah permukaan interaktif berbasis web yang digunakan oleh ilmuwan data dan insinyur data untuk menulis kode yang mendapat manfaat dari visualisasi yang kaya dan teks Markdown. Artikel ini menjelaskan cara mengembangkan buku catatan dengan operasi sel kode dan menjalankannya.
Mengembangkan buku catatan
Notebooks terdiri dari sel, yang berupa blok individual kode atau teks yang bisa dijalankan secara independen atau sebagai grup.
Kami menyediakan operasi yang kaya untuk mengembangkan notebook:
- Menambahkan sel
- Mengatur bahasa utama
- Menggunakan beberapa bahasa
- IntelliSense bergaya IDE
- Cuplikan kode
- Seret dan letakkan untuk menyisipkan cuplikan
- Seret dan letakkan untuk menyisipkan gambar
- Memformat sel teks dengan tombol toolbar
- Membatalkan atau mengulangi operasi sel
- Memindahkan sel
- Menghapus sel
- Ciutkan input sel
- Menciutkan output sel
- Keamanan output sel
- Mengunci atau membekukan sel
- Konten buku catatan
- Pelipatan markdown
- Temukan dan ganti
Menambahkan sel
Ada beberapa cara untuk menambahkan sel baru ke notebook Anda.
Arahkan mouse ke ruang kosong di antara dua sel lalu pilih Kode atau Markdown.
Gunakan Tombol pintasan dalam mode perintah. Tekan A untuk menyisipkan sel di atas sel saat ini. Tekan B untuk menyisipkan sel di bawah sel saat ini.
Mengatur bahasa utama
Notebook Fabric saat ini mendukung empat bahasa Apache Spark:
- PySpark (Python)
- Spark (Scala)
- Spark SQL
- SparkR
Anda dapat mengatur bahasa utama untuk sel baru yang ditambahkan dari daftar drop-down di bilah perintah atas.
Menggunakan beberapa bahasa
Anda bisa menggunakan beberapa bahasa dalam buku catatan dengan menentukan perintah ajaib bahasa di awal sel. Anda juga dapat mengalihkan bahasa sel dari pemilih bahasa. Tabel berikut mencantumkan perintah ajaib untuk beralih bahasa sel.
Perintah ajaib | Bahasa | Keterangan |
---|---|---|
%%pyspark | Python | Jalankan kueri Python terhadap Konteks Apache Spark. |
%%spark | Scala | Jalankan kueri Scala terhadap Konteks Apache Spark. |
%%sql | SparkSQL | Jalankan kueri SparkSQL terhadap Konteks Apache Spark. |
%%html | Html | Jalankan kueri HTML terhadap Konteks Apache Spark. |
%%sparkr | R | Jalankan kueri R terhadap Konteks Apache Spark. |
IntelliSense bergaya IDE
Notebook Fabric terintegrasi dengan editor Monako untuk membawa IntelliSense bergaya IDE ke editor sel. Sorotan sintaksis, penanda kesalahan, dan penyelesaian kode otomatis membantu Anda menulis kode dengan cepat dan mengidentifikasi masalah.
Fitur IntelliSense berada pada tingkat kematangan yang berbeda untuk bahasa pemrogram yang berbeda. Tabel berikut menunjukkan apa yang didukung Fabric:
Bahasa | Sorotan sintaksis | Penanda kesalahan sintaksis | Penyelesaian kode sintaks | Penyelesaian kode variabel | Penyelesaian kode fungsi sistem | Penyelesaian kode fungsi pengguna | Inden pintar | Pelipatan kode |
---|---|---|---|---|---|---|---|---|
PySpark (Python) | Ya | Ya | Ya | Ya | Ya | Ya | Ya | Ya |
Spark (Scala) | Ya | Ya | Ya | Ya | Ya | Ya | Ya | Ya |
SparkSQL | Ya | Ya | Ya | Ya | Ya | No | Ya | Ya |
SparkR | Ya | Ya | Ya | Ya | Ya | Ya | Ya | Ya |
Catatan
Anda harus memiliki sesi Apache Spark aktif untuk menggunakan penyelesaian kode IntelliSense.
Cuplikan kode
Notebook Fabric menyediakan cuplikan kode yang membantu Anda dengan mudah menulis pola kode yang umum digunakan, seperti:
- Membaca data sebagai Apache Spark DataFrame
- Menggambar bagan dengan Matplotlib
Cuplikan muncul di Kunci pintasan gaya IDE IntelliSense bercampur dengan saran lain. Konten cuplikan kode selaras dengan bahasa sel kode. Anda dapat melihat cuplikan yang tersedia dengan mengetik Cuplikan. Anda juga dapat mengetik kata kunci apa pun untuk melihat daftar cuplikan yang relevan. Misalnya, jika Anda mengetik baca, Anda akan melihat daftar cuplikan untuk membaca data dari berbagai sumber data.
Seret dan letakkan untuk menyisipkan cuplikan
Gunakan seret dan letakkan untuk membaca data dari penjelajah Lakehouse dengan nyaman. Beberapa jenis file didukung di sini; Anda dapat beroperasi pada file teks, tabel, gambar, dll. Anda bisa menjatuhkan ke sel yang sudah ada atau ke sel baru. Notebook menghasilkan cuplikan kode yang sesuai untuk mempratinjau data.
Seret dan letakkan untuk menyisipkan gambar
Gunakan seret dan letakkan untuk menyisipkan gambar dengan mudah dari browser atau komputer lokal Anda ke sel markdown.
Memformat sel teks dengan tombol bilah alat
Untuk menyelesaikan tindakan markdown umum, gunakan tombol format di toolbar sel teks.
Membatalkan atau mengulangi operasi sel
Pilih Urungkan atau Ulangi, atau tekan Z atau Shift+Z untuk mencabut operasi sel terbaru. Anda dapat membatalkan atau mengulangi hingga 10 operasi sel historis terbaru.
Operasi sel undo yang didukung:
- Sisipkan atau hapus sel. Anda dapat mencabut operasi yang dihapus dengan memilih Batalkan (konten teks disimpan bersama dengan sel).
- Susun ulang sel.
- Alihkan parameter.
- Konversi antara sel kode dan sel Markdown.
Catatan
Operasi teks dalam sel dan operasi komentar sel kode tidak dapat dibatalkan. Anda dapat membatalkan atau mengulangi hingga 10 operasi sel historis terbaru.
Memindahkan sel
Anda dapat menyeret dari bagian kosong sel dan meletakkannya ke posisi yang diinginkan.
Anda juga bisa memindahkan sel yang dipilih menggunakan Pindahkan ke atas dan Pindahkan ke bawah pada pita.
Menghapus sel
Untuk menghapus sel, pilih tombol hapus di sisi kanan sel.
Anda juga dapat menggunakan kunci pintasan dalam mode perintah. Tekan Shift+D untuk menghapus sel saat ini.
Menciutkan input sel
Pilih elipsis perintah Lainnya (...) pada toolbar sel dan Sembunyikan input untuk menciutkan input sel saat ini. Untuk memperluasnya lagi, pilih Tampilkan input saat sel diciutkan.
Menciutkan output sel
Pilih elipsis perintah Lainnya (...) pada toolbar sel dan Sembunyikan output untuk menciutkan output sel saat ini. Untuk memperluasnya lagi, pilih Tampilkan output saat output sel diciutkan.
Keamanan output sel
Menggunakan peran akses data OneLake (pratinjau), pengguna hanya dapat mengonfigurasi akses ke folder tertentu di lakehouse selama kueri buku catatan. Pengguna tanpa akses ke folder atau tabel melihat kesalahan yang tidak sah selama eksekusi kueri.
Penting
Keamanan hanya berlaku selama eksekusi kueri dan sel notebook apa pun yang berisi hasil kueri dapat dilihat oleh pengguna yang tidak berwenang untuk menjalankan kueri terhadap data secara langsung.
Mengunci atau membekukan sel
Operasi kunci dan bekukan sel memungkinkan Anda membuat sel baca-saja atau menghentikan sel kode dijalankan secara individual.
Gabungkan dan pisahkan sel
Anda bisa menggunakan Gabungkan dengan sel sebelumnya atau Gabungkan dengan sel berikutnya untuk menggabungkan sel terkait dengan nyaman.
Memilih Pisahkan sel membantu Anda memisahkan pernyataan yang tidak relevan ke beberapa sel. Operasi membagi kode sesuai dengan posisi baris kursor Anda.
Konten buku catatan
Memilih Kerangka atau Daftar Isi menyajikan header markdown pertama dari sel markdown apa pun di jendela bilah samping untuk navigasi cepat. Bilah samping Kerangka dapat diubah ukurannya dan dapat diciutkan agar sesuai dengan layar dengan cara terbaik. Pilih tombol Konten pada bilah perintah buku catatan untuk membuka atau menyembunyikan bilah samping.
Pelipatan markdown
Opsi lipat markdown memungkinkan Anda menyembunyikan sel di bawah sel markdown yang berisi judul. Sel markdown dan sel tersembunyinya diperlakukan sama dengan sekumpulan sel multi-dipilih yang berdampingan saat melakukan operasi sel.
Cari dan ganti
Opsi temukan dan ganti dapat membantu Anda mencocokkan dan menemukan kata kunci atau ekspresi dalam konten buku catatan Anda. Anda juga dapat dengan mudah mengganti string target dengan string baru.
Menjalankan notebook
Anda dapat menjalankan sel kode di notebook Anda satu per satu atau sekaligus. Status dan kemajuan setiap sel ditampilkan di buku catatan.
Menjalankan satu Sel
Ada beberapa cara untuk menjalankan kode dalam sel.
Arahkan mouse ke sel yang ingin Anda jalankan dan pilih tombol Jalankan sel atau tekan Ctrl+Enter.
Gunakan Tombol pintasan dalam mode perintah. Tekan Shift+Enter untuk menjalankan sel saat ini dan pilih sel berikutnya. Tekan Alt+Enter untuk menjalankan sel saat ini dan menyisipkan sel baru.
Menjalankan semua sel
Pilih tombol Jalankan semua untuk menjalankan semua sel di buku catatan saat ini secara berurutan.
Jalankan semua sel di atas atau di bawah
Perluas daftar drop-down dari Jalankan semua, lalu pilih Jalankan sel di atas untuk menjalankan semua sel di atas saat ini secara berurutan. Pilih Jalankan sel di bawah ini untuk menjalankan sel saat ini dan semua sel di bawah saat ini secara berurutan.
Membatalkan semua sel yang sedang berjalan
Pilih Batalkan semua untuk membatalkan sel atau sel yang sedang berjalan yang menunggu dalam antrean.
Menghentikan sesi
Hentikan sesi membatalkan sel yang sedang berjalan dan menunggu dan menghentikan sesi saat ini. Anda dapat memulai ulang sesi baru dengan memilih opsi jalankan lagi.
Eksekusi referensi
Referensi menjalankan Buku Catatan
Selain API eksekusi referensi notebookutils, Anda juga dapat menggunakan %run <notebook name>
perintah ajaib untuk mereferensikan notebook lain dalam konteks notebook saat ini. Semua variabel yang ditentukan dalam notebook referensi tersedia di buku catatan saat ini.
%run
Perintah ajaib mendukung panggilan berlapis tetapi tidak mendukung panggilan rekursif. Anda menerima pengecualian jika kedalaman pernyataan lebih besar dari lima.
Contoh: %run Notebook1 { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }
.
Referensi notebook berfungsi dalam mode interaktif dan alur.
Catatan
- Perintah
%run
saat ini hanya mendukung buku catatan referensi di ruang kerja yang sama dengan buku catatan saat ini. - Perintah
%run
saat ini hanya mendukung hingga empat jenis nilai parameter:int
, ,float
bool
, danstring
. Operasi penggantian variabel tidak didukung. - Perintah
%run
tidak mendukung referensi berlapis dengan kedalaman lebih besar dari lima.
Referensi menjalankan skrip
Perintah ini %run
juga memungkinkan Anda menjalankan file Python atau SQL yang disimpan di sumber daya bawaan notebook, sehingga Anda dapat menjalankan file kode sumber anda di notebook dengan nyaman.
%run [-b/--builtin -c/--current] [script_file.py/.sql] [variables ...]
Untuk opsi:
- -b/--builtin: Opsi ini menunjukkan bahwa perintah menemukan dan menjalankan file skrip yang ditentukan dari sumber daya bawaan notebook.
- -c/--saat ini: Opsi ini memastikan bahwa perintah selalu menggunakan sumber daya bawaan buku catatan saat ini, meskipun buku catatan saat ini dirujuk oleh buku catatan lain.
Contoh:
Untuk menjalankan script_file.py dari sumber daya bawaan:
%run -b script_file.py
Untuk menjalankan script_file.sql dari sumber daya bawaan:
%run -b script_file.sql
Untuk menjalankan script_file.py dari sumber daya bawaan dengan variabel tertentu:
%run -b script_file.py { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }
Catatan
Jika perintah tidak berisi -b/--builtin, perintah akan mencoba menemukan dan menjalankan item buku catatan di dalam ruang kerja yang sama daripada sumber daya bawaan.
Contoh penggunaan untuk kasus eksekusi berlapis:
- Misalkan kita memiliki dua buku catatan.
- Notebook1: Berisi script_file1.py dalam sumber daya bawaannya
- Notebook2: Berisi script_file2.py dalam sumber daya bawaannya
- Mari kita gunakan Notebook1 bekerja sebagai buku catatan akar dengan konten:
%run Notebook2
. - Kemudian di Notebook2 instruksi penggunaannya adalah:
- Untuk menjalankan script_file1.py di Notebook1(Notebook akar), kodenya adalah:
%run -b script_file1.py
- Untuk menjalankan script_file2.py di Notebook2(Notebook saat ini), kodenya adalah:
%run -b -c script_file2.py
- Untuk menjalankan script_file1.py di Notebook1(Notebook akar), kodenya adalah:
Penjelajah variabel
Notebook Fabric menyediakan penjelajah variabel bawaan yang menampilkan daftar nama variabel, jenis, panjang, dan nilai dalam sesi Spark saat ini untuk sel PySpark (Python). Lebih banyak variabel muncul secara otomatis saat ditentukan dalam sel kode. Mengklik setiap header kolom mengurutkan variabel dalam tabel.
Untuk membuka atau menyembunyikan penjelajah variabel, pilih Variabel pada tampilan pita buku catatan.
Catatan
Penjelajah variabel hanya mendukung Python.
Indikator status Sel
Status eksekusi sel langkah demi langkah ditampilkan di bawah sel untuk membantu Anda melihat progresnya saat ini. Setelah eksekusi sel selesai, ringkasan eksekusi dengan total durasi dan waktu akhir muncul dan disimpan di sana untuk referensi di masa mendatang.
Indikator pekerjaan Apache Spark sebaris
Notebook Fabric berbasis Apache Spark. Sel kode dijalankan pada kluster Apache Spark dari jarak jauh. Indikator kemajuan pekerjaan Spark disediakan dengan bilah kemajuan real time yang tampaknya membantu Anda memahami status eksekusi pekerjaan. Jumlah tugas per setiap pekerjaan atau tahap membantu Anda mengidentifikasi tingkat paralel pekerjaan Spark Anda. Anda juga dapat menelusuri lebih dalam ke antarmuka pengguna Spark dari pekerjaan (atau tahap) tertentu dengan memilih tautan pada nama pekerjaan (atau tahap).
Anda juga dapat menemukan log real-time tingkat Sel di samping indikator kemajuan, dan Diagnostik dapat memberi Anda saran yang berguna untuk membantu memperbaiki dan men-debug kode.
Di Tindakan lainnya, Anda dapat dengan mudah menavigasi ke halaman detail aplikasi Spark dan halaman antarmuka pengguna web Spark.
Redaksi rahasia
Untuk mencegah kredensial bocor secara tidak sengaja saat menjalankan notebook, notebook Fabric mendukung redaksi Rahasia untuk mengganti nilai rahasia yang ditampilkan dalam output sel dengan [REDACTED]
. Redaksi rahasia berlaku untuk Python, Scala, dan R.
Perintah ajaib di buku catatan
Perintah ajaib bawaan
Anda dapat menggunakan perintah ajaib Ipython yang sudah dikenal di notebook Fabric. Tinjau daftar perintah ajaib yang saat ini tersedia.
Catatan
Ini adalah satu-satunya perintah ajaib yang didukung dalam alur Fabric: %%pyspark, %%spark, %%csharp, %%sql, %%configure.
Perintah ajaib baris yang tersedia: %lsmagic, %time, %timeit, %history, %run, %load, %alias, %alias_magic, %autoawait, %autocall, %automagic, %bookmark, %cd, %colors, %dhist, %dirs, %doctest_mode, %killbgscripts, %load_ext, %logoff, %log masuk, %logstart, %logstate, %logstop, %magic, %matplotlib, %page, %pastebin, %pdef, %pfile, %pinfo, %pinfo2, %popd, %pprint, %presisi, %prun, %psearch, %psource, %pushd, %pwd, %pycat, %quickref, % rehashx, %reload_ext, %reset, %reset_selective, %sx, %system, %tb, %unalias, %unload_ext, %who, %who_ls, %who's, %xdel, %xmode.
Fabric notebook juga mendukung perintah manajemen pustaka yang ditingkatkan %pip dan %conda. Untuk informasi selengkapnya tentang penggunaan, lihat Mengelola pustaka Apache Spark di Microsoft Fabric.
Perintah ajaib sel yang tersedia: %%time, %%timeit, %%capture, %%writefile, %%sql, %%pyspark, %%spark, %%csharp, %%configure, %%html, %%bash, %%markdown, %%perl, %%script, %%sh.
Perintah ajaib kustom
Anda juga dapat membangun lebih banyak perintah ajaib kustom untuk memenuhi kebutuhan spesifik Anda. Berikut contohnya:
Buat buku catatan dengan nama "MyLakehouseModule".
Di notebook lain, referensikan "MyLakehouseModule" dan perintah ajaibnya. Proses ini adalah bagaimana Anda dapat dengan mudah mengatur proyek Anda dengan buku catatan yang menggunakan bahasa yang berbeda.
Widget IPython
Widget IPython adalah objek Python yang penuh kejadian yang memiliki representasi di browser. Anda dapat menggunakan Widget IPython sebagai kontrol kode rendah (misalnya, slider atau kotak teks) di notebook Anda, sama seperti notebook Jupyter. Saat ini hanya berfungsi dalam konteks Python.
Untuk menggunakan Widget IPython
Impor modul ipywidgets terlebih dahulu untuk menggunakan kerangka kerja Widget Jupyter.
import ipywidgets as widgets
Gunakan fungsi tampilan tingkat atas untuk merender widget, atau biarkan ekspresi jenis widget di baris terakhir sel kode.
slider = widgets.IntSlider() display(slider)
Jalankan sel. Widget ditampilkan di area output.
slider = widgets.IntSlider() display(slider)
Gunakan beberapa panggilan display() untuk merender instans widget yang sama beberapa kali. Mereka tetap sinkron satu sama lain.
slider = widgets.IntSlider() display(slider) display(slider)
Untuk merender dua widget independen dari satu sama lain, buat dua instans widget:
slider1 = widgets.IntSlider() slider2 = widgets.IntSlider() display(slider1) display(slider2)
Widget yang didukung
Jenis widget | Widget |
---|---|
Widget numerik | IntSlider, FloatSlider, FloatLogSlider, IntRangeSlider, FloatRangeSlider, IntProgress, FloatProgress, BoundedIntText, BoundedFloatText, IntText, FloatText |
Widget Boolean | ToggleButton, Checkbox, Valid |
Widget pilihan | Dropdown, RadioButtons, Select, SelectionSlider, SelectionRangeSlider, ToggleButtons, SelectMultiple |
Widget string | Teks, area Teks, Combobox, Kata Sandi, Label, HTML, HTML Math, Citra, Tombol |
Memutar widget (animasi) | Pemilih tanggal, Pemilih warna, Pengontrol |
Widget kontainer atau tata letak | Box, HBox, VBox, GridBox, Accordion, Tabs, Stacked |
Pembatasan yang diketahui
Widget berikut belum didukung. Solusi berikut tersedia:
Fungsionalitas Solusi Sementara Widget output Anda dapat menggunakan fungsi print() sebagai gantinya untuk menulis teks ke stdout. widgets.jslink() Anda dapat menggunakan fungsi widgets.link() untuk menautkan dua widget serupa. Widget FileUpload Belum didukung. Fungsi tampilan global Fabric tidak mendukung tampilan beberapa widget dalam satu panggilan (misalnya, display(a, b)). Perilaku ini berbeda dari fungsi tampilan IPython.
Jika Anda menutup notebook yang berisi widget IPython, Anda tidak dapat melihat atau berinteraksi dengannya sampai Anda menjalankan sel yang sesuai lagi.
Fungsi interaksi (ipywidgets.interact) tidak didukung.
Mengintegrasikan notebook
Menetapkan sel parameter
Untuk membuat parameter buku catatan Anda, pilih elipsis (...) untuk mengakses perintah Lainnya di toolbar sel. Lalu pilih Alihkan sel parameter untuk menetapkan sel sebagai sel parameter.
Sel parameter berguna untuk mengintegrasikan buku catatan dalam alur. Aktivitas alur mencari sel parameter dan memperlakukan sel ini sebagai default untuk parameter yang diteruskan pada waktu eksekusi. Mesin eksekusi menambahkan sel baru di bawah sel parameter dengan parameter input untuk menimpa nilai default.
Menetapkan nilai parameter dari alur
Setelah membuat notebook dengan parameter, Anda dapat menjalankannya dari alur dengan aktivitas notebook Fabric. Setelah menambahkan aktivitas ke kanvas alur, Anda dapat mengatur nilai parameter di bawah bagian Parameter dasar pada tab Pengaturan .
Saat menetapkan nilai parameter, Anda dapat menggunakan bahasa atau fungsi ekspresi alur dan variabel.
Perintah ajaib konfigurasi sesi Spark
Anda dapat mempersonalisasi sesi Spark Anda dengan perintah ajaib %%configure. Notebook Fabric mendukung vCores yang disesuaikan, Memori Driver dan Eksekutor, properti Apache Spark, titik pemasangan, kumpulan, dan lakehouse default sesi notebook. Mereka dapat digunakan dalam notebook interaktif dan aktivitas notebook alur. Kami menyarankan agar Anda menjalankan perintah %%configure di awal buku catatan Anda, atau Anda harus memulai ulang sesi Spark agar pengaturan berlaku.
%%configure
{
// You can get a list of valid parameters to config the session from https://github.com/cloudera/livy#request-body.
"driverMemory": "28g", // Recommended values: ["28g", "56g", "112g", "224g", "400g"]
"driverCores": 4, // Recommended values: [4, 8, 16, 32, 64]
"executorMemory": "28g",
"executorCores": 4,
"jars": ["abfs[s]: //<file_system>@<account_name>.dfs.core.windows.net/<path>/myjar.jar", "wasb[s]: //<containername>@<accountname>.blob.core.windows.net/<path>/myjar1.jar"],
"conf":
{
// Example of customized property, you can specify count of lines that Spark SQL returns by configuring "livy.rsc.sql.num-rows".
"livy.rsc.sql.num-rows": "3000",
"spark.log.level": "ALL"
},
"defaultLakehouse": { // This overwrites the default lakehouse for current session
"name": "<lakehouse-name>",
"id": "<(optional) lakehouse-id>",
"workspaceId": "<(optional) workspace-id-that-contains-the-lakehouse>" // Add workspace ID if it's from another workspace
},
"mountPoints": [
{
"mountPoint": "/myMountPoint",
"source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>"
},
{
"mountPoint": "/myMountPoint1",
"source": "abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path1>"
},
],
"environment": {
"id": "<environment-id>",
"name": "<environment-name>"
},
"sessionTimeoutInSeconds": 1200,
"useStarterPool": false, // Set to true to force using starter pool
"useWorkspacePool": "<workspace-pool-name>"
}
Catatan
- Kami menyarankan agar Anda menetapkan nilai yang sama untuk "DriverMemory" dan "ExecutorMemory" di %%configure. Nilai "driverCores" dan "executorCores" juga harus sama.
- "defaultLakehouse" akan menimpa lakehouse yang disematkan di penjelajah Lakehouse, tetapi itu hanya berfungsi di sesi buku catatan Anda saat ini.
- Anda dapat menggunakan %%configure dalam alur Fabric, tetapi jika tidak diatur dalam sel kode pertama, eksekusi alur akan gagal karena tidak dapat memulai ulang sesi.
- Konfigurasi %%yang digunakan dalam notebookutils.notebook.run akan diabaikan tetapi digunakan dalam %run notebook akan terus dijalankan.
- Properti konfigurasi Spark standar harus digunakan dalam isi "conf". Fabric tidak mendukung referensi tingkat pertama untuk properti konfigurasi Spark.
- Beberapa properti Spark khusus, termasuk "spark.driver.cores", "spark.executor.cores", "spark.driver.memory", "spark.executor.memory", dan "spark.executor.instances" tidak berlaku dalam isi "conf".
Konfigurasi sesi berparameter dari alur
Konfigurasi sesi berparameter memungkinkan Anda mengganti nilai dalam %%configure magic dengan parameter aktivitas notebook eksekusi alur. Saat menyiapkan sel kode %%configure, Anda dapat mengganti nilai default (juga dapat dikonfigurasi, 4 dan "2000" dalam contoh di bawah) dengan objek seperti ini:
{
"parameterName": "paramterNameInPipelineNotebookActivity",
"defaultValue": "defaultValueIfNoParamterFromPipelineNotebookActivity"
}
%%configure
{
"driverCores":
{
"parameterName": "driverCoresFromNotebookActivity",
"defaultValue": 4
},
"conf":
{
"livy.rsc.sql.num-rows":
{
"parameterName": "rows",
"defaultValue": "2000"
}
}
}
Notebook menggunakan nilai default jika Anda menjalankan notebook dalam mode interaktif secara langsung atau jika aktivitas notebook alur tidak memberikan parameter yang cocok dengan "activityParameterName."
Selama eksekusi alur, Anda dapat mengonfigurasi pengaturan aktivitas buku catatan alur sebagai berikut:
Jika Anda ingin mengubah konfigurasi sesi, nama parameter aktivitas notebook alur harus sama seperti parameterName
di buku catatan. Dalam contoh menjalankan alur ini, driverCores
dalam %%configure digantikan oleh 8, dan livy.rsc.sql.num-rows
diganti dengan 4000.
Catatan
- Jika eksekusi alur gagal karena Anda menggunakan perintah ajaib %%configure, temukan informasi kesalahan lainnya dengan menjalankan %%configure magic cell dalam mode interaktif notebook.
- Eksekusi terjadwal notebook tidak mendukung konfigurasi sesi berparameter.
Pengelogan Python di buku catatan
Anda dapat menemukan log Python dan mengatur tingkat log dan format yang berbeda seperti kode sampel yang diperlihatkan di sini:
import logging
# Customize the logging format for all loggers
FORMAT = "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
formatter = logging.Formatter(fmt=FORMAT)
for handler in logging.getLogger().handlers:
handler.setFormatter(formatter)
# Customize log level for all loggers
logging.getLogger().setLevel(logging.INFO)
# Customize the log level for a specific logger
customizedLogger = logging.getLogger('customized')
customizedLogger.setLevel(logging.WARNING)
# logger that use the default global log level
defaultLogger = logging.getLogger('default')
defaultLogger.debug("default debug message")
defaultLogger.info("default info message")
defaultLogger.warning("default warning message")
defaultLogger.error("default error message")
defaultLogger.critical("default critical message")
# logger that use the customized log level
customizedLogger.debug("customized debug message")
customizedLogger.info("customized info message")
customizedLogger.warning("customized warning message")
customizedLogger.error("customized error message")
customizedLogger.critical("customized critical message")
Melihat riwayat perintah input
Fabric notebook mendukung perintah %history
ajaib untuk mencetak riwayat perintah input yang dijalankan dalam sesi saat ini, dibandingkan dengan perintah %history
Jupyter Ipython standar yang berfungsi untuk konteks beberapa bahasa dalam notebook.
%history [-n] [range [range ...]]
Untuk opsi:
- -n: Cetak nomor eksekusi.
Di mana rentang dapat:
- N: Cetak kode sel Nth yang dijalankan.
- M-N: Cetak kode dari Mth ke sel Nth yang dijalankan.
Contoh:
- Cetak riwayat input dari sel yang dijalankan ke-1 hingga ke-2:
%history -n 1-2
Kunci pintasan
Mirip dengan Jupyter Notebooks, notebook Fabric memiliki antarmuka pengguna modal. Papan tombol melakukan hal yang berbeda tergantung pada mode mana yang digunakan sel buku catatan. Notebook Fabric mendukung dua mode berikut untuk sel kode tertentu: Mode perintah dan mode Edit.
Sel berada dalam mode Perintah saat tidak ada kursor teks yang meminta Anda untuk mengetik. Saat sel berada dalam mode Perintah, Anda dapat mengedit notebook secara keseluruhan tetapi tidak mengetik ke dalam sel individual. Masukkan mode Perintah dengan menekan ESC atau menggunakan mouse untuk memilih di luar area editor sel.
Mode edit dapat ditunjukkan dari kursor teks yang meminta Anda mengetik di area editor. Saat sel berada dalam mode Edit, Anda bisa mengetik ke dalam sel. Masukkan mode Edit dengan menekan Enter atau menggunakan mouse untuk memilih area editor sel.
Tombol pintasan dalam mode perintah
Perbuatan | Pintasan buku catatan |
---|---|
Menjalankan sel saat ini dan memilih sel di bawah | Shift+Enter |
Menjalankan sel saat ini dan menyisipkan di bawah | Alt+Enter |
Menjalankan sel saat ini | Ctrl+Enter |
Memilih sel di atas | Naik |
Memilih sel di bawah | Tidak berfungsi |
Memilih sel sebelumnya | K |
Memilih sel berikutnya | J |
Menyisipkan sel di atas | A |
Menyisipkan sel di bawah | B |
Menghapus sel yang dipilih | Shift + D |
Beralih ke mode edit | Enter |
Tombol pintasan dalam mode edit
Dengan menggunakan pintasan penekanan tombol berikut, Anda dapat dengan mudah menavigasi dan menjalankan kode di notebook Fabric saat dalam mode Edit.
Perbuatan | Pintasan buku catatan |
---|---|
Pindahkan kursor ke atas | Naik |
Memindahkan kursor ke bawah | Tidak berfungsi |
Undo | Ctrl + Z |
Mengulangi | Ctrl + Y |
Komentar atau Batalkan Komentar | Ctrl + / Komentar: Ctrl + K + C Batalkan komentar: Ctrl + K + U |
Menghapus kata sebelumnya | Ctrl + Backspace |
Menghapus kata setelahnya | Ctrl + Delete |
Lompat ke sel awal | Ctrl + Home |
Lompat ke sel akhir | Ctrl + End |
Ke satu kata ke sebelah kiri | Ctrl + Kiri |
Pergi satu kata ke kanan | Ctrl + Kanan |
Pilih semua | Ctrl + A |
Inden | Ctrl +] |
Deden (Dedent) | Ctrl + [ |
Beralih ke mode perintah | Esc |
Untuk menemukan semua tombol pintasan, pilih Tampilkan pada pita buku catatan, lalu pilih Pengikatan Tombol.