Aracılığıyla paylaş

Visual Studio Code için Databricks uzantısını kullanarak pytest ile test çalıştırma

  • Makale

Bu makalede, Visual Studio Code için Databricks uzantısını kullanarak pytest test çalıştırma işlemi açıklanmaktadır. Bkz . Visual Studio Code için Databricks uzantısı nedir?.

Pytest'i uzak bir Azure Databricks çalışma alanında bir kümeye bağlantı gerektirmeyen yerel kod üzerinde çalıştırabilirsiniz. Örneğin, PySpark DataFrames'i yerel bellekte kabul eden ve döndüren işlevlerinizi test etmek için kullanabilirsiniz pytest . Kullanmaya başlamak pytest ve yerel olarak çalıştırmak için belgelerdeki Kullanmaya Başlama.

Uzak bir Azure Databricks çalışma alanında kod üzerinde çalıştırmak pytest için Visual Studio Code projenizde aşağıdakileri yapın:

1. Adım: Testleri oluşturma

Çalıştırılacak testlerinizi içeren aşağıdaki koda sahip bir Python dosyası ekleyin. Bu örnekte, bu dosyanın adı spark_test.py ve Visual Studio Code projenizin kökünde olduğu varsayılır. Bu dosya, kümenin (kümedeki pytest Spark işlevselliğine giriş noktası) testlerde kullanılabilmesini sağlayan bir SparkSession içerir. Bu dosya, tablodaki belirtilen hücrenin belirtilen değeri içerip içermediğini denetleen tek bir test içerir. Gerektiğinde bu dosyaya kendi testlerinizi ekleyebilirsiniz.

from pyspark.sql import SparkSession
import pytest

@pytest.fixture
def spark() -> SparkSession:
  # Create a SparkSession (the entry point to Spark functionality) on
  # the cluster in the remote Databricks workspace. Unit tests do not
  # have access to this SparkSession by default.
  return SparkSession.builder.getOrCreate()

# Now add your unit tests.

# For example, here is a unit test that must be run on the
# cluster in the remote Databricks workspace.
# This example determines whether the specified cell in the
# specified table contains the specified value. For example,
# the third column in the first row should contain the word "Ideal":
#
# +----+-------+-------+-------+---------+-------+-------+-------+------+-------+------+
# |_c0 | carat | cut   | color | clarity | depth | table | price | x    | y     | z    |
# +----+-------+-------+-------+---------+-------+-------+-------+------+-------+------+
# | 1  | 0.23  | Ideal | E     | SI2     | 61.5  | 55    | 326   | 3.95 | 3. 98 | 2.43 |
# +----+-------+-------+-------+---------+-------+-------+-------+------+-------+------+
# ...
#
def test_spark(spark):
  spark.sql('USE default')
  data = spark.sql('SELECT * FROM diamonds')
  assert data.collect()[0][2] == 'Ideal'

2. Adım: Pytest çalıştırıcısını oluşturma

Önceki adımda testlerinizi çalıştırmanızı sağlayan aşağıdaki kodu içeren pytest bir Python dosyası ekleyin. Bu örnekte, dosyanın adı pytest_databricks.py ve Visual Studio Code projenizin kökünde olduğu varsayılır.

import pytest
import os
import sys

# Run all tests in the connected directory in the remote Databricks workspace.
# By default, pytest searches through all files with filenames ending with
# "_test.py" for tests. Within each of these files, pytest runs each function
# with a function name beginning with "test_".

# Get the path to the directory for this file in the workspace.
dir_root = os.path.dirname(os.path.realpath(__file__))
# Switch to the root directory.
os.chdir(dir_root)

# Skip writing .pyc files to the bytecode cache on the cluster.
sys.dont_write_bytecode = True

# Now run pytest from the root directory, using the
# arguments that are supplied by your custom run configuration in
# your Visual Studio Code project. In this case, the custom run
# configuration JSON must contain these unique "program" and
# "args" objects:
#
# ...
# {
#   ...
#   "program": "${workspaceFolder}/path/to/this/file/in/workspace",
#   "args": ["/path/to/_test.py-files"]
# }
# ...
#
retcode = pytest.main(sys.argv[1:])

3. Adım: Özel çalıştırma yapılandırması oluşturma

Testlerinizi çalıştırma talimatı pytest vermek için özel bir çalıştırma yapılandırması oluşturmanız gerekir. Kendi özel çalıştırma yapılandırmanızı oluşturmak için aşağıdaki gibi mevcut Databricks küme tabanlı çalıştırma yapılandırmasını kullanın:

  1. Ana menüde Yapılandırma ekle'yi çalıştır'a > tıklayın.

  2. Komut Paleti'nde Databricks'i seçin.

    Visual Studio Code, bu dosya henüz yoksa projenize bir .vscode/launch.json dosya ekler.

  3. Başlangıç çalıştırması yapılandırmasını aşağıdaki gibi değiştirin ve dosyayı kaydedin:

    • Bu örnekte, bu çalıştırma yapılandırmasının adını Run on Databricks bu yapılandırma Unit Tests (on Databricks)için benzersiz bir görünen adla değiştirin.
    • bu örnekteprogram, 'den ${file} test çalıştırıcısını içeren projedeki yola geçin${workspaceFolder}/pytest_databricks.py.
    • bu örnekteargs, 'den [] testlerinizin bulunduğu dosyaları içeren projedeki yola geçin["."].

    Dosyanız launch.json şu şekilde görünmelidir:

    {
  // Use IntelliSense to learn about possible attributes.
  // Hover to view descriptions of existing attributes.
  // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
  "version": "0.2.0",
  "configurations": [
    {
      "type": "databricks",
      "request": "launch",
      "name": "Unit Tests (on Databricks)",
      "program": "${workspaceFolder}/pytest_databricks.py",
      "args": ["."],
      "env": {}
    }
  ]
}

4. Adım: Testleri çalıştırma

Önce kümede zaten yüklü olduğundan emin pytest olun. Örneğin, kümenin ayarlar sayfası Azure Databricks çalışma alanınızda açıkken aşağıdakileri yapın:

  1. Kitaplıklar sekmesinde pytest görünür durumdaysa zaten pytest yüklüdür. Pytest görünmüyorsa Yeni yükle'ye tıklayın.
  2. Kitaplık Kaynağı için PyPI'ye tıklayın.
  3. Paket alanına girinpytest.
  4. Yükle'ye tıklayın.
  5. Durum'un Beklemede olandan Yüklü olarak değişmesini bekleyin.

Testleri çalıştırmak için Visual Studio Code projenizden aşağıdakileri yapın:

  1. Ana menüde Çalıştırmayı Görüntüle'ye > tıklayın.
  2. Çalıştır ve Hata Ayıkla listesinde, henüz seçili değilse Birim Testleri'ne (Databricks'te) tıklayın.
  3. Yeşil oka (Hata Ayıklamayı Başlat) simgesine tıklayın.

Sonuçlar pytest Hata Ayıklama Konsolu'nda (> Görüntüle) görüntülenir. Örneğin, bu sonuçlar dosyada spark_test.py en az bir test bulunduğunu gösterir ve nokta (.) tek bir testin bulunduğu ve geçirildiği anlamına gelir. (Başarısız olan bir test bir F.)

<date>, <time> - Creating execution context on cluster <cluster-id> ...
<date>, <time> - Synchronizing code to /Workspace/path/to/directory ...
<date>, <time> - Running /pytest_databricks.py ...
============================= test session starts ==============================
platform linux -- Python <version>, pytest-<version>, pluggy-<version>
rootdir: /Workspace/path/to/directory
collected 1 item

spark_test.py .                                                          [100%]

============================== 1 passed in 3.25s ===============================
<date>, <time> - Done (took 10818ms)