مشاركة عبر

إدارة الملفات في وحدات تخزين كتالوج Unity باستخدام برنامج تشغيل Databricks ODBC

  • مقالة

توضح هذه المقالة كيفية تحميل الملفات وتنزيلها وحذفها في وحدات تخزين كتالوج Unity باستخدام برنامج تشغيل Databricks ODBC.

المتطلبات

  • Databricks ODBC Driver versions 2.8.2 أو أعلى.
  • بشكل افتراضي، يتم تمكين وضع الاستعلام الأصلي. وإلا، أضف UseNativeQuery خاصية إلى سلسلة الاتصال ODBC، مع تعيين قيمتها إلى 1 أو 2.

تحميل ملف

لتحميل ملف إلى وحدة تخزين، يجب إضافة StagingAllowedLocalPaths الخاصية إلى سلسلة الاتصال ODBC، وتعيين قيمة هذه الخاصية إلى مسار الملف لتحميله. لتحميل ملفات متعددة من مواقع منفصلة، قم بتعيين هذه الخاصية إلى قائمة مسارات مفصولة بفواصل، على سبيل المثال /tmp/,/usr/tmp/.

لتجاوز محتويات أي ملف موجود في موقع التحميل المحدد، أضف OVERWRITE.

يوضح مقتطف التعليمات البرمجية Python التالي كيفية تحميل ملف إلى وحدة تخزين.

conn_string = "".join([
    "DRIVER=", os.getenv("ODBC_DRIVER", "/Library/simba/spark/lib/libsparkodbc_sbu.dylib"),
    ";Host=", os.getenv("ODBC_HOST_NAME", "<<HOST_NAME>>"),
    ";PORT=443",
    ";HTTPPath=", os.getenv("ODBC_HTTP_PATH", "/sql/1.0/endpoints/1234567890"),
    ";AuthMech=11",
    ";SSL=1",
    ";ThriftTransport=2",
    ";SparkServerType=3",
    ";Auth_Flow=0",
    ";Auth_AccessToken=", os.getenv("API_TOKEN", "<<NO_ACCESS_TOKEN_IS_SET>>"),
    ";StagingAllowedLocalPaths=", "/tmp"),
    os.getenv("ODBC_OPTIONS", ""),
])

conn = pyodbc.connect(conn_string, autocommit=True)
cursor = conn.cursor()
cursor.execute("PUT '" +
    "/tmp/my-data.csv" +
    "' INTO '" +
    "/Volumes/main/default/my-volume/my-data.csv" +
    "' OVERWRITE")

تنزيل ملف

يوضح مقتطف التعليمات البرمجية Python التالي كيفية تنزيل ملف من وحدة تخزين.

conn = pyodbc.connect(conn_string, autocommit=True)
cursor = conn.cursor()
cursor.execute("GET '" +
    "/Volumes/main/default/my-volume/my-data.csv" +
    "' TO '" +
    "/tmp/my-downloaded-data.csv" +
    "'")

حذف ملف

يوضح مقتطف التعليمات البرمجية Python التالي كيفية حذف ملف من وحدة تخزين.

conn = pyodbc.connect(conn_string, autocommit=True)
cursor = conn.cursor()
cursor.execute("REMOVE '" +
    "/Volumes/main/default/my-volume/my-data.csv" +
    "'")