مشاركة عبر


مرجع جدول نظام الاستخدام القابل للفوترة

توفر هذه المقالة نظرة عامة على جدول نظام الاستخدام القابل للفوترة، بما في ذلك المخطط واستعلامات المثال. باستخدام جداول النظام، يتم مركزية بيانات الاستخدام القابلة للفوترة الخاصة بحسابك وتوجيهها إلى جميع المناطق، بحيث يمكنك عرض الاستخدام العمومي لحسابك من أي منطقة توجد بها مساحة العمل.

للحصول على معلومات حول استخدام هذا الجدول لمراقبة تكاليف الوظيفة، راجع مراقبة تكاليف الوظيفة باستخدام جداول النظام.

للحصول على استراتيجيات حول تحليل الاستخدام بدون خادم، راجع مراقبة تكلفة الحوسبة بلا خادم.

مسار الجدول: يقع جدول النظام هذا في system.billing.usage.

مخطط جدول الاستخدام القابل للفوترة

يستخدم جدول نظام الاستخدام القابل للفوترة المخطط التالي:

اسم العمود نوع البيانات ‏‏الوصف مثال
record_id سلسلة معرف فريد لهذا السجل 11e22ba4-87b9-4cc2
-9770-d10b894b7118
account_id سلسلة معرف الحساب الذي تم إنشاء هذا التقرير له 23e22ba4-87b9-4cc2
-9770-d10b894b7118
workspace_id سلسلة معرف مساحة العمل التي تم إقران هذا الاستخدام بها 1234567890123456
sku_name سلسلة اسم SKU STANDARD_ALL_PURPOSE_COMPUTE
cloud سلسلة السحابة ذات الصلة بهذا الاستخدام. القيم المُحتملة هي AWS و AZURE و GCP. AWSو AZURE, أو GCP
usage_start_time الطابع الزمني وقت البدء ذي الصلة بسجل الاستخدام هذا. يتم تسجيل معلومات المنطقة الزمنية في نهاية القيمة مع +00:00 تمثيل المنطقة الزمنية UTC. 2023-01-09 10:00:00.000+00:00
usage_end_time الطابع الزمني وقت الانتهاء ذي الصلة بسجل الاستخدام هذا. يتم تسجيل معلومات المنطقة الزمنية في نهاية القيمة مع +00:00 تمثيل المنطقة الزمنية UTC. 2023-01-09 11:00:00.000+00:00
usage_date date تاريخ سجل الاستخدام، يمكن استخدام هذا الحقل لتجميع أسرع حسب التاريخ 2023-01-01
custom_tags map العلامات المطبقة على هذا الاستخدام. يتضمن علامات موارد الحوسبة وعلامات الوظائف وعلامات مساحة العمل المخصصة وعلامات نهج الموازنة. { “env”: “production” }
usage_unit سلسلة الوحدة التي يتم قياس هذا الاستخدام فيها. تتضمن القيم المحتملة وحدات DBUs. DBU
usage_quantity عشري عدد الوحدات المستهلكة لهذا السجل. 259.2958
usage_metadata بنية بيانات التعريف التي يوفرها النظام حول الاستخدام، بما في ذلك معرفات موارد الحوسبة والمهام (إن أمكن). راجع تحليل بيانات تعريف الاستخدام. {cluster_id: null;
instance_pool_id: null;
notebook_id: null;
job_id: null;
node_type: null}
identity_metadata بنية بيانات التعريف التي يوفرها النظام حول الهويات المتضمنة في الاستخدام. راجع تحليل بيانات تعريف الهوية. {run_as: example@email.com}
record_type سلسلة سواء كان السجل أصليا أو تراجعا أو إعادة تكرار. تكون القيمة ORIGINAL ما لم يكن السجل مرتبطا بتصحيح. راجع تحليل سجلات التصحيح. ORIGINAL
ingestion_date date تاريخ إدخال السجل في usage الجدول. 2024-01-01
billing_origin_product سلسلة المنتج الذي أنشأ الاستخدام. يمكن فوترة بعض المنتجات كوحدات SKU مختلفة. للحصول على القيم المحتملة، راجع عرض معلومات حول المنتج المقترن بالاستخدام. JOBS
product_features بنية تفاصيل حول ميزات المنتج المحددة المستخدمة. للحصول على القيم المحتملة، راجع ميزات المنتج.
usage_type سلسلة نوع الاستخدام المنسوب إلى المنتج أو حمل العمل لأغراض الفوترة. القيم المحتملة هي COMPUTE_TIME أو STORAGE_SPACE أو NETWORK_BYTES أو API_OPERATION أو TOKEN أو GPU_TIME. STORAGE_SPACE

تحليل بيانات تعريف الاستخدام

تخبرك القيم الموجودة في usage_metadata بالموارد المتضمنة في سجل الاستخدام.

القيمة‬ نوع البيانات ‏‏الوصف
cluster_id سلسلة معرف نظام المجموعة المقترن بسجل الاستخدام
warehouse_id سلسلة معرف مستودع SQL المقترن بسجل الاستخدام
instance_pool_id سلسلة معرف تجمع المثيل المقترن بسجل الاستخدام
node_type سلسلة نوع المثيل لمورد الحساب
job_id سلسلة معرف المهمة المقترنة بسجل الاستخدام. ترجع فقط قيمة للحوسبة بلا خادم أو استخدام حساب الوظائف، وإلا ترجع null.
job_run_id سلسلة معرف تشغيل المهمة المقترن بسجل الاستخدام. ترجع فقط قيمة للحوسبة بلا خادم أو استخدام حساب الوظائف، وإلا ترجع null.
job_name سلسلة اسم معين من قبل المستخدم للوظيفة المقترنة بسجل الاستخدام. ترجع فقط قيمة للمهام التي يتم تشغيلها على حساب بلا خادم، وإلا ترجع null.
notebook_id سلسلة معرف دفتر الملاحظات المقترن بالاستخدام. ترجع فقط قيمة للحساب بلا خادم لاستخدام دفتر الملاحظات، وإلا ترجع null.
notebook_path سلسلة مسار تخزين مساحة العمل لدفتر الملاحظات المقترن بالاستخدام. ترجع فقط قيمة للحساب بلا خادم لاستخدام دفتر الملاحظات، وإلا ترجع null.
dlt_pipeline_id سلسلة معرف مسار Delta Live Tables المقترن بسجل الاستخدام
dlt_update_id سلسلة معرف تحديث مسار Delta Live Tables المقترن بسجل الاستخدام
dlt_maintenance_id سلسلة معرف مهام صيانة البنية الأساسية لبرنامج ربط العمليات التجارية Delta Live Tables المقترنة بسجل الاستخدام
run_name سلسلة المعرف الفريد الذي يواجه المستخدم لضبط نموذج الأساس المرتبط بسجل الاستخدام
endpoint_name سلسلة اسم نقطة نهاية خدمة النموذج أو نقطة نهاية البحث المتجه المقترنة بسجل الاستخدام
endpoint_id سلسلة معرف النموذج الذي يخدم نقطة النهاية أو نقطة نهاية البحث عن المتجهات المقترنة بسجل الاستخدام
central_clean_room_id سلسلة معرف الغرفة النظيفة المركزية المقترنة بسجل الاستخدام

تحليل بيانات تعريف الهوية

identity_metadata يمكن أن يساعدك العمود في تحديد المسؤول عن سجل الفوترة بلا خادم. يتضمن run_as العمود قيمة سمات الاستخدام إلى هوية. تعتمد الهوية المسجلة في identity_metadata.run_as على المنتج المرتبط بالاستخدام.

الرجوع إلى الجدول التالي للسلوك identity_metadata.run_as :

نوع حِمل العمل هوية run_as
حساب الوظائف المستخدم أو كيان الخدمة المحدد في run_as الإعداد. بشكل افتراضي، يتم تشغيل المهام كهوية لمالك الوظيفة، ولكن يمكن للمسؤولين تغيير هذا ليكون مستخدما آخر أو كيان خدمة آخر.
حساب بلا خادم للوظائف المستخدم أو كيان الخدمة المحدد في run_as الإعداد. بشكل افتراضي، يتم تشغيل المهام كهوية لمالك الوظيفة، ولكن يمكن للمسؤولين تغيير هذا ليكون مستخدما آخر أو كيان خدمة آخر.
حساب بلا خادم لدفاتر الملاحظات المستخدم الذي قام بتشغيل أوامر دفتر الملاحظات (على وجه التحديد، المستخدم الذي أنشأ جلسة عمل دفتر الملاحظات). بالنسبة إلى دفاتر الملاحظات المشتركة، يتضمن هذا الاستخدام من قبل مستخدمين آخرين يشاركون جلسة دفتر الملاحظات نفسها.
خطوط أنابيب Delta Live Tables المستخدم الذي يتم استخدام أذوناته لتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية Delta Live Tables. يمكن تغيير هذا عن طريق نقل ملكية البنية الأساسية لبرنامج ربط العمليات التجارية.
ضبط نموذج الأساس المستخدم أو كيان الخدمة الذي بدأ تشغيل التدريب على الضبط الدقيق.

تحليل سجلات التصحيح

billing.usage يدعم الجدول التصحيحات. تحدث التصحيحات عندما يكون أي حقل من حقول سجل الاستخدام غير صحيح ويجب إصلاحه.

عند حدوث تصحيح، يضيف Azure Databricks سجلين جديدين إلى الجدول. ينفي سجل التراجع السجل الأصلي غير الصحيح، ثم يتضمن سجل إعادة التحديث المعلومات المصححة. يتم تحديد سجلات التصحيح باستخدام record_type الحقل:

  • RETRACTION: يستخدم لنفي الاستخدام الأصلي غير الصحيح. كافة الحقول مطابقة للسجل ORIGINAL باستثناء usage_quantity، وهي قيمة سالبة تلغي كمية الاستخدام الأصلية. على سبيل المثال، إذا كانت كمية استخدام السجل الأصلي هي 259.4356، فسيكون لسجل السحب كمية استخدام من -259.4356.
  • RESTATEMENT: السجل الذي يتضمن الحقول الصحيحة وكمية الاستخدام.

على سبيل المثال، يقوم الاستعلام التالي بإرجاع كمية الاستخدام الصحيحة بالساعة المتعلقة ب job_id، حتى إذا تم إجراء تصحيحات. من خلال تجميع كمية الاستخدام، ينفي سجل التراجع السجل الأصلي ويتم إرجاع قيم إعادة التحديث فقط.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

إشعار

بالنسبة للتصحيحات التي لا يجب أن يكون سجل الاستخدام الأصلي مكتوبا فيها، قد يضيف التصحيح سجل سحب فقط ولا يحتوي على سجل إعادة صياغة.

عرض معلومات حول المنتج المقترن بالاستخدام

تتم فوترة بعض منتجات Databricks ضمن نفس SKU المشتركة. لمساعدتك على التمييز بين الاستخدام، billing_origin_product يوفر العمودان و product_features مزيدا من التفاصيل حول المنتج المحدد والميزات المرتبطة بالاستخدام.

billing_origin_product يعرض العمود منتج Databricks المقترن بسجل الاستخدام. تتضمن القيم ما يلي:

  • JOBS
  • DLT
  • SQL
  • ALL_PURPOSE
  • MODEL_SERVING
  • INTERACTIVE
  • DEFAULT_STORAGE
  • VECTOR_SEARCH
  • LAKEHOUSE_MONITORING
  • PREDICTIVE_OPTIMIZATION
  • ONLINE_TABLES
  • FOUNDATION_MODEL_TRAINING

product_features العمود هو كائن يحتوي على معلومات حول ميزات المنتج المحددة المستخدمة ويتضمن أزواج المفاتيح/القيم التالية:

  • jobs_tier: تتضمن LIGHTالقيم أو CLASSICأو null
  • sql_tier: تتضمن CLASSICالقيم أو PROأو null
  • dlt_tier: تتضمن COREالقيم أو PROADVANCEDأو أوnull
  • is_serverless: تتضمن true القيم أو ، أو falsenull
  • is_photon: تتضمن true القيم أو ، أو falsenull
  • serving_type: تتضمن MODELالقيم أو GPU_MODELأو FOUNDATION_MODELFEATUREnull

نماذج الاستعلامات

يمكنك استخدام نماذج الاستعلامات التالية للإجابة عن الأسئلة الشائعة حول الاستخدام القابل للفوترة:

ما هو الاتجاه اليومي في استهلاك DBU؟

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

كم عدد وحدات DBUs لكل منتج تم استخدامها طوال هذا الشهر؟

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

ما هي الوظائف التي استهلكت معظم وحدات DBUs؟

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

ما مقدار الاستخدام الذي يمكن أن يعزى إلى الموارد ذات علامة معينة؟

يمكنك تقسيم التكاليف بطرق مختلفة. يوضح لك هذا المثال كيفية تقسيم التكاليف حسب علامة مخصصة. تأكد من استبدال مفتاح العلامة المخصصة وقيمتها في الاستعلام.

SELECT
  sku_name, usage_unit, SUM(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

إظهار المنتجات التي ينمو فيها الاستخدام

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

ما هو اتجاه استخدام حساب جميع الأغراض (الفوتون)؟

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

ما هو استهلاك DBU لعرض مجسد أو جدول دفق؟

للحصول على استخدام DBU وSKU لعرض مجسد معين أو جدول دفق، أرسل استعلاما إلى جدول نظام الاستخدام القابل للفوترة للسجلات حيث usage_metadata.dlt_pipeline_id يتم تعيينه إلى معرف المسار المرتبط بطريقة العرض المجسدة أو جدول البث. يمكنك العثور على معرف المسار في علامة التبويب التفاصيل في مستكشف الكتالوج عند عرض طريقة العرض المجسدة أو جدول البث. لتحديد الاستهلاك حسب التاريخ اختياريا، حدد تاريخ بدء أو تاريخ انتهاء أو نطاق تاريخ. يسترد الاستعلام التالي استخدام DBU للبنية الأساسية لبرنامج ربط العمليات التجارية ذات المعرف 00732f83-cd59-4c76-ac0d-57958532ab5b وتاريخ بدء الاستخدام ل 2023-05-30:

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time > "2023-05-30"
GROUP BY
  ALL

ما هو استهلاك DBU لمسار DLT بلا خادم؟

للحصول على استخدام DBU وSKU لمسار DLT بلا خادم، أرسل استعلاما إلى جدول نظام الاستخدام القابل للفوترة للسجلات حيث usage_metadata.dlt_pipeline_id يتم تعيينه إلى معرف المسار. يمكنك العثور على معرف المسار في علامة التبويب تفاصيل المسار عند عرض مسار في واجهة مستخدم Delta Live Tables. لتحديد الاستهلاك حسب التاريخ اختياريا، حدد تاريخ بدء أو تاريخ انتهاء أو نطاق تاريخ. يسترد الاستعلام التالي استخدام DBU من ديسمبر 2023 للبنية الأساسية لبرنامج ربط العمليات التجارية ذات المعرف 00732f83-cd59-4c76-ac0d-57958532ab5b.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time >= "2023-12-01"
AND
  usage_end_time < "2024-01-01"
GROUP BY
  ALL