مرجع جدول نظام الاستخدام القابل للفوترة
توفر هذه المقالة نظرة عامة على جدول نظام الاستخدام القابل للفوترة، بما في ذلك المخطط واستعلامات المثال. باستخدام جداول النظام، يتم مركزية بيانات الاستخدام القابلة للفوترة الخاصة بحسابك وتوجيهها إلى جميع المناطق، بحيث يمكنك عرض الاستخدام العمومي لحسابك من أي منطقة توجد بها مساحة العمل.
للحصول على معلومات حول استخدام هذا الجدول لمراقبة تكاليف الوظيفة، راجع مراقبة تكاليف الوظيفة باستخدام جداول النظام.
للحصول على استراتيجيات حول تحليل الاستخدام بدون خادم، راجع مراقبة تكلفة الحوسبة بلا خادم.
مسار الجدول: يقع جدول النظام هذا في system.billing.usage
.
مخطط جدول الاستخدام القابل للفوترة
يستخدم جدول نظام الاستخدام القابل للفوترة المخطط التالي:
اسم العمود | نوع البيانات | الوصف | مثال |
---|---|---|---|
record_id |
سلسلة | معرف فريد لهذا السجل | 11e22ba4-87b9-4cc2 -9770-d10b894b7118 |
account_id |
سلسلة | معرف الحساب الذي تم إنشاء هذا التقرير له | 23e22ba4-87b9-4cc2 -9770-d10b894b7118 |
workspace_id |
سلسلة | معرف مساحة العمل التي تم إقران هذا الاستخدام بها | 1234567890123456 |
sku_name |
سلسلة | اسم SKU | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
سلسلة | السحابة ذات الصلة بهذا الاستخدام. القيم المُحتملة هي AWS و AZURE و GCP . |
AWS و AZURE , أو GCP |
usage_start_time |
الطابع الزمني | وقت البدء ذي الصلة بسجل الاستخدام هذا. يتم تسجيل معلومات المنطقة الزمنية في نهاية القيمة مع +00:00 تمثيل المنطقة الزمنية UTC. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
الطابع الزمني | وقت الانتهاء ذي الصلة بسجل الاستخدام هذا. يتم تسجيل معلومات المنطقة الزمنية في نهاية القيمة مع +00:00 تمثيل المنطقة الزمنية UTC. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
date | تاريخ سجل الاستخدام، يمكن استخدام هذا الحقل لتجميع أسرع حسب التاريخ | 2023-01-01 |
custom_tags |
map | العلامات المطبقة على هذا الاستخدام. يتضمن علامات موارد الحوسبة وعلامات الوظائف وعلامات مساحة العمل المخصصة وعلامات نهج الموازنة. | { “env”: “production” } |
usage_unit |
سلسلة | الوحدة التي يتم قياس هذا الاستخدام فيها. تتضمن القيم المحتملة وحدات DBUs. | DBU |
usage_quantity |
عشري | عدد الوحدات المستهلكة لهذا السجل. | 259.2958 |
usage_metadata |
بنية | بيانات التعريف التي يوفرها النظام حول الاستخدام، بما في ذلك معرفات موارد الحوسبة والمهام (إن أمكن). راجع تحليل بيانات تعريف الاستخدام. | {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null} |
identity_metadata |
بنية | بيانات التعريف التي يوفرها النظام حول الهويات المتضمنة في الاستخدام. راجع تحليل بيانات تعريف الهوية. | {run_as: example@email.com} |
record_type |
سلسلة | سواء كان السجل أصليا أو تراجعا أو إعادة تكرار. تكون القيمة ORIGINAL ما لم يكن السجل مرتبطا بتصحيح. راجع تحليل سجلات التصحيح. |
ORIGINAL |
ingestion_date |
date | تاريخ إدخال السجل في usage الجدول. |
2024-01-01 |
billing_origin_product |
سلسلة | المنتج الذي أنشأ الاستخدام. يمكن فوترة بعض المنتجات كوحدات SKU مختلفة. للحصول على القيم المحتملة، راجع عرض معلومات حول المنتج المقترن بالاستخدام. | JOBS |
product_features |
بنية | تفاصيل حول ميزات المنتج المحددة المستخدمة. | للحصول على القيم المحتملة، راجع ميزات المنتج. |
usage_type |
سلسلة | نوع الاستخدام المنسوب إلى المنتج أو حمل العمل لأغراض الفوترة. القيم المحتملة هي COMPUTE_TIME أو STORAGE_SPACE أو NETWORK_BYTES أو API_OPERATION أو TOKEN أو GPU_TIME . |
STORAGE_SPACE |
تحليل بيانات تعريف الاستخدام
تخبرك القيم الموجودة في usage_metadata
بالموارد المتضمنة في سجل الاستخدام.
القيمة | نوع البيانات | الوصف |
---|---|---|
cluster_id |
سلسلة | معرف نظام المجموعة المقترن بسجل الاستخدام |
warehouse_id |
سلسلة | معرف مستودع SQL المقترن بسجل الاستخدام |
instance_pool_id |
سلسلة | معرف تجمع المثيل المقترن بسجل الاستخدام |
node_type |
سلسلة | نوع المثيل لمورد الحساب |
job_id |
سلسلة | معرف المهمة المقترنة بسجل الاستخدام. ترجع فقط قيمة للحوسبة بلا خادم أو استخدام حساب الوظائف، وإلا ترجع null . |
job_run_id |
سلسلة | معرف تشغيل المهمة المقترن بسجل الاستخدام. ترجع فقط قيمة للحوسبة بلا خادم أو استخدام حساب الوظائف، وإلا ترجع null . |
job_name |
سلسلة | اسم معين من قبل المستخدم للوظيفة المقترنة بسجل الاستخدام. ترجع فقط قيمة للمهام التي يتم تشغيلها على حساب بلا خادم، وإلا ترجع null . |
notebook_id |
سلسلة | معرف دفتر الملاحظات المقترن بالاستخدام. ترجع فقط قيمة للحساب بلا خادم لاستخدام دفتر الملاحظات، وإلا ترجع null . |
notebook_path |
سلسلة | مسار تخزين مساحة العمل لدفتر الملاحظات المقترن بالاستخدام. ترجع فقط قيمة للحساب بلا خادم لاستخدام دفتر الملاحظات، وإلا ترجع null . |
dlt_pipeline_id |
سلسلة | معرف مسار Delta Live Tables المقترن بسجل الاستخدام |
dlt_update_id |
سلسلة | معرف تحديث مسار Delta Live Tables المقترن بسجل الاستخدام |
dlt_maintenance_id |
سلسلة | معرف مهام صيانة البنية الأساسية لبرنامج ربط العمليات التجارية Delta Live Tables المقترنة بسجل الاستخدام |
run_name |
سلسلة | المعرف الفريد الذي يواجه المستخدم لضبط نموذج الأساس المرتبط بسجل الاستخدام |
endpoint_name |
سلسلة | اسم نقطة نهاية خدمة النموذج أو نقطة نهاية البحث المتجه المقترنة بسجل الاستخدام |
endpoint_id |
سلسلة | معرف النموذج الذي يخدم نقطة النهاية أو نقطة نهاية البحث عن المتجهات المقترنة بسجل الاستخدام |
central_clean_room_id |
سلسلة | معرف الغرفة النظيفة المركزية المقترنة بسجل الاستخدام |
تحليل بيانات تعريف الهوية
identity_metadata
يمكن أن يساعدك العمود في تحديد المسؤول عن سجل الفوترة بلا خادم. يتضمن run_as
العمود قيمة سمات الاستخدام إلى هوية. تعتمد الهوية المسجلة في identity_metadata.run_as
على المنتج المرتبط بالاستخدام.
الرجوع إلى الجدول التالي للسلوك identity_metadata.run_as
:
نوع حِمل العمل | هوية run_as |
---|---|
حساب الوظائف | المستخدم أو كيان الخدمة المحدد في run_as الإعداد. بشكل افتراضي، يتم تشغيل المهام كهوية لمالك الوظيفة، ولكن يمكن للمسؤولين تغيير هذا ليكون مستخدما آخر أو كيان خدمة آخر. |
حساب بلا خادم للوظائف | المستخدم أو كيان الخدمة المحدد في run_as الإعداد. بشكل افتراضي، يتم تشغيل المهام كهوية لمالك الوظيفة، ولكن يمكن للمسؤولين تغيير هذا ليكون مستخدما آخر أو كيان خدمة آخر. |
حساب بلا خادم لدفاتر الملاحظات | المستخدم الذي قام بتشغيل أوامر دفتر الملاحظات (على وجه التحديد، المستخدم الذي أنشأ جلسة عمل دفتر الملاحظات). بالنسبة إلى دفاتر الملاحظات المشتركة، يتضمن هذا الاستخدام من قبل مستخدمين آخرين يشاركون جلسة دفتر الملاحظات نفسها. |
خطوط أنابيب Delta Live Tables | المستخدم الذي يتم استخدام أذوناته لتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية Delta Live Tables. يمكن تغيير هذا عن طريق نقل ملكية البنية الأساسية لبرنامج ربط العمليات التجارية. |
ضبط نموذج الأساس | المستخدم أو كيان الخدمة الذي بدأ تشغيل التدريب على الضبط الدقيق. |
تحليل سجلات التصحيح
billing.usage
يدعم الجدول التصحيحات. تحدث التصحيحات عندما يكون أي حقل من حقول سجل الاستخدام غير صحيح ويجب إصلاحه.
عند حدوث تصحيح، يضيف Azure Databricks سجلين جديدين إلى الجدول. ينفي سجل التراجع السجل الأصلي غير الصحيح، ثم يتضمن سجل إعادة التحديث المعلومات المصححة. يتم تحديد سجلات التصحيح باستخدام record_type
الحقل:
RETRACTION
: يستخدم لنفي الاستخدام الأصلي غير الصحيح. كافة الحقول مطابقة للسجلORIGINAL
باستثناءusage_quantity
، وهي قيمة سالبة تلغي كمية الاستخدام الأصلية. على سبيل المثال، إذا كانت كمية استخدام السجل الأصلي هي259.4356
، فسيكون لسجل السحب كمية استخدام من-259.4356
.RESTATEMENT
: السجل الذي يتضمن الحقول الصحيحة وكمية الاستخدام.
على سبيل المثال، يقوم الاستعلام التالي بإرجاع كمية الاستخدام الصحيحة بالساعة المتعلقة ب job_id
، حتى إذا تم إجراء تصحيحات. من خلال تجميع كمية الاستخدام، ينفي سجل التراجع السجل الأصلي ويتم إرجاع قيم إعادة التحديث فقط.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
إشعار
بالنسبة للتصحيحات التي لا يجب أن يكون سجل الاستخدام الأصلي مكتوبا فيها، قد يضيف التصحيح سجل سحب فقط ولا يحتوي على سجل إعادة صياغة.
عرض معلومات حول المنتج المقترن بالاستخدام
تتم فوترة بعض منتجات Databricks ضمن نفس SKU المشتركة. لمساعدتك على التمييز بين الاستخدام، billing_origin_product
يوفر العمودان و product_features
مزيدا من التفاصيل حول المنتج المحدد والميزات المرتبطة بالاستخدام.
billing_origin_product
يعرض العمود منتج Databricks المقترن بسجل الاستخدام. تتضمن القيم ما يلي:
JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
DEFAULT_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
product_features
العمود هو كائن يحتوي على معلومات حول ميزات المنتج المحددة المستخدمة ويتضمن أزواج المفاتيح/القيم التالية:
jobs_tier
: تتضمنLIGHT
القيم أوCLASSIC
أوnull
sql_tier
: تتضمنCLASSIC
القيم أوPRO
أوnull
dlt_tier
: تتضمنCORE
القيم أوPRO
ADVANCED
أو أوnull
is_serverless
: تتضمنtrue
القيم أو ، أوfalse
null
is_photon
: تتضمنtrue
القيم أو ، أوfalse
null
serving_type
: تتضمنMODEL
القيم أوGPU_MODEL
أوFOUNDATION_MODEL
FEATURE
null
نماذج الاستعلامات
يمكنك استخدام نماذج الاستعلامات التالية للإجابة عن الأسئلة الشائعة حول الاستخدام القابل للفوترة:
- ما هو الاتجاه اليومي في استهلاك DBU؟
- كم عدد وحدات DBUs لكل منتج تم استخدامها طوال هذا الشهر؟
- ما هي الوظائف التي استهلكت معظم وحدات DBUs؟
- ما مقدار الاستخدام الذي يمكن أن يعزى إلى الموارد ذات علامة معينة؟
- إظهار وحدات SKU حيث ينمو الاستخدام
- ما هو اتجاه استخدام حساب جميع الأغراض (الفوتون)؟
- ما هو استهلاك DBU لعرض مجسد أو جدول دفق؟
- ما هو استهلاك DBU لمسار DLT بلا خادم؟
ما هو الاتجاه اليومي في استهلاك DBU؟
SELECT
usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
system.billing.usage
WHERE
sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
usage_date
ORDER BY
usage_date ASC
كم عدد وحدات DBUs لكل منتج تم استخدامها طوال هذا الشهر؟
SELECT
billing_origin_product,
usage_date,
sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
month(usage_date) = month(NOW())
AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date
ما هي الوظائف التي استهلكت معظم وحدات DBUs؟
SELECT
usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
system.billing.usage
WHERE
usage_metadata.job_id IS NOT NULL
GROUP BY
`Job ID`
ORDER BY
`DBUs` DESC
ما مقدار الاستخدام الذي يمكن أن يعزى إلى الموارد ذات علامة معينة؟
يمكنك تقسيم التكاليف بطرق مختلفة. يوضح لك هذا المثال كيفية تقسيم التكاليف حسب علامة مخصصة. تأكد من استبدال مفتاح العلامة المخصصة وقيمتها في الاستعلام.
SELECT
sku_name, usage_unit, SUM(usage_quantity) as `Usage`
FROM
system.billing.usage
WHERE
custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2
إظهار المنتجات التي ينمو فيها الاستخدام
SELECT
after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT
billing_origin_product, sum(usage_quantity) as before_dbus
FROM
system.billing.usage
WHERE
usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY
billing_origin_product
) as before
JOIN
(SELECT
billing_origin_product, sum(usage_quantity) as after_dbus
FROM
system.billing.usage
WHERE
usage_date
BETWEEN
"2023-05-01" and "2023-05-30"
GROUP BY
billing_origin_product
) as after
WHERE
before.billing_origin_product = after.billing_origin_product
SORT BY
growth_rate DESC
ما هو اتجاه استخدام حساب جميع الأغراض (الفوتون)؟
SELECT
sku_name,
usage_date,
sum(usage_quantity) as `DBUs consumed`
FROM
system.billing.usage
WHERE
year(usage_date) = year(CURRENT_DATE)
AND
sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
usage_date > "2023-04-15"
GROUP BY
sku_name, usage_date
ما هو استهلاك DBU لعرض مجسد أو جدول دفق؟
للحصول على استخدام DBU وSKU لعرض مجسد معين أو جدول دفق، أرسل استعلاما إلى جدول نظام الاستخدام القابل للفوترة للسجلات حيث usage_metadata.dlt_pipeline_id
يتم تعيينه إلى معرف المسار المرتبط بطريقة العرض المجسدة أو جدول البث. يمكنك العثور على معرف المسار في علامة التبويب التفاصيل في مستكشف الكتالوج عند عرض طريقة العرض المجسدة أو جدول البث. لتحديد الاستهلاك حسب التاريخ اختياريا، حدد تاريخ بدء أو تاريخ انتهاء أو نطاق تاريخ. يسترد الاستعلام التالي استخدام DBU للبنية الأساسية لبرنامج ربط العمليات التجارية ذات المعرف 00732f83-cd59-4c76-ac0d-57958532ab5b
وتاريخ بدء الاستخدام ل 2023-05-30
:
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
usage_start_time > "2023-05-30"
GROUP BY
ALL
ما هو استهلاك DBU لمسار DLT بلا خادم؟
للحصول على استخدام DBU وSKU لمسار DLT بلا خادم، أرسل استعلاما إلى جدول نظام الاستخدام القابل للفوترة للسجلات حيث usage_metadata.dlt_pipeline_id
يتم تعيينه إلى معرف المسار. يمكنك العثور على معرف المسار في علامة التبويب تفاصيل المسار عند عرض مسار في واجهة مستخدم Delta Live Tables. لتحديد الاستهلاك حسب التاريخ اختياريا، حدد تاريخ بدء أو تاريخ انتهاء أو نطاق تاريخ. يسترد الاستعلام التالي استخدام DBU من ديسمبر 2023 للبنية الأساسية لبرنامج ربط العمليات التجارية ذات المعرف 00732f83-cd59-4c76-ac0d-57958532ab5b
.
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
usage_start_time >= "2023-12-01"
AND
usage_end_time < "2024-01-01"
GROUP BY
ALL