Referência da tabela do sistema de uso faturável
Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e as consultas de exemplo. Com as tabelas do sistema, os dados de uso faturáveis da sua conta são centralizados e roteados para todas as regiões, para que você possa exibir o uso global da sua conta de qualquer região em que seu espaço de trabalho se encontre.
Para obter informações sobre como usar essa tabela para monitorar custos e consultas de exemplo, consulte Monitorar custos usando tabelas do sistema.
Caminho da tabela: esta tabela do sistema está localizada em system.billing.usage
.
Esquema da tabela de uso faturável
A tabela do sistema de uso faturável usa o seguinte esquema:
Nome da coluna | Tipo de dados | Descrição | Exemplo |
---|---|---|---|
record_id |
cadeia de caracteres | ID exclusiva para esse registro de uso | 11e22ba4-87b9-4cc2-9770-d10b894b7118 |
account_id |
cadeia de caracteres | ID da conta para a qual esse relatório foi gerado | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
cadeia de caracteres | ID do workspace ao qual esse uso foi associado | 1234567890123456 |
sku_name |
cadeia de caracteres | Nome da SKU | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
cadeia de caracteres | Nuvem associada a esse uso. Os valores possíveis são AWS , AZURE e GCP . |
AWS , AZURE ou GCP |
usage_start_time |
carimbo de data/hora | A hora de início relevante desse registro de uso. As informações de fuso horário são registradas no final do valor, com +00:00 representando o fuso horário UTC. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
carimbo de data/hora | A hora de término relevante desse registro de uso. As informações de fuso horário são registradas no final do valor, com +00:00 representando o fuso horário UTC. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
data | Data do registro de uso, esse campo pode ser usado para agregação mais rápida por data | 2023-01-01 |
custom_tags |
mapa | Etiquetas personalizadas associadas ao registro de uso | { “env”: “production” } |
usage_unit |
cadeia de caracteres | Unidade em que esse uso é medido | DBU |
usage_quantity |
decimal | Número de unidades consumidas para este registro | 259.2958 |
usage_metadata |
Struct | Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para trabalhos e recursos de computação (se aplicável). Consulte Metadados de Uso. | {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null} |
identity_metadata |
Struct | Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Metadados de Identidade. | Consulte Metadados de identidade |
record_type |
cadeia de caracteres | Se o registro for original, uma retratação ou reformulação. O valor é ORIGINAL , a menos que o registro esteja relacionado a uma correção. Consulte Tipo de Registro. |
ORIGINAL |
ingestion_date |
data | Data em que o registro foi ingerido na tabela usage |
2024-01-01 |
billing_origin_product |
cadeia de caracteres | O produto que originou o uso. Alguns produtos podem ser cobrados como SKUs diferentes. Para obter valores possíveis, consulte Product. | JOBS |
product_features |
Struct | Detalhes sobre os recursos específicos do produto usado. Consulte Recursos do produto. | Consulte Recursos do Produto. |
usage_type |
cadeia de caracteres | O tipo de uso atribuído ao produto ou carga de trabalho para fins de cobrança. Os valores possíveis são COMPUTE_TIME , STORAGE_SPACE , NETWORK_BYTES , NETWORK_HOUR , API_OPERATION , TOKEN ou GPU_TIME . |
STORAGE_SPACE |
Referência dos metadados de uso
Os valores em usage_metadata
informam sobre os objetos e recursos envolvidos no registro de uso.
Valor | Tipo de dados | Descrição |
---|---|---|
cluster_id |
cadeia de caracteres | ID do cluster associado ao registro de uso |
warehouse_id |
cadeia de caracteres | ID do SQL Warehouse associado ao registro de uso |
instance_pool_id |
cadeia de caracteres | ID do pool de instância associado ao registro de uso |
node_type |
cadeia de caracteres | O tipo de instância do recurso de computação |
job_id |
cadeia de caracteres | ID do trabalho associado ao registro de uso. Retorna apenas um valor para uso de computação sem servidor ou computação de trabalhos, caso contrário, retorna null . |
job_run_id |
cadeia de caracteres | ID da execução do trabalho associada ao registro de uso. Retorna apenas um valor para uso de computação sem servidor ou computação de trabalhos, caso contrário, retorna null . |
job_name |
cadeia de caracteres | Nome fornecido pelo usuário do trabalho associado ao registro de uso. Retorna apenas um valor para trabalhos executados na computação sem servidor; caso contrário, retorna null . |
notebook_id |
cadeia de caracteres | ID do notebook associado ao uso. Retorna apenas um valor para computação sem servidor para uso de notebook; caso contrário, retorna null . |
notebook_path |
cadeia de caracteres | Caminho de armazenamento do espaço de trabalho do notebook associado ao uso. Retorna apenas um valor para computação sem servidor para uso de notebook; caso contrário, retorna null . |
dlt_pipeline_id |
cadeia de caracteres | ID do pipeline de Delta Live Tables associado ao registro de uso |
dlt_update_id |
cadeia de caracteres | ID da atualização do pipeline do Delta Live Tables associada ao registro de uso |
dlt_maintenance_id |
cadeia de caracteres | ID das tarefas de manutenção do pipeline do Delta Live Tables associadas ao registro de uso |
run_name |
cadeia de caracteres | Identificador exclusivo voltado para o usuário do ajuste fino do Modelo de Fundação associado ao registro de uso |
endpoint_name |
cadeia de caracteres | O nome do ponto de extremidade de serviço do modelo ou do ponto de extremidade da busca de vetores associado ao registro de uso |
endpoint_id |
cadeia de caracteres | ID do ponto de extremidade de serviço do modelo ou do ponto de extremidade da busca de vetores associado ao registro de uso |
central_clean_room_id |
cadeia de caracteres | ID da sala de limpeza central associada ao registro de uso |
source_region |
cadeia de caracteres | Região da área de trabalho associada ao uso. retorna apenas um valor para custos relacionados à rede. |
destination_region |
cadeia de caracteres | Região do recurso que está sendo acessado. retorna apenas um valor para custos relacionados à rede. |
metastore_id |
cadeia de caracteres | ID do metastore associado ao registro de uso |
app_id |
cadeia de caracteres | ID do aplicativo associado ao registro de uso |
app_name |
cadeia de caracteres | Nome fornecido pelo usuário do aplicativo associado ao registro de uso |
private_endpoint_name |
cadeia de caracteres | Nome do ponto de extremidade privado aplicável. retorna apenas um valor para custos relacionados à rede. |
Referência dos metadados de identidade
A coluna identity_metadata
fornece mais informações sobre as identidades envolvidas no uso. O campo run_as
registra quem executou a carga de trabalho. O campo owned_by
só se aplica ao uso do SQL Warehouse e registra o usuário ou a entidade de serviço que possui o SQL Warehouse responsável pelo uso.
Além disso, o uso atribuído aos Aplicativos do Databricks registra um valor no campo identity_metadata.created_by
. Esse valor é preenchido com o email do usuário que criou o aplicativo.
identidades run_as
A identidade registrada em identity_metadata.run_as
depende do produto associado ao uso. Consulte a tabela a seguir para obter o comportamento identity_metadata.run_as
:
Tipo de carga de trabalho | Identidade de run_as |
---|---|
Computação de trabalhos | O usuário ou a entidade de serviço definida na configuração run_as . Por padrão, os trabalhos são executados como a identidade do proprietário do trabalho, mas os administradores podem alterá-lo para ser outro usuário ou entidade de serviço. |
Computação sem servidor para trabalhos | O usuário ou a entidade de serviço definida na configuração run_as . Por padrão, os trabalhos são executados como a identidade do proprietário do trabalho, mas os administradores podem alterá-lo para ser outro usuário ou entidade de serviço. |
Computação sem servidor para notebooks | O usuário que executou os comandos do notebook (especificamente, o usuário que criou a sessão do notebook). Quanto aos notebooks compartilhados, isso inclui o uso de outros usuários que compartilham a mesma sessão de notebook. |
Pipelines do Delta Live Tables | O usuário cujas permissões são usadas para executar o pipeline do Delta Live Tables. Isso pode ser alterado transferindo a propriedade do pipeline. |
Ajuste fino do Modelo de Base | O usuário ou a entidade de serviço que iniciou a execução de treinamento de ajuste fino. |
Otimização preditiva | A entidade de serviço de propriedade do Databricks que executa as operações de otimização preditiva. |
Monitoramento do Lakehouse | O usuário que criou o monitor. |
Referência do tipo de registro
A tabela billing.usage
oferece suporte às correções. As correções ocorrem quando qualquer campo do registro de uso está incorreto e deve ser corrigido.
Quando ocorre uma correção, o Azure Databricks adiciona dois novos registros à tabela. Um registro de retratação nega o registro incorreto original e, em seguida, um registro de reformulação inclui as informações corrigidas. Os registros de correção são identificados usando o campo record_type
:
RETRACTION
: usado para negar o uso incorreto original. Todos os campos são idênticos ao registro deORIGINAL
, excetousage_quantity
, que é um valor negativo que cancela a quantidade de uso original. Por exemplo, se a quantidade de uso do registro original fosse259.4356
, o registro de retratação teria uma quantidade de uso de-259.4356
.RESTATEMENT
: o registro que inclui os campos corretos e a quantidade de uso.
Por exemplo, a consulta a seguir retorna a quantidade de uso por hora correta relacionada a um job_id
, mesmo que as correções tenham sido feitas. Ao agregar a quantidade de uso, o registro de retratação nega o registro original e apenas os valores de declaração são retornados.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
Observação
Quanto às correções em que o registro de uso original não deveria ter sido gravado, uma correção pode adicionar apenas um registro de retratação e nenhum registro de repetição.
Referência do produto de origem de cobrança
Alguns produtos do Databricks são cobrados na mesma SKU compartilhada. Para ajudá-lo a diferenciar o uso, as colunas billing_origin_product
e product_features
fornecem mais informações sobre o produto e os recursos específicos associados ao uso.
A coluna billing_origin_product
mostra o produto do Databricks associado ao registro de uso. Os valores incluem:
JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
DEFAULT_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
AGENT_EVALUATION
FINE_GRAIN_ACCESS_CONTROL
NETWORKING
: custos associados à conexão da computação sem servidor aos seus recursos pelos pontos de extremidade privados. Para usoNETWORKING
,workspace_id
énull
,usage_unit
éhour
enetworking.connectivity_type
éPRIVATE_IP
.APPS
: custos associados à criação e execução de aplicativos Databricks
Referência de funcionalidades do produto
A coluna product_features
é um objeto que contém informações sobre os recursos específicos do produto usados e inclui os seguintes pares chave/valor:
jobs_tier
: os valores incluemLIGHT
,CLASSIC
ounull
sql_tier
: os valores incluemCLASSIC
,PRO
ounull
dlt_tier
: os valores incluemCORE
,PRO
,ADVANCED
ounull
is_serverless
: os valores incluemtrue
oufalse
, ounull
is_photon
: os valores incluemtrue
oufalse
, ounull
serving_type
: os valores incluemMODEL
,GPU_MODEL
,FOUNDATION_MODEL
,FEATURE
ounull
networking.connectivity_type
: os valores incluemPUBLIC_IP
ePRIVATE_IP