Compartilhar via


Referência da tabela do sistema de uso faturável

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e as consultas de exemplo. Com as tabelas do sistema, os dados de uso faturáveis da sua conta são centralizados e roteados para todas as regiões, para que você possa exibir o uso global da sua conta de qualquer região em que seu espaço de trabalho se encontre.

Para obter informações sobre como usar essa tabela para monitorar custos e consultas de exemplo, consulte Monitorar custos usando tabelas do sistema.

Caminho da tabela: esta tabela do sistema está localizada em system.billing.usage.

Esquema da tabela de uso faturável

A tabela do sistema de uso faturável usa o seguinte esquema:

Nome da coluna Tipo de dados Descrição Exemplo
record_id cadeia de caracteres ID exclusiva para esse registro de uso 11e22ba4-87b9-4cc2-9770-d10b894b7118
account_id cadeia de caracteres ID da conta para a qual esse relatório foi gerado 23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id cadeia de caracteres ID do workspace ao qual esse uso foi associado 1234567890123456
sku_name cadeia de caracteres Nome da SKU STANDARD_ALL_PURPOSE_COMPUTE
cloud cadeia de caracteres Nuvem associada a esse uso. Os valores possíveis são AWS, AZURE e GCP. AWS, AZURE ou GCP
usage_start_time carimbo de data/hora A hora de início relevante desse registro de uso. As informações de fuso horário são registradas no final do valor, com +00:00 representando o fuso horário UTC. 2023-01-09 10:00:00.000+00:00
usage_end_time carimbo de data/hora A hora de término relevante desse registro de uso. As informações de fuso horário são registradas no final do valor, com +00:00 representando o fuso horário UTC. 2023-01-09 11:00:00.000+00:00
usage_date data Data do registro de uso, esse campo pode ser usado para agregação mais rápida por data 2023-01-01
custom_tags mapa Etiquetas personalizadas associadas ao registro de uso { “env”: “production” }
usage_unit cadeia de caracteres Unidade em que esse uso é medido DBU
usage_quantity decimal Número de unidades consumidas para este registro 259.2958
usage_metadata Struct Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para trabalhos e recursos de computação (se aplicável). Consulte Metadados de Uso. {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null}
identity_metadata Struct Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Metadados de Identidade. Consulte Metadados de identidade
record_type cadeia de caracteres Se o registro for original, uma retratação ou reformulação. O valor é ORIGINAL, a menos que o registro esteja relacionado a uma correção. Consulte Tipo de Registro. ORIGINAL
ingestion_date data Data em que o registro foi ingerido na tabela usage 2024-01-01
billing_origin_product cadeia de caracteres O produto que originou o uso. Alguns produtos podem ser cobrados como SKUs diferentes. Para obter valores possíveis, consulte Product. JOBS
product_features Struct Detalhes sobre os recursos específicos do produto usado. Consulte Recursos do produto. Consulte Recursos do Produto.
usage_type cadeia de caracteres O tipo de uso atribuído ao produto ou carga de trabalho para fins de cobrança. Os valores possíveis são COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, NETWORK_HOUR, API_OPERATION, TOKENou GPU_TIME. STORAGE_SPACE

Referência dos metadados de uso

Os valores em usage_metadata informam sobre os objetos e recursos envolvidos no registro de uso.

Valor Tipo de dados Descrição
cluster_id cadeia de caracteres ID do cluster associado ao registro de uso
warehouse_id cadeia de caracteres ID do SQL Warehouse associado ao registro de uso
instance_pool_id cadeia de caracteres ID do pool de instância associado ao registro de uso
node_type cadeia de caracteres O tipo de instância do recurso de computação
job_id cadeia de caracteres ID do trabalho associado ao registro de uso. Retorna apenas um valor para uso de computação sem servidor ou computação de trabalhos, caso contrário, retorna null.
job_run_id cadeia de caracteres ID da execução do trabalho associada ao registro de uso. Retorna apenas um valor para uso de computação sem servidor ou computação de trabalhos, caso contrário, retorna null.
job_name cadeia de caracteres Nome fornecido pelo usuário do trabalho associado ao registro de uso. Retorna apenas um valor para trabalhos executados na computação sem servidor; caso contrário, retorna null.
notebook_id cadeia de caracteres ID do notebook associado ao uso. Retorna apenas um valor para computação sem servidor para uso de notebook; caso contrário, retorna null.
notebook_path cadeia de caracteres Caminho de armazenamento do espaço de trabalho do notebook associado ao uso. Retorna apenas um valor para computação sem servidor para uso de notebook; caso contrário, retorna null.
dlt_pipeline_id cadeia de caracteres ID do pipeline de Delta Live Tables associado ao registro de uso
dlt_update_id cadeia de caracteres ID da atualização do pipeline do Delta Live Tables associada ao registro de uso
dlt_maintenance_id cadeia de caracteres ID das tarefas de manutenção do pipeline do Delta Live Tables associadas ao registro de uso
run_name cadeia de caracteres Identificador exclusivo voltado para o usuário do ajuste fino do Modelo de Fundação associado ao registro de uso
endpoint_name cadeia de caracteres O nome do ponto de extremidade de serviço do modelo ou do ponto de extremidade da busca de vetores associado ao registro de uso
endpoint_id cadeia de caracteres ID do ponto de extremidade de serviço do modelo ou do ponto de extremidade da busca de vetores associado ao registro de uso
central_clean_room_id cadeia de caracteres ID da sala de limpeza central associada ao registro de uso
source_region cadeia de caracteres Região da área de trabalho associada ao uso. retorna apenas um valor para custos relacionados à rede.
destination_region cadeia de caracteres Região do recurso que está sendo acessado. retorna apenas um valor para custos relacionados à rede.
metastore_id cadeia de caracteres ID do metastore associado ao registro de uso
app_id cadeia de caracteres ID do aplicativo associado ao registro de uso
app_name cadeia de caracteres Nome fornecido pelo usuário do aplicativo associado ao registro de uso
private_endpoint_name cadeia de caracteres Nome do ponto de extremidade privado aplicável. retorna apenas um valor para custos relacionados à rede.

Referência dos metadados de identidade

A coluna identity_metadata fornece mais informações sobre as identidades envolvidas no uso. O campo run_as registra quem executou a carga de trabalho. O campo owned_by só se aplica ao uso do SQL Warehouse e registra o usuário ou a entidade de serviço que possui o SQL Warehouse responsável pelo uso.

Além disso, o uso atribuído aos Aplicativos do Databricks registra um valor no campo identity_metadata.created_by. Esse valor é preenchido com o email do usuário que criou o aplicativo.

identidades run_as

A identidade registrada em identity_metadata.run_as depende do produto associado ao uso. Consulte a tabela a seguir para obter o comportamento identity_metadata.run_as:

Tipo de carga de trabalho Identidade de run_as
Computação de trabalhos O usuário ou a entidade de serviço definida na configuração run_as. Por padrão, os trabalhos são executados como a identidade do proprietário do trabalho, mas os administradores podem alterá-lo para ser outro usuário ou entidade de serviço.
Computação sem servidor para trabalhos O usuário ou a entidade de serviço definida na configuração run_as. Por padrão, os trabalhos são executados como a identidade do proprietário do trabalho, mas os administradores podem alterá-lo para ser outro usuário ou entidade de serviço.
Computação sem servidor para notebooks O usuário que executou os comandos do notebook (especificamente, o usuário que criou a sessão do notebook). Quanto aos notebooks compartilhados, isso inclui o uso de outros usuários que compartilham a mesma sessão de notebook.
Pipelines do Delta Live Tables O usuário cujas permissões são usadas para executar o pipeline do Delta Live Tables. Isso pode ser alterado transferindo a propriedade do pipeline.
Ajuste fino do Modelo de Base O usuário ou a entidade de serviço que iniciou a execução de treinamento de ajuste fino.
Otimização preditiva A entidade de serviço de propriedade do Databricks que executa as operações de otimização preditiva.
Monitoramento do Lakehouse O usuário que criou o monitor.

Referência do tipo de registro

A tabela billing.usage oferece suporte às correções. As correções ocorrem quando qualquer campo do registro de uso está incorreto e deve ser corrigido.

Quando ocorre uma correção, o Azure Databricks adiciona dois novos registros à tabela. Um registro de retratação nega o registro incorreto original e, em seguida, um registro de reformulação inclui as informações corrigidas. Os registros de correção são identificados usando o campo record_type:

  • RETRACTION: usado para negar o uso incorreto original. Todos os campos são idênticos ao registro de ORIGINAL, exceto usage_quantity, que é um valor negativo que cancela a quantidade de uso original. Por exemplo, se a quantidade de uso do registro original fosse 259.4356, o registro de retratação teria uma quantidade de uso de -259.4356.
  • RESTATEMENT: o registro que inclui os campos corretos e a quantidade de uso.

Por exemplo, a consulta a seguir retorna a quantidade de uso por hora correta relacionada a um job_id, mesmo que as correções tenham sido feitas. Ao agregar a quantidade de uso, o registro de retratação nega o registro original e apenas os valores de declaração são retornados.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Observação

Quanto às correções em que o registro de uso original não deveria ter sido gravado, uma correção pode adicionar apenas um registro de retratação e nenhum registro de repetição.

Referência do produto de origem de cobrança

Alguns produtos do Databricks são cobrados na mesma SKU compartilhada. Para ajudá-lo a diferenciar o uso, as colunas billing_origin_product e product_features fornecem mais informações sobre o produto e os recursos específicos associados ao uso.

A coluna billing_origin_product mostra o produto do Databricks associado ao registro de uso. Os valores incluem:

  • JOBS
  • DLT
  • SQL
  • ALL_PURPOSE
  • MODEL_SERVING
  • INTERACTIVE
  • DEFAULT_STORAGE
  • VECTOR_SEARCH
  • LAKEHOUSE_MONITORING
  • PREDICTIVE_OPTIMIZATION
  • ONLINE_TABLES
  • FOUNDATION_MODEL_TRAINING
  • AGENT_EVALUATION
  • FINE_GRAIN_ACCESS_CONTROL
  • NETWORKING: custos associados à conexão da computação sem servidor aos seus recursos pelos pontos de extremidade privados. Para uso NETWORKING, workspace_id é null, usage_unit é houre networking.connectivity_type é PRIVATE_IP.
  • APPS: custos associados à criação e execução de aplicativos Databricks

Referência de funcionalidades do produto

A coluna product_features é um objeto que contém informações sobre os recursos específicos do produto usados e inclui os seguintes pares chave/valor:

  • jobs_tier: os valores incluem LIGHT, CLASSIC ou null
  • sql_tier: os valores incluem CLASSIC, PRO ou null
  • dlt_tier: os valores incluem CORE, PRO, ADVANCED ou null
  • is_serverless: os valores incluem true ou false, ou null
  • is_photon: os valores incluem true ou false, ou null
  • serving_type: os valores incluem MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE ou null
  • networking.connectivity_type: os valores incluem PUBLIC_IP e PRIVATE_IP