Databricks Runtime 4.1 (EoS)

O Databricks lançou essa versão em maio de 2018.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 4.1 da plataforma Apache Spark.

Delta Lake

O Databricks Runtime versão 4.1 adiciona melhorias de qualidade e funcionalidade importantes ao Delta Lake. O Databricks recomenda que todos os clientes do Delta Lake atualizem para o novo runtime. Esta versão permanece em Versão Prévia Privada, mas representa uma versão candidata em antecipação à próxima versão de GA (disponibilidade geral).

O Delta Lake agora também está disponível na Versão Prévia Privada para usuários do Azure Databricks. Entre em contato com seu gerente de conta ou inscreva-se em https://databricks.com/product/databricks-delta.

Alterações de quebra

• O Databricks Runtime 4.1 inclui alterações no protocolo de transação para habilitar novos recursos, como validação. Tables criados com o Databricks Runtime 4.1 usam automaticamente a nova versão e não podem ser gravados por versões mais antigas do Databricks Runtime. Você precisa atualizar o tables existente para aproveitar esses aprimoramentos. Para atualizar um table existente, primeiro atualize todas as tarefas que estão gravando no table. Em seguida, execute:

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  Confira Como o Azure Databricks gerencia a compatibilidade de recursos do Delta Lake? para obter mais detalhes.

• As gravações agora são validadas no schema atual do table, em vez de adicionar automaticamente columns ausentes do table de destino. Para habilitar o comportamento anterior, set a opção mergeSchema para true.

• Se você estiver executando versões anteriores do Databricks Delta, deverá atualizar todos os trabalhos antes de usar o Databricks Runtime 4.1. Se você vir qualquer um desses erros, atualize para o Databricks Runtime 4.1:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• Tables não pode mais ter columns que diferem apenas por maiúsculas e minúsculas.

• As configurações de table específicas do Delta agora devem ser prefixadas com delta.

Novos recursos

• Gerenciamento de Schema – o Databricks Delta agora valida acréscimos e substituições para um table existente para garantir que o schema que está sendo gravado corresponda ao schema.

  • O Databricks Delta continua a dar suporte à evolução automática do schema.
  • O Databricks Delta agora dá suporte à seguinte DDL para modificar schema explicitamente:
    • ALTER TABLE ADD COLUMN para adicionar novos columns a um table
    • ALTER TABLE CHANGE COLUMNS para alterar a ordenação de column
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Para obter detalhes, consulte Imposição de Schema.

• DDL aprimorado e suporte a table

  • Suporte completo para table DDL e saveAsTable(). save() e saveAsTable() agora têm semântica idêntica.
  • Todos os comandos DDL e DML dão suporte ao nome table e ao delta.`<path-to-table>`.
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Informações detalhadas de table – você pode ver as versões de leitor e gravador atuais de um table executando DESCRIBE DETAIL. Consulte Como o Azure Databricks gerencia a compatibilidade de recursos do Delta Lake?
  • Detalhes Table – As informações de procedência agora estão disponíveis para cada gravação em um table. O painel lateral de dados também mostra informações detalhadas sobre table e o histórico do Databricks Delta tables. Consulte Revisar detalhes de table do Delta Lake com describe detail.
  • tables de streaming – DataFrames de streaming podem ser criados usando spark.readStream.format("delta").table("<table-name>").
  • tables de apenas adição - O Databricks Delta agora dá suporte à governança básica de dados. Você pode bloquear exclusões e modificações em um table definindo a propriedade tabledelta.appendOnly=true.
  • MERGE INTO source – adiciona suporte mais abrangente à especificação de consulta de origem do MERGE. Por exemplo, você pode especificar LIMITe ORDER BYINLINE TABLE na origem.
  • Suporte completo para ACLs Table.

Melhorias de desempenho

• Redução da sobrecarga de coleta de estatísticas - A eficiência da coleta de estatísticas foi aprimorada e as estatísticas agora são coletadas apenas para um número configurável de columns, set para 32 por padrão. O desempenho de gravação do Databricks Delta foi aprimorado em até 2x devido à redução na sobrecarga de coleta de estatísticas. Para configurar o número de columns, set a propriedade tabledelta.dataSkippingNumIndexedCols=<number-of-columns>.
• Suporte para push down de limit – as estatísticas são usadas para limit o número de arquivos verificados para consultas que têm LIMIT e predicados em partitioncolumns. Isso é aplicável a consultas em notebooks devido ao limit=1000 implícito em vigor para todos os comandos do notebook.
• Filtrar pushdown na origem do fluxo – as consultas de fluxo agora usam o particionamento ao iniciar um novo fluxo para ignorar dados irrelevantes.
• O paralelismo aprimorado por OPTIMIZE - OPTIMIZE agora é executado como uma única tarefa do Spark e usará todo o paralelismo disponível no cluster (anteriormente era limitado a 100 arquivos compactados por vez).
• Ignorar dados em DML – UPDATE, DELETEe MERGE agora usam estatísticas ao localizar arquivos que precisam ser regravados.
• Retenção de ponto de verificação reduzida – os pontos de verificação agora são retidos por dois dias (o histórico ainda é mantido por 30) para diminuir os custos de armazenamento para o log de transações.

Comportamento da API

• O comportamento do insertInto(<table-name>) no Databricks Delta é o mesmo que outras fontes de dados.
  • Se nenhum modo for especificado ou mode for ErrorIfExists, Ignore ou Append, os dados do DataFrame são acrescentados ao Databricks Delta table.
  • Se mode for Overwrite, excluirá todos os dados no table existente e inserirá os dados do DataFrame no Databricks Delta table.
• Se armazenado em cache, o destino table de MERGE deverá ser removido do cache manualmente.

Aperfeiçoamentos de usabilidade

• Validações de migração de carga de trabalho – erros comuns feitos ao migrar cargas de trabalho para o Databricks Delta agora lançam uma exceção em vez de falhar:
  • Usando format("parquet") para ler ou gravar em um table.
  • Lendo ou escrevendo diretamente em um partition (ou seja, /path/to/delta/part=1).
  • Limpando subdiretórios de um table.
  • INSERT OVERWRITE DIRECTORY usando Parquet em um table.
• Configuração sem maiúsculas e minúsculas – as opções para o Leitor/Gravador do DataFrame e as propriedades table agora não diferenciam maiúsculas de minúsculas (incluindo o caminho de leitura e o caminho de gravação).
• Nomes Column – nomes Tablecolumn agora podem incluir pontos.

Problemas conhecidos

• As inserções de instruções de vários insert estão em unidades de trabalho diferentes, em vez de estar na mesma transação.

Correções de bug

• Um loop infinito ao iniciar um novo fluxo em um table de atualização rápida foi corrigido.

Desativações

O Streaming Estruturado não lida com entradas que não sejam acréscimos e lança uma exceção se qualquer modificação ocorrer no table que está sendo usado como fonte. Anteriormente, você poderia substituir esse comportamento usando o sinalizador ignoreFileDeletion, mas agora ele foi preterido. Em vez disso, use ignoreDeletes ou ignoreChanges. Veja Delta table como fonte.

Outras alterações e melhorias

• O Watchdog de Consulta está habilitado para todos os clusters para todas as finalidades criados usando a interface do usuário.
• Desempenho aprimorado do lado do driver para o cache DBIO
• Desempenho aprimorado para decodificação de Parquet por meio de um novo decodificador Parquet nativo
• Desempenho aprimorado para eliminação de subexpressão comum
• Desempenho aprimorado ao ignorar dados para table grandes unindo tables pequenas (junções de table de dimensão de fato)
• display() agora renderiza columns que contém tipos de dados de imagem como HTML com formatação.
• Aprimoramentos em Registrar em log, carregar e registrar modelos do MLflow
  • Dbml-local atualizado para a versão mais recente 0.4.1
  • Correção de bug com modelos exportados com o parâmetro threshold especificado
  • Adicionado suporte para exportar OneVsRestModel, GBTClassificationModel
• Atualizou algumas bibliotecas do Python instaladas:
  • pip: de 9.0.1 para 10.0.0b2
  • setuptools: de 38.5.1 para 39.0.1
  • tornado: 4.5.3 para 5.0.1
  • wheel: 0.30.0 para 0.31.0
• Atualizou várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.
• Atualizado Azure Data Lake Store SDK de 2.0.11 para 2.2.8.
• CUDA atualizado para 9.0 de 8.0 e CUDNN para 7.0 de 6.0 para clusters de GPU.

Apache Spark

O Databricks Runtime 4.1 inclui o Apache Spark 2.3.0. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 4.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-24007][SQL] EqualNullSafe para FloatType e DoubleType pode generate um resultado errado por codegen.
• [SPARK-23942][PYTHON] [SQL] Faz coleta no PySpark como ação para um ouvinte de executor de consulta
• [SPARK-23815][CORE] O modo de substituição de partition dinâmica do gravador do Spark pode falhar ao gravar a saída na partition de vários níveis
• [SPARK-23748][SS] Corrigir o processo contínuo de SS não dá suporte ao problema de SubqueryAlias
• [SPARK-23963][SQL] Lidar corretamente com um grande número de columns em consulta na table Hive baseada em texto
• [SPARK-23867][SCHEDULER] Usar droppedCount no logWarning
• [SPARK-23816][CORE] Tarefas encerradas devem ignorar FetchFailures.
• [SPARK-23809][SQL] A SparkSession ativa deve ser set por getOrCreate
• [SPARK-23966][SS] Refatorando toda a lógica de gravação do arquivo de ponto de verificação em uma interface CheckpointFileManager comum
• [SPARK-21351][SQL] nulidade de Update com base na saída dos filhos
• [SPARK-23847][PYTHON] [SQL] Adicionar asc_nulls_first e asc_nulls_last ao PySpark
• [SPARK-23822][SQL] Aprimorar a mensagem de erro de incompatibilidades de schema do Parquet
• [SPARK-23823][SQL] Manter a origem em transformExpression
• [SPARK-23838][WEBUI] A consulta SQL em execução é exibida como "concluída" no guia SQL
• [SPARK-23802][SQL] O PropagateEmptyRelation pode deixar o plano de consulta em estado não resolvido
• [SPARK-23727][SQL] Suporte para envio de filtros por push para a DateType no parquet
• [SPARK-23574][SQL] Relatar SinglePartition em DataSourceV2ScanExec quando houver exatamente 1 data reader factory.
• [SPARK-23533][SS] Adicionar suporte para alterar startOffset do ContinuousDataReader
• [SPARK-23491][SS] Remove cancelamento explícito de trabalho a partir da reconfiguração do ContinuousExecution
• [SPARK-23040][CORE] Retorna o iterador de interrupção para o leitor de ordem aleatória
• [SPARK-23827][SS] O StreamingJoinExec deve garantir que os dados de entrada sejam particionados em um número específico de partições
• [SPARK-23639][SQL] Obter token antes do cliente init na CLI do SparkSQL
• [SPARK-23806] O Broadcast.unpersist pode causar uma exceção fatal quando usado.…
• [SPARK-23599][SQL] Usar o RandomUUIDGenerator na expressão Uuid
• [SPARK-23599][SQL] Adicionar um gerador UUID de números pseudoaleatórios
• [SPARK-23759][UI] Não é possível associar a interface do usuário Spark ao nome do host específico / IP
• [SPARK-23769][CORE] Remove os comentários que desnecessariamente desabilitam a verificação Scalastyle
• [SPARK-23614][SQL] Corrigir troca de reutilização incorreta quando o cache é usado
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs deve salvar/restore o estado CSE corretamente
• [SPARK-23729][CORE] Respeitar o fragmento URI ao resolver globs
• [SPARK-23550][CORE] Limpar Utils
• [SPARK-23288][SS] Corrigir métricas de saída com o coletor do Parquet
• [SPARK-23264][SQL] Corrigir scala.MatchError em literals.sql.out
• [SPARK-23649][SQL] Ignorando os caracteres não permitidos em UTF-8
• [SPARK-23691][PYTHON] Utilizar o utilitário sql_conf em testes do PySpark where possível
• [SPARK-23644][CORE][UI] Usar o caminho absoluto para a chamada REST em SHS
• [SPARK-23706][PYTHON] spark.conf.get(value, default=None) deverá retornar None em PySpark
• [SPARK-23623][SS] Evitar o uso simultâneo de consumidores em cache em CachedKafkaConsumer
• [SPARK-23670][SQL] Corrigir perda de memória em SparkPlanGraphWrapper
• [SPARK-23608][CORE][WEBUI] Adicionar uma sincronização em SHS entre as funções attachSparkUI e detachSparkUI para evitar problema de modificação simultânea no Jetty Handlers.
• [SPARK-23671][CORE] Corrigir a condição para habilitar o pool de threads SHS.
• [SPARK-23658][LAUNCHER] InProcessAppHandle usa a classe errada em getLogger
• [SPARK-23642][DOCS] Correção de scaladoc isZero de subclasse do AccumulatorV2
• [SPARK-22915][MLLIB] Testes do fluxo para spark.ml.feature, de N a Z
• [SPARK-23598][SQL] Tornar os métodos públicos no BufferedRowIterator para evitar erro de runtime para uma consulta grande
• [SPARK-23546][SQL] Refatorar métodos sem estado/values no CodegenContext
• [SPARK-23523][SQL] Corrigir o resultado incorreto causado pela regra OptimizeMetadataOnlyQuery
• [SPARK-23462][SQL] Melhorar a mensagem de erro de campo ausente em StructType
• [SPARK-23624][SQL] Revisar doc do método pushFilters no Datasource V2
• [SPARK-23173][SQL] Evitar a criação de arquivos parquet corrompidos ao carregar dados do JSON
• [SPARK-23436][SQL] Inferir partition como Date somente se ele puder ser convertido em Date
• [SPARK-23406][SS] Habilitar autojunções de fluxo-fluxo
• [SPARK-23490][SQL] Verificar o storage.locationUri em relação à table existente em CreateTable
• [SPARK-23524]Os blocos grandes de ordem aleatória local não devem ser verificados se estão corrompidos.
• [SPARK-23525][SQL] Dar suporte a ALTER TABLE CHANGE COLUMN COMMENT para dados de table externa
• [SPARK-23434][SQL] O Spark não deverá avisar o diretório de metadados sobre um caminho de arquivo HDFS
• [SPARK-23457][SQL] Registrar ouvintes de conclusão de tarefas no ParquetFileFormat
• [SPARK-23329][SQL] Corrigir documentação de funções trigonométricas
• [SPARK-23569][PYTHON] Permitir que pandas_udf trabalhe com funções anotadas por tipo de estilo do python3
• [SPARK-23570][SQL] Adicionar o Spark 2.3.0 em HiveExternalCatalogVersionsSuite
• [SPARK-23517][PYTHON] Fazer com que _pyspark.util.exception_message produza o rastreamento do lado do Java por Py4JJavaError
• [SPARK-23508][CORE] Corrigir BlockmanagerId caso blockManagerIdCache provoque oom
• [SPARK-23448][SQL] Esclarecer o comportamento do analisador JSON e CSV no documento
• [SPARK-23365][CORE] Não ajustar executores num ao eliminar executores ociosos.
• [SPARK-23438][DSTREAMS] Corrigir perda de dados DStreams com WAL quando o driver falha
• [SPARK-23475][UI] Mostrar também as fases ignoradas
• [SPARK-23518][SQL] Evitar acesso de metastore quando os usuários só desejam ler e gravar quadros de dados
• [SPARK-23406][SS] Habilitar autojunções de fluxo-fluxo
• [SPARK-23541][SS] Permitir que a origem do Kafka leia dados com paralelismo maior que o número de partições do artigo
• [SPARK-23097][SQL][SS] Migrar fonte de soquete de texto para V2
• [SPARK-23362][SS] Migrar fonte de microlote Kafka para V2
• [SPARK-23445]Refatoração do ColumnStat
• [SPARK-23092][SQL] Migrar MemoryStream para APIs do DataSourceV2
• [SPARK-23447][SQL] Limpar modelo de codegen para Literal
• [SPARK-23366]Melhorar caminho de leitura quente em ReadAheadInputStream
• [SPARK-22624][PYSPARK] Expor ordem aleatória de particionamento por intervalos

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 4.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 para os clusters do Python 2 e 3.5.2 para os clusters do Python 3.
• R: R versão 3.4.4 (15-03-2018)
• Clusters da GPU: as seguintes bibliotecas GPU da NVIDIA estão instaladas:
  • Driver Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)