Tempo de execução do Databricks 6.3 (EoS)

A Databricks lançou esta versão em janeiro de 2020.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.3, desenvolvido pelo Apache Spark.

Novas funcionalidades

Delta Lake

Esta versão introduz uma simultaneidade melhorada. As principais características são:

• Simultaneidade aprimorada para todas as operações do Delta Lake - Agora você pode executar mais operações do Delta Lake simultaneamente. O controle de simultaneidade otimista do Delta Lake foi melhorado, tornando a deteção de conflitos mais refinada. Isso facilita a execução de fluxos de trabalho complexos no Delta tables. Por exemplo:

  • Executar exclusões (por exemplo, para conformidade com o GDPR) simultaneamente em partições mais antigas enquanto partições mais recentes estão sendo acrescentadas.
  • Executando atualizações e mesclagens simultaneamente em conjuntos separados de partições.
  • Executando compactações de arquivos simultaneamente com acréscimos.

  Consulte Níveis de isolamento e conflitos de gravação no Azure Databricks.

• Suporte melhorado para compactação de ficheiros - Agora pode compactar ficheiros reescrevendo-os com a opção DataFrameWriterdataChangeset para false. Esta opção permite que uma operação de compactação seja executada simultaneamente com outras operações de lote e streaming. Consulte Compactar arquivos para obter detalhes.

• Desempenho aprimorado para mesclagem apenas com cláusulas insert- o Delta Lake agora oferece um desempenho otimizado para operações de mesclagem que contêm somente as cláusulas insert e nenhuma cláusula update. Além disso, o Delta Lake garante que tais mesclagens insertapenas adicionem novos dados ao table. Portanto, agora pode usar o Streaming Estruturado e as mesclagens apenas de insertpara proceder à desduplicação contínua de dados (por exemplo, logs). Consulte Desduplicação de dados ao gravar no Delta tables para obter detalhes.

Adicionar portas adicionais para permitir list quando o isolamento do processo estiver ativado

Quando ativa funcionalidades de segurança, como ACLs ou passagem de credenciais no cluster, agora pode especificar portas de saída adicionais que deseja que os processos Python possam aceder, definindo a configuração do Spark para as portas a permitir. O formato suportado do valor de configuração é [port[:port][,port[:port]]...], por exemplo: 21,22,9000:9999. A porta deve estar dentro do intervalo válido, ou seja, 0-65535.

Desabilitar a saída de trabalhos para trabalhos do Scala

A saída do trabalho, como a saída de log emitida para stdout, está sujeita a um tamanho de 20 MB limit. Você pode impedir que o stdout seja retornado do driver para o Azure Databricks definindo a configuração do spark.databricks.driver.disableScalaOutput Spark como true. O sinalizador controla a saída da célula para trabalhos JAR Scala e notebooks Scala. Consulte Limites de tamanho de saída para trabalhos JAR.

Figuras Matplotlib em linha agora suportadas nos blocos de notas do Azure Databricks (Pré-visualização Pública)

Agora você pode exibir automaticamente figuras Matplotlib sem precisar passar a figura para o display método. Para obter detalhes, consulte Matplotlib.

Novo parâmetro adicionado ao Azure Synapse Analytics

O parâmetro applicationName é set por padrão para Databricks-User-Query. O valor padrão impede que a ferramenta de Monitoramento do Banco de Dados do Azure gere alertas de injeção de SQL espúrios contra consultas. Se não for especificado ou se o valor for uma cadeia de caracteres vazia, o valor padrão da tag será adicionado à URL JDBC. Consulte Referência de opções do conector Synapse do Azure Databricks.

Melhorias

• shutil.copytree agora trabalhe para /dbfsa .
• Ao executar trabalhos de produção de Streaming Estruturado em clusters de modo de Alta Simultaneidade, as reinicializações de um trabalho ocasionalmente falhariam, porque o trabalho em execução anterior não foi encerrado corretamente. Para garantir que a execução anterior pare, set o spark.sql.streaming.stopActiveRunOnRestart true de configuração SQL no cluster. Caso o fluxo não possa ser interrompido corretamente, uma exceção de tempo limite será lançada em 15 segundos. Nesse caso, recomendamos reiniciar o cluster.
• Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.

Apache Spark

O Databricks Runtime 6.3 inclui o Apache Spark 2.4.4. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-30198][CORE] BytesToBytesMap não cresce matriz longa interna como esperado
• [FAÍSCA-29918][SQL] RecordBinaryComparator deve verificar endianness quando comparado por long
• [FAÍSCA-30274][CORE] Evite que a pesquisa BytesToBytesMap trave para sempre ao segurar as chaves que atingem a capacidade máxima
• [FAÍSCA-25392][CORE][WEBUI] Impedir página de erro ao acessar a página de pools a partir do servidor de histórico
• [FAÍSCA-30263][CORE] Não registre valores potencialmente confidenciais de propriedades que não sejam do Spark ignoradas no spark-submit
• [FAÍSCA-28637][SQL] Tipo de intervalo de suporte Thriftserver
• [SPARK-30238][SQL] a poda do hive partition só pode suportar tipos de string e integrais
• [FAÍSCA-30198][CORE] BytesToBytesMap não cresce matriz longa interna como esperado
• [FAÍSCA-24666][ML] Corrigir vetores infinitos produzidos pelo Word2Vec quando numIterations são grandes
• [SPARK-30129][CORE] Set id do cliente no TransportClient após a autenticação bem-sucedida
• [SPARK-30050][SQL] analisar table e renomear table não deve apagar informações de bucketing de table de hive
• [FAÍSCA-28152][SQL] Mapeado ShortType para SMALLINT e FloatType para REAL para MsSqlServerDialect
• [FAÍSCA-29971][CORE] Corrigir vazamentos de buffer em TransportFrameDecoder/TransportCipher
• [FAÍSCA-29970][WEBUI] Estado de abertura/fechamento do servidor do Timelineview
• [FAÍSCA-29949][SQL] Corrigir a formatação de carimbos de data/hora por fontes de dados JSON/CSV
• [FAÍSCA-27558][CORE] Tarefa de limpeza normal quando falha com exceção OOM
• [FAÍSCA-29758][SQL] Corrigir truncamento de campos de cadeia de caracteres solicitados em json_tuple
• [FAÍSCA-29949][SQL] Corrigir a formatação de carimbos de data/hora por fontes de dados JSON/CSV
• [FAÍSCA-29936][R] Corrija erros de fiapos do SparkR e adicione ação do GitHub do lint-r
• [FAÍSCA-29904][SQL] Analise carimbos de data/hora com precisão de microssegundos por fontes de dados JSON/CSV
• [FAÍSCA-29904][SQL] Analise carimbos de data/hora com precisão de microssegundos por fontes de dados JSON/CSV
• [FAÍSCA-26499][SQL] JdbcUtils.makeGetter não manipula ByteType
• [FAÍSCA-29682][SQL] Resolver atributos conflitantes em Expandir corretamente
• [FAÍSCA-29875][PYTHON][SQL] Evite usar a API pyarrow.open_stream preterida no Spark 2.4.x
• [SPARK-29850][SQL] sort-merge-join um table vazio não deve vazar memória
• [FAÍSCA-28939][SQL] Propagar SQLConf para planos executados por toRdd

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 6.3.

Ambiente do sistema

• Sistema Operacional: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Escala: 2.11.12
• Píton: 3.7.3
• R: R versão 3.6.2 (2019-12-12)
• Lago Delta: 0.5.0

Nesta secção:

• Bibliotecas Python instaladas
• Bibliotecas R instaladas
• Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)

Bibliotecas Python instaladas

Bibliotecas R instaladas

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)