2021년 Databricks SQL 릴리스 정보

다음은 2021년 1월부터 12월까지 Databricks SQL의 개선 사항 및 업데이트에 대해 간략하게 설명합니다.

2021년 12월 15일

• Databricks SQL은 일반 공급됩니다. 이는 데이터, AI 및 BI 워크로드를 한 곳에서 통합하는 첫 번째 Lakehouse 플랫폼을 제공하는 중요한 이정표입니다. GA를 사용하면 중요 업무용 워크로드에 대한 Databricks의 최고 수준의 안정성, 지원 및 엔터프라이즈 준비 상태를 기대할 수 있습니다. 자세한 내용은 GA 공지 블로그 읽어보세요.
• 이제 경고는 쿼리와 독립적으로 예약됩니다. 새 경고를 만들고 쿼리를 만들 때 경고에 대한 일정도 만들라는 메시지가 표시됩니다. 기존 경고가 있는 경우 원래 쿼리에서 일정을 복제했습니다. 또한 이 변경으로 소유자로 실행 및 뷰어로 실행 쿼리 모두에 대한 경고를 설정할 수 있습니다. 쿼리 소유자 자격 증명을 사용하여 지정된 경고 일정에 따라 소유자로 실행 쿼리가 실행됩니다. 뷰어로 실행 쿼리는 경고 작성자의 자격 증명을 사용하여 지정된 경고 일정에 따라 실행됩니다. Databricks SQL 경고란? 쿼리 예약하기 및를 참조하세요.
• 이제 SQL 편집기 및 대시보드매개 변수의 순서를 변경할 수 있습니다.
• 열 지도 시각화를 만들기 위한 설명서가 확장되었습니다. 열 지도 옵션을 참조하세요.

2021년 12월 9일

• 테이블 시각화만들 때 열의 글꼴 색을 열의 필드 값에 따라 정적 값 또는 값 범위로 설정할 수 있습니다. 리터럴 값이 임계값과 비교됩니다. 예를 들어 값이 500000초과하는 결과의 색을 지정하려면 > 500,000대신 임계값 > 500000만듭니다. 열 색 조건부 서식참조하세요.
• 이제 탭 SQL 편집기 스키마 브라우저의 아이콘을 사용하여 테이블과 뷰를 구분할 수 있습니다.

2021년 12월 1일

• 이제 작업 영역 수준에서 SQL 구성 매개 변수를 적용할 수 있습니다. 이러한 매개 변수는 작업 영역의 모든 기존 및 새 SQL 엔드포인트에 자동으로 적용됩니다. SQL 매개 변수구성을 참조하세요.

2021년 11월 18일

• 이제 쿼리 기록을 볼 때 쿼리를 실행한 서비스 주체에 대한 쿼리를 필터링할 수 있습니다. 쿼리 기록보기를 확인하세요.

• 이제 사이드바 바로 가기를 사용하여 SQL 편집기를 열 수 있습니다. SQL 편집기를 열려면 SQL 편집기클릭합니다.
• Data Science & Engineering 클러스터를 만들 수 있는 권한이 있는 경우 이제 사이드바에서 만들기 클릭하고 SQL 엔드포인트클릭하여 SQL 엔드포인트를 만들 수 있습니다.
• 이제 관리자는 UI를 통해 쿼리, 대시보드 또는 경고의 소유권을 다른 사용자에게 이전할 수 있습니다. 보다:
• 쿼리 소유권 이전
• 레거시 대시보드의 소유권 이전
• 경고의 소유권 이전

2021년 11월 4일

• 시각화를 맵(Choropleth) 시각화에서 범례의 색에 대한 최대 그라데이션 단계 수가 11개에서 20개로 증가했습니다. 기본값은 최소 색 및 최대 색포함하는 5개 그라데이션 단계입니다.
• 이제 탭이 있는 SQL 편집기에서 대량 탭 관리를 지원합니다. 탭을 마우스 오른쪽 단추로 클릭하면 다른 탭 닫기, 왼쪽 닫기, 오른쪽 닫기, 모두 닫기옵션이 표시됩니다. 첫 번째 또는 마지막 탭을 마우스 오른쪽 단추로 클릭하면 왼쪽 닫기 또는 오른쪽 닫기 옵션이 표시되지 않습니다.

2021년 10월 28일

• 카탈로그 탐색기에서 테이블을 볼 때 테이블과의 상호 작용을 간소화하는 두 가지 옵션이 있습니다.
• 만들기 > 쿼리 클릭하여 모든 열을 선택하고 처음 1000개 행을 반환하는 쿼리를 만듭니다.
• 만들기 > 빠른 대시보드 클릭하여 관심 있는 열을 선택하고 해당 열을 사용하여 몇 가지 기본 정보를 제공하고 대시보드 수준 매개 변수 및 기타 기능을 보여 주는 대시보드 및 지원 쿼리를 만들 수 있는 구성 페이지를 엽니다.

2021년 10월 19일

• 이제 탭 편집기에서 새 바로 가기 키를 사용할 수 있습니다.
• 새 탭 열기:
  • Windows: Cmd+Alt+T
  • Mac: Cmd+Option+T
• 현재 탭 닫기
  • Windows: Cmd+Alt+W
  • Mac: Cmd+Option+W
• 쿼리 대화 상자 열기
  • Windows: Cmd+Alt+O
  • Mac: Cmd+Option+O

2021년 9월 23일

• 이제 CAN RUN, CAN EDIT 및 CAN MANAGE 권한이 대시보드 및 모든 업스트림 쿼리에 있는 한 기존 대시보드를 복제하여 새 대시보드를 만들 수 있습니다. 레거시 대시보드 복제를 참조하세요 .
• 이제 여러 Y축 열이 있는 시각화에서 GROUP BY 사용할 수 있습니다. 분산형 차트참조하세요.
• 이제 {{ @@yPercent}} 사용하여 정렬되지 않은 누적 가로 막대형 차트에서 데이터 레이블의 서식을 지정할 수 있습니다. 가로 막대형 차트참조하세요.
• SAML 인증을 사용하고 SAML 자격 증명이 몇 분 내에 만료되는 경우 이제 쿼리를 실행하거나 대시보드를 새로 고치기 전에 사전에 다시 로그인하라는 메시지가 표시됩니다. 이렇게 하면 쿼리 실행 중에 만료되는 자격 증명으로 인한 중단을 방지할 수 있습니다.

2021년 9월 20일

• 이제 권한 REST API를 사용하여 대시보드, 쿼리 및 경고의 소유권을 이전할 수 있습니다. 쿼리 ACL참조하세요.

2021년 9월 16일

• 쿼리 결과에서 BIGINT 결과는 이제 9007199254740991보다 크면 문자열로 serialize됩니다. 이렇게 하면 쿼리 결과에서 BIGINT 결과가 잘리는 문제가 해결됩니다. 다른 정수 결과는 여전히 숫자로 serialize됩니다. 축 레이블 및 도구 설명의 숫자 서식은 문자열로 직렬화된 BIGINT 결과에는 적용되지 않습니다. Databricks SQL의 데이터 형식에 대한 자세한 내용은 BIGINT 형식참조하세요.

2021년 9월 7일

Databricks는 일주일 동안 이어지는 변경 내용을 롤아웃합니다. 작업 영역은 9월 7일 이후까지 이러한 변경에 대해 사용하도록 설정되지 않을 수 있습니다.

• 이제 Databricks SQL이 공개 미리 보기로 제공되며 새 작업 영역의 모든 사용자에 대해 사용하도록 설정되었습니다.

• 관리자는 Databricks SQL 액세스 권한(API의databricks-sql-access) 권한을 사용자 또는 그룹에 할당하여 Databricks SQL에 액세스할 수 있는 사용자를 관리할 수 있습니다. 기본적으로 새 사용자에게는 이 권한이 있습니다.

관리자는 사용자 또는 그룹이 Databricks SQL에만 액세스하도록 제한하고 사용자 또는 그룹에서 작업 영역 액세스 권한(API의workspace-access)을 제거하여 Data Science & Engineering 또는 Databricks Mosaic AI에 액세스하지 못하도록 할 수 있습니다. 기본적으로 새 사용자에게는 이 권한이 있습니다.

• 스타터 엔드포인트라는 작은 클래식 SQL 엔드포인트 모든 작업 영역에서 미리 구성되므로 대시보드, 시각화 및 쿼리를 즉시 만들 수 있습니다. 더 복잡한 워크로드를 처리하려면 더 많은 동시 사용자를 처리하기 위해 크기(대기 시간을 줄이기 위해) 또는 기본 클러스터 수를 쉽게 늘릴 수 있습니다. 비용을 관리하기 위해 시작 엔드포인트는 120분 유휴 상태로 종료되도록 구성됩니다.

2021년 9월 2일

• 대시보드에서 CAN EDIT 권한이 있는 사용자는 이제 대시보드의 새로 고침 일정 및 구독 목록을 관리할 수 있습니다. 이전에는 CAN MANAGE 권한이 필요했습니다. 자세한 내용은 대시보드를 자동으로 새로 고치는을 참조하세요.

• 기본적으로 시각화는 반환된 결과 수에 따라 더 이상 동적으로 크기를 조정하지 않고 결과 수에 관계없이 동일한 높이를 유지합니다. 이전 동작으로 돌아가서 동적으로 크기를 조정하도록 시각화를 구성하려면 대시보드의 시각화 설정에서 패널 높이 크기를 동적으로 조정하도록 설정합니다. 자세한 내용은 테이블 옵션참조하세요.
• 동일한 계정에서 둘 이상의 작업 영역에 액세스할 수 있는 경우 Databricks SQL 내에서 작업 영역을 전환할 수 있습니다. Azure Databricks 작업 영역의 왼쪽 아래 모서리에 있는 클릭한 다음 해당 작업 영역으로 전환할 작업 영역을 선택합니다.

2021년 7월 1일

• 새 카탈로그 탐색기를 사용하면 데이터베이스 및 테이블에 대한 사용 권한을 쉽게 탐색하고 관리할 수 있습니다. 사용자는 스키마 세부 정보를 보고, 샘플 데이터를 미리 보고, 테이블 세부 정보 및 속성을 볼 수 있습니다. 관리자는 데이터 개체 소유자를 보고 변경할 수 있으며 데이터 개체 소유자는 권한을 부여하고 취소할 수 있습니다. 자세한 내용은 카탈로그 탐색기란?을 참조하세요..
• 가로 차트의 Y축은 테이블과 동일한 순서를 반영하도록 업데이트되었습니다. 이전에 역순으로 선택한 경우 Y축 탭에서 역순 토글을 사용하여 새 순서를 되돌릴 수 있습니다.

2021년 6월 23일

• 서비스 주체를 사용하여 SQL 엔드포인트를 쉽게 구성합니다. 이제 전역 SQL 엔드포인트 설정에서 서비스 주체를 구성하는 데 도움이 되는 컨트롤이 있습니다. "서비스 주체 구성" 및 ""을 확인하십시오.
• 이제 임시 보기가 지원됩니다.

2021년 6월 17일

• PhotonDatabricks의 새로운 벡터화된 실행 엔진은 이제 새로 만든 SQL 엔드포인트(UI 및 REST API 모두)에 대해 기본적으로 설정됩니다. 광자는 자연스럽게 속도를 높인다
  • Parquet 및 Delta 테이블에 저장합니다.
  • 많은 SQL 쿼리. 제한 사항참조하세요.
• CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS및 SHOW USERS 명령을 사용하여 사용자 및 그룹을 쉽게 관리할 수 있습니다. 자세한 내용은 보안 명세서 및 표시 명세서를 참조하세요.
• 쿼리 편집기 의 스키마 브라우저은 테이블이 100개 이상인 스키마에서 더욱 신속하고 빠릅니다. 이러한 스키마에서 스키마 브라우저는 모든 열을 자동으로 로드하지 않습니다. 테이블 목록은 여전히 평소와 같이 표시되지만 테이블을 클릭할 때만 열이 로드됩니다. 이 변경 사항은 이 정보를 기반으로 제안을 표시하는 쿼리 편집기의 자동 완성에 영향을 줍니다. 테이블을 확장하고 열을 로드하기 전에는 이러한 제안을 사용할 수 없습니다.

2021년 6월 3일

• 새로 사용하도록 설정된 Azure Databricks 작업 영역의 관리자는 이제 기본적으로 Databricks SQL 자격을 받으며 더 이상 관리 콘솔을 사용하여 Databricks SQL 액세스 권한을 부여할 필요가 없습니다.
• Photon 현재 공개 미리 보기로 제공되며 새 SQL 엔드포인트대해 기본적으로 사용하도록 설정됩니다.
• 다중 클러스터 부하 분산은 이제 공개 미리 보기로 제공됩니다.
• 이제 CAN EDIT 권한을 사용하여 조직의 다른 구성원과 대시보드 및 쿼리에서 공동 작업을 사용하도록 설정할 수 있습니다. 액세스 제어 목록참조하세요.

2021년 5월 26일

• SQL Analytics의 이름이 Databricks SQL로 바뀝니다. 이 변경은 다음과 같은 고객 관련 영향을 줍니다.

  • 웹 UI의 참조가 업데이트되었습니다.

  • Databricks SQL에 대한 액세스 권한을 부여하는 권한의 이름이 바뀌었습니다.

    • UI: Databricks SQL 액세스 (이전에는 SQL Analytics 액세스 )
    • SCIM API: databricks-sql-access(이전에 sql-analytics-access)

    이전 자격을 가진 사용자, 그룹 및 서비스 주체가 새 자격으로 마이그레이션되었습니다.

  • Databricks SQL과 관련된 감사 로그 이벤트 대한 태그가 변경되었습니다.

    • 이제 Databricks SQL 이벤트의 접두사가 databrickssql로 설정되었습니다.
    • changeSqlAnalyticsAcl가 이제 changeDatabricksSqlAcl로 바뀌었습니다.

• 대시보드 업데이트

  • 대시보드 내보내기 파일 이름이 UUID가 아닌 대시보드 + 타임스탬프의 이름으로 업데이트되었습니다.
  • 내보내기 레코드 제한이 22k에서 64k로 증가했습니다.

2021년 5월 13일

• Databricks SQL은 더 이상 열 형식을 추측하지 않습니다. 이전에는 형식이 xxxx-yy-dd 열이 식별 코드인 경우에도 자동으로 날짜로 처리되었습니다. 이제 해당 열이 더 이상 자동으로 날짜로 처리되지 않습니다. 원하는 경우 쿼리에서 지정해야 합니다. 이 변경으로 인해 이전 동작에 의존했던 일부 시각화가 더 이상 작동하지 않을 수 있습니다. 이 릴리스에서는 이전 동작으로 돌아가도록 >설정>이전 버전과의 호환성 옵션을 변경할 수 있습니다. 향후 릴리스에서는 해당 기능을 제거합니다.

• 이제 쿼리 편집기에서 쿼리 진행률 표시기가 있습니다. 이제 상태 변경 내용이 지속적으로 업데이트되는 진행률 표시줄에 표시됩니다.

  

해결된 문제

• SQL 편집기. 이제 SQL 편집기가 쿼리 탭 간에 전환할 때 선택한 텍스트와 스크롤 위치를 유지합니다.
• SQL 편집기. SQL 편집기에서 쿼리에서 '실행'을 클릭한 다음 다른 페이지로 이동하여 쿼리가 계속 실행되는 동안 반환하면 편집기에서 올바른 쿼리 상태가 표시됩니다. 다른 페이지에 있는 동안 쿼리가 완료되면 SQL 편집기 페이지로 돌아갈 때 쿼리 결과를 사용할 수 있습니다.
• 이제 MySQL 8.0을 외부 메타스토어로 사용할 수 있습니다.
• 델타 테이블의 DESCRIBE DETAIL 명령은 더 이상 java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant. 함께 실패하지 않습니다.
• INT96 타임스탬프가 있는 Parquet 파일 읽기는 더 이상 실패하지 않습니다.
• 사용자가 쿼리에 대해 CAN RUN 권한을 가지고 실행하면 다른 사용자가 쿼리를 만든 경우 쿼리 기록에 쿼리 실행기가 사용자로 표시됩니다.
• 이제 차트를 렌더링할 때 Null 값이 무시되어 차트의 유용성이 향상됩니다. 예를 들어 이전에는 null 값이 있을 때 가로 막대형 차트의 막대가 매우 작게 보였습니다. 이제 축은 null이 아닌 값에만 따라 설정됩니다.