다음을 통해 공유

Databricks Runtime 10.4 LTS

  • 아티클

다음 릴리스 정보는 Apache Spark 3.2.1에서 제공하는 Databricks Runtime 10.4 LTS 및 Databricks Runtime 10.4 LTS Photon에 대한 정보를 제공합니다. Photon은 현재 공개 미리 보기 상태입니다. Databricks는 2022년 3월에 이 버전을 릴리스했습니다.

참고 항목

LTS는 이 버전이 장기 지원 중이라는 의미입니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

새로운 기능 및 향상 기능

Iceberg-Delta 테이블 변환기(공개 미리 보기)

이제 Delta로 변환하면 Iceberg 테이블을 델타 테이블로 변환할 수 있습니다. Iceberg 네이티브 메타데이터 및 파일 매니페스트를 사용하여 이 작업을 수행합니다. Delta Lake로 변환을 참조하세요.

이제 자동 압축 롤백은 기본적으로 사용하도록 설정

이 릴리스는 동시 자동 압축 트랜잭션이 있을 때 커밋되는 Delta Lake 쓰기의 동작을 개선합니다. 이 릴리스 전에는 테이블에 대한 동시 수정으로 인해 이러한 쓰기가 종료되는 경우가 많습니다. 이제 동시 자동 압축 트랜잭션이 있더라도 쓰기에 성공합니다.

낮은 순서 섞기 병합은 기본적으로 사용하도록 설정

이제 MERGE INTO 명령은 항상 새로운 낮은 셔플 구현을 사용합니다. 이 동작은 대부분의 워크로드에서 MERGE INTO 명령의 성능을 크게 향상시킵니다. 이전에 이 기능을 사용하도록 설정하는 데 사용되었던 구성 설정이 제거되었습니다. Azure Databricks의 낮은 순서 섞기 병합을 참조하세요.

삽입 순서 태그는 이제 UPDATE 및 DELETE에 대해 유지

UPDATE 및 DELETE 명령은 이제 업데이트되거나 삭제된 파일에 대한 기존 클러스터링 정보(Z 순서 포함)를 유지합니다. 이 동작은 최상의 접근 방식이며, 파일이 너무 작아서 업데이트 또는 삭제 중에 이러한 파일이 결합된 경우에는 이 방법이 적용되지 않습니다.

HikariCP는 이제 기본 Hive 메타스토어 연결 풀임

HikariCP는 이전 BoneCP 연결 풀 구현에 비해 더 적은 연결을 유지하면서 Hive 메타스토어 액세스에 대한 많은 안정성 향상을 제공합니다. HikariCP는 Databricks Hive 메타스토어를 사용하는 모든 Databricks 런타임 클러스터에서 기본적으로 사용하도록 설정됩니다(예: spark.sql.hive.metastore.jars 설정되지 않은 경우). spark.databricks.hive.metastore.client.pool.type을 설정하여 BoneCP와 같은 다른 연결 풀 구현으로 명시적으로 전환할 수도 있습니다.

이제 Azure Synapse 커넥터를 사용하면 허용되는 최대 거부 행 수를 설정할 수 있습니다.

Azure Synapse 커넥터는 이제 maxErrors DataFrame 옵션을 지원합니다. 이 업데이트를 사용하면 로드 작업이 취소되기 전에 읽기 및 쓰기 중에 허용되는 거부된 행의 최대 수를 구성할 수 있습니다. 거부된 모든 행은 무시됩니다. 예를 들어 레코드 10개 중 2개에 오류가 있는 경우 8개의 레코드만 처리됩니다.

이 옵션은 PolyBase의 REJECT_VALUE 문의 CREATE EXTERNAL TABLE 옵션과 Azure Synapse 커넥터의 MAXERRORS 명령에 대한 COPY 옵션에 직접 매핑됩니다.

기본적으로 maxErrors 값은 0로 설정되어 있습니다. 모든 레코드는 유효한 것으로 예상됩니다.

이제 비동기 상태 검사점이 일반 공급됨

대규모 상태 업데이트를 사용하여 상태 스트리밍 쿼리에서 비동기 상태 검사점을 사용하도록 설정할 수 있습니다. 이렇게 하면 엔드투엔드 마이크로 일괄 처리 대기 시간을 줄일 수 있습니다. 이 기능은 이제 일반 공급됩니다. 상태 저장 쿼리는 비동기 상태 검사점을 참조 하세요.

이제 SQL 사용자 정의 함수에 대해 매개 변수 기본값을 지정할 수 있음

SQL UDF(SQL 사용자 정의 함수)를 만들 때 이제 SQL UDF의 매개 변수에 대한 기본 식을 지정할 수 있습니다. 그런 다음 이러한 매개 변수에 대한 인수를 제공하지 않고 SQL UDF를 호출할 수 있으며 Databricks는 해당 매개 변수의 기본값을 채웁니다. CREATE FUNCTION(SQL 및 Python)참조하세요.

새 Spark SQL 함수

이제 이 릴리스에서 다음 Spark SQL 함수를 사용할 수 있습니다.

  • try_multiply: multiplier에 multiplicand를 곱한 값이나, 오버플로에 대해 NULL을 반환합니다.
  • try_subtract: expr2에서 expr1를 뺀 값이나, 오버플로에 대해 NULL을 반환합니다.

높은 동시성 클러스터에 대한 새 작업 디렉터리

테이블 액세스 제어 또는 자격 증명 통과를 사용하도록 설정된 높은 동시성 클러스터에서 Notebook의 현재 작업 디렉터리는 이제 사용자의 홈 디렉터리입니다. 이전에는 작업 디렉터리가 /databricks/driver이었습니다.

델타 테이블의 식별자 열 지원이 이제 일반적으로 사용 가능합니다.

이제 Delta Lake는 ID 열을 지원합니다. ID 열을 정의하는 Delta 테이블에 쓰고 해당 열에 대한 값을 제공하지 않는 경우 이제 Delta는 고유하고 통계적으로 증가하거나 감소하는 값을 자동으로 할당합니다. [USING] 참조하세요.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • filelock을 3.4.2에서 3.6.0로
  • 업그레이드된 R 라이브러리:
    • brew를 1.0-6에서 1.0-7로
    • broom을 0.7.11에서 0.7.12로
    • cli을 3.1.0에서 3.2.0으로
    • clipr을 0.7.1에서 0.8.0로
    • colorspace를 2.0-2에서 2.0-3으로
    • crayon을 1.4.2에서 1.5.0으로
    • dplyr을 1.0.7에서1.0.8로
    • dtplyr을 1.2.0에서 1.2.1로
    • evaluate를 0.14에서 0.15로
    • foreach를 1.5.1에서 1.5.2로
    • future를 1.23.0에서 1.24.0으로
    • generics를 0.1.1에서 0.1.2로
    • glue를 1.6.0에서 1.6.1로
    • gower를 0.2.2에서 1.0.0으로
    • iterators를 1.0.13에서 1.0.14로
    • jsonlite를 1.7.3에서 1.8.0으로
    • magrittr을 2.0.1에서 2.0.2로
    • mgcv를 1.8-38에서 1.8-39로
    • pillar를 1.6.4에서 1.7.0으로
    • randomForest를 4.6-14에서 4.7-1로
    • readr을 2.1.1에서 2.1.2로
    • recipes를 0.1.17에서 0.2.0으로
    • rlang을 0.4.12에서 1.0.1로
    • rpart를 4.1-15에서 4.1.16으로
    • RSQLite를 2.2.9에서 2.2.10으로
    • sparklyr을 1.7.4에서 1.7.5로
    • testthat을 3.1.1에서 3.1.2로
    • tidyr을 1.1.4에서 1.2.0으로
    • tidyselect를 1.1.1에서 1.1.2로
    • tinytex를 0.36에서 0.37로
    • yaml을 2.2.1에서 2.3.5로
  • 업그레이드된 Java 라이브러리:
    • io.delta.delta-sharing-spark_2.12 from 0.3.0 to 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS에는 Apache Spark 3.2.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 10.3(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-38322] [SQL] 지원 쿼리 스테이지는 형식이 지정된 설명 모드에서 런타임 통계를 표시합니다.
  • [SPARK-38162] [SQL] 일반 및 AQE 최적화 프로그램에서 한 행 계획 최적화
  • [SPARK-38229] [SQL] 구문 분석기에서 visitReplaceTable을 사용하여 temp/external/ifNotExists를 확인해서는 안 됨
  • [SPARK-34183] [SS] DataSource V2: 마이크로 일괄 처리 실행에 필요한 배포 및 순서 지정
  • [SPARK-37932] [SQL] DeduplicateRelations를 적용하기 전에 누락된 속성을 해결할 때까지 대기
  • [SPARK-37904] [SQL] Optimizer 규칙에서 RebalancePartitions 개선
  • [SPARK-38236] [SQL][3.2][3.1] create/alter 테이블에서 테이블 위치가 "new Path(locationUri).isAbsolute"에 의해 절대적인지 확인합니다.
  • [SPARK-38035] [SQL] 기본 제공 JDBC 언어에 대한 도커 테스트 추가
  • [SPARK-38042] [SQL] ScalaReflection.dataTypeFor가 별칭이 지정된 배열 유형에서 작동하는지 확인
  • [SPARK-38273] [SQL] decodeUnsafeRows의 반복기가 기본 입력 스트림을 닫아야 함
  • [SPARK-38311] [SQL] ANSI 모드에서 DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite 수정
  • [SPARK-38305] [CORE] FileUtil 메서드를 호출하기 전에 unpack()에 소스가 있는지 명시적으로 확인
  • [SPARK-38275] [SS] RocksDB 상태 저장소의 총 메모리 사용량으로 writeBatch의 메모리 사용량을 포함
  • [SPARK-38132] [SQL] NotPropagation 규칙 제거
  • [SPARK-38286] [SQL] 공용 구조체의 maxRows 및 maxRowsPerPartition이 오버플로될 수 있음
  • [SPARK-38306] [SQL] ANSI 모드에서 ExplainSuite, StatisticsCollectionSuite, StringFunctionsSuite 수정
  • [SPARK-38281] [SQL][Tests] ANSI 모드에서 AnalysisSuite 수정
  • [SPARK-38307] [SQL][Tests] ANSI 모드에서 ExpressionTypeCheckingSuite 및 CollectionExpressionsSuite 수정
  • [SPARK-38300] [SQL] ByteStreams.toByteArray를 사용하여 catalyst.util에서 fileToString 및 resourceToBytes 단순화
  • [SPARK-38304] [SQL] Elt()는 ANSI 모드에서 인덱스가 Null인 경우 Null을 반환해야 함
  • [SPARK-38271] PoissonSampler는 MaxRows보다 더 많은 행을 출력할 수 있음
  • [SPARK-38297] [PYTHON] POS의 DataFrame.to_numpy에서 반환 값을 명시적으로 캐스팅
  • [SPARK-38295] [SQL][Tests] ANSI 모드에서 ArithmeticExpressionSuite 수정
  • [SPARK-38290] [SQL] ANSI 모드에서 JsonSuite 및 ParquetIOSuite 수정
  • [SPARK-38299] [SQL] 더 이상 사용되지 않는 StringBuilder.newBuilder 사용 정리
  • [SPARK-38060] [SQL] JSON 판독기에서 따옴표가 붙은 NaN 및 무한대 값을 구문 분석할 때 allowNonNumericNumbers 속성을 존중합니다.
  • [SPARK-38276] [SQL] ANSI 모드에서 승인된 TPCDS 계획 추가
  • [SPARK-38206] [SS] 스트림 간 조인에서 조인 키 데이터 유형을 비교할 때 null 허용 여부 무시
  • [SPARK-37290] [SQL] - 비결정 함수의 경우 지수 계획 시간
  • [SPARK-38232] [SQL] 형식화된 설명이 AQE의 쿼리 단계에서 하위 쿼리를 수집하지 않음
  • [SPARK-38283] [SQL] ANSI 모드에서 유효하지 않은 날짜/시간 구문 분석 테스트
  • [SPARK-38140] [SQL] 타임스탬프 형식에 대한 열 통계(최소, 최대)가 시간대 차이로 인해 값과 일관되지 않습니다.
  • [SPARK-38227] [SQL][SS] 기간/세션 창에서 중첩 열의 엄격한 null 허용 여부 적용
  • [SPARK-38221] [SQL] 복잡한 그룹화 표현식을 Aggregate 노드 밖으로 이동할 때 groupingExpressions를 빠르게 반복
  • [SPARK-38216] [SQL] Hive 테이블을 만들 때 모든 열이 분할 열이면 초기에 실패합니다.
  • [SPARK-38214] [SS] windowDuration이 slideDuration의 배수일 때 창을 필터링할 필요가 없음
  • [SPARK-38182] [SQL] 푸시된 필터에 참조가 포함되지 않은 경우 NoSuchElementException 수정
  • [SPARK-38159] [SQL] 숨겨진 파일 메타데이터에 대한 새 FileSourceMetadataAttribute 추가
  • [SPARK-38123] [SQL] DataType의 targetType로 QueryExecutionErrors#castingCauseOverflowError을 통합 사용
  • [SPARK-38118] [SQL] HAVING 절의 Func(잘못된 데이터 유형)는 데이터 불일치 오류를 발생시켜야 합니다.
  • [SPARK-35173] [SQL][PYTHON] 지원을 추가하는 여러 열 추가
  • [SPARK-38177] [SQL] Optimizer에서 잘못된 transformExpressions 수정
  • [SPARK-38228] [SQL] ANSI 모드에서 오류 발생 시 레거시 저장소 할당이 실패해서는 안 됨
  • [SPARK-38173] [SQL] 따옴표가 있는 열은 quotedRegexColumnNa 설정이 사용될 때 올바르게 인식되지 않습니다.
  • [SPARK-38130] [SQL] array_sort 정렬 순서 가능 항목 확인 제거
  • [SPARK-38199] [SQL] dataTypeIntervalColumnAccessor
  • [SPARK-38203] [SQL] ANSI 모드에서 SQLInsertTestSuite 및 SchemaPruningSuite 수정
  • [SPARK-38163] [SQL] 함수 빌더를 구성하는 동안 SparkThrowable의 오류 클래스 유지
  • [SPARK-38157] [SQL] 테스트 timestampNTZ/timestamp.sql 및 SQLQueryTestSuite에서 ANSI를 false로 명시적으로 설정하여 예상 골든 결과와 일치
  • [SPARK-38069] [SQL][SS] 시간 창 계산 개선
  • [SPARK-38164] [SQL] 새 SQL 함수: try_subtract and try_multiply
  • [SPARK-38176] [SQL] ANSI 모드: 암시적으로 String을 다른 단순 형식으로 캐스트 허용
  • [SPARK-37498] [PYTHON] test_reuse_worker_of_parallelize_range에 대해 최종 추가
  • [SPARK-38198] [SQL][3.2] ExplainMode가 CodegenMode인 경우 maxFields에 전달된 QueryExecution.debug#toFile 사용 수정
  • [SPARK-38131] [SQL] 사용자 지향 예외에서만 오류 클래스 사용
  • [SPARK-37652] [SQL] 통합을 통해 기울어진 조인 최적화를 위한 테스트 추가
  • [SPARK-37585] [SQL] TaskCompletionListener를 사용하여 DataSourceRDD에서 InputMetric 업데이트
  • [SPARK-38113] [SQL] 피벗의 실행 오류에 오류 클래스 사용
  • [SPARK-38178] [SS] RocksDB의 메모리 사용량을 측정하는 논리 수정
  • [SPARK-37969] [SQL] HiveFileFormat에서 필드 이름을 확인해야 함
  • [SPARK-37652] 되돌리기 "[SQL]통합을 통해 기울어진 조인 최적화를 위한 테스트 추가"
  • [SPARK-38124] [SQL][SS] StatefulOpClusteredDistribution 소개 및 스트림 간 조인에 적용
  • [SPARK-38030] [SQL] 정규화는 'AttributeReference dataType'의 null 허용을 없애면 안 됩니다.
  • [SPARK-37907] [SQL] InvokeLike 지원 ConstantFolding
  • [SPARK-37891] [CORE] scala.concurrent.ExecutionContext.Implicits.global을 사용하지 않도록 설정하기 위해 scalastyle 검사 추가
  • [SPARK-38150] [SQL] RelationConversions의 주석 업데이트
  • [SPARK-37943] [SQL] 그룹화의 컴파일 오류에 오류 클래스 사용
  • [SPARK-37652] [SQL]통합을 통해 기울어진 조인 최적화를 위한 테스트 추가
  • [SPARK-38056] [Web UI][3.2] LevelDB를 사용할 때 기록 서버에서 구조화된 스트리밍이 작동하지 않는 문제 수정
  • [SPARK-38144] [CORE] 사용되지 않는 spark.storage.safetyFraction 구성 제거
  • [SPARK-38120] [SQL] 파티션 열 이름이 대문자이고 파티션 값에 점이 포함된 경우 HiveExternalCatalog.listPartitions 수정
  • [SPARK-38122] [Docs] DocSearch의 앱 키 업데이트
  • [SPARK-37479] [SQL] 기본적으로 V2 명령을 사용하도록 DROP NAMESPACE를 마이그레이션
  • [SPARK-35703] [SQL] 버킷 조인에 대한 제약 조건 완화 및 HashClusteredDistribution 제거
  • [SPARK-37983] [SQL] 정렬 집계에서 집계 빌드 시간 메트릭 취소
  • [SPARK-37915] [SQL] 공용 구조체 간 프로젝트가 있는 경우 공용 구조체 결합
  • [SPARK-38105] [SQL] 조인의 구문 분석 오류에 오류 클래스 사용
  • [SPARK-38073] [PYTHON] atexit 함수를 업데이트하여 바인딩 지연 문제를 방지합니다.
  • [SPARK-37941] [SQL] 캐스팅의 컴파일 오류에 오류 클래스 사용
  • [SPARK-37937] [SQL] 횡적 조인의 구문 분석 오류 시, 오류 클래스를 사용
  • [SPARK-38100] [SQL] Decimal 사용되지 않는 프라이빗 메서드 제거
  • [SPARK-37987] [SS] 쿼리를 재시작할 때 발생하는 불안정한 테스트인 StreamingAggregationSuite의 상태 스키마 변경 문제 수정
  • [SPARK-38003] [SQL] LookupFunctions 규칙은 스칼라 함수 레지스트리에서 함수만 조회해야 함
  • [SPARK-38075] [SQL] hasNext의 프로세스 출력 반복기에서 HiveScriptTransformationExec 수정
  • [SPARK-37965] [SQL] Orc에서 기존 데이터를 읽거나 쓸 때 확인 필드 이름 제거
  • [SPARK-37922] [SQL] 두 개의 캐스트를 안전하게 업캐스트할 수 있으면 하나의 캐스트로 결합(dbr-branch-10.x의 경우)
  • [SPARK-37675] [SPARK-37793] 순서 섞기가 완료되면 푸시 순서 섞기 병합 파일 덮어쓰기 방지
  • [SPARK-38011] [SQL] ParquetFileFormat에서 중복되고 쓸모 없는 구성 제거
  • [SPARK-37929] [SQL] dropNamespace API에 대한 지원 계단식 모드
  • [SPARK-37931] [SQL] 필요한 경우 열 이름을 따옴표로 묶습니다.
  • [SPARK-37990] [SQL] RowToColumnConverter에서 TimestampNTZ 지원
  • [SPARK-38001] [SQL] 지원되지 않는 기능과 관련된 오류 클래스를 UNSUPPORTED_FEATURE로 대체
  • [SPARK-37839] [SQL] DS V2는 부분 집계 푸시다운 AVG 지원
  • [SPARK-37878] [SQL] SHOW CREATE TABLE를 기본값으로 v2 명령을 사용하도록 마이그레이션
  • [SPARK-37731] [SQL] 분석기에서 리팩터링 및 정리 함수 조회
  • [SPARK-37979] [SQL] AES 함수에서 보다 일반적인 오류 클래스로 전환
  • [SPARK-37867] [SQL] 기본 제공 JDBC 언어의 집계 함수 컴파일
  • [SPARK-38028] [SQL] ArrowColumnVector에서 화살표 벡터 노출
  • [SPARK-30062] [SQL] DB2 언어 잘림 구현에 IMMEDIATE 문 추가
  • [SPARK-36649] [SQL] Kafka 데이터 원본에서 Trigger.AvailableNow 지원
  • [SPARK-38018] [SQL] CalendarIntervalType을 올바르게 처리하도록 ColumnVectorUtils.populate 수정
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved는 ExecutorDecommission를 완료된 것으로 처리해야 함
  • [SPARK-38019] [CORE] ExecutorMonitor.timedOutExecutors 결정적으로 만들기
  • [SPARK-37957] [SQL] V2 스칼라 함수에 대한 결정적 플래그를 올바르게 전달
  • [SPARK-37985] [SQL] SPARK-37578에 대한 비정상적인 테스트 수정
  • [SPARK-37986] [SQL] 기수 정렬에서 TimestampNTZ 지원
  • [SPARK-37967] [SQL] Literal.create가 ObjectType 지원
  • [SPARK-37827] [SQL] 일부 기본 제공 테이블 속성을 V1Table.propertie에 배치하여 V2 명령에 맞게 조정
  • [SPARK-37963] [SQL] InMemoryCatalog에서 테이블 이름을 변경한 후 파티션 URI를 업데이트해야 합니다.
  • [SPARK-35442] [SQL] 집계/공용 구조체를 통한 빈 관계 전파 지원
  • [SPARK-37933] [SQL] V2ScanRelationPushDown 푸시다운 규칙의 통과 방법 변경
  • [SPARK-37917] [SQL] 조인 조건이 비어 있는 경우, 왼쪽 세미/안티 조인의 오른쪽에 대해 limit 1을 푸시다운합니다.
  • [SPARK-37959] [ML] KMeans 및 BiKMeans에서 표준 확인 UT 수정
  • [SPARK-37906] [SQL] spark-sql은 마지막 주석을 백엔드로 전달해서는 안 됨
  • [SPARK-37627] [SQL] BucketTransform에서 정렬된 열 추가

유지 관리 업데이트

Databricks Runtime 10.4 LTS 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
Antergos Linux 2015.10(ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 Notebook 6.3.0 numpy 1.20.1
패키징 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

설치된 R 라이브러리

R 라이브러리는 2022-02-24에 Microsoft CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
캐럿 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 자격 증명 1.3.2
curl 4.3.2 데이터 테이블 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
줄임표 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 제네릭(generics) 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
주기 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
행렬 1.4-0 memoise 2.0.1 메서드 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 진행률 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 프록시 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
통계 4.1.2 stats4 4.1.2 stringi 1.76
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1