Megosztás a következőn keresztül:

Databricks Runtime 15.0 (EoS)

  • Cikk

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0 által működtetett Databricks Runtime 15.0-ról nyújtanak információkat.

A Databricks 2024 márciusában adta ki ezt a verziót.

Kompatibilitástörő változások

Érvénytelen argumentumtípusok esetén a PySpark spark.sql() függvény nem működik

A Databricks Runtime 15.0-s és újabb verzióiban a spark.sql() függvénynek átadott elnevezett vagy pozícióparaméterek args paraméterének szótárnak vagy listának kell lennie. Ha bármilyen más objektumtípust ad át, a következő hibaüzenet jelenik meg: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

A tárak dbFS-gyökérben való tárolása alapértelmezés szerint elavult és le van tiltva

Az Azure Databricks-munkaterületen lévő kódtárak biztonságának javítása érdekében a tárfájlok dbFS-gyökérben való tárolása alapértelmezés szerint elavult és le van tiltva a Databricks Runtime 15.0-s verziójától kezdve. A Databricks azt javasolja, hogy töltse fel az összes kódtárat, beleértve a Python-kódtárakat, a JAR-fájlokat és a Spark-összekötőket, munkaterületfájlokba, Unity Catalog-kötetekbe vagy csomagtárakba. Lásd a kódtárak feltöltésére vonatkozó javaslatokat.

Ha újra engedélyezni szeretné a tárak tárolását a DBFS-gyökérben, állítsa be a következő Spark-konfigurációs paramétert: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Az alapértelmezett Python-verzió 3.10-ről 3.11-re frissül

A Databricks Runtime 15.0-s verziójával az alapértelmezett Python-verzió a 3.11.0. A frissített Python-kódtárak listáját a Kódtár frissítéseicímű témakörben találja.

A JDK 11 el lett távolítva

A korábban bejelentett módon a JDK 11 el lesz távolítva a Databricks Runtime 15.0-s és újabb verzióiból. A Databricks azt javasolja, hogy a Databricks Runtime 15.0-s vagy újabb verziójára való frissítéskor frissítsen a JDK 17-re. Lásd: Databricks SDK for Java.

A Python REPL mostantól kecsesen leáll

A Databricks Runtime 15.0-val a jegyzetfüzet Python REPL-folyamata a kilépéskor kecsesen leáll. Ez az atexit horgok tiszteletét okozza. Egy több Python-jegyzetfüzetfeladatot tartalmazó munkafolyamatban például az első feladatban regisztrált atexit-horgok végrehajtása a második Python-jegyzetfüzet-feladat futtatása előtt történik.

Új funkciók és fejlesztések

A * (csillag) záradék mostantól támogatott a WHERE záradékban

Mostantól a WHERE záradékban használhatja a csillagzáradékot (*) a SELECT lista összes oszlopának hivatkozásához. Például: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

A spark.sql.json.enablePartialResults konfiguráció alapértelmezés szerint engedélyezve van

A Spark-konfiguráció spark.sql.json.enablePartialResults alapértelmezés szerint engedélyezve van, így a JSON-elemző megfelelően kezelheti az olyan összetett típusok elemzési hibáit, mint a strukturálás, a leképezés és a tömb, a fennmaradó mezők elvetése nélkül. Ez a módosítás kijavít egy konzisztenciaproblémát az oszlopmetszettel rendelkező JSON-adatforrások esetében.

A fürttárak mostantól támogatják requirements.txt fájlokat

Most már telepíthet klaszterkönyvtárakat egy munkaterület fájljában vagy Unity Catalog-kötetben tárolt requirements.txt fájl használatával. Az egyfelhasználós és a megosztott elérésű fürtökben a requirements.txt fájl hivatkozhat más fájlokra. Nincs elkülönítve megosztott hozzáférési módú fürt, csak a PyPI-csomagok támogatottak. Lásd: Fürtkódtárak.

A Databricks CLI már elérhető a webes terminálban

Most már használhatja a Databricks parancssori felületét a webes terminálból a jegyzetfüzetben. A jegyzetfüzetet egy fürthöz kell csatolni egyetlen felhasználóvalvagy nincs elkülönítési megosztott hozzáférési módban. További részletekért lásd: Webes terminál és Databricks parancssori felület használata.

Alapértelmezett Python-adattárak hozzáadása fürtkonfigurációkhoz

A Databricks Runtime 15.0 és újabb verzióiban globális pip index-url és extra-index-url paramétereket konfigurálhat a fürt és a jegyzetfüzetre kiterjedő könyvtárak telepítéséhez, amikor fürtöt konfigurál vagy fürtszabályzatot határoz meg. Ehhez állítsa be a környezeti változókat DATABRICKS_PIP_INDEX_URL és DATABRICKS_PIP_EXTRA_INDEX_URL.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • fekete 22.6.0-tól 23.3.0-ra
    • boto3 1.24.28 és 1.34.39 között
    • botocore 1.27.96-tól 1.34.39-ig
    • minősítés 2022.12.7-től 2023.7.22-ig
    • titkosítás 39.0.1-től 41.0.3-ra
    • databricks-sdk 0.1.6-tól 0.20.0-ra
    • eloszlás 0,3,7-ről 0,3,8-ra
    • googleapis-common-protos 1.62.0 és 1.63.0 között
    • grpcio 1.48.2-től 1.60.0-ra
    • grpcio-status from 1.48.1 to 1.60.0
    • importlib-metadata 4.6.4-ről 6.0.0-ra
    • ipykernel 6.25.0 és 6.25.1 között
    • ipython 8.14.0-tól 8.15.0-ig
    • ipywidgets 7.7.2 és 8.0.4 között
    • jupyter_core 5.2.0-ról 5.3.0-ra
    • jupyterlab-widgetek 1.0.0 és 3.0.5 között
    • matplotlib 3.7.0 és 3.7.2 között
    • pandas 1.5.3-tól 2.0.3-ra
    • pip 22.3.1 és 23.2.1 között
    • platformdirs 2.5.2-től 3.10.0-ra
    • protobuf 4.24.0 és 4.24.1 között
    • pyarrow 8.0.0 és 14.0.1 között
    • Pygments 2.11.2-től 2.15.1-től
    • pyodbc 4.0.32-től 4.0.38-ig
    • 2.28.1 és 2.31.0 közötti kérelmek
    • s3transfer 0.6.2-től 0.10.0-ra
    • scikit-learn 1.1.1-től 1.3.0-ra
    • scipy from 1.10.0 to 1.11.1
    • setuptools 65.6.3-tól 68.0.0-ra
    • 0.13.5 és 0.14.0 közötti állapotok
    • 8.1.0 és 8.2.2 közötti kitartás
    • tornádó 6.1 és 6.3.2 között
    • typing_extensions 4.4.0 és 4.7.1 között
    • urllib3 1.26.14-től 1.26.16-osig
    • virtualenv 20.16.7-től 20.24.2-től
    • widgetsnbextension 3.6.1 és 4.0.5 között
    • zipp 1.0.0-ról 3.11.0-ra
  • Frissített R-kódtárak:
    • nyíl a 12.0.1-től a 14.0.0.2-hez
    • askpass 1.1 és 1.2.0 között
    • alap: 4.3.1–4.3.2
    • sör 1,0-8-1,0-10
    • brio 1.1.3 és 1.1.4 között
    • bslib 0.5.0 és 0.6.1 között
    • cli 3.6.1 és 3.6.2 között
    • commonmark from 1.9.0 to 1.9.1
    • fordító 4.3.1 és 4.3.2 között
    • config from 0.3.1 to 0.3.2
    • cpp11 0.4.4 és 0.4.7 között
    • hitelesítő adatok 1.3.2 és 2.0.1 között
    • curl 5.0.1-től 5.2.0-ra
    • data.table verzió 1.14.8-tól 1.15.0-ig
    • 4.3.1 és 4.3.2 közötti adatkészletek
    • DBI 1.1.3 és 1.2.1 között
    • dbplyr 2.3.3-tól 2.4.0-ra
    • desc 1.4.2-től 1.4.3-ra
    • kivonat 0.6.33-tól 0.6.34-ig
    • dplyr 1.1.2 és 1.1.4 között
    • e1071 1,7-13-tól 1,7-14-hez
    • kiértékelés 0,21-ről 0,23-ra
    • fani 1.0.4-től 1.0.6-osig
    • fontawesome 0.5.1 és 0.5.2 között
    • fs 1.6.2–1.6.3
    • 1.33.0 és 1.33.1 között
    • future.apply from 1.11.0 to 1.11.1
    • gargle 1.5.1-től 1.5.2-től
    • gert 1.9.2 és 2.0.1 között
    • ggplot2 3.4.2 és 3.4.4 között
    • glmnet 4.1-7-től 4.1-8-ra
    • 1.6.2-ről 1.7.0-ra
    • 4.3.1 és 4.3.2 közötti grafikus elemek
    • grDevices 4.3.1 és 4.3.2 között
    • rács 4.3.1 és 4.3.2 között
    • 0.3.3-tól 0.3.4-ig
    • hardhat 1.3.0 és 1.3.1 között
    • 2.5.3 és 2.5.4 között
    • htmltoolok 0,5,5 és 0,5,7 között
    • htmlwidgets 1.6.2 és 1.6.4 között
    • httpuv 1.6.11-től 1.6.14-ig
    • httr 1.4.6–1.4.7
    • httr2 0.2.3–1.0.0
    • jsonlite 1.8.7-től 1.8.8-ra
    • knitr 1,43-tól 1,45-ig
    • címkézés 0.4.2-től 0.4.3-ra
    • 1.3.1 és 1.3.2 között
    • láva 1.7.2.1-től 1.7.3-ra
    • életciklus 1.0.3 és 1.0.4 között
    • figyelő 0.9.0-ról 0.9.1-re
    • lubridate 1.9.2-től 1.9.3-ra
    • markdown 1,7 és 1,12 között
    • 4.3.1–4.3.2.
    • 2.0.6 és 2.1.1 közötti megnyitás
    • 4.3.1 és 4.3.2 közötti párhuzamos
    • pkgbuild 1.4.2-től 1.4.3-ra
    • pkgload 1.3.2.1 és 1.3.4 között
    • 1.8.8 és 1.8.9 közötti rétegelt
    • prettyunits 1.1.1-től 1.2.0-ra
    • pROC 1.18.4 és 1.18.5 között
    • processx 3.8.2 és 3.8.3 között
    • prodlim 2023.03.31-től 2023.08.28-ra
    • előrehaladás 1.2.2-től 1.2.3-ra
    • progressr 0.13.0-ról 0.14.0-ra
    • ígéretek 1.2.0.1-től 1.2.1-ig
    • ps 1.7.5-től 1.7.6-osig
    • purrr 1.0.1 és 1.0.2 között
    • ragg 1.2.5 és 1.2.7 között
    • Rcpp 1.0.11 és 1.0.12 között
    • RcppEigen 0.3.3.9.3 és 0.3.3.9.4 között
    • olvasó a 2.1.4-től a 2.1.5-ösig
    • receptek 1.0.6-tól 1.0.9-ig
    • 1.0.1 és 2.0.0 közötti visszavágó
    • 2.4.2-től 2.4.2.1-hez
    • reprex 2.0.2-től 2.1.0-ra
    • rlang 1.1.1-től 1.1.3-ig
    • rmarkdown 2.23-tól 2.25-ig
    • RODBC 1.3-20-tól 1.3-23-ig
    • roxygen2 7.2.3-tól 7.3.1-ig
    • rprojroot 2.0.3-tól 2.0.4-ig
    • 1,8-11-től 1,8-13-ig
    • RSQLite 2.3.1 és 2.3.5 között
    • sass 0.4.6 és 0.4.8 között
    • skálázás 1.2.1-ről 1.3.0-ra
    • fényes 1.7.4.1-től 1.8.0-ra
    • sparklyr 1.8.1 és 1.8.4 között
    • splines from 4.3.1 to 4.3.2
    • 4.3.1 és 4.3.2 közötti statisztikák
    • stats4 from 4.3.1 to 4.3.2
    • stringi 1.7.12–1.8.3
    • sztring 1.5.0 és 1.5.1 között
    • systemfonts 1.0.4-től 1.0.5-ösig
    • tcltk 4.3.1 és 4.3.2 között
    • testthat 3.1.10–3.2.1
    • szövegformázás 0.3.6-tól 0.3.7-ig
    • 1.3.0-tól 1.3.1-től 1.3.1-től
    • timechange 0.2.0-ról 0.3.0-ra
    • timeDate 4022.108 és 4032.109 között
    • tinytex 0,45 és 0,49 között
    • 4.3.1 és 4.3.2 közötti eszközök
    • utf8 1.2.3 és 1.2.4 között
    • utils from 4.3.1 to 4.3.2
    • uuid 1.1-0-tól 1.2-0-ra
    • 0.6.3 és 0.6.5 közötti vctrs
    • vroom 1.6.3 és 1.6.5 között
    • waldo 0.5.1-től 0.5.2-től
    • 2.5.0-tól 3.0.0-ra
    • xfun 0,39 és 0,41 között
    • xml2 1.3.5-től 1.3.6-osig
    • yaml 2.3.7–2.3.8
    • zip 2.3.0 és 2.3.1 között
  • Frissített Java-kódtárak:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.15.1-től 2.16.0-ra
    • com.google.flatbuffers.flatbuffers-java 1.12.0 és 23.5.26 között
    • com.typesafe.config 1.2.1 és 1.4.3 között
    • org.apache.ant.ant 1.9.16 és 1.10.11 között
    • org.apache.ant.ant-jsch 1.9.16 és 1.10.11 között
    • org.apache.ant.ant-launcher 1.9.16 és 1.10.11 között
    • org.apache.arrow.arrow-format 12.0.1–15.0.0
    • org.apache.arrow.arrow-memory-core 12.0.1 és 15.0.0 között
    • org.apache.arrow.arrow-memory-netty 12.0.1 és 15.0.0 között
    • org.apache.arrow.arrow-vector 12.0.1 és 15.0.0 között
    • org.apache.avro.avro 1.11.2 és 1.11.3 között
    • org.apache.avro.avro-ipc 1.11.2 és 1.11.3 között
    • org.apache.avro.avro-mapred from 1.11.2 to 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api 2.20.0-tól 2.22.1-esig
    • org.apache.logging.log4j.log4j-api 2.20.0-tól 2.22.1-esig
    • org.apache.logging.log4j.log4j-core 2.20.0 és 2.22.1 között
    • org.apache.logging.log4j.log4j-slf4j2-impl 2.20.0 és 2.22.1 között
    • org.postgresql.postgresql 42.6.0-tól 42.6.1-ig

Apache Spark

A Databricks Runtime 15.0 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 14.3 LTS-ben található összes Spark-javítást és fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-45527] [DBRRM-805][ES-1073714] "[SC-151626][CORE] Az erőforrás-számításhoz használja a törtet"
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] A COLLATION_ENABLED konfigurációjelző hozzáadása
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] A V2-tábla keresésének kihagyása, ha egy tábla a V1-tábla gyorsítótárában van
  • [SPARK-46808] [SC-154113][PYTHON] Hibaosztályok pontosítása a Pythonban automatikus rendezési függvénnyel
  • [SPARK-47251] [SC-158291][PYTHON] Érvénytelen típusok letiltása a args parancs argumentumából sql
  • [SPARK-47251] [SC-158121][PYTHON] Érvénytelen típusok letiltása a args parancs argumentumából sql
  • [SPARK-47108] [SC-157204][CORE] Állítsa be derby.connection.requireAuthentication-t false-ra kifejezetten a CLI-kben
  • [SPARK-45599] [SC-157537][CORE] Objektumegyenlőség használata az OpenHashSetben
  • [SPARK-47099] [SC-157352][SQL] A ordinalNumber használatával egységesen állíthatja be a paramIndex értékét a hibaosztály UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][CONNECT] Segédfüggvény kinyerése a beolvasott MessageParametersErrorParams duplikált kód eltávolításához GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][CONNECT] Ismétlődő ProtoUtils.abbreviate mezők támogatása
  • [SPARK-46342] [SC-150283][SQL] Csere IllegalStateException az SparkException.internalError SQL-ben
  • [SPARK-47123] [SC-157412][CORE] A JDBCRDD nem kezeli megfelelően a getQueryOutputSchema hibáit
  • [SPARK-47189] [SC-157667][SQL] Oszlophibák nevének és szövegének módosítása
  • [SPARK-45789] [SC-157101][SQL] Klaszterezési oszlopok DESCRIBE TABLE támogatása
  • [SPARK-43256] [SC-157699][SQL] Hibaosztály eltávolítása _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics bemeneti típusok ellenőrzése
  • [SPARK-47183] [SC-157660][PYTHON] Kijavítottuk a hibaosztályt a következőhöz: sameSemantics
  • [SPARK-47179] [SC-157663][SQL] A SparkThrowableSuite hibaüzenetének javítása a jobb hibakeresés érdekében
  • [SPARK-46965] [SC-155791][CORE] Bejelentkezés logTypeUtils.getLog
  • [SPARK-46832] [SC-156774][SQL] A rendezési és rendezési kifejezések bemutatása
  • [SPARK-46946] [SC-155721][SQL] Több szűrési kulcs közvetítésének támogatása a DynamicPruningben
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] Variant-típusadatok hozzáadása a PySparkhoz
  • [SPARK-47101] [SC-157360][SQL] Lehetővé teszi a vessző használatát a legfelső szintű oszlopnevekben, és eltávolítja a beágyazott típusdefiníció ellenőrzését a HiveExternalCatalog.verifyDataSchema-ben
  • [SPARK-47173] [SC-157571][SS][Felhasználói felület] Elírás javítása a streamelési felhasználói felület magyarázatában
  • [SPARK-47113] [SC-157348][CORE] A SPARK-35878 S3A végpontjavítási logikájának visszaállítása
  • [SPARK-47130] [SC-157462][CORE] A listStatus használatával megkerülheti a blokk helyadatait az illesztőprogram-naplók tisztítása során
  • [SPARK-43259] [SC-157368][SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_2024 hibaosztályhoz
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec inicializálnia kell a nem biztonságos előrejelzést
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT] GetAll hozzáadása a spark.conf szolgáltatás paritásához a Scalával
  • [SPARK-46924] [SC-154905][CORE] Javítás Load New gomb a Master/HistoryServer Napló felhasználói felületén
  • [SPARK-47069] [SC-157370][PYTHON][CONNECT] Bevezetés spark.profile.show/dump a SparkSession-alapú profilkészítéshez
  • [SPARK-46812] [SC-157075][SQL][PYTHON] MapInPandas / mapInArrow támogatása ResourceProfile
  • [SPARK-46833] [SC-155866][SQL] Rendezések – A CollationFactory bemutatása, amely összehasonlítási és kivonatolási szabályokat biztosít a támogatott rendezésekhez
  • [SPARK-47057] [SC-157036][PYTHON] MyPy-adatteszt ismételt vizsgálata
  • [SPARK-46934] [SC-157084][SQL] Olvasási/írási kerekítés speciális karakterekkel rendelkező struktúratípushoz HMS-sel
  • [SPARK-46727] [SC-153472][SQL] Port classifyException() a JDBC-dialektusokban hibaosztályokon
  • [SPARK-46964] [SC-155740][SQL] A hllInvalidLgK lekérdezés-végrehajtási hiba aláírásának módosítása egész szám 4. argumentumként való beírásához
  • [SPARK-46949] [SC-155719][SQL] Char/VARCHAR támogatása a ResolveDefaultColumns segítségével
  • [SPARK-46972] [SC-155888][SQL] A karakter/varchar aszimmetrikus pótlásának javítása a V2SessionCatalog.createTable alkalmazásban
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT] A SparkSession dumpPerfProfiles és dumpMemoryProfiles metódusainak implementálása
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] V2-profilkészítés támogatása a csoport/csoport applyInPandas/applyInArrow csoport-/társcsoportban
  • [SPARK-47040] [SC-156773][CONNECT] A Spark Connect-kiszolgáló parancsfájljának várakozásának engedélyezése
  • [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT] V2-profilkészítés támogatása összesített Pandas UDF-ekben
  • [SPARK-47004] [SC-156499][CONNECT] További tesztek hozzáadva a ClientStreamingQuerySuite-hoz a Scala ügyfélteszt-lefedettségének növelése érdekében
  • [SPARK-46994] [SC-156169][PYTHON] A PythonWrite újrabontása a Python-adatforrások írásának támogatásához
  • [SPARK-46979] [SC-156587][SS] A kulcs- és értékkódoló külön-külön, valamint a RocksDB állapottároló-szolgáltató minden colcsaládjának támogatásának hozzáadása
  • [SPARK-46960] [SC-155940][SS] Több bemeneti stream tesztelése TransformWithState operátorral
  • [SPARK-46966] [SC-156112][Python] Adja hozzá az UDTF API-t az elemzési módszerhez, hogy a bemeneti táblaoszlopok részhalmazát jelölje ki
  • [SPARK-46895] [SC-155950][CORE] Időzítő cseréje egyszálas ütemezett végrehajtóra
  • [SPARK-46967] [SC-155815][CORE][Felhasználói felület] Végrehajtók elrejtése Thread Dump a Heap HistogramDead felhasználói felületen Executors
  • [SPARK-46512] [SC-155826][CORE] Optimalizálja a shuffle olvasást, ha mind a rendezés, mind az összevonás használatban van.
  • [SPARK-46958] [SC-155942][SQL] Hiányzó időzónák hozzáadása az alapértelmezett értékek kényszerítéséhez
  • [SPARK-46754] [SC-153830][SQL][AVRO] A tömörítési kód feloldásának javítása az avro tábladefinícióban és az írási opciókban
  • [SPARK-46728] [SC-154207][PYTHON] Ellenőrizze a Pandas megfelelő telepítését
  • [SPARK-43403] [SC-154216][Felhasználói felület] Győződjön meg arról, hogy a régi SparkUI leválasztva lett a HistoryServerben, mielőtt betöltené az újat
  • [SPARK-39910] [SC-156203][SQL] Elérési út minősítésének delegálása fájlrendszerbe a DataSource-fájl elérési útjának lecsúszása során
  • [SPARK-47000] [SC-156123] Visszaállítás "[SC-156123][CORE] Használja getTotalMemorySize...
  • [SPARK-46819] [SC-154560][CORE] Hibakategóriák és állapotok áthelyezése JSON-ba
  • [SPARK-46997] [SC-156175][CORE] Engedélyezés spark.worker.cleanup.enabled alapértelmezés szerint
  • [SPARK-46865] [SC-156168][SS] Batch-támogatás hozzáadása a TransformWithState operátorhoz
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate a szükségtelen setField művelet elkerülése
  • [SPARK-46970] [SC-155816][CORE] Újraírás OpenHashSet#hasher a pattern matching
  • [SPARK-46984] [SC-156024][PYTHON] Pyspark.copy_func eltávolítása
  • [SPARK-47000] [SC-156123][CORE] Használat a következőben getTotalMemorySize : WorkerArguments
  • [SPARK-46980] [SC-155914][SQL][AL] Kerülje a belső API-k használatát a dataframe végpontok közötti tesztekben
  • [SPARK-46931] "[SC-155661][PS] Implementálás {Frame, Series}.to_hdf" visszaállítása
  • [SPARK-46618] [SC-153828][SQL] DATA_SOURCE_NOT_FOUND hiba esetén megjelenő hibaüzenetek javítása
  • [SPARK-46849] [SC-154586][SQL] Optimalizáló futtatása a CREATE TABLE oszlop alapértelmezésein
  • [SPARK-46911] [SC-155724][SS] DeleteIfExists operátor hozzáadása a StatefulProcessorHandleImplhez
  • [SPARK-43273] [SQL] A Parquet tömörítési kodekének támogatása lz4raw
  • [SPARK-47002] [SC-156223][Python] Jobb hibaüzenetet ad vissza, ha az UDTF "analyze" metódus "orderBy" mezője véletlenül visszaadja a sztringek listáját
  • [SPARK-46890] [SC-155802][SQL] CSV-elemzési hiba javítása az alapértelmezett meglévő értékekkel és az oszlopkiválasztással
  • [SPARK-46977] [SC-155892][CORE] Egy névcsomópont jogkivonatának lekérésére vonatkozó sikertelen kérés nem hagyhatja ki a további jogkivonat-kéréseket
  • [SPARK-46608] [SC-151806][SQL] A JdbcDialect.classifyException visszamenőleges kompatibilitásának visszaállítása
  • [SPARK-46908] [SC-155702][SQL] A csillag záradék támogatása a WHERE záradékban
  • [SPARK-46908] [SC-155702][SQL] A csillag záradék támogatása a WHERE záradékban
  • [SPARK-46852] [SC-155665][SS] Távolítsa el az explicit kulcskódoló használatát, és implicit módon adja át az operátornak a transformWithState operátor számára
  • [SPARK-46864] [SC-155669][SS] Tetszőleges StateV2 előkészítése új hibaosztály-keretrendszerre
  • [SPARK-45807] [SC-155706][SQL] Visszatérési nézet a replaceView(..) hívása után
  • [SPARK-46899] [SC-154651][CORE] Távolítsa el az POST API-kat MasterWebUI esetében, amikor spark.ui.killEnabledfalse
  • [SPARK-46868] [SC-154539][CORE] Spark-feldolgozói napló felhasználói felületének támogatása
  • [SPARK-46931] [SC-155661][PS] Megvalósít {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] Távolítsa el a nem használt updateSparkConfigFromProperties és isAbsoluteURI a o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS] Szálkészletek bezárása a ThreadUtils.shutdown használatával
  • [SPARK-46400] [SC-155658][CORE][SQL] Ha sérült fájlok találhatók a helyi maven-adattárban, hagyja ki ezt a gyorsítótárat, és próbálkozzon újra
  • [SPARK-46932] [SC-155655] A behozatal törlése a következő helyen: pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Allekérdezési generátor írása, amely allekérdezések permutációit generálja a tesztelési lefedettség növelése érdekében
  • [SPARK-46914] [SC-154776][UI] Rövidítse le az alkalmazás nevét az Előzmények lap összefoglaló táblázatában
  • [SPARK-46831] [SC-154699][SQL] Rendezések – StringType és PhysicalStringType kiterjesztése collationId mezővel
  • [SPARK-46816] [SC-154415][SS] Alaptámogatás hozzáadása új tetszőleges állapotkezelő operátorhoz, egyetlen értékState-típushoz, több állapotváltozóhoz és a RocksDBStateStoreProvider oszlopcsaládok alapjául szolgáló támogatásához változásnapló-ellenőrzőpontokkal vagy anélkül
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT] Figyelmeztetés hozzáadása, amely arra utasítja, hogy telepítse a memory_profiler memóriaprofilozáshoz
  • [SPARK-46927] [SC-154904][PYTHON] Megfelelő munka a assertDataFrameEqual PyArrow nélkül
  • [SPARK-46021] [SC-148987][CORE] Támogatás egy feladatcsoporthoz tartozó jövőbeli feladatok megszakításához
  • [SPARK-46747] [SC-154789][SQL] A getTableExistsQuery for JDBC dialects vizsgálatának elkerülése
  • [SPARK-46904] [SC-154704][Felhasználói felület] Az előzmények felhasználói felületének összegzésével kapcsolatos megjelenítési probléma javítása
  • [SPARK-46870] [SC-154541][CORE] Spark-főnapló felhasználói felületének támogatása
  • [SPARK-46893] [SC-154780][UI] Beágyazott szkriptek eltávolítása a felhasználói felület leírásából
  • [SPARK-46910] [SC-154760][PYTHON] A JDK-követelmény kiküszöbölése a PySpark telepítésében
  • [SPARK-46907] [SC-154736][CORE] Illesztőprogram-napló helyének megjelenítése a Spark History Serverben
  • [SPARK-46902] [SC-154661][Felhasználói felület] A Spark History Server felhasználói felületének javítása a nem exportált setAppLimit használatához
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT] A SparkSession-alapú memóriaprofilozó alapszintű támogatása
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] A SimpleDateFormat cseréje DateTimeFormatterre
  • [SPARK-46875] [SC-154627][SQL] mode Null érték esetén a NullPointExceptionnot
  • [SPARK-46872] [SC-154543][CORE] Helyreállítás log-view.js modulon kívülire
  • [SPARK-46883] [SC-154629][CORE] Támogatási /json/clusterutilization API
  • [SPARK-46886] [SC-154630][CORE] Engedélyezés spark.ui.prometheus.enabled alapértelmezés szerint
  • [SPARK-46873] [SC-154638][SS] Ne hozza létre újra az új StreamingQueryManagert ugyanahhoz a Spark-munkamenethez
  • [SPARK-46829] [SC-154419][CORE] CreateExecutorEnv eltávolítása a SparkEnvből
  • [SPARK-46827] [SC-154280][CORE] Szimbolikus RocksDBPersistenceEngine hivatkozás támogatása
  • [SPARK-46903] [SC-154662][CORE] A Spark-előzmények kiszolgálói napló felhasználói felületének támogatása
  • [SPARK-46874] [SC-154646][PYTHON] Távolítsa el a pyspark.pandas függőséget a assertDataFrameEqual-ból
  • [SPARK-46889] [SC-154639][CORE] Beállítás ellenőrzése spark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443][SQL] Konvertálás _LEGACY_ERROR_TEMP_2102 UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][UI] Kijavítottuk a MasterPage, hogy Running Drivers táblázatot megfelelően rendezze Duration oszlop szerint
  • [SPARK-46796] [SC-154279][SS] Győződjön meg arról, hogy a megfelelő távoli fájlokat (metadata.zip) használják a RocksDB-verzió betöltésekor
  • [SPARK-46888] [SC-154636][CORE] Javítás Master a kérelmek elutasításához /workers/kill/ , ha a leszerelés le van tiltva
  • [SPARK-46818] [SC-154422][SQL] A tartomány hibaüzeneteinek javítása nem összecsukható bemenetekkel
  • [SPARK-46898] [SC-154649][CONNECT] A protobuf függvény transzformációjának egyszerűsítése a Plannerben
  • [SPARK-46828] [SC-154413][SQL] Távolítsa el a Spark SQL Shell távoli üzemmódjának érvénytelen állítását
  • [SPARK-46733] [SC-154274][CORE] A BlockManager egyszerűsítése a kilépési művelettel csak a megszakítási száltól függ.
  • [SPARK-46777] [SC-154016][SS] A katalizátor szerkezetének újrabontása StreamingDataSourceV2Relation a batch-verzióval való jobban megfeleltethető
  • [SPARK-46515] [SC-151716] MONTHNAME függvény hozzáadása
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion ellenőriznie kell a nullitást
  • [SPARK-46787] [SC-154404][CONNECT] bloomFilter függvénynek érvénytelen bemenetet kell megadnia AnalysisException
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation ugyanazon gyorsítótárazott csomag példányainak szemantikailag egyenértékűnek kell lenniük
  • [SPARK-45827] [SC-153973] A particionálás letiltása a Variant oszlopban
  • [SPARK-46797] [SC-154085][CORE] Átnevezés spark.deploy.spreadOut : spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] A végrehajtó JVM-profilkészítésének támogatása
  • [SPARK-46746] [SC-153557][SQL][AVRO] Kodekkiterjesztés csatolása avro-adatforrásfájlokhoz
  • [SPARK-46698] [SC-153288][CORE] Cserélje le az időzítőt egyszálas ütemezett végrehajtóra a ConsoleProgressBarhoz.
  • [SPARK-46629] [SC-153835] Javítás a STRUCT típusú DDL-hez, amely nem veszi fel a null értéket és a megjegyzést
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON] DataFrame API-k kód törlése
  • [SPARK-46769] [SC-153979][SQL] Az időbélyeggel kapcsolatos sémakövetkeztetés finomítása
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT] Adja meg shuffle a következő adattípust: seed
  • [SPARK-46579] [SC-151481][SQL] JDBC URL-címének újbóli létrehozása hibákban és naplókban
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT] A SparkSession-alapú Python UDF-profilkészítő alapszintű támogatása
  • [SPARK-46748] Revertálás “[SC-153800][CORE] *sla***.sh scri eltávolítása...
  • [SPARK-46707] [SC-153833][SQL] Dobható mező hozzáadva a kifejezésekhez a predikátum leküldésének javítása érdekében
  • [SPARK-46519] [SC-151278][SQL] Nem használt hibaosztályok törlése a fájlból error-classes.json
  • [SPARK-46677] [SC-153426][SQL][CONNECT] Megoldás javítása dataframe["*"]
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] Kisebb viselkedések egyeztetése a SparkSessionben teljes tesztelési lefedettséggel
  • [SPARK-46748] [SC-153800][CORE] Távolítsa el *sla***.sh szkripteket
  • [SPARK-46663] [SC-153490][PYTHON] Memóriaprofilozó letiltása pandas UDF-ekhez iterátorokkal
  • [SPARK-46410] [SC-150776][SQL] Hibaosztályok/alosztályok hozzárendelése a JdbcUtils.classifyExceptionhez
  • [SPARK-46277] [SC-150126][PYTHON] Indítási URL-címek ellenőrzése a beállított konfigurációval
  • [SPARK-46612] [SC-153536][SQL] Ne konvertálja a jdbc-illesztőből lekért tömbtípus-sztringet
  • [SPARK-46254] [SC-149788][PYTHON] Elavult Python 3.8/3.7 verzióellenőrzés eltávolítása
  • [SPARK-46490] [SC-151335][SQL] Hibaosztályok megkövetelése alosztályokban SparkThrowable
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] Az illesztőprogram halomhasználatának csökkentése a TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] A nem egyértelmű oszlophivatkozás javítása öncsatlakozás esetén
  • [SPARK-46381] [SC-150495][SQL] Alosztályok migrálása AnalysisException hibaosztályokra
  • [SPARK-46351] [SC-150335][SQL] Hibaosztály megkövetelése a következőben: AnalysisException
  • [SPARK-46220] [SC-149689][SQL] A karakterkészletek korlátozása a következőben: decode()
  • [SPARK-46369] [SC-150340][CORE] Távolítsa el kill hivatkozást RELAUNCHING illesztőprogramokból MasterPage
  • [SPARK-46052] [SC-153284][CORE] A TaskScheduler.killAllTaskAttempts függvény eltávolítása
  • [SPARK-46536] [SC-153164][SQL] Támogatás a GROUP BY calendar_interval_type-hoz
  • [SPARK-46675] [SC-153209][SQL] Távolítsa el a nem használt inferTimestampNTZ-t a ParquetReadSupportban
  • [SPARK-46717] [SC-153423][CORE] A kilépési művelet egyszerűsítése ReloadingX509TrustManager csak a megszakítási száltól függ.
  • [SPARK-46722] [SC-153438][CONNECT] Teszt hozzáadása a StreamQueryListener visszafelé való kompatibilitásának ellenőrzéséhez a Spark Connectben (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Kodenáris és nem codegen implementáció igazítása StringDecode
  • [SPARK-46258] [SC-149799][CORE] Hozzáad RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] Fejlesztés FileSystemPersistenceEngine a tömörítések támogatásához
  • [SPARK-46189] [SC-149567][PS][SQL] Különböző Pandas-összesítő függvények azonos típusai közötti összehasonlítások és aritmetika végrehajtása az értelmezett mód hibáinak elkerülése érdekében
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] A veremmélység csökkentése az Option.isDefined alt.isEmpty helyére
  • [SPARK-46700] [SC-153329][CORE] A bájtokat kiömlő shuffle lemez utolsó kiömlésével kapcsolatos metrika megszámlálása
  • [SPARK-45642] [SC-150286][CORE][SQL] Rögzít FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] A RemoveRedundantAlias javítása a subquery attribútumok kizárásával
  • [SPARK-46681] [SC-153287][CORE] Újrabontás ExecutorFailureTracker#maxNumExecutorFailures a számítás defaultMaxNumExecutorFailures elkerülése érdekében, ha MAX_EXECUTOR_FAILURES konfigurálva van
  • [SPARK-46695] [SC-153289][SQL][HIVE] A hive.execution.engine beállítása mindig mr értékre
  • [SPARK-46325] [SC-150228][CONNECT] A szükségtelen felülbírálási függvények eltávolítása a WrappedCloseableIterator létrehozásakor a ResponseValidator#wrapIterator-ban
  • [SPARK-46232] [SC-149699][PYTHON] Migrálja az összes fennmaradó ValueErrort a PySpark hibakeretébe.
  • [SPARK-46547] [SC-153174][SS] A karbantartási feladat nem végzetes kivételének lenyelése a karbantartási szál és a streamelési aggregációs operátor közötti holtpont elkerülése érdekében
  • [SPARK-46169] [SC-149373][PS] Rendeljen hozzá megfelelő JIRA-számokat a hiányzó paraméterekhez DataFrame API-ból.
  • [SPARK-45857] [SC-148096][SQL] A hibaosztályok kényszerítése a következő alosztályokban: AnalysisException

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Karbantartási frissítések

Lásd a Databricks Runtime 15.0 karbantartási frissítéseit.

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
fekete 23.3.0 villogó 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 minősítés 2023.7.22
cffi 1.15.1 karakterkészlet 4.0.0 charset-normalizer 2.0.4
kattintás 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
contourpy 1.0.5 kriptográfia 41.0.3 biciklista 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
hibakeresés 1.6.7 lakberendező 5.1.1 distlib 0.3.8
belépési pontok 0,4 Végrehajtó 0.8.3 aspektusok áttekintése 1.1.1
filelock 3.13.1 betűtípusok 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-hitelesítés 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgetek 3.0.5 kulcstartó 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 csomagolás 23.2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Párna 9.4.0 mag 23.2.1 platformdirs 3.10.0
ábrázolás 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 kérelmek 2.31.0
Rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 tengeri 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 Hat 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 veremadatok 0.2.0
statsmodels 0.14.0 Kitartás 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornádó 6.3.2 árulók 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
felügyelet nélküli frissítések 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 kerék 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Telepített R-kódtárak

Az R-kódtárak a Posit Csomagkezelő CRAN-pillanatképből vannak telepítve 2023.02.10-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
nyíl 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 alap 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 indítás 1.3-28
főz 1.0-10 Brio 1.1.4 seprű 1.0.5
bslib 0.6.1 gyorsítótár 1.0.8 hívó 3.7.3
kalap 6.0-94 cellranger 1.1.0 chron 2.3-61
osztály 7.3-22 Cli 3.6.2 clipr 0.8.0
óra 0.7.0 fürt 2.1.4 kódtoolok 0.2-19
színtér 2.1-0 commonmark 1.9.1 fordítóprogram 4.3.2
config 0.3.2 Ütközött 1.2.0 cpp11 0.4.7
zsírkréta 1.5.2 Megbízólevél 2.0.1 csavarodik 5.2.0
data.table 1.15.0 adatkészletek 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 emészt 0.6.34
levilágított 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 három pont 0.3.2 evaluate 0.23
fani 1.0.6 farver 2.1.1 gyorstérkép 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
külföldi 0.8-85 kovácsol 0.2.0 Fs 1.6.3
jövő 1.33.1 future.apply 1.11.1 gargarizál 1.5.2
Generikus 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globális 0.16.2 ragasztó 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.2 grDevices 4.3.2 rács 4.3.2
gridExtra 2.3 gsubfn 0,7 Gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 kikötő 2.5.4
highr 0.10 Hms 1.1.3 htmltoolok 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Azonosítók 1.0.1 ini 0.3.1
ipred 0.9-14 izoband 0.2.7 iterátorok 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 címkézés 0.4.3
később 1.3.2 rács 0.21-8 láva 1.7.3
életciklus 1.0.4 figyelő 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 TÖMEG 7.3-60
Mátrix 1.5-4.1 memoise 2.0.1 metódusok 4.3.2
mgcv 1.8-42 MIME 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modellező 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
párhuzamosan 1.36.0 pillér 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 rétegelt 1.8.9 dicséret 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 haladás 1.2.3
progressr 0.14.0 Ígér 1.2.1 Proto 1.0.0
helyettes 0.4-27 Ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reaktív 0.4.4
reactR 0.5.0 olvasó 2.1.5 readxl 1.4.3
receptek 1.0.9 Visszavágót 2.0.0 visszavágó2 2.1.2
Távirányító 2.4.2.1 reprex 2.1.0 újraformázás2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
mérleg 1.3.0 választó 0.4-2 sessioninfo 1.2.2
alak 1.4.6 Fényes 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 térbeli 7.3-15 splines 4.3.2
sqldf 0.4-11 NÉGYZET 2021.1 statisztika 4.3.2
statisztikák4 4.3.2 stringi 1.8.3 sztring 1.5.1
túlélés 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
szövegformázás 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 eszközök 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 eszközök 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 bajusz 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 fütyülés 2.3.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natívok
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natívok
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natívok
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natívok
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Csellengő 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrikamag 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-zokni 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pác 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow nyílformátum 15.0.0
org.apache.arrow nyíl-memóriamag 15.0.0
org.apache.arrow nyíl-memória-netty 15.0.0
org.apache.arrow nyíl-vektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby keménykalap 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy borostyán 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus célközönség-széljegyzetek 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty móló-folytatás 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty móló plusz 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Alátéteket 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibilis 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten három-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2,0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1