通过

什么是 AKS 上的 HDInsight？ （预览版）

  • 项目

重要

AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 了解此公告的详细信息。

需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品，以避免工作负荷突然终止。

重要

此功能目前以预览版提供。 Microsoft Azure 预览版的补充使用条款 包含更多法律条款，适用于 beta 版、预览版或尚未正式发布的 Azure 功能。 有关此特定预览的信息，请参阅 AKS 预览信息的 Azure HDInsight。 有关问题或功能建议，请在 AskHDInsight 上提交请求，并提供详细信息，并关注我们以获取有关 azure HDInsight 社区 的更多更新。

AKS 上的 HDInsight 是一种在 Azure Kubernetes 服务（AKS）上运行的现代、可靠、安全且完全托管的平台即服务（PaaS）。 借助 AKS 上的 HDInsight，可以部署常用的 Open-Source Analytics 工作负载，如 Apache Spark™、Apache Flink®️ 和 Trino，而无需管理和监视容器的开销。

可以构建端到端、PB 级的大数据应用程序，涵盖通过 Apache Flink 进行流式处理、使用 Apache Spark 进行数据工程和机器学习，以及 Trino 的强大查询引擎的应用。

所有这些功能与 HDInsight 和 AKS 在开发人员上强大聚焦的结合，使得拥有深厚技术专长的企业和数字化先驱能够构建和运营真正符合其需求的应用程序。 使用 AKS 上的 HDInsight，开发人员可以访问开源软件提供的所有丰富配置，以及无缝包含其他生态系统产品/服务的扩展性。 此产品/服务使开发人员能够测试和优化其应用程序，以以最佳成本提取最佳性能。

AKS 上的 HDInsight 与整个 Azure 生态系统集成，缩短实现周期并缩短实现价值的时间。

显示 HDInsight 在 AKS 上优势的图示。

技术体系结构

AKS 上的 HDInsight 引入了群集池和群集的概念，使你能够实现 Data Lakehouse 的完整价值。 群集池允许在单个 Data Lake 上使用多个计算工作负荷，从而消除网络管理和资源规划的开销。

  • 群集池 是群集的逻辑分组，可帮助跨多个群集类型建立可靠的互作性，并允许企业在同一虚拟网络中拥有群集。 群集池提供对按需和大规模创建的所有群集类型的快速且经济高效的访问。 一个群集池对应于 AKS 基础结构中的一个群集。
  • 群集 是单个计算工作负荷，例如 Apache Spark、Apache Flink 和 Trino，可以在几分钟内使用预设配置快速创建。

可以使用单个群集或群集类型的组合创建池，这些类型基于需求，并且可以自定义配置以下选项：

  • 存储
  • 网络
  • 伐木
  • 监测

下图显示了默认群集池中安装的组件的逻辑技术体系结构。 群集是使用 AKS 群集中 命名空间隔离的。

显示 AKS 体系结构中 HDInsight 的关系图。

现代化云原生计算平台

最新版本的 HDInsight 使用 AKS 进行协调，使平台更加可靠，并让用户能够有效地处理群集。 在 AKS 上的 HDInsight 上预配群集是快速可靠的，因此可以轻松管理群集和执行就地升级。 借助庞大的 SKU 选项和灵活的订阅模型，可以通过在 AKS 上使用 HDInsight 来现代化开源、云原生和可扩展的基础架构，从而满足所有分析需求。

图显示了 AKS 上的 HDInsight 如何在云本机计算平台上实现现代化。

关键功能包括：

  • 快速创建和缩放群集。
  • 易于维护和定期安全更新。
  • 由新式云原生 AKS 提供支持的群集复原能力。
  • 通过 OAuth 和 Microsoft Entra ID 本地支持现代身份验证。
  • 与 Azure 服务深度集成 - Azure 数据工厂（ADF）、Power BI、Azure Monitor。

与 HDInsight 的连接

AKS 上的 HDInsight 可与 HDInsight 无缝连接。 可以在混合模型中使用所需的群集类型来获得好处。 在两个方案中使用相同的存储和元数据存储，与不同群集类型的 HDInsight 进行互操作。

HDInsight 在平台即服务（PaaS）模式中提供 Apache Kafka®、Apache HBase® 和其他分析工作负载。

显示连接概念的 关系图。

支持以下方案：

安全体系结构

默认情况下，AKS 上的 HDInsight 是安全的。 它使企业能够通过 Azure 虚拟网络、加密和与 Microsoft Entra ID 集成来保护企业数据资产。 它还符合支持 Azure 标准的最受欢迎的行业和政府合规性标准。 通过 30 多个认证来帮助保护数据，以及定期更新、健康顾问通知、服务健康分析，以及一流的 Azure 安全标准。 AKS 上的 HDInsight 默认提供多种方法来应对企业安全需求。 有关详细信息，请参阅 HDInsight 上的 AKS 安全性。

显示安全概念的 关系图。

区域可用性（公共预览版）

亚太地区

  • 澳大利亚东部
  • 印度中部
  • 东亚
  • 日本东部
  • 韩国中部
  • 东南亚

欧洲

  • 法国中部
  • 北欧
  • 挪威东部
  • 瑞士北部
  • 英国南部
  • 西欧

美洲

  • 巴西南部
  • 加拿大中部
  • 美国中部
  • 美国东部
  • 美国东部 2
  • 东美国 2 EUAP
  • 美国中南部
  • 美国西部
  • 美国西部 2
  • 美国西部 3

注意