Freigeben über

Verwalten von Apache Hadoop-Clustern in HDInsight mit dem Azure-Portal

  • Artikel

Mit dem Azure-Portal können Sie Apache Hadoop-Cluster in Azure HDInsight verwalten. Rufen Sie über den Registerkartenselektor Informationen zum Verwalten von Hadoop-Clustern in HDInsight mithilfe anderer Tools ab.

Voraussetzungen

Ein vorhandener Apache Hadoop-Cluster in HDInsight. Weitere Informationen finden Sie unter Erstellen von Linux-basierten Clustern in HDInsight mithilfe des Azure-Portals.

Erste Schritte

Melden Sie sich beim Portal an.

Auflisten und Anzeigen von Clustern

Auf der Seite HDInsight-Cluster werden Ihre vorhandenen Cluster aufgeführt. Im Portal:

  1. Wählen Sie im Menü links Alle Dienste aus.
  2. Wählen Sie unter ANALYSEN die Option HDInsight clusters (HDInsight-Cluster) aus.

Cluster-Homepage

Wählen Sie auf der Seite HDInsight-Cluster den Clusternamen aus. Die Seite Übersicht wird geöffnet. Sie ähnelt der folgenden Abbildung:

Screenshot: Azure-Portal – Zusammenfassung zum HDInsight-Cluster

Obere Menüleiste

Artikel BESCHREIBUNG
Verschieben Verschiebt den Cluster in eine andere Ressourcengruppe oder ein anderes Abonnement.
Delete Löscht den Cluster.
Aktualisieren Aktualisiert die Sicht.

Linkes Menü

Das linke Menü umfasst mehrere Abschnitte.

Menü oben links

Artikel BESCHREIBUNG
Übersicht Gibt allgemeine Informationen zu Ihrem Cluster an.
Aktivitätsprotokoll Dient zum Anzeigen und Abfragen von Aktivitätsprotokollen.
Zugriffssteuerung (IAM) Verwenden Sie Rollenzuweisungen. Weitere Informationen finden Sie unter Zuweisen von Azure-Rollen zum Verwalten des Zugriffs auf Ihre Azure-Abonnementressourcen.
Tags Dient zum Festlegen von Schlüssel-Wert-Paaren, um eine benutzerdefinierte Taxonomie für Ihre Clouddienste zu definieren. Sie können z. B. einen Schlüssel mit dem Namen project erstellen und dann einen gemeinsamen Wert für alle mit einem bestimmten Projekt verknüpften Dienste verwenden.
Diagnose und Problembehandlung Dient zum Anzeigen von Informationen zur Problembehandlung.
Schnellstart Zeigt hilfreiche Informationen für die ersten Schritte mit HDInsight an.
Tools Hilfeinformationen für HDInsight-bezogene Tools

Menü „Einstellungen“

Element BESCHREIBUNG
Clustergröße Dient zum Überprüfen, Erhöhen und Verringern der Anzahl von Workerknoten im Cluster. Weitere Informationen finden Sie unter Skalieren von Clustern.
Kontingentgrenzen Dient zum Anzeigen der verwendeten und verfügbaren Kernspeicher für Ihr Abonnement.
SSH + Clusteranmeldung Zeigt die Anweisungen für die Verbindung mit dem Cluster über eine Secure Shell-Verbindung (SSH) an. Weitere Informationen finden Sie unter Verwenden von SSH mit Linux-basiertem Hadoop in HDInsight unter Linux, Unix oder OS X.
Azure Data Lake Storage Gen2 Konfigurieren von Zugriff auf Data Lake Storage Gen2. Weitere Informationen finden Sie unter Schnellstart: Einrichten von Clustern in HDInsight.
Speicherkonten Dient zum Anzeigen der Speicherkonten und Schlüssel. Die Speicherkonten werden während der Clustererstellung konfiguriert.
Anwendungen Dient zum Hinzufügen und Entfernen von HDInsight-Anwendungen. Weitere Informationen finden Sie unter Installieren benutzerdefinierter HDInsight-Anwendungen.
Skriptaktionen Dienst zum Anwenden von Bashskripts auf den Cluster. Weitere Informationen finden Sie unter Anpassen Linux-basierter HDInsight-Cluster mithilfe von Skriptaktionen.
Externe Metastores Anzeigen der Metastores für Apache Hive und Apache Oozie. Sie können die Metastores nur während der Clustererstellung konfigurieren.
HDInsight-Partner Dient zum Hinzufügen oder Entfernen des aktuellen HDInsight-Partners.
Eigenschaften Dient zum Anzeigen der Clustereigenschaften.
Locks Dient zum Hinzufügen einer Sperre, um zu verhindern, dass der Cluster geändert oder gelöscht wird.
Exportieren der Vorlage Dient zum Anzeigen und Exportieren der Azure Resource Manager-Vorlage für den Cluster. Derzeit können Sie nur das abhängige Azure Storage-Konto exportieren. Weitere Informationen finden Sie unter Erstellen Linux-basierter Apache Hadoop-Cluster in HDInsight mithilfe von Azure Resource Manager-Vorlagen.

Menü „Überwachung“

Element BESCHREIBUNG
Warnungen Dient zum Verwalten der Warnungen und Aktionen.
Metriken Überwacht die Clustermetriken in Azure Monitor-Protokollen.
Diagnoseeinstellungen Dient zum Festlegen des Speicherorts der Diagnosemetriken.
Azure Monitor Überwacht Ihre Cluster in Azure Monitor.

Menü „Support und Problembehandlung“

Element BESCHREIBUNG
Ressourcenintegrität Weitere Informationen finden Sie unter Übersicht über Azure Resource Health.
Neue Supportanfrage Dient zum Erstellen eines Supporttickets beim Microsoft Support.

Clustereigenschaften

Wählen Sie auf der Startseite des Clusters unter Einstellungen die Option Eigenschaften aus.

Artikel BESCHREIBUNG
HOSTNAME Clustername.
CLUSTER-URL Dies ist die URL für die Ambari-Weboberfläche.
Privater Endpunkt Der private Endpunkt für den Cluster.
Secure Shell Der Benutzername und der Hostname für den Zugriff auf den Cluster über SSH.
STATUS Eine der folgenden Angaben: Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued oder ClusterCustomization.
REGION Azure-Standort. Eine Liste der unterstützten Azure-Standorte, finden Sie in der Dropdownliste Region unter HDInsight – Preise.
ERSTELLUNGSDATUM Das Datum der Clusterbereitstellung.
BETRIEBSSYSTEM Entweder Windows oder Linux.
TYPE Hadoop, HBase oder Spark
Version Siehe HDInsight-Versionen.
TLS-Mindestversion TLS-Version (Transport Layer Security)
SUBSCRIPTION Abonnementname.
STANDARDDATENQUELLE Das Standardcluster-Dateisystem.
Workerknotengrößen Die ausgewählte VM-Größe der Workerknoten
Hauptknotengröße Die ausgewählte VM-Größe der Hauptknoten.
Virtuelles Netzwerk Der Name des virtuellen Netzwerks, in dem der Cluster bereitgestellt wird, wenn eines zum Zeitpunkt der Bereitstellung ausgewählt wurde

Verschieben von Clustern

Sie können einen HDInsight-Cluster in eine andere Azure-Ressourcengruppe oder ein anderes Abonnement verschieben.

Auf der Startseite des Clusters:

  1. Wählen Sie im oberen Menü Verschieben aus.

  2. Wählen Sie In eine andere Ressourcengruppe verschieben oder In ein anderes Abonnement verschieben aus.

  3. Befolgen Sie die Anweisungen auf der neuen Seite.

Löschen von Clustern

Wenn Sie einen Cluster löschen, werden dadurch weder das Standardspeicherkonto noch die verknüpften Speicherkonten gelöscht. Sie können den Cluster mit den gleichen Speicherkonten und den gleichen Metastores neu erstellen. Sie sollten einen neuen Standardblobcontainer verwenden, wenn Sie den Cluster neu erstellen.

Auf der Startseite des Clusters:

  1. Wählen im oberen Menü Löschen aus.
  2. Befolgen Sie die Anweisungen auf der neuen Seite.

Weitere Informationen finden Sie unter Anhalten oder Herunterfahren von Clustern.

Hinzufügen weiterer Speicherkonten

Nachdem ein Cluster erstellt wurde, können Sie weitere Azure Storage-Konten und Azure Data Lake Storage-Konten hinzufügen. Weitere Informationen finden Sie unter Hinzufügen zusätzlicher Speicherkonten zu HDInsight.

Skalieren von Clustern

Sie können die Clusterskalierung verwenden, um die Anzahl der von einem HDInsight-Cluster verwendeten Workerknoten zu ändern, ohne den Cluster neu erstellen zu müssen.

Weitere Informationen finden Sie unter Skalieren von HDInsight-Clustern.

Anhalten oder Herunterfahren von Clustern

Die meisten Hadoop-Aufträge sind Batchaufträge, die nur gelegentlich ausgeführt werden. Bei den meisten Hadoop-Clustern gibt es immer wieder längere Phasen, in denen der Cluster nicht für die Verarbeitung genutzt wird. Mit HDInsight werden Ihre Daten in Azure Storage gespeichert, sodass Sie einen Cluster problemlos löschen können, wenn er nicht verwendet wird. Für einen HDInsight-Cluster fallen auch dann Gebühren an, wenn er nicht verwendet wird. Da die Gebühren für den Cluster erheblich höher sind als die Kosten für den Speicher, ist es sinnvoll, nicht verwendete Cluster zu löschen.

Es gibt viele Methoden, mit denen Sie den Prozess programmieren können: Verwenden Sie Folgendes:

Preisinformationen finden Sie unter HDInsight – Preise. Informationen zum Löschen eines Clusters aus dem Portal finden Sie unter Löschen von Clustern.

Aktualisieren von Clustern

Weitere Informationen finden Sie im Artikel zum Aktualisieren eines HDInsight-Cluster auf eine neuere Version.

Öffnen der Apache Ambari-Webbenutzeroberfläche

Ambari bietet eine intuitive, leicht zu bedienende Webbenutzeroberfläche für die Hadoop-Verwaltung, die durch die RESTful-APIs geschützt wird. Mit Ambari können Systemadministrierende Hadoop-Cluster verwalten und überwachen.

Auf der Startseite des Clusters:

  1. Wählen Sie Clusterdashboards aus.

    Screenshot: Apache Hadoop-Clustermenü in HDInsight

  2. Wählen Sie auf der neuen Seite die Ambari-Startseite aus.

  3. Geben Sie den Benutzernamen und das Kennwort für den Cluster ein. Der Standardbenutzername für den Cluster lautet admin.

Weitere Informationen finden Sie unter Verwalten von HDInsight-Clustern mithilfe der Apache Ambari-Webbenutzeroberfläche.

Ändern von Kennwörtern

Ein HDInsight-Cluster kann über zwei Benutzerkonten verfügen. Das HDInsight-Clusterbenutzerkonto (auch HTTP-Benutzerkonto genannt) und das SSH-Benutzerkonto werden während des Erstellungsprozesses erstellt. Sie können das Portal verwenden, um das Kennwort für das Clusterbenutzerkonto zu ändern, und Skriptaktionen, um das SSH-Benutzerkonto zu ändern.

Ändern des Clusterbenutzerkennworts

Hinweis

Wenn Sie das Kennwort für den Clusterbenutzer (Admin) ändern, können Skriptaktionen, die für diesen Cluster ausgeführt werden, möglicherweise fehlschlagen. Wenn Sie gespeicherte Skriptaktionen haben, deren Ziel Workerknoten sind, kann bei diesen Skripts ein Fehler auftreten, sobald Sie dem Cluster über eine Größenänderung Knoten hinzufügen. Weitere Informationen zu Skriptaktionen finden Sie unter Anpassen von HDInsight-Clustern mithilfe von Skriptaktionen.

Auf der Startseite des Clusters:

  1. Wählen Sie unter Einstellungen die Option SSH + Clusteranmeldung aus.
  2. Wählen Sie Anmeldeinformation zurücksetzen aus.
  3. Geben Sie in die Textfelder ein neues Kennwort ein, und bestätigen Sie dieses.
  4. Wählen Sie OK aus.

Das Kennwort wird auf allen Knoten im Cluster geändert.

Ändern des SSH-Benutzerkennworts oder des öffentlichen Schlüssels

  1. Speichern Sie den folgenden Text mit einem Texteditor als Datei mit dem Namen changecredentials.sh.

    Wichtig

    Sie müssen einen Editor verwenden, der LF als Zeilenende verwendet. Wenn der Editor CRLF verwendet, funktioniert das Skript nicht.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Laden Sie die Datei an einen Speicherort hoch, auf den Sie über HDInsight mithilfe einer HTTP- oder HTTPS-Adresse zugreifen können. Ein Beispiel dafür ist ein öffentlicher Dateispeicher wie OneDrive oder Azure Blob Storage. Speichern Sie den URI (HTTP- oder HTTPS-Adresse) in der Datei. Der URI wird im nächsten Schritt benötigt.

  3. Wählen Sie auf der Startseite des Clusters unter Einstellungen die Option Skriptaktionen aus.

  4. Wählen Sie auf der Seite Skriptaktionen die Option Neue übermitteln aus.

  5. Geben Sie auf der Seite Skriptaktion übermitteln die Informationen aus der folgenden Tabelle ein.

    Hinweis

    Folgende Zeichen dürfen in den SSH-Kennwörtern nicht verwendet werden: " ' ` / \ < % ~ | $ & ! #

    Feld Wert
    Skripttyp Wählen Sie in der Dropdownliste – Benutzerdefiniert aus.
    Name Change ssh credentials
    Bash-Skript-URI Der URI für die Datei changecredentials.sh.
    Knotentypen: Hauptknoten, Worker, Nimbus, Supervisor oder ZooKeeper Wählen Sie ✓ für alle aufgeführten Knotentypen aus.
    Parameter Geben Sie den SSH-Benutzernamen und dann das neue Kennwort ein. Zwischen den Benutzernamen und das Kennwort darf nur ein Leerzeichen eingefügt werden.
    Speichern Sie diese Skriptaktion ... Lassen Sie dieses Feld leer.

  6. Wählen Sie Erstellen aus, um das Skript anzuwenden. Nachdem das Skript ausgeführt wurde, können Sie per SSH mit den neuen Anmeldeinformationen eine Verbindung mit dem Cluster herstellen.

Ermitteln der Abonnement-ID

Jeder Cluster ist mit einem Azure-Abonnement verknüpft. Die Azure-Abonnement-ID wird auf der Startseite des Clusters angezeigt.

Suchen der Ressourcengruppe

Im Resource Manager-Modus wird jeder HDInsight-Cluster mit einer Resource Manager-Gruppe erstellt. Die Resource Manager-Gruppe wird auf der Startseite des Clusters angezeigt.

Suchen der Speicherkonten

HDInsight-Cluster verwenden zum Speichern von Daten entweder ein Azure Storage-Konto oder Azure Data Lake Storage. Jeder HDInsight-Cluster kann ein Standardspeicherkonto und zahlreiche verknüpfte Speicherkonten enthalten. Wählen Sie zum Auflisten der Speicherkonten auf der Startseite des Clusters unter Einstellungen die Option Speicherkonten aus.

Überwachen von Aufträgen

Weitere Informationen finden Sie unter Verwalten von HDInsight-Clustern mithilfe der Apache Ambari-Webbenutzeroberfläche.

Clustergröße

Die Kachel Clustergröße auf der Startseite des Clusters zeigt die Anzahl von Kernen, die diesem Cluster zugewiesen sind, sowie die Zuordnung für die Knoten innerhalb des Clusters an.

Wichtig

Um die vom HDInsight-Cluster bereitgestellten Dienste zu überwachen, müssen Sie die Ambari-Webbenutzeroberfläche oder die Ambari-REST-API verwenden. Weitere Informationen zur Verwendung von Ambari finden Sie unter Verwalten von HDInsight-Clustern mit Apache Ambari.

Herstellen der Verbindung zu einem Cluster

Zugehöriger Inhalt

In diesem Artikel haben Sie einige grundlegende administrative Funktionen kennengelernt. Weitere Informationen erhalten Sie in den folgenden Artikeln: