Delen via

Apache Hadoop-clusters beheren in HDInsight met behulp van Azure Portal

  • Artikel

Met behulp van Azure Portal kunt u Apache Hadoop-clusters beheren in Azure HDInsight. Gebruik de tabselector voor informatie over het beheren van Hadoop-clusters in HDInsight met behulp van andere hulpprogramma's.

Vereisten

Een bestaand Apache Hadoop-cluster in HDInsight. Zie Clusters op basis van Linux maken in HDInsight met behulp van Azure Portal voor meer informatie.

Aan de slag

Meld u aan bij de portal.

Clusters weergeven en weergeven

Op de pagina HDInsight-clusters worden uw bestaande clusters weergegeven. Vanuit de portal:

  1. Selecteer in het menu links Alle services.
  2. Selecteer onder ANALYTICS HDInsight-clusters.

Startpagina van cluster

Selecteer de clusternaam op de pagina HDInsight-clusters . Het deelvenster Overzicht wordt geopend en ziet er ongeveer als volgt uit.

Schermopname van de essentiële gegevens van het HDInsight-cluster in Azure Portal.

Bovenste menu

Item Beschrijving
Verplaatsen Hiermee verplaatst u het cluster naar een andere resourcegroep of naar een ander abonnement.
Verwijderen Hiermee verwijdert u het cluster.
Vernieuwen Hiermee wordt de weergave vernieuwd.

Menu Links

Het linkermenu bevat meerdere secties.

Menu linksboven

Item Beschrijving
Overzicht Geef algemene informatie op voor uw cluster.
Activiteitenlogboek Activiteitenlogboeken weergeven en er query's op uitvoeren.
Toegangsbeheer (IAM) Gebruik roltoewijzingen. Zie Azure-rollen toewijzen om de toegang tot uw Azure-abonnementsbronnen te beheren.
Tags Stel sleutel-waardeparen in om een aangepaste taxonomie van uw cloudservices te definiëren. U kunt bijvoorbeeld een sleutel met de naam project maken en vervolgens een gemeenschappelijke waarde gebruiken voor alle services die zijn gekoppeld aan een specifiek project.
Problemen vaststellen en oplossen Informatie over probleemoplossing weergeven.
Snelstartgids Informatie weergeven waarmee u aan de slag kunt met HDInsight.
Extra Help-informatie voor HDInsight-gerelateerde hulpprogramma's.

Menu Instellingen

Item Beschrijving
Clustergrootte Controleer, verhoog en verklein het aantal clusterwerkknooppunten. Zie Clusters schalen.
Quotumlimieten Geef de gebruikte en beschikbare kernen voor uw abonnement weer.
Aanmelding bij SSH + cluster Geef de instructies weer om verbinding te maken met het cluster met behulp van een SSH-verbinding (Secure Shell). Zie SSH gebruiken met HDInsight voor meer informatie.
Azure Data Lake Storage Gen2 Toegang tot Data Lake Storage Gen2 configureren. Zie quickstart: Clusters instellen in HDInsight.
Opslagaccounts Bekijk de opslagaccounts en de sleutels. De opslagaccounts worden geconfigureerd tijdens het maken van het cluster.
Toepassingen HDInsight-toepassingen toevoegen of verwijderen. Zie Aangepaste HDInsight-toepassingen installeren.
Scriptacties Voer Bash-scripts uit op het cluster. Zie HDInsight-clusters op basis van Linux aanpassen met scriptactie.
Externe metastores Bekijk de Apache Hive - en Apache Oozie-metastores . U kunt de metastores alleen configureren tijdens het maken van het cluster.
HDInsight-partner De huidige HDInsight-partner toevoegen of verwijderen.
Eigenschappen Bekijk de clustereigenschappen.
Vergrendelingen Voeg een vergrendeling toe om te voorkomen dat het cluster wordt gewijzigd of verwijderd.
Sjabloon exporteren De Azure Resource Manager-sjabloon voor het cluster weergeven en exporteren. Op dit moment kunt u alleen het afhankelijke Azure Storage-account exporteren. Zie Apache Hadoop-clusters op basis van Linux maken in HDInsight met behulp van Azure Resource Manager-sjablonen.

Bewakingsmenu

Item Beschrijving
Waarschuwingen Beheer de waarschuwingen en acties.
Metrische gegevens Bewaak de metrische gegevens van het cluster in Azure Monitor-logboeken.
Diagnose-instellingen Stel in waar de metrische diagnosegegevens moeten worden opgeslagen.
Azure Monitor Bewaak uw cluster in Azure Monitor.

Menu Ondersteuning en probleemoplossing

Item Beschrijving
Status van resources Zie het overzicht van De status van Azure-resources.
Nieuwe ondersteuningsaanvraag Maak een ondersteuningsticket met Microsoft Ondersteuning.

Clustereigenschappen

Selecteer Eigenschappen op de startpagina van het cluster onder Instellingen.

Item Beschrijving
HOSTNAAM Clusternaam.
CLUSTER-URL De URL voor de Ambari-webinterface.
Privé-eindpunt Het privé-eindpunt voor het cluster.
Secure Shell De gebruikersnaam en hostnaam die moeten worden gebruikt voor toegang tot het cluster via SSH.
STATUS Een van afgebroken, geaccepteerd, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued of ClusterCustomization.
REGIO Azure-locatie. Zie de vervolgkeuzelijst Regio in HDInsight-prijzen voor een lijst met ondersteunde Azure-locaties.
DATUM GEMAAKT De datum waarop het cluster is geïmplementeerd.
BESTURINGSSYSTEEM Windows of Linux.
TYPE Hadoop, HBase of Spark.
Versie Zie HDInsight-versies.
Minimale TLS-versie De TLS-versie (Transport Layer Security).
ABONNEMENT Abonnementsnaam.
STANDAARDGEGEVENSBRON Het standaardbestandssysteem van het cluster.
Grootte van werkknooppunten De geselecteerde VM-grootte (virtuele machine) van de werkknooppunten.
Grootte van hoofdknooppunt De geselecteerde VM-grootte van de hoofdknooppunten.
Virtueel netwerk De naam van het virtuele netwerk, waar het cluster wordt geïmplementeerd, als er een is geselecteerd tijdens de implementatie.

Clusters verplaatsen

U kunt een HDInsight-cluster verplaatsen naar een andere Azure-resourcegroep of een ander abonnement.

Op de startpagina van het cluster:

  1. Selecteer Verplaatsen in het bovenste menu.

  2. Selecteer Verplaatsen naar een andere resourcegroep of Naar een ander abonnement verplaatsen.

  3. Volg de instructies op de nieuwe pagina.

Clusters verwijderen

Als u een cluster verwijdert, wordt het standaardopslagaccount of gekoppelde opslagaccounts niet verwijderd. U kunt het cluster opnieuw maken met behulp van dezelfde opslagaccounts en dezelfde metastores. U wordt aangeraden een nieuwe standaard-blobcontainer te gebruiken wanneer u het cluster opnieuw maakt.

Op de startpagina van het cluster:

  1. Selecteer Verwijderen in het bovenste menu.
  2. Volg de instructies op de nieuwe pagina.

Zie Clusters onderbreken of afsluiten voor meer informatie.

Meer opslagaccounts toevoegen

U kunt meer Azure Storage-accounts en Azure Data Lake Storage-accounts toevoegen nadat een cluster is gemaakt. Zie Extra opslagaccounts toevoegen aan HDInsight voor meer informatie.

Clusters schalen

U kunt de functie clusterschalen gebruiken om het aantal werkknooppunten te wijzigen dat wordt gebruikt door een HDInsight-cluster, zonder dat u het cluster opnieuw hoeft te maken.

Zie HDInsight-clusters schalen voor meer informatie.

Clusters onderbreken of afsluiten

De meeste Hadoop-taken zijn batchtaken die slechts af en toe worden uitgevoerd. Voor de meeste Hadoop-clusters zijn er grote perioden waarin het cluster niet wordt gebruikt voor verwerking. Met HDInsight worden uw gegevens opgeslagen in Azure Storage zodat u een cluster veilig kunt verwijderen wanneer deze niet wordt gebruikt. Voor een HDInsight-cluster worden ook kosten in rekening gebracht, zelfs wanneer het niet wordt gebruikt. Omdat de kosten voor het cluster vaak groter zijn dan de kosten voor opslag, is het economisch zinvol om clusters te verwijderen wanneer ze niet in gebruik zijn.

U kunt het proces op veel manieren programmeren. U kunt gebruikmaken van:

Zie HDInsight-prijzen voor meer informatie over prijzen. Zie Clusters verwijderen als u een cluster uit de portal wilt verwijderen.

Clusters upgraden

Zie Een HDInsight-cluster upgraden naar een nieuwere versie voor meer informatie.

De webinterface van Apache Ambari openen

Ambari biedt een intuïtieve, gebruiksvriendelijke webinterface voor Hadoop-beheer die wordt ondersteund door de RESTful API's. Met Ambari kunnen systeembeheerders Hadoop-clusters beheren en bewaken.

Op de startpagina van het cluster:

  1. Selecteer Clusterdashboards.

    Schermopname van het menu HDInsight Apache Hadoop-cluster.

  2. Selecteer op de nieuwe pagina De startpagina van Ambari.

  3. Voer de gebruikersnaam en het wachtwoord van het cluster in. De standaardgebruikersnaam van het cluster is beheerder.

Zie HDInsight-clusters beheren met behulp van de Apache Ambari-webgebruikersinterface voor meer informatie.

Wachtwoorden wijzigen

Een HDInsight-cluster kan twee gebruikersaccounts hebben. Het HDInsight-clustergebruikersaccount (HTTP-gebruikersaccount) en het SSH-gebruikersaccount worden gemaakt tijdens het maken. U kunt de portal gebruiken om het wachtwoord van het clustergebruikersaccount te wijzigen en scriptacties te gebruiken om het SSH-gebruikersaccount te wijzigen.

Het wachtwoord van de clustergebruiker wijzigen

Notitie

Als u het wachtwoord van de clustergebruiker (beheerder) wijzigt, kunnen scriptacties die op dit cluster worden uitgevoerd, mislukken. Als u permanente scriptacties hebt die gericht zijn op werkknooppunten, kunnen deze scripts mislukken wanneer u knooppunten aan het cluster toevoegt door bewerkingen voor het wijzigen van de grootte. Zie HDInsight-clusters aanpassen met behulp van scriptacties voor meer informatie over scriptacties.

Op de startpagina van het cluster:

  1. Selecteer onder Instellingen de optie SSH + Clusteraanmelding.
  2. Selecteer Referentie opnieuw instellen.
  3. Voer een nieuw wachtwoord in de tekstvakken in en bevestig dit.
  4. Selecteer OK.

Het wachtwoord wordt gewijzigd op alle knooppunten in het cluster.

Het SSH-gebruikerswachtwoord of de openbare sleutel wijzigen

  1. Gebruik een teksteditor om de volgende tekst op te slaan als een bestand met de naam changecredentials.sh.

    Belangrijk

    U moet een editor gebruiken die wordt gebruikt LF als het einde van de regel. Als de editor gebruikt CRLF, werkt het script niet.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Upload het bestand naar een opslaglocatie waartoe u toegang hebt vanuit HDInsight met behulp van een HTTP- of HTTPS-adres. Een voorbeeld hiervan is een openbaar bestandsarchief, zoals OneDrive of Azure Blob Storage. Sla de URI (HTTP- of HTTPS-adres) op in het bestand. De URI is nodig in de volgende stap.

  3. Selecteer op de startpagina van het cluster onder Instellingen de optie Scriptacties.

  4. Selecteer op de pagina Scriptacties de optie Nieuw verzenden.

  5. Voer op de pagina Scriptactie verzenden de gegevens in de volgende tabel in.

    Notitie

    SSH-wachtwoorden mogen niet de volgende tekens bevatten: ' ' ' / \ < % ~ | $ & ! #

    Veld Waarde
    Scripttype Selecteren - Aangepast in de vervolgkeuzelijst.
    Naam 'SSH-referenties wijzigen'.
    Bash-script-URI De URI naar het changecredentials.sh bestand.
    Knooppunttypen: Hoofd, Werkrol, Nimbus, Supervisor of ZooKeeper Selecteer ✓ voor alle vermelde knooppunttypen.
    Parameters Voer de SSH-gebruikersnaam in en voer het nieuwe wachtwoord in. Er mag slechts één spatie tussen de gebruikersnaam en het wachtwoord zijn.
    Deze scriptactie behouden... Laat dit veld leeg.

  6. Selecteer Maken om het script toe te passen. Nadat het script is voltooid, kunt u verbinding maken met het cluster met behulp van SSH met de nieuwe referenties.

De abonnements-id zoeken

Elk cluster is gekoppeld aan een Azure-abonnement. De Azure-abonnements-id is zichtbaar op de startpagina van het cluster.

De resourcegroep zoeken

In de Resource Manager-modus wordt elk HDInsight-cluster gemaakt met een Resource Manager-groep. De Resource Manager-groep is zichtbaar op de startpagina van het cluster.

De opslagaccounts zoeken

HDInsight-clusters maken gebruik van een Azure Storage-account of Data Lake Storage om gegevens op te slaan. Elk HDInsight-cluster kan één standaardopslagaccount en veel gekoppelde opslagaccounts hebben. Als u de opslagaccounts wilt weergeven, selecteert u op de startpagina van het cluster onder Instellingen de optie Opslagaccounts.

Taken controleren

Zie HDInsight-clusters beheren met behulp van de Apache Ambari-webgebruikersinterface voor meer informatie.

Grootte van cluster

Op de tegel Clustergrootte op de startpagina van het cluster wordt het aantal kernen weergegeven dat aan dit cluster is toegewezen en hoe deze worden toegewezen voor de knooppunten in dit cluster.

Belangrijk

Als u de services van het HDInsight-cluster wilt bewaken, moet u de Ambari-webinterface of de Ambari REST API gebruiken. Zie HDInsight-clusters beheren met Apache Ambari voor meer informatie over het gebruik van Ambari.

Verbinding maken met een cluster

Gerelateerde inhoud

In dit artikel hebt u enkele basisbeheerfuncties geleerd. Zie de volgende artikelen voor meer informatie: