A Hue telepítése és használata HDInsight Hadoop-fürtökön
Megtudhatja, hogyan telepítheti a Hue-t HDInsight-fürtökre, és hogyan irányíthatja a kéréseket a Hue-hez bújtatással.
Feljegyzés
A Hue nem támogatott a HDInsight 4.0-s és újabb verzióiban.
Mi az a Hue?
A Hue egy Apache Hadoop-fürttel való interakcióhoz használt webalkalmazások készlete. A Hue használatával tallózhat a Hadoop-fürthöz (WASB, HDInsight-fürtök esetén), Hive-feladatok és Pig-szkriptek futtatásához stb. A következő összetevők érhetők el a Hue-telepítésekkel egy HDInsight Hadoop-fürtön.
- Méhviasz Hive-szerkesztő
- Apache Pig
- Metaadattár-kezelő
- Apache Oozie
- FileBrowser (amely a WASB alapértelmezett tárolóját tárgyalja)
- Feladatböngésző
Figyelmeztetés
A HDInsight-fürthöz biztosított összetevők teljes mértékben támogatottak, és Microsoft ügyfélszolgálata segítenek az összetevőkkel kapcsolatos problémák elkülönítésében és megoldásában.
Az egyéni összetevők kereskedelmi szempontból ésszerű támogatást kapnak a probléma további megoldásához. Ez a probléma megoldásához vezethet, vagy megkérheti Önt, hogy vegye fel a kapcsolatot az nyílt forráskód technológiák elérhető csatornáival, ahol a technológia terén mély szakértelem található. Például számos közösségi webhely használható, például: Microsoft Q&A kérdésoldal a HDInsighthoz, https://stackoverflow.com. Az Apache-projektek projektwebhelyei https://apache.orgis vannak, például: Hadoop.
Hue telepítése szkriptműveletekkel
Használja az alábbi táblázatban található információkat a szkriptművelethez. A szkriptműveletek használatára vonatkozó konkrét utasításokért tekintse meg a HDInsight-fürtök testreszabása szkriptműveletekkel című témakört.
Feljegyzés
A Hue HDInsight-fürtökre való telepítéséhez az ajánlott fejcsomópont mérete legalább A4 (8 mag, 14 GB memória).
| Tulajdonság | Érték |
|---|---|
| Szkript típusa: | -Egyéni |
| Név | A Hue telepítése |
| Bash-szkript URI | https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh |
| Csomópont típusa(i): | Head |
Hive-lekérdezések futtatása
A Hue portálon válassza a Lekérdezésszerkesztő, majd a Hive lehetőséget a Hive-szerkesztő megnyitásához.
A Segéd lap Adatbázis területén a hivesampletable elemet kell látnia. Ez egy mintatábla, amely a HDInsight összes Hadoop-fürtjével együtt van szállítva. Írjon be egy minta lekérdezést a jobb oldali panelen, és tekintse meg a kimenetet az alábbi panel Eredmények lapján, ahogyan az a képernyőfelvételen is látható.
A Diagram lapon látható az eredmény vizuális ábrázolása is.
Tallózás a fürttárolóban
A Hue portálon válassza a Fájlböngésző lehetőséget a menüsáv jobb felső sarkában.
Alapértelmezés szerint a fájlböngésző a /user/myuser könyvtárban nyílik meg. Válassza ki a perjelet közvetlenül a felhasználói könyvtár előtt az elérési úton a fürthöz társított Azure Storage-tároló gyökeréhez való ugráshoz.
Kattintson a jobb gombbal egy fájlra vagy mappára az elérhető műveletek megtekintéséhez. A jobb sarokban található Feltöltés gombbal tölthet fel fájlokat az aktuális könyvtárba. Az Új gombbal új fájlokat vagy könyvtárakat hozhat létre.
Feljegyzés
A Hue fájlböngésző csak a HDInsight-fürthöz társított alapértelmezett tároló tartalmát tudja megjeleníteni. A fürthöz esetleg társított további tárfiókok/tárolók nem lesznek elérhetők a fájlböngészővel. A fürthöz társított további tárolók azonban mindig elérhetők lesznek a Hive-feladatokhoz. Ha például beírja a parancsot dfs -ls wasbs://newcontainer@mystore.blob.core.windows.net a Hive-szerkesztőbe, akkor további tárolók tartalmát is láthatja. Ebben a parancsban a newcontainer nem a fürthöz társított alapértelmezett tároló.
Fontos tényezők
A Hue telepítéséhez használt szkript csak a fürt elsődleges átjárócsomópontjára telepíti.
A telepítés során több Hadoop-szolgáltatás (HDFS, YARN, MR2, Oozie) is újraindul a konfiguráció frissítéséhez. Miután a szkript befejezte a Hue telepítését, eltarthat egy ideig, amíg más Hadoop-szolgáltatások elindulnak. Ez kezdetben befolyásolhatja Hue teljesítményét. Ha minden szolgáltatás elindul, a Hue teljesen működőképes lesz.
Hue nem érti az Apache Tez-feladatokat, ami a Hive jelenlegi alapértelmezett beállítása. Ha a MapReduce-ot szeretné hive-végrehajtási motorként használni, frissítse a szkriptet a következő parancs használatára a szkriptben:
set hive.execution.engine=mr;Linux-fürtök esetén előfordulhat, hogy a szolgáltatások az elsődleges átjárócsomóponton futnak, míg a Resource Manager a másodlagoson fut. Az ilyen forgatókönyvek hibákat okozhatnak (az alábbiakban látható), amikor a Hue használatával megtekintik a fürtön futó feladatok részleteit. A feladat részletei azonban akkor tekinthetők meg, ha a feladat befejeződött.
Ennek oka egy ismert probléma. Kerülő megoldásként módosítsa az Ambarit úgy, hogy az aktív Resource Manager az elsődleges átjárócsomóponton is fusson.
Hue a WebHDFS-t, míg a HDInsight-fürtök az Azure Storage-ot használják
wasbs://. A szkriptművelethez használt egyéni szkript tehát telepíti a WebWasb-t, amely egy WebHDFS-kompatibilis szolgáltatás a WASB-vel való beszélgetéshez. Tehát annak ellenére, hogy a Hue portál a HDFS-t olyan helyeken mondja (például amikor az egeret a Fájlböngésző fölé helyezi), akkor is WASB-ként kell értelmezni.