Windows bilgisayardan HDInsight üzerinde Apache Hadoop ekosisteminde çalışma
HDInsight üzerinde Apache Hadoop ekosisteminde çalışmaya yönelik Windows bilgisayarda geliştirme ve yönetim seçenekleri hakkında bilgi edinin.
HDInsight, Linux üzerinde geliştirilen açık kaynak teknolojileri olan Apache Hadoop ve Hadoop bileşenlerini temel alır. HDInsight sürüm 3.4 ve üzeri, küme için temel işletim sistemi olarak Ubuntu Linux dağıtımını kullanır. Ancak, Bir Windows istemcisinden veya Windows geliştirme ortamından HDInsight ile çalışabilirsiniz.
Dağıtım ve yönetim görevleri için PowerShell kullanma
Azure PowerShell, Windows'tan HDInsight'ta dağıtım ve yönetim görevlerini denetlemek ve otomatikleştirmek için kullanabileceğiniz bir betik ortamıdır.
PowerShell ile gerçekleştirebileceğiniz görev örnekleri:
- PowerShell kullanarak kümeler oluşturun.
- PowerShell kullanarak Apache Hive sorguları çalıştırın.
- PowerShell ile kümeleri yönetin.
En son sürümü almak için Azure PowerShell'i yükleme ve yapılandırma adımlarını izleyin.
Tarayıcıda çalıştırabileceğiniz yardımcı programlar
Aşağıdaki yardımcı programlar tarayıcıda çalışan bir web kullanıcı arabirimine sahiptir:
Azure Cloud Shell , tarayıcınızda ve Azure portalında çalışan etkileşimli bir komut satırı kabuğudur.
Apache Ambari Web Ui , Azure portalında bulunan ve aşağıdakiler gibi farklı iş türlerini yönetmek için kullanılabilen bir yönetim ve izleme yardımcı programıdır:
Aşağıdaki örneklere gitmeden önce Visual Studio için Data Lake Araçları'nı yükleyin ve deneyin.
Visual Studio ve .NET SDK
Kümeleri yönetmek ve büyük veri uygulamaları geliştirmek için Visual Studio'yu .NET SDK ile kullanabilirsiniz. Aşağıdaki görevler için diğer IDE'leri kullanabilirsiniz, ancak örnekler Visual Studio'da gösterilir.
Visual Studio'da .NET SDK ile gerçekleştirebileceğiniz görev örnekleri:
- .NET için Azure HDInsight SDK'sı.
- .NET SDK'sını kullanarak Apache Hive sorguları çalıştırın.
- Apache Hadoop üzerinde Apache Hive ve Apache Pig akışı ile C# kullanıcı tanımlı işlevleri kullanın.
Spark kümeleri için IntelliJ IDEA ve Eclipse IDE
Hem IntelliJ IDEA hem de Eclipse IDE aşağıdakileri yapmak için kullanılabilir:
- HDInsight Spark kümesinde Scala Spark uygulaması geliştirin ve gönderin.
- Spark kümesi kaynaklarına erişme.
- Scala Spark uygulamasını yerel olarak geliştirin ve çalıştırın.
Bu makaleler şunları göstermektedir:
- IntelliJ IDEA: Azure Toolkit for IntelliJ eklentisini ve Scala SDK'sını kullanarak Apache Spark uygulamaları oluşturun.
- Eclipse IDE veya Eclipse için Scala IDE: Apache Spark uygulamaları ve Eclipse için Azure Araç Seti oluşturma
Veri bilimciler için Spark'ta not defterleri
HDInsight'taki Apache Spark kümeleri, Jupyter Notebooks ile kullanılabilen Apache Zeppelin not defterlerini ve çekirdeklerini içerir.
- Spark uygulamalarını test etmek için Jupyter Notebooks ile Apache Spark kümelerinde çekirdek kullanmayı öğrenin
- Spark işlerini çalıştırmak için Apache Spark kümelerinde Apache Zeppelin not defterlerini kullanmayı öğrenin
Windows'da Linux tabanlı araçları ve teknolojileri çalıştırma
Yalnızca Linux'ta kullanılabilen bir araç veya teknoloji kullanmanız gereken bir durumla karşılaşırsanız aşağıdaki seçenekleri göz önünde bulundurun:
- Windows 10'da Ubuntu üzerinde Bash, Windows üzerinde bir Linux alt sistemi sağlar. Bash, ayrılmış bir Linux yüklemesini sürdürmek zorunda kalmadan doğrudan Linux yardımcı programlarını çalıştırmanıza olanak tanır. Yükleme adımları için bkz. Linux için Windows Alt Sistemi Windows 10 Yükleme Kılavuzu. Diğer Unix kabukları da çalışır.
- Windows için Docker, Linux tabanlı birçok aracuk için erişim sağlar ve doğrudan Windows'tan çalıştırılabilir. Örneğin Docker'ı kullanarak Hive için Beeline istemcisini doğrudan Windows'tan çalıştırabilirsiniz. Docker'ı yerel bir Jupyter Notebook çalıştırmak ve HDInsight üzerinde Spark'a uzaktan bağlanmak için de kullanabilirsiniz. Windows için Docker'ı kullanmaya başlama
- MobaXTerm , SSH bağlantısı üzerinden küme dosya sistemine grafiksel olarak göz atmanızı sağlar.
Platformlar arası araçlar
Azure komut satırı arabirimi (CLI), Azure kaynaklarını yönetmek için Microsoft tarafından sunulan platformlar arası komut satırı deneyimidir. Daha fazla bilgi için bkz . Azure Komut Satırı Arabirimi (CLI).
Sonraki adımlar
Linux tabanlı kümelerde çalışmaya yeniyseniz aşağıdaki makalelere bakın: