Veri alımı aracı seçme

Geçmiş verileriniz için bir hedef platform seçtikten sonra, sonraki adım verilerinizi aktarmak için bir araç seçmektir.

Bu makalede, geçmiş verilerinizi seçili hedef platforma aktarmak için kullanılan farklı araçlar açıklanmaktadır. Bu tabloda her hedef platform için kullanılabilen araçlar ve alım işleminde size yardımcı olacak genel araçlar listelenmektedir.

Azure İzleyici Temel Günlükleri/Arşiv

Azure İzleyici Temel Günlükleri'ne veya Arşiv'e veri almadan önce, daha düşük alım fiyatları için, yazmakta olduğunuz tablonun Temel Günlükler olarak yapılandırıldığından emin olun. Azure İzleyici özel günlük alımı aracını ve Azure İzleyici Temel Günlükleri için doğrudan API yöntemini gözden geçirin.

Azure İzleyici özel günlük alımı aracı

Özel günlük alımı aracı , Azure İzleyici Günlükleri çalışma alanına özel veri gönderen bir PowerShell betiğidir. Betiği tüm günlük dosyalarınızın bulunduğu klasöre işaret edebilirsiniz ve betik dosyaları bu klasöre iter. Betik, günlük dosyaları için csv veya JSON biçimini kabul eder.

Doğrudan API

Bu seçenekle özel günlüklerinizi Azure İzleyici Günlüklerine alırsınız. Günlükleri REST API kullanan bir PowerShell betiğiyle alırsınız. Alternatif olarak, alımı gerçekleştirmek için başka herhangi bir programlama dili kullanabilir ve Azure İşlevleri veya Azure Logic Apps gibi işlem katmanını soyutlama amacıyla diğer Azure hizmetlerini kullanabilirsiniz.

Azure Veri Gezgini

Azure Veri Gezgini'a (ADX) çeşitli yollarla veri alabilirsiniz.

ADX'in kabul ettiğini alma yöntemleri farklı bileşenleri temel alır:

• .NET, Go, Python, Java, NodeJS ve API'ler gibi farklı diller için SDK'lar.
• Event Grid veya Depolama Blobu Event Hubs ve Azure Data Factory gibi yönetilen işlem hatları.
• Logstash, Kafka, Power Automate ve Apache Spark gibi bağlayıcılar veya eklentiler.

Veri geçişi kullanım örneğine daha iyi uyarlanmış iki yöntem olan LightIngest ve Logstash'ı gözden geçirin.

LightIngest

ADX, geçmiş veri geçişi kullanım örneğine özel olarak LightIngest yardımcı programını geliştirmiştir. LightIngest'i kullanarak verileri yerel bir dosya sisteminden veya Azure Blob Depolama ADX'e kopyalayabilirsiniz.

LightIngest'in birkaç temel avantajı ve özelliği şunlardır:

• Alım süresinde zaman kısıtlaması olmadığından, büyük miktarda veri almak istediğinizde LightIngest en çok yararlıdır.
• LightIngest, kayıtları alındıkları zamana göre değil, oluşturuldukları zamana göre sorgulamak istediğinizde kullanışlıdır.
• Yardımcı program gerçek kopyayı gerçekleştirmediğinden LightIngest için karmaşık boyutlandırmayla ilgilenmeniz gerekmez. LightIngest, ADX'e kopyalanması gereken blobları bildirir ve ADX verileri kopyalar.

LightIngest'i seçerseniz bu ipuçlarını ve en iyi yöntemleri gözden geçirin.

• Geçişinizi hızlandırmak ve maliyetleri azaltmak için ADX kümenizin boyutunu artırarak alım için daha fazla kullanılabilir düğüm oluşturun. Geçiş bittikten sonra boyutu küçültün.
• Verileri ADX'e aldıktan sonra daha verimli sorgular için, kopyalanan verilerin özgün olaylar için zaman damgasını kullandığından emin olun. Veriler ADX'e kopyalandığında elde edilen zaman damgasını kullanmamalıdır. Dosya adının yolu olarak CreationTime özelliğinin bir parçası olarak LightIngest'e zaman damgası sağlarsınız.
• Yolunuz veya dosya adlarınız zaman damgası içermiyorsa, ADX'e bir bölümleme ilkesi kullanarak verileri düzenlemesini yine de bildirebilirsiniz.

Logstash

Logstash, birçok kaynaktan aynı anda veri alan, verileri dönüştüren ve ardından sık kullandığınız "zula"ya gönderen açık kaynak, sunucu tarafı bir veri işleme işlem hattıdır. Logstash'ten Azure Veri Gezgini'a veri almayı öğrenin. Logstash, Windows, Linux ve macOS Makinelerinde çalışır.

Performansı iyileştirmek için Logstash katmanı boyutunu saniyedeki olaylara göre yapılandırın. LightIngest, kopyayı gerçekleştirmek için ADX kümesi bilgi işlemini kullandığından mümkün olan her yerde LightIngest kullanmanızı öneririz.

Azure Blob Storage

verileri çeşitli yollarla Azure Blob Depolama alabilirsiniz.

• Azure Data Factory veya Azure Synapse
• AzCopy
• Azure Depolama Gezgini
• Python
• SSIS

Veri geçişi kullanım örneğine daha uygun olan Azure Data Factory (ADF) ve Azure Synapse yöntemlerini gözden geçirin.

Azure Data Factory veya Azure Synapse

Azure Data Factory (ADF) veya Synapse işlem hatlarında Kopyalama etkinliği kullanmak için:

1. Şirket içinde barındırılan tümleştirme çalışma zamanı oluşturma ve yapılandırma. Bu bileşen, şirket içi ana bilgisayarınızdan verileri kopyalamaktan sorumludur.
2. Kaynak veri deposu (dosya sistemi ve havuz veri deposu blob depolaması) için bağlı hizmetler oluşturun.
3. Verileri kopyalamak için Veri kopyalama aracını kullanın. Alternatif olarak PowerShell, Azure portalı, .NET SDK gibi yöntemleri de kullanabilirsiniz.

AzCopy

AzCopy , dosyaları depolama hesaplarına veya depolama hesaplarından kopyalayan basit bir komut satırı yardımcı programıdır. AzCopy, Windows, Linux ve macOS için kullanılabilir. AzCopy ile şirket içi verileri Azure Blob depolamaya kopyalamayı öğrenin.

Verileri kopyalamak için şu seçenekleri de kullanabilirsiniz:

• AzCopy performansını iyileştirmeyi öğrenin.
• AzCopy'yi yapılandırmayı öğrenin.
• Kopyala komutunu kullanmayı öğrenin.

Azure Data Box

Kaynak SIEM'in Azure'a iyi bir bağlantısı olmadığı bir senaryoda, bu bölümde incelenen araçları kullanarak verileri almak yavaş, hatta imkansız olabilir. Bu senaryoyu ele almak için Azure Data Box'ı kullanarak verileri müşterinin veri merkezinden bir alete yerel olarak kopyalayabilir ve ardından bu aleti bir Azure veri merkezine gönderebilirsiniz. Azure Data Box, AzCopy veya LightIngest'in yerini almasa da, müşteri veri merkezi ile Azure arasındaki veri aktarımını hızlandırmak için bu aracı kullanabilirsiniz.

Azure Data Box, geçirilen veri miktarına bağlı olarak üç farklı SKU sunar:

• Data Box Disk
• Data Box
• Data Box Heavy

Geçişi tamamladıktan sonra veriler Azure aboneliklerinizden birinin altındaki bir depolama hesabında kullanılabilir. Daha sonra depolama hesabından veri almak için AzCopy, LightIngest veya ADF kullanabilirsiniz.

SIEM veri geçiş hızlandırıcısı

Bir alım aracı seçmeye ek olarak, ekibinizin temel ortamı ayarlamak için zaman harcaması gerekir. Bu işlemi kolaylaştırmak için aşağıdaki görevleri otomatik hale getirmek için SIEM veri geçiş hızlandırıcısını kullanabilirsiniz:

• Günlükleri kaynaktan hedef platforma taşımak için kullanılacak bir Windows sanal makinesi dağıtır
• Aşağıdaki araçları indirir ve sanal makine masaüstüne ayıklar:
  • LightIngest: Verileri ADX'e geçirmek için kullanılır
  • Azure İzleyici Özel günlük alımı aracı: Verileri Log Analytics'e geçirmek için kullanılır
  • AzCopy: Verileri Azure Blob Depolama geçirmek için kullanılır
• Geçmiş günlüklerinizi barındıracak hedef platformu dağıtır:
  • Azure Depolama hesabı (Azure Blob Depolama)
  • Azure Veri Gezgini kümesi ve veritabanı
  • Azure İzleyici Günlükleri çalışma alanı (Temel Günlükler; Microsoft Sentinel ile etkin)

SIEM veri geçiş hızlandırıcısını kullanmak için:

1. SIEM veri geçiş hızlandırıcısı sayfasında, sayfanın alt kısmındaki Azure'a Dağıt'a tıklayın ve kimlik doğrulamasından geçin.
2. Temel bilgiler'i seçin, kaynak grubunuzu ve konumunuzu ve ardından İleri'yi seçin.
3. Geçiş VM'sini seçin ve aşağıdakileri yapın:
   • Sanal makine adını, kullanıcı adını ve parolayı yazın.
   • Mevcut bir sanal ağı seçin veya sanal makine bağlantısı için yeni bir sanal ağ oluşturun.
   • Sanal makine boyutunu seçin.
4. Hedef platform'ı seçin ve aşağıdakilerden birini yapın:
   • Bu adımı atlayın.
   • ADX kümesini ve veritabanı adını, SKU'yu ve düğüm sayısını belirtin.
   • Azure Blob Depolama hesapları için mevcut bir hesabı seçin. Hesabınız yoksa yeni bir hesap adı, tür ve yedeklilik sağlayın.
   • Azure İzleyici Günlükleri için yeni çalışma alanının adını yazın.

Sonraki adımlar

Bu makalede, verilerinizi hedef platforma almak için bir araç seçmeyi öğrendiniz.