Ketersediaan tinggi Azure Virtual Machines untuk SAP NetWeaver pada Red Hat Enterprise Linux

Artikel
11/20/2024

Artikel ini menjelaskan cara menyebarkan komputer virtual (VM), mengonfigurasi VM, menginstal kerangka kerja kluster, dan menginstal sistem SAP NetWeaver 7.50 yang sangat tersedia.

Dalam contoh konfigurasi dan perintah penginstalan, instans ASCS nomor 00, instans ERS nomor 02, dan ID Sistem SAP NW1 digunakan. Nama sumber daya (misalnya, VM dan jaringan virtual) dalam contoh mengasumsikan bahwa Anda menggunakan templat ASCS/SCS dengan Awalan Sumber Daya NW1 untuk membuat sumber daya.

Prasyarat

Baca makalah dan Catatan SAP berikut terlebih dahulu:

1928533 Catatan SAP, yang memiliki:
- Daftar ukuran Azure VM yang didukung untuk penyebaran perangkat lunak SAP.
- Informasi kapasitas penting untuk ukuran komputer virtual Azure.
- Perangkat lunak SAP dan kombinasi sistem operasi (OS) dan database yang didukung.
- Versi kernel SAP yang dibutuhkan untuk Windows dan Linux di Microsoft Azure.
Catatan SAP 2015553 mencantumkan prasyarat untuk penyebaran perangkat lunak SAP yang didukung SAP di Azure.
Catatan SAP 2002167 telah merekomendasikan pengaturan OS untuk Red Hat Enterprise Linux (RHEL).
Catatan SAP 2009879 memiliki Pedoman SAP HANA untuk Red Hat Enterprise Linux.
Catatan SAP 2178632 memiliki informasi rinci tentang semua metrik pemantauan yang dilaporkan untuk SAP pada Azure.
SAP Note 2191498 memiliki versi Agen Host SAP yang diperlukan untuk Linux di Azure.
Catatan SAP 2243692 memiliki informasi tentang lisensi SAP di Linux pada Azure.
Catatan SAP 1999351 memiliki lebih banyak informasi pemecahan masalah bagi ekstensi Azure Enhanced Monitoring untuk SAP.
SAP Community WIKI memiliki semua SAP Note yang diperlukan untuk Linux.
Microsoft Azure Virtual Machines perencanaan dan penerapan untuk SAP di Linux
Azure Virtual Machines penyebaran untuk SAP pada Linux
Penyebaran Azure Virtual Machines DBMS untuk SAP pada Linux
Dokumentasi Produk untuk Penyimpanan Red Hat Gluster
SAP NetWeaver di kluster Pacemaker
Dokumentasi RHEL umum:
Dokumentasi RHEL khusus Azure:
- Kebijakan Dukungan untuk Kluster Ketersediaan Tinggi RHEL - Microsoft Azure Virtual Machines sebagai Anggota Kluster
- Memasang dan Mengonfigurasikan Red Hat Enterprise Linux 7.4 (dan yang lebih baru) Ketersediaan Tinggi Kluster pada Microsoft Azure

Gambaran Umum

Untuk mencapai ketersediaan tinggi, SAP NetWeaver memerlukan penyimpanan bersama. GlusterFS dikonfigurasi dalam kluster terpisah dan beberapa sistem SAP dapat menggunakannya.

Diagram yang memperlihatkan gambaran umum ketersediaan tinggi SAP NetWeaver.

Database SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS, dan SAP Hana menggunakan nama host virtual dan alamat IP virtual. Pada Azure, penyeimbang muatan diperlukan untuk menggunakan alamat IP virtual. Sebaiknya gunakan Azure Load Balancer Standar. Konfigurasi di sini menunjukkan load balancer dengan:

Alamat IP front-end 10.0.0.7 untuk ASCS
Alamat IP front-end 10.0.0.8 untuk ERS
Menyelidiki port 62000 untuk ASCS
Menyelidiki port 62101 untuk ERS

Menyiapkan GlusterFS

SAP NetWeaver memerlukan penyimpanan berbagi untuk transportasi dan direktori profil. Untuk melihat cara menyiapkan GlusterFS untuk SAP NetWeaver, lihat GlusterFS di Azure VM di Red Hat Enterprise Linux untuk SAP NetWeaver.

Siapkan infrastruktur

Marketplace Azure berisi gambar yang memenuhi syarat untuk SAP dengan add-on Ketersediaan Tinggi, yang dapat Anda gunakan untuk menyebarkan VM baru dengan menggunakan berbagai versi Red Hat.

Menyebarkan VM Linux secara manual melalui portal Azure

Dokumen ini mengasumsikan bahwa Anda sudah menyebarkan jaringan virtual Azure, subnet, dan grup sumber daya.

Sebarkan VM untuk server SAP ASCS, ERS, dan Aplikasi. Pilih gambar RHEL yang sesuai yang didukung untuk sistem SAP. Anda dapat menyebarkan VM di salah satu opsi ketersediaan: set skala komputer virtual, zona ketersediaan, atau set ketersediaan.

Mengonfigurasi load balancer Azure

Selama konfigurasi VM, Anda memiliki opsi untuk membuat atau memilih keluar dari load balancer di bagian jaringan. Ikuti langkah-langkah di bawah ini untuk mengonfigurasi load balancer standar untuk penyiapan ketersediaan tinggi SAP ASCS dan SAP ERS.

Ikuti panduan buat load balancer untuk menyiapkan load balancer standar untuk sistem SAP ketersediaan tinggi menggunakan portal Azure. Selama penyiapan load balancer, pertimbangkan poin berikut.

Konfigurasi IP Frontend: Buat dua IP frontend, satu untuk ASCS dan satu lagi untuk ERS. Pilih jaringan virtual dan subnet yang sama dengan komputer virtual ASCS/ERS Anda.
Kumpulan Backend: Buat kumpulan backend dan tambahkan ASCS dan ERS VM.
Aturan masuk: Buat dua aturan penyeimbangan beban, satu untuk ASCS dan satu lagi untuk ERS. Ikuti langkah yang sama untuk kedua aturan penyeimbangan beban.
- Alamat IP frontend: Pilih IP frontend
- Kumpulan backend: Pilih kumpulan backend
- Periksa "Port ketersediaan tinggi"
- Protokol: TCP
- Pemeriksaan Kesehatan: Buat pemeriksaan kesehatan dengan detail di bawah ini (berlaku untuk ASCS atau ERS)
  - Protokol: TCP
  - Port: [misalnya: 620<Instance-no.> untuk ASCS, 621<Instance-no.> untuk ERS]
  - Interval: 5
  - Ambang Probe: 2
- Batas waktu diam (menit): 30
- Periksa "Aktifkan IP Mengambang"

Catatan

Nomor properti konfigurasi pemeriksaan kesehatanOfProbes, atau dikenal sebagai "Ambang tidak sehat" di Portal, tidak dihormati. Jadi untuk mengontrol jumlah pemeriksaan berturut-turut yang berhasil atau gagal, atur properti "probeThreshold" ke 2. Saat ini tidak dimungkinkan untuk mengatur properti ini menggunakan portal Azure, jadi gunakan perintah Azure CLI atau PowerShell.

Untuk membuat load balancer standar Azure untuk penyiapan ketersediaan tinggi sistem SAP menggunakan Azure CLI, ikuti langkah-langkah di bawah ini.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

Perluas untuk melihat kode CLI lengkap

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Untuk membuat load balancer standar Azure untuk penyiapan ketersediaan tinggi sistem SAP menggunakan Azure PowerShell, ikuti langkah-langkah di bawah ini.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

Perluas untuk menampilkan kode PowerShell lengkap

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balancer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Catatan

Ketika VM tanpa alamat IP publik ditempatkan di kumpulan back-end internal (tanpa alamat IP publik) Load balancer Azure Standar, tidak ada konektivitas internet keluar kecuali lebih banyak konfigurasi dilakukan untuk memungkinkan perutean ke titik akhir publik. Untuk informasi selengkapnya tentang cara mencapai konektivitas keluar, lihat Konektivitas titik akhir publik untuk VM menggunakan Azure Standard Load Balancer dalam skenario ketersediaan tinggi SAP.

Penting

Jangan aktifkan tanda waktu TCP pada VM Azure yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP akan menyebabkan pemeriksaan kesehatan gagal. Atur parameter net.ipv4.tcp_timestamps ke 0. Untuk informasi selengkapnya, lihat Pemeriksaan kesehatan Azure Load Balancer.

Menyiapkan (A)SCS

Selanjutnya, Anda akan menyiapkan dan menginstal instans SAP ASCS dan ERS.

Membuat kluster Pacemaker

Ikuti langkah-langkah dalam Menyiapkan Pacemaker di Red Hat Enterprise Linux di Azure untuk membuat kluster Pacemaker dasar untuk server (A)SCS ini.

Bersiap untuk penginstalan SAP NetWeaver

Item berikut dimulai dengan:

[A]: Berlaku untuk semua simpul
[1]: Hanya berlaku untuk simpul 1
[2]: Hanya berlaku untuk simpul 2

[A] Siapkan resolusi nama host.

Anda bisa menggunakan server DNS atau mengubah /etc/hosts file pada semua simpul. Contoh ini memperlihatkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut:
```
sudo vi /etc/hosts
```
Sisipkan baris berikut ke /etc/hosts file. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda.
```
# IP addresses of the GlusterFS nodes
10.0.0.40 glust-0
10.0.0.41 glust-1
10.0.0.42 glust-2
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
```

[A] Membuat direktori bersama.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/NW1/SYS
sudo mkdir -p /usr/sap/NW1/ASCS00
sudo mkdir -p /usr/sap/NW1/ERS02

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/NW1/SYS
sudo chattr +i /usr/sap/NW1/ASCS00
sudo chattr +i /usr/sap/NW1/ERS02

[A] Pasang klien GlusterFS dan paket lain yang diperlukan.

sudo yum -y install glusterfs-fuse resource-agents resource-agents-sap

[A] Periksa versi resource-agents-sap.

Pastikan bahwa versi paket yang diinstal resource-agents-sap setidaknya 3.9.5-124.el7.

sudo yum info resource-agents-sap

# Loaded plugins: langpacks, product-id, search-disabled-repos
# Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
# Installed Packages
# Name        : resource-agents-sap
# Arch        : x86_64
# Version     : 3.9.5
# Release     : 124.el7
# Size        : 100 k
# Repo        : installed
# From repo   : rhel-sap-for-rhel-7-server-rpms
# Summary     : SAP cluster resource agents and connector script
# URL         : https://github.com/ClusterLabs/resource-agents
# License     : GPLv2+
# Description : The SAP resource agents and connector script interface with
#          : Pacemaker to allow SAP instances to be managed in a cluster
#          : environment.

[A] Tambahkan entri pemasangan.

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
glust-0:/NW1-sapmnt /sapmnt/NW1 glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-trans /usr/sap/trans glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-sys /usr/sap/NW1/SYS glusterfs backup-volfile-servers=glust-1:glust-2 0 0

Pasang berbagi baru.

sudo mount -a

[A] Konfigurasikan file SWAP.

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

Mulai ulang Agen untuk mengaktifkan perubahan.

sudo service waagent restart

[A] Konfigurasikan RHEL.

Berdasarkan versi RHEL, lakukan konfigurasi yang disebutkan dalam SAP Note 2002167, SAP Note 2772999, atau SAP Note 3108316.

Menginstal SAP NetWeaver ASCS/ERS

[1] Konfigurasikan properti default kluster.

pcs resource defaults resource-stickiness=1
pcs resource defaults migration-threshold=3

[1] Membuat sumber daya IP virtual dan memeriksa kesehatan untuk instans ASCS.

sudo pcs node standby nw1-cl-1

sudo pcs resource create fs_NW1_ASCS Filesystem device='glust-0:/NW1-ascs' \
  directory='/usr/sap/NW1/ASCS00' fstype='glusterfs' \
  options='backup-volfile-servers=glust-1:glust-2' \
  --group g-NW1_ASCS

sudo pcs resource create vip_NW1_ASCS IPaddr2 \
  ip=10.0.0.7 \
  --group g-NW1_ASCS

sudo pcs resource create nc_NW1_ASCS azure-lb port=62000 \
  --group g-NW1_ASCS

Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Simpul mana yang dijalankan sumber daya tidak penting.

sudo pcs status

# Node nw1-cl-1: standby
# Online: [ nw1-cl-0 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0

[1] Memasang SAP NetWeaver ASCS.

Instal SAP NetWeaver ASCS sebagai akar pada simpul pertama dengan menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi front-end load balancer untuk ASCS, misalnya, nw1-ascs dan 10.0.0.7, dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer, misalnya, 00.

Anda dapat menggunakan sapinst parameter SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna nonroot tersambung ke sapinst.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Jika penginstalan gagal membuat subfolder di /usr/sap/NW1/ASCS00, coba atur pemilik dan grup folder ASCS00 dan coba lagi.
```
sudo chown nw1adm /usr/sap/NW1/ASCS00
sudo chgrp sapsys /usr/sap/NW1/ASCS00
```

[1] Buat sumber daya IP virtual dan pemeriksaan kesehatan untuk instans ERS.

sudo pcs node unstandby nw1-cl-1
sudo pcs node standby nw1-cl-0

sudo pcs resource create fs_NW1_AERS Filesystem device='glust-0:/NW1-aers' \
  directory='/usr/sap/NW1/ERS02' fstype='glusterfs' \
  options='backup-volfile-servers=glust-1:glust-2' \
 --group g-NW1_AERS

sudo pcs resource create vip_NW1_AERS IPaddr2 \
  ip=10.0.0.8 \
 --group g-NW1_AERS

sudo pcs resource create nc_NW1_AERS azure-lb port=62102 \
 --group g-NW1_AERS

Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Simpul mana yang dijalankan sumber daya tidak penting.

sudo pcs status

# Node nw1-cl-0: standby
# Online: [ nw1-cl-1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1

[2] Memasang SAP NetWeaver ERS.

Instal SAP NetWeaver ERS sebagai akar pada simpul kedua dengan menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi front-end load balancer untuk ERS, misalnya, nw1-aers dan 10.0.0.8, dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer, misalnya, 02.

Anda dapat menggunakan sapinst parameter SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna nonroot tersambung ke sapinst.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Jika penginstalan gagal membuat subfolder di /usr/sap/NW1/ERS02, coba atur pemilik dan grup folder ASCS02 dan coba lagi.
```
sudo chown nw1adm /usr/sap/NW1/ERS02
sudo chgrp sapsys /usr/sap/NW1/ERS02
```

[1] Sesuaikan profil instans ASCS/SCS dan ERS.

Profil ASCS/SCS:

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = TRUE

Untuk ENSA1 dan ENSA2, pastikan parameter OS diatur seperti yang keepalive dijelaskan dalam Catatan SAP 1410736.

Profil ERS:

sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

[A] Konfigurasikan Tetap Hidup.

Komunikasi antara server aplikasi SAP NetWeaver dan ASCS / SCS dirutekan melalui penyeimbang beban perangkat lunak. Penyeimbang beban memutuskan koneksi tidak aktif setelah waktu habis yang dapat dikonfigurasi. Untuk mencegah tindakan ini, atur parameter di profil SAP NetWeaver ASCS/SCS, jika Anda menggunakan ENSA1. Ubah pengaturan keepalive sistem Linux di semua server SAP untuk ENSA1 dan ENSA2. Untuk informasi selengkapnya, lihat 1410736 Catatan SAP.
```
# Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] Perbarui /usr/sap/sapservices file.

Untuk mencegah dimulainya instans oleh sapinit skrip startup, semua instans yang dikelola oleh Pacemaker harus dikomentari dari /usr/sap/sapservices file.

sudo vi /usr/sap/sapservices

# On the node where you installed the ASCS, comment out the following line
# LD_LIBRARY_PATH=/usr/sap/NW1/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW1/ASCS00/exe/sapstartsrv pf=/usr/sap/NW1/SYS/profile/NW1_ASCS00_nw1-ascs -D -u nw1adm

# On the node where you installed the ERS, comment out the following line
# LD_LIBRARY_PATH=/usr/sap/NW1/ERS02/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW1/ERS02/exe/sapstartsrv pf=/usr/sap/NW1/ERS02/profile/NW1_ERS02_nw1-aers -D -u nw1adm

[1] Membuat sumber daya kluster SAP.

Bergantung pada apakah Anda menjalankan sistem ENSA1 atau ENSA2, pilih tab masing-masing untuk menentukan sumber daya. SAP memperkenalkan dukungan untuk ENSA2, termasuk replikasi, di SAP NetWeaver 7.52. Dimulai dengan ABAP Platform 1809, ENSA2 dipasang secara default. Untuk dukungan ENSA2, lihat SAP Note 2630416 untuk dukungan enqueue server 2.

Jika Anda menggunakan arsitektur server antrean 2 (ENSA2), instal resource-agents-sap-4.1.1-12.el7.x86_64 atau yang lebih baru dan tentukan sumber daya seperti yang ditunjukkan di sini:

ENSA1
ENSA2

sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW1_ASCS00 SAPInstance \
InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_ASCS

sudo pcs resource meta g-NW1_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW1_ERS02 SAPInstance \
InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_AERS

sudo pcs constraint colocation add g-NW1_AERS with g-NW1_ASCS -5000
sudo pcs constraint location rsc_sap_NW1_ASCS00 rule score=2000 runs_ers_NW1 eq 1
sudo pcs constraint order start g-NW1_ASCS then stop g-NW1_AERS kind=Optional symmetrical=false

sudo pcs node unstandby nw1-cl-0
sudo pcs property set maintenance-mode=false

sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW1_ASCS00 SAPInstance \
InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_ASCS

sudo pcs resource meta g-NW1_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW1_ERS02 SAPInstance \
InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_AERS

sudo pcs resource meta rsc_sap_NW1_ERS02 resource-stickiness=3000

sudo pcs constraint colocation add g-NW1_AERS with g-NW1_ASCS -5000
sudo pcs constraint order start g-NW1_ASCS then start g-NW1_AERS kind=Optional symmetrical=false
sudo pcs constraint order start g-NW1_ASCS then stop g-NW1_AERS kind=Optional symmetrical=false

sudo pcs node unstandby nw1-cl-0
sudo pcs property set maintenance-mode=false

Catatan

Jika Anda memutakhirkan dari versi yang lebih lama dan beralih ke server antrean 2, lihat Catatan SAP 2641322.

Catatan

Batas waktu dalam konfigurasi sebelumnya hanyalah contoh dan mungkin perlu disesuaikan dengan penyiapan SAP tertentu.

Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Simpul mana yang dijalankan sumber daya tidak penting.

sudo pcs status

# Online: [ nw1-cl-0 nw1-cl-1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
#      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

[A] Tambahkan aturan firewall untuk ASCS dan ERS pada kedua node.

# Probe Port of ASCS
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp
# Probe Port of ERS
sudo firewall-cmd --zone=public --add-port={62102,3202,3302,50213,50214,50216}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62102,3202,3302,50213,50214,50216}/tcp

Persiapan server aplikasi SAP NetWeaver

Beberapa database mengharuskan penginstalan instans database berjalan di server aplikasi. Siapkan VM server aplikasi untuk dapat menggunakannya dalam kasus ini.

Langkah-langkah berikut mengasumsikan bahwa Anda menginstal server aplikasi di server yang berbeda dari server ASCS/SCS dan HANA. Jika tidak, beberapa langkah (seperti mengonfigurasi resolusi nama host) tidak diperlukan.

Siapkan resolusi nama host.

Anda bisa menggunakan server DNS atau mengubah /etc/hosts file pada semua simpul. Contoh ini memperlihatkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut:

sudo vi /etc/hosts

Sisipkan baris berikut ke /etc/hosts. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda.

# IP addresses of the GlusterFS nodes
10.0.0.40 glust-0
10.0.0.41 glust-1
10.0.0.42 glust-2
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db

sapmnt Buat direktori.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Instal klien GlusterFS dan persyaratan lainnya.
```
sudo yum -y install glusterfs-fuse uuidd
```

Tambahkan entri pemasangan.

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
glust-0:/NW1-sapmnt /sapmnt/NW1 glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-trans /usr/sap/trans glusterfs backup-volfile-servers=glust-1:glust-2 0 0

Pasang berbagi baru.

sudo mount -a

Mengonfigurasikan file SWAP.

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

Mulai ulang Agen untuk mengaktifkan perubahan.

sudo service waagent restart

Menginstal database

Dalam contoh ini, SAP NetWeaver dipasang pada SAP Hana. Anda dapat menggunakan setiap database yang didukung untuk penginstalan ini. Untuk informasi selengkapnya tentang cara memasang SAP Hana pada Azure, lihat Ketersediaan Tinggi SAP Hana pada komputer virtual Azure di Red Hat Enterprise Linux. Untuk daftar database yang didukung, lihat Catatan SAP 1928533.

Jalankan penginstalan instans database SAP.

Instal instans database SAP NetWeaver sebagai root dengan menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi front-end load balancer untuk database, misalnya, nw1-db dan 10.0.0.13.

Anda dapat menggunakan sapinst parameter SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna nonroot tersambung ke sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```

Pemasangan server aplikasi SAP NetWeaver

Ikuti langkah-langkah ini untuk memasang server aplikasi SAP.

Siapkan server aplikasi.

Ikuti langkah-langkah di bagian sebelumnya persiapan server aplikasi SAP NetWeaver untuk menyiapkan server aplikasi.
Instal server aplikasi SAP NetWeaver.

Pasang server aplikasi SAP NetWeaver utama atau tambahan.

Anda dapat menggunakan sapinst parameter SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna nonroot tersambung ke sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Perbarui penyimpanan aman SAP Hana.

Perbarui penyimpanan aman SAP Hana agar menunjuk ke nama virtual penyiapan SAP Hana System Replication.

Jalankan perintah berikut untuk mencantumkan entri sebagai <adm sapsid>:
```
hdbuserstore List
```
Semua entri harus dicantumkan dan terlihat mirip dengan:
```
DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.0.0.14:30313
  USER: SAPABAP1
  DATABASE: NW1
```
Output menunjukkan bahwa alamat IP entri default menunjuk ke VM dan bukan ke alamat IP load balancer. Entri ini perlu diubah agar menunjuk ke nama host virtual penyeimbang beban. Pastikan untuk menggunakan port yang sama (30313 dalam output sebelumnya) dan nama database (HN1 dalam output sebelumnya).
```
su - nw1adm
hdbuserstore SET DEFAULT nw1-db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

Menguji penyiapan kluster

Migrasi instans ASCS secara manual.

Status sumber daya sebelum memulai pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Jalankan perintah berikut sebagai akar untuk memigrasikan instans ASCS.

[root@nw1-cl-0 ~]# pcs resource move rsc_sap_NW1_ASCS00

[root@nw1-cl-0 ~]# pcs resource clear rsc_sap_NW1_ASCS00

# Remove failed actions for the ERS that occurred as part of the migration
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Status sumber daya setelah pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Mensimulasikan crash simpul.

Status sumber daya sebelum memulai pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Jalankan perintah berikut sebagai root pada simpul tempat instans ASCS berjalan.

[root@nw1-cl-1 ~]# echo b > /proc/sysrq-trigger

Status setelah simpul dimulai lagi akan terlihat seperti:

Online: [ nw1-cl-0 nw1-cl-1 ]

Full list of resources:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Failed Actions:
* rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-0 'not running' (7): call=45, status=complete, exitreason='',
    last-rc-change='Tue Aug 21 13:52:39 2018', queued=0ms, exec=0ms

Catatan

Jika Anda menggunakan SBD sebagai mekanisme STONITH, bisa terjadi bahwa setelah reboot, ketika simpul mencoba untuk bergabung kembali dengan kluster, ia menerima pesan "kami yang diduga hanya dipagari" di /var/log/messages dan mematikan layanan Pacemaker dan Corosync. Untuk mengatasi masalah ini, Anda dapat mengikuti solusi yang dijelaskan dalam simpul RedHat KB A mematikan alat pacu jantung setelah dipagari dan memulai ulang corosync dan pacemaker. Namun, di Azure, atur penundaan 150 detik untuk layanan Corosync ke startup. Pastikan bahwa langkah-langkah ini diterapkan ke semua node kluster.

Jalankan perintah berikut untuk membersihkan sumber daya yang gagal.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Status sumber daya setelah pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Blokir komunikasi jaringan.

Status sumber daya sebelum memulai pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Jalankan aturan firewall untuk memblokir komunikasi pada salah satu simpul.

 # Execute iptable rule on nw1-cl-0 (10.0.0.7) to block the incoming and outgoing traffic to nw1-cl-1 (10.0.0.8)
 iptables -A INPUT -s 10.0.0.8 -j DROP; iptables -A OUTPUT -d 10.0.0.8 -j DROP

Ketika node kluster tidak dapat berkomunikasi satu sama lain, ada risiko skenario split-brain. Dalam situasi seperti itu, node kluster mencoba memagari satu sama lain secara bersamaan, yang menghasilkan perlombaan pagar. Untuk menghindari situasi ini, kami sarankan Anda menetapkan properti priority-fencing-delay dalam konfigurasi kluster (hanya berlaku untuk pacemaker-2.0.4-6.el8 atau yang lebih tinggi).

Dengan mengaktifkan priority-fencing-delay properti, kluster memperkenalkan penundaan dalam tindakan pagar, khususnya pada node yang menghosting sumber daya ASCS, memungkinkan simpul untuk memenangkan perlombaan pagar.

Jalankan perintah berikut untuk menghapus aturan firewall.

 # If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
 iptables -D INPUT -s 10.0.0.8 -j DROP; iptables -D OUTPUT -d 10.0.0.8 -j DROP

Matikan proses server pesan.

Status sumber daya sebelum memulai pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Jalankan perintah berikut sebagai root untuk mengidentifikasi proses server pesan dan membunuhnya.

[root@nw1-cl-0 ~]# pgrep -f ms.sapNW1 | xargs kill -9

Jika Anda mematikan server pesan hanya sekali, sapstart mulai ulang server tersebut. Jika Anda cukup sering membunuhnya, Pacemaker akhirnya memindahkan instans ASCS ke simpul lain. Jalankan perintah berikut sebagai akar untuk membersihkan status sumber daya instans ASCS dan ERS setelah pengujian.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ASCS00
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Status sumber daya setelah pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Matikan proses server antrean.

Status sumber daya sebelum memulai pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Jalankan perintah berikut sebagai akar pada simpul ketika terdapat instans ASCS yang sedang berjalan untuk menghentikan server antrean.

#If using ENSA1 
[root@nw1-cl-1 ~]# pgrep -f en.sapNW1 | xargs kill -9

#If using ENSA2
[root@nw1-cl-1 ~]# pgrep -f enq.sapNW1 | xargs kill -9

Instance ASCS harus segera dialihkan ke simpul lain, untuk kasus ENSA1. Instans ERS juga harus di-failover setelah instans ASCS dimulai. Jalankan perintah berikut sebagai akar untuk membersihkan status sumber daya instans ASCS dan ERS setelah pengujian.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ASCS00
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Status sumber daya setelah pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Matikan proses server replikasi antrean.

Status sumber daya sebelum memulai pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Jalankan perintah berikut sebagai akar pada simpul ketika terdapat instans ERS yang sedang berjalan untuk menghentikan proses server replikasi antrean.

#If using ENSA1
[root@nw1-cl-1 ~]# pgrep -f er.sapNW1 | xargs kill -9

#If using ENSA2
[root@nw1-cl-1 ~]# pgrep -f enqr.sapNW1 | xargs kill -9

Jika Anda menjalankan perintah hanya sekali, sapstart mulai ulang proses. Jika Anda menjalankannya cukup sering, sapstart tidak akan memulai ulang proses dan sumber daya dalam keadaan berhenti. Jalankan perintah berikut sebagai akar untuk membersihkan status sumber daya instans ERS setelah pengujian.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Status sumber daya setelah pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Matikan proses antrean sapstartsrv .

Status sumber daya sebelum memulai pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Jalankan perintah berikut sebagai akar pada simpul, di mana setidaknya satu instans ASCS sedang berjalan.

[root@nw1-cl-0 ~]# pgrep -fl ASCS00.*sapstartsrv
# 59545 sapstartsrv

[root@nw1-cl-0 ~]# kill -9 59545

Proses sapstartsrv harus selalu dimulai ulang oleh agen sumber daya Pacemaker sebagai bagian dari pemantauan. Status sumber daya setelah pengujian:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Langkah berikutnya

Untuk menyebarkan skenario pengoptimalan biaya di mana instans PAS dan AAS disebarkan dengan kluster SAP NetWeaver HA pada RHEL, lihat Menginstal instans dialog SAP dengan VM ketersediaan tinggi SAP ASCS/SCS di RHEL.
Lihat HA untuk SAP NW di Azure VM di RHEL untuk panduan multi-SID aplikasi SAP.
Lihat Perencanaan dan implementasi Azure Virtual Machines untuk SAP.
Lihat Penyebaran Azure Virtual Machines untuk SAP.
Lihat Penyebaran DBMS Azure Virtual Machines untuk SAP.
Untuk mempelajari cara menetapkan KETERSEDIAAN TINGGI dan merencanakan pemulihan bencana SAP Hana di Azure (instans besar), lihat ketersediaan tinggi SAP Hana (instans besar) dan pemulihan bencana di Azure.
Untuk mempelajari cara menetapkan KETERSEDIAAN TINGGI dan merencanakan pemulihan bencana SAP Hana di Azure VM, lihat Ketersediaan tinggi SAP Hana di Azure Virtual Machines.

Bagikan melalui

Ketersediaan tinggi Azure Virtual Machines untuk SAP NetWeaver pada Red Hat Enterprise Linux

Prasyarat

Gambaran Umum

Menyiapkan GlusterFS

Siapkan infrastruktur

Menyebarkan VM Linux secara manual melalui portal Azure

Mengonfigurasi load balancer Azure

Menyiapkan (A)SCS

Membuat kluster Pacemaker

Bersiap untuk penginstalan SAP NetWeaver

Menginstal SAP NetWeaver ASCS/ERS

Persiapan server aplikasi SAP NetWeaver

Menginstal database

Pemasangan server aplikasi SAP NetWeaver

Menguji penyiapan kluster

Langkah berikutnya

Saran dan Komentar

Sumber Daya Tambahan: