HyperFlexにおいて、インストール時にService Profile で作成、設定されたvNICが、期待したvmnicに配置(placement)されないことで、HX cluster が起動しなかったり、インストールが完了しないなどの予期せぬ動作をすることがあります。
以下は、各種ガイドに記載されている、期待されたvNICのPlacementとなります。
<抜粋> Cisco HyperFlex System, a Hyperconverged Virtual Server Infrastructure
https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/UCS_CVDs/HX171_VSI_ESXi6U2.html
Table 15 MAC Address Pools
|
Name
|
Block Start
|
Size
|
Assignment Order
|
Used by vNIC Template:
|
|
hv-mgmt-a
|
00:25:B5:<xx>:A1:01
|
100
|
Sequential
|
hv-mgmt-a
|
|
hv-mgmt-b
|
00:25:B5:<xx>:B2:01
|
100
|
Sequential
|
hv-mgmt-b
|
|
hv-vmotion-a
|
00:25:B5:<xx>:A7:01
|
100
|
Sequential
|
hv-vmotion-a
|
|
hv-vmotion-b
|
00:25:B5:<xx>:B8:01
|
100
|
Sequential
|
hv-vmotion-b
|
|
storage-data-a
|
00:25:B5:<xx>:A3:01
|
100
|
Sequential
|
storage-data-a
|
|
storage-data-b
|
00:25:B5:<xx>:B4:01
|
100
|
Sequential
|
storage-data-b
|
|
vm-network-a
|
00:25:B5:<xx>:A5:01
|
100
|
Sequential
|
vm-network-a
|
|
vm-network-b
|
00:25:B5:<xx>:B6:01
|
100
|
Sequential
|
vm-network-b
|
Table 27 vNIC Placement
|
vNIC
|
Placement
|
Order
|
Fabric
|
VLAN
|
ESXi interface enumeration
|
|
hv-mgmt-a
|
1
|
1
|
A
|
<<hx-inband-mgmt>>
|
vmnic0
|
|
hv-mgmt-b
|
1
|
2
|
B
|
<<hx-inband-mgmt>>
|
vmnic1
|
|
storage-data-a
|
1
|
3
|
A
|
<<hx-storage-data>>
|
vmnic2
|
|
storage-data-b
|
1
|
4
|
B
|
<<hx-storage-data>>
|
vmnic3
|
|
vm-network-a
|
1
|
5
|
A
|
<<vm-network>>
|
vmnic4
|
|
vm-network-b
|
1
|
6
|
B
|
<<vm-network>>
|
vmnic5
|
|
hv-vmotion-a
|
1
|
7
|
A
|
<<hx-vmotion>>
|
vmnic6
|
|
hv-vmotion-b
|
1
|
8
|
B
|
<<hx-vmotion>>
|
vmnic7
|
以下の例では、HX Node2 のvmnic1から3が期待とは異なるVLAN, MAC address が割り当てられてしまっております。
(見易いよう、コマンド出力を表形式で纏めております。VLANの列は意図的に追加しております。)
~ # esxcfg-nics -l
|
Name
|
PCI
|
Driver
|
Link
|
Speed
|
Duplex
|
MAC Address
|
MTU
|
Description
|
VLAN
|
|
vmnic0
|
0000:05:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:a1:02
|
1500
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-inband-mgmt>>
|
|
vmnic1
|
0000:08:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:b4:02
|
9000
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-inband-mgmt>>
|
|
vmnic2
|
0000:06:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:b2:02
|
1500
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-storage-data>>
|
|
vmnic3
|
0000:07:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:a3:02
|
9000
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-storage-data>>
|
|
vmnic4
|
0000:09:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:a5:02
|
1500
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<vm-network>>
|
|
vmnic5
|
0000:0a:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:b6:02
|
1500
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<vm-network>>
|
|
vmnic6
|
0000:0b:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:a7:02
|
9000
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-vmotion>>
|
|
vmnic7
|
0000:0c:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:b8:02
|
9000
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-vmotion>>
|
正しくは、以下となります。
~ # esxcfg-nics -l
|
Name
|
PCI
|
Driver
|
Link
|
Speed
|
Duplex
|
MAC Address
|
MTU
|
Description
|
VLAN
|
|
vmnic0
|
0000:05:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:a1:02
|
1500
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-inband-mgmt>>
|
|
vmnic1
|
0000:06:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:b2:02
|
1500
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-inband-mgmt>>
|
|
vmnic2
|
0000:07:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:a3:02
|
9000
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-storage-data>>
|
|
vmnic3
|
0000:08:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:b4:02
|
9000
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-storage-data>>
|
|
vmnic4
|
0000:09:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:a5:02
|
1500
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<vm-network>>
|
|
vmnic5
|
0000:0a:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:b6:02
|
1500
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<vm-network>>
|
|
vmnic6
|
0000:0b:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:a7:02
|
9000
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-vmotion>>
|
|
vmnic7
|
0000:0c:00.00
|
enic
|
Up
|
10000Mbps
|
Full
|
00:25:b5:XX:b8:02
|
9000
|
Cisco Systems Inc Cisco VIC Ethernet NIC
|
<<hx-vmotion>>
|
このような事象が確認出来た場合、ESXi CLI のlocalcliコマンドにてオーダーを正常に並び替えてください。
以下のVMware社の記事も併せてご確認ください。
https://kb.vmware.com/s/article/2091560
- localcliコマンドで、vmnicとPCI address の関連性をリストから確認します。
~ # localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias list
Bus type Bus address Alias
------------------------------------
pci p0000:00:1f.2 vmhba0
pci p0000:08:00.0 vmnic1 <--
pci p0000:05:00.0 vmnic0
pci p0000:09:00.0 vmnic4
pci p0000:0a:00.0 vmnic5
pci p0000:0b:00.0 vmnic6
pci p0000:07:00.0 vmnic3 <--
pci p0000:06:00.0 vmnic2 <--
pci p0000:0c:00.0 vmnic7
pci p0000:0e:00.0 vmhba1
logical pci#p0000:0e:00.0#0 vmhba1
- PCI address が若い順にvmnicX が割り当てられることが必要ですので、以下のようにvmnic1にp0000:06:00.0, vmnic2にp0000:07:00.0, vmnic3にp0000:08:00.0 を手動で割り当てます。
~# localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias store --alias vmnic1 --bus-address p0000:06:00.0 --bus-type pci
~# localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias store --alias vmnic2 --bus-address p0000:07:00.0 --bus-type pci
~# localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias store --alias vmnic3 --bus-address p0000:08:00.0 --bus-type pci
- ESXiのリブートを実施します。
~# reboot
- リブート後の確認をし、期待された割り当てとなっていることを確認します。
~ # localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias list
Bus type Bus address Alias
------------------------------------
pci p0000:00:1f.2 vmhba0
pci p0000:06:00.0 vmnic1 <--
pci p0000:05:00.0 vmnic0
pci p0000:09:00.0 vmnic4
pci p0000:0a:00.0 vmnic5
pci p0000:0b:00.0 vmnic6
pci p0000:08:00.0 vmnic3 <--
pci p0000:07:00.0 vmnic2 <--
pci p0000:0c:00.0 vmnic7
pci p0000:0e:00.0 vmhba1
logical pci#p0000:0e:00.0#0 vmhba1
