キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
cancel
告知

JTAC-Mid-Career-Recruitment-2021.3

 MayCL_topbanner.JPG

 

[HyperFlex] vNICに対するvmnicの割り振りがズレることがある

818
閲覧回数
0
いいね!
0
コメント

HyperFlexにおいて、インストール時にService Profile で作成、設定されたvNICが、期待したvmnicに配置(placement)されないことで、HX cluster が起動しなかったり、インストールが完了しないなどの予期せぬ動作をすることがあります。

以下は、各種ガイドに記載されている、期待されたvNICのPlacementとなります。

 

<抜粋> Cisco HyperFlex System, a Hyperconverged Virtual Server Infrastructure

https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/UCS_CVDs/HX171_VSI_ESXi6U2.html

 

Table 15  MAC Address Pools

Name

Block Start

Size

Assignment Order

Used by vNIC Template:

hv-mgmt-a

00:25:B5:<xx>:A1:01

100

Sequential

hv-mgmt-a

hv-mgmt-b

00:25:B5:<xx>:B2:01

100

Sequential

hv-mgmt-b

hv-vmotion-a

00:25:B5:<xx>:A7:01

100

Sequential

hv-vmotion-a

hv-vmotion-b

00:25:B5:<xx>:B8:01

100

Sequential

hv-vmotion-b

storage-data-a

00:25:B5:<xx>:A3:01

100

Sequential

storage-data-a

storage-data-b

00:25:B5:<xx>:B4:01

100

Sequential

storage-data-b

vm-network-a

00:25:B5:<xx>:A5:01

100

Sequential

vm-network-a

vm-network-b

00:25:B5:<xx>:B6:01

100

Sequential

vm-network-b

 

Table 27  vNIC Placement

vNIC

Placement

Order

Fabric

VLAN

ESXi interface enumeration

hv-mgmt-a

1

1

A

<<hx-inband-mgmt>>

vmnic0

hv-mgmt-b

1

2

B

<<hx-inband-mgmt>>

vmnic1

storage-data-a

1

3

A

<<hx-storage-data>>

vmnic2

storage-data-b

1

4

B

<<hx-storage-data>>

vmnic3

vm-network-a

1

5

A

<<vm-network>>

vmnic4

vm-network-b

1

6

B

<<vm-network>>

vmnic5

hv-vmotion-a

1

7

A

<<hx-vmotion>>

vmnic6

hv-vmotion-b

1

8

B

<<hx-vmotion>>

vmnic7

 

 

以下の例では、HX Node2 のvmnic1から3が期待とは異なるVLAN, MAC address が割り当てられてしまっております。

(見易いよう、コマンド出力を表形式で纏めております。VLANの列は意図的に追加しております。)

~ # esxcfg-nics -l

Name

PCI

Driver

Link

Speed

Duplex

MAC Address

MTU

Description               

VLAN

vmnic0

  0000:05:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:a1:02

1500

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-inband-mgmt>>

vmnic1

  0000:08:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:b4:02

9000

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-inband-mgmt>>

vmnic2

  0000:06:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:b2:02

1500

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-storage-data>>

vmnic3

  0000:07:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:a3:02

9000

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-storage-data>>

vmnic4

  0000:09:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:a5:02

1500

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<vm-network>>

vmnic5

  0000:0a:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:b6:02

1500

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<vm-network>>

vmnic6

  0000:0b:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:a7:02

9000

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-vmotion>>

vmnic7

  0000:0c:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:b8:02

9000

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-vmotion>>

 

正しくは、以下となります。

~ # esxcfg-nics -l

Name

PCI

Driver

Link

Speed

Duplex

MAC Address

MTU

Description               

VLAN

vmnic0

  0000:05:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:a1:02

1500

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-inband-mgmt>>

vmnic1

  0000:06:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:b2:02

1500

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-inband-mgmt>>

vmnic2

  0000:07:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:a3:02

9000

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-storage-data>>

vmnic3

  0000:08:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:b4:02

9000

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-storage-data>>

vmnic4

  0000:09:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:a5:02

1500

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<vm-network>>

vmnic5

  0000:0a:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:b6:02

1500

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<vm-network>>

vmnic6

  0000:0b:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:a7:02

9000

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-vmotion>>

vmnic7

  0000:0c:00.00

 enic

Up

   10000Mbps

 Full

   00:25:b5:XX:b8:02

9000

   Cisco Systems Inc Cisco VIC Ethernet NIC

<<hx-vmotion>>

 

このような事象が確認出来た場合、ESXi CLI のlocalcliコマンドにてオーダーを正常に並び替えてください。

以下のVMware社の記事も併せてご確認ください。

https://kb.vmware.com/s/article/2091560

 

 

  1. localcliコマンドで、vmnicとPCI address の関連性をリストから確認します。

~ # localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias list

Bus type  Bus address          Alias

------------------------------------

pci       p0000:00:1f.2        vmhba0

pci       p0000:08:00.0        vmnic1  <--

pci       p0000:05:00.0        vmnic0

pci       p0000:09:00.0        vmnic4

pci       p0000:0a:00.0        vmnic5

pci       p0000:0b:00.0        vmnic6

pci       p0000:07:00.0        vmnic3  <--

pci       p0000:06:00.0        vmnic2  <--

pci       p0000:0c:00.0        vmnic7

pci       p0000:0e:00.0        vmhba1

logical   pci#p0000:0e:00.0#0  vmhba1

 

  1. PCI address が若い順にvmnicX が割り当てられることが必要ですので、以下のようにvmnic1にp0000:06:00.0, vmnic2にp0000:07:00.0, vmnic3にp0000:08:00.0 を手動で割り当てます。

~# localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias store --alias vmnic1 --bus-address p0000:06:00.0 --bus-type pci

~# localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias store --alias vmnic2 --bus-address p0000:07:00.0 --bus-type pci

~# localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias store --alias vmnic3 --bus-address p0000:08:00.0 --bus-type pci

 

  1. ESXiのリブートを実施します。

~# reboot

 

  1. リブート後の確認をし、期待された割り当てとなっていることを確認します。

~ # localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias list

Bus type  Bus address          Alias

------------------------------------

pci       p0000:00:1f.2        vmhba0

pci       p0000:06:00.0        vmnic1  <--

pci       p0000:05:00.0        vmnic0

pci       p0000:09:00.0        vmnic4

pci       p0000:0a:00.0        vmnic5

pci       p0000:0b:00.0        vmnic6

pci       p0000:08:00.0        vmnic3  <--

pci       p0000:07:00.0        vmnic2  <--

pci       p0000:0c:00.0        vmnic7

pci       p0000:0e:00.0        vmhba1

logical   pci#p0000:0e:00.0#0  vmhba1