Application Virtual Switch (AVS) と vCenter Server 連携 - インストール編

DCNhowtoAdmin · ‎2021-10-15

※APIC と vCenter との連携の基本および VMware標準の分散仮想スイッチを使った連携については、EPGの設定 (VMware連携) のページを参照してください。本ページでは、Application Virtual Switch (AVS) を使用した場合における連携に関して記載しています。

Application Virtual Switch とは

Application Virtual Switch (以下、AVS) は、ACI環境に最適化された仮想スイッチです。2009年から提供されている実績あるNexus 1000Vをベースとしていますが、Nexus 1000Vにおいて管理ポイントとして使用されている Virtual Supervisor Module (VSM) の役割はAPICコントローラが担います。よって、ACIファブリックに接続されたESXiホストに Virtual Ethernet Module (VEM) として動作するために必要となるモジュールを組み込むだけで使用することができます。AVSはACIと組み合わせて使用することが前提となりますので、StandaloneモードのNexus 9000を使用している場合は、Nexus 1000Vを使用してください。

また、AVSはOpFlexプロトコルを使ってACIファブリックと連携動作することができる点が特徴です。VMware標準の分散仮想スイッチを使用する場合にはACIファブリックのLeafスイッチとの間でCDPによる相互認識が必要となりますが、AVSの場合はOpFlexプロトコルを使用してLeafスイッチと相互認識を行います。そのため、AVSを導入したESXiホストでは、ACIファブリックを拡張したvLeafスイッチが動作していると見なして構成・管理を行うことが可能です。OpFlexはIETFに標準化提案中のオープンなプロトコルです。OpFlexについて詳細はIETFのページを参照してください。

draft-smith-opflex-00 - OpFlex Control Protocol

ACIファブリックとAPIC、vCenterサーバ、そしてAVSがインストールされたESXiホストの関係を図示すると以下の様になります。

APICはvCenterと連携して仮想マシンに関する情報を取得します。同時に、ACIファブリックのLeafスイッチは、AVSがインストールされたESXiホストをvLeafとして認識し、それらのESXiホストにおけるAVSに接続された仮想マシンの情報をOpFlexプロトコルを使用して取得します。AVSは拡張された分散仮想スイッチとして動作するため、ESXiホストとの紐付けなどについてはvCenterサーバを通じて連携します。

AVSを使用するために必要となるコンポーネント

Cisco AVS ソフトウェア
APIC
VMware vCenterサーバ
ESXiホスト

AVSとAPICの組み合わせには、一定のサポートバージョン範囲があります。詳しくはAVSのリリースノートを参照してください。ESXiホストは5.1以降である必要があります。現在ESXi 5.0はサポートされていません。

本ページの情報は、以下の組み合わせを前提として記載されています。

AVS Release 5.2(1)SV3(1.3)
APIC 1.0(3f)
VMware vCenter 5.5
VMware vSphere ESXi 5.5

AVS に対応した ESXiホスト

AVSはNexus 1000Vと同様にESXiホストにおける分散仮想スイッチのサードパーティ拡張機能を使用します。そのためESXiホストはEnterprise+ライセンスが適用されている必要があります。

AVSを動作させるESXiホストの接続構成

ESXiホストの接続構成としては、以下のパターンが考えられます。基本的な接続デザインは(1)～(3)となりますが、(4)～(7)の構成についても考慮点等はありますがサポートされています(いわゆるRemote vReaf構成)。

パターン構成

(1)	AVSを導入したESXiホストがLeafスイッチに直接接続する
(2)	AVSを導入したESXiホストがLeafスイッチ配下のFEX(Nexus 2000)
(3)	AVSを導入したESXiホストがLeafスイッチに接続したFabric Interconnectに接続する　※UCS BシリーズもしくはUCSM管理構成のUCS Cシリーズの場合
(4)	AVSとLeafスイッチの間に単一(1階層)の物理スイッチが挟まる構成
(5)	AVSとLeafスイッチの間に単一の物理スイッチが挟まり、かつそのスイッチ配下のFEXにAVSを導入したESXiホストが接続する
(6)	AVSとLeafスイッチの間に複数の物理スイッチが挟まる構成
(7)	AVSとLeafスイッチの間に物理スイッチとそれに接続したFIが接続する構成

まずは基本デザイン構成となる以下の(1)～(3)のパターンについて説明します。

(1) 構成の場合は、vPC構成およびMAC Pinning構成の両方がサポートされます。AVSのすべてのスイッチングモードがサポートされます。
(2) 構成の場合は、vPC構成はサポートされません。また、FEXへの接続は単一物理リンクのみである必要があります(2つのFEXに対してそれぞれ1本ずつ接続する構成はOKです)。この構成の場合、LACPモードはMAC PinningもしくはOffとしてください。AVSのすべてのスイッチングモードがサポートされますが、VLANを使用することを推奨します。

(3) 構成の場合は、FIのアップリンクポートとLeafスイッチ間はvPC構成とすることができます。AVSとしては、MAC Pinning構成のみがサポートされます。

つづいて、拡張デザイン構成となる(4)～(7)について説明します。

(4) 構成の場合は、物理スイッチとLeafスイッチ間はvPC構成とすることができます。AVSとしては、vPC構成とMAC Pinning構成の両方がサポートされます。VXLANを使用する場合には、Multicastに関して適切な構成がされている必要があります。また、VLANを使用する場合は使用するVLANがAVS-Leaf間で疎通可能となるよう構成されている必要があります。
(5) 構成の場合は、基本的には(4)構成と同じ条件となります。構成としては、FEXが当該ラックにおけるToRスイッチとなっている構成を想定しています。
(6) 構成の場合は、物理スイッチとLeafスイッチ間はvPC構成とすることができます。AVSとしては、MAC Pinning構成がサポートされます。構成としては、すでにNexus 5K/6K/7Kを使ってデータセンターネットワークが構成されている環境において、その先に接続されているESXiホストにAVSを導入する構成を想定しています。この構成の場合は、Leafスイッチまでの到達を1ホップとするためにVXLANの使用が推奨されます。
(7) 構成の場合は、物理スイッチとLeafスイッチ間および物理スイッチとFIの間はvPC構成とすることができます。AVSとしては、MAC Pinning構成がサポートされます。本構成ではLLDPの使用はサポートされないためAPICのPolicyにおいてDisableとしてください。CDPについては、UCS ManagerではデフォルトでDisableとなっていますが、Enableに構成してください(Network Control Policies > CDP)。UCSのアダプタ構成において、Fabric Failover構成は使用しないでください。Leafスイッチまでの到達性を1ホップとするためにVXLANの使用が強く推奨されます。ACI環境においてUCSブレードサーバを使用する場合は、合わせてこちらの構成ガイドを参照してください。

AVS の動作モード

現在、AVSは以下の2つの動作モードで動作することができます。どちらのモードであってもバイナリは同一です。モードの選択はAPICにおいてVMM Domain構成時に指定します。通信効率の最適化のため、ローカルスイッチングモードの使用を推奨します。

ローカルスイッチングモード (FEX Disable Mode)
NO ローカルスイッチングモード (FEX Enable Mode)

ローカルスイッチングモード (FEX Disable)

ローカルスイッチングモードは、同一ESXiホスト上で実行されている仮想マシン同士が同じEPGに紐付けられている場合にはESXiホスト内ローカルでスイッチング処理を行います。異なるEPG間の通信については、かならず上位のLeafスイッチを経由して通信を行います。

Leafスイッチとの間の通信形式としては、VLANもしくはVXLANを使用することができます。通信形式としてVLANを選択した場合は、AVS/vLeaf と Leafスイッチ間での通信に必要となるVLANレンジを確保する必要があります。VXLANを選択した場合は、インフラVLANとして使用するVLANだけを使用します。構成がシンプルになるため、VXLANを使用することが推奨されます。

NO ローカルスイッチングモード (FEX Enable Mode)

NO ローカルスイッチングモードは、同一EPG内を含むvLeaf/AVSを経由するすべての通信を、一旦Leafスイッチを経由させます。

この方式を選択した場合、Encapsulation方式はVXLANのみが使用可能です。

AVS構成におけるPort-Channel構成の組み合わせについて

AVS, Leafスイッチ, FI, Nexus 5000 / 7000 の各構成要素におけるPort-Channelのサポートモードは以下の通りです。

LACP MAC Pinning Off (Static) vPC

AVS	はい	はい	はい	適用外
Leafスイッチ	はい	はい	はい	はい
UCS Fabric Interconnect (FI)	はい(上位スイッチ接続ポート) いいえ(サーバポート)	はい	いいえ	いいえ
Nexus 5000 / 7000	はい	はい	はい	はい

AVS導入におけるベストプラクティス

Nexus 9000 と AVS 間で OpFlex プロトコルによる通信を行うために、Infra VLAN が適切に構成されている必要があります
LeafスイッチおよびFI接続のAVSポートの両方で Infra VLAN が適切に構成されている必要があります
AVSのためにDHCP relayの構成が必要となります。AVSを使用する場合には、自動的にVTEP用として構成されるVMkernelポートに対してAPICからDHCPでIPアドレスの割り当てを行います
OpFlex通信用のVMkernelポートはvMotion用として使用してはいけません
OpFlex通信用として自動構成されたVMkernelポートは削除・変更してはいけません
もし誤って削除してしまった場合は、vtepポートグループに接続するVMkernelポートをDHCP構成で再作成してください。静的にIPアドレスの割り当ては行わないでください。
Fabric Interconnectは、サーバ接続のためのサーバポートに対してLACPをサポートしていないため、AVSは必ずMAC Pinning構成を使用してください

AVS を使用するためのACI側での構成

AVSを使用するためには、APICで以下の構成を行う必要があります。

本ページでは、AVS構成のために必要となる部分のみ記載しています。適宜別途必要となる設定については定義してください(Switch Policy, Interface Policy, Access Entity Profilesなど)。

infraテナントにおけるDHCP Relay設定
Fabric Access Policyにおける以下の必要設定
- Interface Policy
  - LACPポリシー　※Mac PinningモードもしくはOff (Static Port-Channel) を選択
    ※接続構成によって推奨されるLACPモードは異なります。各環境に合わせて適切なモードを指定してください。
- Pool
  - Multicast Addressプール　※VXLANのために使用するマルチキャストアドレス範囲の指定
vCenterDomainの構成

DHCP Relayの作成

AVS/vLeafとなるESXiホストでは、VTEPの役割を担うVMkernelインターフェイスが構成されます。このVMkernelインターフェイスに対してNexus 9kスイッチ同様にAPICによるDHCPを用いたIPアドレス割当を行うために、DHCP Relayの設定が必要となります。

[Tenant infra] - [Networking] - [Protocol Policies] - [DHCP] を選択し、右クリックメニューから[Create DHCP Relay Policy]を選択する
[Name]に適当な名前を入力し、[Providers]欄で + をクリックする
DHCP Providerを構成する
- EPG Type:Application EPG
- Application EPG:[Tenant] infra / [Application Policy]access/ [EPG] default
- DHCP Server Address:10.0.0.1 ※APICのACIファブリック側IPアドレス
[Name]および[Providers]の入力が完了したら、[SUBMIT]をクリックする
以下の様にDHCP Relayが構成されれば完了です。

※参考：APICのACIファブリック側IPアドレスの確認方法

[SYSTEM] - [CONTROLERS]画面の[Controllers] - [apic1 (Node-1)] - [Cluster]

LACP Policyの作成

infraテナントの管理通信のために使用されているBridge Domain [default]にDHCP Relayを紐付けます。

[Tenant infra] - [Networking] - [Bridge Domains] - [default] - [DHCP Relay Labels]の右クリックメニューから[Create DHCP Relay Label]を選択
DHCP Relay Label を構成する

Scope:tenant
Name:作成したDHCP Relay を選択
DHCP Option Policy:default を選択

AVSのためのInterface Policyの構成

必須となるInterface PolicyはLACPポリシーのみです。その他は必要に応じて構成してください。AVSはOpFlexを使用してLeafスイッチと連携するため、CDPもしくはLLDPによる隣接認識は必要ではありません。

LACP Policy

モードとしてはMAC Pinningを使用します。
Interface Policy Group

LACPポリシーを含め、AVSを使って接続するESXiホストのためのInterface Policy Groupを構成してください。

※すべての同一ドメイン内のESXiホストに対しては、同じノードポリシーが適用される必要があります。

AVSでは独立したInterface Policyの構成はサポートされていません。よって、ESXiホストの接続構成に応じて、以下のいずれかの構成とする必要があります。

ESXiホストとLeafスイッチ間の接続構成 LACPポリシー

単一のLeafスイッチに対して1本のみ接続している場合	PC (Port Channel) ポリシー
単一のLeafスイッチに対して複数本接続している場合	PC (Port Channel) ポリシー
複数のLeafスイッチに対して接続している場合	VPC (Virtual Port Channel) ポリシー

Multicast Addressプールの構成

vLeafとの間の通信に使用するVXLANのためのMulticast Addressプールを構成します。このマルチキャストアドレスは、Encapsulation方式としてVXLANを使用している場合に使用します。

※ローカルスイッチングモードでVLANを使用する場合は、Multicast Addressプールではなく、VLANプールの構成が必要となります。VLAN使用の場合は、Multicast Addressプールの構成は必要ありません。

Access Entity Profile (AEP) の構成

AVSを使用するためには、紐づけられているAEPにおいて、[Enable Infrastructure VLAN]が有効(チェックがついている)となっている必要があります。

vCenter Domain の構成

VMM Domainの構成において、VMware標準の分散仮想スイッチを使用する場合との違いは、仮想スイッチのタイプとしてCisco AVSを選んだ上で、適切な動作モードを選択する部分のみとなります。下記で記載している以外の、vCenter Credentials, vCenterなどの情報については、適宜構成を行ってください。

ローカルスイッチングモードでVXLANを使用する場合の設定項目
ローカルスイッチングモードでVLANを使用する場合の設定項目
NO ローカルスイッチングモードの場合の設定項目

※Multicast AddressはVTEPとの通信に使用します。Multicast Address Poolのマルチキャストは、ACIファブリックおよびvLeafで構成される内部およびvLeafまで延長されたVXLAN通信に使用します。

vCenterサーバ側の状態

vCenterサーバ側では、APIC側でのVMMドメインの構成によって、自動的に分散仮想スイッチが構成されます。AVSを構成した場合は、スイッチングモードでVLANを使用する場合を除き、以下の通りアップリンクポートグループとVTEP用のポートグループが自動的に準備されます。

※AVSに対するESXiホストの接続は、ESXiホスト側にAVSをインストールした後に実施します。

AVS VEM のインストール

AVSはCiscoのウェブサイトよりzipファイル形式でダウンロードすることができます。ZIPファイルを解凍すると、以下のファイルが含まれています。

vibファイル(vSphereInstallation Bundle) と zipファイルの両形式で提供されており、どちらを使用してもAVSのインストールを行うことが可能です。主に、vibファイルは、CLIによるインストール、zipファイルはVMware Update Managerを使ったインストールでの使用を想定しています。

以下では、vibファイルを用いたインストール手順をご説明します。

vibファイルをESXiホストから参照可能なパスにアップロードします。scpを用いてコピーするか、データストアブラウザを持ちいてVMFSファイルシステム上にアップロードしてもかまいません。
インストール対象のESXiホストをメンテナンスモードに移行します。

~ # vim-cmd hostsvc/maintenance_mode_enter 'vim.Task:haTask-ha-host-vim.HostSystem.enterMaintenanceMode-447364553'

現在のインストール状況を確認します。

~ # esxcli software vib list | grep Cisco
 net-enic                       2.1.2.42-1OEM.550.0.0.1198611         Cisco   VMwareCertified   2015-02-11

net-enic 2.1.2.42-1OEM.550.0.0.1198611 Cisco VMwareCertified 2015-02-11

esxcliコマンドを使用してインストールを実行します。適用後の再起動は必要ありません。

~ # esxcli software vib install -v /vmfs/volumes/datastore1/Patch/cross_cisco-vem-v172-5.2.1.3.1.3.0-3.2.1.vib
 Installation Result    Message: Operation finished successfully.    Reboot Required: false    VIBs Installed: Cisco_bootbank_cisco-vem-v172-esx_5.2.1.3.1.3.0-3.2.1    VIBs Removed:    VIBs Skipped:

インストール結果を確認します。以下の様に、"cisco-vem_vXXX-esx"がインストール済となっていることを確認してください。

~ # esxcli software vib list | grep Cisco
 cisco-vem-v172-esx             5.2.1.3.1.3.0-3.2.1                   Cisco   PartnerSupported  2015-03-03 net-enic                       2.1.2.42-1OEM.550.0.0.1198611         Cisco   VMwareCertified   2015-02-11

Nexus 1000Vの場合と同様に、VEMをインストールするとvemcmdコマンドによる詳細確認を行うことが可能となります。以下のコマンドで確認を行ってください。

vemcmdshowversion

~ # vemccmd show version
VEM Version: 5.2.1.3.1.3.0-3.2.1
System Version: VMware ESXi 5.5.0 Releasebuild-1746018

以上でインストールは完了です。AVSのインストールが完了したら、当該のESXiホストをAVSとして準備されている分散仮想スイッチに参加させることができます。

AVSのメンバーとしてESXiホストを参加させると、自動的にVTEP用のVMkernelポートが自動的にvtepポートグループに構成されます。下図のように、VMkernelポートに対して自動的にAPICからDHCPによってIPアドレスの割当が行われることを確認してください。

以上で、AVSのインストール作業は完了となります。