Para conexão entre dois ou mais PODs é utilizado uma rede chamada IPN, onde cada POD terá uma conexão L3 entre os SPINEs e switches L3 (NX-OS - não gerenciado pela APIC), para redistribuir as informações entre SPINEs de cada POD através dos SW NX-OS, sendo utilizado protocolos de roteamento (BGP e OSPF). Por default, as conexões entre os SPINEs e os SW NX-OS são configurados na VLAN 4, na sub interface com essa VLAN.
A comunicação entre PODs não poderá ultrapassar 50 msec RTT em sua comunicação.
Quando os SPINEs de cada POD estiverem se conhecendo, é fechado o MP-BGP - EVPN entre eles, para troca de informações entre os endpoints de cada POD.
O SPINE terá a informação do endpoint em sua tabela COOP (Mac Address e IP) e atualizará a tabela através do MP-BGP - EVPN para que os outros SPINEs conheçam o endpoint.
Quando um LEAF quer falar com outro LEAF em PODs diferentes, ele terá como next-hop o endereço de Anycast TEP IP (proxy TEP) que fica no SPINE do outro POD e o SPINE localizará o LEAF em sua tabela COOP e assim a conectividade acontecerá.
O TEP Pool é sumarizado na infra de IPN (NX-OS) e cada POD tem um pool diferente.
Multi-Pod Spines Back-to-Back
Nesses casos o número máximo de PODs são 2.
- Partial mesh between spines - É quando não há a rede IPN entre os PODs. A conexão poderá ser direta (física) entre SPINES ou quando há um provedor de serviço no meio, onde os SPINEs devem ter protocolos de roteamento que permitam a descoberta via LLDP via tunelamento como o L2TP. Essa não é uma opção recomendada pela Cisco.
- Full mesh between spines - Funciona da mesma forma que o partial mesh, porém nesse caso todos os SPINEs de um POD tem conexão com todos os SPINEs do outro POD. Essa é a opção recomendada pela Cisco.
No Multi-Pod utilizando a rede IPN, as APICs podem formar um Cluster mesmo estando em PODs diferentes, isso trará uma redundância física.
O eBGP configurado entre os NX-OS só é possível a partir das versão 5.2.3.
A função de AS Check deve ser desabilitada na rede IPN, pois o AS de origem será o mesmo do destino (POD A e POD B) e como a comunicação passará por um AS diferente, que é o AS da operadora, a validação não será bem sucedida. Não é possível receber as rotas de um AS e redistribuir para o mesmo AS, por uma questão de proteção a loop não irá funcionar.
Também é necessário verificar o MTU na rede IPN, pois 50B é ocupado pelo VxLAN.
Nas interfaces dos NX-OS que conectam com os SPINEs, deve ser configurado o DHCP Relay apontando para as APICs para que haja o processo de descoberta dos endpoints.
O Vmotion (movimentação de VMs entre virtualizadores) também pode ser realizada entre PODs diferentes na rede IPN.
Conectividade das APICs
Uma das opções é sumarizado os TEP Pools na infra de IPN (NX-OS), onde as APICs estarão conectadas nos LEAFs.
Esse é o modelo mais utilizado no mercado.
A outra opção é criar o POD 0 através de uma rede L3 (OSPF ou iBGP entre o NX-OS e outro equipamento L3), onde o range das APICs precisa conhecer os ranges dos PODs.
Há também a opção Virtual (VM), onde a APIC fica no servidor ESXi e poderá ser movida entre servidores no mesmo POD ou em PODs diferentes.
Os servidores/virtualizadores estarão conectados nos LEAFs.
Também é possível utilizar a APIC Virtual através de uma rede L3.
