cancelar
Mostrar resultados para 
Pesquisar em vez de 
Queria dizer: 
cancel
1653
Apresentações
4
Útil
2
Comentários
Cristiano Caldas
Spotlight
Spotlight

1. Identificação

1.1 Abreviaturas, Siglas e Definições

• SDN – (Software Defined Network) Rede Definida por Software.

• ACI – (Application Centric Infrastructure) Infraestrutura Centrada em Aplicações.

• GUI – (Graphical User Interface) Interface Gráfica do Usuário.

• APIC – (Application Policy Infrastructure Controller) Controlador da Infraestrutura de Políticas das Aplicações.

• CIMC – (Cisco Integrated Management Controller) Controlador de Gerenciamento Integrado Cisco. Controla os itens do hardware do servidor físico da Cisco.

• HUU – (Cisco Host Upgrade Utility) Utilitário de atualização do servidor UCS.

• Topologia Spine Leaf – Topologia organizada em duas camadas, aplicada em projetos de redes de Data Centers onde basicamente toda a conectividade externa é realizada na camada Leaf, ficando a camada Spine exclusivamente com o papel de interconectar os switches da camada Leaf, usualmente a topologia é empregada em redes SDN.

• Underlay – É a camada de rede inferior, aquela que garante a infraestrutura lógica de integração dos demais equipamentos de uma rede SDN, envolve os equipamentos físicos, as conexões físicas e os protocolos que interconectam estes equipamentos, provendo as redundâncias de acesso entre eles.

• Overlay – É a camada de rede superior, aquela que faz uso das conexões já garantidas na camada inferior (Underlay), ela tem como foco operar as abstrações de redes, tuneis, serviços avançados e automações com outros produtos, esta camada é voltada diretamente ao uso final da rede para o cliente.

• Fabric – Atualmente é uma rede em topologia física Spine-Leaf, organizada logicamente em dois níveis o Underlay e o Overlay.

• Versão Alvo - É a versão que se pretende alcançar após a atualização do ACI.


1.2 Objetivo do Artigo

O artigo tem o objetivo de auxiliar no planejamento de uma atualização da plataforma do Cisco ACI, ele não trará detalhes operacionais voltados a execução de fato, pois percebemos que as interações via GUI durante as diversas etapas da atualização são distintas, entre uma versão e outra, tornando tais detalhes no procedimento imprecisos, que confundiria o executor. As informações do artigo em questão, estão no contexto mais detalhado da atualização do ACI 4.2 indo para o ACI 5.2.

1.3 Contextualização da atualização do Cisco ACI

Atualizar o Cisco ACI é bastante diferente de atualizar um Switch de rede tradicional, o motivo é que existe toda uma solução tecnológica envolvida que precisa ser atualizada e não apenas os switches. O Cisco ACI, é composto por:

• Servidores físicos com os respectivos controladores CIMC.
• Sistema operacional do Cluster APIC.
• Switches físicos, Spines e Leaves.


2. Planejamento

2.1 Levantamentos

• Com o apoio do Cisco TAC, identificar a versão mais adequada para ser usada na atualização, a mais estável e livre de problemas graves, preferencialmente seguir o uso da versão recomendada pela Cisco. Normalmente é aberto um chamado com severidade (4) com o intuito de confirmar a versão corrente recomendada para aquele “Fabric”.

• Sobre as atualizações dos controladores do hardware dos servidores UCS, consultar a tabela de versões recomendadas do ACI e a versão do CIMC mais recente.
https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/recommended-release/b_Recommended_Cisco_ACI_Releases.html

Contudo a engenharia da Cisco reforça que seja seguida a recomendação da versão do CIMC que está informada no “Release Notes" da versão do ACI que se pretende alcançar, pois os testes já foram feitos com ela.

• Com o uso da Matrix de compatibilidade da Cisco, avaliar se a atualização manterá a compatibilidade com a versão atual dos demais produtos integrados ao Cisco ACI, como por exemplo o VMWARE.
https://www.cisco.com/c/dam/en/us/td/docs/Website/datacenter/aci/virtualization/matrix/virtmatrix.html


2.2 Preparativos

São todas as ações que podem e devem ser executadas antes da atualização dos switches. Estas ações visam reduzir o tempo necessário da janela de manutenção que pode passar facilmente das 08 horas de execução se estas ações não forem realizadas previamente em horário comercial. São elas:

• Realizar a leitura atenta do documento “Release Notes” da versão alvo e buscar por documentos recentes da Cisco que tenham orientações gerais e pontos de atenção no processo de atualização. Pesquisar a respeito dos “Bugs e Vulnerabilidades” registrados para a nova versão, verificar se algum impacta o ambiente produtivo.

• Realizar a leitura do checklist para o Upgrade do Cisco ACI:
https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/kb/Cisco-ACI-Upgrade-Checklist.html

• Realizar a leitura do guia de Upgrade / Downgrade do Cisco ACI:
https://www.cisco.com/c/en/us/td/docs/dcn/aci/apic/all/apic-installation-aci-upgrade-downgrade/Cisco-APIC-Installation-ACI-Upgrade-Downgrade-Guide.html

• Eliminar no APIC, via GUI em (Admin / Firmware / Images) as versões anteriores não operacionais, do software do Cluster APIC e do firmware dos Switches.

• Verificar no APIC se há no mínimo 20% de espaço livre no disco para receber as novas versões.

• Fazer o download da versão escolhida no portal da Cisco, os três arquivos:
   - APIC Image Release
   - Cisco Nexus 9000 Series ACI Mode Switch Software Release
   - CIMC - UCS – HUU Rack Server Software

• Existe uma lógica no número das versões de software do APIC e dos Switches:
O APIC é x.y(z), já os switches são uma dezena maior 1x.y(z), exemplo 5.2(7g) e 15.2(7g).

• Usando um software padrão no desktop, fazer o teste de integridade (MD5 ou SHA512) nos arquivos baixados do portal da Cisco. Exemplos de nomes dos arquivos:
   - aci-n9000-dk9.15.2.7g.bin
   - ucs-c220m5-huu-4.2.3b.iso
   - aci-apic-dk9.5.2.7g.iso

• Transferir os dois primeiros arquivos para o APIC, via GUI em (Admin / Firmware / Images), não enviar o arquivo do CIMC. Verificar se os arquivos foram distribuídos corretamente para os demais servidores do Cluster APIC, levará uns 20 ~ 30 minutos para um Cluster com três servidores.

• Fazer o teste de integridade (MD5 ou SHA512) dos arquivos já copiados para o APIC, utilizar a CLI de um dos servidores APIC, exemplo:
#> md5sum /firmware/fwrepos/fwrepo/aci-apic-dk9.5.2.7g.iso
#> md5sum /firmware/fwrepos/fwrepo/aci-n9000-dk9.15.2.7g.bin

• Validar se há espaço livre nos Switches Leaves e Spines, é preciso que haja pelo menos 50% de espaço livre:
#> df -h /bootflash
#> df -h | grep /dev/sda
#> df -h | grep /bootflash
#> cd /bootflash/
#> ls -lah

• A Cisco tem recomendado o uso do script de validação para Pre-Upgrade, após transferir a versão mais recente dele para um dos servidores APIC execute-o, obterá o código do script em: https://github.com/datacenter/ACI-Pre-Upgrade-Validation-Script
#> cd /data/techsupport
#> python aci-preupgrade-validation-script.py


3. Procedimentos de atualização

3.1 Atividades sem impacto

São as atividades que devem ser executadas fora da janela de manutenção, com o objetivo de reduzir o tempo total da janela (RDM).

• Executar um backup do APIC, salvar nele mesmo, no servidor FTP e exportar localmente para um desktop.

• Abrir um chamado na Cisco (TAC) informando que ocorrerá uma atualização, agilizando assim o suporte, no caso de imprevistos durante a atividade.

• Verificar a saúde do ACI Fabric:
   - Cluster FullFit;
   - Alarmes / Erros;
   - Topologia;
   - Licenciamento;
   - CIMC Chassis Status;

• Realizar o upgrade de todos os servidores físicos UCS que formam o Cluster APIC, através do software utilitário HUU. Esta versão de software que nos referimos apenas como sendo do CIMC, na verdade envolve todos os firmwares que controlam o hardware do servidor, o utilitário HUU irá avaliar a necessidade de upgrade e executar para os seguintes itens:
   - CIMC
   - BIOS
   - LAN on Motherboard (LOM)
   - RAID Controllers
   - PCI Adapters
   - Cisco Virtual Interface Cards (VIC)

"Atualizará todos os firmwares do servidor físico, terá a duração de aproximadamente 45 minutos por servidor Cisco UCS, ele reiniciará o servidor mais de uma vez, durante o processo."

• Testar o acesso via Remote KVM antes de atualizar cada um deles;

•  Mapear o arquivo ISO via CIMC KVM (Active Virtual Device -> Mount CD/DVD);
Exemplo do nome do arquivo: ucs-c220m5-huu-4.2.3b.iso

•  Nunca desligue o APIC diretamente (cold shut), de o reboot (que é graceful) em cada APIC via GUI (system -> controller -> right click -> reload), atenção atualize um por vez, repetindo faça um APIC por vez, e certifique-se que antes de começar o seguinte o anterior voltou ao Cluster e está Fully-fit;

•  Pressione F6 via CIMC KVM para entrar na tela de escolha de BOOT;

•  Selecione o (boot device) "Cisco vKVM-Mapped vDVD1.24 ou mais recente, conforme a versão atual";

•  Tem um botão "Upgrade & Activate All", pode usar ele, ele cuidará de atualizar tudo e fazer na ordem correta. (se a versão do firmware for igual ele saltará sozinho);

• Validar no APIC antes da atualização do software dele, se a integração com outras soluções está funcional, sem alarmes, como por exemplo uma integração com o VMWARE VMM;


3.2 Atividades com impacto – Upgrade do Cluster APIC

• Executar o backup do APIC, salvar no ACI, no servidor FTP e exportar para o Desktop;

• Verificar a saúde do ACI Fabric (Cluster FullFit, Alarmes/Erros, Topologia e Licenciamento);

• Validar no APIC a normalidade dos Spines e Leaves, como a Temperatura, CPU e Memoria;

• Validar no APIC via GUI, se as integrações com outros produtos estão funcionais sem erros ou alarmes;

• No APIC via GUI, realizar o upgrade do Sistema Operacional do Cluster ACI, como referência esta atualização consumirá aproximadamente 2 horas para um cluster com três servidores;

• Após atualiza-lo, verificar a saúde do ACI Fabric (Cluster FullFit, Alarmes/Erros, Topologia e Licenciamento);


3.3 Atividades com impacto – Upgrade dos Switches

Os switches para serem atualizados, são divididos em dois grupos no mínimo, normalmente o grupo EVEN (Par) e o grupo ODD (Ímpar), de modo a garantir que todos os Spines e Leaves não reiniciem ao mesmo tempo. Caso o número de “Leaves” seja muito grande como 40 switches, podem ser criados mais grupos de atualização para evitar que muitos equipamentos sejam reiniciados simultaneamente.

• Fazer a contagem dos Endpoints no APIC: “#> show endpoints | grep Endpoints”;

• Atualizar o grupo EVEN "Par" dos switches (Spines Pares e Leaves pares) e dar o boot;

• Validar que todos os alarmes em seu monitoramento foram normalizados;

• Validar em seu monitoramento se o tráfego das conexões críticas foi restabelecido, como conexões L2/L3 Out, vPC críticos, conexões com firewalls, balanceadores etc.;

• Verificar no APIC a topologia do ACI Fabric;

• Atualizar o grupo "Ímpar" dos switches (Spines ímpares e Leaves ímpares) e dar o boot;

• Validar em seu monitoramento se o tráfego das conexões críticas foi restabelecido, como conexões L2/L3 Out, vPC críticos, conexões com firewalls, balanceadores etc.;

• Verificar no APIC a topologia do ACI Fabric;

• Fazer novamente a contagem dos Endpoints no APIC: “#> show endpoints | grep Endpoints”;

“Processo de atualização concluído”


4. Materiais de referência para consulta

• Cisco APIC Installation and ACI Upgrade and Downgrade Guide
https://www.cisco.com/c/en/us/td/docs/dcn/aci/apic/all/apic-installation-aci-upgrade-downgrade/Cisco-APIC-Installation-ACI-Upgrade-Downgrade-Guide.html

• Creating a Backup for Your APIC Cluster
https://www.cisco.com/c/dam/en/us/solutions/collateral/data-center-virtualization/application-centric-infrastructure/aci-guide-creating-backup-for-apic-cluster.pdf

• Recommended Cisco APIC and Cisco Nexus 9000 Series ACI-Mode Switches Releases
https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/recommended-release/b_Recommended_Cisco_ACI_Releases.html

• APIC Software Upgrade/Downgrade Support Matrix
https://www.cisco.com/c/dam/en/us/td/docs/Website/datacenter/apicmatrix/index.html

• Cisco Nexus ACI-Mode Switches Hardware Support Matrix
https://www.cisco.com/c/dam/en/us/td/docs/Website/datacenter/acihwsupport/index.html

• End-of-Sale and End-of-Life Announcement for the Cisco ACI 4.2 and 14.2
https://www.cisco.com/c/en/us/products/collateral/cloud-systems-management/application-policy-infrastructure-controller-apic/aci-4-2-14-2-eol.html

• Cisco Nexus 9000 ACI-Mode Switches Release Notes, Release 15.2(7)
https://www.cisco.com/c/en/us/td/docs/dcn/aci/apic/5x/release-notes/cisco-aci-nx-os-release-notes-1527.html

• Release Notes for Cisco UCS Rack Server Software, Release 4.2(3)
https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/release/notes/b_release-notes-for-cisco-ucs-rack-server-software-release-4_2_3.html

• Upgrade CIMC on APIC
https://www.cisco.com/c/en/us/support/docs/cloud-systems-management/application-policy-infrastructure-controller-apic/215178-upgrade-cimc-on-apic.html

• Standalone ACI-Pre-Upgrade-Validation Script
https://github.com/datacenter/ACI-Pre-Upgrade-Validation-Script

• ACI Upgrade Best Practices and Troubleshooting
https://www.cisco.com/c/en/us/support/docs/cloud-systems-management/application-policy-infrastructure-controller-apic/213618-aci-upgrade-best-practices-and-troublesh.html

https://community.cisco.com/t5/data-center-and-cloud-knowledge-base/aci-upgrade-preparation-best-practice-and-troubleshooting/ta-p/3211109

• Cisco ACI Upgrade Checklist
https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/kb/Cisco-ACI-Upgrade-Checklist.html

• Bug Search Tool
https://bst.cloudapps.cisco.com/bugsearch

• Cisco Security Software Checker
https://sec.cloudapps.cisco.com/security/center/softwarechecker.x

• APIC CIMC Upgrade Procedure via CIMC Virtual Media - Cisco Community
https://community.cisco.com/t5/data-center-and-cloud-knowledge-base/apic-cimc-upgrade-procedure-via-cimc-virtual-media/ta-p/4126826

• Cisco ACI Virtualization Compatibility Matrix
https://www.cisco.com/c/dam/en/us/td/docs/Website/datacenter/aci/virtualization/matrix/virtmatrix.html

• Upgrading the CIMC for your APICs (Unofficial ACI Guide)
https://unofficialaciguide.com/2018/08/25/upgrading-the-cimc-for-your-apics/

Comentários
DaniloSantana
Level 1
Level 1

Material completo e com ótimas referências para pesquisa.

Parabéns

Alexander Souza
Level 1
Level 1

parabéns pelo artigo disponibilizado.

Primeiros Passos

Encontre respostas, faça perguntas e conecte-se com nossa comunidade de especialistas da Cisco de todo o mundo.

Estamos felizes por você estar aqui! Participe de conversas e conecte-se com sua comunidade.