Workaround para Bug do Enterprise Manager Cloud Control 13c Exibindo Storages Cell do Exadata com Status DOWN (21.3+)

No Enterprise Manager Cloud Control 13c com Plugin para Exadata, você pode se deparar com um cenário em que todos os storages estejam sempre com status de “DOWN”, mesmo que todos eles estejam operacionais (considerando que você validou manualmente via cellcli). Isso claramente indica um erro do monitoramento do EM:

Eu notei este cenário após atualizar a imagem do Exadata da versão 20.1 para 22.1. Pesquisando no MOS, encontrei algumas notas relatando que este problema afeta todos os Exadatas com versão 21.3 ou superior.

O problema ocorre por um erro no arquivo “oracle_exadata_response.pl ” que fica dentro do diretório de instalação do agente do EM instalado nos DB Nodes.

Observe abaixo que há um espaço após a palavra “running” e antes de fechar as aspas duplas:

Solução ideal

Atualização do agente do Enterprise Manager com o último Relese Update (RU). A atualização mínima necessária para a versão 13.4 é o RU15, enquanto para a versão 13.5, a corração está disponível a partir do RU3.

Workaround

Para conseguir corrigir esse erro específico de forma manual antes de conseguir aplicar o RU agente do EMCC, acesse os DB Nodes onde estão executando os agentes e execute as etapas abaixo.

1) Identifique o diretório de instalação do agent do EM:

awk -F ":" '{print $1}' /etc/oragchomelist

Deve retornar algo como:

/u01/app/agentoem/agent_13.4.0.0.0
/opt/OracleHomes/agent_home/GoldImage_PLT2_GI_134_202210/agent_13.4.0.0.0

Se tiver mais de um agente ativo no servidor, considere o que pertence ao usuário oracle, uma vez que pode ter outro rodando com o usuário “orarom” usado pelo Advanced Support.

Neste caso, o meu agente é o primeiro da lista (/u01/app/agentoem/agent_13.4.0.0.0).

2) Para simplificar os próximos passos, exporte uma variável de ambiente com o caminho do agente:

export EM_AGENT_HOME=/u01/app/agentoem/agent_13.4.0.0.0

3) Vá até o diretório:

cd $EM_AGENT_HOME/plugins/oracle.sysman.xa.agent.plugin_13*/scripts/exadata/

Se apresentar erro nesta etapa, é porque o diretório do plugin não existe neste servidor. Se isso ocorrer, considere tentar em outro DB Node ou procurar pelo arquivo manualmente: find $EM_AGENT_HOME -name oracle_exadata_response.pl .

4) Crie um backup do arquivo:

cp oracle_exadata_response.pl BKP.oracle_exadata_response.pl

5) Substitua o texto “running ” (com espaço) por “running” (sem espaço):

sed -i 's/"running "/"running"/g' oracle_exadata_response.pl

6) Execute um reload no agente:

$EM_AGENT_HOME/bin/emctl reload agent

Resultado esperado:

Após realizar esse ajuste nos agentes do EMCC de todos os DB Nodes, o resultado esperado na console do EMCC deve ser similar a este (todos os storages com status RUNNING), sendo normal levar alguns minutos até que todos apareçam com o status atualizado:

Rollback

Caso precise desfazer a alteração por qualquer motivo, basta voltar a versão original do arquivo e reiniciar o agente novamente:

export EM_AGENT_HOME=/u01/app/agentoem/agent_13.4.0.0.0
cd $EM_AGENT_HOME/plugins/oracle.sysman.xa.agent.plugin_13*/scripts/exadata/
cp BKP.oracle_exadata_response.pl oracle_exadata_response.pl
$EM_AGENT_HOME/bin/emctl reload agent

Referências

EM 13C: Exadata Storage Server Version 21.3.* Showing Down In OEM (Doc ID 2895034.1)

EM13c showing Exadata Storage Server as Down While Cellci Is Showing MsStatus = Running (Doc ID 2900457.1)