Lentidão na plataforma

O que aconteceu?

Entre 10:00 de 22 de Setembro de 2023 e 16:30 de 22 de Setembro de 2023, a plataforma Web da OmniChat apresentou instabilidades.

Causa Raiz:

A Engenharia da OmniChat identificou dois problemas:

• Rotina de extração de dados gerando consumo excessivo de um de nossos banco de dados;
• Biblioteca de monitoramento causando uso excessivo de CPU, gerando lenditão na aplicação cliente. O problema acabava sendo acentuado quando o usuário utilizava a funcionalidade de escutar áudio;

Resolução e prevenção:

A Engenharia da OmniChat tomou conhecimento de relatos de clientes sobre o problema às 09:42 de 22 de Setembro de 2023. Desde então, trabalhou para isolar e atenuar o problema.

O time de engenharia da OmniChat atuou da seguinte forma em cada item de falha apresentado:

Às 10:20 do dia 22 de Setembro, a engenharia da OmniChat encontrou a causa raiz do problema e executou o procedimento de manutenção emergencial:

• 10:20 do dia 22 de Setembro - rotina de extração de dados foi desativada;
• 16:00 do dia 22 de Setembro - biblioteca de monitoramento foi desativada;

Para evitar a recorrência do problema, a engenharia está tomando as seguintes ações:

• Melhorar monitoramento das triggers e alarmes relacionados ao banco impactado;
• Melhorar testes na aplicação web para mitigar a possibilidade de entrar itens com consumo excessivo de CPU;
• Melhorar processo de expedição de pacotes para a aplicação web para rollbacks mais rápidos, assim, reduzindo o tempo para voltar versões da aplicação.

BO-1232: Adicionar monitoramento sobre Disk Util diretamente no canal da SquadBACKLOG

AT-2973: Melhoria nos testes da aplicaçãoTO DO

BO-1233: Criar formato de rollback express para aplicação web-appBACKLOG

A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Agradecemos sua paciência e pedimos desculpas novamente por qualquer impacto em sua organização.