Entre 9:20 de 13 de Janeiro de 2024 e 10:48 de 13 de Janeiro de 2024, as plataformas Web e Mobile da OmniChat apresentaram instabilidades no envio de arquivos e mídias.
Causa Raiz:
No dia 8 de Janeiro 2024, durante a janela de manutenção iniciada as 23:00 e finalizada às 01:00 do dia 9 de Janeiro 2024, foi aplicado em ambiente produtivo uma melhoria que visava aumentar o desempenho e estabilidade no processamento de arquivos dentro da OmniChat, como também atualização de bibliotecas bem como atualização da versão do NodeJS da 14 para 16.
Durante o processamento e otimização dos arquivos, este é salvo localmente no serviço para que possa ser manipulado de forma célere. Após este processamento, o arquivo local é apagado e apenas persistido no repositório global de arquivos da OmniChat.
Identificamos que a deleção dos arquivos locais, não estava sendo feita em mais um fluxo o qual não foi mapeado, com isso chegando no limite de armazenamento do serviço, gerando assim instabilidade.
Resolução e prevenção:
A Engenharia da OmniChat tomou conhecimento de relatos de clientes sobre o problema às 9:30 de 13 de Janeiro de 2024. Desde então, trabalhou para isolar e atenuar o problema.
Às 10:44 do dia 13 de Janeiro, a engenharia da OmniChat encontrou a causa raiz do problema e executou o procedimento de manutenção emergencial:
10:46 do dia 13 de Janeiro - Foi feito o redeploy do serviço para limpar o armazenamento;
11:10 do dia 13 de Janeiro - Foi enviado a correção para o ambiente produtivo.
Para evitar a recorrência do problema, a engenharia está tomando as seguintes ações:
Melhorar os logs do serviço para rastrear somente informações necessárias, para que possamos antecipar e/ou identificar com mais celeridade este tipo de problema.
A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Agradecemos sua paciência e pedimos desculpas novamente por qualquer impacto em sua organização.