Entre 12:05 de 10 de Janeiro de 2024 e 13:00 de 10 de Janeiro de 2024, as plataformas Web e Mobile da OmniChat apresentaram instabilidades no envio de arquivos e mídias.
Causa Raiz:
No dia 8 de Janeiro 2024, durante a janela de manutenção iniciada as 23:00 e finalizada às 01:00 do dia 9 de Janeiro 2024, foi aplicado em ambiente produtivo uma melhoria que visava aumentar o desempenho e estabilidade no processamento de arquivos dentro da OmniChat, como também atualização de bibliotecas bem como atualização da versão do NodeJS da 14 para 16.
Durante o processamento e otimização dos arquivos, este é salvo localmente no serviço para que possa ser manipulado de forma célere. Após este processamento, o arquivo local é apagado e apenas persistido no repositório global de arquivos da OmniChat.
Identificamos que a deleção dos arquivos estava sendo feita somente em casos de sucesso, casos o qual ocorria erro o mesmo não era excluído, com isso chegando no limite de armazenamento do serviço, gerando assim instabilidade no mesmo.
Resolução e prevenção:
A Engenharia da OmniChat tomou conhecimento de relatos de clientes sobre o problema às 12:30 de 10 de Janeiro de 2024. Desde então, trabalhou para isolar e atenuar o problema.
Às 12:45 do dia 10 de Janeiro, a engenharia da OmniChat encontrou a causa raiz do problema e executou o procedimento de manutenção emergencial:
13:00 do dia 10 de Janeiro - Subiu a atualização com a correção emergencial.
Para evitar a recorrência do problema, a engenharia está tomando as seguintes ações:
Melhorar o monitoramento do serviço de processamento de arquivos, para que possamos antecipar e/ou identificar com mais celeridade este tipo de problema.
A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Agradecemos sua paciência e pedimos desculpas novamente por qualquer impacto em sua organização.