Instabilidade no envio de mensagens
Incident Report for OmniChat
Postmortem

O que aconteceu?

Entre 21:00 de 16 de agosto de 2022 e 13:10 de 17 de agosto de 2022, a plataforma da OmniChat apresentou um problema interno que causou intermitência no envio de mensagens para alguns usuários.

 

Causa Raiz:

A Engenharia da OmniChat identificou um problema no serviço de mensageria, responsável pelo fluxo de mensagens na plataforma. No dia 16 de agosto, enquanto a Meta estava apresentando falhas, foram adicionados logs extras no serviço de mensagens para obtermos mais informações do problema.
Porém, durante a manhã do dia 17 de agosto, recebemos uma mensagem muito grande em nosso servidor e, na tentativa fazer o log da mesma, o serviço apresentava erro.

 

Resolução e prevenção:

A Engenharia da OmniChat tomou conhecimento de relatos de clientes sobre o problema às 11:10 do dia 17 de agosto. Desde então, a engenharia trabalhou para isolar e atenuar o problema. 

Às 13:00 do dia 17 de agosto, a engenharia da OmniChat encontrou a causa raiz do problema e executou o procedimento de manutenção emergencial, removendo o processamento de logs adicionais no serviço impactado.

 

Para evitar a recorrência do problema, agir de forma ativa e mais assertiva, a engenharia está tomando as seguintes ações:

 

  • Melhoria no sistema de logs para otimização do processamento de mensagens.

 

A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Agradecemos sua paciência e pedimos desculpas novamente por qualquer impacto em sua organização.

Posted Aug 17, 2022 - 17:59 GMT-03:00

Resolved
Enquanto estávamos com problemas com a Meta, foram adicionados logs extras no serviço de mensagens para obtermos mais informações do problema. Porém, hoje pela manhã, recebemos uma mensagem muito grande em nosso servidor, e na tentativa fazer o log da mesma, o serviço apresentou erro.
Como solução, os logs adicionais foram removidos. O fluxo de mensagens se encontra operacional.
Posted Aug 17, 2022 - 17:44 GMT-03:00
Monitoring
Identificamos que a instabilidade foi causada por um problema interno, relacionado ao serviço responsável pelo envio de mensagens. O mesmo foi corrigido e está sendo monitorado.
Posted Aug 17, 2022 - 13:53 GMT-03:00
Investigating
Estamos investigando uma instabilidade que está ocorrendo durante o envio de mensagens, retornando erro na plataforma.
Posted Aug 17, 2022 - 12:53 GMT-03:00
This incident affected: API, App - https://app.omni.chat and Chat Platforms (WhatsApp Business API).