Problema no recebimento de mensagens
Incident Report for OmniChat
Postmortem

O que aconteceu?

Entre 17:00 de 2 de outubro de 2024 e 21:40 de 6 de outubro de 2024, a plataforma da OmniChat apresentou um problema que causou lentidão intermitente no recebimento das mensagens.

 

Causa Raiz:

A equipe de Engenharia da Omnichat identificou um comportamento atípico em um serviço de recebimento de mensagens que estava com uma latência alta no retorno que recebia da META. Durante a investigação sobre a lentidão no recebimento de mensagens, constatamos que, por medidas de segurança, foram implementados filtros que acabaram negando requisições de alguns IPs específicos causando a lentidão, resultando em um tempo de entrega das mensagens maior do que o esperado.

 

Resolução e prevenção:

A Engenharia da OmniChat tomou conhecimento de relatos de clientes sobre o problema às 17 horas do dia 2 de outubro. Desde então, o time da OmniChat trabalhou para isolar e atenuar o problema.

Foram executadas análises minuciosas a fim de isolar a causa raiz do problema.

Às 21:40 do dia 5 de outubro, a causa raiz do problema foi determinada e o procedimento de manutenção emergencial para que o problema fosse sanado foi executado.

 Para evitar a recorrência do problema, agir de forma ativa e mais assertiva, a engenharia está tomando as seguintes ações:

 

  • Melhoria no processo de implementação de novos filtros de segurança para impedir requisições indesejadas.

 

A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Agradecemos sua paciência e pedimos desculpas novamente por qualquer impacto em sua organização.

Posted Oct 10, 2024 - 10:46 GMT-03:00

Resolved
Recentemente, enfrentamos um desafio técnico que impactou no tempo de recebimento das mensagens, esse atraso acarretou em mensagens recebidas fora de ordem e algumas com mais de 24 horas. Informamos que a situação foi resolvida, lamentamos o transtorno e agradecemos a paciência. Tenha certeza de que a confiabilidade do sistema é uma prioridade para a Omnichat, estamos fazendo aprimoramentos contínuos para tornar a sua experiência cada vez melhor. O postmortem será publicado nos próximos dias com maiores detalhes sobre o incidente.
Posted Oct 04, 2024 - 09:00 GMT-03:00