Instabilidade na plataforma
Incident Report for OmniChat
Postmortem

O que aconteceu?

Entre 08:30 de 3 de Janeiro de 2024 e 09:26 de 3 de Janeiro de 2024, as plataformas Web e Mobile da OmniChat apresentaram instabilidades no envio e recebimento de mensagens.

Causa Raiz:

Durante a janela de manutenção do dia anterior, foram aplicados pacotes de segurança e atualizações que visam melhorar a compatibilidade de um dos nossos serviços responsáveis pelo gerenciamento da base de dados de conversas.

Após inúmeros testes dentro desta janela o ambiente não apresentou problemas e a janela foi dada como concluída, entretanto, durante o primeiro horário da manhã, o sistema de gerenciamento de anexos enfrentou dificuldades na execução de suas rotinas frente ao pico de uso dentro do novo ambiente. Dessa forma causando atraso no envio e recebimento de mensagens e falhas no envio de anexos e principalmente áudios.

Resolução e prevenção:

A Engenharia da OmniChat tomou conhecimento de relatos de clientes sobre o problema às 08:33 de 3 de Janeiro de 2024 . Desde então, trabalhou para isolar e atenuar o problema.

Às 8:55 do dia 3 de Janeiro, a engenharia da OmniChat encontrou a causa raiz do problema e executou o procedimento de manutenção emergencial:

  • 09:00 do mesmo dia - Foi executado o rollback das alterações para uma versão estável do serviço que estava enfrentando problemas.

Para evitar a recorrência do problema, a engenharia está tomando as seguintes ações:

  • Remover a dependência do sistema gerenciador de mensagens do sistema de tratamento de anexos. Evitando que o fluxo de arquivos incida sobre o sistema de mensagens.
  • Melhorar o monitoramento do serviço de processamento de arquivos, para que possamos antecipar e/ou identificar com mais celeridade este tipo de problema.
  • Ampliar alcance de testes pós janela de manutenção.

A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Pedimos desculpas por qualquer impacto em sua organização.

Posted Jan 03, 2024 - 23:33 GMT-03:00

Resolved
O problema com a plataforma foi resolvido. Tenha certeza de que a confiabilidade do sistema é uma prioridade para a Omnichat, estamos fazendo aprimoramentos contínuos para tornar a sua experiência cada vez melhor.
Posted Jan 03, 2024 - 11:31 GMT-03:00
Monitoring
A plataforma encontra-se em estado de normalidade. Estamos monitorando a escala da plataforma continuamente. Em breve mais detalhes sobre o caso.
Posted Jan 03, 2024 - 09:26 GMT-03:00
Investigating
Estamos investigando relatos de lentidão na plataforma. Em breve mais detalhes sobre.
Posted Jan 03, 2024 - 08:53 GMT-03:00
This incident affected: API, App - https://app.omni.chat, Mobile and Chat Platforms (Facebook Messenger, Web Chat, WhatsApp Business API, Instagram, SMS).