Instabilidade no dominio omni.chat
Incident Report for OmniChat
Postmortem

O que aconteceu?

Entre 8:00 de 16 de julho de 2021 e 15:00 de 16 de julho de 2021, a plataforma da OmniChat apresentou um problema que causou erros de acesso na plataforma e utilização de algumas funcionalidades para alguns usuários.

 

Causa Raiz:

O time da OmniChat identificou o problema no serviço de DNS como a origem do problema. Esse serviço é responsável pela resolução de nomes na internet. O serviço inicialmente apresentou falhas intermitentes na resolução de endereços do domínio omni.chat. Devido a este comportamento foi necessário uma análise de todos os endereçamentos descritos no DNS, de forma a identificar onde estava o problema e corrigi-lo.

 

Resolução e prevenção:

Tomamos  conhecimento de relatos de clientes sobre o problema às 08h00 do dia 15 de julho. Desde então o time OmniChat trabalhou para isolar e atenuar o problema. 

Foram executadas análises minuciosas em todos os endereços que apresentaram erros, a fim de isolar a causa raiz do problema.

Às 09h do dia 15 de julho a engenharia da OmniChat encontrou a causa raiz do problema e executou o procedimento de manutenção emergencial para que o problema fosse sanado, porém devido ao tempo de replicação de DNS a nível mundial o problema se estendeu por mais 30 horas para alguns usuários.

 

Para evitar a recorrência do problema, agir de forma ativa e mais assertiva, a engenharia está tomando as seguintes ações:

 

  • Implantar monitoramento para resolução de nomes que seja capaz de identificar falhas na resolução de endereços do domínio omni.chat a fim de prever uma possível falha do DNS.

 

A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Agradecemos sua paciência e pedimos desculpas novamente por qualquer impacto em sua organização.

Posted Jul 29, 2021 - 13:16 GMT-03:00

Resolved
This incident has been resolved.
Posted Jul 20, 2021 - 09:31 GMT-03:00
Update
Os acessos à plataforma bem como as funcionalidades de Campanha SMS, Envio de Mensagem, Atualização de Pedidos e BOT apresentam-se acessíveis e estáveis. Estamos investigando alguns problemas relacionados a ordens de pagamento que foram impactados durante o incidente.
Posted Jul 16, 2021 - 20:35 GMT-03:00
Update
O processo de propagação continua em andamento. O impacto da correção será refletido acentuadamente nas próximas horas. Continuamos ativamente monitorando e atuando no caso. A plataforma ainda pode apresentar instabilidade em funcionalidades como Campanha SMS, Envio de Mensagem, Atualização de Pedidos e BOT.
Posted Jul 16, 2021 - 12:02 GMT-03:00
Update
Identificamos uma falha no sistema de DNS que resultou na indisponibilidade de algumas rotas. O provedor imediatamente realizou a correção da mesma e a propagação desta correção está em andamento. Esse processo geralmente ocorre dentro de algumas horas com duração máxima de até 24 horas. Durante este período, a plataforma pode apresentar indisponibilidade para alguns usuários bem como instabilidade em funcionalidades como BOT e Pedidos.
Posted Jul 15, 2021 - 15:36 GMT-03:00
Monitoring
Identificamos um problema com o nosso domínio e prontamente o corrigimos, em breve a correção será refletida para todos os clientes.
Posted Jul 15, 2021 - 11:26 GMT-03:00
This incident affected: App - https://app.omni.chat and Web Page - https://www.omni.chat.