Instabilidade no envio de arquivos pela plataforma
Incident Report for OmniChat
Postmortem

O que aconteceu?

Entre 14:40 de 23 de Novembro de 2021 e 14:30 de 24 de Novembro de 2021, a plataforma da OmniChat apresentou um problema que causou lentidão e falha intermitente no envio de arquivos para alguns usuários.

Causa Raiz:

A Engenharia da OmniChat identificou o problema em um serviço que efetua o encoding e redimensionamento de imagens. Esse serviço é responsável pelo upload de arquivos e transcode para formatos suportados pela plataforma. O serviço ficou instável no momento em que começou a receber arquivos corrompidos para efetuar o encoding, fazendo com que algumas instâncias do serviço fossem terminadas. Devido a especificidade do caso, o time de engenharia da OmniChat precisou fazer uma análise profunda para determinar a causa raiz.

Resolução e prevenção:

A Engenharia da OmniChat tomou conhecimento de relatos de clientes sobre o problema às 14:40 do dia 23 de Novembro. Desde então a engenharia da OmniChat trabalhou para isolar e atenuar o problema.
Às 14:30h do dia 24 de Novembro a engenharia da OmniChat encontrou a causa raiz do problema e executou o procedimento de manutenção emergencial para que o problema fosse sanado.

Para evitar a recorrência do problema, agir de forma ativa e mais assertiva, a engenharia está tomando as seguintes ações:

  • Melhorar o fluxo de monitoramento para o serviço de transcoding;
  • Implantar um mecanismo de fail safe no sistema de transcoding para que, mesmo que haja alguma falha no transcoding, não gere instabilidade na plataforma.

A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Agradecemos sua paciência e pedimos desculpas novamente por qualquer impacto em sua organização.

Posted Nov 26, 2021 - 16:00 GMT-03:00

Resolved
O problema com a plataforma foi resolvido. Lamentamos qualquer transtorno que possa ter ocorrido. A confiabilidade do sistema é uma prioridade para a Omnichat, estamos fazendo aprimoramentos contínuos para tornar a sua experiência cada vez melhor. O postmortem será publicado nos próximos dias.
Posted Nov 25, 2021 - 09:30 GMT-03:00
Update
Às 11:10 da manhã foi aplicado novo patch para mitigar possíveis novos casos de problemas. Time de engenharia continua monitorando.
Posted Nov 24, 2021 - 14:37 GMT-03:00
Monitoring
A causa foi identificada. Ações foram tomadas para mitigar os possíveis impactos.
Serviço está sendo monitorado e está estável. Novas melhorias nesse tema ainda serão aplicadas para prevenir futuras instabilidades.
Posted Nov 23, 2021 - 23:09 GMT-03:00
Identified
Identificamos a possível causa do problema, estamos efetuando alguns testes em breve aplicaremos a correção.
Posted Nov 23, 2021 - 17:46 GMT-03:00
Update
We are continuing to investigate this issue.
Posted Nov 23, 2021 - 14:47 GMT-03:00
Investigating
Estamos investigando relatos de um problema com a plataforma. Forneceremos mais informações em breve. Os usuários afetados recebem erro ao enviar arquivos.
Posted Nov 23, 2021 - 14:47 GMT-03:00
This incident affected: App - https://app.omni.chat and Chat Platforms (Web Chat).