Lentidão na plataforma
Incident Report for OmniChat
Postmortem

O que aconteceu?

Entre 10:30 de 22 de novembro de 2023 e 12:30 de 22 de novembro de 2023, a plataforma da OmniChat apresentou um problema que causou lentidão em algumas operações na plataforma. Além disso, algumas conversas não foram roteadas corretamente, levando à caixa “aguardando”.

Causa Raiz:

O time de engenharia da OmniChat identificou um problema que foi causado por um processo de super escala de um micro serviço somado à um custoso processamento de transferência de dados para o nosso DeltaLake. Estes itens contribuíram para causar sobrecarga em um dos nosso componentes de base, causando certa lentidão dentro da plataforma.

Resolução e prevenção:

A Engenharia da OmniChat tomou conhecimento de relatos de alguns clientes sobre o problema por volta das 10:39 do dia 22, e desde então a equipe trabalhou para isolar e atenuar o problema.

Foram executadas análises em todos os serviços que apresentaram inconformidades, a fim de entender a causa raiz do problema.

Por volta das 11:57 do mesmo dia, foi encontrada a causa do problema e procedimentos de manutenção emergencial foram executados para que o problema fosse sanado.

Para evitar a recorrência do problema, agir de forma ativa e mais assertiva, a engenharia está tomando as seguintes ações:

  • Melhorar o monitoramento automatizado com métricas mais precisas que sejam capazes de medir a latência entre cada serviço dentro da plataforma a fim de prever uma possível baixa de performance da plataforma.
  • Implantar correlação entre alarmes e métricas dos serviços para permitir a detecção mais rápida de problemas semelhantes.
  • Ajustar a escalabilidade dos serviços para que em momentos de pico de requisições não cause instabilidade no processamento dos dados.
  • Efetuar a otimização do processamento de transferência de dados para o DeltaLake.

A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Agradecemos sua paciência e lamentamos por qualquer impacto em sua rotina de trabalho.

Posted Dec 10, 2023 - 23:37 GMT-03:00

Resolved
O problema foi resolvido. Tenha certeza de que a confiabilidade e perfomance do sistema são prioridades para a Omnichat. Estamos aprimorando continuamente os processos e a plataforma para tornar a sua experiência cada vez melhor.
Posted Nov 22, 2023 - 17:51 GMT-03:00
Monitoring
Ajuste foi publicado e o time de engenharia está monitorando a plataforma no intuito de garantir que o problema tenha sido sanado por completo.
Posted Nov 22, 2023 - 12:28 GMT-03:00
Identified
Identificamos que alguns parâmetros internos não estavam condizentes com a escala atual, fazendo com que uma porção de usuários enfrentassem lentidão. O ajuste está sendo publicado.
Posted Nov 22, 2023 - 11:57 GMT-03:00
Investigating
Estamos investigando relatos de certa instabilidade nas operações da plataforma. Também estamos investigando casos onde algumas conversas não estão sendo roteadas corretamente para o bot. Em breve mais informações sobre os casos.
Posted Nov 22, 2023 - 10:39 GMT-03:00
This incident affected: App - https://app.omni.chat, Bot, and Mobile.