Problemas na plataforma ao listar produtos
Incident Report for OmniChat
Postmortem

# O que aconteceu?

Entre 8:00 do dia 03 de maio de 2021 e 07:30 de 04 de maio, a plataforma da OmniChat apresentou um problema que causou falha na consulta de produtos e clientes.

# Causa Raiz:

A Engenharia da OmniChat identificou que um serviço de reindexação do sistema de consulta de produto e clientes entrou em loop, fazendo com que os índices fossem recriados indefinidamente e gerando uma carga expressiva sobre o serviço de Full Text Search.

# Resolução e prevenção:

A Engenharia da OmniChat tomou conhecimento de relatos de clientes sobre o problema às 9h00 do dia 15 de abril. Desde então, a engenharia da OmniChat trabalhou para resolver o problema.

Às 11:00h 03 de maio a engenharia da OmniChat encontrou a causa raiz do problema e executou o procedimento de manutenção emergencial para que o problema fosse sanado. Às 13:30 o problema foi resolvido para maior parte dos clientes da base, porém, foi necessário um novo script para efetuar a correção completa que terminou às 7:00 horas do dia 04 de maio.

Para evitar a recorrência do problema, agir de forma ativa e mais assertiva, a engenharia está tomando as seguintes ações:

* Recriar o procedimento de manutenção da ferramenta Full Text Search para evitar loop na operação de reindexação.

* Recriar serviço de ressincronização de dados com Full Text Search..

* Efetuar o monitoramento de tarefas pendentes e tempo de processamento estimado para o serviço de Full Text Search.

A OmniChat está comprometida em melhorar continuamente nossa tecnologia e operações para evitar interrupções e degradações do serviço. Agradecemos sua paciência e pedimos desculpas novamente por qualquer impacto em sua organização.

Posted May 04, 2021 - 11:00 GMT-03:00

Resolved
Efetuamos a recriação de índices em nossos sistema de Full Text Search e fizemos testes para validação do correto funcionamento. Ambiente está reestabelecido por completo.
Posted May 04, 2021 - 09:06 GMT-03:00
Identified
Identificamos a possível causa do problema, estamos efetuando alguns testes em breve a correção será refletida para todos os clientes.
Posted May 03, 2021 - 15:53 GMT-03:00
Investigating
Estamos investigando relatos de um problema com a plataforma. Forneceremos mais informações em breve. Os usuários afetados enfrentam problemas ao listar produtos dentro da plataforma.
Posted May 03, 2021 - 15:53 GMT-03:00
This incident affected: App - https://app.omni.chat and Chat Platforms (Web Chat).