Na manhã do dia 05 de junho, identificamos que os Dashboards de Experiência do Whizz estavam apresentando informações desatualizadas. O incidente impactou temporariamente o processamento e a atualização dos dados, resultando em defasagem nas informações exibidas nos painéis.
A equipe de Engenharia da OmniChat identificou que a origem do problema estava em um serviço interno responsável pela integração entre nossos sistemas e a API de IA do Google.
Durante o período do incidente, esse serviço apresentou uma instabilidade crítica, ocasionando degradação no processamento dos dados e comprometendo a atualização dos Dashboards de Experiência do Whizz. Como consequência, as informações exibidas nos painéis permaneceram desatualizadas até a normalização completa do serviço.
Resolução e prevenção:
A Engenharia da OmniChat tomou conhecimento do incidente na manhã do dia 05 de junho. A partir desse momento, a equipe responsável iniciou imediatamente a investigação e adotou ações para mitigar os impactos observados.
Durante o processo de análise, foram realizadas avaliações detalhadas dos serviços envolvidos, permitindo a identificação da causa raiz e a implementação das correções necessárias.
Às 17h20 do dia 10 de junho, foi concluída uma manutenção emergencial que restabeleceu a estabilidade do serviço e normalizou a atualização dos dashboards.
Como medida preventiva para aumentar a resiliência da plataforma e reduzir a probabilidade de recorrência desse tipo de incidente, estamos implementando as seguintes melhorias: