Previous incidents

Serveurs de sauvegarde managé (backup) recovered.

Serveurs de sauvegarde managé (backup) recovered.

Traces (traces) recovered.

Traces (traces) recovered.

console.france-nuage.fr recovered.

Landing UP et Grafna clients up

Le traefik de la stack pangolin sectionne les réponse et bloquait tous traffic client vers les applications.

On a mis en place un autre ingress pour faire remonter les service et investiguer plus sereinement.

Remise en fonctionnement des services

Métriques (metrics) recovered.

Métriques (metrics) recovered.

API compatible OpenAPI recovered.

Journaux (logs) recovered.

Métriques (metrics) recovered.

Suite à l'incident survenu hier (14/01) vers 15h, les instances Mimir ont été redémarrées. Cependant, un gap de ~24h existe dans les métriques collectées.
Impact :

Absence de données de monitoring entre le 14/01 ~15h et le 15/01 ~15h
Les dashboards Grafana afficheront un "trou" sur cette période

Cause :
Les ingesters étaient indisponibles pendant l'interruption du backend. Les agents ont bufferisé les métriques mais une partie a été perdue (dépassement du buffer ou métriques trop anciennes ...

vault up

API compatible OpenAPI recovered.

Problème résolu, un switch avait cramé. On a tout recablé.

france-nuage.fr recovered.

Journaux (logs) recovered.

Notre infra fais trop de requêtes DNS vers Cloudflare et Google, on a passé le seuil de ban pour 5 minutes. On va mettre en place un cache DNS pour que ça ne se reproduise pas.

Gestionnaire de mot de passe managé (vault) recovered.

console.france-nuage.fr recovered.

DC01 recovered.

Serveurs de sauvegarde managé (backup) recovered.

france-nuage.fr recovered.

Incident Pangolin résolu

DC01 recovered.

On vient de le remplacer, les services remontent petit à petit

DC01 recovered.

Métriques (metrics) recovered.