Previous incidents

Nous avons cordonné et drainé les noeuds du DC01 à 19h15, possible perturbations sur cette plage, nous allons redémarrer l'onduleur.

Nouvelle occurence de l'incident du vendredi 15. Un noeud kube qui ne répond plus en DC04, kernel panic.

La root cause est le plus probablement côté matériel. Nous avons marqué le noeud comme non schedulable.

Les services qui tournaient dessus ont été relocalisés.

Début de l'incident 18h31 -> kernel panic du noeud c4-2
Fin de l'incident 18h40 -> tous les pods ont été relocalisés et le noeud cordonned + drained 

On laisse le noeud hors du cluster le temps d'investiguer l'instabilité matér...

Métriques (metrics) recovered.

Nous avons un noeud qui ne répond plus en DC04, tout les pods ont été relocalisés sur les autres noeuds automatiquement en quelques minutes.

Gestionnaire de mot de passe managé (vault) recovered.

Le certificat partagé a expiré, nous avons mis en place des ingress avec cert-issuer sur tous les endpoints pour que ça ne pose plus de problème à l'avenir.
Les challenges TLS sont tous passés.

Métriques (metrics) recovered.

Stockage d'objets (S3) recovered.

Stockage d'objets (S3) recovered.

Stockage d'objets (S3) recovered.

Métriques (metrics) recovered.

DC02 de nouveau UP, La fibre principale a coupé en DC02 entre 4h55 et 5h, tous les tunnels IPsec sont tombés et quand il sont remonté les routes se se sont pas propagées sur la gateway principale, j'ai coupé puis réactivé les tunnels, les routes sont bien revenues

console.france-nuage.fr recovered.

Interruption de la connexion fibre principale en DC01 pendant 30 secondes. Plusieurs applications kube tournant sur les noeuds de ce DC ont été relocalisées ailleurs.

Métriques (metrics) recovered.

Nous avons eu une cascade de surcharge sur l'UDM pro en DC02 suite au gonflage due système de journalisation. Il a chargé la RAM au point de la saturer jusqu'au SWAP, dès le début du SWAPPING le CPU est monté à 80%+ à cause des iowait et ça a commencé à impacter les fluxs réseau (plage 6h à 6h09), l'udm à ensuite kill le process ulogd et le réseau s'est restabilisé vers 6h10.

console.france-nuage.fr recovered.

Afin de migrer les bases postgres bitnami standalone sur storageclass ceph-rbd vers du cnpg répliqué avec storageclass local, des coupures de quelques minutes sont à prévoir sur les instances de Grafana ce matin et début d'après midi.

Notre routage sous jacent qui est passé de 1gb/s à 10gb/s sur les Proxmoxs à 15h, ça n'aurait pas du causer d'interruption mais il y a eu une plage de 5-10 minutes vers 15h45 de bascule réseau dans la couche virtualisation des VMs. Certaines ont été impactées d'autres non.

console.france-nuage.fr recovered.

Les sauvegardes étaient un peu plus lentes cette nuit générant de la pression IO sur certaines VMs. Nous avons eu à en redémarrer de force une seule pour le moment. N'hésitez pas à nous remonter tout problème d'accès à vos VM en DC03.

Métriques (metrics) recovered.

Gestionnaire de mot de passe managé (vault) recovered.

Métriques (metrics) recovered.