Dashboard de Loki no responde
Eliminar el pod 'loki-read'. Tras 60 segundos este vuelve a funcionar, y con este también el DataSource Loki y sus dashboards relacionados.
Este error es más recurrente en cluster con baja disponibilidad puesto que generan más rotación de nodos y de pods. Se puede disminuir la recurrencia de este error aumentando la cantidad de Pods loki-read desde la configuración del Addon Loki.
Loki puede estar andando, tal como en la siguiente imagen:
- Si por alguna rotación en Kubernetes se resetea el pod de loki-backend SIN resetearse el de loki-read comienza a fallar, tal como fuerzo reiniciando el StatefulSet de loki-backend lo que concluye en la siguiente situación:
Puede verse que el 'Age' de loki-backend es menor que el 'Age' de loki-read, en estos casos ocurre este error que provoca que el DataSource de Loki no funcione y por ende tampoco los dashboards que lo utilizan. El error surge porque los pods de 'loki-read' no intentan reconectarse a 'loki-backend' y quedan en este estado donde no responden a las requests que les hace 'loki-backend'.
- Puede verse que el error se forzó correctamente y ahora el dashboard no responde:
- La forma para fixearlo es reiniciando el Deployment de 'loki-read' o bien eliminando el Pod que esté corriendo.
- Una vez hecho eso volvemos a la situación deseada que es la siguiente:
Como puede verse ahora el Age de loki-read es menor que el Age de loki-backend con lo que nos aseguramos que loki-read está conectado y el Dashboard vuelve a funcionar correctamente como se ve en la siguiente imagen:
Se puede disminuir la recurrencia de este error si se incrementa la cantidad de pods 'loki-read' activos. Lo cual puede realizarse desde la configuración del Addon Loki.
