Seit dem letzten größeren Lab-Rückblick hat sich vor allem der Betrieb weiterentwickelt. Damals waren bessere Beobachtbarkeit, mehrschichtige Backups und weniger Handarbeit an den Übergängen zwischen Systemen noch offene Aufgaben. Inzwischen erfasst die Logsammlung auch die Control Plane, Backups verlassen die Ausfalldomäne des Clusters, und externe Checks überwachen das Monitoring selbst.
Daneben kamen neue Dienste hinzu. In diesem Rückblick geht es aber vor allem um die Änderungen, die das Lab im Alltag belastbarer machen. Grundlage ist die öffentliche Lab-Konfiguration Anfang Oktober 2026.
Monitoring bekommt ein Gedächtnis#
Promtail ist durch Grafana Alloy ersetzt. Wichtig war dabei, nach einem Neustart an der richtigen Stelle weiterzulesen. Alloy liest als DaemonSet die Pod-Logs vom Dateisystem und speichert seine Lesepositionen persistent unter /var/lib. Dafür muss der konfigurierte Pfad tatsächlich gemountet sein. Ein storagePath in der flüchtigen Container-Schreibschicht reicht nicht aus.
Die bisherigen Labels bleiben erhalten, sodass bestehende Loki-Abfragen weiter funktionieren. Das DaemonSet toleriert außerdem den Control-Plane-Taint und erfasst damit auch die Logs von API-Server, etcd und Scheduler.
Loki hat eine explizite Aufbewahrungsgrenze von 31 Tagen und wertet über den Ruler zusätzlich logbasierte Alert-Regeln aus. Die zeitliche Begrenzung verhindert, dass Chunks unbegrenzt gesammelt werden. Bei hoher Last kann das Volume trotzdem voll werden.
Für Metriken kam Thanos hinzu. Der Prometheus-Sidecar lädt Blöcke nach Garage, der Store Gateway erschließt die Historie. Thanos Query verbindet diese mit den aktuellen Daten. Konfiguriert sind:
| Auflösung | Aufbewahrung |
|---|---|
| Rohdaten | 60 Tage |
| 5 Minuten | 120 Tage |
| 1 Stunde | 240 Tage |
Diese Werte legen fest, wie lange Daten aufbewahrt werden sollen; die Historie umfasst noch nicht zwingend die gesamten Zeiträume. Garage liegt außerdem weiterhin im Cluster. Die Langzeitspeicherung ist deshalb kein unabhängiges Off-site-Backup.
Von roten Kurven zu überprüfbaren Zielen#
Mit Pyrra sind Service Level Objectives dazugekommen. Sie setzen einzelne Ausschläge in einen zeitlichen Zusammenhang: Wie viel des Fehlerbudgets wurde im betrachteten Zeitraum bereits verbraucht?
Der Blog hat beispielsweise ein konfiguriertes Verfügbarkeitsziel von 99,9 Prozent über zwei Wochen, abgeleitet aus Blackbox-Probes. Andere Ziele betrachten API-Fehler oder Upstream-5xx am Gateway. Das sind bewusst unterschiedliche Messgrößen: Eine erfolgreiche Probe beweist etwas anderes als ein niedriger Anteil fehlgeschlagener echter Requests.
Für mich sind diese SLOs keine vertraglichen Zusagen, sondern überprüfbare Betriebsziele. Sie ersetzen das Gefühl „funktioniert meistens“ durch eine konkrete Messgröße, deren Aussagekraft und Grenzen ich benennen muss.
Dazu kommen zwei externe Lebenszeichen:
- Der Monitoring-Deadman prüft alle fünf Minuten Prometheus, den absichtlich dauerhaft feuernden Watchdog-Alert und die Readiness des Alertmanagers.
- Der Backup-Deadman meldet nur dann Erfolg, wenn das erwartete Backup-Inventar vollständig und hinreichend frisch ist.
Die Gegenstelle läuft bei Healthchecks.io außerhalb des Clusters und erkennt ausbleibende Lebenszeichen auch dann, wenn hydra vollständig ausfällt. Der Monitoring-Check deckt allerdings nicht die gesamte Zustellung bis zum Menschen ab. Insbesondere ist er kein End-to-End-Test des KI-gestützten Alert-Pfads.
Backups verlassen die eigene Ausfalldomäne#
Die wichtigste Änderung an der Datensicherung ist Cloudflare R2 als primäres Off-site-Ziel. BorgBase bleibt während der Migration parallel aktiv. Die Daten werden vor dem Upload verschlüsselt; je nach Sicherungsweg übernimmt das restic oder rclone crypt.
Die verschiedenen Arten von Zustand benötigen jeweils einen passenden Sicherungsweg:
| Zustand | Sicherungsweg |
|---|---|
| Anwendungsdateien auf PVCs | VolSync und restic |
| Control-Plane-Zustand | geplante Talos-etcd-Snapshots, anschließend extern gesichert |
| PostgreSQL auf dem Barman-Pfad | Basis-Backups und WAL nach Garage, verschlüsselte Kopie nach R2 |
| Ausgewählte passive Kubernetes-Metadaten | Velero, anschließend verschlüsselte Kopie nach R2 |
Velero ist absichtlich kein zweiter Deployment-Controller. Seine Allowlist umfasst passive Metadaten, nicht pauschal Workloads, Secrets, Flux- oder Datenbank-Controller. Ein Restore soll nicht versehentlich eine Datenbank starten, bevor ihr Datenbestand bereitsteht.
Noch ist nicht jede PostgreSQL-Instanz auf den Off-site-Barman-Pfad umgezogen. Auch lokale Ceph-Snapshots bleiben nützlich, ersetzen aber keine unabhängige Kopie.
Ob eine Sicherung im Ernstfall hilft, zeigt erst die Wiederherstellung. Dazu gehören die vollständige Repository-Prüfung, ein Restore in ein separates PVC sowie die Kontrolle von Inhalt und Nutzbarkeit. Diese Restore-Disziplin bleibt wichtiger als der Name des Storage-Anbieters oder ein erfolgreich beendeter Backup-Job.
Updates: die interessanten Stellen waren die Nebenwirkungen#
Bei den Updates von Talos, Kubernetes, Rook/Ceph und den Gateway-Komponenten waren vor allem drei Erfahrungen für den weiteren Betrieb wichtig:
- Ein PodDisruptionBudget macht aus einer einzelnen Datenbank keine HA-Datenbank. Bei Singleton-Instanzen kann es einen geplanten Drain blockieren, ohne dass eine zweite Instanz die Arbeit übernehmen könnte. Die betroffenen CNPG-Konfigurationen verzichten deshalb darauf.
- Right-Sizing braucht konkrete Ressourcenänderungen. Die VPA-/Goldilocks-Empfehlungen führten zu Anpassungen bei Ceph und CI. So soll der Build-Betrieb nicht die Ressourcen beanspruchen, die der Storage-Unterbau benötigt.
- Ein Rollback setzt kompatible Daten voraus. Bei Pocket ID vertrug ein älteres Image das bereits neuere Datenbankschema nicht. Allein den vorherigen Image-Tag einzutragen, reicht daher nicht als Rückweg.
Außerdem wurden Vault und die verbliebenen Mastodon-Manifeste aus dem Repo entfernt. Damit beschreibt auch der deklarative Bestand nicht länger Dienste, die bereits stillgelegt sind.
Kommunikation wird ein eigener Dienst, nicht nur ein Login#
Matrix bekam Element Web und einen Element-Call-Unterbau mit LiveKit und Token-Dienst. Eigene NetworkPolicies und Metriken berücksichtigen, dass Anrufe einen anderen Datenpfad nutzen als Chatnachrichten. Ein funktionierender Chat allein sagt noch nichts über die Erreichbarkeit des Medienpfads aus.
Pocket ID ist als OIDC-Login an Synapse angebunden. SSO ergänzt zunächst den bestehenden Passwortpfad; die Umstellung erfolgt schrittweise. Passwörter sind damit noch nicht vollständig abgeschafft.
Drei größere Themen bekommen ihren eigenen Platz#
Drei weitere Änderungen beschreibe ich ausführlicher in eigenen Artikeln:
- tailnet-operator : deklarative Verbindungen statt verteilter Proxy- und Policy-Handarbeit.
- Paperless-ngx : ein Dokumentenarchiv mit kontrollierten Importwegen und überprüfbarer KI-Klassifikation.
- ZeroClaw : Alert-Triage mit lesendem Clusterzugriff statt eines Bots mit Reparaturvollmacht.
Gemeinsam ist diesen Arbeiten das Ziel, Zuständigkeiten und Rückwege klarer zu machen. Automatisierung hilft dort, wo feststeht, wer misst, wer entscheidet und wer Änderungen ausrollen darf. Ebenso wichtig bleibt ein nutzbarer Rückweg, wenn der reguläre Ablauf scheitert.
Die Manifeste und Runbooks stehen im öffentlichen Lab-Repository
. Die relevanten Stellen sind vor allem docs/BACKUP.md und die Monitoring-Anwendungen. Nicht alle offenen Aufgaben sind erledigt. Für mehrere davon gibt es jetzt aber konkrete Messgrößen und Prüfwege, an denen sich der weitere Betrieb orientieren kann.
