Ein Assistent kann erklären, warum mehrere Alerts zusammengehören. Ob dieselbe Meldung bereits verschickt wurde, sollte er dagegen nicht bei jedem Lauf neu beurteilen müssen. Für diese Frage gibt es einen Zustand, eine Regel und einen überprüfbaren Übergang.
Im Oktoberbeitrag über ZeroClaw als Alert-Gate war diese Trennung noch nicht konsequent umgesetzt. Ein stündlicher LLM-Sweep sollte Meldungen gruppieren und bekannte Vorfälle zurückhalten. Der Artikel benannte die Grenze ausdrücklich: Promptregeln sind kein deterministischer Incident-Controller und keine verlässliche Zustellsemantik.
Der aktuelle Aufbau verlagert diese Entscheidungen in einen kleinen Python-Poller. Code entscheidet über die Benachrichtigung; das Sprachmodell hilft bei der Einordnung der Woche. Das reduziert die Aufgaben des Modells, macht aber einen wichtigen Teil des Betriebs besser prüfbar.
Zwei Aufgaben, zwei verschiedene Abläufe#
Der Poller läuft alle fünf Minuten als Shell-Job innerhalb der ZeroClaw-Runtime. Er liest Alertmanager und Prometheus über den Kubernetes-Service-Proxy. Dafür ruft er kein Modell auf. Auch bei dringenden Alerts wird kein LLM benötigt, um den Meldungstext zu erzeugen.
Ein separater Wochenbericht bleibt als geplanter Modellaufruf aktiv. Er liest die zusammengefassten Beobachtungen und soll sie durch begrenzte aktuelle Prüfungen ergänzen. Die zuvor vorgesehenen automatischen Wartungsjobs und der interne Heartbeat sind deaktiviert.
Die Zustellung bleibt beim vorhandenen Matrix-Kanal des Daemons. Der Poller bekommt keinen zweiten Sender, der Verschlüsselung, Gerätezustand oder Zugangskontrollen umgehen könnte.
Diese Trennung ist auch für Fehleranalysen hilfreich. Ein Modellproblem betrifft den Wochenbericht, aber nicht die Berechnung einer dringenden Meldung. Ein Ausfall des Daemons oder seines Matrix-Kanals kann dagegen weiterhin beide Wege treffen.
Was eine Nachricht auslösen darf#
Die Alarmierungsentscheidung steht in einer eigenen Policy. Sie unterscheidet nicht nur nach Severity, sondern berücksichtigt ausdrücklich benannte Ausnahmen:
| Beobachtung | Vorgesehene Behandlung |
|---|---|
| Aktiver Critical-Alert | Nach mindestens 15 Minuten erfasster Dauer melden |
| Benannte Regel für unmittelbar drohenden Schaden | Ohne diese zusätzliche Wartezeit melden |
| Gewöhnliche Warning- und Info-Meldungen | Für den Wochenbericht aufbewahren |
| Explizite Digest-Ausnahme | Keine unmittelbare Meldung, auch bei Critical |
| Bereits bestätigter, weiterhin meldeberechtigter Vorfall | Frühestens nach vier Stunden erneut melden |
Zu den unmittelbaren Ausnahmen gehören ausgewählte Storage- und Quorum-Probleme. OomKilled, NodeMemoryRequestsCritical und Release-Review-Hinweise sind dagegen ausdrücklich dem Digest zugeordnet. Diese Auswahl ist eine Betriebsentscheidung für mein Lab, keine allgemeine Empfehlung, OOMs oder Ressourcenengpässe zu ignorieren.
Die Reihenfolge der Prüfung zählt: Inaktive Alerts, Info-Meldungen und Digest-Ausnahmen werden zuerst ausgeschlossen. Erst danach greift die Liste unmittelbarer Ausnahmen. Ein Name auf dieser Liste hebt also nicht jede andere Bedingung auf.
Silences und Inhibitions des Alertmanagers bleiben wirksam. Der Poller soll keine bewusst unterdrückten Meldungen durch eine zweite, unabhängige Interpretation wieder aktivieren.
Die Wartezeit nicht doppelt zählen#
Eine Prometheus-Regel kann bereits eine for-Dauer haben. Würde der Poller erst beim ersten sichtbaren Firing-Alert seine eigene Uhr starten, käme eine zweite vollständige Wartezeit hinzu.
Deshalb verwendet er bei passenden, feuernden Prometheus-Alerts deren activeAt. Damit kann die bereits beobachtete Dauer der Bedingung in die Entscheidung eingehen. Fehlt diese Information, nutzt er einen gültigen Alertmanager-Zeitstempel; andernfalls zählt die eigene erste Beobachtung.
Ungültige oder zukünftige Zeitstempel dürfen einen neuen Vorfall nicht künstlich altern lassen. Sie führen zum konservativen Rückfall auf die erste Beobachtung.
Das Fünf-Minuten-Intervall ist trotzdem keine Zustellfrist. Scheduler, API-Abfragen und Kanalzustellung benötigen Zeit; ein vollständig zwischen zwei Abfragen auftretender Alert kann unbemerkt bleiben. „Unmittelbar“ bedeutet hier: beim nächsten erfolgreichen Poll ohne zusätzliche Persistenzwartezeit.
Deduplizierung braucht eine passende Identität#
Nur Cluster und Alertname zu vergleichen wäre zu grob. Zwei Pods mit demselben Fehler sind nicht zwangsläufig derselbe Vorfall. Umgekehrt sollen zwei Prometheus-Replikate nicht zwei Meldungen über dasselbe Objekt erzeugen.
Die Identität basiert deshalb auf dem konfigurierten Clusterkontext und dem Labelsatz. Bekannte Replikalabels werden vorher entfernt. Ändert sich ein relevantes Label, entsteht eine andere Identität. Das ist eine nachvollziehbare technische Regel, aber keine automatische Ursachenanalyse.
Ein Storage-Ausfall und seine Folgefehler können damit weiterhin mehrere Einträge erzeugen. Die spätere Einordnung darf Zusammenhänge erklären; der Poller behauptet sie nicht selbst. Seine Meldungen kennzeichnen die Einträge ausdrücklich als Beobachtungen, deren Ursache noch nicht bewertet wurde.
Wird ein Vorfall als beendet erfasst und tritt später erneut auf, erhält er eine neue Episode. Eine frühere Bestätigung soll dieses erneute Auftreten nicht bis zum Ende eines alten Wiederholungsfensters unterdrücken.
Für Release-Reviews zählt außerdem die Bundle-Identität. Ein neues Review darf nicht verschwinden, nur weil sein Alertname derselbe ist wie in der vergangenen Woche.
Die Outbox trennt Erzeugung und Zustellung#
Eine Ausgabe auf stdout ist noch keine verschickte Nachricht. Der neue Ablauf behandelt diese Schritte deshalb getrennt:
- Der Poller berechnet die meldeberechtigten Vorfälle.
- Er erzeugt einen Meldungsbatch mit eigener Kennung.
- Er speichert Zustand und Outbox, bevor er den Text ausgibt.
- Der ZeroClaw-Daemon übernimmt die Kanalzustellung.
- Ein späterer Poll sucht nach einer passenden erfolgreichen Ausführung in der Cron-Historie.
Der lokale Zustand wird über eine temporäre Datei, Synchronisierung und atomaren Dateiaustausch geschrieben. Ein separater Lock verhindert konkurrierende Änderungen durch mehrere Poller-Prozesse. Beschädigter Zustand wird nicht stillschweigend durch ein leeres Gedächtnis ersetzt.
Solange die Bestätigung fehlt und sich die relevanten Vorfälle nicht ändern, bleibt der auszugebende Meldungstext gleich. Neue dringende Vorfälle oder inzwischen beendete Meldungen können einen Batch ersetzen. So wird nicht dauerhaft eine überholte Nachricht wiederholt, während neue Ereignisse warten.
Die Ausgabe ist begrenzt: Ein Batch enthält höchstens zwölf Vorfälle und nennt gegebenenfalls die Zahl weiterer Einträge. Diese bleiben im privaten Zustand erhalten. Die Begrenzung betrifft die Nachricht, nicht die Existenz des Vorfalls.
Was die Bestätigung tatsächlich belegt#
Der Poller akzeptiert nicht irgendeinen grünen Cron-Lauf. Er verlangt den richtigen Job, einen erfolgreichen Status und den passenden vollständigen Ausgabetext. Außerdem bindet er die Bestätigung an die gerenderte Zustellkonfiguration.
Dazu gehört best_effort = false: Ein Fehler beim Senden soll nicht als erfolgreicher Lauf gelten. Die Konfigurationsprüfung weist einen unsicheren Zustellmodus zurück, bevor daraus eine Bestätigung abgeleitet werden kann.
Das ist ein Vertrag zwischen Poller und Runtime. Die lokale Testsuite prüft die Auswertung dieser Laufhistorie; bei Runtime-Upgrades muss auch die tatsächliche Bedeutung des Erfolgsstatus geprüft werden.
Eine erfolgreiche Kanalübergabe ist weder eine Lesebestätigung noch ein Beweis erfolgreicher Entschlüsselung beim Empfänger. Stürzt der Prozess zwischen Senden und Bestätigung ab, kann dieselbe Nachricht erneut erscheinen. Die Outbox verbessert den Umgang mit Wiederholungen, schafft aber keine Exactly-once-Garantie über Dateisystem, Cron-Datenbank und Matrix hinweg.
Unbekannt ist nicht gesund#
Zum erwarteten Monitoring gehört ein dauerhaft aktiver Watchdog. Kann der Poller den Alertmanager nicht lesen oder fehlt dieser Eintrag, markiert er die Sicht als unbekannt. Daraus entsteht ein eigener MonitoringUnknown-Vorfall, für den ebenfalls die Persistenzwartezeit gilt.
Vorher aktive Vorfälle werden bei einer solchen Datenlücke nicht einfach als behoben markiert. Das verhindert einen falschen Entwarnungseffekt. Es bedeutet aber auch: Ein fortgeschriebener Eintrag ist keine frische Bestätigung, dass der ursprüngliche Fehler weiterhin besteht.
Die Zusammenfassung enthält deshalb die Abfragezustände und Zeitpunkte der letzten erfolgreichen Beobachtungen. Der Wochenbericht soll diese Grenzen benennen, statt eine leere oder veraltete Liste als Gesundheitssignal zu behandeln.
Der unabhängige Monitoring-Deadman bleibt nötig. Er überwacht Teile der Monitoring-Kette außerhalb dieses Meldewegs, prüft aber nicht die vollständige ZeroClaw- und Matrix-Zustellung. Die Alertmanager-Receiver bleiben auf null; ein separater direkter Critical-Fallback entsteht durch den neuen Poller nicht.
Die KI bekommt einen engeren, sinnvolleren Auftrag#
Der Wochenbericht ist für Montag um 09:00 Uhr in Europe/Berlin konfiguriert. Er soll aktive Vorfälle und die Ereignisse der vergangenen sieben Tage zusammenfassen. Dazu kommen begrenzte lesende Prüfungen von Plattformzustand, Backup-Frische und Zertifikaten.
Seine Zustellung verwendet weiterhin best_effort = true. Die strengere Erfolgsprüfung und die Outbox gelten für den Alert-Sweep, nicht für den Wochenbericht.
Die vorbereitete Zusammenfassung enthält höchstens hundert Einträge und weist ausgelassene Einträge aus. Aufgelöste Vorfälle werden im Ledger 35 Tage aufbewahrt. Diese Grenzen helfen, den Bericht nicht mit einem unbegrenzt wachsenden Rohprotokoll zu belasten.
Ungefragte Reparaturvorschläge, Wartungspatches und ausführliche Nachuntersuchungen jedes historischen Alerts gehören nicht mehr zum automatischen Wochenauftrag. Vertiefte Diagnose erfolgt auf Anfrage. Auch eine ruhige Woche soll einen kurzen Bericht bekommen, damit dessen Ausbleiben nicht mit beabsichtigtem Schweigen verwechselt wird.
Die Scheduler-Konfiguration erlaubt zwei gleichzeitige Jobs. Damit muss der Shell-Poller nicht allein deshalb warten, weil der geplante LLM-Bericht noch läuft. Gemeinsame CPU-, Storage- und Laufzeitprobleme sind dadurch allerdings nicht ausgeschlossen.
Auch die Rechte mussten zum Modell passen#
Der Oktoberartikel unterschied bewusst zwischen einer lesenden Monitoring-Identität und einer breiter berechtigten Pod-Laufzeit. Diese Einschränkung ließ sich nicht durch bessere Prompts beheben.
Inzwischen verwendet der lokale Kubernetes-Zugang den projizierten, Pod-gebundenen ServiceAccount-Token über tokenFile. Das kubeconfig enthält damit für diesen Zugang keinen eingebetteten langlebigen Bearer-Token. Die vorhandenen Bindings geben dem Pod lesenden Zugriff über view und definierte Erweiterungen.
Die zusätzliche Namespace-Rolle für den Tailscale-Zustand ist entfernt. Der Sidecar hält seine Identität nun auf dem PVC. Dabei war ein kleiner Default entscheidend:
1# Ausschnitt aus der Sidecar-Umgebung
2- name: TS_KUBE_SECRET
3 value: ""
Wird die Variable nur weggelassen, verwendet der Container wieder seinen Standard für Kubernetes-Secret-State. Erst der explizit leere Wert deaktiviert diesen Speicherweg. Ein Regressionstest schützt genau diese Unterscheidung.
Das ist eine konkrete Härtung, keine vollständige Sandbox. Der Pod besitzt weiterhin benötigte Integrations-Credentials, kann seinen Workspace verändern und Nachrichten senden. view bleibt aggregierbar; zusätzliche Rollen können die effektiven Rechte verändern. Außerdem beschränkt derzeit keine Namespace-NetworkPolicy den allgemeinen Egress.
Für die Abnahme müssen deshalb die tatsächlich wirksamen Rechte geprüft werden, nicht nur die Abwesenheit einer bestimmten Role-Datei. Die deklarierte Trennung ist erst dann belastbar bestätigt, wenn Secret-Zugriff und unerlaubte Mutationen mit der vorgesehenen Identität scheitern.
Was sich ohne Cluster prüfen lässt#
Die Offline-Tests führen die Entscheidungslogik mit künstlichen Alerts, Zeitstempeln und lokalen Testdatenbanken aus. Sie prüfen unter anderem:
- die exakte Wartezeitschwelle und die Berücksichtigung von Prometheus
activeAt; - getrennte Objekte, Replikat-Deduplizierung und erneute Episoden;
- Silences, Inhibitions und die Priorität der Digest-Ausnahmen;
- Wiederholungen ohne Zustellbestätigung und die genaue Zuordnung erfolgreicher Läufe;
- beschädigten Zustand, fehlende Datenbanken und atomisches Speichern;
- die deklarierte Job-Konfiguration und den entfernten Secret-Speicherweg.
Im Lab-Checkout lässt sich diese Suite ohne Clusterzugang ausführen:
1python3 -B .taskfiles/k8s/scripts/test-zeroclaw-alert-watch.py
Beim Quellencheck für diesen Beitrag bestanden alle 41 Tests. Das ist ein Nachweis für die getestete Logik und ihre Konfigurationsverträge, nicht für den produktiven Nachrichtenweg.
Zur Betriebsabnahme gehören zusätzlich die geladenen Cron-Einstellungen, die wirksamen Kubernetes-Rechte und eine kontrollierte verschlüsselte Testnachricht. Dabei muss auch der Empfangsclient die Nachricht tatsächlich entschlüsseln können. Ein verlorener Matrix-Kryptozustand lässt sich nicht durch das wiederholte Löschen lokaler Dateien zuverlässig reparieren.
Der Gewinn liegt in der Arbeitsteilung#
ZeroClaw bekommt weniger Verantwortung für die Frage, ob eine dringende Nachricht entsteht. Dafür lässt sich genauer erklären, warum sie entsteht, warum sie wartet und wann eine Wiederholung zulässig ist.
Das Sprachmodell bleibt dort nützlich, wo Beobachtungen in einen verständlichen Zusammenhang gebracht werden müssen. Es muss aber keine Zustellhistorie aus Notizen rekonstruieren und keine Wartezeit aus einem Prompt heraus interpretieren.
Für mich ist das die sinnvollere Form von Automatisierung: feste Regeln für überprüfbare Entscheidungen, KI für begrenzte Einordnung und Menschen für Änderungen am System.
Quellenstand: öffentliche Konfiguration im Lab-Repository
bei d7c0056e vom 17. November 2026. Maßgeblich sind docs/ZEROCLAW.md, alert-watch.py, alert-policy.json, zeroclaw.toml sowie die Monitoring-Rollen und Offline-Tests. Die Änderungen stehen insbesondere in 6365d7b0, 7e72432a, ca4a7827 und d7c0056e. Eine neue Live-Abnahme von RBAC oder Matrix-Zustellung wurde für diesen Beitrag nicht durchgeführt.
