Ein Cluster kann im Verbrauchsdiagramm entspannt aussehen und trotzdem keinen Platz für den nächsten Pod haben. Der Scheduler entscheidet nicht anhand des gerade freien Arbeitsspeichers. Er muss den deklarierten Ressourcenbedarf auf einem geeigneten Node unterbringen.
Im Beitrag über VPA und Goldilocks
ging es darum, diese Requests nicht länger zu erraten. Der nächste Schritt war weniger bequem: Die Empfehlungen in reale Konfiguration zu übersetzen machte sichtbar, wie knapp die Worker bereits geplant waren. Im November blieb der CI-Broker nach einem Recreate-Rollout in Pending, während das bisherige clusterweite Monitoring keinen passenden Hinweis lieferte.
Daraus wurde mehr als eine Runde neuer Zahlen in YAML-Dateien. Requests, Limits, Node-Platzierung und Rollout-Reserve mussten gemeinsam betrachtet werden.
Drei Zahlen, drei unterschiedliche Aussagen#
Eine wichtige Präzisierung zum Einstieg des früheren Artikels: Ein niedriger Request allein löst weder CPU-Limit-Throttling noch einen Container-Limit-OOM aus. Diese Mechanismen haben unterschiedliche Ursachen.
| Größe | Bedeutung | Typische Frage |
|---|---|---|
| Request | Für das Scheduling angesetzter Bedarf; bei CPU auch Gewicht unter Konkurrenz | Passt der Pod auf einen geeigneten Node? |
| Limit | Obergrenze; die Wirkung hängt von der Ressource ab | Wird der Container gedrosselt oder bei Speichermangel beendet? |
| Gemessener Verbrauch | Tatsächliche Nutzung in einem bestimmten Zeitfenster | Was braucht die Anwendung im Alltag und unter Last? |
Ein CPU-Limit kann zu Throttling führen, obwohl auf dem Node grundsätzlich noch CPU verfügbar wäre. Ein Memory-Limit kann einen OOM-Kill auslösen, wenn der Container darüber hinaus Speicher benötigt. Unter Speicherdruck auf dem gesamten Node kommen weitere Mechanismen wie Evictions hinzu; Requests und QoS beeinflussen dabei die Bewertung.
Ein zu kleiner Request kann also dazu beitragen, einen Node zu dicht zu belegen. Das ist aber ein anderer Zusammenhang als eine zu niedrige Container-Obergrenze. Wer beides unter „mehr Memory geben“ zusammenfasst, korrigiert leicht die falsche Zahl.
Ein vereinfachter Ausschnitt könnte so aussehen:
1resources:
2 requests:
3 cpu: 250m
4 memory: 512Mi
5 limits:
6 cpu: "2"
7 memory: 1Gi
Der Scheduler plant diesen Container mit 250m CPU und 512Mi Speicher ein. Das Memory-Limit von 1Gi wird dadurch nicht vollständig für ihn reserviert. Er kann mehr als seinen Request nutzen, solange die Laufzeitbedingungen das zulassen. Ob diese Werte sinnvoll sind, lässt sich aus dem YAML allein nicht ablesen.
Empfehlungen wurden zu Änderungen#
Die November-Runde hatte mehrere Ausgangspunkte. Einige Container hatten zu niedrige Speicherlimits und dokumentierte OOMs. Bei anderen lagen die Requests deutlich unter den VPA-Empfehlungen. Wieder andere hatten noch gar keine passenden Ressourcenangaben.
Das sind drei verschiedene Aufgaben:
- Ein Limit korrigieren: den tatsächlich benötigten Arbeitsbereich ermöglichen, ohne die Obergrenze unbegründet aufzuheben.
- Einen Request korrigieren: dem Scheduler ein realistischeres Bild des erwarteten Bedarfs geben.
- Fehlende Angaben ergänzen: eine bislang nicht oder nur durch Defaults erfasste Last ausdrücklich einplanen.
Die Historie dokumentiert beispielsweise eine OOM-bezogene Anpassung eines CI-Sidecars sowie höhere Requests für mehrere dauerhafte Dienste. Sie zeigt keine pauschale Regel, sämtliche Goldilocks-Zielwerte unverändert zu übernehmen.
VPA bleibt im Empfehlungsmodus. Der Recommender schreibt seine Ergebnisse in den Status der VPA-Objekte; Goldilocks verwaltet die zugehörigen Objekte und macht die Empfehlungen lesbar. Die Komponenten sind also nicht im wörtlichen Sinn rein lesend. Entscheidend ist, dass sie in diesem Aufbau keine Pod-Ressourcen automatisch ändern und keine Pods zur Umsetzung der Empfehlungen entfernen.
Die Übernahme läuft weiter über Git und Flux. Damit bleibt nachvollziehbar, welche Empfehlung berücksichtigt wurde und welche Abwägung zwischen Laufzeitbedarf, Limits und verfügbarer Kapazität dahinterstand.
Realistischere Requests schaffen keinen neuen Speicher#
Wenn bisher zu kleine Requests erhöht werden, wird ein Cluster aus Sicht des Schedulers voller. Die Anwendung muss dafür keinen zusätzlichen Speicher verbrauchen. Die Planung bildet lediglich einen Bedarf ab, der zuvor bereits existierte, aber zu niedrig deklariert war.
Damit erklärt sich ein zunächst widersprüchlicher Eindruck: Right-Sizing kann die Laufzeit stabilisieren und gleichzeitig Rollouts erschweren.
Ein vereinfachtes Beispiel zeigt außerdem, warum die Summe über den Cluster nicht reicht:
| Node | Allocatable Memory | Bereits verplante Requests | Verbleibend |
|---|---|---|---|
| Worker A | 8 GiB | 7,25 GiB | 0,75 GiB |
| Worker B | 8 GiB | 6,75 GiB | 1,25 GiB |
| Gesamt | 16 GiB | 14 GiB | 2 GiB |
Ein neuer Pod mit 1,5 GiB effektivem Speicherbedarf passt hier auf keinen der beiden Nodes. Dass insgesamt 2 GiB übrig sind, hilft ihm nicht. Ein einzelner Pod wird nicht über mehrere Nodes verteilt.
Zusätzlich können Taints, Affinity, Architektur, Storage-Topologie oder feste Node-Selektoren die Kandidaten einschränken. Für einen Pod, der nur auf Worker A laufen darf, ist die freie Kapazität auf Worker B ohnehin keine Reserve.
Die sinnvolle Frage lautet deshalb: Wie viel Kapazität bleibt auf den Nodes, auf denen dieser konkrete Workload tatsächlich laufen kann?
Requests pro Node sichtbar machen#
Das bisherige clusterweite Overcommit-Signal erfasste den dokumentierten CI-Stillstand nicht ausreichend. Die ergänzten Regeln betrachten deshalb die verplanten Requests relativ zu allocatable pro Node:
NodeMemoryRequestsHigh: mehr als 90 Prozent für 15 Minuten;NodeMemoryRequestsCritical: mehr als 97 Prozent für 15 Minuten;NodeCpuRequestsHigh: mehr als 90 Prozent für 15 Minuten.
Der Nenner ist bewusst nicht der gesamte physische Speicher. Allocatable beschreibt die Kapazität, die Kubernetes für Pods zur Verfügung stellt, nachdem die entsprechenden Reserven berücksichtigt wurden.
Die Memory-Berechnung verwendet derzeit diese Form:
1100 * sum by (node) (
2 kube_pod_container_resource_requests{resource="memory",container!=""}
3 * on (namespace,pod) group_left (node) kube_pod_info
4 * on (namespace,pod) group_left () (
5 kube_pod_status_phase{phase=~"Running|Pending"} == 1
6 )
7)
8/ sum by (node) (
9 kube_node_status_allocatable{resource="memory"}
10)
Die Query ist für die lokale Cluster-Sicht geschrieben. Wer sie auf föderierte oder anderweitig duplizierte Zeitreihen überträgt, muss Clusteridentität und Eindeutigkeit der Joins zusätzlich berücksichtigen.
Warum die Pod-Phase wichtig ist#
Kube-state-metrics kann Ressourcenangaben bereits beendeter Pods weiter liefern, solange deren Objekte existieren. Bei aufbewahrten CronJob-Pods entstehen dadurch schnell beeindruckende Summen, die keine aktuelle Scheduling-Belegung beschreiben.
Der Join auf Running|Pending schließt terminale Pods aus. In der dokumentierten Fehleranalyse war genau diese Unterscheidung nötig, um einen stark überhöhten Rohwert zu vermeiden.
Pending bedeutet dabei nicht automatisch „noch keinem Node zugewiesen“. Ein Pod kann bereits einen Node haben und trotzdem auf Images oder Volumes warten. Ein wirklich unzugewiesener Pod trägt hingegen nicht zur Belegung eines konkreten Nodes bei. Eine solche Request-Quote ersetzt daher keinen Alert auf blockierte Workloads.
Ein Warnsignal, kein vollständiger Scheduler-Nachbau#
Die Query summiert Container-Requests. Sie bildet nicht alle Details der effektiven Pod-Anforderung ab, etwa die besondere Berechnung für Init-Container, Pod-Overhead oder zusätzliche Ressourcenmechanismen. Auch Volume-Verfügbarkeit und Placement-Regeln fehlen in dieser Prozentzahl.
Für genaue Kapazitätsmodelle sind die vom Scheduler erfassten Pod-Anforderungen und seine tatsächlichen Entscheidungen die bessere Grundlage. Die vorhandene Regel beantwortet eine engere Frage: Wird ein Node nach den erfassten Container-Requests so dicht belegt, dass zusätzlicher Spielraum knapp wird?
Auch die Schwellenwerte sind keine allgemeine Sicherheitsgarantie. Auf einem kleinen Node können zehn Prozent Reserve weniger sein, als der nächste Pod benötigt. Bei großen Pods ist die absolute freie Menge oft aussagekräftiger als der Prozentsatz.
Ein Rollout braucht ebenfalls Platz#
Bei einem Rolling Update können alte und neue Pods gleichzeitig existieren. Das gewünschte maxSurge muss daher in die Kapazitätsplanung passen. Ein Deployment, das im Normalbetrieb gerade noch hineinpasst, ist nicht automatisch ohne Unterbrechung aktualisierbar.
Recreate vermeidet diese geplante Überlappung, indem es zuerst die alten Pods beendet. Es reserviert dadurch aber keinen sicheren Platz für den Ersatz. Andere Workloads können die frei werdende Kapazität beanspruchen; neue Requests oder Placement-Regeln können die Situation zusätzlich verändern.
Beim dokumentierten CI-Vorfall wurde das besonders deutlich: Der alte Pod war weg, der neue blieb Pending, und der Dienst stand still. Das war kein Beleg für hohen aktuellen CPU-Verbrauch. Es war ein Problem des verfügbaren Scheduling-Spielraums.
maxSurge zu reduzieren oder auf Recreate umzuschalten ist deshalb keine neutrale Optimierung. Man tauscht unter Umständen Update-Verfügbarkeit gegen geringeren gleichzeitigen Ressourcenbedarf. Bei einer einzelnen Replik muss diese Unterbrechung bewusst akzeptiert werden.
Der freie Control-Plane-Node hatte eine andere Grenze#
Als nächster Schritt lag es nahe, einige Workloads auf den weniger belegten Control-Plane-Node zu verschieben. CPU und Memory sahen dafür passend aus. Der erste Versuch betraf jedoch auch Anwendungen mit Ceph-PVCs.
Dort fehlte die notwendige Rook-CSI-Abdeckung. Damit war der Node zwar als Rechenkapazität interessant, aber für diese Volumes nicht nutzbar. Die Änderung wurde zurückgerollt.
Der zweite Versuch beschränkte sich auf PVC-freie Komponenten: Konverter und Gateway aus dem Paperless-Umfeld sowie ausgewählte Monitoring- und Dashboard-Workloads. Der Control-Plane-Taint blieb bestehen; nur die ausgewählten Deployments erhielten passende Platzierung und Toleration.
Das zeigt einen wichtigen Unterschied zwischen „hat keinen eigenen persistenten Datenträger“ und „ist unabhängig“. Ein Konverter kann ohne PVC laufen und trotzdem von anderen Diensten abhängen. Auch seine CPU- und Speicherlast konkurriert auf diesem Node mit API-Server und etcd.
Control-Plane-Kapazität ist deshalb keine beliebig verfügbare Restfläche. Ein solcher Umzug braucht sowohl eine Storage-Prüfung als auch ein Budget für den Kubernetes-Betrieb selbst. Für andere Cluster kann eine zusätzliche Worker-Kapazität die deutlich bessere Entscheidung sein.
Auch kleine Ressourcenänderungen brauchen ein Rendering#
Eine weitere Korrektur betraf Velero. Der neue resources-Block war zunächst im falschen Helm-Values-Bereich gelandet. Dadurch wurde nicht nur eine Einstellung ignoriert: Die Struktur der Backup-Storage-Konfiguration wurde beschädigt, und das gerenderte Deployment enthielt einen ungültigen Ressourcenpfad.
Die Reparatur verschob resources auf die vom Chart erwartete Ebene und stellte die Zuordnung der übrigen Werte wieder her.
YAML-Syntaxprüfung hätte das allein nicht zuverlässig gefunden. Ein syntaktisch gültiges Mapping kann für ein bestimmtes Chart semantisch falsch sein. Nach einer Ressourcenänderung muss deshalb der tatsächlich erzeugte PodSpec kontrolliert werden – einschließlich der Bereiche, die durch Einrückung oder Post-Renderer unbeabsichtigt verändert worden sein könnten.
Dasselbe gilt für Operatoren. Ein korrigiertes Limit am Anwendungscontainer hilft nicht, wenn der vorgeschaltete Ingress-Agent weiter mit seinem zu kleinen Default läuft. Die Historie enthält auch dafür eine separate, OOM-bezogene Ressourcenanpassung.
Ein brauchbarer Ablauf für die nächste Runde#
Ich würde die Arbeit in fünf Prüfungen aufteilen:
- Laufzeitbedarf verstehen. Repräsentative Last, Startphasen, größere Imports und Nebencontainer berücksichtigen. Ein niedriger Idle-Wert ist keine belastbare Kapazitätsplanung.
- Requests und Limits getrennt begründen. Empfehlung, beobachtete Spitzen und gewünschte Fehlergrenzen nicht zu einer einzigen Zahl zusammenziehen.
- Platzierung rechnen. Geeignete Nodes, Rollout-Reserve, Taints und Storage-Abdeckung gemeinsam prüfen.
- Gerenderte Ressourcen kontrollieren. Nicht nur Values-Dateien, sondern die daraus entstehenden Deployments und PodSpecs vergleichen.
- Nach der Änderung beobachten. Scheduling-Events, Restarts, Throttling, OOMs und Request-Reserve erneut ansehen.
Für die Diagnose eines einzelnen Pods reichen zunächst lesende Abfragen. Die Namen im Beispiel sind Platzhalter:
1kubectl --context lab-example -n example describe pod worker-demo-0
2kubectl --context lab-example describe node worker-a
3kubectl --context lab-example top nodes
4kubectl --context lab-example -n example top pods --containers
describe pod liefert den konkreten Blockierungsgrund und die Events. describe node zeigt unter anderem die zugeordneten Ressourcen. top ergänzt den aktuellen Verbrauch, benötigt aber eine funktionierende Metrics-API und ersetzt weder Historie noch Scheduler-Diagnose.
Die richtige Änderung folgt aus dieser Kombination. „Node sieht leer aus“ und „VPA empfiehlt mehr“ sind jeweils nützliche Beobachtungen, aber noch keine vollständige Entscheidung.
Right-Sizing endet nicht am Container#
Goldilocks hat das Raten reduziert. Die November-Arbeit zeigte, was danach kommt: Realistischere Requests müssen auf die vorhandenen Nodes passen, Updates brauchen Reserve, und ein freier Node muss auch die benötigten Volumes bedienen können.
Der Fortschritt besteht daher nicht darin, möglichst viele Werte zu verkleinern oder jede Empfehlung zu übernehmen. Er besteht darin, Laufzeitstabilität und planbare Platzierung gemeinsam zu verbessern. Dazu gehören passende Limits ebenso wie freie Kapazität, die für den nächsten Rollout tatsächlich nutzbar ist.
Quellenstand: Lab-Repository
bei d7c0056e vom 17. November 2026. Die beschriebenen Änderungen und Vorfälle sind in da3b7b17, b6a355a0, 5b09a492, e66ba35b, 6e6639bf, db2d54ae und 8affd1c4 dokumentiert. Die Alert-Regeln stehen in prometheusrules.yaml der gemeinsamen kube-prometheus-stack-Konfiguration. Die Beispielrechnung ist illustrativ; aktuelle Live-Messungen wurden für diesen Beitrag nicht erhoben.
