DevOps & Monitoring

Wie Close die CI-Testzeiten von 12 Minuten auf unter drei reduzierte

Close hat die Laufzeit seiner Suite mit 58.000 Tests auf unter drei Minuten reduziert, indem es die statische Testaufteilung durch einen dynamischen Orchestrator und Spot-Instanzen ersetzte.

Illustration der dynamischen Task-Verteilung in einer CI-Pipeline
Für diesen Artikel erstellte Illustration

Automatisch aus dem englischen Original übersetzt.

Das Engineering-Team von Close hat die Laufzeit seiner 58.000 Integrationstests von etwa zwölf Minuten auf unter drei Minuten reduziert. Dieser Leistungssprung wurde erreicht, indem die statische Testverteilung durch ein dynamisches Orchestrierungsmodell ersetzt und Cloud-Spot-Instanzen für Worker-Knoten genutzt wurden.

Was passiert ist

Über ein Jahrzehnt lang verließ sich Close auf deterministische Testaufteilungen, um die wachsende Testsuite zu verwalten. Das Team nutzte Plugins wie pytest-split, um Tests basierend auf historischen Zeitmessdaten auf mehrere parallele Runner aufzuteilen. Während dieser Ansatz die Laufzeiten zunächst im Rahmen hielt, stieß er schließlich an eine Leistungsgrenze. Mit dem Wachstum der Anwendung begannen festkostenintensive Setup-Schritte wie das Laden von Container-Images, das Starten von Datastores und das Sammeln der vollständigen Testsuite die Gesamtlaufzeit zu dominieren. Selbst bei siebzehn parallelen Runnern stabilisierte sich die Wall-Clock-Zeit bei etwa zwölf Minuten, da jeder Runner unabhängig von der Anzahl der tatsächlich ausgeführten Tests umfangreiche Setup-Arbeiten durchführen musste.

Um diese Barriere zu durchbrechen, adoptierte das Team eine Architektur, die von Tools wie currents.dev inspiriert war. Anstatt Tests vorab bestimmten Runnern zuzuweisen, führte man einen zentralen Orchestrator ein. Dieser Orchestrator sammelt Testdateien schnell, ohne den vollständigen Anwendungskontext zu laden. Anschließend verteilt er einzelne Testbatches dynamisch auf einen großen Pool von Workern. Diese Umstellung ermöglichte es, die aufwendigen Setup-Aufgaben effizienter zu skalieren, da Worker nur die spezifischen Tests sammeln und ausführen, die ihnen zugewiesen sind. Das Team optimierte Kosten und Kapazität weiter, indem es vierundfünfzig Spot-Instance-Worker neben zwei On-Demand-Runnern einsetzte, was massive Parallelität ohne prohibitive Ausgaben ermöglichte.

Wichtige Details

  • Die Testsuite enthält nahezu 58.000 Integrationstests, von denen die meisten mit echten Datastores interagieren.
  • Frühere statische Aufteilungsmethoden führten aufgrund fester Setup-Overheads zu einer Laufzeit von zwölf Minuten.
  • Der neue dynamische Orchestrator sammelt Testdateien parallel zum Start der Worker, was die Leerlaufzeit reduziert.
  • Worker nutzen Spot-Instanzen für kosteneffiziente Skalierung, während On-Demand-Runner für kritische Pfade reserviert sind.
  • Die Testsammlung wird optimiert, indem tiefes Herabsteigen in Verzeichnisstrukturen übersprungen und gefundene Dateien als JSON ausgegeben werden.
  • Batches werden nach geschätzter Laufzeit absteigend sortiert, um die Lastverteilung über die Worker hinweg zu verbessern.

Hintergrund

Continuous-Integration-(CI)-Pipelines kämpfen oft mit dem Problem der „Festkosten“. In traditionellen Setups muss jeder parallele Runner die gesamte Anwendungsumgebung, einschließlich Datenbanken und Abhängigkeiten, initialisieren, bevor er seine Teilmenge der Tests ausführt. Wenn die Anzahl der Tests steigt, fügen Teams mehr Runner hinzu, um die Geschwindigkeit beizubehalten. Bleibt jedoch die Setup-Zeit pro Runner konstant, bringt das Hinzufügen weiterer Maschinen nur noch geringe Verbesserungen. Die Gesamtzeit wird dann nicht mehr durch die tatsächliche Testausführung begrenzt, sondern durch den langsamsten Runner und die initiale Setup-Phase.

Dynamische Orchestrierung löst dieses Problem, indem sie die Testsammlung von der Ausführung entkoppelt. Ein leichtgewichtiger Koordinator identifiziert, was getestet werden muss, und weist verfügbaren Workern bei Bedarf Aufgaben zu. Dies ermöglicht es den Workern, früher zu starten und mit dem Testen zu beginnen, da sie nicht den gesamten Codebase vorab parsen müssen. Es ermöglicht auch eine bessere Ressourcennutzung, da idle Worker verbleibende Aufgaben übernehmen können, während andere fertig werden, was den „Straggler“-Effekt verhindert, bei dem ein langsamer Runner die gesamte Pipeline blockiert.

Warum es wichtig ist

Für Teams, die ihre eigene Software betreiben, beeinflusst die CI-Geschwindigkeit direkt die Produktivität der Entwickler und die Häufigkeit der Deployments. Lange Feedback-Schleifen discouragieren häufige Commits und erschweren die Identifizierung der Ursache von Fehlern. Durch die Reduzierung der Testlaufzeit von zwölf Minuten auf unter drei Minuten ermöglicht Close Entwicklern, schneller zu iterieren und Code mit größerem Vertrauen zusammenzuführen. Diese Effizienz ist entscheidend für die Aufrechterhaltung hoher Geschwindigkeit in mittelständischen Unternehmen, wo Engineering-Ressourcen begrenzt sind.

Darüber hinaus zeigt der Wechsel zu Spot-Instanzen, wie architektonische Änderungen die Infrastrukturkosten senken und gleichzeitig die Kapazität erhöhen können. Spot-Instanzen sind deutlich günstiger als On-Demand-Server, können aber unerwartet beendet werden. Indem das System so gestaltet wird, dass es den Verlust von Workern elegant handhabt, können Teams diese Einsparungen nutzen, ohne die Zuverlässigkeit zu opfern. Dieser Ansatz ist besonders relevant für selbst gehostete Umgebungen, in denen Budgetbeschränkungen oft die Möglichkeit einschränken, einfach mehr Hardware für Leistungsprobleme einzusetzen.

Was Sie tun können

  • Auditieren Sie Ihre CI-Pipeline, um Festkosten-Schritte zu identifizieren, die nicht mit der Parallelisierung skalieren.
  • Erwägen Sie die Implementierung eines dynamischen Testverteilers, wenn statische Aufteilung die Laufzeit nicht mehr reduziert.
  • Optimieren Sie die Testsammlung, indem Sie vollständige Anwendungs-Ladungen während der Discovery-Phase vermeiden.
  • Sortieren Sie Testbatches nach geschätzter Dauer, um eine gleichmäßige Arbeitslastverteilung über die Runner hinweg sicherzustellen.
  • Nutzen Sie Spot-Instanzen für nicht-kritische Worker, um die Parallelität innerhalb der Budgetgrenzen zu erhöhen.
  • Instrumentieren Sie Ihre CI-Pipeline mit Tracing-Tools, um die echte End-to-End-Wall-Clock-Zeit zu messen.

Weitere News

Alle News