DevOps et supervision

Comment Close a réduit les temps d'exécution des tests CI de 12 minutes à moins de trois

Close a réduit le temps d'exécution de sa suite de 58 000 tests à moins de trois minutes en remplaçant la répartition statique des tests par un orchestrateur dynamique et des instances spot.

Illustration de la distribution dynamique des tâches dans un pipeline CI
Illustration créée pour cet article

Traduit automatiquement depuis l’original en anglais.

L'équipe d'ingénierie de Close a réduit le temps d'exécution de ses 58 000 tests d'intégration d'environ douze minutes à moins de trois minutes. Ce gain de performance a été obtenu en remplaçant la distribution statique des tests par un modèle d'orchestration dynamique et en exploitant des instances spot cloud pour les nœuds de travail.

Ce qui s'est passé

Pendant plus d'une décennie, Close s'est appuyée sur une répartition déterministe des tests pour gérer sa suite de tests croissante. L'équipe utilisait des plugins comme pytest-split pour diviser les tests entre plusieurs exécuteurs parallèles basés sur des données historiques de temps d'exécution. Bien que cette approche ait initialement permis de maintenir des temps d'exécution gérables, elle a finalement atteint un plafond de performance. À mesure que l'application grandissait, les étapes de configuration à coût fixe telles que le téléchargement des images de conteneurs, le démarrage des bases de données et la collecte de la suite de tests complète ont commencé à dominer le temps d'exécution total. Même avec dix-sept exécuteurs parallèles, le temps réel (wall-clock time) s'est stabilisé autour de douze minutes car chaque exécuteur devait effectuer une lourde tâche de configuration, quel que soit le nombre de tests qu'il exécutait réellement.

Pour franchir ce obstacle, l'équipe a adopté une architecture inspirée d'outils comme currents.dev. Au lieu de pré-attribuer les tests à des exécuteurs spécifiques, ils ont introduit un orchestrateur central. Cet orchestrateur collecte rapidement les fichiers de test sans charger le contexte complet de l'application. Il distribue ensuite dynamiquement des lots individuels de tests à un grand pool de travailleurs. Ce changement a permis aux tâches lourdes de configuration de passer à l'échelle plus efficacement, car les travailleurs ne collectent et n'exécutent que les tests spécifiques qui leur sont attribués. L'équipe a encore optimisé les coûts et la capacité en utilisant cinquante-quatre travailleurs d'instances spot aux côtés de deux exécuteurs à la demande, atteignant ainsi un parallélisme massif sans dépenses prohibitives.

Détails clés

  • La suite de tests contient près de 58 000 tests d'intégration, dont la plupart interagissent avec de vraies bases de données.
  • Les méthodes précédentes de répartition statique entraînaient un temps d'exécution de douze minutes en raison des frais fixes de configuration.
  • Le nouvel orchestrateur dynamique collecte les fichiers de test en parallèle avec le démarrage des travailleurs, réduisant ainsi le temps d'inactivité.
  • Les travailleurs utilisent des instances spot pour une mise à l'échelle rentable, les exécuteurs à la demande étant réservés aux chemins critiques.
  • La collecte des tests est optimisée en évitant la descente profonde dans les fichiers et en sortant les fichiers découverts au format JSON.
  • Les lots sont triés par ordre décroissant selon le temps d'exécution estimé pour améliorer l'équilibrage de charge entre les travailleurs.

Contexte

Les pipelines d'Intégration Continue (CI) souffrent souvent du problème des « coûts fixes ». Dans les configurations traditionnelles, chaque exécuteur parallèle doit initialiser l'environnement d'application entier, y compris les bases de données et les dépendances, avant d'exécuter son sous-ensemble de tests. À mesure que le nombre de tests augmente, les équipes ajoutent plus d'exécuteurs pour maintenir la vitesse. Cependant, si le temps de configuration reste constant par exécuteur, l'ajout de machines supplémentaires offre des rendements décroissants. Le temps total devient limité par l'exécuteur le plus lent et la phase de configuration initiale plutôt que par l'exécution réelle des tests.

L'orchestration dynamique résout cela en dissociant la collecte des tests de leur exécution. Un coordinateur léger identifie ce qui doit être testé et fournit du travail aux travailleurs disponibles à la demande. Cela permet aux travailleurs de démarrer et de commencer les tests plus tôt, car ils n'ont pas besoin d'analyser l'ensemble du code source au préalable. Cela permet également une meilleure utilisation des ressources, car les travailleurs inactifs peuvent prendre en charge les tâches restantes pendant que d'autres terminent, empêchant ainsi l'effet « traînard » où un exécuteur lent retarde l'ensemble du pipeline.

Pourquoi c'est important

Pour les équipes développant leurs propres logiciels, la vitesse de la CI impacte directement la productivité des développeurs et la fréquence des déploiements. Des boucles de rétroaction longues découragent les commits fréquents et rendent plus difficile l'identification de la cause des échecs. En réduisant le temps d'exécution des tests de douze minutes à moins de trois, Close permet aux développeurs d'itérer plus rapidement et de fusionner le code avec une plus grande confiance. Cette efficacité est cruciale pour maintenir une haute vélocité dans les entreprises de taille moyenne où les ressources d'ingénierie sont limitées.

De plus, le passage aux instances spot démontre comment les changements architecturaux peuvent réduire les coûts d'infrastructure tout en augmentant la capacité. Les instances spot sont considérablement moins chères que les serveurs à la demande mais peuvent être interrompues de manière inattendue. En concevant le système pour gérer gracieusement la perte de travailleurs, les équipes peuvent tirer parti de ces économies sans sacrifier la fiabilité. Cette approche est particulièrement pertinente pour les environnements auto-hébergés où les contraintes budgétaires limitent souvent la possibilité de simplement ajouter plus de matériel pour résoudre les problèmes de performance.

Ce que vous pouvez faire

  • Auditez votre pipeline CI pour identifier les étapes à coût fixe qui ne passent pas à l'échelle avec la parallélisation.
  • Envisagez d'implémenter un distributeur dynamique de tests si la répartition statique ne réduit plus le temps d'exécution.
  • Optimisez la collecte des tests en évitant les chargements complets de l'application lors de la phase de découverte.
  • Triez les lots de tests par durée estimée pour assurer une répartition uniforme de la charge de travail entre les exécuteurs.
  • Utilisez des instances spot pour les travailleurs non critiques afin d'augmenter le parallélisme dans les limites budgétaires.
  • Instrumentez votre pipeline CI avec des outils de traçage pour mesurer le vrai temps réel end-to-end.

Autres actualités

Toutes les actualités