Die Python Package Index, allgemein bekannt als PyPI, ist ein zentraler Baustein der Python-Community und versorgt Millionen von Entwicklern weltweit täglich mit Software-Paketen. Angesichts seiner Relevanz für den gesamten Python-Ökosystem ist die Zuverlässigkeit von PyPI von äußerster Wichtigkeit – insbesondere wenn es darum geht, die Integrität und Sicherheit der Pakete zu gewährleisten. Eine rigorose Test-Suite stellt sicher, dass Änderungen am Code stabil und fehlerfrei integriert werden. Doch wie bei vielen großen Softwareprojekten wuchs die Test-Pipeline über die Jahre zunehmend zu einem Engpass, der die Entwickler daran hinderte, ihre Arbeit effizient und mit stetiger Rückmeldung durchzuführen. Hier setzt die jüngste Optimierung der PyPI-Test-Suite an, die eine erstaunliche Performance-Steigerung von 81 % erreichte und somit einen neuen Standard in puncto Geschwindigkeit und Effektivität setzte.
Die Herausforderung großer Test-Suiten besteht oft darin, dass mit zunehmender Anzahl und Tiefe der Tests die Ausführungszeit exponentiell steigt. Für PyPI bedeutete das, dass die ursprüngliche Test-Suite im März 2024 etwa 3.900 Tests enthielt und die Ausführung auf einem leistungsfähigen 32-Kern-System insgesamt rund 163 Sekunden dauerte. Während diese Zeit für kontinuierliche Integration (CI) und Qualitätssicherung noch akzeptabel war, sorgte sie für spürbare Verzögerungen im Entwicklungsalltag, insbesondere weil jede Pull-Anfrage die Tests durchlaufen musste. Die Hemmschwelle, Tests regelmäßig und intensiv durchzuführen, stieg entsprechend.
Wesentlich für die Beschleunigung war eine sorgfältige und methodische Herangehensweise, bei der mehrere Komponenten optimiert wurden. Zunächst wurde die Parallelisierung ins Zentrum der Bemühungen gestellt. Das Prinzip der Parallelisierung in der Softwareentwicklung beruht darauf, Aufgaben, die unabhängig voneinander sind, gleichzeitig auszuführen. Tests eignen sich hierfür besonders gut, da sie isoliert ablaufen und keine unerwünschten Wechselwirkungen zwischen einzelnen Fällen entstehen sollten. Für PyPI wurde das Plugin pytest-xdist eingesetzt, das es erlaubt, Tests über mehrere CPU-Kerne parallel zu verteilen.
Mit einer einfachen Konfigurationsänderung in der pytest-Umgebung konnte die Test-Ausführung automatisch die komplette verfügbaren Versorgung an Rechenkernen nutzen. Auf der vorhandenen 32-Kern-Maschine führte dies zu einer dramatischen Reduktion der Laufzeit von ungefähr 191 auf 63 Sekunden – eine Verbesserung von etwa 67 %. Gleichzeitig brachte diese Maßnahme jedoch Herausforderungen mit sich. Tests, die auf eine gemeinsame Datenbank zugriffen, mussten so angepasst werden, dass jede parallele Testinstanz ihre eigene isolierte Datenbank verwendete. Dadurch wurde verhindert, dass parallele Prozesse sich gegenseitig beeinflussten oder Daten inkonsistent waren.
Ferner musste die Berichterstattung über die Testabdeckung während der parallelen Ausführung aufwendig geregelt werden, da jeder Prozess eigene Abdeckungsdaten sammelt. Mit ergänzenden Mechanismen konnte dieses Problem jedoch elegant behoben werden. Nicht weniger wichtig war die Verbesserung der Messung der Testabdeckung. Diese ist fundamental, um sicherzustellen, dass kritische Bereiche des Codes von Tests erfasst und abgedeckt werden. Die herkömmlichen Verfahren zur Überwachung der Code-Abdeckung führten jedoch zu einem spürbaren Overhead und damit zu längeren Testzeiten.
Dank der Einführung von Python 3.12 und des darin enthaltenen neuen sys.monitoring-APIs konnte Warehouse, der Backend-Dienst von PyPI, diese Überwachung deutlich effizienter gestalten. Ein einfacher Umgebungsvariablenwechsel ermöglichte die Nutzung dieses neuen, ressourcenschonenden Überwachungsmechanismus. Die Auswirkungen waren beeindruckend: Die Laufzeit halbierte sich nahezu von 58 auf 27 Sekunden.
Die zeitnahe Adaption neuer Python-Versionen stellt hier einen klaren Wettbewerbsvorteil dar, da modernste Technologien ohne Umwege Einzug in bestehende Anwendungen finden konnten. Ein wesentlicher Faktor für die Test-Ausführungszeit ist auch die sogenannte Testentdeckung – die Phase, in der Pytest alle Tests im Projektverzeichnis identifiziert, analysiert und für die Ausführung vorbereitet. Ursprünglich dauerte dieser Vorgang bei PyPI über sechs Sekunden, was angesichts der restlichen Testzeit eine beachtliche Verzögerung darstellte. Mithilfe der gezielten Konfiguration der testpaths-Option in Pytest wurde der Suchraum für Tests auf relevante Verzeichnisse begrenzt. Diese einfache Änderung reduzierte die Testentdeckungszeit um 66 % und trug zu einer weiteren Verfeinerung der Gesamtperformance bei.
Ein oft unterschätzter Engpass in komplexen Testumgebungen sind lange Importzeiten von Modulen, die während der Testausführung tatsächlich gar nicht benötigt werden. Bei PyPI fiel ins Gewicht, dass das Modul ddtrace, das vornehmlich zur Produktionsüberwachung dient, ausnahmslos bei jedem Teststart geladen wurde. Durch die Deinstallation und Entfernung dieses Moduls konnte die Startzeit von Pytest um mehr als eine Sekunde verkürzt werden, was einer relativen Einsparung von über drei Prozent in der Gesamt-Testlaufzeit entspricht. Zwar mag dieser Effekt im Vergleich zu Parallelisierung und Coverage-Optimierung gering erscheinen, dennoch ist er ein Beispiel dafür, wie viele kleine Verbesserungen zusammengenommen einen spürbaren Unterschied bewirken. Ein weiterer vielversprechender Ansatz betraf die Migration der relationalen Datenbank, die von Warehouse für Testzwecke genutzt wird.
Die Datenbank wird kontinuierlich weiterentwickelt, was sich in der Summe von über 400 Migrationsskripten widerspiegelt. Jeder Test-Worker musste diese vollständige Migrationshistorie beim Start durchlaufen – eine Prozedur, die ungefähr eine Sekunde pro Worker in Anspruch nahm. Um diese Verzögerung zu reduzieren, wurde ein Experiment durchgeführt, bei dem die Migrationshistorie auf eine einzige „zusammengefasste“ Migration reduziert, also „squashed“, wurde. Tests wurden so konfiguriert, dass sie diese vereinfachte Migration nutzen, während die Produktion weiterhin die vollständige Historie mit allen Details einsetzte. Obwohl das Experiment eine signifikante Verbesserung von bis zu 13 % in der Testlaufzeit brachte, entschieden sich die Verantwortlichen gegen eine Integration in den Hauptcode.
Die erhöhte Komplexität in Wartung und Entwicklung erschien höher gewichtet als die reine Geschwindigkeitserhöhung. Dieses Beispiel verdeutlicht einen essenziellen Gesichtspunkt in der Softwareentwicklung: Optimierung endet nicht bei reinen Metriken wie Laufzeiten, sondern berücksichtigt auch langfristige Stabilität und Kosten. Die Summe der durchgeführten Optimierungen führte zu einer dramatischen Verkürzung der Testlaufzeit von ursprünglich 163 auf nur noch 30 Sekunden, während die Zahl der Tests von rund 3.900 auf über 4.700 anstieg.
Diese Fortschritte förderten nicht nur eine schnellere Entwicklerproduktivität, sondern spiegeln auch eine verbesserte Sicherheit wider. Denn eine schnelle Test-Suite erleichtert das regelmäßige Durchführen von Tests und sorgt dafür, dass Fehler schneller erkannt und behoben werden können. Damit trägt die Performance-Verbesserung direkt zur Erhöhung der Softwarequalität und zur Minimierung potenzieller Sicherheitsrisiken bei. Für andere Python-Projekte bietet das PyPI-Beispiel wertvolle Anleitungen, wie sich Testläufe mit verhältnismäßig geringem Aufwand beschleunigen lassen, ohne Kompromisse bei der Testtiefe oder -validität einzugehen. Die Kombination von Parallelisierung, moderner Coverage-Technologie, gezielter Testentdeckung und dem Entfernen unnötiger Importe sind bewährte Praktiken, die im Allgemeinen auf viele Projekte übertragbar sind.
