In der modernen Softwareentwicklung spielt nebenläufige Programmierung eine immer bedeutendere Rolle, vor allem bei Systemen, die riesige Datenmengen in Echtzeit verarbeiten müssen. Die effiziente Handhabung von Parallelität und Synchronisation ist dabei entscheidend für die Performance und Stabilität eines Systems. Doch gerade an dieser Stelle verbergen sich oft komplexe Fallstricke, die selbst erfahrene Entwickler vor große Herausforderungen stellen können. Ein Paradebeispiel dafür liefert ein Vorfall aus der Praxis bei Conviva, einem Anbieter von Streaming-Analyse-Plattformen, bei dem ein scheinbar harmloser Atomic Counter eine komplette Datenverarbeitungspipeline zum Stillstand brachte. Dieses Beispiel verdeutlicht anschaulich, wie wichtig der richtige Umgang mit nebenläufigen Datenstrukturen und Hardware-bezogenen Effekten wie Cache-Kohärenz für den Erfolg von Systemen in großem Maßstab ist.
Die Ausgangssituation zeichnete sich dadurch aus, dass am 2. Februar die Latenzzeit der Analysepipeline bei nur einem Kunden extrem anstieg. Die Plattform von Conviva verarbeitet täglich bis zu fünf Billionen Ereignisse und arbeitet mit einem DAG-basierten (Directed Acyclic Graph) Analyse-Engine, der auf einem eigenen Actor-Modell aufbaut und Tokio als asynchronen Runtime nutzt. Jeder Kunde hat dabei eine individuell kompilierte DAG, die parallel und unabhängig abläuft. Trotz dieser Architektur kam es plötzlich zu enormen Verzögerungen mit einer erheblichen Erhöhung der P99-Latenz.
Die anfängliche Analyse vermeinte schnell offensichtliche Ursachen wie Probleme bei der Wasserzeichenerkennung oder ungenaue Metrikdaten ausschließen zu können. Auch die spezielle Aufgabenplanung im Tokio-Runtime, etwa das Scheduling von Tasks auf physischen Threads, oder potenzielle Engpässe bei den HDFS-Dateischreibvorgängen konnten als Ursache ausgeschlossen werden. Dennoch stiegen die Kontextwechsel signifikant an – ein Signal, das auf eine intensive Thread-Koordination hinwies, ohne aber die eigentliche Wurzel zu offenbaren. Ein entscheidender Durchbruch erfolgte, als man das Szenario in einer isolierten Testumgebung mittels Performance-Analyse nachstellen konnte. Dort zeigte sich zwar ein Anstieg der aktiven Sitzungen, doch der Durchsatz der Verarbeitung blieb trotz sinkender Session-Anzahl gedämpft.
Dieses Verhalten richtete den Fokus auf den Kern der Anwendung, also die Grafik-basierten Berechnungen im DAG-Compiler und der Engine, als zentralen Flaschenhals. Die tiefere Analyse mit Flamegraphs förderte einen besonders heißen Pfad zutage, der signifikant in die Gesamtprozesszeit eingriff. Im Mittelpunkt stand dabei ein Aufruf von AtomicUsize::fetch_sub, der von der Erstellung und Freigabe eines ReadGuard in Flashmap ausgelöst wurde. Flashmap ist eine nebenläufig zugängliche Hashmap, die als global geteilter Typ-Registry im gesamten System diente. Interessanterweise ist dieser Registry fast ausschließlich lesend genutzt, da sie bei Systemstart initialisiert wird und Schreibzugriffe nur sehr selten und inkrementell während der Laufzeit erfolgen.
Diese Entdeckung führte zu einer bedeutenden Erkenntnis: Obwohl die Hashmap hauptsächlich gelesen wurde, ergaben sich an der kritischen Stelle atomare Inkrement- und Dekrement-Operationen für die Referenzzählung der ReadGuards. Diese Operationen lösten massive Cache-Kohärenz-Prozesse aus, weil jeder Thread beständig auf denselben atomaren Zähler zugriff und so der Cacheline-„Ping-Pong“-Effekt zwischen den CPU-Kernen eskalierte. Das Ergebnis war ein drastischer Performance-Einbruch durch den Overhead der Synchronisation und die mögliche Erhöhung der Kontextwechsel. Der Versuch, Flashmap durch Dashmap zu ersetzen – eine alternative Sharding-basierte Concurrent Hashmap – brachte überraschenderweise keine Verbesserung. Im Gegenteil, die Performance verschlechterte sich sogar weiter.
Dies unterstreicht, dass die Wahl der Datenstruktur und des Synchronisationsmechanismus stark vom Nutzungsmuster und der Systemarchitektur abhängt. Dashmap verwendet Shards mit eigenen RWLocks, was bei hoher Schreiblast oder bestimmten Zugriffsmustern hilfreich sein kann, aber in einem fast ausschließlich leseorientierten Szenario mit minimalen Schreibzugriffen nicht zwingend die optimale Lösung darstellt. Der Wendepunkt kam mit der Einführung von ArcSwap, einer Mechanik, die auf dem Read-Copy-Update-Prinzip (RCU) basiert. ArcSwap ermöglicht es, Referenzen auf Objekte atomar auszutauschen, ohne dass Leser gesperrt werden. Während bei klassischen Concurrent Hashmaps die Zugriffe auf geteilte Zähler für Leser und Schreiber zu zusätzlicher Synchronisation und Cache-Kohärenz führen, arbeiten Leser bei ArcSwap komplett lockfrei.
Schreiber erstellen eine neue Version der Datenstruktur und tauschen diese atomar gegen die alte aus, wobei die alte Instanz erst dann freigegeben wird, wenn alle Leser, die noch von ihr abhängen, beendet sind. Diese Methode ähnelt dem Snapshot-Mechanismus in Datenbanken mit Multi-Version Concurrency Control (MVCC). Sie bietet den Vorteil, dass Leser im Gegensatz zu klassischen Lock-basierten Zugriffsverfahren keinerlei Verzögerungen durch Sperrmechanismen erfahren und Schreiber trotzdem konsistente Updates durchführen können. Etwaige Kosten für das Erzeugen einer neuen Instanz bei jeder Änderung sind vor allem dann gerechtfertigt, wenn die Datenstruktur überwiegend lesend genutzt wird und Schreibzugriffe selten auftreten – genau wie in dem beschriebenen Fall bei Conviva. Die Einführung von ArcSwap führte zu einer messbaren Reduzierung der CPU-Auslastung und beseitigte den zuvor beobachteten Performance-Engpass.
Die Anzahl der Kontextwechsel verringerte sich drastisch, was die vermuteten Zusammenhänge auf Hardware- und Betriebssystemebene bestätigte. Die bisherigen Atomic-Counter-basierten Implementierungen hatten durch ihre Notwendigkeit ständiger Updates der gemeinsamen Zähler variable Kosten in Form von Cacheline-Invalidationen verursacht und so den gesamten Ablauf gebremst. Aus den Erfahrungen resultiert eine grundlegende Erkenntnis für Softwareentwickler und Architekten, die nebenläufige Systeme bauen: Die Wahl der Synchronisationsmechanismen und Datenstrukturen muss unbedingt zur Arbeitslast und zum Lese-Schreib-Muster passen. Nicht jedes hochparallele Werkzeug eignet sich automatisch für jeden Anwendungsfall. Verwaltet man fast ausschließlich lesende Zugriffe auf kleine, selten aktualisierte Datensätze, kann ein RCU-ähnlicher Ansatz mit ArcSwap oder vergleichbaren Konzepten deutlich effizienter und skalierbarer sein als typische Concurrent Datenstrukturen, die auf Zählern und Locks basieren.
Weiterhin unterstreicht der Vorfall die Bedeutung, sich auch mit den tieferliegenden Aspekten der Hardware-Architektur auseinanderzusetzen. Cache-Kohärenz-Protokolle und deren Auswirkungen auf parallele Counter und shared Memory können Performance-Engpässe verursachen, die man auf der Softwareebene leicht übersieht. Der sogenannte „Ping-Pong“-Effekt von Cachelines zwischen CPU-Kernen ist ein hochkomplexes und häufig vernachlässigtes Thema, das sich im großen Maßstab massiv auswirken kann. Darüber hinaus zeigt sich in der Debugging-Strategie bei Conviva ein wichtiges Muster: Die Reproduktion des Fehlers in einer isolierten Testumgebung sowie die Nutzung fortschrittlicher Analysewerkzeuge wie Flamegraphs und Profiling-Tools waren entscheidend, um tief im System verborgen liegende Probleme aufzudecken. Die Kombination aus Überwachung, detaillierter Performance-Analyse und fundiertem Wissen über Nebenläufigkeit führte schließlich zur nachhaltigen Behebung des Problems.
Ausblickend kann man festhalten, dass nebenläufige Systeme eine sorgfältige Planung auf mehreren Ebenen benötigen. Neben dem Algorithmus und den Datenstrukturen müssen Entwickler die Hardware-Realität und die parallelen Zugriffsverhältnisse verstehen. Nur so lassen sich schwer fassbare Concurrency-Fallen vermeiden. Für Entwickler, die mit Rust oder ähnlichen modernen Programmiersprachen arbeiten und hochskalierbare Systeme mit umfangreicher Parallelität entwerfen, liefert diese Fallstudie wertvolle Einsichten. ArcSwap als Alternative zu klassischen Concurrent Hashmaps kann, abhängig vom Nutzungsprofil, ein wirkungsvoller Baustein zur Performanceoptimierung sein.
Zusammenfassend zeigt der Fall bei Conviva eindrucksvoll, wie komplexe Wechselwirkungen zwischen Softwarearchitektur, Betriebssystemmechanismen und Hardwaredetails eine vermeintlich kleine Komponente wie einen Atomic Counter zu einem erheblichen Flaschenhals machen können. Ein tieferes Verständnis dieser Aspekte ermöglicht nicht nur die Lösung akuter Probleme, sondern auch die Entwicklung robuster, zukunftssicherer Systeme, die den Anforderungen modernster Datenverarbeitung gerecht werden.
