Seit Beginn des Jahres 2022 setzte das Unternehmen Motion CockroachDB als primäre Datenbanklösung ein. Die Wahl dieser verteilten Datenbank hatte durchaus ihre Berechtigung: CockroachDB punktet mit müheloser horizontaler Skalierung, vor allem bei mehrregionalen Setups, hoher Verfügbarkeit und einer mit SQL kompatiblen Schnittstelle. Gerade im Kontext von Datenschutzanforderungen wie der DSGVO war eine Multi-Region-Strategie ein wichtiges Thema, das CockroachDB von vielen Alternativen abhob. Doch mit zunehmendem Wachstum und steigendem Datenvolumen offenbarte sich schnell eine andere Seite der Medaille. Die Nutzungskosten stiegen bis 2024 auf ein Vielfaches des ursprünglichen Budgets, mittlere sechsstellige Summen mussten aufgebracht werden.
Zudem blieben die ursprünglich angedachten Multi-Region-Anforderungen lange aus, es handelte sich vielmehr um einfache transaktionale Abfragen innerhalb einer einzigen Region, was den hohen finanziellen und operativen Aufwand von CockroachDB fragwürdig machte. So stellte sich die Frage, ob der Einsatz einer verteilten Datenbanklösung überhaupt noch gerechtfertigt war. Ein entscheidender Vorteil beim Vergleich der Datenbanken war die Verwendung eines Object Relational Mappers, der es ermöglicht, Migrationen schnell und unkompliziert in beiden Systemen zu testen. Gerade bei Schemaänderungen zeigte sich ein deutlicher Unterschied: Migrationen, welche unter CockroachDB häufig wegen Timeout-Problemen abbrechen mussten oder manuell eingreifen erforderten, konnten unter PostgreSQL in wenigen Sekunden durchgeführt werden. Diese Zuverlässigkeit war ein wichtiger Motor für die geplante Migration.
Die Probleme mit Timeout-Ereignissen waren jedoch nicht nur auf Migrationen beschränkt. Auch im Bereich des ETL-Prozesses (Extract, Transform, Load) nahm die Instabilität zu. Die einzige verfügbare Lösung für die Datenreplikation aus CockroachDB war ein noch in Alpha befindliches Airbyte-Connector-Plug-in, das mit massiven Speicherlecks kämpfte und häufig abstürzte. Das führte regelmäßig zu Ausfällen und Verzögerungen, die letztendlich den Betriebsablauf störten und die Datenqualität gefährdeten. Interessant wurde der Vergleich der Abfragegeschwindigkeiten zwischen CockroachDB und PostgreSQL.
Während CockroachDB in einigen Fällen, dank seines optimierten Abfrageplaners, komplexe Queries schneller verarbeiten konnte, gab es viele Szenarien, in denen PostgreSQL eine deutliche Performance-Dominanz zeigte. Besonders bei von Prisma generierten, komplexen SQL-Statements, mit zahlreichen Joins und verschachtelten Bedingungen, offenbarte sich die Limitierung des CockroachDB-Optimierers. In realen Anwendungsszenarien ergaben sich bis zu zwanzigfach schnellere Abfragezeiten in PostgreSQL. Die stark unterschiedliche Arbeitsweise der beiden Systeme im Umgang mit Volltabellenscans und eventuell redundanten Bedingungen ist ein wesentlicher Faktor für diese Performance-Unterschiede. Neben der reinen Geschwindigkeit gab es zudem praktische Usability-Probleme.
Das CockroachDB-Interface zur Anzeige von ungenutzten Indizes führte regelmäßig zu Verwirrung, da oft als ungenutzt gemeldete Indizes tatsächlich noch aktiv verwendet wurden. Der Abbruch von laufenden, langlaufenden Abfragen war deutlich komplizierter als bei PostgreSQL — bei CockroachDB musste man sich über die Konsole einloggen, um verteilt alle laufenden Prozesse manuell zu stoppen, was nicht immer erfolgreich war. Auch der Support erwies sich als problematisch, weil er auf einer völlig separaten Plattform stattfand, die keine gemeinsame Authentifizierung mit der Hauptanwendung bot und lange Antwortzeiten hatte, gerade in kritischen Situationen. Auch infrastrukturelle Probleme gab es häufig. So tauchten wiederholt Verbindungsprobleme innerhalb des virtuellen privaten Netzwerks auf, die sich nicht zuverlässig lösen ließen.
Diese Ausfälle betrafen verschiedenste Umgebungen von CI-Systemen bis hin zu lokalen Datenbankclients und blieben ein anhaltendes Ärgernis. Im Gegensatz dazu verliefen ähnliche Situationen mit PostgreSQL ohne große Komplikationen. Die geplante Migration stand vor der Herausforderung, eine Datenbank mit etwa 100 Millionen Zeilen möglichst schnell und ohne Datenverlust zu migrieren. Da die vorhandenen ETL-Tools für CockroachDB kaum brauchbar oder ausgereift genug waren, entschied sich das Entwicklungsteam für eine Eigenentwicklung auf Basis von Bun.js, einem modernen JavaScript-Laufzeitumfeld.
Die Migration wurde in mehreren Schritten realisiert: Es wurde zunächst das Datenbankschema analysiert, alle Tabelleninformationen extrahiert und für jede Tabelle der Datensatz in CSV-Dateien ausgelagert. Anschließend wurden parallel einzelne Prozesse gestartet, die jeweils eine Tabelle aus den CSV-Dateien auslasen und die Daten in den Ziel-PostgreSQL-Cluster einspielten. Bei Tests stellte sich heraus, dass Unterschiede in der Kodierung von JSON- und Array-Spalten zwischen den beiden Datenbanksystemen existierten, was eine genaue Anpassung erforderte, um Kompatibilität und Datenintegrität sicherzustellen. Dieser Aspekt verlängerte die Vorbereitungszeit deutlich, bevor der produktive Umzug durchgeführt werden konnte. Für die Migration wurde ein sehr leistungsfähiger, 128-Core-Cloud-Server gemietet, um die Umschichtung möglichst schnell zu halten.
Schließlich konnte die gesamte Migration innerhalb von etwa 15 Minuten auf das neue System erfolgen. Die gesamte Downtime inklusive Vorbereitung und Traffic-Ramp-up betrug knapp unter einer Stunde, ohne dabei Datenverluste hinnehmen zu müssen. Die überaus kurze Ausfallzeit war ein wichtiger Faktor für den erfolgreichen Umstieg. Nach der Migration zeigte sich sofort eine verbesserte Gesamtperformance des Systems. Die aggregierten Antwortzeiten der Anwendungen sanken um rund ein Drittel.
Dank der großen Vielfalt an Analysewerkzeugen und Optimierungsmöglichkeiten im PostgreSQL-Ökosystem, wie beispielsweise PGAnalyze, konnten noch am selben Tag weitere Abfragen verbessert und verfeinert werden. Obwohl der neue PostgreSQL-Cluster eher konservativ dimensioniert war und ausreichend Resourcen bereitgestellt wurden, ergaben sich signifikante Kosteneinsparungen im Vergleich zur vorherigen CockroachDB-Umgebung. Unter Einrechnung des weiteren Wachstums der Nutzerzahlen und der Datenmenge schätzt das Team die jährlichen Einsparungen auf über 110.000 US-Dollar. Die Migration von einem verteilten, stark skalierbaren CockroachDB-System hin zu einem klassischen, monolithischen PostgreSQL kann daher in bestimmten Kontexten nicht nur kosteneffizienter, sondern auch performanter und betrieblich stabiler sein.
Die Entscheidung hängt jedoch immer vom individuellen Anwendungsfall, der Architektur und den spezifischen Anforderungen ab. Für Firmen und Entwickler, die eine solche Umstellung selbst planen, liefert der Bericht von Motion wertvolle Erkenntnisse. Er macht deutlich, dass technische Migrationen stets komplexe Herausforderungen mit sich bringen – angefangen bei der Auswahl geeigneter Tools, über die Sicherstellung der Datenkonsistenz bis hin zum Management von Ausfallzeiten. Gleichzeitig zeigt er aber auch das Potenzial auf, durch den Wechsel auf ein gut unterstütztes, etabliertes Datenbanksystem nicht nur kurzfristige Effizienzgewinne zu erzielen, sondern auch langfristig die technische Basis für weiteres Wachstum zu legen. Unternehmen, die in der Vergangenheit mit verteilten Datenbanksystemen experimentiert haben, befinden sich nicht selten in einer ähnlichen Situation: Die vermeintlichen Vorteile, etwa in der Skalierbarkeit oder Verfügbarkeit, schlagen sich nicht ohne Weiteres in besseren Betriebsergebnissen nieder und können durch hohe Wartungs- und Lizenzkosten zu einem operativen Risiko werden.
Der Bericht unterstreicht darüber hinaus, wie wichtig es ist, praxisnahe Tests und Vergleiche durchzuführen, beispielsweise durch parallele Migrationen oder simulierte Produktionslasten, um fundierte Entscheidungen treffen zu können. Nur so lassen sich Fehlentwicklungen frühzeitig erkennen und steuernd eingreifen. Insgesamt betont die Geschichte von Motion, dass PostgreSQL mit seinem breiten Ökosystem, der Einfachheit im Betrieb und einer performanten, robusten Architektur selbst für große Datenmengen eine der besten Lösungen am Markt ist. Gleichzeitig ist der Weg dorthin nicht trivial und erfordert sorgfältige Planung, technisches Know-how und Mut zur Veränderung. Für Entwickler und Unternehmen, die Herausforderungen in den Bereichen Datenmigration und Performance-Optimierung kennenlernen und meistern wollen, bietet die Erfahrung von Motion wertvolle Impulse und Inspiration.
Am Ende zeigt sich: Ein gut durchdachter Wechsel kann selbst bei anspruchsvollen Anwendungen erfolgreich gelingen und nachhaltige positive Auswirkungen auf Kosteneffizienz und Systemperformance haben.
