In der heutigen schnelllebigen und datengetriebenen Welt ist die Wahl der richtigen Datenbanktechnologie für Unternehmen von entscheidender Bedeutung. Viele Start-ups und etablierte Firmen stehen dabei vor der Entscheidung, ob sie auf verteilte Datenbanken wie CockroachDB oder auf traditionelle relationale Systeme wie PostgreSQL setzen sollen. Die Migration von CockroachDB zu PostgreSQL kann eine signifikante Verbesserung der Performance und Skalierbarkeit bedeuten, birgt jedoch auch einige technische Herausforderungen und erfordert eine sorgfältige Planung. Seit Anfang 2022 setzte Motion, ein aufstrebendes Technologieunternehmen, auf CockroachDB. Die Datenbank überzeugte durch ihre einfache horizontale Skalierbarkeit und hohe Verfügbarkeit, die besonders bei Multi-Regionen-Setups von Vorteil sind.
Auch die SQL-Kompatibilität war ein Pluspunkt. Die Anforderungen an Multi-Regionen-Datenhaltung, insbesondere durch Regulierungen wie GDPR, schienen CockroachDB damals für Motion zur idealen Wahl zu machen. Mit zunehmendem Wachstum von Motion stiegen jedoch auch die Nutzungskosten drastisch an. Bis 2024 hatte sich die CockroachDB-Rechnung verfünffacht und erreichte mittlere sechsstellige Beträge. Gleichzeitig stellte sich heraus, dass viele der zu Beginn angenommenen Anforderungen, wie etwa Datenlokalisierung in mehreren Regionen, noch gar nicht realisiert wurden und der Einsatz einer verteilten Datenbank für relativ einfache transaktionale Abfragen in einer einzigen Region überdimensioniert war.
Ein wesentlicher Engpass zeigte sich bei den Migrationen innerhalb der Datenbank. Die eingesetzte Object-Relational Mapping (ORM)-Lösung Prisma stieß mit wachsender Datenmenge zunehmend an ihre Grenzen und führte häufig zu Timeout-Fehlern. Dies zwang die Entwickler dazu, Migrationen manuell und sequentiell auf der Cockroach-Datenbank auszuführen, was Deployments oft für zwei Stunden blockierte und die Systemzuverlässigkeit beeinträchtigte. Die hohe Fehleranfälligkeit und Verzögerungen blockierten zudem auch notwendige CockroachDB-Updates, so dass Motion langfristig auf einer veralteten und nicht mehr unterstützten Version festsaß. Auch im Bereich der ETL-Prozesse (Extract, Transform, Load) zeigte CockroachDB Schwächen.
Die geringe Verfügbarkeit stabiler ETL-Tools führte zu häufigen Störungen und Leistungseinbußen. Das einzige verfügbare Tool war ein Alpha-Anschluss an Airbyte, welcher zudem einen Speicherleck aufwies, das sich negativ auf die Datenverarbeitung auswirkte. Regelmäßige Ausfälle und schlechte Performance bei ETL-Jobs beeinträchtigten den gesamten Workflow und zwangen zu aufwendigen Workarounds. Ein weiterer wichtiger Aspekt betrifft die Abfragegeschwindigkeiten. Während einige komplexe Aggregatabfragen dank des optimierten Abfrageplaners von CockroachDB schneller durchgeführt wurden, zeigten sich bei den meisten realen Nutzungsszenarien deutlich bessere Ergebnisse mit PostgreSQL.
Die von Prisma generierten SQL-Abfragen waren zum Teil so komplex und ineffizient, dass CockroachDB zu langen Volltabellenscans und damit zu erheblichen Latenzen neigte, während PostgreSQL in vielen Fällen durch bessere Indizierung und einen optimierten Abfrageplan die Antwortzeiten um ein Vielfaches verkürzen konnte. Ein Beispiel aus der Praxis zeigte, dass bestimmte Team-Task-Abfragen in PostgreSQL bis zu zwanzig Mal schneller waren als in CockroachDB. Nicht zu unterschätzen sind auch die Herausforderungen bei der Bedienung und dem Support. Das Management und Monitoring von Queries gestaltete sich mit CockroachDB kompliziert, etwa beim Abbrechen laufender Abfragen, was mehrstufiges Eingreifen im verteilten System erforderte. Zudem führte ineffiziente Darstellung von Indexnutzungen in der Cockroach-Konsole zu Verwirrungen bei den Entwicklern.
Der Support erwies sich als umständlich und langsam, mit getrennten Portalen und langen Reaktionszeiten, was besonders in kritischen Situationen die Problemlösung verzögerte. Technische Infrastrukturprobleme kamen ebenso hinzu. Regelmäßige Verbindungsprobleme innerhalb der CockroachDB-Cluster, verursacht durch Netzwerklösungen wie Tailscale, führten zu sporadischen Ausfällen in verschiedenen Umgebungen inklusive Entwicklungs- und Produktivsystemen. Diese unvorhersehbaren Probleme traten trotz vielfältiger Lösungsversuche weiterhin auf und konnten nie vollständig behoben werden. Anders als bei PostgreSQL, stellte sich hier keine derartige Instabilität ein.
Angesichts dieser Herausforderungen entschied sich Motion, die Migration zu PostgreSQL einzuleiten. Mit einer Datenbankgröße von circa 100 Millionen Datensätzen im größten Table ergab sich die Notwendigkeit, ein eigenes, effizientes ETL-Tool zu entwickeln. Dabei kam das JavaScript Runtime Environment Bun zum Einsatz, ein moderner und schneller Ersatz für Node.js. Das selbst entwickelte Migrationsskript las zunächst die Datenbankschemata aus, speicherte für jede Tabelle CSV-Daten ab und initiierte parallele Streams zum Einspielen in die neue PostgreSQL-Datenbank.
Dabei mussten jedoch inkompatible Datentypen und unterschiedliche Byte-Codierungen zwischen CockroachDB und PostgreSQL überwunden werden. Insbesondere im Bereich JSON- und Array-Felder führte dies zu Kompatibilitätsproblemen, die durch eine eigene Parsing-Pipeline mit Csv-js gelöst wurden. Dieser Aufwand sorgte dafür, dass Daten aus Sicht der Endnutzer unverändert und konsistent blieben. Der geplante Migrationszeitraum war bewusst in einer nächtlichen Wartungszeit angesetzt. Dank der aufwendig erstellten Infrastruktur konnte der Umzug innerhalb von 15 Minuten vollzogen werden – der Gesamtstillstand betrug lediglich knapp eine Stunde.
Für einen so großen Datenbestand und eine produktive Anwendung eine beeindruckend kurze Ausfallzeit. Um auf Nummer sicher zu gehen, wurde der Rollout der produktiven Belastung schrittweise vorgenommen. Die Vorteile der Migration zeigten sich unmittelbar nach dem Wechsel. Die aggregierten Antwortzeiten sanken um rund ein Drittel und gegenüber der alten CockroachDB-Umgebung ließ sich innerhalb von wenigen Stunden eine Vielzahl unoptimierter Queries durch die Nutzung etablierter PostgreSQL-Tools wie PGAnalyze identifizieren und verbessern. Dies führte zu weiteren erheblichen Performance-Gewinnen.
Ein weiterer nicht zu vernachlässigender Punkt waren die erheblichen Kosteneinsparungen. Selbst unter überdimensionierter Clusterkonfiguration ließ sich im Vergleich zum vorherigen Setup eine jährliche Ersparnis von über 110.000 US-Dollar erzielen. Mit zunehmendem Wachstum und Traffic in der Anwendung erhöht sich der finanzielle Vorteil durch den Wechsel weiter, was die Nachhaltigkeit dieser Entscheidung unterstreicht. Die Migration von einer verteilten Multi-Region-Datenbank zu einer soliden, performant optimierten relationalen Lösung ist keine einfache Aufgabe und erfordert tiefgehendes technisches Know-how und sorgfältige Planung.
