Die Entscheidung, eine Datenbankplattform zu migrieren, ist für jedes Unternehmen ein kritischer Schritt, der wohlüberlegte Planung und tiefgehendes technisches Verständnis erfordert. Im Zeitalter wachsender Datenmengen und steigender Anforderungen an Geschwindigkeit und Skalierbarkeit hat sich PostgreSQL als eine der populärsten relationalen Datenbanken etabliert. Viele Unternehmen, die zunächst auf verteilte Datenbanksysteme wie CockroachDB gesetzt haben, stoßen mit zunehmendem Wachstum und komplexen Workloads auf Herausforderungen, die die Kosten in die Höhe treiben oder die Performance beeinträchtigen. Ein anschauliches Beispiel dafür liefert das Tech-Unternehmen Motion, das ab Anfang 2022 CockroachDB einsetzte, aber bis 2024 eine Migration zu PostgreSQL vollzog, um Probleme in den Bereichen Migration, ETL, Abfragegeschwindigkeit und Betrieb zu lösen. CockroachDB wurde vor allem wegen seiner Stärken wie müheloser horizontaler Skalierbarkeit, hoher Verfügbarkeit und seiner SQL-Kompatibilität gewählt.
Besonders für Anwendungen mit Multi-Region-Setups war es attraktiv, gerade im Hinblick auf Datenschutzanforderungen wie die der DSGVO. Doch obwohl Motion noch keine mehrregionale Infrastruktur dringend benötigte und der Anfrageverkehr vorwiegend einfach und einregional war, führten die wachsenden Nutzung und Kosten zu einer dramatischen Steigerung der Betriebsausgaben – bis zu einem Fünffachen der ursprünglichen Kosten auf mehrere Hunderttausend Dollar pro Jahr. Ein zentrales Problem während der Zeit mit CockroachDB waren zeitintensive Migrationen. Das unternehmensweit verwendete ORM-Tool Prisma zeigte bei Migrationen eine starke Neigung zu Timeouts. Statt reibungsloser schemaändernder Updates mussten die Entwickler oft manuell direkt auf der Datenbank arbeiten, um Migrationen sequenziell auszuführen.
Dabei wurden Deployments für mehrere Stunden blockiert, was die Entwicklung verlangsamte und den Betrieb belastete. Diese Schwierigkeiten führten zu sogenannten „operativen Shortcuts“, bei denen selbst erfahrene Entwickler Funktionen aus dem Datenbankkontext auslagerten oder ganz auf sichere Änderungen verzichteten, um die Gefahr einer Blockade des Systems zu minimieren. Zusätzlich wirkten sich die Einschränkungen auch auf das ETL-Prozedere (Extract, Transform, Load) aus. Die Datenintegration zwischen CockroachDB und anderen Systemen erfolgte meist über Airbyte, eine damals noch in der Alpha-Phase befindliche Lösung, die mit einem Speicherleck zu kämpfen hatte. Das führte zu Fehlermeldungen und unerwarteten Ausfällen.
Die Performance von ETL-Jobs war dadurch nicht nur instabil, sondern oft auch untragbar hoch. Die Abfrageoptimierung war ein weiteres Feld, das Einblicke lieferte: CockroachDB glänzte zwar bei bestimmten optimierten Abfragen durch seinen eigenen Query Optimizer und konnte in Einzelfällen deutlich bessere Laufzeiten erreichen. Doch in der Gesamtschau zeigte sich, dass viele von Prisma generierte SQL-Abfragen zu komplex und verschachtelt waren. CockroachDBs Abfrageplaner entschied sich oft für Full Table Scans, was die Antwortzeiten massiv in die Höhe trieb – während PostgreSQL hier effizientere Ausführungspläne wählte. Die Folge waren messbare Verbessungen bei der Query-Performance nach der Migration, mit teils zwanzigfach schnelleren Ergebnissen auf realen Datenlasten.
Auch der Betrieb brachte Herausforderungen mit sich: Insbesondere die Stornierung laufender, teurer Abfragen war bei CockroachDB komplex, weil diese auf mehreren Knoten parallel liefen. Ein einfaches Abbrechen in einem SQL-Client war nicht möglich. Die Entwickler mussten sich mit dem CockroachDB-Admin-Interface verbinden und das Abbrechen manuell koordinieren – was nicht immer erfolgreich war. Zudem führte die Benutzeroberfläche zur Anzeige nicht genutzter Indices zu Irritationen, da diese teils inkonsistent waren, was die Entwickler verunsicherte. Nicht zuletzt beeinträchtigten wiederkehrende Netzwerkprobleme mit Tailscale die Stabilität der Anbindungen an den Cockroach-Cluster und betrafen verschiedene Umgebungen, inklusive CI-Systemen und lokalen Entwicklertools.
Vor dem Hintergrund dieser Herausforderungen begann das Migrationsteam bei Motion, eine eigene Migrationslösung auf Basis von Bun zu entwickeln. Das Ziel war es, Daten aus CockroachDB in Dateien zu exportieren und parallel in PostgreSQL reinzuspielen. Dabei musste sichergestellt werden, dass Unterschiede in der Datenkodierung, vor allem bei JSON- und Array-Feldern, erkannt und transformiert wurden, um Datenkonsistenz zu sichern. Die Migration in der Produktionsumgebung konnte so innerhalb weniger Stunden bei minimaler Ausfallzeit durchgeführt werden. Die Optimierungen nach der Migration führten nicht nur zu deutlich besseren Antwortzeiten, sondern auch zu erheblichen Kosteneinsparungen von über 100.
000 US-Dollar pro Jahr im Betrieb. Zusammenfassend macht das Beispiel von Motion deutlich, dass die Wahl einer Datenbanklösung stets auf die konkreten Anwendungsfälle und zukünftigen Anforderungen zugeschnitten sein muss. Während verteilte Systeme wie CockroachDB bei hochverteilten Multi-Region-Szenarien ihre Vorteile ausspielen, können sie bei einregionalen, eher transaktionalen Lasten unnötige Kosten- und Performanceprobleme verursachen. Die Migration zu PostgreSQL gestaltet sich dabei aus technischer Sicht anspruchsvoll, insbesondere in Hinblick auf Schema- und Datenmigration, Abfrageoptimierung und Betriebssicherheit. Doch mit strategischem Vorgehen und den passenden Tools lassen sich neben deutlichen Performancegewinnen auch erhebliche Einsparungen erzielen.
Für Unternehmen, die ähnliche Herausforderungen mit verteilten Datenbanksystemen erleben, ist eine Migration zu PostgreSQL eine lohnenswerte Überlegung. Die PostgreSQL-Ecosystem bietet darüber hinaus zahlreiche Monitoring- und Analysewerkzeuge, die im Anschluss helfen, bestehende Datenbanken optimal zu tunen. Die Migration erfordert Planung, technisches Know-how und Ressourcen, führt aber im Idealfall zu einem effizienteren, kostengünstigeren und skalierbaren Datenbanksystem, das den Anforderungen moderner Anwendungen besser gerecht wird. Die Geschichte von Motion zeigt eindrücklich, wie durch entschlossene Maßnahmen und den Willen zur kontinuierlichen Verbesserung technische Herausforderungen gemeistert werden können – ein inspirierendes Beispiel für viele Entwicklerteams weltweit.
