Erfolgreicher Umstieg auf Postgres: Herausforderungen, Vorteile und Best Practices

Virtuelle Realität

In der sich ständig weiterentwickelnden Welt der Datenbanken stehen Unternehmen häufig vor der Herausforderung, die passende Lösung für ihre wachsenden Anforderungen zu finden. Besonders im Bereich der relationalen Datenbanken hat sich PostgreSQL als eine der leistungsstärksten und flexibelsten Optionen etabliert. Viele Unternehmen, die zunächst auf verteilte Datenbanksysteme wie CockroachDB gesetzt haben, erkennen mit der Zeit die Notwendigkeit, auf Postgres umzusteigen, um Skalierbarkeit, Performance und Kosten besser unter Kontrolle zu bringen. Motion, ein aufstrebendes Tech-Unternehmen, bietet ein lehrreiches Beispiel für einen solchen Migrationsprozess. Seit Anfang 2022 nutzte Motion CockroachDB vor allem aufgrund seiner einfachen horizontalen Skalierung und der Fähigkeit, Multi-Region-Setups im Einklang mit Datenschutzbestimmungen wie der DSGVO zu unterstützen.

Diese Eigenschaften sind zweifellos attraktiv, insbesondere für Unternehmen, die mit komplexen, verteilten Architekturen arbeiten oder eine globale Nutzerbasis bedienen. Dennoch zeigten sich mit wachsendem Datenvolumen und steigender Nutzung zunehmend Limitierungen, die den Betrieb erschwerten. Bis 2024 stiegen die Kosten von CockroachDB bei Motion auf fünfmal so viel wie erwartet und erreichten Summen im sechsstelligen Bereich. Da die Anwendung noch im Single-Region-Betrieb blieb und die Abfragen relativ einfach waren, stellte sich die Frage, ob der Einsatz einer verteilten Datenbank überhaupt gerechtfertigt ist. Technische Einschränkungen und steigende Kosten zwangen das Team, die Entscheidung für eine Migration zu prüfen.

Ein wichtiger technischer Aspekt war die Handhabung von Datenbankmigrationen, die mit Prisma, dem eingesetzten ORM, durchgeführt wurden. Bei großen Datenbanken kam es wiederholt zu Timeouts, wenn Migrationen angewandt wurden. Dies führte dazu, dass Entwickler manuell und zeitaufwendig Migrationen direkt auf der Datenbank ausführen mussten, was den Deployment-Prozess teilweise für mehrere Stunden blockierte. Diese Instabilität führte zudem zu operativen Kompromissen, bei denen selbst erfahrene Entwickler Änderungen außerhalb der Datenbank durchführten, um System-Locks zu vermeiden. Die Probleme mit Migrationen waren so weitreichend, dass sie auch das Upgrade der CockroachDB-Versionen verhinderten.

Das Unternehmen blieb auf einer veralteten und nicht mehr unterstützten Version hängen, wodurch der Support erschwert wurde und auf Bugs oder kritische Probleme nur verzögert reagiert werden konnte. Dies verfestigte die Entscheidung, den Wechsel zu PostgreSQL vorzunehmen. Neben Migrationsproblemen beeinträchtigten auch Einschränkungen bei ETL-Prozessen die Betriebsabläufe. Airbyte, der primäre Connector für CockroachDB, erwies sich als unzuverlässig und wies Memory-Leaks auf, was zu häufigen Ausfällen und schlechter Performance führte. Die Unterstützung für weit verbreitete ETL-Lösungen mit CockroachDB war zudem eingeschränkt, was die Datenintegration und -verarbeitung erschwerte.

Interessanterweise zeigte ein direkter Performance-Vergleich der Datenbankabfragen gemischte Ergebnisse. Bei einigen komplexen Abfragen konnte CockroachDB dank seines optimierten Query Planners Abfragen schneller ausführen als PostgreSQL. Dieser Vorteil wirkte sich jedoch nur auf einen kleinen Teil der Abfragen aus. Die Mehrheit der realen Use Cases, insbesondere jene mit komplexen verschachtelten Joins und vielen Spalten, profitierten eher von Postgres. CockroachDB tendierte hier zu Full Table Scans, was zu teilweise massiv höheren Latenzen führte.

Das Prisma ORM generierte häufig sehr verschachtelte und umfangreiche SQL-Abfragen, die die CockroachDB-Optimierungen eher negativ beeinflussten. PostgreSQL hingegen zeigte sich bei diesen Abfragen deutlich schneller und effizienter, was insgesamt zu einer erheblichen Performance-Steigerung im Tagesgeschäft führte. Für Motion bedeutete dies häufige Reduzierungen der Abfragezeiten um das Drei- bis Zwanzigfache. Auch aus Sicht des Nutzererlebnisses gab es wichtige Unterschiede. Die Verwaltungswerkzeuge und UI von CockroachDB waren teilweise verwirrend, beispielsweise im Umgang mit Indizes, deren Optimierungsempfehlungen nicht immer der tatsächlichen Nutzung entsprachen.

Zudem war das Abbrechen aufwändiger Abfragen komplizierter – der Prozess erforderte das manuelle Eingreifen über die Konsole und das koordinierte Stoppen auf mehreren Knoten. Bei PostgreSQL geht das viel simpler über gängige SQL-Clients. Der Support von CockroachDB wurde ebenfalls kritisch bewertet. Die Support-Plattform war getrennt vom Hauptportal, erforderte erneute Eingaben bekannter Daten und reagierte oft kaum binnen kurzer Zeit. Gerade bei dringenden Problemen führte dies zu langen Ausfallzeiten und Frustration im Betrieb.

Technische Infrastrukturprobleme spielten eine weitere Rolle. Über zwei Jahre hinweg berichtete das Team bei jeder Umgebung über wiederkehrende Verbindungsprobleme mit CockroachDB-Servern, insbesondere über Tailscale VPN-Verbindungen. Diese Ausfälle traten sporadisch auf und verschwanden ebenso plötzlich wieder, was eine dauerhafte Ursache-Analyse unmöglich machte. Solche instabilen Verbindungen wirkten sich unmittelbar auf die Entwicklerproduktivität und die Stabilität der CI/CD-Pipelines aus. Mit PostgreSQL waren derartige Probleme nicht bekannt.

Die eigentliche Migration stellte aufgrund der riesigen Datenmengen eine große Herausforderung dar. Die größte Tabelle von Motion enthielt rund 100 Millionen Zeilen, und bis dato gab es kaum ausgereifte ETL-Tools für CockroachDB, die für stabile Datenübertragungen nutzbar waren. Die einzige verfügbare Lösung war ein noch recht experimenteller Airbyte-Connector, der jedoch häufig ausfiel. Vor diesem Hintergrund entwickelte der Entwickler ein maßgeschneidertes ETL-Verfahren mit Hilfe von Bun, einer aufstrebenden JavaScript-Laufzeitumgebung. Dabei wurde die gesamte Datenbankstruktur ausgelesen, sämtliche Tabellen in CSV-Dateien exportiert und über mehrere parallel laufende Prozesse die Daten in die PostgreSQL-Datenbank eingespielt.

Zu Beginn schien der Vorgang gut zu laufen, bis Unterschiede in der Byte-Kodierung von JSON- und Array-Daten zwischen CockroachDB und PostgreSQL erkannt wurden. Die Umsetzung eines geeigneten CSV-Parsings mit passenden Transformationsschritten sorgte dafür, dass am Ende ein identisches Datenbild ohne Informationsverlust entstand. Am Tag der Migration wurde ein leistungsstarker VM-Server mit 128 CPU-Kernen auf der Google Cloud Platform bereitgestellt. Mit aktiviertem Wartungsmodus konnte der gesamte Datenumzug inklusive aller 100 Millionen Datensätze in etwa 15 Minuten abgeschlossen werden. Die gesamte Downtime beschränkte sich unter diese eine Stunden, was im Vergleich zu anderen Migrationsprojekten sehr effizient war.

Dabei verlief die Umstellung ohne Datenverluste und mit einem kontinuierlichen Monitoring. Unmittelbar nach der Migration zeigte sich ein signifikanter Rückgang der durchschnittlichen Anfragelatenzen um etwa ein Drittel. Noch interessanter war die Möglichkeit, dank des umfangreichen Postgres-Ökosystems bestehende Abfragen und Indizes schnell zu analysieren und zu optimieren. Tools wie PGAnalyze ermöglichten es, innerhalb weniger Stunden mehrere ineffiziente Zugriffe zu identifizieren und abzustellen, was die Performance nochmals steigerte. Finanziell ergab sich durch die Reduzierung auf eine einzelne Region mit einem klassischen relationalen Datenbanksystem eine jährliche Kosteneinsparung von über 110.

000 US-Dollar, ein langfristiger Vorteil, der bei zunehmendem Traffic weiter steigen wird. Diese Einsparungen waren für das Unternehmen ein starkes Argument für die Migration. Zusammenfassend zeigt das Beispiel von Motion, dass der Umstieg von einer verteilten Datenbank wie CockroachDB hin zu PostgreSQL zwar technisch herausfordernd ist, sich aber durch verbesserte Performance, niedrigere Kosten und stabilere Betriebsprozesse auszahlt. Entscheidend ist dabei eine sorgfältige Planung des Migrationsprozesses, der unter anderem die Unterschiede in Datenformaten berücksichtigt, und die Wahl passender Tools zur automatisierten Datenübertragung. Unternehmen, die sich derzeit in einer ähnlichen Situation befinden, sollte vor allem die individuellen Anforderungen an Skalierbarkeit, Verfügbarkeit und Komplexität der Datenbankabfragen genau analysieren.

Für klassisch relationale Datenstrukturen mit komplexen Transaktionen und einer primär regionalen Nutzerbasis bleibt PostgreSQL eine der besten Optionen. Der Erfolg von Projekten wie der Motion-Migration zeigt, dass eine Migration selbst bei großen Datenmengen machbar ist und betrieblichen sowie finanziellen Nutzen stiftet. Für Entwickler und technische Entscheidungsträger bedeutet dies, dass sie den Aufwand für die Migration nicht scheuen sollten, sondern vielmehr in die Vereinfachung der Infrastruktur und die Optimierung der Datenbankprozesse investieren sollten. Moderne ORMs wie Prisma erleichtern die Anpassung, benötigen aber auch bewusste Handhabung bei der Erstellung von Abfragen, um optimale Performance zu gewährleisten. Abschließend lässt sich sagen, dass PostgreSQL durch seine große Community, den reichhaltigen Tool-Support und seine solide Architektur eine exzellente Basis für moderne Anwendungen bildet.

Die Migration von einem verteilten System wie CockroachDB hin zu Postgres ist eine lohnende Investition, die langfristig Stabilität, Geschwindigkeit und Kostenersparnis vereint und Unternehmen hilft, ihre Dateninfrastruktur zukunftssicher und effizient zu gestalten.