Die digitale Medienlandschaft steht vor der Herausforderung, ständig neue Inhalte schnell und zuverlässig an Millionen Nutzer auszuliefern. Gerade für Anbieter von Nachrichtenportalen ist es entscheidend, dass aktuelle Meldungen und dynamisch erstellte Seiten ohne Verzögerung verfügbar sind. G+D Netcetera, ein führender Anbieter im Bereich digitaler Publishing-Lösungen, hat durch die Kombination der funktionalen Programmiersprache Clojure mit der innovativen Datenflussplattform Rama eine beeindruckende Leistungssteigerung erreicht. Diese technische Innovation hat nicht nur die Effizienz ihrer Plattform erheblich verbessert, sondern auch die Betriebskosten signifikant reduziert. Das Ergebnis ist eine bis zu hundertfach höhere Performance ihres Produkts, das täglich von Millionen Menschen in der Schweiz und Deutschland genutzt wird.
Die Geschichte hinter dieser Transformation liefert wertvolle Einblicke in moderne Softwareentwicklung, datenintensive Backend-Architekturen und die Zukunft der Content-Auslieferung. Die Plattform Forward Publishing von G+D Netcetera stellt die Grundlagen für digitale Zeitungen bereit, indem sie auf Basis komplexer Regeln bestimmt, welcher Inhalt auf welcher Seite angezeigt wird. Dies umfasst die Abwägung von Aktualität, Kategorisierung und inhaltlichen Beziehungen. Je nach Seite werden unterschiedliche Inhalte wie Headlines, Zusammenfassungen, Artikeltexte oder multimediale Daten eingebunden. Insbesondere die dynamische Verknüpfung von Inhalten mittels intelligenter Abfragen verlangt jedoch hohe Rechenleistung.
Vor der Überarbeitung der Architektur führte dies zu massiven Performance-Problemen. Die bisherige Lösung setzte auf eine groß angelegte Zwischenspeicherung (Caching) mittels Varnish, die Seiten nur in bestimmten Intervallen neu berechnete. So entstanden Verzögerungen von mehreren Minuten, bis neue Inhalte sichtbar wurden, was insbesondere bei Eilmeldungen untragbar war. Zusätzlich war das Content-Management-System (CMS) stark belastet, was dessen Bedienbarkeit beeinträchtigte. Systemausfälle durch Überlastungen waren keine Seltenheit.
Um diesen Problemen zu begegnen, entschied sich das Team um Ognen Ivanovski, Principal Architect bei G+D Netcetera, für den radikalen Wandel der Backend-Architektur hin zu Rama. Rama ist eine Datenflussplattform, die den Datenbetrieb modular und hochperformant gestaltet. Statt Daten komplett neu zu berechnen, verwendet Rama inkrementelle Aktualisierungen sogenannter "denormalisierter Ansichten" von Seiten. Konkret bedeutet das, dass nur die tatsächlichen Änderungen in den Inhalten verarbeitet werden, was die Rechenlast dramatisch senkt. Dadurch reduziert sich die Latenz bei der Anzeige neuer Inhalte auf unter eine Sekunde, eine Verbesserung um das hundertfache im Vergleich zur alten Lösung.
Gleichzeitig sinkt die Last auf das CMS nahezu auf null, wodurch es stabiler und schneller wird. Ein bedeutender Vorteil der Rama-Plattform ist ihre Trennung von Quelle der Wahrheit und den indizierten Datenstores, die Abfragen bedienen. Während klassische relationale Datenbanken oft einen Kompromiss zwischen Normierung (für Datengenauigkeit) und Performance eingehen müssen, erlaubt Rama die vollständige Normalisierung bei gleichzeitig optimal performanten, speziell angepassten Datenspeichern. Diese Flexibilität ist entscheidend, um komplexe Queries effizient auszuführen, ohne Datenredundanz ins Chaos laufen zu lassen. In der Implementierung von Forward Publishing bilden sogenannte "PStates" (partitionierte Zustände) den Kern.
PStates sind flexibler als traditionelle Datenmodelle und können jegliche Datenstruktur abbilden, je nach Anforderung maßgeschneidert. Diese PStates stehen in Rama im Mittelpunkt der inkrementellen Datenverarbeitung. Zwei Beispiele aus G+D Netceteras Architektur zeigen eine PState-ähnliche Struktur, welche aus Entity-Attribut-Wert-Indizes bestehen, ähnlich der populären Datomic-Datenbank. Solche PStates ermöglichen blitzschnelle Auskünfte über alle Eigenschaften eines Objekts oder alle Objekte mit definierten Attributen. Darüber hinaus entwickelte das Team neuartige PStates für komplexere Funktionen.
Ein Beispiel sind dynamisch generierte Inhaltslisten, die auf Datalog-Abfragen beruhen. Diese dynamischen Listen ersetzen manuell gepflegte Listen und bieten den Redakteuren eine automatische Auswahl relevanter Inhalte basierend auf Kategorien, Regionen oder Autoren. Die Umsetzung dieser Datalog-Abfragen mit nur wenigen hundert Zeilen Code in Rama unterstreicht die Effizienz der Plattform. Durch die Umstellung von einer statischen Batch-Verarbeitung hin zu einer mikrobatch-basierten Datenflussarchitektur konnte G+D Netcetera präzise und schnell auf eingehende Aktualisierungen reagieren. Statt alle Inhalte periodisch erneut zu rendern, arbeitet die Architektur mit einem kontinuierlichen Fluss von Content-Updates, die schrittweise eingebettet werden.
Dies erlaubt eine nahezu sofortige Aktualisierung aller Seiten, ohne die zugrundeliegenden Systeme zu überlasten. Rama bietet dafür robuste Mechanismen für nebenläufige Verarbeitung, Fehlerresistenz und Skalierbarkeit. Während Stream-Topologien für interaktive Echtzeit-Features eingesetzt werden, hängen die eigentlich rechenintensiven Operationen an Mikro-Batch-Topologien, deren Operationen im Bereich von Millisekunden bis wenigen hundert Millisekunden liegen. Die Kombination mehrerer spezialisierter Subsysteme erlaubt zudem eine bessere Kundenerfahrung und betriebliche Trennung zwischen CMS und Publishing-Engine. Kunden können nun ihr CMS unabhängig vom Publishing-System betreiben und bei Bedarf auch beliebig anpassen oder wechseln.
Die auf Rama basierende Lösung ist dadurch viel flexibler und zukunftssicher. Neue CMS können nun mit geringem Aufwand integriert werden, da lediglich ein Anpassungsmodul zum Import von Daten in Rama programmiert werden muss. Dieses Ökosystem eröffnet produktstrategische Vorteile und erweitert den Kundenkreis erheblich. Neben den technologischen Verbesserungen brachte die Migration auch erhebliche Kosteneinsparungen. Durch die Optimierung und das reduzierte Infrastruktur-Bedürfnis halbierte sich der notwendige Hosting-Aufwand bei AWS fast auf die Hälfte.
G+D Netcetera benötigt nun nur noch rund neun statt achtzehn Rechenknoten pro Kunde, was sich stark auf die laufenden Betriebskosten auswirkt. Zusammen mit der gesteigerten Systemstabilität verbessert dies auch die Verfügbarkeit und das Nutzererlebnis der Endanwender. Der Einsatz von Clojure für die Integration mit Rama verstärkte die Produktivität des Entwicklungsteams. Clojure, eine funktionale Lisp-Dialekt-Sprache auf der JVM, ermöglicht sehr expressive und gleichzeitig performante Programmierung. Die deklarative Natur von Clojure harmoniert perfekt mit dem deklarativen Programmiermodell von Rama.
Zusätzlich sorgt Clojure für weniger Boilerplate und prägnanten Code, was den Entwicklungszyklus verlängert und Fehler wahrscheinlicher reduziert. G+D Netcetera berichtet, dass ein neuer Entwickler innerhalb von etwa zwei Wochen in der Lage ist, produktiv mit Rama zu arbeiten. Die größte Herausforderung dabei war das Verständnis der sogenannten "Batch Blocks", die erweiterte Abfrage- und Verarbeitungslogiken ermöglichen. Rama selbst basiert auf einem Rechenmodell, das Konzepte aus relationalen Datenbanken, verteilter Verarbeitung und funktionalem Programmieren verknüpft. Die Grundlage bilden Datenflussgraphen, die inkrementell bei Datenänderungen verarbeitet werden.
Dieses Model ermöglicht Performanzsteigerungen durch parallele und verteilte Verarbeitung bei sehr geringem Rechenaufwand für Updates. Für G+D Netcetera bedeutete dies auch den Aufbau eines internen, auf Rama aufsetzenden Frameworks ähnlich dem Graphverarbeitungsmodell Pregel, mit dem sie effizient Graphoperationen und Traversierungen ihrer Datenstruktur realisieren. Mit dieser Technologie kann Forward Publishing Seiten nicht nur schneller aktualisieren, sondern auch komplexe neue Features umsetzen. Zum Beispiel ermöglicht eine Mikrobatch-Topologie die automatische Aktualisierung von Sitemaps innerhalb von Sekunden statt wie früher einmal im Monat. Dadurch werden Websites besser von Suchmaschinen indexiert, was die Reichweite erhöht.
Weitere Stream-Topologien übernehmen individuelle Nutzerfeatures wie das Management von Lesezeichen, das Tracking kürzlich gelesener Artikel oder geographische Präferenzen. Die eventbasierten und hochmodularen Komponenten erlauben eine agile Fortentwicklung des Produkts. Die Umstellung der Backend-Architektur auf Rama und Clojure ist ein Paradebeispiel für moderne Softwareentwicklung, die traditionelle Flaschenhälse aufbricht und durch gezielte Innovation Wettbewerbsvorteile schafft. Durch die radikale Trennung von Datenmodellierung, der Nutzung inkrementeller Zustände und der präzisen Steuerung von Datenflüssen hat G+D Netcetera eine eigene technische Blaupause geschaffen. Dabei wurde die Balance zwischen Datenintegrität, Flexibilität und Performance neu definiert.
Für Unternehmen im Bereich digitaler Medien ist dieses Beispiel lehrreich, da es zeigt, wie durch kluge Technologieentscheidungen sowohl die Nutzerzufriedenheit als auch die wirtschaftlichen Kennzahlen gesteigert werden können. G+D Netceteras Erfolg demonstriert, dass Investitionen in neue Datenplattformen und funktionale Sprachen wie Clojure, gepaart mit innovativem Systemdesign wie bei Rama, sich schnell und nachhaltig auszahlen. Gleichzeitig verdeutlicht die Geschichte auch die Bedeutung von Lernbereitschaft. Die Entwickler mussten konventionelles Denken hinterfragen und sich auf ein neues Paradigma einlassen. Doch die gewonnenen Vorteile rechtfertigten den Aufwand und stellten die Weichen für künftiges Wachstum und Stabilität.
Abschließend lässt sich festhalten, dass der Einsatz von Clojure und Rama bei G+D Netcetera nicht nur eine technische Erfolgsgeschichte ist. Es ist ein Impulsgeber für die gesamte Branche, der zeigt, wie durch funktionale Programmierung, inkrementelle Verarbeitung und durchdachte Datenmodellierung digitale Publishing-Produkte leistungsfähiger, kosteneffizienter und robuster werden können. Die gewonnenen Erkenntnisse werden sicher auch zukünftige Generationen von Backends im Bereich Content-Management und digitaler Medien maßgeblich prägen.
