Zeitreihendatenbanken (Time-Series-Datenbanken) haben in den letzten Jahren durch die explosionsartige Zunahme von IoT-Anwendungen, Finanzdatenanalyse, Monitoring-Systemen und anderen datenintensiven Branchen eine immense Bedeutung gewonnen. Die Leistungsfähigkeit dieser Datenbanken ist maßgeblich für die effiziente Verarbeitung enormer Datenmengen verantwortlich. Daher ist ein regelmäßiger und gründlicher Benchmark ihrer Leistungsfähigkeit unerlässlich. Im Kontext dieser Entwicklung gewinnt der umfassende Überblick über bestehende Benchmarks und deren Aussagekraft zunehmend an Bedeutung. In diesem Zusammenhang bietet die Sammlung „Every Time-Series Database Benchmark Ever“ einen einzigartigen Überblick über Benchmark-Ergebnisse, aktuelle Trends und die besten Systeme für das Jahr 2025.
Dabei werden Aspekte wie Geschwindigkeit, Zeitreihen-Joins, Zeitfenster-Aggregationen und Datenkompression besonders berücksichtigt, um die Leistungsfähigkeit der einzelnen Datenbanksysteme vergleichbar zu machen. Bei der Betrachtung der Benchmarks wird schnell klar, dass sich eine Reihe von Open-Source-Datenbanken in puncto Performance stark weiterentwickelt haben, vor allem im Kontext des sogenannten Clickbench-Benchmarks. Clickbench ist ein umfangreiches Benchmarking-Suite, das von ClickHouse selbst entwickelt wurde. Während es nicht ausschließlich auf Zeitreihendatenbanken fokussiert, bietet es aufgrund seiner Vielzahl von Tests und der Offenheit der Daten eine wertvolle Grundlage für Vergleiche. Besonders interessant ist, dass die Benchmarks sich nicht nur auf reine Zeitreihendatenbanken beschränken, sondern auch eingebettete Systeme wie DuckDB oder chDB mit einbeziehen.
Diese kleinen, leichtgewichtigen Datenbanken gewinnen an Beliebtheit, da sie besonders flexibel und ressourcenschonend eingesetzt werden können. Im aktuellen Ranking von Clickbench führt Umbra mit einer relativen Laufzeit von 1,60. Dahinter folgen ClickHouse mit 1,75 und SelectDB mit 2,12. Weitere bekannte Namen wie Doris, DuckDB oder QuestDB positionieren sich knapp dahinter. Diese Zahlen zeigen eindrucksvoll, dass die Perfomance vieler Open-Source-Lösungen in den letzten Jahren stark zugenommen hat und sich die Lücke zu kommerziellen Top-Systemen schließt.
Ein weiterer wesentlicher Benchmark, der besondere Aufmerksamkeit verdient, stammt von Mark Litwintschik. Er analysierte die Verarbeitung von 1,1 Milliarden Taxi- und Uber-Fahrten aus New York City und setzte dabei vier umfangreiche Abfragen an die Datenbanken an. Die Ergebnisse geben Aufschluss über die Fähigkeit der Systeme zur Verarbeitung großer Datenmengen unter Realbedingungen. Das kdb+-System erzielte mit 4 Intel Xeon Phi CPUs die schnellste Abfragezeit und setzte damit den Maßstab mit einem Wert von 1,0. ClickHouse auf einem Intel Core i9 konnte mit 2,3 folgen, gefolgt von DuckDB mit einem Wert von 2,8.
Andere Systeme wie Hydrolix, OmniSci oder BigQuery lagen deutlich hinter diesen Spitzenreitern, was die Leistungsunterschiede in realitätsnahen Szenarien hervorhebt. Die Bedeutung von komprimierten, spaltenorientierten Datenbankarchitekturen wird in diesen Benchmarks besonders deutlich. Auch wenn kommerzielle Benchmarks wie der kostenpflichtige STAC-M3-Standard nur begrenzt öffentlich zugänglich sind, zeigen sie doch beeindruckende Resultate großer Anbieter. Diese Benchmarks setzen auf speziell optimierte Hardware und maßgeschneiderte Konfigurationen, was sie zwar hinsichtlich der Vergleichbarkeit einschränkt, aber die Leistungsgrenzen der jeweiligen Systeme verdeutlicht. Auffällig sind hier insbesondere die Erfolge von kdb+ und anderen spezialisierten Systemen im Finanz- und Tick-Datenbereich, die bei STAC-M3 Benchmarking Rekorde erzielen konnten.
Ein weiterer bemerkenswerter Trend, der bei den jüngsten Benchmarkveröffentlichungen sichtbar wird, ist die steigende Bedeutung von Parquet- und partitionierten Datentypen. Die Analyse zeigt, dass viele Systeme ihre Performance bei solchen datenformatierten Abfragen verbessern konnten, was die Flexibilität und Effizienz für Data-Warehouse-ähnliche Szenarien erhöht. Gleichzeitig gewinnen eingebettete Datenbanken wie duckdb, chdb und QuestDB an Popularität, da sie als leichtere, aber leistungsfähige Alternativen zu großen Server-basierten Lösungen gelten. Auch spezialisierte Benchmarks wie jene von H2O.ai spielen eine wichtige Rolle.
Sie fokussieren auf reproduzierbare Tests in einer einzigen Knoten-Umgebung und testen database-ähnliche Operationen, was besonders für Data-Science-Anwendungen von Bedeutung ist. Diese Benchmarks sind für Entwickler und Nutzer interessant, da sie unabhängig, offen und regelmäßig aktualisiert werden und somit praxisnahe Vergleichsmöglichkeit bieten. Innerhalb der aufgearbeiteten Daten fallen auch eine Vielzahl von Benchmarks auf, die von den Herstellern selbst stammen. Oft werden diese genutzt, um die Stärken des eigenen Produktes bei Ingestion- oder Abfrage-Performance hervorzuheben. Dabei sind einzelne Systeme wie QuestDB, GridDB oder TDEngine prominent und zeigen jeweils Spitzenplatzierungen bei individuellen Tests zum schnellen Einlesen großer Datenmengen.
Jedoch sollte bei solchen Benchmarks immer die potenzielle Eigenwerbung bedacht werden. Weitere Benchmarks beleuchten sehr spezifische Einsatzzwecke: So wurden bei einer Studie in wissenschaftlichen Experimenten und IoT-Szenarien von ClickHouse, InfluxDB, TimescaleDB und PostgreSQL besondere Stärken bei der hohen Datenaufnahme und niedriger Abfragelatenz herausgestellt. Die hohe Geschwindigkeit bei der Datenaufnahme von ClickHouse beispielsweise – bis zu 1,3 Millionen Datensätze pro Sekunde – unterstreicht die Eignung für zeitkritische Anwendungen. Auch zeigen jüngere Untersuchungen, dass ClickHouse in vielen Analyse-Szenarien aufgrund seines spaltenorientierten Speicherformats und der vectorisierten Verarbeitung gegenüber klassischen relationalen Datenbanken wie PostgreSQL oft deutlich schneller performt. Neben etablierten Größen aus dem Open-Source-Bereich werten auch neuere Vergleichspublikationen den Einfluss von Datenkompressionsmethoden, Partitionsstrategien und modernen Hardwarearchitekturen aus.
Moderne CPUs mit vielen Kernen und großen Caches, neue Speichertypen sowie die Integration von SSD- und NVMe-Lösungen spielen eine zentrale Rolle für die Leistungssteigerungen. In puncto Ökosystem und Integration zeigen Systeme wie kdb+, ClickHouse und QuestDB durch stetige Weiterentwicklung der Querysprachen und Unterstützung für fortgeschrittene Zeitreihenanalysen ihre Vormachtstellung. Dies wird auch durch die intensive Nutzung von Zeitfensteraggregationen und effizienten Joins in Benchmarktests bestätigt. Ein weiterer spannender Aspekt ist die Erkundung von DuckDB als Embedded-Engine, die zunehmend in der Lage ist, viele der komplexen kdb+-Abfragen zu replizieren. Obwohl DuckDB ursprünglich für analytische Workloads in lokalem Speicher konzipiert wurde, nähert es sich stark den Performanceanforderungen einer vollwertigen Time-Series-Datenbank an, was für Entwickler von Datenanwendungen neue Möglichkeiten eröffnet.
Abschließend lässt sich festhalten, dass die kontinuierliche Auswertung all dieser Benchmarks wichtige Einblicke in die aktuellen Entwicklungen und künftigen Potenziale von Zeitreihendatenbanken gibt. Die Kombination aus Offenen Benchmarks wie Clickbench, wissenschaftlichen Studien, kommerziellen STAC-M3-Tests und vielfältigen Herstellerbenchmarking fördert den Wettbewerb und die Innovation in diesem essenziellen Bereich der Datenverarbeitung. Die Zukunft gehört dabei nicht nur den Hochleistungsservern, sondern auch eingebetteten, flexiblen Lösungen, die durch ausgezeichnete Performance, Benutzerfreundlichkeit und breite Unterstützung überzeugen. Für Anwender bedeutet es, die jeweils passende Lösung gezielt basierend auf Workload-Anforderungen, Hardwareumgebung und Skalierungsbedürfnissen auszuwählen - und das auf Basis verlässlicher, offener Benchmarks, die zunehmend Transparenz schaffen und Vergleichbarkeit ermöglichen.
