Die Entwicklung und Bewertung von KI-Modellen steht im Zentrum zahlreicher Innovationen, wobei genaue Benchmarking-Daten eine wichtige Rolle spielen. Der Gemini 2.5 Pro Preview 03-25 Benchmark hat in der jüngsten Vergangenheit für einige Diskussionen gesorgt, insbesondere in Bezug auf die berichteten Kosten für die Ausführung dieser anspruchsvollen Tests. Diese Debatte beruht auf einer fehlerhaften Kostendarstellung, die inzwischen aufgedeckt und korrigiert wurde, was wichtige Erkenntnisse für Entwickler, Anwender und Forscher gleichermaßen bietet. Die ursprünglich berichteten Kosten für den Gemini 2.
5 Pro Preview 03-25 Benchmark betrugen 6,32 US-Dollar, was zunächst als ein sehr günstiger Wert erschien. Bei genauerer Untersuchung stellte sich jedoch heraus, dass diese Zahl erheblich zu niedrig angesetzt wurde, was eine Neubewertung der tatsächlichen Ausgaben notwendig machte. Die wahre Kostenbelastung war weitaus höher, weswegen die ursprüngliche Angabe aus der offiziellen Aider-LLM-Benchmark-Liste entfernt wurde. Verantwortlich für die Diskrepanz war ein technisches Problem in der Tokenzählung, das sowohl die Genauigkeit als auch die Effizienzbewertung des Modells beeinträchtigte. Im Kern lag das Problem bei der verwendeten Softwarebibliothek litellm, die von Aider zur Integration und Abrechnung der großen Sprachmodelle (LLM) genutzt wird.
Diese Bibliothek war nicht in der Lage, sogenannte Reasoning Tokens vollständig zu erfassen und in die Gesamttokenanzahl einzurechnen. Reasoning Tokens sind besonders wichtige Einheiten, da sie komplexe Verarbeitungsschritte abbilden und einen großen Einfluss auf die Leistungsparameter und daraus folgenden Kosten haben. Aufgrund dieser Untererfassung stimmten die Kostenschätzungen nicht mit den tatsächlich anfallenden Kosten überein. Die Auswirkungen auf die Gesamtkostenberechnung waren daher erheblich. Weitere Untersuchungen zeigten jedoch, dass die fehlerhafte Preisangabe im litellm-Kostendatenbankeintrag zwar existierte, aber keinen wesentlichen Einfluss auf die Benchmark-Kostenermittlung hatte.
Dies ist vor allem dem internen Preismodell von Aider zu verdanken, das auf einer eigenen, zuverlässigen Datenbank basierte und somit korrekte Preisstrukturen beinhaltete. Das bedeutet, dass trotz der fehlerhaften Tokenanzahl wichtige Elemente der Preisberechnung valide blieben – nur die Basisanzahl der Tokens war unzureichend registriert. Erst durch ein Update in der litellm-Bibliothek, das am 21. April 2025 mit dem Commit a7db0df eingeführt wurde, wurde die Zählung der Reasoning Tokens korrigiert. Diese Änderung wurde mit dem Release von litellm Version 1.
67.1 distribuiert und kurz darauf von Aider übernommen. Die Integration des Updates in Aider erfolgte am 28. April 2025 durch ein Update der litellm-Abhängigkeit auf Version 1.67.
4.post1, das am 5. Mai 2025 in der Aider-Version 0.82.3 ausgeliefert wurde.
Die Folge war eine deutlich realistischere Modellkostenabschätzung. Leider ist der Gemini 2.5 Pro Preview 03-25 Build seitdem nicht mehr zugänglich, sodass es nicht möglich ist, den Benchmark mit den korrigierten Einstellungen erneut durchzuführen. Ein Vergleichswert bietet der neuere Build vom 6. Mai 2025, der den Benchmark mit ungefähr 37 US-Dollar abgeschlossen hat.
Diese Zahl liefert einen Hinweis auf den wahren Kostenrahmen und verdeutlicht die ursprüngliche erheblich zu niedrige Schätzung. Die Aider-Community und Entwickler haben die Situation transparent aufgearbeitet und zahlreiche Analysen veröffentlicht, um das Verständnis der LLM-Performance-Messung zu verbessern. Dazu zählen ausführliche Commit-Historien in den Repositorien von Aider und litellm, die die chronologische Abfolge der Änderungen dokumentieren. Diese Transparenz hilft Anwendern und Forschern, technische Herausforderungen nachzuvollziehen und Risiken bei der Auswertung von Benchmark-Daten zu minimieren. Neben der Fehlerbehebung bei der Tokenzählung wurde ebenfalls das Preismodell geprüft.
Die Preisangaben für die Ausgabe-Token („output_cost_per_token“) wurden in beiden Systemen nachjustiert, wobei Aider stets auf seine interne Datenbank zugriff und somit Preisdaten stabil und akkurat gehalten hat. Diese Vorgehensweise unterstreicht die Bedeutung eigener Modelle zur Datenvalidierung, vor allem bei hochkomplexen Systemen wie großen Sprachmodellen. Die Cost-Benchmarking-Prozedur von Aider ist ein bedeutender Baustein für die Optimierung von KI-Integrationen in realen Anwendungen. Genauigkeiten bei der Kostenberechnung helfen Unternehmen und Entwicklern, Einsatzmöglichkeiten gezielter zu planen und Budgetrisiken im Vorfeld zu minimieren. Zudem bieten solche Benchmarks wertvolle Einblicke in die Effizienz der verschiedenen KI-Modelle und deren Entwicklung.
In der Zukunft wird eine präzisere und einheitlichere Datenbasis für Tokenzählung und Preisberechnung unerlässlich sein, um solche Unstimmigkeiten auszuschließen. Die vorliegenden Erkenntnisse aus dem Gemini 2.5 Pro Preview 03-25 Benchmark bieten hierfür ein wichtiges Lernfeld und dienen der Weiterentwicklung von Toolchains zur Leistungs- und Kostenmessung in der KI-Branche. Zusammenfassend lässt sich sagen, dass der Gemini 2.5 Pro Preview 03-25 Benchmark ein aufschlussreiches Beispiel dafür ist, wie technische Details im Hintergrund von KI-Tests zu signifikanten Fehleinschätzungen führen können.
