Die rasante Entwicklung von KI-Technologien und insbesondere von großen Sprachmodellen (Large Language Models, LLMs) hat die Art und Weise, wie Informationen verarbeitet und genutzt werden, grundlegend verändert. Systeme wie Retrieval-Augmented Generation (RAG) kombinieren umfangreiche Datenbanken mit leistungsfähigen Sprachmodellen und bieten dadurch eine besonders effektive Möglichkeit, relevante Informationen zusammen mit generierten Texten zu liefern. Microsofts GraphRAG ist eines der fortschrittlichsten Frameworks in diesem Bereich, das Entwicklern ermöglicht, Wissensgraphen mit LLMs zu vereinen. Doch trotz der hohen Funktionalität fehlte bisher ein wichtiges Element: Die Möglichkeit, die genauen Kosten des LLM-Einsatzes schon vor dem Indexierungsvorgang abschätzen zu können. Die Einführung einer Token- und Kostenschätzung in die GraphRAG-Indexierungspipeline stellt einen entscheidenden Fortschritt dar, der viele Vorteile mit sich bringt und die Nutzung solcher Systeme deutlich effizienter und transparenter macht.
Einer der Hauptgründe, warum diese Verbesserung so bedeutend ist, liegt in der Kostenstruktur von LLM-basierten Dienstleistungen. Die Bedienung von Modellen wie GPT-4 Turbo oder text-embedding-3-small erfolgt meist über API-Aufrufe, die nach Tokenverbrauch abgerechnet werden. Jeder Eingabetext, aber auch jede erzeugte Ausgabe – also die Chats oder Zusammenfassungen – verursachen Tokenkosten. In großen Projekten oder Unternehmen, die umfangreiche Datenmengen indexieren möchten, kann der Verbrauch schnell sehr hoch werden. Ohne eine klare Vorstellung über den voraussichtlichen Tokenverbrauch und damit verbundenen Kosten geht man ein finanzielles Risiko ein.
Dies kann insbesondere für kleinere Teams oder Entwickler mit begrenzten Ressourcen problematisch sein. Vor der Implementierung der Kostenschätzung gab Microsofts GraphRAG keine Möglichkeit, die Tokenanzahl einzuschätzen, die bei der Bearbeitung eines Datensatzes entstehen würden. Die Nutzer mussten also blind agieren, was zu unerwartet hohen Abbuchungen oder laufenden Projektunterbrechungen führen konnte. Genau hier setzt die neue Erweiterung an, die eine Simulation des zu erwartenden Tokenverbrauchs ermöglicht. Technisch wurde in die Indexierungspipeline eine Kommandozeilenfunktion integriert, mit der Anwender eine Vorschau auf die Kosten erhalten können, bevor der eigentliche Indexierungsvorgang startet.
Die Funktion analysiert dabei die zu verarbeitenden Dokumente, simuliert eine Token-Aufspaltung mit dem TokenTextSplitter und berechnet, wie viele Tokens für Einbettungen und Chat Completion Calls benötigt werden. Dabei wird berücksichtigt, wie viele durchschnittliche Antwort-Tokens pro Datenchunk erwartet werden. Für die Preisermittlung wird ein dynamisch geladenes JSON mit den aktuellen OpenAI-Preisen genutzt. Sollte ein Modell nicht direkt erkannt werden, erfolgt eine intelligente Preisfallback-Logik. Das Ergebnis ist eine detaillierte Aufschlüsselung, die unter anderem die eingesetzten Modelle, geschätzte Tokenanzahl und den daraus resultierenden Kostenbetrag in USD angibt.
Zusätzlich zeigt die Kostenprognose auch die Anzahl der bearbeiteten Datenchunks sowie die Gesamtzahl der erforderlichen Anfragen an die API. Diese Schätzung dient als konservative Obergrenze, was bedeutet, dass die tatsächlichen Kosten in der Regel kleiner oder höchstens gleich sein werden. Was diese Funktion so besonders und wertvoll macht, ist der unmittelbare Transparenzeffekt. Nutzer von GraphRAG erhalten endlich ein Werkzeug, das sie befähigt, ihre Projekte wirtschaftlich zu planen, ohne dabei vom Tokenverbrauch unangenehm überrascht zu werden. Dies erhöht nicht nur die Effizienz, sondern sorgt auch für eine deutliche Verringerung des Risikos, dass Projekte aufgrund unerwarteter Kosten gestoppt werden müssen.
Gleichzeitig unterstützt die neue Funktion Entwickler darin, die Arbeit mit großen Datensätzen besser zu skalieren, da sie fundierte Entscheidungen über Preissetzungen und Ressourcenallokation treffen können. Auf technischer Ebene erwies sich die Implementierung der Kostenschätzung allerdings als anspruchsvoll. Entwickler mussten verschiedene Herausforderungen meistern, wie beispielsweise die Vermeidung von Fehlern im asynchronen Ablauf der Pipeline mittels nest_asyncio, die korrekte Nachbildung der GraphRAG-internen Chunking-Logik sowie die Normalisierung der Preisangaben, die in Cents vorliegen und in US-Dollar umgerechnet werden müssen. Auch die Handhabung schlechter Eingaben, etwa leerer oder nicht-stringbasierter Daten, wurde berücksichtigt, um robuste Schätzungen zu gewährleisten. Für die Tokenisierung und die Simulation des Textsplitters kam unter anderem die tiktoken-Bibliothek zum Einsatz, die als die genaueste Methode gilt, Tokenverbrauch mit dem OpenAI-Billing Dashboard abzugleichen.
Die Entwicklung wurde durch eigene Benchmarks ergänzt, in denen Tokenizer in Sprachen wie Rust und C++ mit tiktoken und Hugging Face Tokenizern verglichen wurden. Ein humorvoller Aspekt aus der Entwicklungszeit war, dass ein lokal debuggender tiktoken-Build mit aktiven Breakpoints temporär für extrem langsame Token-Schätzungen sorgte — ein Hinweis darauf, wie wichtig sauber konfigurierte Entwicklungswerkzeuge sind. Neben der technischen Finesse hat die Einführung der Token- und Kostenabschätzung auch eine strategische Bedeutung. Sie schafft eine Grundlage für einen verantwortungsvolleren und nachhaltigeren Umgang mit LLM-Ressourcen. Dies ist angesichts der wachsenden Nutzungslast und der damit verbundenen ökologischen sowie wirtschaftlichen Kosten ein unverzichtbarer Schritt.
Letztlich öffnet diese neue Funktion die Tür für weiterführende Optimierungen und Features, etwa automatische Budgetwarnungen, dynamische Modellexperimente basierend auf Kosteneffizienz oder integrierte Reporting-Tools für Unternehmensanwender. Die Community der Frontend- und Backend-Entwickler sowie der KI-Researcher profitiert außerdem von der Offenheit des Codes und der Möglichkeit, den CLI-Befehl in eigenen Projekten nachzubauen oder anzupassen. Das Projekt wurde in einem Pull Request veröffentlicht und steht somit allen Interessierten zur freien Verfügung. Für Nutzer ist es sehr einfach, die Kostenschätzung in ihre Abläufe zu integrieren. In der Praxis führt ein einfacher Befehl in der Konsole zu einer übersichtlichen Zusammenfassung aller relevanten Zahlen und Preise — eine Hilfe, die sowohl Profis als auch Neueinsteiger gleichermaßen unterstützt.
