Doctor: Die innovative Lösung zum Crawlen und Indexieren von Webseiten für LLM-Agenten

Im digitalen Zeitalter sind große Sprachmodelle (LLMs) eine der wichtigsten Technologien zur Automatisierung von Textverständnis, Recherche und Generierung. Doch ihre Leistungsfähigkeit hängt maßgeblich von der Qualität und Aktualität der zugrundeliegenden Daten ab. Hier setzt Doctor an – ein innovatives Werkzeug, das Webseiten crawlt, relevante Inhalte indexiert und diese Informationen über einen MCP-Server (Memory-Conscious Processing) für LLM-Agenten bereitstellt. Diese Lösung hilft dabei, die Lücke zwischen statischem Wissen von Sprachmodellen und dynamischen, stets aktuellen Webinhalten zu schließen. Doctor versteht sich als Komplettlösung, die verschiedene Technologien und Funktionen miteinander vereint, um Webseiten systematisch zu erfassen, Inhalte in handhabbare Abschnitte aufzuteilen, diese mit Embeddings zu versehen und in einer optimierten Datenbank zu speichern.

Die daraus resultierenden Indexe sind über eine schnelle API abrufbar und ermöglichen so LLMs, effizient und kontextbezogen auf aktuelle Webdaten zuzugreifen. Die Kernfunktion von Doctor liegt im Crawling, also der automatisierten Erfassung von Webseiten. Dabei verwendet das Tool moderne Frameworks wie crawl4ai, die nicht nur einzelne Seiten, sondern ihre gesamte Hierarchie erfassen. Das heißt, Doctor legt Wert darauf, die Struktur einer Webseite nachzubilden – von Übersichtsseiten bis hin zu einzelnen Unterseiten. So kann das Tool Zusammenhänge erkennen, die reine Textsammlungen nicht vermitteln könnten.

Durch diese vertiefte Erschließung werden LLM-Agenten befähigt, präzisere und besser kontextualisierte Antworten zu liefern. Nach dem Crawlen werden die erfassten Textinhalte mittels LangChain segmentiert. Dies ist nötig, weil große Textmengen die kognitive Verarbeitung der Sprachmodelle überfordern können. LangChain teilt die Inhalte in sinnvolle, thematisch zusammenhängende Chunks und legt so den Grundstein für eine effiziente Indexierung und Suche. Ein weiterer essenzieller Schritt im Doctor-Prozess ist die Umwandlung dieser Chunks in sogenannte Embeddings – mathematische Vektor-Repräsentationen, die es einem Modell erlauben, semantische Zusammenhänge zu erkennen.

Hier kommt die OpenAI-Schnittstelle ins Spiel, welche über die litellm-Bibliothek Einbindung findet. Die Embeddings ermöglichen eine leistungsfähige, kontextbewusste Ähnlichkeitssuche, die deutlich über reine Stichwortübereinstimmung hinausgeht. Für die Speicherung und das schnelle Abrufen der Daten setzt Doctor auf DuckDB, eine moderne In-Memory-Datenbank mit nativer Vektor-Suchfunktionalität. DuckDB erlaubt es, strukturierte Daten und mehrdimensionale Vektoren effizient zu verwalten, was besonders für Ad-hoc-Suchen und komplexe Abfragen von Vorteil ist. Parallel nutzt Doctor Redis als Message Broker für die asynchrone Verarbeitung von Crawl-Jobs und Koordination der einzelnen Prozessschritte.

Während der gesamte Datenfluss und das Backend solide aufgesetzt sind, bietet Doctor auch eine benutzerfreundliche Oberfläche über einen FastAPI-Webserver. Über diesen Server können Anwender Crawls starten, den Fortschritt der Jobs überwachen, gespeicherte Seiten durchsuchen und anzeigen lassen. Besonders wertvoll ist die Integration des MCP-Servers, mit dem LLMs direkt und standardisiert auf die vom System gesammelten und verarbeiteten Informationen zugreifen können. Die hierarchische Site-Map ist eine weitere herausragende Funktion von Doctor. Sie visualisiert die Struktur der gecrawlten Webseiten in nativen HTML- und CSS-Elementen, wodurch die Navigation leicht verständlich und intuitiv wird.

Titel werden automatisch aus HTML oder Markdown extrahiert, während Breadcrumbs die Navigation von allgemeineren zu spezifischen Unterseiten unterstützen. Auch das Gruppieren von Seiten nach Domains macht die Handhabung größerer Datenmengen komfortabler. Für Nutzer, die reinen HTML-Content bevorzugen, arbeitet die Site-Map ohne JavaScript, was Kompatibilität und Ladezeiten verbessert. Die Anwendungsfelder von Doctor sind vielfältig. Forschungseinrichtungen profitieren von der Möglichkeit, wissenschaftliche Webseiten automatisiert zu erfassen und durchsuchbar zu machen.

Entwickler, die mit LLMs arbeiten, nutzen die präzisen und aktuellen Webinhalte, um den Kontext ihrer Anwendungen zu verbessern. Unternehmen können branchenspezifische Wissensdatenbanken aufbauen oder Produktinformationen automatisch aktualisieren und LLM-gestützte Supportsysteme betreiben. Die Benutzerfreundlichkeit und das Setup von Doctor sind ebenfalls hervorzuheben. Die Installation erfolgt unkompliziert über Docker und Docker Compose, was die Bereitstellung sowohl lokal als auch in Cloud-Umgebungen erleichtert. Die notwendige OpenAI-API-Anbindung ist einfach zu konfigurieren, und über nativen API-Endpunkte lassen sich Crawlvorgänge in automatisierte Pipelines integrieren.

Dank OpenAPI-Dokumentation sind die Funktionen transparent und leicht erforschbar. Zur Qualitätssicherung bietet das Projekt eine umfassende Testumgebung mit Unit-Tests, Integrationstests und speziell gekennzeichneten Kategorien für asynchrone Abläufe. Dies trägt maßgeblich zur Stabilität und Weiterentwicklung der Software bei. Zudem sind Pre-Commit-Hooks integriert, die Codequalität und einheitliche Formatierung sicherstellen – ein klares Zeichen für professionelles Open-Source-Engineering. Doctor fällt auch durch seine Flexibilität auf.

Es unterstützt unter anderem erweiterte Suchfunktionen auf Basis von BM25, eine bewährte Methode zur Gewichtung von Termen in Dokumenten, was die Relevanz von Suchergebnissen deutlich verbessert. Das Tool ist somit nicht nur ein statischer Crawler, sondern bietet intelligente Verarbeitungsketten, die direkt auf die Bedürfnisse moderner LLM-gestützter Anwendungen zugeschnitten sind. Die Kombination aus Crawling, Text-Chunking, Embedding-Erstellung, datenbankgestützter Suche und MCP-Server-Integration macht Doctor zu einem Schlüsselwerkzeug für alle, die LLMs mit hochwertigem, stets aktuellem Webwissen füttern wollen. Dadurch wird der Schritt vom reinen Modelltraining auf historischen Daten hin zur realzeitnahen Informationsversorgung möglich. Zusammenfassend lässt sich sagen, dass Doctor durch seine technische Tiefe, einfache Bedienbarkeit und klare Fokussierung auf LLM-Integration eine bedeutende Rolle im Ökosystem der KI-gestützten Wissensverarbeitung einnimmt.

Das Projekt unter MIT-Lizenz bietet sowohl Entwicklern als auch Unternehmen eine moderne, offene Plattform zur Erschließung und Nutzung von Webinhalten in einem zunehmend datengetriebenen Umfeld. Mit stetiger Weiterentwicklung und Community-Support verspricht Doctor, sich als unverzichtbares Tool in der Zukunft des intelligenten Informationsmanagements zu etablieren.