Hacker News gilt seit Jahren als zentrale Anlaufstelle für technikaffine Nutzer, Innovatoren und Entwickler weltweit. Die Plattform, ursprünglich von Paul Graham und seinem Team als Diskussionsforum geschaffen, hat sich als Herzstück der Tech-Community etabliert. Im Jahr 2024 erfolgte eine bemerkenswerte Veränderung, die bisher wenig Beachtung fand: Hacker News läuft nun auf Common Lisp. Dieser Wechsel von einer speziell angepassten Variante von Lisp namens Arc auf die allgemeinere und leistungsstarke Implementation Common Lisp hat viele technische und historische Implikationen und verdient eine eingehende Betrachtung. Die Geschichte von Hacker News ist eng mit Lisp verbunden.
Die ursprüngliche Programmiersprache Arc wurde von Paul Graham entwickelt und basiert selbst auf Racket, einer Scheme-Variante. Arc wurde zur Entwicklung von Hacker News verwendet, was die Verbindung zwischen Lisp und der Plattform schon früh aufzeigte. Doch die Architektur von Arc auf Racket brachte gewisse Limitationen mit sich, die Hacker News zuletzt in ihrer Performance spürte. Insbesondere bei langen Diskussionssträngen war die Ladezeit mitunter langwierig, weshalb ein Paging-System zum Herunterladen der Kommentarseiten implementiert wurde. Nutzer waren so gezwungen, mehrfach auf den „Mehr“-Button zu klicken, um vollständige Diskussionen zu verfolgen.
Seit September 2024 setzt Hacker News nun auf SBCL – Steel Bank Common Lisp – eine moderne, schnelle und effiziente Common Lisp Implementation. Die Performance-Verbesserungen durch diesen Wechsel sind signifikant. Die Notwendigkeit für Paging entfällt inzwischen, da die Server selbst umfangreiche Threads flüssig und ohne Verzögerung darstellen können. Dies wird vor allem durch Clarc möglich, ein neues System, das als „Arc-to-Common Lisp“ Compiler fungiert und die Entwicklung von Hacker News ermöglicht, indem es den alten Arc-Code effizient übersetzt und optimiert. Clarc ist das Ergebnis jahrelanger Arbeit von „dang“ und seinem Team.
Es bildet eine Brücke zwischen Arc und Common Lisp und erlaubt das effiziente Übersetzen von Arc-Code in Common Lisp-Code. Gleichzeitig bietet Clarc die Grundlage, Hacker News in einer modernen, multikernfähigen Umgebung laufen zu lassen. Die mehrkernige Verarbeitung spielt hier eine entscheidende Rolle, um Lastspitzen bei beliebten Diskussionen performant zu bewältigen. Die Umstellung stellt daher nicht nur eine Modernisierung der Codebasis dar, sondern eine Optimierung der gesamten Infrastruktur. Eine der innovativsten technischen Ideen hinter Clarc und der neuen Hacker News Architektur ist die Schichtung des Arc-Systems in mehrere Stufen.
Arc0, Arc1 und Arc2 wurden als solche Ebenen definiert. Die unterste Ebene, Arc0, wird direkt in der zugrundeliegenden Plattform implementiert – früher Racket, jetzt Common Lisp. Die weiteren Stufen bauen jeweils auf den niedrigeren auf und steigern die Ausdruckskraft der Programmiersprache. Dieses modulare Vorgehen erleichtert langfristig die Pflege der Software und das Übertragen auf unterschiedliche Laufzeitumgebungen, beispielsweise jeweils auf JavaScript oder Common Lisp. Eine Umstellung dieser Größenordnung auf Hacker News ist aus mehreren Gründen bemerkenswert.
Zum einen erleben wir hier ein bekanntes Online-Portal, das einer Vielzahl von Nutzern mit hohen Ansprüchen an Performance und Verfügbarkeit dient. Für viele Webentwickler wirkt Lisp, insbesondere Common Lisp, eher exotisch. Dass Hacker News nun diese Technologie im Kern nutzt, stärkt das Vertrauen in die Sprache als Produktionswerkzeug. Zum anderen demonstriert die Entscheidung, Quellcode und Infrastruktur Stück für Stück zu überarbeiten, wie man komplexe Legacy-Systeme modernisiert, ohne die Verfügbarkeit für Millionen von Nutzern zu gefährden. Trotz der Offenheit von Clarc ist der neue Hacker News Code selbst nicht öffentlich zugänglich.
Gründe hierfür sind vor allem Schutzmaßnahmen gegen Missbrauch, welche als Geheimhaltungselemente im Code eingebaut sind. Eine vollständige Veröffentlichung des Codes würde diese Schutzmechanismen kompromittieren. Im Gegensatz dazu wäre das Open-Sourcing von Clarc laut den Machern deutlich einfacher zu realisieren. Clarc basiert auf dem ursprünglichen Arc-Release, dessen Quellcode bereits öffentlich und frei verfügbar ist. Eine Portierung und stufenweise Veröffentlichung der neuen Arc-Implementationen könnte in Zukunft das Interesse an der Sprache und der Technologie weiter beflügeln.
Die Wahl von Common Lisp als Basis für die neue Hacker News-Plattform liefert außerdem Einblicke in die Performance und Skalierbarkeit, die Lisp-Systeme moderner Prägung bieten. Common Lisp ist eine der ältesten noch aktiv verwendeten Programmiersprachen, die sich im Laufe der Jahre kontinuierlich weiterentwickelt hat. Die Verfügbarkeit von leistungsstarken Compilern wie SBCL sowie reichhaltigen Bibliotheksökosystemen macht Lisp nicht nur als Forschungssprache, sondern auch als Tool für produktive Webanwendungen attraktiv. Der laufende „Splash-free“-Übergang von Racket-basiertem Arc-Code zu Common Lisp zeigt, wie sichere und nahtlose Migrationen von Systemen realisiert werden können, die unter hoher Last und mit großem Nutzerstamm betrieben werden. Dies stellt für andere Softwareprojekte einen interessanten Maßnahmenkatalog dar.
Insbesondere Open-Source-Projekte und Entwicklerteams können viel von der modulartigen Arc-Neustrukturierung und dem Clarc-Compiler lernen, wenn es darum geht, Legacy-Code zu modernisieren. Auch das Thema Mehrkernfähigkeit bekommt durch die Umstellung eine neue Bedeutung. Während Webplattformen oft durch Single-Threaded-Architekturen limitiert werden, erlaubt Common Lisp mit SBCL den Einsatz moderner Parallelitätsmodelle. Dies ist für Hacker News insbesondere wichtig, da die Webseite eine Vielzahl von Anfragen und Diskussionen gleichzeitig abbildet – deren Performance also direkt vom effizienten Multithreading abhängig ist. Nutzererfahrungen zeigen, dass die Reaktionszeiten der Seite inzwischen deutlich verbessert wurden und das Browsen von Diskussionen flüssiger denn je funktioniert.
Die technische Entscheidung hinter dem Wechsel von Arc auf Common Lisp lässt sich auch als eine strategische Maßnahme verstehen, um die Zukunftssicherheit von Hacker News zu gewährleisten. Während Arc Lisp eine interessante Spielwiese und ein eleganter Dialekt ist, fehlt teilweise der industrielle Charakter und die breite Unterstützung, die Common Lisp aufgrund seiner Lisp-Tradition mitbringt. Die Entwickler profitieren so von einem größeren Entwickler-Ökosystem, besseren Werkzeugen und längerfristiger Wartbarkeit. Die Entscheidung für Lisp-basierte Systeme hebt sich klar ab vom heute meist verbreiteten Trend weg von funktionalen Programmiersprachen oder solchen mit stark eingeschränkten Laufzeit-Systemen zugunsten statisch typisierter Varianten. Lisp erlaubt mit seiner dynamischen Natur und erweiterten Makrofunktionalitäten einen sehr flexiblen und mächtigen Programmierstil.
Gerade in komplexen Webanwendungen kann das helfen, typische Probleme der Entwicklung effizienter und eleganter zu lösen. Auch hinsichtlich der Web-Entwicklung mit Common Lisp hat Hacker News einen Vorreiterstatus. Immer wieder werden neue Projekte und Frameworks auf Lisp-Basis entwickelt, um schnelle und skalierbare Webapplikationen zu bauen. Die Umstellung von Hacker News verstärkt das Interesse an diesem Ökosystem und ermutigt Entwickler, sich intensiver mit Common Lisp im Web Kontext zu beschäftigen. Neben den technischen Aspekten liefert der Fall Hacker News Einblicke in die Community-Kultur.
