In der Welt der Infrastruktur als Code ist Terraform ein unverzichtbares Werkzeug, das viele Teams täglich nutzen, um Cloud-Umgebungen automatisiert zu verwalten. Dabei spielt das Speichern des Terraform States eine entscheidende Rolle. Der State enthält wichtige Informationen über den aktuellen Zustand der Ressourcen, die Terraform verwaltet. Traditionsgemäß wird dieser State häufig in S3 Buckets oder ähnlichen Cloud-Speichern abgelegt, wobei solche Lösungen zwar weit verbreitet sind, aber auch einige Schwachstellen mit sich bringen. Vor Kurzem ist eine innovative Alternative vorgestellt worden: Terraform State als DNS TXT Records in AWS Route 53 zu speichern.
Eine Methode, die durch ihre globale Verfügbarkeit, Robustheit und Einfachheit neue Maßstäbe setzt. Diese Methode wird durch ein selbst entwickeltes Backend realisiert, das speziell auf die besonderen Anforderungen von Terraform und DNS abgestimmt ist und in Form einer AWS Lambda Funktion Angebote für den Zugriff auf den State bereitstellt. Die Grundidee basiert auf einem simplen, aber genialen Konzept. Anstelle von herkömmlichen Cloud Storage Lösungen wird das Terraform State File in kleine, base64-kodierte Blöcke zerlegt und in Form von DNS TXT Records innerhalb einer AWS Route 53 Zone abgelegt. DNS, weltweit verbreitet, extrem zuverlässig und für jede Cloud verfügbar, wird so zu einem Speicher für Terraform selbst.
Das gibt Nutzern die Sicherheit, auf eines der robustesten und am besten verteilten Systeme überhaupt zurückzugreifen. Die technische Umsetzung erfolgt über eine Python-basierte AWS Lambda Funktion, die als HTTP Backend agiert und die von Terraform definierte HTTP Backend API implementiert. Bei einer Anfrage zum Abrufen des States werden die einzelnen TXT Records aus Route 53 ausgelesen, zusammengefügt, dekodiert und zurück an Terraform geliefert. Beim Schreiben des States baut die Lambda Funktion aus dem übermittelten JSON eine base64-Repräsentation und verteilt diese in 255-Byte große Segmente, welche jeweils in separaten TXT Records abgelegt werden. Die Obergrenze von 255 Bytes pro TXT Record ist durch die DNS-Spezifikation vorgegeben, daher ist dieses Chunking unerlässlich.
Zusätzlich wird eine State Locking Mechanik gewährleistet, um gleichzeitige Modifikationen am Terraform State zu verhindern. Diese erfolgt durch spezielle Lock-TXT Records mit prägnanten Präfixen wie "lock..", die ebenfalls über Lambda verwaltet werden. Ein besonderer Vorteil dieser Lösung ist ihre de facto globale Verfügbarkeit.
DNS ist einer der am weitesten verteilten Dienste der Welt und hat nahezu unübertroffene Ausfallsicherheit. Im Gegensatz zu klassischen Cloud-Backends, die lokal oder regional ausfallen können, profitieren Nutzer hier von global redundanter Speicherung und Zustellung. Dabei kommt auch die Eigenschaft von Route 53 zur Geltung, dass man DNS Zonen und Records in wenigen Sekunden provisionieren und verwalten kann – ideal für schnelle Infrastrukturänderungen. Die Sicherheit wurde bei der Entwicklung ebenfalls großgeschrieben. Die Lambda Funktion verlangt eine HTTP Basic Authentifizierung, welche durch Nutzername und Passwort geschützt wird.
So wird sichergestellt, dass nur autorisierte Terraform-Prozesse Zugriff auf den State und die Lock Records haben. Die Authentifizierung wird bei jeder HTTP-Anfrage geprüft, wodurch Missbrauch effektiv vermieden wird. Die Bereitstellung und Konfiguration gestaltet sich denkbar einfach. Administratoren legen zunächst eine Terraform-Variablendatei mit den relevanten Angaben wie Domainname, Subdomain-Präfix, gehostete Zone-ID sowie den Credentials für die Authentifizierung an. Anschließend wird die Lambda Funktion deployt und mit den notwendigen Zugriffsrechten für Route 53 versehen.
Terraform-Projekte binden dann über das HTTP Backend diese Lambda Funktion ein, indem sie die jeweiligen Endpunkte für State-Handling sowie Locking angeben. Ein Beispiel zu diesem Setup ist in der Projekt-Dokumentation mitgeliefert und bietet einen schnellen Einstieg in die Nutzung. Kenner, die TensorFlow üblicherweise mit S3 und DynamoDB für Locking verwenden, erkennen sofort die Vorteile dieses neuen Ansatzes. Der wichtigste Aspekt ist die Kombination aus hoher Verfügbarkeit, Ausfallsicherheit und einfachster Infrastruktur. Es muss kein dediziertes Storage-System gewartet, keine erweiterten Zugriffsregeln für Buckets gepflegt und keine zusätzlichen Datenbanken betrieben werden.
Sämtliche State-Dateien und Lock-Informationen verschwinden vielmehr in einem von vielen bereits vorhandenen und im Internet tief verankerten System – DNS. Darüber hinaus bietet die Lösung die Flexibilität, in Multi-Account AWS-Setups eingesetzt zu werden, da Route 53-Zonen über verschiedene AWS-Konten hinweg konsolidiert und verwaltet werden können. Dies erlaubt es komplexeren Organisationen, eine einheitliche und zentralisierte Terraform State Verwaltung abzubilden. Auch die einfache Integration in CI/CD-Pipelines wird durch das HTTP Backend erleichtert. Ein weiterer Pluspunkt ist das schlanke Setup: Die gesamte Logik liegt in einer kleinen Python Lambda Funktion, die responsive auf HTTP-Methoden GET, POST und DELETE reagiert und so alle Standardoperationen des Terraform HTTP Backend Protokolls abdeckt.
Der gesamte Quellcode ist dabei Open Source verfügbar und bietet eine solide Grundlage für eigene Erweiterungen oder Anpassungen. Zusammenfassend lässt sich festhalten, dass das Speichern von Terraform State in AWS Route 53 via DNS TXT Records einen spannenden Paradigmenwechsel markiert. Das Backend eröffnet neue Möglichkeiten in punkto Resilienz, Geschwindigkeit und globaler Distribution gegenüber klassischen Lösungen. Es reduziert Abhängigkeiten von spezifischen Cloud-Speichern und nutzt stattdessen das bewährte DNS-Protokoll für effektive Infrastrukturverwaltung. Da moderne IT-Umgebungen zunehmend auf hybride und multi-cloud Architekturen setzen, wird die Verfügbarkeit des Terraform State Managements zu einer immer kritischer werdenden Komponente.
