Die Automatisierung von Hardware-Tests gewinnt in der Open-Source-Community zunehmend an Bedeutung. Angesichts der immer größer werdenden Anzahl unterstützter Geräte und der wachsenden Komplexität von Funktionen bei Projekten wie postmarketOS wird klar, dass manuelle Tests nicht mehr ausreichen, um die Qualität und Zuverlässigkeit der Systeme sicherzustellen. In diesem Kontext berichten die Entwickler von postmarketOS vom aktuellen Stand ihrer Arbeiten, um automatisierte Hardware-Tests nachhaltig zu etablieren und die kontinuierliche Integration (CI) möglichst effektiv zu nutzen. Dabei wurden bereits bedeutende Fortschritte erzielt, die durch die Unterstützung von Spenden finanziert und vorangetrieben wurden. Es handelt sich um eine komplexe Herausforderung, die sowohl Hardware- als auch Softwarekomponenten umfasst und viele technologische und organisatorische Aspekte miteinander verbindet.
postmarketOS verfolgt das Ziel, ein nachhaltiges und langfristig zuverlässiges Betriebssystem für mobile Geräte bereitzustellen. Die Anzahl der unterstützten Geräte wächst stetig, ebenso wie die Anzahl der Features, die jedes einzelne Gerät stabil unterstützen soll. Dies bedeutet, dass Tests immer aufwendiger werden, da nicht nur Basisszenarien wie Bootvorgänge überprüft werden, sondern auch komplexe Abläufe wie WiFi-Verbindungen nach mehreren Neustarts oder die Integration unterschiedlicher Hardwarekomponenten. Manuelles Testen stößt hier schnell an Grenzen, vor allem wenn Tests in größerem Umfang und kontinuierlich durchgeführt werden sollen. Deshalb hat sich das postmarketOS-Team frühzeitig mit der Automatisierung von Hardware-Tests beschäftigt und bereits eine erste Testsuite implementiert.
Während dieser Versuch nicht produktionsreif war, lieferte er wichtige Erkenntnisse und die Grundlage für die Entwicklung eines verbesserten Systems. Es stellte sich schnell heraus, dass ein erfolgreiches Testautomatisierungsprojekt nicht nur technisches Know-how erfordert, sondern auch organisatorisch gut aufgestellt sein muss. Eine einzelne Person kann die komplexen Anforderungen und vielseitigen Aufgaben nur schwer bewältigen. Aus diesem Grund wurde das Vorhaben in zwei zentrale Bereiche aufgeteilt: die Hardwareentwicklung inklusive der Steuerung elektrischer Komponenten, sowie die Softwareintegration mit Fokus auf die CI. Im Hardwarebereich besteht die Herausforderung darin, ein System zu entwickeln, das es erlaubt, einzelne Geräte aus der Ferne zu steuern.
Dazu gehört das Einspielen von Firmware (Flashen), das Ein- und Ausschalten, sowie die Simulation von Bedienereingaben durch das Drücken von Knöpfen. Für eine sichere und skalierbare Lösung soll die Hardware möglichst unabhängig von eingesetzten Batterien sein, um Risiken wie Überhitzung und Brandgefahr zu vermeiden. Ein maßgeschneidertes Leiterplatten-Design (PCB) ist Teil dieses Ansatzes. Das postmarketOS-Team hat diesen Prozess über mehrere Iterationen entwickelt und ein erstes Design fertiggestellt, das nun getestet wird. Diese Tests werden helfen, das Design weiter zu optimieren und schließlich eine robuste Hardwareplattform bereitzustellen.
Auf der Softwareseite zeigt sich, dass es kaum ausgereifte Open-Source-Lösungen für die Integration von echten Geräten in CI-Pipelines gibt. Die bekannteren Tools wie LAVA erfüllten nicht alle Anforderungen des Projekts. Stattdessen fiel die Wahl auf CI-tron, ein weniger verbreitetes, aber bewährtes Open-Source-System, das von der Gaming- und Grafik-Community, unter anderem bei Mesa und SteamDeck, erfolgreich genutzt wird. CI-tron verbindet verschiedene Komponenten zu einem geschlossenen Ökosystem: Es ermöglicht das Verwalten und Steuern von sogenannten Devices Under Test (DUT), die entweder reale Hardware oder QEMU-basierte virtuelle Maschinen sein können. Die Steuerung der Hardwaregeräte erfolgt über ein zentrales Gateway, das als Betriebssystem-Image bereitgestellt wird.
Dieses steuert die ausgeführten Tests, kommuniziert mit GitLab für das Abrufen von Testaufträgen und koordinierte die Geräte untereinander. Die Hardwareebene, also die zuvor erwähnte PCB-Lösung, fungiert als Power Delivery Unit (PDU), die für das Ein- und Ausschalten sowie andere Steuerfunktionen zuständig ist. Von außen betrachtet agieren die Geräte wie gewöhnliche GitLab-Runner, die mit passenden Hardware-Tags versehen sind. Diese Tags ermöglichen eine gezielte Auswahl der Tests basierend auf dem Gerätetyp und der Architektur, sodass Testläufe präzise auf relevante Hardware ausgerichtet werden können. Um die Implementierung von Softwarekomponenten voranzutreiben, hat postmarketOS gezielt Fachpersonen engagiert.
So konnte Martin Roukala, der Hauptmaintainer von CI-tron, mit beratenden und entwickelnden Aufgaben betraut werden. Zusätzlich wurde Samuel eingestellt, der die Integration der Tests für initramfs und Kernel-Änderungen in den pmaports-Repositories übernahm. Dies umfasst unter anderem die Anpassung von CI-Konfigurationen, die Erarbeitung modularer Architekturen und eine Verbessrung der Dokumentation, um die Einstiegshürden für externe Entwickler möglichst niedrig zu halten. Die Zusammenarbeit zwischen CI-tron-Entwicklern und postmarketOS ermöglichte auch eine Weiterentwicklung und Modularisierung des CI-tron-Projekts, die nicht nur dem postmarketOS-Projekt, sondern auch anderen Community-Aktivitäten zugutekommt. Die daraus entstandenen Verbesserungen flossen bereits in populäre Projekte wie Mesa ein, was das Potential und die Nachhaltigkeit dieser Arbeit unterstreicht.
Parallel wurden durch Oliver, einen weiteren Projektbeteiligten, die Entwicklungsarbeiten mit der Infrastruktur verknüpft. Die Installation und der Betrieb von CI-tron auf einem öffentlich zugänglichen Server stellte sich als anspruchsvoll heraus, da bisher eher lokale Installationen mit direkt zugänglicher Hardware üblich waren. Dennoch wurde eine betriebsbereite Testumgebung mit mehreren virtuellen Runnern (QEMU) aufgebaut, die sich flexibel erweitern oder reduzieren lässt. Dadurch ist ein skalierbarer Testbetrieb möglich, der je nach Bedarf angepasst werden kann. Das ursprünglich für das Komplettprojekt geplante Budget lag bei bis zu 15.
000 Euro. Aufgrund der Anpassung des Projektumfangs – insbesondere der Verschiebung des Tests an echter Hardware auf einen späteren Zeitpunkt – wurden die Kosten voraussichtlich unterschritten, obwohl die intensiven Architekturarbeiten den Aufwand leicht erhöhten. Das Projekt zeigt exemplarisch, wie durch finanzielle Unterstützung von Spendern und Fördermitteln entscheidende Schritte für die Verbesserung der Qualität von Open-Source-Betriebssystemen erreicht werden können. Zusammenfassend lässt sich sagen, dass automatisierte Hardware-Tests ein Schlüsselfaktor für die Weiterentwicklung und Stabilität von postmarketOS sind. Die Kombination aus maßgefertigter Hardware, modularer und offener Software sowie gut durchdachter CI-Integration ermöglicht es, funktionale Tests in größerem Maßstab durchzuführen und so die Zuverlässigkeit des Systems auf vielfältigen Geräten sicherzustellen.
Die offene Ausgestaltung des Systems soll darüber hinaus anderen Projekten in der freien Software-Community zugutekommen und standardisierte Abläufe für Testautomation etablieren. Die begonnene Umsetzung dient als solide Basis für zukünftige Erweiterungen – unter anderem den realen Einsatz der erarbeiteten Hardware sowie die Einbindung weiterer Gerätetypen und Testszenarien. Durch die stetige Verbesserung der Dokumentation und die Erleichterung beim Zugang zu Testinfrastrukturen werden weitere Entwickler ermutigt, sich einzubringen und so gemeinsam die Qualität und Nutzererfahrung von postmarketOS zu verbessern. Die Arbeit an der Automatisierung von Hardware-Tests ist ein leuchtendes Beispiel dafür, wie offene Projekte durch Kooperation, technische Innovation und nachhaltige Finanzierung gestärkt werden können. Mit der zunehmenden Verbreitung solcher Systeme wächst auch das Vertrauen in freie Betriebssysteme und deren Einsatzfähigkeit im Alltag.
Interessierte Nutzer und Entwickler sind herzlich eingeladen, die Entwicklung durch Beteiligung oder Spenden zu unterstützen und so die Zukunft von postmarketOS aktiv mitzugestalten.
