App-Use: Präzise Steuerung von Einzelanwendungen mit CUA Agents auf macOS

Die fortschreitende Automatisierung von Computeranwendungen ist in vielen Bereichen längst unverzichtbar geworden. Mit der Einführung der App-Use-Funktion im Bereich der CUA Agents auf macOS eröffnet sich nun eine völlig neue Dimension der Steuerung von Programmen. Anstatt den Zugriff eines Agenten auf den gesamten Bildschirm zu ermöglichen, erlaubt App-Use die präzise Einschränkung auf genau definierte Anwendungen. Dieser Ansatz bietet eine fokussiertere und ressourcenschonendere Automatisierung, die besonders bei parallelen Arbeitsprozessen und spezialisierten Aufgaben punkten kann. App-Use ist als experimentelles Feature im CUA GitHub Repository verfügbar und ermöglicht das Erstellen virtueller Desktops, die ausschließlich ausgewählte Anwendungen anzeigen und steuern.

Dabei wird nicht etwa ein neuer Prozess gestartet oder die Anwendung verändert, sondern es erfolgt eine visuelle Filterung der Desktop-Ansicht. Dies bedeutet, dass die Originalanwendungen unverändert weiterlaufen, während der Agent nur die freigegebenen Programme sehen und bedienen kann. Diese Methode basiert auf der leistungsfähigen Quartz-Technologie von macOS, welche für das Compositing und die Verwaltung von Fenstern zuständig ist. Die technischen Voraussetzungen für die Nutzung von App-Use sind verhältnismäßig simpel. Es wird mindestens macOS Sequoia (Version 15.

0) benötigt sowie Python 3.11 oder höher. Die Integration erfolgt über die Installation der aktuellen Pakete "cua-computer" und "cua-agent". Nach Aktivierung des Features per experimentellem Flag in der Computer-Instanz kann der Nutzer die gewünschten Programme definieren, die im virtuellen Desktop sichtbar sein sollen. Die Agenten werden daraufhin nur mit diesen Desktop-Session-Ansichten ausgestattet und können gezielt mit diesen Anwendungen interagieren.

Der tatsächliche Mehrwert von App-Use zeigt sich vor allem in der Arbeit mit mehreren spezialisierten Agenten, die parallel agieren können. So lässt sich ein Forschungstext beispielsweise vom Browser abhängig gestalten, während ein anderer Agent zeitgleich Notizen und Dokumente bearbeitet. Da die virtuellen Desktops nur die jeweils notwendigen Apps umfassen, bleibt die Arbeitsumgebung übersichtlich und die Abläufe fokussiert. Zudem wird beim App-Use keine zusätzliche Rechenleistung für neue Prozesse erforderlich, da die Filterung rein visuell und auf Basis der bestehenden Fenster erfolgt. Besonders interessant ist diese Technologie auch für die Automatisierung von iPhones über die sogenannte iPhone Mirroring App.

Hierbei wird auf dem Mac eine Session geschaffen, in der der Agent ausschließlich die Spiegelung des iPhone-Bildschirms steuert. So lässt sich mit natürlicher Sprache etwa das Versenden von Nachrichten, das Erstellen von Erinnerungen oder das Navigieren innerhalb von iOS-Apps automatisieren. Dies eröffnet viele neue Anwendungsmöglichkeiten sowohl im privaten als auch im beruflichen Umfeld, etwa bei der Verwaltung von Geräten oder dem automatisierten Testen von Apps. Eine wichtige Einschränkung bei App-Use ist allerdings seine Beschränkung auf macOS. Die Funktion baut auf der Apple-eigenen Komponentenarchitektur auf, weshalb eine Nutzung unter Windows oder Linux derzeit nicht möglich ist.

Außerdem handelt es sich bei der App-Use-Session lediglich um eine visuelle Isolierung, die keine echte Sicherheitsschicht darstellt. Die zugrundeliegenden Dateisysteme, Betriebssystemressourcen und Benutzerkonten werden gemeinsam genutzt. Für maximale Sicherheit und Isolation empfiehlt sich daher nach wie vor die Nutzung mehrerer vollständiger CUA Container, auch wenn diese mehr Ressourcen in Anspruch nehmen. Für Anwender, die den Einstieg in App-Use wagen möchten, empfiehlt es sich, zunächst nur wenige Anwendungen in einer Desktop-Session zu integrieren und die Funktionalität durch Screenshots zu überprüfen. Wichtig ist die korrekte Schreibweise der App-Namen, da die Filterung genau darauf basiert.

Wer plant, viele Agenten parallel zu betreiben, sollte die Performance im Auge behalten, da trotz der ressourcenschonenden Technik eine gewisse Systembelastung entstehen kann. App-Use hebt die Automatisierung durch KI-Agenten auf ein neues Level, indem es ermöglicht, einzelne Anwendungen unabhängig voneinander konzentriert zu steuern. Diese Feinsteuerung bringt nicht nur eine deutlich verbesserte Übersicht der Arbeitsflächen, sondern erleichtert auch das Management komplexer Automatisierungsprozesse. Gerade bei persönlichen Geräten wie dem Mac oder dem iPhone bietet App-Use einen geeigneten Mittelweg zwischen Flexibilität und Effizienz. Zukunftsorientierte Nutzer und Entwickler können mit App-Use spezialisierte Assistenten schaffen, die zielgerichtet bestimmte Aufgaben übernehmen, ohne sich in einer überladenen Desktopumgebung zu verlieren.