1. 2035 beginnt nicht erst in zehn Jahren

Zukunftsberichte sind keine Fahrpläne, sondern verdichtete Szenarien: Sie verbinden technologische Entwicklungen, wirtschaftliche Interessen, gesellschaftliche Hoffnungen und strategische Annahmen zu einem möglichen Bild der Zukunft. Genau so sollte auch Intelligent World 2035 gelesen werden – weder als neutrale wissenschaftliche Prognose noch als Garantie, dass sich die beschriebenen Entwicklungen im genannten Tempo realisieren. Bemerkenswert ist der Report dennoch, weil er viele Einzeltrends zu einer kohärenten Systemvision verbindet: Nach eigenen Angaben stützt Huawei ihn auf mehr als 200 Workshops und Gespräche mit über 100 Fachpersonen, Kunden und Partnern. Das macht aus den Aussagen keine Gewissheiten, zeigt aber, dass die Vision über eine reine Produktankündigung hinausgeht.

Im Zentrum steht eine einfache, aber folgenreiche These: Die nächste Phase künstlicher Intelligenz entsteht nicht allein durch grössere Sprachmodelle. Sie entsteht dann, wenn KI die digitale Sphäre verlässt, ihre Umgebung wahrnimmt, Ziele verfolgt, Entscheidungen trifft und über Software, Roboter, Fahrzeuge, Netze oder industrielle Anlagen auf die physische Welt einwirkt. Der Report bezeichnet diesen Übergang sinngemäss als den entscheidenden Weg in Richtung allgemeiner künstlicher Intelligenz.

Für Unternehmen ist diese Perspektive relevanter als die oft abstrakte Debatte darüber, wann eine AGI erreicht wird. Schon heute erhalten KI-Systeme Zugriff auf E-Mail, Dokumente, Quellcode, Cloud-Plattformen, Ticketsysteme, Finanzdaten und Geschäftsprozesse, planen Aufgaben, rufen Werkzeuge auf und übergeben Ergebnisse an nachgelagerte Systeme. Die Grenze zwischen «Antwort erzeugen» und «Aktion auslösen» wird damit bereits in diesem Jahrzehnt durchlässig.

Die strategische Bedeutung liegt deshalb nicht nur in besseren Modellen, sondern im Zusammenspiel aus Modellen, Daten, Schnittstellen, Berechtigungen, Sensoren, Aktoren, Netzwerken und Energie. Dieses Zusammenspiel entscheidet, ob KI ein Assistenzsystem bleibt oder zu einer neuen operativen Schicht innerhalb von Organisationen wird.

Die eigentliche Revolution beginnt nicht dann, wenn eine KI überzeugend formuliert. Sie beginnt dann, wenn sie selbständig handeln darf – und ihre Entscheidungen reale finanzielle, technische oder physische Konsequenzen haben.

Aus Sicht von CRYPTRON Security ist genau dieser Übergang der kritische Punkt. Klassische Informationssicherheit schützt Daten, Systeme und Kommunikationswege. Die Sicherheit autonomer KI-Systeme muss zusätzlich Ziele, Entscheidungslogik, Werkzeugnutzung, Kontext, Agentenkommunikation und physische Auswirkungen kontrollieren. Ein kompromittiertes Chatfenster ist unangenehm. Ein kompromittierter Agent mit Zugriff auf Produktionsanlagen, Zahlungssysteme oder kritische Infrastruktur kann existenzielle Schäden verursachen.

2. Vom Sprachmodell zum handelnden System: «Going physical»

Die heutigen generativen Modelle sind leistungsfähig, aber strukturell begrenzt. Sie berechnen wahrscheinliche Ausgaben auf Basis sehr grosser Datenmengen. Sie können Muster erkennen, Sprache verarbeiten, Bilder erzeugen und komplexe Aufgaben in Teilschritte zerlegen. Dennoch bleiben Halluzinationen, mangelnde Erklärbarkeit, unvollständige Kausalität und eine fragile Abhängigkeit vom bereitgestellten Kontext zentrale Schwachstellen.

Der Report beschreibt drei mögliche Entwicklungsrichtungen: Erstens könnte die Skalierung von Daten, Modellen und Rechenleistung einen weiteren technologischen Sprung ermöglichen. Zweitens könnten Transformer-basierte Architekturen an Grenzen stossen und durch neue theoretische Ansätze abgelöst werden. Drittens könnte sich der Fokus von der ambitionierten AGI-Vision wieder stärker auf den wirtschaftlichen Nutzen bestehender Modelle verlagern.

Unabhängig davon bleibt die entscheidende Bewegung dieselbe: KI wird in Handlungssysteme integriert. Ein solcher Agent benötigt mehr als ein Sprachmodell. Er braucht eine Wahrnehmung der aktuellen Situation, ein Gedächtnis, ein Zielmodell, Regeln, Werkzeuge, Planungsfähigkeit, Kontrollmechanismen und eine Rückmeldung über die Wirkung seiner Aktionen.

Diese Architektur erinnert stärker an ein cyber-physisches Kontrollsystem als an einen Chatbot. Ein Agent, der Wartungsarbeiten plant, Medikamente dosiert, Handelsentscheidungen vorbereitet, eine Produktionslinie optimiert oder Energieflüsse steuert, muss mit Unsicherheit umgehen. Er muss erkennen, wann Informationen fehlen, wann sein Modell nicht zuständig ist und wann eine menschliche Entscheidung erforderlich wird.

Die zentrale Herausforderung ist daher nicht maximale Autonomie, sondern kontrollierbare Autonomie. Ein leistungsfähiges System ohne klar definierte Grenzen ist kein Wettbewerbsvorteil, sondern ein unquantifiziertes Geschäftsrisiko. Je grösser der Handlungsraum eines Agenten, desto wichtiger werden deterministische Sicherheitsbarrieren ausserhalb des Modells.

3. Die zehn Technologiesprünge auf dem Weg zur intelligenten Welt

Der Report ordnet die Entwicklung bis 2035 in zehn miteinander verbundene Technologiesprünge. Sie sollten nicht als isolierte Trends betrachtet werden. Erst ihr Zusammenspiel erzeugt die beschriebene Wirkung – und genau dieses Zusammenspiel vergrössert zugleich die Komplexität und die Angriffsfläche.

1. Physische KI als Weg zu allgemeinerer Intelligenz

   Modelle sollen nicht nur digitale Inhalte verarbeiten, sondern die physische Welt wahrnehmen, in ihr lernen und auf sie einwirken. Multimodale Daten, Weltmodelle, Sensorik und Aktorik werden dadurch zu Bestandteilen eines gemeinsamen Systems. Aus Security-Sicht verschiebt sich das Schadenspotenzial von falschen Informationen zu falschen Handlungen.

2. KI-Agenten als Werkzeuge und Entscheidungspartner

   Agenten entwickeln sich vom unterstützenden Funktionsbaustein über den Task Handler und Kollaborator bis zum weitgehend autonomen Akteur. Der Report erwartet, dass Level-4-Agenten in ausgewählten Domänen in grossem Massstab eingesetzt werden. Damit wandert Entscheidungsbefugnis schrittweise vom Menschen zum System.

3. Human-AI Programming

   Softwareentwicklung verlagert sich von der direkten Codeerstellung hin zur Beschreibung von Absichten, Architekturen, Regeln und Qualitätskriterien. Agenten erzeugen Anforderungen, Code, Tests und Reviews. Menschliche Rollen verschieben sich in Richtung Design, Governance, Kontrolle und Sicherheitsprüfung.

4. Die «Mirror World» und räumliche Interaktion

   Digitale und physische Räume sollen durch Spatial Computing, Extended Reality, holografische Darstellungen und multimodale Interaktion enger zusammenwachsen. Neben Sehen und Hören werden Berührung, Geruch, Geschmack, Gesten, Körperhaltung und langfristig auch Brain-Computer Interfaces als neue Eingabekanäle beschrieben.

5. Vom App-Internet zur Multi-Agenten-Kollaboration

   Nutzer sollen nicht mehr jede App einzeln bedienen. Ein primärer Agent koordiniert spezialisierte Service-Agenten und erledigt ein Ziel Ende-zu-Ende. Der zentrale Qualitätsindikator wird dann nicht die Verweildauer in einer App, sondern die erfolgreiche und sichere Erledigung einer delegierten Aufgabe.

6. Körpergebundene AI

   Intelligente Fahrzeuge, Roboter und Systeme der «Low-Altitude Economy» verbinden Modelle mit Kameras, Tastsensoren, Motoren, Batterien und Echtzeitkommunikation. Der Report erwartet Fortschritte von hochautomatisiertem Fahren bis zu alltagstauglichen Haushaltsrobotern – vorausgesetzt, zentrale Probleme bei Daten, Geschicklichkeit, Energie und Zuverlässigkeit werden gelöst.

7. Computing jenseits der von-Neumann-Architektur

   Der steigende Rechenbedarf soll neue Materialien, 3D-Integration, Near-Memory- und In-Memory-Computing sowie analoge, optische, neuromorphe und Quanten-Computing-Paradigmen vorantreiben. Die Motivation ist nicht nur Leistung, sondern vor allem Energieeffizienz.

8. Daten werden zu aktiver Intelligenz

   Klassische Datei- und Objektspeicher reichen für zustandsbehaftete Agenten nur bedingt aus. Künftige Speicher müssen Beziehungen, Gedächtnisströme, Zustände, Versionen und semantische Zusammenhänge direkt unterstützen. Historische «kalte» Daten werden für Training, Kontext und Entscheidungen wieder relevant.

9. Das Agentic Internet

   Der Report prognostiziert ein Netzwerk für 900 Milliarden Agenten bei rund 9 Milliarden Menschen. Dieses Netz muss Identität, Echtzeitkommunikation, Dienstgüte, sichere Delegation und maschinenlesbare Vertrauensbeziehungen in einer Grössenordnung unterstützen, für die heutige Internetarchitekturen nicht ausgelegt sind.

10. Tokenisierte Energie als Nervensystem

    Energieerzeugung, Speicher, Netze, Verbraucher und Rechenzentren sollen dynamisch koordiniert werden. Der Begriff «Tokenisierung» beschreibt dabei die feingranulare, intelligente Zuweisung und Steuerung von Energie. KI wird gleichzeitig zum grossen Stromverbraucher und zum Optimierer eines zunehmend dezentralen Energiesystems.

Die gemeinsame Klammer dieser zehn Trends ist Systems Engineering. Nicht das leistungsfähigste Einzelmodell entscheidet, sondern die Fähigkeit, heterogene Komponenten sicher, beobachtbar und resilient miteinander zu verbinden. Eine schwache Identitätsschicht, ein unkontrolliertes Plugin, eine manipulierte Datenquelle oder ein ungesicherter Aktor kann die Sicherheit des Gesamtsystems unterlaufen.

4. Die Agenten-Ökonomie verändert das Betriebssystem von Unternehmen

Die aktuelle Welle generativer KI optimiert vor allem einzelne Tätigkeiten: Texte zusammenfassen, Entwürfe erstellen, Informationen suchen, Bilder erzeugen oder Quellcode ergänzen. Die Agenten-Ökonomie geht einen Schritt weiter. Sie verbindet mehrere Fähigkeiten zu einem Ziel und führt den Prozess selbständig aus.

Ein Agent im Einkauf könnte beispielsweise Bedarfe erkennen, Angebote vergleichen, Lieferantenrisiken prüfen, Vertragsklauseln markieren, eine Bestellung vorbereiten und den Vorgang zur Freigabe weiterleiten. Ein Security-Agent könnte neue Assets erkennen, Schwachstellen priorisieren, Logdaten korrelieren, Hypothesen zu einem Angriff bilden und Gegenmassnahmen vorschlagen. Ein Entwicklungsagent könnte Anforderungen analysieren, Code erstellen, Tests ausführen und einen Pull Request eröffnen.

Der wirtschaftliche Nutzen entsteht nicht durch eine einzelne Modellantwort, sondern durch die erfolgreiche Prozessausführung – und damit verändern sich auch Geschäftsmodelle. Statt Aufmerksamkeit, Sitzungsdauer oder Nutzerzahl könnten künftig erledigte Aufgaben, erfolgreiche Transaktionen und messbare Resultate verrechnet werden.

Vom Benutzer zum Auftraggeber

Im App-Zeitalter sucht der Mensch eine Anwendung und bedient deren Oberfläche. Im Agenten-Zeitalter formuliert der Mensch ein Ziel. Der Agent sucht die passenden Dienste, ruft sie auf, kombiniert Ergebnisse und liefert eine abgeschlossene Aufgabe. Dieser Komfort ist attraktiv – er setzt jedoch voraus, dass der Agent im Namen des Benutzers handeln darf.

Genau hier entsteht ein neues Identity-&-Access-Management-Problem. Ein menschlicher Benutzer besitzt heute Rollen und Berechtigungen. Künftig müssen auch Agenten eine eindeutige Identität, einen überprüfbaren Auftrag, zeitlich begrenzte Rechte, einen klaren Mandantenkontext und eine vollständig protokollierte Delegationskette besitzen. «Der Benutzer war angemeldet» reicht als Nachweis nicht mehr aus.

Vom Entwickler zum Systemdesigner und Kontrolleur

Der Report erwartet, dass KI einen wachsenden Anteil der Softwareproduktion übernimmt. Das bedeutet nicht, dass professionelle Entwicklung verschwindet. Im Gegenteil: Je mehr Code automatisiert entsteht, desto wichtiger werden Architektur, formale Anforderungen, sichere Bibliotheken, automatisierte Prüfungen, Supply-Chain-Sicherheit und die Fähigkeit, komplexe Systeme zu verstehen.

Menschen werden weniger Zeit mit repetitivem Code verbringen und mehr Verantwortung für Systemgrenzen, Datenflüsse, Freigabepunkte, Ausnahmen, Compliance und Betriebsstabilität übernehmen. Das ist eine Verschiebung von der Produktion einzelner Artefakte zur Governance eines kontinuierlich veränderlichen Systems.

5. Compute, Storage, Network und Energy: Die Infrastruktur wird zum strategischen Engpass

Die Vision des Reports basiert auf einer gewaltigen physischen Infrastruktur. KI ist keine immaterielle Wolke. Hinter jedem Training, jeder Inferenz, jedem Agentenaufruf und jeder digitalen Kopie stehen Halbleiter, Speicher, Glasfasernetze, Rechenzentren, Kühlsysteme und Stromversorgung.

Diese Werte sind ambitionierte Szenarien – ihre genaue Höhe ist weniger wichtig als die Richtung: Rechenleistung, Daten und Energie werden zu eng gekoppelten strategischen Ressourcen. Wer KI skaliert, muss nicht nur Modelle beschaffen, sondern auch Kapazitäten, Latenz, Datenresidenz, Energieverfügbarkeit, Kosten und Abhängigkeiten steuern.

Rechenleistung und Kosten

Der Report definiert sinngemäss einen wirtschaftlichen Wendepunkt: KI skaliert dann explosiv, wenn der erzeugte Wert die Computing-Kosten deutlich übersteigt. Für Unternehmen bedeutet dies, dass nicht jedes Problem mit dem grössten Modell gelöst werden sollte. Kleine spezialisierte Modelle, Edge-Verarbeitung, Caching, Retrieval, deterministische Regeln und klassische Software bleiben wichtige Bestandteile einer effizienten Architektur.

Speicher als Gedächtnis und Wissensschicht

Agenten benötigen langfristigen Kontext. Sie müssen Zustände, Präferenzen, frühere Entscheidungen, Aufgabenfortschritt und relevante Belege speichern. Damit wird Storage vom passiven Archiv zur aktiven Gedächtnis- und Wissensschicht. Genau hier entstehen neue Risiken: sensible Informationen können unbemerkt in Langzeitgedächtnisse gelangen, veraltete Daten können Entscheidungen verzerren, und manipulierte Erinnerungen können das Verhalten eines Agenten dauerhaft verändern.

Netzwerke für maschinelle Interaktion

Wenn Agenten untereinander kommunizieren, wird das Netzwerk selbst Teil der Entscheidungslogik. Dienstidentitäten, Maschinenzertifikate, sichere Protokolle, Vertrauenszonen und eine überprüfbare Herkunft von Nachrichten gewinnen massiv an Bedeutung. Ein Angreifer muss nicht zwingend das zentrale Modell kompromittieren. Es kann genügen, einen spezialisierten Agenten, einen Tool-Endpunkt oder eine Nachricht innerhalb der Delegationskette zu manipulieren.

Energie als Sicherheits- und Resilienzfaktor

Der Report verbindet KI-Wachstum mit intelligenten Stromnetzen, erneuerbarer Energie, Speichern, Fahrzeugen und Rechenzentren. Diese Kopplung schafft Effizienz, aber auch systemische Abhängigkeiten. Ein Ausfall der Energieversorgung stoppt nicht nur IT-Systeme, sondern potenziell die Entscheidungs- und Steuerungsschicht ganzer Branchen. Cybersecurity, funktionale Sicherheit und Business Continuity müssen deshalb gemeinsam geplant werden.

6. Wie sich Wirtschaft und Alltag bis 2035 verändern könnten

Der zweite grosse Teil des Reports überträgt die Technologietrends auf konkrete Lebens- und Wirtschaftsbereiche. Viele Prognosen sind bewusst visionär. Dennoch zeigen sie, welche Daten, Schnittstellen und Sicherheitsfragen bereits heute vorbereitet werden müssen.

Gesundheit: Von der Behandlung zur kontinuierlichen Prävention

Die Zukunftsvision beschreibt eine Gesundheitsversorgung, in der Sensoren, Wearables, Bildgebung, Genomdaten, elektronische Patientendossiers und Verhaltensinformationen zu einem dynamischen Gesundheitsmodell zusammengeführt werden. KI soll Risiken früh erkennen, Therapien personalisieren, Wirkstoffentwicklung beschleunigen und die Betreuung älterer oder chronisch kranker Menschen verbessern.

Das Potenzial ist enorm, aber Gesundheitsdaten gehören zu den sensibelsten Informationen überhaupt. Ein manipulierter Gesundheitsagent kann falsche Empfehlungen erzeugen, wichtige Warnzeichen übersehen oder vertrauliche Daten offenlegen. Neben Datenschutz sind deshalb Datenqualität, medizinische Validierung, klare Verantwortlichkeiten, sichere Geräteidentitäten und eine strikte Trennung zwischen Empfehlung und automatischer Intervention erforderlich.

Bildung: Personalisierung ohne pädagogische Entmündigung

KI-Tutoren sollen Lernstände laufend analysieren, Inhalte anpassen und Lehrpersonen bei differenzierten Unterrichtsplänen unterstützen. Immersive Umgebungen könnten historische Ereignisse, naturwissenschaftliche Prozesse oder virtuelle Labore erfahrbar machen. Richtig eingesetzt kann dies Zugangshürden senken und individuelle Förderung verbessern.

Gleichzeitig darf Bildung nicht auf eine algorithmisch optimierte Lernkurve reduziert werden. Kinder und Jugendliche benötigen Schutz vor Profilbildung, manipulativen Interaktionen und einer dauerhaften Abhängigkeit von proprietären Lernsystemen. Transparenz über Daten, Bewertungslogik und pädagogische Ziele ist unverzichtbar.

Mobilität, Häuser und Städte: Die physische Umgebung wird programmierbar

Der Report erwartet Fortschritte in Richtung Level-4-Autonomie, vernetzte Fahrzeuge als «dritter Raum», intelligente Haushaltsroboter und Städte, die Verkehr, Energie, Sicherheit und öffentliche Dienstleistungen zunehmend in Echtzeit koordinieren. Sensoren und digitale Zwillinge sollen ermöglichen, dass Infrastruktur ihren Zustand erkennt und sich dynamisch anpasst.

Eine programmierbare Umgebung ist jedoch auch eine angreifbare Umgebung. Fahrzeuge, Gebäudeautomation, Verkehrssteuerung, Wasser-, Strom- und Kommunikationsnetze dürfen nicht als getrennte IT-Projekte behandelt werden. Sie bilden ein cyber-physisches Gesamtsystem, in dem Fehler und Angriffe kaskadieren können.

Produktion, Logistik und Rohstoffgewinnung: Autonome Wertschöpfungsketten

In der Industrie sollen KI-Agenten Design, Planung, Produktion, Qualitätskontrolle, Wartung und Lieferketten verbinden. Produkte könnten stärker kundenspezifisch und dennoch effizient gefertigt werden. Logistiksysteme sollen globale Warenströme präziser planen, autonome Fahrzeuge koordinieren und Lieferzeiten dynamisch berechnen. Im Bergbau sieht der Report Potenzial bei Exploration, Fernbetrieb und sichereren autonomen Produktionsprozessen.

Die Sicherheitsanforderung ist eindeutig: Je stärker Produktions- und Lieferketten automatisiert werden, desto wichtiger werden segmentierte Netzwerke, abgesicherte industrielle Protokolle, Asset-Transparenz, sichere Fernzugriffe, unveränderbare Logs und getestete Rückfallmodi. Eine KI darf eine Produktion optimieren, aber sie darf niemals unkontrolliert Sicherheitsgrenzen überschreiben.

Finanzen: Personalisierte Dienste und maschinelle Gegenangriffe

Der Report skizziert persönliche Finanzagenten, die individuelle Ziele, Risikoprofile und Lebenssituationen verstehen. Gleichzeitig wird ein Wettrüsten zwischen offensiven und defensiven Agenten erwartet: Betrugsmodelle, automatisierte Angriffe und manipulative Marktaktivitäten treffen auf Echtzeitüberwachung, kausale Analysen und adaptive Abwehrsysteme.

Finanzinstitutionen benötigen deshalb eine besonders strenge Kombination aus Modellrisikomanagement, Transaktionslimits, Vier-Augen-Prinzip, kryptografischer Integrität, Echtzeitüberwachung und revisionssicherer Nachvollziehbarkeit. Ein Agent darf niemals allein deshalb eine Zahlung auslösen, weil seine Ausgabe plausibel klingt.

Energie: KI als Verbraucher und Dirigent

Stromnetze mit hohen Anteilen volatiler erneuerbarer Energie benötigen schnellere Prognosen, flexible Speicher, intelligente Laststeuerung und koordinierte Rechenzentren. KI kann diese Komplexität beherrschbarer machen. Gleichzeitig wird sie selbst zu einem bedeutenden Verbraucher. Der Report beschreibt Rechenzentren, die ihre Last an das Energieangebot anpassen und aktiv zur Stabilität des Netzes beitragen.

Die Kopplung von Energie und Computing macht Resilienz zur Führungsaufgabe. Organisationen müssen wissen, welche KI-Funktionen bei Netzstörungen priorisiert, gedrosselt oder abgeschaltet werden. Notbetrieb, manuelle Steuerung und Wiederanlauf dürfen nicht erst nach einem Ausfall definiert werden.

7. Die neue Cybersecurity-Realität: Wenn Software handeln kann

Die klassische Bedrohungsanalyse fragt: Welche Daten können gestohlen, welche Systeme verschlüsselt und welche Dienste unterbrochen werden? Bei autonomen KI-Systemen kommt eine vierte Dimension hinzu: Welche legitimen Funktionen kann ein Angreifer durch manipulierte Ziele, Kontexte oder Delegationen missbrauchen?

Ein Agent muss nicht technisch «übernommen» werden, um Schaden anzurichten. Es kann ausreichen, dass er einer präparierten Information vertraut, eine Anweisung falsch interpretiert, einen manipulierten Tool-Endpunkt aufruft oder einen Auftrag mit zu weitreichenden Rechten ausführt. Die Angriffskette verlagert sich damit teilweise von klassischem Exploit-Code zu semantischer Manipulation.

Neue Angriffspunkte

• Prompt Injection: Inhalte in Dokumenten, Webseiten, E-Mails oder Datenquellen versuchen, die ursprünglichen Regeln des Agenten zu überschreiben.
• Tool Poisoning: Ein angebundener Dienst liefert manipulierte Beschreibungen, Parameter oder Ergebnisse.
• Memory Poisoning: Falsche oder bösartige Informationen werden im Langzeitgedächtnis verankert und beeinflussen spätere Entscheidungen.
• Identity Confusion: Der Agent kann Auftraggeber, Mandant, Rolle oder Delegationskette nicht eindeutig verifizieren.
• Over-Privilege: Ein Agent besitzt mehr Rechte, als für die konkrete Aufgabe erforderlich sind.
• Model- und Supply-Chain-Angriffe: Modelle, Adapter, Datensätze, Bibliotheken oder Container werden manipuliert.
• Agent-to-Agent Manipulation: Ein kompromittierter Agent beeinflusst andere Agenten innerhalb eines kooperierenden Systems.
• Unkontrollierte Kaskaden: Eine fehlerhafte Entscheidung löst automatisierte Folgeaktionen in mehreren Systemen aus.
• Verlust der Nachvollziehbarkeit: Niemand kann später eindeutig erklären, welche Information zu welcher Aktion geführt hat.

Bei einem Chatbot endet eine Halluzination häufig mit einer falschen Antwort. Bei einem Agenten kann dieselbe Halluzination zu einer Bestellung, einer Konfigurationsänderung, einem Produktionsstopp oder einer fehlerhaften Reaktion auf einen Cybervorfall führen. Das Sicherheitsmodell muss deshalb davon ausgehen, dass das KI-Modell irren, manipuliert werden oder unerwartet reagieren kann.

Trustworthy AI entsteht nicht dadurch, dass man einem Modell vertraut. Sie entsteht dadurch, dass die umgebende Architektur auch dann sicher bleibt, wenn das Modell falsch liegt.

Der Report selbst nennt drei Grundpfeiler: sichere ICT-Infrastruktur, Sicherheit einzelner Agenten und Sicherheit von Multi-Agenten-Systemen. Ergänzt werden diese Ebenen durch Governance über den gesamten Lebenszyklus. Dieser Ansatz ist richtig, muss in der Praxis aber in konkrete technische Kontrollen übersetzt werden.

8. Zehn Sicherheitsprinzipien für KI-Agenten und autonome Systeme

1. Jeder Agent benötigt eine eindeutige, überprüfbare Identität

   Agenten dürfen nicht unter generischen Service Accounts handeln. Identität, Eigentümer, Zweck, Mandant, Modellversion und zulässige Werkzeuge müssen eindeutig zuordenbar sein. Maschinenidentitäten benötigen denselben Schutz wie privilegierte menschliche Konten – inklusive starker Authentisierung, Rotation und Widerruf.

2. Delegierte Rechte müssen minimal, kurzlebig und auftragsbezogen sein

   Ein Agent erhält nur die Berechtigung, die für den aktuellen Schritt notwendig ist. Rechte sollten zeitlich begrenzt, an eine konkrete Aufgabe gebunden und nach Abschluss automatisch entzogen werden. Dauerhafte Administratorrechte sind mit kontrollierbarer Autonomie unvereinbar.

3. Werkzeuge und Schnittstellen brauchen eine eigene Vertrauensprüfung

   API, Plugin, MCP-Server, A2A-Endpunkt oder Datenquelle dürfen nicht allein aufgrund einer Beschreibung als vertrauenswürdig gelten. Signaturen, Zertifikate, Allowlisting, Schema-Validierung, Versionskontrolle und technische Attestierung müssen sicherstellen, dass der Agent tatsächlich den erwarteten Dienst aufruft.

4. Unsichere Modellentscheidungen dürfen keine direkten Hochrisikoaktionen auslösen

   Kritische Schritte benötigen deterministische Kontrollen ausserhalb des Modells: Betragslimiten, erlaubte Zielsysteme, Vier-Augen-Freigaben, Safety Interlocks, Transaktionssimulationen und Policy Engines. Das Modell kann einen Vorschlag liefern, aber die Sicherheitslogik entscheidet, ob die Aktion zulässig ist.

5. Datenherkunft, Qualität und Aktualität müssen nachvollziehbar sein

   Ein Agent sollte zu jeder wesentlichen Entscheidung belegen können, welche Daten verwendet wurden, woher sie stammen und wie aktuell sie sind. Datenklassifizierung, Provenance, Integritätsnachweise und kontrollierte Retrieval-Quellen reduzieren das Risiko, dass manipulierte oder veraltete Informationen zur Handlungsgrundlage werden.

6. Gedächtnis ist ein sicherheitskritischer Datenspeicher

   Kurzzeit- und Langzeitgedächtnisse benötigen Zugriffsschutz, Aufbewahrungsregeln, Verschlüsselung, Mandantentrennung und Möglichkeiten zur Korrektur. Sensible Daten dürfen nicht unkontrolliert persistiert werden. Memory-Einträge müssen versioniert und bei Verdacht auf Manipulation rückverfolgbar sein.

7. Agenten müssen in kontrollierten Ausführungsumgebungen arbeiten

   Sandboxing, Netzwerksegmentierung, Egress-Kontrolle, isolierte Secrets, Ressourcenlimiten und sichere Laufzeitumgebungen begrenzen die Wirkung eines Fehlers. Besonders bei Codegenerierung oder Systemadministration darf ein Agent nicht unmittelbar auf produktive Hochrisikoumgebungen zugreifen.

8. Jede relevante Entscheidung und Aktion muss auditierbar sein

   Protokolliert werden müssen Auftrag, Kontext, verwendete Quellen, Modell- und Prompt-Version, Tool-Aufrufe, Berechtigungsentscheidungen, Freigaben, Resultate und nachgelagerte Aktionen. Logs sollten manipulationsgeschützt und für Incident Response sowie Revision auswertbar sein.

9. Multi-Agenten-Systeme benötigen Vertrauenszonen und Konfliktregeln

   Agenten dürfen Informationen anderer Agenten nicht automatisch als korrekt behandeln. Vertrauensstufen, Quorum-Regeln, gegenseitige Validierung, Konfliktauflösung und sichere Kommunikationskanäle verhindern, dass sich Fehler oder Manipulationen unkontrolliert im System ausbreiten.

10. Menschliche Kontrolle, Not-Aus und Wiederherstellung müssen real funktionieren

    Ein «Human in the Loop» ist wertlos, wenn der Mensch keine Zeit, Information oder Befugnis hat, eine Aktion zu stoppen. Kritische Systeme benötigen definierte Eskalationsschwellen, einen technisch wirksamen Not-Aus, manuelle Rückfallprozesse, getestete Backups und regelmässige Übungen für Fehlverhalten autonomer Komponenten.

Krypto-Agilität und Post-Quantum Readiness

Der Report betont zudem die Bedeutung post-quantenresistenter Kryptografie für zukünftige ICT-Infrastrukturen. Unternehmen sollten heute nicht in Panik bestehende Kryptosysteme ersetzen, aber ihre Abhängigkeiten erfassen, Krypto-Agilität aufbauen und langlebige Daten sowie besonders schützenswerte Kommunikationswege priorisieren. Wer seine Zertifikate, Schlüssel, Protokolle und Hardware-Abhängigkeiten nicht kennt, kann später auch keine kontrollierte Migration durchführen.

9. Governance, Ethik und Verantwortlichkeit: Innovation braucht Grenzen

Der Report verbindet AI for Good mit technischer Sicherheit, Transparenz, Datenschutz, Inklusion und globaler Zusammenarbeit. Diese Verbindung ist zentral. Ethik darf nicht als Kommunikationsschicht über einem bereits fertigen Produkt verstanden werden. Sie muss in Anforderungen, Daten, Architektur, Tests, Betrieb und Verantwortlichkeiten übersetzt werden.

Für Organisationen bedeutet dies zunächst eine klare Antwort auf die Frage: Wer trägt die Verantwortung, wenn ein Agent eine falsche Entscheidung trifft? Der Hersteller des Modells, der Betreiber der Plattform, der Prozessverantwortliche, der Datenlieferant oder die Person, die den Auftrag erteilt hat? In der Praxis wird Verantwortung selten bei einer einzigen Stelle liegen. Gerade deshalb müssen Rollen vor dem produktiven Einsatz definiert werden.

Vier Ebenen wirksamer Governance

Transparenz bedeutet dabei nicht, dass jedes neuronale Gewicht erklärt werden muss. Entscheidend ist operative Nachvollziehbarkeit: Welche Aufgabe wurde gestellt? Welche Daten und Regeln galten? Welche Werkzeuge wurden aufgerufen? Welche Alternativen wurden verworfen? Wer hat freigegeben? Welche Wirkung trat ein?

Auch Inklusion ist eine Sicherheitsfrage. Ein System, das bestimmte Sprachen, Bevölkerungsgruppen oder Lebenssituationen systematisch schlechter behandelt, erzeugt reale Risiken. Qualitätstests müssen deshalb nicht nur durchschnittliche Genauigkeit messen, sondern auch Randfälle, unterschiedliche Benutzergruppen und mögliche Missbrauchsszenarien berücksichtigen.

10. Eine pragmatische Roadmap für Unternehmen bis 2030

Organisationen müssen nicht auf 2035 warten. Die entscheidenden Architektur- und Governance-Fragen stellen sich bereits bei den ersten produktiven Agenten. Eine pragmatische Roadmap kann in drei Zeithorizonte gegliedert werden.

Der richtige Startpunkt ist nicht das Modell

Viele AI-Projekte beginnen mit der Frage, welches Modell verwendet werden soll. Für einen sicheren produktiven Einsatz ist eine andere Reihenfolge sinnvoll: Geschäftsprozess, Schadenspotenzial, Daten, Befugnisse, Sicherheitsgrenzen, Nachvollziehbarkeit – und erst danach die Modellwahl. Das Modell ist austauschbar. Die Verantwortung für den Prozess bleibt beim Unternehmen.

11. Zwölf Fragen für Verwaltungsrat, Geschäftsleitung und CISO

1. Welche KI-Systeme handeln heute bereits im Namen unseres Unternehmens?
2. Welche dieser Systeme können Daten verändern, Zahlungen auslösen, Code bereitstellen oder technische Systeme steuern?
3. Wer ist fachlich, technisch und rechtlich für jeden Agenten verantwortlich?
4. Wie wird die Identität eines Agenten nachgewiesen und wie werden seine Rechte begrenzt?
5. Welche externen Tools, Modelle und Datenquellen darf der Agent verwenden?
6. Wie erkennen wir Prompt Injection, manipulierte Inhalte oder kompromittierte Tool-Endpunkte?
7. Welche Entscheidungen benötigen zwingend eine menschliche Freigabe?
8. Können wir jede kritische Aktion vollständig rekonstruieren und einem Auftrag zuordnen?
9. Wie stoppen wir einen Agenten technisch, wenn er sich unerwartet verhält?
10. Welche manuellen Prozesse funktionieren weiter, wenn die AI-Plattform ausfällt?
11. Wie testen wir nicht nur die Qualität, sondern auch Missbrauch, Resilienz und physische Auswirkungen?
12. Welche Abhängigkeiten schaffen wir bei Cloud, Modellen, Daten, Energie und Lieferanten – und wie sieht unsere Exit-Strategie aus?

Kann eine Organisation diese Fragen nicht beantworten, ist sie noch nicht bereit für weitreichende Agentenautonomie. Das ist kein Argument gegen Innovation. Es ist ein Argument für eine kontrollierte Einführung, bei der Nutzen und Sicherheitsreife gemeinsam wachsen.

12. Fazit: Die Zukunft braucht kontrollierbare Autonomie

Intelligent World 2035 zeichnet eine Zukunft, in der künstliche Intelligenz zur infrastrukturellen Grundlage von Wirtschaft und Gesellschaft wird. Agenten koordinieren Dienste, Roboter übernehmen physische Aufgaben, Software entsteht zunehmend aus natürlicher Sprache, Daten werden zum permanenten Gedächtnis und Energie-, Kommunikations- und Rechennetze wachsen zu einem eng gekoppelten System zusammen.

Ob alle Prognosen in dieser Form eintreffen, ist offen. Sicher ist jedoch, dass die Richtung bereits sichtbar ist: KI wird stärker in Prozesse integriert und erhält mehr Kontext und Befugnisse. Dadurch steigt ihr Nutzen – und gleichzeitig das Risiko, dass Fehler, Manipulationen oder kompromittierte Komponenten unmittelbare geschäftliche und physische Folgen haben.

Die entscheidende Führungsaufgabe lautet deshalb nicht, möglichst schnell maximale Autonomie einzuführen. Sie lautet, einen verlässlichen Rahmen zu schaffen, in dem Autonomie messbar, begrenzt, überwacht und jederzeit widerrufbar bleibt. Dazu gehören sichere Identitäten, minimale Rechte, vertrauenswürdige Daten, kontrollierte Schnittstellen, transparente Entscheidungen, robuste Notfallprozesse und eine Governance, die Verantwortung nicht an ein Modell delegiert.

Die intelligente Welt von 2035 wird nicht allein durch bessere Algorithmen bestimmt. Sie wird durch die Qualität der Systeme bestimmt, die wir um diese Algorithmen herum bauen. Cybersecurity ist dabei kein Hindernis für Innovation. Sie ist die Voraussetzung dafür, dass autonome Systeme langfristig akzeptiert, wirtschaftlich genutzt und gesellschaftlich verantwortet werden können.