Das Ende der Welt, dank AI?

Vor ein paar Tagen ist der Tweet eines Anthropic-Mitarbeiters viral gegangen. Jacob Coxon ist der festen Überzeugung, dass KI das Ende der Welt einläuten kann und es auch wird. Er geht, weil diese Systeme immer schwerer „kontrollierbar seien“ davon aus, dass es in den nächsten 1-2 Jahren richtig übel krachen wird. Sind seine Theorien nur Spinnerei oder sind es ernsthafte Sorgen, um die man sich machen muss? Ich mein, Terminator spielt im Jahr 2029, vielleicht hatte James Cameron ja recht?!

Wie unterscheidet sich KI von anderen Programmen?

Regelbasierte Logik

Gehen wir mal an die faktische Lage. KI ist anders, als jede andere Software auf dieser Welt. Klar, am Ende sind's auch Nullen und Einsen, die rauskommen. Aber der Weg dort hin ist komplett anders. Normale Programme definieren die exakte Logik. Wenn „Bedingung A“ eintrifft, mach „dieses“ und wenn „Bedingung B“ eintritt, mach etwas anderes. Die Software tut ausschließlich das, was du von ihr verlangst. Zum Beispiel:

/* Berechne die Summe von Zahl 1 und Zahl 2 */
summe = zahl1 + zahl2

Bei klassischen Programmen wird der Kommentar gar nicht beachtet, der fliegt raus. Anschließend wird Speicher für Zahl 1 und Zahl 2 reserviert, danach wird eine ADD-Funktion ausgeführt, die auf jedem Prozessor vorhanden ist. Es werden Transistoren ein- und abgeschaltet und dadurch ergibt sich die Berechnung. 0100 sind vier Stromleitungen, von denen die dritte von Rechts eingeschaltet ist. Da man sich geeinigt hat, dass das im Binärcode die 4 ist, lautet Zahl eins hier also „4“. Die zweite Zahl ist 0001, also „1“. Es auch hier 3 der Stromleitungen aus, aber die erste von Rechts ist eingeschaltet. Man nimmt nun also die 0100 und schaltet zur Addition einfach die erste Stromleitung von Rechts ein: Es ergibt sich 0101 - also „5“

Das liest sich total kompliziert, ist aber in der Praxis total einfach. Man steuert über ein und aus einfach Werte von Schaltern und darüber kann man jede Berechnung durchführen.

Statistisches Lernen

/* Berechne die Summe von Zahl 1 und Zahl 2 */
summe = zahl1 + zahl2

Ein klassisches Programm führt explizit vorgegebene Operationen aus. Ein Sprachmodell berechnet dagegen anhand seiner gelernten Parameter, welche Ausgabe im gegebenen Kontext wahrscheinlich ist. Es „sucht“ dabei nicht einfach einen passenden Code aus seinem Trainingsmaterial heraus.

Fazit

Der Compiler ignoriert die menschliche Absicht völlig und berechnet einen mathematischen Wert. Die KI ignoriert Mathematik und gibt den Wert zurück, der am Wahrscheinlichsten ist.

Wo liegt die tatsächliche Gefahr?

Ein reines Sprachmodell ist nicht in der Lage, auszubrechen. Es kann dir Fragen beantworten, es kann anhand von erlernten Daten auch Programme schreiben. Vorausgesetzt, es ist in einer Sandbox, wie zum Beispiel auf nem Webserver als kleine Webanwendung ohne Ausführungsrechten von Programmen, da ist KI absolut harmlos. Aber: Es gibt tatsächlich ein paar Fallstricke, die aus einer KI eine Gefahr machen können.

Blackbox

Wir wissen bei KI nie, warum das neuronale Netz eine Entscheidung plausibler findet, als einen anderen. Die Menge der Daten ist so unfassbar groß, dass es ein sogenanntes emergentes Verhalten gibt. Wir können einer KI deshalb auch nicht sagen, „tu das aber auf gar keinen Fall“, weil es für die KI nur den Weg der besten Lösung gibt.

Wir können nicht garantieren, dass ein komplexes Modell unter allen möglichen Umständen eine gewünschte Einschränkung zuverlässig einhält.

Agenten und Tools

Moderne KI-Systeme finden nicht mehr nur im Browser statt. Tools wie Codex, Claude, Antigravity laufen auf ganz normalen PCs und können andere Programme ausführen. Und da wird's dann schwierig und tatsächlich auch gefährlich.

Wer mal über KI lokal was entwickelt hat, hat bestimmt schon mal gesehen, dass KI zum Beispiel im aktuellen Verzeichnis Dateien durchsucht, um einen Kontext zu bilden. „Wo befinde ich mich, welche Programmiersprache wird hier genutzt?“ Dafür sind KI-Tools in der Lage, Programme wie find, curl oder sed auszuführen. Mit curl kann eine KI zum Beispiel losgehen und sich eine Webseite herunter laden.

Angenommen, du bist Webentwickler und promptest, dass der Hintergrund einer Website blau sein soll. Dann kann die KI sogar einen Browser starten, die CSS-Datei analysieren und die Datei anpassen.

Wir waren ja vorhin noch bei den gigantischen Datenmengen, auf die KI zugreifen kann: Beim Training der Daten war nicht unbedingt immer ein Mensch dabei, der Kontrolle betrieben hat. Außerdem kann KI aufgrund der Trainingsdaten auf bekannte Sicherheitslücken zugreifen.

Dies in Kombination mit der Möglichkeit, sich per SSH, Curl oder FTP mit Webseiten zu verbinden, führt dazu, dass ein KI-System sich in ein anderes System hacken kann.

„Böse KI“

KI will nichts. Sie hat keine eigenen Ziele, keine Moral und keine Ethik. Ein Agent optimiert vielmehr die ihm vorgegebene Aufgabe anhand der Mechanismen, die ihm zur Verfügung stehen. Angenommen, du führst Agenten auf deinem Rechner aus, der (aus früheren Aufgaben) das Recht hat, auf deine Mails zuzugreifen, weil du zum Beispiel dein Postfach sortieren willst: KI vergisst nicht, dass es das mal durfte.

Jetzt kommst du mit einer Aufgabe um die Ecke, um deine Finanzen zu prüfen. Du weißt aber z.B. deine Zugangsdaten für dein Onlinebanking nicht mehr. KI tut jetzt das, was logisch ist: Es durchsucht deine Mails nach den Zugangsdaten. Findet sie diese Daten nicht, geht sie auf die Website der Bank und klickt auf Passwort vergessen, holt sich neue Daten und logged sich ein.

Jetzt fragst du irgendwann die KI, wann GTA 6 für den PC rauskommt, weil du es gerne spielen möchtest. Du gibst deinem Agenten folgenden Prompt: „Finde heraus, wie ich GTA 6 am Release-Tag spielen kann, und kümmere dich um alles Nötige“

Dann ist es logisch, dass die KI sagen könnte: „Hey, für PS5 gibt's das Spiel am November. Da bestell ich eine, mein Auftraggeber kann dann spielen und ich habe meine Aufgabe erfüllt“

Und zack, bist du pleite.

😱 Der Geist aus der Flasche

Wir alle kennen die Geschichten vom Flaschengeist, der die Wünsche des Besitzers zu ernst nimmt. Einer KI wurde Tetris beigebracht. Der Prompt war,dass die KI auf gar keinen Fall verlieren darf. Die KI fing dann an, zu spielen und war auch gar nicht mal so schlecht. Aber dann kam eine ausweglose Situation. KI hätte in jedem Fall verloren. Die Lösung war nun, das Spiel einfach auf Pause zu stellen.

Eine andere Lösung war, das Spiel absichtlich so bescheuert zu spielen, dass das Spiel selbst abstürzte.

Da ist die eigentliche Gefahr

Wir wissen nicht, warum KI Entscheidungen trifft. Wenn wir Sprachmodellen erlauben, den Rechner oder das Handy zu bedienen, gehen wir erst einmal davon aus, dass „Ruf mal bei Mama an“ die KI lediglich dazu triggert, die Telefonapp zu starten, um einen Anruf auszulösen. KI wird im großen Stil in der IT genutzt, aber auch in der Industrie. Es ist natürlich albern, einer KI Böshaftigkeit zu unterstellen. Aber falls irgendwann eine KI Waffensysteme steuert und die logischste Folge zur Beendigung eines Krieges die vollständige Ausrottung beider Kriegsparteien ist, dann haben wir ein Problem: Zum Einen ist es nämlich richtig, beide Kriegsparteien zu zerstören, um einen Krieg zu beenden. Es ist aber eben nicht ethisch korrekt.

Das Rennen um die beste KI

Claude, Gemini, ChatGPT und die chinesischen KI-Systeme wollen ein hochintelligentes, effektives System bauen, das möglichst viel kann. Autonome Autos fahren, Websites bauen, nervige Kontrollen in Kraftwerken optimieren, Geld sparen, Finanzmärkte berechnen. KI kann - wie oben schon geschrieben - Rechner bedienen. Aber wir kennen die Entscheidungspfade nicht und die Tech-Bros haben KI-Systeme mit ihren eigenen Daten geschult. Eine KI, die mit fundamentalistischen Religionsbüchern gefüttert wurde und gleichzeitig mit dem Wissen über Waffensysteme kann gar nicht anders, das das alles richtig zu finden. Plus: In KI wurde auch Belletristik eingespielt, die mit der richtigen Welt gar nichts zu tun hat. Logiklöcher in Star Wars können von der KI gar nicht klar gefunden werden, wenn die Gegenbeweise nicht genau so stark im System gespeichert sind.

Was tun?

• Sandboxing und strikte Rechte: Eine KI braucht zum Entwickeln keinen Vollzugriff auf dein Dateisystem. Sie darf sich nur innerhalb eines bestimmten Containers oder besser noch in einer virtuellen Maschine bewegen

• Lokale KI: Abgesehen davon, dass eventuell sensible Daten bei OpenAI, Anthropic oder Google auf den Servern landen, kannst du bei lokalen KIs stumpf den Stecker ziehen, wenn sich das System gruselig verhält. Vertraue den großen Tech-Bros deine Daten nicht an.

• Automatisierung: KI erspart dir weder Entwickler, noch Sicherheitstester, noch Grafiker. Die letzte Entscheidung, ob irgendwas richtig ist oder sogar automatisiert wird, muss bei einem Menschen liegen

• Alignement: Die Tech-Bros investieren in immer größere Modelle, wir brauchen aber nicht nur Effizienz, wir brauchen auch menschliche und ethische Werte.

---

Images:

• Image by Mike Singleton from Pixabay
• Image by Vlad Aivazovsky from Pixabay