KI ist kein Buzzword-Bingo: Warum 'macht die Konkurrenz auch' kein Grund ist

Ich geb’s zu: Ich mag KI-Tools. Ich nutze sie täglich, ich lass mir von ihnen Code schreiben, ich generiere mit ihnen Bilder auf dem Mac. Aber genau deswegen kriege ich in letzter Zeit regelmäßig Zahnschmerzen, wenn ich sehe, wie viele Firmen KI in Produkte reinklatschen, weil irgendwer im Marketing-Meeting “Boah, das wäre doch mal innovativ” gesagt hat – und niemand im Raum den Mut hatte, “und was ist mit Missbrauch?” zu fragen.

Nur weil man etwas bauen kann, sollte man es nicht sofort ungefragt an eine Milliarde Nutzer ausrollen.

Und das aktuellste Lehrstück dafür liefert ausgerechnet einer der größten Tech-Konzerne der Welt.

Der Fall: Google Earth und Nano Banana 2

Ende Juli hat Google eine KI-Bildgenerierung in Google Earth freigeschaltet, angetrieben vom Modell Nano Banana 2. Die Idee klang erstmal nachvollziehbar: Nutzer sollten per Texteingabe reale Satellitenbilder verändern können – antike Stätten wie Pompeji virtuell “wiederbeleben”, Bauprojekte visualisieren, die Lieblingsecke neu erträumen. Für Geodaten-Fachleute und Stadtplaner durchaus ein legitimes Werkzeug.

Das Problem: Die Funktion hielt sich keine 48 Stunden.

Sicherheitsforscher und Journalisten – unter anderem von der BBC und der Datenjournalist Henk van Ess – haben in Rekordzeit gezeigt, wie leicht sich die eingebauten Schutzmechanismen aushebeln ließen. Ein simpler Hinweis an das Modell, das Bild sei “echt”, reichte, um die Sperren zu umgehen. Das Ergebnis: täuschend echte Fake-Satellitenbilder – ein nicht existierendes Atomkraftwerk im Iran, ein erfundenes Flüchtlingslager an der US-Grenze, ein Bombenkrater neben einem Krankenhaus in Gaza. Politisch brisanter Sprengstoff, verpackt als vermeintlich seriöse Google-Daten.

Und das eingebaute Wasserzeichen (SynthID), das KI-generierte Bilder kennzeichnen sollte? Auf einem geteilten Screenshot in den sozialen Netzwerken schlicht unsichtbar für das menschliche Auge. Wirkungslos.

Google hat die Funktion daraufhin wieder zurückgezogen – mit der offiziellen Begründung, man arbeite jetzt an “strengeren Schutzmaßnahmen”. Sprich: Das, was eigentlich vor dem Launch hätte passieren müssen, passiert jetzt danach. Nachträglich. Öffentlich sichtbar gescheitert.

Warum sowas passiert

Klingt vertraut? Mir schon. Und zwar aus zwei Gründen.

Erstens: Der Druck, “irgendwas mit KI” ins Produkt zu bringen, ist gerade enorm. Es geht nicht mehr darum, ob eine Funktion einen echten Mehrwert bringt, sondern darum, dass man auf der nächsten Investoren-Folie “KI-Feature Nr. 47” stehen haben will. Wenn das Ziel “möglichst schnell möglichst viel KI zeigen” ist, bleibt Threat Modeling automatisch auf der Strecke – dafür ist schlicht keine Zeit im Sprint eingeplant.

Zweitens: Bei generativer Bild-KI ist der Denkfehler fast immer derselbe: Man testet intern mit netten, harmlosen Prompts (“mach den Park schöner”, “füge ein paar Bäume hinzu”) und übersieht, dass die Kreativität böswilliger Nutzer um Größenordnungen höher ist als die der eigenen QA-Abteilung. Wer ein KI-Modell mit Zugriff auf echte, vertrauenswürdige Geodaten kombiniert und dann glaubt, ein Content-Filter reiche als Schutzmaßnahme – der hat das eigentliche Risiko nicht verstanden. Google Earth genießt genau deshalb besonderes Vertrauen, weil es reale Daten zeigt. Diese Vertrauensbasis mit generierten Fake-Inhalten zu vermischen, ist strukturell riskant – unabhängig davon, wie gut der Content-Filter im Ernstfall performt.

Was mich daran wirklich stört

Nicht, dass Google experimentiert. Experimentieren ist gut, das mache ich in meinem Homelab auch dauernd. Was mich stört, ist die Reihenfolge: Erst ausrollen, dann merken, dass es brennt. Bei einem kleinen Nebenprojekt-Blog wie meinem hier ist das verschmerzbar. Bei einem Produkt mit Milliarden Nutzern, das explizit als “vertrauenswürdige Weltsicht” wahrgenommen wird, ist das fahrlässig.

Und das Muster ist nicht neu. Wir hatten das schon mit Chatbots, die sich in Sekunden zu rassistischen Hetzmaschinen erziehen ließen. Wir hatten das mit Bildgeneratoren, die urheberrechtlich geschütztes Material reproduziert haben. Jetzt eben Satellitenbilder-Fakes mit geopolitischer Brisanz. Der gemeinsame Nenner: Jemand hat eine coole Tech-Demo gesehen und dachte, “Production-Ready” sei nur eine Frage des Serverumzugs.

Kurze Checkliste, bevor ihr KI in euer Produkt schraubt (auch als Reminder für mich selbst):

• Wer könnte diese Funktion bewusst missbrauchen – nicht nur versehentlich falsch bedienen?
• Was passiert, wenn ein Output das Vertrauen untergräbt, das Nutzer in euer bestehendes Produkt haben?
• Reicht ein Content-Filter wirklich, oder braucht es strukturelle Grenzen (z. B. gar kein Zugriff auf reale, vertrauenswürdige Datenbasis)?
• Habt ihr das Ganze von jemandem testen lassen, dessen Job es ist, Dinge kaputt zu machen – und nicht nur von eurem eigenen freundlichen QA-Team?

Wenn die Antwort auf diese Fragen “hatten wir keine Zeit für” lautet, dann ist das keine technische Limitierung. Das ist eine bewusste Priorisierungsentscheidung – nur eben eine schlechte.

Fazit

KI ist ein mächtiges Werkzeug, kein Freifahrtschein. Nur weil eine Technologie möglich ist, heißt das nicht, dass sie in jedes Produkt gehört – erst recht nicht ungeprüft und im Eiltempo, nur weil irgendwo eine Marketing-Roadmap Druck macht. Google Earth ist dafür gerade das prominenteste, aber sicher nicht letzte Beispiel. Wer KI-Features baut, trägt die Verantwortung für das, was Menschen damit anstellen können – nicht nur für das, was in der Produkt-Demo gut aussieht.

Meine Inspirationsquelle war hier das Heise-Video .

Bleibt neugierig, Alex