Zusammenfassung zeigen Zusammenfassung verbergen
Ein ungewöhnlicher Vergleichstest zeigt, wie unterschiedlich KI-Modelle mit komplexen, kreativen Aufgaben umgehen können: Ein Forscher ließ große Sprachmodelle komplette Hafenstädte von 3.000 v. Chr. bis 3.000 n. Chr. aufbauen und simulieren. Die Ergebnisse liefern einen unmittelbaren Einblick in Stärken und Grenzen der Systeme — relevant für Entwickler, Designer und alle, die KI für langfristige Projekte einsetzen wollen.
Der Test stammt von Ethan Mollick von der Wharton School. Auf seiner Website „AI Harbor Town Gallery“ sind die Simulationen zu sehen; Nutzer können sie über einen interaktiven **Zeitstrahl** starten, stoppen und vorspulen. Als Vorgabe sollte die Stadt „schön aussehen“ und für Besucherinnen und Besucher der Galerie steuerbar sein — eine Aufgabe, die nicht nur Textverständnis, sondern auch **Coding**, räumliches Design und Entscheidungslogik erfordert.
Wie der Versuch aufgebaut ist
qobuz aktualisiert app: songtexte jetzt verfügbar
EA Sports FC 27 Trailerpremiere mit Kylian Mbappé heute live: Uhrzeit und erste Details
Statt klassischer Benchmarks testet Mollick die Modelle in einem praktischen Szenario: Sie müssen Code generieren, Architektur und Schiffsverkehr entwerfen und die Entwicklung der Stadt über Jahrtausende darstellen. Für jede Simulation dokumentiert er, wie viele Versuche nötig waren, ob Fehler auftraten und bewertet zwei Bereiche separat: Codequalität und Design.
Der Ansatz soll zeigen, wie KI-Modelle bei einer vernetzten Aufgabe agieren, die Wissen, kreative Entscheidungen und technische Umsetzung zugleich verlangt — Aspekte, die reine Zahlenwerte oft nicht erfassen.
Vergleich: Wer lieferte was?
Getestet wurden Modelle von älteren Varianten bis zu aktuellen Systemen. Das Spektrum reicht von GPT-3.5 Turbo bis zu neueren Kandidaten wie Claude Fable 5 und GPT-5.6 Sol Pro. Die Resultate variieren stark — sowohl in Detailtiefe als auch in Funktionalität.
- GPT-3.5 Turbo: Liefert nur rudimentären Code; in einem Fall entstand lediglich die Struktur eines einfachen 3D-Würfels — weit entfernt von einer bewohnbaren Hafenstadt.
- GPT-4: Erzeugte eher schematische Visualisierungen, etwa eine flache grüne Fläche mit farbigen Blöcken, statt einer dynamischen Lage mit Gebäudeentwicklung und Schiffsverkehr.
- Claude 4.8 Opus Extra: Führte die beste Simulation an. Unter dem Titel „Aldermouth“ entstand eine sequenzielle Stadtentwicklung: Häuser wachsen, städtische Strukturen verändern sich und Schiffsmodelle entwickeln sich von einfachen Booten zu größeren Handelsschiffen. Die Simulation lässt sich direkt per Zeitsteuerung beeinflussen und alternative Stadtausprägungen generieren.
- Weitere moderne Modelle (z. B. Claude Fable 5, GPT-5.6 Sol Pro): Zeigten teilweise fortgeschrittene Ergebnisse, aber mit unterschiedlicher Konsistenz bei Codeausführung und visueller Ausgestaltung.
Was die Ergebnisse aussagen
Der Test macht zwei Punkte deutlich: Erstens sind rein numerische Benchmarks nicht immer aussagekräftig für komplexe, kreative Anwendungen. Zweitens zeigen neuere Modelle tendenziell stärkere emergente Fähigkeiten — etwa die Kombination aus plausibler Szenengenerierung und funktionsfähigem Code —, bleiben aber in Stabilität und Fehleranfälligkeit uneinheitlich.
Für Praxisanwendungen bedeutet das: Wer KI zur Modellierung, zur Städteplanung im Entwurf oder für Lehrszenarien einsetzen will, sollte Ergebnisse immer praktisch prüfen statt sich ausschließlich auf Leistungskennzahlen zu verlassen.
Kurze Einordnung für Anwender
Die wichtigsten Konsequenzen im Überblick:
- Entwickler: KI kann bei Prototypen und Designideen helfen, doch der generierte Code benötigt oft Nacharbeit.
- Designer und Stadtplaner: Simulationen können kreative Impulse liefern, sind aber keine unmittelbaren Produktionslösungen.
- Bildung und Forschung: Interaktive Langzeitsimulationen bieten Anschauungsmaterial, erfordern jedoch kritische Bewertung der Glaubwürdigkeit.
Mollick dokumentiert die Abläufe transparent: Punktbewertungen, Erklärungen zu den Einschätzungen und Hinweise zu Fehlversuchen sind öffentlich zugänglich. Die Galerie fungiert damit nicht nur als Showroom, sondern auch als praktisches Prüfverfahren für multimodale Fähigkeiten von KI-Systemen.
Die Experimente liefern keine allgemeingültige Rangliste, wohl aber ein klares Bild davon, wie unterschiedlich Modelle bei komplexen, längsschnittlichen Aufgaben abschneiden — ein Befund, der heute relevant ist, weil viele Anwendungen jenseits kurzer Textaufgaben präzise, robuste und kreativ-kohärente Ergebnisse verlangen.
