Large Language Models (LLMs) und aktuelle Generative-KI-Modelle basieren auf einer Architektur, die seit Langem bekannt ist. Verbesserungen gab es vor allem durch das Skalieren, also durch die Zugabe von mehr Daten. Manche KI-Experten hatten die Hoffnung, immer mehr Daten könnten schlussendlich sogar zu einer Artificial General Intelligence (AGI) führen. Nun scheint sich auch unter den Skalierungs-Befürwortern die Sorge breitzumachen, dass es doch nicht so einfach ist.