Warum ein überladener Kontext-Ordner Ihre KI schlechter macht als gar keiner

Die naheliegende Antwort auf die Frage, was in den Kontext eines KI-Prozessschritts gehört, lautet: alles, was irgendwie relevant sein könnte. Diese Antwort ist nicht ein bisschen falsch, sondern messbar falsch. Ein Dokument, das nicht gilt, wird von einem Sprachmodell nicht ignoriert – es konkurriert mit dem, was tatsächlich zählt.

Wie stark, zeigt die begutachtete Stanford/Berkeley-Studie mit dem inzwischen klassischen Befund „Lost in the Middle”: Bei 20 Dokumenten im Kontext fand GPT-3.5-Turbo die Antwort an erster Position in 75,8 Prozent der Fälle, in der Mitte des Stapels nur noch in 53,8 Prozent. Der eigentlich unangenehme Teil steht nicht im Abstract: Ganz ohne jeden Kontext beantwortete dasselbe Modell 56,1 Prozent der Fragen richtig – mehr, als es mit 20 Dokumenten und der Antwort in der Mitte erreichte. Bekam es nur das eine richtige Dokument, waren es 88,3 Prozent. Die Information war vollständig vorhanden; das Modell fand sie nur nicht mehr, wenn 19 andere danebenlagen.

Die Einschränkung gehört dazu, damit die Zahlen nicht überzeichnet werden: Die Studie misst den Abruf einer Tatsache aus offenen Wissensfragen, nicht die Anwendung hausinterner Regeln auf einen Einzelfall – und der Vergleich mit der Leistung ganz ohne Kontext überträgt sich nicht eins zu eins, weil ein Modell zum hauseigenen Kalkulationszinssatz kein Trainingswissen besitzt, auf das es zurückfallen könnte. Was bleibt, ist die schwächere, aber tragende Aussage: Wer aus Vorsicht alles in den Kontext-Ordner legt, handelt nicht vorsichtig, sondern riskant. Selektieren Sie je Schritt, nicht je Prozess, und kürzen Sie auf das Einschlägige.

→ Mehr zum Buch und zum Kapitel „Der Kontext-Ordner”