Obwohl die Entwicklungen im Bereich der Künstlichen Intelligenz momentan extrem rasant sind, stehen die derzeit dominierenden großen Sprachmodellen (LLMs) wie GPT-4 in der Kritik, lediglich das „Verhalten nachzuahmen, das sie anhand von Trainingsdaten erlernt hätten und somit nicht zu verstehen, wie die Welt funktioniert“ (Yann LeCun, NZZ, Juni 2023).
Der renommierte Linguist, Philosoph und Kognitionswissenschaftler Noam Chomsky sieht es ähnlich und argumentiert, dass Künstliche Intelligenz wie ChatGPT nicht wie das menschliche Gehirn funktioniert, da sie lediglich auf statistischen Mustern und großen Datenmengen basiert, ohne ein echtes Verständnis oder Bewusstsein zu besitzen. Er betont, dass menschliches Denken tiefere kognitive Strukturen und eine angeborene Sprachfähigkeit umfasst, die über reine Mustererkennung hinausgehen. Daher sieht er fundamentale Unterschiede zwischen der Funktionsweise von KI-Systemen und dem menschlichen Geist.
Predictive Coding könnte dies jedoch ändern und deshalb das nächste große Ding im Bereich der künstlichen Intelligenz werden, weil es eine radikal andere Herangehensweise an das Lernen und die Verarbeitung von Informationen darstellt. Im Gegensatz zu den derzeit dominierenden großen Sprachmodellen (LLMs) wie GPT-4, die hauptsächlich auf riesigen Mengen an Trainingsdaten und statischen Mustern beruhen, verwendet Predictive Coding ein dynamisches und kontinuierliches Modell der Informationsverarbeitung.
Predictive Coding basiert auf der Annahme, dass das Gehirn ein internes Modell der Umgebung besitzt. In diesem Modell leiten Bottom-up-Verbindungen Vorhersagen an untere Ebenen weiter, während Top-down-Verbindungen die Abweichungen zwischen den Vorhersagen und der Realität weitergeben. Durch die kontinuierliche Reduktion dieser Abweichungen innerhalb einer hierarchischen Struktur kann das Gehirn Schlussfolgerungen ziehen und aus Erfahrungen lernen.
Dieses Modell basiert darauf, Vorhersagen über sensorische Eingaben zu machen und Fehler zwischen den Vorhersagen und der tatsächlichen Eingabe zu minimieren. Dadurch können KI-Systeme effizienter und adaptiver auf neue und unerwartete Informationen reagieren.
Während LLMs auf riesige Datenmengen und immense Rechenleistung angewiesen sind, um Text zu generieren und zu verstehen, kann Predictive Coding mit wesentlich weniger Daten auskommen. Dies liegt daran, dass es kontinuierlich lernt und sich anpasst, indem es ständig Vorhersagen über die Umgebung erstellt und diese Vorhersagen durch den Abgleich mit der Realität verfeinert. Diese Fähigkeit zur kontinuierlichen Anpassung macht Predictive Coding besonders attraktiv für Anwendungen, die in sich schnell verändernden Umgebungen arbeiten müssen, wie zum Beispiel autonomes Fahren oder Robotik. Hier können die Modelle schnell auf neue Situationen reagieren und sich selbst optimieren, ohne auf umfangreiche Neutrainings angewiesen zu sein.
Ein weiterer signifikanter Unterschied ist die Energieeffizienz. LLMs benötigen enorme Rechenressourcen, sowohl für das Training als auch für die Inferenz. Predictive Coding hingegen reduziert die Verarbeitungsanforderungen, indem es nur die Unterschiede zwischen den Vorhersagen und den tatsächlichen Eingaben verarbeitet. Dies führt zu einem wesentlich geringeren Energieverbrauch, was nicht nur kosteneffizienter ist, sondern auch nachhaltiger. Besonders in mobilen Anwendungen oder eingebetteten Systemen, wo Ressourcen begrenzt sind, kann diese Effizienz einen entscheidenden Vorteil darstellen.
Zu den führenden Vertretern der Predictive Coding Theorie zählt dabei der britische Neurowissenschaftler und theoretische Biologe Karl Friston, welcher zahlreiche Arbeiten veröffentlicht hat, die die Anwendung von Predictive Coding im Gehirn beschreiben und die Rolle dieser Theorie in der Wahrnehmung und im Lernen untersuchen.