Das Geheimnis hinter ChatGPT
Ohne Schleifen zum sinnvollen Text
Wer ChatGPT schon einmal erlebt hat, kann kaum glauben, dass dahinter nur eine Maschine steckt. Zu echt sind die Texte, die von diesem System erzeugt werden. Der bekannte Softwarepionier Stephen Wolfram beleuchtet in seinem Buch „Das Geheimnis hinter CHATGPT“ die dahintersteckende Technik, die sich als höchst verblüffend herausstellt.
Wer schon einmal ein Softwareprogramm mit gängigen Programmiersprachen, wie etwa Basic, Pascal, Delphi oder C++ erstellt hat, weiß, dass es dort keine linear verlaufenden Abläufe gibt. Schleifen, Interrupts und if then else-Bedingungen beeinflussen den Programmablauf, was nötig ist, damit sinnvolle Anwendungen, wie etwa Maschinensteuerungen, Tabellenkalkulationsprogramme oder Spiele entstehen.
Wenn Programmier-Virtuosen, die derartige Software mit herkömmlichen Programmiersprachen erstellen, noch nie etwas von neuronalen Netzen gehört haben, haben diese es sehr schwer, sich vorzustellen, wie KI-Lösungen – etwa CHATGPT – es schaffen, menschliche Sprache zu verstehen und auf Eingaben mit sinnvollen Texten zu antworten.
In seinem Buch „Das Geheimnis hinter CHATGPT“ gibt Stephen Wolfram erhellende Einblicke, wie derartige Systeme arbeiten, um diese Aufgabe zu bewältigen. Da er selbst bereits im Jahre 1983 ein neuronales Netz programmierte, kann er fundierte Antworten geben, dass hinter diesem System keine Zauberei, sondern schlicht eine gewaltige Speichermenge sowie eine raffinierte Technik steckt, die mit Zufallsentscheidungen und Wahrscheinlichkeitsauswahl kombiniert wurde, um das vermeintliche „Wunder“ möglich zu machen.
Es ist überraschend, dass CHATGPT im Grunde ein dummes System ist, das stumpfsinnig den Inhalt von Millionen zuvor eingelesenen Büchern sowie hunderten von Milliarden Wörtern aus dem Internet auswertet, um mithilfe von 175 Milliarden sogenannter „Gewichte“ sinnvollen, neuen Text abzuleiten. Dies alles ohne Schleifen oder „zurückgehen", wie es herkömmliche Programmiersprachen erlauben.
Wer wissen möchte, wie das alles umgesetzt wurde, findet im Buch von Stephen Wolfram Antworten, die aufzeigen, auf welchem Weg diese Technik erstaunliche Resultate in Sachen Text zuwege bringt.
