Die KI ist Groß, ein Nachdenkfaehiges recht modernes LLM und heißt "Orchestrator-8B-f16_q8_0.gguf".
Sie benoetigt eine B580 oder eine A730m als Minimum, weil ihre Speicheranforderungen leider uber 12 Gigabyte sind.
In dieser Genauigkeit, kann der Orchestrator sehr gut auf meine Vorbefehle reagieren und ist auffaellig Gut im interpretieren der SYCL basierten Matrix Multiplikationsbefehle.
Er analysiert und kombiniert die Zusammenhaenge der teilweise sehr speziellen SYCL Programmierung korrekt und mit viel Hintergrundwissen, sowie außergewoehnlich viel Text fuer das gewohnte im Programm.
Seine Faehigkeiten entsprechen den Mindestanforderungen etwa 90% der Anfaengerprobleme eines SYCL Programmierers loesen zu koennen, welche vor allem viel mit dem hin und herschubsen von Daten zwischen CPU und GPU zu tun haben.
Damit habe ich eine KI gefunden, welche mein Vorhaben massiv aufwerten, aber auch erschweren wird, einen SYCL Programmbauvollautomaten zu bauen, welcher lauter fertige und funktionierende SYCL Code Schnipsel als Puzzleteile modular ausgibt, damit der Endanwender, diese nur noch fuer sein eigentliches Vorhaben zusammenfuegen muss.
Es koennte sein, das ich fuer dieses Vorhaben, also auch den MathTutor mit seinen 16 Gigabyte an Anforderungen fuer alleine den Videospeicher ersetze mit dem Orchestrator.
Das bedeutet, ich kann anbieten, mit hoeherer Qualitaet zu "puzzeln" und gleichzeitig, weniger Speicher als Mindestanforderung auszuschreiben, dann naehmlich, immerhin, 12 Gigabyte, statt eben 16 Gigabyte Videospeicher, den ich auch Bildspeicher in Zukunft nennen werde, um die Herkunft von Grafikkarten damit einzudeutschen im Verstaendnis fuer das Lernen.
Die Anforderungen waehren damit fuer die Battlemage Serie der Intel Karten moeglich, statt die High End Karte von der vorherigen Alchemist Serie zu nutzen.
Das waere ein guter Sprung, weil die Battlemage Karten, wesentlich oefter Verkauft wurden und bei Spielern beliebt sind, als die A770 selbst.
Damit koennte ich den Preis fuer die Nutzung weiter verringern und die Bandbreite auf etwa 6 Grafikkarten erhoehen, weil auch viele alte Profi Karten 12 Gigabyte besitzen.
Leider, ist der Orchestrator etwas Schwerfaellig, aber wie gesagt, ein SYCL Meister fuer seine Groeße, und kann nur etwa 7 Prompt Token in der Sekunde bei ein paar hundert Generierten Token pro Sekunde erstellen.
Aber das ist Schnell genug, fuer ein unteres Ende der Anforderungen, dafuer aber hochqualitativ antwortendes Modell.
Man muss das erstmal alles so schnell weglesen und wegdenken koennen, was da in Echtzeit, dafuer auch nur mit etwa 50 Watt geschrieben wird.
Ich freue mich voll auf den SYCL Puzzleautomaten. Ich hoffe ihr auch. :-)
Salve
Alucian