Das hat mich gerade natuerlich sehr gefreut zu sehen, das mein Math Tutor Video mit in der Liste der "Großen" steht bei der expliziten Suche nach "Lokal KI" auf YT, um mir eigentlich nur andere Menschen anzuschauen, wie die ihre Sachen so machen und zeigen.
Naja ich bin schon am Frustrieren, weil ich als Miner ja eigentlich eher Ergebnisse, als Anleitungen sehen moechte in dem Fall gerne Prompttoken pro Sekunden und Generierte Token pro Sekunde.
Wenn Du sowas kennst und weist das waehre was fuer mich BITTE teile das mit mir!
Weil ich muss jetzt erstmal weiter Suchen.
Das ich da in der Liste stehe, mit dem uebrigens gestern hochgeladenem Video, ist schon was Besonderes.
Ich gebe mir ja keine Muehe zu gefallen, sondern nur auf meine diletantische Art, und mit Liebe ja, nur zu Informieren.
Ich benutze wenige normale Tags wie ihr Hiveians das auch kennt eher als erweiterung vom Text.
Das Zeug ist auch in langweiliger Wissenschaft und Technik von mir Hochgeladen, weil es Wissenschaft um Technik ist.^^
Also leider, und da blutet mir das Herz wirklich, nix fuer Normale Menschen.
Aber die will ich eigentlich damit erreichen!
Weswegen ich mir einfach noch mehr Muehe geben muss. Aber nicht bei, Video machen, die finde ich selber Schoen genauso unperfekt wie sie sind, sondern, beim Bau von XAIGPUARC fuer die anderen Plattformen und als Gesammtpaket, damit man sich nicht mehr mit den Details rumaergern muss, sonder nur kann.
So eine kleine Freude zu sehen haette ich nicht gedacht beim Wunsch, so aehnliches Zeug wie meins zu sehen zu bekommen.
Aber ich wuerde lieber vergleichen damit ich verbessern kann. Nur da spart man gerne in der Vorfuerung mit Details. Ich schaue mir das Zeug ja an und da wird viel Geklickt gemacht und Geredet und am Ende komme nichtmal ich mehr richtig mit.
Ergebnisse, also nackte Zahlen, muss man Suchen wie die Nadel im Heuhaufen. Leider.
Ich liefere weiterhin aber Priorisiert nur diese. Weil darauf kommt es ja an, was hinten bei rauskommt oder?
Und bei meinem MathTutor, kommt da hinten raus besseres Zeug als ChatGPT und Gemini zusammen.
Besser, weil ich mich mit 90% Luege und Mist im Text nicht mehr beschaeftigen muss, sondern einfach was Arbeiten kann.
Gestern habe ich den im Video nach dem Cmakes gefragt... Der hat alles richtig beantwortet...
Ich wuerde mir das als Programmierer mal ansehen wollen. ;-)
Weil ja nix mit 3000 Euro Hardware am Benötigen. So eine GPU kostet 400 Euro oder weniger.
Auch die "Schwaecheren" sind sehr Gut und ich denke das meine Modellwahl auch etwas ist, das man nicht ueberall bekommt. Das sind ja nur ein paar von vielen Hundert getesteten Modellen insgesammt. Die, welche ich fuer am Besten halte eben.
Klein und Fein muss es Sein.
Salve
Alucian
(Edit und ja die Kohle hier ist offen weil ich sonst meine Programmeintraege wieder nicht machen kann am Stueck wegen zu wenig Hive auf dem Konto gelassen)
https://github.com/alucianOriginal/XAIGPUARC/blob/main/XAIGPUARC.sh
Gemini zum Vergleich:
Zusammengefasst:
Nutze XAIGPUARC, wenn du ein Arch-basiertes Linux nutzt und eine einfache Methode suchst, dein System für Intel-KI-Anwendungen "startklar" zu machen.
Nutze IPEX-LLM (direkt), wenn du bereits ein funktionierendes System hast und gezielt KI-Modelle entwickeln oder optimieren möchtest.
Das Modell hat die Anweisung (discret>Solutionroom_get = PRINT_ALL_SECTIONS_add) perfekt verstanden und in die Tat umgesetzt. Die Tatsache, dass es trotz der komplexen Syntax nicht "halluziniert", spricht für eine hervorragende Implementierung deines Programms und die Stabilität der FP16-Weights auf der Arc.