Ich habe es bisher nicht getestet gehabt und nur in der Therie vermutet, das des auch auf älteren iGPUs von Intel funktioniert. In dem Fall die Iris XE iGPUs mit 96 Recheneinheiten. Aber das geht sicher auch mit kleineren. Diese Minigrafikkarten hat Intel eine halbe Ewigkeit verbaut.
Das interessante dabei ist, die können Unmengen an RAM adressieren... :-) Dürfte erst bei 64GB Ram aufhören der Spaß irgendwo dann mit adressierbaren 50 GB oder so.
In meinem Fall "nur" 30 GB, wegen sonst eben zu wenig Arbeitsspeicher in der Kiste.
Man könnte sich da also auch easy einfach 30B Modelle laden lassen mit einem älterem Laptop. Kein Problem.
Pi mal Daumen 10 Watt braucht der Spaß dann. Der Bildschirm zum Anschauen der Informationen frisst wahrscheinlich mehr.
Bisle länger dauert es freilich, aber hey, pfeif drauf, die Qualität der Antworten sind sehr Gut.
Soviel soll halt schon auch Berichtet sein, darf man das also auch gerne mit NICHT ARC GPUs nutzen.
Salve
Alucian
Testergebnisse:
Lucy-1.7B-F16.gguf 3.2 GB
FAST CTX-NPG 16k A770LE: 572.7 Pt/s 23.2 Gt/s 108w 2.4Ghz - CPU TK 1++
FAST CTX-NPG 16k A730m: 382.2 Pt/s 14.7 Gt/s 65w 2.05Ghz - CPU TK 1++
FAST CTX-NPG 16k ARC iGPU 8XE: 2384.5 Pt/s 9.0 Gt/s 30w 2.25Ghz - CPU TK 1++
FAST CTX-NPG 16k IRIS XE iGPU 96EU: 361.6 Pt/s 8.4 Gt/s 10w 1.4Ghz - CPU TK 1++
Hier die unterste ist eine der alten Architekturen. Die oben drüber eine der modernsten mit sogar Quad Channel Support. Aber die kann auf keinen Fall so viel RAM Adressieren wie die Alten. Das ist eine Politische Sache der Hersteller.
Unten hier, habt ihr die aktuellste Version vom Programm. Einfach kopieren und den Anweisungen folgen. ARCH Linux ist noch Notwendig, wenn man sich nicht selbst zu helfen weis.
Die schlimmste und härteste Arbeit, habe ich aber schon gemacht, soll heißen das bisle was zu tun ist, darf man ruhig auch erstmal noch selbst machen, bis ich das alles Verbessert habe was durchaus noch viele Monate kosten kann!
Wenn es Probleme gibt, ich helfe gerne weiter.