Die Intel XPU Technologie sorgt für eine automatische Auswahl und Verteilung der Arbeit auf den vorhandenen Recheneinheiten wie CPU, GPU, sowie Spezialrecheneinheiten.
Erstere, sind für uns Endnutzer interessant.
Wir können mit unserer ARC Grafikkarte darauf achten, das entsprechende KI Modell möglichst Vollständig in den vorhandenen GPU VRAM auszulagern, weil diese eine KI Berechnung durch ihre speziellen Recheneinheiten besser ausführen kann im Optimalfall.
Wir achten darauf, das richtige Modell zu nutzen. Übliche 7B Modelle in normalen Auflösungen sollten Gut auf 8 Gigabyte Modellen laufen.
Eine allzumoderne CPU ist dabei nicht von Nöten. Auch ältere CPUs scheinen sehr Gut mit der Rechenlast zurecht zu kommen.
Wenn wir wesentlich längere Ladezeiten in Kauf nehmen, dann können wir aufgrund des Adressiebaren Hauptspeichers für die Grafikkarte auch geeignete! größere Modelle einladen und benutzen.
Wir achten dann auch auf eine möglichst hohe Layerzahl in der Consolenausgabe. Wir wollen mit den ARC GPUS im Minium 30 Layer haben, wenn wir eine der A7XX Serie benutzen.
Mangels kleinerer GPUS und der zweiten Generation kann ich keine weiteren Aussagen hierzu treffen. Es sollte aber vor allem bei letztere, geringere Ergebnisse, statt höher im Vergleich zur Vorgängergenertation zu erwarten sein, vor allem wenn es um größere Modelle geht. Die Alchemist Serie hat wesentlich mehr Ausführungseinheiten, dafür aber ein bisschen weniger Tackt.
Salve
Alucian
Edit; Wir achten darauf, das die KI keine Berechnungsart verlangt, welche unsere GPU nicht unterstützt! Emulieren wollen wir keine KI! Wir wollen sie Nativ nutzen!