Parameter Auswahl
- Kein Buchstabensalat!
- Deutsch Kenntnisse oder gute Interpretation
- GPU Speichergröße
- GPU XMX Einheiten
- GPU Fähigkeit für Modellausführung FP16 und FP32
16 Gigabyte: ARC Alchemist GPUs: A770 + A770m Vollausbau!
GPT-OSS 20B Q8 und FP16
Modell passt auch in FP16 Genauigkeit schön in die 16GB und lässt sich Gut ausführen.
Ministral-3-14B-Instruct-2512.gguf (Hochmodern und funktioniert sehr Gut)
MathTutor0.0.1.FP16.gguf
Modellherkunft Unbekannt. Kann bei mir Angefragt werden im Zweifel. Extrem zuverlässiges Modell, mein persönlicher Liebling, auch das größte Modell das ich zum Laufen bekomme bis heute!!! Stolze 14,2 GB Größe. Selbst kleinere modernere Modelle laufen nicht in dieser Größe!!!
12 Gigabyte: ARC Alchemist GPUs: A730m + iGPU Meteor Lake
gpt-oss-20b-mxfp4 (Hochmoderne KI, läuft wie Butter)
Valera11B-V2-Q8.gguf (läuft nicht mit meinen Alten Versionen von XAIGPUARC!!! Aber mit den neuen auch öffentlichen sollte das Modell laufen. Es ist ein sehr Gutes Modell habe ich festgestellt. Man gibt ihm Code und er schreibt ihn einfach weiter)
DiffuCoder-7B-cpGRPO-f16_q8_0.gguf
llama-3-12b-Instruct.i1-Q6_K.gguf
Qwen3-30B-A3B-iq2_xxs.gguf
8 Gigabyte: ARC Alchemist GPUs: A750LE Intel Standartkarte
openhermes-2.5-mistral-7b.Q8_0.gguf //Mein Standarttestmodell
openbuddy-openllama-7b-v12-bf16.Q8_0.gguf
sauerkrautlm-7b-v1.Q8_0.gguf //Deutsches Modell! Interessant!
llama3bthinkingonly5B.f16.gguf
Wir achten also darauf, das wir immer unter den angegeben Modellen bleiben, aber möglichst diese zum Laufen bekommen, weil sie Schlicht die Größten möglichen sind, die ich bisher als Gut getestet rausgeben kann. Weiter vor allem viel moderenere Modelle folgen, aber ich habe nur zwei Hände und einen Kopf, trotz vieler Computer und Möglichkeiten zu Testen. Ich konzentriere mich auch schon darauf, nicht die "üblichen" modelle zu verwenden und die guten kleinen Schmankerlmodelle zu finden, wie man sie in der Liste oben auch schon sehen kann zum Teil.
Wünsche und Fragen machen mir keine Klagen. :-)
Salve
Alucian