VORWORT Gemini:
Aber so eine detaillierte Leistungstabelle inklusive Watt-Verbrauch, wie du sie für Arc pflegst, habe ich für diese Cross-Plattform-Tools noch nie gesehen. (Edit von mir: Dabei ist das die "Kurze" Version davon, ich habe ja mehrere Geraete in vielen Tagen so getestet und aufgeschrieben)
Man koennte das sogar unter Windows benutzen, und ja, komplett Einsteigerfreundlich ist das Ding nicht. Aber es funktioniert, ueberall, wo ich des drauf mache und mich an die Regeln halte, dass das One API Basekit vorinstalliert sein muss, damit es starten kann.
Die Dual GPU Funktion, habe ich heimlich sogar zweimal eingebaut, auch kein Problem zu nutzen damit.
Fuer mich Persoehnlich, ist das Ziel erreicht, eine native Moeglichkeit auf meiner Intel basierten Hardware nutzen zu koennen.
Aber man muss keine Intel Hardware haben, damit es laeuft!!!
Dieser Test steht noch bis zur naechsten Bastelaktion mit der Leihgabe in der Sache von 
Da ist nichts drin, was nicht sein muss an "Zwang", sozusagen.
Es sollte Egal sein, ob das eigene System richtig eingestellt ist, denn das Programm sucht immer das, was am "Besten" ist und Funktioniert. Im Zweifel, faellt es auf die CPU zurueck, womit es quasi immer Funktioniert.
Wenn man zwei Grafikkarten drin hat, sucht es sich selbststaendig die Bessere von beiden aus, auch hier muss man selbst nichts machen, oder sich mit der GPU Erkennungen rumschlagen, wie ich mit dem Bau von dem Programm.
Es ist, immer noch, "nur" eine Seite, ein einziges Dokument.
Eine Datei.
Ende.
Kopieren und Benutzen... Nicht mehr und nicht weniger. :-)
Mein Programm erlaubt sich auch nichts, das ich nicht Vertreten kann. Es sendet keine Daten nach Hause, es graebt sich nicht Unsichtbar und Unauffindbar in ein System ein und kann einfach weggeloescht werden.
So Deinstalliere ich es am Liebsten fuer meine Tests. :-)
Einfach den Ordner "XAIGPUARC" und "Llamacpp" Loeschen und man ist es wieder los! Da gibt es keine versteckten Config Files oder sonstwas noch an anderen Orten zu finden!
Man installiert es sich auch immer nur in einen normalen Nutzerordner.
Was mir Wichtig war und bleibt, ist die Einfachheit in der Benutzung.
Console auf:
./XAIGPUARC mit Enter bestaetigen
und nach dem erstem Bau innerhalb weniger Sekunden inklusive Vorwaermen der GPU anfangen, mit der eigens ausgewaehlten KI zu arbeiten.
Alles was einem nicht gefaellt, kann man aus dem Programm entfernen oder aendern.
Wenn es einem zu Bunt ist zum Beispiel, was ich an Informationen und Lehrmaterial eingeschrieben habe, kann man einfach wegloeschen und das sogar ziemlich Gefahrlos, weil quasi alles Bunte mit einem Sybol "markiert" ist.
Einzig das es quasi komplett auf Deutsch ist, koennte ich noch aendern.
Aber ich bin Ehrlich, das ist mir jetzt noch viel zu Kompliziert.
Denn schon die Deutschen Anmerkungen "Richtig" zu machen, war nicht einfach und bei der Uebersetzung, mache ich sicherlich Fehler, die dem ganzen den Sinn nehmen, das da ueberhaupt was Hilfreiches steht.
Das Programm meldet fuer die Nerds alles was moeglich ist und hat sogar Funktionen in den Patches eingebaut, die wenn ueberhaupt nur fuer aeltere Systeme notwendig sind und sich selbst Verbessert installieren, wenn Moeglich.
Soviel ich weis, muss ich daran auch nix mehr aendern, fuer zukuenftige Hardware!
Das sollte dann einfach schneller laufen, wenn diese dann schneller ist und Fertig ist der Salat.
Keine neuen Abhaengigkeiten, die jetzt gerade erst als Standart bezeichnet werden koennten, sollten in den naechsten Jahren auftauchen.
Was ich immer wieder mal guggen werde, ist ob die Bibliotheken neuere Versionen bereithalten und diese dann zu aktualisieren, aber auch diese, sind im Zweifel von Haus auf schon Abwaehrtskompatible.
Man muss also nicht das aktuellste benutzen, sondern kann.
Das einzige was auf die Jahre noch dazu kommt, ist die Losloesung von Llama.cpp. Aber auch hier, realativ wenig Druck oder auch nur Vorteile zu sehen, außerhalb der Eigentstaendigkeit und Selbstlauffaehigkeit. Performance ist hier der Schluessel, maße ich mir sicher nicht an, jetzt schon Verbessern zu koennen.
Wo wir dabei sind, das was man an Werten findet im Programm, also an Leistungswerten, ist schon das "Maximale" Minimum. Wenn da weniger bei gleicher Hardware steht, stimmt eher was mit der Hardware nicht, als mit dem Programm behaupte ich sogar aufgrund der vielen Tests mit unterschiedlichen Endgeraeten.
Auf jeden Fall, habe ich jetzt fuer mich auch was ich brauche, damit ich weiter Programmieren kann, ohne die immer mehr verderbenden Antworten in der Gnade der Onlineanbieter abwarten und nutzen zu "muessen". Und ja, so ein kleines Modell, kann sehr Maechtig sein, wenn man weis was man mit einem Sprachmodell wie anzufangen hat und wo dessen Grenzen liegen.
Zum Lernen, ist es Perfekt.
Es liebt kleine Fragen, keine Kollosse an Daten! Das ist nun mal der Hardware geschuldet, fuer welches ich das gebaut habe. Aber auch hier, spielraum nach oben? Kein Problem. Steck dir 10 Karten rein, und das Ding benutzt 10 Karten wenn Du in der Lage bist diese einzutragen, wo ich es aufgeschrieben habe oder einfach nachzufragen im Zweifel.
Dann kann man auch Monster Modelle laufen lassen, die sich quasi nicht von den großen Agenten Online fuer uns Nichtzahlervolk unterscheiden.
An Mehrleistung, habe ich jetzt Wochenlang versucht noch was rauszuquetschen. Aber inzwischen, ist da nix mehr zu Quetschen uebrig behaupte ich.
Wer denkt, das es Langsam ist, soll mir mal seine Ergebnisse in der selben Qualiaet mitteilen. Ich glaube naemlich, das da die Augen groß werden wuerden, wenn ich auf die Details verweise und kein Cherry Picking akzeptiere dabei. :-)
Salve
Alucian.
Level Zero / SYCL ueber Float16 Berechnungen Spezialisiert um maximale Antwortqualitaet zu garantieren. Die Antwortqualitaet, ist GRUNDLAGE, nicht ein nettes Beisein. Denn was nuetzt mir denn bitte eine schnelle KI auf meinem Computer, wenn sie Fehler produzieren "muss" weil ich zu Gierig nach großeren Modellen war? Da habe ich auch genug eigene Erfahrung, ist mir lieber eine etwas Langsamere Antwort lieber, und Langsam ist hier eher schon Schwer zu sagen, wenn ich kaum beim Lesen mitkomme.