So die Frage, nach 128 GiG VRAM Belegung ohne Absturz mit lediglich einer Grafikkarte, die sich aber noch als Beta Anhängesel Langweilt, bis der Pappa OpenCL nachgerüstet hat dafür und die GPUs damit dann auch viel besser mitarbeiten, statt nur verwalten und dabei zusehen.
32 Gigabyte Arbeitsspeicher reichen für meine Modulbauvorhaben vielleicht erstmal aus, sind aber auch zu wenige am Ende des Tages.
Um eine anständige Antwort zu bekommen, habe ich mindestens 7B große Modelle genutzt. Kleinere, sind oft merklich schon von Anfang an zu "Schwach".
Das die Modelle sich alle aus dem Internet bedienen und man sich fragt was da eigentlich wirklich gerade "Lokal" passiert ist natürlich auf dem zweiten Blatt Papier zu sehen.
Nix mit freier KI!!!
Quasi alle Telefonieren nach Hause!
Da gibt es ohne Anmeldung schonmal garnicht, nichts auf dem Markt was "Frei" ist.
Die Open Source Modelle sind Lokal ausgeführte Clients der eigentlichen Modelle im Grunde.
Da kann ich dann auch gleich mit ChatGPT weiter reden und habe mehr davon.
Deswegen muss man alles Selber machen Kinners, einfach alles, wenn es Gut werden soll!
Salve
Alucian
Edit und warum will der Alucian eigentlich schon wieder eine Extrawurst haben??? Auch noch Umsonst?
Ganz Einfach zwei Jahre "KI HYPE" sollten erntbare Ergebnisse liefern, denkt man sich.
Die Spezis werde es schon gemacht haben. Die Spezis waren auch Fleißig. Aber des schaut auch bisle so aus, mit Verlaub, ich habe auch ein zwei Türen weiter geguggt im Zweifel, das des schon wieder Einschläft- ;-)
Des kennen wir irgendwo her schon gell.
OpenCl für AI.. nach zwei Jahren ein dritter Grafikkarten Hersteller am Markt.^^
Grins. Da sind also nicht nur die am Schlafen hat man das Gefühl als Kind der massenadaption von Computer und Internetzeugs.
Gleichzeitig, geht schon auch ein Wettbewerb vorran, wer jetzt überhaupt mal was bauen kann und wer nicht und warum eigentlich, kann nur der des und alle andere nicht???
Zumindest hier, bewegt sich viel. Bis es aber wieder Grundlegend Neues gibt, dürften jetzt die Jahre immer länger Vertstreichen und die Zeit sich ziehen wie Kaugummi.
Die Talfahrt, hat begonnen, in Sachen Leistungsgewinn und Zuwachs. Die harte Wahrheit der Bereinigung und Aufarbeitung folgt. Ein Wettbewerb, wer im Zweifel auch selber machen kann, was er von anderen hat machen lassen all die Zeit des Just in Time Denkens.
Lokal, ist kein Schlagwort, sondern eine Notwendigkeit.
Ich mache das nämlich net, weil ich so geheime Geheimhummelhauptquartiersachen mit der KI mache, sondern schlicht zum Schutz meiner sensiblen Daten und meiner Person. Ich laufe ja auch net draußen rum und zeige jedem meine Sachen. :-)
Die kriegt man ja nichtmal wirklich zu sehen, wenn man bei mir ist. Obwohl sie vor einem stehen. Deswegen, der Schutz und die spezialisierung vor allem meiner Arbeitsdaten ist mir Wichtig. Ich lasse kein Internet an meine Sammlung.
Das wird Offline gemacht und Trainiert. ;-)
Eine Alu KI eben.
Die lernt auch von meinen Worten dann. Habe ja genug da gelassen dafür.