Supersumsi, mein halb KI Bot

Vor nicht allzulanger Zeit, habe ich mal was über Openclaw geschrieben und dass ich mir jetzt, mithilfe von KI, selbst etwas zusammenbasteln möchte. In der Zwischenzeit ist das schon einigermaßen ausgereift und gleicht schon fast einer einfachen Kommandostation. Es ist schon nahezu ein AllinOnePlace Szenario.
in der Zwischenzeit habe ich einen Hilfebereich drinnen, damit ich nicht die Übersicht verliere. Eigentlich ist es ein "Was könnte man denn noch so einbauen" Bot.

hinzu kommt noch, dass der Bot in der Zwischenzeit so eine Art Langzeitgedächtnis hat. Vor dem Start komprimiert er meine letzten Aussagen und fügt sie sozusagen einem externen Wissen hinzu. Das betrifft aber nur Aussagen, die nicht rein der Bot-Funktionsweise dienen. Er beschreibt also nicht, ich würde mich für bestimmte Nachrichten interessieren. Es sei denn, dass ich mich mit dem Bot konkret darüber unterhalte. Das ist im übrigen ein qwen2.5-14b-instruct-q4, empfohlen von ChatGPT. Ich habe die Tokens auf 24k beschränkt, um nicht in Misere mit den VRAMS meiner Grafikkarte zu kommen. Derzeit fängt er ab 40 Nachrichten an, die vorherigen wieder rauszulöschen, damit wieder Tokens frei werden. Gleichzeitig entsteht aber bei jedem "Gespräch" eine json Datei, die alles aufzeichnet und beim nächsten Start komprimiert ins "Langzeitgedächtnis" übergeht. Der Bot ist eine Mischung aus strikten Befehlen, KI und der Systemprompt,die entscheidet, wie die KI gesteuert wird. Die Systemprompt war wesentlich mehr Herumgehangel, als man vermuten würde. Das kann man verstehen, wie einen Gesetzestext, wo die KI sich die Interpretation aussucht, man aber kaum Interpretation will, oder gar keine. Letztlich soll nicht die KI das letzte Wort haben, sondern der Code der sie steuert.

(achso, für die kleinen Aufgaben ist es ein 7B Modell)

Ursprünglich dachte ich, dass ein Video das gut erklären könnte. Aber da manche Bereiche in mein Privatleben reingehen, habe ich mich entschlossen, die Punkte mit Erklärungen abzubilden. Ich hoffe man kann sich ein Bild daraus machen. Man stelle sich vor, ich gebe den Befehl mit :: im Telegram ein und es löst einen Effekt aus. Ich werde auch noch dazu schreiben wo KI involviert ist.

🤖 Supersumsi – Befehlsübersicht

---normaler Chat > KI 7B
Unterhaltung geht strukturiert ins Langzeitgedächtnis.

🧠 Wissen
::wiki THEMA (Normal)
→ 8 Sätze aus Wikipedia