Der Startpunkt: Ein Vektor-Store
Wie jedes KI-Projekt in 2024 begannen wir mit einem einfachen Muster: Text einbetten, Vektoren speichern, nach Aehnlichkeit abrufen. In etwa zwei Wochen hatten wir einen funktionierenden Prototypen.
Und in etwa drei Wochen merkten wir, dass es nicht reicht.
Das Problem war nicht die Abrufgenauigkeit. Cosine Similarity funktioniert erstaunlich gut zum Finden relevanter Texte. Das Problem war alles andere:
- Das System konnte nicht vergessen. Irrelevante Notizen von vor Monaten verschmutzten jede Abfrage.
- Es hatte kein Zeitgefuehl. Ein gestern gelernter Fakt hatte dasselbe Gewicht wie einer von letztem Jahr.
- Es konnte keine Ideen verbinden. Zwei verwandte Konzepte, getrennt gespeichert, blieben fuer immer getrennt.
- Es wurde mit der Nutzung nicht besser. Je mehr man speicherte, desto lauter wurde das Rauschen.
Das ist das schmutzige Geheimnis der meisten KI-Gedaechtnisimplementierungen: Sie skalieren beim Speichern, aber degradieren bei der Qualitaet.
Der Neurowissenschaften-Umweg
Ich verbrachte zwei Monate damit, neurowissenschaftliche Papers zu lesen, anstatt Code zu schreiben. Es war die beste Investition des gesamten Projekts.
Das menschliche Gehirn hat nicht ein Gedaechtnissystem. Es hat mindestens fuenf. Jedes dient einem anderen Zweck, operiert auf verschiedenen Zeitskalen und versagt auf verschiedene Weisen. Das Zusammenspiel zwischen ihnen erzeugt intelligentes Gedaechtnis.
Drei Papers haben alles veraendert:
Stickgold & Walker (2013) zeigten, dass Gedaechtniskonsolidierung waehrend des Schlafs entscheidend fuer das Lernen ist. Das Gehirn speichert nicht nur Erinnerungen im Schlaf — es replayed sie aktiv, staerkt wichtige Verbindungen und beschneidet schwache.
Ebbinghaus (1885) quantifizierte das Vergessen. Die Vergessenskurve ist exponentiell, aber jede Wiederholung setzt sie zurueck und flacht sie ab.
Hebb (1949) schlug vor, dass Neuronen, die zusammen feuern, sich vernetzen. Dieses einfache Prinzip wurde unser Wissensgraph-Modell.
Schicht fuer Schicht bauen
Wir haben nicht alle sieben Schichten auf einmal gebaut. Wir begannen mit drei und fügten die anderen hinzu, als wir die Probleme verstanden, die sie lösten.
Der Vergessens-Durchbruch
Kontraintuitiv: Die groesste Qualitaetsverbesserung kam durch die Implementierung von Vergessen.
Vor dem aktiven Vergessen musste jede Abrufabfrage durch alle gespeicherten Erinnerungen waten. Das Signal-Rausch-Verhaeltnis degradierte linear mit der Speichergroesse. Nach der Implementierung von Ebbinghaus-Decay verblassten Erinnerungen, die nicht zugegriffen wurden, natuerlich.
Der Effekt war dramatisch. Die Abrufgenauigkeit verbesserte sich um etwa 30%, allein durch die Reduzierung von Rauschen. Das System wurde klüger, indem es Dinge entfernte, nicht hinzufügte.
Schlafkonsolidierung: Der Differentiator
Das ist das Feature, das kein Wettbewerber hat. Während Ruhephasen aktiviert sich die Sleep Compute Engine:
- Selektion: Identifiziert neue Erinnerungen mit hoher Wichtigkeit
- Replay: Bewertet jede Erinnerung im Kontext alles anderen neu
- Stärkung: Verstärkt Verbindungen zwischen verwandten Erinnerungen
- Beschneidung: Schwächt ungenutzte Verbindungen, entfernt sie schliesslich
Ergebnis: Ein Gedächtnissystem, das sich über Zeit genuinely verbessert.
Open Source
Die Algorithmen sind als @zensation/algorithms und @zensation/core auf npm veroeffentlicht. Null externe Abhaengigkeiten, TypeScript-native, MIT-lizenziert.
npm install @zensation/algorithms @zensation/core
GitHub: github.com/zensation-ai/zenbrain
Die Luecke zwischen KI-Gedaechtnis und menschlichem Gedaechtnis ist immer noch enorm. Aber sie schrumpft.