Der Startpunkt: Ein Vektor-Store
Wie jedes KI-Projekt in 2024 begannen wir mit einem einfachen Muster: Text einbetten, Vektoren speichern, nach Ähnlichkeit abrufen. In etwa zwei Wochen hatten wir einen funktionierenden Prototypen.
Und in etwa drei Wochen merkten wir, dass es nicht reicht.
Das Problem war nicht die Abrufgenauigkeit. Cosine Similarity funktioniert erstaunlich gut zum Finden relevanter Texte. Das Problem war alles andere:
- Das System konnte nicht vergessen. Irrelevante Notizen von vor Monaten verschmutzten jede Abfrage.
- Es hatte kein Zeitgefühl. Ein gestern gelernter Fakt hatte dasselbe Gewicht wie einer von letztem Jahr.
- Es konnte keine Ideen verbinden. Zwei verwandte Konzepte, getrennt gespeichert, blieben für immer getrennt.
- Es wurde mit der Nutzung nicht besser. Je mehr man speicherte, desto lauter wurde das Rauschen.
Das ist das schmutzige Geheimnis der meisten KI-Gedächtnisimplementierungen: Sie skalieren beim Speichern, aber degradieren bei der Qualität.
Der Neurowissenschaften-Umweg
Ich verbrachte zwei Monate damit, neurowissenschaftliche Papers zu lesen, anstatt Code zu schreiben. Es war die beste Investition des gesamten Projekts.
Das menschliche Gehirn hat nicht ein Gedächtnissystem. Es hat mindestens fünf. Jedes dient einem anderen Zweck, operiert auf verschiedenen Zeitskalen und versagt auf verschiedene Weisen. Das Zusammenspiel zwischen ihnen erzeugt intelligentes Gedächtnis.
Drei Papers haben alles verändert:
Stickgold & Walker (2013) zeigten, dass Gedächtniskonsolidierung während des Schlafs entscheidend für das Lernen ist. Das Gehirn speichert nicht nur Erinnerungen im Schlaf — es replayed sie aktiv, stärkt wichtige Verbindungen und beschneidet schwache.
Ebbinghaus (1885) quantifizierte das Vergessen. Die Vergessenskurve ist exponentiell, aber jede Wiederholung setzt sie zurück und flacht sie ab.
Hebb (1949) schlug vor, dass Neuronen, die zusammen feuern, sich vernetzen. Dieses einfache Prinzip wurde unser Wissensgraph-Modell.
Schicht für Schicht bauen
Wir haben nicht alle sieben Schichten auf einmal gebaut. Wir begannen mit drei und fügten die anderen hinzu, als wir die Probleme verstanden, die sie lösten.
Der Vergessens-Durchbruch
Kontraintuitiv: Die größte Qualitätsverbesserung kam durch die Implementierung von Vergessen.
Vor dem aktiven Vergessen musste jede Abrufabfrage durch alle gespeicherten Erinnerungen waten. Das Signal-Rausch-Verhältnis degradierte linear mit der Speichergröße. Nach der Implementierung von Ebbinghaus-Decay verblassten Erinnerungen, die nicht zugegriffen wurden, natürlich.
Der Effekt war dramatisch. Die Abrufgenauigkeit verbesserte sich um etwa 30%, allein durch die Reduzierung von Rauschen. Das System wurde klüger, indem es Dinge entfernte, nicht hinzufügte.
Schlafkonsolidierung: Der Differentiator
Das ist das Feature, das kein Wettbewerber hat. Während Ruhephasen aktiviert sich die Sleep Compute Engine:
- Selektion: Identifiziert neue Erinnerungen mit hoher Wichtigkeit
- Replay: Bewertet jede Erinnerung im Kontext alles anderen neu
- Stärkung: Verstärkt Verbindungen zwischen verwandten Erinnerungen
- Beschneidung: Schwächt ungenutzte Verbindungen, entfernt sie schliesslich
Ergebnis: Ein Gedächtnissystem, das sich über Zeit genuinely verbessert.
Open Source
Die Algorithmen sind als @zensation/algorithms und @zensation/core auf npm veröffentlicht. Null externe Abhängigkeiten, TypeScript-native, Apache-2.0-lizenziert.
npm install @zensation/algorithms @zensation/core
GitHub: github.com/zensation-ai/zenbrain
Die Lücke zwischen KI-Gedächtnis und menschlichem Gedächtnis ist immer noch enorm. Aber sie schrumpft.