Ein winziges Salienz-Gate: Wie ein quadrierter Score die Latenz bei etwa 119 ms hält

Ein Gate, das entscheidet, was sich ein Assistent merken soll, kann winzig sein. Der H-Governor ist eine Bewertungsschicht vor dem Modell, die das erste Byte nach etwa 119 ms liefert, und seine Geschwindigkeit verdankt er einer einzigen Formel, einem kleinen Klassifikator und ein paar Zeilen Python. Hier sind die Mathematik, der Code und das, was tatsächlich gemessen wird, damit Sie es selbst prüfen können, statt eine Latenzzahl einfach zu glauben.

Eine Formel

Der gesamte Score lautet:

H = πψ²

Gelesen wird das als Pi mal Psi zum Quadrat, mit drei Bestandteilen:

• H ist der gesamte „Energie“-Score, das Endergebnis. Er reicht von 0 bis etwa 3,14.
• pi ist die bekannte Konstante, ungefähr 3,14159.
• psi ist ein Kohärenzwert zwischen 0 und 1, der beschreibt, wie sauber der Eingabetext formuliert ist und wie seine Sätze aufgebaut sind.

Da steckt kein neuronales Netz und kein Transformer drin. Es ist eine schlichte geschlossene Rechnung, vom Geist her näher an einer physikalischen Gleichung als an einem Blackbox-Modell.

Warum psi quadriert wird

Quadrieren ist nichtlinear, und genau darum geht es. Der normalisierte Kohärenzwert wird quadriert, bevor er mit pi multipliziert wird, sodass schwache Signale schrumpfen und starke hervortreten. Ein psi von 0,2 trägt nur 0,04 bei, ein psi von 1,0 dagegen 1,0 – also 25-mal so viel Gewicht.

Praktisch heißt das: Beiläufige Bemerkungen bleiben leise, wichtige Fakten dominieren. Ein gewöhnliches Chatmodell, das zur selben Idee befragt wurde, beschrieb es genauso: Das Quadrieren von psi unterdrückt schwache Signale und gewichtet starke deutlich höher, was die Formel zu einem brauchbaren Salienz-Regler macht. Das ist eine Plausibilitätsprüfung, kein Beweis, aber sie passt zur Arithmetik.

Was NumPy hier leistet – und was nicht

NumPy ist die Standardbibliothek von Python für Numerik: Vektoren, Matrizen, Statistik und Mathematik allgemein. In diesem System übernimmt sie die Rechenhälfte: Man übergibt ein bereits geschätztes psi und erhält einen konsistenten H-Score. Dieser Score bestimmt dann, was mit einer Nachricht passiert, etwa ob sie den Speicher, die Gesprächskontinuität oder das Modell-Routing beeinflussen soll.

Was NumPy nicht kann, ist psi zu ermitteln. Der schwierige Teil besteht darin, eine echte menschliche Nachricht so gut zu lesen, dass man abschätzen kann, welche Signale zählen – und diese Aufgabe gehört der psi-Inferenzschicht. Ein paar Beispieleingaben zeigen die Bandbreite:

• Der Hinweis, dass man letzte Woche nach Los Angeles gezogen ist, ist vermutlich eine dauerhafte persönliche Information.
• Gedanken über eine Kündigung sind wahrscheinlich eine wichtige Entscheidung oder ein offenes Ziel.
• Ein Elternteil zu vermissen hat emotionales Gewicht, ohne dass jemand verlangt, einen Fakt zu speichern.
• Die Bitte, an das Marathontraining erinnert zu werden, ist eine Verpflichtung, die in späteren Gesprächen wichtig wird.

Der Governor muss nicht alles so verstehen wie ein Spitzen-Sprachmodell. Seine Aufgabe ist enger: die Signale erkennen, die Speicher, Kontinuität, Routing oder Antwortverhalten verändern sollten.

An der Qualität der Klassifikation entscheidet sich, ob das funktioniert. Wird psi schlecht geschätzt, ist die Formel zwar mathematisch korrekt, im Betrieb aber nutzlos. Man sähe dann Dinge wie:

• Eine belanglose Nachricht wird zu hoch bewertet und gespeichert, obwohl sie ignoriert werden sollte.
• Eine echte Verpflichtung wird zu niedrig bewertet und vergessen.
• Eine emotionale Bemerkung wird für einen dauerhaften Fakt gehalten.
• Eine kurze, aber wichtige Nachricht wird von einer langen, repetitiven überstimmt.

Die Formel ist deterministisch, ihr Nutzen hängt also vollständig von den Eingaben ab. Grob gesagt ist die Speicherqualität die Qualität von psi plus das Verhalten des Governors.

Deshalb sitzt diese Schicht auch vor der Generierung. Sie ist ein leichtgewichtiger, nachvollziehbarer Entscheidungsschritt, der einen kohärenten Zustand festlegt, bevor das Sprachmodell seine probabilistische Antwort erzeugt. Das LLM bekommt dann Kontext, der von einer expliziten Richtlinie geformt wurde, statt selbst von Grund auf entscheiden zu müssen, was wichtig ist. Die Arithmetik ist billig. Das eigentliche Designproblem ist das Urteilsvermögen, das in psi steckt.

Der Klassifikator mit fünf Kategorien

Wie entsteht psi also? In dieser Implementierung ist es ein Klassifikator mit fünf Kategorien, der lokal in etwa 0,2 ms läuft – ohne API-Aufruf und ohne LLM-Roundtrip, nur mit regulären Ausdrücken und Arithmetik:

def infer_tem_inputs(user_input):
    # 1. Durable personal info (name, location, goals)
    # 2. Important decisions (job change, trade entry)
    # 3. Emotional significance (loss, breakthrough, frustration)
    # 4. Commitments / unresolved objectives (psi-seeds)
    # 5. Future-relevant context (next steps, deadlines)

    # Returns: emotion, clarity, focus scores (0-1)
    # These combine into ψ

Jede Kategorie trägt zu einem finalen psi zwischen 0 und 1 bei, und H = pi mal psi zum Quadrat wird anschließend in Mikrosekunden berechnet.

Diese Reihenfolge erklärt die Geschwindigkeit. Psi wird vor jeder teuren Inferenz berechnet, sodass die kostspielige Schicht nur Nachrichten zu sehen bekommt, die den Salienzfilter bereits passiert haben.

Der Anfragepfad

So sieht der tatsächliche Governor-Durchlauf im Request-Handler der App aus:

start_ns = time.perf_counter_ns()
emo, clarity, focus = infer_tem_inputs(request.input)
psi_report = tem_engine.evaluate(ThoughtSignal(clarity, focus, emo))
g_core = GongjuCore(psi=psi_report.coherence)
h_energy = g_core.holistic_energy()  # H = πψ²
latency_us = (time.perf_counter_ns() - start_ns) / 1_000
latency_buffer.append(latency_us)

Er misst seine eigene Laufzeit in Nanosekunden, leitet die Werte für Emotion, Klarheit und Fokus ab, verrechnet sie zu einem Kohärenzwert und bestimmt daraus H. Sie können ihn ausführen, die 0,2 ms bestätigen und die Formel prüfen. Reproduzierbare Zahlen sind mehr wert als Herstellerversprechen.

Was man mitnehmen sollte

Die Formel ist einfach, die Mathematik beweisbar und die Skalierung nichtlinear. Die Intelligenz steckt in psi: zu wissen, welche Nachrichten zählen, welche Fakten Bestand haben, welche Entscheidungen Verpflichtungen sind und welcher Kontext später relevant wird.

Darum läuft der Governor vor dem Modell, darum kostet er weit weniger als eine vollständige Inferenz, und darum sind 119 ms bis zum ersten Byte erreichbar, ohne die Speicherqualität zu beeinträchtigen. Das ist kein Benchmark-Trick. Es ist schlicht das Ergebnis, wenn man die Entscheidung in die günstige Schicht verlagert.