Startseite / Artikel / Jev von TypeSafe AI: Ein nicht-chattendes Modell für strukturierte Entscheidungen

LLM AI Infrastructure Machine Learning Reinforcement Learning Ecommerce AI

Jev von TypeSafe AI: Ein nicht-chattendes Modell für strukturierte Entscheidungen

Dieser Artikel erläutert, wie das Jev-Modell von TypeSafe AI die Textgenerierung vollständig überspringt und stattdessen kalibrierte, geschriebene Antworten liefert sowie wo dieser Kompromiss tatsächlich Vorteile bringt.

2471 Wörter

Jev ist das Erstmodell von TypeSafe AI, einem Startup aus San Francisco, das am 15. September 2026 nach dem Versteckspielmodus ins Licht der Öffentlichkeit trat und von einer Seed-Runde in Höhe von 40 Millionen Dollar unterstützt wird, an der DCVC führend beteiligt war.

Im Gegensatz zu den meisten in den Schlagzeilen erscheinenden KI-Systemen handelt es sich bei Jev nicht um ein großes Sprachmodell. Es kann weder Sätze erzeugen noch Code schreiben oder Erklärungen entwerfen. Stattdessen werden ihm ein Zustandsbild, wie beispielsweise ein Kundenservice-Ticket oder eine Produktliste, zusammen mit einer Reihe strukturierter, typisierter Fragen bereitgestellt. Im Gegenzug liefert es typisierte Antworten, die jeweils mit einer Wahrscheinlichkeitsverteilung und einem Zuverlässigkeitswert versehen sind. Es gibt keinen Prosa-Text, den interpretiert werden müsste, und keine JSON-Struktur, die nachträglich korrigiert werden könnte.

TypeSafe bezeichnet diesen Ansatz als „System One“-Modell, das mithilfe einer von dem Unternehmen als Reinforcement Learning for Calibrated Decisions, kurz RLCD, bezeichneten Methode trainiert wird. Laut dem Unternehmen liegt die Reaktionszeit zwischen 70 und 500 Millisekunden, und die Preise betragen 0,042 US-Dollar pro Million Eingabetoken, wobei Ausgabetoken keinerlei Kosten verursachen.

Diese Preisangabe ist kein Fehler. Die Ausgaben sind kostenlos, weil es im Grunde kaum Ausgaben gibt.

Wer hat TypeSafe AI gegründet?

Der Gründer und CEO des Unternehmens, Diogo Almeida, arbeitete zuvor als Forscher bei OpenAI und trug zur Entwicklung von Methoden des Verstärkungslernens unter Nutzung menschlicher Rückmeldungen sowie zu InstructGPT, ChatGPT und GPT-4 bei. Er gilt als einer der Mitentwickler von RLHF, der Technik, die rohe Sprachmodelle in nutzbare Konversationsassistenten verwandelte.

Zu dem Führungsteam gehören außerdem Erik Gafni als CTO und Sasha Sheng als COO. TypeSafe wurde 2024 gegründet und fast zwei Jahre lang im Verborgenen betrieben, bevor das Unternehmen an die Börse ging. Forbes schätzte den Unternehmenswert nach dieser Finanzierungsrunde auf etwa 200 Millionen Dollar.

Bemerkenswert ist, dass Almeida maßgeblich an der Entwicklung jener Methode mitgewirkt hat, die Modelle befähigte, menschliche Präferenzen zu erfüllen, doch nun argumentiert er, dass das Erfüllen menschlicher Anforderungen niemals dasselbe Problem darstellte wie die Schaffung zuverlässiger Software. Wenn jemand sich gegen das wehrt, wodurch er berühmt wurde, ist das in der Regel ein Zeichen dafür, dass er viel Zeit damit verbracht hat, das Problem neu zu überdenken.

Der Firmenname bezieht sich auf William Stanley Jevons, den Ökonomen des 19. Jahrhunderts, der für das Jevons-Paradoxon bekannt ist – die Beobachtung, dass mit zunehmender Effizienz einer Technologie der Gesamtkonsum dafür eher steigt als sinkt. Die zugrundeliegende Annahme ist einfach: Wenn KI billig genug wird, wird ihre Nutzung dramatisch zunehmen.

Der Aspekt

Jeder, der bereits KI-Funktionen für den E-Commerce bereitgestellt hat, ist vermutlich auf denselben wiederkehrenden Problempunkt gestoßen.

Betrachten Sie die Art der Entscheidungen, die diese Systeme treffen sollen: Bezieht sich diese Suchanfrage auf eine Marke oder eine Kategorie? Ist dieses Produktfoto für die Startseite geeignet? Beschwert sich diese Rezension über Lieferverzögerungen oder Produktqualität? Es handelt sich dabei um kleine Entscheidungen, die ein kompetenter Kategoriemanager in wenigen Sekunden treffen könnte.

Doch die gängige Lösung besteht darin, diese Fragen über ein Sprachmodell zu leiten. Es erzeugt einen Absatz Text, der anschließend in eine JSON-Struktur gezwungen wird. Man entwickelt einen Parser dafür, fügt Validierungslogik hinzu, schreibt Code für das Wiederholungsverhalten und erstellt einen Ersatzweg, falls auch die erneute Anfrage fehlschlägt. Schließlich gibt das Modell in der Produktion – oft mitten in der Nacht – einen Kategoriewert zurück, der in Ihrer Taxonomie überhaupt nicht existiert und dadurch heimlich eine nachgelagerte Verkaufstabelle beschädigt.

Das Engpassproblem lag niemals bei der Intelligenz selbst, sondern bei der darum herumliegenden Schnittstelle.

Genau diese Lücke soll Jev schließen.

Die zentrale Behauptung ist nicht, dass dieses Modell besser denkt als andere, sondern dass die Form seiner Ausgabe endlich dem entspricht, was Anwendungen tatsächlich benötigen.

Wie Jev tatsächlich funktioniert

Die gesamte API-Oberfläche besteht aus nur drei Fragearten.

Bei einer Auswahlfrage kann das Modell eine Option aus einer von Ihnen bereitgestellten Liste auswählen, und Sie erhalten das gewählte Element zusammen mit einer Wahrscheinlichkeit für jede Option sowie einem Gesamtwert der Zuverlässigkeit. In einer einzigen Liste können bis zu 255 mögliche Optionen angegeben werden.

Bei einer Bewertungsfrage bewertet das Modell die Eingabe anhand einer von Ihnen festgelegten Skala geordneter Stufen – beispielsweise die Schwere eines Fehlers, das Maß an Frust eines Kunden oder wie abgeschlossen eine Produktbeschreibung erscheint. Die zurückgegebene Zahl kann zwischen zwei benachbarten Stufen liegen, anstatt genau auf einer zu liegen, und die Antwort enthält außerdem die vollständige Verteilung hinter dieser Bewertung.

Bei einer Ja/Nein-Frage handelt es sich um eine binäre Aussage. Die Antwort ist eine einzige Zahl zwischen 0 und 1, die die Wahrscheinlichkeit darstellt, dass die Antwort „ja“ lautet.

Diese drei Typen können innerhalb einer einzigen Anfrage frei kombiniert werden. Jede Frage wird anhand desselben Eingabezustands bewertet, jede wird unabhängig geprüft und alle laufen gleichzeitig. Aufgrund dieser parallelen Verarbeitung hat das Hinzufügen weiterer Fragen zu einer Anfrage kaum Auswirkungen auf die Antwortzeit. Jede Anfrage arbeitet innerhalb eines gemeinsamen Budgets von etwa 32.000 Tokens, das sowohl den Zustand als auch die Fragen abdeckt.

Diese Details zum Token-Budget verändern die Herangehensweise bei der Gestaltung eines Systems um Jev. Da zusätzliche Fragen fast keinen Aufpreis verursachen, ist die empfohlene Strategie, alle fraglichen Fragen zu stellen – auch solche, deren Antworten nur für bestimmte Eingaben relevant sind – und einfach das zu ignorieren, was die Anwendung nicht verwendet. TypeSafe bezeichnet dieses Muster als spekulativen Fan-out. Für diejenigen, die an eine Welt gewöhnt sind, in der jeder zusätzliche Modellaufruf Kosten und Verzögerungen mit sich bringt, braucht es etwas Zeit, um diese Umkehrung der Anreize vollständig zu verstehen.

Wie Jev sich von einem LLM unterscheidet

Vier eindeutige Merkmale heben es von einem Sprachmodell ab, das lediglich mit strukturiertem Ausgabeformatierung versehen ist.

Zunächst ist das Trainingsziel selbst unterschiedlich. RLHF optimiert ein Modell darauf, Antworten zu liefern, die von Menschen positiv bewertet werden. RLVR optimiert hingegen darauf, Antworten zu erzeugen, die von einem Überprüfer geprüft werden können – das ist die Technik hinter Denkmodellen. Jev verwendet stattdessen etwas namens RLCD, das das Modell darin trainiert, Entscheidungen in Kombination mit ehrlichen Wahrscheinlichkeitsschätzungen zu erzeugen. Wenn Jev einen Vertrauenswert von 0,8 ausgibt, bedeutet das implizit, dass bei einer großen Anzahl ähnlicher Antworten etwa 80 Prozent tatsächlich richtig sein werden. Kalibrierung ist hier kein Nebenprodukt – sie ist das eigentliche Ziel des Systems.

Zweitens findet das Sampling parallel statt anstatt sequenziell. Ein typisches Sprachmodell erzeugt Texttoken nach und nach, wobei jedes neue Token von allem abhängt, was zuvor erzeugt wurde. Jev hingegen liefert eine vollständige Antwort in einem einzigen Durchlauf. Das ist der Grund für seine Geschwindigkeit und auch der Grund, warum die Erstellung einer Ausgabe keine zusätzlichen Kosten verursacht – es wird keine lange Abfolge von Tokenen einzeln abgerechnet.

Drittens wird das Ausgabeformat nicht nur empfohlen, sondern ist sogar garantiert. Jev ist physisch darauf beschränkt, Werte aus einer im Voraus festgelegten von Ihnen angegebenen Menge zurückzugeben. Dies ist kein „üblicherweise konformes“ Verhalten – es ist aus Designgründen nicht möglich, etwas außerhalb dieser Menge zurückzugeben. Eine hallucinierte Kategorie ist nicht nur selten, sie wird strukturell aus dem Bereich der möglichen Ausgaben ausgeschlossen. TypeSafe gibt eine Fehlerquote von 0 Prozent für fehlerhafte, strukturierte Ausgaben an, und im Gegensatz zu den meisten Vergleichswerten ist dieser Wert eine direkte Folge der Architektur und nicht etwas, das empirisch gemessen wurde.

Viertens wird die Unsicherheit selbst als echter Ausgabewert behandelt und nicht erst später berücksichtigt. Jede Antwort in Form von Auswahlmöglichkeit oder Score wird zusammen mit einem Vertrauenswert geliefert, der aus der Steilheit des zugrundeliegenden Wahrscheinlichkeitsverteilungsspitzenwerts berechnet wird. Eine flach verteilte Verteilung signalisiert echte Modellunsicherheit. Dadurch kann die Anwendungslogik direkt auf den Vertrauenswert reagieren – automatisch handeln, wenn der Vertrauenswert einen Schwellenwert überschreitet, auf einen Menschen übergehen, wenn er unter einen anderen fällt, und für risikoreichere Aktionen strengere Kriterien festlegen als für solche mit geringem Risiko.

Diese letzte Fähigkeit ist wohl die wertvollste. Fünf Prozent Fehlerquote war in diesen Systemen selten das eigentliche Hindernis. Das wiederkehrende Problem bestand vielmehr darin, nicht erkennen zu können, welche fünf Prozent gemeint sind.

Was die Vergleichszahlen tatsächlich aussagen

Dies ist der Abschnitt, in dem ein gewisser Skeptizismus angebracht ist, da die Marketingmaterialien stark interpretierend wirken und ein Großteil der Online-Berichterstattung einfach nur die oberflächlichen Zahlen wiedergibt, ohne tiefer einzugehen.

TypeSafe führte eigene Vergleichstests in vier Anwendungsfällen durch: Reaktion auf Sicherheitsvorfälle, Überwachbarkeit von Agentenaktivitäten, Rechnungsverarbeitung und Kundenservice – insgesamt rund 711 Testfälle. Anstelle von menschlich überprüften Referenzwerten wurden die Vergleichslösungen durch das Durchschnittswert der Bewertungen von GPT 6 Astra und Claude Fable 5.1 ermittelt.

Gegenüber diesem Referenzset erreichte Jev 67,8 Prozent der Zeit die erwartete Antwort. GPT 5.6 Terra lag mit 67,9 Prozent praktisch auf dem gleichen Niveau – ein Ergebnis, das für TypeSafe auf den ersten Blick hervorragend aussieht.

Aber wenn man weiter unten in der Ergebnistabelle scannt, ändert sich das Bild. GPT 5.6 Sol erreichte eine Genauigkeit von 74,1 Prozent, während Claude Opus 5 bei 73,1 Prozent lag. Bei der speziellen Aufgabe des Rechnungsverarbeitens erzielte Jev 61,8 Prozent gegenüber Sol’s 79,1 Prozent – ein Unterschied von siebzehn Punkten, was keineswegs gering ist, und genau bei dieser Art strukturierter Extraktionsaufgabe, bei der viele potenzielle Nutzer erwarten würden, dass dieses Modell hervorragt.

Dabei dominiert Jev eindeutig in Bezug auf Kosten und Geschwindigkeit. Er kostet etwa 0,0004 Dollar pro Fall mit einer Latenzzeit von 0,4 Sekunden, im Vergleich zu etwa drei Cent und zehn Sekunden bei Terra – ein Unterschied von rund zwei Größenordnungen in beiden Bereichen.

Ehrlich gesagt liegt Jevs Leistung irgendwo in der Mitte zwischen den Genauigkeitsstandards von Frontier-Modellen, kostet dabei ein Viertel bis ein Vierhundertstel so viel und reagiert in Bruchteilen einer Sekunde. Ob dieses Kompromissverhältnis sinnvoll ist, hängt vollständig davon ab, wie teuer es ist, eine einzelne Antwort falsch zu liefern. Bei der Klassifizierung von einer Million Suchanfragen erscheint dieser Kompromiss hervorragend. Bei der automatischen Genehmigung von Rückerstattungen würde man jedoch erwarten, dass das Vertrauensprüfsystem eine echte, aussagekräftige Filterung durchführt.

Zwei Punkte sollten berücksichtigt werden. Es handelt sich dabei um von dem Anbieter selbst gemeldete Zahlen, und es gibt bisher keine unabhängigen, großangelegten Nachprüfungen. Zudem wurden die Referenzantworten von OpenAI- und Anthropic-Modellen erzeugt, wodurch der gesamte Vergleich unauffällig zugunsten einer Übereinstimmung mit diesen beiden Modellfamilien verzerrt ist.

Wo ich es verwenden würde

Betrachten wir die Entwicklung von Funktionen zur Kundenbindung und zum Verkauf von Merchandise für eine E-Commerce-Plattform für Lebensmittel und allgemeine Waren, die in mehreren Golfstaaten tätig ist. So könnte ein solches Team voraussichtlich Jev in seinem Backlog priorisieren.

Das Verstehen von Suchanfragen in großem Umfang würde vermutlich an erster Stelle stehen. Eine Plattform, die mehrere Märkte und Sprachen abdeckt, hat eine enorme Anzahl an Suchanfragen. Aufgaben wie die Klassifizierung der Absichten, die Trennung von Markennamen von Kategorienbegriffen und Attributen sowie das Kennzeichnen von Anfragen, die wahrscheinlich keine Ergebnisse liefern, werden derzeit mit einer Mischung aus im Laufe der Zeit veralteten Regeln sowie gelegentlichen Aufrufen von Large Language Models bewältigt – wobei diese letztgenannten aufgrund der hohen Kosten für die Verarbeitung einer so großen Menge an Anfragen kaum praktikabel sind. Bei etwa 42 Dollar pro Milliarde Eingabetoken wird es finanziell machbar, diese Art der Klassifizierung für jede einzelne Anfrage täglich durchzuführen.

Die Bewertung der Inhaltsqualität ist ein weiterer vielversprechender Ansatz. Jeder Produkteintrag könnte anhand der Klarheit des Titels, von Indikatoren zur Bildqualität sowie der Vollständigkeit der Attribute bewertet werden, wobei die am schlechtesten abschneidenden Einträge an das Katalogteam zur Korrektur weitergeleitet werden. Im Grunde handelt es sich dabei um eine wiederholte Frage vom Typ „Bewertung“, die in einer Skala von Millionen angewendet wird – eine Aufgabe, die traditionell zu teuer ist, um sie mit einem großen Sprachmodell durchzuführen, und zu fein nuanciert, um sie als starre Regeln zu kodieren.

Die Beurteilung der Relevanz für die Optimierung von Suchfunktionen ist ein weiterer Anwendungsfall. Anstatt relevante Daten mit menschlich vergebenen Labels zu erwerben oder ein teures Modell zur Erstellung solcher Daten zu bezahlen, können Abfragen und Produkte in großen Mengen bewertet werden, um ein Offline-Relevanzdatensatz zu erstellen. In Jevs eigener Dokumentation zur Neubewertung von Ergebnissen wird auf einen Anstieg der Genauigkeit der ersten Ergebnisse bei der Suche nach Rechtsdokumenten von 5 Prozent auf 18 Prozent hingewiesen – ein vielversprechendes Zeichen, obwohl dieses Gebiet nur wenig Gemeinsamkeiten mit der E-Commerce-Suche aufweist.

Schließlich sind Schutzmechanismen für bereits vorhandene, von großen Sprachmodellen angetriebene Funktionen eine natürliche Ergänzung. Um Eingaben und Ausgaben solcher konversationalen Funktionen auf Versuche zur Umgehung der Sicherheitsmaßnahmen sowie auf Verstöße gegen Richtlinien zu überprüfen, ist eine schnelle und kostengünstige Prüfung erforderlich, die selbst kein Engpass darstellt – genau das ist auch das Profil von Jev.

Wo ich es nicht verwenden würde

Jede Situation, die eine Erklärung erfordert, ist ausgeschlossen. Jev liefert niemals Begründungen, Punkt. Wenn ein Händler fragt, warum seine Anzeige in der Rangliste nach unten gerutscht ist, befriedigt die Antwort „Das Modell hat 2,1 von 4 Punkten vergeben“ niemanden.

Aufgaben, die eine Kette von Begründungen über abhängige Schritte erfordern, eignen sich ebenfalls nicht. TypeSafe sagt dies ausdrücklich in seiner eigenen Dokumentation: Teilen Sie Ihr Problem in eigenständige Fragen auf oder wenden Sie ein anderes Tool an, da Elemente, die in einer einzigen Anfrage zusammengefasst sind, keine Sicht auf die Antworten der anderen haben.

Wo Präzision wichtiger ist als Durchsatz, sollten Sie vorsichtig sein. Dieser Schwachpunkt bei der Rechnungsverarbeitung ist kein geringfügiger Nachteil – es handelt sich dabei um ein echtes Warnsignal.

Und Sie sollten es nicht an einem Ort einsetzen, an dem Sie es zunächst nicht mit Ihren eigenen Daten überprüfen können. Ein durchschnittlicher Wert von 67,8 Prozent bei vier Vergleichsaufgaben Dritter sagt Ihnen fast nichts darüber aus, wie gut das Modell mit arabischen Produktnamen oder der Klassifizierung von Lebensmitteln auf den Märkten im Golfraum zurechtkommt.

Die größere Idee

Ablösen Sie die Metriken zum Launch-Tag – es gibt eine zugrundeliegende Behauptung, die weiterhin gilt, unabhängig davon, ob Jev in diesem Bereich tatsächlich der Gewinner wird.

Der Text war nie die richtige Schnittstelle zwischen einem Modell und der Software, die mit dessen Ausgabe arbeiten soll. Wir haben ihn schließlich einfach verwendet, weil es das verfügbare Format war, und verbrachten anschließend Jahre damit, Parser, Validatoren, Wiederholungslogik sowie Schema-Prüfer zu entwickeln, um dies auszugleichen. Jede dieser Schichten dient ausschließlich dazu, etwas, das für den menschlichen Leser konzipiert ist, in etwas umzuwandeln, was eine Maschine sicher verarbeiten kann.

Falls der Großteil der KI-Nutzung letztendlich innerhalb von Software-Pipelines stattfindet und nicht über Chat-Schnittstellen – was die wahrscheinliche Entwicklung zu sein scheint – dann sollte das System, das diese Arbeit erledigt, vermutlich von vornherein nicht darauf optimiert sein, lesbare Sätze zu erzeugen. TypeSafe schätzt selbst, dass die Automatisierung in großem Maßstab im Grunde zu etwa 99 Prozent aus Maschine-zu-Maschine-Kommunikation besteht. Die genaue Zahl ist umstritten. Die allgemeine Richtung hingegen lässt sich kaum in Frage stellen.

Jev könnte sich als nicht der geeignete Ansatz herausstellen, um die Branche voranzubringen. Sein Anwendungsbereich ist begrenzt, er ist noch neu, stützt sich auf selbst gemeldete Zahlen und liegt in Bezug auf die reine Genauigkeit hinter den führenden Modellen zurück. Doch er hat es geschafft, eine konkrete, überprüfbare Aussage darüber zu machen, wo genau die Schwachstelle in unseren aktuellen Systemen liegt.

Diese Schwachstelle ist etwas, um das Teams seit dem Einführen künstlicher Intelligenz-basierter Funktionen konstant herumkonstruieren mussten. Es wäre eine willkommene Veränderung, wenn sie endlich verschwinden würde.