Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: Machine Learning
Jev: Wie ein nicht-generatives KI-Modell Text in Entscheidungen umwandelt
Erfahren Sie, wie Jevs numerisches „System One“-KI-Modell funktioniert, warum es schneller und günstiger ist als LLMs sowie wo es in Produktionssystemen neben generativer KI eine Rolle spielt.
7 Min. LesezeitWie multimodale Modelle Text, Bilder und Audio in einer Anfrage miteinander verknüpfen
Verstehen Sie, was eine Modality ist, wie multimodale Modelle Texte, Bilder und Audio in eine gemeinsame Repräsentation umwandeln, wo das hilft und wo visuelle Antworten dennoch fehlerhaft sind.
5 Min. LesezeitRekursive Selbstverbesserung bei KI-Agenten: Was die Experimente tatsächlich zeigen
Ein genaues Hinsehen auf Gödel-Maschinen, STOP, Gödel-Agenten, SICA, die Darwin-Gödel-Maschine, SEAL und Hyperagenten sowie darauf, wie man beurteilen kann, ob ein selbstmodifizierender Agent tatsächlich verbessert.
9 Min. LesezeitDas Training Ihres eigenen LLM-Bewerters: Von PandaLM und JudgeLM bis hin zu Prometheus
Wie feintuningsfähige Bewertungsmodelle erstellt werden – von Daten und Bewertungskriterien über Bias-Kontrolle bis hin zur Meta-Bewertung – sowie ein praktischer Leitfaden für das Trainieren eines domänenspezifischen LLM-Bewerters.
39 Min. LesezeitSkalierungsgesetze von LLMs, GPT-4o und Verstärkungslernen: Was die Kurven vorhersagen.
Wie man die Skalierungsgesetze von LLMs liest, was Kaplan und Chinchilla entdeckt haben, wie Labore sie von GPT-3 bis GPT-4o einsetzten und warum das Verstärkungslernen eine neue Rechenachse hinzufügt.
30 Min. LesezeitVon GPT-1 zu Reasoning-Modellen: Was jede Generation für Entwickler verändert hat
Verfolgen Sie die Entwicklung der GPT-Familie vom Vortraining im Jahr 2018 bis zu den Reasoning-Modellen, erkennen Sie, welche Ideen jede Generation hinzugefügt hat, und bezeichnen Sie GPT-4o Vision sowie Structured Outputs von Python.
10 Min. LesezeitBPE-Tokenisierer von Grund auf: Kürzere Sequenzen für ein kleines Kontextfenster von GPT
Schreiben Sie einen Byte-Pair-Encoding-Tokenizer in Python, trainieren Sie ihn mit WikiText-2, speichern Sie die Ergebnisse als JSON und beobachten Sie, wie die Subwort-Tokenisierung das Kontextfenster eines GPT erweitert.
26 Min. LesezeitErklärung zur rekurrenten Tiefe: Schleifenbasierte Transformer und verstecktes Reasoning
Wie rekurrent-tiefe (geschlossene) Transformer im versteckten Zustand reasoning betreiben, warum die Labore sie wollen, was acht Jahre an wissenschaftlichen Arbeiten zeigen und was dies für lokale KI-Systeme sowie die Überwachung bedeutet.
12 Min. LesezeitFehlersuche bei einem kleinen GPT in PyTorch: Tests, die jeden Fehler isolieren.
Ein schrittweiser Arbeitsablauf zur Fehlersuche bei einem GPT auf Zeichenebene in PyTorch, von Token-IDs und Zielverschiebungen bis hin zu Gradienten, NaN-Verlusten und Checkpoints.
30 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.