Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: Machine Learning
Jev: Как негенеративная модель ИИ превращает текст в решения
Узнайте, как работает числовая модель ИИ «System One» от Jev, почему она быстрее и дешевле, чем большие языковые модели, и какое место она занимает рядом с генеративными ИИ в производственных системах.
7 мин чтенияКак мультимодальные модели связывают текст, изображения и аудио в одном запросе
Понять, что такое модальность, как мультимодальные модели преобразуют текст, изображения и аудио в общую представление, где это полезно, и где визуальные ответы всё ещё дают ошибки.
5 мин чтенияРекурсивное самосовершенствование в ИИ-агентах: что на самом деле показывают эксперименты
Тщательный анализ машин Гёделя, систем STOP, агентов Гёделя, SICA, машины Гёделя Дарвина, SEAL и гиперагентов, а также способов определения того, действительно ли самомодифицирующийся агент совершенствуется.
9 мин чтенияОбучение собственному судье на основе LLM: от PandaLM и JudgeLM до Prometheus
Как создаются тонко настроенные модели оценщиков, от данных и рубрик до контроля предвзятости и метаоценки, а также практический подход к обучению специализированного судьи на основе LLM.
39 мин чтенияЗаконы масштабирования больших языковых моделей, GPT-4o и метод усиленного обучения: что предсказывают кривые.
Как читать законы масштабирования больших языковых моделей, что обнаружили Каплан и Чинчилья, как лаборатории использовали их от GPT-3 до GPT-4o, и почему метод усиленного обучения добавляет новую ось вычислений.
30 мин чтенияОт GPT-1 до моделей рассуждения: что изменилось с каждым поколением для разработчиков
Проследите эволюцию семейства GPT от предварительной обучаемости в 2018 году до моделей для рассуждений, узнайте, какие идеи были добавлены каждым поколением, а также ознакомьтесь с функциями GPT-4o Vision и Structured Outputs от Python.
10 мин чтенияТокенизатор BPE с нуля: более короткие последовательности для небольшого окна контекста GPT
Напишите токенизатор с кодированием пар байтов на Python, обучите его на WikiText-2, сохраните результаты токенизации в формате JSON и посмотрите, как субсловесная токенизация увеличивает окно контекста GPT.
26 мин чтенияОбъяснение рекуррентной глубины: циклические трансформеры и скрытое обоснование
Как трансформеры с повторяющейся глубиной (с циклами) принимают решения на основе скрытого состояния, почему лаборатории их используют, что показывают восемь лет научных статей, и какое это имеет значение для локального ИИ и надзора.
12 мин чтенияОтладка небольшой версии GPT в PyTorch: тесты, позволяющие выявить каждую причину сбоя.
Пошаговый процесс работы для отладки GPT на уровне символов в PyTorch, начиная с идентификаторов токенов и смещения целей до градиентов, значений NaN в функциях потерь и точек контроля.
30 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.