Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: multilingual
Многоязычный помощник для студентов, который отвечает только по проверенным данным
Ассистент поддержки студентов на Gemini с оценкой релевантности при поиске и ссылками на источники на английском, тамильском и сингальском, а также о том, как он отказывается выдумывать недостающие ответы.
1591 словЧитатьТокенизация — это решение системного дизайна, а не этап предобработки
Как байтовый BPE строит словарь, который видит LLM, почему число токенов зависит от языка, какие сбои это вызывает и что измерить, прежде чем винить модель.
2081 словЧитатьПочему индийские языки стоят больше токенов в LLM и как чинят токенизаторы
Одно и то же предложение занимает 5 токенов на английском и 34 на тамильском. Как к этому приводят обучающие данные BPE, что меняют перебалансировка и размер словаря и как работает расширение словаря.
1932 словЧитать
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.