Jev: System 1 модели, когда ответ нужен моментально ⚡️🧠
Jev от Typesafe AI: быстрые вероятностные модели для классификации, интерфейсов, игр и поиска.
В Твиттере сейчас творится настоящий сумасшедший дом — все массово тестируют фреймворк Jev и открывают какие-то безумные области применения.
В чём суть: большинство современных LLM работают по принципу System 2 thinking (медленное, глубокое рассуждение). Когда вам нужно просто вытащить статус из текста или классифицировать запрос, традиционная модель начинает по очереди генерировать токены, тратя сотни миллисекунд и выжигая ресурсы.
Ребята из Typesafe AI выкатили Jev — фреймворк для создания и работы с так называемыми System 1 Models («быстрое, интуитивное мышление»).
В чём главный прикол?
- Отказ от генерации текста: Модель вообще не генерирует последовательности слов.
- Ответ вероятностями за один проход: Вместо авторегрессионного цикла генерации токенов модель прогоняет входные данные через нейросеть всего один раз и сразу выдаёт матрицу вероятностей для заранее зафиксированных схем.
- Микросекундная задержка: Так как нет тяжелого цикла генерации, отклик получается практически моментальным (в десятки и сотни раз быстрее стандартного вызова GPT).
- 100% Type-Safety и детерминизм: Результат сразу ложится в строго типизированные структуры без рисков, что модель «поплывет» по синтаксису.
Эта архитектура отлично подходит для задач, где обычные LLM были избыточны или не подходили из-за задержек. Вы вгружаете модели массив данных и задаете критерии, а в ответ моментально получаете вероятности.
Что народ уже успел наворотить в Твиттере:
- Мгновенная классификация и модерация: Фильтрация спама, скама, определение токсичности или тегов. Вгружаете комментарий и пачку критериев — в ответ сразу прилетают вероятности («спам: 99%», «бот: 95%», «негатив: 12%»).
- Управление UI и устройствами: Jev отлично справляется с интерфейсами. Модели не нужно распарсивать весь DOM или читать скриншот через тяжелый Vision — она за 1 проход оценивает вероятности того, какое действие или элемент на экране являются целевыми прямо сейчас.
- Игровой AI на бешеной скорости: Модель уже вовсю гоняют в Snake, Tetris и Flappy Bird. За один проход сеть за миллисекунды выдаёт вероятности для наилучшего следующего шага.
- Ультра-быстрый тулинг и фильтрация: Выборка из данных на естественном языке. Например, условный
jev(people, 'с русскими именами')позволяет почти мгновенно отфильтровать массив объектов без промптинга тяжелой LLM для сборки SQL-запроса. - Вероятностный поиск: Мгновенный поиск по конечному списку. Можно скормить предложение, а модель за микросекунды подберет самый подходящий emoji или категорию.
Сценариев огромное множество, и в ленте каждый час всплывают новые кейсы. Связка быстрых вероятностных моделей System 1 для мгновенных реакций и классических LLM для сложной логики открывает двери в очень интересные архитектурные паттерны. Следим за развитием.