Whisper small: эффект hotwords

Без подсказок
агенту, но в этой ситуации вы, конечно, уже агенту будете формулировать не тикет, и да вот, тикет иди и сделай,

Hotwords — исходный сегмент модели
пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью пейплайн-код-ревью

Без подсказок
Есть у нее практически независимые части. Одна часть смотрит на факторы пользователя и вычисляет некоторый вектор имбендинг пользователя. Другая часть вычисляет имбендинг документа. Они друг другом никак не связаны. И в самый последний момент эти векторы перемножаются и получают итоговый скор. Почему я вам бекендером показываю архитуру нейросети? потому что если бы это был просто черный ящик, то вам нужно было бы для каждой пары пользовать документ, запускать офигенно тяжелую нейросетку, и это было бы просто очень

Hotwords — исходный сегмент модели
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1

Без подсказок
Понятно, что очень тяжело поддерживать систему, которая может работать секунды, а может работать часы. И, конечно, в такой случае надо думать про надежность. Надо рассматривать сценарий, когда у вас проволочие степи соединения. Вам нужно откатиться назад, попробовать снова. Вам нужно мне засавиться, подняться с чекпоинта, снова продолжить выполнение. И при этом, если у вас есть побочные эффекты какие -то в процессе, нужно их не повторить. то есть надо подумать про идем -пантентность. Конечно, если мы говорим про выполнение коды, надо уметь поднимать какие -то изолированные среды и в них выполнять этот код. И отдельная интересная часть это стриминг. Вы как пользователь,

Hotwords — исходный сегмент модели
код-ревью пайплайны скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы скиллы

Без подсказок
Уверен, что большинство из вас код уже руками не пишет и отличает наверняка вайп -кодинку от агентной разработки. Как раз про некоторые интересные и сложные тренды агентной

Hotwords

Без подсказок
Вообще -то тоже нужна некоторая приемка, да, нужны какие -то выборки типичных полуреквестов. На этих полуреквестах нужно запустить предыдущую версию, новую версию. как -то и сравнить. Вообще

Hotwords
вообще то тоже нужна некоторая приёмка да нужна какие -то выборки типичных pull requests на этих pull request

Без подсказок
вроде бы более простых тестов, но я имею в виду юниты, какие -то функциональные, потому что в модной репозитории все сервисы быстро обрастают с лишними зависимостьями и по этим зависимости он притягивается сильно

Hotwords
вроде бы более простых тестов но я имею в виду юниты какие -то функциональные потому что в монорепозитории все сервисы быстро обрастают лишними зависимостьями и по этим зависимостьям протягивается

Без подсказок
есть действительно файлы, у которых слишком много зависимости, например, какие -то базовые протобов схемы, и в этом случае нужно уметь умно понимать, какие

Hotwords
есть действительно файлы у которых слишком много зависимости например какие -то базовые протобов схемы и в этом случае нужно уметь умно понимать какие

Без подсказок
целевую, которую нужно ему оптимизировать, давать ему бейнчмарк, и чтобы он дальше погибел какие -то гипотезы, на бейнчмарке попроверял, насколько они выстреляли,

Hotwords
целевую, которую нужно ему оптимизировать, давать ему бенчмарк, и чтобы он дальше погибел какие -то гипотезы, на бенчмарке попроверял, насколько они выстрели, и

Без подсказок
популяризовали тоже разные компании. Например, Shippify, как раз в контексте оптимизации сяи -пайплайнов, про авторы все еще рассказывал. Мы у себя

Hotwords
популяризовали тоже разные компании, например, Shippify, как раз в контексте оптимизации CI -пайплайнов про авторесёрч рассказывал мы у себя

Без подсказок
популяризовали тоже разные компании. Например, Shippify, как раз в контексте оптимизации сяи -пайплайнов, про авторы все еще рассказывал. Мы у себя

Hotwords
популяризовали тоже разные компании, например, Shippify, как раз в контексте оптимизации CI -пайплайнов про авторесёрч рассказывал мы у себя

Без подсказок
подхватили и популяризовали тоже разные компании. Например, Shippify, как раз в контексте оптимизации сяи -пайплайнов, про авторы все еще рассказывал. Мы у себя тоже его применяем и

Hotwords
подхватили и популяризовали тоже разные компании, например, Shippify, как раз в контексте оптимизации CI -пайплайнов про авторесёрч рассказывал мы у себя тоже его применяем и

Без подсказок
флеймграфах по всей компании. Вот мы рассказываем про перфоратор периодически. перфоратами помогает понять по всей компании, какие функции чаще его используются. Такие

Hotwords
флеймграфах по всей компании. Вот мы рассказываем про перфоратор, периодически перфораторам помогает понять по всей компании, какие функции чаще его используются.

Без подсказок
Самые простые рекомендательные модели, которые наверняка вы в своих системах использовали, это грязненный boosting. Наверняка слышали про MatrixNet или CatBoost. И эти

Hotwords
простые рекомендательные модели которые наверняка вы в своих системах использовали это градиентный бустинг наверняка MatrixNet CatBoost и эти

Без подсказок
факторы пользователя и вычисляет некоторый вектор имбендинг пользователя. Другая часть вычисляет имбендинг документа. Они друг другом никак не связаны.

Hotwords
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.

Без подсказок
не слишком большой размер, и перемножить. Это уже операция, которая легко оптимизируется, бочуется и так далее. Ну вот, видите, бакендером здесь пришлось это учитывать. Ну ладно, это как бы уже пять

Hotwords
не слишком большой размер и перемножить это уже операция которая легко оптимизируется бочуется и так далее ну вот ведь бакондером здесь пришлось это учитывать ну ладно это как бы уже пять

Без подсказок
attention для этой самой истории вычисляет keys и values, k av, и соответственно, если вы хотите что -то закрешировать, то именно k av вам нужно закрешировать, поэтому есть термин k v к шип, про который вы тоже возможно слышали, и в контексте искрых

Hotwords
attention для этой и самая история вычисляет keys и values KV и соответственно если вы хотите что -то закрешировать то именно KV вам нужно закрешировать поэтому есть термин KV -cache про который вы тоже возможно слышали и в контексте изкрылых

Без подсказок
модели. Еще один тренд в рекомендациях неожиданно связан с моделитизацией. Кто из вас хоть

Hotwords
модели еще один тренд в рекомендациях неожиданно связан с монолитизацией кто из вас хоть

Без подсказок
У вас сервисы становятся меньше, энтерапия уменьшается, Realism уже катать чаще, Tiny to Market Fish улучшается, с одной стороны, с другой стороны, контекст, который надо понимать в контексте каждой фичи, контекст каждого сервиса тоже уменьшается, соответственно, разработчику прочую новому погружаться, и агенту

Hotwords
у вас сервисы становятся меньше энтерапии уменьшается ризы можно катать чаще time -to -market фич улучшается с одной стороны с другой стороны контекст с которые надо понимать в контексте каждой фичи контекста каждого сервиса тоже уменьшается соответственно разработчику прочую новому погружаться и агенту

Без подсказок
у меня год назад был проект доклад на этой конференции, если вы не слишком много CPU потеряете на передаче данных между микросервисами, на силизацию запросов, десилизацию ответов, тогда вы можете еще и CPU сэкономить

Hotwords
меня год назад был проект доклад на этой конференции если вы не слишком много CPU потеряете на передачу данных между микросервисами на силизацию запросов десериализацию ответов тогда вы можете еще и CPU сэкономить

Без подсказок
у меня год назад был проект доклад на этой конференции, если вы не слишком много CPU потеряете на передаче данных между микросервисами, на силизацию запросов, десилизацию ответов, тогда вы можете еще и CPU сэкономить

Hotwords
меня год назад был проект доклад на этой конференции если вы не слишком много CPU потеряете на передачу данных между микросервисами на силизацию запросов десериализацию ответов тогда вы можете еще и CPU сэкономить

Без подсказок
Но в контексте рекомендательных систем, а конкретно в контексте кандидата генерации, это стадия, после которой выплевываются

Hotwords
Но в контексте рекомендательных систем, а конкретно в контексте кандидата генерации, это стадия, после которой поплевываются

Без подсказок
поиск ближайших соседей в том самом пространстве векторов имбендингов с предыдущего слайда, фильтрацию этих кандидатов переранжирования

Hotwords
поиск ближайших соседей в том самом пространстве векторов эмбендингов с предыдущего слайда фильтрацию эти кандидатов переранжирование

Без подсказок
-Pytorch -модулем. Фильтрация теперь стала делаться не инвертирными индексами, как все привыкли делать, а Bloom -индексом, GPU -friendly, буквально набором Bloom -фильтров. В итоге

Hotwords
PyTorch модулем фильтрация теперь стала делаться не инвертирными индексами, как все привыкли делать, а Bloom индексом GPU -friendly, буквально набором Bloom фильтров. В итоге

Без подсказок
инженен может оптимизировать как цельный граф между стадиями. И, во -вторых, GPU -компилятор может вьюзить некоторая операция и уменьшать перекладывание промежурочных тензоров.

Hotwords
может оптимизировать как цельный граф между стадиями, и, во -вторых, GPU -компилятор может фьюзить некоторая операция и уменьшать перекладывание промежурочных тензеров.

Без подсказок
и он же вот произойдет между несколькими статями, конечно, имеет смысл от все побандлить и объединить в один пайторч -граф, например.

Hotwords
и он же вот произойдет между несколькими статями конечно имеет смысл все побандлить и объединить в один PyTorch Graph например так,

Без подсказок
и ассистенты так и выглядели. Там сложность была только в том, чтобы эффективный интервью с этой большой нейросети выполнить, но там KVK -ши может какие -то сохранить. Тем не менее,

Hotwords
буквально, и ассистенты так и выглядели там сложность была только в том, чтобы эффективный инференс этой большой нейросети выполнить но там KV -cache может какие -то сохранить тем не менее,

Без подсказок
эффективный интервью с этой большой нейросети выполнить, но там KVK -ши может какие -то сохранить. Тем не менее, пока вроде бы легко,

Hotwords
эффективный инференс этой большой нейросети выполнить но там KV -cache может какие -то сохранить тем не менее, пока вроде бы легко

Без подсказок
быть роутер в этой схеме, может его не быть, может быть ЛНК будет сама решать, что ей надо сейчас вызвать какие -то тулы, а потом еще какие -то тулы вызвать, а потом вызвать другую ЛНК, которая хорошо обрабатывает другой сценарий. Получается, какой -то граф,

Hotwords
быть роутер в этой схее может его не быть может быть ллмка будет сама решать что ей надо сейчас вызвать какие -то тулы а потом еще какие -то тулы вызвать а потом вызвать другую ллмку которая хорошо обрабатывает другой сценарий получается какой -то граф

Без подсказок
этом, если у вас есть побочные эффекты какие -то в процессе, нужно их не повторить. то есть надо подумать про идем -пантентность. Конечно, если мы говорим про выполнение коды, надо уметь поднимать

Hotwords
скиллы

Без подсказок
одной стороны, с другой стороны, когда есть некоторый архистратор, который понимает, что надо вызвать такой -то тул с такими -то аргументами, то же, чем раньше он про это узнал, из ответа не

Hotwords
одной стороны с другой стороны когда есть некоторый оркестратор который понимаешь ясно надо надо вызвать такой титул с такими аргументами тоже чем раньше он про это узнал из ответа

Без подсказок
Ну и понятно, надо следить за эффективностью всей этой системы, как -то умно балансировать, нужно какой -то обзеврабилить слой, чтобы смотреть на тресы и дебазжить, что там

Hotwords
и понятно надо следить за эффективностью все это системы как -то умно балансировать нужно какой -то обзевробилить слой чтобы смотреть на трейсы и дебажить что там

Без подсказок
какой -то обзеврабилить слой, чтобы смотреть на тресы и дебазжить, что там происходило. Короче, да вы не фоткайте там сейчас это

Hotwords
какой -то обзевробилить слой чтобы смотреть на трейсы и дебажить что там происходило короче вы не фоткаете там сейчас доклад про это

Без подсказок
какой -то обзеврабилить слой, чтобы смотреть на тресы и дебазжить, что там происходило. Короче, да вы не фоткайте там сейчас это

Hotwords
какой -то обзевробилить слой чтобы смотреть на трейсы и дебажить что там происходило короче вы не фоткаете там сейчас доклад про это

Без подсказок
в продакшене, другое дело, когда изоляция, ну и вот все эти внешние интеграции, какие -то дерганье опишек, когда они

Hotwords
в продакшене другой делал когда изоляция ну и вот все эти внешние интеграции какие -то дёрганье опишек когда они

Без подсказок
интеграции, какие -то дерганье опишек, когда они возникают в тестах. Никто не любит делать эндогрессонные тесты, Но если кто -то любит, поднимите руку, и интересно станет познакомиться.

Hotwords
интеграции какие -то дёрганье опишек когда они возникают в тестах никто не любит делать эндогрессионные тесты но если кто -то любит поднимите руку интересно с вами познакомиться

Без подсказок
обучается сложная модель с агентным поведением, там есть очень важная стадия обучения с подкреплением, Resports with learning. И в процессе такого обучения нужно

Hotwords
обучается сложная модель с агентным поведением там есть очень важная стадия обучения с подкреплением reinforcement learning и в процессе такого обучения нужно

Без подсказок
Кто бы мне 5 лет назад сказал, что нужно уже бы с таким салейом поднимать изолированный контейнер, я бы не поверил, я сказал, зачем тут нужно вообще.

Hotwords
кто бы мне 5 лет назад сказал, что нужно с таким SLA поднимать изолированный контейнер я бы не поверил, я бы не поверил, зачем это нужно вообще

Без подсказок
Короче, вообще -то нетривельная бэкэнтерская задача, но это подход обычно называется эвалы, вот из ML мира термин,

Hotwords
не тривельно бек -энтерская задача подход называется эвалы из MLMirror Termin

Без подсказок
помощью агентов. Да, и вы собираете такой пайплайн агентного код -ревью. У вас там есть некоторые базовые модель, какие -то скилы, какие

Hotwords
помощью агентов да и вы собираете такой пайплайн агентного код -ревью у вас там есть некоторые базовая модель какие -то скилы какие

Без подсказок
тесты полагаются в значительной степени, соответственно, если тесты флапают, то агент примет какое -то совершенно неприсказуемое решения. Поэтому

Hotwords
тесты полагается в значительной степени соответственно если тест флапают то агент примет какое -то совершенно неприсказуемые решения поэтому

Без подсказок
-то существующую библиотечную функцию, которая светится на флеймграфах по всей компании. Вот мы рассказываем про перфоратор периодически.

Hotwords
-то существующую библиотечную функцию, которая светится на флеймграфах по всей компании. Вот мы рассказываем про перфоратор, периодически

Без подсказок
вы в своих системах использовали, это грязненный boosting. Наверняка слышали про MatrixNet или CatBoost. И эти

Hotwords
вы в своих системах использовали это градиентный бустинг наверняка MatrixNet CatBoost и эти

Без подсказок
вы в своих системах использовали, это грязненный boosting. Наверняка слышали про MatrixNet или CatBoost. И эти

Hotwords
вы в своих системах использовали это градиентный бустинг наверняка MatrixNet CatBoost и эти

Без подсказок
нейросети и в частности очень популярные в рекомендательных моделях двухбашенные нейросети. История такая, вот

Hotwords
нейросети и в частности очень популярные в рекомендательных моделях двухбашенные нейросети история такая вот

Без подсказок
там с этой историей происходит. Один из ключевых элементов трансформера это attention, внимание, еще сегодня про это поговорим, и attention для этой самой истории вычисляет keys и values, k av,

Hotwords
с этой историей происходит один из ключевых элементов трансформера это attention внимание еще сегодня предпоговорим и attention для этой и самая история вычисляет keys и values KV

Без подсказок
attention для этой самой истории вычисляет keys и values, k av, и соответственно, если вы хотите что -то закрешировать, то именно k av вам нужно закрешировать,

Hotwords
attention для этой и самая история вычисляет keys и values KV и соответственно если вы хотите что -то закрешировать то именно KV вам нужно закрешировать

Без подсказок
attention для этой самой истории вычисляет keys и values, k av, и соответственно, если вы хотите что -то закрешировать, то именно k av вам нужно закрешировать,

Hotwords
attention для этой и самая история вычисляет keys и values KV и соответственно если вы хотите что -то закрешировать то именно KV вам нужно закрешировать

Без подсказок
тренд, а именно инженеры из одного экстренистского объектеХ, в своей статье SilverTorch, описали, как они

Hotwords
тренд, а именно инженеры из одного экстренистского объектеха в своей статье SilverTorch описали, как они

Без подсказок
все переписали на GPU. ANN -поиск стал буквально GPU -native -Pytorch -модулем. Фильтрация теперь стала делаться не инвертирными

Hotwords
все переписали на GPU ANN поиск стал буквально GPU -native PyTorch модулем фильтрация теперь стала делаться не инвертирными

Без подсказок
все переписали на GPU. ANN -поиск стал буквально GPU -native -Pytorch -модулем. Фильтрация теперь стала делаться не инвертирными

Hotwords
все переписали на GPU ANN поиск стал буквально GPU -native PyTorch модулем фильтрация теперь стала делаться не инвертирными

Без подсказок
теперь стала делаться не инвертирными индексами, как все привыкли делать, а Bloom -индексом, GPU -friendly, буквально набором Bloom -фильтров.

Hotwords
теперь стала делаться не инвертирными индексами, как все привыкли делать, а Bloom индексом GPU -friendly, буквально набором Bloom фильтров.

Без подсказок
как все привыкли делать, а Bloom -индексом, GPU -friendly, буквально набором Bloom -фильтров. В итоге получился PyTorch -граф,

Hotwords
как все привыкли делать, а Bloom индексом GPU -friendly, буквально набором Bloom фильтров. В итоге получился PyTorch Graph, который,

Без подсказок
откатиться назад, попробовать снова. Вам нужно мне засавиться, подняться с чекпоинта, снова продолжить выполнение. И при этом, если у вас есть побочные

Hotwords

Без подсказок
правду. Потому что моки нужны какие -то, какие -то тестовые стенды. В общем, неприятно.

Hotwords
правду и потому что моки нужны какие -то какие -то тестовые стенды ну в общем неприятно

Без подсказок
И по итогу вычитается некоторый реворд, как бы модель выдается наград или не выдается, и он обратно подается в процесс

Hotwords
и по итогу вычитается некоторый реворд как бы модель выдаются награды или не выдаётся и он обратно подаётся в процесс