1
00:00:04,880 --> 00:00:09,060
всем привет рад всех видеть меня зовут
Антон я представляю здесь не только

2
00:00:09,060 --> 00:00:13,620
яндекс рекламу но и программ на комитет
конференции хочу поделиться с вами своим

3
00:00:13,620 --> 00:00:17,940
видением того как вообще в связи с
востремителем развития искусства
интеллекта

4
00:00:17,940 --> 00:00:22,680
сейчас меняется бекент разработка и лично
меня здесь впечатляет не только то как

5
00:00:22,680 --> 00:00:26,520
меняется наша профессия как мы буквально
код пишем но и то как меняется

6
00:00:26,520 --> 00:00:31,400
архитектура самих систем благодаря
развитию нейросетей и то какие буквально

7
00:00:31,400 --> 00:00:32,540
новые классы задач

8
00:00:51,340 --> 00:00:54,140
код -ревью

9
00:00:54,140 --> 00:01:00,120
пайплайны вот

10
00:01:00,120 --> 00:01:05,440
например хочется ревьюить код тоже с
помощью агентов да и вы собираете такой

11
00:01:05,440 --> 00:01:08,500
пайплайн агентного код -ревью у вас там
есть некоторые базовая модель какие -то

12
00:01:08,500 --> 00:01:12,920
скилы какие -то критики а что если вы
захотите поменять базовую модель на какую

13
00:01:12,920 --> 00:01:16,820
-то более продвинутую или если вы захотите
добавить код нового критика как и в

14
00:01:16,820 --> 00:01:21,380
моменте стало лучше или хуже вообще то
тоже нужна некоторая приёмка да нужна

15
00:01:21,380 --> 00:01:25,820
какие -то выборки типичных pull requests
на этих pull request

16
00:01:30,620 --> 00:01:36,320
агент не подглядывали друг другу и во
внешний мир не тривельно бек -энтерская

17
00:01:36,320 --> 00:01:41,660
задача подход называется эвалы из MLMirror
Termin и в

18
00:01:41,660 --> 00:01:46,300
больших командах, больших пайплайнах это
все очень актуально иначе просто

19
00:01:46,300 --> 00:01:48,740
непонятно как полагаться на то, что агенты
вам говорят

20
00:01:49,820 --> 00:01:55,620
мы начали говорить про тесты и сами по
себе тесты становятся очень важны на них

21
00:01:55,620 --> 00:01:59,900
просто давление возрастает не только
физическое но и психологическое что ли

22
00:01:59,900 --> 00:02:05,420
потому что pull request становится больше
я уверен что ну команды которые очень

23
00:02:05,420 --> 00:02:10,240
активный агент используют это все
наблюдают у себя очень ярко вообще -то
сами

24
00:02:10,240 --> 00:02:15,940
тесты становятся больше на критическом
пути потому что код теперь писать проще и

25
00:02:15,940 --> 00:02:19,460
быстрее ну и агенты сами на тесты
полагается в значительной степени

26
00:02:19,460 --> 00:02:22,940
соответственно если тест флапают то агент
примет какое -то совершенно

27
00:02:22,940 --> 00:02:28,240
неприсказуемые решения поэтому нужно тесты
делать быстрыми стабильными

28
00:02:28,240 --> 00:02:32,400
нужно уметь хорошо масштабировать по
железу по железу вашей

29
00:02:32,400 --> 00:02:37,360
инфраструктуру ну и вообще так как
следствие вообще говоря оптимизируй всю

30
00:02:37,360 --> 00:02:41,800
среженную нагрузку и делать автоприёмку и
это само по себе отдельно интересная

31
00:02:41,800 --> 00:02:46,560
задача которую раньше в таком масштабе не
стояла мы вот у себя тоже цели на флаг

32
00:02:46,560 --> 00:02:51,080
взяли и обнаружили внезапно что те тесты
которые раньше были супер долгими

33
00:02:51,080 --> 00:02:55,120
сложными когда вы знаете вот прям в
заливном окружении поднимается практически

34
00:02:55,120 --> 00:03:00,100
интеграционный тест на слепке production
-базы обстреливается слепком production

35
00:03:00,100 --> 00:03:01,020
-запросов

36
00:03:01,860 --> 00:03:07,820
классный но тяжелый тест эти тесты
оказались сейчас уже быстрее чем вот

37
00:03:07,820 --> 00:03:12,580
весь слепок вроде бы более простых тестов
но я имею в виду юниты какие -то

38
00:03:12,580 --> 00:03:17,640
функциональные потому что в
монорепозитории все сервисы быстро
обрастают лишними

39
00:03:17,640 --> 00:03:20,820
зависимостьями и по этим зависимостьям
протягивается сильно больше тестов чем

40
00:03:20,820 --> 00:03:24,040
хотелось бы и с одной стороны получается
первую очередь надо эти зависимости

41
00:03:24,040 --> 00:03:28,780
поспиливать с другой стороны есть
действительно файлы у которых слишком
много

42
00:03:28,780 --> 00:03:32,300
зависимости например какие -то базовые
протобов схемы и в этом случае нужно

43
00:03:32,300 --> 00:03:36,060
уметь умно понимать какие тесты запустить
они просто вот все подряд которые

44
00:03:36,060 --> 00:03:40,020
вроде бы формально от этого файла зависит
и это ну вообще -то непростая

45
00:03:40,020 --> 00:03:42,700
баконьдерская задача не всем конечно

46
00:03:53,900 --> 00:03:54,420
пейплайн -код -ревью пейплайн -код -ревью
пейплайн -код -ревью пейплайн -код

47
00:03:54,420 --> 00:03:54,520
-ревью пейплайн -код -ревью пейплайн -код
-ревью пейплайн -код -ревью пейплайн

48
00:03:54,520 --> 00:03:58,240
-код -ревью пейплайн -код -ревью пейплайн
-код -ревью пейплайн -код -ревью пейплайн
-код -ревью пейплайн -код -ревью пейплайн
-код -ревью пейплайн -код -ревью пейплайн
-код -ревью пейплайн -код -ревью тикет и
дей сделай, а вы будете

49
00:03:58,240 --> 00:04:01,580
давать ему метрику целевую, которую нужно
ему оптимизировать, давать ему

50
00:04:01,580 --> 00:04:06,620
бенчмарк, и чтобы он дальше погибел какие
-то гипотезы, на бенчмарке попроверял,

51
00:04:06,680 --> 00:04:12,200
насколько они выстрели, и за несколько
раций, не знаю, на выходные можно его

52
00:04:12,200 --> 00:04:14,220
оставить, в понтелеку там прийти,
посмотреть, что получилось.

53
00:04:15,020 --> 00:04:18,000
Здесь тоже есть, конечно, подстава, но
этот подход вообще изначально был описан

54
00:04:18,000 --> 00:04:22,680
корпатом в контексте обучения LLM, потом
его подхватили и популяризовали тоже

55
00:04:22,680 --> 00:04:25,640
разные компании, например, Shippify, как
раз в контексте оптимизации CI

56
00:04:25,640 --> 00:04:30,780
-пайплайнов про авторесёрч рассказывал мы
у себя тоже его применяем и

57
00:04:31,400 --> 00:04:33,320
столкнулись с интересным эффектом

58
00:04:34,220 --> 00:04:37,780
очень велико соблазнно взять какую -то
существующую библиотечную функцию,

59
00:04:37,820 --> 00:04:41,000
которая светится на флеймграфах по всей
компании. Вот мы рассказываем про

60
00:04:41,000 --> 00:04:44,360
перфоратор, периодически перфораторам
помогает понять по всей компании, какие

61
00:04:44,360 --> 00:04:48,060
функции чаще его используются. Такие
функции берешь. Видишь, ага, бенчмарк там

62
00:04:48,060 --> 00:04:52,180
10 лет назад написан давайте -ка агенту
скормим и скажем по оптимизируем

63
00:04:52,180 --> 00:04:55,320
посмотрим что получится к сожалению эти
бенчмарки часто оказываются

64
00:04:55,320 --> 00:04:59,600
нелепрезентативны агенты эти бенчмарки
хакуют и бенчмарки проходятся лучше а в

65
00:04:59,600 --> 00:05:03,160
продакшене в итоге получается фигня какой
-то эффект есть но не такой большой

66
00:05:03,160 --> 00:05:07,860
как хотелось бы бенчмарки супер важны и
вот как раз вспоминая предыдущий слайд

67
00:05:07,860 --> 00:05:12,020
когда я говорил про сложный тст слепок
продавшем база слепок запрос вот на таких

68
00:05:12,020 --> 00:05:16,160
нагрузочных тестах как раз хорошо строить
такие агентные циклы мы таким образом

69
00:05:16,160 --> 00:05:17,820
уже несколько тысяч CPU сэкономили

70
00:05:18,840 --> 00:05:23,560
классная тема только с бенчмарками нас
запарит ну ладно я вообще -то не хотел

71
00:05:23,560 --> 00:05:26,420
слишком много говорить про агентную
разработку у нас всякие конкуренции не

72
00:05:26,420 --> 00:05:31,720
совсем про это на примере рекомендательных
систем расскажу немного о том как

73
00:05:31,720 --> 00:05:36,840
меняется сама архитектура таких систем
вообще рекомендательные модели довольно

74
00:05:36,840 --> 00:05:40,400
давно развиваются поэтому чуть -чуть по
истории пройдусь самые простые

75
00:05:40,400 --> 00:05:43,960
рекомендательные модели которые наверняка
вы в своих системах использовали это

76
00:05:43,960 --> 00:05:45,260
градиентный бустинг наверняка

77
00:05:46,080 --> 00:05:50,980
MatrixNet CatBoost и эти модели с которыми
супер легко работать я даже обучал

78
00:05:50,980 --> 00:05:55,040
такие и сам собственно даже переписывал
библиотеку, по -моему, которые с ними

79
00:05:55,040 --> 00:05:55,640
работают

80
00:05:56,460 --> 00:06:00,440
берете вычелие эти факторы, которые нужно
подставить берете библиотечную функцию

81
00:06:00,440 --> 00:06:03,160
и берете туда это самое буквально binary
file

82
00:06:04,020 --> 00:06:07,280
запускаете, получаете скор, скор перейте
вранжирование, всё ни о чём думать не

83
00:06:07,280 --> 00:06:11,960
нужно, красота дальше модели активно
развивались, появились нейросети и в

84
00:06:11,960 --> 00:06:15,620
частности очень популярные в
рекомендательных моделях двухбашенные
нейросети

85
00:06:16,720 --> 00:06:21,720
история такая вот у вас есть допустим
пользователь и документ и вы хотите

86
00:06:21,720 --> 00:06:25,260
оценить вероятность например с какой
вероятностью этому пользователя документ

87
00:06:25,260 --> 00:06:28,280
полезен или есть пользователь и товар с
какой вероятностью это пользователь

88
00:06:28,280 --> 00:06:31,260
товар купит ну опять же какой -то скорый
для некоторых ранжирований нужно

89
00:06:31,260 --> 00:06:36,400
почитать как -то делается в случае
двухбашной нейросети есть у нее
практически

90
00:06:36,400 --> 00:06:39,000
независимые части 1. 1. 1. 1. 1.

91
00:06:40,000 --> 00:06:40,440
1.

92
00:06:41,360 --> 00:06:41,820
1. 1. 1. 1.

93
00:06:44,540 --> 00:06:46,340
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.

94
00:06:46,340 --> 00:06:47,360
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.

95
00:06:47,360 --> 00:06:49,040
1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
1. 1. 1. 1. 1. 1.

96
00:07:01,720 --> 00:07:06,380
1 фигенно тяжелую нейросетку это было бы
просто очень долго ни в какие сотни

97
00:07:06,380 --> 00:07:09,900
миллисекунд это не пролезет а когда у нее
такая архитектура можно запустить

98
00:07:09,900 --> 00:07:15,560
верхнюю часть первую башню один раз на
запрос вторую часть запустить буквально

99
00:07:15,560 --> 00:07:20,640
при обновлении базы один раз на документ и
в самый в самый тяжелый момент в

100
00:07:20,640 --> 00:07:24,240
самой критической секции просто эти
векторы не слишком большой размер и

101
00:07:24,240 --> 00:07:27,420
перемножить это уже операция которая легко
оптимизируется бочуется и так далее

102
00:07:27,420 --> 00:07:33,040
ну вот ведь бакондером здесь пришлось это
учитывать ну ладно это как бы уже пять

103
00:07:33,040 --> 00:07:37,940
лет назад этим было никого не удивитель
что же происходит сейчас сейчас большие

104
00:07:37,940 --> 00:07:41,880
языковые модели часто построены на
архитектуре трансформеров и умеют хорошо

105
00:07:41,880 --> 00:07:45,120
работать с последовательностью объектов ну
вы знаете про токены да последствий

106
00:07:45,120 --> 00:07:48,460
токенов они работают и у меня частности
присказывает следующий токен где же это

107
00:07:48,460 --> 00:07:52,580
полезно в рекомендациях давайте представим
пользователя не как набор численных

108
00:07:52,580 --> 00:07:57,380
факторов а как набор действий который он
совершал вот он что -то поискал куда

109
00:07:57,380 --> 00:08:00,680
-то кликнул с каким -то еще объектом как
-то повзаимодействовал вопрос пророс

110
00:08:00,680 --> 00:08:05,380
нейросети а что же он сделает дальше ну
вот так и получается рекомендации в

111
00:08:05,380 --> 00:08:10,440
такой архитектуре нейросетей но опять же
хочется это делать эффективно при этом

112
00:08:10,440 --> 00:08:14,520
запуская нейросеть несколько несколько раз
на одно и той же довольно длинной

113
00:08:14,520 --> 00:08:17,860
истории пользователя соответственно
придется погрузиться в кишки и понять что

114
00:08:17,860 --> 00:08:21,840
что с этой историей происходит один из
ключевых элементов трансформера это

115
00:08:21,840 --> 00:08:27,780
attention внимание еще сегодня
предпоговорим и attention для

116
00:08:27,780 --> 00:08:32,260
этой и самая история вычисляет keys и
values KV и соответственно если вы хотите

117
00:08:32,260 --> 00:08:36,640
что -то закрешировать то именно KV вам
нужно закрешировать поэтому есть термин

118
00:08:36,640 --> 00:08:40,820
KV -cache про который вы тоже возможно
слышали и в контексте изкрылых моделей и

119
00:08:40,820 --> 00:08:44,380
в контексте рекомендации тоже он
становится важным и здесь правда
приходится

120
00:08:44,380 --> 00:08:48,260
думать о этот конечно должен быть в off
-line или в онлайне это правда если того

121
00:08:48,260 --> 00:08:52,300
как у вас рекомендации устроены в общем
бакендером все глубже приходится

122
00:08:52,300 --> 00:08:56,320
погружаться и перестраивать архитектуру
своих систем под соревненный

123
00:08:56,320 --> 00:08:57,140
рекомендательный модели

124
00:08:58,740 --> 00:09:04,620
еще один тренд в рекомендациях неожиданно
связан с монолитизацией кто

125
00:09:04,620 --> 00:09:09,920
из вас хоть раз оспилил монолит на
микросервисы больше половины зала мне
кажется

126
00:09:09,920 --> 00:09:14,980
ну конференция пробокент нормально похож
на правду значит туда попали понимаете

127
00:09:14,980 --> 00:09:20,600
в чем профит да у вас сервисы становятся
меньше энтерапии уменьшается ризы можно

128
00:09:20,600 --> 00:09:25,140
катать чаще time -to -market фич
улучшается с одной стороны с другой
стороны

129
00:09:25,140 --> 00:09:28,400
контекст с которые надо понимать в
контексте каждой фичи контекста каждого

130
00:09:28,400 --> 00:09:33,560
сервиса тоже уменьшается соответственно
разработчику прочую новому погружаться и

131
00:09:33,560 --> 00:09:37,860
агенту тоже проще в этой системе что -то
менять более того у меня год назад был

132
00:09:37,860 --> 00:09:41,500
проект доклад на этой конференции если вы
не слишком много CPU потеряете на

133
00:09:41,500 --> 00:09:45,600
передачу данных между микросервисами на
силизацию запросов десериализацию

134
00:09:45,600 --> 00:09:50,120
ответов тогда вы можете еще и CPU
сэкономить за счет улучшения локальности
по

135
00:09:50,120 --> 00:09:53,140
коду и по данным у вас буквально
процессорная инструкция будет лучше
попадать в

136
00:09:53,140 --> 00:09:56,960
кашей процессора и данные можно лучше
покашировать а что вам рассказывают?

137
00:09:57,140 --> 00:10:02,380
Раскиливают монолитоценно. Но в контексте
рекомендательных систем, а конкретно в

138
00:10:02,380 --> 00:10:06,180
контексте кандидата генерации, это стадия,
после которой поплевываются

139
00:10:06,180 --> 00:10:07,920
кандидаты, которые дальше вранжирование
впадают.

140
00:10:08,780 --> 00:10:13,420
Там возникает обратный тренд, а именно
инженеры из одного экстренистского

141
00:10:13,420 --> 00:10:18,420
объектеха в своей статье SilverTorch
описали, как они в стадии кандидата

142
00:10:18,420 --> 00:10:24,120
генерации, буквально векторный поиск,
поиск ближайших соседей в том

143
00:10:24,120 --> 00:10:27,060
самом пространстве векторов эмбендингов с
предыдущего слайда

144
00:10:27,860 --> 00:10:32,360
фильтрацию эти кандидатов переранжирование
перекладывают на GPU почему это ценно

145
00:10:32,360 --> 00:10:36,900
потому что эти стадии работают с одним и
тем же большим массивом кандидатов и

146
00:10:36,900 --> 00:10:41,480
связанными с ними тензорами совершенно не
хочется это передавать по сети и как

147
00:10:41,480 --> 00:10:46,000
-то перекладывать из памяти в память
поэтому они эти стадии все переписали на

148
00:10:46,000 --> 00:10:46,300
GPU

149
00:10:47,420 --> 00:10:51,880
ANN поиск стал буквально GPU -native
PyTorch модулем

150
00:10:52,700 --> 00:10:56,780
фильтрация теперь стала делаться не
инвертирными индексами, как все привыкли

151
00:10:56,780 --> 00:11:01,720
делать, а Bloom индексом GPU -friendly,
буквально набором Bloom фильтров.

152
00:11:02,600 --> 00:11:07,320
В итоге получился PyTorch Graph, который,
во -первых, инженер может

153
00:11:07,320 --> 00:11:11,780
оптимизировать как цельный граф между
стадиями, и, во -вторых, GPU -компилятор

154
00:11:11,780 --> 00:11:15,500
может фьюзить некоторая операция и
уменьшать перекладывание промежурочных

155
00:11:15,500 --> 00:11:15,880
тензеров.

156
00:11:17,040 --> 00:11:21,300
Вы не думаете, конечно, что, когда
возникает GPU сразу же микросереса больше
не

157
00:11:21,300 --> 00:11:21,580
нужны,

158
00:11:22,420 --> 00:11:28,220
инференс мы выделяем в отдельный
микросервис но

159
00:11:28,220 --> 00:11:31,780
конкретно в той ситуации когда вы
работаете с большим набором объектов и он
же

160
00:11:31,780 --> 00:11:35,520
вот произойдет между несколькими статями
конечно имеет смысл все побандлить и

161
00:11:35,520 --> 00:11:38,420
объединить в один PyTorch Graph например

162
00:11:39,640 --> 00:11:44,940
так, довольно проектировательная система я
обещал про новые классы задач которые

163
00:11:44,940 --> 00:11:50,580
возникают в нашем чудесном мире ну
смотрите что мы знаем про новые

164
00:11:50,580 --> 00:11:51,020
продукты

165
00:11:52,560 --> 00:11:58,240
агентная система и ассистент у вас есть
LLM полистор в нее подает запрос ожидать

166
00:11:58,240 --> 00:12:00,280
получить какой -то ответ вроде бы легко

167
00:12:01,640 --> 00:12:05,260
ну и изначально, буквально, и ассистенты
так и выглядели там сложность была

168
00:12:05,260 --> 00:12:09,300
только в том, чтобы эффективный инференс
этой большой нейросети выполнить но там

169
00:12:09,300 --> 00:12:13,660
KV -cache может какие -то сохранить тем не
менее, пока вроде бы легко но вообще

170
00:12:13,660 --> 00:12:17,360
-то современные агентные системы сильны
именно своей агентностью то есть тем,

171
00:12:17,360 --> 00:12:21,120
что они могут запускать какие -то тулы ллм
код может написать меня это свое

172
00:12:21,120 --> 00:12:24,200
время очень впечатлило что не рассетка не
полагается на то что она может сама

173
00:12:24,200 --> 00:12:28,360
числа сложить а лучше питомский код
напишет который складывает числа и выдаст

174
00:12:28,360 --> 00:12:32,280
мне ответ оттуда ну соответственно мы
должны быть готовы к тому что выполнение

175
00:12:32,280 --> 00:12:36,720
польского запроса пойдет по какому -то
непредсказуемому сценарию и граф вообще

176
00:12:36,720 --> 00:12:40,300
говоря будет динамичен там может быть
роутер в этой схее может его не быть может

177
00:12:40,300 --> 00:12:43,460
быть ллмка будет сама решать что ей надо
сейчас вызвать какие -то тулы а потом

178
00:12:43,460 --> 00:12:46,020
еще какие -то тулы вызвать а потом вызвать
другую ллмку которая хорошо

179
00:12:46,020 --> 00:12:49,280
обрабатывает другой сценарий получается
какой -то граф по которому запрос ходит

180
00:12:49,280 --> 00:12:53,260
совершенно непересказуемым образом и
становится абсолютно кошмаром и сарьешним,

181
00:12:53,340 --> 00:12:57,100
который пытается такой системы
поддерживать более того какие -то ветки
этого

182
00:12:57,100 --> 00:13:03,060
графа могут выполняться чесами, ну потому
что это может быть какой -то сложный

183
00:13:03,060 --> 00:13:07,520
агент, агентный сценарий разработчика или
может быть агент пытается дозвониться

184
00:13:07,520 --> 00:13:11,980
до каких -то ресторанов и там что -то
забронировать понятно что очень тяжело

185
00:13:11,980 --> 00:13:16,900
поддерживать систему, код -ревью

186
00:13:16,900 --> 00:13:28,040
пайплайны

187
00:13:28,040 --> 00:13:41,980
скиллы

188
00:13:41,980 --> 00:13:42,140
скиллы скиллы скиллы скиллы скиллы скиллы
скиллы скиллы скиллы скиллы скиллы скиллы
скиллы скиллы скиллы скиллы скиллы скиллы
скиллы скиллы скиллы скиллы скиллы скиллы
скиллы скиллы скиллы скиллы скиллы скиллы
скиллы скиллы скиллы скиллы скиллы скиллы
скиллы скиллы скиллы скиллы скиллы скиллы
скиллы скиллы

189
00:13:42,140 --> 00:13:43,500
скиллы скиллы скиллы скиллы скиллы скиллы
скиллы скиллы отдельная интересная

190
00:13:43,500 --> 00:13:47,720
часть это стриминг вы как пользователь
ожидаете что вы не будете штырить в белый

191
00:13:47,720 --> 00:13:52,560
экран на протяжении несколько часов пока
там нейросетка вам что -то отдаст вы

192
00:13:52,560 --> 00:13:56,940
хотите видеть как она думает на чем она
сейчас думает если она уже пишет ответ

193
00:13:56,940 --> 00:14:01,820
вы хотите видеть как она этот ответ пишет
это уже такая важная продуктовая фича

194
00:14:01,820 --> 00:14:05,680
с одной стороны с другой стороны когда
есть некоторый оркестратор который

195
00:14:05,680 --> 00:14:08,960
понимаешь ясно надо надо вызвать такой
титул с такими аргументами тоже чем

196
00:14:08,960 --> 00:14:13,280
раньше он про это узнал из ответа
нейросетки а затем лучше поэтому вот на
всех

197
00:14:13,280 --> 00:14:18,340
этапах этого графа важен стриминг ну и
понятно надо следить за эффективностью

198
00:14:18,340 --> 00:14:22,420
все это системы как -то умно балансировать
нужно какой -то обзевробилить слой

199
00:14:22,420 --> 00:14:28,240
чтобы смотреть на трейсы и дебажить что
там происходило короче вы не фоткаете

200
00:14:28,240 --> 00:14:29,760
там сейчас доклад про это будет в этом же
зале

201
00:14:31,280 --> 00:14:32,880
произоляцию сейчас еще немножко поразгоняю

202
00:14:34,480 --> 00:14:39,120
изоляция в продакшене это вообще -то не
что -то новое ну как минимум все в

203
00:14:39,120 --> 00:14:43,860
облаках живем практически и понятно что
вот нужна изоляция нужно уметь селить

204
00:14:43,860 --> 00:14:48,580
несколько сервисов на одну машину на одно
дело изоляция в продакшене другой

205
00:14:48,580 --> 00:14:52,740
делал когда изоляция ну и вот все эти
внешние интеграции какие -то дёрганье

206
00:14:52,740 --> 00:14:57,400
опишек когда они возникают в тестах никто
не любит делать эндогрессионные тесты

207
00:14:57,400 --> 00:14:59,920
но если кто -то любит поднимите руку
интересно с вами познакомиться

208
00:15:00,740 --> 00:15:06,660
О ну 10 человек нормально все похоже на
правду и потому что моки нужны какие -то

209
00:15:06,660 --> 00:15:10,260
какие -то тестовые стенды ну в общем
неприятно но это ладно в общем сейчас
будет

210
00:15:10,260 --> 00:15:14,340
хуже дело в том что когда обучается
сложная модель с агентным поведением там

211
00:15:14,340 --> 00:15:17,820
есть очень важная стадия обучения с
подкреплением reinforcement learning и в

212
00:15:17,820 --> 00:15:22,480
процессе такого обучения нужно запускать
эту самую модель на каких -то входных

213
00:15:22,480 --> 00:15:28,200
примерах давать этой модели пройти свои
траектории подёргать тулы поменять

214
00:15:28,200 --> 00:15:29,040
состояние

215
00:15:31,640 --> 00:15:36,080
и по итогу вычитается некоторый реворд как
бы модель выдаются награды или не

216
00:15:36,080 --> 00:15:42,020
выдаётся и он обратно подаётся в процесс
обучения то есть у вас есть GPU

217
00:15:42,020 --> 00:15:46,360
-шка дорогучий кусок кремния который
обучает модель, перемножает матрицы и вам

218
00:15:46,360 --> 00:15:51,380
супер важно следить за его утилизацией а
параллельно с ним сожительствует, не

219
00:15:51,380 --> 00:15:54,800
сам приедет, сожительство должен сказать
вот эта штука, которая поднимает

220
00:15:54,800 --> 00:15:59,700
изолированные среды в огромном темпе и
если она начать будет подтормаживать

221
00:15:59,700 --> 00:16:03,200
тогда у вас и у GPU -шка будет
недоутелизировано и дорогой железо будет

222
00:16:03,200 --> 00:16:08,640
простаивать вообще -то очень неприятно и в
современных агентных системах речь

223
00:16:08,640 --> 00:16:13,780
идет уже о сотнях поднимаемых средств
секунду и об SLA в сотни

224
00:16:13,780 --> 00:16:19,200
миллисекунд на выдачу очередной среды из
некоторого горячого пула кто бы мне 5

225
00:16:19,200 --> 00:16:22,600
лет назад сказал, что нужно с таким SLA
поднимать изолированный контейнер я бы

226
00:16:22,600 --> 00:16:26,340
не поверил, я бы не поверил, зачем это
нужно вообще а тут ну когда GPU возникает

227
00:16:26,340 --> 00:16:30,860
который параллельно об этом всё
блокируется ну деваться некуда приходится
такую

228
00:16:30,860 --> 00:16:36,500
проблему тоже решать и мы тоже решаем как
видите мы сейчас

229
00:16:36,500 --> 00:16:40,380
закольцовываемся с первой темой я в самом
начале тоже рассказывал про агентный

230
00:16:40,380 --> 00:16:46,040
пайплайна про оценку качества потому что
нужно агентам не подглядывать в то что

231
00:16:46,040 --> 00:16:50,860
делал соседние агенты в общем правда тема
очень плотно друг другом связаны вы

232
00:16:50,860 --> 00:16:54,640
наверняка уже поняли, насколько меня
вдохновляет решая задача, которая до этого

233
00:16:54,640 --> 00:16:59,260
почти никто не решал. Уверен, что у вас
тоже, потому что конференция у нас как

234
00:16:59,260 --> 00:17:00,980
раз про это, какое совпадение.

235
00:17:02,260 --> 00:17:06,680
Так что если вы еще не изучили наш
программ, обязательно изучайте, очень
советую

236
00:17:06,680 --> 00:17:09,620
выбирать те темы, которые вызывают у вас
удивление,

237
00:17:10,600 --> 00:17:13,320
это же ценнее, сходить на доклад, про
который вы ничего не понимаете.

238
00:17:14,340 --> 00:17:19,100
Так что слушайте спикеров, общайтесь и со
спикерами, и друг с другом тоже

239
00:17:19,100 --> 00:17:22,560
вдохновляйте. выгнавляйтесь и
продуктивного всем дня

240
00:17:35,240 --> 00:17:40,680
Антон, спасибо большое за доклад. У нас
конкретная докладу Антона

241
00:17:40,680 --> 00:17:46,200
вопросов сейчас не будет, поэтому Антона
можно поймать с течения всего

242
00:17:46,200 --> 00:17:51,940
сегодняшнего дня на стендах на вопрос
-ответ или просто где -нибудь

243
00:17:51,940 --> 00:17:57,020
на территории а сейчас у нас
десятиминутный перерыв до 12 .30

244
00:17:57,020 --> 00:18:02,500
соответственно в 12 .30 на разных треках
начнётся свои

245
00:18:02,500 --> 00:18:07,340
доклады а у нас через 10 минут здесь будет
доклад

246
00:18:07,340 --> 00:18:12,900
Алексея Логинова из команды Alisa про то
как

247
00:18:12,900 --> 00:18:16,240
строить надёжную агентскую платформу До
встречи через 10 минут