Продолжаем погружение с Владиславом Танковым! С устройством LLM мы уже разобрались, а теперь пора разобраться, гонять ли инференс локально или в облаке, какие модели брать, и во что можно упереться при масштабировании своего сервиса на LLM!
❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат:
https://t.me/podlodka📰 Не любишь чаты, но хочешь оставаться в курсе дел и прокачивать свой IT кругозор? Подписывайся на наш Telegram-канал: там публикуются анонсы новых выпусков, а в комментах идут ценные и горячие обсуждения! 5 тысяч опытных IT-специалистов уже с нами:
https://t.me/podlodkanews👉Предложить себя в подкаст
https://forms.gle/NtmaZmeDAa3MHSra7Тайм-коды:
00:00 О чем выпуск?
04:44 Определение задач LLM
26:30 Причины использования локальных моделей
40:02 Непредсказуемость ответов моделей
51:53 Проблемы с развёртыванием моделей
01:01:35 Выбор инференс-фреймворков
01:07:58 Архитектурные паттерны в приложениях с LLM
01:20:29 Масштабирование в облачных провайдерах
01:24:42 Обновление моделей и промтов
01:28:18 Сравнение RAG и Fine-tuning
01:33:50 Влияние байесовских сетей на модели
01:37:20 Заключение