Павел Филонов - Паттерны инференса ML-моделей

Скачать презентацию: Докладчик: Павел Филонов, независимый консультант в области ML, преподаватель MLOps в OTUS и ex-DS Lead в Kaspersky. Давайте представим, что вы уже прошли часть пути по успешной реализации ML проекта. Договорились по поводу бизнес-метрик, получили доступ к данным, организовали разметку, обучили несколько моделей и выбрали лучшую с помощью валидации. Теперь пришло время запускать ее на инференс на реальных данных, но какой из различных вариантов таких запусков выбрать и какие инструменты для этого использовать? В докладе обсудим 3 паттерна инференса моделей: - пакетная обработка; - потоковый инференс; - REST интерфейс для модели. Рассмотрим в каком случае лучше подходит тот или иной паттерн. Как они повлияют на пропускную способность и задержку. И какие подходящие инструменты для их реализации можно использовать. Telegram Reliable ML: Data Fest 2023: Трек “Reliable ML “: Наши соц.сети: Telegram: Вконтакте: