Онлайн-дискуссия «Как подготовить и внедрить большие языковые модели»

Бизнес всё больше автоматизирует рутину с помощью LLM. Например, создаёт корпоративных чат-ботов или умных ассистентов, использующих базу знаний компании. Но то, что выглядит легко в теории, не так просто реализовать на практике — при внедрении моделей возникают сложности. На вебинаре вместе с МТС AI мы поделимся, как внедрить LLM, чтобы она подходила под ваши бизнес-процессы. Спикеры: Алсу Иовкова, Product manager AI-сервисов MWS Сергей Пономаренко, Product manager Cotype, МТС ИИ Таймкоды: 00:05:09 Основные понятия и технологии • LLM: большие языковые модели, обученные на текстовых данных. 00:06:41 Сценарии применения LLM • Автоматизация обработки текстовых данных: каталогизация документов, самореализация онлайн-встреч, классификация текстов, постмодерация отзывов. • Преобразование текста в структуру: JSON-формат, выявление паттернов. • Детекция угроз и мошенников, боты-продавцы, ассистенты в разных областях, онбординг новых сотрудников, генерация контента, рекомендации. 00:09:16 Задачи, которые не стоит решать с LLM 00:13:23 Проверка и настройка моделей • Проверка модели на тестовых примерах в облаке. • Возможность доработки промтов и дообучения модели. 00:15:06 Выбор модели 00:16:25 Параметры выбора LLM 00:16:57 Выбор размера модели 00:18:38 Размер контекста 00:21:11 Промт • Промт — это текстовая инструкция для модели. • Промты бывают системными и пользовательскими. • Системные промты настраиваются под конкретную задачу, а пользовательские — под конкретный контекст. 00:22:09 Вопросы перед внедрением 00:25:49 Нагрузка и производительность 00:27:31 Процессы и инфраструктура 00:29:21 Команда для работы с большими языковыми моделями • Основные роли. 00:34:09 Этапы адаптации опенсорсных моделей 00:35:01 Плюсы и минусы облачного и on-premise вариантов 00:36:39 Когда нужно дообучать модель 00:41:17 Проблемы с ответами модели • Если модель не отвечает нужным образом, можно попробовать разные способы промтинга. • Если это не помогает, можно дообучить модель или попробовать другую модель. • Модель должна знать актуальные данные, которые можно интегрировать с внешними сервисами. 00:43:36 Этапы внедрения LLM • Основные этапы: пилотирование и полноценный проект. • Пилотирование включает формулировку цели, сбор данных и тестирование промтов. • Полноценный проект требует большего объема данных, доработки промтов и возможного дообучения модели. 00:46:38 Интеграция и дообучение 00:48:17 Введение в большие языковые модели 00:48:39 Развитие и улучшение сервиса 00:50:34 Тестирование больших языковых моделей 00:52:20 Подводные камни внедрения 00:59:56 Квантизация моделей 01:01:49 Развитие чат-ботов 01:02:49 Этические вызовы и конфиденциальность данных 01:05:11 Оптимизация инференса на CPU 01:06:50 Развитие больших языковых моделей 01:08:39 Поиск оптимального контекста для RPA 01:10:05 Обеспечение безопасности интеграции 01:12:06 Использование облачных моделей __ Подписывайтесь на нас в соцсетях: Telegram – Сайт – VK – (сюда можно написать нам по поводу мерча)