«Нейронные сети и их применение в научных исследованиях». Лекция 6: Трансформеры

Шестое занятие на МФК-курсе «Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Артемий Новоселов 0:00 В предыдущих сериях 1:08 Часть 1 3:09 Seq2Seq Модель 5:22 Модуль внимания 8:17 Энкодер и Декодер 10:38 Transformer 13:02 Ответы на вопросы 17:28 Часть 2 21:22 Степень похожести 22:54 Как разместить весь интернет? 24:04 Self-supervised learning 26:51 BERT 29:32 Предварительное обучение (Pre-training) 33:45 Трансформеры работают с картинками 35:07 Visual Transformer (ViT) 38:53 Self-Supervised для картинок 39:11 DINO 40:56 Трансформеры работают с речью 42:49 wav2vec 2.0 47:10 Ответы на вопросы 53:51 Часть 3 53:56 Научные примеры 1:03:17 Ответы на вопросы Ссылка на лекцию: Сайт: VK: Telegram: