Лекция №7. Улучшение сходимости нейросетей и борьба с переобучением
Седьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС224.
Преподаватель: Александр Пославский
00:00:03:13 Улучшение сходимости нейросетей и борьба с переобучением
00:00:06:13 Сигмоида затухает и теоретически и практически
00:00:09:11 Сигмоида затухает и теоретически и практически
00:15:20:17 Инициализация весов
00:18:20:20 Инициализация Ксавьера (Xavier, Glorot)
00:20:45:08 He-инициализация (Kaiming)
00:21:44:08 Важность инициализации весов
00:22:10:21 Обобщение инициализаций Ксавьера и He-инициализации
00:22:22:10 Ортогональная инициализация
00:24:34:21 Инициализация весов в Pytorch
00:30:16:23 Регуляризация
00:31:35:24 L1, L2 регуляризации
00:35:22:23 Dropout
00:57:01:19 Dropconnect
00:57:50:15 DropBlock
01:00:22:00 Нормализация
01:00:23:19 Нормализация входных данных
01:02:19:22 Covariate shift(Ковариантный сдвиг)
01:05:34:01 Internal covariate shift
01:09:30:16 BatchNormalization
01:36:02:10 Другие Normalization
01:42:18:24 Оптимизация весов нейросетей
01:42:26:02 Обзор популярных оптимизаторов
01:55:46:23 Сравнение оптимизаторов
Ссылка на лекцию:
VK:
Telegram:
12 views
10
2
2 weeks ago 00:19:09 1
Открытие архивов Ватикана может стать настоящим «Судным днем».
3 weeks ago 00:47:12 1
Тип Хордовые. Ароморфозы. Ланцетник, миноги. Лекция и разбор заданий от Юрия Беллевича
1 month ago 00:43:17 21
Ланьков о сексуальной жизни в Северной Корее
1 month ago 01:36:39 19
Что Дальше? Жизнь после Капитализма. Feat. Олег Комолов, Алексей Сафронов
2 months ago 00:34:53 0
7. ЭКОНОМИКА РОССИИ: КАКОВА ПЛАТА ЗА ТРИ ГОДА ВОЙНЫ? ЛЕКЦИЯ 7 #Липсиц
2 months ago 00:00:00 1
Божественная литургия 7 апреля 2025 года, Благовещенский собор Московского кремля, г. Москва
2 months ago 02:40:27 4
ОТКРЫТЫЙ УРОК 2021 Школа Классической Астрологии К Дарагана в СПб
3 months ago 01:09:43 0
Владимир Емельянов: “История ассириологии в России. Введение“ (Л.1)
3 months ago 00:40:47 2
Статины, бляшки и давление / Разбор всех мифов и истинных причин / Лекция доктора Шишонина 👨⚕️
4 months ago 00:55:29 0
Практические занятия по биолокации. Мастер Сагадинов Хаким
4 months ago 01:51:17 0
О СТРАСТИ БЛУДА
4 months ago 00:14:45 2
Дмитрий Павлов: Я работал над этой книгой 44 года - Раскрывая тайны пространства и времени
4 months ago 01:04:45 0
Секреты здоровья общественного организма
5 months ago 00:51:30 0
Введение в мантику
5 months ago 00:00:00 11
Запуск к Луне Hakuto-R M2 и Blue Ghost ракетой Falcon 9
5 months ago 01:34:28 0
Уничтожение древней истории человечества
5 months ago 01:11:51 0
Беларусь. Начало
5 months ago 01:06:00 14
Как управляют людьми и государствами? Виктор Ефимов о Путине, духовности и 500-летнем кровавом бале
5 months ago 00:46:37 0
Что такое революция? // Роман Осин. Философский камень №15
5 months ago 00:17:16 0
ЗАЩИТИ СЕБЯ: Их слова — угроза твоему здоровью и будущему малыша
5 months ago 01:40:43 0
ВРАГИ ВНУТРИ МОЕЙ ГОЛОВЫ - Леонид Тугутов (Лакшми Нараяна дас)
5 months ago 00:03:51 0
03. Светозар и Аурамира - 05. Силушка-Ярушка.
5 months ago 00:10:34 0
Мазут в Керчи/ реальный масштаб катастрофы! Они ответят?