Необычные свойства функции потерь в глубинном обучении. Дмитрий Ветров, НИУ ВШЭ
За последние несколько лет в нейронных сетях обнаружен ряд необычных эффектов. Среди них можно упомянуть связность глобальных минимумов, двойной спуск, разрыв между теоретическими предсказаниями и практическими результатами, т.н. «минные поля» в пространстве весов.
На вебинаре Дмитрий Ветров, один из самых заметных российских ученых в области машинного обучения, подробнее рассмотрел эти эффекты и представил гипотезу, которая может, по крайней мере, частично объяснить, что происходит в процессе обучения нейронной сети и какими свойствами обладает оптимизируемая в ходе него функция потерь. Основываясь на этой гипотезе Дмитрий предложил ряд экспериментов, которые могут дать ее косвенные подтверждения и расскажет о предварительных результатах. Лучшее понимание динамики обучения нейросети может привести к созданию более эффективных методов обучения. В докладе указаны возможные пути для их улучшения.
Спикер: Дмитрий Ветров, НИУ ВШЭ, Москва, Россия.
1 view
558
252
2 weeks ago 00:14:25 1
Идет охота за Особенными людьми будьте осторожны. Кто такие Избранные и Особенные. | Сон Разума
2 weeks ago 00:05:29 1
Сделала 2 раза и была удивлена! Касторка на стопы
2 weeks ago 00:28:06 1
Урок № 5 “История, особенности и основные жанры казачьей песни“ ЦКК “Казачье наследие“
2 weeks ago 00:12:41 1
Особенности ОБРЕЗКИ и формирования ИРГИ, и других кустарников
2 weeks ago 00:40:05 1
Волшебные технологии предков для освещения, отопления домов. Атмосф. электричество . Эфир. Ртуть.
2 weeks ago 00:14:33 1
Крещение водокрес - скрытая правда о празднике💧Почему крещенская вода целебная на самом деле
2 weeks ago 00:15:26 1
Помоги мне увидеть мир | Тифлопедагогика | Жить с особенным ребенком | ЖИТЬ | КУБ
2 weeks ago 00:43:46 1
Михаил Левин. КУРСК ГЛАЗАМИ АСТРОЛОГА. В ОКТЯБРЕ БУДЕТ ОСОБЕННО “ВЕСЕЛО“.
2 weeks ago 00:15:17 1
ЭТО сложно 🤯 ЛУНА В КОЗЕРОГЕ ♑️ Особенности таких людей? Обучение АСТОРОЛОГИИ
2 weeks ago 00:08:05 1
Личность. Особенности подросткового возраста 🎓 ОГЭ по обществознанию без репетитора
2 weeks ago 00:09:43 1
Возрасты нашей жизни. Особенности подросткового возраста
2 weeks ago 00:00:54 1
“Но Русский язык учи, пригодится!“ Особенности национальной рыбалки.
2 weeks ago 00:07:05 1
Много пекла вариантов торта “Наполеон“ этот самый лучший (особенный): мама рецепт сохранила из 70-х
2 weeks ago 00:15:43 1
Особенности СДВГ у девочек и женщин. Симптомы, диагностика и гормональный фон
2 weeks ago 00:13:53 1
Почему запретили АСД 2. Запрещённое средство из СССР
2 weeks ago 01:31:05 1
«Типографика цивилизаций». Лекция об особенностях восточных и западных шрифтов
2 weeks ago 00:02:39 1
Ты особенный (караоке) - песня из мультфильма
2 weeks ago 00:05:56 1
Лимон повышает или понижает давление?
2 weeks ago 00:03:45 1
Особенный шоколадно-клубничный торт просто тает во рту