Функции активаций нейрона | Sigmoid, ReLU, Leaky ReLU, ELU | Neural Networks (NN) | НЕЙРОННЫЕ СЕТИ 4
Поддержать канал можно оформив подписку на
🎉
🎉
🎉 А можете скидывать монеты на
💻 Мои курсы на платформе Stepik:
✅ Канал в TG
✅ Группа в VK
Практическое задание
Вопросы, на которые найдем ответы в этом видео:
Какие есть функции активации нейронов (Sigmoid, ReLU, ELU, Leaky ReLU...)?
Какие есть плюсы и минусы каждой функции активации?
Как написать свою функцию активации на Keras и Tensorflow?
Ссылка на ноутбук
Плейлист НЕЙРОННЫЕ СЕТИ - будет позже
0:00 Вводная
0:27 Практическое задание на
1:13 Для чего нужны функции активации для нейронных сетей
3:14 Датасет на сегодня fashion MNIST
5:42 Linear Линейная активация нейрона
6:22 Постоянный градиент в линейной активации
8:20 Ставить последовательно слои с линейной активацией нет смысла
8:53 Функция активации Sigmoid Сигмоида
10:36 Как получить производную сигмоиды sigmoid
13:00 Проблема затухающих градиентов
14:52 Разбиение данных на батчи
16:05 Обучение через
17:33 Функция потерь не изменяется
18:00 Визуализация градиентов
19:03 Почему из-за сигмоиды затухают градиенты
20:03 Функция активации Tanh Тангенс
20:17 Производная Tanh
21:56 Функция активации ReLU
22:40 Производная ReLU
23:11 ReLU решает проблему затухающих градиентов
25:58 Проблема нулевых сигналов в ReLU
27:47 Функция активации Leaky ReLU
28:19 Производная Leaky ReLU
28:45 Функция активации ELU
29:00 Производная ELU
29:25 Как выбрать функцию активацию нейрона
30:47 Как написать свою функцию активации на Keras
32:07 Что делать, когда функция потерь и веса nan
33:04 Модификация функции потерь ReLU
35:56 Резюме плюсов и минусов функций активаций для нейрона
35:58 Linear
36:46 Sigmoid
37:25 Tanh
37:42 ReLU
38:18 Leaky ReLU
38:44 ELU
46 views
1186
307
2 months ago 00:00:00 1
Властелин Колец Новый Патч Ennorath Mod - По Сети
2 months ago 00:10:14 1
Главное, что нужно сделать, чтобы сжечь жир и похудеть! 🔥
2 months ago 00:19:35 1
#ХЕМОХИМ - чудо продукт ХХI века ! Выступление врача-биоэнергетика Ирины Ким на Семинаре Атоми
2 months ago 00:22:23 1
Атеросклероз сосудов. Чистим бляшки с помощью лимфатической системы.
2 months ago 06:07:35 1
ОЧИЩЕНИЕ ШИШКОВИДНОЙ ЖЕЛЕЗЫ - Активация Третьего Глаза | 963 Гц
2 months ago 00:08:30 1
Android 15 обновление для всех! Что нового в Android 15? Ставить Android 15? Полный обзор Android 15
2 months ago 00:00:00 1
Властелин Колец Ennorath Mod - По Сети
2 months ago 00:27:29 1
ОСОЗНАННОСТЬ МЕДИТАЦИЯ 👁 ЗДЕСЬ И СЕЙЧАС | Смотреть до конца! @alexanderbaranovsky
2 months ago 00:15:22 21
[DLL] RAMPAGE HACK - УНРИАЛ СОФТ ДЛЯ ГЕТО ЯЩЕРОВ / AIM / AUTOSHOT / NO RECOIL / ANTISTUN /WH
2 months ago 00:20:20 1
Тибетская дыхательная практика «ТУММО»
2 months ago 00:00:00 1
Властелин Колец BFME 2 Ennorath Mod - По Сети
2 months ago 00:03:51 1
🌍Ченнелинг ☄️ Послание нам от Арктурианцев Частота 9D💎 Увеличение функций мозга и черепа🧠🧬 #арктур
2 months ago 00:04:11 1
Зарядка: 36 простукиваний для здоровья органов и всего тела!
2 months ago 00:16:41 15
STOP WHINING - SILENT AIM / SMOOTH AIM / TRIGGER BOT / EXTRA WS / NO SPREAD / WH / ОБХОД OBS В SAMP
2 months ago 00:30:19 1
Стань PRO в ChatGPT с 0 за 30 минут [ПОЛНЫЙ ГАЙД ДЛЯ НОВИЧКОВ]
2 months ago 00:03:39 1
Активатор клеток Whieda - аутизм
2 months ago 00:00:00 7
Властелин Колец BFME 2 Ennorath Mod(РЕСТРИМЛЮ НА ТВИЧЕ У КОГО ЛАГАЕТ) - По Сети
2 months ago 00:14:05 1
Дыши ТАК и ЖИВОТ сам УЙДЁТ | 3 дыхательные упражнения для плоского живота
2 months ago 00:14:40 1
Настоящая причина хронической мокроты в горле. Дело в ГЭРБ🧐
2 months ago 00:15:20 1
ДЕЛАЕМ WINDOWS 10/11 КРАСИВЕЕ И УДОБНЕЕ | Топ ЛУЧШИХ утилит, программ, расширений для прокачки ПК!
2 months ago 00:03:46 1
SSL The Bus+ Transient Expander взлом кода для активации
2 months ago 00:07:03 1
Как скачать и установить PowerPoint за 7 минут в 2024? Новый способ...
2 months ago 00:11:57 1
ЗДОРОВЫЙ ОБРАЗ ЖИЗНИ - это МИФ или РЕАЛЬНОСТЬ? Секрет активации центров и энергии Инь и Ян