Распознавание образов и машинное обучение. Чтение 34. Байесовское обучение нейросетей
Завершаем главу о нейросетях байесовскими методами работы с ними. Через несколько глав мы вернёмся к этой проблеме с продвинутой технологией вариационного вывода. Здесь же мы переносим байесовские процедуры работы с линейными моделями на нейросети.
Функция нейросети нелинейна, и это создаёт сложности. Но мы сталкивались с подобными проблемами при байесовском анализе линейных классификаторов, и знаем, что делать. Нужно искать моду апостериорного распределения параметров нейросети методом максимизации этого распределения, после чего строить приближение Лапласа вокруг этой моды, чтобы получить нормальное апостериорное распределение параметров, которое можно использовать для построения прогнозного распределения. С ним тоже возникнут проблемы из-за нелинейности функции нейрости. С этим обстоятельством мы справляемся при помощи линеаризации функции нейросети через ряд Тейлора в окрестности найденных параметров нейросети.
Необходимые для всех этих вычислений градиенты и гессианы можно рассчитывать методом обратного распространения ошибок.
Кроме этого, мы можем перенести и процедуру оптимизации гиперпараметров для линейных моделей на нейросети. С оговоркой о том, что апостериорное распределение для нейросети окажется мультимодальным, и поэтому параметры нейросети, полученные максимизацией апостериорного распределения, будут зависеть от выбора начальных значений численного метода оптимизации. Тем не менее, мы можем использовать эту процедуру для сравнения моделей с разной архитектурой скрытых слоёв, помня о том, что вероятность - это мера, а найденные нами параметры нейросети принадлежат большому классу эквивалентных по задаваемой функции параметров, на что нужно делать поправку.
#теорвер и #machinelearning, #иммуроран и прикладной #матан
226 views
376
99
21 hour ago 00:01:52 1
MIXA-#МИР #ЛЮДЕЙ.-(PROD. BY MIXA).-(OFFICIAL MUSIC VIDEO 2024).-(#NEURAL #NETWORK).
3 days ago 00:07:23 1
ОБЖ 10 класс (Урок№8 - Основы медицинских знаний и профилактика инфекционных заболеваний.)
3 days ago 00:05:18 1
Искусственный интеллект. Световое шоу_1
5 days ago 01:59:38 19
Острые состояния в кардиологии. Место ПОАК
6 days ago 00:00:44 1
Нейросеть. Анализ и обеспечение безопасности_4
7 days ago 02:31:06 1
Вудуисты на 100%. Прохождение Cyberpunk 2077 на максимальной сложности. Призрачная свобода 17
7 days ago 00:29:01 1
Как дактилоскопия стала основным методом идентификации людей