Распознавание образов и машинное обучение. Чтение 31. Касательное распространение

Показываем, что ранняя остановка процесса обучения нейросети даёт похожий на регуляризацию результат. Рассуждаем о способах учёта инвариантов в исходных данных. Разбираем пару методов: аугментацию исходных данных и касательное распространение. Метод касательного распространения заключается в добавке к функции ошибки термов, которые штрафуют нейросеть за чувствительность к касательным многообразия инвариантных входных значений. Демонстрируем, что аугментация исходных данных даёт эффект, схожий с эффектом метода касательного распространения. Как всегда, ряды Тейлора - наше всё. #теорвер и #machinelearning, #математика и #программирование, #иммуроран и матричный #матан