Распознавание образов и машинное обучение. Чтение 19. Вероятностные дискриминантные модели. ИНКП

Во многих случаях, когда условное распределение данных по классам имеет экспоненциальную форму, искомые апостериорные условные распределения классов по данным имеют одинаковый обобщённо линейный вид. Параметры этих апостериорных распределений можно искать напрямую. Это может быть эффективнее, чем поиск параметров генерирующих распределений. Поиски параметров вновь приводят нас к методу наименьших квадратов, но в случае задачи классификации - это итерационный метод наименьших квадратов с перевзвешиваниями. #теорвер #machinelearning 1P.S. Возник некоторый затуп с пониманием того, почему максимизация правдоподобия, когда классы линейно разделимы, даст именно такой результат, который описан в тексте. Пока затуп не решён. 2P.S. В одном месте я сказал, что вот мол, тут должна быть, наверное, w_old. Это не так, w - это параметр, относительно которого вычисляется градиент. Градиент не зависит от w, поэтому w_old в формуле не упоминается. 3P.S. Я показывал не тот раздел таблицы матричных производных. Нужно 4 снизу тождество здесь: #Vector-by-vector_identities