Распознавание образов и машинное обучение. Чтение 38. Гауссовские процессы

Случайная величина описывает реализации некоторых событий векторами конечной длины. Но не всегда достаточно такого описания. Например, траекторию броуновского движения частицы хотелось бы описывать случайной функцией от времени. К идее случайных функций можно прийти и через переформулировку задачи о линейной регрессии: случайно выбирая вектора коэффициентов, можно получать различные функции, распределение которых задаётся распределением коэффициентов. Можно забыть о коэффициентах и работать напрямую с получающимися случайными функциями, которые формально можно представить, как функции из некоторого множества параметров (например из времени - множества вещественных чисел; но это не обязательно всегда время) во множество случайных величин. Такие отображения называются в общем случае случайными процессами. На практике нам доступны реализации такого процесса Y в конечном наборе точек {Y(x_i) = t_i; i = 1, N}. Y(x_i) - это случайная величина, t_i - одно из её возможных значений. Особенности случайных процессов определяются особенностями таких совместных распределений p(t_1, ..., t_N), которые являются функциями от набора векторов {x_i}. Гауссовские процессы - это такие процессы, для которых эти распределения являются нормальными. Нормальное распределение задаётся двумя параметрами: центром и матрицей ковариаций. В нашем рассуждении мы полагаем, что центр находится в нуле, а матрица ковариаций случайных величин y(x_i) как раз и задаётся некоторым ядром k: cov(y(x_i), y(x_j)) = k(x_i, x_j). Используя такое представление, описываем получающиеся нормальные распределения. Изучаем влияние выбора ядра на получившийся случайный процесс. #теорвер и #machinelearning, #иммуроран и прикладной #матан Без рекламы и прочих vk-неудобств записи доступны здесь: