Математика больших данных 11. Локальные методы распределенного обучения. Сжатие в распределенном обучении

Темы: Локальные методы распределенного обучения. Локальный (стохастический) градиентный спуск: особенности сходимости, нижние и верхние оценки. Понятие о похожести локальных функций: похожесть градиентов и похожесть гессианов. Лемма Хеффдинга для оценки похожести гессианов. Метод зеркального спуска для распределенной задачи в условиях похожести. Зеркальный спуск, как техника слайдинга/скольжения. Модификации и обобщения зеркального спуска для распределенной задачи в условиях похожести. Сжатие в распределенном обучении. Несмещенные операторы сжатия. QSGD: метод, особенности сходимости. Смещенные операторы сжатия. Техника компенсации ошибки. Сходимость QSGD с техникой компенсации ошибки. Техника памяти: EF21 и DIANA. Сходимость до точного решения с помощью техники памяти. Дата лекции: Лектор: Александр Безносиков (МФТИ) Оператор: Зинин Роман Монтажёр: Зинин Роман Плейлист на YouTube: Плейлист в ВК: