Современные Хопфилдовские нейронные сети в машинном обучении и нейробиологии, Дмитрий Кротов

Дмитрий Кротов, MIT-IBM Watson AI Lab, IBM Research, Кембридж, штат Массачусетс, США. Современный Хопфилдовские Сети, или модели Плотной Ассоциативной Памяти, представляют собой нейронные сети с набором фиксированных точек аттракторов к которым сходится реккуррентная динамическая траектория в пространстве нейтронных состояний. В отличие от классических Хопфилдовских сетей, их современная модификация позволяет записывать и хранить экспоненциально большое количество памятей. Благодаря этому, с их помощью можно решать многие интересные задачи в машинном обучении и использовать эти математические модели для описания биологической памяти. Дмитрий рассказал про математическую теорию этих моделей и про конкретные задачи где эти идеи оказываются полезными. Также он привел примеры этих моделей которые сводятся в предельных случаях к нейронным сетям которые используются на практике (например механизм внимания в трансформерах). Дополнительные материалы от спикера Идеи, которые Дмитрий обсудил на вебинаре, были упомян