Иван Лазаревич | Компрессия нейронных сетей без перетренировки путём послойной калибрации в OpenVINO

ODS Summer of Code 2021 | Intel & SberCloud track Спикер: Иван Лазаревич, Intel В докладе будет представлен алгоритм послойной калибрации нейронных сетей, позволяющий осуществлять их компрессию (квантизацию и прунинг весов) без перетренировки с незначительным ухудшением целевых метрик качества моделей. Реализованный в OpenVINO алгоритм компрессии моделей позволяет осуществлять их сжатие и калибрацию на CPU в случае отсутствия данных для осуществления калибрации, то есть через единственный вызов API. Такой подход позволяет достигать выдающихся результатов при компрессии без данных, в частности было достигнуто уменьшение top@1 точности на ImageNet в пределах 1.5% для ResNet50 с прунингом 50% весов. При наличии небольшого калибрационного датасета, был получен квантизованный в int8 ResNet50 с прунингом 65% весов с уменьшением top@1 точности, не превышающим 1%. Зарегистрироваться на ODS Summer of Code и получить доступ к проектам и трекам: