Старший научный сотрудник, руководитель группы NLP Татьяна Шаврина, научный сотрудник Олег Сериков и младший научный сотрудник Виталий Протасов в этом году проводят воркшоп на ACL 2022, посвященный эффективным вычислениям в бенчмарках.
Бенчмарки сыграли решающую роль в ускорении прогресса в области NLP, охватывая широкий спектр направлений исследований: понимание естественного языка (GLUE, SuperGLUE), генерацию естественного языка (GEM), кросс-языковой перенос знаний (XGLUE, XTREME), пробинг и интерпретацию (LINSPECTOR, SentEval), оценку смещенности и предвзятость (HateCheck, StereoSet, HONEST) и устойчивости к атакам (RobustnessGym, AdvGLUE). Несмотря на то, что концепция бенчмаркинга стала стандартной практикой для сравнения будущих моделей друг с другом и с людьми, все еще остается ряд нерешенных вопросов и методологических проблем:
На семинаре обсудили:
- интерпретируемость моделей и бенчмарки
- вычислительную эффективность и энергопотребление в NLP
- новые практики измерения языковой компетенции в одно- и многоязычных тестах;
- критический анализ существующих методов оценки моделей
Делимся ссылками на страницы воркшопа:
13 views
4
0
2 months ago 00:13:52 1
McMurtry Spéirling Pure: Full Top Gear Test Track Review!
3 months ago 00:06:36 1
DDR5 6000 vs 6400 - Ryzen 9000 // Test in 6 Games
3 months ago 00:10:00 1
Ryzen 9 9900X vs 9950X// Test in Games 11 [w/ Ryzen Patch]
3 months ago 00:08:55 1
2024 Chery Omoda 5 - Glorious Compact SUV!
3 months ago 00:09:01 1
Ryzen 7 5800X3D vs 9700X // Test in 11 Games
3 months ago 00:04:26 2
Ghost of Tsushima - Jin Slaughters Terrified Mongols and Becomes THE GHOST
3 months ago 00:05:09 6
Starfield New Update - First Ever look at Land Vehicle REV-8, How to Get Vehicle
3 months ago 00:08:15 2
AMD Ryzen 7 9700X vs 7700X // Test in 10 Games
3 months ago 01:48:11 1
435. Firefox 129 и WebDriver BiDi, бета Chrome 128, import maps, JS-рантаймы, Chrome на iOS и ваниль
4 months ago 00:05:07 3
Days Gone - Deacon and Boozer Save Sarah and Enter Hell // Opening Scenes
4 months ago 00:07:28 1
Ryzen 7 7800X3D vs i9-14900K (New Performance Profile) // Test in 9 Games
4 months ago 00:00:46 1
Boost Your Website Traffic with Referral Visitors - Targeted Referral Traffic
4 months ago 00:03:37 1
EDIUS 11 Launch Trailer - EDIUS 11 out now!
4 months ago 00:04:07 7
Core i9 14900k vs Ryzen 9 7950x3D - Best Gaming CPU ?
4 months ago 00:09:06 2
RTX 3050 6GB vs RTX 3050 8GB - Test in 11 Games
5 months ago 00:03:33 22
Falcon BMS Trailer
5 months ago 01:25:55 1
Сборка Core 2 Quad Q9550 + HD 6950 в 2024 / Тест в 75 играх
5 months ago 00:08:31 2
RTX 4060 - Laptop vs Desktop // Test in 8 Games | 1080p