Максим Пантелеев | Text deduplication on social media data
Data Fest Online 2021
NLP in Industry track
Всем привет! Меня зовут Пантелеев Максим и в этом докладе я хочу рассказать об одной часто встречающейся задаче в обработке естественного языка - дедупликация текстового массива. Эта задача часто встречается в анализе пользовательских обращений, твитов, так и как один из этапов подготовки данных для тренировки сложных моделей, н/п BERT/GPT и тд. Расскажу сходствах и отличиях этой задачи от задачи кластеризации, об основанных на поиске ближайших соседях подходах и не только, сравню качество работы выбранных методов дедупликации на некоторых известных датасетах, а так же ответить на вопрос как влияют на качество дедубликации существующие эмбеддинги текстов, н/п такие как USE/fasttext/word2vec/glove/tfidf и т.д.
Посмотреть эфир и список треков и организаторов:
Зарегистрироваться на фест и получить доступ к трекам:
Вступить в сообщество:
Соцсети Data Fest:
2 views
190
33
1 month ago 00:12:49 94
. Чемпионат мира. (HD) Россия - Латвия
1 month ago 00:16:55 54
[алена олейник] “Кажется, навсегда“ - короткометражный фильм о чувстве, которое вы будете помнить всю жизнь
1 month ago 00:55:12 328
Технологический саммит TNF в Тюмени
2 months ago 00:04:15 196
Переворот 1-4 Серия Сюжет и дата выхода Сериал Домашний
2 months ago 00:02:02 1
БИТВА ПАП I Трейлер I В кино с 10 октября
3 months ago 00:10:26 1
Она манит аномально | трейлер к... Самарской области
3 months ago 00:02:11 19
Осечка по буллитам: как прошла встреча ХК «Ростов» с «Нефтяником»
3 months ago 00:16:56 1
“Кажется, навсегда“ - короткометражный фильм о чувстве, которое вы будете помнить всю жизнь
3 months ago 00:03:53 1
Если Бог строит дом | ЮС 2023 | Wolrus Worship | Милеуша Шаламова (LIVE)
3 months ago 00:02:02 24.2K
Битва пап | Трейлер | В кино с 10 октября
3 months ago 01:30:07 10
СШ «Центр развития спорта» — JOKER TATTOO — 2:7. Чемпионат Иркутска, Группа A. 4 тур,
3 months ago 00:06:53 1
Совершенный Мир |Wolrus WORSHIP & Milleusha (LYRIC VIDEO)
3 months ago 00:04:14 863
Велобиатлон-2024
3 months ago 00:03:27 1.4K
Лучший по профессии - 2024. Работники железнодорожного комплекса
3 months ago 01:44:49 12
de-duplication in CV // Демо-занятие курса «Компьютерное зрение»
3 months ago 00:30:06 2
Максим Пантелеев | Text deduplication on social media data
3 months ago 00:30:28 1
Максим Пантелеев - Beyond global sentiment object aspect sentiments
3 months ago 00:01:06 3
Максим Пантелеев: Тext deduplication on social media data
4 months ago 00:02:16 85
Первая домашняя победа хоккейного «Ростова»
4 months ago 00:26:22 141
Обзор антологии о корона-вирусе (Covid-19) “Возврату не подлежит“