ИИИ Спортивный анализ данных - 9 лекция - + YandexGPT =

00:00 Машинное обучение может решать задачи анализа и синтеза, включая классификацию, регрессию, кластеризацию и снижение размерности. 01:07 Блокноты с примерами алгоритмов машинного обучения, включая линейную регрессию, классификацию, бустинг и другие. • Блокноты содержат примеры решения задач, тексты и картинки для лучшего понимания алгоритмов. 09:02 Пример задачи классификации, где нужно определить, являются ли комментарии о банке позитивными или негативными. 13:02 Задачи, которые могут быть решены с помощью нейронных сетей: реферирование, информационный поиск, классификация текста, анализ тональности, выделение именованных сущностей и фактов, а также работа с чат-ботами генерация и синтез речи. 20:57 Подготовка текста к анализу: • Чистка текста от ненужных символов, таких как знаки препинания, цифры и смайлики. • Разбиение текста на более атомарные сущности, называемые токенами, для дальнейшей обработки. 24:42 Разбиение текста на слова и удаление стоп-слов. Приведение слов к нормальной форме (лемматизация и стемминг). 30:37 Частотный подход • Ван-Хот кодирование: создание уникальных слов из текста и присвоение им порядковых номеров. • Преимущество: простота, но проблема большой размерности и не учитывает частоту встречаемости слов. 31:37 Тематическое моделирование: создание векторов на основе кластеризации слов. • Преимущество: уменьшение размерности, но не учитывает частоту встречаемости слов. 32:37 Дистрибутивная семантика: обучение векторов фиксированной длины на основе нейронных сетей. • Преимущество: учет частоты встречаемости слов, но требует обучения. 38:32 Частотные подходы к векторизации текста, включая TF-IDF и TF-IDF-DF. • TF-IDF учитывает частоту встречаемости слова в текущем документе и частоту встречаемости слова во всех документах. • TF-IDF-DF учитывает частоту встречаемости слова в текущем документе и частоту встречаемости слова во всех документах, а также их взаимное расположение. 45:12 Применение векторов для машинного обучения • Векторы, полученные с помощью TF-IDF или TF-IDF-DF, могут быть использованы в различных моделях машинного обучения, таких как наивный байесовский классификатор. • TF-IDF-DF может быть более эффективным, так как он учитывает взаимное расположение слов и может помочь в очистке стоп-слов и уникальных слов. 51:12 Дистрибутивная семантика - это подход, основанный на взаимной встречаемости слов, который может быть использован для построения векторов. • Глобе - это метод, который строит огромную смежную матрицу взаимной встречаемости слов, но может быть неэффективным для больших наборов данных. • FastText и DistMult - это нейросетевые методы, которые используют токенизацию текста на более мелкие сущности, такие как энграммы. 53:07 FastText - это метод обучения нейронных сетей, который использует энграммы для представления слов. • FastText может предсказывать новые слова, которые не встречались в обучающем наборе, благодаря использованию энграммы. 55:07 FastText использует подход обучения с контекстом, где контекст слова определяется его окружением. • FastText использует эмбединг-слой для хранения матрицы размером с количество слов и шириной, которую можно настроить. 01:01:02 Применение FastText для решения задач классификации, где классы соответствуют уникальным словам. • FastText также может использоваться для решения задач нахождения топ-10 синонимов или часто встречающихся слов. 01:04:02 Преобразование FastText в плоский вектор • FastText представляет собой матрицу, где каждое слово имеет свой вектор. • Для использования FastText в алгоритмах машинного обучения, необходимо преобразовать его в плоский вектор фиксированной длины. • Для этого можно использовать различные методы, такие как сложение или усреднение всех векторов, или взвешивание вклада каждого слова с помощью TF-IDF. 01:07:02 Применение векторов для классификации текстов • Векторы создаются из текстов, которые обрезаются и дополняются нулями до фиксированной длины. • Затем векторы используются для обучения моделей, таких как учетные записи векторайзеров и трансформаторы. 01:11:57 Применение векторов в соревновательной задаче классификации текстов. • Векторы очищаются от стоп-слов и других неинформативных слов. • Затем векторы применяются к различным алгоритмам, таким как учетные записи векторайзеров и трансформаторы. • Различные подходы к очистке векторов и их применению к различным алгоритмам. 01:20:52 Векторы для обучения модели: различные параметры, такие как частота слов и длина вектора. • Инграммы для обучения модели позволяют значительно сократить объем данных. 01:23:52 Использование векторов для классификации текста, используя различные модели, такие как SVMK, рандом форест и т.д. 01:27:47 Визуализация результатов классификации с помощью понижения размерности и показывает, что некоторые темы выделяются лучше, чем другие. • Как использовать word-to-vec для классификации текста, но отмечает, что результаты могут быть не очень хорошими из-за малого контекста и текста.