NLP-блок курса "Практический анализ данных" (ФКН НИУ ВШЭ)

Содержание

1. Введение

* Задачи и техники компьютерной лингвистики * Проблемы автоматической обработки естественного языка * NLP-библиотеки для Python * Предобработка теста - Токенизация - Разбиение на предложения - Нормализация (исправление опечаток, удаление пунктуации, преобразование регистра) - Стоп-слова - Стемминг * Морфологический анализ - Лемматизация - Частеречная разметка * Частотный анализ текста - Корпуса - ipm - Законы Ципфа и Хипса - N-граммы * Полезные ссылки

2. Регулярные выражения

* Синтаксис регулярных выражений * Регулярные выражения в Python

3. Векторизация текста

* Счетные и предсказательные векторные модели * Матрица «терм - документ» * One-hot кодирование * Мешок слов * Tf-idf взвешивание * Матрица совместной встречаемости слов * Метрики совместной встречаемости слов * Case study: задача классификации в NLP - Определение языка - Классификация текстов по темам ### 4. Эмбеддинги * word2vec * doc2vec * Библиотека gensim * RusVectores * FastText * GloVe * BPE * Оценка качества векторной модели - word similarity - аналогии

5. Снижение размерности векторной модели

* Сингулярное разложение * Метод главных компонент (PCA) * LSA (LSI, TruncatedSVD) * t-SNE * Совмещение линейных и нелинейных методов снижения размерности * Case study: задача кластеризации в NLP

6. Тематическое моделирование

* Применение тематических моделей * Латентно-семантический анализ (LSA/LSI) * Вероятностный латентно-семантический анализ (pLSA/pLSI) * Латентное размещение Дирихле (LDA) * ARTM * Визуализация и интерпретация тематических моделей ### 7. Языковые модели * Счетные и предсказательные языковые модели * Применение языковых моделей * Модель мешка слов * Модель N-грамм - Марковское свойство n-ного порядка - Метод максимального правдоподобия - Сглаживание - Оценка качества языковой модели: перплексия - Модели N-грамм в NLTK * Нейросетевые языковые модели - Нейросети прямого распространения (FNN) - Рекуррентные нейросети (RNN) - Долгая краткосрочная память (LSTM) * Дополнительное чтение: BERT, ELMo, ULMFiT ### 8. SENNA * Применение * Архитектура - Window-approach - Sentence-approach * Word-level Log-likelihood * Case study: частеречная разметка (POS-tagging) с помощью архитектуры SENNA ### 9. Пишем нейросеть с нуля (бонус) * Что такое нейросеть * Подготовка данных * Инииализация и обновление весов * Функции активации * Функции ошибки * Обратное распространение ошибки * Тестирование и оценка качества (на примере задачи классификации) При подготовке курса использованы материалы Екатерины Артемовой, Марии Пономаревой и Мурата Апишева.