Word2vec

Word2vec — общее название для совокупности моделей на основе искусственных нейронных сетей, предназначенных для получения векторных представлений слов на естественном языке. Используется для анализа семантики естественных языков, основанный на дистрибутивной семантике, машинном обучении и векторном представлении слов. Программное обеспечение под названием «word2vec» было разработано группой исследователей Google в 2013 году^[1][2]. Инструменты для создания векторно-семантических моделей существовали и ранее^[3][4], но word2vec стал первой популярной реализацией: в первую очередь из-за удобства использования, открытого исходного кода и скорости работы.^{[источник не указан 1845 дней][5]}

Работа программы осуществляется следующим образом: word2vec принимает большой текстовый корпус в качестве входных данных и сопоставляет каждому слову вектор, выдавая координаты слов на выходе. Сначала он генерирует словарь корпуса, а затем вычисляет векторное представление слов, «обучаясь» на входных текстах. Векторное представление основывается на контекстной близости: слова, встречающиеся в тексте рядом с одинаковыми словами (а следовательно, имеющие схожий смысл), будут иметь близкие (по косинусному расстоянию) векторы. Полученные векторные представления слов могут быть использованы для обработки естественного языка и машинного обучения.

В word2vec реализованы два основных алгоритма обучения: CBoW (англ. Continuous Bag of Words, «непрерывный мешок со словами», англ. bag — мультимножество) и Skip-gram.

• CBoW — архитектура, которая предсказывает текущее слово, исходя из окружающего его контекста.
• Архитектура типа Skip-gram действует наоборот: она использует текущее слово, чтобы предугадывать окружающие его слова.

Построение модели word2vec возможно с помощью двух данных алгоритмов. Порядок слов контекста не оказывает влияния на результат ни в одном из этих алгоритмов.

Получаемые на выходе векторные представления слов позволяют вычислять семантическое расстояние между словами. Так, можно находить похожие по значению слова. Обычно приводят пример с королём и королевой:

${\displaystyle {\overrightarrow {\text{королева}\approx {\overrightarrow {\text{король}-{\overrightarrow {\text{мужчинa}+{\overrightarrow {\text{женщинa}$

Word2vec выполняет прогнозирование на основании контекстной близости этих слов. Так как инструмент word2vec основан на обучении простой нейронной сети, чтобы добиться его наиболее эффективной работы, необходимо использовать большие корпусы для его обучения. Это позволяет повысить качество предсказаний.

В 2010 году Томаш Миколов (на тот момент работавший в Брненском техническом университете) вместе с соавторами применил простую рекуррентную нейронную сеть с одним скрытым слоем для языкового моделирования.^[6]

Алгоритм Word2vec был разработан, запатентован^[7] и опубликован в 2013 году группой исследователей под руководством Миколова в Google в двух научных статьях. Первоначальная статья была отклонена рецензентами конференции ICLR в 2013 году. Также потребовались месяцы, чтобы код получил одобрение на публикацию с открытым исходным кодом. Позднее другие исследователи проанализировали и объяснили алгоритм.^[8]

Векторы вложений, создаваемые с использованием алгоритма Word2vec, имеют преимущества по сравнению с ранними подходами, такими как n-граммы и латентно-семантический анализ.

Алгоритм GloVe, разработанный командой из Стэнфорда, был создан как конкурент Word2vec. В оригинальной статье о GloVe были указаны улучшения по сравнению с Word2vec.^[9] Однако Миколов утверждал, что сравнение было некорректным, так как GloVe обучался на большем объёме данных. Он также отметил, что проект fastText демонстрирует превосходство Word2vec при обучении на одинаковых данных.^[10]

По состоянию на 2025 год подход Word2vec считается устаревшим для большинства задач. Однако он продолжает использоваться в нишевых приложениях, где требуется высокая вычислительная эффективность или ограниченные ресурсы. Например, Word2vec используется для обработки текстов на редких языках и для задач с небольшими объёмами данных, где современные трансформерные модели оказываются слишком ресурсозатратными.

Модели на основе трансформеров, такие как ELMo, BERT, GPT и другие, стали стандартом в обработке естественного языка (NLP). Они превосходят Word2vec по многим метрикам, добавляя несколько слоёв внимания и позволяя учитывать контекст на уровне всего текста. Тем не менее, развитие Word2vec и подобных алгоритмов продолжается: появляются модификации, ориентированные на специфические задачи, такие как мультиязыковая обработка или интеграция с квантовыми вычислениями.

Современные исследования продолжают изучать взаимосвязь между традиционными методами, такими как Word2vec, и новыми архитектурами. Это позволяет находить компромиссы между точностью, скоростью работы и вычислительными затратами, что особенно важно для практического применения.

• Дистрибутивная семантика
• Векторное представление слов

• Mikolov T., Chen K., Corrado G., Dean J. Efficient Estimation of Word Representations in Vector Space // In Proceedings of Workshop at ICLR. — 2013a.
• Mikolov T., Yih W.-T., Zweig G. Linguistic Regularities in Continuous Space Word Representations // In Proceedings of NAACL HLT. — 2013b.
• Bengio Y., Ducharme R., Vincent P. A neural probabilistic language model // In Journal of Machine Learning Research. — 2003.
• Collobert R., Weston J. A unified architecture for natural language processing: Deep neural networks with multitask learning // In Proceedings of the 25th ICML. — 2008.

• https://code.google.com/archive/p/word2vec/
• RusVectōrēs — пример применения к русскому языку

Реализации на разных языках программирования

• C
• C++
• Java/Scala
• Python
• Python