知了AI学习平台Logo知了
🧠AI 冷知识

你知道吗?

这些有趣的 AI 小知识可能让你大吃一惊

🧤
GloVe的全局视野

Word2Vec用局部上下文窗口训练词向量,而GloVe用全局共现矩阵——它先统计所有词对在整个语料中一起出现的次数,再拟合向量。结果令人惊讶:GloVe的训练速度比Word2Vec快得多,因为在矩阵分解阶段可以充分利用并行计算。

一句话总结
💡

GloVe 基于全局共现矩阵学习词向量,FastText 则引入子词信息以处理 OOV 和形态丰富的语言。

常见误区

这些坑别踩

✗

误区 1

GloVe 和 Word2Vec 原理相同。

✓

正确理解

Word2Vec 基于局部上下文窗口,GloVe 利用全局共现统计,优化目标不同。

✗

误区 2

FastText 只是 Word2Vec 的加速版。

✓

正确理解

FastText 的核心是子词建模,能处理未登录词,这是 Word2Vec 做不到的。

✗

误区 3

GloVe 的向量可以直接用于任何任务。

✓

正确理解

词向量是预训练产物,下游任务常需微调或配合任务适配层。