From Word Embedding to Bert

发表于 | 分类于 | | 阅读数 次
字数统计: 179 | 阅读时长 ≈ 1

From Word Embedding to Bert

Respect:

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 - 张俊林的文章 - 知乎 https://zhuanlan.zhihu.com/p/49271699

史上最全词向量讲解（LSA/word2vec/Glove/FastText/ELMo/BERT） - 韦伟的文章 - 知乎 https://zhuanlan.zhihu.com/p/75391062

NLP自然语言处理：文本表示总结 - 上篇word embedding（基于降维、基于聚类、CBOW 、Skip-gram、 NNLM 、TF-ID、GloVe ）

NLP自然语言处理：文本表示总结 - 下篇（ELMo、Transformer、GPT、BERT）

NNLM and word2vec:

NLP自然语言处理：神经网络语言模型（NNLM）

word2vec: 理解nnlm, cbow, skip-gram

GloVe:

GloVe:另一种Word Embedding方法

Transformer:

详解Transformer （Attention Is All You Need） - 大师兄的文章 - 知乎 https://zhuanlan.zhihu.com/p/48508221

0%