From Word Embedding to Bert
Respect:
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 - 张俊林的文章 - 知乎 https://zhuanlan.zhihu.com/p/49271699
史上最全词向量讲解(LSA/word2vec/Glove/FastText/ELMo/BERT) - 韦伟的文章 - 知乎 https://zhuanlan.zhihu.com/p/75391062
NLP自然语言处理:文本表示总结 - 上篇word embedding(基于降维、基于聚类、CBOW 、Skip-gram、 NNLM 、TF-ID、GloVe )
NLP自然语言处理:文本表示总结 - 下篇(ELMo、Transformer、GPT、BERT)
NNLM and word2vec:
word2vec: 理解nnlm, cbow, skip-gram
GloVe:
Transformer:
详解Transformer (Attention Is All You Need) - 大师兄的文章 - 知乎 https://zhuanlan.zhihu.com/p/48508221