Few-shot Learning and Meta-Learning

未来的方向?我觉得超酷,那就尝试着去学习学习吧!
(当然有些遗憾,写了很多感慨,但是干货主要还是他人的blog哈哈,先学习吧,希望今后自己能够follow到前沿领域,然后写出有价值的东西分享给大家 :)

当前深度学习已经在很多领域和任务上取得了很优异的成绩,前两天看到的,在某些领域,当前AI的“感知”能力甚至已经超过了人类,下一步的方向是让AI学会认知,即不仅仅是建立在大数据训练和概率模型上的识别、发现,而是能够获得认知的能力,觉得还蛮酷的。也确实如此,像是之前看《数学之美》,看到上个世纪人们执着于让AI像人们一样学会语法、理解语言,但是最后反而很难提升,因为太难了,语境变化太大,很难掌握详细而全面的规则,也由此陷入了一个困境,而后慢慢兴起了基于数据与数理统计的方法,才重新唤起了人们对NLP的信心,甚至:

「每当我开除一个语言学家,语音识别系统就更准确了。」
Every time I fire a linguist, the performance of the speech recognizer goes up.
——现代语音识别和自然语言处理研究的先驱 Frederick Jelinek

确实很有趣,如今的NLP更是如火如荼,但往往伴随着的也就是超大规模的数据集和超大规模的模型,也取得了非凡的成功,但是最终,人们应该还是希望能够让AI真正的学会学习,所以这个方向的研究很难,但也很酷,也是今后的趋势吧。

而在迈向之后的“认知”,我们可以有很多方式可以向其迈进,比如更少的样本、更健壮的模型,都是一个个慢慢前进的过程吧,像是如今的刘海屏、挖孔屏,都是我们走上真正全面屏的过渡而已(虽然我还是觉得这些好丑哈哈),其思想和技术积累是很有价值的。而Few-shot Learning and Meta-Learning,一方面是两条很酷的方向,个人很感兴趣,另一方面,是在做图像聚类,其实我觉得图像聚类问题很多时候可以和few-shot Learning共通?所以也是慢慢入坑了解一下

参考资料

小样本学习——概念、原理与方法简介(Few-shot learning) - Serendipity的文章 - 知乎,基础概念讲得好,浅显易懂

Few-shot learning(少样本学习)和 Meta-learning(元学习)概述,总结了一下Few-shot Learning的主要方法,其中就包括Meta Learning,总结蛮好的,起码帮助我建立了一个宏观认识吧

MAML: Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (模型无关的元学习用于快速适应深度网络),还是上述的作者,其深入介绍了一种新的元学习 (Meta-learning) 的算法,是一种与模型无关,但是能够很好地适用于few-shot任务的框架,看了看其思想很朴素,但是很有意思,好像也很work,建议辅助论文阅读:Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks食用更佳,图解还有分析更加详细,Meta Learning – MAML还有李宏毅老师的课程,还有 MAML和pretraining的有本质区别吗? - 知乎 这个讨论

0%