报告题目:机器学习的“基因”:让机器像人一样学习
报告摘要:深度学习技术已在固定的大规模数据集上展现出优异的性能。然而在开放世界场景中,该技术通常面临着不能正确识别未知类别、过度参数化和过拟合小样本等挑战。现实场景中的生物系统可以很好地克服上述困难,这是因为生物个体可以继承来自集体种群数亿年进化浓缩出的基因,然后通过几个样例学习新技能。受此启发,我们提出了一种实用的集体个体学习范式。其中可扩展的集体模型在任务上持续训练,然后再识别现实世界中的未知类别。此外,我们提出了学习基因的概念,即学习目标模型初始化规则的基因。学习基因首先继承来自集体模型的元知识,然后在目标任务上重建一个轻量级的个体模型。特别地,根据梯度信息,我们提出了一种新的标准来发现集体模型中的学习基因。最后,针对目标学习任务的个体模型仅使用少量样本即可完成训练。我们通过实验结果和理论分析证明了我们方法的有效性。
个人介绍:
王秋锋,东南大学计算机学院博士生,研究方向是机器学习,目前专注于元学习和持续学习。