
李勇,博士,东南大学计算机科学与工程学院、软件学院、人工智能学院副教授,香江学者,江苏省双创博士,入选教育部海外博士后引才专项(国家级引才计划)。主要从事多模态大模型、计算机视觉与情感计算相关研究,致力于推动前沿人工智能技术在具身智能机器人,智慧医疗,康复评估等真实场景中的落地应用。以第一作者或通讯作者在 IEEE TPAMI、TIP、TAC、CVPR、ICCV、NeurIPS 等国际期刊与会议发表多篇学术论文,部分会议论文入选 Oral / Highlight,并多次在国内外学术会议作报告。更多介绍:个人主页;Google学术主页。
2020年博士毕业于中国科学院计算技术研究所,导师为中科院计算所所长助理,IEEE Fellow,计算所智能信息处理重点实验室主任山世光教授,博士论文《开放场景中面部表情分析方法研究》入选中国图象图形学学会优秀博士学位论文(全国每年10篇)。2022—2024年在香港城市大学与新加坡南洋理工大学留学和工作,执行“早期阿尔兹海默症患者康复训练范式效果精准评估”课题,相关成果已在智慧养老与康复评估场景中落地应用,并获得高度评价。在产业合作方面,他领衔研发的自监督人脸表情运动单元分析技术已应用于华为公司数字人项目,三维人脸重建模型已在江苏小视科技有限公司实现工程化应用;同时,与国内头部机器人企业及蚂蚁集团开展长期合作,主持情感陪护机器人与智慧医疗等科研合作课题,推动“算法—模型—应用”一体化研究。
学术服务方面,他担任SCI一区期刊 Pattern Recognition副编辑(Associate Editor),并任中国图象图形学学会优秀博士俱乐部副秘书长,长期组织优博论坛与专题学术研讨,积极服务学术共同体。课题组定期邀请国内外一流高校的教师、博士后与博士开展学术与技术交流,拓展学术视野并推动国际合作。
欢迎有志于从事人工智能、计算机视觉、多模态大模型与情感计算等方向研究的优秀本科生报考我的研究生。请将个人简历发送至邮箱 yong.li [at] seu.edu.cn,以便进一步交流与沟通。同时也欢迎大一至大三的本科生同学进入实验室参与科研交流学习。本课题组提供深度学习,LLM相关培训指导,也提供和国内外知名学者面对面交流及深入合作机会,优秀学生可推荐至合作大厂实习。对学生的期望与基本要求:有诚信,编程能力扎实,有责任心与自驱力。有深度学习及LLM相关基础,有科研兴趣与学术信仰的小伙伴优先。非常欢迎有ACM,NOI等相关竞赛获奖(参赛)经历的学生!
曾指导/协助指导学生毕业去向:
蔡昕,香港中文大学MM-Lab(读博)
刘含宇,美国布朗大学(读硕)
任懿,蚂蚁集团
夏立凡,华为(南京)
劳灵杰,MEGVII旷视科技(北京)
【招收硕士生、本科实习生】(当前招收2027年秋季入学保研学生)
构建有“温度”的通用人工智能:大模型驱动的多模态情感智能
在人工智能迈向通用化(AGI)的征途中,理解人类的情感与意图是填合“人机鸿沟”的关键。本课题组专注于多模态大模型(Large Multi-modal Models)、计算机视觉、情感计算(Affective Computing)、数字人等方面的前沿及交叉研究。
我们不满足于让机器“看清”和“听懂”,更致力于让算法/模型具备:
l 深层语义共情:跨越文本、语音、视觉、生理信号(脑电等)维度的情感协同表征、对齐。
l 复杂场景理解:在非结构化环境中捕捉细微的人类心理状态。
l 交互式演进:利用大模型的推理能力,实现具备情感感知力的自然交互。
2016-2020,中国科学院计算技术研究所,博士
2015-2016,百度,高级软件研发工程师
2012-2015,郑州大学&中国科学院计算技术研究所,硕士
2008-2012,郑州大学,本科
l 香港城市大学, 中国, 香港
l 博士后研究员, 2022-2023
l 南洋理工大学, 新加坡
l 研究员, 2023-2024
l 百度,中国,北京
l 高级软件研发工程师, 2015–2016
国家自然科学基金面上项目: 复杂场景多模态协同增强的情感分析与识别,2026/1-2029/12,在研,主持。
蚂蚁集团校企合作项目:交错特征混合与强化学习驱动的多模态用户体验诊断大模型研究,2025/11-2026/11,在研,主持 (每年可派2名实习生赴蚂蚁集团参与课题研究)。
东南大学揭榜挂帅项目:医疗康复游戏自动生成/调整算法研究,2025/10-2026/12,在研,主持。
香港地区大学教育资助委员会资助课题:科技增强的认知干预与照护支持效果评估,AI方向负责人,2022/12-2024/12,项目简介
新加坡教育部Tier-2资助项目:Effective Emotion Recognition from Neurophysiological Signals,2024/08-2026/08,AI方向负责人。
Yong Li,Yuanzhi Wang, Yi Ding, Ke Lu, Shiqing Zhang, Cuntai Guan. Decoupled Hierarchical Distillation for Multimodal Emotion Recognition,IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),2026,CCF-A,中文介绍:链接
Yong Li,Yufei Sun,ZhenCui,Pengcheng Shen,Shiguang Shan.Instance-Consistent Fair Face Recognition.IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),2025,CCF-A,文章的图3展示了近10年代表性(大规模)人脸识别技术的演进历程
Yong Li,Jiabei Zeng,Shiguang Shan,Learning Representations for Facial Actions from Unlabeled Videos,IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),2022,CCF-A
Yuanzhi Wang,Yong Li*,Zhen Cui*,Incomplete multimodality-diffused emotion recognition,Neural Information Processing Systems(NeurIPS),2023,CCF-A
Yuanzhi Wang,Zhen Cui*,Yong Li*,Distribution-Consistent Modal Recovering for Incomplete Multimodal Learning, Proceedings of the IEEE Conference on International Conference on Computer Vision (ICCV),2023,CCF-A
Yong Li,Menglin Liu,Zhen Cui,Yi Ding,Yuan Zong,Wenming Zheng,Shiguang Shan,Cuntai Guan,Decoupled Doubly Contrastive Learning for Cross Domain Facial Action Unit Detection,IEEE Transactions on Image Processing (TIP),2025,CCF-A,中文介绍:链接
Peng Wang,Yong Li,Lin Zhao,Xiu-Shen Wei,Learning Attribute-Aware Hash Codes for Fine-Grained Image Retrieval via Query Optimization,International Conference on Machine Learning(ICML),2025,CCF-A
Yong Li,Yi Ren,Xuesong Niu,Yi Ding,Xiu-Shen Wei,Cuntai Guan,Beyond Overfitting: Doubly Adaptive Dropout for Generalizable AU Detection,IEEE Transactions on Affective Computing (TAC),2025,CCF-B
Yi Ding#,Yong Li#,Hao Sun,Rui Liu,Chengxuan Tong,Chenyu Liu,Xinliang Zhou,Cuntai Guan,EEG-Deformer: A Dense Convolutional Transformer for Brain-computer Interfaces,IEEE Journal of Biomedical and Health Informatics(J-BHI),2024,CCF-B
Yong Li,Yuanzhi Wang,Zhen Cui,Decoupled Multimodal Distilling for Emotion Recognition, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2023(Highlight,录用率:2.5%),CCF-A
Lifan Xia,Yong Li*,Xin Cai,Zhen Cui,Chunyan Xu, Antoni B.Chan, Collaborative Contrastive Learning for Cross-Domain Gaze Estimation,Pattern Recognition(PR),2024,CCF-B
Yong Li,Shiguang Shan,Contrastive Learning of Person-independent Representations for Facial Action Unit Detection, IEEE Transactions on Image Processing (TIP),2023,CCF-A
Yong Li,Lingjie Lao,Zhen Cui,Shiguang Shan,Jian Yang,Graph Jigsaw Learning for Cartoon Face Recognition, IEEE Transactions on Image Processing (TIP),2022,CCF-A
Yong Li,Jiabei Zeng,Shiguang Shan,Xilin Chen,Occlusion aware facial expression recognition using cnn with attention mechanism,IEEE Transactions on Image Processing(TIP),2019,CCF-A,ESI高被引
Yong Li,Jiabei Zeng,Shiguang Shan,Xilin Chen,Self-supervised representation learning from videos for facial action unit detection, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2019,Oral,CCF-A
任懿,李勇,“一种基于多模态协同优化的情感识别方法”,ZL202511414703.3,2025.09.30
李勇,“一种基于双重对比学习的跨域人脸面部运动单元检测方法”,ZL202311142081.4,2024.06.25
李勇,“一种基于特征解耦和图知识蒸馏的多模态情感识别方法”,ZL202310096857.7,2023.08.11
廖继平,李勇,曾加贝,张杰,阚美娜,山世光,“亲属识别网络模型的训练方法及装置”,ZL201711479738.0,2021.08.20,专利简介
2025年入选教育部海外高层次引才计划
2025年入选CCF-蚂蚁校企合作(课题名称:交错特征混合与强化学习驱动的多模态用户体验诊断大模型研究)
2022年中国多媒体大会最佳海报奖(通讯作者,论文题目:Context-dependent Emotion Recognition)
2022年获香港城市大学(CityU)香江学者 称号
2021年获中国图像图形学学会 优秀博士学位论文
2017年美国加州ACM多媒体会议亲属关系验证挑战赛 冠军