近日，我院薛晖教授团队和吴天星副教授团队分别在第32届国际多媒体会议（ACM International Conference on Multimedia, ACM MM）、第47届国际信息检索大会（International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR）获最佳论文提名和最佳短文提名。
发表在ACM MM2024上的论文 “Reproducing the Past: A Dataset for Benchmarking Inscription Restoration”，第一作者为朱士鹏博士，薛晖教授为通讯作者。针对古代石碑碑文遭受不同程度的损害，从而导致大量历史信息丢失这一问题，以数字化拓片图像为基础，将碑拓文本修复视为多模态处理任务，并利用人工智能方法加以解决。
图1 CIRI中合成与真实碑拓文本图像示例
论文首次构建了一种汉语碑拓文本图像数据集（Chinese Inscription Rubbing Image, CIRI），其中包含了多种书法风格、复杂文字结构以及不同缺损程度的真实碑拓文本图像。进一步地，开发了一种合成方法以生成“完好-缺损”的配对数据，准确地模拟了真实碑文的缺损情况（如图1所示）。基于上述数据集，设计了一种渐进式基线框架，通过“全局视觉修复-文本内容修正-局部字符精修”三阶段对碑拓文本图像进行多模态校准，从而实现具有视觉一致性与文本完整性的修复效果。论文所提出的修复框架在视觉呈现上展示出优异性能，能够有效地识别和重建具有复杂布局的受损汉字（如图2所示）。此外，在使用CIRI中合成数据集进行训练后，各种修复模型在真实的缺损碑拓图像上均展示出一定的修复能力，这验证了CIRI数据集对于真实缺损碑拓文本图像的良好模拟。该研究展现出在文化遗产保护领域的重要意义及潜在价值。
图2 修复结果示意图
发表在SIGIR2024上的论文 “unKR: A Python Library for Uncertain Knowledge Graph Reasoning by Representation Learning”的通讯作者为吴天星副教授，第一作者为其指导的硕士研究生王靖婷。论文发布了国际首个专注于不确定性知识图谱推理的开源工具unKR（https://github.com/seucoin/unKR）。它使用一套统一的框架（如图3所示）复现了9种广受认可的不确定性知识图谱表示学习与推理模型，通过模块化架构设计提供自定义功能，使得研究人员和开发者能够灵活地调整、优化、开发模型，以适应特定的应用场景或研究需求，并面向多个基准数据集构建统一的评估体系，展现了优异的兼容性与扩展性。此外，该工作设计用于置信度预测与链接预测的提示并在开源大模型上做了参数高效微调，实验发现微调后的大模型具备在不确定性知识图谱上执行推理的能力，在特定数据集上能够获得最先进的效果。未来基于大模型技术进一步提升现实场景的不确定性知识图谱推理能力是知识推理研究的重要方向。
图3 unKR工具设计框架
ACM MM是中国计算机学会（CCF）推荐的A类国际学术会议，本届会议接收有效投稿4385篇，录用论文1149篇（录用率26.2%），其中26篇论文被评选为最佳论文提名。
SIGIR是中国计算机学会（CCF）推荐的A类国际学术会议，2024年有效投稿1440篇，录用356篇（录用率24.7%），其中21篇获最佳长文提名，13篇获最佳短文提名。
（文：孔德华/图：朱仕鹏、吴天星/审核：吴天星）