数字文化遗产安全保护与利用关键技术研究

本研究面向文博行业数字文化遗产数据的智能加工过程，以技术创新打破传统文博领域对数据的处理方法，在充分考虑文物领域数据特性的基础上，基于深度学习、计算机视觉等新兴人工智能技术研究建设数字文化遗产数据智能化分析及理解的成体系的系列技术。构建的智能化分析及理解系列技术包含从数据集构建、标注平台、目标分割/检测/分类等一系列关键技术，形成了“文化遗产数据标注工具—标准数据集—智能计算引擎”的技术链条，从而从技术层面实现了数字文化遗产数据基础分析及理解的智能化。本课题组的主要成果包含了标准数据集构建与智能计算引擎构建两方面。

（1）数字文化遗产数据集

课题组构建了适用于文博领域数据标注加工业务流程的半自动标注平台，并提供基于深度学习的自动图像分割及检测工具、多人共享标注及专家协作模式。目前，该半自动标注平台已在敦煌研究院和湖南博物院部署使用，使用效果反馈良好。基于该平台，形成了针对图像分类、检测、分割等基础智能化分析任务的高质量数字文化遗产图像数据集，涵盖敦煌莫高窟壁画及湖南博物院器物/纹饰的二维图像数据及标注，总计16042张图像、209个类别，为数字文化遗产智能理解与分析技术研发提供了有力的数据支撑。

图1：数字文化遗产数据集

（2）数字文化遗产智能计算引擎

课题组充分考虑了文物图像存在内容缺失、风格差异大、图像画幅大和长尾效应严重等特点，基于深度学习原理，针对图像分类、目标检测、语义分割、协同分割和点云语义分割等智能化分析任务进行模型构建，并在标准数据集上进行技术实验和验证，取得了良好的技术指标效果，其中语义分割、长尾分类等创新算法对比目前先进算法获得明显的精度提升。同时，结合支持跨平台的国产化深度学习开发工具TensorLayerX，将上述分析技术集成为智能计算引擎OpenDCH。该引擎支持跨平台、跨硬件、跨计算引擎开发，具有很好的实用性，目前已在敦煌研究院和湖南博物院部署使用，使用效果反馈良好。

图2：数字文化遗产智能计算引擎

本课题组围绕上述主题，共发表了CCF-A/CCF-T1论文6篇，申请中国发明专利5项，获批软件著作权5项；相应成果已在敦煌研究院和湖南博物院进行部署使用。

论文：

[1] Di Lin, Dingguo Shen, Yuanfeng Ji, Siting Shen, Mingrui Xie, Wei Feng, Hui Huang. TAGNet-Learning Configurable Context Pathways for Semantic Segmentation. TPAMI, 2022, 45(2): 2475-2491.

[2] Tingliang Feng, Wei Feng, Weiqi Li, Di Lin. Cross-Image Context for Single Image Inpainting. NeurlPS, 2022

[3] Tingliang Feng, Hao Shi, Xueyang Liu, Wei Feng, Liang Wan, Yanlin Zhou, Di Lin. Open Compound Domain Adaptation with Object Style Compensation for Semantic Segmentation. NeurlPS, 2023.

[4] Ruijun Gao, Qing Guo, Felix Juefei-Xu, Hongkai Yu, Huazhu Fu, Wei Feng, Yang Liu, Song Wang. Can You Spot the Chameleon? Adversarially Camouflaging Images from Co-Salient Object Detection. CVPR, 2022.

[5]高瑞均, 郭青, 余洪凯, 冯伟.基于雾扰动的图像分类对抗性攻击方法. 中国科学：信息 科学, 2023,53(02):309-324.

[6]Weiqi Li, Fan Lyu, Fanhua Shang, Liang Wan, Wei Feng. Long-Tailed Learning as Multi-Objective Optimization. AAAI,2024.

发明专利：

[1]林迪、冯廷亮、万亮、冯伟.一种基于跨图像上下文记忆的图像修复方法. 202210330146.7[P].

[2]林迪、陈浩然、冯廷亮、万亮、冯伟.一种基于可配置上下文路径的图像语义分割方法.202210361433.4[P]

[3] 冯伟;冯廷亮;林迪;万亮;刘雪阳;安慧莉.基于对象级别差异记忆的开放混合域适应图像分割方法. 2023107472587

[4]林迪,陈浩然,万亮,冯伟.一种基于跨点云上下文信息的点云语义分割方法.2023101480170[P]

[5] 冯伟,吕凡,万亮,尚凡华,王春雪,周颜林,李炜骐. 一种基于非对称距离优化的并行连续学习方法. 2023107017341[P]

软件著作：

[1] 软件名称：数字敦煌开发标注任务管理系统V1.0，登记号：2022SR040624

[2] 软件名称：数字敦煌开发数据标注系统V1.0，登记号：2022SR0406242

[3] 软件名称：数字敦煌开发数据集管理系统V1.0，登记号：2022SR0406247

[4] 软件名称：数字文化遗产数据智能理解系统V1.0，登记号：2023SR1288244

[5] 软件名称：数字文化遗产高分辨率及跨域图像处理与利用系统V1.0，登记号：2023SR1290021

项目：

国家重点研发计划：数字文化遗产安全保护与利用关键技术研究和示范项目（2020YFC1522700，万亮）