1. 高精度医学影像分割
受限于医学影像的成像特点，目前基于深度学习的分割仍面临小病灶区域分割精度不高、模糊边界难以检测的问题，我们在多种分割任务上进行了深入探索[1]-[4]。针对脑膜瘤以及脑水肿的多模态病灶分割任务，提出NestedFormer模型[1]（图1），通过提取多模态MRI的模态内以及模态间的一致性特征从而增强脑部肿瘤以及水肿分割的鲁棒性。针对肺部CT图像背景复杂的问题，提出级联两阶段U-net模型[2]（图2），在第二阶段设计干扰注意模块对第 一阶段产生的粗分割结果进行细化，提升分割边界的清晰程度。此外，还开展了基于内窥镜图像的息肉区域自动精准分割[4]，为结肠直肠癌的辅助诊断提供技术支撑。
图1. 脑膜瘤的肿瘤与水肿多病灶分割框架NestedFormer
图2. 肺部医疗影像分割模型DSU-Net
2. 基于MRI/CT的疾病诊断及预测
MRI、CT是临床研究中常用的成像技术，提供了人体详细的解剖结构信息，能显示异常结构、肿块、血管阻塞等多种病灶情况，有助于多种疾病的准确诊断。针对脑膜瘤分级、脑侵袭分类的多任务问题，提出一种基于任务级对比学习策略的联合预测框架[5]（图3），将图像特征分解为任务特定特征和任务共通特征，并明确利用它们之间的内在联系来改进两个预测任务的特征表示，同时提高两个任务的预测性能。针对CT图像进行非结核分枝杆菌肺病（NTM-LD）的预测，提出一种基于多区域放射组学特征融合的方法[6]。由于CT图像的质量容易受到噪声和伪影的影响，为有效抑制伪影和噪声，并更好地保存纹理细节和病灶信息，设计了一种图像预处理机制[7]（图4），通过新的信道自适应卷积patch选择模块实现CT图像中冗余信息的去除与有效信息的增强。
图3. 脑膜瘤分级以及脑侵袭分类联合预测框架predictTCL
图4. CT图像去噪模型
3. 医学影像+文本联合分析
在医疗领域，文本类型的临床数据蕴含了疾病的重要信息。如何将临床文本数据与医学影像数据进行联合分析，是学术界的研究热点。受视觉定位问题的启发，我们首 次提出医学短语定位（Medical Phrase Grounding，MPG）问题，旨在根据医学影像医生的简短描述定位医学图像中与之相关的区域，并提出了一种文本-图像-注意力三者对齐的文本视觉定位框架MedRPG[8]（图5），挖掘了更加细粒度的对比学习模式，让医学图像中的病灶表征和对应的诊断报告建立更强的特征联系，实现更加紧致的视觉定位。此外，我们提出一种分级Transformer跨模态融合的的分级预测模型[9]（图6），能够充分提取和融合图像信息和文本信息，提升对脑膜瘤分级的预测能力。
图5. 医学短语定位模型MedRPG
图6. 基于MRI以及临床文本的脑膜瘤分级框架MMDF
4. 医学影像算法泛化性研究
医学影像算法的泛化性研究对于提高算法的可靠性、鲁棒性和可推广性具有重要意义，我们在模型预训练、互学习、域适应、域泛化等方面进行了探索研究。模型预训练是通过利用大量未标注的数据，以自监督的方式进行训练，减轻标注数据不足的问题。提出了一种新颖的基于遮蔽图像建模的混合自监督学习模型HybridMIM[10]（图7），设计两级遮蔽层次结构模块来提供像素级、区域级、样本级三种层级的语义信息约束，从而提高对医学图像的深层理解能力。提出了多维互相学习医疗影像分割框架[11]（图8），每个网络可以提供有用的软标签作为其他网络的监督，从而有效提高模型泛化能力。提出了一种基于样本重要性分析的无源域无监督自适应算法[12]（图9），通过充分挖掘目标数据中的可信原型，实现从重要样本到其他样本的可靠知识转移。我们还在医疗分割域泛化问题上进行了探索研究[13]。
图7. 医疗预训练模型 HybridMIM
图8. 通用医疗分割模型MeniSeg
图9. 无监督领域自适应模型
成果：
[1] Zhaohu Xing, Lequan Yu, Liang Wan, Tong Han, Lei Zhu. NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation. In MICCAI, 2022.
[2] Junting Zhao, Meng Dang, Zhihao Chen, Liang Wan. DSU-Net: Distraction-Sensitive U-Net for 3D lung tumor segmentation. Engineering Applications of Artificial Intelligence, 2022.
[3] Hongying Liu, Xongjie Shen, Fanhua Shang, Feihang Ge, Fei Wang. CU-Net: Cascaded U-Net with Loss Weighted Sampling for Brain Tumor Segmentation. In MICCAI, 2019.
[4] Yefan Xiao, Zhihao Chen, Liang Wan, Lequan Yu, Lei Zhu. ICBNet: Iterative Context- Boundary Feedback Network for Polyp Segmentation. In BIBM, 2022.
[5] Tianling Liu, Wennan Liu, Lequan Yu, Liang Wan, Tong Han, Lei Zhu. Joint Prediction of Meningioma Grade and Brain Invasion via Task-Aware Contrastive Learning. In MICCAI, 2022.
[6] Yanlin Hu, Lingshan Zhong, Hongying Liu, Wenlong Ding, Li Wang, Zhiheng Xing, Liang Wan. Radiomics Approach Combining Multiple CT Signs for Predicting the Differentiation between Nontuberculous Mycobacteria and Mycobacterium Tuberculosis Lung Disease. In Submission.
[7] Linlin Yang, Hongying Liu, Fanhua Shang, Yuanyuan Liu. Adaptive Non-Local Generative Adversarial Networks for Low-Dose CT Image Denoising. In ICASSP, 2023.
[8] Zhihao Chen, Yang Zhou, Anh Tran, Junting Zhao, Liang Wan, Gideon Su Kai Ooi, Lionel Tim-Ee Cheng, Choon Hua Thng, Xinxing Xu, Yong Liu, Huazhu Fu. Medical phrase grounding with region-phrase context contrastive alignment. In MICCAI, 2023.
[9] Wennan Liu, Tianling Liu, Tong Han, Liang Wan. Multi-modal deep-fusion network for meningioma presurgical grading with integrative imaging and clinical data. The Visual Computer, 2023.
[10] Zhaohu Xing, Lei Zhu, Lequan Yu, Zhiheng Xing, Liang Wan. Hybrid Masked Image Modeling for 3D Medical Image Segmentation. IEEE Journal of Biomedical and Health Informatics, 2024.
[11] Junting Zhao, Zhaohu Xing, Zhihao Chen, Liang Wan, Tong Han, Huazhu Fu, Lei Zhu. Uncertainty-Aware Multi-Dimensional Mutual Learning for Brain and Brain Tumor Segmentation. IEEE Journal of Biomedical and Health Informatics, 2023.
[12] Yuntong Tian, Jiaxi Li, Huazhu Fu, Lei Zhu, Lequan Yu, Liang Wan. Self-mining the Confident Prototypes for Source-Free Unsupervised Domain Adaptation in Image Segmentation. IEEE Transactions on Multimedia, 2024.
[13] Jiaxi Li, Yuntong Tian, Liang Wan. Dual Mixed Style Augmentation for Generalized Medical Image Segmentation. In AIPR, 2023.
[14] 天津大学医工结合基金-基于多模态深度学习的脑膜瘤脑侵袭与分级术前影像预测