厦门大学信息学院、健康医疗大数据国家研究院王连生教授课题组在病理图像处理领域的多项研究成果，近期在国际知名期刊IEEE Transactions on Medical Imaging（中科院一区, IF =11.037）上正式发表。系列成果标志着该课题组在计算病理领域的研究取得了新的突破，为临床医学提供了更加精准和高效的技术支持。

病理学是研究疾病的发生、发展和变化过程的学科，而病理图像则是指通过显微镜等成像技术获取的疾病组织和细胞的图像。如何对这些图像进行高效的处理和分析，一直是医学领域关注的热点问题。王连生教授率领的课题组，运用计算机视觉和深度学习技术，成功开发出一系列高效准确的算法，可应用于甲状腺病理、乳腺癌病理、肺癌病理等多个领域的病理图像处理和分析。

相关研究成果总结如下。

1、Hybrid Graph Convolutional Network with Online Masked Autoencoder for Robust Multimodal Cancer Survival Prediction

本文的第一作者是信息学院、健康医疗大数据国家研究院2019级博士生侯文太，通讯作者是信息学院计算机科学与技术系王连生教授。本文提出了一种配备了新型在线掩码自动编码器范式的混合图卷积神经网络用于多模态癌症生存预测。首先，本文率先将患者的多模态数据统一建模为灵活且可解释的多模态图结构，并通过图卷积网络和超图卷积来促进多模态图之间的模态内和模态间交互。其次，为了适应临床中缺失模态的场景，本文在HGCN中设计了一种新的在线掩码自动编码器范式，它可以有效地捕获模态之间的内在依赖性，并实时地生成缺失的超边用于模型推理。在TCGA上的六种不同癌症队列上的大量实验表明，我们的方法在完整多模态场景和各种缺失模态场景下的预测性能都显著优于当前最先进的方法。

相关论文链接：https://ieeexplore.ieee.org/abstract/document/10061470/

2、MuRCL: Multi-instance Reinforcement Contrastive Learning for Whole Slide Image Classification

本文第一作者是信息学院、健康医疗大数据国家研究院2019级博士生朱中杭，通讯作者是信息学院计算机科学与技术系王连生教授。该研究针对病理图像深度学习过程中过拟合严重的问题，设计无监督+微调的特征学习方式。在无监督阶段，利用强化学习构建最佳对比学习正负样本对，增强多实例学习模型的特征聚合能力。经过无监督预训练之后，利用有标签的病理图像数据对模型进行微调，以提升模型对病理图像的分类准确性。

相关论文链接：https://ieeexplore.ieee.org/document/9975198

3、Lymph Node Metastasis Prediction From Whole Slide Images With Transformer-Guided Multi-instance Learning and Knowledge Transfer

本文的第一作者是信息学院计算机科学与技术系2020级研究生王志华，通讯作者是信息学院计算机科学与技术系王连生教授。诊断甲状腺乳头状癌淋巴结转移的金标准是分析全切片组织病理学图像(WSIs)。由于WSIs的规模较大，目前的计算机辅助诊断方法采用了多实例学习(MIL)策略，而如何有效地聚合不同实例(补丁)的信息是关键。本文提出了一种新的Transformer引导框架来预测WSIs的淋巴结转移，并利用原发肿瘤与其淋巴结转移之间的病理关系，开发了一个基于注意的互知识蒸馏(AMKD)范式来解决训练过程中的过拟合问题。

相关论文链接：https://ieeexplore.ieee.org/abstract/document/9765508