信息学院、健康医疗大数据国家研究院王连生教授课题组在病理和医学图像处理领域取得多项研究成果，近期在国际知名期刊ieee transactions on medical imaging（tmi，中科院一区，if =11.037）上发表四篇论文。系列研究成果为计算病理和医学图像处理领域的发展提供了新思路。
这四篇论文包括三篇病理方面的研究和一篇关于皮肤癌医学图像分割方面的研究。这些研究都集中在医学图像处理领域，探索了如何利用计算机视觉和人工智能技术来分析和处理医学图像。这些技术的应用可以帮助医疗专业人员更准确地诊断疾病和指导治疗，具有非常重要的意义。
病理学是研究疾病的发生、发展和变化过程的学科，而病理图像则是指通过显微镜等成像技术获取的疾病组织和细胞的图像。如何对这些图像进行高效的处理和分析，一直是医学领域关注的热点问题。王连生教授课题组，运用计算机视觉和深度学习技术，成功开发出一系列高效准确的算法，应用于甲状腺病理、乳腺癌病理、肺癌病理等多个领域的病理图像处理和分析，推动了人工智能技术在计算病理领域的科学发现和应用。
相关研究成果总结如下：
1. hybrid graph convolutional network with online masked autoencoder for robust multimodal cancer survival prediction
本文的第一作者是信息学院信息与通信工程系、健康医疗大数据国家研究院2019级博士生侯文太，通讯作者是信息学院计算机科学与技术系王连生教授。本文提出了一种配备了新型在线掩码自动编码器范式的混合图卷积神经网络用于多模态癌症生存预测。首先，本文率先将患者的多模态数据统一建模为灵活且可解释的多模态图结构，并通过图卷积网络和超图卷积来促进多模态图之间的模态内和模态间交互。其次，为了适应临床中缺失模态的场景，本文在hgcn中设计了一种新的在线掩码自动编码器范式，它可以有效地捕获模态之间的内在依赖性，并实时地生成缺失的超边用于模型推理。在tcga上的六种不同癌症队列上的大量实验表明，我们的方法在完整多模态场景和各种缺失模态场景下的预测性能都显著优于当前最先进的方法。
相关论文链接：
开源代码链接：
2. murcl: multi-instance reinforcement contrastive learning for whole slide image classification
本文第一作者是信息学院计算机科学与技术系、健康医疗大数据国家研究院2019级博士生朱中杭，通讯作者是信息学院计算机科学与技术系王连生教授。该研究针对病理图像深度学习过程中过拟合严重的问题，设计无监督 微调的特征学习方式。在无监督阶段，利用强化学习构建最佳对比学习正负样本对，增强多实例学习模型的特征聚合能力。经过无监督预训练之后，利用有标签的病理图像数据对模型进行微调，以提升模型对病理图像的分类准确性。
相关论文链接：
开源代码链接：
3. lymph node metastasis prediction from whole slide images with transformer-guided multi-instance learning and knowledge transfer
本文的第一作者是信息学院计算机科学与技术系2020级研究生王志华，通讯作者是信息学院计算机科学与技术系王连生教授。诊断甲状腺乳头状癌淋巴结转移的金标准是分析全切片组织病理学图像(wsis)。由于wsis的规模较大，目前的计算机辅助诊断方法采用了多实例学习(mil)策略，而如何有效地聚合不同实例(补丁)的信息是关键。本文提出了一种新的transformer引导框架来预测wsis的淋巴结转移，并利用原发肿瘤与其淋巴结转移之间的病理关系，开发了一个基于注意的互知识蒸馏(amkd)范式来解决训练过程中的过拟合问题。
相关论文链接：
4. xbound-former: toward cross-scale boundary modeling in transformers
本文第一作者是信息学院计算机科学与技术系、健康医疗大数据国家研究院2020级博士生汪家诚，通讯作者是信息学院计算机科学与技术系王连生教授。该研究针对多尺度且边缘模糊的极难皮肤黑色素瘤病灶，提出了一种跨尺度边界感知的transformer模型，对极难目标的边界特征进行跨尺度的特征表达、学习，以提升模型在这些样本上的分割性能。该研究在两个皮肤病灶分割数据上进行了实验，结果表明该方法相比于现有方法有着很大的提升。同时，该研究在具备类似多尺度模糊边缘问题的息肉分割上进行技术的泛化性验证，结果表明该方法可以拓展至其他类似的医学图像分割任务。
相关论文链接：https://ieeexplore.ieee.org/document/10017161
开源代码链接：