医学图像可反映人体内部结构影像,是临床诊疗过程中一种常用的辅助方法,具有不可忽视的作用。近年来医学成像技术在临床诊断、治疗方案、诊后复查评价等方面应用的尤为广泛。但是这种诊疗方式严重依赖于医生的主观判断以及临床经验,在诊断的过程中往往需要医生长时间的观察、判断,大大降低了诊疗效率。在医学图像领域,将两张或多张图像融合为一张,信息互为补充,有利于辅助医生定位疾病类型、病灶及病情。现有方法大多侧重于两模态融合,而需要三模态融合辅助诊断的疾病是很常见的。三模态融合可以获取同一位置更多信息,但相关研究还未受到重视,且如何选择和设计合适的算法来实现多模态融合也是一大挑战。医学图像的特征较为复杂,且不同模态的图像特征表达方式不同。如何有效地提取医学图像的特征,是影响分类性能的关键因素。同时医学图像数据集会遇到类别不平衡问题,导致对少数类别的识别性能较差。在医学图像数据中,脑部图像对于医生诊疗来说也更加困难。因此本文针对脑部图像多模态融合及脑部疾病辅助诊断分类方面进行了研究:(1)本文提出了一种高精度多模态医学图像融合网络,可适用于三模态及两模态的脑部医学图像融合。根据医学图像中解剖图像和功能图像信息特征的不同特点,本文同时设计了全局纹理模块(Global Texture Module,GTM)和局部细节模块(Local Detail Module,LDM)进行特征提取。融合策略加入傅里叶变换充分结合空间域和频域的优势,保留了更完整的纹理细节信息和全局轮廓信息。同时本文提出了多注意力机制,提取更有效的深度特征和更准确的位置信息。实验结果表明Dentin infection,该方法在主观视觉和客观指标评价上均有效,能极大提高医生定位病灶的诊疗效率。(2)针对脑部图像辅助诊断分类精度不足的问题,本文设计了脑部疾病辅助分类网络SWA-Net(Small Weight Agritecture Net,SWA-Net),可以准确高效地执行脑部疾病辅助分类诊断,辅助医生判断患者病情。本网络针对脑部图像特征引入一个卷积注意力模块来提取特征信息,设计了一种新的残差结构来融合特征通道之间的信息,使其更加紧密相关,它可以有效点击此处地提取寻找更多图像中通道的特征以获得更高的精度。同时对数据集进行数据增强以避免模型训练过程中产生过拟合现象。在阿尔兹海默症(Alzheimer Disease,AD)数据集上进行了数据增强并验证了模型的图像分类精度。实验结果表明,本文分类方法能够有效的判断出患者是否…