一种基于多模态特征辅助的种基装置肝癌ct图像分类方法及装置
技术领域
1.本发明属于图像处理技术领域，涉及医疗图像的于多分类，具体涉及一种基于多模态特征辅助的模态肝癌ct图像分类方法及装置。
背景技术：
2.据who统计，特征T图肝癌是辅助法及世界第五大常见癌症，也是像分导致癌症相关死亡的第二大原因，严重威胁人们的类方生命健康安全。其中，种基装置肝细胞癌(hepatocellular carcinoma，于多hcc)是模态一种高死亡率的原发性肝癌。肝内胆管细胞癌(intrahepatic cholangiocarcinoma,icc)是特征T图起源于二级胆管及其分支上皮的腺癌，是辅助法及一种发病率仅次于肝细胞肝癌的肝脏原发恶性肿瘤。肝癌的像分早期诊断对于提高患者生存率、改善预后、类方降低医疗花费具有重要意义。种基装置
3.四相期ct(four-phase ct)是一种医学影像检查技术，通过连续进行四个不同时间点的ct扫描，以获取更丰富的信息来评估器官的血液灌注、肿瘤或其他病变的特征。包括无造影剂扫描，与注射造影剂后的动脉期扫描、门静脉期扫描和延迟期扫描。医生可以通过四期相ct图像定位病变，并评估病变的血供情况，从而识别肝癌类型。
4.通过神经网络提取ct图像特征并分类，可以为医生提供诊断参考，减少阅片时间，从而降低工作量，缓解工作压力。现有技术中基于单相期ct图像的肝癌分类模型的精度距离临床使用的要求仍然存在不小的差距。基于四相期ct图像的肝癌分类模型虽然可以获得较高的分类精度，但是获取四相期ct图像需要静脉注射造影剂，部分患者可能对造影剂过敏或出现不良反应，多个阶段的连续扫描也可能会导致累积的辐射暴露，对患者的身体造成额外负担。
技术实现要素：
5.针对现有技术的不足，本发明提出了一种基于多模态特征辅助的肝癌ct图像分类方法及装置，在模型训练阶段，提取四相期ct图像的特征，用于辅助训练基于单相期ct图像的分类模型，在实际应用时，仅使用单相期ct图像即可获得肝癌的分类结果，在提高精度的同时避免了对人体造成额外的负担。
6.一种基于多模态特征辅助的肝癌ct图像分类方法，具体包括以下步骤：
7.步骤一、收集四相期ct图像以及单相期ct图像，分别扩展到三通道后，标注对应的肝癌类型作为样本标签，构建训练集。所述四相期ct图像包括平扫期、动脉期、门静脉期和延迟期，单相期ct肝癌图像为平扫期。
8.作为优选，针对ct图像分别使用窗宽(window width，ww)和窗位(window level,wl)两种不同参数进行加窗，得到两幅不同的ct图像，然后在通道维度上与原图像进行融合，将图像通道数扩展到三通道。
9.作为优选，对原始数据进行数据增强操作，包括随机变换或扩充，生成与原图像存在差异的新图像，加入到训练集中，扩大训练集规模。
10.步骤二、构建两个二分类神经网络模型a、b，分别以四相期ct图像与单相期ct图像
为输入，预测输入ct图像对应的肝癌类型，根据输出的预测结果与输入ct图像对应的样本标签，分别使用损失函数loss1、loss2训练二分类神经网络模型a、b。
11.作为优选，使用3d resnet-34网络预测四相期ct图像对应的肝癌类型，使用resnet-101网络预测单相期ct图像对应的肝癌类型。
12.步骤三、对于训练后的两个二分类神经网络模型，分别输入来自同一个病人的四相期ct图像与单相期ct图像，将其提取到的图像特征输入同一个分类器中，进行二次训练，建立联合损失函数loss：
13.loss＝loss1+loss2+loss3[0014][0015]
在二次训练过程中，所述二分类神经网络模型a根据loss1进行反向传播训练，所述二分类神经网络模型b根据loss2和loss3进行反向传播训练。其中，loss3为二分类神经网络模型a、b输出图像特征之间的相似度损失，n为输入二分类神经网络模型的图像总数，m为分类目标数量，y
kc
表示第k张输入图像对应的样本标签，p
kc
表示分类器输出的第k张输入图像属于类别c的预测概率。
[0016]
步骤四、向步骤三训练优化后的二分类神经网络模型b，输入单相期ct图像，输出预测的肝癌类型。
[0017]
一种基于多模态特征辅助的肝癌ct图像分类装置，包括图像处理模块、特征提取模块和分类模块。
[0018]
所述图像处理模块用于接收待分类的单相期肝癌ct图像，并通过加窗的方式获取两张与原图像不同的ct图像，在通道维度上融合后得到三通道ct图像，输入特征提取模块。
[0019]
所述特征提取模块包括训练后的二分类神经网络，对图像处理模块输出的三通道ct图像进行特征提取。
[0020]
所述分类模块根据特征提取模块输出的单相期ct图像特征，预测对应的肝癌类型。
[0021]
所述二分类神经网络的训练方法为：首先使用带有标签的单相期三通道ct图像进行一次训练，再与使用四相期三通道ct图像训练后的另一个二分类神经网络进行联合训练。
[0022]
本发明具有以下有益效果：
[0023]
传统的单相期ct图像在肝癌分类中存在一定的限制，本技术通过使用基于四相期ct图像的训练数据联合训练神经网络，能够提取更多、更丰富的图像特征。测试阶段只输入单相期ct图像，而不需要四相期ct图像，网络可以利用训练阶段学习到的更全面的特征进行分类，提高分类准确性。同时有助于减少造影剂注射与连续扫描对病人造成的不良影响。
附图说明
[0024]
图1为ct图通道扩展示意图；
[0025]
图2为实施例中基于四相期ct图像的肝癌分类流程图；
[0026]
图3为实施例中基于单相期ct图像的肝癌分类流程图；
[0027]
图4为实施例中分类网络训练流程图。
具体实施方式
[0028]
以下结合附图对本发明作进一步的解释说明；
[0029]
一种基于多模态特征辅助的肝癌ct图像分类方法，该方法的分类结果不作为正式的临床医疗诊断结果，仅用于辅助医生判断肝癌患者单相期ct图像对应的肝癌类型，具体包括以下步骤：
[0030]
步骤1、收集四相期肝癌ct图像数据dq和单相期肝癌ct图像数据ds，并且制作相应的分类标签数据lq和ls：
[0031]
s1.1、收集肝癌患者的平扫期肝部ct图像和增强期ct图像，所述增强期包括动脉期、门静脉期、延迟期。通过数据脱敏技术，去除患者的个人敏感信息。最终得到hcc和icc患者共400例肝部ct图像。
[0032]
s1.2、由专业医学影像科医生使用itk-snap对ct图像轴向平面上的病灶进行人工标注，形成3d边界框，以获得体素级分割标签。并将hcc标注为1，icc标注为0，得到hcc类型的ct图像202例，icc类型的ct图像198例。
[0033]
s1.3、将ct图像中的体素重采样到1mm大小，以避免不同ct扫描之间的差异信息对cnn的影响。再利用三维边界框提取病灶及其10mm像素，将病变的3d图像分辨率调整为64*128*128，其中64表示每个相期的肝部ct图像的层数，128表示每张肝部ct图像的长度和宽度。
[0034]
s1.4、如图1所示，利用ww(window width，窗宽)和wl(window level,窗位)两种不同组合对ct图像进行加窗，得到两幅不同的ct图像，然后在通道维度上进行融合，形成三通道ct图像，得到四相期肝癌ct图像数据dq和单相期肝癌ct图像数据ds，及其相应的分类标签数据lq和ls。
[0035]
步骤2、如图2所示，构建分类神经网络a，使用四相期ct肝癌图像以及相应的标签进行分类训练，得到网络参数pa：
[0036]
s2.1、构建3d resnet-34作为分类神经网络a，网络结构如表1所示：
[0037][0038]
表1
[0039]
其中，最后一层的全连接层的输出维度为2，即分类的目标类别个数。
[0040]
s2.2、使用步骤一中收集的四相期肝癌数据dq和相对应的便签lq，以4:1的比例划分为训练集和测试集，并使用五折交叉验证进行训练和测试，利用交叉熵损失函数loss1优化网络，最终保存一组效果较好的参数pa。
[0041]
步骤3、如图3所示，构建分类神经网络b，将单相期ct图像的batch_size维度和层数维度进行融合，送入到二维神经网络进行训练，得到网络参数pb：
[0042]
s3.1、构建resnet-101作为分类神经网络b，网络结构如表2所示：
[0043]
[0044][0045]
表2
[0046]
其中，最后一层的全连接层的输出维度为2，即分类的目标类别个数。
[0047]
s3.2、使用步骤一中收集的单相期肝癌数据ds和相对应的便签ls，以4:1的比例划分为训练集和测试集，并使用五折交叉验证进行训练和测试，利用交叉熵损失函数loss2优化网络，最终保存一组效果较好的参数pb。
[0048]
步骤4、如图4所示，对步骤2、3中的网络a、b进行连接，构建基于四相期ct图像特征辅助的单相期ct图像分类网络c：
[0049]
s4.1、去除网络a中平均池化层之后的网络结构，并对平均池化层输出的三维图像特征fq进行投影操作，得到可以提取四相期ct图像特征的网络a’与二维四相期ct图像特征f
q’。使用步骤2中保存的网络参数pa来初始化网络a’。
[0050]
s4.2、去除网络b中平均池化层之后的网络结构，得到可以提取单相期ct图像特征的网络b’与单相期ct图像特征fs。使用步骤3中保存的网络参数pb来初始化网络b’。
[0051]
s4.3、在网络a’、b’输出图像特征f
q’、fs的结构后面加上依次级联的两个全连接层与softmax函数，得到基于四相期ct图像特征辅助的单相期ct图像分类网络c。
[0052]
步骤5、对步骤4构建的网络c进行训练，分别向网络a’、b’的输入层输入四相期ct图像、单相期ct图像，基于图像对应的标签进行网络训练，设置损失函数为：
[0053]
loss＝loss1+loss2+loss3[0054]
其中loss3为四相期肝癌ct影像特征f
q’和单相期肝癌ct影像特征fs的相似度损失，通过余弦相似度计算：
[0055][0056]
其中，n为输入二分类神经网络模型的图像总数，f,
q,k
表示网络a’输出的第k张四
相期肝癌ct影像特征，表示网络a’输出的所有四相期肝癌ct影像特征均值。f
s,k
表示网络b’输出的第k张单相期肝癌ct影像特征，网络b’输出的所有单相期肝癌ct影像特征均值。
[0057]
训练优化后分别得到网络a’、b’的参数p
a’、p
b’。在步骤4中进行网络连接时，只进行了特征层的连接映射，因此训练后的网络a’、b’可以独立的使用。测试过程中，在网络b’的平均池化层之后加上依次级联的两个全连接层与softmax函数，并使用优化得到的参数p
b’作为初始化参数，输入单相期ct图像即可实现icc和hcc两种肝癌的分类，为医生诊断提供参考信息。由于训练过程中利用了四相期肝癌图像的特征，学习了更多、更丰富的信息，因此网络b’在分类过程中也可以利用这些更全面的特征提高单相期ct图像的分类准确性，同时减少了四相期ct扫描对病人造成的负面影响。
[0058]
一种基于多模态特征辅助的肝癌ct图像分类装置，用于实现上述分类方法，包括图像处理模块、特征提取模块和分类模块。
[0059]
所述图像处理模块用于接收待分类的单相期肝癌ct图像，并通过加窗的方式获取两张与原图像不同的ct图像，在通道维度上融合后得到三通道ct图像，输入特征提取模块。
[0060]
所述特征提取模块包括训练后的网络b’，对图像处理模块输出的三通道ct图像进行特征提取。
[0061]
所述分类模块根据特征提取模块输出的单相期ct图像特征，预测对应的肝癌类型。