基于深度学习的医学超声图像甲状腺结节诊断

甲状腺上的小肿块或增生通常是良性的，不会引起任何症状。然而，这些甲状腺结节中有一小部分是恶性的。医生使用高分辨率超声检查¹诊断甲状腺结节，对表现出常见恶性肿瘤征象的结节进行活检;这些特征包括固体、不规则边缘、微钙化和高过宽的形状(图1)。

虽然恶性结节的特征已经确定，但从超声图像诊断恶性肿瘤仍然是一个挑战。诊断的准确性取决于放射科医生的经验，放射科医生对同一结节的评估可能会得出不同的诊断。

我们在延世大学和Severance医院(首尔，韩国)的研究团队使用MATLAB^®设计和训练卷积神经网络(cnn)来识别恶性和良性甲状腺结节。诊断测试表明，这些cnn的表现和放射科专家一样好。我们根据来自多家医院的数据集验证了cnn，用用户界面将其打包，并将其部署为web应用程序。该应用程序被医学院学生作为培训的一部分使用，也被经验丰富的放射科医生使用，他们需要客观的第二诊断意见。

以前的机器学习和深度学习方法

在探索深度学习用于甲状腺结节诊断之前，我们尝试了传统的机器学习模型。我们进行了特征工程，并应用了MATLAB中可用的各种机器学习方法，包括支持向量机(SVM)和随机森林分类。这些模型的表现和有10到15年工作经验的放射科医生差不多。我们的目标是开发出一种软件，既能像经验丰富的放射科医生一样工作，又能始终提供一致和客观的结果，因此我们开始评估深度学习方法。

利用深度学习进行医学影像分类的一个困难是缺乏可用的数据。包括图像在内的医疗数据受到众多隐私法规的保护，因此很难收集足够大的数据集来训练一个CNN。为了解决这一挑战，我们在MATLAB中使用了17个预先训练好的网络，包括AlexNet、SqueezeNet、ResNet和Inception。

我们看到每个预先训练的CNN都以略微不同的方式对图像进行分类，并很快意识到组合将比任何单一网络表现得更好。然而，事实证明组合网络很困难，因为我们最初使用了各种各样的编程语言和环境来创建网络。通过使用MATLAB，我们将有一个单独的环境来预处理图像;设计、训练和组合cnn;分析和可视化结果;并将cnn部署为web应用程序。

设计、训练和验证cnn

在开始用MATLAB训练cnn之前，我们对来自韩国四家不同医院的超声图像进行了几个预处理步骤。例如，我们进行归一化，以确保所有灰度图像的像素值都在0到255的范围内(图2)。对于每张图像，我们提取一个关注结节的感兴趣区域。我们对几百张良性结节的图像进行了左右镜像，以便在我们的训练数据集中获得相等数量的良性和恶性结节。

我们在由1.4万多张图像组成的数据集上训练了17个不同的预训练网络，这些图像由Severance医院的机构审查委员会(irb)批准:4-2019-0163。基于每个算法的性能，我们选择了一个子集，其中包括AlexNet、GoogLeNet、SqueezeNet和InceptionResNetV2，用于分类集合。

我们尝试了两种方法来创建集合，一种是结合特征，另一种是结合概率。对于基于特征的组合，我们使用每个CNN中最终全连接层的输出作为特征来训练SVM或随机森林分类器。对于基于概率的组合，我们计算了每个CNN产生的分类概率的加权平均值。例如，如果一个CNN将一个结节分类为良性，概率为55%，而另一个将同一结节分类为恶性，概率为90%，那么根据权重的不同，集合很可能将该结节分类为恶性。

为了验证集合的诊断性能，我们生成了受试者工作特征(ROC)曲线，并将每个集合的曲线下面积(AUC)与专家放射科医生的AUC进行了比较。我们对Severance医院(延世大学卫生系统的一部分)的内部数据集和其他三家医院的外部数据进行了比较。在内部测试集上，AlexNet-GoogLeNet-SqueezeNet-InceptionResNetv2集合的AUC显著高于放射科医师。在外部测试集上，AUC大致相同(图3)。

部署SERA Web应用程序

为了使我们的cnn在延世大学合作的医院中可用，我们创建了一个名为SERA的web应用程序，并使用MATLAB web app Server™部署它。SERA应用程序可通过网络浏览器访问，目前仅用于学术目的。医生使用SERA在诊断过程中获得第二意见。该应用程序还用于培训第一年和第二年的医生。

一个简单的用户界面使放射科医生能够在新捕获的超声图像上运行SERA(图4)。一旦图像加载，cnn就会诊断图像中的甲状腺结节，应用程序会显示分类器的准确性评分以及结节恶性的概率。基于这种可能性，该应用程序可能会推荐细针穿刺活检(FNA)来确认诊断。

CNN解释性和可扩展性

我们的团队目前正在研究explainability也就是说，当对甲状腺结节进行分类时，他们为什么以及如何做出决定。为了做到这一点，我们正在研究cnn中的特定层——特别是卷积层中的滤波器——以了解网络使用哪些图像特征来做出决定。我们计划与最有经验的放射科医生会面，以确定训练有素的人类和训练有素的cnn在甲状腺结节诊断中使用相同的图像特征的程度。

我们还计划开发基于cnn的诊断乳腺癌和皮肤癌的应用程序。

¹超声图像通常分辨率较低。然而，由于与其他医学成像工具相比，高分辨率超声具有非侵入性和危害小的特性，甚至被广泛用于孕妇和婴儿。

²Koh, Jieun, enjung Lee, kyhwa Han, Eun - Kyung Kim, Eun Ju Son, Yu - Mee Sohn, Mirinae Seo, Mi - ri Kwon, Jung Hyun Yoon, Jin Hwa Lee, Young Mi Park, Sungwon Kim, Jung Hee Shin和Jin Young Kwak。“用深度卷积神经网络在超声上诊断甲状腺结节。”科学报告10,不。1(2020年9月):15245。