基于深度学习的医学超声图像甲状腺结节诊断

甲状腺上的小肿块或肿块通常是良性的，不会引起任何症状。然而，有一小部分甲状腺结节是恶性的。医生使用高分辨率超声检查¹诊断甲状腺结节，随后对表现出常见恶性迹象的结节进行活检;这些包括固体，不规则的边缘，微钙化，以及高过宽的形状(图1)。

虽然恶性结节的特征已经很清楚，但从超声图像诊断恶性肿瘤仍然是一个挑战。诊断的准确性取决于放射科医生的经验，放射科医生对同一结节的评估可能会得出不同的诊断。

我们在延世大学和Severance医院(韩国首尔)的研究团队使用了MATLAB^®设计和训练卷积神经网络(CNNs)来识别恶性和良性甲状腺结节。诊断测试表明，这些cnn的表现与放射科专家一样好。我们根据来自多家医院的数据集验证了cnn，用用户界面将其打包，并将其部署为web应用程序。该应用程序被医学院学生作为他们培训的一部分使用，并被经验丰富的放射科医生使用，他们需要对诊断的客观的第二意见。

以前的机器学习和深度学习方法

在探索深度学习用于甲状腺结节诊断之前，我们尝试了传统的机器学习模型。我们进行了特征工程，并应用了MATLAB中可用的各种机器学习方法，包括支持向量机(SVM)和随机森林分类。这些模型的表现和一个有10到15年经验的放射科医生差不多。我们的目标是开发一种软件，既能像经验丰富的放射科医生那样工作，又能始终提供一致和客观的结果，因此我们开始评估深度学习方法。

利用深度学习进行医学影像分类的一个困难是缺乏可用的数据。包括图像在内的医疗数据受到众多隐私法规的保护，因此很难汇集足够大的数据集来训练CNN。为了解决这一挑战，我们在MATLAB中使用了17个预先训练的网络，包括AlexNet、SqueezeNet、ResNet和Inception。

我们看到，每个经过训练的CNN都以略微不同的方式对图像进行分类，并很快意识到，组合起来的效果比任何单一的网络都要好。然而，事实证明组合网络是困难的，因为我们最初使用了各种各样的编程语言和环境来创建网络。通过使用MATLAB，我们将有一个单独的环境来预处理图像;设计、训练和组合cnn;分析和可视化结果;并将cnn部署为一个web应用程序。

设计、训练和验证cnn

在我们开始用MATLAB训练cnn之前，我们对来自韩国四家不同医院的超声图像执行了几个预处理步骤。例如，我们执行归一化以确保所有灰度图像的像素值都在0到255的范围内(图2)。对于每一张图像，我们提取一个关注于结节的感兴趣区域。我们对几百张良性结节的图像进行了左右镜像，以便在我们的训练数据集中获得相同数量的良性和恶性结节。

我们对17个不同的预训练网络进行了训练，这些网络包含超过14000张图像，这些图像由Severance医院的机构审查委员会(IRBs)批准:4-2019-0163。基于每一个的性能，我们选择了一个子集，包括AlexNet、GoogLeNet、SqueezeNet和InceptionResNetV2来用于分类集成。

我们尝试了两种方法来创建集合，一种是结合特征，另一种是结合概率。对于基于特征的组合，我们使用每个CNN中最终全连接层的输出作为特征来训练SVM或随机森林分类器。对于基于概率的组合，我们计算了每个CNN产生的分类概率的加权平均值。例如，如果一个CNN将一个结节以55%的概率归类为良性，而另一个将同一结节以90%的概率归类为恶性，那么根据权重，集合很可能将该结节归类为恶性。

为了验证集合的诊断性能，我们生成了受试者工作特征(ROC)曲线，并将每个集合的曲线下面积(AUC)与专家放射科医生的AUC进行比较。我们对来自Severance医院(延世大学卫生系统的一部分)的内部数据集和来自其他三家医院的外部数据进行了比较。在内部测试集上，AlexNet-GoogLeNet-SqueezeNet-InceptionResNetv2集合的AUC显著高于放射科医生。在外部测试集上，AUC大致相同(图3)。

部署SERA Web App

为了让我们的cnn在延世大学合作的医院中可用，我们创建了一个名为SERA的web应用程序，并使用MATLAB web app Server™部署它。SERA应用程序目前仅用于学术目的，可通过网络浏览器访问。医生使用SERA在诊断过程中获得第二意见。该应用程序还用于培训第一年和第二年的医生。

一个简单的用户界面使放射科医生能够在新捕获的超声图像上运行SERA(图4)。一旦图像加载，cnn就会诊断图像中的甲状腺结节，应用程序会显示分类器的准确性评分以及结节为恶性的概率。基于这种可能性，应用程序可能会推荐细针穿刺(FNA)活检以确认诊断。

可解释性和可扩展性

我们的团队目前正在研究explainability也就是说，在对甲状腺结节进行分类时，他们为什么以及如何做出决定。为此，我们正在研究cnn中的特定层——特别是卷积层中的过滤器——以了解网络使用哪些图像特征来做出决策。我们计划与我们最有经验的放射科医生会面，以确定高度训练的人和训练有素的cnn在甲状腺结节诊断中使用相同图像特征的程度。

我们还计划开发基于cnn的乳腺癌和皮肤癌诊断应用程序。”

¹超声图像通常分辨率较低。然而，与其他医学成像工具相比，高分辨率超声具有非侵入性和低危害的特性，因此被广泛应用于孕妇和婴儿。

²高，杰恩，李恩贞，韩庆华，金恩敬，恩珠森，孙瑜美，Mirinae Seo，权美丽，尹贞贤，李珍华，朴young Mi，金成元，郑熙Shin，和郭金荣。超声诊断甲状腺结节的深度卷积神经网络。科学报告10,不。1(2020年9月):15245。