利用计算机视觉实现癌症患者内镜下组织特征的自动化

不久前，我参加了RTÉ(爱尔兰国家电视和广播电台)的一个采访，内容是关于技术在癌症治疗快速进展中的作用。在采访中，我谈到了都柏林大学学院精确外科中心的一个很有前途的计划。我们的团队正在研究使用图像处理技术分析结肠直肠手术过程中捕获的视频，以区分正常组织和癌变组织。

作为讨论的一部分，我提到了我们的研究人员在手动处理视频帧时所面临的一些困难，他们在不同类型的组织中寻找由吲哚菁绿(ICG)吸收变化引起的近红外荧光强度变化。ICG是一种用于医疗诊断的荧光染料。几天后，我从MathWorks的一个素未谋面的人那里收到了以下信息:“我听到了您最近的电台采访，我认为如果MATLAB和Simulink还没有这样做的话，它们可以为您的世界增添很多价值。”

这条不请自来的消息是MathWorks和我们团队合作的开始，并最终开发了荧光跟踪应用程序(FTA)(图1)。FTA是一个MATLAB^®该应用应用了计算机视觉、点跟踪算法来监测近红外(NIR)视频中ICG荧光强度的变化，自动化了以前缓慢、劳动密集型的过程，同时提供了更精确和临床有趣的结果。FTA使我们能够通过客观的统计而不是主观的视觉解释来评估近红外视频内容，增加了数据驱动诊断的额外层次，大大加快了我们的研究。

吲哚菁绿(ICG)与近红外成像是如何工作的

当给病人注射ICG时，它会进入血液，与血液中的蛋白质结合。在循环过程中，它被提取出来，然后被肝脏排出，而不被代谢，这意味着ICG是无害的。在血液中，ICG为临床医生可视化血液灌注提供了一种有效的方法，因为ICG在近红外光的激发下会发出荧光。

ICG广泛适用于各种临床使用情况。例如，在结直肠内视镜手术中，我们将其与腹腔镜近红外系统一起使用，以确保有足够的血流来支持即将连接在一起的两部分组织的愈合。系统同时显示(并捕获)白光和近红外视频(图2)。

虽然ICG和近红外内窥镜在外科手术中的应用相当广泛，但我们团队在癌症组织表征中的应用是新的。这种新应用背后的基本思想是，癌组织和正常组织的灌注特性不同，这种差异可以通过分析随时间变化的荧光强度来检测。

在我们早期的研究中，在我们开发FTA之前，我们使用ImageJ公共领域图像处理软件检查所记录的内镜视频的单个近红外帧来进行分析。在每一帧中，我们会注意到我们怀疑(后来通过活检证实)是癌变区域和正常区域的强度。由于这一过程非常耗时，我们将分析限制在每一秒的一帧视频中。当我们绘制得到的时间序列强度信号时，可以看到不同类型组织的灌注特性的差异(图3)。然而，每秒一帧(fps)的低采样率使数据难以平滑，背景噪声损害了我们进行统计分析的能力。

通过用MATLAB自动化特征检测、跟踪和强度量化，我们实现了30帧/秒的更高采样率，这使得曲线更加平滑，并产生了更丰富的数据用于分析。与此同时，这种自动化使我们能够在几分钟内完成每个视频的分析，而不是花一个小时手工完成这个过程。

荧光跟踪软件图像处理算法的开发

我们基于FTA算法的初始开发人脸检测与跟踪计算机视觉工具箱™中的示例。以此为起点，我们快速构建了一个MATLAB脚本来加载视频，选择感兴趣的区域，在这些区域内自动选择特征，然后使用Kanade-Lucas-Tomasi (KLT)算法跨帧跟踪这些特征。我们从工具箱中评估了几种不同的特征检测算法，如FAST、BRISK和SURF，然后返回最小特征值算法，该算法对我们的视频表现最好。不止一种算法的可用性对我们的工作特别有帮助——就像在任何探索性研究中一样。

一旦我们实现了可靠的特征跟踪，我们就开始扩展脚本来提取跟踪点的强度信息。具体来说，我们添加了计算每个跟踪点周围区域(例如，一个11 x 11像素框)的平均强度的步骤，然后绘制这些平滑平均强度值的时间历史。最后,我们使用k-表示聚类，将点分组，这清晰地显示了两个不同感兴趣区域的不同灌注剖面(图4)。

打包FTA作为一个独立的应用程序

在进一步完善和测试我们的MATLAB代码之后，我们使用App Designer创建了一个用于区域选择、特征检测和跟踪的用户界面k——集群。然后我们使用MATLAB Compiler™将这个接口和底层算法打包到一个独立的应用程序中。一旦我们有了一个可以在任何计算机上运行的FTA版本，我们的效率就会显著提高。我们能够让更多的人加入这个项目，因为现在任何人都可以运行自动分析，即使他们没有MATLAB的经验或许可证。

改进计划

我们使用FTA进行的研究已经发表我们现在期待着扩展我们的研究，并在多个有前途的方向扩展应用程序的功能。例如，我们的计划包括增加源视频数据的多样性，包括来自不同地理区域的患者。这款独立应用的功能让这一切变得更容易，因为来自世界各地的研究人员可以使用它来分析他们自己的视频，如果他们无法与我们分享视频的话。

我们还在探索用同样的方法来区分其他类型的癌症的可能性，包括肉瘤和卵巢癌，以及其他类型的染料。

一个特别令人兴奋的开发路径包括添加对视频数据近实时处理的支持。这种能力将为外科医生在手术过程中提供关于组织的额外信息，并可能帮助他们在不切除肿瘤的情况下对肿瘤进行分析。在这种情况下，外科医生可以在辅助下做出决定，例如，就地切除或消融组织，从而简化患者的治疗过程。

当我们继续我们自己的工作与FTA，我们已经分享了它的代码文件交换在那里，它可以免费供其他研究小组探索和使用。