计算机视觉在癌症患者中的自动内镜组织表征

不久前，我接受了RTÉ(爱尔兰国家电视台和广播电台)的采访，内容是关于技术在癌症治疗方面的快速发展。在采访中，我谈到了都柏林大学精确外科中心的一项有前景的计划。我们的团队正在研究使用图像处理技术来分析结肠直肠手术过程中捕获的视频，以区分正常组织和癌变组织。

作为讨论的一部分，我提到了我们的研究人员在手动处理视频帧时所面临的一些困难，这些视频帧是由吲哚青绿(ICG)(一种用于医疗诊断的荧光染料)在各种类型的组织中吸收的变化引起的近红外荧光强度的变化。几天后，我收到了MathWorks公司一位我从未见过的人发来的以下消息:“我听了您最近的电台采访，认为MATLAB和Simulink可以为您的世界增添很多价值，如果它们还没有这样做的话。”

这条不请自来的消息是MathWorks和我们团队合作的开始，最终开发出了荧光跟踪应用程序(FTA)(图1)。FTA是一个MATLAB^®该应用程序采用计算机视觉、点跟踪算法来监测近红外(NIR)视频中ICG荧光强度的变化，使以前缓慢、劳动密集型的过程自动化，同时提供更精确和临床有趣的结果。FTA使我们能够用客观的统计数据来评估近红外视频内容，而不是主观的视觉解释，增加了一个额外的数据驱动诊断层，极大地加速了我们的研究。

吲哚菁绿(ICG)与近红外成像如何工作

当ICG被注射给病人时，它会进入血液，与血液中的蛋白质结合。当它循环时，它被提取，然后由肝脏排出而不被代谢，这意味着ICG是无害的。在血液中，ICG为临床医生提供了一种可视化血液灌注的有效方法，因为ICG在近红外光刺激下会变成荧光。

ICG广泛适用于各种临床应用案例。例如，在结直肠内窥镜手术中，我们将其与腹腔镜近红外系统一起使用，以确保有足够的血流来支持我们即将连接在一起的两个组织部分的愈合。系统显示(并捕获)同时白光和近红外视频(图2)。

虽然ICG和近红外内窥镜在外科手术中的应用相当广泛，但我们团队在癌组织表征中的应用是新的。这种新应用背后的基本思想是，癌组织和正常组织的灌注特征不同，这种差异可以通过分析荧光强度随时间的变化来检测。

在我们开发FTA之前的早期研究中，我们使用ImageJ公共域图像处理软件检查记录的内窥镜视频的单个近红外帧来进行分析。在每一帧中，我们都会注意到我们怀疑(后来通过活检证实)是癌变区域和正常区域的强度。由于这个过程非常耗时，我们将分析限制在每一秒视频的一帧。当我们绘制得到的时间序列强度信号时，可以看到不同类型组织的灌注特征差异(图3)。然而，每秒一帧(fps)的低采样率使得数据难以平滑，背景噪声损害了我们进行统计分析的能力。

通过使用MATLAB自动化特征检测、跟踪和强度量化，我们实现了30帧/秒的更高采样率，从而实现了更平滑的曲线，并产生了更丰富的数据用于分析。与此同时，这种自动化使我们能够在几分钟内完成每个视频的分析，而不是花费一个小时手动完成这个过程。

荧光追踪软件图像处理算法的开发

我们基于FTA算法的初始开发人脸检测与跟踪示例在计算机视觉工具箱™。以此为起点，我们快速构建了一个MATLAB脚本来加载视频，选择感兴趣的区域，自动选择这些区域内的特征，然后使用Kanade-Lucas-Tomasi (KLT)算法跨帧跟踪这些特征。我们从工具箱中评估了几种不同的特征检测算法，如FAST、BRISK和SURF，然后回到最小特征值算法，该算法对我们的视频表现最好。不止一种算法的可用性对我们的工作特别有帮助——就像在任何探索性研究中一样。

一旦我们实现了可靠的特征跟踪，我们就开始扩展脚本以提取跟踪点的强度信息。具体来说，我们添加了步骤来计算每个跟踪点周围区域(例如11 x 11像素盒)的平均强度，然后绘制这些平滑的平均强度值的时间历史。最后，我们使用k-means聚类对点进行分组，可以清楚地显示两个不同感兴趣区域的不同灌注剖面(图4)。

将FTA打包为一个独立的应用程序

在进一步完善和测试我们的MATLAB代码之后，我们使用App Designer创建了一个用于区域选择、特征检测和跟踪的用户界面k——集群。然后，我们使用MATLAB Compiler™将这个接口和底层算法打包成一个独立的应用程序。一旦我们有了一个可以在任何计算机上运行的FTA版本，我们的效率就大大提高了。我们能够让更多的人加入这个项目，因为现在任何人都可以运行自动分析，即使他们没有MATLAB的经验或许可证。

改进计划

我们使用FTA进行的研究发表我们现在期待着扩展我们的研究，并将应用程序的功能扩展到多个有前景的方向。例如，我们的计划包括增加源视频数据的多样性，包括来自不同地理区域的患者。这款独立应用的功能让这一切变得更容易，因为来自世界各地的研究人员可以使用它来分析他们自己的视频，如果他们不可能与我们分享视频的话。

我们也在探索用同样的方法来区分其他类型的癌症的可能性，包括肉瘤和卵巢癌，以及其他类型的染料。

一个特别令人兴奋的开发路径包括添加对视频数据近实时处理的支持。这种能力将为外科医生在进行手术时提供有关组织的额外信息，并有可能帮助他们在不移除肿瘤的情况下分析肿瘤。在这种情况下，外科医生将被协助做出决定，例如，在现场切除或消融组织，从而简化患者的治疗过程。

随着我们继续使用FTA的工作，我们已经在文件交换在那里，它可以免费供其他研究小组探索和使用。