贴标签机视频

计算机视觉应用的视频标签

在页面中全部展开

描述

的贴标签机视频App使您能够标记视频、图像序列或自定义数据源阅读器中的地面真相数据。使用这款应用，你可以:

定义矩形感兴趣区域标签、折线感兴趣区域标签、像素感兴趣区域标签和场景标签。使用这些标签来交互式地标记你的基本真相数据。
使用内置的检测或跟踪算法来标记你的地面真相数据。
编写、导入和使用您自己的自定义自动化算法来自动标记基本事实。看到创建自动标记算法．
使用可视化摘要评估标签自动化算法的性能。看到地面真值标签的查看摘要．
将标记的基本真理导出为groundTruth对象。您可以使用此对象进行系统验证，或用于训练对象检测器或语义分割网络。看到面向对象检测和语义分割的训练数据．

要了解更多关于该应用程序的信息，请参见开始使用视频标签．

打开视频标签应用程序

MATLAB^®将来发布:应用程序选项卡,在图像处理与计算机视觉“，，单击应用程序图标。
MATLAB命令提示符:输入videoLabeler．

例子

开始使用视频标签

编程使用

全部展开

`videoLabeler`

videoLabeler打开应用程序的新会话，使您能够标记视频或图像序列中的地面真相数据。

`videoLabeler (videoFileName)`

videoLabeler (videoFileName)打开应用程序并加载输入视频。视频文件必须有支持的扩展名VideoReader．

例子:videoLabeler(“vipmen.avi”)

`videoLabeler (imageSeqFolder)`

videoLabeler (imageSeqFolder)打开应用程序，从输入文件夹加载图像序列。一个图像序列类似于视频的有序图像集。

imageSeqFolder必须为字符串标量或字符向量，用于指定包含图像文件的文件夹。映像文件必须具有支持的扩展名imformats控件返回的顺序加载dir函数。

`videoLabeler (imageSeqFolder、时间戳)`

videoLabeler (imageSeqFolder、时间戳)打开应用程序，加载一系列具有相应时间戳的图像。时间戳必须是一个持续时间与序列中图像数量相同长度的向量。

例如，将一系列图像及其对应的时间戳加载到应用程序中。

imageDir = fullfile (toolboxdir (“愿景”)，“visiondata”，“NewTsukuba”）;时间戳=秒(1:15);videoLabeler (imageDir、时间戳)

`videoLabeler (gtSource)`

videoLabeler (gtSource)打开应用程序并从groundTruthDataSource对象,gtSource．要为自定义数据源生成此对象，可以指定自定义读取器函数。有关详细信息,请参见使用自定义图像源阅读器进行标记．

`videoLabeler (sessionFile)`

videoLabeler (sessionFile)打开应用程序并加载一个保存的应用程序会话，sessionFile．的sessionFile输入包含路径和文件名。的MAT-filesessionFile指向包含已保存的会话。

`videoLabeler (gTruth)`

videoLabeler (gTruth)打开应用程序并加载一个groundTruth对象。在加载对象之前不需要添加视频。基本真相对象数据源必须是图像序列、视频或自定义数据源。

限制

内置的自动化算法只支持矩形ROI标签的自动化。选中内置算法，单击自动化、场景标签、像素ROI标签、折线ROI标签、子标签和属性都不会导入到自动化会话中。要自动化这些特性的标记，请创建一个自定义自动化算法。看到创建自动标记算法．
像素ROI标签不支持子标签或属性。
“标签摘要”窗口不支持子标签或属性

更多关于

全部展开

ROI标签、子标签和属性

在应用程序的左边，是ROI标签窗格包含您可以在框架上标记的感兴趣区域(ROI)标签定义。您可以直接从此窗格创建标签定义。方法也可以通过编程方式创建标签定义labelDefinitionCreator对象，然后将这些标签定义导入到应用程序会话中。

该应用程序支持定义ROI标签、子标签和属性。

为应用程序选择ROI标签和绘图工具

您可以使用标记数据来验证或训练算法，如图像分类器、对象检测器、语义和实例分割网络。在选择标签绘制工具来创建ROI标签时，请考虑您的应用程序。下图显示了四种不同应用的标记技术。

应用程序	标签类型	例子
图像分类	N/A	船,飞机
对象检测	行矩形预计矩形
语义分割	像素标签多边形
实例分割	多边形

ROI标签

一个ROI标签是一个标签，对应于信号帧中的感兴趣区域(ROI)。支持的标签类型如下表所示。

ROI标签	描述	场景
`矩形`	在对象周围绘制矩形ROI标签(边界框)。	车辆，行人，路标
`预计长方体`	绘制立方体ROI标签(3d边界框)。
`行`	绘制线性ROI标签来表示线。要绘制折线ROI，请使用两个或多个点。	车道边界，护栏，路沿
`像素标签`	为像素分配标签进行语义分割。您可以使用多边形、画笔或泛洪填充手动标记像素。有关像素标记的更多信息，请参见用于语义分割的标签像素．	车辆，路面，树木，人行道
`多边形`	绘制多边形ROI标签。您可以标记同一类的不同实例。有关绘制多边形ROI标签和语义分割网络的更多信息，请参见使用多边形标记对象	车辆，路面，树木，人行道

ROI Sublabels

一个ROI sublabel是属于父标签的ROI标签。使用ROI子标签在标记的地面真相数据中提供关于ROI的更详细的级别。例如,一个车辆标签可能包含头灯，licensePlate,轮sublabels。只能为矩形标签和折线标签创建子标签。有关子标签的详细信息，请参见使用子标签和属性来标记地面真相数据．

ROI属性

一个ROI属性指定关于ROI标签或子标签的附加信息。例如，在一个驾驶场景中，属性可能包括车辆的类型或颜色。该表描述了支持的属性类型。

属性类型	样本属性定义	样本的默认值
`数值`
`字符串`
`逻辑`
`列表`

有关属性的更多详细信息，请参见使用子标签和属性来标记地面真相数据．

提示

为了避免必须用新的标签重新标记基础事实，在标记您的基础事实之前组织您想使用的标签方案。

算法

全部展开

您可以使用标签自动化算法来加快应用程序内的标签。要创建自己的标签自动化算法在应用程序内使用，请参阅创建自动标记算法．你也可以按照以下步骤使用其中一个内置算法:

导入要标记的数据，并至少创建一个标签定义。
在应用程序工具条上，单击选择算法选择一个内置的自动化算法。
点击自动化，然后按照自动化窗口右窗格中的自动化说明操作。

ACF人探测器

使用聚合通道特征(ACF)检测和标记人员。该算法是基于peopleDetectorACF函数。要使用此算法，必须定义至少一个矩形ROI标签。您不需要绘制任何ROI标签。

要帮助改进算法结果，首先单击设置．您可以更改这些设置中的任何一个。

算法使用的预训练人员检测器模型- Theinria - 100 x41的模型使用INRIA人员数据集进行训练。的“caltech-50x21”模型使用加州理工学院行人数据集进行训练。
重叠率阈值，从0到1，用于检测人—当矩形roi重叠超过该阈值时，算法丢弃其中一个roi。
检测人的分类评分阈值-增加评分，增加算法的预测置信度。分数低于此阈值的矩形将被丢弃。

点跟踪器

使用KLT (Kanade-Lucas-Tomasi)算法在短时间间隔内跟踪和标记一个或多个矩形ROI标签。该算法是基于愿景。PointTracker系统对象™。要使用此算法，您必须定义至少一个矩形ROI标签，但不需要绘制任何ROI标签。

若要更改用于获取跟踪初始点的特征检测器，请单击设置．下表显示了特性检测器选项。

特征检测器	描述	等效函数
`最小特征值`	采用最小特征值算法进行角点检测。	`detectMinEigenFeatures`
`哈里斯`	使用哈里斯-斯蒂芬斯算法检测拐角。	`detectHarrisFeatures`
`快`	利用加速段测试(FAST)算法的特征进行角点检测。	`detectFASTFeatures`
`轻快的`	采用二元稳健不变可扩展关键点(BRISK)算法进行特征检测。	`detectBRISKFeatures`
`KAZE`	利用非线性扩散方法构造图像的尺度空间进行特征检测，从该尺度空间中检测出多尺度角点特征(KAZE特征)。	`detectKAZEFeatures`
`冲浪`	利用加速鲁棒特征(SURF)算法检测斑点特征。	`detectSURFFeatures`
`女士`	利用最大稳定极值区域(MSER)算法进行区域检测。	`detectMSERFeatures`

时间内插程序

通过插值时间范围内的ROI位置，估计帧之间的矩形ROI或投影长方体ROI。要使用此算法，必须在至少两帧上绘制矩形ROI或投影长方体ROI:一帧在区间的开始，一帧在区间的结束。插值算法在中间帧中估计并绘制roi。

考虑一个10帧的视频。第一帧有一个以[5,5]为中心的矩形ROI。第10帧有一个以[25,25]为中心的矩形ROI。在每一帧，算法移动ROI 2像素在x方向和2个像素y方向。因此，算法将第二帧的[7,7]处的ROI居中，第三帧的[9,9]处居中，以此类推，直到倒数第二帧的[23,23]处。

ACF车辆检测器(需要自动驾驶的工具箱）

使用聚合通道特征(ACF)检测和标记车辆。该算法是基于vehicleDetectorACF(自动驾驶工具箱)函数。要使用此算法，必须定义至少一个矩形ROI标签。您不需要绘制任何ROI标签。

要帮助改进算法结果，首先单击设置．您可以更改这些设置中的任何一个。

算法使用的预训练车辆检测器模型- The“众目睽睽”使用未遮挡的车辆前、后、左、右侧面图像训练模型。的“front-rear-view”模型只使用车辆的前后两侧的图像进行训练。
用于检测车辆的重叠率阈值，从0到1—当矩形roi重叠超过该阈值时，算法丢弃其中一个roi。
车辆检测分类评分阈值-提高评分，提高算法预测的置信度。分数低于此阈值的矩形将被丢弃。

您也可以配置探测器与校准的单目相机通过导入monoCamera(自动驾驶工具箱)对象进入MATLAB工作空间。以世界单位指定车辆的长度和宽度范围，例如米。

车道边界探测器(需要自动驾驶的工具箱）

利用估计的鸟瞰投影图像检测和标记车道边界。要使用此算法，您必须定义至少一个行ROI标签。您不需要绘制任何ROI标签。为了检测车道边界，算法遵循以下步骤:

它对图像中车道边界的位置进行初始猜测。
它将车道周围的ROI转换为鸟瞰图像，使车道平行并消除失真。
它使用这个图像来分割车道边界。

要帮助改进算法结果，首先单击设置．您可以更改这些设置中的任何一个。

用于生成鸟瞰图像的车道线的位置
车道周围的ROI，您可以将其扩展到图像中的自我车道边界以外的区域
图像中检测到的车道边界的像素宽度

您还可以更改要检测的车道边界的数量。缺省情况下，车道边界数为2．

版本历史

介绍了R2018b

另请参阅

应用程序

图片标志|地面实况贴标签机(自动驾驶工具箱)|激光雷达贴标签机(激光雷达工具箱)

贴标签机视频

描述

打开视频标签应用程序

例子

编程使用

`videoLabeler`

`videoLabeler (videoFileName)`

`videoLabeler (imageSeqFolder)`

`videoLabeler (imageSeqFolder、时间戳)`

`videoLabeler (gtSource)`

`videoLabeler (sessionFile)`

`videoLabeler (gTruth)`

限制

更多关于

ROI标签、子标签和属性

提示

算法

ACF人探测器

点跟踪器

时间内插程序

ACF车辆检测器(需要自动驾驶的工具箱）

车道边界探测器(需要自动驾驶的工具箱）

版本历史

另请参阅

应用程序

功能

对象

主题