主要内容

开始使用视频标签

贴标签机视频app提供了一种简单的方法,在视频或图像序列中标记感兴趣的矩形区域(ROI)标签,折线ROI标签,像素ROI标签和场景标签。

您可以使用标记数据来验证或训练算法,如图像分类器、对象检测器、语义和实例分割网络。在选择标签绘制工具来创建ROI标签时,请考虑您的应用程序。有关如何为应用程序选择正确的标签类型和绘图工具的详细信息,请参见ROI标签、子标签和属性

这个例子告诉你如何开始使用这个应用程序:

  • 手动标记视频中的图像帧。

  • 使用自动化算法在图像帧之间自动标记。

  • 导出标记的地面真相数据。

ROI和场景标签定义

  • 一个ROI标签对应于感兴趣的矩形、折线、像素或多边形区域。这些标签包含两个组件:标签名称(如“cars”)和创建的区域。

  • 一个现场标签描述一个场景的性质,如“阳光灿烂”。您可以将这个标签与一个帧相关联。

加载未标记数据

以编程方式打开应用程序并加载一个视频。视频必须是可读的文件格式VideoReader

videoLabeler (“visiontraffic.avi”
你也可以从应用程序加载视频应用程序选项卡,在图像处理与计算机视觉“,.点击进口加载视频或图像序列,或单击公开会议加载已保存的会话。

探索视频。点击播放按钮要播放整个视频,或使用滑块在帧之间导航。

若要加载具有相应时间戳的图像序列,请选择进口>图像序列.该应用程序支持所有的图像文件格式支持imread.若要读取其他文件格式,可以创建imageDatastore然后使用ReadFcn财产。

加载无法读取的自定义数据源VideoReaderimread,请参阅使用自定义图像源阅读器进行标记

创建标签定义

定义你要画的标签。在本例中,您直接在应用程序中定义标签®命令行代替,请使用labelDefinitionCreator

设置时间间隔

你可以标记整个视频或者从视频的一部分开始。在本例中,您在加载的视频中标记了一个5秒的时间范围。在视频下方的文本框中,以秒为单位输入这些时间:

  1. 当前时间框,输入5并按输入

  2. 开始时间框,输入5滑块在时间范围的开始。

  3. 结束时间框,输入10

可选地,要对时间范围进行调整,请单击并拖动红色间隔标志。

现在,整个应用程序都设置为专注于这个特定的时间范围。视频只在这个时间间隔内播放,标记和自动化算法只适用于这个时间间隔。您可以通过移动标志随时更改间隔。

若要扩展时间范围以填充整个回放部分,请单击放大时间范围

创建ROI标签

一个ROI标签对应于图像中感兴趣的区域(ROI)的标签。您可以定义这些ROI标签类型。

  • 矩形-在图像中的物体周围绘制二维矩形边界框标签,如车辆、船只、建筑物。

  • 预计长方体-在图像中的物体周围画3-D边界框标签,如车辆,船只,建筑物。

  • —绘制线性roi来标识线路,如车道边界。

  • 像素标签-绘制像素标记各种类,如道路或天空,用于语义分割。有关像素标记的更多信息,请参见用于语义分割的标签像素

  • 多边形-在物体周围绘制多边形标签。您可以标记同一类的不同实例。有关绘制多边形ROI标签和语义分割网络的更多信息,请参见使用多边形标记对象

有关这些ROI标签定义的详细信息,请参见ROI标签、子标签和属性

在本例中,您定义了a车辆组用于标识车辆类型,然后创建两个矩形ROI标签,而且卡车.创建标签后,可以使用显示ROI标签要选择的下拉菜单在徘徊总是,或从来没有控制ROI标签名称在标记期间的显示方式。默认情况下,当您将鼠标悬停在ROI上时将出现这些名称。

  1. ROI标签窗格的左侧,单击标签

  2. 创建一个矩形标签命名

  3. 可选地,通过单击预览颜色更改标签颜色。

  4. 集团下拉菜单,选择新组给这个组命名车辆

  5. 点击好吧

    车辆组名称出现在ROI标签带有标签的窗格创建。通过左键单击并上下拖动标签,可以将列表中的标签移动到列表中的不同位置或组。

  6. 单击,添加第二个标签标签.命名标签名称卡车确保车辆组已选中。点击好吧

  7. 用鼠标画矩形两辆车周围的roi。

创建Sublabels

一个sublabel是一种与父ROI标签对应的ROI标签类型。类中定义的特定标签的子标签必须属于或其子ROI标签窗格。例如,在一个驾驶场景中,一个车辆标签可能有前灯、车牌或车轮的子标签。有关子标签的详细信息,请参见ROI标签、子标签和属性

为大灯定义子标签。

  1. ROI标签窗格中,单击标签。

  2. 点击Sublabel

  3. 创建一个矩形sublabel命名头灯并可选地写一段描述。点击好吧

    头灯子标签出现在ROI标签窗格。子标签嵌套在所选ROI标签之下,,与其父标签具有相同的颜色。

    您可以在一个标签下添加多个子标签。您还可以拖放子标签以在列表中重新排列它们。右键单击任何标签进行其他编辑。

  4. ROI标签窗格中,选择头灯sublabel。

  5. 在图像框架中,选择标签。选中时标签变为黄色。您必须选择标签(父ROI),然后才能向其添加子标签。

    头灯每辆车的子标签。

  6. 重复前面的步骤标记另一辆车的前灯。要更精确地绘制标签,请使用位于标签窗口右上角的平移和缩放选项。

子标签只能与矩形或折线ROI标签一起使用,不能有自己的子标签。有关使用子标签的详细信息,请参见使用子标签和属性来标记地面真相数据

显示或隐藏标签和子标签

控件可以显示或隐藏已标记视频中的标签或子标签眼睛图标的图标。ROI标签窗格。的眼睛图标仅在定义标签或子标签后出现。默认情况下,应用程序显示所有标签和子标签。

要隐藏标签或子标签,请单击眼睛图标位于标签或子标签名称旁边的图标。应用程序隐藏相应的标签或子标签,并显示隐藏图标图标。

显示标签

隐藏的标签

创建属性

一个ROI属性指定关于ROI标签或子标签的附加信息。例如,在一个驾驶场景中,属性可能包括车辆的类型或颜色。在海洋场景中,属性可能包括帆船的类型或帆的数量。您可以定义这些类型的ROI属性。

  • 数值—指定一个数值标量属性,例如标记车辆上的门的数量或帆船上的帆的数量。

  • 字符串—指定字符串标量属性,例如车辆或船只的颜色。

  • 逻辑-指定一个逻辑上的真或假属性,例如车辆是在行驶中还是船在让路。

  • 列表-指定预定义字符串的下拉列表属性,例如车辆或船只的制造商或型号。

有关这些属性类型的详细信息,请参见ROI标签、子标签和属性

为车辆类型添加一个属性。

  1. ROI标签窗格中的标签并点击属性

  2. 属性名称框,输入carType.将属性类型设置为列表

  3. 列表项节、类型不同的汽车,如轿车掀背车运动型多功能车,马车,每个都在自己的线上。可以选择为属性提供描述,然后单击好吧.您可以将出现在属性字段旁边的信息图标悬停以显示添加的描述。

  4. 选择一个图像帧中的ROI标签。在属性和子标签窗格中,选择适当的carType该车辆的属性值。

  5. 重复前面的步骤来分配一个carType归属于另一辆车。

还可以向子标签添加属性。属性的属性头灯说明车前灯是否亮的子标签。

  1. ROI标签窗格中的头灯再贴上标签,单击属性

  2. 属性名称框,输入.将属性类型设置为逻辑.离开默认值设置为,可选地写一段描述,然后单击好吧

  3. 在视频帧中选择一个前灯。设置合适的属性值,或将属性值设置为

  4. 重复上一步设置属性为其他大灯。

右键单击ROI标签或子标签,选择要删除的属性。删除属性将从以前创建的所有ROI标签注释中删除属性信息。

创建场景标签

一个现场标签为整个场景定义附加信息。使用场景标签来描述条件,如灯光和天气,或事件,如车道变化。

创建一个应用于图像的场景标签。

  1. 在应用程序的左窗格中,选择现场标签控件旁边的ROI标签选项卡。

  2. 点击定义新的场景标签,而在标签名称框中,输入一个名为白天

  3. 更改标签定义的颜色为浅蓝色,以反映场景标签的性质。下颜色参数,单击颜色预览并选择标准浅蓝色。然后,单击好吧关闭颜色选择窗口。

  4. 离开集团参数设置为默认值没有一个并点击好吧.的现场标签窗格显示了场景标签定义。

  5. 点击应用到图像要应用白天标签到场景。为场景标签出现一个选中标记。

  6. 要编辑或删除场景标签,右键单击标签并选择其中之一编辑标签删除标签

标签基本事实

到目前为止,你只标注了视频中的一帧。要标记剩下的帧,请选择以下选项之一。

手动标记地面真相

当您单击右方向键前进到下一帧时,来自前一帧的ROI标签不会继续。只有阳光明媚的场景标签适用于每一帧,因为这个标签应用于整个时间范围。

逐帧推进,手动绘制标签和子标签roi。还要更新这些roi的属性信息。

用自动化算法标记地面真值

为了加快标记过程,你可以在应用程序中使用自动化算法。你可以定义自己的自动化算法创建自动标记算法而且时态自动化算法,或者使用内置的自动化算法。在本例中,使用内置的点跟踪算法标记基本事实。

在本例中,只自动标记ROI标签。内置的自动化算法不支持子标签和属性自动化。

  1. 选择要自动化的标签。在视频的第一帧,按Ctrl然后单击选择这两个标签注释。标签用黄色突出显示。

  2. 从应用程序工具条中,选择选择算法>点跟踪器.该算法使用Kanade-Lucas-Tomasi (KLT)算法在短时间间隔内跟踪一个或多个矩形roi。

  3. (可选)配置自动化设置。例如,确保导入选定的roi选择,以便您选择的标签被导入到自动化会话中。

  4. 点击自动化打开一个自动化会话。算法说明出现在右窗格中,选中的标签可用于自动化。

  5. 点击运行跟踪所选roi的间隔。

  6. 检查运行算法的结果。

    之后进入现场的车辆都是没有标签的。未标记的车辆没有初始ROI标签,因此算法没有跟踪它们。点击撤销运行.使用滑块找到每辆车第一次出现的帧。画车辆每辆车周围的roi,然后点击运行一次。

  7. 逐帧前进,手动移动、调整大小、删除或添加roi,以改进自动化算法的结果。

    当您对算法结果感到满意时,单击接受.或者,如果要丢弃会话期间生成的标签,而改用手动标记,请单击取消.的取消按钮只取消算法会话,不取消应用程序会话。

您还可以使用子标签和属性信息手动标记剩余的帧。

为了进一步评估您的标签,您可以查看标记的基本事实的可视化摘要。从应用程序工具条中,选择视图标签摘要.使用这个摘要来比较帧、标签的频率和场景条件。有关更多细节,请参见地面真值标签的查看摘要.此摘要不支持子标签或属性。

出口标签的基本事实

您可以将标记的地面真相导出到mat文件或MATLAB工作区中的变量。在这两种情况下,标记的基本真理都存储为groundTruth对象。您可以使用该对象来训练基于深度学习的计算机视觉算法。有关更多细节,请参见面向对象检测和语义分割的训练数据

请注意

如果导出像素数据,则像素标签数据和地真值数据保存在单独的文件中,但放在同一个文件夹中。有关使用导出像素标签时的注意事项,请参见如何标签应用程序商店导出像素标签

在本例中,您将标记的ground truth导出到MATLAB工作区。从应用程序工具条中,选择出口标签>到工作空间.导出的MATLAB变量为gTruth

使用实例显示导出的属性groundTruth对象。导出对象中的信息可能与此处显示的信息不同。

gTruth
属性:DataSource: [1×1 groundTruthDataSource] LabelDefinitions: [2x6 table] LabelData: [531×3 schedule]

数据源

数据源是一个groundTruthDataSource对象,该对象包含图像或视频的路径和时间戳。显示此对象的属性。

gTruth。数据源
matlab\toolbox\vision\visiondata\visiontraffic. ans = groundTruthDataSource。avi时间戳:[531×1 duration]

标签定义

LabelDefinitions包含关于标签定义的信息的表。该表不包含关于绘制在视频帧上的标签的信息。要将标签定义保存在它们自己的mat文件中,请从应用程序工具条中选择保存>标签定义.然后,您可以通过选择将这些标签定义导入到另一个应用程序会话导入文件

显示标签定义表。每一行包含关于ROI标签定义或场景标签定义的信息。如果导出像素标签数据,则LabelDefinitions表还包括PixelLabelID列,其中包含每个像素标签定义的ID号。

gTruth。标签Definitions
ans = 3×6表名称类型LabelColor组描述层次结构  _________ _________ ____________ ___________ ___________ ____________ {' 汽车的矩形}{1×3双}{‘汽车’}{0×0字符}{1×1 struct}{“卡车”}矩形{1×3双}{‘汽车’}{0×0字符}{0×0双}{‘阳光’}场景{1×3双}{‘天气’}{0×0字符}{0×0双}

LabelDefinitions,层次结构列存储关于父ROI标签的子标签和属性定义的信息。

控件的子标签和属性信息标签。

gTruth.LabelDefinitions.Hierarchy {1}
ans = struct with fields: numDoors: [1×1 struct] color: [1×1 struct] inMotion: [1×1 struct] carType: [1×1 struct] headlight: [1×1 struct] Type:矩形描述:"

显示有关头灯sublabel。

gTruth.LabelDefinitions.Hierarchy {1} .headlight
“颜色:[0.5862 0.8276 0.3103]isOn: [1×1 struct]

显示有关carType属性。

gTruth.LabelDefinitions.Hierarchy {1} .carType
ans = struct with fields: ListItems: {3×1 cell}

标签数据

LabelData是一个时间表,包含了在整个视频中每个时间戳绘制的ROI标签的信息。时间表每个标签有一列。

显示时间表的前几行。前几个时间戳表明没有发现车辆,而且阳光明媚的场景标签为.这些结果是因为视频的这部分没有标记。只有5-10秒的时间范围被标记。

labelData = gTruth.LabelData;头(labelData)
ans = 8×3时间表时间汽车卡车阳光明媚  __________ ____________ ____________ _____ 5.005秒[1×2 struct][1×0 struct]真正的5.0384秒[1×2 struct][1×0 struct]真正的5.0717秒[1×2 struct][1×0 struct]真正的5.1051秒[1×2 struct][1×0 struct]真正的5.1385秒[1×2 struct][1×0 struct]真正的5.1718秒[1×2 struct][1×0 struct]真正的5.2052秒[1×2 struct][1×0 struct]真正的5.2386秒[1×2 struct][1×0 struct]真的

显示包含标签的5-10秒间隔内的前几行时间表。

gTruthInterval = labelData(时间范围)“00:00:05”“00:00:10”):);头(gTruthInterval)
ans = 8×3时间表时间汽车卡车阳光明媚  __________ ____________ ____________ _____ 5.005秒[1×2 struct][1×0 struct]真正的5.0384秒[1×2 struct][1×0 struct]真正的5.0717秒[1×2 struct][1×0 struct]真正的5.1051秒[1×2 struct][1×0 struct]真正的5.1385秒[1×2 struct][1×0 struct]真正的5.1718秒[1×2 struct][1×0 struct]真正的5.2052秒[1×2 struct][1×0 struct]真正的5.2386秒[1×2 struct][1×0 struct]真的

为每一个标签,该结构包括边界框的位置和关于它的子标签和属性的信息。

显示车辆在时间范围开始时的边界框位置。您的边界框位置可能与这里所示的不同。

只需使用:gTruthInterval (1) . car {1} .Position% [x y宽度高度],单位为像素
Ans = 1×4单行向量415.8962 82.4737 130.8474 129.3805 Ans = 1×4单行向量235.2182 1.0000 117.0611 55.3500

保存App会话

从应用程序工具条中,选择保存并保存app会话的mat文件。保存的会话包括数据源、标签定义和标记的基本事实。它还包括您的会话首选项,如应用程序的布局。要更改布局选项,请选择布局

在会话期间的任何时候,您都可以进行选择新会话开始一个新的会话。您可以选择保存当前会话或取消当前会话。

app会话mat文件与选择时导出的ground truth mat文件是分离的出口>从文件.要共享标记的地面真相数据,作为最佳实践,请共享包含groundTruth对象,而不是应用程序会话mat文件。有关更多细节,请参见共享和存储标记的地面真相数据

另请参阅

应用程序

对象

相关的话题

Baidu
map