模拟3D摄像机
三维仿真环境中带有镜头的相机传感器模型
- 库:
无人机工具箱/仿真3D
自动驾驶工具箱/仿真3D
描述
的模拟3D摄像机块提供了在3D模拟环境中带有镜头的相机的接口。此环境使用虚幻引擎渲染®来自Epic Games®.该传感器基于理想的针孔相机模型,加上一个镜头来代表完整的相机模型,包括镜头畸变。这款相机支持高达150度的视野。详情请参见算法.
如果你设置样品时间来-1
时,块使用中指定的采样时间模拟三维场景配置块。要使用此传感器,必须包含一个模拟三维场景配置块在你的模型中。
该模块输出模拟过程中摄像机捕捉到的图像。您可以使用这些图像来可视化和验证您的驾驶算法。此外,关于地面实况选项卡,您可以选择输出地面真相数据,用于开发深度估计和语义分割算法。您还可以在场景的世界坐标系中输出相机的位置和方向。该图像显示了启用了所有端口的块。
下表总结了这些端口以及如何启用它们。
港口 | 描述 | 启用端口参数 | 样本可视化 |
---|---|---|---|
图像 |
输出由相机捕获的RGB图像 | N/A |
|
深度 |
输出一个深度图,值从0米到1000米 |
输出深度 |
|
标签 |
输出与场景中对象对应的标签id的语义分割映射 |
输出语义分割 |
|
位置 |
输出相机在世界坐标系统中的位置 |
输出位置(m)和方向(rad) |
N/A |
取向 |
在世界坐标系中输出相机的方向 |
输出位置(m)和方向(rad) |
N/A |
请注意
的模拟三维场景配置块必须在模拟3D摄像机块。这样,虚幻引擎3D可视化环境将在模拟3D摄像机Block接收它。要检查块的执行顺序,右键单击块并选择属性.在一般Tab,确认优先级设置:
模拟三维场景配置- - - - - -
0
模拟3D摄像机- - - - - -
1
有关执行命令的详细信息,请参见虚幻引擎如何模拟自动驾驶.
港口
输入
输出
参数
提示
控件输出的相机图像可视化图像端口,使用视频查看器或转到视频显示块。
控件输出的深度和语义分割图的可视化深度而且标签端口,请参见深度和语义分割可视化使用虚幻引擎模拟的例子。
了解如何设置标签模拟3d场景以及它的标签是如何与块相关的,见在虚幻编辑器中将摄像机放置在演员上(车辆动力组).
因为虚幻引擎在两次模拟之间可能需要很长时间才能启动,所以请考虑记录传感器输出的信号。然后,您可以使用这些数据在MATLAB中开发感知算法®.看到配置记录信号(模型).
方法还可以将图像数据保存为视频转到多媒体文件块。有关此设置的示例,请参见使用虚幻引擎模拟环境设计车道标志检测器.
算法
参考文献
[1]布盖,j.y。相机校准工具箱的Matlab.http://www.vision.caltech.edu/bouguetj/calib_doc
[2]张,Z。一种灵活的相机定标新技术模式分析与机器智能汇刊.卷22,第11期,2000,第1330-1334页。
[3]海克拉,J.和O.西尔文。带有隐式图像校正的四步相机校准程序IEEE计算机视觉与模式识别国际会议.1997.
版本历史
R2019b引入