模拟3D摄像机
库:
无人机工具箱/仿真3D
自动驾驶工具箱/仿真3D
描述
的模拟3D摄像机块提供了在3D模拟环境中带有镜头的相机的接口。此环境使用虚幻引擎渲染®来自Epic Games®。该传感器基于理想的针孔相机模型，加上一个镜头来代表完整的相机模型，包括镜头畸变。这款相机支持高达150度的视野。详情请参见算法。
如果你设置样品时间来－1时，块使用中指定的采样时间模拟三维场景配置块。要使用此传感器，必须包含一个模拟三维场景配置块在你的模型中。
该模块输出模拟过程中摄像机捕捉到的图像。您可以使用这些图像来可视化和验证您的驾驶算法。此外，关于地面实况选项卡，您可以选择输出地面真相数据，用于开发深度估计和语义分割算法。您还可以在场景的世界坐标系中输出相机的位置和方向。该图像显示了启用了所有端口的块。
下表总结了这些端口以及如何启用它们。
| 港口 | 描述 | 启用端口参数 | 样本可视化 |
|---|---|---|---|
图像 |
输出由相机捕获的RGB图像 | N/A |
|
深度 |
输出一个深度图，值从0米到1000米 |
输出深度 |
|
标签 |
输出与场景中对象对应的标签id的语义分割映射 |
输出语义分割 |
|
位置 |
输出相机在世界坐标系统中的位置 |
输出位置(m)和方向(rad) |
N/A |
取向 |
在世界坐标系中输出相机的方向 |
输出位置(m)和方向(rad) |
N/A |
请注意
的模拟三维场景配置块必须在模拟3D摄像机块。这样，虚幻引擎3D可视化环境将在模拟3D摄像机Block接收它。要检查块的执行顺序，右键单击块并选择属性。在一般Tab，确认优先级设置:
模拟三维场景配置- - - - - -
0模拟3D摄像机- - - - - -
1
有关执行命令的详细信息，请参见虚幻引擎如何模拟自动驾驶。
港口
输入
输出
参数
越来越多的
传感器标识符- - - - - -唯一传感器标识符
1(默认值)|正整数
指定传感器的唯一标识符。在多传感器系统中，传感器标识符使您能够区分传感器。在模型中添加新的传感器块时，传感器标识符这个方块的N+ 1，其中N是最高的传感器标识符模型中现有传感器块之间的值。
例子:2
父母的名字- - - - - -母车名称
现场的起源(默认)|车辆名称
传感器挂载到的父节点的名称，指定为现场的起源或者作为模型中车辆的名称。选项对应的车辆名称名字模型中模拟3D车辆块的参数。如果您选择现场的起源，该块在场景原点放置传感器。
例子:SimulinkVehicle1
安装位置- - - - - -传感器安装位置
起源(默认)|前保险杠|后保险杠|正确的镜子|离开了镜子|后视镜|罩中心|屋顶中心
传感器安装位置。
当父母的名字是
现场的起源时，块将传感器安装到场景的原点。您可以设置安装位置来起源只有。在模拟过程中，传感器保持静止。当父母的名字是车辆的名称，则块将传感器安装到表中描述的预定义安装位置之一。在模拟过程中，传感器随车辆移动。
| 车辆安装位置 | 描述 | 相对于车辆原点的方向[侧倾，俯仰，偏航](度) |
|---|---|---|
起源 |
前向传感器安装在车辆原点，这是在地面上，在车辆的几何中心(见坐标系统的虚幻引擎模拟在自动驾驶工具箱）
|
[0,0,0] |
前保险杠 |
前向传感器安装在前保险杠
|
[0,0,0] |
后保险杠 |
后向传感器安装在后保险杠
|
[0,0,180] |
正确的镜子 |
向下传感器安装在右侧侧视镜
|
[0， - 90,0] |
离开了镜子 |
向下传感器安装在左侧侧视镜
|
[0， - 90,0] |
后视镜 |
前向传感器安装在车内的后视镜上
|
[0,0,0] |
罩中心 |
前向传感器安装在引擎盖的中心
|
[0,0,0] |
屋顶中心 |
前向传感器安装在屋顶的中心
|
[0,0,0] |
滚动，俯仰，和偏航是顺时针正时，看着正方向的X设在,Y设在,Z分别设在。当从上面看一辆车时，偏航角(方向角)是逆时针正的，因为你在看轴的负方向。
的X-Y-Z传感器相对于车辆的安装位置取决于车辆类型。要指定车辆类型，请使用类型参数。模拟三维车辆与地面跟踪块你可以安装传感器。要获得X-Y-Z车辆类型的安装位置，请参阅该车辆的参考页面。
要确定传感器在世界坐标中的位置，请打开传感器块。然后，在地面实况选项卡，选择输出位置(m)和方向(rad)参数中的数据并检查位置输出端口。
指定偏移量- - - - - -指定与安装位置的偏移量
从(默认)|在
属性指定与安装位置的偏移量相对平移[X, Y, Z] (m)而且相对旋转[横摇、俯仰、偏航](度)参数。
相对平移[X, Y, Z] (m)- - - - - -相对于安装位置的平移偏移量
[0,0,0](默认值)|实值1乘3向量
相对于传感器安装位置的平移偏移量，指定为形式为[的1 × 3实值向量]X，Y，Z］．单位是米。
如果您通过设置将传感器安装到车辆上父母的名字那就是那辆车的名字X，Y,Z均在车辆坐标系中，其中:
的X-轴指向车辆前方。
的Y-轴指向车辆的左侧，就像在车辆前进方向时看到的那样。
的Z-轴向上。
文件中指定的安装位置安装位置参数。这个原点不同于飞行器原点，后者是飞行器的几何中心。
如果您通过设置将传感器安装到场景原点父母的名字来现场的起源,然后X，Y,Z都在现场的世界坐标中。
有关飞行器和世界坐标系的详细信息，请参见坐标系统的虚幻引擎模拟在自动驾驶工具箱。
例子:(0, 0, 0.01)
在模拟过程中调整相对平移
若要在模拟过程中调整传感器的相对平移，请使能翻译的输入端口输入参数旁边的相对平移[X, Y, Z] (m)参数。当您启用翻译港口,相对平移[X, Y, Z] (m)参数指定传感器和翻译Port表示模拟过程中传感器的相对平移。有关此传感器的相对平移和旋转的详细信息，请参见传感器位置变换。
依赖关系
若要启用该参数，请选中指定偏移量。
相对旋转[横摇、俯仰、偏航](度)- - - - - -相对于安装位置的旋转偏移量
[0,0,0](默认值)|实值1乘3向量
相对于传感器安装位置的旋转偏移量，指定为形式为[的1 × 3实值矢量[卷，球场，偏航]。滚转，俯仰和偏航是围绕旋转的角度X-，Y- - - - - -,Z分别相互重合。单位是度。
如果您通过设置将传感器安装到车辆上父母的名字那就是那辆车的名字X，Y,Z均在车辆坐标系中，其中:
的X-轴指向车辆前方。
的Y-轴指向车辆的左侧，就像在车辆前进方向时看到的那样。
的Z-轴向上。
滚动，俯仰，和偏航是顺时针正时，看向前的方向X设在,Y设在,Z分别设在。如果您从2D自上而下的视角查看场景，那么偏角(也称为方向角)是逆时针正的，因为您正在以反向方向查看场景Z设在。
文件中指定的安装位置安装位置参数。这个原点不同于飞行器原点，后者是飞行器的几何中心。
如果您通过设置将传感器安装到场景原点父母的名字来现场的起源,然后X，Y,Z都在现场的世界坐标中。
有关飞行器和世界坐标系的详细信息，请参见坐标系统的虚幻引擎模拟在自动驾驶工具箱。
例子:(0, 0, 10)
模拟过程中调整相对旋转
若要在模拟过程中调整传感器的相对旋转，请使能旋转的输入端口输入参数旁边的相对旋转[横摇、俯仰、偏航](度)参数。当您启用旋转港口,相对旋转[横摇、俯仰、偏航](度)参数指定传感器的初始相对旋转旋转Port表示模拟过程中传感器的相对旋转。有关此传感器的相对平移和旋转的详细信息，请参见传感器位置变换。
依赖关系
若要启用该参数，请选中指定偏移量。
样品时间- - - - - -样品时间
－1(默认)|正标量
块的采样时间，以秒为单位，指定为正标量。三维仿真环境的帧速率是采样时间的倒数。
如果将采样时间设置为－1时，块继承其采样时间模拟三维场景配置块。
参数
这些相机的固有参数等价于一个属性cameraIntrinsics对象。若要获得相机的内在参数，请使用相机校准器应用程序。
摄像机标定过程请参见使用单相机校准器应用程序而且什么是相机校准?。
焦距(像素)- - - - - -相机焦距
(1109、1109)(默认值)| 1乘2正整数向量
指定相机的焦距为形式为[的1 × 2正整数向量外汇，财政年度］．单位是像素。
外汇=F×sx
财政年度=F×sy
地点:
F以世界单位为单位的焦距，通常为毫米。
(sx，sy中每个世界单位的像素数x而且y方向,分别。
该参数等价于FocalLength的属性cameraIntrinsics对象。
光心(像素)- - - - - -相机光学中心
(640、360)(默认值)| 1乘2正整数向量
将相机的光学中心指定为形式为[的1 × 2正整数向量[残雪，cy］．单位是像素。
该参数等价于PrincipalPoint的属性cameraIntrinsics对象。
图像大小(像素)- - - - - -相机产生的图像大小
(720、1280)(默认值)| 1乘2正整数向量
将相机生成的图像大小指定为形式为[的1 × 2正整数向量mrows，ncols］．单位是像素。
该参数等价于图象尺寸的属性cameraIntrinsics对象。
径向畸变系数- - - - - -径向畸变系数
(0,0)(默认)|实值2元向量|实值3元向量|实值6元向量
将径向失真系数指定为实值2元、3元或6元矢量。径向畸变是图像点沿从主点延伸的径向线的位移。
当图像点远离主点(正径向位移)时，图像放大率降低，图像上出现针垫形失真。
随着图像点向主点移动(负径向位移)，图像放大倍率增大，图像出现桶形畸变。
相机传感器计算(xd，yd)利用二系数、三系数或六系数公式计算点的径向畸变位置。该表显示了各种公式，其中:
（x，y) =未扭曲的像素位置
k1，k2，k3.，k4，k5，k6=透镜的径向畸变系数
r2=x2+y2
| 系数 | 公式 | 描述 |
(k1, k2) |
xd=x(1 +k1r2+k2r4） yd=y(1 +k1r2+k2r4） |
该模型等价于所使用的双系数模型RadialDistortion的属性cameraIntrinsics对象。 |
[k1, k2, k3] |
xd=x(1 +k1r2+k2r4+k3.r6） yd=y(1 +k1r2+k2r4+k3.r6） |
该模型等价于三系数模型RadialDistortion的属性cameraIntrinsics对象。 |
[k1, k2, k3, k4, k5, k6] |
六系数模型基于OpenCV径向畸变模型。 请注意 的相机校准器App不支持此模式。要使用此型号校准相机，请参见摄像机标定和三维重建在OpenCV文档中。 |
切向失真系数- - - - - -切向失真系数
(0,0)(默认)|实值2元向量
指定切向失真系数为实值2元向量。当镜头与像面不平行时，就会发生切向畸变。
相机传感器计算出一个点的切向扭曲位置，(xd，yd)，使用以下公式:
xd=x+ (2p1xy+p2×(r2+ 2x2)]
yd=y+ (p1×(r2+ 2y2) + 2p2xy］
地点:
x，y=未扭曲的像素位置
p1，p2=镜头的切向畸变系数
r2=x2+y2
未扭曲的像素位置出现在归一化图像坐标，原点在光学中心。坐标以世界单位表示。
该参数等价于TangentialDistortion的属性cameraIntrinsics对象。
轴倾斜- - - - - -相机轴的倾斜角度
0(默认)|非负实数标量
指定相机轴的倾斜角度为非负实值标量。如果X设在和Y-轴完全垂直，那么倾斜度一定是0。单位是无量纲的。
该参数等价于斜的属性cameraIntrinsics对象。
地面实况
输出深度- - - - - -输出深度图
从(默认)|在
的位置输出深度图深度端口。
输出语义分割- - - - - -输出标签id的语义分割图
从(默认)|在
选择此参数可输出标签id的语义分割映射标签端口。
输出位置(m)和方向(rad)- - - - - -传感器输出位置和方向
从(默认)|在
选择此参数可输出传感器的位置和方向位置而且取向端口,分别。
提示
控件输出的相机图像可视化图像端口，使用视频查看器或转到视频显示块。
控件输出的深度和语义分割图的可视化深度而且标签端口，请参见深度和语义分割可视化使用虚幻引擎模拟的例子。
了解如何设置标签模拟3d场景以及它的标签是如何与块相关的，见在虚幻编辑器中将摄像机放置在演员上(车辆动力组)。
因为虚幻引擎在两次模拟之间可能需要很长时间才能启动，所以请考虑记录传感器输出的信号。然后，您可以使用这些数据在MATLAB中开发感知算法®。看到测井标记信号(模型)。
方法还可以将图像数据保存为视频转到多媒体文件块。有关此设置的示例，请参见使用虚幻引擎模拟环境设计车道标志检测器。
算法
参考文献
[1]布盖，j.y。相机校准工具箱的Matlab。http://www.vision.caltech.edu/bouguetj/calib_doc
[2]张，Z。一种灵活的相机定标新技术模式分析与机器智能汇刊。卷22，第11期，2000，第1330-1334页。
[3]海克拉，J.和O.西尔文。带有隐式图像校正的四步相机校准程序IEEE计算机视觉与模式识别国际会议。1997.
版本历史
R2019b引入
您也可以从以下列表中选择一个网站: