模拟3 d相机
库:
无人机工具箱/模拟3 d
自动驾驶工具箱/模拟3 d
描述
的模拟3 d相机块提供了一个接口的相机镜头3 d仿真环境。使用虚幻引擎呈现这种环境®从史诗般的游戏®。传感器是基于理想的针孔相机模型,添加了一个镜头来代表一个完整的相机模型,包括透镜畸变。这款相机模型支持150度的视野。更多细节,请参阅算法。
如果你设置样品时间来1,阻止使用示例中指定的时间模拟3 d场景配置块。使用这种传感器,必须包括一个模拟3 d场景配置阻止在您的模型中。
块输出图像在模拟摄像机捕捉到。您可以使用这些图像可视化和验证你的驾驶算法。此外,在地面实况选项卡中,您可以选择输出选项的地面实况数据开发深度估计和语义分割算法。你也可以输出摄像机的位置和方向的世界坐标系统。图像显示了启用了所有端口的块。
表总结了港口和如何启用它们。
| 港口 | 描述 | 为启用端口参数 | 样本可视化 |
|---|---|---|---|
图像 |
输出一个RGB图像被相机 | n /一个 |
|
深度 |
输出一个深度映射值从0米到1000米 |
输出深度 |
|
标签 |
输出一个语义细分标签id对应的地图场景中的对象 |
输出的语义分割 |
|
位置 |
输出摄像机在世界坐标系的位置 |
输出位置(m)和方向(rad) |
n /一个 |
取向 |
输出摄像机在世界坐标系的方向 |
输出位置(m)和方向(rad) |
n /一个 |
请注意
的模拟3 d场景配置块前必须执行模拟3 d相机块。这样,虚幻引擎3 d可视化环境准备前的数据模拟3 d相机块接收到它。检查块的执行顺序,右键单击模块并选择属性。在一般选项卡,确认这些优先级设置:
模拟3 d场景配置- - - - - -
0模拟3 d相机- - - - - -
1
关于执行顺序的更多信息,请参阅虚幻引擎模拟自动驾驶是如何运作的吗。
港口
输入
输出
参数
越来越多的
传感器标识符- - - - - -独特的传感器标识符
1(默认)|正整数
指定传感器的惟一标识符。在多传感器系统中,使您能够区分传感器传感器标识符。当你添加一个新的传感器块模型,传感器标识符的块N+ 1,N是最高的传感器标识符值中现有的传感器模块的模型。
例子:2
父母的名字- - - - - -父母的名字车辆
现场的起源(默认)|汽车的名字
父母的名字的传感器安装,指定为现场的起源或者是车辆在你的模型的名称。这辆车的名字,你可以选择对应的名字参数模拟3 d模型中车辆块。如果您选择现场的起源块地方现场传感器的起源。
例子:SimulinkVehicle1
安装位置- - - - - -传感器安装位置
起源(默认)|前保险杠|后保险杠|正确的镜子|离开了镜子|后视镜|罩中心|屋顶中心
传感器安装位置。
当父母的名字是
现场的起源块安装传感器,现场的起源。你可以设置安装位置来起源只有。在仿真过程中,传感器是静止的。当父母的名字是一辆车的名字,块安装传感器的预定义的表中所示的安装位置。在仿真过程中,传感器与汽车旅行。
| 车辆安装位置 | 描述 | 定位相对于汽车起源(横滚、俯仰、偏航)(度) |
|---|---|---|
起源 |
前置传感器安装在车辆上的起源,在地上,在几何中心的车辆(见坐标系统虚幻引擎在自动驾驶仿真工具箱)
|
(0,0,0) |
前保险杠 |
前置传感器安装在前保险杠
|
(0,0,0) |
后保险杠 |
将传感器安装到后保险杠
|
(0,0,180) |
正确的镜子 |
下传感器安装在正确的侧视镜
|
-90年[0,0] |
离开了镜子 |
下传感器安装在左侧视镜
|
-90年[0,0] |
后视镜 |
前置传感器安装在后视镜上,在车里面
|
(0,0,0) |
罩中心 |
前置传感器安装在罩的中心
|
(0,0,0) |
屋顶中心 |
前置传感器安装在屋顶的中心
|
(0,0,0) |
横滚、俯仰和偏航clockwise-positive时的正方向X设在,Y设在,Z分别设在。从上面看一辆车时,偏航角(定向角)counterclockwise-positive是因为你要负方向的轴。
的X- - - - - -Y- - - - - -Z传感器的安装位置相对于车辆取决于车辆的类型。要指定车辆类型,可以使用类型参数的模拟3 d车辆与地面块你挂载传感器。获取X- - - - - -Y- - - - - -Z安装地点的车辆类型、车辆看到引用页面。
确定传感器的位置在世界坐标,打开传感器块。然后,在地面实况选项卡中,选择输出位置(m)和方向(rad)参数和检查的数据位置输出端口。
指定偏移量- - - - - -指定从安装位置偏移
从(默认)|在
选择该参数指定安装位置通过使用一个偏移量相对翻译[X, Y, Z] (m)和相对旋转(横滚、俯仰、偏航)(度)参数。
相对翻译[X, Y, Z] (m)- - - - - -翻译补偿相对安装位置
(0,0,0)(默认)|实值1×3向量
翻译补偿相对于传感器的安装位置,指定为一个实值1×3向量的形式X,Y,Z]。单位是米。
如果你挂载传感器的车辆设置父母的名字这辆车的名字,然后X,Y,Z在车辆坐标系,地点:
的X设在指向前方的车辆。
的Y设在点左边的车,观看时车辆的前进方向。
的Z设在点。
起源中指定的安装位置安装位置参数。这个起源与车辆来源不同,车辆的几何中心。
如果你挂载传感器现场通过设置起源父母的名字来现场的起源,然后X,Y,Z在现场的世界坐标。
更详细的车辆和世界坐标系统,明白了坐标系统虚幻引擎在自动驾驶仿真工具箱。
例子:(0,0,0.01)
在模拟调整相对翻译
调整的相对翻译在模拟传感器,使翻译通过选择输入端口输入旁边的参数相对翻译[X, Y, Z] (m)参数。当你使翻译港口,相对翻译[X, Y, Z] (m)参数指定初始相对传感器和翻译翻译端口指定了在模拟传感器的相对翻译。更多细节关于这个传感器的相对平移和旋转,明白了传感器位置转换。
依赖关系
要启用该参数,选择指定偏移量。
相对旋转(横滚、俯仰、偏航)(度)- - - - - -旋转抵消相对安装位置
(0,0,0)(默认)|实值1×3向量
旋转偏移量相对于传感器的安装位置,指定为一个实值1×3向量的形式卷,球场,偏航]。横滚、俯仰和偏航角度的旋转X- - - - - -,Y- - - - - -,Z分别相互重合。单位是在度。
如果你挂载传感器的车辆设置父母的名字这辆车的名字,然后X,Y,Z在车辆坐标系,地点:
的X设在指向前方的车辆。
的Y设在点左边的车,观看时车辆的前进方向。
的Z设在点。
横滚、俯仰和偏航clockwise-positive时的前进方向X设在,Y设在,Z分别设在。如果你把一个场景从2 d自上而下的角度来看,那么偏航角(也称为取向角)counterclockwise-positive因为你正在查看现场的负方向Z设在。
起源中指定的安装位置安装位置参数。这个起源与车辆来源不同,车辆的几何中心。
如果你挂载传感器现场通过设置起源父母的名字来现场的起源,然后X,Y,Z在现场的世界坐标。
更详细的车辆和世界坐标系统,明白了坐标系统虚幻引擎在自动驾驶仿真工具箱。
例子:(0,0,10)
在模拟调整相对旋转
调整在模拟传感器的相对旋转,使旋转通过选择输入端口输入旁边的参数相对旋转(横滚、俯仰、偏航)(度)参数。当你使旋转港口,相对旋转(横滚、俯仰、偏航)(度)参数指定的初始相对旋转传感器和旋转端口指定了在模拟传感器的相对旋转。更多细节关于这个传感器的相对平移和旋转,明白了传感器位置转换。
依赖关系
要启用该参数,选择指定偏移量。
样品时间- - - - - -样品时间
1(默认)|积极的标量
样品的时间,以秒为单位指定为一个积极的标量。3 d仿真环境帧率的倒数样品时间。
如果你设置样品时间1,阻止继承采样时间模拟3 d场景配置块。
参数
这些内在的相机参数的性质是等价的cameraIntrinsics对象。为你的相机获得内在参数,使用相机校准器应用程序。
相机标定过程的详细信息,请参阅使用单摄像机校准器应用和相机标定是什么?。
焦距(像素)- - - - - -相机的焦距
(1109、1109)(默认)| 1×2正整数向量
相机的焦距指定为1×2正整数向量的形式外汇,财政年度]。单位是像素。
外汇=F×sx
财政年度=F×sy
地点:
F是世界的焦距单位,通常是毫米。
(sx,sy)每个世界单位像素的数量x和y方向,分别。
这个参数是等效的FocalLength财产的cameraIntrinsics对象。
光学中心(像素)- - - - - -相机的光学中心
(640、360)(默认)| 1×2正整数向量
相机的光学中心指定为1×2正整数向量的形式残雪,cy]。单位是像素。
这个参数是等效的PrincipalPoint财产的cameraIntrinsics对象。
图像尺寸(像素)- - - - - -图像大小由相机
(720、1280)(默认)| 1×2正整数向量
相机产生的图像大小指定为1×2正整数向量的形式mrows,ncols]。单位是像素。
这个参数是等效的图象尺寸财产的cameraIntrinsics对象。
径向畸变系数- - - - - -径向畸变系数
(0,0)(默认)|实值向量| 2-element转换实值向量|实值6-element向量
指定径向畸变系数作为一个实值2-element,转换,或者6-element向量。径向畸变图像的位移点沿径向线扩展的主要点。
形象点远离主点(积极的径向位移),图像放大减少和pincushion-shaped变形发生在形象上。
形象点朝着主点(负径向位移),图像放大增加和筒状的变形发生在图像。
相机传感器计算(xd,yd)使用two-coefficient radial-distorted一个点的位置,three-coefficient或six-coefficient公式。此表显示了各种公式,地点:
(x,y)=无畸变的像素位置
k1,k2,k3,k4,k5,k6=镜头的径向畸变系数
r2=x2+y2
| 系数 | 公式 | 描述 |
(k1, k2) |
xd=x(1 +k1r2+k2r4) yd=y(1 +k1r2+k2r4) |
这个模型相当于two-coefficient模型使用的RadialDistortion财产的cameraIntrinsics对象。 |
(k1、k2、k3) |
xd=x(1 +k1r2+k2r4+k3r6) yd=y(1 +k1r2+k2r4+k3r6) |
这个模型相当于three-coefficient模型使用的RadialDistortion财产的cameraIntrinsics对象。 |
(k1、k2、k3 k4、k5转k6] |
six-coefficient模型是基于OpenCV径向畸变模型。 请注意 的相机校准器应用程序不支持这种模式。校准相机使用这个模型,请参阅摄像机标定和三维重建OpenCV的文档。 |
切向畸变系数- - - - - -切向畸变系数
(0,0)(默认)|实值2-element向量
指定切向畸变系数作为一个实值2-element向量。切向畸变发生在镜头和图像平面不平行。
相机传感器计算一个点的切向变形位置,(xd,yd),使用这个公式:
xd=x+ (2p1xy+p2×(r2+ 2x2)]
yd=y+ (p1×(r2+ 2y2)+ 2p2xy]
地点:
x,y=不偏激的像素位置
p1,p2=镜头切向畸变系数
r2=x2+y2
无畸变的像素位置出现在归一化图像坐标,光学中心的起源。世界表达的坐标单位。
这个参数是等效的TangentialDistortion财产的cameraIntrinsics对象。
轴倾斜- - - - - -斜交角相机的轴
0(默认)|非负实值标量
相机的斜交角轴指定为一个非负实值标量。如果X设在和Y设在完全垂直,然后斜必须0。单位是无量纲。
这个参数是等效的斜财产的cameraIntrinsics对象。
地面实况
输出深度- - - - - -输出深度图
从(默认)|在
选择这个参数输出的深度图深度端口。
输出的语义分割- - - - - -输出的语义分割图标签id
从(默认)|在
选择该参数输出一个语义分割的标签id映射标签端口。
输出位置(m)和方向(rad)- - - - - -输出的位置和方向传感器
从(默认)|在
选择该参数输出的传感器的位置和方向位置和取向端口,分别。
提示
可视化摄像机输出的图像图像端口,使用一个视频查看器或视频显示块。
学习如何可视化深度和语义分割地图输出的深度和标签港口,请参阅深度和语义分割使用虚幻引擎模拟可视化的例子。
了解如何设置标签的Sim 3 d场景帽以及它相关的标记块,明白了把相机放在演员在虚幻编辑器(车辆动力学Blockset)。
因为虚幻引擎之间需要很长时间才能开始模拟,考虑测井信号,传感器的输出。然后您可以使用这些数据在MATLAB开发感知算法®。看到马克信号记录(模型)。
你也可以保存图像数据作为视频使用多媒体文件块。这个设置的一个例子,看到设计车道标记探测器使用虚幻引擎模拟环境。
算法
引用
[1]Bouguet, j . Y。相机标定为Matlab工具箱。http://www.vision.caltech.edu/bouguetj/calib_doc
[2],Z。“灵活的摄像机标定的新技术。”IEEE模式分析与机器智能。没有。11日,第22卷,2000年,页1330 - 1334。
[3]么,J。,O. Silven. “A Four-step Camera Calibration Procedure with Implicit Image Correction.”IEEE国际会议在计算机视觉和模式识别。1997年。
版本历史
介绍了R2019b
