我们使用MatLab和Arduino来获取和发送现实世界的信息到移动应用程序或虚拟现实游戏。这让我们有潜力在开发过程中补充和丰富体验。我们可以向移动设备发送信息:来自惯性测量单元的数据，开关按钮，电位器，图像分割数据，以及用于Windows传感器的Kinect数据。
关于MatLab的使用我们使用了它的一些基本命令，除此之外他们的一些工具箱供我们开发:

•MatLab基本命令用于处理来自传感器的信息。例如，需要处理从多个imu接收到的数据，以估计旋转和位置。它还被用来将每次迭代得到的结果绘制成图形，这使得我们可以一直控制信息。

•图像采集工具箱用于获取Kinect sensor数据，包括color图像、depth图像，以及包含被检测用户和骨骼信息的元数据。

•我们使用图像处理工具箱和计算机视觉工具箱在Kinect RGBD数据中寻找潜在的感兴趣对象。使用分割技术和点云处理是必要的。

•此外，我们使用串行通信的支持，这允许我们用Arduino发送和接收数据。为此，有必要创建我们自己的通信协议来编码检测到的骨架数据、场景中识别的物体和处理过的传感器数据。

我们使用两种Arduino板:一个Arduino Mega和多个Arduino Nano，每一块都有不同的用途。我们希望传感器系统体积小、便携、无线，以便让用户在虚拟体验中感到舒适。
•Arduino Nano的目的是读取传感器信号。这些信号可以来自多个imu、多个按钮或/和多个电位器。此外，Arduino Nano通过蓝牙将这些信息传输到Arduino Mega。
•Arduino Mega在我们的工作中有双重用途:它负责无线接收Arduino Nano获得的信息;此外，它通过USB将这些信息传输到MatLab。最后，Arduino Mega接收由MatLab处理的信息，并通过蓝牙发送到多个移动设备。

https://www.youtube.com/watch?v=jwIwJjR-sHQ