机器人森林通过舞蹈建立信任

手势和声音让机器看起来更有情感,更像人类


在一间黑暗的房间里,12个白色手臂状的机器人站在基座上。一对人类舞者靠近中间的一个。舞者和机器人担心地互相凝视着。当机器人旋转时,舞者们围绕着它旋转。现场音乐开始了。更多的舞者爬着靠近,其他的机器人也活了过来。人和机器随着鼓、吉他和圆号的节奏移动。缓慢的钢琴旋律取代了其他乐器,一个孤独的舞者与一个机器人交织在一起,拥抱另一个机器人。音乐响起,一名MC来了,一边唱一边说唱,17名舞者(其中只有5名是人类)在他周围扭动。

这不仅仅是实验性的戏剧。这是由美国国家科学基金会(NSF)授予音乐技术中心人类和机器人各有各的长处。人类具有创造性和适应性,而机器人则是一致和精确的。在最好的情况下,人类和机器人将一起工作,在家庭、工作和学校合作。为了实现这一点,人们需要信任他们的机械伙伴。由于我们已经进化到基于某些社交线索来建立信任,机器人将需要展示这些线索。

乔治亚理工学院音乐技术中心和肯尼索州立大学舞蹈系合作项目“森林”的表演。(视频来源:佐治亚理工学院)

吉尔·温伯格(Gil Weinberg)是音乐技术中心(Center for Music Technology)的创始主任,他花了数年时间研究这些线索。为了这个项目,他向NSF提出了一个想法,向社会传播他的一些发现。他说:“我想到的把它带到公众面前的最好方式,就是和会发声的音乐家和会做手势的舞者一起表演。”

温伯格小组的研究生阿米特·罗格尔(Amit Rogel)表示:“一般来说,人们对机器人有很多恐惧。有很多关于杀手机器人或邪恶的人工智能的电影。分享我们的工作很重要,你可以看到与机器人以一种艺术的方式进行积极的互动。”

舞蹈革命

上面描述的视频在早期的工作中,温伯格的团队开发了一个系统,可以为机器人产生情感声音,以提高人类与机器人的信任。为了为系统创建数据集,他们邀请音乐家用声音或乐器表达一组情绪,然后训练一个神经网络——一种受大脑线路启发的软件——为每种情绪生成新的音频示例。他们发现,当人们与机器人合作完成将物体放入容器等任务时,如果机器人在互动过程中发出情感声音,观察者会更信任机器人。下一个合乎逻辑的步骤是教机器人通过手势传达情感。

“如果我穿上机器人套装,和另一个人说话,你只会看到机器人做一些微妙的动作。例如,当我说一些更有影响力的话时,它会摇头。这非常令人惊讶,也非常酷。”

乔治亚理工学院音乐技术中心的Amit Rogel说

把人类全身的姿势和手势转换成一个没有手的机器人并不是一件简单的事情。阿米特进行了心理学研究,研究了人类如何通过动作表达自己。“例如,当人们感到高兴时,”他说,“他们的头会抬起,手臂会抬起,他们会做重复的上下运动。”温伯格的团队使用了一种名为弗兰卡·艾米卡·熊猫的机器人,它的七个关节有七个自由度。"头朝上意味着关节6是x度。高的位置表示关节4是y度,然后上下运动就像这样,”他说着,上下移动着身体。在一项研究中,他们发现人们可以很容易地解读出意图表达的情绪。参与者还对这些动画机器人的可爱度和感知智力给予了很高的评价。

六个舞者和六个机器人在舞台上表演。

来自肯尼索州立大学的舞者与来自乔治亚理工学院音乐技术中心的机器人一起表演。(图片来源:Gioconda Barral-Secchi)

除了时尚的视频,该组织还录制了一段学生成绩包括六个不同的作品。舞者们与十几个类似于熊猫的UFACTORY xArms混在一起。首先,机器人会根据音乐执行预先编程好的动作。另一方面,当人们操纵他们的关节或对着摄像机做动作时,他们会做出反应。他们还播放了某人的脑电波。在另一个实验中,他们利用舞者动作捕捉服的数据进行了即兴创作。最后,它们会根据机器人邻居的行为来遵守规则。

Rogel喜欢穿着动作捕捉套装与机器人互动。他说:“动作捕捉套装能捕捉到你甚至不知道自己在做的非常小的动作。”“如果我穿上机器人套装,和另一个人说话,你只会看到机器人做一些微妙的动作。例如,当我说一些更有影响力的话时,它会摇头。这非常令人惊讶,也非常酷。”

平滑算子

Rogel用MATLAB编写了机器人的运动规则®.这些代码告诉机器人如何对动作捕捉、摄像头、脑电图、音乐、人类的轻推以及其他机器人的动作做出反应。Rogel使用Simulink控制不同元素的交互方式®,其中块表示控制函数。他可以打开模块并查看功能。“我是一名机械工程师,”他说。“我喜欢看方程式,专注于数学运算,而不是一行行的软件代码。由于所有的工具箱都可用,在MATLAB中很容易完成所有这些工作。”

在Simulink中,他以两种不同的方式可视化机器人的运动。一幅图显示了各个点的加速度。另一个则是每个机器人都是动画简笔画。他说:“我可以测试不同的参数,看看它是如何反应的,而不会损坏任何一个机器人。”“或者,如果我在做很酷的事情,我也可以在机器人上测试之前看到它。这是迭代过程的一个简单工具。”

动作捕捉诉讼的原始数据很混乱。最有用的软件功能之一是将运动曲线转化为方程,团队可以用它来生成新的机器人运动。通常,他们会创建五阶多项式——变量的五次幂方程。它们这样做是为了当用二阶导数将位置转换为速度,然后是加速度时,它们仍然有一个三阶多项式,一个平滑的曲线。否则,马达的运动可能会摇摆不定,损坏硬件,看起来不自然。

另一个技巧是坚持到底。当一个人移动身体的一个部位时,身体的其他部位也会随之移动。例如,当你挥手时,你的肩膀就会随之调整。“我们想用机器人来模拟这个,”Rogel说,“这样当它们跳舞时,看起来就像一个流畅的动作,很优雅。”该团队使用的工具可以定位曲线的峰值(一个点的最大加速度),然后改变另一个点的曲线,使其在一定时间内偏移。

伊万·普利卡拉(Ivan Pulinkala)是附近的舞蹈指导肯尼索州立大学他和MC一起编排了这段流畅的视频,有时会越过罗格尔的肩膀,提出提示。他会描述人类脊柱的起伏,或者提出机器人似乎在呼吸。普利卡拉说:“让我感到兴奋的是,它完全改变了我对编舞和舞者对动作的态度。”他们也隶属于肯尼索。

为了准备录像作品的一个部分,机器人即兴发挥,然后重复这个即兴发挥,以便从不同的角度拍摄视频。为了做到这一点,Rogel在MATLAB中对一个舞者的表演训练了一个神经网络,以生成该舞者风格的新的机器人动作。

温伯格说:“最大的挑战之一是如何让动作像人类的动作一样流畅流畅。”“我觉得这很棘手,因为这些机器人不是为跳舞而设计的。阿米特和他们一起创造了奇迹。看看学期末的学生录像。你会看到机器人是如何与人类合作的。否则,我们可能会陷入恐怖谷,机器人看起来很怪异。”

“最大的挑战之一是如何让动作像人类的动作一样流畅。我认为这很棘手,因为这些机器人不是为跳舞而设计的。阿米特和他们一起创造了奇迹。你会看到机器人是如何与人类相处的。”

吉尔·温伯格是佐治亚理工学院音乐技术中心主任
乔治亚理工学院的四位研究人员正在与其中一个机器人一起工作。

Amit Rogel(前景,右),佐治亚理工学院音乐技术中心的研究生,与其他“森林”研究人员(从左到右)Mohammad Jafar, Michael Verma和Rose Sun一起工作。(图片来源:艾莉森·卡特,佐治亚理工学院)

共生

温伯格说:“肯尼索舞者对我们的机器人产生的感情让我惊喜不已。”“这是一个很大的机会,因为他们来自一个完全不同的世界。在工作坊之前,他们可能认为机器人只是机械工具。”

“我不是围着他们跳舞,而是和他们一起跳舞。感觉就像他们在和我们一起跳舞。”

克里斯蒂娜·马萨德,肯尼索州立大学

一位名叫克里斯蒂娜·马萨德(Christina Massad)的舞者在接受亚特兰大NPR电台采访时描述了自己想法的转变,“我不是围着他们跳舞,而是和他们一起跳舞。感觉就像他们在和我们一起跳舞。”

Rogel使用MATLAB来调整机器人关节的接触灵敏度。他说:“我们确实希望舞者能够近距离接触机器人,真正建立联系。”“一开始,他们在他们身边非常胆怯和害羞。但当他们第一次碰到一个向他们移动的机器人时,人类会很安全,机器人也会很安全,这对他们来说感觉更真实。”

舞者与机器人表演。

舞者近距离与机器人建立联系。(图片来源:佐治亚理工学院)

没有接触,机器人偶尔会出故障。“舞者们真的很喜欢这样,”罗格尔说,“因为这也让他们感觉更像人,就像他们累了一样。”该团队还使用了一些技巧让机器人看起来更有活力,比如给它们起眼睛、名字和背景故事。

研究小组还计划进行更多的实验。他们想进一步调查人们对机器人手势的信任程度。他们也在研究情绪传染——人们希望机器如何对他们自己的情绪做出反应——以及人的个性所扮演的角色;有些人可能更喜欢不同的反应。为了进一步交流他们的见解,他们计划带着“森林”进行巡回演出。普利卡拉希望制作一个更长的节目。

“FOREST”与其他人机交互研究不同的一点是它收集了多个机器人。温伯格称这既是一个技术挑战,也是一个社会挑战。“这个想法是用森林作为一个隐喻。受到森林生物多样性的启发,我们试图将一系列可以玩耍、跳舞和相互影响的机器人和人类结合在一起。音乐也很多样化,融合了许多不同类型的音乐,如中东音乐、电子舞、嘻哈、古典音乐、雷鬼音乐和卡纳蒂克音乐等。”

这个项目背后的人员也各不相同。该团队由学生、教授和管理人员、音乐家、工程师、舞蹈家和编舞组成。该团队还具有广泛的性别、种族、国籍和背景。我认为我们能够创造一些独特的东西。每个人都学到了一些东西。”温伯格继续描述了音乐技术中心背后的更大使命。“我非常相信多样性,这在佐治亚理工学院这样的技术大学是很难实现的。”例如,佐治亚理工学院没有舞蹈课程。他说:“有些舞者也擅长计算机科学,但却找不到一种方法将两种热情结合起来。”“这种项目使他们能够结合两个世界的优点。”


阅读其他故事

面板的导航

世界杯预选赛足球比赛时间学术/机器人

一个由九名本科生组成的团队为他们的最终项目建造了创新的跳跃机器人

小巧敏捷的“Ascento”爬楼梯并避开障碍物

面板的导航

机器人/自主系统

相信机器人能在新的空间中导航

新算法提高机器人感知的鲁棒性

Baidu
map