手语与机械臂的情绪表达
为什么做 Bipu。
我刚开始想到要用机械臂去表达情感,还是因为做桌面机器人Lilith的需要。如果一直用幅度很大的头部动作来表达情绪会显得有点痴呆,但做仿真表情系统的话,就要一边找硅胶材料一边和微小型舵机做斗争。
我最终决定用机械臂增加personal agent的在场感。
其实我的好几个项目都是由此目的延伸出来的,比如那个千禧年嘴型项目,如果把那个嘴型项目单独放在旧的 iPad 之类的地方或者手表或者电脑,当它想和你说话的时候,它就可能会从你家里的任何一个场景中随机弹出来,我觉得这是一种我很欣赏的 creepy。机器人天然地是分布式的,所以短期内没有面部表情系统 is fine。
但和其他表达途径相比,机械臂在我看来是最合适的载体,它本身有一定的工作能力,这是动人的地方。人对于有工作能力的事物会有一种不同的感觉,因为“有用”是死物为活人做出的努力。
但当时我没有想着把这个当个事儿办,我只是快速地入门了怎么做遥操这件事情,然后在 demo 里稍微设计了两个动作而已。
为什么从工具走向宠物
再到后来,重新制作作品集的时候,我和 AI 商量,有枣没枣打一杆子,别总是机械臂表情、机械臂表情的叫了。它这才提到苹果的项目,在我看来这个完全就是皮克斯嘛。
如果说人在死亡之前一定会在脑海中浮现某个无法忘怀的画面,那么这个画面对我来说会是我和父母在周六的晚上一起窝在沙发上看《佳片有约》的样子。在我去上住宿学校之前的很多年里,每个周六晚上看《佳片有约》都是我们家的一项固定传统。我印象很深刻的是那个皮克斯的台灯在屏幕上跳来跳去的画面。
而且我确实非常想我的猫薛定饿。它已经 4 岁了,我给它起名字的时候,不是希望它要像物理学家一样聪明,而是希望它一定要定时定点地感到肚子饿,做一只胃口很好的猫。它当然没有辜负我的期待。因为想到它,我决定尝试这种家庭 pet 式的机械臂呈现方式。作品集里有机械臂的大家做的应该都是比较严肃的方向,我搞不来,那就给它加一点点趣味性吧。就像钢铁侠里的笨笨。
这个项目真正想研究什么
但如果真的要做成一个机械臂的情绪表达系统,这个项目其实还处于非常初期的状态。我希望找到一套规则,把它的情绪表达变成模型可以量化的东西,而不是总像现在这样一口气录下 20 多个表情然后不停重复。
当然是不能瞎掰的,我去搜了一些相关的东西,找到了新的兔子洞。
拉班,这是一种做 movement analysis 的方法。我觉得它和行为科学其实还是挺有共通之处的,现代拉班通常把动作拆成 body、effort、shape、space 四个维度,研究愤怒的时候会研究一个愤怒的动作通常具有怎样的运动品质,比如更强的用力感(Strong)、突然发生、带有紧迫感的动作(Sudden)、朝明确目标行动(Direct),以及身体向前推进的趋势(Advancing)。拉班进入的领域很多,舞蹈动画戏剧之类的,当然现在也在逐渐向机器人领域进军。
我觉得这个方向其实非常有想象力,只是大家现在还在具身探索的初期,情绪表达可能属于比较后期的东西了。
但还是有点惊喜的,有时候在旧的学科里走几步,突然捡到一个对今天的AI来说很新的东西。而且学这种东西也不会有焦虑感,因为没有人规定2026年想做AI的人必须掌握Laban。
可能未来 AI 发展需要的人选会越来越多样化,你甚至会招聘一个指挥家。大家现在情绪都很重,觉得自己会被 AI 时代落下,但我觉得不会的。好的东西总是有扩散性,它会逐渐把所有东西都吃掉,成为基础设施一样的存在。未来可能不会有这种明确的,我是 AI 行业从业者的说法,因为所有人的工作都和 AI 相关,那么自然就不存在落下或者不落下。
传统文化也是个方向,遥操机械臂的时候我就觉得自己在cos一个滥竽充数的皮影戏学徒。
和我一起进入挖洞大军吧。
手语引出的思考
还有很多其他可以借鉴的东西,比如哑剧、默剧、迪士尼的角色动画,physical theatre,动物行为学,心理学里的身体动作编码巴拉巴拉巴拉。但是我觉得我最感兴趣的其实还是手语。
我会想起手语,是因为我在成年以前一直希望自己是个听障人士,这样别人就不会和我讲话了。我是直到上了大学才学会怎么和人打交道的。现在我想去了解一下我曾经想伪装的人是如何生活的,他们的苦闷恐怕早就超越了一个只是不爱说话的小孩能够想象的边界。
另外,虽然我的西语现在只是点菜水平了,而且还只能点菜不能点酒,但我还是下意识想把我遇到的所有可翻译之物一把抓住顷刻炼化。我发现其实不同的地区之间手语区别很大,在美国的手语里面,thank you 是把指尖放在嘴唇附近,再向前移出,这个动作在我们看来可能会有点像飞吻。但是在香港的手语里面,thank you 就是先伸出大拇指表示“很棒”,再用拇指点两下表达“谢谢”。然后非常符合刻板印象的一点是,英国人选了一个非常折中的动作,就是用手优雅地在下巴上碰了一下,再向前递出去。
但好像不能假设手语是非常显性的地区民族性的结果,只能说可能我们未来在做具身智能的时候,需要考虑到相关的东西。你太奔放了,对于某些人来说会不会觉得很夸张显眼,太内敛了,对某些人来说会不会又觉得太冷漠阴森。只是突然发散到的,可能更好的方式是 body language 的设定也尽量个性化,这年头讲民族地区差异啥的有点画蛇添足了。
如果之后可以让聋人或听障者参与具身智能肢体语言设计的开发工作就好了,AI 和机器人是如此敏感的一个东西,进入市场一定会引发伦理的讨论和潜意识的一些观感,我觉得身体语言也是我们需要去考虑的一个部分。不多讨论了,现在还不是很懂,等我有空再找找资料。
不过探究手语实在很有意思,这是我第一次如此清晰地意识到,任何能够表达你自己感受的东西都是语言。或许,某种程度上,狭义的语言是广义行为的一部分,而整体的行为本身又是广义语言的下属。