走进全球最牛的“读心”创业公司Affectiva

猎云网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  
读心

猎云网3月9日报道 (编译:饼饼)

猎云网注:一个人会读心术,了不得;机器会读心术,就更了不得了。Affectiva就是这样一个致力于“读心者”的公司。从2009到2015,从想法萌生,公司初创到事业升腾;Kaliouby这位成功女性坚守在情绪识别的科技前沿,为何如此锲而不舍?又遭遇了多少坎坷艰辛?一起来听听Kaliouby和 Affectivia背后的故事。

 

计算机只要简单地扫描一下面部,就能窥探出一个人对于一部电影,一场政治辩论甚至是朋友间的一段视频通话的情感反应,再怎么掩饰也难逃它的法眼。

三年前,A.T.&T的档案保管员偶然发现了一段关于计算机的历史片段,也就是1963年,Jim Henson为Ma Bell拍摄的一个短片。那时候,Henson负责给一场会议拍照,在这场公司云集的会议中,大家争相展现各自机对机通信的优势。原本被告知说要发明出一个比人类功能更强大的机器人,最后竟制造出一个带轮子的提线木偶,这个家伙方方正正,嘟嘟囔囔的,骄傲又敏感。“这就是H14计算机,”它宣告了电影时代的到来。“数据处理程序显示:14号计算机包含了92%的H2SOSO.”(那个时代的计算机似乎是强制性地要用毫无意义的行话做一些演说。)“开始的主题从来都是人与机器,”会议讨论还在继续。“机器拥有至高无上的智慧,精准超群的记忆,以及美好的心灵。”它们如此强大,仅是从端口排出来的气体都能蒸发掉一只路过的鸟儿。“我要纠正一下,”有人说,“机器不存在心灵一说,它也没有恼人的情绪。只有人类纠结在各式各样的感情主义里,机器不过是把所有信息简单地收集罗列起来,然后去理解消化。”H14就是这样囫囵吞枣的,不过后来证明所得信息还是很全面的。尽管一开始,它发出的噪音很大,似乎不太可能成为人类可利用的机器;但是,不久之后,其需求量竟开始猛增。

那个名为“机器人”的电影,无疑实现了半个世纪以前计算机科学家的抱负(制造一个拥有严密逻辑的机器),但是,这个电影同时也反映了一种社会焦虑,换言之,人们担心科学家的这种抱负(他们觉得这些机器,不管是故意制造出来,还是意外制造出来的,都预示着一种威胁)。除此之外,Henson的电影还反映了在电视和小说中反复出现的批评声,但是到最后,这些批评因为计算机工程师的努力,都消失了。在工程师看来,不管一个系统在精准计算方面功能有多强大,它仍然缺乏灵活性,是不可变通的,从根本上来说,除非当初设计计算机的人觉得人类的情绪不恼人,从而付诸在计算机身上,否则它们将会一直处于愚笨的状态。H14,跟现实生活中所有电脑一样,是低能的。

时至今日,机器在理解、存储大量信息时似乎更加得心应手了——尽管它们依然无法把握人类情感。不过,从上世纪90年代以来,一些研究人员就已经在探寻方法,赋予计算机解读人类情感及行为的能力,使它们看上去几乎无异于人类。语音学专家也在训练计算机辨认音高、节奏和音强;他们的软件通过听一段女士与孩子间的对话,便可以辨别这位女士是否已为人母,她是否在直视这个孩子,也能知道她是生气,沮丧还是开心。也有其他机器,通过分析说话语序,解读各种手势等,得知人们的情绪状态。有的机器则通过面部表情实现这一点。

Affectivia1

我们的脸就是一个情感交流的器官;甚至可以说,面部表情比语言传递的信息更多。不少致力于解密人类表情的科学家也已经取得了显著的成就。这其中最成功的要数埃及科学家Ranael Kaliouby了。她现居波士顿,2009 年成立公司Affectiva,已经被一些商业媒体列为美国成长最快的创业公司之一,而今年36岁的她也被称为“摇滚明星。”事实证明,情绪反馈机器是一个吸金产业。对Kaliouby来说,这一点都不奇怪:她确信,很快,这些机器将得到推广,无处不在。

Affectiva坐落于马萨诸塞州沃尔瑟姆市,在双行道沿街商业区后的办公园区,是波士顿模仿硅谷而建立的走廊地带的一部分。其总部有着美国西海岸创业公司的典型装饰——台球桌和变形椅,但是整个公司是新英格兰风格;许多员工都来自于M.I.T.。从其中一间会议室向外看,越过一个大型停车场,便能看到通往波士顿的铁路线。

我九月份到达那里的时候,Kaliouby陪我到处走走,我们穿梭在大量面部表情图中,有些是科学图表,有些则是出自于漫画。Kaliouby是计算机科学博士,同时,她跟很多技术娴熟的程序员一样,能轻松理解许多像贝叶斯概率模型(Bayesian probability)和隐马尔科夫模型(hidden Markov models)等数学概念。而且,她非常平易近人:热情,温暖,还跟人开点小玩笑。她信仰清真教,两年前才佩戴头巾,这使她丰腴又极具表现力的身材更加引人注目。Kaliouby在M.I.T媒体实验室获得博士后学位,那里的前主任告诉我说,她是一个“情商极高”的人。除去那些光鲜亮丽的身份,她还是两个孩子的妈妈,也担心科技影响到她的孩子。

Affectiva在大量竞争激烈的小型创业公司诸如Emotient,Realeyes,和Sension中是最突出的。我和Kaliouby都坐了下来,她告诉我说,“我觉得,照这个样子发展十年,我们就会完全想不起不能对机器皱眉的情景。那时候我们的装置可能会说,‘哦,你不喜欢那个东西,对吗’”她拿出一个装有Affdex的iPad,这是她公司推出的一款软件,被简化成一个能追踪四种情绪的“分类器”:开心,疑惑,惊讶和厌烦。用这个软件在脸上扫描一下就能辨别出情绪;如果同时有多张脸,它就会将其分开,一个一个来。然后,识别脸上的一些主要部位——嘴巴,鼻子,眼睛和眉毛——将像素点分别归位到每个部位,再用简单的几何模型渲染特征。我看着iPad上自己的即时动态表情,整张脸被绿色的小点覆盖。“我们把它们分为可变形和不可变形的点,”她说,“你的嘴角动了,不管是微笑还是假笑,所有的点都会动,所以这些点对于稳定面部表情特征没有什么帮助。然而有些点,像你鼻尖顶端的那些,它们始终不会动。”将这些不可变形的点作为锚点,能够帮助我们判断其他点移动的距离。

Affdex也能扫描出皮肤细纹的移动——眼角细纹和眉毛皱纹的分布——在脸做出反应的时候,采用不可变形点综合所有的信息来建立面部详细模型。辨别面部表情的算法,是通过与之前分析过的无数个表情相比较。“比如说,如果你微笑,它会立马辨别出你在微笑,”Kaliouby告诉我说。然后我笑了,果真屏幕下方的绿色标识迅速上涨,这也表明了系统渐长的自信,因为它识别出了正确的情绪。“你试着做一下疑惑的表情,”她说,我照做了,于是与困惑相对应的区块上涨。“这下你懂得怎样用它了,”她说。

Affectivia2

像这个领域的所有公司一样,Affectiva有赖于Paul Ekman的研究成果。他是一个心理学研究者,他是在六十岁开始研究并建立了权威的理论体系:人类至少有六种普遍的表情,这些表情不论性别,年龄,或是文化背景,都会在每个人的脸上一模一样地呈现出来。Ekman致力于解密这些情绪,他把它们分解成46个独立动作,称其为“动作单元”的结合。他汇编了面部动作编码系统(Facial Action Coding System或FACS),这是一个长达五百页的对于面部动作分类。从计算机动画师到对撒谎微表情感兴趣的警员,这个系统已经在学界和专业领域运用了数十年。

当然,Ekman也不乏有一些反对者,其中一些社会科学家争论说,人说话的环境其实比Ekman的理论更能够显示一个人的情感反应。但是,计算机对周围环境是毫无知觉的,这又证明Ekman的理论更实际一些。现在,通过扫描面部动作单元,计算机比人更能区分社交式微笑和自发的愉悦,也能更好地区分痛苦是否真实,它还能判断病人是否情绪低沉。计算机能长久持续地工作,因此能够捕捉到人们转瞬即逝的表情,甚至能显示本人都察觉不到的情绪变化。Marian Bartlett,一位圣地亚哥加州大学的研究员,也是Emotient公司的首席科学家,有一次在家人看电视的时候,用软件给他们拍了一个连续镜头。单帧画面显示,在一幕低俗喜剧暴力情景闪现的时候,她女儿的情绪从暴怒转变为惊讶,然后大笑。她女儿都没有意识到她有一瞬间的不悦——但是计算机却发现了。最近,在一份同行测评研究中,Bartlett的同事证明,计算机扫描一个人的某些“微表情”,便能够预测到这个人会拒绝这笔资金:一瞬间的反感说明他觉得这是不公平的,而一瞬间的愤怒又预示着拒绝。

Kaliouby经常强调说,这种技术只能解读面部表情,而非思想,但Affedex一直被当做一种可靠的情绪推测工具——能够进入潜意识领域的工具。这种应用的可运用领域非常广,CBS用这款软件在电视城拉斯维加斯的实验室测试了新节目。在2012年总统大选的时候,Kaliouby的团队用Affedex追踪了两百多人观看奥巴马和罗姆尼辩论时的表情,作出结论说这款软件能以73%的正确率预知选民投票结果。Affectiva正在跟Skype的对手Oovoo合作,意在将该款程序融入视频通话中。她告诉我说:“现在,越来越多的人参加视频会议,但是所有的数据都没有用一个利于以后分析的方式搜集起来。”事实证明,在商业谈判中抓住有分析价值的信息,意味着使用软件来推断出对方的弦外之音。“这种科技产品会告诉你,‘是这样,先生,这个某某先生显示了很多要跟您合作的迹象——或者说,他刚才只是假装微笑,他还没有被说服。’”

Kaliouby跟她的导师Rosalind Picard一起创办了Affectiva。她的导师是M.I.T.媒体实验室的教授,其早期的研究成果为公司发展奠定了基础。Picard,拥有电气工程及计算机科学双学位,她在1990年加入媒体实验室研究图像压缩技术,但是,她很快就遭遇了瓶颈。因为她开发的处理模型(尽管后来红极一时)与被处理的对象是完全独立的:比如说修改美化大运河的图片和总统肖像的图片用的方法都是一样的。Picard相信,如果计算机能够识别出图像内容,程序将有很大改进。但是要做到这些,不仅要有洞察力,还要有想象力;就像我们的大脑一样的,计算机要先辨别出物体,才能判断哪个重要。

有一天,Picard拿出Richard Cytowic的一本书《尝出外形滋味的人》(The Man Who Tasted Shapes),这是一本关于通感的书。Cytowic举例说,大脑边缘系统处理人的部分感知,而这些感知在神经解剖学中是原始的部分,主要处理人的注意力,记忆和情感。前两项似乎跟Picard想要解决的问题更具相关性;而情感,她当时希望这是不相干的一部分。但是,当她对神经科学研究逐渐深入,她开始相信理性与情感是不可分割的:太多或是太少的情感都可能引发不理性的思考。大脑处理情感的功能受损后,将会导致人们无法做出决定,无法展望远景甚至连运用常识的能力都没有了——而所有这些能力,都是她想让计算机拥有的。

“我希望别人认真对待,但是在当时,情感并不是一个严肃的话题,”Picard告诉我说。尽管这样,在1995年,她发出了她研究成果的非正式论文;附带提到了Leibniz,“星际迷航”,Curie和Kubrick。论文力证类似感情推理的一些能力对于智能机器来说,是必须的。并且,在编写一些跟人有互动的程序时,程序员应该把感情因素考虑在内。最初她的想法并不被人理解。一位科学家跟她说:“你为什么要研究人的情感呢?这个跟机器毫不相关啊!”然而Picard并没有因为这番话而有所动摇,她拒绝了补助图像压缩研究的巨额资金。然后将她的想法扩充在一本名为《情感计算》(Affective Computing)的书。在不知不觉中,她已经命名计算机的一个新领域。

Kaliouby当时还在美国,是一名美国大学的本科生。1998年,她以班里第一名的成绩毕业,并获得了优秀学生奖学金以攻读硕士学位。她想要教授计算机科学,但是她也知道,终身教职要求有海外博士工作经验。“我爸爸的意思是,‘啊,如果你去了,等你回来的时候就嫁不出去了。’”她有些犹豫不决,便去当地一家科技公司求职。“公司在一处住宅型大楼里,”她说。“我爸爸开车送我过去,想跟我一起上楼,被我拒绝了,‘爸爸,你跟我上去太不合适了,’所以他就在车里等我。那时候我穿着一条裙子,看上去很正式——这是我第一次面试——我看到公司里其他人都穿着短裤,光着脚在我旁边走动——都是一些典型的软件工程师啊。负责面试我的人说,‘我们已经没有多余的椅子了,’然后指着我的裙子说,‘我们只能坐在地板上面试,或者,如果你觉得这样不舒服的话,也可以重新安排面试时间。’我说,‘没事,我坐地上就好了。’”

几天以后,Kaliouby就撤销了她的求职申请,她还是想继续攻读硕士学位。但是,面试的时候,她给其中的一位公司创始人Wael Amin留下了印象。Wael Amin从小移居阿根廷,非常同情Kaliouby所面临的社会压力。于是他联系上她,并鼓励她继续求学;不久后他们就结婚了。在研究生院,Kaliouby一直在找寻自己研究的方向。她回忆说:“计算机能够改变人们的联系方式——那就是吸引我的地方。”有一天,Amin递给她一篇Picard著作的书评,然后她买了这本书。“花了四个月才到埃及——我不知道它为什么一直被扣在海关,”她说,“但是我最后还是读到了这本书,并且深受启发。”虽然不曾见过Picard,但是Kaliouby已经把她当成了偶像。“她是一位成功的女性科学家,她开辟了许多让我着迷的领域。”于是Kaliouby便确立了方向:研发出能解密人类面部表情的算法。

Affectivia3

人的脸如同变化无穷的地貌一样的,有无数微小差异还有高度复杂性。不管一个人的脸部特征如何,也不管背景、光照及角度如何,人们都能够轻易解读表情,这真是一个奇迹。程序员想要让计算机达到人类这种程度,势必要历经无数次尝试方能成功。在这个过程中,机器也需要学习,意味着计算机要在大量数据中找出模式,然后用这些模式去解读新数据。

Kalioubycon从开罗联系了一些早期的研究团队,并获得了一些指导和实验数据。那个时候,Ekman已经开始将面部动作编码系统(FACS)自动化,建立一个能定位离散动作单元的系统。以90年代的技术,这确实是一项艰难的工作。本科生(或是Ekman自己)在固定背景下做出一些夸张的表情。视频的每一帧都要花25秒数字化,而在有些关键帧,不得不人工标注每一个面部移动。“挑战实在太多了,”一位早期研究员告诉我说;在他设计的系统中,其中有个版本,很难追踪到可变形点。“经常会有一点偏差,然后随着我们处理的帧数越来越多,错误就一点点累积起来了。”每十秒钟,他都必须重头开始。

Kaliouby希望建立一个强大到能在现实生活中使用的系统。但是,在2001年,当她在剑桥攻读博士时,她的导师和同学都不熟悉情感计算。她告诉我说:“他们很好奇,也很疑惑:你为什么想要研究这个?”有一次,在她的一个关于研究目标的演说中,一位观众提出,在训练计算机解读人类表情遇到的问题,和他患自闭症的兄弟遇到的困难大体一致。Kaliouby之前对自闭症一无所知,此后便开始研究以寻求线索。那时,剑桥自闭症研究中心正在进行一项大工程,创建所有人类表情的目录,这将有利于自闭症患者进行社交。不是像Ekman一样尽量将表情分解成几部分,研究中心更倾向于比较自然易懂的图解;围绕“思考”这个主题,就分成了担忧,选择,想象,判断和沉思。研究中心雇用了六名演员——有男有女,年龄和种族也不尽相同——让他们在摄像机前展表现情绪。每一条短篇都由20位专家观看,只有几乎是全员赞同的情况下才标注一个表情。项目结束后,一共识别了412个表情。

Kaliouby马上意识到这个项目展现了一个前所未有的机会:这些经过了验证的大量数据特别适合计算机学习。在完成博士学业前,她建立了“读心者”,一个可以在相对无序的情况下追踪几种复杂情绪的程序。当她意识到这个这个程序的潜能,她又在想,是否可以为自闭症患者建立一个“情感助听器”呢。佩戴者只要携带一个小型计算机,耳机或者是摄像机就能扫描人的表情。计算机将会用轻柔的声音提示用户恰当的行为:继续交谈还是转移话题。

在践行她的这个想法的时候,Kaliouby得知Picard打算参观她的实验室。“那是我整个夏天的亮点,”她回忆道。“她本来打算和每个学生交谈五分钟。但是到最后我们聊了一个小时。”Picard认为,跟其他人建立的系统相比,Kalouby建立的系统是最稳固的。两个人决定在这方面精诚合作,而美国国家科学基金会也给予了上百万美元来让她们建立原型。

媒体实验室几乎是为有想法的创造者专门打造的避难所。创立者曾说:“忘掉那些技术论文,让我们专注于更小的领域,并用实践去证明它。”Kaliouby发扬了这种精神,而且,尽管Picard的职位更高,Frank Moss 告诉我说,她们两个人合作无间。实验室的每个人几乎都是在跟小型可穿戴相机打交道,而Picard告诉我说,“我们谈论了许多‘嵌入’的话题”。在回埃及期间,Kaliouby会打电话加入会议。Picard记得在一个机器人展示中:“Rana(Kaliouby)通过一个笔记本摄像头还是什么的,加入了Skype。但是在我们走过去看展示的时候,摄像头掉地上了。我顿时觉得不太好,像是把Rana的身体留在了地板上一样。所以我想,我应该把摄像机佩戴在我身上。这样子,当我四处走动的时候,Rana就像在我身上一样了。”

在Kaliouby专注于“读心者”的同时,Picard测试了各种各样的装置——例如能够测试用户是否崩溃的鼠标——尝试追踪生理反应来识别情感。其中最有发展潜能的(后来被命名为Q)被绑在身体上,以便记录像皮肤电流传导一样的反应。Picard几乎是一直戴着,然后根据自己的体验写日志来追踪数据。

Kaliouby和Picard相信她们的系统能够互补,并在2007年,开始测试一个专为行为障碍儿童设计的系统。Picard希望她的生物传感器能够洞察怒气以及其他情感爆发的根源;一个自闭症儿童看起来可能很平静,甚至有点灵魂出窍的感觉,但是Q装置显示她的皮肤电导是正常人的两倍。Kaliouby的系统将会帮助他们在社会生活中导航。

“有一次我真是没有办法了,”Kaliouby回忆说。“有一个拒绝眼神交流的小男孩。这在像他这样的孩子中很常见——恰恰说明他们正在经历信息超载。当我们在用一个类似iPad的设备(iPad发明以前的一种设备)做实验时,这个小男孩戴上摄像头来获取反馈信息,基本上iPad的作用是挡住对方的脸来避免面对面接触的。但我发现,他其实在通过屏幕来观察我。”当他跟别人沟通良好的时候,这个设备会得到强化,而在沟通过程中,小男孩也会获得更多自信。“然后他慢慢地把iPad放低了,知道我们两个眼神接触。那真是一个特别的瞬间。哇塞,科技真的会帮到人。”

当团队正在发展“读心者”的时候,Kaliouby将软件上传到了一个服务器上,在那里,企业赞助商被邀请去测试任何他们觉得有趣的实验室产品。她说,出乎她意料的是,这个软件迅速成为了下载次数最多的一个。百事想知道是否能用这个应用来测试顾客的偏好习惯。美国银行对测试ATM机感兴趣。丰田想知道这个系统是否能更好地理解驾驶行为——或许还能用它来设计一个检测驾驶员困倦程度的系统。需求量如潮水般涌来——从微软、惠普、雅马哈、本田、吉布森、贺曼、NASA、诺基亚——Kaliouby竭尽所能改造软件以适应每一个需求。“他们的问题很多,”她回忆说,“‘这个数据意味着什么?’‘我们如何让它适应我们特定的环境?’福克斯的副总裁就那么说:‘我想要用这个软件测试我们所有的试播节目。’我就想说:“我们就只是一个实验室,没有那些资源。”

Affectivia4

需求越来越多甚至于压倒了自闭症研究。Kaliouby制作了一个电子表来记录赞助商的需求,然后在2008年11月,她和Picard拿着表去找实验室主任Frank Moss.“我们说,‘这些是我们的赞助商想要的东西——所以我们需要把团队扩充到现在的两倍。”Kaliouby告诉我说,“然后他是这样说的,解决这个问题的办法不是增加实验室研究人员,而是从实验室独立出去。’”Kaliouby不愿意离开学术界。“我们真的想专注在有益的科技应用上,”她说。但是Moss认为市场能够让科技发展得更强大,也更灵活:一个能应用于FOX的设备能够更好地帮助自闭症患者。他说,可以建立一个有“双重底线”的公司——一个运转良好也能造福于人的公司。

Kaliouby和Picard着手成立一家智能表情机器的“小型I.B.M.”:一个志在开发一系列基于情感计算产品的初创公司。政府机构开始询问一些技术问题,但是Kaliouby告诉我说,她把他们打发回去了。另外,一些公司利益问题也警醒了他们。Picard回忆说,有人来问:‘你能监视我们的员工并不被察觉吗?’或者说,‘你能告诉我顾客们的感受吗?’。我就想,就是因为这些,我才觉得科技产品市场化不太好。我还记得有人想把我们的产品放到终端来检测人们,我们一回到Affectivia就拒绝了他们,并且说,‘我们不会做那些事——我们充分尊重受试者。’但是,对于一个刚起步的小公司来说,有人来资助你,但是你却拒绝他们,这实在太不容易了。”

“读心者”之前都是用演员进行试验的,而不是来自于真实行为,因此代码要全部重写。在2001年,公司在超级碗在线广告中进行验证,获得了真实情感反应的数据库;后来,Kaliouby与哈佛商学院的教授Thales Teixeira合作,在一个更为严谨的试验中,为250名受试者播放广告。Affectiva的CEO,David Berman,曾是一位销售人员,将公司从科技辅助的方向转到了市场研究方向,因此吸引了数百万美元的风投。“我们的CEO完全不适应于医药领域,”Picard说。于是局面开始紧张。四年后,Picard被迫离开团队,她的研究团队也被重新分配。Matthew Goodwin,公司的元老级人物,现在是技术委员会的一员,告诉我说,”我们以一系列功能强大的产品开始。他们能够有效帮助那些在察觉和产生情感方面有问题的人。但是,公司随后便只注重面子工程,专注于广告,去预测某人是否喜爱某个产品,完全脱离了原来的方向。

因为Picard的离去,Kaliouby十分伤心。但是也不能否认公司新的契机。在2011年3月,她的团队受邀向Millward Brown(全球市场调研公司)高层展示“读心者”。Kalouby坦言系统目前还存在局限性——它们还不能有效区分微笑和鬼脸——但是这些高层人员还是很受震撼。广告测试经常需要大量研究,要涉及理性思考,而不是简单处理一些市场感兴趣的自发的甚至是无意识的情感;新兴科技势必能带来好结果。一年前,Millward Brown组建了神经科学团队,试着将脑电图科技加入到工作中,它还雇用了Ekman系统的专家来研究面试视频。但是这些理念被证明无法继续推进了。现在,公司管理层提出要做一个测试:先前公司研究过四个广告,如果Affedex能够成功测量出人们对这四则广告的情感反应,Millward Brown 将会成为顾客,同时也是投资者。“这个赌注很大,”Kaliouby告诉我说,“我记得我们的CEO说,我们全部的希望都在上面了。”

Millward Brown在众多广告中选择了多芬。名为“冲击”,以一个小女孩的图像开头。接着镜头切换到她的视角,接踵而至的是一大波影像——关于女人一生的经典画面被压缩到了32秒——还是以天真的小女孩结尾,配着广告语“在美容产品的触角伸向你女儿之前,和她谈谈心吧。”这个广告好评如潮,广为赞誉,但是在调查中,Milward Brown发现人们没有办法耐着性子把它看完。Affdex检测了一百多位观看这个广告的受试者,检测到了相同的反应。但是,同样也是在一瞬间,这种不适感消失了。“这个软件在提示我们一些看不到的信息,”一位Millward Brown高层Graham Page这样说道。“人们常常无法在一分钟内说清此类细节。同样的,当涉及到负面内容时,他们习惯表现得有礼貌。”Millward Brown的母公司WPP,给Affectiva投资了450万美元。很快, Affdex每年被应用到了数千的广告之中。

Kaliouby让我试试Millward Brown 使用的那版Affdex,然后有一天中午在她的办公室她又给我看一个苹果笔记本电脑,这里面装有Spike Jonze电影《她》的前十五分钟——关于一个男人爱上情感计算机操作系统的故事。在完成了一个简短的调查后,我开始看影片,期间笔记本电脑的摄像头一直对着我。其他十五个受试者也是一样。然后,我登录Affdex。 在黑色背景下,定量的情感转化成了五颜六色的锯齿状线,看起来就像测谎仪上的画面。这个软件区分了我整个过程中的表情:微笑,厌恶,惊讶,凝神聚力。

Kaliouby也看过《她》,她在想这个电影情节是不是太平缓了,不能激起受试者多大的情感反应,以至于软件无法测量出来。在电影开头,Theodore Twombly(Joaquin Phoenix饰演),在一家名为“美丽的手工字”(Beautiful Handwritten Letters)的公司上班,撰写一封真情流露的信——一位妻子在结婚十五周年纪念日送给丈夫的——用他的电脑打印出来的是她的字体。离开办公室以后,身边走过一个接待员,是Chris Pratt饰演的,他问道:“都有谁知道你以Penelope的名义写了这么多肉麻的情话?你混蛋。”Pratt很天真,这其实是他自然流露的真诚——最后几个字听起来像是在任务成功后称赞海豹特警队一样,有点出人意料,然后Affdex注意到:我们几乎全都笑了。实际上,很多时候,我们每个人的动作几乎是同步的。在一个无声转换期间,一个摇镜头在空房子里穿过,我们竟然跟着镜头都偏过去了。我再看看镜头里的自己。后来发现我椅子都歪了。

Affectivia5

在有一个片段,我们都变得非常具有表现力,就是Twombly跟一个叫SexyKitten的女人在电话里调情——那个女声像极了喜剧演员Kristen Wiig。在一个神奇又搞笑的瞬间,SexyKitten掌握了主动权,她要Twombly用一只假想的猫把她勒死,然后,他支支吾吾地应和着,结果SexyKitten突然大笑起来。Affdex跟踪到了我们的笑容——总体来说,笑的人多是女性。而Kaliouby注意到这些笑容强度是三根脉冲,并说,这也许意味着这个小地方值得探索,而事实也证明这个现象后面确实有内容:不管Twombly什么时候开始心烦意乱,就拿死猫来说吧,在这里笑容就明显减弱了。Affectiva团队经常想方设法用这样一些数据编故事,但是直到现在都没有编出什么。微笑戛然而止,是观众移情到Twombly的不幸上了?是因为察觉到了暗藏的暴力,觉得不舒服?还是因为Wiig沉默了,觉得剧情没那么有趣了?在这样一些情况下,Kaliouby告诉我说,市场调查员可能会采取过去的办法:采访受试者。

Spike Jonze 花了数月研究《她》,然后发现,他以前想象出来的未来世界的东西,其实很容易在现实世界里找到影子。最近,南加州大学的研究者们建立了一个“虚拟人类”模型,命名为Ellie,是一个能完善算法的数字治疗师,跟Affdex类似,能跟踪人的行为动作及发声音调。一个Ellie的设计者送给我一个视频,是一位女士与Ellie的对话。“你有一些什么症状呢?”Ellie问她,然后这个女士就描述她的苦恼,像增肥啊,失眠啊,有时候又睡过头等等。Ellie像是在听,还一边点头。这个女士解释说她经常想要大哭一场。她的声音开始颤抖,眼里满是泪水,然后Ellie怜悯地皱起了眉,停顿了一下,像是安慰人一样地说,“我很遗憾。”

在十月份,Kaliouby带着Acela去纽约参加一个会议,就是在贾维茨会议中心(Javits Center)召开的Strata + Hadoop World会议。大数据领域的500多位专家从全国各地来到这里——坚信转化模式存在于零点,也存在于现代社会久立不败的事物中。会议讨论从“工业互联网”到“Goldman Sachs是如何用知识创造一个信息时代的。”一些出席者戴着知名企业的徽章(如Microsoft,Dell,G.E);也有一些我不曾耳闻的公司(如Polynumeral,Metanautix)。在大厅外等候的时候,发现这些来宾中男士居多,我便站在一个女士旁边。她的徽章上赫然写着“美国政府”。

大厅里没有开灯,听众都打开电脑,会场被电脑屏幕的光照得通明。在休息室,Kaliouby回顾了她演说的要点,做了几个深呼吸。在台上,她说,在她研究的领域里,有科学家受邀参加“大数据会议”,这还是第一次:一句一带而过的话,却暗含了深意——情感也能被量化,被聚合,被当做杠杆。

她说,她的公司已经分析了200多万个视频,受试者来自全球80多个国家,并说:“这是一个我们从来没有过的数据。”在Affectiva初创的时候,她就已经用了几百个表情训练她的软件。但是,自从她与Millward Brown合作后,其他六个洲几十万人打开网络摄像头就能看到广告,接受测验,然后他们所有的情感反应——自然的举措,在相对难以掌控的环境下——回到Kaliouby的团队。

目前,Affdex可以辨识出微笑的细微差别,辨识能力比多数人都强。随着公司情感反应数据量增加,这款软件能辨识出更多的表情。在会议开始前,Kaliouby告诉我一个意在更好地探测“皱眉”这一微表情的工程。“皱眉是一个很关键的信息,多是出于困惑或是精力集中,但它是一个消极的情感表达,”她说。“我们很多顾客都想知道他们的广告是否会引起大众不悦,是否脱离了群众。所以我们就用一整套参数分支启动了这项实验:计算机应该扫描整张脸,整个眼部,还是仅仅集中在眉毛?是同时看两支眉毛,还是先看一支再看另一支?”在Kalouby回到纽约的时候,Affdex已经做了8万次皱眉试验。她站在台上公布结果时说:“我们的正确率能达到90%”。

从贾维茨会议中出来,Kaliouby坐了一辆前往McCann Erickson(广告公司)总部的出租车。这个公司在市中心的摩天大楼里占了8层,当她从电梯下来进入一个大厅,其喜悦之情溢于言表,这是一个复古又不失时尚的大厅,天花板极高,显得相当气派。墙上挂着McCann的名言:“一切用事实说话。”战略副主席Mike Medeiros,会见了Kaliouby,然后带她来到了一间几乎展现了全城风光的会议室。Mike Medeiros管理了一个团队,叫“美国队”,曾给美国军方提供了“强兵”的标语。他高高大大的,一头金发,还有着直率的性格,把这样一个军官放在广告业,着实让人放心。

在劝导消费者这个领域,Millward和McCann这样的公司经常是对手关系:一家公司推出一件新产品,另一家就极力进行市场价值评估。Medeiros告诉Kaliouby,许多广告创意人员认为广告测试是对灵感的亵渎。他说:“你应该知道他们所说的‘宋飞正传’,如果拿去测试的话,在第一时间就应该被否定了。“他的团队尝试过Affdex了,开通了一个价值百万美元的账户;他似乎对这项技术很感兴趣,但对其必要性表示怀疑。 “我还是比较喜欢用过去的一些方法,没什么科技含量,但是操作起来很简单——当你让一些人在房间里看剧本,”他说,“最重要的是,他们在看剧本的时候,我在看他们,他们是坐在后面看,还是伸长了脖子看,这些线索能告诉我很多事,然后我走近了,再跟他们聊聊。我的个人经验是,他们做出的动作比说的话更关键。有人可能会说,‘哦,我喜欢看这个,’但说这个话的时候,他们也许并不喜欢。”

“这就是我们的技术派上用场的地方了,我们可以将这些动作量化,”Kaliouby说。

Medeiros的领导Steve Zaroff,在我们身边停下来,Kaliouby给了他一个样本。他坐在Kaliouby的电脑旁边,像小孩子一样热情洋溢,他做鬼脸,皱眉,撅嘴,使整张脸都扭曲了,“一个恶心的微笑——我喜欢!”他说。

“我们尝试过一些真正粗俗不堪的YouTube视频,拍人吃幼虫时的表情,”Kaliouby说。“他们虽是在笑,但是他们自己也觉得恶心,发出‘恶’的声音”,她的软件发现了这种感情后,便催生了一种新广告——恶心的幽默,Doritos在超级碗上的广告就是这样。

几天以后,Medeiros让我跟McCann在巴塞罗那的分部取得了联系,这个部门出人意料地已经运用了情感感知技术。2012年,西班牙政府遭遇严重财务危机,推行严格税收政策,包括对每张电影票增收13%的税。Teatrenue,巴塞罗那的一个戏剧俱乐部,因为这种政策,每晚要流失三分之一的客人,最后不得不向McCann分部寻求帮助。McCann分部没有帮这个俱乐部制定出一个广告作战计划,而是建议它在座位上安装一个像Affdex的软件,并允诺观众剧院免费对外开放,但是,每笑一次要收取0.3欧元,上限是80次。如果观众试图掩盖笑容,或是隐瞒笑的次数,就要收取全票价:24欧元。这家店的营业额一下子就上来了。美国,法国及南非的剧院都联系McCann,希望能了解到更多方法。

Affectivia6

一位西班牙经济学家得知Affectiva在巴塞罗那地区的这项实验,打算在Affectiva的基础上进行技术改善研究。而Kaliouby在这项实验中看到的,是未来世界的轮廓——情绪识别不仅仅是广告伎俩,也不仅仅用来逃税,而是闪耀在“情绪经济”(Emotion Economy)中的一颗最亮的星。她告诉我说:“科技正朝着我们预想的方向前进。”而科技先驱也曾经预示了物联网的诞生,网络将联系起我们所有的设备组成一个“环境智能”——看不见的数字化感知烟雾。(想象这样一个系统,在你下班回家时,它能根据汽车注入雾气中的行为和心理数据调整好家里的温度。)照Affectivia的发展情况,情绪也有可能成为其中的一部分。在我们从贾维茨会议出来乘坐的出租车上,出于善意的提醒,我指出我们前排座位上的屏幕情绪反应很迟钝。但Kaliouby把它当做一种可能性,已经考虑在内了。并说,还要经过无数设备更新换代,我们才能研究出“情绪芯片”,这种芯片在后台运行,其工作原理跟现在手机里的定位系统一样。“每一次你拿起手机,它就记录一次情感脉冲,如果你愿意的话,还可以记录你的心理,”她说。“在调查中,我们发现,人们平均一小时查看手机12次——如此高的频率能提供我们很多数据来研究一个人一天的情绪变化。

事实证明,预想“情绪经济”时代其实很简单。现在,不少人已经通过“神经活动”购买一些互联网服务,听起来有点不可思议。1996年,Thonas Mandel 和Gerard Van在他们的著作《互联网的规则》中提到“注意力是网络空间的硬通货,”这本书最早认识到新型目标市场将会是数字经济的最大驱动力。而在2008年,美国《连线》杂志主编Chris Anderson写了一个必胜宣言,“免费!为什么是未来商业发展新模式,”预言了免费经济时代的到来。但实际上,没有支付美元,也不能完全说我们是免费使用物联网服务。因为我们在新产品上投入了注意力,为服务者跟踪消费喜好提供了绝佳机会。

实际上,免费经济本身就是一种新型物物交换,但注意力的支付是无穷无尽的。通过Kaliouby,我联系到了哈佛经济学院教授Thales Teixeira,他跟Kaliouby有过合作。于是我们在纽约,哈佛大学校友会上见了面。“我们每个人都有三种可交换物,”他说,“一个是金钱,一个是时间,一个是注意力。最后一个使我们探究得最少的。”最近,Teixeira在尝试计算注意力的价值,发现它的价值跟货币一样,也是浮动的。他将超级碗在线广告当做高端广告投放的指示灯,计算出2010年美国人注意力的价格是6 美分/分钟。到了2014,这一比率已经上升了20%,是通货膨胀的两倍多。注意力价格上涨明显反映出一些问题:第一,注意力具有销售价值;第二,注意力正在成为一种稀缺资源。因为新设备层出不穷,人们的时间注意力便分散了。正如越发短缺的石油资源刺激着人们更大程度的开发,注意力资源锐减,再加上注意力交换经济的发展,正有越来越多的人加入消费者认知研究中。“工业领域的人在说:‘短期内我就要获得人们的关注,’于是他们竭尽全力,加大力度,”Teixeira解释说。“情绪化的人更容易加入其中。因为情绪本身就是‘记忆标识’,使人记得更多。所以我们的研究开始转向于:我们如何才能接近感知到这些情绪的人?”

这种转变很快被一些公司利用起来。Kaliouby在一个午后告诉我说:“我们有一个动态广告定价系统,能根据人们对广告的反应做出实时评估,并为此系统申请了专利。”而我也发现,情感感知方面的专利技术多达一百多项,大多数都跟广告有关。代表性公司像:A.O.L、日立、eBay、I.B.M.、雅虎摩托罗拉索尼等都申请过多个;这些公司的研究者们都加入到为用户提供情感地图的比赛中,综合传感器和社会媒体提供的数据来成立“几近危险的互动项目。”另外还有许多情感感知机器专利,有一类A.T.M.就是这样,它们能察觉出用户心情是否放松,所做的广告是否让人接受。Anheuser-Busch饮料公司已经发明出一种“应答啤酒瓶”,因为观看比赛的运动粉丝们“想要用饮料瓶来发泄他们难以抑制的情感,比如说,一起举杯,彰显一个队伍的团结。”

不久前,Verizon为一系列产品制定了一个计划,包括一款配置有传感器的机顶盒,热成像图形传感器(用来测量体温),近红外传感器(用来测量深度),以及多阵列麦克风。通过扫描房间,系统便可得知住户的年龄、性别、体重、身高、肤色、头发长度、面部特征、癖好、语言,甚至有没有口音。它还可以辨识出宠物、家具、画像、甚至是一袋薯片。除此之外,它还能检测出“周围活动”:吃饭、运动、看书、睡觉、拥抱、打扫、弹奏乐器。还能探测其他设备——知道用户可能会浏览的网页以及可能会写的邮件内容。它能扫描一些东西做做效果,还能抓住大笑或是争执的一瞬间。所有这些数据都会被广告投放商利用。夫妻间实质性争执可能会引出律师事务所广告;紧张的迹象可能会促成香薰蜡烛广告;甚至因为快乐而发出的“嗡嗡”声都能催生出为乐观人群量身打造的广告。然后,这个系统就能为房间里所有的设备都打上几则广告了。

我曾经在想,这个Verizon系统是不是不太现实——或许它只是一些狂热的职员臆想出来的。但事实是,它的很多功能已经在微软的Xbox One上实现了,其内置高清晰摄像头,能够以30帧/每秒的速度追踪大玩家的动作。使用一种叫“时光机”的技术,更是能追踪每一个光子的移动,通过找出用户肤色细微的差别来检测血液流动,继而计算心脏跳动频率的变化。这个软件能同时管理六个人,各中技术跟Affectivia公司运用的技术异曲同工,即在可见光或是红外线照射下,绘制出这六个人的可视范围及基本情感状态。倘若他们移动,系统也能计算出肌肉发挥的力道。因此这个系统在制作更具吸引力的数字化游戏方面,存在无限潜能。除游戏以外,微软也在开发一些其他应用,比如基于消费者情绪的定向广告,广告费用则根据室内看广告人数进行规划。Google、Comcast和Intel等也在朝着同样的方向发展。两年前,Intel媒体的副主席道出了观众的心声:“现在,电视节目根本不了解你。”

2013年,马萨诸塞州议员Mike Capuano,起草了一份 《我们都在看着你》法案,勒令广告公司在开启感测前必须有提示,并给予公众反对监测的权利。当Capuano公开指责Verizon时,Verizon表示它不是唯一使用这项技术的公司。一些工业联合团体和三星公司开始走访议员。(三星拒绝承认游说议员一说,但它的目标很明确;就像它的一位研究人员说的:“如果能够掌握每位用户对产品的情感反应,我们就可以制作出更多个性化产品了。”)为此,Capuano又草拟了一个组织听证的草案,但他的同僚们都不愿意在上面签字。“这其中最困难的是让民众意识到,这是一件严肃的事情,”他告诉我说。“人们都说,‘来吧。你是谁啊,狂人Capuano? 什么,你脑子坏了吧’然后我就只是说,‘呵呵,还行。即使我真的有病,它也依旧是个事。’”

Affectivia7

Kaliouby希望诸如此类隐私问题能够尽快得到解决。她曾想过,在用户观看YouTube的时候,可不可以用这样一种方式实现扫描:“不管怎样,我们都要找出大众不介意,不反感的方式,或许有一天,观众看YouTube的时候,会习惯摄像头常开,就像习惯存在于每个人电脑里的Cookies一样。”Affectiva的主要竞争对手Emotient——有Ekman坐阵董事会,或许还有比Affectiva更先进的算法,但在商业模式下,它跟Affectiva有同样的愿景。在一些愿意接受测验的志愿者和消费者身上,Emotient用其技术为一个速食公司和量贩店做了测试。

在McCan,Kaliouby跟那些广告人说:“在我们这个领域,不经意间就会成为人人喊打的Big Brother,毕竟,要得到情感数据,难免会触及到隐私问题——这是最为困难的地方。如果我们不注意,可能一不小心就以Big Brother的形象草草收场。

Steve Zaroff点点头说:“试想一些可佩带的设备,其实是非常有趣的——他们会成为更加开放的软件生态系统。”他指着他手腕上的Nike Fuelband智能健身腕带,又看看Mike Medeiros,他正戴着Fitbit腕带。“Fitbit更好一些,因为它能读出脉搏跳动,”他继续说,“但是FuelBand了解许多其他的身体信息”

他试探着问Medeiros,是否愿意Fitbit把他的身体数据卖给市场营销人员。还没等他说完,Medeiros笑笑说:“我还不能接受。”

“但是你从这个小东西上能看出自己的身体信息,”Zaroff说。

Apple也在朝着同样的方向发展,你能看到的,”Medeiros说。Apple最近在新iPhone上发行了一款预先设定的新应用,名为“健康”(Health)的健康应用。通过从其他应用,设备及医生处获得数据,它能追踪体重,呼吸频率,睡眠质量,甚至是血氧饱和度。这个信息能被用来构建情感框架;达特茅斯(Dartmouth)的调查员证明,手机经过重新配置,也能用来检测人的压力,孤单,忧愁及生产力,还能预测G.P.A.s。在九月份的时候,Apple也公布了‘苹果智能手表’(Apple Watch),它能够测量心脏频率及身体活动,并把用户这些数据跟所在地联系起来。”

在秋季时,Kaliouby的谷歌日历上全是密密麻麻的颜色块:几乎每一分钟都被占用了。首先,公司打算对Facebook做一个研究,亦即一个将广告插入视频的实验。然后,因为三星特许了Affdex软件的应用,近期要与其召开一个会议。另外,一家旧金山公司希望其数字研究人员获得读脸的能力。还有一个贝尔法斯特(Belfast)企业家想知道他的软件是否能运用在夜总会。Kaliouby之前转寄了一封电子邮件给我,是她团队里的一个成员写的,关于Affdex在迪拜的首次应用。监测公众对社会的满意度,得出幸福指数。

Kaliouby觉得,她并不是在为自己谋利益,相反的,她从来没有忘记过当初的双重底线。她说:“我坚信,如果我们有更多情感经历的信息,只会帮助人们拥有更积极的心态,更健康的身体。”她读过很多书,知道怎样走出困境。她说:“我能给你最有效的建议是,要照顾好自己,并拥有一个好心态,这些能解决一切难题。我想要创建一个相当简单的应用,它能呈现有趣的或是鼓舞人心的内容,一天三次。这又是一个好机会。”在她想着扩大可能性的时候,语气都变得明朗了。“这些内容影响了你,应用帮你记录下这些影响,然后这些要点(快乐的要点,或者心情的要点,亦或是回报)便化为己有——这些都能成为虚拟货币。我们接着又谈到了已经在这个领域涉足的公司。这是一个广告酬劳公司,其业务基于积极的瞬间。所以,如果你制定了一个目标,要跑三英里,你做到了,这就是一个瞬间。或者说,如果你设置了一个六点的闹铃,你真的六点起来了,这也是一个瞬间。然后公司会把这些瞬间定为货币,卖出去。就像Kleenex能给你配给券——我不太清楚——当你从悲伤中走出来时。目前,这家公司正在设想,都有哪些可能的瞬间。然后,我们就说,‘你知道吗?我们能超过他们’”。

Source:NYK

想要了解更多创业创新知识,快速添加猎云网微信号:ilieyun

 

随意打赏

提交建议
微信扫一扫,分享给好友吧。