original="http://images.ifanr.cn/wp-content/uploads/2017/12/6_110390_daa1c0f23ef4be9.jpg" data-image-enhancer="larger than 578" />
经过年初不少媒体报道后,电影院里布满夜间红外摄像头已经不是什么秘密,不少人感叹细思极恐,在漆黑的电影院中做不可描述之事将无所遁形。
不过随着科技不断发展,与其观察观众的反应,不如让电脑自己就能看懂电影,也不用偷偷在电影院装摄像头「偷窥」你了。
麻省理工学院最近就公布了一项研究成果,研究人员成功通过机器学习训练电脑来识别视频中的情绪变化。这意味以后在视频网站观看各种视频的时候,电脑也可能在观察着你的喜怒哀乐:
AI is watching you.
据该团队的博客介绍,这项技术使用了一个自主开发的机器学习模型,依靠深度神经网络分析了数千部不同类型的视频,包括电影、电视剧和短视频等。
研究人员以一种「感情弧线」为指标来评估视频的不同片段引起的情绪是积极还是消极,这种「感情弧线」的数值被研究人员称为视觉效价 (visual valence ),并绘制了视频中每个场景的情绪变化曲线图。
在情绪变化曲线图中,x 轴是以分钟为单位的时间, y 轴代表视觉效价 (visual valence ),视觉效价的数值越高,表示该时刻反映的情绪越积极。
研究人员以动画电影《飞屋环游记》中一段经典片段来举例,这段几分钟的蒙太奇片段,是老爷爷 Carl 回忆与妻子 Ellie 这一生的故事,讲述了 Carl 小时候因热爱探险与 Ellie 相识、相爱再到生离死别的过程,感动了无数观众。
从这段视频的情绪变化曲线图可以清楚看到,在「Carl 小时候探险」、「Carl 和 Ellie 婚后想生孩子」和「老年的 Carl 和 Ellie 拥抱」这几个片段时观众的心情应该是最好的,而在 Ellie 病逝后 Carl 独自一人回到家中时的情绪最为低落。
Carl 和 Ellie 的一生,看看 AI 分析得对不对 ,视频:https://v.qq.com/x/page/g0546ov27zl.html
也就是说,这项 AI 技术可以更为准确地分析观众的笑点和泪点,这对影视制作方来说十分有利。
据悉除了让机器观看视频,研究人员也招募了志愿者来手动为视频中的不同片段标注「情感标签」。
同时研究人员还会比对分析过的 Vimeo 上 1500 部短片下的评论,来判断观众对视频的反应是否和机器分析的一致。
在分析了大量视频后,麻省理工学院的研究团队还发现观众对于大团圆结局的故事往往更加青睐。
(图自:sickinsight-online)
其实之前也出现过利用 AI 分析观众反应的技术,7 月份迪士尼研究中心(Disney Research)就公布了一项用于观察分析电影院中观众反应的技术。
迪士尼这项技术名为分解变分自编码器(factorized variational autoencoders),与麻省理工学院的 AI 技术一样是基于深度学习的神经网络。
(你看电影时的微笑,属于哪个区间?图自:Disney Research)
这项技术能通过捕捉电影院中观众的表情,来分析观众的情绪,甚至在观察某个观众十分钟后还能预测他接下来的反应。
从 Netflix 利用大数据分析拍摄《纸牌屋》成功之后,内容商对于数据搜集和分析的能力要求越来越高,而随着人工智能的发展,这项任务也被寄托到基于深度学习的神经网络上。
( Sunspring 剧照,图自:YouTube)
在今年的伦敦科幻电影节上,第一部由人工智能编剧的电影短片 Sunspring 就曾亮相,并参加了 48 小时挑战单元竞赛,这件事本身就挺科幻。
正如麻省理工学院在博客中所说,随着讲故事的人越来越认识到人工智能的价值,以及使用 AI 工具的门槛越来越低,未来的影视和视频的创作或许会因为人工智能的介入而发生重大改变。
题图及部分配图来自:Twitter、麦肯锡