你是我的眼：微软帮助盲人用声音欣赏美术作品_最新动态_新闻资讯_程序员俱乐部

　　编者按：苏格兰盲人画家在微软的研究项目 The Oregon Project 帮助下重拾信心，继续绘画创作。然而 The Oregon Project 的意义不仅于此，它通过建立一个 3D 声音场景使失明、弱视患者能通过配音欣赏绘画作品内容。本文原文发表于 Microsoft Research Blog，原文题目是“Interpreting visual art with sound for a more inclusive experience”。由雷锋网独家编译，未经许可，谢绝转载。

　　苏格兰有一位颇有名气的风景画家 Keith Salmon。 他从古老崎岖的苏格兰高地获得灵感，将山和天际线用缥缈且富有感情的抽象手法表现出来。不幸的是，Salmon 很多年来受到视力下降的困扰，这对于一个风景画家是致命的。受过美术和雕塑训练的 Salmon 通过丰富自己的创作技巧来克服感官的不足。他不得不减少画中的风景写实，而更着重于对原野气息抽象、繁妙的表达。

“ Arran 岛的冬天”，Keith Salmon

　　由于糖尿病视网膜病变，Salmon 从 1980 年代就开始视力下降。在很多年里，他只有一只眼睛有微弱的视力。但他适应了过来，继续绘画并由爱人 Anita Groves 陪伴他登山。

　　上个月，已被鉴定为盲人的 Salmon，对微软的一项创新研究进行了一场发布会。这项研究旨在用三维立体的声音来表现二维的绘画，帮助 Salmon 在失去了大部分视觉的情况下丰富他的绘画艺术。它通过四台 Kinect（微软的体感摄影机），15 只装在高处的扬声器和 54 段配音对 Salmon 的三幅绘画作品从听觉和空间维度进行表达。这三幅作品画的是俄勒冈的地狱谷，因此，该项目被命名为 The Oregon Project （“俄勒冈项目”）。

　　Keith Salmon （左），Neel Joshi （右）；背后是 Keith Salmon 的三幅地狱谷风景画

　　这套系统在主题为“艺术与科技”的西雅图 9e2 展览上首次展出，它的意义有两点：1. 为 Salmon 这样的艺术家提供继续创作的途径。2. 为有视觉缺憾的观众提供欣赏美术作品的机会。

　　Salmon 说：”如果在几年内，当你去国家博物馆或者美术馆，这项技术已经成为了参观体验的一部分，那想必是极好的。”

　　在这套系统中，每幅绘画的面前是包含了 18 段声带的 3D 空间。Kinect 摄像头追踪参观者在该空间内的动作来播放不同的声带。不管参观者是盲人还是普通人，该系统都能让作品更生动并更有交互性。在稍远些的位置，参观者能听到鸟叫声，水流声和风吹青草的声音。而这些声音是 Salmon 和他的合作者在地狱谷实地录制的。

　　当参观者靠近一些，会听到与 Salmon 画中蓝色、绿色、棕色和赭色绘画颜料相呼应的数码配乐。站得再近一些，参观者甚至能听到 Salmon 在画室创作、颜料棒在画纸上擦涂的声音。这是为了模仿有视力的人观察美术作品细节（细微处画笔的勾勒）时的体验。Kinect 摄像头会追踪参观者手臂的挥动，根据它来改变播放的音乐。这能帮助参观者成为艺术创作过程的一部分，并用身体、手臂的移动来创作属于他们的音乐体验。在展览上，成年人主要是靠行走来创作不同音乐的合辑，而孩子们则跳来跳去并挥舞双手。

　　Salmon 解释说：”从 3D 空间的外围走向内围，自然声音与人造声音的过渡十分和谐自然。这是一种奇妙的、有氛围感的、空间的、山水景色的感觉，它把整个艺术串联在一起。”

　　这个声音系统源自于微软研究员 Neel Joshi， Meredith Ringel Morris 和前实习生 Kyle Rector 创作的试验项目 Eyes-Free Art （“不需要眼睛的美术”） 。该项目旨在帮助弱视力的观众欣赏视觉艺术（比如绘画）。

　　如今，很多博物馆都为失明参观者提供解说，和戴着手套触摸雕塑的活动。微软研究人员想要创造一个更私人订制的体验。但它仍然是公共的，任何人都可以参与其中，并且不依赖于讲解员。

　　在探索了很多设想之后，微软研究人员们决定创造一个基于 Kinect 摄影机的空间音响系统。他们希望声音和视觉能够在这个系统中有同样的美感，并且同样重要。

　　Joshi 说，视觉探索是一个基于距离远近的个人体验：当一个人离得更近，他会看到更多的细节，他们这些研究员想要模仿这些现象。他不仅是该项目开发者，还是一名在当地社区很活跃的画家和互动艺术家。

早在去年，研究员们就邀请了弱视参观者来测试原型机。那台原型机

　　用经过编程的音乐、讲述和各种声音来表现 Frida Kahlo, Henri Matisse 和其他艺术家的作品。测试者极其得享受参观过程。其中一名女士曾是资深艺术爱好者，失明之后她就不再去画展了。她甚至在参观中激动地流下泪水。但是研究团队知道，这还不算艺术，他们必须做更多。

　　凭借与艺术家的联系，Joshi 开始与 Salmon 合作把 Salmon 的艺术创作与微软的技术结合起来。他们与西雅图电影制作人和摄影师 Dan Thornton，苏格兰音效师 Graham Byron 和 9e2 展览主办人 John Boylan 合作，在为期九天的 9e2 展览该系统。虽然整个项目是试验性的，短期内没有让它商业化、向大众开放的打算，研究人员们已经申请了 Eyes-Free Art 的专利，并且会继续研究怎么创造更易使用、更具艺术效果的体验。

　　Neel Joshi 正在 The Oregon Project 工作

　　Amos Miller 是一名有视力障碍的微软研究员，他评价该系统有“天生的包容性”：既允许他享受个性化的体验，也可以进行社会化的体验，而且两者都符合艺术家的设计思路。

　　他说：“Eyes-Free Art 系统证明，你可以创造具有正能量、包容性的体验。” Miller 是 Cities Unlocked 项目的研发人员。它是一个通过建造 3D 声景来帮助弱视人群在城市中走动的项目。

　　Sheri Richardson 是两个盲人组织 Vision Loss Connections 和 blind since infancy 的主席。对她而言，这套系统是一个充满活力和感性的探索艺术的方式。它允许你用不同的视角欣赏艺术，而且不依赖于别人的讲解。她特别喜欢用地狱谷的自然声音再现画家在那里进行创作的场景。

　　Richardson 说：“ Kinect 的人体追踪技术，还有声音随着你在画中移动的感觉，让参观这套系统很有体验性，并且唤起了心底的感情。”

　　对于 Salmon 来说，他本就微弱的视力在几年前开始继续恶化。 Eyes-Free Art 系统给了他在将来的岁月里继续艺术生涯的希望。

他说：“这很让人惊艳。我重新获得了未来。即使我的视力不断恶化，我仍会坚持画下去——我会利用声音来创作。这是一个学习和适应的过程。”

　　Keith Salmon 在登山

　　“The Oregon Project” 会于 2017 年四月在爱丁堡艺术学院再次展览。

　　小结

　　微软 The Oregon Project 这套系统算不得多么复杂，其技术也很难称得上是突破。但是通过这一系列声音采集、编辑和 3D 场景布置，我们当中的少数群体——失明者，能够以属于他们自己的方式欣赏本来遥不可及的艺术。可以说，虽然画面和 3D 声场都是出于同一幅绘画作品，但失明者所听到的，与我们普通人眼里所看到的，是完全不一样的艺术。它以这种技术上并不复杂的方式，赋予了绘画作品”第二生命”。虽然这项技术短期内没有实用化的前景，但这代表了科技在未来的探索方向。它提醒我们，科技进步的最大意义或许不是给我们提供更多的娱乐选择，而是改善每一个人的生活——是的，每一个人。让身处社会边缘的弱势群体也能分享到科技进步的带来的益处与快乐。

　　via Microsoft