谷歌大脑2017总结上篇:基础研究进展迅速,开放资源遍地开花_最新动态_新闻资讯_程序员俱乐部

中国优秀的程序员网站程序员频道CXYCLUB技术地图
热搜:
更多>>
 
您所在的位置: 程序员俱乐部 > 新闻资讯 > 最新动态 > 谷歌大脑2017总结上篇:基础研究进展迅速,开放资源遍地开花

谷歌大脑2017总结上篇:基础研究进展迅速,开放资源遍地开花

 2018/1/15 11:56:55    程序员俱乐部  我要评论(0)
  • 摘要:进入2018年已经一周多了,而精彩纷呈的2017年(和元旦假期)还仿佛就在昨天。今天,谷歌大脑(GoogleBrain)负责人JeffDean也代表整个谷歌大脑团队发出了对2017年的回顾总结。作为顶级AI研究机构的谷歌大脑不仅资源丰富、人员众多、研究方向广泛、论文产量高,而且他们的研究成果还通过整个谷歌的产品和谷歌大脑团队自己开放出的项目和资源深刻地影响着整个世界。相信你也和雷锋网AI科技评论一样希望能够总体回顾一下2017年中谷歌大脑的种种成果,以及看看他们如何评价自己的工作
  • 标签:总结 谷歌 资源 开放 研究
class="topic_img" alt=""/>

  进入 2018 年已经一周多了,而精彩纷呈的 2017 年(和元旦假期)还仿佛就在昨天。今天,谷歌大脑(Google Brain)负责人 Jeff Dean 也代表整个谷歌大脑团队发出了对 2017 年的回顾总结。

  作为顶级 AI 研究机构的谷歌大脑不仅资源丰富、人员众多、研究方向广泛、论文产量高,而且他们的研究成果还通过整个谷歌的产品和谷歌大脑团队自己开放出的项目和资源深刻地影响着整个世界。相信你也和雷锋网 AI 科技评论一样希望能够总体回顾一下 2017 年中谷歌大脑的种种成果,以及看看他们如何评价自己的工作。我们把这篇总结文全文翻译如下。

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  谷歌大脑团队的工作目标是通过科学研究和系统工程不断推进顶级 AI 系统的发展,这也是整个谷歌的 AI 战略的一部分。2017 年的时候谷歌大脑也发出过一篇对 2016 年工作的总结文章,这之后谷歌大脑团队也在持续不断地向着自己「让机器更智能」的长期研究目标进发,也和谷歌和 Alphabet 内的许多团队合作,把研究结果应用到真正地改善人类的生活中去。

  这次谷歌对 2017 年成果的总结分为了上下两篇,这篇是第一篇,包含基础研究成果、开源软件和数据集更新,以及新的机器学习硬件。在稍后的下篇中会详细介绍一些具体应用领域中的研究,机器学习可以在其中带来很大影响,这些领域比如医疗保健、机器人、一些基础自然科学领域,同时也会介绍谷歌大脑在创造性、公平和包容性方面的努力,以及介绍一下这个团队。

  核心研究内容

  谷歌大脑团队的关注重点是,通过科学研究增进自己对机器学习领域新问题理解以及解决它们的能力。2017 年中谷歌的研究主题包括以下这些:

  自动机器学习(AutoML)

  自动化机器学习的目标是开发出一些技巧,让计算机自动解决新的机器学习问题,不再需要人类机器学习专家参与每一个新的问题的解决。如果人类想要打造真正智能的系统的话,这肯定会是不可或缺的基础能力之一。谷歌大脑开发了自动设计神经网络架构的新方法,其中同时运用了强化学习和演化算法两类技术,并把这项工作拓展到了「自动化机器学习在 ImageNet 分类和检测中达到顶尖表现」论文中(https://arxiv.org/pdf/1707.07012.pdf  )。这项研究同时也展现了如何自动学习优化算法和高效的激活函数。谷歌大脑团队现在正在与谷歌云 AI 团队积极协作,目标是让谷歌的客户们也都可以使用这种技术,同时也把谷歌对这种技术的探索拓展到更多方向上去。

  谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  神经网络搜索技术探索出的卷积神经网络架构

  谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  自动机器学习学习到的网络进行物体检测

  语音理解和生成

  另一个研究主题是开发新的技术提高计算机系统理解和生成人类语音的能力。其中,谷歌大脑也和谷歌语音团队合作,开发出了数种端到端语音识别技术的改善方法,把谷歌生产环境中的语音识别系统单词错误率相对降低了 16%。这项研究很有意思的一点是,本来中有很多独立的研究路线在进行,而这项研究让它们汇总到了一起。

  包括以下这些论文:

  • https://arxiv.org/abs/1712.01769 
  • https://arxiv.org/abs/1712.01818
  • https://arxiv.org/pdf/1712.01541
  • https://arxiv.org/abs/1711.01694
  • https://arxiv.org/pdf/1712.01807
  • https://arxiv.org/abs/1712.05382
  • https://arxiv.org/abs/1705.05524
  • https://arxiv.org/abs/1712.01864
  • https://arxiv.org/abs/1712.01996 

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  端到端 Listen-Attend-Spell 语音识别模型中的组件

  谷歌大脑团队也和谷歌的机器理解团队的研究同事们协作,共同开发了新的文本到语音生成方法(Tacotron 2),它大大提升了语音生成的质量。类似可听电子书那种专业水准的录制语音,平均主观分数得分 MOS 是 4.58 分,之前最好的电脑生成语音系统得分在 4.34,而这个新模型的得分为 4.53,已经很接近人类的水平。

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  Tacotron 2 的模型架构

  新的机器学习算法和应用方法

  谷歌大脑的研究人员们持续开发着新的机器学习算法和应用手段,包括胶囊 capsules 的研究(显式地寻找激活特征之间的一致性,作为执行视觉任务时评估各种不同的带噪声假设的手段)、专家们的稀疏门组合(这可以让大模型的计算效率仍然保持很高,https://arxiv.org/abs/1701.06538  )、超越网络(用一个模型的权重生成另一个模型的权重,https://openreview.net/pdf?id=rkpACe1lx  )、新类型的多模态模型(可以用同一个模型对语音、视觉、文本等不同输入做多任务学习)、基于注意力机制的模型(作为卷积和循环模型的替代方案)、符号化和非符号化的学习到的优化模型(http://proceedings.mlr.press/v70/bello17a/bello17a.pdf ,https://arxiv.org/abs/1703.04813   )、一种通过离散变量做反向传播的方法(https://arxiv.org/abs/1611.01144  ),以及一些强化学习算法的新的改进方案(https://arxiv.org/pdf/1702.08892.pdf  )。

  用于计算机系统的机器学习

  用机器学习方法取代传统计算机系统中启发式方法的想法也让谷歌大脑成员们觉得非常有意思。谷歌大脑已经展示了在把计算图映射到一组计算设备上的任务中,强化学习模型选择的放置方法要比人类专家的选择更好(https://arxiv.org/abs/1706.04972  )。和其它谷歌研究院的同事一起,谷歌大脑这项研究「聊一聊学习得到的索引架构」中展现了神经网络可以比 B 树、哈希表、Bloom filters 等传统数据结构更快、更节省空间地建立完成索引任务。谷歌大脑相信,这仅仅是探索机器学习在核心计算机系统中应用的开始,Jeff Dean 在 NIPS workshop 上进行的「Machine Learning for systems.html" target="_blank">Systems and Systems for Machine Learning」演讲中也描绘了他们的设想。

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  学习到的模型可以作为索引结构

  隐私和安全

  机器学习和安全、隐私之间的互动也一直是谷歌大脑的研究重点。在获得 ICLR 2017 最佳论文奖的论文中,他们展示了应用机器学习时可以带有差分隐私保障。谷歌大脑也继续对对抗性样本做了更多的探索,包括真实世界中的对抗性样本(https://arxiv.org/abs/1607.02533  ),以及如何在训练过程中生成大规模的对抗性样本以便让模型对它们更鲁棒(https://arxiv.org/abs/1611.01236  )。

  理解机器学习系统

  在深度学习展现出惊人成果的同时,理解它为什么能奏效、什么时候不能奏效也是很重要的一件事。在另一篇 ICLR 2017 获奖论文中,谷歌大脑的研究人员们展现出目前的机器学习理论框架无法解释深度学习方法的喜人成果。他们也发现,优化方法找到的局部极小值点的「平坦性」和泛化能力的优秀程度之间的关系并不如人们一开始认为的那么紧密(https://arxiv.org/abs/1703.04933  )。为了更好地理解深度神经网络架构的训练是如何进行的,谷歌大脑发布了一系列论文分析随机矩阵,因为这也是多数训练方法的起始点(https://arxiv.org/abs/1710.06570  )。另一个理解深度学习的重要途径是更好地测量模型的表现,在近期一篇比较各种 GANs 方法的论文中,谷歌大脑展现了好的实验设计、统计严谨性的重要性,并且发现许多对生成式模型的热门增强方法都没能真的改进模型表现(https://arxiv.org/abs/1711.10337  )。谷歌大脑希望这项研究能在鲁棒实验研究方面作为其它研究者可以参考的样例。

  谷歌大脑也在研究可以让机器学习系统具备更好的可解释性的方法(https://arxiv.org/abs/1711.00867  )。2017 年三月,谷歌大脑和 OepnAI、DeepMind、YC Research 等机构一起联合创立上线了 Distill 博客 http://distill.pub/  ,这是一个新的开放的在线科技文献展示平台,专注于帮助人类理解机器学习。它对机器学习概念的清晰解释、文章中精彩且具备互动性的可视化工具都已经让它获得了不少赞誉,比如下面这篇 CNN 激活特征可视化。在上线后的第一年中,Distill 上就已经发表了许多尝试理解各种机器学习方法的内在运行原理的文章,很给人带来启迪,谷歌大脑也非常期待 2018 年可预计的更多、更好的文章。

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  CNN 特征可视化

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  如何高效使用 t-SNE https://distill.pub/2016/misread-tsne/

  用于机器学习研究的开放数据集

  MNIST、CIFAR-10、ImageNet、SVHN、WMT 这样的开放数据集极大地推动了整个机器学习领域的发展。谷歌大脑和谷歌研究院也在过去的一年中共同积极开源了许多用于机器学习研究的有意思的新数据集,提供了更大的有标注数据集供开放访问,包括:

  • YouTube-8M:标注为 4716 个不同类别的七百万个 YouTube 视频

  • YouTube-Bounding Boxes:含有 5 百万个边界框的 21 万个 YouTube 视频

  • Speech Commands Dataset:数千个人说的简短控制词汇

  • AudioSet:2 百万个 10 秒长的 YouTube 视频,标注为了 527 个不同的声音事件

  • AVA:5.7 万个短视频中标注了一共 32 万个动作标签

  • Open Images:标记为 6000 个分类的 9 百万张带有创意共享许可的图像

  • Open Images with Bounding Boxes:600 个不同类别的图像中带有 120 万个边界框

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  YouTube-Bounding Boxes 数据集中的样例。视频的分段采样速率为 1 帧/秒,我们关注的物体都被边界框圈了起来

  TensorFlow 以及开源软件

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  一张 TensorFlow 使用者分布的世界地图

  谷歌大脑团队一直就有编写工具来帮助更好地做机器学习研究、更好地在谷歌的各个产品里部署机器学习系统的传统。2015 年 11 月,谷歌大脑开源了自己的第二代机器学习框架 TensorFlow,希望整个机器学习大家庭可以共享谷歌在机器学习软件工具方面的这一笔投资。2017 年 2 月,TensorFlow 1.0 发布,11 月,TensorFlow 1.4 发布,都带来了意义重大的改进:便于交互命令式编程的 Eager execution、TensorFlow 程序的编译优化器 XLA,以及为移动和嵌入式设备设计的 TensorFlow Lite。预编译的 TensorFlow 库如今已经被超过 180 个国家的用户下载了超过一千万次,GitHub 上的开源项目(https://github.com/tensorflow/tensorflow  )也已经有了超过 1200 个贡献者。

  2017 年 2 月,谷歌大脑首次举办了 TensorFlow 开发者峰会,有超过 450 人到山景城参会,全球还有超过 6500 人观看了线上直播,其中有 35 个国家都在当地举办了超过 85 场集体观看活动。所有的演讲都有录像(https://www.youtube.com/playlist?list=PLOU2XLYxmsIKGc_NBoIhTn2Qhraji53cv  ),其中包括了新特性、使用 TensorFlow 的技巧,以及观察揭秘 TensorFlow 的底层的抽象等等内容。2018 年 3 月 30 日谷歌大脑会再在旧金山湾地区举行一场峰会。(雷锋网 AI 科技评论也会保持关注)

  11 月时,TensorFlow 也迎来了自己开源后的第二个纪念日。看到围绕 TensorFlow 建立起的活跃的、不断发展的开发者和用户的大家庭,谷歌大脑的成员们也都觉得非常满足。TensorFlow 目前是 GitHub 上排名第一的机器学习平台,也是 GitHub 上所有开源项目的前五名。大小企业和组织都在使用 TensorFlow,和 TensorFlow 相关的 GitHub 项目也有超过 2.4 万个。如今,许多研究论文在发布时也会带有开源的 TensorFlow 实现来支持他们的实验结果,不仅让别人更好理解他们所提的模型,也便于重现或者拓展他们的工作成果。

  TensorFlow 也从其它谷歌研究团队的开源的相关工作中有所受益,比如 TensorFlow 中的轻量级生成式模型库 TF-GAN,一组用于格式模型的估计器 TensorFlow Lattice,以及 TensorFlow 物体检测 API。TensorFlow 的开源项目中包含的模型也越来越多、越来越广。

  除了 TensorFlow,谷歌大脑还发布了深度学习 API deeplearn.js,它也是开源的,而且带有硬件加速,可以无需下载和安装就直接在浏览器中运行。deeplearn.js 的主页就有一组很棒的示范例子,包括可以用自己电脑摄像头训练的计算机视觉模型 Teachable Machine、一个基于实时神经网络的钢琴合成器以及性能展示工具 Performance RNN。在 2018 年,谷歌大脑会继续努力,让 deeplearn.js 环境直接运行 TensorFlow 的模型变得可能。

  TPU

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  云 TPU 最高可以带来 180 TFlops 的机器学习加速能力

  从大约 5 年前开始,谷歌大脑的研究人员们意识到深度学习将会强烈地改变对硬件需求。深度学习计算的计算强度非常高,不过它也有两个独特的特点:很大程度上都是由稠密线性代数操作(矩阵乘法、向量操作等等)组成,而且降低计算精度不会带来很大影响。他们意识到,可以利用这两个特点构建专用的硬件,就能够以非常高的效率构建运行神经网络。谷歌大脑向谷歌的硬件平台团队提供了设计输入,然后由他们设计并生产出了谷歌的第一代 TPU。这是一种单芯片 ASIC,专门设计用来加速深度学习模型的推理过程。第一代的 TPU 已经部署在谷歌的数据中心中三年了,它支持了所有谷歌搜索请求、谷歌翻译、谷歌照片中的图像理解、李世石和柯洁对战 AlphaGo 等等许许多多的研究和生产用途背后的深度学习模型运行。2017 年 6 月时谷歌大脑在 ISCA 2017 上发表了论文,数据表明第一代 TPU 要比同时代的 GPU 或者 CPU 竞争对手快 15 倍到 30 倍,同时每瓦性能更要高出 30 倍到 80 倍(https://arxiv.org/abs/1704.04760  )。

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  云 TPU 集群(TPU Pod)可以提供最高 11.5PFlops 的机器学习加速能力

谷歌大脑 2017 总结上篇:基础研究进展迅速,开放资源遍地开花

  用 ImageNet 训练 ResNet-50 的实验结果表明,随着 TPU 数量增加,性能增加也几乎是理想线性的

  推理任务很重要,而训练过程的加速其实是一个更重要的问题,同时也更难解决。5 月份在谷歌 I/O 大会公布的第二代 TPU 是一个集成的完整系统(定制 ASIC 芯片、电路板以及芯片互联),它的设计目标是能够同时加速训练和推理过程。谷歌大脑展示了单块设备的配置模式,以及多设备组成的深度学习超级计算机集群 TPU Pod。谷歌大脑也宣布,这些第二代 TPU 将在谷歌云平台上作为谷歌云 TPU 向客户提供。同时,谷歌大脑也公开了 TensorFlow 研究云(TFRC),这个项目将会给有意愿向全世界分享他们的研究成果的研究者免费提供 1000 个云 TPU 组成的计算集群的使用权。在 12 月份,谷歌大脑也展示了另一项成果,他们在 22 分钟内在云 TPU 集群上用 ImageNet 训练了 ResNet-50 模型并且达到了很高精度,这项工作在以往的典型工作站上可能需要花费好几天的时间。在谷歌大脑看来,把研究过程中的测试时间缩短到这种程度将会大幅度提高谷歌以及所有使用云 TPU 的团队的生产力。对云 TPU、TPU 集群或者 TensorFlow 研究云感兴趣的读者可以在 g.co/tpusignup 注册后了解更多信息。谷歌大脑非常期待可以让更多的工程师和研究人员在 2018 年用上 TPU!

谷歌大脑 2017 总结下篇:从医疗、机器人等 6 个领域开始的改变世界之旅

  上面,我介绍了我们 2017 年在基础研究方面的工作,内容包括从设计新的机器学习算法和技术到理解它们,以及与社区共享数据,软件和硬件。

  现在,我们将深入介绍我们在医疗、机器人、创新、公平和包容等垂直领域所做的研究工作,最后会简单介绍一下我们这个团队。

  医疗

  我们认为将机器学习技术应用于医疗保健领域具有巨大的潜力。他们在这个方面也做出许多工作,包括协助病理学家来检测癌症、理解医疗对话以协助医生和病人互动,以及利用机器学习解决基因组学中的各种问题,此外还开放了一个基于深度学习的高精度变型呼叫系统的源代码。

  推荐阅读:医学领域的 AI 除了看医疗影像还能做什么?谷歌带来一个新答案:帮医生写医疗档案 

谷歌大脑 2017 总结下篇:从医疗、机器人等 6 个领域开始的改变世界之旅

(淋巴结活检,我们的算法正确识别出肿瘤而不是良性巨噬细胞)

  2016 年 12 月,我们在美国医学协会杂志(JAMA)上发表了一篇研究糖尿病性视网膜病变(DR)和黄斑水肿早期发现的研究论文。

  相关论文:https://jamanetwork.com/journals/jama/article-abstract/2588763

  在 2017 年,我们将这项研究由研究项目转移到了实际的临床试验。我们与 Verily(Alphabet 公司旗下的一家生命科学公司)合作,通过监管过程来引导这项工作,并将这项技术整合到尼康的 Optos 眼科相机产品线中。

  另外,我们目前正在印度部署这个系统。据了解,在印度的眼科医生有 12.7 万名,但结果却是几乎有一半的上述疾病的患者都被诊断为晚期——疾病已经导致视力丧失。作为试点的一部分,我们在 Aravind 眼科医院推出了这个系统,用来帮助医院的工作人员更好地诊断糖尿病性眼部疾病。此外,我们还与合作伙伴合作,尝试了解影响糖尿病性眼部疾病护理方面的人为因素(包括患者和医疗保健者的民族志研究)以及眼科护理临床医师如何与 AI 支持系统进行交互的调查。

谷歌大脑 2017 总结下篇:从医疗、机器人等 6 个领域开始的改变世界之旅

第一名病人(上);Iniya Paramasivam,一位训练有素的分级师,正在查看系统的输出(下)

  谷歌大脑还与包括斯坦福大学、加州大学旧金山分校和芝加哥大学在内的一些先进的医疗机构和中心的研究人员合作,来证明使用机器学习预测未识别医疗记录的医疗结果的有效性(即根据患者的当前状况,我们相信可以通过从数百万其他患者的案例中学习并预测该患者的未来状况,从而帮助医疗保健人员做出更好的决策)。我们对这个方法感到很兴奋,同时也期待在 2018 年能有更多的内容来讲。

  机器人

  谷歌大脑在机器人学上的长期目标是设计学习算法,使机器人能够在复杂的现实环境中进行运作,并能够通过学习来快速获得新的技能和能力,而不是像如今的机器人那样需要精心控制的条件或针对特定任务编写特定的程序。

  我们研究的一个重点就是开发实体机器人,使它们能够利用自己以及其他机器人的经验来建立新的技能和能力,也即汇集共同的经验,以便集体学习。我们还在探索如何将基于计算机的机器人任务模拟与实体机器人经验结合起来,从而加快学习新的任务。虽然在模拟器中的物理规律与现实世界并不完全匹配,但是我们发现,对于机器人来说,模拟经验加上少量的现实世界的经验会给出比大量现实世界经验更好的结果。

  除了现实世界机器人经验和模拟机器人环境外,我们还开发了机器人学习算法,可以通过观察人类对所需行为的演示来学习。我们认为这种模仿学习方法是一种非常有前途的方式,它能够非常快速地向机器人传递新的能力,这个过程没有明确的规划,甚至没有明确规定活动的目标。

  推荐阅读:看一遍人类动作就能模仿,能理解语义的谷歌机器人登上无监督学习的新高度

  例如下面这个视频中机器人通过从不同的角度观察人类执行任务,然后试图模仿人类行为,在仅仅 15 分钟的时间里就学到了如何向杯子里倒东西。如何你和你三岁的孩子在一起,就会觉得这项工作多么令人鼓舞,因为它只洒出了一点点,而你的孩子可能会弄得一团糟。

  视频地址:http://183.131.60.26/vhot2.qqvideo.tc.qq.com/Ao6_NwtCF6ZFU33aNdlEbpOEzxuufYnYIY-OiQFsT45E/u1331n2urj5.m701.mp4?vkey=275E3B42DD2463B8FB0BE0BB488305303BFAF988F56CD97DEC5766D1905EA26EBA8594C234EBC7A9361C7A9F1FD278A48976270CBAA8CB3E45DFB05AD241196AD017EA9A4BC9ABB07907AF7C1B303B9D096994CBECC6B41D0FBBFCAD59F1478D241E11B857C03F841339A1A7D5B6239D350FBDBE98004E0B&br=28&platform=2&fmt=auto&level=0&sdtfrom=v1010&guid=72b993f1a3116e28cafe589460ddb95f

  我们还在 11 月份联合组织和主办了首次全新的机器人学习大会(CoRL),这次会议也将大量机器学习和机器人交叉领域的研究人员聚集在了一起。活动总结中包含更多信息,这里就不再详述,让我们共同期待明年在苏黎世举行的下一届会议吧。

  推荐阅读:

  • Yann Lecun CoLR 演讲:机器该如何像动物和人类一样有效学习

  • Anca Dragan CoRL 演讲:机器人与人类如何相互影响及更好协作?

  基础科学

  谷歌大脑认为机器学习在帮助解决科学中的重要问题上具有长期的潜力。去年我们利用神经网络在量子化学中预测了的分子性质,在天文数据中寻找到了新的系外行星,从地震数据中预测了地震的余震,并利用深度学习指导了自动化的证明系统。

  相关论文(量子化学):

  Machine learning prediction errors better than DFT accuracy

  Neural Message Passing for Quantum Chemistry

  相关文章(系外行星):谷歌人工智能助科学家发现“迷你太阳系”

  相关论文(地震余震):Deep Network Guided Proof Search

谷歌大脑 2017 总结下篇:从医疗、机器人等 6 个领域开始的改变世界之旅

  信息通过神经网络预测有机分子的量子特性

谷歌大脑 2017 总结下篇:从医疗、机器人等 6 个领域开始的改变世界之旅

  寻找新的系外行星:当行星遮挡光线时,观察的恒星亮度。

  创造力  

  谷歌大脑也对如何将机器学习作为工具来帮助人们进行创造性创作非常感兴趣。

  今年,我们创作了一个 AI 钢琴二重奏工具,帮助了 YouTube 音乐人 Andrew Huang 创作新的音乐,并展示了如何教机器画画。

  试试弹钢琴:A. I. DUET 

  欣赏:Andrew Huang 的音乐(需FQ)

  相关文章:谷歌大脑教机器画简笔画,神经网络的大作都长啥样?

  画画:

谷歌大脑 2017 总结下篇:从医疗、机器人等 6 个领域开始的改变世界之旅

SketchRNN 模型绘制的花园; 互动演示

  我们还演示了如何控制运行在浏览器中的深度生成模型来创建新的音乐,这个作品在 NIPS 2017 上获得了最佳 Demo 奖,这也是大脑团队的 Magenta 项目成员连续第二年获得该奖项(NIPS 2016 上与 Magenta 互动音乐即兴演奏的 demo 获得了该年度的最佳 Demo 奖)。

  在下面的视频中,您可以听到演示的一部分,这是 MusicVAE 变奏自动编码器模型从一个旋律到另一个旋律的平滑过渡。

  视频地址:http://116.211.93.156/vhot2.qqvideo.tc.qq.com/AEKuhtWiuK2UVjWqKfZr2BqElp-_-NLI-02g_i-Oh4JY/q1331bcm08k.m701.mp4?vkey=DF23A3DE4D4EB0F84DDCF4F50F68B3F66075293C98E18798E48AED6042F33DD48CEC335E1EB08F6A4ACF9B3F9F1FE9FE09D6D46D9878D2BBAD1FEB9700C07FC8677872A9693DE1FA702DA32D20CE9A0FBEC1AABD155D03B61D1DEC78AB3E1175BA5EFE823D82B241C7E083380BDD42F2E79F55A8C05174AA&br=29&platform=2&fmt=auto&level=0&sdtfrom=v1010&guid=72b993f1a3116e28cafe589460ddb95f

  People+AI Research(PAIR)倡议

  机器学习的进步为人们如何与计算机进行交互提供了全新的可能性。同时,确保社会能够从我们构建的技术中获得广泛的好处,是至关重要的。我们认为这些机遇和挑战是一件紧迫的事情,因此通过与谷歌公司中的众多人员进行合作,我们提出了一份 People + AI Research(PAIR)倡议。

  推荐阅读:誓要让 AI 造福于人,谷歌 “PAIR”项目究竟有多靠谱?

  PAIR 的目标是研究和设计人与 AI 系统进行交互最有效的方法。为此,我们举办了一场公共研讨会,将来自计算机科学、设计甚至艺术等学科领域中的学术研究者和实践者聚集在一起共同讨论。PAIR 的工作范围非常广泛,其中一些如通过解释性工作帮助研究人员了解 ML 系统,并用 deeplearn.js 扩展开发人员社区。我们在以人为中心的 ML 工程方法方面的另外一个例子就是 Facets 的推出,这是一种可视化和可理解的训练数据集工具。

  推荐阅读:谷歌也发布了 Web 前端机器学习库,就叫 deeplearn.js

Facets 帮助你深入理解你的训练数据集

  机器学习中的公平和包容

  随着 ML 在技术上的作用越来越大,包容性和公平性的考虑也变得越来越重要。Brain 团队和 PAIR 在这些领域取得了一些进展。我们已经发表了在 ML 系统中如何通过因果推理来避免歧视、地理多样性在开放数据集中的重要性,并写了一个博文分析了一个公开数据集以了解多样性和文化差异。我们也一直与 AI 合作伙伴进行密切的合作,PAIR 是一个跨行业的倡议,它旨在帮助我们确保让公平和包容成为所有 ML 从业者的共同目标。

谷歌大脑 2017 总结下篇:从医疗、机器人等 6 个领域开始的改变世界之旅

  正如在左边的这些涂鸦图案中所观察到的那样,文化差异可以在训练数据时(甚至在对象中)是“通用”的椅子。 右侧的图表显示了我们如何发现标准开源数据集(如 ImageNet)中的地理位置偏差。 未被发现或未被纠正,这种偏见可能强烈影响模型行为。

  我们与谷歌创意实验室的同事合作制作了下面这个视频,作为这个领域的一些非技术性介绍。

 

视频地址:https://v.qq.com/iframe/player.html?vid=t1331wnzlvv

  我们的文化

  谷歌大脑的研究文化的一个方面是,让研究人员和工程师们去解决他们自己认为最重要的基础研究问题。

  在 2017 年 9 月份,我们发布了开展研究的一般方法。教育和知道年轻的研究人员是我们研究的一部分。我们去年共接待了 100 多名实习生,在 2017 年中有约 25% 的发表文章有实习合作者参与。

  推荐阅读:Jeff Dean 撰文:谷歌大脑是如何完成科研使命的?(2017.09)

  在 2016 年,谷歌大脑开启了 Google Brain Residency 计划,该计划旨在指导哪些想学习机器学习研究的人。在首年(2016 年 6 月-2017 年 6 月)共有 27 位培训人员加入我们团队,在半年的时间里共发表了 23 篇论文。这些培训人员现在大部分都作为专职研究人员和研究工程师留在我们团队中。

  2017 年 7 月,我们迎来了第二批 35 位培训人员,他们将会待到 2018 年 7 月,不过现在已经做出了许多令人兴奋的研究工作,并已经发表了很多一系列的论文。

  我们现在已经扩大了该计划的范围,将谷歌许多其他研究组包括在内,并将计划重新命名为 Google AI Residency program。(本年度计划的申请截止日期刚刚过去;请在 g.co/airesidency/apply 查看有关明年计划的信息)

  我们在 2017 年的工作远不止这篇博文(上、下)中所强调的这些。我们过去一年在各种顶级的研究机构发表了 140 篇论文,其中在 ICLR、ICML、NIPS 等会议发表了 60 多篇论文。想了解我们这方面的工作,可以仔细阅读我们的研究论文。

  你也可以在这个视频中看到我们团队的成员:

  视频地址:http://ugclx.video.gtimg.com/flv/98/75/q0532pn9qo9.mp4?vkey=C42E64BB5A0D70555884D4633F86BB0579175E745E4934C885220E61F7A1EC861FDCB4E7C37F39C88A1400D11712093713144BD703C11633375A0D307D22AC255DC018D1949A2A06A122D95D8BFCD29EAA7C1D1E0B4C931693C5FDDCB6C9DCFF26E1D3711F7B584089699899A9A0FA96623DE40EE0048CC4&br=41&platform=2&fmt=auto&level=0&sdtfrom=v1010&guid=72b993f1a3116e28cafe589460ddb95f

  或者读一读我们第二次在「Ask Me Anything(AMA)」活动中的回答(2016 年也有一期)

  Jeff Dean 两年 AMA 全盘点:26 个关于谷歌大脑和机器学习未来的问题

  谷歌团队正在扩增,团队成员遍布北美和欧洲。如果你觉得我们做的工作听起来很有意思,而且想加入我们,你可以通过底部的链接(g.co/brain)看看我们有哪些空缺职位,并申请实习、AI 入驻计划,访问学者或全职研究或工程开发岗位。

  你也可以通过 Google Research blog,或者 Twitter@GoogleResearch 来跟踪我们在 2018 年的工作,你也可以关注我的个人 Twitter 账号 @JeffDean。

  via GoogleBlog.com

  雷锋网 AI 科技评论编译。文章中所提的研究成果的具体细节欢迎阅读我们的往期报道文章。

发表评论
用户名: 匿名