class="topic_img" alt=""/>
我有一种预感，2018 年可能是一切都发生戏剧性变化的一年。2017 年深度学习取得的惊人突破将在 2018 年以一种非常有力的方式延续下去。2017 年的研究工作将会转移到日常的软件应用中。
像去年那样，我整理了一份 2018 年深度学习的预测清单。
1、大部分深度学习硬件初创公司会失败
许多深度学习硬件创业公司将开始在 2018 年最终交付他们的成品。大部分走向萧条，因为他们没有提供好的软件来支持新解决方案。这些公司拥有硬件作为他们的 DNA。不幸的是，在深度学习领域，软件也同样重要。这些创业公司大多不懂软件，也不理解开发软件的成本。这些公司可能会交付产品，但不会运行良久。
易实现的收缩阵列（systolic array）解决方案已经被采用，因此不会有 2017 年那样的 10 倍性能升级。研究人员将这些 tensor cores 不仅用于推断，还用于加快训练速度。
英特尔的解决方案将继续被推迟，而且可能会令人失望。记录显示英特尔无法在 2017 年中期发布，交付时间难以预测，这太迟了，而且会很糟糕。
谷歌将继续以 TPU 的开发项目给世界带来惊喜。或许，谷歌会通过将其 IP 授权给其他半导体厂商来涉足硬件业务。如果它继续成为除英伟达以外唯一真正的玩家，这将是有意义的。
2、基于新随机梯度下降（SGD）的元学习
2017 年，元学习领域的大量研究成果出现。随着研究群体对元学习的整体理解能力加强，随机梯度下降（SGD）的旧范式将被搁置，取而代之的是一种更有效的方法，兼具开发和探索性。
非监督学习的进步将是渐进的，但主要是由元学习算法驱动的。
3、生成模型驱动了一种新的建模方法
生成模型不断发展。目前，大多数研究都是在生成图像和语音方面进行的。不过，我们应当看到这些方法结合工具被用于复杂系统的建模。其中的一个应用领域是经济建模。
4、“自对弈”（Self-play）是自动的知识创造
AlphaGo Zero 和 AlphaZero 之间从零开始学习到“自对弈”学习是一次巨大的飞跃，在我看来，它和深度学习的到来有着同样的影响。深度学习发现了通用函数近似器（Universal Function Approximators）。强化学习“自对弈”发现了普遍的知识创造。
期待看到更多与“自对弈”（Self-play）相关的进步。
5、直觉机器将弥合语义鸿沟
这是我最大胆的预测。我们将弥合直觉机器和理性机器之间的语义鸿沟。
双过程理论（两个认知机器的概念，一个是无模型的，另一个是基于模型的）将会是更普遍的概念，即我们应该如何构建新的人工智能。在 2018 年，人工直觉的概念将不再是一个边缘概念，而是一个普遍接受的概念。
6、解释能力（Explainability）是无法实现的，我们只能假装
解释能力存在两个问题。更常见的问题是，解释对人们来说有太多的规则需要去掌握。第二个问题不太为人所知，那就是机器将会创造出完全陌生的概念，无法解释。我们已经在 AlphaGo Zero 和 Alpha Zero 的战略中看到了这一点。人类会观察到，此举是非常规的，但他们可能没有能力去理解这一举动背后的逻辑。
在我看来，这是一个无法解决的问题。取而代之的是，机器将变得非常善于“伪装解释”。简而言之，可解释的机器的目的是理解一个人能够自如地理解或能从直觉上理解的各种解释。然而，在大多数情况下，对人类来说，完整的解释是不可能的。
我们必须通过创造“假解释”来在深度学习中取得进展。
7、深度学习研究信息将减少
2017 年对于从事深度学习研究的人来说已经很困难了。提交到 ICLR 2018 会议的论文数量约为4,000 篇。一个研究人员每天要阅读 10 篇论文，仅仅是为了能与会议同步。
在这个领域，问题变得更加严重，因为所有的理论框架都在不断完善之中。为了在理论空间上取得进步，我们需要寻找更先进的数学知识，让我们有更好的洞察力。这将是一项艰苦的工作，因为大多数深度学习研究人员没有相应的数学背景来理解这类系统的复杂性。深度学习需要来自复杂性理论的研究人员，但这种类型的研究人员却很少。
由于论文太多，理论也不完善，我们只能看到今天我们所处的不受欢迎的状态。
此外，人工智能（AGI）的总体路线图也缺失了。这个理论很弱，因此，我们能做的最好的事情就是创建一个包含与人类认知相关的里程碑的路线图。我们只有一个源自认知心理学的推测理论的框架。这是一种糟糕的情况，因为来自这些领域的经验证据充其量只能是零星的。
深度学习研究论文在 2018 年可能会增加两倍或四倍。
8、工业化通过教学环境进行
深度学习系统的发展，是通过具体的教学环境的发展而实现的。我在这里和这里更详细地讨论这个问题。如果你想找到教学技巧的最高级形式，你只需要看看学习网络是如何训练的。我们都希望在这一领域取得更多进展。
预计将有更多公司披露其内部基础设施，以说明他们如何大规模部署深度学习。
9、对话认知产生
我们衡量 AGI 进展的方法是过时的。需要一种新的范式来解决现实世界中的动态(即非平稳)复杂性。我们应该在新的一年里看到更多关于这个新领域的报道。我将在 3 月 1 日至 2 日在阿姆斯特丹举行的信息能源 2018 上谈论这种新的对话认知范式。
10、对人工智能伦理使用的需求将会增加。
如今，人们越来越意识到自动化失控造成的意外会带来的灾难性后果。我们今天在 Facebook、Twitter、谷歌、亚马逊等网站上发现的简单自动化可能会对社会产生不必要的影响。
我们需要理解部署能够预测人类行为的机器的伦理道德。面部识别是我们掌握的最危险的能力之一。能够生成与现实难以区分的媒体的算法将会成为一个大问题。我们作为社会的一员，需要开始把人工智能仅仅作为一个造福社会的整体，而不是作为一种增加不平等的武器。
预计在接下来的一年里会有更多关于道德的讨论。然而，不要期待新的监管规定。在理解人工智能对社会的影响方面，政策制定者仍然落后。我不指望他们停止玩弄政治，开始解决社会真正的问题。美国人口已经成为众多安全漏洞的受害者，但我们还没有看到任何新的立法或倡议来解决这个严重的问题。所以不要屏住呼吸，我们的领导人会突然发现智慧。
准备迎接冲击，这就是我现在所拥有的一切。2018 年将是重要的一年，我们最好系紧安全带，准备迎接冲击。
Carlos E. Perez 是“人工直觉”和“深度学习”手册的作者，也是 Intuition Machine 公司的创始人。
相关文章
