class="topic_img" alt=""/>
“卷积神经网络（CNN）的时代已经过去了！”
——Geoffrey Hinton
酝酿许久，深度学习之父 Geoffrey Hinton 在 10 月份发表了备受瞩目的 Capsule Networks (CapsNet)。 Hinton 本次挟 CapsNet 而来，大有要用它取代 CNN 的气势。
今天，有科技媒体发布 Capsule Networks (CapsNet)开源的消息，去寻找 Github 链接后，发现本次开源非常低调且隐蔽，隐藏在谷歌 tensorflow 的专题之下，没有相关报道，谷歌也搜不到，不熟悉 Github 的同学很难查找。
先放上链接：https://github.com/Sarasra/models/tree/master/research/capsules
因为发布低调，所以，Star 数只有 23，Folk 数也只有 12 个。当然，这也并不影响这个开源项目的优秀和影响力。
那么，欲取代 CNN 的 Capsule Network 究竟是什么来头？CapsNet 相比 CNN 到底有哪些优势？它又是否能为 AI 界带来革命性转折呢？我们不妨来为大家科普一下这一深度学习的新里程碑。
首先，这位被誉为深度学习之父 Geoffrey Hinto 究竟是何许人也呢？在上世界 50 年代，深度神经网络的概念就已出现，从理论上来讲可以解决众多问题，但是一直以来却没有人知道该如何训练它，渐渐的也就被放弃。直至 1986 年，Hinton 想到了通过反向传播来训练深度网络，标志了深度学习发展的一大转机。然而，受限于当时的计算机运算能力，直到 2012 年，Hinton 的发明才得以一显神通。这一突破也为近年来人工智能的发展奠定了基础。
2017 年 10 月 26 日，Hinton 又发表了一项开创性的论文——Capsule Networks（胶囊网络），或将再次改写深度学习的发展历程。（论文链接：https://arxiv.org/pdf/1710.09829v1.pdf）
传统神经网络中存在的问题
目前为止，CNNs (卷积神经网络)仍是最先进的图像分类识别方法。
简单来讲，CNNs 通过逐层累加调整实现分类。它首先检测到边缘，然后是形状，然后是实际的识别对象。CNN 的实现方式极具创新，然而在这一过程中却有一项重要的信息丢失了——特征之间的空间关系。下面是一个 CNN 工作原理的简化描述：
如果有两只眼睛，一只鼻子，一张嘴，那么这就是一张脸。
乍一看完全没问题啊，完美！那我们拿卡戴珊大姐的照片来试一下，看看会怎么样：
(前方高能……
请帮忙计算一下这位大姐的心理阴影面积……但话说回来，这也确实是两只眼睛，一个鼻子和一个嘴巴呀！我们很容易就能发现，这些特征的空间位置明显是错误的，不符合“脸”的特征，然而 CNN 在处理这一概念上却十分笨拙。
除了被图像的错误位置所迷惑，CNN 在查看不同方向的图像时也很容易混淆。解决这个问题的方法之一，就是对所有可能的角度进行大量训练，但是这需要花费很多时间，而且似乎有些违反常理。
我们只要把 Kim 的照片颠倒一下，就能发现其性能的大幅下降：
颠倒的 Kardashian 被识别成了“炭黑色”
最后，卷积神经网络可能很容易受到白盒对抗攻击（攻击者知晓机器学习所用的算法和相关参数，并据此在对抗性攻击过程中与系统交互）。这种攻击在对象上嵌入了一个秘密的图案，由此使这张图片被错误识别。
讲到这，我们就不难理解为什么 Hinton 曾发表过这样的言论：“卷积神经网络的时代已经过去了”
胶囊网络“拯救世界”！
胶囊网络构架
胶囊网络的引入使我们能够充分利用空间关系，它可以实现以下逻辑：
如果有两个相邻的眼睛，眼睛下长了鼻子，鼻子下长了嘴巴：那么这就是一张脸。
你应该可以看到，这次我们定义的神经网络在处理卡戴珊大姐的照片过程中不会那么容易被糊弄了。
这种新的架构在以下数据集上也获得了更高的识别准确度。这个数据集经过了精心设计，是一个纯粹的形状识别任务，即从不同的角度来看也能识别物体。CapsNet 在该数据集上打败了最先进的 CNN，将错误数量减少了 45％。
CapsNet 能够识别出与上下对应的图像同属一个类别（动物，人类，飞机，汽车，卡车）。
另外，根据他们最近的研究成果，胶囊网络在对抗白盒攻击方面比卷积网络也更有效果。
训练 CapsNet
要想使用胶囊网络，首先你得训练它——于是，我根据 Hinton 的论文建立了一个 Repo（非常感谢 naturomics）.
以下指南将为你提供在 MNIST 数据集上训练的模型。（MNIST 是手写数字的数据集，很适合用作测试机器学习算法的基准线）
1. 复制 Repo：
git clone https://github.com/bourdakos1/capsule-networks.git
2. 安装 requirements 文件:
pip install -r requirements.txt
3. 开始训练!
python main.py
MNIST 数据集包含 6 万个训练图像。默认情况下，该模型每次批处理的大小是 128 个，训练 50 次。每一次训练都是数据集的一次完整运行过程。由于每次批量大小是 128，所以每次训练大约有 468 个批处理（60,000 / 128 ≈468）。
一旦我们的模型得到充分的训练，我们可以通过运行以下命令来测试它：
python main.py --is_training False
最后，我想指出，虽然胶囊网络看起来威力十足，但它现在仍然处在婴儿期。在训练庞大的数据集时，我们可能会遇到问题。但总体来说，我还是对胶囊网络的未来发展充满信心的。
相关文章
