来源：雷锋网

本文作者：三川

原文链接：https://www.【【淘密令】】.com/news/201705/【【微信】】.html

与“传统” AI 算法相比，深度学习（DL）的计算性能要求，可以说完全在另一个量级上。

而 GPU 的选择，会在根本上决定你的深度学习体验。那么，对于一名 DL 开发者，应该怎么选择合适的 GPU 呢？这篇文章将深入讨论这个问题，聊聊有无必要入手英特尔协处理器 Xeon Phi，并将各主流显卡的性能、性价比制成一目了然的对比图，供大家参考。

先来谈谈选择 GPU 对研究深度学习的意义。更快的 GPU，能帮助新人更快地积累实践经验、更快地掌握技术要领，并把这些应用于新的任务。没有快速的反馈，从错误中学习要花费太高的时间成本，学习深度学习便很可能变成一个令人反胃、进而望而生畏的经历。

出于最初的激动，我走上了多卡交火的不归路――用 40Gbit/s 的 InfiniBand 桥接器连接，我搭建了一个迷你 GPU “集群”，万分激动地试验多卡是否能有更好的表现。

但很快我就发现，让神经网络在多卡上高效地并行处理，其实是一件挺不容易的事。尤其是对于更密集的神经网络，性能的提升可以用一句“不过如此”来形容。通过数据并行化，小型神经网络倒可以很高效地并行处理，但大型的就不行了。比如 Kaggle 竞赛“Partly Sunny with a Chance of Hashtags”，我用深度学习方法拿下了第二名，多卡就基本没有加速效果。

这之后，我继续探索如何在多卡环境玩深度学习。

我开发了一个全新的 8 bit 压缩技术，其模型并行化比起 32 bit 方法要高效得多，尤其是密集或全连接层。但我同时发现，并行化可以让你极度失望――我幼稚地针对一系列问题优化了并行算法，结果发现，即便有优化的特制代码，多 GPU 的并行化仍然效果一般，尤其考虑到投入的大量精力。

在搞并行化之前，你必须要非常了解你的硬件，以及它与深度学习算法的相互支持程度，来估计是否能从并行化获益。

这是我的 PC。你看到的是三块泰坦以及 InfiniBand 桥接卡。但这个配置适合深度学习吗？

从那时起，对 GPU 并行的支持越来越常见，但离普及还差得远，更不要提高效地运行。到目前为止，唯一一个能在多卡、多机环境实现高效算法的深度学习框架，是 CNTK。它利用了微软特制的具有 1 bit 量化（高效）和 block momentum（非常高效）的并行化算法。

如果在 96 卡 GPU 集群上运行 CNTK，线性速度预计可达到 90 到 95 倍。PyTorch 或许会是另一个能高效地支持多机并行化的框架，但暂时还没到位。如果你在一台设备上搞并行化，你的选择基本就是 CNTK、Torch 或者 PyTorch。这些框架有不错的加速表现（3.6-3.8 倍），对于一机四卡（最多）有预定义的算法。其他支持并行化的库和框架也存在，但它们要么很慢（比如 TensorFlow，只有两到三倍的加速）；要么对于在多卡环境很难用（比如 Theano）；再要么两个缺点都有。

如果并行化对你很重要，我推荐你用 Pytorch 或 CNTK。

多卡的另一个优势是，即便你不对算法做并行化，还可以同时跑多个算法、实验――每个算法在在一个 GPU 上单独运行。你不会获得任何加速，但同时使用不同算法或参数，你会得到更多关于效果表现的信息。如若你的主要目标是尽快积累深度学习经验，这是非常有用处的。对于需要对一个新算法的不同版本做实验的研究人员，这也相当有用。

这是多卡在心理上的价值。处理一个任务与获得结果反馈之间的时间越短，大脑把相关记忆碎片组织起来、建立起该任务知识图的效果就越好。如果数据集不大，你在两块 GPU 上用这些数据同时训练两个卷积网络，你会很快就会知道“一切顺利”的感觉有多好。你会更快地发现交叉验证误差，并做合理解释。你能发现一些线索，让你知道需要添加、移除或调整哪些参数或层。

总的来讲，你可以说对于几乎所有任务，一块 GPU 基本就够了。但用多卡来加速深度学习模型，正在变得越来越重要。如果你的目标是快速入门深度学习，多块便宜的显卡也是不错的。就我个人而言，我更倾向选择多块弱一点的 GPU，而不是一块核弹，对于研究实验也是如此。

英伟达的标准算法库，使得在 CUDA 中建立第一批深度学习库非常简单。但对于 AMD OpenCL，这样的强大标准库并不存在。现实是，现在 A 卡并没有好用的深度学习库――所以一般人只能选 N 卡。即便将来有了 OpenCL 库，我仍会接着用 N 卡。原因很简单：GPU 通用计算，或者说 GPGPU 的社群基本上是围绕着 CUDA 转的，而没有多少人钻研 OpenCL。因此，在 CUDA 社区，你可以立刻获得好的开源方案和代码建议。

另外，对于深度学习，即便这项技术及其产业尚在襁褓之中，英伟达可谓是全面出击。老黄的投入并没有白费。那些现在才投入资金、精力，想要赶上深度学习风口的公司，由于起步晚，离英伟达的距离有老大一截。当前，使用任何除 N【【微信】】 之外的软硬件组合玩深度学习，简直是故意跟自己过不去。

至于英特尔 Xeon Phi，官方宣传是你能用标准的 C 语言代码，并轻松把代码转化为加速的 Xeon Phi 代码。该功能听着不错――你也许会想着可以借助海量的 C 语言资源。但实际情况是，只有非常少数的 C 语言代码有支持，而且大部分能用的 C 代*非常非常的慢。因此，它其实比较鸡肋。

我曾在一个 Xeon Phi 集群工作站搞研究，这期间的经历不忍回想，一把辛酸泪：

我无法运行单位测试，因为 Xeon Phi MKL 和 Python Numpy 不兼容；我不得不重构大部分的代码，因为 Xeon Phi 编译器无法对模板做恰当的 reduction，比如说对 switch statement；我不得不修改 C 界面，因为 Xeon Phi 编译器不支持一些 C++11 功能。

所有这些迫使我在心酸沮丧中重写代码，并且没有单位测试。这过程极度漫长，堪称地狱般的经历。

直到我的代码终于成功执行，但所有东西速度都很慢。有一些问题，搞不清是 bug 还是线程调度程序的原因，总之如果张量大小接连发生改变，性能就会大幅降低。举个例子，如果你有大小不同的全连接层或 dropout 层，Xeon Phi 比 CPU 还要慢。我在独立矩阵乘法上重现了这个问题，并发给英特尔，但没有回音。

所以，如果你真想搞深度学习，离 Xeon Phi 越远越好。

想到为深度学习挑选 GPU，你脑子里冒出来的第一个问题大概是：最重要的性能参数是什么？Cuda 核心数目？频率？显存大小？

都不是。

对深度学习性能影响最大的参数是显存带宽。

简单来讲，GPU 为显存带宽而优化，为此牺牲了显存读取时间，即延迟。而 CPU 恰恰与此相反――如果只涉及少量内存，它能非常快速地做计算，比如个位数之间的乘法（3*6*9）。但是对于大量内存之上的运作，比如矩阵乘法（A*B*C），CPU 是非常慢的。由于高显存带宽，GPU 就很擅长处理这类问题。当然，CPU 与 GPU 之间有的是微妙细致的区别，这只是非常重要的一个。

因此，如果你想要买一个玩深度学习快的 GPU，首先要看显存带宽。

近几年 CPU、GPU 的带宽对比