TPU、GPU、CPU深度学习平台哪家强？有人做了一个基准测试研究
发布时间：2019-09-04 05:26:57 所属栏目：建站 来源：机器之心
导读：副标题#e# GPU、TPU、CPU 都可以用于深度学习模型的训练，那么这几个平台各适用于哪种模型，又各有哪些瓶颈?在本文中，来自哈佛的研究者设计了一个用于深度学习的参数化基准测试套件ParaDnn，旨在系统地对这些深度学习平台进行基准测试。 ParaDnn 能够为全
|
图 10：(a)–(c)：对大型卷积神经网络而言，TPU 是比 GPU 更好的选择，这意味着 TPU 是对卷积神经网络做了高度优化的。(d)–(e)：尽管 TPU 对 RNN 是更好的选择，但是对于嵌入向量的计算，它并不像 GPU 一样灵活。  图 11：(顶部)在所有的负载上 TPU 相对 GPU 的加速比。需要注意的是，实际负载在 TPU 上会使用比 GPU 上更大的 batch size。ResNet-50 的英伟达 GPU 版本来自于文献 [9]。(底部)所有平台的 FLOPS 利用率对比。  图 12：(a)TPU 性能随着 TensorFlow 版本更新发生的变化。所有的 ParaDnn 模型都有提升：Transformer, RetinaNet, 和 ResNet-50 提升稳定。(b)CUDA 和 TF 的不同版本上 GPU 的加速比。CUDA 9.2 对卷积神经网络的提升要比其他 ParaDnn 模型更多，对 ResNet-50 的提升要比其他实际模型更多。CUDA 10 没有提升 RNN 和 SqueezeNet。
（编辑：西安站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
