GPU对计算的价值有多大?Nvidia 产品管理和营销高级总监 Paresh Kharya 喜欢说，该公司的芯片已经在推动该行业实现“百万倍的飞跃”。该公司提供了其“大局”分析，作为其围绕GTC 会议建立的宣传的一部分，该会议强调了 Nvidia GPU 如何支持人工智能应用程序。
百万的因数比旧的摩尔定律大得多，摩尔定律只承诺芯片上的晶体管数量每两年左右就会翻一番。许多人指出，与摩尔预测相关的翻倍率最近有所放缓，这归因于多种原因，例如建造工厂的成本不断上升。倍增对用户来说也不太明显，因为额外的晶体管对于文字处理等基本任务没有多大用处。日常工作流程中只有这么多并行性。
英伟达 GPU 的性能提升了 1000 倍
Kharya 将他的数百万因子的主张建立在饥饿的新应用程序和能够为它们提供支持的芯片架构的结合上。今天正在探索的许多新应用程序都依赖于人工智能算法，而这些算法为Nvidia GPU上的大量晶体管集合提供了理想的机会。训练和评估 AI 模型的工作通常本质上是并行的。
从拥有硬件到在数据中心租用机器的转变加速了加速。过去，每个人都受限于坐在办公桌上的电脑的功率。现在，任何人都可以在数据中心启动 1,000 台或更多机器，以在几秒钟内解决大规模问题。
例如，Kharya 指出，在 2015 年，来自 Nvidia 的单个 Kepler GPU 需要近一个月的时间才能通过名为 ResNet-50 的流行计算机视觉模型工作。
“我们在不到半分钟的时间内在 Selene 上训练了相同的模型，Selene是世界上最强大的工业超级计算机，它装有数千个 Nvidia Ampere 架构 GPU，”Kharya 在一篇博客文章中解释道。
这个例子中的一些速度提升是因为更好、更快、更大的 GPU。Kharya 估计，在过去 10 年中，Nvidia GPU 的原始计算能力增长了 1,000 倍。其他因素来自于使数据中心中的多个 GPU 能够有效协同工作。Kharya 举了几个例子，“我们的威震天软件，用于多 GPU 和多节点处理的 Magnum IO，以及用于网络计算的 SHARP。”
其余的来自云选项的扩展。亚马逊的网络服务多年来一直是英伟达的合作伙伴，它继续让开发人员更容易租用 GPU 用于机器学习或其他应用程序。
GPU 增长轨迹能否与晶体管数量相匹配?
Kharya 还提供了来自生物物理学领域的另一个数据点，在那里科学家模拟了构成 SARS CoV-2(冠状病毒)的 3.05 亿个原子的作用。他发现最新版本的模拟运行速度比 15 年前的原始版本快 1000 万倍。算法的改进以及更快的芯片促成了这一结果。
其他公司也在追求同样的大幅增长。例如，谷歌正在设计针对机器学习优化的定制芯片。自 2019 年以来，这些以 TensorFlow 算法命名的 TPU 已在 Google 的云平台上可用。
对于由一百万倍引起的所有值得关注的关注，唯一的警告是我们不会看到与晶体管数量相同的指数增长。虽然基本 GPU 的原始功率可能会随着芯片制造继续沿着摩尔设定的路径继续增长，但迁移到数据中心所带来的提升只会出现一次。添加更多机器以加快流程的成本始终是线性的。
