英伟达:CPU已经过时,使用GPU来训练大规模语言模型成本可降低96%

发布时间：2023-05-30 09:31:54 所属栏目：动态来源：

导读：在英伟达 2023年台北电脑展上发表演讲的时候,他们宣称自己 GPU能大幅降低训练大语种模型(LLM)的成本和能源消耗。

英伟达首席执行官黄仁勋在演讲中，向 CPU 行业发起了挑战，他认为生成式人工智能和加速计算是未来

在英伟达 2023年台北电脑展上发表演讲的时候,他们宣称自己 GPU能大幅降低训练大语种模型(LLM)的成本和能源消耗。

英伟达首席执行官黄仁勋在演讲中，向 CPU 行业发起了挑战，他认为生成式人工智能和加速计算是未来计算的方向。他宣布传统的摩尔定律已经过时，未来的性能提升将主要来自生成式人工智能和基于加速计算的方法。

英伟达在展会上展示了一份 LLM 的总体拥有成本（Total Cost of Ownership，TCO）分析：首先，他们计算了训练一个 LLM 所需的 960 个 CPU 组成的服务器集群的完整成本（包括网络、机箱、互连等所有设备），发现这需要花费约 1000 万美元（备注：当前约 7070 万元人民币），并消耗 11 千兆瓦时的电力。

相比之下，如果保持成本不变，购买一个价值 1000 万美元的 GPU 集群，可以在同样的成本和更少的电力消耗（3.2 千兆瓦时）下训练 44 个 LLM。如果转而保持电力消耗不变，那么可以通过 GPU 集群实现 150 倍的加速，以 11 千兆瓦时的电力消耗训练 150 个 LLM，但这需要花费 3400 万美元，此外这个集群的占地面积比 CPU 集群小得多。最后，如果只想训练一个 LLM，那么只需要一个价值 40 万美元、消耗 0.13 千兆瓦时电力的 GPU 服务器就可以了。

英伟达所要表达的意思是，相比 CPU 服务器，客户可以以 4% 的成本和 1.2% 的电力消耗来训练一个 LLM，这是一个巨大的成本节省。而英伟达此举的目的，就是为了降低客户的运营成本，提高效率。不过，这样的说法并没有得到业界的认可。

（编辑：驾考网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!