过去数月老款AI芯片降价 大模型培训成本降60%

对于开发大语言模型来说，需要支付高昂的成本。这包括了模型本身的研发工作，还包括云端运行的模型费用，这些费用几乎能够占到初创公司收入的50%以上，这还不包括训练模型的相关成本。不过最近几个月以来，一些老款的AI芯片不断降价，也使得大模型的培训成本大大降低。在最近的三四个月之内，英伟达的a100GPU的价格不断下降，这也使得模型培训成本降低了60%。除此之外，英伟达还对一些GPU的软件性能进行了优化，能够有力帮助开发者在这些芯片上更快的去训练和运行大模型。 一些开发者目前正在利用各种新的培训技术和配置来对成本进行压缩，大语言模型的开发者已经找到了更加高效的利用硬件方法，谷歌的研究人员表示，目前在训练gpt-3的时候，opera的GPU有80%的时间都是处于闲置状态的，一直都在等待着数据的输入。这些GPU的资源并没有被完全利用。 GPU的经销商together发布消息称，只要通过不同的技术就能够将GPU的闲置时间缩短到30%左右。如果开发者能够利用这项技术，那将大大降低大模型培训的开发成本。

标签： 成本降60%

版权声明：本文由用户上传，如有侵权请联系删除！