ChatGPT有多烧钱？大模型训练一次200-1200万美元

IT之家报道，自ChatGPT风靡全球以来，科技巨头们纷纷涉足生成式AI领域，这一领域背后依托大模型为基础的人工智能技术正成为业界关注的焦点。

大模型技术成为了科技公司的热门投入方向。据IT之家了解，所谓“大模型”，通常是在无标注的大数据集上，借助自监督学习的方法进行训练。这种训练方式使得模型能够适应各种新应用场景的需求，开发者只需进行微调或使用少量数据进行二次训练即可。

训练通用大模型的投入是非常巨大的。据国盛证券的报告《ChatGPT需要多少算力》估算，GPT-3的一次训练成本就高达140万美元。对于更大的大型语言模型（LLM），训练成本更是介于200万美元至1200万美元之间。考虑到ChatGPT在1月的独立访客平均数达到了惊人的1300万，其所需的芯片需求为3万多片英伟达A100 GPU，初始投入成本约为8亿美元，每日的电费就高达5万美元左右。

如果要将当前的ChatGPT部署到谷歌的每一次搜索中，那么需要的服务器和网络成本更是惊人。需要512820.51台A100 HGX服务器和总共4102568个A100 GPU，这些服务器和网络的总成本仅资本支出就超过1000亿美元。

尽管如此，国盛证券认为对于像谷歌这样的全球科技巨头而言，百万至千万美元级别的训练成本虽然不菲，但尚在可接受范围内，并未显得过于昂贵。这是因为随着技术的不断进步和需求的不断增长，大模型技术的投资正在成为科技巨头们争夺市场、引领未来发展的重要手段。

生成式AI和大模型技术的发展前景令人充满期待。随着技术的不断进步和投入的不断增加，我们可以预见，未来的AI技术将会更加智能、更加人性化，为我们的生活带来更多便利和创新。