您现在的位置是：孤曼来了网 > 焦点

NVIDIA：GPU磨炼AI大模子可飞腾96%老本

孤曼来了网2024-10-26 04:27:47【焦点】1人已围观

简介克日新闻，在适才召开的2023年台北电脑展上，NVIDIA首席实施官黄仁勋妨碍了演讲。在演讲中，黄仁勋向传统的CPU效率器集群建议“挑战”，以为在家养智能以及减速合计这一未来倾向上，GPU效率器有着加

克日新闻，磨模在适才召开的炼A老本2023年台北电脑展上，NVIDIA首席实施官黄仁勋妨碍了演讲。飞腾

在演讲中，磨模黄仁勋向传统的炼A老本CPU效率器集群建议“挑战”，以为在家养智能以及减速合计这一未来倾向上，飞腾GPU效率器有着加倍强盛的磨模优势。

凭证黄仁勋在演讲上揭示的炼A老本典型，磨炼一个LLM狂语言模子，飞腾将需要960个CPU组成的磨模效率器集群，这将破费约莫1000万美元（约合国夷易近币7070万元），炼A老本并破费11千兆瓦时的飞腾电力。

比照之下，磨模同样以1000万美元的炼A老本老本去组建GPU效率器集群，将以仅3.2千兆瓦时的飞腾电力破费，磨炼44个LLM大模子。

假如同样破费11千兆瓦时的电量，那末GPU效率器集群可能实现150倍的减速，磨炼150个LLM大模子，且占地面积更小。

而当用户仅仅想磨炼一个LLM大模子时，则惟独要一个40万美元摆布，破费0.13千兆瓦时电力的GPU效率器即可。

换言之，比照CPU效率器，GPU效率器可能以4%的老本以及1.2%的电力破费来磨炼一个LLM ，这将带来重大的老本节约。

自快科技

很赞哦!（933）