2024-06-27
新型 AI 算法亮相:13W 功率驾驭 10 亿参数大语言模型,功率降至常规配置 1/50、显存占用降至 1/1
6 月 27 日消息,美国加州大学圣克鲁兹分校的研究团队研究出新的方法,只需要 13W 的功率(相当于一个现代 LED 灯泡的功率),就能运行 10 亿参数规模的大语言模型。而作为对比,用于大语言模型任务的数据中心级 GPU 需要约 700W。 AI 浪潮下很多公司、机构的研究...
你的专属IT资讯(IT News)
6 月 27 日消息,美国加州大学圣克鲁兹分校的研究团队研究出新的方法,只需要 13W 的功率(相当于一个现代 LED 灯泡的功率),就能运行 10 亿参数规模的大语言模型。而作为对比,用于大语言模型任务的数据中心级 GPU 需要约 700W。 AI 浪潮下很多公司、机构的研究...