华为正式开源UCM技术:最大提升22倍 AI推理性能跃升
11月5日消息,近日,华为宣布针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式开源。 UCM以KV Cache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,破解长序列推理效率低、成本高的难题,为企业提供更优的AI推理...
你的专属IT资讯(IT News)
11月5日消息,近日,华为宣布针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式开源。 UCM以KV Cache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,破解长序列推理效率低、成本高的难题,为企业提供更优的AI推理...
8月13日消息,据媒体报道,在2025金融AI推理应用落地与发展论坛上,华为重磅发布了其AI推理创新技术——UCM(推理记忆数据管理器)。这项技术被业内视为有望重塑国内AI推理格局的关键突破。 UCM技术的核心在于其先进的KV Cache系统,通过融合多种缓存加速算法工具与精细的分级管理策...