新浪科技讯 8月12日下午消息，发布在2025金融AI推理应用落地与发展论坛上，推理吞吐n推华为联合中国银联共同发布AI推理创新技术UCM（推理记忆数据管理器），创新实现高吞吐、技术低时延的现高推理体验。

　　在当今数字化时代，低时低AI发展日新月异。延推验降大模型训练的理体理成热潮尚未消退，AI推理体验却已悄然成为AI应用的发布关键。中信建投在2025WAIC期间发布的推理吞吐n推白皮书指出，AI正从训练向推理的创新结构性转变而快速增长。在这样的技术大背景下，AI推理体验的现高重要性愈发凸显。

　　推理体验直接关系到用户与AI交互时的低时低感受，包括回答问题的延推验降时延、答案的准确度以及复杂上下文的推理能力等方面。资料显示，国外主流模型的单用户输出速度已进入200 Tokens/s区间（时延5ms），而我国普遍小于60Tokens/s（时延50 - 100ms），如何解决推理效率与用户体验的难题迫在眉睫。

　　据介绍，华为此次发布的AI推理创新技术UCM（推理记忆数据管理器），作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。

责任编辑：郭栩彤

• ·[新浪彩票]足彩第25109期任九：西部罗主场不稳
• ·性能跃升，安全护航
• ·北京马协青少年马术水平等级认证在北京利恒马术俱乐部举行
• ·闽南点心椰子饼：味香皮酥馅甜适口 入口冰凉
• ·儿童节特别活动“苗苗成长记”举行 充满知识性、趣味性、创造性
• ·希勒恐吓式劝阻伊萨克：究竟是谁想去给埃基蒂克打替补
• ·《晋·见中国》系列短视频第二季上线
• ·本轮强降雨过程已结束，广东结束防汛Ⅳ级应急响应
• ·牛奶、Toro复刻《爱失控》MV 两人演戏打巴掌、拥吻惹全场尖叫连连！
• ·Benny Johnson confronts reporters over D.C. crime coverage during press briefing
• ·特朗普评价美俄总统阿拉斯加会晤：打10分
• ·《幻兽帕鲁》惨遭严重抄袭！山寨版竟登陆Switch平台
• ·[新浪彩票]足彩第25109期大势：谢菲联防平
• ·你歧视台式电脑吗 韩国星巴克呼吁顾客勿带台式机
• ·探寻南安官桥“驴肉”的美食奥秘 香软嫩滑爽口美容养颜
• ·亚冠解签：中超三队避远征 海港申花需提防两东南亚客场