8月12日下午，華為正式發(fā)布AI推理“黑科技”UCM（推理記憶數(shù)據(jù)管理器） ，助力解決AI推理效率與用戶體驗的難題。

來源：中國基金報記者拍攝

　　AI推理是AI產(chǎn)業(yè)在下一階段的發(fā)展重心 。AI產(chǎn)業(yè)已從“追求模型能力極限 ”轉(zhuǎn)向“追求推理體驗最優(yōu)化
”
，推理體驗直接關(guān)聯(lián)用戶滿意度、商業(yè)可行性等核心需求，成為衡量AI模型價值的黃金標尺
。

　　據(jù)悉 ，華為計劃在9月開源UCM。屆時，華為將在魔擎社區(qū)首發(fā)
，后續(xù)逐步貢獻給業(yè)界主流推理引擎社區(qū)，并共享給所有Share Everything（共享架構(gòu)）的存儲廠商和生態(tài)伙伴 。

　　UCM將提升推理系統(tǒng)效率和性能

　　UCM是一款以KV Cache（鍵值緩存）為中心的推理加速套件 ，融合多類型緩存加速算法工具
，可以分級管理推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù)，擴大推理上下文窗口 ，以實現(xiàn)高吞吐 、低時延的推理體驗
，從而降低每個Token（詞元）的推理成本。

來源：中國基金報記者拍攝

　　KV Cache是一種用于優(yōu)化計算效率
、減少重復運算的關(guān)鍵技術(shù)，但是需要占用GPU（圖形處理器）的顯存存儲歷史KV（鍵值）向量 ，生成的文本越長
，緩存的數(shù)據(jù)量越大
。

　　隨著AI產(chǎn)業(yè)的發(fā)展邁入代理式人工智能時代，模型規(guī)模化擴張、長序列需求激增 ，以及推理任務并發(fā)量增長
，導致AI推理的KV Cache容量增長，超出了顯存的承載能力。

　　目前 ，國外領(lǐng)先芯片廠商通過從硬件迭代到軟件優(yōu)化，再到生態(tài)綁定
，構(gòu)建起AI推理時代的“鐵三角”，短期內(nèi)難以被代替 。中國企業(yè)在單點硬件技術(shù)上有所突破 ，但國產(chǎn)軟件及生態(tài)適配仍有較大差距
。

　　隨著信息技術(shù)應用創(chuàng)新產(chǎn)業(yè)的國產(chǎn)化改造提速
，各行業(yè)逐步意識到需要加速構(gòu)建國產(chǎn)推理生態(tài)。UCM的核心價值在于提供更快的推理響應 、更長的推理序列等 。

　　以提供更長的推理序列為例，UCM通過動態(tài)KV逐層卸載、位置編碼擴展等組合技術(shù) ，將超長序列的Cache（緩存）分層卸載至外置專業(yè)存儲
，利用算法突破模型和資源限制，實現(xiàn)10倍級推理上下文窗口擴展
。

　　UCM提供更低推理成本

　　華為聯(lián)手中國銀聯(lián)落地三大場景

　　據(jù)悉 ，UCM可根據(jù)記憶熱度在HBM
、DRAM、SSD等存儲介質(zhì)中實現(xiàn)按需流動
，同時融合多種稀疏注意力算法實現(xiàn)存算深度協(xié)同，使長序列場景下TPS（每秒處理token數(shù)）提升2至22倍 ，從而降低每個Token的推理成本。

　　Token是AI模型中的基本數(shù)據(jù)單位 。在訓練過程中
，AI大模型會學習標記Token之間的關(guān)系，從而執(zhí)行推理并生成準確 、相關(guān)的輸出
。

　　數(shù)據(jù)顯示 ，國外主流AI大模型的單用戶輸出速度已進入200 Tokens/s區(qū)間（時延5ms），而我國主流AI大模型的單用戶輸出速度普遍小于60 Tokens/s（時延50至100ms）。

　　同時
，隨著AI應用向各類實際場景深度滲透，用戶規(guī)模和請求量急劇攀升 ，模型分析和生成的Token數(shù)呈現(xiàn)指數(shù)級增長態(tài)勢 。

　　巨大的Token處理量意味著高昂的運營成本
，包括服務器維護
、電力消耗持續(xù)攀升等，而保障流暢推理體驗需要加大算力投入
。

　　最大化的單Token智能承載力和優(yōu)化成本 ，成為眾多廠商的核心目標
，并且Token經(jīng)濟時代來臨，訓練、推理效率與體驗量綱都以Token為表征。

　　目前 ，華為AI推理加速方案結(jié)合UCM與華為AI存儲（OceanStor A系列）技術(shù)
，與中國銀聯(lián)開展智慧金融AI推理加速應用試點，三大落地業(yè)務場景分別是客戶之聲 、營銷策劃
、辦公助手 。

來源：中國基金報記者拍攝

　　以辦公助手場景為例 ，通過應用華為AI推理加速方案
，可支持用戶輸入超過17萬Tokens的超長序列推理，避免超長序列模型推不動的問題。

（文章來源：中國基金報）