11月5日，華為數(shù)據(jù)存儲(chǔ)宣布，針對AI推理加速的關(guān)鍵技術(shù)——UCM推理記憶數(shù)據(jù)管理正式開源。華為介紹，UCM目前具備稀疏注意力、前綴緩存、預(yù)填充卸載、異構(gòu)PD解耦四大能力。該技術(shù)能實(shí)現(xiàn)首Token時(shí)延最高降低90%，系統(tǒng)吞吐最大提升22倍，還可達(dá)到10倍級上下文窗口擴(kuò)展。