微軟攜手中科院大學團隊推出CPU驅動AI模型,1位架構實現低能耗運行

2025-04-28 11:35  瀏覽:  

微軟研究院與中國科學院大學合作團隊近日在arXiv平臺發(fā)布研究成果,推出全新人工智能模型。該模型突破性地在常規(guī)CPU而非GPU上運行,通過創(chuàng)新的數據處理架構顯著降低能耗,為人工智能技術落地提供新思路。

傳統GPU驅動模型的能耗困境

當前主流大語言模型(LLM)如ChatGPT依賴GPU芯片進行訓練與推理,此類模型在處理海量數據時需要強大算力支撐,導致能耗問題日益凸顯。數據中心為支持聊天機器人等應用消耗大量電力,引發(fā)業(yè)界對可持續(xù)發(fā)展的擔憂。研究團隊針對這一痛點展開技術攻關,提出更智能的數據處理方法。

1位架構實現算力優(yōu)化

新模型摒棄傳統8位或16位浮點數存儲權重的方式,轉而采用“1位架構”。其核心創(chuàng)新在于將模型權重簡化為-1、0、1三種離散值,使推理過程僅需基礎加減法運算。這種設計極大降低了內存占用與CPU處理負擔,實驗數據顯示該架構在保持性能的同時,內存需求減少至傳統方案的1/16,能耗降低超90%。研究團隊強調,此方法使普通計算機或移動設備即可運行高效AI模型,無需依賴專業(yè)GPU硬件。

BitNet b1.58模型與專用運行環(huán)境

為適配1位架構,團隊開發(fā)了配套運行時環(huán)境bitnet.cpp。該系統針對離散權重矩陣優(yōu)化內存分配與指令調度,支持20億參數規(guī)模的模型在單核CPU上穩(wěn)定運行。測試結果表明,新模型在CPU環(huán)境下的推理速度接近傳統GPU方案,且模型精度損失控制在可接受范圍內。在MNIST、GLUE等基準測試中,其性能表現與同類GPU模型相當,部分場景下甚至實現超越。

本地化部署提升隱私與能效

該技術突破為AI應用帶來雙重價值。在隱私保護層面,用戶數據無需上傳云端即可完成處理,支持完全離線的智能助手開發(fā)。研究團隊在樹莓派等邊緣設備上成功部署聊天機器人系統,響應延遲低于300毫秒,且支持斷網運行。在能效層面,單個推理任務的耗電量較傳統方案減少92%,單次交互能耗不足0.03Wh。這一特性使其在移動終端、物聯網設備等場景中具備顯著優(yōu)勢。

免責聲明:本網轉載自合作媒體、機構或其他網站的信息,登載此文出于傳遞更多信息之目的,并不意味著贊同其觀點或證實其內容的真實性。本網所有信息僅供參考,不做交易和服務的根據。本網內容如有侵權或其它問題請及時告之,本網將及時修改或刪除。凡以任何方式登錄本網站或直接、間接使用本網站資料者,視為自愿接受本網站聲明的約束。
相關推薦
鴻蒙電腦正式亮相

鴻蒙電腦正式亮相

5月8日,華為技術有限公司在廣東省深圳市舉辦鴻蒙電腦技術與生態(tài)溝通會,搭載鴻蒙操作系統的鴻蒙電腦在會上正式亮相,這代表國產操作系統在個人電腦(PC)領域實現重要突破。記者從會上了解到,鴻蒙電腦研發(fā)歷經5年布局,集結上萬名工程師、聯合20多家研究所共同完成,積累超過2700項核心專利。鴻蒙操作系統是由華為公司開發(fā)的全場景智能操作系統,于2015年立項,用不到10年的時間走完同行30年的歷程。2019年,華為公司正式對外發(fā)布鴻蒙操作系統,2021年...
05-08
臺積電應對新臺幣升值壓力 要求供貨商下修成本

臺積電應對新臺幣升值壓力 要求供貨商下修成本

5月7日消息,據業(yè)界消息,目前臺積電已要求供貨商提出成本下修計劃,以因應新臺幣升值影響。根據業(yè)界人士的說法,臺積電原本要求供貨商明年裸晶圓(Raw wafer)至少降價 30%。如今因匯兌壓力急速上升,據悉臺積電已擴大要求多家供貨商提早于本月繳交新報價。市場預期,新臺幣每升值 1%,營業(yè)利益率恐下降 0.4 個百分點。臺積電 2025 年第二季展望是合并營收介于 284 億至 292 億美元。若以新臺幣 32.5 元兌 1 美元匯率假設,毛利率介于 57%~59%,營業(yè)利...
英特爾股東通過新任CEO陳立武薪酬方案

英特爾股東通過新任CEO陳立武薪酬方案

5月7日消息,英特爾股東投票通過了新任CEO陳立武的薪酬方案,根據方案,陳立武將獲得最高達3億人民幣的股票獎勵!該獎勵將與公司股價表現掛鉤,分階段發(fā)放!在股東會議中,陳立武闡述了其任內的三大戰(zhàn)略重點:重振人工智能業(yè)務、提升產品競爭力以及推進組織架構優(yōu)化。陳立武特別強調,英特爾將充分發(fā)揮其在PC和數據中心市場的傳統優(yōu)勢,聚焦于開發(fā)更具市場競爭力的產品和技術。同時,公司正在實施管理層級精簡計劃,旨在提升決策效率并降低運營成本。在AI...
特朗普政府擬放寬AI芯片出口限制 重塑半導體貿易政策

特朗普政府擬放寬AI芯片出口限制 重塑半導體貿易政策

據知情人士透露,特朗普政府計劃撤銷拜登時期實施的AI芯片出口限制措施,原定于5月15日生效的"人工智能擴散規(guī)則"將暫停執(zhí)行。此舉旨在調整半導體貿易政策,推動更開放的國際貿易環(huán)境,同時美國商務部將制定新規(guī)強化海外芯片管控。拜登政府去年推出的限制政策將芯片出口國分為三類進行分級管控,引發(fā)科技業(yè)及多國反對。AMD首席執(zhí)行官蘇姿豐強調,需平衡國家安全與產業(yè)競爭力;英偉達CEO黃仁勛警告,失去中國市場將造成重大損失。新政策擬取消分級制...
騰訊與烏茲別克斯坦攜手合作,微信支付將打通烏茲別克斯坦

騰訊與烏茲別克斯坦攜手合作,微信支付將打通烏茲別克斯坦

根據烏茲別克斯坦數字技術部最新公告,中國互聯網科技巨頭騰訊集團副總裁馬斌率代表團與該國數字技術部核心管理層展開高層對話,雙方就數字經濟領域多維合作達成系列共識。會談期間,騰訊代表團系統考察了烏茲別克斯坦IT產業(yè)園區(qū)的政策支持體系,重點包括針對入駐企業(yè)的稅收減免機制、數字服務出口促進方案以及外資科技企業(yè)準入路徑。代表團還深入調研了國家統一信息整合平臺Uzinfocom的運營架構,對該國數字化基礎設施建設取得的技術突破給...

推薦閱讀

熱文

Copyright © 能源界