亚洲成人99,天天射夜夜操,天天操天天射2021,夜夜超b天天,黄色视频免费观看的www.s,日本强不卡在线观看,精品美女网站在线观看av污

分享到:
 
 
當(dāng)前位置: 首頁>>綜合頻道>>綜合>>正文
壓縮算法為大語言模型“瘦身”
2024年11月22日 09時54分   新華網(wǎng)

據(jù)美國科學(xué)促進(jìn)會旗下網(wǎng)站19日報(bào)道,美國普林斯頓大學(xué)和斯坦福大學(xué)團(tuán)隊(duì)開發(fā)出一種新壓縮算法CALDERA,能精簡大型語言模型(LLM)的海量數(shù)據(jù),為LLM“瘦身”。這項(xiàng)算法不僅有助保護(hù)數(shù)據(jù)隱私、節(jié)約能源、降低成本,還能推動LLM在手機(jī)和筆記本電腦上高效使用。

團(tuán)隊(duì)舉例稱,當(dāng)人們使用ChatGPT時,請求會被發(fā)送到OpenAI公司的后端服務(wù)器進(jìn)行處理。這一過程不僅成本高昂、能耗巨大,通常還很慢。如果用戶想要使用消費(fèi)級圖形處理單元運(yùn)行LLM,就需要對這些LLM進(jìn)行壓縮。

CALDERA算法通過減少LLM冗余并降低信息層的精度來發(fā)揮作用?!笆萆怼焙蟮腖LM更加精簡,可在手機(jī)或筆記本電腦等設(shè)備上存儲和訪問,同時提供了與未壓縮版本幾乎一樣準(zhǔn)確而微妙的性能。

雖然CALDERA并非首個壓縮LLM的算法,但其獨(dú)特之處在于兼具“低精度”和“低排序”兩種特性。其中,“低精度”減少了比特?cái)?shù),加快了數(shù)據(jù)存儲和處理速度。而“低排序”則降低了LLM數(shù)據(jù)中的冗余。

團(tuán)隊(duì)表示,使用CALDERA壓縮的LLM可能適用于那些對精度要求不是最高的場景。此外,用戶可在智能手機(jī)或筆記本電腦等設(shè)備上對壓縮后的LLM進(jìn)行微調(diào),這使其能根據(jù)特定需求調(diào)整模型來增強(qiáng)隱私,而無需與第三方共享敏感數(shù)據(jù)。

不過團(tuán)隊(duì)也提醒道,在智能手機(jī)或筆記本電腦上運(yùn)行LLM,可能會占用設(shè)備內(nèi)存。(劉霞)

(責(zé)任編輯:蔡文斌)

關(guān)閉窗口

    主辦單位:忻州日報(bào)社 晉ICP10003702 晉新網(wǎng)備案證編號:14083039 晉公網(wǎng)安備 14090202000008號

    律師提示:本網(wǎng)站所刊登的各種信息,均為忻州在線版權(quán)所有,未經(jīng)協(xié)議授權(quán),禁止下載使用,凡不注明出處的將追究法律責(zé)任。

    地址:山西省忻州市長征西街31號 熱線:0350-3336505 電子郵箱:sxxzrbw@163.com