相關(guān)研究論文已于近日發(fā)布在預(yù)印本服務(wù)器arXiv上，指出學(xué)者難以接觸到最先進(jìn)的計(jì)算系統(tǒng)，這可能阻礙他們開發(fā)大型語言模型（LLM）和其他AI研究的進(jìn)展。
（圖片來源：nature）
具體而言，學(xué)術(shù)研究者往往沒有資源獲取足夠強(qiáng)大的圖形處理器（GPU）——這些電腦芯片常用于訓(xùn)練AI模型，且價(jià)格昂貴，可達(dá)數(shù)千美元。相比之下，大型科技公司的研究者預(yù)算更高，可以在GPU上投入更多資金。“每增加一塊GPU，就能提升更多算力。”美國布朗大學(xué)計(jì)算機(jī)科學(xué)家、該研究的合著者Apoorv Khandelwal表示，“雖然行業(yè)巨頭可能擁有數(shù)千塊GPU，但學(xué)者可能只有幾塊。”
“學(xué)術(shù)界與行業(yè)界的模型差距巨大，但本可以小得多。”美國華盛頓特區(qū)非營利AI研究機(jī)構(gòu)EleutherAI的執(zhí)行董事Stella Biderman說。她表示，對這一差距的研究“至關(guān)重要”。
為了評估學(xué)者可用的計(jì)算資源，研究團(tuán)隊(duì)對35家機(jī)構(gòu)的50名科學(xué)家進(jìn)行了調(diào)查。受訪者中，66％對自己的算力滿意度打了3分及以下（滿分5分）。“他們根本不滿意。”Khandelwal說。
各大學(xué)在GPU訪問設(shè)置上有所不同。有些學(xué)校設(shè)有供各部門和學(xué)生共享的中央計(jì)算集群，研究人員可申請GPU使用時間。另一些機(jī)構(gòu)可能為實(shí)驗(yàn)室成員直接購買機(jī)器。
柱狀圖揭示了調(diào)查的結(jié)果：學(xué)者通常只能有限地訪問圖形處理器，這進(jìn)而限制了他們訓(xùn)練機(jī)器學(xué)習(xí)模型的能力。
一些科學(xué)家表示，他們不得不等待數(shù)天才能使用GPU，并指出在項(xiàng)目截止日期前后等待時間特別長。調(diào)查結(jié)果還凸顯了全球算力訪問的差異。例如，有受訪者提到在中東地區(qū)難以找到GPU。僅有10％的受訪者表示，他們可以使用英偉達(dá)的H100GPU，這是專為AI研究設(shè)計(jì)的高端芯片。
這一障礙極大地加劇了預(yù)訓(xùn)練過程的難度，即向大型語言模型（LLM）輸入海量數(shù)據(jù)集的過程變得尤為困難。“由于成本高昂，大多數(shù)學(xué)者甚至不敢涉足預(yù)訓(xùn)練領(lǐng)域的研究。”Khandelwal指出。他和同事堅(jiān)信，學(xué)者在人工智能研究中帶來了獨(dú)一無二的視角，而算力的匱乏可能會嚴(yán)重制約這一領(lǐng)域的未來發(fā)展。
“為了長期的增長和技術(shù)發(fā)展，擁有一個健康、有競爭力的學(xué)術(shù)研究環(huán)境至關(guān)重要。”美國布朗大學(xué)計(jì)算機(jī)科學(xué)和語言學(xué)學(xué)者、該研究的合著者Ellie Pavlick說，“相比之下，在行業(yè)研究中往往存在顯著的商業(yè)壓力，這有時會促使研究人員急于求成，減少了對未知領(lǐng)域的探索。”
研究人員還深入探究了學(xué)者如何在算力資源有限的情況下更高效地進(jìn)行利用。他們測算了在使用1至8塊GPU的低資源硬件環(huán)境下，預(yù)訓(xùn)練多個大型語言模型（LLM）所需的時間。盡管面臨資源限制，學(xué)者仍成功訓(xùn)練出多個模型，但這一過程耗時更長，并要求他們必須采用更為高效的方法。
“我們實(shí)際上可以延長現(xiàn)有GPU的使用時間，從而在一定程度上彌補(bǔ)與行業(yè)界的差距。”Khandelwal說。
“在有限的計(jì)算資源上竟然也能訓(xùn)練出比許多人預(yù)期中更大的模型，這確實(shí)令人驚嘆。”德國薩爾布呂肯薩爾蘭大學(xué)神經(jīng)顯式模型研究者Ji-Ung Lee表示。他進(jìn)一步指出，未來的研究可以聚焦小公司行業(yè)研究者的經(jīng)歷，因?yàn)樗麄兺瑯釉谟?jì)算資源獲取上面臨困境。“并非所有有能力獲取無限算力的人都能夠如愿以償。”他補(bǔ)充道。
關(guān)鍵詞：
營業(yè)執(zhí)照公示信息