布沙爾指出,ChatGPT在2021年底停止了訓(xùn)練,作為減少計(jì)算需求的一部分。但為了滿足搜索引擎用戶的需求,這一現(xiàn)狀將不得不改變。他說:“如果經(jīng)常對(duì)模型進(jìn)行再培訓(xùn),并增加更多的參數(shù)和東西,那將是完全不同的規(guī)模?!?/div>
英國薩里大學(xué)(University of Surrey)網(wǎng)絡(luò)安全教授艾倫·伍德沃德(Alan Woodward)也表示:“雖然過去在搜索引擎中已經(jīng)有大量資源參與,但納入人工智能需要更多資源。每當(dāng)我們看到人工智能的階段性變化,我們就會(huì)看到大型處理中心所需的電力和冷卻資源顯著增加?!?/div>
AI公司Hugging Face的研究員薩沙·盧奇奧尼(Sasha Luccioni)表示,需要將AI模型的功耗和排放透明化。有了這些信息,政府和企業(yè)可能會(huì)決定,使用GPT-3或其他大型模型來研究癌癥治療或保護(hù)土著語言是值得的,但編寫蹩腳的劇本則不值得。
碳足跡透明是當(dāng)務(wù)之急
道奇表示,許多行業(yè)已經(jīng)開始報(bào)告自己對(duì)環(huán)境的影響,但目前在整個(gè)人工智能領(lǐng)域,產(chǎn)生的碳排放仍缺乏透明度,量化其碳足跡的努力才剛剛開始。隨著模型變得更強(qiáng)大和被更廣泛地使用,碳輸出水平只會(huì)繼續(xù)上升,因此,建立透明度以減輕人工智能碳足跡的潛在影響至關(guān)重要。透明度將使得研究人員可以開發(fā)可操作的工具,并進(jìn)一步鞏固人工智能的應(yīng)用,使其成為幫助應(yīng)對(duì)氣候變化的工具,而不是加劇氣候變化。
那么,如何衡量人工智能的碳足跡?道奇和來自微軟、卡內(nèi)基梅隆大學(xué)和耶路撒冷希伯來大學(xué)(the Hebrew University of Jerusalem)的研究團(tuán)隊(duì)正著手解決這個(gè)問題,目前,一個(gè)非營利組織正在開發(fā)名為“
碳強(qiáng)度”的軟件,使用該軟件可以將微軟在其云服務(wù)Azure上訓(xùn)練的人工智能模型的排放映射到能源網(wǎng)格上。該團(tuán)隊(duì)能夠量化人工智能日益增長的環(huán)境影響,并為AI從業(yè)人員提供思路,以遏制碳排放。
道奇和研究人員發(fā)現(xiàn),改變?nèi)斯ぶ悄苣P偷倪\(yùn)行地點(diǎn)對(duì)其排放的影響最大。數(shù)據(jù)中心遍布全球,某些國家的電網(wǎng)中清潔能源的比例高于其他國家。如果云計(jì)算提供商選擇更多可再生能源的數(shù)據(jù)中心,可能會(huì)將模型的碳強(qiáng)度降低75%。
伍德麥肯茲能源咨詢機(jī)構(gòu)(Wood Mackenzie)的本·赫茲-沙格爾(Ben Hertz-Shargel)表示,由于人工智能培訓(xùn)可以隨時(shí)進(jìn)行,開發(fā)人員或數(shù)據(jù)中心還可以將培訓(xùn)安排在電力更便宜或過剩的時(shí)候,從而使運(yùn)營更加環(huán)保。道奇也認(rèn)為,當(dāng)電網(wǎng)的碳強(qiáng)度較低時(shí),模型定時(shí)運(yùn)行也可能是一個(gè)可行的解決方案。
目前,微軟、谷歌和亞馬遜都有碳負(fù)增長或
碳中和承諾。谷歌在一份聲明中表示,到2030年,預(yù)計(jì)將實(shí)現(xiàn)其運(yùn)營的凈零排放,目標(biāo)是完全依靠無碳能源運(yùn)行其辦公室和數(shù)據(jù)中心。該公司還使用人工智能來提高其數(shù)據(jù)中心的能源效率。
谷歌發(fā)言人樸吉英(Jane Park)也表示,谷歌發(fā)布了聊天機(jī)器人巴德(Bard)的新版本,該版本由一款體量更小的大型語言模型驅(qū)動(dòng),以節(jié)省資源?!拔覀冞€發(fā)布了語言模型LaMDA的能源成本?!睒慵⒄f,“我們的研究結(jié)果表明,將高效的模型、處理器和數(shù)據(jù)中心與清潔能源相結(jié)合,可以將機(jī)器學(xué)習(xí)的碳排放減少多達(dá)1000倍。”
OpenAI則強(qiáng)調(diào)了它為提高ChatGPTAPI(應(yīng)用程序編程接口)效率所做的工作,這一工作減少了客戶的用電量和價(jià)格。“我們非常重視阻止和扭轉(zhuǎn)氣候變化的責(zé)任,我們思考了很多如何充分利用我們的計(jì)算能力的方案?!監(jiān)penAI發(fā)言人在一份聲明中說,“OpenAI在Azure上運(yùn)行,我們與微軟團(tuán)隊(duì)密切合作,以提高運(yùn)行大型語言模型的效率?!?/div>
微軟指出,其正在購買可再生能源,并采取其他措施來實(shí)現(xiàn)先前宣布的2030年實(shí)現(xiàn)負(fù)碳的目標(biāo)?!白鳛槲覀儎?chuàng)造可持續(xù)未來的承諾的一部分,微軟正在投資研究,以衡量人工智能的能源使用和碳影響,同時(shí)致力于提高大型系統(tǒng)在培訓(xùn)和應(yīng)用中的效率?!痹摴驹谝环萋暶髦斜硎?。
此外,艾倫人工智能研究所目前正在使用人工智能保護(hù)海洋或改進(jìn)氣候建模。道奇認(rèn)為,人工智能在消耗電力的同時(shí),其創(chuàng)新應(yīng)用也會(huì)幫助應(yīng)對(duì)氣候危機(jī)?!叭绻覀兘裉觳恢泵孢@些挑戰(zhàn),它可能會(huì)加劇氣候變化。在我們要求全行業(yè)透明的同時(shí),我們也必須做出決策,開發(fā)有助于拯救地球的人工智能應(yīng)用。”道奇表示。