AI大模型無疑是B計劃2023年的關鍵詞，更是微軟各大科技廠商競逐的熱門賽道。然而象征著未來的密謀I模AI大模型實在太費錢，以至于財大氣粗如微軟都開始考慮“Plan B”了。小尺型撇近日有爆料信息顯示，B計劃在微軟內部由Peter Lee領導的微軟1500人研究團隊中，有一部分人轉向研發全新的密謀I模LLM，它的小尺型撇體積更小、運營成本也低得多。B計劃
關于微軟的微軟小尺寸AI模型，實際上在3個月前就已經初見端倪。密謀I模此前在今年6月，小尺型撇微軟方面發布了一篇題為《Textbooks Are All You Need》的B計劃論文，用規模僅為70億token的微軟“教科書級別”數據訓練了一個13億參數的模型phi-1，證明高質量的密謀I模小規模數據一樣能夠讓模型具備良好的性能。并且在phi-1的基礎上，此前微軟研究院還發布了名為phi-1.5的全新預訓練語言模型，可適用于QA問答、聊天格式和代碼等場景。
根據微軟方面的說法，在測試常識、語言理解和邏輯推理的基準下，phi-1.5的表現超出了相當一部分大模型。phi-1.5在帶LM-Eval Harness的GPT4AL跑分套件中，可以媲美Meta旗下擁有70億參數的開源大模型llama-2，在AGIEval得分上甚至超過了llama-2。
為什么微軟要突然做小尺寸的AI模型呢？首要因素被外界認為可能是與OpenAI之間的糾葛。作為OpenAI的“金主”，微軟能夠在旗下產品中永久使用OpenAI現有知識產權的獨家權利，但這也并不代表他們就能控制OpenAI。所以對于微軟這樣的巨頭而言，無論是出于自身戰略安全的考量，還是為了在后續與OpenAI的合作關系中占據更有利的地位，開發高質量的LLM都是一個必選項。
當然，目前AI大模型實在太耗能也是關鍵因素之一。在今年年初的設計自動化大會上，AMD首席技術官Mark Papermaster就展示了一張幻燈片，顯示機器學習系統的能耗與全球發電情況的對比。根據國際能源署估計，訓練大模型的數據中心變得越來越耗電，其用電量占全球電力消耗的1.5%至2%，大致相當于整個英國的用電量，預計2030年這個比例將上升到4%。
根據Digital Information World發布的相關報告顯示，數據中心為訓練AI模型產生的能耗將為常規云服務的三倍，到2028年數據中心功耗將接近4250兆瓦、比2023年增加212倍。而OpenAI訓練GPT-3的耗電量為1.287吉瓦時，大約相當于120個美國家庭1年的用電量。但這還僅僅只是訓練AI模型的前期電耗，僅占模型實際使用時所消耗電力的40%。
事實上，訓練AI大模型不僅耗能、還費水。在谷歌方面發布的2023年環境報告中就顯示，他們2022年消耗了56億加侖（約212億升）的水，相當于37個高爾夫球場，其中52億加侖用于該公司的數據中心、比2021年增加了20%。
但AI大模型的高能耗是非常正常的，用ARM高級技術總監Ian Bratt的話來說，就是“AI計算需求是沒法滿足的。網絡規模越大、結果就越好，可以解決的問題也越多，電力使用與網絡規模成正比?！?/p>
有AI從業者表示，在此次疫情前，訓練一個Transformer模型所需的能耗在27千瓦時的范圍內，但現在Transformer模型的參數從5000萬增加到了2億，能耗也已經超過了50萬千瓦時。也就是說，參數的數量增加了四倍，可能耗卻增加了超過18000倍。從某種意義上來說，AI大模型帶來的種種創新功能，其實都是以處理性能和功耗方面的高昂成本為代價。
更多的電力驅動更多的GPU進行AI訓練，又要大量消耗水資源來冷卻GPU，這就是問題所在。以至于微軟被曝光正在制定一個路線圖，希望用小型核反應堆產生的電能來運營數據中心。更何況即便不提ESG（“環境、社會及管治”），單純從成本層面出發，研究小尺寸模型也是有價值的。
眾所周知，搭建了CUDA生態的英偉達是這一輪AI熱潮中的最大受益者，更是已經占據了AI芯片市場的70%，如今H100、A100等計算卡更可謂是一卡難求?？涩F在的情況，是向英偉達購買算力已經成為了一個推高AI廠商成本的重要因素。所以小尺寸模型也就意味著需要的算力資源更少，只需購買更少的GPU就能解決問題。
雖然功能更強的大模型確實很好，但現在大模型的商業化還處于蒙昧狀態，唯一賺得盆滿缽滿的是“買鏟子”的英偉達。所以在這樣的情況下，微軟自然也就有意來改變現狀了。
【以上內容轉自“三易生活網”，不代表本網站觀點。如需轉載請取得三易生活網許可，如有侵權請聯系刪除?！?/p>
延伸閱讀：