1 大模型訓練和應用面臨著算力和能耗算力方面的挑戰

大模型需要大量計算資源，導致全球算力需求指數級增長，對全社會信息基礎設施和眾多企業、科研機構的大模型研發帶來巨大壓力。

能耗方面，大模型對能源的巨大需求導致人工智能能源消耗占全球能源消耗的3%左右，到2025年將消耗全球15%的電能，給全球環境治理帶來挑 戰。我國大模型發展帶來的高能耗可能增加碳達峰、碳中和壓力。

算力短缺：大模型通常需要具有數十億乃至上萬億個參數，訓練時用到 數萬億個Token，這就需要消耗巨大的算力。算力需求隨著 大模型的發展而呈指數級增長，對全球算力規模提出了巨大 的要求。大型預訓練模型的訓練和調優過程需要消耗巨大的 算力資源。例如，訓練ChatGPT所需的算力相當于64個英 偉達A100 GPU訓練1年的時間。此外，大模型的日常運營 和優化也需要大量的算力投入。預計到2030年，全球算力 總規模將達到56ZFlops，其中智能算力成為推動算力增長 的主要動力。這對于社會的信息基礎設施建設和企業、科研 機構的大模型研發都帶來了巨大的挑戰。 • 根據工信部的數據，2022年全球智能算力中，美國占45% 的份額，中國占28%的份額，美國智能算力規模為我國的 1.6倍，在中美算力競爭中，我國仍然處于相對劣勢的一方。

能耗巨大：大模型對算力的巨大需求，帶來了對能源的巨大 消耗。人工智能服務器的功率較普通服務器高6至 8倍，訓練大模型所需的能耗是常規云工作的3倍。 據估計，目前人工智能的能源消耗占全球能源消 耗的3％左右，到2025 年，人工智能將消耗全球 15％的電能。人工智能的快速發展將對能源消耗 和環境產生巨大影響。 • 據估計，GPT-4一次訓練的耗電量相當于1200個 中國人一年的用電量，僅占模型實際使用時的40 ％，實際運行階段將消耗更多能源。一些大型模 型運行時的碳排放量巨大，給全球環境治理帶來 挑戰。我國大模型發展的高能耗可能增加碳達峰 和碳中和的壓力。

2 大模型在數據和資金方面也面臨著挑戰

大模型面臨的挑戰包括數據獲取便利性、數據來源合法性、數據質量可靠性、數據使用安全性、資金投入等方面的挑戰。

資金投入方面，大模型成本高昂，包括模型開發成本、訓練成本、算力成本、數據成本、運維成本等，對普通企業和科研機構而言，資金成為難 以逾越的“門檻”。

數據規模與質量待提高：數據獲取方面，專用類大模型需要專業數據，而這些數 據往往屬于企業、研究機構等實體，增加了訓練難度。 • 數據來源合法性方面，個人信息保護意識的提高使得數 據合法使用成為問題。 • 數據質量可靠性方面，開源數據集雖然數量巨大，但質 量良莠不齊，從中提取符合預訓練要求的高質量數據面 臨很大挑戰。 • 數據使用安全性方面，如何保證使用的數據不帶偏見， 以及如何保證人工智能制造的數據本身的安全性，都是 需要解決的問題。

資金緊缺：大模型訓練開發成高昂，其成本主要由模型開發成本、訓練成本、算力 成本、數據成本、運維成本等構成，僅訓練成本便動輒高達數百萬美元。 以Meta大語音模型LLaMA為例，在多達1.4萬億的數據集上，使用 2000多個英偉達A100 GPU，訓練了21天，花費或高達1000萬美元。 根據華為公布的消息，開發和訓練一次人工智能大模型的成本高達 1200萬美元。 • 大模型巨大的資金投入，更是將很多小型研究機構和中小型企業拒之門 外，導致大模型研發都集中在頭部企業和研發機構，加劇了不平等現象。 • 在大模型的投資方面，根據美國斯坦福大學2022年的報告，美國和中 國位列全球投資總額的前兩位，但美國的投資是中國的3倍，中國在資 金投入方面還有較大差距。

3 大模型發展在技術和人才方面也面臨著挑戰

針對大模型技術，國內企業與歐美國家存在差距，主要體現在底層架構設計和硬件技術方面。在底層架構設計方面，國內尚無類似的底層架構， 大模型的預訓練方面只能“在別人的地基上蓋房子”；在硬件技術方面，美國占據絕對領先地位，我國自研能力不足，對美國進口依賴程度高， 存在“卡脖子”風險。

在人才方面，國內大模型人才數量嚴重不足，與美國相比頂尖人才數量少，制約了大模型研發的快速發展。具體表現為人才數量不足、人才質量 不夠高和人才外流嚴重。針對以上挑戰，需要加強國內大模型技術的研發，提高自研能力，降低對美國進口的依賴程度；同時，需要加強人才培 養，提高人才質量，減少頂尖人才的流失。

技術存在差距：大模型技術涉及軟件和硬件兩方面： • 從軟件技術看，國內企業與歐美國家存在差距。底層架構設計方面，國內 尚無類似谷歌的Transformer模型，對大模型的預訓練只能依賴外部技術。 在迭代升級和更新換代方面，國內企業也落后于歐美企業，競爭劣勢明顯。 • 從硬件技術看，在人工智能GPU方面，美國占據絕對領先地位，我國自研 能力不足，對進口依賴較高，存在風險。當前大部分大模型訓練所用的 GPU由美國英偉達公司生產，國產GPU與其性能差距明顯。美國已禁止向 中國銷售A100，而英偉達推出了性能更強的H100，并將優先部署在自家 服務器上。

頂尖人才嚴重不足： 國內大模型人才數量嚴重不足，與美國相比頂尖人才數量少，制約了大模型研發發展。 • 首先，人才數量嚴重不足。我國人工智能人才缺口超過500萬，供需比例嚴重失衡， 人工智能成為“最缺人”的行業。 • 其次，人才質量不夠高。與美國相比，國內缺乏頂尖算法人才，數量嚴重不足。美 國在全球最具影響力的人工智能學者榜單中占據主導地位，中國學者數量遠遠落后。 • 此外，人才外流問題也十分嚴重。許多國內優秀人才選擇出國深造并留在國外，導 致頂尖人才的流失。這加大了國內大模型研發與美國的差距，給我國大模型研發帶 來嚴峻挑戰。