近日，達(dá)晨A輪領(lǐng)投企業(yè)智譜AI開源了其GLM系列模型的新成員——中英雙語(yǔ)對(duì)話模型ChatGLM-6B，支持在單張消費(fèi)級(jí)顯卡上進(jìn)行推理使用。這是繼此前開源GLM-130B千億基座模型之后，智譜AI再次推出大模型方向的研究成果。與此同時(shí)，基于千億基座模型的ChatGLM也同期推出，初具問(wèn)答和對(duì)話功能，現(xiàn)已開啟邀請(qǐng)制內(nèi)測(cè)（內(nèi)測(cè)申請(qǐng)網(wǎng)址chatglm.cn），后續(xù)還將會(huì)逐步擴(kuò)大內(nèi)測(cè)范圍。
淺嘗智譜AI ChatGLM
2022年底ChatGPT橫空出世，引爆全球科技圈，并迅速席卷到各個(gè)領(lǐng)域。僅過(guò)數(shù)月，今年3月15日，ChatGPT撕掉了“Chat”標(biāo)簽再次進(jìn)化，GPT-4驚艷亮相。作為升級(jí)后的多模態(tài)大模型，GPT-4不僅具有更強(qiáng)大的創(chuàng)造性、更長(zhǎng)的上下文處理能力，可支持圖像輸入，還能自定義風(fēng)格，達(dá)到了AI歷史上又一個(gè)前所未有的新高度。AI大模型超乎人們意外的發(fā)展速度，似乎在真正意義上打開了世界各國(guó)“新科技競(jìng)賽”的一重大門。
其實(shí)在國(guó)內(nèi)第一代AI創(chuàng)業(yè)熱潮及商業(yè)化落地的背景下，不少頂尖團(tuán)隊(duì)也早開啟了AI大模型的自主化研究。達(dá)晨在2021年初A輪投資的智譜AI就是其中的佼佼者。
智譜AI由清華大學(xué)計(jì)算機(jī)系的技術(shù)成果轉(zhuǎn)化而來(lái)，致力于打造新一代認(rèn)知智能通用模型，提出了Model as a Service（MaaS）的市場(chǎng)理念。公司于2021年合作研發(fā)了雙語(yǔ)千億級(jí)超大規(guī)模預(yù)訓(xùn)練模型GLM-130B，并主導(dǎo)構(gòu)建了高精度通用知識(shí)圖譜，把兩者有機(jī)融合為數(shù)據(jù)與知識(shí)雙輪驅(qū)動(dòng)的認(rèn)知引擎，并基于此千億基座模型打造ChatGLM。此外，智譜AI也推出了認(rèn)知大模型平臺(tái)Bigmodel.ai，形成AIGC產(chǎn)品矩陣。通過(guò)認(rèn)知大模型鏈接物理世界的億級(jí)用戶、賦能元宇宙數(shù)字人、成為具身機(jī)器人的基座，賦予機(jī)器像人一樣“思考”的能力。
達(dá)晨財(cái)智合伙人鄔曦表示：“我們長(zhǎng)期看好下一代人工智能在中國(guó)的發(fā)展和落地。第三代人工智能即認(rèn)知智能不僅要求基于大數(shù)據(jù)的深度學(xué)習(xí)及對(duì)應(yīng)的感知識(shí)別，還要求機(jī)器具有認(rèn)知和推理能力，讓機(jī)器具備與人接近的常識(shí)和邏輯，這就對(duì)數(shù)據(jù)與知識(shí)的融合提出了迫切需求。智譜基于自有的技術(shù)基因，不僅自主研發(fā)了多語(yǔ)言千億級(jí)超大規(guī)模預(yù)訓(xùn)練模型，構(gòu)建了高精度通用知識(shí)圖譜，還將數(shù)據(jù)與知識(shí)這兩者有機(jī)融合、打造了數(shù)據(jù)+知識(shí)雙輪驅(qū)動(dòng)的認(rèn)知引擎，他們的技術(shù)路線是走在了下一代人工智能發(fā)展的主流方向之上?！?nbsp;
達(dá)晨財(cái)智董事總經(jīng)理張英杰也提到了對(duì)智譜團(tuán)隊(duì)專業(yè)度的看重，他表示：“智譜創(chuàng)始團(tuán)隊(duì)及核心成員絕大部分來(lái)自清華大學(xué)知識(shí)工程實(shí)驗(yàn)室，領(lǐng)頭人唐杰教授是全球知名人工智能專家，國(guó)內(nèi)唯一獲得AI領(lǐng)域頂級(jí)國(guó)際會(huì)議十年最佳論文的作者，在業(yè)內(nèi)有很好的口碑和號(hào)召力?！?nbsp; 因此，在A輪下注智譜時(shí)，投資團(tuán)隊(duì)認(rèn)為第一，其行業(yè)方向的精準(zhǔn)和團(tuán)隊(duì)的技術(shù)水平是最大的確定性；第二，預(yù)訓(xùn)練大模型的爆發(fā)只是時(shí)間問(wèn)題，當(dāng)然目前的節(jié)奏比預(yù)想的更快——美國(guó)不斷發(fā)布大模型和應(yīng)用，既是對(duì)大模型概念的普及和市場(chǎng)推廣，也對(duì)中國(guó)大模型的發(fā)展速度和迭代節(jié)奏提出了挑戰(zhàn)。
| 關(guān)于新成員ChatGLM-6B
據(jù)悉，本次智譜AI發(fā)布的ChatGLM-6B 是一個(gè)開源的、支持中英雙語(yǔ)問(wèn)答的對(duì)話語(yǔ)言模型，并針對(duì)中文進(jìn)行了優(yōu)化。該模型基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。ChatGLM-6B 使用了和 ChatGLM 相同的技術(shù)，針對(duì)中文問(wèn)答和對(duì)話進(jìn)行了優(yōu)化。經(jīng)過(guò)約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的ChatGLM-6B 雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當(dāng)符合人類偏好的回答。
具體來(lái)說(shuō)，ChatGLM-6B具備以下特點(diǎn)：
充分的中英雙語(yǔ)預(yù)訓(xùn)練：ChatGLM-6B在1:1比例的中英語(yǔ)料上訓(xùn)練了1T的token量，兼具雙語(yǔ)能力。 優(yōu)化的模型架構(gòu)和大?。?/span>吸取GLM-130B訓(xùn)練經(jīng)驗(yàn)，修正了二維RoPE位置編碼實(shí)現(xiàn)，使用傳統(tǒng)FFN結(jié)構(gòu)。6B（62億）的參數(shù)大小，也使得研究者和個(gè)人開發(fā)者自己微調(diào)和部署ChatGLM-6B成為可能。 較低的部署門檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的顯存進(jìn)行推理，結(jié)合模型量化技術(shù)，這一需求可以進(jìn)一步降低到 10GB（INT8） 和 6GB（INT4），使得 ChatGLM-6B 可以部署在消費(fèi)級(jí)顯卡上。 更長(zhǎng)的序列長(zhǎng)度：相比 GLM-10B（序列長(zhǎng)度1024），ChatGLM-6B序列長(zhǎng)度達(dá)2048，支持更長(zhǎng)對(duì)話和應(yīng)用。 人類意圖對(duì)齊訓(xùn)練：使用了監(jiān)督微調(diào)（Supervised Fine-Tuning）、反饋?zhàn)灾‵eedback Bootstrap）、人類反饋強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人類指令意圖的能力。輸出格式為markdown，方便展示。
相對(duì)較弱的模型記憶和語(yǔ)言能力。在面對(duì)許多事實(shí)性知識(shí)任務(wù)時(shí)，ChatGLM-6B可能會(huì)生成不正確的信息，也不太擅長(zhǎng)邏輯類問(wèn)題（如數(shù)學(xué)、編程）的解答。 可能會(huì)產(chǎn)生有害說(shuō)明或有偏見的內(nèi)容：ChatGLM-6B只是一個(gè)初步與人類意圖對(duì)齊的語(yǔ)言模型，可能會(huì)生成有害、有偏見的內(nèi)容。 較弱的多輪對(duì)話能力：ChatGLM-6B的上下文理解能力還不夠充分，在面對(duì)長(zhǎng)答案生成和多輪對(duì)話的場(chǎng)景時(shí)，可能會(huì)出現(xiàn)上下文丟失和理解錯(cuò)誤的情況。
模型開源的地址為：
https://github.com/THUDM/ChatGLM-6B
