近日，達晨完成對AI推理部署解決方案廠商「清昴智能」數(shù)千萬元Pre-A+輪的領(lǐng)投，啟賦資本聯(lián)合領(lǐng)投，老股東奇績創(chuàng)壇跟投。此前，清昴智能已獲得某世界500強科技巨頭公司的千萬元戰(zhàn)略投資，資金將主要用于人才梯隊組建，產(chǎn)品研發(fā)和市場落地。

早在大模型浪潮席卷之前，高推理延遲、高推理成本、高資源占用這“三高”，以及算力層的硬件適配，一直是困擾模型落地的最后一公里。尤其在AI+消費級硬件成為行業(yè)趨勢的當(dāng)下，如何讓大模型在有限算力的終端設(shè)備上跑起來，也成為不少終端廠商亟需解決的難題。

然而，痛點的存在對應(yīng)的是上游解決方案的空白——一方面，市面上推理部署工具鏈的主流玩家，大多集中在北美；另一方面，大多中間層廠商，提供的是英偉達等海外硬件適配服務(wù)，當(dāng)國產(chǎn)替代逐漸成為國內(nèi)算力的主要解決方案，大模型與國產(chǎn)芯片適配的痛點一直難以得到解決。

作為推理部署工具鏈最早的國內(nèi)玩家之一，清昴智能成立于2022年10月，通過提供AI模型的推理和部署優(yōu)化工具鏈，從而降低下游客戶模型的部署和使用成本和門檻。

早在2022年6月，在Stable Diffusion等AIGC模型爆發(fā)的風(fēng)口，清昴智能團隊就開始著手布局模型部署和推理優(yōu)化工具鏈的研發(fā)。針對AIoT（AI物聯(lián)網(wǎng)）、自動駕駛等智慧場景，清昴智能推出了第一代AI模型推理優(yōu)化工具鏈MLGuider。除英偉達之外，MLGuider還支持AMD、高通、昇騰等國內(nèi)外芯片的部署。

基于市場需求，MLGuider的功能和框架也進行了不斷迭代。早期的MLGuider主要針對邊端芯片和傳統(tǒng)小模型，采取量化、蒸餾、稀疏化等一系列優(yōu)化方法。

隨著市場對大模型的需求爆發(fā)，清昴智能聯(lián)合模型優(yōu)化、分布式優(yōu)化和編譯優(yōu)化等優(yōu)化技術(shù)棧，打造了面向基礎(chǔ)模型和底層算力硬件的全鏈路工具鏈，著重對大模型和底層AI芯片，尤其是國產(chǎn)芯片的適配優(yōu)化進行了功能迭代。

以國產(chǎn)頭部硬件昇騰為例，在今年2024昇騰開發(fā)者大會上，清昴智能作為昇騰伙伴代表也首發(fā)了基于昇騰原生開發(fā)環(huán)境的MLGuider-Ascend工具鏈，解決了AIGC模型在落地國產(chǎn)昇騰硬件過程中模型-算力不匹配，技術(shù)棧復(fù)雜，遷移與優(yōu)化成本高等問題。

除模型推理部署優(yōu)化工具鏈外，清昴智能還推出了企業(yè)級基礎(chǔ)模型開發(fā)部署平臺LLMOps、大模型一體化整機方案、大模型本地化及邊端部署方案等解決方案矩陣。

面對是否會被上下游廠商吞并的問題，從模型層和芯片層的角度來說，就是提升模型或芯片本身的性能。與此同時，繁多的模型選擇和碎片化的硬件環(huán)境，讓模型-中間層-芯片的生態(tài)合作愈加清晰。

在人才組織層面，清昴智能核心成員主要來自清華大學(xué)、上海交通大學(xué)、華為、阿里等高校和公司。創(chuàng)始人兼CEO關(guān)超宇畢業(yè)于清華大學(xué)計算機系，2021年西爾貝學(xué)者獎學(xué)金獲得者（全球不到百人），并帶隊研發(fā)世界首個自動圖學(xué)習(xí)項目AutoGL?？茖W(xué)家顧問朱文武為清華大學(xué)計算機科學(xué)與技術(shù)系教授，曾任微軟亞洲研究院主任、英特爾中國研究院首席科學(xué)家。

達晨財智投資總監(jiān)姜銘表示：“AI2.0時代，大模型服務(wù)對算力的需求爆發(fā)式增長，是小模型算力需求的20倍以上。此外，大模型落地還需要解決性能、資源耗費、硬件適配等諸多問題。因此，業(yè)界急需低成本、高效率的大模型工具，幫助大模型做軟硬協(xié)同的系統(tǒng)級優(yōu)化和加速。清昴用其獨創(chuàng)的技術(shù)路線提供大模型全棧式自動優(yōu)化工具鏈，并在行業(yè)內(nèi)率先形成產(chǎn)品，實現(xiàn)了卓越的性能表現(xiàn)，目前已經(jīng)獲得行業(yè)頭部大廠的認可，開展業(yè)務(wù)推廣。我們看好清昴這個年輕、有活力的團隊，期待清昴未來持續(xù)推出、迭代新產(chǎn)品，打造國內(nèi)頭部的AI Infra平臺。”