接連拿下多個算力大單，為什么是云天勵飛？

AI上市公司云天勵飛，最近在算力產(chǎn)品及服務業(yè)務板塊完成諸多大額訂單。

首先是11月5日，云天勵飛宣布已完成近16億元的AI大單的交付工作，為北京德元方惠科技開發(fā)有限責任公司（簡稱“德元方惠”）提供AI訓練及推理算力服務。同時，第一批算力服務（對應合同中約60%的算力規(guī)模）的驗收相關(guān)工作已完成，上線日期為2024年10月1日。

而就在不久前的9月，云天勵飛剛中標了約1.3億元的“天府智算中心（一期）項目設備采購及監(jiān)理服務采購項目”，連下兩城。

自去年以來，大模型催生了大量訓練及推理算力需求，全球各路云計算大廠、服務器廠商、AI企業(yè)以及一些跨界玩家紛紛開始進入智算行業(yè)。

作為一家做AI算法起家的企業(yè)，云天勵飛拿下這些項目的背后，有什么樣的技術(shù)和商業(yè)邏輯？這又能為AI企業(yè)同行帶來什么樣的啟示？

通過對話云天勵飛副CFO兼資本中心總經(jīng)理陳騰宇，本文對此進行了深入探討。

01  大模型狂飆500天訓練及推理算力需求激增

自2023年大模型爆火以來，催生了大量訓練及推理算力需求。

大模型朝超大參數(shù)規(guī)模發(fā)展，OpenAI提出的百萬卡的智算集群思路已經(jīng)被驗證，推動智算中心如雨后春筍般涌現(xiàn)。根據(jù)工信部最新數(shù)據(jù)，截至2024年上半年，國內(nèi)已經(jīng)建設和正在建設的智算中心超過250個。2024年上半年智算中心招投標相關(guān)事件791起，同比增長高達407.1%。

提早預判到這樣的趨勢，云天勵飛于2023年初涉足異構(gòu)算力領(lǐng)域，這是國內(nèi)AI企業(yè)最早布局智算的步伐之一。陳騰宇向智東西談及當時的契機：短期來看，云天勵飛在研發(fā)過程中有大量的技術(shù)沉淀可以支撐異構(gòu)算力集群的高效率運行，而其盈利能力亦較為可觀；另一方面，訓練背后的推理需求是更大的藍海，將給云天勵飛自研推理芯片提供廣闊的應用場景。

籌謀一年多，時間來到2024年7月，云天勵飛與德元方惠一舉簽下16億元的AI大單，在產(chǎn)業(yè)里一戰(zhàn)成名。

按照合約，云天勵飛將為后者提供智能算力調(diào)度及AI大模型開發(fā)服務平臺配套服務，算力總規(guī)模約4000PFLOPS，用于大模型訓練及推理。

項目規(guī)模之大、業(yè)務之聚焦，很多業(yè)內(nèi)人士好奇，云天勵飛能搞定這個項目嗎？

陳騰宇告訴智東西，目前這一項目已全面完成交付，并進入調(diào)試及驗收階段。同時，項目商業(yè)化也不成問題，根據(jù)云天勵飛官方公告，這一項目未來三年預計每年為公司新增營收約5億元，三年累計產(chǎn)生利潤5.39億元。

今年9月，云天勵飛緊接著再下一城，中標了約1.3億元的天府智算中心項目。

據(jù)悉，該項目目前也已經(jīng)進入交付過程，預計進一步為云天勵飛的業(yè)績帶來直接收益。

大項目紛紛交付，標志著云天勵飛異構(gòu)算力業(yè)務步入正軌，成為一條新的增長曲線。

可以看到，相比國內(nèi)其他AI領(lǐng)域同行，云天勵飛是在該領(lǐng)域跑得較快的AI企業(yè)。究其原因，首先還是因為公司較快地看到并抓住了這波AI機遇。

但提早布局AI算力的企業(yè)不在少數(shù)，為什么云天勵飛能夠突圍？

02  為什么是云天勵飛？左手算法，右手芯片

AI算力混戰(zhàn)局面持續(xù)已一年多。

自去年以來，盡管云巨頭相繼推出令人眼饞的大模型訓推“全家桶”，但實際可用的算力仍是稀缺資源，服務器廠商、AI企業(yè)都在布局智算，甚至跨界玩家都入局了，競爭好不激烈。

之所以能夠在群雄混戰(zhàn)的AI算力市場站住腳，陳騰宇認為，云天勵飛的核心競爭力還在于技術(shù)儲備，主要體現(xiàn)在算法和芯片兩大方面。

1、自研大模型經(jīng)驗沉淀工具，助客戶提升算力利用效率

在算法層面，云天勵飛于2023年推出了自研千億級“云天天書”大模型，并在大模型的研發(fā)過程中積累了一系列算力調(diào)優(yōu)、提升模型訓練效率的技術(shù)平臺和相應工具。

這些經(jīng)驗及工具都被云天勵飛沉淀到產(chǎn)品和服務中，可幫助客戶提升模型訓練及算力利用效率，以更低成本訓練大模型。

具體到集群管理方面，云天勵飛智能訓練平臺及算力調(diào)度平臺，能夠按任務調(diào)度到卡，并進行任務管理、任務編排、訓練告警、大模型斷點續(xù)訓。

此外，其數(shù)據(jù)管理（DataHub）支持數(shù)據(jù)可視化、挖掘、治理等多維管理，在保證數(shù)據(jù)安全性的基礎上實現(xiàn)數(shù)據(jù)資產(chǎn)化；此外在集群管理中的通信優(yōu)化、日志集群、監(jiān)控告警等方面也積累了多個工具鏈。

具體到軟件平臺方面，云天勵飛推出了智能算法標注平臺，為算法訓練提供了可靠的底層數(shù)據(jù)支持，可支持圖像和文本自動化標注，據(jù)稱相比人工標注效率提高40%左右。

除此之外，支持大模型負載均衡的部署平臺，支持在多個主流硬件平臺進行零代碼、自動化的模型發(fā)布的模型發(fā)布平臺，提供完整工具和資源的模型評測平臺，全面覆蓋內(nèi)容審核過濾的智能內(nèi)容審核平臺等，都可以大大提高算法訓練效率。

2、算法芯片化，自研大模型芯片提供高效推理服務

在芯片層面，云天勵飛基于對AI算法技術(shù)特點及行業(yè)場景計算需求的理解，通過自定義指令集、處理器架構(gòu)及工具鏈的協(xié)同設計，實現(xiàn)算法技術(shù)芯片化，構(gòu)建了神經(jīng)網(wǎng)絡處理器平臺，可以支持其算力產(chǎn)品及服務。

同時，云天勵飛已具備自研的推理卡，依托創(chuàng)新的D2D chiplet架構(gòu)，可承載大模型應用落地的大規(guī)模推理計算。據(jù)悉，從2022年開始其就開始針對大模型的Transformer架構(gòu)做優(yōu)化，實現(xiàn)流片，可見其對市場感知的前瞻性。

盡管在軟件生態(tài)上還存在差距，但與海外高性能算力相比較，一些國產(chǎn)推理芯片已經(jīng)在某些專項上占據(jù)優(yōu)勢。比如說云天勵飛X6000一體機，采用Mesh互聯(lián)技術(shù)，在多卡互聯(lián)時可實現(xiàn)存儲共享、最大化發(fā)揮帶寬優(yōu)勢，從而提升大模型推理效率，針對70B模型的推理效率已達60 Tokens/s，而針對MoE架構(gòu)模型，如mistral08*7B，推理效率達到260 Tokens/s。

具體到大模型推理的實務中，很多客戶更多關(guān)注的是帶寬能不能充分利用起來這個問題。云天勵飛在卡間互聯(lián)、堆疊式設計等多方面的研發(fā)儲備，使其能夠滿足客戶的這一核心需求。

可以看到，之所以能夠拿下近20億元大單，還因為云天勵飛建立了雙重護城河：左手算法，右手芯片，使其在群雄混戰(zhàn)的AI算力市場殺出一條血路。

03  技術(shù)立身做最懂大模型的算力產(chǎn)品及服務

縱觀算力產(chǎn)業(yè)，動輒一個項目的金額達數(shù)億甚至數(shù)十億元，周期長、工程量大、后續(xù)運營服務需求高。

針對這樣的業(yè)務特征，陳騰宇告訴智東西，對于大客戶來說，他們在選擇算力服務提供商時，首先還是要考慮這家公司是否靠譜。主要考察的方面除了技術(shù)儲備，還包括行業(yè)經(jīng)驗、供應鏈和交付能力、運營穩(wěn)定性及資金實力等一系列綜合能力。

而隨著百模大戰(zhàn)繼續(xù)推進，集群運營面臨的最大挑戰(zhàn)還在于整體的運營能力，以及隨著市場趨勢變化，通過軟硬件協(xié)同迭代，不斷滿足客戶的新需求。

談及云天勵飛在這些“軟實力”方面的儲備，陳騰宇談道，云天勵飛已經(jīng)搭建能力板塊較為齊全的業(yè)務團隊，包含技術(shù)研發(fā)、運營及銷售、技術(shù)運維及交付等人員，保障業(yè)務順利開展、進行。

同時，該業(yè)務板塊已有規(guī)模化落地。根據(jù)云天勵飛官方公告，其已落地西南、華南區(qū)域三個高性能算力集群，運營算力規(guī)模接近5000P。在拿下兩個巨額大單前，截至2024年5月末，公司已搭建異構(gòu)計算集群算力超800P。

此外，云天勵飛還積累了多個行業(yè)的客戶資源。通過前期業(yè)務拓展觸達、上下游生態(tài)搭建等方式，云天勵飛積累較多具備大模型訓練及推理需求客戶，包括AI初創(chuàng)公司、科研院所、互聯(lián)網(wǎng)企業(yè)、自動駕駛企業(yè)、運營商等客戶資源。

可以看到，正是這樣的團隊儲備、落地案例及客戶資源積累，配合“算法芯片化”戰(zhàn)略及技術(shù)儲備，讓云天勵飛的異構(gòu)算力業(yè)務穩(wěn)步發(fā)展起來。

對于AI行業(yè)來說，云天勵飛開辟了一條AI企業(yè)在大模型時代的新出路——不止于算法攻關(guān)，而是將算法與算力經(jīng)驗結(jié)合布局算力產(chǎn)品和服務，這對AI同行有一定的啟迪作用。

04  結(jié)語：順勢而為構(gòu)筑AI企業(yè)新價值

回顧過去一年多，AI算力在“百模大戰(zhàn)”狂潮之中成為競爭焦點；站在現(xiàn)在看未來，行業(yè)已經(jīng)歷過一波大浪淘沙，突出重圍的玩家如云天勵飛，正真槍實劍披掛上陣，構(gòu)筑AI企業(yè)的新價值壁壘。

智算中心正從“建起來”走向“用起來”，也對云天勵飛們提出了新挑戰(zhàn)。“我們的能力構(gòu)建和商業(yè)化已經(jīng)做得比較好了，下一步我們會繼續(xù)做深，綁定多個行業(yè)龍頭，盡可能地挖掘客戶需求，同時借用他們的行業(yè)經(jīng)驗去迭代自己的推理算力。”陳騰宇說。