機(jī)器之心報(bào)道

作者：杜偉

從此，操作系統(tǒng)被賦予了新的內(nèi)核，也讓?xiě)?yīng)用開(kāi)發(fā)體驗(yàn)迎來(lái)前所未有的新變化。

大模型發(fā)展至今，還能帶給開(kāi)發(fā)者哪些驚喜呢？

在 4 月 16 日舉辦的 2024 百度 Create AI 開(kāi)發(fā)者大會(huì)上，百度智能云扔下一顆「重磅炸彈」，重新定義了計(jì)算機(jī)的核心系統(tǒng)軟件 —— 操作系統(tǒng)。

會(huì)上，百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖宣布正式發(fā)布新一代智能計(jì)算操作系統(tǒng) —— 萬(wàn)源。在大模型技術(shù)不斷推動(dòng)云服務(wù)向 AI 靠攏的當(dāng)下，這成為了百度跳出傳統(tǒng)云計(jì)算、革新 AI 原生應(yīng)用開(kāi)發(fā)體驗(yàn)的一大舉措。

沈抖在百度 Create AI 開(kāi)發(fā)者大會(huì)上。

對(duì)比操作系統(tǒng)的核心組件，比如底層硬件設(shè)備、管理軟硬件資源的內(nèi)核層、與用戶(hù)交互的 Shell 層和集成各類(lèi)工具程序的應(yīng)用層，萬(wàn)源的整體框架是這樣的：

Kernel（內(nèi)核）層包含百度百舸?AI 異構(gòu)計(jì)算平臺(tái)和百度文心大模型，滿(mǎn)足模型訓(xùn)練算力需求和多樣化大模型使用需求。

內(nèi)核層之上的 Shell（外殼）層為千帆 ModelBuilder 平臺(tái)，讓開(kāi)發(fā)者按需和細(xì)分場(chǎng)景來(lái)定制、精調(diào)模型。

最上面為 Toolkit（工具）層，千帆 AppBuilder 和 AgentBuilder 支持了各類(lèi)應(yīng)用和 Agent 的快速開(kāi)發(fā)。

智能計(jì)算操作系統(tǒng)萬(wàn)源的「三層」組成。

自下往上，萬(wàn)源要在底層屏蔽掉云原生系統(tǒng)與異構(gòu)算力的復(fù)雜性、并強(qiáng)化大模型這一能力引擎，在中層對(duì)大模型進(jìn)行部署精調(diào)，在上層為 AI 原生應(yīng)用和 Agent 的快速開(kāi)發(fā)提供支撐和保障。

也就是說(shuō)，借助操作系統(tǒng)這個(gè)完整載體，百度智能云將高效的異構(gòu)算力、智能的系統(tǒng)內(nèi)核和敏捷的應(yīng)用開(kāi)發(fā)「打包」，為業(yè)界加速 AI 原生應(yīng)用布局提供一個(gè)新選擇。

或許有人會(huì)問(wèn)，從傳統(tǒng)操作系統(tǒng)發(fā)展到如今新一代的智能計(jì)算操作系統(tǒng)，需要什么契機(jī)呢？我們有必要從計(jì)算機(jī)操作方式進(jìn)化、計(jì)算平臺(tái)迭代、大模型技術(shù)變革等幾個(gè)方面展開(kāi)說(shuō)說(shuō)。

大模型崛起

新一代操作系統(tǒng)成為必選項(xiàng)

當(dāng)然，我們熟悉的計(jì)算機(jī)操作系統(tǒng)通常是 Linux、Windows 等。但說(shuō)起來(lái)，操作系統(tǒng)不是與計(jì)算機(jī)同步出現(xiàn)，它管理的對(duì)象也隨時(shí)代需求、技術(shù)趨勢(shì)而變。

1946 年 2 月，世界上第一臺(tái)電子計(jì)算機(jī) ENIAC 誕生，彼時(shí)操作全部要人工完成。匯編語(yǔ)言、匯編器的出現(xiàn)逐漸用程序代替人工、用軟件管理硬件，這是操作系統(tǒng)的雛形。高級(jí)編程語(yǔ)言和編譯器讓計(jì)算平臺(tái)進(jìn)一步進(jìn)化，并帶來(lái)更復(fù)雜的軟件和更強(qiáng)大的硬件，要求操作系統(tǒng)快速迭代。

此后，不斷增加的軟件規(guī)模和復(fù)雜度讓單臺(tái)機(jī)器力不從心，集群出現(xiàn)。操作系統(tǒng)管理的對(duì)象從單臺(tái)機(jī)器及其上運(yùn)行的「進(jìn)程」擴(kuò)展為整個(gè)集群及運(yùn)行的各類(lèi)「微服務(wù)」，云計(jì)算來(lái)了。

直到這時(shí)，操作系統(tǒng)的框架和組成沒(méi)有大的變化。在本質(zhì)上，操作系統(tǒng)負(fù)責(zé)連通硬件和軟件，向下屏蔽底層的復(fù)雜性，向上抽象成簡(jiǎn)單的交互界面。

近年來(lái)，大模型、AI 原生應(yīng)用、Agent 及相伴而生的理解、生成、邏輯和記憶能力推動(dòng)技術(shù)變革，讓自然語(yǔ)言主導(dǎo)的人機(jī)交互嶄露頭角，沒(méi)有編程基礎(chǔ)的人也可以成為開(kāi)發(fā)者，編程需求的滿(mǎn)足比以往容易得多。

開(kāi)發(fā)范式的種種新變化進(jìn)一步催生軟件市場(chǎng)的爆發(fā)，硬件也隨之進(jìn)步，傳統(tǒng)操作系統(tǒng)改變的契機(jī)到了，尤其體現(xiàn)在一些層的組成內(nèi)容上。

比如在操作系統(tǒng)內(nèi)核中，底層硬件從以 CPU 算力為主變成以 GPU 算力為主，并首次增加軟硬件之外的第三種資源 —— 大模型壓縮的世界知識(shí)。相應(yīng)地，操作系統(tǒng)管理的對(duì)象不再只是進(jìn)程和微服務(wù)，現(xiàn)在還多了基于大模型衍生的智能。

這意味著，一個(gè)超越傳統(tǒng)軟件范疇的全新操作系統(tǒng)成為必選項(xiàng)，對(duì)基于 AI 的智能計(jì)算更好地抽象和封裝，重新定義人機(jī)交互，成為大模型能力全方位加持的強(qiáng)大載體，為開(kāi)發(fā)者提供更智能、更流暢、更個(gè)性化的開(kāi)發(fā)體驗(yàn)。

這一切在萬(wàn)源這里得到了滿(mǎn)足，內(nèi)核層有能夠?qū)崿F(xiàn)萬(wàn)卡規(guī)模集群模型訓(xùn)練的算力和大語(yǔ)言模型、CV 大模型能力，外殼層可以對(duì)內(nèi)核層的大模型定制精調(diào)，工具層則實(shí)現(xiàn)了簡(jiǎn)單便捷的 AI 原生應(yīng)用和 Agent 開(kāi)發(fā)。

我們應(yīng)看到，實(shí)現(xiàn)萬(wàn)源各層功能離不開(kāi)百度智能云在算力、模型、工具和應(yīng)用等各個(gè)層面的產(chǎn)品積累。這也是我們接下來(lái)要講的內(nèi)容。

三層一體

萬(wàn)源操作系統(tǒng)的「新」落在哪里？

可以看到，大模型出現(xiàn)以來(lái)提出的全新人機(jī)交互需求、人們對(duì)開(kāi)發(fā)體驗(yàn)的更多樣性訴求以及傳統(tǒng)云計(jì)算向智能計(jì)算的轉(zhuǎn)變，讓萬(wàn)源的出現(xiàn)有了必要性和合理性。

那么，萬(wàn)源各層組成有哪些新的、獨(dú)特之處呢？先從 Kernel（內(nèi)核）層看起，算力和大模型是兩大組成部分。

作為 AI 三要素之一，算力重要性無(wú)需多言。在萬(wàn)源中，百度百舸?AI 異構(gòu)計(jì)算平臺(tái)是將現(xiàn)有算力資源發(fā)揮到極致的基座。該平臺(tái)針對(duì)大模型訓(xùn)練、推理任務(wù)，分別在智算集群設(shè)計(jì)、調(diào)度和容錯(cuò)等環(huán)節(jié)優(yōu)化。目前，百舸在萬(wàn)卡集群上的模型有效訓(xùn)練時(shí)長(zhǎng)占比超過(guò)了 98.8%，線性加速比和帶寬有效性均達(dá)到了 95%，實(shí)現(xiàn)業(yè)界領(lǐng)先算力效能，為內(nèi)核層提供高效的算力保障。

此外還有一個(gè)問(wèn)題，國(guó)內(nèi)芯片供應(yīng)存在不確定性，這必然會(huì)導(dǎo)致多芯片并存的格局（即國(guó)內(nèi)和國(guó)內(nèi)品牌芯片共存），這為智算集群中模型推理和單一任務(wù)訓(xùn)練提出了挑戰(zhàn)。百舸不僅兼容了昆侖芯、昇騰、海光 DCU、英偉達(dá)、英特爾等國(guó)內(nèi)外主流 AI 芯片，更實(shí)現(xiàn)百卡和千卡規(guī)模、單一訓(xùn)練任務(wù)下，不同廠商芯片的混合訓(xùn)練，其中百卡規(guī)模性能損失不超過(guò) 3%，千卡規(guī)模性能損失不超過(guò) 5%，實(shí)現(xiàn)業(yè)界領(lǐng)先。

正如沈抖會(huì)上所言，「百舸為大家屏蔽掉了芯片之間的差異，提供了自由選擇不同芯片組合的權(quán)利。」

內(nèi)核層的另一主角是 77 個(gè)精選大模型，包括百度 ERNIE 4.0、ERNIE 3.5 大語(yǔ)言模型、近期發(fā)布的 ERNIE Speed/Lite/Tiny 系列輕量模型、文心視覺(jué)大模型和各種第三方大模型。它們壓縮并封裝了龐大的世界知識(shí)，是更上層運(yùn)行簡(jiǎn)單接口和 AI 原生應(yīng)用的能力源泉。

來(lái)到外殼層，主角是千帆 ModelBuilder，負(fù)責(zé)大模型管理、調(diào)度和二次開(kāi)發(fā)。有了它，開(kāi)發(fā)者不用從頭開(kāi)始訓(xùn)練大模型，付出很少數(shù)據(jù)、資源即可在基礎(chǔ)大模型上快速精調(diào)出適合自身業(yè)務(wù)和場(chǎng)景的模型。

再往上為 ToolKit（工具）層，集成了產(chǎn)業(yè)級(jí) AI 原生應(yīng)用開(kāi)發(fā)平臺(tái) AppBuilder 和基于文心大模型的智能體構(gòu)建平臺(tái) AgentBuilder。有了內(nèi)核層和外殼層的算力和模型鋪墊，萬(wàn)源要在此層讓開(kāi)發(fā)者切身體驗(yàn)到不一樣的 AI 原生應(yīng)用開(kāi)發(fā)。

其中，AppBuilder 支持工作流編排。開(kāi)發(fā)者選擇使用預(yù)置模板和組件或者集成、擴(kuò)建特色組件，輕松定制自己的業(yè)務(wù)流程。經(jīng)過(guò) ModelBuilder 精調(diào)的模型也可以直接調(diào)用，怎么方便怎么來(lái)。開(kāi)發(fā)完的應(yīng)用支持一鍵發(fā)布到百度搜索等其他平臺(tái)，并通過(guò) API 或 SDK 在用戶(hù)系統(tǒng)中直接集成。

AgentBuilder 則致力于零門(mén)檻，讓不會(huì)編程的用戶(hù)通過(guò) prompt 輸入和操作調(diào)優(yōu)，快速創(chuàng)建專(zhuān)屬于自己的智能體，在使用場(chǎng)景中自動(dòng)提供服務(wù)。

此外，萬(wàn)源還提供了完善的模型 & 數(shù)據(jù)管理以及模型安全服務(wù)，為 AI 原生應(yīng)用的繁榮保駕護(hù)航。

至此，從內(nèi)核層、外殼層到工具層，百度在我們面前展現(xiàn)出了新一代智能計(jì)算操作系統(tǒng)的全貌。

背后的技術(shù)優(yōu)勢(shì)

能解決好問(wèn)題才行

我們觀察到，萬(wàn)源一舉解決了業(yè)界同行們都在面臨的三個(gè)關(guān)鍵問(wèn)題，分別是算力、模型訓(xùn)練和部署、以及應(yīng)用開(kāi)發(fā)，并在過(guò)程中形成了自己的核心技術(shù)優(yōu)勢(shì)。

尤其是在算力部分，百舸?AI 異構(gòu)計(jì)算平臺(tái)實(shí)現(xiàn)了單一任務(wù)下不同廠商芯片的大模型混合訓(xùn)練， 百卡規(guī)模性能損失不超過(guò) 3%，千卡規(guī)模性能損失不超過(guò) 5%。這些是如何做到的呢？

首先，百舸的線性加速比達(dá)到了 95%，這要?dú)w功于百度智能云面向 AI 計(jì)算推出的 AI 加速套件「AIAK」，它的核心是網(wǎng)絡(luò)通信加速。我們知道，AI 跑在芯片上靠的是各種各樣的算子，但每家芯片廠商的算子實(shí)現(xiàn)并不一樣。

百度則選擇在整個(gè)框架層面拆分底層的通信和上層算子的優(yōu)化和實(shí)現(xiàn)，這樣各家芯片有了針對(duì)這些算子的優(yōu)化實(shí)現(xiàn)。最終不同廠商的芯片都能跑在百度的加速庫(kù)上，即百度集合通信庫(kù) BCCL，它是百舸的重要組件。但是，這一步并沒(méi)有直接解決一云多異構(gòu)芯片的問(wèn)題。

還需要第二步。以前一種芯片算力是相同的，所以我們的并行策略大多是均勻切分的。但現(xiàn)在算力、通信、存儲(chǔ)都不一樣了，為了充分發(fā)揮出各芯片算力性能那就需要實(shí)現(xiàn)不均勻的切分方式，比如在模型張量切分中，不同芯片可能需要切分成不同的大小，在流水線切分中則需要在不同芯片上放不同的層數(shù)。這就需要對(duì)框架做相應(yīng)的改造和優(yōu)化，我們的訓(xùn)推加速軟件就實(shí)現(xiàn)了這些不均勻的，混合的切分策略，讓每個(gè)芯片算力能充分發(fā)揮出來(lái)。

而接下來(lái)，集群中各種芯片的比例可能是不一樣的，在各種情況下都能找到最優(yōu)的任務(wù)切分方法。在前面這么多復(fù)雜策略的情況下通過(guò)測(cè)試顯然是不行的。通過(guò)一套自動(dòng)化并行策略框架，根據(jù)各種策略所需要的計(jì)算量，存儲(chǔ)量，通信量，以及不同芯片的計(jì)算和 IO 效率，從而快速計(jì)算出最優(yōu)的任務(wù)切分策略，保證在各種配比下芯片算力都能充分發(fā)揮出來(lái)。這是實(shí)現(xiàn)一云多芯的基礎(chǔ)原理。

至于百卡和千卡規(guī)模性能損失為何如此低，這還要得益于百舸在存儲(chǔ)方面支持了高性能分布式存儲(chǔ) PFS、以及萬(wàn)卡級(jí)別的 RDMA 網(wǎng)絡(luò)，前者顯著提升訓(xùn)練和推理過(guò)程中的 I/O 吞吐能力，后者有效降低網(wǎng)絡(luò)延遲。

同樣地，萬(wàn)源讓大模型的訓(xùn)練和部署不再困難。尤其是對(duì)個(gè)人開(kāi)發(fā)者而言，他們沒(méi)有訓(xùn)練大模型所需的算力、數(shù)據(jù)和精力，這一切都讓萬(wàn)源代為完成。

有了 ModelBuilder，開(kāi)發(fā)者沒(méi)有了從頭開(kāi)始訓(xùn)練模型的煩惱，隨時(shí)隨調(diào)隨用。部署起來(lái)同樣方便快捷。

最后，應(yīng)用開(kāi)發(fā)問(wèn)題依靠 AppBuilder 得到更好解決，它的兩個(gè)優(yōu)勢(shì)幫了大忙。

一是依托文心 4.0 強(qiáng)大的理解和遵循能力，效果好且不用長(zhǎng)時(shí)間調(diào)優(yōu)，成本和門(mén)檻降了下來(lái)。同時(shí)豐富的 AI 能力組件、大模型能力組件和百度獨(dú)家開(kāi)放的業(yè)務(wù)組件讓 AI 原生應(yīng)用開(kāi)發(fā)更加高效。二是創(chuàng)建一點(diǎn)都不繁瑣，只需三步：命名、描述具體要求、運(yùn)行，一氣呵成。

而隨著算力、模型訓(xùn)練和部署、以及應(yīng)用開(kāi)發(fā)這些節(jié)點(diǎn)的關(guān)鍵問(wèn)題一一被有效地克服，萬(wàn)源為 AI 原生應(yīng)用提供了更強(qiáng)的動(dòng)力和更大的舞臺(tái)，讓 AI 在應(yīng)用層的機(jī)會(huì)更多。

寫(xiě)在最后

不難發(fā)現(xiàn)，大模型出現(xiàn)以來(lái)，AI 圈呈現(xiàn)一個(gè)非常明顯的特點(diǎn)，即大家追逐的熱點(diǎn)變化很快。短短幾年時(shí)間，我們已經(jīng)看到了從最開(kāi)始的基礎(chǔ)和行業(yè)垂直模型，慢慢發(fā)展到之后基于大模型的各類(lèi) AI 原生應(yīng)用和 Agent。

很顯然，對(duì)于業(yè)界玩家們來(lái)說(shuō)，盡可能不錯(cuò)過(guò)每一個(gè)節(jié)點(diǎn)，才更有可能不被同行落下，反過(guò)來(lái)就有可能跑贏對(duì)手。我們看到，在大模型發(fā)展至今的整體規(guī)劃和布局中，百度步步為營(yíng)，并以廣泛、真實(shí)的客戶(hù)實(shí)踐和產(chǎn)業(yè)落地需求為導(dǎo)向。

從業(yè)界首發(fā)行業(yè)大模型到全球首個(gè)企業(yè)級(jí)大模型生產(chǎn)平臺(tái)千帆 ModelBuilder，百度走在了大模型落地的前列。目前，千帆大模型平臺(tái)已經(jīng)服務(wù)了 8.5 萬(wàn)家企業(yè)客戶(hù)，并累計(jì)精調(diào)超過(guò) 1.4 萬(wàn)個(gè)模型。

隨著從卷大模型進(jìn)入到卷應(yīng)用的階段，百度加快了基于大模型的 AI 原生應(yīng)用開(kāi)發(fā)及生態(tài)建設(shè)。去年 10 月 17 日，百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏在百度世界 2023 上預(yù)言，「我們即將進(jìn)入一個(gè) AI 原生的時(shí)代」。此后， AI 原生應(yīng)用開(kāi)發(fā)平臺(tái)千帆 AppBuilder 全面開(kāi)放服務(wù)，讓人人都能自己開(kāi)發(fā)。目前已經(jīng)有 8100 家伙伴通過(guò)該平臺(tái)開(kāi)發(fā) AI 原生應(yīng)用。

此次，百度又為這個(gè)新時(shí)代的到來(lái)拋出全新的思考 —— 萬(wàn)源。百度從完整的 AI 原生操作系統(tǒng)出發(fā)，將過(guò)去多年在算力、大模型和應(yīng)用層面積累的工作「化零為整」，以更強(qiáng)的姿態(tài)迎接 AI 原生時(shí)代面臨的挑戰(zhàn)。

未來(lái)，百度一方面將繼續(xù)把萬(wàn)源的基礎(chǔ)設(shè)施、內(nèi)核服務(wù)做得更智能、高效，另一方面致力于在上層提供更便捷的開(kāi)發(fā)工具，做到雙管齊下。同時(shí)進(jìn)一步開(kāi)放生態(tài)合作，攜手應(yīng)用開(kāi)發(fā)者、企業(yè)、芯片廠商將萬(wàn)源打造地更加完備。