上海AI實驗室開源發(fā)布科學大模型“浦科化學”,提供免費商用(上海浦科知識產(chǎn)權(quán)服務(wù)有限公司)
1月26日,上海人工智能實驗室(上海AI實驗室)開源發(fā)布首個科學大模型浦科化學(ChemLLM),拓展了大模型助力科學研究的探索路徑。
基于書生·浦語2.0強大的基座模型能力,浦科化學通過注入海量化學專業(yè)數(shù)據(jù),使大模型獲得了理解和處理化學相關(guān)專業(yè)任務(wù)的知識與能力。同時,研究人員發(fā)現(xiàn),隨著化學能力的獲得,大模型的數(shù)理學科及推理能力也得到增強。
浦科化學現(xiàn)已開源,并提供免費商用。
開源鏈接:https://huggingface.co/AI4Chem/ChemLLM-7B-Chat
專注核心:化學知識注入,專業(yè)能力突出
為了評估浦科化學的專業(yè)能力,上海AI實驗室的研究人員對其在三種相關(guān)任務(wù)上的表現(xiàn)進行了測試:分子名稱轉(zhuǎn)換、分子性質(zhì)預測和反應(yīng)產(chǎn)物預測——這些任務(wù)分別涉及化學物質(zhì)的表示、性質(zhì)和轉(zhuǎn)化,是化學研究的基礎(chǔ)和核心。
分子名稱轉(zhuǎn)換方面,要求模型能夠在不同分子表示方式之間進行準確轉(zhuǎn)換,如SMILES、IUPAC名稱、分子式等;
分子性質(zhì)預測方面,要求模型能根據(jù)分子的結(jié)構(gòu)和組成,預測其化學性質(zhì),如沸點、密度、溶解度等;
反應(yīng)產(chǎn)物預測方面,要求模型能根據(jù)給定的反應(yīng)物和反應(yīng)條件預測反應(yīng)產(chǎn)物的結(jié)構(gòu)。
測試結(jié)果顯示,浦科化學在這三項任務(wù)上均表現(xiàn)出色,分別獲得22.0、49.0和7.0的分數(shù),遠超過其他同規(guī)模模型的水平,并超越了GPT-3.5,證明浦科化學在理解和處理化學知識方面具備強大能力。
依托書生·浦語2.0基座模型優(yōu)秀的多語言能力,浦科化學在經(jīng)過專業(yè)化學知識訓練后,還具備了優(yōu)秀的化學專業(yè)中英文翻譯能力,可幫助化學研究者跨越語言障礙,準確地翻譯化學文獻中的專有名詞,獲取更多的化學知識。
下圖展示了浦科化學翻譯的一篇2024年1月16日發(fā)表在《自然·化學》雜志上論文的摘要。
在專業(yè)化學知識訓練之外,浦科化學也進行了初高中知識的學習。在回答初高中化學題目時,不僅能給出答案,還能給出具體的解釋,下圖展示了例子:
齊頭并進:邏輯推理增強,泛理科能力涌現(xiàn)
專項能力的增強,是否以犧牲其他能力為代價?實踐證明,浦科化學不僅在化學領(lǐng)域表現(xiàn)出色,其在數(shù)學、物理及推理等方面能力均得到增強。
研究人員使用MMLU(大規(guī)模多任務(wù)語言理解數(shù)據(jù)集)作為測試集來評估浦科化學在通用場景下的性能,對語言模型的多項任務(wù)能力進行測試評估,并將浦科化學與其他同等規(guī)模的模型進行比較,以評估化學訓練數(shù)據(jù)對基礎(chǔ)模型的影響。
評測結(jié)果顯示,浦科化學在大學化學任務(wù)上得分為47.0,超越了所有其他模型,這體現(xiàn)了它在回答化學問題及處理復雜化學任務(wù)的能力。
研究人員發(fā)現(xiàn),盡管沒有對浦科化學進行數(shù)學和物理學科的訓練,模型在大學數(shù)學、大學物理、STEM(科學、技術(shù)、工程和數(shù)學)類等相關(guān)領(lǐng)域上也獲得了最佳成績。同時,浦科化學在形式邏輯任務(wù)上也達到了最高水平。上述結(jié)果表明,當對大模型進行進行化學專業(yè)訓練時,其數(shù)理及推理能力也能得到增強。
有趣的是,浦科化學在道德場景、人文科學類、社會科學類等分項任務(wù)上也展現(xiàn)了優(yōu)異的平均性能,這說明,對大模型進行專業(yè)某個學科的知識訓練,不僅不會讓大模型“分心”,反而有助于其道德水平及一般任務(wù)水平的提升。
舉一反三:擴展大模型應(yīng)用,助推科研新范式
對大語言模型進行化學專項訓練,不僅擴展了大模型的應(yīng)用空間,更為AI for Science相關(guān)研究開啟了新的探索路徑。
上海AI for Science團隊面向化學、物理、生命、地球等科學領(lǐng)域,通過深入研究各學科基礎(chǔ)理論,結(jié)合最新人工智能理論,探索AI驅(qū)動重大科學問題的研究范式,加速人工智能在化學、藥物研發(fā)、新材料、氣象等領(lǐng)域的滲透與落地,賦能各行業(yè)發(fā)展。其中,AI for Chemistry方面的研究以語言模型為核心,通過大模型連接智能化實驗設(shè)備,全方位提升實驗效率,從而實現(xiàn)化學研究的自動化和智能化。相關(guān)研究范式的創(chuàng)新,將助推科學發(fā)現(xiàn)速度,實現(xiàn)更大的社會效益。
未來,基于浦科化學模型,人工智能可為化學研究提供智能化輔助,如化學合成路徑規(guī)劃、化學反應(yīng)條件優(yōu)化、實驗結(jié)果自動化分析等,從而提升化學研究的效率和質(zhì)量。
(原題為:《上海AI實驗室開源發(fā)布科學大模型“浦科化學”》)
版權(quán)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻,該文觀點僅代表作者本人。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容, 請發(fā)送郵件至 舉報,一經(jīng)查實,本站將立刻刪除。