首頁 > 研報 > 正文

中國的“GPT”，造謠是真的猛_速看

2023-05-31 23:11:50來源：非凡油條  

2023年科技圈最火的詞莫過于“大模型”，從2023年2月 “國內第一個對話式大型語言模型”MOSS發布到現在，多家中國企業和研究機構扎堆沖入AI大模型賽道。目前，引領國內大模型發展的主要是百度、科大訊飛、阿里巴巴等傳統互聯網大廠，中小企業如何能在這次浪潮中分一杯羹？或許，對于它們來說，真正的機會并非從頭開始做ChatGPT和“文心一言”這樣的基礎大模型，二是基于通用大語言模型開發重要的應用服務。

大模型是什么？


(資料圖)

依賴大量訓練數據和計算資源來實現高性能的模型

5月24日科大訊飛股價于午間13點開始斷崖式下跌，一度下跌9.16%。

原因說來可笑，有人造謠“科大訊飛被曝涉嫌大量采集用戶隱私數據，并將其用于人工智能研究”。股價大跌后，發現該謠言是有人用百度大模型“文心一言”編造的。

科大訊飛自己也在搞“訊飛星火”大模型。

在ChatGPT爆火之后，國內很多廠商紛紛跟進，搞出了類似“ChatGPT”的大模型，“訊飛星火”和“文心一言”都是其中代表。這次是有人用“文心一言”生成謠言打擊了科大訊飛，顯然是兩家公司都不愿看到的，幕后黑手必須要得到懲罰。

作為2023年科技圈最火的詞，“大模型”就像是多米諾骨牌中的一塊觸發牌，輕輕一碰便在整個人工智能領域引發了一系列顛覆式的連鎖反應。

按定義上說，大模型是需要大量訓練數據和計算資源，依賴動輒上億乃至數十億的模型參數來實現高性能的模型。

這么多定語暗示大模型的一個標志性的特點就是“大規模”。以ChatGPT為例，從GPT-1到GPT-3，模型的參數量從1.1億個增長到了1750億個，短短幾年時間即增長了1000多倍，最新發布的GPT-4更是達到了萬億級別的參數。

研究人員發現，當訓練量超過某個閾值時，模型的精度會突然暴增。一旦解鎖這種“涌現能力”，模型就會因量變引起質變，開啟“自動駕駛”模式。即使在沒有專門訓練過的領域，也能涌現出知識理解和邏輯推理能力。

于是，各家大廠開始在模型中加入越來越多的參數，模型規模屢創新高。

百度“文心一言”背后的大模型的參數量為2600億，騰訊的“混元”大模型也達到了千億級參數，阿里的“通義千問”大模型則更夸張：已官宣達到10萬億參數。

隨著各大廠在模型參數上實施“軍備競賽”，業界似乎秉持著“模型越大越好”的觀點，但這其實并不完全正確。

OpenAI聯合創始人兼CEO Sam Altman曾公開表示，OpenAI正接近LLM（大型語言模型）規模的極限，規模越大并不一定意味著模型越好。規模不是衡量模型質量的最重要指標，未來將有更多的方式來提升模型的能力和效用。

有其他專家指出，模型參數提升帶來的收益似乎存在邊際效應遞減的現象。

以谷歌發布的擁有1.6萬億參數的Switch Transfomer為例，當谷歌把參數量提升了一個量級后，模型的性能確實有所提升，但是此時帶來的性能收益已經遠不及以前那么“驚艷”了。

還有觀點認為，在一些垂直專業領域，并不需要超大規模的模型，不恰當的網絡架構設計反而會造成對計算資源極大的浪費。

與之相對應的是，中小模型的針對性更強，未來基于大模型再開發的各類小模型，可以更迅速地應用到各行各業，提供多元化服務。

回到底層技術，這一輪大模型技術取得實質性突破離不開一個基礎模型結構——Transformer。

Transformer的核心之一是自注意力機制（Self-Attention），該機制能夠通過關系的特征學習表達相關性，其對序列數據的并行處理能力遠超LSTM（長短時記憶網絡，一種深度學習中的循環神經網絡）。

同時，自注意力機制把關注程度轉換成了一個可衡量的指標，也就是“注意力”，模型的注意力層可以更好的去學習所有輸入之間的關系，最后的前饋層又對輸入的信息進行高效的存儲和檢索。

2018年以來，基于Transformer的神經網絡模型推動了新一輪自然語言模型的發展，可以說，Transformer為自然語言處理開啟了一種新范式，極大地推進了語言建模和語義理解，帶來了通用人工智能的曙光。

總之，作為一種工程化創新，大模型是數據、算法、算力等要素資源之間的精巧組合。數據是大模型的基礎，算法是大模型的核心，算力是大模型的保障。

除了投入大規模、高質量的語料作為“養料”，還需不斷對模型進行調優，才能讓它可以真正開始高效提煉、蒸餾人類的知識，達到類似于人的智能效果。

國產大模型乘風起

從開源的“MOSS”到備受關注和爭議的“文心一言”

我們之前的文章《AI也要被管起來了》深入探討了2023年春季“頂流”ChatGPT的迭代與進化，同時也用較小的篇幅介紹了國內各大廠在GPT領域的布局。

相較于國際市場上以微軟與谷歌兩巨頭為主導的大模型角力，國內市場則呈現出大廠領銜、百花齊放的趨勢。

2023年2月20日MOSS發布，此MOSS不是《流浪地球》系列電影里的機器人，而是復旦大學邱錫鵬教授團隊發布的“國內第一個對話式大型語言模型”。

根據介紹，MOSS可執行對話生成、編程、事實問答等一系列任務，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑。

這款模型引發關注的一個點是，它的英文回答水平比中文高，開發團隊解釋稱，“因為它的模型基座學習了3000多億個英文單詞，中文詞語只學了約300億個。

截至到4月1日，MOSS已擁有200億參數，具有和人類對話的能力，并可以通過與人類交互實現迭代優化。

但同時，盡管對語言的理解能力和ChatGPT已經非常相近，但是由于MOSS在部署和訓練上投入的資本還非常有限，其整體完成度并不高。

4月21日，MOSS正式開源，成為國內首個插件增強的開源對話語言模型。

開源后的MOSS不僅更加成熟，而且還增加了“搜索引擎、計算器、解方程、文生圖”等插件功能，既可在線體驗，也支持本地部署。

MOSS發布后不到一個月，3月16日，百度發布了備受關注的大語言模型“文心一言”，由此成為國內第一家發布類ChatGPT大模型的企業。

“文心一言”的發布，可以說關注度最高，爭議聲也最大。

由于此前很多人認為ChatGPT的中文問答能力不如英文問答能力強，“文心一言”對中文語言的理解能力成為其備受關注的一個方面。

百度CEO李彥宏認為，作為扎根于中國市場的大語言模型，文心一言具備中文領域最先進的自然語言處理能力。

在發布會現場的展示中，文心一言正確解釋了成語“洛陽紙貴”的含義、“洛陽紙貴”對應的經濟學理論，還用“洛陽紙貴”創作了一首藏頭詩。

由于漢語的特殊性，中國企業在研發大模型時面臨的難度更大，但若突破了，也會在提供本土服務時，具備更大的優勢。

百度能成為國內首家發布類ChatGPT大模型的企業，具備了大多數的硬件條件：近水樓臺的智能云、充裕且體系健全的算力、運行平穩的深度學習框架、一群具有多年AI開發經驗的人才，最重要的，還有一個日活數十億的搜索引擎來提供中文的本地化數據。

信心很重要，但差距無法忽視。

正如李彥宏在發布會上所說，“文心一言”在測試時還是有許多不完美之處：發布會后一些搶先測試“文心一言”的用戶陸續曬出了測試截圖，其文生圖功能的質量尤其引發熱議，不乏激烈的爭論。

單就訓練量這一指標上，“文心一言”短期內很難追上ChatGPT，畢竟，ChatGPT已經跑了好幾年。不過，就算是ChatGPT，在不少場景下仍有不少Bug。

整體而言，這類語言大模型還遠未到完善的階段。

星星之火可以燎原

科大訊飛大模型應用落地

百度“文心一言”的出現，拉開了這場人工智能狂歡的序幕。

掀起新技術浪潮的AI大模型，已經成為各家科技公司必須參加的一場大考。身為“人工智能國家隊”的科大訊飛，自然不會錯過這樣一場盛宴。

科大訊飛通過認知智能全國重點實驗室牽頭設計了通用認知大模型評測體系，在科學的評測體系中，推動大模型的發展。

5月6日，科大訊飛舉行了訊飛“星火”認知大模型成果發布會，正式發布訊飛“星火”認知大模型，同時發布了教育、辦公、汽車、數字員工四大行業應用成果。

“星火”本意是大火的火星或一瞬即逝的光，容易聯想到的成語是“星火燎原”，指起初力量弱小但生命力旺盛的事物會迅速發展壯大。

科大訊飛以此命名大模型，應當是取其燎原壯大之勢，與當今AI智能的高速迭代相互映照。畢竟，你我都正見證大火燃起。

和目前市面上已知的通用大模型一樣，“星火”具有和人類進行自然對話的能力，能夠結合上下文語境回答各類問題，同時能理解超長文本理解，可以從復雜文檔中提取和概括信息，在理解需求的情況下完成各種任務，比如翻譯、吟詩作詞、邏輯推算、文案創作等。

值得一提的是，與百度“文心一言”不同，“星火”在發布會現場的展示并非錄播，而是國內少有的全程真機互動、現場實測。

此外，發布會的最后甚至放出了二維碼，現場收集觀眾問題進行答復，可見訊飛對于“星火”的信心。

從現場體驗來看，訊飛“星火”總體表現可圈可點。

“星火”對于不少邏輯問題都能給出準確的答復，表現十分穩定；使用語音輸入進行交互的特性，搭配獨有的“圖片內容翻譯”功能，更是充分發揮了科大訊飛的特長。

按照通用認知大模型的評測體系來看，訊飛已在文本生成、知識問答、數學能力三個方面超越ChatGPT，同時科大訊飛還進一步公布大模型年內三次升級時間點，預計10月底將整體趕超ChatGPT。

更重要的是，科大訊飛通過對教育、醫療、交互和辦公領域的深度訓練生成的專用大模型，顯著提高了認知大模型在細分領域的實用性，力求讓自身的能力能夠被各行各業低門檻地應用。

“星火”率先在細分行業實現深度應用成了國內率先應用落地的AI大模型 。

沒有盲目追趕第一波大模型浪潮的科大訊飛，這一次將“應用落地”作為自己的答卷。

大模型的開發對各方面能力要求極高，各大廠重金入局

中小企業的機會在哪里？

從2月下旬MOSS發布到現在的兩個多月里，除了以上熱度最高的百度“文心一言”，訊飛“星火”，國內目前已發布的大模型已經超過20個。

在“文心一言”正式發布的同月，就有兩個相對不太引人關注的大模型推出：3月14日，瀾舟科技推出孟子對話大模型（MChat）。

同樣在3月14日，清華大學開源了60億參數的ChatGLM-6B模型，該模型結合了模型量化技術，用戶可以在消費級的顯卡上進行本地部署。

4月，大模型的浪潮繼續翻滾。

視覺技術起家的商湯科技于4月10日發布“日日新SenseNova”大模型體系，為行業提供創新引擎。

商湯科技的發布會后一天，阿里巴巴在北京發布“通義千問”，并表示阿里巴巴所有產品未來將接入“通義千問”大模型，進行全面改造。

在大廠消息異常喧鬧之下，一些垂直領域的大模型也在相對低調地發布著。

上海人工智能實驗室發布全球中期天氣預報大模型“風烏”，該模型首次實現在高分辨率上對核心大氣變量進行超過10天的有效預報，并僅需30秒即可生成未來10天全球高精度預報結果。

4月12日，致力于自動駕駛的人工智能技術公司毫末智行發布自動駕駛生成式大模型DriveGPT“雪湖·海若”。

4月26日，專注于企業級人工智能的軟件公司第四范式向外界展示了其GPT大模型產品“式說3.0”，并首次提出AIGS戰略（AI-Generated Software）：以生成式AI重構企業軟件。

總的來看，在中國，布局ChatGPT的企業有兩種類型：第一種是傳統的互聯網大公司，第二種是一些初創企業。

然而，目前市場上的初創公司似乎已經錯過了布局大模型的初始創業階段。

主要原因在于，從0開始打造生成式AI企業能否取得成功，跟時機、底層的生態支撐度，還有創始人自身的閱歷、經驗、視野、資源的調動能力息息相關。

更重要的是，要做出大模型，需要長時間的巨額資金投入。

要想跑通一次100億以上參數量的模型，至少要做到“千卡/月”這個級別，即：用1000張GPU卡，然后訓練一個月。即使不用最先進的英偉達A100，按照一張GPU五萬元的均價計算，1000張GPU意味著單月5000萬的算力成本，這還沒算上算法工程師的工資。

更何況，無論是深度學習還是自然語言處理，都需要多年的堅持和積累，沒有哪家公司能在幾個月內突擊做出“文心一言”這樣的大語言模型。

可以說，大模型訓練是暴力美學，需要有大算力、大數據和大成本，每一次訓練任務都耗資巨大。

能承受如此巨大的前期投入的初創公司也沒幾個。

因此，對于資金和算力實力有限的大部分創業者和企業來說，從頭開始做ChatGPT和“文心一言”這樣的基礎大模型并不是一個經濟可行的選擇，基于通用大語言模型搶先開發重要的應用服務，或許才是真正的機會。

我們也在知識星球里評測過某一款國產大模型，并會繼續分享AI輔助辦公的知識，歡迎大家進來玩。

大家一起來學習大模型，但千萬不要用來作惡。

文章用圖：圖蟲創意

本回完

關鍵詞：

責任編輯：hnmd003

相關閱讀

推薦閱讀