首頁 > 智能 > 正文

對話王小川：大語言模型是起點，AGI時代已經到來世界熱推薦

2023-04-17 21:21:15來源：智嗨網

撰文 | 蘇舒

(資料圖片)

編輯 | 李信馬

題圖 | 官方圖片

中國的互聯網圈，科技圈的少有這么熱鬧的時候。

上周，王小川在搜狐網絡大廈召開了一場發布會，重點講了一件事：我，王小川要加入中國大模型創業大軍。

為什么說是創業大軍呢？因為就在發布會樓上的辦公區，美團聯合創始人王慧文也在此開啟了大模型創業項目“光年之外”。除了他們之外，還有其他不少創業者們都涌進了大模型創業賽道。

緊接著，王小川在接受媒體專訪時，被動調侃了百度的文心一言，隨后百度回嘴，一不小心互聯網口水戰昔日重現。

這樣的“真性情口水戰”讓寂靜許久的互聯網圈、科技圈波瀾四起。這不經讓人想起了早些年，也是這群人，站在時代的風口，躊躇滿志揮斥方遒，開啟了互聯網十年黃金期。

而現在，又是這樣一批人，想要抓住AI的風口再創輝煌，就這樣，大模型賽道是真的靠著這樣一群人，熱鬧了起來。這種熱鬧，讓不少互聯網人、創業者甚至媒體人淚目。

近日，DoNews對話欄目《方桌說》對王小川進行了專訪。我們試圖從王小川的過去，找尋到他做大模型的底氣，然后去發現，王小川對大語言模型的理解究竟如何，也嘗試去向他發問，對于未來的考慮。

在采訪中，我們抽絲剝繭的發現，王小川去做大語言模型，可以算是“順勢而為”。王小川擁有的技術實力、產品理念、學界力量以及極致的技術主義信念，這些都是他義無反顧去做大語言模型的底氣。

我將這樣一個問題拋給王小川，從在清華讀計算機系到搜狗工作，以及到現在去做大模型方向的創業，可以總結說你生命中的底色就是AI么？

王小川給出的回答是，對我自身來講，探索生命的意義是我永恒的主題。廣義上生命分幾種，AGI主要指向創造智力。人最根本的需求是“生存”，我的公開信中也反復提到繁榮和延續人類文明，“繁榮”指向“生”，“延續”指向“存”。我說的“生命”，既不是個體的生命，也不是AGI，而是整個人類文明——讓人類文明能夠更繁榮和延續是我的終極理想，我希望向文明、向生命致敬。

這似乎也說明，搜狗創業也好，大模型創業也好，都是王小川手上的利刃，它們最終目的，是雕刻出一張寫滿人類文明，以生命為底色的畫卷。

以下是采訪原文，為了便于閱讀，我們在不改變原義的基礎上，做了小幅度的調整。

1、過去：“我與AI結緣已久”

Q：您是從什么時候接觸的到AI的？那個時候，您對它有什么樣的理解么？

A：我本人在大學的時候，從大一開始就在學習人工智能，到了2016年AlphaGo的出現，徹底將AI帶入了大眾的視野。當時不只是技術本身的一個突破，在以前，人工智能只存在于高校，現在參與人工智能的企業是以前的數倍，從2016年開始人工智能開始真正走向了實用，但那時的AI只能算作數據智能，不能叫做人工智能。

到了2021年，AlphaFold的出現，讓我們又能夠明白一件事情，一個基因如何把它變成了一個蛋白質三維結構，這種技術突破就再一次震驚世界。

而最初看到ChatGPT相關的論文時，我沒把它理解成一個嚴肅科學問題，比如你問個問題它答錯了，但當你要求它“think step by step”，它就答對了，我最初覺得很好笑，直到今年1月底我開始認真看，才發現通用人工智能時代真的到了。

Q：在搜狗的時候，您是如何將AI與業務結合起來？那個時候對AI技術應用的思考是什么樣的？

A：很多人可能對搜狗有誤解，覺得搜索公司不夠AI，其實搜狗現在都有12000片GPU在跑著，70%是做推理的，搜狗是非常AI化的公司。搜狗的核心是語言相關工作，NLP是基本功，在大量文本數據中篩選高質量數據的方法和大模型是完全一樣的。所以其實從搜狗的建立之初，我們就致力于利用AI技術讓大家更好地表達與獲取信息。2019 年，我們把此前的使命跟愿景升級為“讓表達與獲取知識更簡單”。

而今天其實我們說什么產品是能夠把一個這個整個互聯網的知識裝進來，變成一個超級APP？其實 web 現在就三個東西，一個是現在ChatGPT，一個搜索，還有就是輸入法，就這 3 個東西。整個互聯網的信息裝在里面形成的一個產品，一個幫助你更好地表達的，一是幫好你更好地獲取內容的，但今天ChatGPT在表達上遠超過輸入法，在回答問題的理解深度上也超過搜索，基本上是我們原來這個做事情的巨大的一種跨越或升級版。

Q：離開搜狗后的兩年，您做了什么？

A：離開搜狗的這一年半，我開始釋放自己的這樣一種經歷，更多去關注生命相關的問題。因為在我讀研究生期間，我當時做的課題就是跟基因測序拼接算法相關的，研究基因后面的這么一個法則。當時,我就看到一件事情是人的生命的復雜性遠遠超過了物理世界。我們都知道是牛頓是把物理問題變成了數學問題，通過他對萬有引力的探索，通過他的牛頓三大定律，我們可以用數學精確的去刻畫物理世界，但生命我們還做不到。

所以我很好奇的一點，就是如何用數學模型怎么去刻畫生命，這是從我研究生期間一直帶來的這樣一個困惑。AlphaGO和AlphaFold的這樣一種成功，更激發了我們用這種計算機用深度學習方法去理解生命。所以這一年半的時間里面，我都花了很多精力里面去研究這種生命科學的問題，希望對于大眾健康產生更多的貢獻。

Q：在此前您對GPT的，對大語言模型有關注么？

A：其實當時 2021 年的時候，搜狗搜索技術團隊在CLUE（中文語言理解測評基準）的任務比賽中，基于自研的中文預訓練模型擊敗了包括華為盤古在內的一眾強勁對手，在CLUE總榜、分類總榜、閱讀理解榜再次獲得第一名，刷新業界記錄。當時我們就已經訓練過百億的模型了。

Q：ChatGPT發布的那一天您在做什么？

A：這個確實記不住了。但首先來講，我是覺得特別激動的，對于語言的理解這塊，科學家們真的把這事給突破了。

Q：您此前一直非常關注AlphaGo，那現在的ChatGPT就是當初的AlphaGo？并且都開創了不一樣的時代？

A：Alphago 我覺得確實是給我們信心了，就是深度學習把這個路給走通了。其實我們有兩種理念，一種理念就是讓機器自己學習，就是重演一部進化史。但 Alpha Zero 其實已經在一個垂直領域里面做到了最強。所以我覺得AlphaGo的出現，第一讓人對人工智能有了信心，第二是讓人能夠理解到通用人工智能如果真的完成，能夠做什么事情。

而ChatGPT的出現，可以說是讓人工智能照進了現實，通用人工智能時代真的到來了。我們正在創造一種新的生命，它和石頭、蒸汽機、電腦的出現都不一樣，以前都是工具，但AGI不是工具了——它是你的伙伴，新的朋友，是人類進化的下一個階段。

2、現在：“人才是我現在更需要考慮的問題”

Q：為什么一定要下場去做大語言模型？

A：隨著大模型騰空出世的話，我們開始發現人跟機器能夠產生很好的對話，甚至機器能夠去開始掌握世界的知識。我也意識到在解決生命健康問題的時候，那么不只是研究人的這樣一個生命的結構，而是人跟外部的這么一個這種醫生，他能夠形成新的一種互動，能夠有新的方式去幫助人更加健康。

因此我認為大模型在醫療領域同樣會產生作用。坦白講的話，我們人還沒弄明白生命本身數學化的問題，但是我們開始發現我們能夠讓語言變成了一個書寫模型的問題，這跟我的老本行特別相關。

因此我認為在解決生命的路徑當中，把語言變成數學問題，也成為我們該去這樣的一個去應用突破的一個支點。有這些方式里面，我們不僅可以能夠去為生命科學里面建電機，同時我們就已經可以通過它去構造你的這種虛擬的數字醫生，這種數字的老師或者數字的律師也已經產生很大的應用。

我認為這件事情能夠承接未來對生命的探索，并且今天就已經對于怎么讓人跟機器更好相處，產生它實際的意義，這是我現在這次下場中間很大的一個原因。

Q：目前項目進展如何？

A：4到月底我們差不多就接近50人了，今年年中會有一個500億參數的模型訓練出來。年底我們就可以做到中國最好的大模型，可以達到GPT-3.5以上的水平。當然，這不代表我們中間沒有產品發出來。

Q：從萌生創業想法到現在，遇到過最困難的事情是什么？

A：人才。我現在最關心的就是，有沒有人愿意來一塊兒干，能和一群有理想的人，用極致的技術驅動創造出顛覆性的智能產品。我在公開信中也提到，這一次百川智能將借助語言AI的突破，構建中國最好的大模型底座，并在搜索、多模態、教育、醫療等方面增強，幫助大眾輕松、普惠的獲取世界知識和專業服務。

也歡迎大家幫我們推送投遞建立的郵箱：

80@baichuan-inc.com;

90@baichuan-inc.com；

95@baichuan-inc.com;

00@baichuan-inc.com；

oier@baichuan-inc.com。

Q：5000萬美元啟動資金，您認為能支撐到創業的哪個階段，具體會用在哪些地方？比較有意思的是，現在宣布進軍大模型創業的大佬們，大多是拿到了5000萬美元的啟動資金，這是一個入門的標準線么？為什么？

A：無論是多少錢，比較務實的思考是如何迅速啟動，設定合理的里程碑，并且用最高的效率，以及超預期的結果到達里程碑，那么后續的資源才會源源不斷。

同時，這個階段人比錢更重要。這個領域不會像之前打車、外賣一樣，錢能直接轉化成市場份額——今天的錢你可以買樓，你可以買卡，你可以買人，但它都不直接變成市場份額，也不一定有那么多網絡效應。

Q：有下一輪融資的計劃么？

A：面向機構的融資將會在近期啟動

Q：大模型“燒錢”，不管是算力、算法、人才、數據都需要源源不斷的錢，目前在您的規劃中來看，投入多少錢后可以看到一個“結果”？

A：我大概估算過，只是從0到1起步，5000萬美元就夠了，但要持續做到最好，大概需要3-20億美元。

Q：現在無論是大廠也好，創業者也罷，還有不少專注于人工智能的企業，都在做大模型，包括多模態的，圖生文、或者大語言模型等等，您認為您自己和其他創業者不同的點在哪里，未來的競爭優勢又在哪里？

A：因為今天首先是語言模型，搜索公司做語言確實有先天優勢。而且搜索公司的經驗是比較完整的，從數據清洗、轉化成模型，到最后上線提供服務、甚至在數據安全這一塊的經驗，其實都干過。公司的組織結構和評價體系，也都有相關性。所以搜索公司起步的時候的確是有優勢的。

搜狗的核心是語言相關工作，NLP是基本功，在大量文本數據中篩選高質量數據的方法和大模型是完全一樣的；其次，在評價方法上，從平臺輸入一個問題，評價它的反饋答案好不好的標準和搜狗也相對一致，所以我們在一頭一尾的原始數據治理上相對有更多經驗，也更擅長對生成內容的好壞做評價。當然，大模型會涉及獨有的經驗和算法，但我們學起來也會很快。

相對于OpenAI，他們可以用幾萬張卡跑模型去通向AGI，但有些深水區他們就不碰了，比如搜索、醫學，他們可能躲著走，但我要去碰這些東西，我需要更考慮落地應用。我們雖然理想比OpenAI慢半步，但我們相信我們在AGI的具體應用落地上會快半步。

Q：您覺得誰會做出中國版的ChatGPT？您之前在采訪的時候說，要做中國最好的模型？怎么定義中國最好的模型？

A：參數量、測試集的效果，Chat產品體驗。

Q：ChatGPT爆火背后，不少人也關注到了數據隱私與安全，前有三星公司因為接入ChatGPT導致芯片機密泄露一事，后有意大利就數據安全和數據隱私的問題，宣布禁用ChatGPT。ChatGPT大爆發背后，如何平衡數據隱私安全和AI能力之間的關系？

A：我覺得中國的大模型創業者首先要考慮活下去，做出最好的大模型。

3、未來：“用技術理想主義的信念去做普惠AI”

Q：您之前提到，到年底產品將會對標ChatGPT3.5，您認為就目前來說，國內已經有達到ChatGPT3.5標準的大模型么？

A：我覺得國內大模型一年內可能追上GPT-3.5。

Q：您之前也談到，一直非常關注應用層，未來對大模型應用的領域有哪些？未來會做什么樣的一個應用呢？

A：什么行業知識密集，什么行業就適合大模型。教育服務高知群體，醫學生要學8年才能走進工作崗位，這明顯是知識密集的兩個領域。會是C端的應用，到時候各位就會看到。

Q：創業九死一生，您已經準備好面對接下來的“硬仗”了么？您對接來下想要入行或者正在入行的創業者有哪些建議？還有哪些可以進行的創業方向？

A：我這算是二次創業吧。我是從“人本”來看的——人究竟該怎么跟機器相處，這是我關心的問題。從這個角度出發，我更知道C端要什么。