每日經(jīng)濟(jì)新聞 2024-02-26 17:33:03
◎月之暗面認(rèn)為,通往通用人工智能的發(fā)展中,長上下文(long-context)會是一個(gè)很重要的點(diǎn)。某種程度上看,所有問題都是上下文長度問題。
每經(jīng)記者 陳婷 楊昕怡 每經(jīng)編輯 劉雪梅
當(dāng)OpenAI的文生視頻模型Sora給世界帶來新一波的沖擊時(shí),國內(nèi)對人工智能領(lǐng)域的投資熱情也再次被點(diǎn)燃。
2024開年,有市場消息稱,AI創(chuàng)業(yè)公司“月之暗面”已完成新一輪超10億美元融資,投資方包括紅杉中國、小紅書、阿里,老股東跟投。美團(tuán)也曾參與了該公司上一輪融資。本輪融資后,月之暗面估值達(dá)25億美元。
若以10億美元的融資規(guī)模來計(jì),該輪融資是自ChatGPT掀起人工智能熱潮后,國內(nèi)AI大模型公司迄今獲得的單輪最大金額融資。
為什么月之暗面能成為一眾資方的追逐焦點(diǎn)?英諾天使基金合伙人王晟告訴《每日經(jīng)濟(jì)新聞》記者,對于早期投資的AI項(xiàng)目,考察的核心因素主要還是團(tuán)隊(duì)。
月之暗面方面在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)表示,目前團(tuán)隊(duì)超80人,其中大部分是技術(shù)人員,“每個(gè)月都有在全球某個(gè)領(lǐng)域有著顯著影響力的人加入。”
“歷史上所有的架構(gòu)演進(jìn)本質(zhì)上都是在提升有效的context length(文本長度)。”在產(chǎn)品方面,像創(chuàng)始人楊植麟在今年2月對媒體表述的這樣,月之暗面現(xiàn)已推出的產(chǎn)品Kimi智能助手正是以領(lǐng)先的長文本處理能力受到了外界和資本的關(guān)注。未來,月之暗面還想在大模型領(lǐng)域做出To C的超級應(yīng)用。
很難想象,作為國內(nèi)AI領(lǐng)域最大單筆融資的獲得者,這家創(chuàng)業(yè)公司還未滿一周歲。
2023年3月1日,年輕的“天才AI科學(xué)家”楊植麟創(chuàng)辦了他的第二家AI公司月之暗面。和這家明星創(chuàng)業(yè)公司一樣,楊植麟有著似乎和年紀(jì)不太匹配的學(xué)術(shù)成就和創(chuàng)業(yè)經(jīng)歷。
2015年從清華計(jì)算機(jī)系畢業(yè)后,楊植麟前往美國卡內(nèi)基-梅隆大學(xué)攻讀博士,師從蘋果AI研究負(fù)責(zé)人Ruslan Salakhutdinov和谷歌首席科學(xué)家William Cohen,并與多位圖靈獎得主合作發(fā)表論文。
月之暗面向《每日經(jīng)濟(jì)新聞》記者介紹,楊植麟是Transformer-XL與XLNet兩篇重要論文的第一作者,兩者均為大語言模型領(lǐng)域的核心技術(shù)。同時(shí),他也是中國35歲以下NLP(自然語言處理)領(lǐng)域引用最高的研究者。
記者從業(yè)內(nèi)人士處了解到,2016年,楊植麟曾參與創(chuàng)立循環(huán)智能(Recurrent AI),2021年12月,循環(huán)智能宣布完成由博裕投資和紅杉中國聯(lián)合領(lǐng)投的3800萬美元新一輪融資,老股東金沙江創(chuàng)投、靖亞資本、真格基金、萬物資本等跟投。報(bào)道顯示,循環(huán)智能的技術(shù)團(tuán)隊(duì)曾與華為云聯(lián)合發(fā)布了國內(nèi)首個(gè)千億中文語言模型“盤古NLP大模型”。
此外,月之暗面的兩位聯(lián)合創(chuàng)始人周昕宇和吳育昕,也均出身清華,擁有Meta、曠視科技等知名科技公司的工作經(jīng)驗(yàn)。
關(guān)于現(xiàn)有團(tuán)隊(duì)規(guī)模,月之暗面方面表示,目前團(tuán)隊(duì)超80人,其中大部分是技術(shù)人員,囊括了NLP、CV(計(jì)算機(jī)視覺)、RL(強(qiáng)化學(xué)習(xí))、Infra(基礎(chǔ)架構(gòu))方面的新生代人才,“每個(gè)月都有在全球某個(gè)領(lǐng)域有著顯著影響力的人加入。”
英諾天使基金合伙人王晟在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)表示,對于早期投資的AI項(xiàng)目,考察的核心因素是團(tuán)隊(duì),“我們對項(xiàng)目的收入、利潤沒有什么要求,最重要的本質(zhì)還是人。”
考慮到月之暗面的核心成員參與過Google Gemini、Google Bard、盤古NLP、悟道等多個(gè)大模型的研發(fā)項(xiàng)目,它成為資本的爭搶對象也不奇怪了。
有大模型創(chuàng)業(yè)公司CTO對《每日經(jīng)濟(jì)新聞》記者表示,早在楊植麟創(chuàng)立循環(huán)智能和研發(fā)華為盤古模型的時(shí)候,便對其團(tuán)隊(duì)有所關(guān)注。
企查查顯示,月之暗面在2023年6月首獲超2億美元融資,投資機(jī)構(gòu)包括真格基金和紅杉中國,彼時(shí)估值3億美元。8個(gè)月后,月之暗面斬獲超10億美元融資,估值躍至25億美元。
除了“頂配”的創(chuàng)業(yè)團(tuán)隊(duì),月之暗面也交出了外界看來還算出色的研發(fā)答卷。
2023年10月,月之暗面推出了首款大模型產(chǎn)品Kimi智能助手。月之暗面方面介紹,與其他大模型產(chǎn)品相比,該產(chǎn)品的主要技術(shù)優(yōu)勢在于超長的無損上下文處理能力和卓越的指令遵循能力。
據(jù)了解,Kimi智能助手支持輸入20萬漢字,按OpenAI的計(jì)算標(biāo)準(zhǔn)約為40萬token(模型可以理解和生成的最小意義單位),是彼時(shí)全球大模型產(chǎn)品中所能支持的最長上下文輸入長度。同期大模型Claude支持的最大長文本為10萬token。
“在投資機(jī)構(gòu)和大廠的內(nèi)部綜合評測中,Kimi智能助手的中文實(shí)力直追OpenAI,在理解和生成中文內(nèi)容方面表現(xiàn)出色。”月之暗面方面向記者強(qiáng)調(diào)了該產(chǎn)品的中文處理能力優(yōu)勢。
“AI產(chǎn)品榜(aicpb.com)”統(tǒng)計(jì)的數(shù)據(jù)顯示,Kimi智能助手在2024年1月的訪問量達(dá)142萬,在大模型創(chuàng)業(yè)公司的“AI ChatBots”產(chǎn)品中居于首位,月環(huán)比增長率為94.1%,增長速度也在大模型創(chuàng)業(yè)公司中排名第一。
另外值得關(guān)注的是,不同于市面上大多數(shù)大模型公司選擇做B端產(chǎn)品,Kimi智能助手的定位關(guān)鍵詞之一是“to C”。
楊植麟曾向媒體表示,AI Native的產(chǎn)品會在to C領(lǐng)域產(chǎn)生新的流量入口,成為AI時(shí)代的超級App,“這是一個(gè)非常大的機(jī)會”,他說,“To C就是一個(gè)自然而然的選擇”。
為什么選擇做To C領(lǐng)域,月之暗面向《每日經(jīng)濟(jì)新聞》記者解釋,因?yàn)槟P偷哪芰€在快速迭代中,國內(nèi)市場的B端產(chǎn)品往往需要私有化部署和定制化開發(fā),而基于現(xiàn)有模型的某個(gè)版本做私有化部署和定制化的開發(fā),將會導(dǎo)致B端產(chǎn)品的能力和用戶體驗(yàn)完全跟不上模型能力的快速提升,很快就會被淘汰,最終浪費(fèi)大量的人力、物力和財(cái)力資源。
王晟也對《每日經(jīng)濟(jì)新聞》記者表示,投資人去年都在投資算力、芯片等基礎(chǔ)設(shè)施,今年會更關(guān)注AI能力的大幅度增長和成本的下降,應(yīng)用端也會有機(jī)會開始出現(xiàn),尤其是Agent(智能體),“因?yàn)锳gent是和過去移動互聯(lián)網(wǎng)完全不一樣的東西,大家會率先開始在Agent中找相關(guān)的應(yīng)用落地。”
同時(shí),To C領(lǐng)域也是一眾互聯(lián)網(wǎng)大廠的AI探索方向。
AI與電商的結(jié)合是阿里巴巴當(dāng)前的加碼重點(diǎn)。記者了解到,2024年起,淘寶天貓將全量向商家陸續(xù)發(fā)布十款智能工具和服務(wù)。淘寶還發(fā)布了“AI生態(tài)伙伴計(jì)劃2.0”,提供1億元計(jì)算資源補(bǔ)貼、接口費(fèi)用減免以及免傭等激勵(lì)政策,進(jìn)一步豐富并擴(kuò)大AI開放生態(tài)。
此外,阿里云目前已在IaaS+PaaS層形成完善的AI基礎(chǔ)設(shè)施,有觀點(diǎn)認(rèn)為,阿里云已經(jīng)立志從為大模型提供云計(jì)算能力中找到機(jī)會。
而據(jù)去年5月消息,小紅書從該年3月份起籌備了獨(dú)立的大模型團(tuán)隊(duì),核心員工來自廣告業(yè)務(wù)的NLP技術(shù)團(tuán)隊(duì)。然而,小紅書在大模型上并沒有明確進(jìn)度,只在電商業(yè)務(wù)上加快步伐。不過,去年底,小紅書在主APP中內(nèi)測了一個(gè)名為“Davinic”(達(dá)芬奇)的AI聊天功能。
去年12月,小紅書COO柯南在一次媒體對話中提到,去年比較意外的一個(gè)發(fā)現(xiàn)就是搜索價(jià)值,大量的新用戶因?yàn)樗阉鞫M(jìn)入小紅書。她表示,接下來,如何用AI更好地驅(qū)動搜索非常重要。
技術(shù)的突破造就了ChatGPT的一炮而紅,對于以技術(shù)為主打的創(chuàng)業(yè)公司而言,技術(shù)始終是其能否保持長期領(lǐng)先優(yōu)勢的關(guān)鍵。
長文本,是月之暗面選擇的突破方向。
楊植麟在2023年11月的一次外部演講中認(rèn)為,如今基于Transformer架構(gòu)的大模型,是“新時(shí)代的計(jì)算機(jī)”,參數(shù)數(shù)量決定計(jì)算復(fù)雜度,上下文長度決定內(nèi)存大小——因此,上下文長度是毫無疑問的關(guān)鍵所在。
他認(rèn)為,規(guī)?;峭ㄏ駻GI的核心,而隨著模型不斷迭代,長文本會逐漸取代微調(diào),成為定制模型的關(guān)鍵技術(shù)。
月之暗面也對《每日經(jīng)濟(jì)新聞》記者表示,通往通用人工智能(AGI)(的發(fā)展中),長上下文(long-context)會是一個(gè)很重要的點(diǎn)。在其看來,某種程度上看,所有問題都是上下文長度問題。
那么,Kimi智能助手支持20萬漢字的長文本輸入,主打無損記憶。這一突破究竟有多難?
上述大模型創(chuàng)業(yè)公司CTO對記者表示,月之暗面對文本長度的突破有一定難度,但途徑也有多種,較成熟的有位置編碼的外拓,或者工程上的切片召回策略等。他表示,具體到月之暗面,由于沒有披露這塊細(xì)節(jié),暫時(shí)無法得知其實(shí)現(xiàn)方法。
北京市社會科學(xué)院管理研究所副研究員王鵬對《每日經(jīng)濟(jì)新聞》記者表示,支持超過20萬字的長文本輸入在技術(shù)上確實(shí)是一個(gè)挑戰(zhàn),但是否算作重大突破,要取決于具體應(yīng)用場景。
他提到,例如,在處理長篇小說、歷史文檔或復(fù)雜的法律文件時(shí),能夠處理如此長的文本輸入將大大提高AI的理解和分析能力。
“這要求模型不僅要有強(qiáng)大的計(jì)算能力,還需要有優(yōu)秀的內(nèi)存管理能力來保持對長文本的連貫理解。”王鵬說。
深度科技研究院院長張孝榮對《每日經(jīng)濟(jì)新聞》記者表示,支持超過20萬字的長文本輸入確實(shí)可以算是一個(gè)技術(shù)上的突破。在自然語言處理領(lǐng)域,處理長文本一直是一個(gè)挑戰(zhàn),長文本需要大模型有更強(qiáng)的“記憶”能力。當(dāng)大模型有了這種長文本能力,才能更方便地處理小說、財(cái)報(bào)等。
張孝榮告訴記者,大模型能夠處理長文本輸入,可以帶來多方面的影響。首先,這可以提高自然語言處理的準(zhǔn)確性和效率,使得模型能夠更好地理解和生成自然語言文本。其次,這也為一些需要處理大量文本數(shù)據(jù)的任務(wù)提供了可能,比如文獻(xiàn)分析、文本挖掘等。
此外,長文本處理技術(shù)的發(fā)展,還可以推動自然語言處理在其他領(lǐng)域的應(yīng)用,比如更加真實(shí)的智能客服、通過多篇財(cái)報(bào)進(jìn)行市場分析、處理超長法務(wù)合同文本、基于長篇小說進(jìn)行角色扮演等。
當(dāng)創(chuàng)業(yè)公司以技術(shù)馳名,注定著它需要面對保持技術(shù)領(lǐng)先性的壓力。與此同時(shí),好技術(shù)如何變成好生意,同樣是一個(gè)需要在探索中回答的難題。對于月之暗面而言,完成迅速崛起不過是萬里跋涉第一步。
在演講中,楊植麟曾表示,“爬樓梯”是月之暗面真正想做的事情。
他發(fā)現(xiàn),做大模型的主要是兩種人,一種是看風(fēng)景的人,用AGI解鎖了很多可能性,另一種是勇攀高峰的人。
“勇攀高峰,其實(shí)是爬樓梯,但不代表說我們不看風(fēng)景,而是說在你看風(fēng)景的同時(shí),你可能要花更多的精力,花更多的時(shí)間去以周為始的思考:到底月球的背面是什么?”楊植麟說。
如需轉(zhuǎn)載請與《每日經(jīng)濟(jì)新聞》報(bào)社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報(bào)社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關(guān)注每日經(jīng)濟(jì)新聞APP