GPT-5攤上大問題：燒了數(shù)億美金后OpenAI發(fā)現(xiàn)牛吹早了

　　財(cái)聯(lián)社12月23日訊(編輯 馬蘭)OpenAI的GPT項(xiàng)目一直是業(yè)界最為關(guān)注的話題，然而在該公司近期熱火朝天的宣傳之中，備受矚目的GPT-5卻消失無蹤。

　　去年11月，OpenAI首席執(zhí)行官奧爾特曼曾強(qiáng)調(diào)，不會(huì)在2024年推出任何名為GPT-5的模型。但知情人士透露，OpenAI最大投資者微軟曾預(yù)期在2024年年中時(shí)看到該模型。

　　有人還稱，距今為止，該項(xiàng)目已經(jīng)籌備超過18個(gè)月，總體而言，這個(gè)代號(hào)為Orion的未來GPT-5模型的氣氛已不太友好。該模型已經(jīng)進(jìn)行了至少兩次大規(guī)模訓(xùn)練，每次訓(xùn)練都需要數(shù)月時(shí)間來處理大量數(shù)據(jù)，但每次訓(xùn)練后都會(huì)出現(xiàn)新的問題。

　　了解該項(xiàng)目的人士還指出，Orion目前充其量只比OpenAI的公開模型要好一些，距離該公司所謂的“重大飛躍”還很遙遠(yuǎn)，其也無法說服投資人投入目前的巨大成本。據(jù)估計(jì)，該模型為期六個(gè)月的訓(xùn)練僅在計(jì)算成本方面就“燒”了約5億美元。

　　危險(xiǎn)的是，OpenAI在10月的最新估值達(dá)到1570億美元，受到了投資者的繼續(xù)追捧，但分析人士指出這一估值很大程度上基于奧爾特曼的樂觀預(yù)測(cè)，即GPT-5將在各類學(xué)科和任務(wù)上表現(xiàn)出博士水準(zhǔn)，較目前GPT-4的高中生水平實(shí)現(xiàn)質(zhì)的飛躍。

　　這意味著如果GPT-5不能在一個(gè)合理的時(shí)間內(nèi)給出一個(gè)合理的亮相，那么OpenAI的繁榮可能將如泡沫般被刺破，成為反噬噩夢(mèng)的開始。

　　數(shù)據(jù)“燃”盡

　　OpenAI原本的想法是，讓GPT-5有能力解鎖新的科學(xué)發(fā)現(xiàn)，并完成諸如預(yù)約或航班預(yù)定等類人類的決策行為，且其犯錯(cuò)的概率更小，或者至少對(duì)AI幻覺有所警惕。

　　但設(shè)想是設(shè)想，內(nèi)部人士透露OpenAI的預(yù)期有些過于樂觀，僅在數(shù)據(jù)問題上，GPT-5就面臨著難以想象的挫折。

　　人工模型在訓(xùn)練過程中需要不斷測(cè)試，可能持續(xù)很長一段時(shí)間。在此期間，模型將輸入數(shù)萬億個(gè)單詞片段，即所謂的token。而未來的人工智能模型吞噬token的數(shù)量將會(huì)是目前模型的十倍，甚至更多。

　　GPT-4的訓(xùn)練就使用了大約13萬億個(gè)token，按照一千人每天協(xié)5000個(gè)單詞計(jì)算，這種規(guī)模的團(tuán)隊(duì)在幾個(gè)月才能生產(chǎn)十億個(gè)token，而其花費(fèi)據(jù)奧爾特曼稱超過1億美元。

　　因此GPT-5模型的最關(guān)鍵問題在于：數(shù)據(jù)不足。此前的模型使用的是新聞文章、社交媒體貼文和科學(xué)論文，但研究人員透露，公共互聯(lián)網(wǎng)上的數(shù)據(jù)已經(jīng)不夠，他們需要更多樣且更高質(zhì)量的數(shù)據(jù)，來讓GPT-5變得更加強(qiáng)大。

　　難以調(diào)頭

　　OpenAI目前的解決方案是從頭開始創(chuàng)建數(shù)據(jù)，如招聘人員編寫新的軟件代碼或解決數(shù)學(xué)問題，以供Orion學(xué)習(xí)。這些員工之中部分是軟件工程師，部分是數(shù)學(xué)家，必要時(shí)他們還需要向Orion解釋自己的工作。

　　還有一個(gè)方法是讓現(xiàn)有的人工智能創(chuàng)造數(shù)據(jù)來訓(xùn)練Orion，比如OpenAI的o1。但研究人員又指出，用人工智能產(chǎn)出的數(shù)據(jù)喂給人工智能通常會(huì)引發(fā)故障或?qū)е聼o意義的答案。

　　總之，在讓Orion變成名副其實(shí)的GPT-5的道路上，OpenAI已經(jīng)感到心累，在實(shí)現(xiàn)質(zhì)的飛躍之前，人工智能先倒在了量的累積上。更無奈的是，OpenAI今年持續(xù)的人才流失加深了這一困境。

　　從首席科學(xué)家Ilya Sutskever到首席技術(shù)官M(fèi)ira Murati再到上周四辭職的知名研究員Alec Radford，OpenAI的各路大神紛紛離巢，這為“難產(chǎn)”的GPT-5再添一層濃重的悲觀色彩。

　　遲遲看不到結(jié)果的GPT-5也難免被OpenAI內(nèi)部的商業(yè)化項(xiàng)目，如Sora，爭(zhēng)奪走有限的計(jì)算資源。這同時(shí)也是一種警告，即Orion沒有多少從頭再來的機(jī)會(huì)，因?yàn)镺penAI已經(jīng)明確了其想要盈利的雄心。