DoNews3月28日消息,28日晚間,360董事長周鴻祎發(fā)微博稱,大家前段時(shí)間都在卷文本長度,很快100萬字就是標(biāo)配了。最近360AI瀏覽器也火了一把,原因是擁有長文本能力。所以他打算把這個(gè)能力開源,讓國內(nèi)所有大模型都能支持超過20萬字,大家不用再各自閉門造車,重復(fù)發(fā)明輪子。
周鴻祎稱,他是開源的信徒,信奉開源的力量。
周鴻祎微博內(nèi)容如下:
我是開源的信徒,堅(jiān)信開源是偉大的力量
周鴻祎
一談到大模型,所有人都盯著 OpenAl,實(shí)際上大模型在美國的發(fā)展也不是只有 OpenAl 這一條路,有人是把它當(dāng)成曼哈頓工程,像原子彈一樣壘國家級(jí)的算力,最后走向 AGI,這條路我是非常敬仰的。但是,你可以看到還有另外一條路,通過開源的力量推動(dòng)大模型的發(fā)展。
所以這兩天我們準(zhǔn)備開源 360 智腦的一個(gè) 70 億參數(shù)大模型,這個(gè)開源大模型有什么特點(diǎn)?除了在國內(nèi)各種刷榜操作也能排到前三名外,最重要的是把 360k的長文本能力開源了。
開源的原因有三個(gè)
第一,我是開源的信徒,信奉開源的力量。大家前段時(shí)間都在卷文本長度,20萬字、50萬字,很快 100萬字就是標(biāo)配了。所以我們把這個(gè)能力開源了,讓國內(nèi)所有大模型都能支持超過20萬字。
當(dāng)然我們?yōu)榱擞憘€(gè)口彩,定了360k,也就是 50 萬字左右。讓你的大模型也具備一次讀一本《三國演義》或《三體》的能力。發(fā)揮開源的力量,讓大家不用再各自閉門造車,重復(fù)發(fā)明輪子。我也希望隨著開源的發(fā)展,未來至少能跟閉源相提并論。
第二,小模型速度快,用戶體驗(yàn)也好。單機(jī)單卡就能跑起來,性價(jià)比高。比如 360AI搜索用了差不多 10 個(gè)百億模型,響應(yīng)速度比國內(nèi)所有大模型都快。360AI瀏覽器背后也有5個(gè)場(chǎng)景大模型,每個(gè)模型單干自己最擅長的事,比如閱讀、翻譯、安全等。
經(jīng)過垂直訓(xùn)練,小規(guī)模參數(shù)的大模型在單項(xiàng)能力上是可以超過 GPT-4的。未來,企業(yè)級(jí)模型也不需要用千億大模型,用百億甚至幾十億的大模型就夠了。這樣也最容易普及。
第三,360智腦的長文本能力親測(cè)好用,我讀論文、看書一直在用。最近 360AI瀏覽器火了一把,原因是擁有長文本能力。比如我每天需要讀各種論文,但是英文又不好,360AI瀏覽器就能幫助我分析論文。
另外現(xiàn)在我確實(shí)太忙了,為了保持過去每年讀100本書的速度,我就用這個(gè)瀏覽器幫我讀書。扔一本《未來簡史》進(jìn)去,不到1分鐘就把簡介、重點(diǎn)和腦圖都總結(jié)出來了,我平時(shí)讀這樣一本書需要2個(gè)多小時(shí),現(xiàn)在 10 分鐘讀完。我有一種讀書方法叫“粗讀、細(xì)讀和精讀”。
每天花 10 分鐘讓 A 幫你讀一本書,感興趣的再去細(xì)讀和咀嚼,堅(jiān)持一年,起碼可以看 50-100 本書,也能緩解職場(chǎng)焦慮。所以我也希望開源這個(gè)能力,對(duì)更多人有用。