每經(jīng)記者:蔡鼎 每經(jīng)編輯:蘭素英
過去幾個月時間里,由ChatGPT在全球科技巨頭之間引發(fā)的人工智能熱潮推動了大量語言模型的生產(chǎn)力前置。據(jù)《華爾街日報》,雖然谷歌早在兩年前就做出了類似ChatGPT的人工智能聊天工具,但谷歌對AI的小心謹(jǐn)慎態(tài)度讓其失去了對生成式AI的先機(jī)。
不過,作為硅谷科技巨頭,谷歌從來不缺乏“后來居上”的決心和實力。
(相關(guān)資料圖)
美西時間3月6日(周一),來自谷歌和德國柏林工業(yè)大學(xué)的一組人工智能研究人員公布了史上最大視覺語言模型PaLM-E(全稱Pathways Language Model with Embodied)。
作為一種多模態(tài)具身視覺語言模型 (VLM),PaLM-E能將視覺和語言集成到機(jī)器人控制中。谷歌和柏林工業(yè)大學(xué)稱,PaLM-E是迄今為止人類開發(fā)的最大規(guī)模VLM,其可以在不需要再訓(xùn)練的情況下執(zhí)行各種任務(wù)。此外,通過PaLM-540B語言模型與ViT-22B視覺Transformer模型相結(jié)合,PaLM-E最終的參數(shù)量高達(dá)5620億(GPT-3 的參數(shù)量為1750億),這是全球已知的最大視覺語言模型。
可分析視覺數(shù)據(jù)執(zhí)行高級命令
“我們觀察到諸如多模態(tài)思維鏈推理(允許模型分析包括語言和視覺信息的一系列輸入),只接受單圖像提示訓(xùn)練的多圖像推理(使用多個圖像作為輸入來做出推理或預(yù)測)等涌現(xiàn)能力?!闭撐牡牡谝蛔髡?、谷歌AI研究員Danny Driess在推特上寫道。
圖片來源:推特
據(jù)谷歌介紹,當(dāng)接到“把抽屜里的薯片拿過來”等較為高級的命令時,PaLM-E可以為一個有“手臂”的移動機(jī)器人平臺(由谷歌Robotics公司開發(fā))生成行動計劃,并自行執(zhí)行任務(wù)。機(jī)器人能夠順利地從十多個開放式抽屜中找到米餅,拿給研究人員。
圖片來源:谷歌
在另外一個案例中,研究人員還要求機(jī)器人“將所有色塊按顏色堆放到不同角落”的指令,以及將“綠色色塊推到烏龜旁邊”的指令,即便機(jī)器人之前沒有見過這只烏龜擺件,也能順利地完成任務(wù)。
圖片來源:谷歌
在圖像識別的案例中,PaLM-E識別圖像中的已故籃球明星科比·布萊恩特,并可以生成關(guān)于他的文本信息,例如他贏得了多少次NBA總冠軍戒指。研究人員寫道,PaLM-E也是一種“有效的視覺語言模型”。
圖片來源:谷歌
具體來講,PaLM-E通過分析來自機(jī)器人攝像頭的數(shù)據(jù)來實現(xiàn)對高級命令的執(zhí)行,而無需對場景進(jìn)行預(yù)處理。這消除了人類對數(shù)據(jù)進(jìn)行預(yù)處理或注釋的需要,并允許更自主的機(jī)器人控制。
此外,PaLM-E也非常具有彈性,能根據(jù)所處的具體環(huán)境做出反應(yīng)。例如,PaLM-E模型可以引導(dǎo)機(jī)器人從廚房取出一個薯片袋,并且將PaLM-E集成到控制循環(huán)中,它可以抵抗任務(wù)執(zhí)行期間可能發(fā)生的中斷。在谷歌發(fā)布的視頻中,一名研究人員從機(jī)器人手中抓起薯片并進(jìn)行移動,但最終機(jī)器人可以找到這些薯片并再次抓起。
“PaLM-E幾乎擁有所有語言能力”
據(jù)谷歌和柏林工業(yè)大學(xué)的合著論文介紹,PaLM-E是一個僅有解碼器的大型語言模型(LLM),在給定前綴(prefix)或提示(prompt)下,能夠以自回歸方式生成文本補(bǔ)全。其訓(xùn)練數(shù)據(jù)為包含視覺、連續(xù)狀態(tài)估計和文本輸入編碼的多模式語句。
由于PaLM-E是基于語言模型,所以它會連續(xù)觀察圖像或傳感器數(shù)據(jù),并將其編碼成與語言符號大小相同的向量序列。這使得模型能夠以處理語言的相同方式“理解”感覺信息。
谷歌和柏林工業(yè)大學(xué)研究人員發(fā)布的預(yù)印本論文
除了RT-1機(jī)器人外,PaLM-E還借鑒了谷歌之前在VIT-22B上的工作,后者是谷歌在上月公布的一款視覺語言模型。VIT-22B已經(jīng)在各種視覺任務(wù)上進(jìn)行了訓(xùn)練,例如圖像分類、目標(biāo)檢測、語義分割和圖像字幕等。
除了機(jī)器人技術(shù)外,谷歌的研究人員還觀察到了幾個有趣的現(xiàn)象。首先,PaLM-E在實驗案例中表現(xiàn)出了“正向轉(zhuǎn)移(positive transfer)”,這意味著它可以將所學(xué)到的知識和技能從一個任務(wù)轉(zhuǎn)移到另一個任務(wù),因此與執(zhí)行單個任務(wù)的機(jī)器人模型相比,性能有顯著的提高。
此外,谷歌研究人員還觀察了PaLM-E大規(guī)模參數(shù)下的一個趨勢:“語言模型規(guī)模越大,在進(jìn)行視覺語言和機(jī)器人任務(wù)訓(xùn)練時,它就越能保持語言能力——從參數(shù)規(guī)模上來講,5620億參數(shù)的PaLM-E幾乎擁有所有語言能力。”
谷歌研究人員計劃未來將探索PaLM-E在現(xiàn)實世界中有更多應(yīng)用,例如家庭自動化或工業(yè)機(jī)器人,也希望PaLM-E能夠激發(fā)更多關(guān)于多模態(tài)AI的應(yīng)用。
《每日經(jīng)濟(jì)新聞》記者還注意到,作為AI大戰(zhàn)的老對手,微軟也已經(jīng)在“圖像+語言模型”的路數(shù)上有所布局。在今年2月底發(fā)表的研究中,微軟就展現(xiàn)了如何使用ChatGPT為大疆Tello無人機(jī)編寫“找飲料”程序的案例。
微軟最近發(fā)布的“用于機(jī)器人的ChatGPT(ChatGPT for Robotics)”論文,就嘗試以類似于谷歌PaLM-E的方式將視覺數(shù)據(jù)和大型語言模型結(jié)合起來,對機(jī)器人進(jìn)行控制。
每日經(jīng)濟(jì)新聞
關(guān)鍵詞:
新聞發(fā)布平臺 |科極網(wǎng) |環(huán)球周刊網(wǎng) |中國創(chuàng)投網(wǎng) |教體產(chǎn)業(yè)網(wǎng) |中國商界網(wǎng) |互聯(lián)快報網(wǎng) |萬能百科 |薄荷網(wǎng) |資訊_時尚網(wǎng) |連州財經(jīng)網(wǎng) |劇情啦 |5元服裝包郵 |中華網(wǎng)河南 |網(wǎng)購省錢平臺 |海淘返利 |太平洋裝修網(wǎng) |勵普網(wǎng)校 |九十三度白茶網(wǎng) |商標(biāo)注冊 |專利申請 |啟哈號 |速挖投訴平臺 |深度財經(jīng)網(wǎng) |深圳熱線 |財報網(wǎng) |財報網(wǎng) |財報網(wǎng) |咕嚕財經(jīng) |太原熱線 |電路維修 |防水補(bǔ)漏 |水管維修 |墻面翻修 |舊房維修 |參考經(jīng)濟(jì)網(wǎng) |中原網(wǎng)視臺 |財經(jīng)產(chǎn)業(yè)網(wǎng) |全球經(jīng)濟(jì)網(wǎng) |消費導(dǎo)報網(wǎng) |外貿(mào)網(wǎng) |重播網(wǎng) |國際財經(jīng)網(wǎng) |星島中文網(wǎng) |上甲期貨社區(qū) |品牌推廣 |名律網(wǎng) |項目大全 |整形資訊 |整形新聞 |美麗網(wǎng) |佳人網(wǎng) |稅法網(wǎng) |法務(wù)網(wǎng) |法律服務(wù) |法律咨詢 |媒體采購網(wǎng) |聚焦網(wǎng) |參考網(wǎng) |熱點網(wǎng)
亞洲資本網(wǎng) 版權(quán)所有
Copyright © 2011-2020 亞洲資本網(wǎng) All Rights Reserved. 聯(lián)系網(wǎng)站:55 16 53 8 @qq.com