中國戰(zhàn)略新興產(chǎn)業(yè)融媒體記者 艾麗格瑪

當(dāng)?shù)貢r(shí)間5月14日，谷歌在2024 Google I/O大會(huì)上展示了其在AI技術(shù)上的一系列突破。就在一天前，OpenAI發(fā)布的GPT-4o已經(jīng)引發(fā)了一波熱議，而發(fā)布時(shí)間僅差一天的兩個(gè)技術(shù)產(chǎn)品被視為是這兩家科技企業(yè)在AI領(lǐng)域真刀明槍的激烈對(duì)壘。

谷歌和OpenAI的發(fā)布會(huì)，不約而同地強(qiáng)調(diào)了AI與現(xiàn)實(shí)世界的真正交互——例如用攝像頭感知環(huán)境、識(shí)別內(nèi)容和互動(dòng)。不過，在產(chǎn)品功能重點(diǎn)方面，兩家公司各有千秋。

那么，最新的AI大模型到底能做到什么程度？它們能帶來生產(chǎn)力的質(zhì)變，還是僅僅停留在概念性的炒作？

01

各有側(cè)重的階段性更新

當(dāng)?shù)貢r(shí)間5月13日，OpenAI通過直播展示了產(chǎn)品更新。

這次，OpenAI并未推出搜索引擎，也未推出GPT-4.5或GPT-5，而是發(fā)布了GPT-4系列新模型GPT-4o以及AI聊天機(jī)器人ChatGPT的桌面版本。這可以看作是對(duì)GPT-4的一次階段性更新，而根據(jù)OpenAI官方網(wǎng)站介紹，GPT-4o中的“o”代表Omni，也就是“全能”的意思。

據(jù)介紹，GPT-4o文本、推理、編碼能力達(dá)到GPT-4 Turbo水平，速度是上一代AI大模型GPT-4 Turbo的兩倍，但成本僅為GPT-4 Turbo的一半，視頻、音頻功能得到改善。OpenAI公司CEO山姆·奧爾特曼在博客中表示，ChatGPT免費(fèi)用戶也能用上新發(fā)布的GPT-4o。此外，OpenAI還與蘋果走到一起，推出了適用于macOS的桌面級(jí)應(yīng)用。

OpenAI技術(shù)負(fù)責(zé)人Mira Murati在直播中表示：“這是我們第一次在易用性方面真正邁出的一大步。”

OpenAI將GPT-4o定位為GPT-4性能級(jí)別的模型。據(jù)介紹，GPT-4o在傳統(tǒng)基準(zhǔn)測(cè)試中，文本、推理、編碼能力達(dá)到GPT-4 Turbo的水平。該模型接收文本、音頻和圖像輸入時(shí)，平均320毫秒響應(yīng)音頻輸入，與人類對(duì)話中的響應(yīng)時(shí)間相似，英文文本和代碼能力與GPT-4 Turbo相當(dāng)，在非英文文本上有改善，提高了ChatGPT針對(duì)50種不同語言的質(zhì)量和速度，并通過OpenAI的API提供給開發(fā)人員，使其即時(shí)就可以開始使用新模型構(gòu)建應(yīng)用程序。

與之形成對(duì)比的是，谷歌終于將自己在搜索領(lǐng)域的強(qiáng)項(xiàng)融入了AI產(chǎn)品：比如“Ask with video”，利用Gemini的多模態(tài)能力與Google Lens相結(jié)合，可以實(shí)現(xiàn)視頻搜索——錄制一段視頻，就能知道用戶使用唱片機(jī)，甚至維修照相機(jī)；Google Photos中還推出了新的AI功能“Ask Photos”，可以通過簡單的提問在大量照片中找出“孩子多年來學(xué)習(xí)游泳的歷程”。

谷歌版 AI 搜索的輸出結(jié)果不再是網(wǎng)址的羅列，而是一個(gè)全新的整合頁面——它更像一份針對(duì)用戶提問而形成的報(bào)告，不僅包括對(duì)問題本身的回答，也包括對(duì)用戶可能忽略問題的猜測(cè)和補(bǔ)充。

在大會(huì)上，谷歌搜索部門負(fù)責(zé)人Liz Reid表示，“生成式AI搜索將為你做的比你想象更多。不管你腦子里在想什么，或者你需要做什么，只要問，谷歌就會(huì)為你搜索。”她解釋說，AI概述在收到一個(gè)一般查詢后會(huì)提供一系列潛在答案，并鏈接到更深入的內(nèi)容。它還能通過在搜索中使用“多重推理”在幾秒鐘內(nèi)回答更復(fù)雜的問題和子問題。

谷歌同樣展示了現(xiàn)實(shí)交互功能，其一款名為Project Astra的多模式AI助手，可以觀看并理解通過設(shè)備攝像頭看到的內(nèi)容，記住用戶的東西在哪里，幫用戶在現(xiàn)實(shí)世界搜索物品，或是完成其他任務(wù)。

但是，相比于OpenAI簡單直接的視頻說明，谷歌在現(xiàn)場演示的AI工具卻遭遇“翻車”。

開場時(shí)，一位從舞臺(tái)上的茶杯中鉆出的DJ，在臺(tái)上使用谷歌內(nèi)部開發(fā)的一款A(yù)I DJ小工具 MusicFX DJ，在舞臺(tái)上現(xiàn)場用隨機(jī)生成的關(guān)鍵詞，來創(chuàng)造出一首曲目——很可惜，創(chuàng)造出的曲調(diào)有點(diǎn)糟糕。

不過，相比于2023年在演示Gemini后的“群嘲”，今年谷歌DeepMind推出的Project Astra使用視頻顯得更加可信：操作者以智能手機(jī)為媒介，讓大模型實(shí)時(shí)收集環(huán)境中的各種信息，并在圍繞著辦公室轉(zhuǎn)了一圈后突然提問：“你記得眼鏡在哪里嗎？”AI從環(huán)境信息中捕捉到了眼鏡的位置，并給出了正確的方位提示。

02

多模態(tài)成為重點(diǎn)

在直播中，OpenAI演示了一段員工與GPT-4o對(duì)話的視頻，模型反應(yīng)速度與人類相近，GPT-4o可利用手機(jī)攝像頭描述其“看到”的東西。另一段展示視頻里，GPT-4o被裝在兩個(gè)手機(jī)上，其中一個(gè)代表人類與電信公司打電話溝通設(shè)備更換事項(xiàng)，另一個(gè)GPT-4o扮演電信公司客服人員。OpenAI還展示了GPT-4o搭載在手機(jī)上的實(shí)時(shí)翻譯能力。

GPT-4o的發(fā)布，標(biāo)志著OpenAI在多模態(tài)AI領(lǐng)域的重大突破。這款新模型不僅能夠?qū)崟r(shí)對(duì)音頻、視覺和文本進(jìn)行推理，還能夠生成文本、音頻和圖像的任意組合輸出，大大提升了與人類的交互體驗(yàn)。GPT-4o的響應(yīng)速度極快，音頻輸入的平均響應(yīng)時(shí)間僅為320毫秒，與人類對(duì)話中的自然反應(yīng)時(shí)間相當(dāng)。此外，GPT-4o在多語言處理、視覺和音頻理解方面的能力也有顯著提升，創(chuàng)下了多項(xiàng)新的行業(yè)紀(jì)錄。

根據(jù)OpenAI介紹，GPT-4o與GPT-3.5、GPT-4的語音對(duì)談機(jī)制不同。GPT-3.5和GPT-4會(huì)先將音頻轉(zhuǎn)換為文本，再接收文本生成文本，最后將文本轉(zhuǎn)換為音頻，經(jīng)歷這三個(gè)過程，音頻中的情感表達(dá)等信息會(huì)被折損，而GPT-4o是跨文本、視覺和音頻的端到端模型，是OpenAI第一個(gè)綜合了這些維度的模型，可更好進(jìn)行對(duì)談。

而如前所述，谷歌本次發(fā)布的AI Overview，也在多模態(tài)的問題上做足了文章。

那么，“多模態(tài)”到底是什么？

多模式深度學(xué)習(xí)，是一個(gè)機(jī)器學(xué)習(xí)的子領(lǐng)域，旨在訓(xùn)練人工智能模型來處理和發(fā)現(xiàn)不同類型數(shù)據(jù)——也就是模式之間的關(guān)系，通常是圖像、視頻、音頻和文本。通過結(jié)合不同的模態(tài)，深度學(xué)習(xí)模型可以更普遍地理解其環(huán)境，因?yàn)槟承┚€索僅存在于某些模態(tài)中。

例如一個(gè)能夠識(shí)別人類面部情緒的任務(wù)，它不僅需要AI看一張人臉（視覺模態(tài)），還需要關(guān)注人聲音（音頻模態(tài)）的音調(diào)和音高，這些內(nèi)容編碼了大量關(guān)于他們情緒狀態(tài)的信息，這些信息可能無法通過他們的面部表情看到，即使他們經(jīng)常是同步的。

在多模態(tài)深度學(xué)習(xí)中，最典型的模態(tài)是視覺（圖像、視頻）、文本和聽覺（語音、聲音、音樂）。其他不太典型的模式包括3D視覺數(shù)據(jù)、深度傳感器數(shù)據(jù)和LiDAR 數(shù)據(jù)，這是在自動(dòng)駕駛汽車中經(jīng)常用到的典型數(shù)據(jù)。

此外，在臨床實(shí)踐中，成像方式包括計(jì)算機(jī)斷層掃描（CT）掃描和X射線圖像，而非圖像方式包括腦電圖（EEG）數(shù)據(jù)。傳感器數(shù)據(jù)，如熱數(shù)據(jù)或來自眼動(dòng)追蹤設(shè)備的數(shù)據(jù)也可以包含在列表中。

多模態(tài)神經(jīng)網(wǎng)絡(luò)通常是多個(gè)單模態(tài)神經(jīng)網(wǎng)絡(luò)的組合。例如，視聽模型可能由兩個(gè)單峰網(wǎng)絡(luò)組成，一個(gè)用于視覺數(shù)據(jù)，一個(gè)用于音頻數(shù)據(jù)。這些單峰神經(jīng)網(wǎng)絡(luò)通常分別處理它們的輸入。這個(gè)過程稱為編碼。在進(jìn)行單峰編碼之后，必須將從每個(gè)模型中提取的信息融合在一起。已經(jīng)提出了多種融合技術(shù)，范圍從簡單的連接到注意機(jī)制。多模態(tài)數(shù)據(jù)融合過程是最重要的成功因素之一。融合發(fā)生后，最終的“決策”網(wǎng)絡(luò)接受融合后的編碼信息，并接受最終任務(wù)的訓(xùn)練。

可以看出，要想讓停留在“畫畫寫字唱歌”程度的AI們真正與現(xiàn)實(shí)世界產(chǎn)生交互并影響生產(chǎn)過程，多模態(tài)研發(fā)是必經(jīng)之路。