2024 年 5 月 7 日，《The Information》報(bào)道，微軟正在開(kāi)發(fā)一個(gè)擁有大約 5000 億個(gè)參數(shù)的大語(yǔ)言模型（LLM）。

 

這標(biāo)志著微軟自從往 OpenAI 投資逾 100 億美元，以便可以重復(fù)使用這家初創(chuàng)公司的 AI 模型以來(lái)，首次自行開(kāi)發(fā)這等規(guī)模的 AI 模型。

該 LLM 在微軟內(nèi)部被稱(chēng)為 MAI-1，預(yù)計(jì)最早將于本月首次亮相。

OpenAI 在 2020 年年中推出 GPT-3 時(shí)，詳細(xì)說(shuō)明該模型的初始版本有 1750 億個(gè)參數(shù)。該公司透露，GPT-4 更龐大，擁有更多的參數(shù)，但尚未透露具體數(shù)字。

一些報(bào)道顯示，OpenAI 的旗艦 LLM 擁有 1.76 萬(wàn)億個(gè)參數(shù)，而谷歌的 Gemini Ultra 據(jù)稱(chēng)擁有 1.6 萬(wàn)億個(gè)參數(shù)，性能與 GPT-4 旗鼓相當(dāng)。

微軟的 MAI-1 擁有 5000 億個(gè)參數(shù)，這表明它可能被定位為介于 GPT-3 和 GPT-4 之間的某種中檔模型。這樣的配置將允許模型提供高響應(yīng)準(zhǔn)確度，但耗用的功率比 OpenAI 的旗艦 LLM 低得多。言外之意，這將為微軟帶來(lái)更低的推理成本。

開(kāi)發(fā) MAI-1 的工作由 LLM 開(kāi)發(fā)商 Inflection AI Inc.的創(chuàng)始人 Mustafa Suleyman 監(jiān)管。

 

Mustafa Suleyman

今年 3 月，通過(guò)一筆價(jià)值 6.25 億美元的交易，Suleyman 和這家初創(chuàng)公司的大多數(shù)員工一起加入了微軟。這位高管早些時(shí)候與他人共同創(chuàng)立了谷歌的DeepMind AI 研究部門(mén)。

微軟可能使用 Inflection AI 的訓(xùn)練數(shù)據(jù)及另外某些資產(chǎn)來(lái)驅(qū)動(dòng) MAI-1。

據(jù)稱(chēng)，該模型的訓(xùn)練數(shù)據(jù)集還包含多種類(lèi)型的信息，包括 GPT-4 和互聯(lián)網(wǎng)內(nèi)容生成的文本。

為《The Information》提供信源的知情人士表示，微軟尚未決定它將如何使用 MAI-1。如果這個(gè)模型確實(shí)擁有 5000 億個(gè)參數(shù)，那么它太過(guò)復(fù)雜了，無(wú)法在消費(fèi)級(jí)設(shè)備上運(yùn)行。這意味著微軟很可能會(huì)將 MAI-1 部署在其數(shù)據(jù)中心，那樣 LLM 可以集成到必應(yīng)和 Azure 之類(lèi)的服務(wù)中。

據(jù)信，微軟可能會(huì)在 5 月 16 日召開(kāi)的 Build 開(kāi)發(fā)者大會(huì)上展示MAI-1，如果到時(shí)候該模型的表現(xiàn)足夠令人滿(mǎn)意的話(huà)。這暗示該公司預(yù)計(jì)會(huì)在幾周內(nèi)推出該模型的工作原型（如果目前還沒(méi)有工作原型的話(huà)）。

就在不到兩周前，微軟剛剛開(kāi)源了一種名為 Pi-3 Mini 的語(yǔ)言模型。據(jù)微軟聲稱(chēng)，這種模型僅擁有 38 億個(gè)參數(shù)，但性能卻比參數(shù)多 10 倍的 LLM 更勝一籌。Pi-3 是一個(gè) AI 系列的一部分，該系列還包括另外兩個(gè)更龐大的、性能略勝一籌的神經(jīng)網(wǎng)絡(luò)。

開(kāi)發(fā) MAI-1表明微軟內(nèi)部對(duì) AI采取了雙管齊下的做法，既關(guān)注面向移動(dòng)設(shè)備的本地運(yùn)行的小型語(yǔ)言模型，也關(guān)注由云支持的大型先進(jìn)模型。據(jù)報(bào)道，蘋(píng)果也在探索類(lèi)似的做法。這也凸顯了微軟不依賴(lài)OpenAI 探索 AI 開(kāi)發(fā)的意愿，OpenAI的技術(shù)目前支持微軟最雄心勃勃的生成式 AI 功能，包括嵌入到 Windows 中的聊天機(jī)器人。