大模型重塑智能汽車體驗(yàn)

就汽車行業(yè)和大模型的關(guān)系，大模型可以在自動(dòng)駕駛、座艙智能化、人車傳感器互聯(lián)、工廠數(shù)字化等層面產(chǎn)生價(jià)值。從功能層面來看，目前AI大模型在汽車上主要有兩種落地形式。

其中一類與智能駕駛有關(guān)，自動(dòng)駕駛的進(jìn)程，因?yàn)榇竽Ｐ陀稚?。ChatGPT的出現(xiàn)帶給自動(dòng)駕駛行業(yè)很大啟示，這種通過對海量多模態(tài)數(shù)據(jù)的大規(guī)模自監(jiān)督學(xué)習(xí)，加之預(yù)訓(xùn)練+微調(diào)的方式，讓AI得以完成各種復(fù)雜自然語言任務(wù)。自動(dòng)駕駛，被認(rèn)為是下一個(gè)可能實(shí)現(xiàn)突破的領(lǐng)域。

對此，汽車產(chǎn)業(yè)界迅速反應(yīng)。今年4月，毫末智行發(fā)布了自動(dòng)駕駛生成式大模型DriveGPT，通過引入駕駛數(shù)據(jù)建立RLHF技術(shù)，對自動(dòng)駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化，終極目標(biāo)是實(shí)現(xiàn)端到端自動(dòng)駕駛。

6月20日，理想汽車也公布了其智能駕駛最新進(jìn)展，稱理想AD Max 3.0進(jìn)入大模型時(shí)代，當(dāng)月內(nèi)將向北京和上海的內(nèi)測用戶交付不依賴高精地圖的城市NOA功能，下半年將向用戶開放通勤NOA功能。該功能核心是采用了BEV大模型。

AI大模型或賦予自動(dòng)駕駛更快速、準(zhǔn)確地解決認(rèn)知和決策問題的能力，或在標(biāo)注、仿真、視頻信息處理等多方面存在應(yīng)用空間。如通過大模型優(yōu)化數(shù)據(jù)標(biāo)注，可以降低人工標(biāo)注比例和成本，以及提升虛擬訓(xùn)練環(huán)境的真實(shí)性，優(yōu)化虛擬訓(xùn)練數(shù)據(jù)等。

對于大模型上車，還有一類是用于人工智能對話交流，大多數(shù)應(yīng)用在智能座艙。比如此前發(fā)布的百度的文心一言，已有東風(fēng)日產(chǎn)、紅旗、長城以及吉利銀河等近十家車企宣布接入；阿里巴巴也宣布AliOS智能汽車操作系統(tǒng)已接入通義千問大模型進(jìn)行測試等。

在研討會上，商湯絕影智能車艙產(chǎn)品創(chuàng)新高級總監(jiān)邵昌旭分享到，未來的智能座艙將成為有溫度，能夠更加懂你出行的管家，能夠全方位的感知和理解乘客的需求。

商湯絕影智能車艙產(chǎn)品創(chuàng)新高級總監(jiān)邵昌旭；圖片來源：蓋世汽車

通過大模型賦能，智能汽車更具“情感”，以真正向第三生活空間轉(zhuǎn)變，滿足乘客更深層次的生理和心理需求。值得注意的是，現(xiàn)在如百度的文心大模型，再或者吉利AI大模型，其在智能座艙領(lǐng)域最核心的應(yīng)用均是在語音等交互場景，短期內(nèi)可能會出現(xiàn)同質(zhì)化的隱憂。

當(dāng)然，在大模型時(shí)代，智能座艙可進(jìn)化的空間遠(yuǎn)不止于此。

今天的智能座艙，本質(zhì)上在功能層面并不是一個(gè)AI問題，而是用產(chǎn)品經(jīng)理去定義座艙中的各個(gè)場景。“大模型時(shí)代的一個(gè)典型特征就是好像每一個(gè)問題都可以變成AI問題。”長城汽車智能化研發(fā)總監(jiān)楊繼峰說到。

長城汽車智能化研發(fā)總監(jiān)楊繼峰；圖片來源：蓋世汽車

AI問題的核心是如何讓機(jī)器模擬人類的智能思維和行為。大模型時(shí)代，有機(jī)會把座艙變成一個(gè)AI問題。如自動(dòng)駕駛一般，其本質(zhì)是車如人一樣駕駛，對于智能座艙，則是駕乘空間如何更加的“擬人”。智能座艙需要從如今的形態(tài)走向智能空間形態(tài)。

基于這種思考，若將用戶歷史使用習(xí)慣和車內(nèi)外的當(dāng)前環(huán)境狀態(tài)等信息，輸入給座艙的認(rèn)知大模型，再利用各種生態(tài)應(yīng)用或交互方式等方式來表現(xiàn)，以實(shí)現(xiàn)智能座艙的體驗(yàn)躍升。

現(xiàn)在智能空間會成為一個(gè)跟自動(dòng)駕駛體量差不多的AI問題。Coding、閱讀、知識搜索和推送……所有的業(yè)務(wù)重構(gòu)會變成一個(gè)一個(gè)的AI問題。這帶來了一個(gè)全新的挑戰(zhàn)，“我們沒有準(zhǔn)備好。”楊繼峰說到。

大模型這筆賬，該怎么算

楊繼峰認(rèn)為大模型突然爆發(fā)的本質(zhì)原因是LLM提供了一個(gè)能力和泛化能力足夠強(qiáng)的模型基座，和一系列可以SFT、可以對齊、plug-in，以及可以重訓(xùn)、可以輕量化的工程范式。

落到具體的實(shí)現(xiàn)層面，如大模型在智能座艙方面的應(yīng)用，挑戰(zhàn)伴隨著變化出現(xiàn)。如可能面臨需要去挖掘各個(gè)不同的維度上所有的感知數(shù)據(jù)；在座艙里需要建立從來沒有建立過的針對于算法的數(shù)據(jù)閉環(huán)體系等。

高合汽車前期智能產(chǎn)品與技術(shù)規(guī)劃負(fù)責(zé)人黃駿認(rèn)為，大語言模型、多模態(tài)檢測模型和神經(jīng)輻射場建模NeRF是比較可能落地的座艙大模型。其中，多模態(tài)檢測模型的重要性愈發(fā)突出，能大幅削減檢測模型標(biāo)注成本。而利用擴(kuò)散網(wǎng)絡(luò)生成的SR場景能大幅降低座艙計(jì)算負(fù)載。

高合汽車前期智能產(chǎn)品與技術(shù)規(guī)劃負(fù)責(zé)人黃駿；圖片來源：蓋世汽車

但從大模型開發(fā)的視角來看，今天還處在技術(shù)競爭的前期階段，模型如何做到足夠大能力足夠強(qiáng)，形成強(qiáng)的競爭力是本質(zhì)問題。站在企業(yè)角度，如何讓大模型盡快進(jìn)入產(chǎn)品工程賽道和降成本周期，以快速進(jìn)行大規(guī)模應(yīng)用，才是本質(zhì)要求。

這是一個(gè)持續(xù)深化的過程。