大模型重塑智能汽車體驗
就汽車行業(yè)和大模型的關系,大模型可以在自動駕駛、座艙智能化、人車傳感器互聯(lián)、工廠數(shù)字化等層面產(chǎn)生價值。從功能層面來看,目前AI大模型在汽車上主要有兩種落地形式。
其中一類與智能駕駛有關,自動駕駛的進程,因為大模型又生波瀾。ChatGPT的出現(xiàn)帶給自動駕駛行業(yè)很大啟示,這種通過對海量多模態(tài)數(shù)據(jù)的大規(guī)模自監(jiān)督學習,加之預訓練+微調(diào)的方式,讓AI得以完成各種復雜自然語言任務。自動駕駛,被認為是下一個可能實現(xiàn)突破的領域。
對此,汽車產(chǎn)業(yè)界迅速反應。今年4月,毫末智行發(fā)布了自動駕駛生成式大模型DriveGPT,通過引入駕駛數(shù)據(jù)建立RLHF技術,對自動駕駛認知決策模型進行持續(xù)優(yōu)化,終極目標是實現(xiàn)端到端自動駕駛。
6月20日,理想汽車也公布了其智能駕駛最新進展,稱理想AD Max 3.0進入大模型時代,當月內(nèi)將向北京和上海的內(nèi)測用戶交付不依賴高精地圖的城市NOA功能,下半年將向用戶開放通勤NOA功能。該功能核心是采用了BEV大模型。
AI大模型或賦予自動駕駛更快速、準確地解決認知和決策問題的能力,或在標注、仿真、視頻信息處理等多方面存在應用空間。如通過大模型優(yōu)化數(shù)據(jù)標注,可以降低人工標注比例和成本,以及提升虛擬訓練環(huán)境的真實性,優(yōu)化虛擬訓練數(shù)據(jù)等。
對于大模型上車,還有一類是用于人工智能對話交流,大多數(shù)應用在智能座艙。比如此前發(fā)布的百度的文心一言,已有東風日產(chǎn)、紅旗、長城以及吉利銀河等近十家車企宣布接入;阿里巴巴也宣布AliOS智能汽車操作系統(tǒng)已接入通義千問大模型進行測試等。
在研討會上,商湯絕影智能車艙產(chǎn)品創(chuàng)新高級總監(jiān)邵昌旭分享到,未來的智能座艙將成為有溫度,能夠更加懂你出行的管家,能夠全方位的感知和理解乘客的需求。
商湯絕影智能車艙產(chǎn)品創(chuàng)新高級總監(jiān)邵昌旭;圖片來源:蓋世汽車
通過大模型賦能,智能汽車更具“情感”,以真正向第三生活空間轉變,滿足乘客更深層次的生理和心理需求。值得注意的是,現(xiàn)在如百度的文心大模型,再或者吉利AI大模型,其在智能座艙領域最核心的應用均是在語音等交互場景,短期內(nèi)可能會出現(xiàn)同質(zhì)化的隱憂。
當然,在大模型時代,智能座艙可進化的空間遠不止于此。
今天的智能座艙,本質(zhì)上在功能層面并不是一個AI問題,而是用產(chǎn)品經(jīng)理去定義座艙中的各個場景。“大模型時代的一個典型特征就是好像每一個問題都可以變成AI問題。”長城汽車智能化研發(fā)總監(jiān)楊繼峰說到。
長城汽車智能化研發(fā)總監(jiān)楊繼峰;圖片來源:蓋世汽車
AI問題的核心是如何讓機器模擬人類的智能思維和行為。大模型時代,有機會把座艙變成一個AI問題。如自動駕駛一般,其本質(zhì)是車如人一樣駕駛,對于智能座艙,則是駕乘空間如何更加的“擬人”。智能座艙需要從如今的形態(tài)走向智能空間形態(tài)。
基于這種思考,若將用戶歷史使用習慣和車內(nèi)外的當前環(huán)境狀態(tài)等信息,輸入給座艙的認知大模型,再利用各種生態(tài)應用或交互方式等方式來表現(xiàn),以實現(xiàn)智能座艙的體驗躍升。
現(xiàn)在智能空間會成為一個跟自動駕駛體量差不多的AI問題。Coding、閱讀、知識搜索和推送……所有的業(yè)務重構會變成一個一個的AI問題。這帶來了一個全新的挑戰(zhàn),“我們沒有準備好。”楊繼峰說到。
大模型這筆賬,該怎么算
楊繼峰認為大模型突然爆發(fā)的本質(zhì)原因是LLM提供了一個能力和泛化能力足夠強的模型基座,和一系列可以SFT、可以對齊、plug-in,以及可以重訓、可以輕量化的工程范式。
落到具體的實現(xiàn)層面,如大模型在智能座艙方面的應用,挑戰(zhàn)伴隨著變化出現(xiàn)。如可能面臨需要去挖掘各個不同的維度上所有的感知數(shù)據(jù);在座艙里需要建立從來沒有建立過的針對于算法的數(shù)據(jù)閉環(huán)體系等。
高合汽車前期智能產(chǎn)品與技術規(guī)劃負責人黃駿認為,大語言模型、多模態(tài)檢測模型和神經(jīng)輻射場建模NeRF是比較可能落地的座艙大模型。其中,多模態(tài)檢測模型的重要性愈發(fā)突出,能大幅削減檢測模型標注成本。而利用擴散網(wǎng)絡生成的SR場景能大幅降低座艙計算負載。
高合汽車前期智能產(chǎn)品與技術規(guī)劃負責人黃駿;圖片來源:蓋世汽車
但從大模型開發(fā)的視角來看,今天還處在技術競爭的前期階段,模型如何做到足夠大能力足夠強,形成強的競爭力是本質(zhì)問題。站在企業(yè)角度,如何讓大模型盡快進入產(chǎn)品工程賽道和降成本周期,以快速進行大規(guī)模應用,才是本質(zhì)要求。
這是一個持續(xù)深化的過程。