抬頭仰望夜空，面對(duì)浩瀚星海，心中無限遐想，雖知遙不可及，卻期待能像航海者那樣，在星光的指引下破浪而行。銀河，凝聚了從古至今人類對(duì)宇宙的無限憧憬，也代表了人類智慧對(duì)文明科技孜孜不倦，不斷探索的精神。
以“銀河”命名的吉利旗艦車型E8，不久前剛完成其首秀，內(nèi)外飾采用了全新的”漣漪”設(shè)計(jì)語言，并搭載了虛幻引擎為用戶提供更具創(chuàng)意、安全、智能的座艙體驗(yàn)，備受公眾關(guān)注的同時(shí)也引入了不少專業(yè)領(lǐng)域的話題和討論。
其實(shí)長久以來，智能座艙都無可爭議地被視為新能源汽車的”大腦“，無論是內(nèi)飾的美學(xué)設(shè)計(jì)還是人機(jī)界面（HMI）的交互體驗(yàn)，都已成為智能汽車發(fā)展道路上引領(lǐng)潮流和邁向成功的重要標(biāo)志。那么，銀河E8智能座艙的設(shè)計(jì)與實(shí)現(xiàn)的目標(biāo)是什么？怎樣依靠實(shí)時(shí)技術(shù)在反復(fù)迭代中提升品質(zhì)？虛幻引擎有哪些技術(shù)能幫助團(tuán)隊(duì)提升座艙體驗(yàn)？如何利用有限的芯片算力來挑戰(zhàn)超大屏幕的實(shí)時(shí)畫質(zhì)和性能？
上述的幾個(gè)問題一直以來都是智能座艙/車機(jī)（HMI）開發(fā)過程中被時(shí)常提及和關(guān)注的焦點(diǎn)，筆者一時(shí)之間也無法給出正確有效的答案，幸運(yùn)的是后來我在同事的幫助下聯(lián)絡(luò)到吉利汽車研究院，得此機(jī)會(huì)與負(fù)責(zé)研發(fā)銀河E8智能座艙的團(tuán)隊(duì)一起來深入探討關(guān)于量產(chǎn)車智能座艙的設(shè)計(jì)、實(shí)現(xiàn)、和落地這幾個(gè)業(yè)內(nèi)最為關(guān)心的核心話題。
Q：首先祝賀吉利研究院智能座艙的團(tuán)隊(duì)使用虛幻引擎成功研發(fā)出銀河E8智能車機(jī)系統(tǒng)，能否先跟大家先介紹一下團(tuán)隊(duì)？
A：在21年的時(shí)候，我們開始孵化并建立了一個(gè)3D HMI的專項(xiàng)，目標(biāo)是把游戲行業(yè)成熟的3D交互技術(shù)，應(yīng)用在汽車行業(yè)的HMI里面，提升智能座艙的”娛樂”體驗(yàn)，并基于這個(gè)目標(biāo)開始構(gòu)建團(tuán)隊(duì)及工具鏈。核心成員參考了游戲行業(yè)的研發(fā)團(tuán)隊(duì)結(jié)構(gòu)結(jié)合汽車行業(yè)的特定需求做了“本地化融合”，HMI工具鏈也根據(jù)對(duì)游戲引擎的使用經(jīng)驗(yàn)和項(xiàng)目需求，最終選擇了Unreal。團(tuán)隊(duì)構(gòu)成包括模型師、地編、特效師、TA、UE4開發(fā)等，負(fù)責(zé)座艙3D技術(shù)相關(guān)的前瞻POC及3D HMI產(chǎn)品的全棧落地。
Q：E8 的外觀和內(nèi)飾設(shè)計(jì)讓人耳目一新， 對(duì)于車機(jī)系統(tǒng)還了解不多，能否結(jié)合軟硬件先介紹一下？
A：銀河E8內(nèi)外飾設(shè)計(jì)采用了西湖“漣漪”的設(shè)計(jì)語言，在智能車機(jī)（HMI）方面為了給用戶表現(xiàn)出最大的誠意，通過采用8K分辨率的貫穿式高清屏幕+高通8295芯片的硬件組合，來呈現(xiàn)出極致的沉浸式視覺體驗(yàn)。回顧當(dāng)初設(shè)立的這一目標(biāo)，在智能車機(jī)領(lǐng)域當(dāng)時(shí)還鮮有項(xiàng)目落地，團(tuán)隊(duì)從8295-DHU到實(shí)現(xiàn)8K-全屏的3D引擎渲染，可以說一路上處處充滿了挑戰(zhàn)。雖然高通8295在行業(yè)里已經(jīng)是最頂級(jí)的車規(guī)級(jí)芯片，但對(duì)于8K屏幕、駕駛、娛樂一拖三的產(chǎn)品需求來說，仍然是充滿了未知。
Q：當(dāng)時(shí)市面上大多數(shù)車型搭載的芯片還都處于高通8155這個(gè)代次，吉利研究院最初出于哪些考慮要為E8的車機(jī)選用新一代的高通驍龍8295芯片？
A：E8作為吉利銀河的首款純電旗艦車型，希望能給到用戶的是高價(jià)值感的產(chǎn)品，在座艙和HMI的層面需要給用戶提供最高的硬件配置、最安全的平臺(tái)架構(gòu)，最強(qiáng)的軟件工具和最好的用戶體驗(yàn)，以當(dāng)時(shí)行業(yè)內(nèi)普遍應(yīng)用的8155芯片算力來講，無論是在測(cè)試數(shù)據(jù)還是落地項(xiàng)目的表現(xiàn)方面都無法達(dá)到E8的既定目標(biāo)和滿足相應(yīng)的需求，所以很快就決定放棄8155，選用高通下一代具有更高算力的8295芯片。
Q：近幾年市場上可選擇的3D引擎和HMI開發(fā)工具也不少，能否講下最終選擇用虛幻引擎來開發(fā)的原因和過程？
A：在公司層面：項(xiàng)目開發(fā)上需要純自研車機(jī)系統(tǒng)（ 銀河N OS） 進(jìn)行代碼級(jí)融合，作為一款3D引擎：Unreal不僅有行業(yè)領(lǐng)先的視覺渲染效果，還提供了開發(fā)車機(jī)系統(tǒng)的定制化引擎，最重要的是源碼全部開源，方便我們做二次開發(fā)和功能定制，在性能上也有更寬域的壓榨空間。在團(tuán)隊(duì)執(zhí)行層面，首先大家公認(rèn)游戲引擎的能力和可拓展性相比傳統(tǒng)工具更強(qiáng)，在后來的引擎選型方面，主要是在Unreal、Unity、Cocos這幾款商業(yè)引擎中選擇，Unreal在PC/主機(jī)類游戲里有著完整的工具鏈生態(tài)及高品質(zhì)渲染的優(yōu)點(diǎn)，強(qiáng)大的交互和渲染能力帶來的是移動(dòng)端基礎(chǔ)包體存儲(chǔ)的增加；Unity在智能手機(jī)生態(tài)興起時(shí)上市并在移動(dòng)端得到廣泛的應(yīng)用，大量的移動(dòng)端引擎的開發(fā)者，是首批為移動(dòng)端低功耗而誕生的引擎，包體大小靈活可控，但在渲染品質(zhì)和可拓展性上相對(duì)較弱，需要有團(tuán)隊(duì)具有較強(qiáng)的渲染管線定制的能力；Cocos同Unity一樣是智能手機(jī)興起時(shí)誕生的2D引擎，有較多數(shù)量的開發(fā)者和較高的使用率，通過后續(xù)的更新了加入了3D引擎的模塊，優(yōu)點(diǎn)也是輕量化+國產(chǎn)引擎。基于以上的研究和對(duì)于HMI視覺品質(zhì)的需求，我們最終選擇了Unreal，同時(shí)也對(duì)Epic Games團(tuán)隊(duì)的技術(shù)能力和支持力度表示由衷的感謝。
Q：團(tuán)隊(duì)在實(shí)現(xiàn)將虛幻引擎整合到銀河N OS無界的過程中有遇到過哪些挑戰(zhàn)？
A：首先就是關(guān)于芯片平臺(tái)的問題，因?yàn)殂y河E8是首批用到8295芯片的車型，在開發(fā)DHU的主板時(shí)就遇到了很大的阻礙和難度；之后就是解決8K分辨率的貫穿式長屏的顯示，無論從DHU芯片平臺(tái)的視頻驅(qū)動(dòng)上，還是引擎渲染窗口的負(fù)載率上，都需要面對(duì)很大的挑戰(zhàn)；在開發(fā)過程中，設(shè)計(jì)與開發(fā)的分離，也對(duì)落地的實(shí)現(xiàn)還原效果以及性能損耗造成了一定流程上的阻力；在內(nèi)容制作過程中，8K屏幕的抗鋸齒方案的選擇上，也給我們帶來了比較大的困擾，是選擇FXAA還是TAA，是選擇低性能還是接受一定的性能損耗，最后我們還是選擇了TAA，在保持住整體視覺效果的基礎(chǔ)上，后面再通過其他手段來優(yōu)化性能。
Q：用戶可以在銀河N OS無界上體驗(yàn)到哪些使用虛幻引擎開發(fā)的應(yīng)用場景？
A：在銀河N OS無界中，我們首次引入了還原真實(shí)世界以及數(shù)字孿生的概念；進(jìn)入車機(jī)系統(tǒng)，首先映入眼簾的就是具有視覺震撼力的一個(gè)桌面場景，我們稱之為靈境無界的3D主題，在場景中我們?nèi)谌肓烁挥兄袊嵨兜奈骱兀钆溷y河E8特有的漣漪美學(xué)，表現(xiàn)出一個(gè)既真實(shí)又虛幻，既有科技感又富有詩意的環(huán)境氛圍；
我們還運(yùn)用虛幻引擎的特性，設(shè)計(jì)了跟隨時(shí)間變化的環(huán)境光照，美輪美奐的雨雪天氣，當(dāng)用戶打開車門進(jìn)入座艙，點(diǎn)點(diǎn)星光從門開的一側(cè)飄向另一側(cè)，這些都是依靠虛幻引擎賦予的能力所實(shí)現(xiàn)；在數(shù)字孿生方面，我們?cè)谧烂嫔戏胖昧算y河E8的可交互車模，用戶可以方便快捷的控制大燈、門窗、后備箱等；其他功能比如車輛的運(yùn)動(dòng)模式，空調(diào)的吹風(fēng)效果，車控的效果示意等等也都是通過虛幻引擎開發(fā)實(shí)現(xiàn)的；并且在后續(xù)的智駕版本中加入了銀河輔助駕駛，自動(dòng)泊車，記憶泊車等功能，還可以通過虛幻引擎搭建虛擬視圖，可以說在銀河N OS無界版中，幾乎每一處都使用了虛幻引擎的能力。
Q：這些實(shí)時(shí)交互的場景是在虛幻引擎哪個(gè)版本上開發(fā)的？從idea 到落地上車大致是怎樣的一個(gè)開發(fā)流程？
A：虛幻 4.27 車機(jī)定制版流程-概念提出、需求分析、界面概念設(shè)計(jì)、美術(shù)3D引擎還原、引擎軟件開發(fā)、整車功能集成、引擎和系統(tǒng)優(yōu)化、上車測(cè)試交付。
Q：在HMI的開發(fā)過程中有哪些虛幻引擎的功能或工具對(duì)項(xiàng)目幫助比較大？
A：開發(fā)：Level：流關(guān)卡在一鏡到底和場景切換得流暢和資變體：運(yùn)行時(shí)資產(chǎn)管理方便快捷Sequencer：結(jié)合Level創(chuàng)建得Level Sequences讓轉(zhuǎn)場動(dòng)畫得制作更高效還有常用得藍(lán)圖(動(dòng)畫、材質(zhì))、lightmap、后效等優(yōu)化：Insights：啟動(dòng)耗時(shí)優(yōu)化工具FrontEnd：性能優(yōu)化工具命令行控制臺(tái)：stat 系列、MemReport等除了以上虛幻提供得工具外，還結(jié)合一些外部工具提高更好得使用效果和便捷性，比如：安卓工具：AndroidStudio Profile、SnapDragon（產(chǎn)看GPU使用率，busying脈沖耗時(shí)占比）、RenderDoc、BootChart（查看啟動(dòng)時(shí)系統(tǒng)資源競爭關(guān)系）Linux工具：adb top |dumpsys、bind（綁和操作）QNX：busyboxDebug（查看GPU、顯存等）可視化編程：虛幻引擎提供了藍(lán)圖系統(tǒng)，允許開發(fā)人員使用可視化的節(jié)點(diǎn)來創(chuàng)建邏輯和交互。這對(duì)于設(shè)計(jì)和實(shí)現(xiàn)HMI中的各種交互邏輯非常有用。高品質(zhì)渲染：虛幻引擎擁有先進(jìn)的渲染引擎，可以實(shí)現(xiàn)高質(zhì)量的圖形效果。這對(duì)于創(chuàng)建逼真的用戶界面和可視化效果至關(guān)重要。車輛動(dòng)力學(xué)仿真：如果項(xiàng)目涉及到與車體對(duì)象的交互，虛幻引擎的物理仿真系統(tǒng)可以幫助模擬真實(shí)世界中的物理效果，從而增強(qiáng)HMI的真實(shí)感和交互性。多平臺(tái)支持：虛幻引擎支持多種平臺(tái)，包括PC、主機(jī)、移動(dòng)設(shè)備等，這意味著開發(fā)的HMI可以輕松地在不同的設(shè)備上部署和運(yùn)行。工具：Insights（查看cpu消耗）、FrontEnd、Stat（Mesh合批、drawcall的優(yōu)化）安卓工具：AndroidStudio Profile、SnapDragon（產(chǎn)看GPU使用率，busying脈沖耗時(shí)占比）、RenderDoc、BootChart（查看啟動(dòng)時(shí)系統(tǒng)資源競爭關(guān)系）Linux工具：adb top |dumpsys、bind（綁和操作）QNX：busyboxDebug（查看GPU、顯存等）
Q：最終package部署上車之后在屏幕上實(shí)際呈現(xiàn)的分辨率和運(yùn)行效率是多少？調(diào)試過程中最大的難點(diǎn)是什么，如何解決的？
A：分辨率：7680*936 (8K)性能參數(shù)：CPU:34%(單核)、GPU:40%、內(nèi)存(700M)、顯存(700M)最大的難點(diǎn)還是集中在這個(gè)8K屏幕上，產(chǎn)品需要 “一鏡到底、即時(shí)響應(yīng)”之外還要兼顧系統(tǒng)消耗占用最低、運(yùn)行流暢無卡頓和最優(yōu)視覺效果，做了如下的解決方案：• 動(dòng)態(tài)幀策略：HMI在前臺(tái)鎖定25幀，除此之外在其他場景下會(huì)設(shè)置15fps、5fps以及freeze三擋策略，來優(yōu)化系統(tǒng)的占比• 分層資源管理：2D和3D的資產(chǎn)占比在1:9，除了車模常駐在內(nèi)存外，其他資源都是通過后臺(tái)靜默加載來無縫銜接鏡頭切換，做到體驗(yàn)絲滑無卡頓• UE4和車機(jī)系統(tǒng)交互策略：車機(jī)信號(hào)和觸控作為HMI的唯二信號(hào)源，我們對(duì)數(shù)據(jù)鏈路進(jìn)行了即時(shí)和緩存的區(qū)分；此外在場景對(duì)高頻信號(hào)的“無序”且“反復(fù)”的處理上做了2級(jí)緩存和分類。
Q：在銀河E8這個(gè)HMI的項(xiàng)目上，虛幻引擎與傳統(tǒng)工具相比有什么優(yōu)勢(shì)？
A：最大的優(yōu)勢(shì)就是工具鏈和能力比較全，基礎(chǔ)的DCC到關(guān)卡導(dǎo)入的地編的工具與流程很便捷；獨(dú)特的藍(lán)圖功能，覆蓋了關(guān)卡藍(lán)圖、普通藍(lán)圖、gameplay藍(lán)圖、材質(zhì)藍(lán)圖，可以通過藍(lán)圖節(jié)點(diǎn)來對(duì)邏輯、材質(zhì)、轉(zhuǎn)場等功能進(jìn)行快速實(shí)現(xiàn)，加速了POC和后期項(xiàng)目工程開發(fā)的進(jìn)度；