隨著人工智能技術(shù)的快速發(fā)展，自動駕駛技術(shù)已經(jīng)逐漸從實驗階段邁向商業(yè)化應(yīng)用。在自動駕駛技術(shù)架構(gòu)中，端到端大模型正逐步成為推動行業(yè)進步和技術(shù)革命的重要力量。
一、端到端大模型概述
端到端大模型（End-to-End Model）是一種人工智能模型架構(gòu)，即一個能夠直接處理原始輸入數(shù)據(jù)并產(chǎn)生最終輸出結(jié)果的AI模型，中間不需要傳統(tǒng)機器學(xué)習(xí)流程中復(fù)雜的數(shù)據(jù)預(yù)處理和特征提取等步驟。例如，在語音模型方面，傳統(tǒng)方式的流程鏈為：語音轉(zhuǎn)文字、文字輸入大模型、大模型處理得到文字結(jié)果、文字轉(zhuǎn)換為語音；但端到端大模型可以省略中間的轉(zhuǎn)化過程，直接理解輸入的語音并給出基于語音的輸出結(jié)果。在自動駕駛領(lǐng)域，端到端大模型將自動駕駛中的感知、決策和控制環(huán)節(jié)整合到一個統(tǒng)一的深度學(xué)習(xí)框架中，即車載攝像頭、激光雷達等傳感器采集到的圖像、距離等環(huán)境信息直接輸入大模型，大模型輸出方向盤轉(zhuǎn)動角度、車速控制等駕駛操作指令。
圖片來源：北國咨繪制
圖1 端到端自動駕駛模式示意圖
（一）技術(shù)優(yōu)勢
由于端到端大模型具有系統(tǒng)簡潔直接性、數(shù)據(jù)驅(qū)動性等特點，在自動駕駛領(lǐng)域應(yīng)用具有如下優(yōu)勢：
1.減少信息傳遞損耗，更接近人類駕駛體驗
傳統(tǒng)的自動駕駛系統(tǒng)需要感知、決策、控制等多個模塊獨立運行，每個模塊之間的接口和協(xié)調(diào)都需要額外的計算和時間消耗。而端到端大模型將多模塊整合形成一體化的單模型，信息直接在單模型內(nèi)部進行傳遞，避免模塊之間信息有損傳遞、延遲和冗余，提升系統(tǒng)效率。例如，在進行變道操作時，從判斷周圍車輛距離與自身車速，到做出最終的變道決定，并執(zhí)行加速或者減速、轉(zhuǎn)向操作，端到端大模型在輸出駕駛指令時的連貫性和自然性更好，能夠像人類一樣一氣呵成。
2.以全局最優(yōu)為目標(biāo)進行學(xué)習(xí)，提升可靠性
傳統(tǒng)自動駕駛模型依賴于預(yù)先設(shè)定的規(guī)則來判斷不同的交通狀況，且各個模塊單獨進行優(yōu)化，難以達到整個系統(tǒng)的全局最優(yōu)。端到端大模型能夠?qū)⒄w駕駛?cè)蝿?wù)作為一個目標(biāo)，通過海量的駕駛場景數(shù)據(jù)訓(xùn)練優(yōu)化，使其在各種真實的駕駛場景下都能做出更加合理和準(zhǔn)確的決策。
3.自動且持續(xù)優(yōu)化，場景適應(yīng)能力更強
端到端大模型能夠通過海量數(shù)據(jù)的輸入進行自我學(xué)習(xí)，隨著數(shù)據(jù)量增加，模型性能和精度會不斷提升；同時，其具有更好的泛化能力和零樣本學(xué)習(xí)能力，在沒有針對某個特定場景進行預(yù)訓(xùn)練的情況下，依然能夠根據(jù)已學(xué)習(xí)到的知識和模式進行一定的理解和駕駛決策，提升車輛在動態(tài)環(huán)境中的反應(yīng)能力。如對于一個新建設(shè)且沒有出現(xiàn)在訓(xùn)練數(shù)據(jù)中的新型環(huán)島交通設(shè)計，端到端大模型可以根據(jù)與環(huán)島類似的圓形道路、讓行規(guī)則等做出合理的駕駛決策。
（二）面臨挑戰(zhàn)
1.高質(zhì)量數(shù)據(jù)需求巨大
端到端大模型的訓(xùn)練需要不同天氣、不同時間段、不同道路條件下的大量標(biāo)注數(shù)據(jù)，且數(shù)據(jù)需滿足準(zhǔn)確性、一致性等質(zhì)量要求。而數(shù)據(jù)采集、處理和標(biāo)注是一個非常龐大且復(fù)雜的任務(wù)，對于企業(yè)來說是一個巨大的挑戰(zhàn)。
2.計算資源需求高
端到端大模型要一次性處理從輸入到輸出的整個流程，大量的數(shù)據(jù)計算，需要強大的計算能力，包括高性能的GPU等硬件設(shè)備，不僅增加了技術(shù)研發(fā)成本，也對計算資源的部署和管理提出了更高要求。
3.模型可解釋性差
端到端大模型通常被視為“黑箱”，其內(nèi)部決策過程和依據(jù)難以清晰解釋，對管理造成困難，例如當(dāng)模型做出錯誤決策時，很難確定問題根源，給故障排查、安全性驗證和責(zé)任界定帶來困難，也可能影響公眾對自動駕駛技術(shù)的信任。
圖片來源：北國咨繪
圖2 端到端大模型在自動駕駛領(lǐng)域應(yīng)用的優(yōu)勢與挑戰(zhàn)
二、端到端大模型在自動駕駛領(lǐng)域的應(yīng)用
端到端大模型已經(jīng)成為自動駕駛技術(shù)發(fā)展的重要方向，尤其在特斯拉和小鵬汽車等企業(yè)的推動下，逐步實現(xiàn)了量產(chǎn)應(yīng)用。
（一）眾多新勢力車企率先實現(xiàn)端到端大模型產(chǎn)業(yè)化
新勢力車企基于互聯(lián)網(wǎng)思維基因與開發(fā)能力，率先自研端到端大模型，并促進其在自動駕駛領(lǐng)域產(chǎn)業(yè)化。特斯拉是端到端大模型技術(shù)全球引領(lǐng)者，2023年推出全新FSD V12（Full Self-Driving Version 12），在北美和中國等多個市場進行廣泛測試，標(biāo)志著特斯拉成功地將端到端大模型應(yīng)用于自動駕駛系統(tǒng)并產(chǎn)業(yè)化落地。小鵬汽車2024年7月全量推送AI天璣系統(tǒng)，在國內(nèi)率先實現(xiàn)了端到端自動駕駛大模型的量產(chǎn)應(yīng)用。截至2024年11月，小鵬汽車已完成全國2595個城市的測試，實車測試?yán)锍踢_958萬公里，推動其端到端大模型快速迭代。理想汽車2024年7月發(fā)布基于端到端模型、VLM視覺語言模型和世界模型的全新自動駕駛技術(shù)架構(gòu)；10月理想汽車將行業(yè)首創(chuàng)的“端到端+VLM”雙系統(tǒng)智能駕駛方案正式全量推送。蔚來汽車2024年7月發(fā)布智能駕駛技術(shù)架構(gòu)，在其NIO Pilot智能駕駛系統(tǒng)中，逐步采用端到端大模型來提升自動駕駛的安全性與擬人性，特別是在城市道路和復(fù)雜環(huán)境下的表現(xiàn)逐步提升。
圖片來源：北國咨繪制
圖3 端到端大模型車企對比
（二）自動駕駛產(chǎn)業(yè)鏈條關(guān)鍵企業(yè)快速入局協(xié)同發(fā)展
端到端大模型的產(chǎn)業(yè)化不僅依賴于單一車企的研發(fā)，還需要整個產(chǎn)業(yè)鏈的協(xié)同發(fā)展。硬件方面，車規(guī)級芯片、傳感器等核心硬件的進步為大模型運行提供基礎(chǔ)支持。當(dāng)前，英偉達、英飛凌等國際芯片廠商主導(dǎo)了自動駕駛領(lǐng)域的計算硬件供應(yīng)，華為、地平線等國內(nèi)企業(yè)通過自主研發(fā)打破技術(shù)壁壘，華為昇騰系列、地平線征程系列芯片，已廣泛應(yīng)用于國內(nèi)車企的自動駕駛系統(tǒng)，為端到端大模型提供強有力的計算支持奠定基礎(chǔ)。軟件方面，人工智能企業(yè)也為車企的自動駕駛系統(tǒng)提供了全方位的服務(wù)。元戎啟行推出DeepRoute IO平臺，是業(yè)界率先將端到端技術(shù)應(yīng)用于高階智能駕駛汽車的方案之一，目前與比亞迪合作，負責(zé)比亞迪POC端到端智能駕駛項目。紐勱科技推出將算法、軟件、硬件融于一體的自動駕駛技術(shù)方案Nullmax Intelligence，基于端到端的架構(gòu)，采用多模態(tài)大模型和安全類腦，以純視覺、真無圖、多模態(tài)的技術(shù)特點，助力汽車智能化。
（三）商用車或?qū)⒏鞂崿F(xiàn)端到端大模型產(chǎn)業(yè)化落地
由于商用車應(yīng)用場景較為簡單，交通環(huán)境和駕駛場景較為單一，供應(yīng)鏈中專屬定制較少，共享復(fù)用較多，易于形成商業(yè)化閉環(huán)，降低了大規(guī)模量產(chǎn)的難度，預(yù)計商用車將在較早階段實現(xiàn)L4級別的商業(yè)化應(yīng)用。新能源重卡“造車新勢力”零一汽車已實現(xiàn)驚蟄和小滿兩款車的量產(chǎn)，其端到端自動駕駛系統(tǒng)計劃于2025年實現(xiàn)量產(chǎn)，2026年實現(xiàn)高階自動駕駛的大規(guī)模商業(yè)化運營。未來將會從礦區(qū)、港口、封閉物流園區(qū)等封閉式場景，到短途專線、高速專線等半封閉式區(qū)域，再到城郊/國道或者高速公路等全開放式區(qū)域，通過場景漸進逐漸推動商用車自動駕駛發(fā)展。
（四）行業(yè)標(biāo)準(zhǔn)與法規(guī)監(jiān)管體系不斷完善
自動駕駛法規(guī)和行業(yè)標(biāo)準(zhǔn)體系的建設(shè)為端到端大模型的產(chǎn)業(yè)化提供了重要保障。法律法規(guī)與監(jiān)管方面，2023年9月，十四屆全國人大常委會將《道路交通安全法》修訂工作列入國務(wù)院2024年度立法計劃，將對自動駕駛汽車的道路測試、上路通行、交通違法和事故處理相關(guān)責(zé)任追究等作出詳細規(guī)定。2023年12月，交通運輸部印發(fā)《自動駕駛汽車運輸安全服務(wù)指南(試行)》，明確自動駕駛運輸經(jīng)營者、車輛等要求及運輸安全保障、監(jiān)督管理等措施，引導(dǎo)并規(guī)范自動駕駛汽車在運輸服務(wù)領(lǐng)域的應(yīng)用。標(biāo)準(zhǔn)體系方面，2023年5月，工業(yè)和信息化部、國家標(biāo)準(zhǔn)化管理委員會聯(lián)合發(fā)布《國家車聯(lián)網(wǎng)產(chǎn)業(yè)標(biāo)準(zhǔn)體系建設(shè)指南(智能網(wǎng)聯(lián)汽車)(2023版)，為保障自動駕駛產(chǎn)業(yè)高質(zhì)量發(fā)展提供了基本指導(dǎo)。2024年8月，國內(nèi)智能網(wǎng)聯(lián)汽車領(lǐng)域的首批強制性國家標(biāo)準(zhǔn)正式發(fā)布，明確了汽車信息安全、汽車軟件升級的管理體系以及自動駕駛數(shù)據(jù)記錄系統(tǒng)等技術(shù)要求和試驗方法，為提升自動駕駛安全水平、保障產(chǎn)業(yè)健康有序發(fā)展提供有力支撐。
三、總結(jié)與展望
端到端大模型通過深度學(xué)習(xí)和數(shù)據(jù)驅(qū)動的方式，打破了傳統(tǒng)自動駕駛系統(tǒng)中模塊化處理的局限，整合感知、決策和控制等功能，提高了系統(tǒng)的整體性能和對復(fù)雜環(huán)境的適應(yīng)能力，使自動駕駛更加擬人化。但對大量高質(zhì)量數(shù)據(jù)的需求、高性能計算平臺的依賴及因可解釋性差導(dǎo)致的管理困難，端到端大模型在自動駕駛領(lǐng)域的應(yīng)用與普及也面臨著巨大挑戰(zhàn)。隨著更多車企和跨行業(yè)企業(yè)對技術(shù)不斷研發(fā)創(chuàng)新，自動駕駛數(shù)據(jù)不斷積累，算力支持不斷強化，法規(guī)與標(biāo)準(zhǔn)體系不斷健全，端到端大模型將助力高階自動駕駛的應(yīng)用與普及，推動智能網(wǎng)聯(lián)汽車行業(yè)邁向新階段。
楊佳玲
咨詢師
長期專注新能源汽車等領(lǐng)域、完成了北京市汽車產(chǎn)業(yè)相關(guān)的政府、企業(yè)委托咨詢業(yè)務(wù)。
魯 楠
高級經(jīng)濟師（運輸經(jīng)濟）
中級工程師（經(jīng)濟技術(shù)）
咨詢工程師（投資）
長期專注新能源汽車及充電基礎(chǔ)設(shè)施、重大技術(shù)裝備等領(lǐng)域。近年來作為主要負責(zé)人完成了新能源汽車產(chǎn)業(yè)發(fā)展研究、電動汽車充電基礎(chǔ)設(shè)施行業(yè)研究、重大技術(shù)裝備發(fā)展研究等大量政府、企業(yè)委托咨詢業(yè)務(wù)，為北京市新能源汽車及充電基礎(chǔ)設(shè)施發(fā)展、智能制造業(yè)發(fā)展建言獻策。
編輯：張 華
審核：孫 磊
