端到端，當(dāng)前智能駕駛行業(yè)最火熱的詞匯；特斯拉，智能駕駛領(lǐng)域的標(biāo)桿企業(yè)。不想當(dāng)將軍的士兵不是好士兵，同樣的，總有一些企業(yè)，是想要超越第一，成為第一，小鵬、蔚來(lái)等企業(yè)都在做著這樣嘗試。而有一家企業(yè)在端到端技術(shù)上不不弱于特斯拉，甚至幾度領(lǐng)先。

2022年，在全行業(yè)都沒(méi)有關(guān)注端到端之時(shí)，這家公司就提出了行業(yè)首個(gè)感知決策一體的端到端智駕方案。在FSD V12版本也就是特斯拉的端到端方案面世之前，這家公司端到端方案已經(jīng)斬獲CVPR最佳論文。

這家公司就是商湯絕影，它背后站著一位世界級(jí)的AI大牛。

被引用次數(shù)超過(guò)12萬(wàn)次、H因子高達(dá)151、學(xué)科H因子139、出版著作150+……

在最新的計(jì)算機(jī)科學(xué)家排名中，這樣的學(xué)術(shù)成績(jī)，是中國(guó)第二。

這位AI大牛就是商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、商湯絕影事業(yè)群總裁王曉剛。如今，王曉剛帶著他的團(tuán)隊(duì)在智駕領(lǐng)域All in端到端，UniAD端到端智駕方案明年即將量產(chǎn)落地，正面“硬剛”即將入華的特斯拉FSD。

中國(guó)TOP 2，怎么評(píng)出來(lái)的

知名學(xué)術(shù)平臺(tái)Research.com剛剛公布了計(jì)算機(jī)科學(xué)全球頂尖科學(xué)家名單，其中商湯的王曉剛博士排名中國(guó)第2，世界第37。

Research.com的榜單中，從2022年開始王曉剛就一直是中國(guó)計(jì)算機(jī)科學(xué)TOP 3的“leader”學(xué)者。總被引用次數(shù)125264次，從2016年之后算，被引用次數(shù)也達(dá)到了92560次。

因?yàn)槭羌?xì)分的計(jì)算機(jī)科學(xué)排名，所以Research.com使用了較為準(zhǔn)確的D-index，及學(xué)科內(nèi)H因子作為依據(jù)，細(xì)化到被調(diào)查學(xué)科的論文和引用值，王曉剛博士的這一數(shù)據(jù)為139。

作為對(duì)比，深度神經(jīng)網(wǎng)絡(luò)之父Geoffrey Hinton的D-index為166。

王曉剛博士被引用次數(shù)前三的論文，分別是Pyramid scene parsing network（15490次引用）、Deep learning face attributes in the wild（9381次引用）、Residual attention network for image classification（4386次引用）。

尤其是2017年他和團(tuán)隊(duì)提出的PSPNet，深刻影響了后續(xù)圖像語(yǔ)義分割的發(fā)展。其核心思想是利用金字塔池化（Pyramid Pooling Module）模塊，通過(guò)使用不同尺度的池化核對(duì)輸入特征圖進(jìn)行池化操作，有效地獲取多尺度的上下文信息。所以網(wǎng)絡(luò)能夠更全面地理解圖像中的語(yǔ)義信息，從而提高語(yǔ)義分割的準(zhǔn)確性和魯棒性。

類似的成果還有很多，從內(nèi)容上看，王曉剛的學(xué)術(shù)成果覆蓋模式識(shí)別、機(jī)器學(xué)習(xí)、特征提取和計(jì)算機(jī)視覺(jué)，涉及卷積神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、人臉識(shí)別系統(tǒng)、人臉和判別模型，均屬于人工智能范疇。

模式識(shí)別、大語(yǔ)言模型、計(jì)算機(jī)視覺(jué)技術(shù)等交叉領(lǐng)域的探索，正是目前自動(dòng)駕駛領(lǐng)域最熱門、最被看好的方向之一——端到端自動(dòng)駕駛。

所以，在商湯科技成長(zhǎng)為平臺(tái)型AI公司之后，王曉剛也順理成章帶領(lǐng)團(tuán)隊(duì)向難度更大、落地場(chǎng)景更復(fù)雜、規(guī)模潛力更大的汽車工業(yè)發(fā)起沖擊。

不過(guò)在介紹王曉剛目前的工作之前，先簡(jiǎn)單說(shuō)一下他的經(jīng)歷。

誰(shuí)是王曉剛

王曉剛是中國(guó)科技大學(xué)少年班出身，2001年畢業(yè)。2004年又獲得香港中文大學(xué)信息工程碩士學(xué)位。2009年獲得麻省理工學(xué)院人工智能實(shí)驗(yàn)室計(jì)算機(jī)博士學(xué)位，同年加入香港中文大學(xué)電子工程系，2020年起擔(dān)任教授。

學(xué)術(shù)方面，王曉剛在頂級(jí)的國(guó)際期刊和會(huì)議發(fā)表超過(guò)300篇論文，其論文在Google Scholar上的引用超過(guò)120000次，h-index = 151。

他還是國(guó)際頂級(jí)計(jì)算機(jī)視覺(jué)會(huì)議CVPR 2017, ICCV 2011, ICCV 2015, ICCV 2017, ECCV 2014, ECCV 2016, ACCV 2014和ACCV 2015的領(lǐng)域主席。

產(chǎn)業(yè)層面，2014年同樣出身中科大、MIT，任教港中文的世界級(jí)AI科學(xué)家湯曉鷗，帶領(lǐng)王曉剛、徐立、楊帆等人創(chuàng)辦了商湯科技。

2016年起王曉剛?cè)紊虦芯吭涸洪L(zhǎng)，整體負(fù)責(zé)商湯科技的研發(fā)工作，建立起包括計(jì)算機(jī)視覺(jué)、自然語(yǔ)言理解、語(yǔ)音識(shí)別、混合現(xiàn)實(shí)、人工智能內(nèi)容生成、智能影像、通用人工智能、決策智能、智能芯片、人工智能傳感器和人工智能大裝置等眾多領(lǐng)域在內(nèi)的研發(fā)體系。

近幾年間，商湯研究院在全球計(jì)算機(jī)視覺(jué)頂級(jí)期刊和會(huì)議上（如CVPR、ICCV、ECCV等）共發(fā)表600余篇關(guān)于深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的研究論文，在世界所有科研機(jī)構(gòu)和公司排名第一，在各類國(guó)際人工智能比賽中獲得超過(guò)70項(xiàng)冠軍。

2022年，商湯將成立智能汽車事業(yè)群，命名為“絕影“公開亮相，王曉剛為總裁。絕影目前已經(jīng)和30多家國(guó)內(nèi)外車企攜手合作，產(chǎn)品覆蓋超100款車型，累計(jì)交付260萬(wàn)輛智能汽車。

與其他AI公司押注智艙或智駕的單一業(yè)務(wù)模式不同，絕影依靠商湯在計(jì)算機(jī)視覺(jué)、大算力轉(zhuǎn)裝置、大模型基礎(chǔ)架構(gòu)方面的先行優(yōu)勢(shì)，智能駕駛、智慧車艙、車路協(xié)同各個(gè)技術(shù)路線上不斷拿出量產(chǎn)上車成果。

而今年被點(diǎn)燃的“端到端”浪潮，王曉剛和絕影團(tuán)隊(duì)不但all in，其方案UniAD還“血統(tǒng)純正”、上車在即，據(jù)傳明年即將入華的特斯拉FSD勢(shì)必將會(huì)遇到這個(gè)強(qiáng)勁的對(duì)手。

王曉剛?cè)绾蜛ll in端到端

在2023年8月馬斯克直播試駕特斯拉的端到端智駕方案FSD V12之前，商湯絕影的端到端方案UniAD就已經(jīng)榮獲當(dāng)年國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（CVPR）最佳論文，引領(lǐng)端到端智駕的風(fēng)潮。當(dāng)?shù)貢r(shí)間10月10日，特斯拉將舉辦“Robotaxi Day”，其端到端方案的最新進(jìn)展值得期待。而作為端到端智駕的引領(lǐng)者，從去年CVPR 2023最佳論文到現(xiàn)在整整一年時(shí)間，商湯絕影做了這么幾件事。

首先是一段式端到端自動(dòng)駕駛大模型的產(chǎn)品化、工程化不斷推進(jìn)，已經(jīng)從幾千行代碼，UniAD完成了向符合汽車工業(yè)標(biāo)準(zhǔn)規(guī)范的量產(chǎn)產(chǎn)品的演變。

對(duì)于一般的自動(dòng)駕駛公司來(lái)說(shuō)，這一步可能就是目標(biāo)和終點(diǎn)，也是最難、最緊迫的挑戰(zhàn)。能全力交付端到端的產(chǎn)品，就能活到下一輪出牌，至于功能、體驗(yàn)，都可以后期OTA。

但商湯絕影不止步于交付一個(gè)單一的自動(dòng)駕駛模型，更進(jìn)一步，提出了兩個(gè)新的技術(shù)和應(yīng)用：

自動(dòng)駕駛大模型DriveAGI，和車載AI Agent，幾個(gè)月前北京車展期間就曾提及，剛剛結(jié)束的WAIC人工智能大會(huì)上，又被王曉剛教授著重強(qiáng)調(diào)。

同出一源，都是商湯原生多模態(tài)大模型，同時(shí)又都以UniAD端到端大模型為基礎(chǔ)，和自動(dòng)駕駛、智能座艙的功能、體驗(yàn)深度關(guān)聯(lián)。

比如UniAD，在無(wú)高精地圖，甚至是針對(duì)某種類型目標(biāo)0樣本學(xué)習(xí)的前提下，也能僅依靠視覺(jué)感知實(shí)際道路情況，準(zhǔn)確地完成包括大角度轉(zhuǎn)向、避讓占道車輛及施工區(qū)域、繞行跑步行人等一系列高難度操作，做到“像人一樣開車”：

而DriveAGI在路上遇到救護(hù)車還可以自動(dòng)避讓；遇到潮汐車道或公交車道時(shí)，它能根據(jù)限行規(guī)則自動(dòng)規(guī)避：

除此之外，它也可以切換不同的駕駛風(fēng)格，當(dāng)需要趕時(shí)間時(shí)，你可以告訴DriveAGI開得更快⼀些；如果是想要放松⼀下，你還可以讓它開得平穩(wěn)⼀些。

對(duì)于智駕，多模態(tài)大模型相當(dāng)于一個(gè)“點(diǎn)讀機(jī)”，圖像、視頻數(shù)據(jù)哪里不會(huì)點(diǎn)哪里，不理解的目標(biāo)場(chǎng)景，都能給出準(zhǔn)確的解釋。

商湯絕影對(duì)于端到端的描述和布道，已經(jīng)和業(yè)內(nèi)主流思路有了底層的區(qū)別：從應(yīng)對(duì)自動(dòng)駕駛挑戰(zhàn)，上升到了AGI在車端應(yīng)用。這其實(shí)和特斯拉的思路不謀而合，在即將到來(lái)的Robotaxi Day，無(wú)論是無(wú)人駕駛出租車還是類人機(jī)器人，都是具身智能的場(chǎng)景落地，都離不開AGI的底層技術(shù)支持。從這個(gè)角度來(lái)說(shuō)，商湯絕影和特斯拉都在向著AGI的未來(lái)進(jìn)發(fā)。

王曉剛認(rèn)為現(xiàn)在談AGI上車，時(shí)機(jī)剛好，甚至還有點(diǎn)緊迫，因?yàn)锳GI應(yīng)該是端到端的必要條件和前提。

所謂端到端，就是駕駛?cè)鞒痰腁I化，傳感器信息輸入，直接輸出決策數(shù)據(jù)信號(hào)。直接的好處，就是可以讓AI模型直接學(xué)習(xí)成熟的駕駛行為，理論上具備和人一樣的駕駛能力。

端到端對(duì)傳統(tǒng)自動(dòng)駕駛技術(shù)范式的降維打擊，是用數(shù)據(jù)驅(qū)動(dòng)替代規(guī)則驅(qū)動(dòng)，解決系統(tǒng)能力上限被鎖死，以及后期無(wú)休止高投入、維護(hù)難的問(wèn)題。

這樣的誘人前景讓現(xiàn)在所有玩家都跟進(jìn)押注。但無(wú)論是出于成本考慮還是技術(shù)實(shí)力所限，現(xiàn)實(shí)的情況是大部分產(chǎn)品實(shí)現(xiàn)端到端，都是靠“兩段式”方法，即感知模型后面，串一個(gè)決策和規(guī)控模型。

但商湯絕影堅(jiān)持搞“純粹”的一段式端到端模型：輸入一段視頻，輸出一段預(yù)測(cè)的軌跡。

王曉剛給出的理由是兩段式首先解決不了信息丟失的問(wèn)題，但更致命的是后串決策規(guī)控模型，“實(shí)際上規(guī)模很小”。

小模型永遠(yuǎn)無(wú)法激發(fā)出應(yīng)對(duì)復(fù)雜場(chǎng)景的通用能力，永遠(yuǎn)無(wú)法產(chǎn)生自動(dòng)駕駛的ChatGPT。

端到端天然就應(yīng)該是原生大模型，也只有這樣，才能解決自動(dòng)駕駛從感知向認(rèn)知轉(zhuǎn)變的問(wèn)題。

所以商湯絕影的DriveAGI誕生，把商湯原生多模態(tài)大腦能力應(yīng)用在車端，能夠同時(shí)輸入、處理多種數(shù)據(jù)類型的模型，可以是文本、語(yǔ)音、圖像、視頻等等。

實(shí)際上相當(dāng)于給端到端自動(dòng)駕駛系統(tǒng)，安裝了一個(gè)和人類基本認(rèn)知能力相同的大腦。

底層的思路是這樣：既然大語(yǔ)言模型的學(xué)習(xí)、認(rèn)知能力已經(jīng)和人類差別不大了，那為什么不能用語(yǔ)言模型基礎(chǔ)的范式框架去處理其他數(shù)據(jù)類型的任務(wù)呢？

實(shí)際上就是用大模型語(yǔ)義理解能力去看、去分辨圖像、視頻或者任何類型的數(shù)據(jù)。

現(xiàn)在都說(shuō)只有端到端才能真無(wú)圖，沒(méi)有無(wú)圖就沒(méi)有端到端…這樣的觀點(diǎn)背后暗含著系統(tǒng)能夠“認(rèn)知”世界的前提，但這是狹義端到端模型本身完成不了的任務(wù)。

實(shí)際上幾乎所有和智能車參考交流過(guò)的業(yè)內(nèi)人士，都說(shuō)現(xiàn)在根本不存在絕對(duì)的無(wú)圖，各家方案都或多或少要用到相關(guān)信息。

或者說(shuō)“端到端”這個(gè)大黑盒，決策過(guò)程、思維能力等等開發(fā)者根本就無(wú)從知曉，“菩提本無(wú)樹”。

現(xiàn)階段，商湯絕影根據(jù)歷史研發(fā)積累和技術(shù)發(fā)展趨勢(shì)給出的最佳解決方案，就是利用多模態(tài)大模型展現(xiàn)出的通用AI能力，解決自動(dòng)駕駛的認(rèn)知問(wèn)題。

Research.com，權(quán)威嗎？

這兩年間Research.com名氣越來(lái)越大，他們的學(xué)校、學(xué)科、學(xué)者排名也被越來(lái)越多的從業(yè)者和媒體引用參考。

按照Research.com的介紹，它們本質(zhì)上是一家有經(jīng)營(yíng)性質(zhì)的公司，主要服務(wù)對(duì)象是四處求學(xué)的國(guó)際生。

所以它們連續(xù)推出各種榜單排名也合情合理。

Research.com賺錢的路子有兩個(gè)，一是直接和留學(xué)培訓(xùn)機(jī)構(gòu)合作，收取咨詢費(fèi)，二是靠網(wǎng)站廣告位賺錢。

可能也是因?yàn)椴豢咳魏螌W(xué)?；蜓芯克诿澲琑esearch.com的榜單含金量被認(rèn)可程度越來(lái)越高。

它們有一支60多人的專家組，包括各個(gè)學(xué)科的著名學(xué)者，但在評(píng)選時(shí)不依賴某一組選定科學(xué)家的意見，也不會(huì)直接發(fā)調(diào)查問(wèn)卷，而是依賴硬性數(shù)據(jù)進(jìn)行排名。

數(shù)據(jù)要么是公開的，要么來(lái)自擁有多年數(shù)據(jù)收集經(jīng)驗(yàn)的知名、可信的組織。比如有關(guān)學(xué)院、招生、畢業(yè)、校園設(shè)施的一般信息基于最新版本的 IPEDS 和 Peterson數(shù)據(jù)庫(kù)。有關(guān)學(xué)者的信息取自谷歌學(xué)術(shù)、College Scorecard 數(shù)據(jù)庫(kù)等等。

One more thing

根據(jù)被引用次數(shù)、H因子、出版物等等客觀公開數(shù)據(jù)進(jìn)行排名，王曉剛博士是中國(guó)計(jì)算機(jī)科學(xué)No.2。

那第一呢？

正是湯曉鷗博士，商湯科技的創(chuàng)始人，王曉剛的老師兼創(chuàng)業(yè)伙伴。

所以計(jì)算機(jī)視覺(jué)領(lǐng)域，學(xué)術(shù)水平和綜合應(yīng)用中國(guó)實(shí)力最強(qiáng)是誰(shuí)，應(yīng)該沒(méi)有爭(zhēng)議。

（轉(zhuǎn)載來(lái)自：智能車參考）