【太平洋汽車網(wǎng) 行情頻道】9月14日，由蓋世汽車主辦的2021中國(guó)商用車自動(dòng)駕駛大會(huì)隆重召開。本次峰會(huì)主要聚焦商用車自動(dòng)駕駛行業(yè)發(fā)展趨勢(shì)，共同探討從感知、決策到執(zhí)行層面的核心技術(shù)，以及港口、礦區(qū)、干線物流、園區(qū)等不同終端場(chǎng)景的產(chǎn)業(yè)化落地方案。下面是虹軟科技股份有限公司視覺車載事業(yè)群副總經(jīng)理陳鋒在此次大會(huì)上的發(fā)言。

虹軟科技股份有限公司視覺車載事業(yè)群副總經(jīng)理 陳鋒

大家好！

虹軟公司是一家算法公司，我們自1994年成立以來一直都在做視覺感知算法，只做一件事情。

視覺感知是自動(dòng)駕駛的基礎(chǔ)，離開感知就等于你看不見，是一個(gè)盲人，什么事情也做不了。感知方面有毫米波雷達(dá)，有激光雷達(dá)，有其他的傳感器，包括夜視紅外，每個(gè)級(jí)別從L0到L5都離不開視覺傳感器。我們把視覺分為艙內(nèi)和艙外，在2035年到來之前，十幾年以內(nèi)可能在車上面還是有駕駛員，有駕駛員就需要做駕駛員狀態(tài)監(jiān)控，需要DMS，需要很多讓他工作起來更安全更快捷的方法。

虹軟公司是1994年在美國(guó)成立的，在2017年把總部搬到中國(guó)以后，2019年在上?？苿?chuàng)板上市，是首家視覺感知的公司（科創(chuàng)板上市），也是25家第一批科創(chuàng)板上市的公司之一。我們做的視覺感知都是嵌入在客戶的設(shè)備之中，比如說最早的打印機(jī)、電腦、數(shù)字?jǐn)z像機(jī)、功能手機(jī)、智能手機(jī)等等，裝載虹軟算法的終端設(shè)備已經(jīng)超過100億臺(tái)。

這是我們視覺感知的各個(gè)方面，從傳統(tǒng)基礎(chǔ)攝影技術(shù)到圖象增強(qiáng)，再到智能感知。我們進(jìn)入汽車行業(yè)并不太久，但在進(jìn)入到汽車行業(yè)以后，我們的定點(diǎn)的項(xiàng)目已經(jīng)超過了50個(gè)車型，覆蓋了乘用車領(lǐng)域國(guó)內(nèi)主要的主機(jī)廠，還包括新能源汽車。

我們的視覺感知基本上是全棧式的，從艙內(nèi)到艙外，DMS、OMS、Authenticate、人機(jī)互動(dòng)、ADAS、AVM/MOD、AR導(dǎo)航、HUD、艙內(nèi)娛樂系統(tǒng)。為什么有艙內(nèi)娛樂系統(tǒng)？主要在乘用車，但是商用車也可能發(fā)展起來，為什么？剛才嘉賓講商用車司機(jī)疲勞是常態(tài)，長(zhǎng)期駕駛是他工作的一部分，有什么辦法不光能檢測(cè)到他的疲勞，而且減輕他的疲勞，舒緩他的疲勞，在艙內(nèi)智能技術(shù)是不是能起到幫助的作用呢？咱們也可以一起來探討。

在商用車方面，我們的算法主要是艙內(nèi)的DMS以及人機(jī)交互、OMS、艙外ADAS、AVM相關(guān)的產(chǎn)品，在商用車領(lǐng)域除了算法授權(quán)之外，我們也有軟硬一體解決方法，有硬件產(chǎn)品，包括了一個(gè)攝像頭的AI Camera，這個(gè)攝像頭可以只做DMS，也可以只做開門提醒，我們也有2-4路中低端硬件解決方案AI BOX，4路攝像頭可以做AVM，也可以組合做其他功能，包括4-8路高端解決方案AI BOX。

AI Camera應(yīng)用最多是艙內(nèi)感知DMS。2-4路的，比如說BSD，前左右BSD加上DMS，還有其他的組合，我們不僅有硬件，算法也是一起提供的。這是AVM，也可以把4路全部用做AVM，4-8路就更多了，這里有部標(biāo)機(jī)形態(tài)，也可以做其他非部標(biāo)的形態(tài)，這里可以有不同組合。

下面主要用視頻跟大家分享一下我們實(shí)際做的產(chǎn)品情況，首先是DMS。這里面包括人臉識(shí)別，可以識(shí)別駕駛員是誰，包括疲勞、分心、抽煙、打電話以及手勢(shì)控制等。（VCR內(nèi)容）

疲勞除了簡(jiǎn)單的眼部以及臉部表情識(shí)別之外，我們加了很多其他功能來做疲勞檢測(cè)，比如說視線方向和狀態(tài)，可能會(huì)顯示出你是不是疲勞狀態(tài)。比如你在疲勞前，真正要打磕睡以前，很多人會(huì)揉揉眼睛，也可能會(huì)揉揉臉，也可能會(huì)扭扭脖子做做其他的動(dòng)作，我們就可以把早期疲勞狀態(tài)提前檢測(cè)出來。

昨天討論的時(shí)候也提到，目前DMS設(shè)備等到報(bào)警的時(shí)候已經(jīng)太晚了，已經(jīng)太疲勞了，沒有用，我們可以有其他辦法讓這個(gè)疲勞檢測(cè)更加精準(zhǔn)，而且能夠預(yù)判，讓決策和執(zhí)行機(jī)構(gòu)根據(jù)感知結(jié)果進(jìn)行決策和控制。還有生理特征，通過同樣一個(gè)DMS攝像頭檢測(cè)到血流的變化得到心率情況，如果心率變慢也有可能是開始進(jìn)入疲勞狀態(tài)，這樣各種組合真正知道駕駛員身體和生理狀態(tài)是不是疲勞。

還有安全帶檢測(cè)，各個(gè)視角的攝像頭，以及駕駛員玩手機(jī)、看手機(jī)、發(fā)微信等可以非常魯棒性的知道，真正的檢測(cè)到你這個(gè)行為的狀態(tài)。還可以用三維視覺TOF來檢測(cè)到這個(gè)手是不是真正在方向盤上面。

OMS主要在客運(yùn)里面用的比較多，在共享汽車后排遺留物，乘客的流量，比如說比亞迪這樣的客車公司，把人流統(tǒng)計(jì)應(yīng)用在調(diào)度系統(tǒng)，根據(jù)車上乘客多少的情況，可以實(shí)時(shí)進(jìn)行監(jiān)控，調(diào)度各路公交車。

兒童檢測(cè)，在歐洲和美國(guó)都開始有立法，就是對(duì)車上面的兒童安全進(jìn)行保護(hù)。有沒有兒童，有沒有兒童座椅，在不在座椅上面，大人走了是不是兒童遺留在上面，這些都有法規(guī)要求，在2024年以后可能所有的車都要搭載這個(gè)功能，這些都是可以通過視覺來感知的。

身份認(rèn)證，簡(jiǎn)單來說可以通過手機(jī)進(jìn)行注冊(cè)，上車以后通過同一個(gè)DMS攝像頭，就可以進(jìn)行人臉識(shí)別駕駛員驗(yàn)證。

在互動(dòng)方面，現(xiàn)在的技術(shù)很多，對(duì)于駕駛員來講，特別是卡車，大的車輛駕駛員來講，有的時(shí)候做一個(gè)手勢(shì)可能更便捷更安全，所以我們是通過各種手勢(shì)進(jìn)行艙內(nèi)操作，比如說接電話，切歌等等都可以通過手勢(shì)進(jìn)行控制。

視線喚醒各種屏幕，現(xiàn)在車上各種屏幕很大，包括前面講的EMS，把側(cè)視鏡子用攝像頭替代，用視線交互來控制什么時(shí)候亮，還有通過控制器來交互，這也是視線喚醒的一種應(yīng)用。

ADAS不用多講，大家都很熟悉，我們有幾乎所有功能的ADAS，針對(duì)車輛、車道線、行人、交通標(biāo)志、地面交通標(biāo)志、三維汽車模型、三階曲線擬合等等都做了很多工作，包括紅綠燈。

AVM，這個(gè)現(xiàn)在在商用車上面是一個(gè)必備的功能。因?yàn)槲覀冏鍪謾C(jī)的全景拍攝很多年，所以對(duì)于拼接、去畸變、去鬼影等技術(shù)已經(jīng)有非常多的積累，所以我們用在車輛上面可以實(shí)現(xiàn)很快的轉(zhuǎn)化。

（PPT內(nèi)容）這是加了一個(gè)透明底盤，就是說把這些圖像進(jìn)行處理以后，底盤下面情況也可以看到。這是加了倒車指引線以及行人識(shí)別和障礙物識(shí)別，這些都是有機(jī)整合在同一個(gè)攝像頭一套系統(tǒng)里面。

講到盲區(qū)，這是在商用車?yán)锩娣浅Ｖ匾囊粋€(gè)技術(shù)，確確實(shí)實(shí)商用車盲區(qū)非常大，特別是大型卡車和客車，司機(jī)是真的看不見，那么怎么幫助他們避免事故的發(fā)生，也是我們技術(shù)非常重視的部分。

每一輛車盲區(qū)不一樣，它需要安裝的攝像頭個(gè)數(shù)和位置都不一樣，對(duì)我們視覺感知技術(shù)也是有不同的要求，我們的算法可以適應(yīng)不同車輛、位置和環(huán)境，能夠做到最大限度減少盲區(qū)危險(xiǎn)。

同時(shí)也可以在廣角魚眼攝像頭上面直接做障礙物和行人車輛非機(jī)動(dòng)車的檢測(cè)，復(fù)用同一顆攝像頭，不需要增加另外一個(gè)設(shè)備，在司機(jī)看得到的同時(shí)能提醒你有沒有危險(xiǎn)，有沒有行人，有沒有其他的障礙物。

我們有可行駛區(qū)域，雖然檢測(cè)到有行人，但是在人行道上不可能被你撞到，所以這種情況下就沒有必要對(duì)你進(jìn)行提醒。

還有一個(gè)非常好用的功能就是開門提醒，我們用AVM攝像頭或者其他攝像頭可以跟門鎖控制聯(lián)動(dòng)在一起，這也是在中國(guó)道路上經(jīng)常出現(xiàn)的事故。

AR HUD，這個(gè)量產(chǎn)現(xiàn)在也越來越多了，在商用車上以后可能也會(huì)用，因?yàn)榇_實(shí)能夠讓司機(jī)專注在前方道路上不需要向其他地方去看。

最后講講車內(nèi)娛樂系統(tǒng)，可以在車上面做手機(jī)可以做的事情，可以美顏，可以虛化背景，可以做各種各樣的AI的事情，乘用車上這也是為了吸引年輕一代的消費(fèi)者，而在商用車上在休息的時(shí)候是不是也可以做一些直播或者加一些美顏等等，這也是有可能的。

以上就是我們所做的事情，那么虹軟的優(yōu)勢(shì)是什么？

虹軟二十多年一直在做一件事情視覺感知算法，我們的優(yōu)勢(shì)，首先是算法優(yōu)勢(shì)，我們是一站式全解決，從基礎(chǔ)的圖像增強(qiáng)、圖像處理到圖像分析到智能分析都有。另外就是平臺(tái)優(yōu)勢(shì)，我們做的平臺(tái)很多，不管是高通的，TI的和其他平臺(tái)都有針對(duì)性優(yōu)化算法。此外是服務(wù)的優(yōu)勢(shì)，裝載我們的設(shè)備超過100億臺(tái)，我們有專業(yè)的服務(wù)團(tuán)隊(duì)可以就地在車廠幫助你們進(jìn)行落地。

我們的算法落地就是覆蓋所有影像視覺基礎(chǔ)技術(shù)，在AI、AR/VR上面，還有三維立體建模等等都是非常成熟的方案。

對(duì)于算法，比如說ADAS算法，這是一個(gè)視頻前方測(cè)試，前方靜止車輛或者靜止行人的時(shí)候，我們跟市場(chǎng)上比較優(yōu)秀的算法比較，我們的算法跟他們相比不相上下，有的時(shí)候有一些優(yōu)勢(shì)。對(duì)于靜態(tài)行人也是一樣，如果從80米開始，前方有一個(gè)靜態(tài)行人，什么時(shí)候開始檢測(cè)到這個(gè)行人，檢測(cè)到距離精確度也有比較多的測(cè)試，我們的算法還是有不少優(yōu)勢(shì)的。

平臺(tái)優(yōu)勢(shì)有主流平臺(tái)，高通就不用多講了，我們是戰(zhàn)略合作伙伴，每次高通新的芯片發(fā)布的時(shí)候，基本會(huì)放一段虹軟算法展示他們的效果，在其他的NXP、TI、Ambarella、MTK等等上面都有很好的落地案例。

虹軟從算法到平臺(tái)二十多年的耕耘，二十多年的優(yōu)化落地的能力。我們認(rèn)為，對(duì)于客戶來講，最關(guān)鍵的就是要成就他們，不光有算法，還要落地，對(duì)于我們產(chǎn)品來說最重要的是算法和工程，我們常講的優(yōu)勢(shì)就是三個(gè)P：Price、Performance、Power Consumption。在各種不同環(huán)境下，在暗光、強(qiáng)光各種情況下都有很好的表現(xiàn)，我們?cè)诙嗄晔謾C(jī)上面芯片上面深度優(yōu)化的積淀對(duì)資源的利用非常地高。比如說在現(xiàn)有硬件上加功能，比如你對(duì)自己的DMS不滿意，但是你現(xiàn)在只有有限的資源，能不能用我們的DMS來取代，讓你做的更好更精確，比如只給一個(gè)DSP或者一個(gè)CPU有限算力的情況下，我們可以幫助你做到最優(yōu)，做到最好。