騰訊《一線》卜祥
7月3日,曠視科技發布消息,稱OPPO Find X手機上的人臉識別應用由OPPO研究院上海軟件研究中心AI實驗室與曠視科技Face++聯合研發,海外版和國行版的 OPPO Find X 都具備了毫秒極速解鎖和百萬分之一精度的安全支付功能。
為了讓手機像人一樣獲得三維立體的圖像信息,手機廠商們接連推出了雙攝方案,雖然雙目攝像頭能夠依據視差原理形成三維圖像,但是受制于光線和紋理等拍攝環境因素,雙攝產生的三維圖像差強人意,更無法滿足3D驗真環節的應用要求,所以采用主動投射編碼光獲取3D信息的結構光技術成為智能手機革新的關鍵一環。
在應用中,3D結構光的整個系統包含結構光投影設備、攝像機、圖像采集和處理系統。通過投影設備的發射光線到被測物體上,攝像機拍攝在被測物體上形成的三維光圖形,拍攝圖像經采集處理系統處理后便能夠獲得被測物體表面數據形成三維的圖像信息。簡單來講3D結構光的實現原理類似于海底探測的聲吶系統是通過反射信息來確定深度的,只不過3D結構光在手機人臉識別上的應用,是通過人臉表現反射光線來確定深度信息的。 相比雙目來說,其效果在同樣的場景下能夠得到更完整、更細膩的深度圖。
今年5月10日的一次媒體見面會中,OPPO 就曾向大眾演示了全球首個基于 3D 結構光技術的 5G 視頻通話,并宣布 OPPO 的3D結構光技術已經具備量產條件。而今天,OPPO Find X 的全面問世不僅兌現了 OPPO 承諾,更徹底打破了安卓陣營結構光技術短板的局面,這項技術自此再也不是 iPhone X 的專屬功能。
相比傳統人臉識別,OPPO Find X 的 3D結構光技術可應用于安全支付、三維重建、AR、游戲等眾多場景,其中最重要的應用是便是安全支付,這便要求3D結構光人臉識別算法具備極高的技術水準,并做到嚴格的質量控制。
OPPO官方介紹,在 Find X 可升降的雙軌潛望結構中安裝了泛光感應元件(Flood illuminator),紅外攝像頭(infrared camera)、測距傳感器(ranging sensor)、點陣投影器(dot projecter),采用 3D 結構光技術,通過向人臉投射 15,000 個光點,給用戶的面部構建立毫米級精度的 3D 深度圖,實現更為精確地識別用戶的生物特征,并快速與主人信息進行比對,實現了免接觸、更安全的解鎖。
“世界上60%的攝像頭是用在手機上面的。”曠視科技云事業部高級副總裁吳文昊表示,“短期來看,曠視的首要任務就是賦能全球十億攝像頭,所以手機市場一定是主戰場。”2017年中,曠視科技開始布局手機市場,隨后基于核心的深度學習和計算機視覺技術一舉推出人臉支付、人臉識別解鎖、人像光效、人像背景虛化、視頻美化、3D Animoji等一系列移動端AI產品,以滿足不同手機廠商在人臉解鎖、圖像增強、相機增強、智能圖像和視頻處理上的需求。
為了滿足OPPO極致的產品需求,曠視科技手機解鎖團隊攻關數月,完成了逾十億張人臉數據的訓練和 60 萬張 benchmark 測試,最終實現了0.1秒內極速識別、0.03秒重建,和誤識率低于百萬分之一的高精度安全面部識別。
搭載曠視科技3D結構光人臉識別方案的 OPPO Find X 可通過前置的 RGB、紅外和結構光攝像頭同時采集到人臉的色彩圖片、紅外圖片和 3D 信息,并快速從輸入的人臉紅外特征信息與深度信息中提取個人的安全識別特征,安全特征具有10000+維度信息,算法會將提取的安全信息與錄入時安全信息進行匹配決定是否安全認證通過。
在體驗上,無論是錄入還是解鎖都在頃刻間完成,甚至在暗光環境下也幾乎不受影響,解鎖效率相比現在的人臉識別大大提升。而在安全性上,曠視給出的 3D 結構光人臉識別方案無論是在解鎖還是在支付應用中都可以有效抵御照片、視頻甚至定制化硅膠面具和 3D 打印面具等形式的攻擊。
拿到OPPO 大單只是曠視科技人臉識別技術應用的一部分,這家公司還做了人臉識別另一種方案,就是和結構光競爭的TOF方案。
在剛結束的上海MWC上,vivo手機公司展示了TOF技術,據騰訊《一線》了解,這項技術也由曠視提供支持。
vivo 在2018 MWC 上海發布了 TOF 3D 超感應技術。在現場,用戶只需要站上 vivo 的體驗機,搖臂上搭載了 TOF 3D 超感應技術的原型機就會對用戶的頭部進行環形掃描,錄入之后很快就會形成一個高精度的 3D 人臉模型,輪廓和細節的把控都十分出色,用戶還可以拖動模型查看任一角度的自己。
除了3D建模,曠視(Face++ )與 vivo 在這一次的 MWC 中推出了一整套移動端 3D 創新產品,并首次在業內實現依托于(TOF)3D 攝像頭方案的安全支付、3D 美顏、3D 整形和 3D 光效等應用。
iPhone X 的 3D 結構光可感應 3 萬個有效深度信息點,vivo TOF 則是 30 萬個,因此它能構建更清晰、細節更豐富的 3D 立體圖像;
vivo TOF 的識別距離更遠,可達到 3 米。
最重要的一點,由于 vivo TOF 模組的 baseline(基線,可簡單理解為發射器和接收器的距離)近乎為零,因此模組體積更小,相比 3D 結構光的 25mm 小太多了。
在 3D 支付產品的開發中,vivo 手機在曠視三個核心算法模型結構加持下,可實現 0.1s 內極速識別,0.03s 重建和達百萬分之一的支付精度,包括多尺度多特征的注意力檢測模型,可自適應網絡、多模型融合的識別方案,以及基于業界開創性的移動卷積神經網絡 ShuffleNet 定制開發的活體檢測模型。有了這項技術,vivo 用戶將可以用人臉替代指紋、密碼或 PIN 碼作為移動支付的主要驗證方式。
曠視認為真正的AI加3D時代剛剛開始。