拒絕抖動眩暈 亮亮視野AR防抖算法上線

    “對方腦袋一動，畫面就抖的不行，讓人感覺眩暈想嘔吐”，遠程專家在觀看AR第一視角畫面時吐槽到，“遠程協(xié)作控制在幾分鐘內(nèi)還行，時間長了受不了�！盇R眼鏡作為下一代交互方式，仍然還有不少技術(shù)不成熟之處，極大的影響了用戶體驗，其中，攝像頭畫面抖動產(chǎn)生的暈動癥就是最普遍的問題。

    為了解決這個難題，不少廠商正在進行各種努力，而現(xiàn)在，亮亮視野已經(jīng)成功研究出防抖算法，其能降低視頻畫面的抖動，從而降低暈動癥的產(chǎn)生。該技術(shù)已經(jīng)在部分客戶中進行測試，目前表現(xiàn)穩(wěn)定，亮亮視野計劃于9月10日在ARISE企業(yè)服務(wù)平臺中上線該技術(shù)，屆時ARISE用戶均可免費使用。

    為什么不能照搬手機防抖技術(shù)？

    談及AR眼鏡攝像頭防抖問題，想必很多人第一時間的反應(yīng)是，手機攝像頭防抖性能這么好，硬件、算法都這么成熟了，直接用在AR眼鏡上不就行了么？

    防抖算法負責(zé)人表示，雖然都是小型、輕薄化的產(chǎn)品，但要把手機上使用的攝像頭直接照搬過來，基本上是不可能的事情。主要存在兩類技術(shù)難點：

    其一，AR眼鏡首先要考慮輕量化、輕薄化、省電化，而光學(xué)防抖又或是傳感器防抖攝像頭體積都較大，功耗也比較高，這與AR眼鏡的核心設(shè)計相違背；

    光學(xué)防抖攝像頭厚度和體積都過大

    其二，手機防抖算法和AR眼鏡防抖算法的要求存在差異，前者是因拍攝者手持不穩(wěn)定造成的高頻低幅度抖動，而AR眼鏡則是因頭動產(chǎn)生的大幅度、大角度防抖，可以說兩者看似都在解決防抖問題，但在技術(shù)層面上完全是差以千里。

    正是由于這兩點的存在，既沒有現(xiàn)成的硬件可用，算法還需要重新研究，給AR眼鏡場景防抖帶來了嚴(yán)峻的考驗。

    亮亮視野AR防抖算法亮點在哪？

    自2012年Google Glass帶著文藝的科技范兒與濃重的未來感襲來至今已經(jīng)有9年光景了，為什么AR防抖算法才真正有了突破？亮亮視野表示，AR防抖算法不僅要解決AR眼鏡使用下的大幅度運動防抖準(zhǔn)確性問題，更關(guān)鍵的是對低功耗的技術(shù)挑戰(zhàn)非常之大，功耗控制不好即意味著發(fā)熱量控制不住，這是頭戴設(shè)備萬萬不被允許的。

    最終，亮亮視野科研團隊基于神經(jīng)網(wǎng)絡(luò)，改進了ECCV頂會算法，采用了自監(jiān)督學(xué)習(xí)進行運動估計，終于探索出具有低功耗、低延時、大角度旋轉(zhuǎn)適應(yīng)能力三方面優(yōu)勢的AR防抖算法。具體表現(xiàn)為：

    低功耗：亮亮視野防抖算法使用輕量卷積神經(jīng)網(wǎng)絡(luò)算法，僅需要7-10ms。而傳統(tǒng)的基于特征點檢測和光流的運動估計算法通常需要20+ms的耗時，功耗得到了極大程度的控制；

    低延時：大多數(shù)防抖算法通常需要使用未來多幀或全部視頻幀以達到當(dāng)前幀的防抖效果，使視頻展示有較為明顯的延時。亮亮視野防抖算法僅需未來1幀即可達到當(dāng)前幀的防抖目的，實現(xiàn)算法低延時運行。

    旋轉(zhuǎn)，高速運動：常規(guī)的防抖算法最多能解決1-2度每幀的旋轉(zhuǎn)，亮亮視野防抖算法可以對3-5度/幀的視頻達到較好的防抖效果。

    負責(zé)人還介紹道，這一算法還將在不遠的未來部署在Movidius VPU芯片上，發(fā)揮VPU和Laffe框架計算效能比優(yōu)勢，令其防抖和低功耗表現(xiàn)更優(yōu)。

    至今，亮亮視野科研團隊通過技術(shù)探索，已成功解決了陣列光波導(dǎo)模組量產(chǎn)難題、打造了AR專屬AI引擎、提升了AR眼鏡散熱和續(xù)航表現(xiàn)等等一系列棘手的問題，并研究出AI小樣本學(xué)習(xí)、車道線識別、弱監(jiān)督目標(biāo)定位、視覺追蹤、AR防抖等人工智能技術(shù)，為現(xiàn)實世界問題提供了更多實用的AI解決方案，一系列成果距離實現(xiàn)打通人與數(shù)據(jù)最后一厘米的愿景越來越近。