高通VR820眼球追蹤技術(shù)的獨特之處

    近日，高通在IFA大展上推出了一款集成驍龍820芯片的VR樣機VR820。

    對于高通的這一舉措，有兩個事情是大家最關(guān)注的：一個是高通為何要出一款基于820芯片的VR樣機，另一個就是這款VR一體機采用的眼球追蹤技術(shù)，它到底有哪些厲害之處？

    為了探究這兩個問題，魔多君專門采訪了七鑫易維聯(lián)合創(chuàng)始人彭凡（七鑫易維是目前高通VR820的眼球追蹤技術(shù)合作方之一），來聽聽他對眼球追蹤技術(shù)的解密和高通推出的VR820這一事件的看法。

    魔多君：眼球追蹤的技術(shù)原理是怎樣的？

    彭凡：眼球追蹤技術(shù)屬于機器視覺的一種技術(shù)，它是通過圖像傳感器來捕捉到眼球的圖像，根據(jù)圖像的處理來識別每個人的眼球瞳孔里的特征，通過這些特征實時地反算出看屏幕的注視點。

    魔多君：眼球追蹤技術(shù)的優(yōu)勢是什么？

    彭凡：PC VR對電腦配置的要求很高，GPU 渲染需要至少GTX970以上的顯卡，再加上頭顯，價格在1-2萬，這對于消費者就是一個很高的門檻。但是，眼球追蹤的注視點渲染能把原來GPU處理的數(shù)據(jù)量從原來的100%降到現(xiàn)在的10%，可以讓計算機的渲染效率提升十倍，讓普通配置的電腦也可以跑起來。

    國外的一些專家測試過，我們現(xiàn)在虛擬環(huán)境中看到的一些菜單只是一級菜單，隨著VR越來越成熟，功能越來越復(fù)雜，以后可能會有多級菜單。在這種情況下，相比于手勢識別和語音識別等交互方式，眼控的速度是最快的。有測試數(shù)據(jù)表明，人眼的交互比其他的交互方式快10%以上。

    當(dāng)然，眼部追蹤主要用在一些弱交互上，如果應(yīng)用在游戲里的強交互，有待開發(fā)。

    魔多君：眼球追蹤技術(shù)是如何提高渲染效率的？

    彭凡：當(dāng)你帶VR頭盔的時候，是需要渲染整個畫面的，但是使用注視點渲染之后，只需要渲染你看到的那個畫面，計算機只對用戶看到的區(qū)域做注視點渲染。這個區(qū)域以外的位置，按一定的比例依次降低渲染的像素。這樣一來，GPU的渲染工作就少了九成，渲染效率極大提升了。

    魔多君：眼部追蹤技術(shù)有哪些難點？如何克服？

    彭凡：當(dāng)我們在看VR的時候，頭是在動的，眼球也在動，頭與眼鏡的運動還有可能不同步，運動軌跡是非常復(fù)雜的，而且所有這一切要在非常短的時間內(nèi)計算出來，所以這個就很難。

    總結(jié)來說，眼球追蹤技術(shù)的難點主要體現(xiàn)在高精度、低延時和大視野范圍三個方面。

    高精度方面，因為每個人的眼球是非常微小的差別，那么如何精確識別人眼球的特征呢？這就要有更多眼球追蹤的樣本，并結(jié)合深度學(xué)習(xí)，通過大量樣本的積累，不斷的提升精度。

    解決低延時，就同時需要很強的硬件和軟件。硬件方面需要更高幀率，更高規(guī)格的圖像傳感器，這些傳感器主要掌握在少數(shù)的國際大公司的手上，比如索尼。軟件層面主要是算法上優(yōu)化。我們的延時在4-5ms以內(nèi)。

    視覺范圍層面，即便是很多的國際上做眼球追蹤的公司，也只能追蹤正前方的一小部分，不能做到全視場角度，這是因為算法上有缺陷。我們做到了垂直30°，水平50°，幾乎達到了人眼轉(zhuǎn)動的極限。

    總之，要把這個做好，一方面要有非常強的算法的積累，另一方面是有非常大量的數(shù)據(jù)。

    魔多君：除了VR，眼球追蹤還有哪些應(yīng)用領(lǐng)域？

    彭凡：眼球追蹤技術(shù)可以應(yīng)用在醫(yī)療領(lǐng)域，比如對于漸凍人來說，后期只有眼睛可以動，他們與外界溝通只能通過眼睛，而眼球追蹤技術(shù)可以幫助他們交流。

    還可以應(yīng)用于安全駕駛�；�于眼球追蹤的注意力的檢測，和注意力的檢測，這些用傳統(tǒng)的方法效果并不是很準(zhǔn)確。但是眼球追蹤能測量到車主注意力是否在正前方，或者說通過眨眼的頻率和瞳孔的距離來判斷出司機是否走神，疲勞等。

    還有就是在廣告領(lǐng)域的應(yīng)用，這個有比較大的市場。通過分析用戶注意力在廣告的哪個位置，注意力程度如何，從而檢測出有多少人看，注意力在哪。這些數(shù)據(jù)可以分析出用戶的習(xí)慣和喜好，有利于廣告創(chuàng)作。

    魔多君：您對高通推出VR820這個事件怎么看？

    彭凡：高通其實也不是發(fā)布了一款產(chǎn)品，他們只是發(fā)布了一款樣機，只是想告訴小米、華為這些廠商，想做VR一體機的可以參照我的。高通自身不會做一體機的。

    這是因為，目前還沒有一個廠商用高通820芯片把一體機做的很好（使用高通的芯片是有技術(shù)難度的，它不像MTK，MTK會把所有的解決方案打包好，你只需搭積木一樣搭建就可以了，但是高通不一樣，他們只給你一個核心的模塊，其他的東西延展都需要自己去做），但是高通不想錯過VR這波浪潮，所以想借助820芯片驅(qū)動這個市場。

    目前，我們還在跟HTC做了一個眼球追蹤配件，直接裝在HTC 眼鏡上。預(yù)計在10月份上京東眾籌，HTC也可能會把這個作為官方認(rèn)定的配件。