七鑫易維路偉成：XR眼球追蹤技術奇點將至

    日前，2022全球VR/AR產(chǎn)業(yè)機遇策略峰會在上海舉辦。本次峰會由天風海外研究團隊與東西文娛等聯(lián)合主辦，旨在挖掘虛實交互產(chǎn)業(yè)有價值的驅動要素與價值變量，為產(chǎn)業(yè)的良性發(fā)展提供策略參考。

▲七鑫易維副總裁 路偉成

    七鑫易維作為眼球追蹤技術領域的代表受邀出席，副總裁路偉成發(fā)表主題演講，分享了眼球追蹤技術在XR領域的應用場景、市場現(xiàn)狀及發(fā)展趨勢。

    據(jù)路偉成介紹，七鑫易維是致力于機器視覺和人工智能領域的高新科技企業(yè)，自2009年創(chuàng)立以來，已在眼球追蹤技術領域深耕超過13年，XR眼球追蹤產(chǎn)品及解決方案拿下多項「 全球第一」。

▲七鑫易維發(fā)展歷程（2009-2022）

    XR面臨的技術挑戰(zhàn)

    路偉成在分享中表示，XR經(jīng)過多年發(fā)展已取得不少突破，但依然面臨諸多技術挑戰(zhàn)——

    分辨率方面，目前的主流是雙眼4K，現(xiàn)已出現(xiàn)5K，接下來將是雙眼8K，在分辨率大幅提升的同時，算力和數(shù)據(jù)傳輸?shù)膲毫σ矔�越來越大�?/P>

    交互方面，一個新的計算范式發(fā)生改變，隨之也會引發(fā)交互范式的連鎖變化，目前的主要交互方式為手柄，但這顯然不是最佳的交互范式。

    眩暈控制方面，目前的XR終端雖然可以模擬雙眼視差，但單眼的屏幕焦距始終是固定的，雙眼視差引起的深度感知和單眼焦距并不匹配，從而產(chǎn)生視覺輻輳調(diào)節(jié)沖突（VAC），引發(fā)視覺錯覺和產(chǎn)生疲勞。

    路偉成表示，眼球追蹤技術作為一種通過傳感器捕捉人眼動作，檢測人眼狀態(tài)、視線方向與注視點的技術，是解決上述挑戰(zhàn)的最佳方案。

    眼球追蹤技術在XR領域的應用價值

    中國信息通信研究院聯(lián)合華為、京東方、七鑫易維等編制的《虛擬（增強）現(xiàn)實白皮書》顯示，虛擬（增強）現(xiàn)實趨勢包含“五橫兩縱”的技術框架與發(fā)展路徑。具體來說，“兩縱”是指VR與AR，“五橫”是指近眼顯示、感知交互、網(wǎng)絡傳輸、渲染計算與內(nèi)容制作。

    路偉成表示，在“兩眾”的“五橫”關鍵技術框架中，眼球追蹤都扮演著至關重要的角色——

    渲染計算方面，顯示分辨率不斷在提高，渲染算力愈發(fā)不夠用，這也使得“注視點渲染”技術變得尤為重要�！白⒁朁c渲染”的原理是人眼在注視物體時并非整個視野范圍都一樣清晰，而是中心點清晰，越往周邊越模糊。

    “同理，在眼球追蹤與注視點渲染技術的加持下，能大幅減少每幀畫面需要渲染的像素數(shù)量，從而實現(xiàn)提升幀率、降低負載�！�

▲ 眼球追蹤+注視點渲染

    數(shù)據(jù)測試顯示，開啟眼球追蹤+注視點渲染技術后，渲染幀率提高1倍以上，渲染率提升7倍以上。“整套方案中，注視點追蹤解決方案由七鑫易維提供，底層渲染機制則由高通、英偉達等芯片大廠來提供�！�

    感知交互方面，XR終端手柄式的交互方式和沉浸式的需求體驗是相左的，人在真實世界中并不是用手柄進行交互操作，七鑫易維所推崇的是一種“眼手口”多模態(tài)的自然交互體系，即眼球追蹤+手部追蹤+語音識別，它們之間既互相彌補又各展所長，在實現(xiàn)更少學習成本的同時，更加符合人類交互習慣。

    近眼顯示方面，VAC問題需要變焦系統(tǒng)解決，變焦系統(tǒng)則要借助眼球追蹤技術來實現(xiàn)�！把矍蜃粉櫦夹g能高速檢測用戶眼部信息，計算出注視深度，從而大幅提升用戶感知的深度范圍和精準度。”

    網(wǎng)絡傳輸方面，基于云的XR技術在逐步發(fā)展起來，目前的問題是延遲和數(shù)據(jù)量都相對較大，采用基于注視點的流化技術，可以有效降低網(wǎng)絡傳輸帶寬和延遲，從而給用戶帶來體驗上的多重提升。

    內(nèi)容制作方面，“元宇宙”概念持續(xù)火熱，在社交、遠程會議、直播等場景下，Avatar（虛擬化身）的應用愈發(fā)普遍，眼部動作和眼神情感的復現(xiàn)都依賴于眼球追蹤技術。

    除了上述在XR領域的關鍵應用之外，眼球追蹤技術還廣泛應用于IPD調(diào)節(jié)、虹膜識別、視覺健康、精準用戶畫像、認知與心理健康、AR虛實融合對準、自閉癥/老年癡呆等疾病的篩查等場景。

    風口至，眼球追蹤的「黃金時代」來了

    作為國內(nèi)眼球追蹤技術的領導者，七鑫易維始終專注于眼球追蹤技術的研發(fā)、創(chuàng)新與應用，全球專利總量近500項，其中發(fā)明專利300余項，通過超過10年的深耕和千萬級眼部特征數(shù)據(jù)庫的積累，精準度、可用率等核心技術指標均達世界一流水平。

    “過去幾年，七鑫易維可以說是一路見證XR技術的發(fā)展，并率先圍繞Pancake短焦VR頭顯與輕量化AR/MR眼鏡重點布局。”

    路偉成透露，七鑫易維已為創(chuàng)維、HTC、Nreal、NOLO、愛奇藝奇遇VR、小派、亮亮視野、Rokid、詮視等國內(nèi)XR頭部品牌提供眼球追蹤解決方案，并與高通、英偉達、AMD、華為、微軟、英特爾等建立長期生態(tài)合作伙伴關系。

▲七鑫易維XR頭顯/眼鏡合作企業(yè)（部分）

    談及眼球追蹤技術的發(fā)展現(xiàn)狀及未來趨勢，路偉成表示，權威數(shù)據(jù)調(diào)研顯示，VR/AR最需要解決的問題中，眼球追蹤排在第四位，前面的三個問題——HMD舒適性可用性、視場角、運動跟蹤已初步解決，這也使得搭載眼球追蹤解決方案變得迫切起來。

    事實上，微軟、Magic Leap、Varjo、HTC、小派、Pico、Meta等均已推出支持眼球追蹤的XR終端，主要應用于B端；在C端，索尼、蘋果等搭載眼球追蹤功能的新品即將陸續(xù)上市。

    基于此，路偉成認為，隨著消費級XR市場迎來爆發(fā)，眼球追蹤作為最為關鍵的核心技術之一，在XR方向上的應用已經(jīng)到了一個臨界點，正在迎來「黃金時代」，成為新標配。“元宇宙被視作下一代互聯(lián)網(wǎng)，產(chǎn)業(yè)價值空前巨大，而眼球追蹤可以大幅提高XR終端的產(chǎn)品性能和用戶體驗，七鑫易接下來將有一些產(chǎn)品陸續(xù)上市，大家敬請期待�！�