微美全息科學院：虛擬現(xiàn)實環(huán)境下人機交互與設備遠程操控關(guān)鍵技術(shù)應用

    在智能制造系統(tǒng)的研究開發(fā)實踐中，會遇到大量的人機交互（Human-Machine Interaction）和需要對機器設備進行遠程操控（Teleoperation)的情況。很多數(shù)字化智能化的工廠都具備了先進的人機交互系統(tǒng)和對設備進行遠程狀態(tài)檢測、調(diào)試和維護的能力。尤其是在高溫、有毒、高電離輻射等惡劣工況條件下，工程技術(shù)人員可以通過先進的人機交互和遙控技術(shù)對現(xiàn)場設備進行操作，從而保護工作人員的身體免于損傷。人機交互和遠程操控技術(shù)具有大量的市場需求和廣闊的應用前景，相關(guān)的研究非常熱門。

    隨著虛擬現(xiàn)實和 5G 技術(shù)的發(fā)展，為人機交互和遠程操控技術(shù)注入了新的技術(shù)元素�；�于傳統(tǒng)技術(shù)的人機交互和遠程操控已經(jīng)不能滿足人們的需求。作為納斯達克上市企業(yè)“微美全息US.WIMI”旗下研究機構(gòu)“微美全息科學院”的科學家們認為，人們需要構(gòu)建一個具有逼真可視化效果，能夠與虛擬場景進行自然交互，在虛擬現(xiàn)實環(huán)境中對設備進行遠程操控的系統(tǒng)。

    以下是微美全息科學院的科學與技術(shù)的融合性觀點，對“虛擬現(xiàn)實環(huán)境下人機交互與設備遠程操控關(guān)鍵技術(shù)”具有前沿性指導意義。

    背景介紹

    隨著“智能制造”“工業(yè) 4.0”“工業(yè)互聯(lián)網(wǎng)”等概念的提出，相關(guān)的研究開始變得熱門。在制造業(yè)，工廠數(shù)字化、智能化的改造升級也在如火如荼地進行。很多數(shù)字化工廠都具備了先進的人機交互手段和對設備進行遠程狀態(tài)監(jiān)測、運行、維護的功能。通過先進的人機交互和設備遠程操控系統(tǒng)，工程技術(shù)人員、工作人員可以在舒適的辦公室甚至在千里之外的地方即可實現(xiàn)對設備的運行狀態(tài)監(jiān)測、調(diào)試和維護，極大地提高了工作效率。尤其在高溫、有毒、高電離輻射等惡劣工況條件下，工程技術(shù)人員可以通過先進的人機交互和遠程操控技術(shù)對現(xiàn)場設備進行遙控操作，從而保護工作人員的身體免于損傷。除了工業(yè)方面的應用，在外科手術(shù)中，醫(yī)生運用先進的人機交互和遠程操控技術(shù)可以實現(xiàn)遠程的手術(shù)操作，不但能讓遠在千里之外的患者享受到最優(yōu)質(zhì)的醫(yī)療服務，而且能大大減輕醫(yī)療人員的體力負擔。在太空探索中，借助于人機交互和遠程操控技術(shù)，科學家不必冒著生命危險親自前往外太空，只需要在地面控制中心遙控操作遠在萬里之外的機器人。

    虛擬現(xiàn)實技術(shù)提供了一種全新的查看和操作三維數(shù)據(jù)的方式，為人機交互和設備遠程操控系統(tǒng)注入了新的技術(shù)元素。虛擬現(xiàn)實技術(shù)使用戶能夠進入到計算機圖形系統(tǒng)搭建的場景中，并與其中的虛擬物體進行互動。隨著 HTC，F(xiàn)acebook 等科技公司的推動，虛擬現(xiàn)實硬件平臺和軟件開發(fā)平臺開始進入市場。其中，HTC 研發(fā)推出的HTCVIVE頭盔顯示系統(tǒng)具備大視場、高度沉浸感、高刷新頻率、良好的交互性等優(yōu)異性能。當下，VR已成為繼互聯(lián)網(wǎng)、智能手機之后的下一個風口，世界各科技廠商都開始爭相進入 VR 市場，VR 相關(guān)的研究和應用正如火如荼地開展。

    互聯(lián)網(wǎng)技術(shù)的不斷升級換代，網(wǎng)速和通信可靠性不斷提高，為遙控操作系統(tǒng)提供了通信技術(shù)條件。通常遙操作系統(tǒng)需要建立專門的通信鏈路，隨著互聯(lián)網(wǎng)的性能提升，建立基于互聯(lián)網(wǎng)的遙操作系統(tǒng)成為了可能。尤其是隨著 5G 的全面鋪開，互聯(lián)網(wǎng)通信的網(wǎng)速將達到 1Gbit/s，通信的延遲將縮短為 20 毫秒以內(nèi)。在 5G 支持下，人們可以在遙操作系統(tǒng)終端上，遠程駕駛自己的汽車，遠程操作家中的電器，遠程使用部署在遠端服務器上的大型軟件，遠程操作大型的實驗器材。在工業(yè)生產(chǎn)中，的大部分設備都可以接入互聯(lián)網(wǎng)，傳輸大量實時數(shù)據(jù)。工程技術(shù)人員在遠程操控現(xiàn)場設備的操作體驗將顯著提升。

    虛擬現(xiàn)實技術(shù)國內(nèi)外研究現(xiàn)狀

    虛擬現(xiàn)實技術(shù)（Virtual Reality,簡稱 VR），又稱靈境技術(shù)，是利用電腦模擬產(chǎn)生一個三維空間的虛擬世界，讓使用者能夠沉浸在虛擬空間中，如同身處實際場景中一樣。虛擬現(xiàn)實融合了多種技術(shù)包括模型構(gòu)建和3D顯示技術(shù)，人體動作捕捉和傳感器等技術(shù)。人機交互（Human–Machine  Interaction），主要研究的是人機界面人對機器的操作方式和交互方式。人機界面是人與機器接觸的部分，包括手機電腦的軟件界面，各種設備的控制面板都屬于人機界面部分。遠程操控（Teleoperation），是指通過有線或無線通信手段，將控制指令傳遞到操作終端，在操控過程中包括對設備信息的實時采集和呈現(xiàn)，指令的編碼和傳輸?shù)确矫�。將虛擬現(xiàn)實技術(shù)、人機交互技術(shù)和遠程操控技術(shù)相結(jié)合，實現(xiàn)在虛擬現(xiàn)實環(huán)境下的人機交互和遠程操控，國內(nèi)外有很多相關(guān)的研究和實踐。

    IBM、麻省理工學院和Heartport公司聯(lián)手開發(fā)的達芬奇手術(shù)機器人系統(tǒng)運用了多種人機交互和遠程操控技術(shù)。該系統(tǒng)采集人的操縱信息、觸覺信息，經(jīng)過系統(tǒng)處理傳輸?shù)綑C械手執(zhí)行手術(shù)動作，機械臂的成像系統(tǒng)采集并放大視覺信號傳輸至虛擬現(xiàn)實成像系統(tǒng)，將手術(shù)場景立體呈現(xiàn)給操作人員。該系統(tǒng)運用了系統(tǒng)界面、VR 立體成像、人體動作傳感、觸覺傳感等多種交互手段實現(xiàn)人機信息傳遞。采用信息實時傳輸和高速處理技術(shù)消除信息傳輸和處理過程的延遲。采用精密伺服反饋控制系統(tǒng)和多種先進控制算法程序?qū)崿F(xiàn)對機械臂的精確控制。

    日本豐田公司最新發(fā)布的 T-HR3 機器人系統(tǒng)，采用遠程操控的方式完全模仿人的動作。操作系統(tǒng)采集到人員的動作信息，通過無線數(shù)據(jù)鏈路將人的動作信息傳輸?shù)綑C器人執(zhí)行同樣的動作。機器人的視覺系統(tǒng)將采集到的視覺信息回傳給操作人員，通過 VR 成像系統(tǒng)立體呈現(xiàn)給操作人員。

    美國諾斯羅普•格魯曼公司研制的全球鷹無人機系統(tǒng)通過地面控制站實現(xiàn)人機信息傳遞，信息通過高速數(shù)據(jù)鏈傳輸至無人機執(zhí)行，無人機的視覺傳感器將采集到的信息回傳至地面控制站，控制站將無人機的各項參數(shù)通過顯示面板呈現(xiàn)給操作人員。北京航空航天大學開發(fā)的用于飛行員訓練的虛擬現(xiàn)實系統(tǒng)，能夠使飛行員沉浸于虛擬機艙環(huán)境，虛擬機艙根據(jù)飛行員的操作實時繪制出虛擬場景，使飛行員具有和真實駕駛環(huán)境類似的人機交互環(huán)境，大大降低了飛行員的訓練成本。

    從上述研究，可以提煉出虛擬現(xiàn)實環(huán)境下的人機交互和遠程操控的若干共性技術(shù)。這些技術(shù)可以歸納為對人信息的采集，對機器信息的采集，信息的三維呈現(xiàn)和遠程控制等。機器視覺是信息采集獲取的重要途徑。無論對人還是機器，通過視覺進行信息采集都是信息獲取的重要途徑。對機器視覺的研究最早是對二維圖像的模式識別和分析。20世紀 70 年代隨著計算機的發(fā)展機器視覺的理論體系得以創(chuàng)建。Marr 建立了一套完整的機器視覺理論體系。Marr 的視覺理論將視覺處理分為二維數(shù)據(jù)采集、提取關(guān)鍵要素和三維重建。根據(jù)圖像的點、線、曲率等要素及其各種要素間的關(guān)系，通過一系列的后期處理，恢復出場景的三維信息。在 Marr 視覺理論的基礎(chǔ)上又發(fā)展出了帶有特征拾取，信息反饋，帶有目的的特征識別等一系列的改進模式。

    機器視覺系統(tǒng)的組成包括燈光系統(tǒng)、光電轉(zhuǎn)換系統(tǒng)、成像系統(tǒng)、圖像加工模塊。通過光電轉(zhuǎn)換將目標轉(zhuǎn)換為數(shù)字信號，系統(tǒng)對數(shù)字信號進行處理，形成像素的灰度和彩色數(shù)字。根據(jù)數(shù)字信號的特征，獲得有用知識。在光源方面，通常針對不同的特征提取需求采用不同的照明方案。在視覺系統(tǒng)中，有多種光照方式，包括反向照明、正向照明、結(jié)構(gòu)光源和閃光等。反向照明指光源透過被照物體，光源的方向朝向攝像機。正向照明是指光源直接照射物體，物體的反射光被攝像機捕捉到形成圖像。結(jié)構(gòu)光源是具有一定形狀特征的光源，例如線裝或點狀陣列光源，這些形狀照射在物體上會產(chǎn)生變形，系統(tǒng)根據(jù)變形信息反推出物體的深度信息。閃光是非連續(xù)光照，僅在攝像機拍攝時有短暫光照。CCD(Charge Coupled Device)和圖像采集卡技術(shù)的進步，促進了機器視覺的應用。

    隨著光電轉(zhuǎn)換器件的性能提升，元件越來越小，信號的傳輸能力越來越強。以 PC(Personal Computer)機為中心的視覺系統(tǒng)中，需要借助于顯卡來對拍攝的圖像進行處理，顯卡能夠?qū)�圖像數(shù)字化為像素和灰度值信息。提取復雜信號的特征需要借助于多個步驟分步實現(xiàn)。首先要將關(guān)注的目標同背景區(qū)分開來。目標與背景差別比較小并且難以區(qū)分時，通常要對目標進行特征放大和增強。特征被放大增強以后就能夠同背景進行區(qū)分。把目標從背景分離出的方法包括：偽目標刪除方法、自適應閾值方法、逐步驟類方法、多信息融合方法等。

    目前，三維動作捕捉技術(shù)是研究的熱點。三維運動捕捉技術(shù)能夠可以測量、跟蹤和記錄物體在三維空間中的運動軌跡，不僅人體動作信息采集，在很多研究領(lǐng)域都有著廣泛應用。三維運動捕捉技術(shù)的產(chǎn)生可以追溯到 20 世紀 70 年代，最初是由心理學家 Johansson在對人體運動的視覺感知研究中提出來的。20 世紀 80 年代以來，以 Calvert、Carol、Robertson 以及Walters 和 Tardif 為代表的教授和學者，先后對于三維運動捕捉技術(shù)進行了深入研究，推動了該技術(shù)的發(fā)展，使得該技術(shù)日趨成熟。

    隨著虛擬現(xiàn)實技術(shù)研究的深入和相關(guān)技術(shù)的成熟，在虛擬環(huán)境中與虛擬模型進行交互控制成為了現(xiàn)實。虛擬現(xiàn)實涉及的技術(shù)領(lǐng)域很多，是一個多種技術(shù)共同發(fā)展的結(jié)果。虛擬現(xiàn)實技術(shù)涉及模型構(gòu)建和 3D 顯示、人機互動、穿戴式傳感器、機器學習等多個領(lǐng)域技術(shù)。利用虛擬現(xiàn)實技術(shù)，可以給用戶提供包括視覺觸覺聽覺甚至嗅覺的感官體驗，使參與者具有很強的身臨其境感。虛擬現(xiàn)實系統(tǒng)需要實時采集捕捉使用者的運動狀態(tài)信息，從而生成相應的圖像畫面投影到使用者的雙眼。該技術(shù)集成了 3D 顯示、仿真、機器視覺、機器學習、并行處理等技術(shù)的最新發(fā)展成果，是一種由計算機技術(shù)輔助生成的高技術(shù)模擬系統(tǒng)。

    虛擬現(xiàn)實的概念最早提出與 20 世紀中期。美國宇航局對虛擬現(xiàn)實的顯示屏和傳感器等關(guān)鍵技術(shù)進行了研究，推出了 LCD(Liquid Crystal Display)顯示屏等先進技術(shù)，使虛擬現(xiàn)實技術(shù)得以發(fā)展。1968 年，哈佛大學開發(fā)了一種頭戴式顯示器，配合頭部動作捕捉系統(tǒng)，可以給使用者提供初步的立體視覺，這是虛擬現(xiàn)實技術(shù)研究的一項重要突破。之后的虛擬現(xiàn)實系統(tǒng)開發(fā)多基于這種架構(gòu)。2015 年，HTC VIVE 公司研制的虛擬現(xiàn)實頭盔系統(tǒng)投入市場，代表著虛擬現(xiàn)實技術(shù)的研究已經(jīng)從實驗室走向了市場。虛擬現(xiàn)實技術(shù)的研究也從理論研究轉(zhuǎn)為應用中具體問題的研究。

    綜上所述，機器視覺、動作捕捉、VR 和遠程控制等技術(shù)不斷進步，達芬奇手術(shù)機器人和豐田 T-HR3 機器人等通過對上述技術(shù)的整合和系統(tǒng)集成實現(xiàn)了在虛擬現(xiàn)實環(huán)境下的沉浸式人機交互和對機器的遠程操作。在虛擬現(xiàn)實環(huán)境下的沉浸式人機交互將取代現(xiàn)有的鼠標、鍵盤、顯示屏的人機交互方式。隨著相關(guān)研究和開發(fā)的進行和關(guān)鍵技術(shù)的突破，電影阿凡達中出現(xiàn)的那種遙控外星軀體的科幻場景將成為現(xiàn)實。

    虛擬現(xiàn)實環(huán)境下人機交互與設備遠程控制框架體系的結(jié)合

    為了解決虛擬現(xiàn)實環(huán)境下人機交互與設備遠程控制系統(tǒng)所需解決的數(shù)據(jù)采集、模型構(gòu)建和顯示、人機交互、安全控制等難題，一種基于虛擬現(xiàn)實環(huán)境下人機交互與設備遠程控制框架模型，如圖1所示。從邏輯上分析，該框架模型包括五個層次：硬件執(zhí)行層、工業(yè)網(wǎng)絡層、系統(tǒng)層、邏輯控制層、用戶操作層。這些層次之間有一定的邏輯或業(yè)務交互關(guān)系，每個層中又包含若干安全控制機制與方法，形成一套完整的虛擬現(xiàn)實環(huán)境下人機交互與設備遠程控制邏輯架構(gòu)體。

    （1）硬件執(zhí)行層

    硬件執(zhí)行層為系統(tǒng)的硬件構(gòu)成，主要執(zhí)行來自虛擬現(xiàn)實系統(tǒng)中的 UI 界面模塊發(fā)來的各種生產(chǎn)指令。在智能制造車間，工業(yè)機器人、數(shù)控機床、加工中心、3D 打印機、智能 AGV(Automated Guided Vehicle)小車和工人等形成智能人機集群。這些設備的運行狀態(tài)信息由數(shù)據(jù)采集設備負責采集，經(jīng)過數(shù)據(jù)處理將數(shù)據(jù)提供給虛擬模型的加載和顯示模塊。

    （2）工業(yè)網(wǎng)絡層

    工業(yè)網(wǎng)絡層是將虛擬現(xiàn)實系統(tǒng)底層的現(xiàn)場控制單元和智能生產(chǎn)設備互連的實時工業(yè)通信網(wǎng)絡，常見的有基于現(xiàn)場總線、工業(yè)以太網(wǎng)等技術(shù)手段進行工業(yè)設備網(wǎng)絡通訊，它包括有線傳輸方式與無線傳輸方式。有線傳輸方式一般基于現(xiàn)場總線、工業(yè)以太網(wǎng)等，采用 Profibus、Profinet、TCP／IP 協(xié)議等多類型的標準，高速度、高頻寬及高可靠度的網(wǎng)絡傳輸通道。無線網(wǎng)絡傳輸方式如工業(yè)無線傳感器網(wǎng)絡，進行數(shù)據(jù)傳輸及傳感器連接，不需要現(xiàn)場布線，方便快捷，但是網(wǎng)絡帶寬及傳輸可靠性較差。

    （3）系統(tǒng)層

    系統(tǒng)層是指運行與硬件層之上的系統(tǒng)軟件。它是虛擬現(xiàn)實環(huán)境下人機交互和設備遠程控制系統(tǒng)框架模型的中間核心層，通過系統(tǒng)層可實現(xiàn)在虛擬現(xiàn)實環(huán)境下對智能設備的安全可靠的遠程監(jiān)視與控制。主要功能有數(shù)據(jù)采集、設備控制、通訊管理、模型驅(qū)動、3D 顯示、系統(tǒng)安全管理等。在本模型中，系統(tǒng)安全管理的典型功能有數(shù)字簽名、對稱加密、非對稱加密、安全機制等。

    （4）邏輯控制層

    邏輯控制層是系統(tǒng)的業(yè)務邏輯關(guān)系。主要處理來自用戶操作層對系統(tǒng)層的操作指令，對相關(guān)數(shù)據(jù)進行處理。該層主要包括業(yè)務過程的邏輯控制、數(shù)據(jù)處理與算法優(yōu)化等。主要模塊有指令執(zhí)行、數(shù)據(jù)處理、業(yè)務交互等。

    （5）用戶操作層

    用戶操作層是實現(xiàn)用戶與軟件系統(tǒng)交互、對硬件執(zhí)行層發(fā)布各種指令的界面，它由各種應用系統(tǒng)界面接口、多類型用戶終端設備（例如數(shù)據(jù)手套、攝像頭、VR 眼鏡等）、多種工業(yè) API 接口等。

圖1 虛擬現(xiàn)實環(huán)境下人機交互和設備遠程控制系統(tǒng)框架模型

    虛擬現(xiàn)實環(huán)境下設備遠程控制系統(tǒng)分為多個層級，包括客戶端層、智能設備層、Server 層等。如圖2所示，控制系統(tǒng)主體為基于 OPC(OLE for Process Control)的客戶端/服務器結(jié)構(gòu)。系統(tǒng)每一個層級都可以包含信息交互、指令執(zhí)行和安全控制等模塊。例如在智能設備層，信息交互模塊實現(xiàn)了智能設備的人與機器的會話，機器與機器的會話，機器與網(wǎng)絡的會話以及對復雜信息的處理等功能；指令執(zhí)行模塊可實現(xiàn)Server發(fā)來的各種指令的執(zhí)行，如刀具更換、各運動軸變速、開關(guān)門、設備開關(guān)機等操作指令；安全控制模塊具有對設備控制指令進行數(shù)字簽名、對稱加密和非對稱加密等功能。

    圖2設備遠程控制系統(tǒng)結(jié)構(gòu)模型

    為實現(xiàn)在虛擬現(xiàn)實環(huán)境下遠程操控工業(yè)設備，建立了一套完整的系統(tǒng)。機器視覺、虛擬現(xiàn)實和遠程控制等多項技術(shù)的發(fā)展，為這樣的系統(tǒng)構(gòu)建提供了很好的技術(shù)支撐。為使各項技術(shù)能夠協(xié)調(diào)配合更好地適用于所要建立的系統(tǒng)環(huán)境，還需要對各項技術(shù)進行綜合運用和優(yōu)化改進，系統(tǒng)構(gòu)建步驟如圖3所示。

圖3虛擬現(xiàn)實環(huán)境下人機交互與設備遠程控制系統(tǒng)構(gòu)建步驟

    如圖3所示，在步驟 1 構(gòu)建系統(tǒng)的數(shù)據(jù)采集系統(tǒng)。數(shù)據(jù)采集系統(tǒng)為系統(tǒng)提供數(shù)據(jù)饋送支持。現(xiàn)場多種設備的狀態(tài)信息，通過數(shù)據(jù)采集系統(tǒng)獲取，根據(jù)這些數(shù)據(jù)來驅(qū)動虛擬模型。然后借助于視覺標記間接獲取設備運動信息的數(shù)據(jù)采集方法。

    在步驟 1 進行視覺標記設計、識別和定位相關(guān)技術(shù)的研究。

    步驟 2，完成場景實時構(gòu)建和 3D 顯示。在步驟 1 中獲取到的現(xiàn)場設備數(shù)據(jù)，通過步驟 2 以三維可視化的形式呈現(xiàn)。步驟 2 主要研究場景的實時構(gòu)建、快速加載、動態(tài)運動，虛實同步等問題的解決。最后研究 3D 顯示的實現(xiàn)方案和在虛擬現(xiàn)實環(huán)境下的交互方案。

    步驟 3，搭建一個低延時、安全遠程控制系統(tǒng)，并實現(xiàn)系統(tǒng)與被控設備的軟硬件連接。在虛擬現(xiàn)實系統(tǒng)中，UI 界面產(chǎn)生的操作指令通過遠程控制系統(tǒng)發(fā)送至終端設備并被執(zhí)行。在該步驟中研究解決通信延遲、通信安全和基于 PLC 的終端控制系統(tǒng)搭建問題。

    步驟 4，將步驟 1 至 3 中所研究和提出的解決方案，以及建立的系統(tǒng)模塊進行系統(tǒng)集成與測試。該部分采用數(shù)據(jù)緩存文件的方式實現(xiàn)系統(tǒng)模塊間的連接。最后對系統(tǒng)及其各模塊進行運行測試，完成系統(tǒng)的構(gòu)建。

    研究展望

    諸多的技術(shù)發(fā)展，已經(jīng)為構(gòu)建一個虛擬現(xiàn)實環(huán)境下的人機交互與設備遠程操控系統(tǒng)創(chuàng)造了很好的條件。人們希望將虛擬現(xiàn)實和互聯(lián)網(wǎng) 5G 等新技術(shù)應用于數(shù)字化生產(chǎn)制造領(lǐng)域。然而集成這樣的融合了軟件、電子、機械諸多學科的復雜系統(tǒng)，還需要對各項技術(shù)進行優(yōu)化改進。研究人機數(shù)據(jù)采集、場景實時建模和 3D 顯示、低延時安全遠程控制等關(guān)鍵技術(shù)，并集成關(guān)鍵技術(shù)，開發(fā)的虛擬現(xiàn)實環(huán)境下的人機交互和設備遠程操控系統(tǒng)能夠進一步提升了人機交互體驗和遠程操控效率，同時改進的關(guān)鍵技術(shù)問題具有普遍的適用性，對進一步提高智能工廠的自動化、智能化水平具有很好的參考價值，具有大量的市場需求。