嶄新Robotic VR系統可遙控機械人為病人採樣測試新冠病毒等複雜工序

Covid-19新冠肺炎病毒的全球大流行加速了機械人的應用，亦令到各界更迫切需要能夠無縫連接起用家和機械人的先進「人機界面」（human-machine interface, HMI）系統。由香港城市大學（香港城大）和另一院校聯合領導的科研團隊，最近成功開發了一套名為「Robotic VR」的嶄新人機界面操作系統，該新系統由柔性的多層電子皮膚組成，能夠為使用者提供視覺和觸覺反饋。新系統能遙控機械人模仿人體動作來完成複雜的任務，並展示了無限的潛力，日後有望可藉此遙控機械人為病人進行新冠冠毒測試採樣，以及遙距照顧傳染病患者。

香港城大生物醫學工程學系（BME）副教授于欣格博士是該研究的通訊作者之一。有關研究成果已刊登於學術期刊《科學進展》（Science Advances），題為〈Electronic Skin as Wireless Human Machine Interfaces for Robotic VR〉。

人機界面操作系統的主要功能是把用戶與機械人或電腦互動連結起來，是遙控操作機器人的重要一環。然而，傳統的人機界面所涉及的機器都較笨重、不太靈活兼價格高昂，而且未能為使用者提供足夠的反饋，難以應用於處理複雜的工序或任務。

一次過實現視覺及觸覺的反饋

科研團隊在這項研究中，便成功研發了一套以柔性電子皮膚為基礎的閉環式人機界面操作系統，可透過藍牙、Wi-Fi和互聯網的接駁，實現無線的動作捕捉和觸覺反饋。

這套名為「Robotic VR」的嶄新人機界面系統，利用柔性電子皮膚上的集成電路，揉合了視覺、聽覺和觸覺的虛擬實境（virtual reality, VR），令遙距操作者如置身現場一樣。它採用多層式設計，其中最底層是與人類皮膚顏色相近的彈性矽膠，是一個柔性的黏合面，可以固定在使用者不同部位的皮膚及關節上。而每層之間則由一系列的晶片級集成電路和傳感組件互相連結起來，當中包括電阻器、電容器、藍牙通訊模組、微控制器單元（microcontroller unit, MCU），以及由科研團隊自家開發的柔性傳感器和驅動器。

從感應人體活動到精細的動作模仿

Robotic VR系統的傳感器可以準確感測到人體的微細動作，並將它轉化為電子訊號，經過MCU處理後，經無線傳送給特定的機械人，使用者因而可以遙距指令機器人模仿他的動作，以完成任務。同一時間，安裝在機械人或機械臂上的壓力傳感器，可以通過藍牙模組把反饋信號送回給使用者，透過控制連接著使用者皮膚的驅動器所發出的振動的強度，為使用者提供觸覺反饋。這樣，用戶便可以根據觸覺反饋、即振動的強度，精確地遙控和調節機械人或機械臂的動作及力度。

系統可支援三種不同的無線傳輸方式，包括有效範圍較短的藍牙（數十米內）、中程的Wi-Fi無線上網（最遠約100米）以及遠程的互聯網（通行全球）數據傳輸，容許用家根據實際的操作環境作出調整。

于博士說：「這新一代的柔性人機界面系統，能夠遠距離遙控機器人執行複雜的任務。」他指出，新系統採用的物料可拉伸，可以長時間牢固地緊貼於人體皮膚甚至全身。此外，這創新的人機界面可同時提供觸覺和視覺反饋系統，為使用者提供了沉浸式的體驗，令他們遙控機械人時恍如親歷其境。

Robotic VR系統可以遙距操控各種機械。憑藉其先進的電路設計和出色的機械特性，于博士相信這套系統在商業和生物醫學工程領域具有巨大應用潛力。舉例說，它可以用來遙距控制及駕駛無人車；由於黏貼在使用者身上的傳感器，能夠監測及傳遞肌肉的訊號以控制機械人，即使手部傷殘的使用者在佩載了這套系統後，都可以遠程操控機器人去搬運重物，以克服身體的殘障。

遙控機器人完成複雜任務的巨大潛力

在生物醫學工程方面，醫生日後可以通過佩戴這人機界面系統和 VR 眼鏡，以遙控機械人或機械臂進行手術。醫護人員亦可以藉著遠程遙控機器人去照顧傳染病患者及為病人採集生物樣本，從而大大降低醫護人員受感染風險。

研究團隊更進行了不同實驗，以展示Robotic VR系統的應用潛力，例如透過遙控機械臂，為其他人採集Covid-19新冠病毒測試的咽喉樣本；團隊亦曾遙控人形機械人去清潔房間甚至模擬提供病人護理。團隊正在開發下一代更先進的系統，希望能夠實現到藉著遙控機器人，為病人進行鼻咽拭子採樣。

于博士期望這新一代的人機界面系統能夠提供嶄新的方法，把人們無線連接到「元宇宙」虛擬世界中的機械人或虛擬人物。

研究論文的第一作者分別是來自香港城大生物醫學工程學系的劉一明先生、姚俊祺先生和黃雅博士，以及大連理工大學的宋珍小姐；通訊作者為于博士以及大連理工大學解兆謙教授。研究資金主要來自香港城大、香港研究資助局以及深圳市科技創新委員會。

https://www.cityu.edu.hk/zh-hk/research/stories/2022/02/21/robotic-vr-system-teleoperate-robots-potential-covid-19-swab-tests-and-other-tasks