傳統手術過程中，醫生需以肉眼盯緊手術部位，不但眼睛易疲勞，長時間抬手執刀也可能出現手震。手術機械人能輔助醫生在狹窄的人體腔內完成婦產科、泌尿科及耳鼻喉科等外科微創手術，不但手術傷口小，亦能降低大出血風險。全球各地不少醫院引入這種機械妙手，提升工作效率和手術安全。
手術機械人主要模仿醫生在控制台的動作，以機械臂執行手術。要確保手術成功，除了醫生的優良操作技術，人工智能專家、香港中文大學（中大）竇琪教授認為，利用人工智能輔助，令機械人擁有更精準的手勢識別，有利於醫生更好地操作機械人施行手術，並提高手術成功率。
提升手勢辨識能力 助執行複雜程序
現時，訓練機械人手勢辨識能力的方法主要是利用運動學數據或「卷積神經網路」技術加強視覺圖像處理。不過，一些複雜和程序多的手術，機械人需要頻繁地轉換狀態做出不同動作，對手勢辨識能力要求更高。竇教授認為，現行方法只考慮單一數據來源，未能滿足需要，發揮最大效用。她解釋﹕「微創手術講求醫生的手眼協調，機械人也一樣。它的眼（內窺鏡攝影機）反映人體腔內情況，並指導手在正確位置施刀，而手移動便讓眼『看』到不同位置情況。若能融合學習手和眼感知的多模態數據，便能做到手腳協調，更好地讓機械人識別到較複雜的手術步驟。」
手術智能化研究涉及人工智能和醫學知識，國內外也好，要組成有規模的跨學科團隊不容易。竇教授大學主修生物醫學工程，博士及博士後專攻深度學習、人工智能技術及其醫療應用。在這些跨學科研究基礎上，竇教授2020年加入中大計算機科學與工程學系後，以人工智能改良醫療機械人技術的應用為研究重心，最近帶領團隊開發了一套應用多模態數據的人工智能系統，大大提升手術機械人的手勢辨識能力。她的團隊亦與工程學院和醫學院緊密合作，在中大開展這類跨學科的研究。
準確度比現有技術優勝
採用新系統的手術機械人透過內窺鏡攝影機，能將手術部位快速形成3D立體影像，讓醫生觀察患者腔內情況，同時設有一個控制終端平台讓醫生進行手術操作。這個人工智能輔助系統的潛在功能是當手術工具可能觸及靜脈和神經等危險區域時便會發出警報。其突破性技術是利用將近100多個記錄醫生操作手勢的視頻，配合一種新興用於視覺圖像處理、視頻識別的深度學習方法「圖神經學習網絡」（Graph Neural Networks）技術，成功讓機器人更好地理解視頻內容、學習醫生的手腕動作，並促進視覺和運動學多模態數據之間的融合，透過提升手眼協調，達致更佳的手術手勢識別，是全球首次在這方面的嘗試。
新系統利用公共數據集JIGSAW進行試驗，表現理想。機械人在傷口縫合和打結兩個任務的準確度均高達88%。
新系統有望應用於不同平台
市場上有不同型號或技術的手術機械人系統，同一款機械人未必適用於不同醫院平台。為驗證新系統的通用性，團隊在中大醫療機械人創新技術中心幫助下，邀得美國約翰霍普金斯大學電腦感知與機器人實驗室合作，在雙方各自的「達文西手術系統」實驗平台進行試驗，由機械臂執行外科技能訓練中常見的釘子轉移任務。
結果，新系統在兩個平台均表現出穩定和優異的效能。竇教授說﹕「這次驗證十分重要，證明了新系統具良好適用性，有機會應用於不同的醫療機械人平台，可見人工智能在這方面極具應用潛力。」
為醫療機械人發展帶來新研究方向
不過，手術機械人跟人一樣都有強弱項，動作的精準度有差異。竇教授期望，系統日後能在不同醫院的醫療機械人平台試驗，在手術流程中提供感知輔助，令機器人更精準熟練地執行各種動作。
研究成果獲電機電子工程師學會（IEEE）「機器人與自動化國際會議2021」頒發「醫療機器人領域最佳論文獎」，在學術界獲得正面迴響；去年亦於國際會議MICCAI 2020舉辦的「外科微創手術工作流程識別」（MISAW）比賽奪冠。
不過，要將人工智能在手術機械人的應用做到達文西手術系統般的商業化。竇教授坦言﹕「手術機械人對這個行業來說還是比較新的，需要時間適應。具備智能的機械人手術對於外科醫生，尤其是年輕一代很重要，但要轉移這項技術還有很長的路要走。不過，今次研究主要為醫療機械人智慧感知的改良提供新研究方向，日後讓更多醫生和病人受惠。同時研究有助喚起各界關注醫療機械人的發展，為推廣人工智能在手術機械人領域應用的教育出一分力。」
