全球每一千名嬰兒就有一個患有先天性或後天性聽力損失，當中逾九成人生於聽力正常的家庭。對於一些家中有聾人或需要與聾人社群溝通的健聽人士，學習手語變得有迫切需要。不過，健聽人士學習手語時，往往難如以手語為母語的聾人般意識到自己打的手語是否準確，特別是手和手指的協調，以及如面部表情等非手形特徵運用方面。香港中文大學（中大）手語及聾人研究中心施婉萍教授一直關注聾人社群的發展，希望以科技拉近他們與健聽人士的溝通。最近，她的團隊便與Google、日本財團及關西學院大學手語研究中心開展「Shuwa計劃」研發相關技術，而「手語村」是計劃的首個里程碑。
進入「手語村」的虛擬小鎮後，玩家須於電腦鏡頭前打手語進行溝通，並完成各種日常生活任務，包括準備旅行物件、尋找住宿、在咖啡室點餐等。遊戲開始時，螢幕上會出現兩個視窗，顯示兩個與任務有關的手語動作，由玩家選擇其中一個在鏡頭前模仿做出動作。人工智能識別系統會評估玩家打手語的準確度和作出回應，並透過遊戲中以手形為藍本的卡通公仔，向玩家介紹「手語」、「聾人」和「聾人文化」的概念，讓聾人或健聽人士均能隨時隨地學習香港和日本兩地的手語及聾人文化。
中大手語及聾人研究中心早於2003年與日本財團合作，其中一個合作項目是開發一個載有大量手語詞項的線上「亞洲手語庫」。2019年，日本財團更主動聯絡中心，希望與Google聯手將人工智能技術應用於手語庫。施教授說：「現時，我們只能在亞洲手語庫的字典輸入字詞才知道其正確的手語，另一方法是查看手語的手形，透過比對以確認該手語的含意。然而，這兩種方法的準繩度都很低，因此，人工智能技術對於手語庫的發展十分重要。」過去10年，有不同研究團隊嘗試開發更好的手語識別技術，包括上傳手語影片，系統便能自動辨識手語姿勢及其來源地，這亦是施教授一直夢寐以求的技術。為此，施教授曾遠赴海外出席多個會議，希望促成這類技術的發展和合作，但無功而回。因此，當Google提出合作時，她滿懷期待，希望「Shuwa計劃」能建立一個所有人都合用的手語學習線上遊戲。
基於這個信念，「Shuwa計劃」構建了全球首個結合機器學習的技術，只須採用一般攝影鏡頭便能識別不同手語肢體的三維動作，便能追蹤和分析手部和肢體動作，以及面部表情的特徵，這項嶄新技術奠定了「手語村」的技術基礎。施教授說：「在手語溝通中，缺少任何一個手形或非手形的特徵，都可能構成文法和詮釋上的錯誤理解。雖然世界各地手語的語言表達有所不同，但由於語音特徵是相通，組合變化有限，要正確識別手語，這類電腦辨識技術足以做到。不過，以往的技術著眼於手部形態，亦需要複雜的設備如三維攝像鏡頭和配有傳感器的電子手套才能識別手語，令技術難以普及，而『手語村』則突破了現行技術的瓶頸。」
彌補傳統手語識別工具的不足
施教授表示，中大手語及聾人研究中心主要為「Shuwa計劃」提供手語相關的專業語言學知識，並收集香港手語數據，以助開發手語自動識別模型。「手語由不同部分組成，當中包括非手形特徵，如頭部位置及臉部表情。既然這個遊戲的目的是幫助玩家分辨影片中的手語，作為手語語言學家，我們認為技術上需要做到可以分拆及區別手語的各個組成部分。所以，我們向合作單位提出建議，希望有關技術在評估玩家打手語準確度時，能清楚指出對錯。」
施教授本科英文系出身，碩士修讀語言學，轉戰手語研究，全因對手語及聾人文化的著迷。她對香港手語文化的前景及「手語村」面世甚感樂觀，尤其是中大為本科生開設的手語課程得到不少學生青睞，「我們提供第一至六級的手語課程，而第一級手語課程在本學年更增至十一班。」
施教授續說：「我們沒有期望健聽人士能變成精通手語的專家，只要他們願意學習，並從中找到樂趣，便能為消除聾人歧視邁進一大步。」
SignTown is not fully developed yet but there are plans to expand the recognition model. For example, some grammar points are expressed by the torso or the head being moved forward a particular distance and that is difficult to detect, as yet, from just a front view. “There is still a long way to go,” says Professor Sze, “but SignTown has opened the door to a lot more opportunities for people to learn and know more about sign language in real life situations. There are plans to incorporate more signs from different countries in SignTown so that people around the world may learn more sign languages and know their differences.”
團隊下一步將擴展「Shuwa計劃」的應用，設計一個具備搜索功能，並結合人工智能技術以協助學習和記錄手語的網上手語詞典平台；而最終目標是開發一個如Google翻譯的自動翻譯模型，利用一般電腦或智能手機的鏡頭便能識別手語中的對話，將其翻譯成口語。
「手語村」學習體驗：https://sign.town/
了解更多有關「Shuwa計劃」：https://projectshuwa.org/
