TWI570676B - 手語翻譯系統 - Google Patents

Description

手語翻譯系統

本發明係關於一種手語翻譯系統；特別是關於一種具有偵錯功能的手語翻譯系統。

根據統計，2014年台灣身心障礙者佔總人口的4.9%(約114.2萬人)，其中，男、女聽覺機能障礙者約佔身心障礙者的10.6%、10.9%，且以65歲以上的人口所佔比例較高。

由於聾啞人士以手語為主要表達方式，但非聾啞人士中懂得手語者寥寥可數，正規手語學習管道亦不常見，導致聾啞人士與他人溝通時諸多不便，如：在政府部門洽公時，因手語服務窗口少，造成等候時間長等問題；另一方面，懂得手語的醫護人員嚴重不足，常造成醫師無法明確得知聽障患者欲表達的意思，輕則導致不能對症下藥，重則造成病情延誤。

目前雖有少數單位提供手語翻譯服務，惟經台灣手語翻譯服務現況調查報告指出，高達90%的受訪者認為手語服務面臨手譯員派遣困難及人數不足等問題，若以有條件地付費方式推廣手語翻譯服務，無疑更為加重聾啞弱勢族群的負擔。為解決此問題，逐漸發展出手語翻譯系統，惟習知系統需透過手套翻譯手語，仍有穿戴不便、構造複雜及容易誤譯等問題尚待克服。

有鑑於此，有必要改善上述先前技術的缺點，以符合實際需求，提升其實用性。

本發明係提供一種可易於穿戴且構造簡單的手語翻譯系統。

本發明揭示一種手語翻譯系統，可包含：一感測手環，該感測手環為整合肌電感測、移動感測及無線傳輸功能之裝置，可用以穿戴於一使用者的前臂，該感測手環可感測一手語動作並產生數種感測訊號，依據一取樣率從該感測訊號取得一離時資料作為一實測資料，該實測資料可依數個時段分為數個實測分段；一資料庫，可用以儲存數種手語動作的離時資料作為數個樣板資料，各樣板資料可依該數個時段分為數個樣板分段；一處理單元，耦接該感測手環及該資料庫，該處理單元可計算所有樣板資料於各時段的樣板分段與同時段的實測分段的分段相似度，可統計各樣板資料的分段相似度介於一似閾範圍的數量，計算該數量佔同一樣板資料的樣板分段之數量的比值為各樣板資料的分段相似比，可判斷所有樣板資料的分段相似比是否皆不介於一分段比閾範圍，若判斷為是，可產生一無效訊號，若判斷為否，可依據該分段相似比最高的樣板資料對應的手語動作產生一手譯訊號；及一人機介面，耦接該處理單元，可依據該手譯訊號顯示一手譯訊息，或依據該無效訊號顯示一無效訊息。

所述似閾範圍之值為55%至100%；所述分段比閾範圍之值為62.5%至100%；所述手譯訊息顯示後，若該人機介面收到一除錯指令，該處理單元可依據該除錯指令糾正該分段相似比最高的樣板資料對應的手語動作為另一手語動作；所述無效訊息顯示後，若該人機介面收到一編輯指令，該處理單元可依據該編輯指令新增該實測資料至該資料庫，作為另一手語動作的樣板資料。據此，可供使用者擴增或更正該資料庫的字庫內容，使字庫內容漸趨精確完備。

所述感測訊號可包含數個肌電訊號、一加速度訊號及一迴轉訊號；所述手語翻譯系統可包含一教學單元耦接該處理單元，該教學單元 可用以播放一手語教學數位內容。藉此，能夠用於精進聾啞人士的手語表達能力，且可供不懂手語者作為手語自學工具，更可作為聾啞人士與非聾啞人士之間溝通的橋樑。

上揭手語翻譯系統，除可易於穿戴且構造簡單，另具有偵錯功能，可更正字庫內容，亦可擴增字庫內容，使字庫內容漸趨完備精確，能夠用於精進聾啞人士的手語表達能力，且可供不懂手語者作為手語自學工具，更可作為聾啞人士與非聾啞人士之間溝通的橋樑，可以達到「改善手語溝通效率」及「字庫內容完備精確」等功效，有利於提升無障礙空間的廣度及深度，達成幫助弱勢及增進社會和諧等公益效果。

1‧‧‧感測手環

2‧‧‧資料庫

3‧‧‧處理單元

4‧‧‧人機介面

5‧‧‧教學單元

emg1~emg8‧‧‧8個肌電訊號

a‧‧‧加速度訊號

c‧‧‧迴轉訊號

第1圖：係本發明手語翻譯系統實施例之系統方塊圖。

第2a圖：係本發明手語翻譯系統實施例的感測手環實測手語動作「謝謝」之8個肌電訊號之波形圖。

第2b圖：係本發明手語翻譯系統實施例的感測手環實測手語動作「謝謝」之1個肌電訊號、1個加速度訊號及1個迴轉訊號之波形圖。

第2c圖：係本發明手語翻譯系統實施例的資料庫儲存手語動作「謝謝」之8個肌電訊號之波形圖。

第2d圖：係本發明手語翻譯系統實施例的資料庫儲存手語動作「謝謝」之1個肌電訊號、1個加速度訊號及1個迴轉訊號之波形圖。

第3a圖：係本發明手語翻譯系統實施例的感測手環實測手語動作「早上」之8個肌電訊號之波形圖。

第3b圖：係本發明手語翻譯系統實施例的感測手環實測手語動作「早上」之1個肌電訊號、1個加速度訊號及1個迴轉訊號之波形圖。

為讓本發明之上述及其他目的、特徵及優點能更明顯易懂，下文特舉本發明之較佳實施例，並配合所附圖式，作詳細說明如下：本發明全文所述之「耦接」(coupled connection)，係指二電子裝置間藉由耦合技術(如：電磁或光電耦合等)相互傳遞訊號，惟不以此為限，係本發明所屬技術領域中具有通常知識者可以理解。

請參閱第1圖所示，其係本發明手語翻譯系統實施例之系統方塊圖。其中，該手語翻譯系統實施例可包含一感測手環1、一資料庫2、一處理單元3及一人機介面4，該感測手環1、資料庫2及人機介面4耦接該處理單元3。該感測手環1可用以穿戴於一使用者的前臂(forearm)，該感測手環1可感測一手語動作(如：大拇指反覆彎折表示〝謝謝〞等動作)並產生數種感測訊號，如：數個肌電訊號(EMG)、一加速度訊號及一迴轉訊號等，該感測手環1可依據一取樣率(如：30次/秒)從該感測訊號取得一離時資料(discrete-time data)作為一實測資料(sensing data)，該實測資料可依數個時段分為數個實測分段(sensing segments)，如：感測10秒的實測資料可分為10個1秒的實測分段，以利分析手語動作細部過程。

在此實施例中，該感測手環1可為整合肌電感測、移動感測及無線傳輸功能之裝置，如：具有8條肌電感測通道(EMG sensing channels)、3軸加速度計(3D accelerator)、迴轉儀(gyro)、磁力計(magnetometer)及藍芽(Bluetooth)傳輸功能之智慧型手環(如：Thalmic Labs出品之智慧臂環Myo)或手錶等，當使用者(如：聾啞人士或手語學習者)的前臂穿戴該感測手環1時，可即時感測該前臂連接的手指(fingers)活動及該前臂移動時的8個肌電訊號(如：皮膚下肌肉的活動電位，其單位可為微伏特，μV)、1個加速度訊號及1個迴轉訊號(共10個訊號)，用以表示該手語動作，如：該實測資料可為400個時點各別取樣10個訊號產生的4000個數值，該4000個數值可依8個時段分為8個實測分段(如： 第1~50、51~100、101~150、…、351~400個時點分別取樣10個訊號產生的500個數值)，惟不以此為限。

請再參閱第1圖所示，該資料庫2可為雲端資料庫或由資料處理裝置內建的儲存元件構成，惟不以此為限；該資料庫2可用以儲存數種手語動作的離時資料作為數個樣板資料(template data)，各樣板資料可依該數個時段分為數個樣板分段(template segments)。在此實施例中，可先令使用者利用該感測手環1示範常用的數種手語動作，並產生對應的離時資料作為數個樣板資料，如：第1、2、…個樣板資料分別對應表示〝謝謝〞、〝早上〞、…等手語動作，各樣板資料可依該數個時段分為數個樣板分段，以便儲存於該資料庫2，作為後續判讀手語動作之依據，惟不以此為限。

請再參閱第1圖所示，該處理單元3可為具有資料儲存、處理、傳輸功能之裝置，如：雲端伺服器(cloud server)、可攜式運算裝置(portable computing apparatus，如：平板電腦或智慧型手機等)、微控制器(MCU)、數位訊號處理器(DSP)或特殊功能積體電路(ASIC)等，該處理單元3可耦接該感測手環1及該資料庫2，該處理單元3可執行一手語翻譯程式(program)，計算所有樣板資料於各時段的樣板分段與同時段的實測分段的分段相似度(segment similarity)，統計各樣板資料的分段相似度介於一似閾範圍(similarity threshold range)的數量，計算該數量佔同一樣板資料的樣板分段之數量的比值為各樣板資料的分段相似比(segment similar percentage)，判斷所有樣板資料的分段相似比是否皆不介於一分段比閾範圍(segment ratio threshold range)，若判斷為是，產生一無效訊號(invalid signal)，如：〝無法辨識〞的ASCII碼等；若判斷為否，依據該分段相似比最高的樣板資料對應的手語動作產生一手譯訊號(translating signal)，如：〝謝謝〞的ASCII碼等。

在此實施例中，該處理單元3可先將上述感測訊號進行校準(calibration)及正規化(normalization)程序，其運算方式係所屬技術領域中具有通常知識者可以理解，在此容不贅述；該處理單元3可依據一相似演算法(similarity algorithm，如：Maximum Likelihood演算法等)，用以計算所有樣板資料(如：第1~N個樣板資料)於各時段(如：第1~8個時段)的樣板分段與同時段的實測分段的分段相似度(如：百分比值)，其計算方式可如下式(1)所示： 其中，T為各時段的分段相似值，y_i、p_i分別為同一時段之樣板分段、實測分段中的第i(i=1~N)個數值，如：第1個時段之樣板分段、實測分段中的第1~50個離散時間數值等；另，該似閾範圍之值可為55%至100%，該分段比閾範圍之值可為62.5%至100%，用以提升資料比對效率，惟不以此為限。

請再參閱第1圖所示，該人機介面4可為具有資料輸出、入功能的裝置，如：觸控螢幕等，惟不以此為限；該人機介面4可耦接該處理單元3，依據該手譯訊號顯示一手譯訊息，或依據該無效訊號顯示一無效訊息。在此實施例中，該人機介面4之顯示畫面可規劃一輸出部分及一輸入部分，該輸入部分可供使用者輸入資料(如：數據或指令等)，該輸出部分可顯示該手譯訊息或無效訊息，惟不以此為限。另，本發明手語翻譯系統實施例還可包含一教學單元5耦接該處理單元3，該教學單元5可用以播放一手語教學數位內容(dactylology teaching digital content)，如：手語教學影片等，可展示常用手語動作，供使用者模仿手語動作，並由該處理單元3判斷動作是否正確，作為使用者自行學習手語的依據。

此外，該手譯訊息(如：〝謝謝〞)顯示後，若使用者認為該 手譯訊息與手語動作不符，還可利用該人機介面4輸入正確的手譯訊息(如：〝早上〞)作為一除錯指令(error correcting instruction)，若該人機介面4收到該除錯指令，該處理單元3可依據該除錯指令糾正該資料庫2中分段相似比最高的樣板資料對應的手語動作為另一手語動作(即〝早上〞)，還可參考提出糾正的人數及手譯訊息作為除錯之依據，如：當此提出糾正此手譯訊息的人數超過預設值時，該資料庫2則新增此動作的訊號，惟不以此為限。

舉例而言，該處理單元3可先將該除錯指令視為一新增資料並儲存於一暫存資料庫(temporary database)，該新增資料的演算法可採用：接受者操作特徵曲線(Area under the receiver operating characteristic curve，AUC)，用以判斷數筆新增資料與現有資料是否重複(如：〝真陽〞、〝偽陽〞、〝真陰〞、〝偽陰〞)，AUC之使用方式係所屬技術領域中具有通常知識者可以理解，在此容不贅述；其中，若該新增資料的糾正人數介於一參考人數範圍(如：總人數的65%~100%)，則可將該暫存資料庫中的新增資料加入該資料庫2，以便對該資料庫2新增資料或取代原有資料，惟不以此為限。

另，該無效訊息顯示後，若使用者可以提供正確的手譯訊息，還可利用該人機介面4輸入正確的手譯結果(如：〝早上〞)作為一編輯指令(editing instruction)，若該人機介面4收到該編輯指令，該處理單元3依據該編輯指令新增該實測資料至該資料庫2，作為另一手語動作(即〝早上〞)的樣板資料，惟不以此為限。

以下舉例說明本發明手語翻譯系統實施例的運作情形，惟不以此為限。舉例而言，當使用者欲利用本發明手語翻譯系統實施例時，可將該感測手環1穿戴貼合於慣用手之前臂，經過適當的準備程序後，即可利用該慣用手比出一手語動作(如：〝謝謝〞)，由該感測手環1感測該前臂 連接的手指活動及該前臂移動時的感測訊號，如：8個肌電訊號emg1~emg8(如第2a圖所示)、1個加速度訊號a(如第2b圖所示)及1個迴轉訊號c(如第2b圖所示)，用以作為該實測資料；該資料庫2儲存有該手語動作(如：〝謝謝〞)的樣板資料，如：8個肌電訊號emg1~emg8(如第2c圖所示)、1個加速度訊號a(如第2d圖所示)及1個迴轉訊號c(如第2d圖所示)的離時資料，供該處理單元3比對該實測資料與所有樣板資料，以單一肌電訊號配合該加速度訊號及迴轉訊號比對過程為例，該感測手環1、資料庫2之8個肌電訊號、1個加速度訊號及1個迴轉訊號(共10個訊號)可被取樣成上述離時資料，該離時資料可分成8個實測分段、8個樣板分段，如：第1~50、51~100、101~150、…、351~400個時點分別取樣10個訊號產生的500個數值。

以手語動作〝謝謝〞為例，該處理單元3可將〝謝謝〞動作過程獲得的8個實測分段、8個樣板分段依據上述Maximum Likelihood演算法計算8個分段相似度(如：99.4%、90.1%、90%、50%、45%、60%、71.9%、47.2%)，統計8個分段相似度介於上述似閾範圍(55%至100%)的數量為5，計算該數量(即5)佔同一樣板資料的樣板分段數量(即8)的百分比為各樣板資料的分段相似比(即5/8*100%=62.5%)，由於該分段相似比(62.5%)介於上述分段比閾範圍(62.5%至100%)，若該分段相似比即為所有分段相似比中的最大值，則該處理單元3可據以產生上述手譯訊號，如：〝謝謝〞字元之ASCII碼，供該人機介面顯示手譯結果為〝謝謝〞，惟不以此為限。

此外，當使用者比出的手語動作為〝早上〞時，該處理單元3可收到8個肌電訊號(如第3a圖所示)、1個加速度訊號(如第3b圖所示)及1個迴轉訊號(如第3b圖所示)取樣成的實測資料，若該處理單元3比對該實測資料與所有樣板資料後，發現所有樣板資料的分段相似比皆 不介於上述分段比閾範圍，即無法找到該手語動作對應的樣板資料，該處理單元3可產生上述無效訊號，如：〝無法辨識〞字元之ASCII碼，供該人機介面顯示手譯結果為〝無法辨識〞，惟不以此為限。此時，若使用者(如：手譯員)確認該手語動作的手譯結果為〝早上〞，可據此輸入上述編輯命令(如：〝早上〞)至該人機介面4，供該處理單元3依據該編輯指令新增該實測資料至該資料庫2，作為手語動作〝早上〞的樣板資料。據此，可供使用者擴增該資料庫2的字庫內容。

另外，若該手語動作〝早上〞的手譯結果為〝謝謝〞，使用者還可進行除錯過程，利用該人機介面4輸入正確的手譯訊息(〝早上〞)作為上述除錯指令，該處理單元3可依據該除錯指令糾正該分段相似比最高的樣板資料對應的手語動作為另一手語動作(即〝早上〞)。據此，可供使用者更正該資料庫2的字庫內容。

承上，本發明手語翻譯系統實施例主要藉由該處理單元3計算所有樣板資料於各時段的樣板分段與同時段的實測分段的分段相似度，統計各樣板資料的分段相似度介於上述似閾範圍的數量，計算該數量佔同一樣板資料的樣板分段之數量的比值為各樣板資料的分段相似比，判斷所有樣板資料的分段相似比是否皆不介於上述分段比閾範圍，若判斷為是，產生該無效訊號，若判斷為否，依據該分段相似比最高的樣板資料對應的手語動作產生該手譯訊號，供該人機介面4顯示該手譯訊息或無效訊息。其中，該處理單元3還可依據該除錯指令糾正該分段相似比最高的樣板資料對應的手語動作為另一手語動作，亦可依據該編輯指令新增該實測資料至該資料庫，作為另一手語動作的樣板資料。

藉此，本發明手語翻譯系統實施例除可易於穿戴且構造簡單，另具有偵錯功能，可更正字庫內容，亦可擴增字庫內容，使字庫內容漸趨精確完備，能夠用於精進聾啞人士的手語表達能力，且可供不懂手語 者作為手語自學工具，更可作為聾啞人士與非聾啞人士之間溝通的橋樑，可以達到「改善手語溝通效率」及「字庫內容完備精確」等功效，有利於提升無障礙空間的廣度及深度，達成幫助弱勢及增進社會和諧等公益效果。

雖然本發明已利用上述較佳實施例揭示，然其並非用以限定本發明，任何熟習此技藝者在不脫離本發明之精神和範圍之內，相對上述實施例進行各種更動與修改仍屬本發明所保護之技術範疇，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

1‧‧‧感測手環

2‧‧‧資料庫

3‧‧‧處理單元

4‧‧‧人機介面

5‧‧‧教學單元

Claims (7)

1. 一種手語翻譯系統，係包含：一感測手環，該感測手環為整合肌電感測、移動感測及無線傳輸功能之裝置，用以穿戴於一使用者的前臂，該感測手環感測一手語動作並產生數種感測訊號，依據一取樣率從該感測訊號取得一離時資料作為一實測資料，該實測資料依數個時段分為數個實測分段；一資料庫，用以儲存數種手語動作的離時資料作為數個樣板資料，各樣板資料依該數個時段分為數個樣板分段；一處理單元，耦接該感測手環及該資料庫，該處理單元計算所有樣板資料於各時段的樣板分段與同時段的實測分段的分段相似度，統計各樣板資料的分段相似度介於一似閾範圍的數量，計算該數量佔同一樣板資料的樣板分段之數量的比值為各樣板資料的分段相似比，判斷所有樣板資料的分段相似比是否皆不介於一分段比閾範圍，若判斷為是，產生一無效訊號，若判斷為否，依據該分段相似比最高的樣板資料對應的手語動作產生一手譯訊號；及一人機介面，耦接該處理單元，依據該手譯訊號顯示一手譯訊息，或依據該無效訊號顯示一無效訊息。
2. 根據申請專利範圍第1項所述的手語翻譯系統，其中該手譯訊息顯示後，若該人機介面收到一除錯指令，該處理單元依據該除錯指令糾正該分段相似比最高的樣板資料對應的手語動作為另一手語動作。
3. 根據申請專利範圍第1項所述的手語翻譯系統，其中該無效訊息顯示後，若該人機介面收到一編輯指令，該處理單元依據該編輯指令新增該實測資料至該資料庫，作為另一手語動作的樣板資料。
4. 根據申請專利範圍第1項所述的手語翻譯系統，其中該似閾範圍之值為55%至100%。
5. 根據申請專利範圍第1項所述的手語翻譯系統，其中該分段比閾範圍之值為62.5%至100%。
6. 根據申請專利範圍第1項所述的手語翻譯系統，其中該感測訊號包含數個肌電訊號、一加速度訊號及一迴轉訊號。
7. 根據申請專利範圍第1項所述的手語翻譯系統，另包含一教學單元耦接該處理單元，該教學單元用以播放一手語教學數位內容。