TWI638281B - Providing a method for patients to visually request assistance information - Google Patents

Providing a method for patients to visually request assistance information Download PDF

Info

Publication number
TWI638281B
TWI638281B TW106124886A TW106124886A TWI638281B TW I638281 B TWI638281 B TW I638281B TW 106124886 A TW106124886 A TW 106124886A TW 106124886 A TW106124886 A TW 106124886A TW I638281 B TWI638281 B TW I638281B
Authority
TW
Taiwan
Prior art keywords
patient
instruction
assistance information
user interface
demand
Prior art date
Application number
TW106124886A
Other languages
English (en)
Other versions
TW201908921A (zh
Inventor
郭龍
陳圳卿
Original Assignee
國立臺北科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺北科技大學 filed Critical 國立臺北科技大學
Priority to TW106124886A priority Critical patent/TWI638281B/zh
Application granted granted Critical
Publication of TWI638281B publication Critical patent/TWI638281B/zh
Publication of TW201908921A publication Critical patent/TW201908921A/zh

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本發明涉及一種提供患者以視覺下達需求協助信息的方法,包括依患者的共通需求預先設定多個具有分層及分類之關聯性的眼控指令集,並藉此建置多個按下事件圖塊及多個使用者介面,所述多個使用者介面能於一顯示幕中分層揭示多個分類的按下事件圖塊,並且應用該顯示幕所搭載的一追瞳儀,檢知患者凝視所述多個使用者介面中的各該按下事件圖塊而生成一翻頁信號或一觸發信號;該翻頁信號命令各該分層之使用者介面翻頁,該觸發信號命令一提示單元生成患者的一需求協助信息,以改善具有言語障礙且四肢無力的患者在下達需求協助信息時的方便性。

Description

提供患者以視覺下達需求協助信息的方法
本發明涉及使用者介面(User Interface)的視覺操作(Eye-Control)技術,特別有關一種提供患者以視覺下達需求協助信息的方法。
患者意指起因於肢體受傷或染患某種疾病的對象,不論其是否住院,一般皆會躺臥於床上接受治療或休養。有些患者會因病症而導致其無法說話,或無法清楚地用口語或肢體手勢向醫護人員、看護人員或家屬明確地表達或指引出例如身體痛、癢或不適的部位。
坊間有一種罕見的漸凍人症,全名為「運動神經元疾病」(Motor Neuron Diseases,MND)。染患此種病症的患者,初期其身體會漸漸地無法動彈,仿彿身體被凍結了一般;大約在確診後三年內即開始有吞嚥困難、飲食會嗆到、舌頭無力的狀態,且逐漸地無法以正常人的口語速度說話,造成溝通上的障礙。此外,例如是已執行氣切的患者,用口說話也是相當的不容易,乃至於在溝通上也是一大挑戰。
為了改善上述問題,坊間較先進的技術已存在內建有眼控追瞳儀的視覺操作輔具,能提供患者以眼控方式來下達需求協助的信息。其中,視覺操作又稱為眼控操作(Eye-Control),一般是以電腦螢幕作為患者眼睛的觀看介面,電腦螢幕會顯示出注音符號、英文字母與數字等可供眼睛凝視(Gazing)進而點選的字元區塊,供患者能用眼睛打字的方式,來表達需求協助信息。但是, 倘若患者(例如是罹患漸凍人症的患者)正處於有急迫需求時,例如想上廁所,或某處疼痛難耐等,應用上述眼控打字方式表達必須耗費較長時間,在此過程十分難耐是可想而知的。
另一方面,以一般正常人而言,用手指操作鍵盤、滑鼠來輸入指令是相當容易的;但是,用眼睛凝視螢幕介面中的所述字元區塊來操作一按下(key down/click)事件時,乃受限於眼睛不容易直覺式的按下;因此,坊間發展出了許多眼控輸入法,讓眼控時得以產生按下(click)事件。
坊間多數的共識,都是以眼睛凝視時間(dwell time)來產生按下事件。然而,人眼凝視某物的時間若是過長(>1000ms),眼睛很容易疲倦;凝視時間若是過短(<300ms),則眼控追瞳儀不容易捕捉瞳孔位置。且知,用眼睛打字的凝視時間,平均落在400~1000ms左右,會因持續學習的關係加速。有人用掃視方法,人們掃視的速度是相當快的(<100ms),平均凝視時間約100-600ms,使用者透過一種特定順序的掃視方式,以取得使用者的指令;但是,這種掃視方法,使用者必須要練習、記憶、甚至要演練想像,並不是一個很直覺的方法;相對於患者而言,在眼控操作按下事件的靈敏性及方便性上,仍存在有改善的空間。
有鑑於此,本發明旨在改善傳統眼控打字方式須耗費較多操作時間,對身患病痛之苦的患者用戶而言,在下達需求協助信息時顯有緩不濟急而存在操作方便利欠佳的問題。
進一步的說,本發明之一目的在於捨棄傳統眼控打字的操作方式,而改以預先收集患者病程所需的共同指令為基礎,製作一個易於以眼睛控制選取指令的介面,搭配文字轉語音系統(TTS)、預先翻譯(多國語言)、身體地圖(Body Map)等作為介面選項,讓患者可以快速地眼控點選所需指令而對外下達需求協助的信息。
為了實現上述目的,本發明一較佳實施例在於提出 一種提供患者以視覺下達需求協助信息的方法,包括依序執行:(1)依患者的共通需求設定多個眼控指令集,所述多個眼控指令集具有分層及分類之關聯性;(2)建置多個按下事件圖塊及多個使用者介面,所述多個按下事件圖塊依所述多個眼控指令集分層及分類之關聯性編輯而成,所述多個使用者介面分層揭示所述多個分類的按下事件圖塊,且所述多個使用者介面依序揭示於一顯示幕;(3)應用該顯示幕所搭載之一追瞳儀,檢知患者瞳孔凝視所述多個使用者介面中的各該按下事件圖塊而生成一翻頁信號或一觸發信號;該翻頁信號命令各該分層之使用者介面翻頁,該觸發信號命令一提示單元生成患者的一需求協助信息;其中,所述多個按下事件圖塊中至少包含一身體部位圖案指令,且該需求協助信息至少包含以聲音下達。
在進一步實施中,所述多個按下事件圖塊包含於各該單層的使用者介面中顯示分類的多個特定操作指令圖塊及多個特定需求指令圖塊,所述身體部位圖案指令隸屬於特定需求指令圖塊的其中之一。其中:
所述多個特定操作指令圖塊至少包含一服務鈴指令及一翻頁指令。
所述特定需求指令圖塊包含一身體感覺指令,該身體部位圖案指令係於該身體感覺指令次層的使用者介面中顯示。該身體部位圖案指令包含於單一層使用者介面中分隔顯示一3D身體局部放大圖案指令及至少一全身圖案指令,該3D身體局部放大圖案指令能動態顯示該3D全身圖案指令所指引的身體放大部位。更進一步的,該身體局部放大圖案指令的周邊佈設有多個方向指令圖塊、多個縮放指令圖塊及多個旋轉指令圖塊,以供患者精確地點選出身體不適或疼痛的部位。
該身體部位圖案指令包含於該單一層使用者介面中分隔顯示一我感覺指令。該我感覺指令次層的使用者介面中顯示 有至少一感覺指令圖塊或多個等級指令圖塊;所述感覺指令圖塊包含癢、痛、麻、累、冷、熱的至少其中之一,所述多個等級指令圖塊包含一點點、輕微、很、非常、無法忍受之中的至少兩個,或者是包含刺痛、抽痛、悶痛、酸痛、脹痛、抽痛之中的至少兩個,以供患者精確地下達身體不適或疼痛的程度。
基於上述,本發明所能呈現的技術功效,在於讓一位具有言語表達障礙的患者,例如是罹患有運動神經元疾病之漸凍人症的患者,或者是視覺意識無慮但罹患有身體其它部位疾病或重症的患者,在無法清楚用口語表達意識且四肢無力的狀況下,能夠快速地用眼睛來對外溝通暨下達身體上需求協助的信息。
本發明之另一目的,在於提升眼控操作按下事件時視覺回饋的靈敏性及方便性。
為了實現此目的,本發明還包含下列實施例:
在進一步實施中,該追瞳儀在檢知患者眼睛凝視位置時,能以一視線游標顯示於各該使用者介面,該視線游標並跟隨患者眼睛的凝視位置而在各該使用者介面中移動及停止。其中,該視線游標接觸到各該按下事件圖塊的一邊緣而生成一重疊區域時,該按下事件圖塊能自動吸附視線游標至該按下事件圖塊的中心位置,以改善人體的眼睛視線容易抖動的問題。
在進一步實施中,各該使用者介面中顯示的所述多個特定操作指令圖塊及多個特定需求指令圖塊之間形成有一空白區域,該空白區域規劃形成至少一凝視放空區,供患者在不操作按下事件時眼睛視線可稍作休息,或以眼角餘光查看畫面。其中,該凝視放空區可揭示預先內建翻譯好的說明用或指引用文字。
在進一步實施中,該追瞳儀在檢知患者眼睛凝的各該按下事件圖塊時,各該使用者介面20能顯示一附具倒數數字的計時圖塊。其中該凝視放空區揭示有預先內建翻譯好的說明用或指引用文字。
在進一步實施中,各該使用者介面中佈設有陣列式 的若干網點,所述網點顯露於所述多個按下事件圖塊周邊的空白區域內。
據此,本發明所能呈現的技術功效還包含:提供有利的視覺回饋機制,讓患者眼睛在凝視暨點選事件圖塊過程中,能像磁鐵般地吸附到眼睛所凝視的事件圖塊上,且在眼睛不點選時能夠獲得休息,還有產生放大視窗、放大按鈕、按鈕動畫設計、按扭標示文字並附予顏色作區隔等,讓患者能夠清楚地看見自己凝視的游標點及其需求協助的待點選內容,避免許多患者因為不知所措而產生的操作錯誤,因此有助於提升患者使用上的便利性。
以上所述之方法與裝置之技術手段及其產生效能的具體實施細節,請參照下列實施例及圖式加以說明。
10‧‧‧顯示幕
11‧‧‧追瞳儀
12‧‧‧眼睛
13、13a、13b‧‧‧視線游標
20、20a、20b、20c、20d‧‧‧使用者介面
21、21a‧‧‧網點
30‧‧‧按下事件圖塊
31‧‧‧特定操作指令圖塊
31a‧‧‧服務鈴指令
31b‧‧‧情緒表達指令
31c‧‧‧休眠模式指令
31d‧‧‧翻頁指令
31e‧‧‧虛擬照服員表情指令
31f‧‧‧首頁指令
31g‧‧‧開啟呼叫指令
31h‧‧‧返回(或上一頁)指令
31j‧‧‧確認指令
32‧‧‧特定需求指令圖塊
32a‧‧‧日常生活指令
32b‧‧‧特別狀況指令
32c‧‧‧身體感覺指令
32d‧‧‧飲食指令
32e‧‧‧藥物指令
32f‧‧‧個人衛生指令
32g‧‧‧身體部位圖案指令
32g’‧‧‧3D身體局部放大圖案指令
320g’‧‧‧方向指令圖塊
321g’‧‧‧縮放指令圖塊
322g’‧‧‧旋轉指令圖塊
32g”‧‧‧3D全身圖案指令
32h‧‧‧我感覺指令
32i‧‧‧感覺指令圖塊
32j‧‧‧等級指令圖塊
33、33a、33b‧‧‧凝視放空區
34‧‧‧計時圖塊
40‧‧‧翻頁信號
50‧‧‧觸發信號
60‧‧‧提示單元
61‧‧‧需求協助信息
61a‧‧‧聲音
61b‧‧‧文字/圖形
A‧‧‧重疊區域
S1至S3‧‧‧步驟說明
圖1是本發明方法的程序圖。
圖2是本發明提供眼控操作的硬體架構示意圖。
圖3是本發明憑藉圖2所示的顯示幕來揭示多個使用者介面的示意圖。
圖3a至圖3e分別說明本發明多個分層顯示之使用者介面態樣的示意圖。
圖4是本發明檢知按下事件的程序圖。
圖5是本發明利用網點修正患者視線誤差的解說圖。
圖6是本發明按下事件圖塊能夠磁吸視線游標的解說圖。
圖7是本發明操作按下事件的倒數邏輯圖。
首先,請參閱圖1,揭示出本發明提供患者以視覺下達需求協助信息方法的程序圖,說明包括依序執行下列步驟S1至S3:
步驟S1:預先設定多個眼控指令集。
本發明針對有言語障礙、意識清楚可以靈活運用眼 睛但四肢無力的患者,例如漸凍人、氣切、中風、術後插管等作為目標族群,蒐集其病因及症狀的每日需求,例如是緊急叫人、解決溝通障礙、快速且精簡地提出協助需求、多國語言的語音溝通等,並且擬定醫護人員、照顧人員及親友等作為溝通對象,來預先設定或編輯好一套眼控快速溝通的功能指令集(如表一所示,以下簡稱為眼控指令集),例如包括患者日常生活的需求指令、重要指令、不同情境指令(居家、外出、就醫等)、發生迫切需求時的常用指令等,用以提供換者操作,讓患者能夠快速地和所述溝通對象進行溝通。根據表一內容,本發明進一步產出符合多數患者共通需求的多個眼控指令集資料檔(如表二所示):
根據表一及表二所揭的多個眼控指令集,還可以進一步規劃出:對需求指令分層及分類、需求指令預先翻譯(中、英、印尼、越南四國語言)、設定所述指令的前綴語(例如:我想要、我需要、感覺、無)、設定該指令是否對應身體地圖場景、使用者呼叫次數、是否設定為捷徑等模式,使得所述患者共通需求指令之間具有分層及分類之關聯性。再者,所述多個眼控指令集並以軟體程式呈現。
步驟S2:優化互動介面。
如表一所示,本發明需應用電腦、顯示幕(或螢幕)、滑鼠等硬體,來執行及維護如表二所示多個眼控指令集編製而成的軟體程式。其中,滑鼠僅供程式維護人員、醫護人員或看護人員使用,並非患者下達需求協助信息時所必須,但亦可供手指活動無障礙的患者使用。
請參閱圖2,揭示本發明並於該顯示幕10的一周邊(例如顯示幕10的下方)搭載一追瞳儀11(或稱追瞳裝置),供患者眼睛12的視線便於凝視整個顯示幕10的畫面,並且憑藉追瞳儀11來檢知患者眼控的按下事件。
請續參閱圖3,說明本發明憑藉該顯示幕10來揭示可供患者眼睛觀察的多個使用者介面20。所述每一個使用者介面20中並建置有多個按下事件圖塊30,所述多個按下事件圖塊30可依事件指令類型之不同而區分成多個特定操作指令圖塊31(舉例以圓形圖塊表示),及多個特定需求指令圖塊32(舉例以正方形圖塊表示);使得所述多個使用者介面20能以層劃分(即分層)來揭示所述多個分類的按下事件圖塊30。所述多個特定操作指令圖塊31及多個特定需求指令圖塊32內可以各自附加特定的事件文字(或稱指令名稱)並附予特定顏色顯示,以利視覺分辨(如圖3a、圖3b、圖3d、圖3e所示,容後詳述)。
此外,圖2中所示的追瞳儀11在檢知患者眼睛12的凝視位置時可以在各該使用者介面20中顯示出一視線游標13(如圖3中虛線圓圈所示),該視線游標13可被設計成特定的幾何形狀或特定符號表示,且該視線游標13能跟隨患者眼睛12的凝視位置而在各該使用者介面20中移動,並且停止在特定的圖塊位置。
另外,復如圖3所示,本發明在每一頁使用者介面20上,特別是在所述多個特定操作指令圖塊31及多個特定需求指令圖塊32之間的空白區域,規劃有多個凝視放空區33;且部分的特定操作指令圖塊31(例如是圖3a所示的情緒表達指令31b、虛擬照服員表情指令31e)以及部分的特定需求指令圖塊32(例如是圖3a所示的飲食指令32d、藥物指令32e、個人衛生指令32f)還能坐落於凝視放空區33內。
藉此,所述多個凝視放空區33中能揭示預先內建翻譯好的說明用或指引用文字(例如中、英、印尼、越南等國語言),以指引患者眼睛凝視相關操作狀態。所述多個凝視放空區33還能提供患者在不操作按下事件時作為眼睛視線稍作休息的區域。必須特別說明的是,上述特定操作指令圖塊31、特定需求指令圖塊32及凝視放空區33的數量及位置,係可根據各該使用者介面20 的實際配置需求而增減及替換。
另一方面,本發明著眼於提升眼控操作按下事件圖塊30時的精確度,特別在各該使用者介面20中佈設陣列式的若干網點21(如圖3所示),以作為校正患者眼睛凝視位置的輔助參考點。
請參閱圖3a,揭露出一作為首頁之使用者介面20a的較佳實施形態,說明當所述多個按下事件圖塊30附予顏色顯示時,位在圖塊30內或者背後的網點21可以被所述多個按下事件圖塊30遮蓋,而使所述網點21顯露於所述多個按下事件圖塊30周邊的空白區域內。
復如圖3a所示,還揭露出多個特定操作指令圖塊31a至31e可依揭示上之需求,而以不同顏色的區塊分別配置於各該使用者介面20的四周端緣,作為例如是服務鈴指令31a、情緒表達指令31b、休眠模式指令31c、翻頁指令31d、虛擬照服員表情指令31e,或是其他例如身體感覺指令、介面縮放指令等的配置區,以供患者眼控點選(即操作按下)之用。
圖3a中更進一步揭露出所述多個特定需求指令圖塊32a至32f能以不同顏色的區塊分別間隔配置於該首頁(使用者介面20a)的中心區域,作為例如是日常生活指令32a、特別狀況指令32b、身體感覺指令32c、飲食指令32d、藥物指令32e、個人衛生指令32f等需求協助指令的配置區;除此之外,多個特定需求指令圖塊32還可以作為上述需求指令的前綴語(例如:我想要、我需要、感覺、無)的配置區,其中特別包含點選上述身體感覺指令32c後會於次層的使用者介面20b顯示一身體部位圖案指令32g(如圖3b所示),以供患者眼控點選(即操作按下)之用。
續如圖3b所示,揭示出圖3a中點選身體感覺指令32c之後顯示的次層使用者介面20b的較佳實施形態。進一步說明隸屬於特定操作指令圖塊的首頁指令31f、開啟呼叫指令31g、返回(或上一頁)指令31h等可依操作需求分別配置於該使用者介面 20b的四周端緣,隸屬於特定需求指令圖塊的身體部位圖案指令32g可配置於該層使用者介面20b的中心區域。此外,該層使用者介面20b一分為二的區分配置有佈設上述網點(未繪示)的一上方的凝視放空區33a及一下方的凝視放空區33b,上方的凝視放空區33a可分佈於首頁指令31f、開啟呼叫指令31g、返回指令31h、身體部位圖案指令32g的周邊,下方的凝視放空區33b並揭示有說明用或指引用文字。
必須進一步說明的是,圖3b所示的身體部位圖案指令32g包含附加視覺化回饋而分隔顯示的一3D身體局部放大圖案指令32g’及至少一3D全身圖案指令32g”;患者眼睛能先凝視並用眼控翻轉該3D全身圖案指令32g”所顯示的身體部位,使得3D身體局部放大圖案指令32g’能動態顯示出該3D全身圖案指令32g’,所指引的身體放大部位。在圖3b所示的實施例中,揭示患者先眼控視線游標13a移動來點選3D全身圖案指令32g”中所揭示的人體手掌,隨後該身體局部放大圖案指令32g’便能動態顯示出該手掌處的放大圖,患者能進一步從該身體局部放大圖案指令32g’的圖示中眼控視線游標13a移動,來縮放及點選其手掌實際疼痛的手指部位。
再請參閱圖3c,揭露該身體局部放大圖案指令32g’的周邊佈設有方向指令圖塊320g’、縮放指令圖塊321g’、旋轉指令圖塊322g’,患者能移動視線游標13a來點選這些圖塊,以便於移動、縮小、放大、旋轉身體圖案至如圖3b中所示的手指部位,進而點選該手指暨下達癢或疼痛的需求協助信息。
此外,復如圖3b中還揭露位於該凝視放空區33b可以配置隸屬於該身體感覺指令32c同層的一我感覺指令32h,以供患者眼控點選,並於該凝視放空區33b內顯示出一輕微養、很養、輕微疼痛或很疼痛等的說明性或表達感覺的文字信息,該說明性或表達感覺的文字信息還能以聲音(如圖4,容後詳述)對外提示;依此,便於患者能快速且精確地點選按下指令暨下達身體感覺(例 如癢或疼痛)的需求協助信息。
請進一步參閱圖3d及圖3e,其中圖3d揭露當患者點選圖3b所示的我感覺指令32h之後,會顯示一次層的使用者介面20c,其中配置有隸屬於特定需求指令圖塊的多個感覺指令圖塊32i,例如癢、痛、麻、累、冷、熱等感覺指令圖塊32i,患者眼控點選所需的感覺指令32i之後,會顯示如圖3e所示的次層使用者介面20d,其配置有隸屬於特定需求指令圖塊的多個癢或疼痛的等級指令圖塊32j,例如一點點、輕微、很、非常、無法忍受的癢或疼痛的等級指令圖塊32j;又例如,在點選痛的感覺指令圖塊32i之後,也可產生另一類似圖3d配置方式的次層使用者介面來顯示例如是刺痛、抽痛、悶痛、酸痛、脹痛、抽痛等等級指令圖塊(未繪示);總之,患者只須眼控翻頁並依序眼控點選所需的等級指令圖塊32j之後,再點選隸屬於特定操作指令圖塊的確認指令31j,即可準確下達身體感覺的需求協助信息。
在此必須聲明的是,圖3b至圖3e只是揭露圖3a中身體感覺指令32c該分類所衍生顯示之分層使用者介面的實施態樣而已;舉凡依此實施態樣的分層邏輯,同樣能應用於上述多個特定操作指令圖塊31a中,以及其它例如是日常生活指令32a、特別狀況指令32b、飲食指令32d、藥物指令32e、個人衛生指令32f等多個分類的特定需求指令圖塊中,提供患者分層逐次的眼控點選。其中,身體部位圖案指令32g所衍生的身體部位的動畫指引,以及癢或痛等感覺不適程度的文字圖塊(或指令)指引,則可因應上述特定操作指令圖塊31a及特定需求指令圖塊32a、32b、32d、32e、32f所預想之患者實際狀況需求而增減配置,或替換成非動畫式的文字或聲音指令圖塊,皆屬本發明所思及之應用範圍。
步驟S3:檢知按下事件。
請參閱圖4,揭露本發明檢知按下事件的程序圖,說明由表二所示多個眼控指令集編製而成的軟體程式,在檢知患者眼控操作按下事件(即點選)的過程,包括:先由患者瞳孔凝視所述 多個使用者介面20中的需求頁面(例如首頁),用以眼控點選所需的按下事件圖塊30;接著,軟體程式會依患者點選按下事件圖塊30指令的指引,而生成一翻頁信號40或一觸發信號50。
當患者眼控點選到所需的按下事件圖塊30而生成翻頁信號40時,軟體程式會回復至所述多個使用者介面20中去進行翻頁,以命令分層的使用者介面揭示於顯示幕上;依此可往復實施上、下頁的翻頁動作,方便患者能逐層搜尋及點選所需的類別的按下事件圖塊30。
當患者眼控點選到所需的按下事件圖塊30而生成觸發信號50時,軟體程式會命令一提示單元60生成患者的一需求協助信息61;其中,該需求協助信息61可以包含以聲音61a、文字/圖形61b形式下達給醫護人員、照顧人員或親友知悉。例如,患者眼控點選隸屬於特定操作指令圖塊的服務鈴指令31a時(如圖3a),軟體程式會生成觸發信號50(如圖4)進而命令提示單元60以聲音61a形式,或聲音61a及文字/圖形61b形式的需求協助信息61對外下達。其中,該聲音及文字信息分別可為軟體程式設定或選定的多國語言中的至少一種語音或文字,該聲音也包含非語音之提示聲。
進一步的說,在圖4揭示檢知按下事件的過程中,由於人體眼睛有時候會存在視線誤差的問題,而導致無法順利的眼控點選按下事件圖塊。本發明為了克服此問題,提出如圖5所揭示的實施例,說明當患者發現顯示凝視位置的視線游標13a與所欲凝視的按下事件圖塊30的位置之間有所誤差時,可以利用眼角餘光凝視該按下事件圖塊30周邊的網點21a作為修正誤差的凝視位置,以便於校正患者的視線游標13a至想要凝視之按下事件圖塊30的中心位置,藉此提升軟體程式檢知按下事件的妥善率。
其次,由於人體眼睛視線移動的速度非常快,在視線移動瞬間極容易發生抖動(eye jitter)現象。對此,本發明也提出改善方案。請參閱圖6,說明當跟隨患者視線移動的視線游標13b 僅僅接觸到按下事件圖塊30的一端邊緣而生成重疊區域A時,該按下事件圖塊30能透過軟體程式設定的感測電路(屬已知技術,故不加贅述)偵測到該重疊區域A,使得各該該按下事件圖塊30能夠自動吸附視線游標13b至該按下事件圖塊30的中心位置,以提升眼控操作時自動定位視線游標13b的方便性,進而改善上述視線抖動的問題。
此外,因為眼控操作不像一般手、眼並用的滑鼠,會明確的產生按下事件,因此本發明軟體程式還搭配有凝視時間(dwell time)的計時,以便於決定是否檢知按下事件。進一步的說,本發明特別加強視覺回饋的機制,而於所需的使用者介面的凝視放空區中,顯示倒數計時的示意畫面,以便於讓患者確知其所操作的眼控按下事件的動作是真實完成的。
如圖7所示,揭露出本發明操作按下事件的倒數邏輯圖,說明當患者眼睛凝視一使用者介面20c時,會於該使用者介面20c顯示出視線游標13c,該視線游標13c跟隨患者視線移動至所欲選取的按下事件圖塊30,此過程中會根據圖4所示網點21a的視線誤差修正機能,以及圖5所示重疊區域A的吸附機能,而使視線游標13c快速的鎖定在所欲選取之按下事件圖塊30的中心位置,隨後進入系統預先設定的倒數時間,例如依序執行2秒、1秒、0秒的倒數,隨後立即執行該按下事件圖塊30的指令。其中該倒數2秒、1秒、0秒的狀態,能以附具倒數數字的計時圖塊34或動畫,動態顯示於各該使用者介面20的凝視放空區33中。
根據上述實施例之說明,應該不難理解並確知本發明刪除了打字介面,而改採預先設置指令、轉化成電腦介面上的指令按鈕,又增加了3D身體部位圖案(或稱3D人體地圖),能讓患者明確標註出身體不適的位置,以此縮短患者表達需求信息的時間。此外,本發明也應用了即時語音發音、字幕提示等功能,讓患者與醫護者、照顧者或家屬即使在語言不通的情況下,仍然得以快速地瞭解患者的需求,進而協助處理患者身體所發生的病 痛問題。再者,本發明應用電腦、顯示幕等硬體的成本相當低廉,是一般常人都可負擔的輔具費用。
必須特別聲明的是,上述實施例之說明中有關「事件」用語可解為「指令」之意,有關「點選」用語可解為「操作按下」或「眼控凝視」之意,有關「圖塊」用語可解為「按鈕(Icon)」之意。另外,有關「患者」用語可解為「使用者」之意,因此本發明並非專供例如是罹患漸凍人症的病友使用;換言之,一般正常人亦可使用;但請注意:本發明不是拿來聊天用的,而是用來供人快速提出需求協助問題,縮短溝通或患者忍受痛苦時間而建立的。
以上實施例僅為表達了本發明的較佳實施方式,但並不能因此而理解為對本發明專利範圍的限制。因此,本發明應以申請專利範圍中限定的請求項內容為準。

Claims (17)

  1. 一種提供患者以視覺下達需求協助信息的方法,包括依序執行下列步驟(1)至(3):(1)依患者的共通需求設定多個眼控指令集,所述多個眼控指令集具有分層及分類之關聯性;(2)建置多個按下事件圖塊及多個使用者介面,所述多個按下事件圖塊依所述多個眼控指令集分層及分類之關聯性編輯而成,所述多個使用者介面分層揭示所述多個分類的按下事件圖塊,且所述多個使用者介面依序揭示於一顯示幕;(3)應用該顯示幕所搭載之一追瞳儀,檢知患者瞳孔凝視所述多個使用者介面中的各該按下事件圖塊而生成一翻頁信號或一觸發信號;該翻頁信號命令各該分層之使用者介面翻頁,該觸發信號命令一提示單元生成患者的一需求協助信息;其中,所述多個按下事件圖塊中至少包含一身體部位圖案指令,且該需求協助信息至少包含以聲音下達;該追瞳儀在檢知患者眼睛凝的各該按下事件圖塊時,各該使用者介面能顯示一附具倒數數字的計時圖塊。
  2. 如請求項1所述提供患者以視覺下達需求協助信息的方法,其中所述多個按下事件圖塊包含於各該單層的使用者介面中顯示分類的多個特定操作指令圖塊及多個特定需求指令圖塊,所述身體部位圖案指令隸屬於特定需求指令圖塊的其中之一。
  3. 如請求項2所述提供患者以視覺下達需求協助信息的方法,其中所述多個特定操作指令圖塊至少包含一服務鈴指令及一翻頁指令。
  4. 如請求項2所述提供患者以視覺下達需求協助信息的方法,其中所述特定需求指令圖塊包含一身體感覺指令,該身體部位圖案指令係於該身體感覺指令分層的使用者介面中顯示。
  5. 如請求項2或4所述提供患者以視覺下達需求協助信息的方法,其中該身體部位圖案指令包含於單一層使用者介面中分隔顯示一3D身體局部放大圖案指令及至少一全身圖案指令,該3D身體局部放大圖案指令能動態顯示該3D全身圖案指令所指引的身體放大部位。
  6. 如請求項5所述提供患者以視覺下達需求協助信息的方法,其中該身體局部放大圖案指令的周邊佈設有多個方向指令圖塊、多個縮放指令圖塊及多個旋轉指令圖塊。
  7. 如請求項5所述提供患者以視覺下達需求協助信息的方法,其中該身體部位圖案指令包含於該單一層使用者介面中分隔顯示一我感覺指令。
  8. 如請求項7所述提供患者以視覺下達需求協助信息的方法,其中該我感覺指令次層的使用者介面中顯示有至少一感覺指令圖塊,所述感覺指令圖塊包含癢、痛、麻、累、冷、熱的至少其中之一。
  9. 如請求項8所述提供患者以視覺下達需求協助信息的方法,其中所述感覺指令圖塊次層的使用者介面中分隔顯示有多個等級指令圖塊,所述多個等級指令圖塊包含一點點、輕微、很、非常、無法忍受之中的至少兩個。
  10. 如請求項8所述提供患者以視覺下達需求協助信息的方法,其中所述感覺指令圖塊次層的使用者介面中分隔顯示有多個等級指令圖塊,所述多個等級指令圖塊包含刺痛、抽痛、悶痛、酸痛、脹痛、抽痛之中的至少兩個。
  11. 如請求項2所述提供患者以視覺下達需求協助信息的方法,其中所述多個特定操作指令圖塊及多個特定需求指令圖塊內各自附加至少一特定文字及一特定顏色。
  12. 如請求項1所述提供患者以視覺下達需求協助信息的方法,其中該追瞳儀在檢知患者眼睛凝視位置時,以一視線游標顯示於各該使用者介面,該視線游標並跟隨患者眼睛的凝視位置而在各該使用者介面中移動及停止。
  13. 如請求項12所述提供患者以視覺下達需求協助信息的方法,其中該視線游標接觸到各該按下事件圖塊的一邊緣而生成一重疊區域時,該按下事件圖塊能自動吸附視線游標至該按下事件圖塊的中心位置。
  14. 如請求項1所述提供患者以視覺下達需求協助信息的方法,其中各該使用者介面中顯示的所述多個特定操作指令圖塊及多個特定需求指令圖塊之間形成有一空白區域,該空白區域規劃形成至少一凝視放空區。
  15. 如請求項14所述提供患者以視覺下達需求協助信息的方法,其中該凝視放空區揭示有預先內建翻譯好的說明用或指引用文字。
  16. 如請求項14所述提供患者以視覺下達需求協助信息的方法,其中各該使用者介面中佈設有陣列式的若干網點,所述網點顯露於所述多個按下事件圖塊周邊的空白區域內。
  17. 如請求項1所述提供患者以視覺下達需求協助信息的方法,其中該需求協助信息還包含於各該使用者介面中以文字或圖形形式下達。
TW106124886A 2017-07-25 2017-07-25 Providing a method for patients to visually request assistance information TWI638281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW106124886A TWI638281B (zh) 2017-07-25 2017-07-25 Providing a method for patients to visually request assistance information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106124886A TWI638281B (zh) 2017-07-25 2017-07-25 Providing a method for patients to visually request assistance information

Publications (2)

Publication Number Publication Date
TWI638281B true TWI638281B (zh) 2018-10-11
TW201908921A TW201908921A (zh) 2019-03-01

Family

ID=64797556

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106124886A TWI638281B (zh) 2017-07-25 2017-07-25 Providing a method for patients to visually request assistance information

Country Status (1)

Country Link
TW (1) TWI638281B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508092A (zh) * 2018-11-08 2019-03-22 北京七鑫易维信息技术有限公司 基于眼球追踪控制终端设备的方法、装置和终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US20120086645A1 (en) * 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
TW201539037A (zh) * 2014-03-13 2015-10-16 Julian Michael Urbach 電子式隱形眼鏡與其成像系統
CN102822771B (zh) * 2010-01-21 2016-04-13 托比股份公司 基于眼球***的上下文动作

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
CN102822771B (zh) * 2010-01-21 2016-04-13 托比股份公司 基于眼球***的上下文动作
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US20120086645A1 (en) * 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface
TW201539037A (zh) * 2014-03-13 2015-10-16 Julian Michael Urbach 電子式隱形眼鏡與其成像系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508092A (zh) * 2018-11-08 2019-03-22 北京七鑫易维信息技术有限公司 基于眼球追踪控制终端设备的方法、装置和终端

Also Published As

Publication number Publication date
TW201908921A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
US10564714B2 (en) Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
EP3335096B1 (en) System and method for biomechanically-based eye signals for interacting with real and virtual objects
Majaranta et al. Twenty years of eye typing: systems and design issues
US11715464B2 (en) Using augmentation to create natural language models
US6005549A (en) User interface method and apparatus
US9535494B2 (en) Apparatus and method for selecting from a display
US20150213214A1 (en) System and method for facilitating communication with communication-vulnerable patients
EP3809241B1 (en) System and method for enabling communication through eye feedback
US20160246451A9 (en) Zeroclick
Majaranta Text entry by eye gaze
CN118092663A (zh) 用于提供免提通知管理的数字助理
DE112019000018T5 (de) Anheben, um zu sprechen
Hyrskykari Eyes in attentive interfaces: Experiences from creating iDict, a gaze-aware reading aid
CN115413334A (zh) 用于扩展现实***的多设备连续性
TWI638281B (zh) Providing a method for patients to visually request assistance information
Blignaut Development of a gaze-controlled support system for a person in an advanced stage of multiple sclerosis: a case study
Tantisatirapong et al. Design of user-friendly virtual thai keyboard based on eye-tracking controlled system
Cholewa et al. Precise eye-tracking technology in medical communicator prototype
JP6393435B1 (ja) 文字列等入力システム及び方法
Hitchcock Computer access for people after stroke
US20240103679A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
Beelders Enhancing the user experience for a word processor application through vision and voice
Porter et al. Blink, pull, nudge or tap? The impact of secondary input modalities on eye-typing performance
Nonoka et al. Study on Wearable Gaze-Based Communication System for Patients with Amyotrophic Lateral Sclerosis (ALS)
Ding User-generated vocabularies on Assistive/Access Technology