JP6597397B2 - ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム - Google Patents
ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム Download PDFInfo
- Publication number
- JP6597397B2 JP6597397B2 JP2016037415A JP2016037415A JP6597397B2 JP 6597397 B2 JP6597397 B2 JP 6597397B2 JP 2016037415 A JP2016037415 A JP 2016037415A JP 2016037415 A JP2016037415 A JP 2016037415A JP 6597397 B2 JP6597397 B2 JP 6597397B2
- Authority
- JP
- Japan
- Prior art keywords
- command
- unit
- information
- screen
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 146
- 238000012545 processing Methods 0.000 claims description 58
- 238000000605 extraction Methods 0.000 claims description 43
- 238000003860 storage Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 32
- 238000010586 diagram Methods 0.000 description 28
- 239000000284 extract Substances 0.000 description 16
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000003825 pressing Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 210000001364 upper extremity Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
前記視線位置を基準とする検索範囲内に含まれる前記画面上のコマンドを抽出するコマンド抽出部と、
前記コマンド抽出部によって抽出されたコマンドと前記コマンドの音声情報とを対応付けたテーブルを生成する生成部と、
音声情報を受け付けた場合に、受け付けた音声情報と、前記テーブルの音声情報とを基にして、コマンドを判定する判定部と
を有することを特徴とするポインティング支援装置。
画面上の利用者の視線位置を検出し、
前記視線位置を基準とする検索範囲内に含まれる前記画面上のコマンドを抽出し、
抽出したコマンドと前記コマンドの音声情報とを対応付けたテーブルを生成し、
音声情報を受け付けた場合に、受け付けた音声情報と、前記テーブルの音声情報とを基にして、コマンドを判定する
処理を実行することを特徴とするポインティング支援方法。
画面上の利用者の視線位置を検出し、
前記視線位置を基準とする検索範囲内に含まれる前記画面上のコマンドを抽出し、
抽出したコマンドと前記コマンドの音声情報とを対応付けたテーブルを生成し、
音声情報を受け付けた場合に、受け付けた音声情報と、前記テーブルの音声情報とを基にして、コマンドを判定する
処理を実行させることを特徴とするポインティング支援プログラム。
110,210 視線入力部
120,220 入力部
130,230 音声入力部
140,240 表示部
150,250 記憶部
151,251 コマンド辞書テーブル
152,252 コマンド辞書キャッシュテーブル
160,260 制御部
161,261 視線位置検出部
162,262 コマンド抽出部
163,263 生成部
164,264 判定部
165,265 表示制御部
Claims (9)
- 画面上の利用者の視線位置を検出する視線位置検出部と、
前記視線位置を基準とする検索範囲内に含まれる前記画面上のコマンドを抽出するコマンド抽出部と、
前記コマンド抽出部によって抽出されたコマンドと、前記コマンドの音声情報と、前記コマンドの位置情報とを対応付けたテーブルを生成する生成部と、
音声情報を受け付けた場合に、受け付けた音声情報と、前記テーブルの音声情報とを基にして、前記コマンドの位置情報を特定する特定部と、
前記特定部が特定した前記コマンドの位置情報に対応する前記画面上の位置に、ポインタを移動させ、選択ボタンが押下された場合に、前記ポインタの位置に対応するコマンドを実行する表示制御部と、
を有することを特徴とするポインティング支援装置。 - 前記表示制御部は、前記視線位置をポインタの初期位置として設定し、前記ポインタを移動させる経路および前記経路の移動パターンを定義した経路定義情報を基にして、前記初期位置を起点とした前記経路を前記画面上に表示し、前記ポインタを前記経路に沿って移動させる処理を更に実行することを特徴とする請求項1に記載のポインティング支援装置。
- 前記表示制御部は、前記特定部が特定したコマンドの位置に前記ポインタを移動させる第1処理と、前記経路定義情報に基づいて、前記ポインタを移動させる第2処理とのいずれかの選択を受け付け、前記第1処理と、前記第2処理とを切り替えて処理を実行することを特徴とする請求項2に記載のポインティング支援装置。
- 前記生成部は、前記画面上に存在する全てのコマンドの音声情報を生成して記憶部に格納し、前記コマンド抽出部によって抽出されたコマンドに対応する音声情報を前記記憶部に記憶された音声情報から取得することで、前記テーブルを生成することを特徴とする請求項1、2または3に記載のポインティング支援装置。
- 前記生成部は、第1画面上に存在する全てのコマンドの第1音声情報を生成して記憶部に格納し、前記第1画面上のコマンドが選択され第2画面が表示された場合に、前記第2画面上に存在する全てのコマンドの第2音声情報を生成し、前記第1音声情報と区別して、前記第2音声情報を前記記憶部に格納することを特徴とする請求項4に記載のポインティング支援装置。
- 前記生成部は、前記コマンド抽出部によってコマンドが抽出される度に、前記記憶部に記憶された音声情報のうち、抽出されたコマンドの音声情報に対応する音声情報の使用頻度を増加させ、前記使用頻度の高い音声情報を優先的に前記記憶部に残すことを特徴とする請求項4に記載のポインティング支援装置。
- 前記生成部は、前記コマンド抽出部によって抽出された複数のコマンドと前記複数のコマンドの音声情報とをそれぞれ対応付けたテーブルを生成し、前記特定部は、音声情報を受け付けた場合に、受け付けた音声情報と、前記テーブルの複数の音声情報との類似度をそれぞれ算出し、受け付けた音声情報との類似度が最大となる音声情報に対応付けられたコマンドを特定することを特徴とする請求項1に記載のポインティング支援装置。
- コンピュータが実行するポインティング支援方法であって、
画面上の利用者の視線位置を検出し、
前記視線位置を基準とする検索範囲内に含まれる前記画面上のコマンドを抽出し、
抽出したコマンドと、前記コマンドの音声情報と、前記コマンドの位置情報とを対応付けたテーブルを生成し、
音声情報を受け付けた場合に、受け付けた音声情報と、前記テーブルの音声情報とを基にして、前記コマンドの位置情報を特定し、
特定した前記コマンドの位置情報に対応する前記画面上の位置に、ポインタを移動させ、選択ボタンが押下された場合に、前記ポインタの位置に対応するコマンドを実行する
処理を実行することを特徴とするポインティング支援方法。 - コンピュータに、
画面上の利用者の視線位置を検出し、
前記視線位置を基準とする検索範囲内に含まれる前記画面上のコマンドを抽出し、
抽出したコマンドと、前記コマンドの音声情報と、前記コマンドの位置情報とを対応付けたテーブルを生成し、
音声情報を受け付けた場合に、受け付けた音声情報と、前記テーブルの音声情報とを基にして、前記コマンドの位置情報を特定し、
特定した前記コマンドの位置情報に対応する前記画面上の位置に、ポインタを移動させ、選択ボタンが押下された場合に、前記ポインタの位置に対応するコマンドを実行する
処理を実行させることを特徴とするポインティング支援プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016037415A JP6597397B2 (ja) | 2016-02-29 | 2016-02-29 | ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム |
US15/434,439 US10228905B2 (en) | 2016-02-29 | 2017-02-16 | Pointing support apparatus and pointing support method |
CN201710096283.8A CN107132961B (zh) | 2016-02-29 | 2017-02-22 | 定点支持装置和定点支持方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016037415A JP6597397B2 (ja) | 2016-02-29 | 2016-02-29 | ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017156839A JP2017156839A (ja) | 2017-09-07 |
JP6597397B2 true JP6597397B2 (ja) | 2019-10-30 |
Family
ID=59680087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016037415A Expired - Fee Related JP6597397B2 (ja) | 2016-02-29 | 2016-02-29 | ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10228905B2 (ja) |
JP (1) | JP6597397B2 (ja) |
CN (1) | CN107132961B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10481865B2 (en) * | 2017-10-23 | 2019-11-19 | International Business Machines Corporation | Automated voice enablement of applications |
US10585640B2 (en) * | 2017-10-23 | 2020-03-10 | International Business Machines Corporation | Automated voice enablement of applications |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6873314B1 (en) * | 2000-08-29 | 2005-03-29 | International Business Machines Corporation | Method and system for the recognition of reading skimming and scanning from eye-gaze patterns |
US7881493B1 (en) * | 2003-04-11 | 2011-02-01 | Eyetools, Inc. | Methods and apparatuses for use of eye interpretation information |
US20060209013A1 (en) * | 2005-03-17 | 2006-09-21 | Mr. Dirk Fengels | Method of controlling a machine connected to a display by line of vision |
JP2009508553A (ja) * | 2005-09-16 | 2009-03-05 | アイモーションズ−エモーション テクノロジー エー/エス | 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 |
US9213404B2 (en) * | 2006-02-01 | 2015-12-15 | Tobii Technology Ab | Generation of graphical feedback in a computer system |
JP2008058409A (ja) * | 2006-08-29 | 2008-03-13 | Aisin Aw Co Ltd | 音声認識方法及び音声認識装置 |
JP5056784B2 (ja) * | 2009-03-24 | 2012-10-24 | 株式会社デンソー | 音声認識システム |
US10031576B2 (en) * | 2010-06-09 | 2018-07-24 | Dynavox Systems Llc | Speech generation device with a head mounted display unit |
US8296151B2 (en) * | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
FR2970576B1 (fr) * | 2011-01-19 | 2013-02-08 | Matchic Labs | Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre |
KR101773845B1 (ko) * | 2011-05-16 | 2017-09-01 | 삼성전자주식회사 | 휴대용 단말기에서 입력 처리 방법 및 장치 |
JP5785015B2 (ja) * | 2011-07-25 | 2015-09-24 | 京セラ株式会社 | 電子機器、電子文書制御プログラムおよび電子文書制御方法 |
US9323325B2 (en) * | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
US9922651B1 (en) * | 2014-08-13 | 2018-03-20 | Rockwell Collins, Inc. | Avionics text entry, cursor control, and display format selection via voice recognition |
US9910490B2 (en) * | 2011-12-29 | 2018-03-06 | Eyeguide, Inc. | System and method of cursor position control based on the vestibulo-ocular reflex |
JP5945417B2 (ja) * | 2012-01-06 | 2016-07-05 | 京セラ株式会社 | 電子機器 |
US9691381B2 (en) * | 2012-02-21 | 2017-06-27 | Mediatek Inc. | Voice command recognition method and related electronic device and computer-readable medium |
KR102057629B1 (ko) * | 2013-02-19 | 2020-01-22 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
EP2996020A4 (en) * | 2013-05-08 | 2016-05-25 | Fujitsu Ltd | INPUT DEVICE AND INPUT PROGRAM |
US9550578B2 (en) * | 2014-02-04 | 2017-01-24 | Honeywell International Inc. | Systems and methods for utilizing voice commands onboard an aircraft |
-
2016
- 2016-02-29 JP JP2016037415A patent/JP6597397B2/ja not_active Expired - Fee Related
-
2017
- 2017-02-16 US US15/434,439 patent/US10228905B2/en active Active
- 2017-02-22 CN CN201710096283.8A patent/CN107132961B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017156839A (ja) | 2017-09-07 |
US10228905B2 (en) | 2019-03-12 |
CN107132961A (zh) | 2017-09-05 |
CN107132961B (zh) | 2020-06-30 |
US20170249124A1 (en) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11538469B2 (en) | Low-latency intelligent automated assistant | |
US11750962B2 (en) | User identification using headphones | |
US10789959B2 (en) | Training speaker recognition models for digital assistants | |
EP3701520B1 (en) | Multi-turn canned dialog | |
EP4057128A1 (en) | Continuous dialog with a digital assistant | |
CN110517685B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
EP3674851A1 (en) | Gesture-based user interface | |
CN105810188B (zh) | 一种信息处理方法和电子设备 | |
EP4075426B1 (en) | Low-latency intelligent automated assistant | |
EP2874383A1 (en) | System and method for controlling slide operation auxiliary input in portable terminal devices | |
WO2016190950A1 (en) | Device voice control | |
CN110534109B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
WO2012068950A1 (zh) | 触摸屏触发方法及触摸装置 | |
JP2017091327A (ja) | ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム | |
CN110597450A (zh) | 防误触识别方法、装置、点读设备及其点读识别方法 | |
JP6597397B2 (ja) | ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム | |
CN108646910A (zh) | 一种基于深度图像的三维动态手指文本输入***及方法 | |
JP6051991B2 (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム | |
JP2014182748A (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム | |
WO2022001564A1 (zh) | 操作集合的获取、执行方法及装置、存储介质和终端设备 | |
JPH11110379A (ja) | 情報検索方法及びその装置 | |
WO2016201760A1 (zh) | 一种触摸显示装置中识别手势的方法和*** | |
KR20190070730A (ko) | 멀티 입력을 처리하는 장치, 방법 및 컴퓨터 프로그램 | |
WO2023229989A1 (en) | Detecting visual attention during user speech | |
WO2019084876A1 (zh) | 针对写字评分***的判定方法、***及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6597397 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |