JP6962079B2 - 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム - Google Patents
画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム Download PDFInfo
- Publication number
- JP6962079B2 JP6962079B2 JP2017169667A JP2017169667A JP6962079B2 JP 6962079 B2 JP6962079 B2 JP 6962079B2 JP 2017169667 A JP2017169667 A JP 2017169667A JP 2017169667 A JP2017169667 A JP 2017169667A JP 6962079 B2 JP6962079 B2 JP 6962079B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- display screen
- audio
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 104
- 238000001514 detection method Methods 0.000 claims description 88
- 210000005252 bulbus oculi Anatomy 0.000 description 37
- 230000011514 reflex Effects 0.000 description 37
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 17
- 210000004087 cornea Anatomy 0.000 description 15
- 210000001747 pupil Anatomy 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、本実施形態に係る画像音声出力装置である視線検出装置100の一例を模式的に示す斜視図である。視線検出装置100は、被験者を評価する評価装置としても用いられる。図1に示すように、視線検出装置100は、表示装置101と、音声出力装置70と、ステレオカメラ装置102と、照明装置103とを備える。
次に、本実施形態に係る画像音声出力方法について説明する。図8は、記憶部222に記憶されるデータの一例を示す図である。図8では、画像データの例を示している。図8に示すように、記憶部222には、表示装置101の表示画面101Sに表示させる複数の画像の画像データについて、表示させる順番と、画像データを識別するための画像番号と、画像の再生時間とが対応付けられた状態で記憶されている。出力制御部226は、記憶部222に記憶されたデータに基づいて、画像1から画像6までを、対応する再生時間で表示画面101Sに順番に表示させる。
図27は、本実施形態に係る画像音声出力装置の他の例である電子端末500を示す図である。図27に示すように、電子端末500は、例えばタブレット型コンピュータ、スマートフォン等の携帯型の電子機器を含む。電子端末500は、筐体501と、表示画面502と、撮影装置503と、音声出力装置504と、制御装置505とを有する。
制御装置505は、撮影装置503で撮影された観察者の眼球の画像データに基づいて観察者の注視点の位置を検出する注視点検出部と、表示画面502に表示される画像の一部に特定領域502a、502bを設定する領域設定部と、特定領域502a、502bが設定された画像が表示画面502に表示される場合に、注視点の位置の検出結果に基づいて注視点Pが特定領域502a、502bに存在するか否かを判定する判定部と、表示画面502に画像を表示させ音声出力装置504に音声を出力させると共に、注視点Pが特定領域502a、502bに存在すると判定された場合、少なくとも音声の出力状態を調整する出力制御部とを有する。
Claims (3)
- 画像を表示する表示画面と、
音声を出力する音声出力装置と、
前記表示画面を観察する観察者の注視点の位置を検出する注視点検出部と、
前記表示画面または前記画像の一部に特定領域を設定する領域設定部と、
前記特定領域が前記表示画面または前記画像に設定される一方で、前記注視点の位置の検出結果に基づいて前記注視点が前記特定領域に存在するか否かを判定する判定部と、
前記画像および前記音声の出力タイミングを設定したデータを記憶する記憶部と、
前記記憶部に記憶された前記データに基づき、前記表示画面に前記画像を表示させ前記音声出力装置に前記音声を出力させると共に、前記注視点が前記特定領域に存在するという判定に応じて、出力中の画像または音声の出力を停止し、前記記憶部に記憶されたデータにおいて、前記出力を停止した画像または音声の次に出力する設定である画像又は音声を出力する出力制御部と
を備える画像音声出力装置。 - 表示画面に画像を表示させることと、
音声出力装置に音声を出力させることと、
前記表示画面を観察する観察者の注視点の位置を検出することと、
前記表示画面または前記画像の一部に特定領域を設定することと、
前記特定領域が前記表示画面または前記画像に設定される一方で、前記注視点の位置の検出結果に基づいて前記注視点が前記特定領域に存在するか否かを判定することと、
前記画像および前記音声の出力タイミングを設定したデータを記憶部に記憶することと、
前記記憶部に記憶された前記データに基づき、前記表示画面に前記画像を表示させ前記音声出力装置に前記音声を出力させると共に、前記注視点が前記特定領域に存在するという判定に応じて、出力中の画像または音声の出力を停止し、前記記憶部に記憶されたデータにおいて、前記出力を停止した画像または音声の次に出力する設定である画像又は音声を出力することと
を含む画像音声出力方法。 - 表示画面に画像を表示させる処理と、
音声出力装置に音声を出力させる処理と、
前記表示画面を観察する観察者の注視点の位置を検出する処理と、
前記表示画面または前記画像の一部に特定領域を設定する処理と、
前記特定領域が前記表示画面または前記画像に設定される一方で、前記注視点の位置の検出結果に基づいて前記注視点が前記特定領域に存在するか否かを判定する処理と、
前記画像および前記音声の出力タイミングを設定したデータを記憶部に記憶する処理と、
前記記憶部に記憶された前記データに基づき、前記表示画面に前記画像を表示させ前記音声出力装置に前記音声を出力させると共に、前記注視点が前記特定領域に存在するという判定に応じて、出力中の画像または音声の出力を停止し、前記記憶部に記憶されたデータにおいて、前記出力を停止した画像または音声の次に出力する設定である画像又は音声を出力する処理と
をコンピュータに実行させる画像音声出力プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017169667A JP6962079B2 (ja) | 2017-09-04 | 2017-09-04 | 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム |
US15/955,941 US10691203B2 (en) | 2017-09-04 | 2018-04-18 | Image sound output device, image sound output method and image sound output program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017169667A JP6962079B2 (ja) | 2017-09-04 | 2017-09-04 | 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019042221A JP2019042221A (ja) | 2019-03-22 |
JP6962079B2 true JP6962079B2 (ja) | 2021-11-05 |
Family
ID=65518037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017169667A Active JP6962079B2 (ja) | 2017-09-04 | 2017-09-04 | 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10691203B2 (ja) |
JP (1) | JP6962079B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10401954B2 (en) * | 2017-04-17 | 2019-09-03 | Intel Corporation | Sensory enhanced augmented reality and virtual reality device |
JP7215246B2 (ja) * | 2019-03-08 | 2023-01-31 | 株式会社Jvcケンウッド | 表示装置、表示方法、及び表示プログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05113864A (ja) * | 1991-10-22 | 1993-05-07 | Canon Inc | マルチウインドウ動画表示方法及び装置 |
JP2000250699A (ja) * | 1999-03-04 | 2000-09-14 | Shimadzu Corp | 視線入力装置 |
JP2000278626A (ja) * | 1999-03-29 | 2000-10-06 | Sanyo Electric Co Ltd | マルチ画面音声出力制御装置 |
US20040001101A1 (en) * | 2002-06-27 | 2004-01-01 | Koninklijke Philips Electronics N.V. | Active window switcher |
JP2004301869A (ja) * | 2003-03-28 | 2004-10-28 | Takuya Shinkawa | 音声出力装置およびポインティングデバイス |
CN100536553C (zh) * | 2004-11-30 | 2009-09-02 | 松下电器产业株式会社 | 节目表再生方法以及显示方法 |
US7429108B2 (en) * | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
US9507418B2 (en) * | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
JP2014077814A (ja) * | 2011-02-14 | 2014-05-01 | Panasonic Corp | 表示制御装置および表示制御方法 |
US8854447B2 (en) * | 2012-12-21 | 2014-10-07 | United Video Properties, Inc. | Systems and methods for automatically adjusting audio based on gaze point |
US9047472B2 (en) * | 2013-01-14 | 2015-06-02 | International Business Machines Corporation | Managing sensitive content |
US9563283B2 (en) * | 2013-08-06 | 2017-02-07 | Inuitive Ltd. | Device having gaze detection capabilities and a method for using same |
JP6033804B2 (ja) * | 2014-02-18 | 2016-11-30 | 本田技研工業株式会社 | 車載機器操作装置 |
JP2015153302A (ja) * | 2014-02-18 | 2015-08-24 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
US9836192B2 (en) * | 2014-02-25 | 2017-12-05 | Evan Glenn Katsuranis | Identifying and displaying overlay markers for voice command user interface |
US9325938B2 (en) * | 2014-03-13 | 2016-04-26 | Google Inc. | Video chat picture-in-picture |
US10303341B2 (en) * | 2016-05-25 | 2019-05-28 | International Business Machines Corporation | Modifying screen content based on gaze tracking and user distance from the screen |
JP6237836B2 (ja) | 2016-07-04 | 2017-11-29 | 株式会社Jvcケンウッド | 注視点検出装置および注視点検出方法 |
JP2017103801A (ja) * | 2017-01-19 | 2017-06-08 | 株式会社Jvcケンウッド | 通信端末、通信端末の制御方法、通信端末の制御プログラム |
-
2017
- 2017-09-04 JP JP2017169667A patent/JP6962079B2/ja active Active
-
2018
- 2018-04-18 US US15/955,941 patent/US10691203B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019042221A (ja) | 2019-03-22 |
US20190073024A1 (en) | 2019-03-07 |
US10691203B2 (en) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6737234B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP5887026B2 (ja) | ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法 | |
WO2017094343A1 (ja) | 視線検出装置及び視線検出方法 | |
JP6617662B2 (ja) | 視線検出装置、視線検出方法、及びコンピュータプログラム | |
JP6971686B2 (ja) | 視線検出装置及び視線検出方法 | |
US10299674B2 (en) | Visual field measuring device and system | |
JP6848526B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP6638354B2 (ja) | 視線検出装置及び視線検出方法 | |
JP6962079B2 (ja) | 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム | |
JP6747172B2 (ja) | 診断支援装置、診断支援方法、及びコンピュータプログラム | |
JP2020038734A (ja) | 視線検出装置及び視線検出方法 | |
JP2019046438A (ja) | 評価装置、及び評価方法 | |
US20220079484A1 (en) | Evaluation device, evaluation method, and medium | |
JP7063045B2 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP6327171B2 (ja) | 注視点検出装置および注視点検出方法 | |
JP2019146915A (ja) | 評価装置、評価方法、及び評価プログラム | |
JP6370168B2 (ja) | 照明撮像装置及びそれを備えた視線検出装置 | |
JP2018011681A (ja) | 視線検出装置、視線検出プログラムおよび視線検出方法 | |
WO2021010122A1 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP6883242B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP6776970B2 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP7074221B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP7052471B2 (ja) | 評価装置、評価方法および評価プログラム | |
JP2020018470A (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP2020151293A (ja) | 評価装置、評価方法、及び評価プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6962079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |