JP2014235729A - スクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法及び該方法を実現するために用いるコンピュータシステムとコンピュータプログラム製品 - Google Patents
スクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法及び該方法を実現するために用いるコンピュータシステムとコンピュータプログラム製品 Download PDFInfo
- Publication number
- JP2014235729A JP2014235729A JP2013216902A JP2013216902A JP2014235729A JP 2014235729 A JP2014235729 A JP 2014235729A JP 2013216902 A JP2013216902 A JP 2013216902A JP 2013216902 A JP2013216902 A JP 2013216902A JP 2014235729 A JP2014235729 A JP 2014235729A
- Authority
- JP
- Japan
- Prior art keywords
- clickable
- screen
- clickable object
- coordinates
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004590 computer program Methods 0.000 title claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 16
- 210000001508 eye Anatomy 0.000 claims description 15
- 230000008569 process Effects 0.000 description 15
- 201000010099 disease Diseases 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 2
- 206010008129 cerebral palsy Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 201000006417 multiple sclerosis Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000020431 spinal cord injury Diseases 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010002027 Amyotrophy Diseases 0.000 description 1
- 206010003694 Atrophy Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
a)上記注視点座標を受信する。
b)スクリーン10内に表示された画面210のクリック可能なオブジェクト200情報を得る。
c)上記表示されるクリック可能なオブジェクト200内から上記注視点座標を含むクリック可能なオブジェクト200を見つけ出す。
d)該カーソル3を、見付けたクリック可能なオブジェクト200の上に移動させる。
b1)画面210内の一番下のレイヤの親ウインドウ20を取得する。
b2)画面210内の注視点座標を含む一番上のレイヤの子ウインドウ22をサーチする。
b3)一番上のレイヤの子ウインドウ22内のクリック可能なオブジェクト200を見つけ出す。これらは ステップb内で言及したクリック可能なオブジェクト200である。
c1) 該注視点座標を中心とし、複数の該注視点座標を囲う付近座標帯を確立する。
c2) いずれかのクリック可能なオブジェクト200の座標が上記複数の付近座標帯にあるか否かを判定するため、上記クリック可能なオブジェクト200の座標と付近座標帯を比較する。複数のクリック可能なオブジェクト200の座標が上記座標帯にある場合、上記該付近座標帯にある複数のクリック可能なオブジェクト200のうち、どのクリック可能なオブジェクト200の中心点座標が、注視点座標に一番近いかを比較する。
c3) 該カーソル3を注視点座標までの距離が一番近いクリック可能なオブジェクト200の中心点座標に移動させる。
10 スクリーン
100 処理ユニット
101 ストレージユニット
102 周辺接続インターフェース
11 画像取込み装置
110 赤外線LED光源
111 撮影ユニット
200、200a クリック可能なオブジェクト
20 一番下のレイヤの親ウインドウ
21、22 子ウインドウ
210 画面
3 カーソル
Claims (9)
- スクリーンに表示された画面上の1つの位置を示し、利用者の目が前記位置を注視している注視点座標を受信するステップと、
前記画面内のクリック可能なオブジェクト情報を得るステップと、
前記表示するクリック可能なオブジェクト内から、前記注視点座標を含む前記クリック可能なオブジェクトを見つけ出すステップと、
カーソルを、見付けた前記クリック可能なオブジェクトに移動させるステップと、
を含む、スクリーン内のカーソルを、クリック可能なオブジェクトに移動させる方法。 - 前記カーソルを、見付けた前記クリック可能なオブジェクトの中心部に移動させる請求項1に記載の方法。
- 前記画面内の一番下のレイヤの親ウインドウを取得するステップと、前記画面内の注視点座標を含む一番上のレイヤの子ウインドウをサーチするステップと、前記一番上のレイヤの子ウインドウにある前記クリック可能なオブジェクトを見つけ出すステップと、を実施することで、前記画面内の前記クリック可能なオブジェクト情報を取得する請求項1または2に記載の方法。
- 前記注視点座標を含む前記クリック可能なオブジェクトを見付からない場合、前記注視点座標を中心とし、複数の前記注視点座標を囲う付近座標帯を確立するステップと、いずれかの前記クリック可能なオブジェクトの座標が前記複数の付近座標帯にあるか否かについて、前記クリック可能なオブジェクトの座標と前記付近座標帯を比較するステップと、複数の前記クリック可能なオブジェクトの座標が前記付近座標帯にある場合、前記付近座標帯にある複数の前記クリック可能なオブジェクトのうちのどの前記クリック可能なオブジェクトの中心点座標が、前記注視点座標に一番近いかを比較するステップと、前記カーソルを、前記注視点座標までの距離が一番近い前記クリック可能なオブジェクトの中心点座標に移動するステップと、を実行する請求項1乃至3のうちのいずれか1項に記載の方法。
- 前記付近座標帯は、計8つの点があり、且つ、うちの4つの点が各々正方形の4つの頂角に位置し、他の4つの点が各々前記正方形の各辺長の間中に位置する請求項4に記載の方法。
- 比較を行う時、前記付近座標帯上の8つの点座標のみを比較することで、前記クリック可能なオブジェクトの座標が前記8つの点座標にあるか否かを判断し、1個の前記クリック可能なオブジェクトのみが前記8つの点座標にある場合、カーソルを、前記クリック可能なオブジェクト上の中心部に移動させ、複数の前記クリック可能なオブジェクトが前記8つの点座標にある場合、複数の前記クリック可能なオブジェクトのうちのどの前記クリック可能なオブジェクトの中心座標が、前記注視点座標に一番近いかを比較し、カーソルを、前記注視点座標までの距離が一番近い前記クリック可能なオブジェクト上の中心部に移動させる請求項5に記載の方法。
- 前記カーソルを、見付けた前記クリック可能なオブジェクトの中心部に移動することを特徴とする請求項4に記載の方法。
- 画像取込み装置によって利用者の顔を撮影して目を含む画像を取得するコンピュータシステムであって、
前記画像取込み装置によって撮像される画像を取得する取得部と、
前記画像から、前記コンピュータシステムの画面上の1つの位置を表わした注視点座標を算出し、
前記利用者の目が前記画面の位置を注視すると、請求項1に記載の方法内のステップを実行する処理ユニットを含むコンピュータシステム。 - コンピュータプログラム製品であり、
コンピュータで読み込むことができるメディアを含み、前記コンピュータで読み込むことができるメディアは、コンピュータに請求項1に記載の方法を実行させるためのプログラムコードを有する
コンピュータプログラム製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102119654 | 2013-06-03 | ||
TW102119654A TWI509463B (zh) | 2013-06-03 | 2013-06-03 | 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014235729A true JP2014235729A (ja) | 2014-12-15 |
JP5766763B2 JP5766763B2 (ja) | 2015-08-19 |
Family
ID=49447997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013216902A Active JP5766763B2 (ja) | 2013-06-03 | 2013-10-18 | スクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法及び該方法を実現するために用いるコンピュータシステムとコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140359521A1 (ja) |
EP (1) | EP2811369A1 (ja) |
JP (1) | JP5766763B2 (ja) |
CN (1) | CN104216510B (ja) |
TW (1) | TWI509463B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020189254A1 (ja) * | 2019-03-15 | 2020-09-24 | ソニー株式会社 | 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10372289B2 (en) * | 2015-12-31 | 2019-08-06 | Beijing Pico Technology Co., Ltd. | Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method |
CN107833263A (zh) * | 2017-11-01 | 2018-03-23 | 宁波视睿迪光电有限公司 | 面部跟踪方法及装置 |
US12032736B2 (en) * | 2022-02-23 | 2024-07-09 | International Business Machines Corporation | Gaze based text manipulation |
US20240111361A1 (en) * | 2022-09-27 | 2024-04-04 | Tobii Dynavox Ab | Method, System, and Computer Program Product for Drawing and Fine-Tuned Motor Controls |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0916370A (ja) * | 1995-06-29 | 1997-01-17 | Victor Co Of Japan Ltd | 表示オブジェクト選択方式 |
JP2000047823A (ja) * | 1998-07-31 | 2000-02-18 | Shimadzu Corp | 情報処理装置 |
JP2005063101A (ja) * | 2003-08-11 | 2005-03-10 | Hitachi Keiyo Engineerring & System Ltd | 障害者用パソコン入力装置 |
JP2006285715A (ja) * | 2005-04-01 | 2006-10-19 | Konica Minolta Holdings Inc | 視線検出システム |
WO2010118292A1 (en) * | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
US20120272179A1 (en) * | 2011-04-21 | 2012-10-25 | Sony Computer Entertainment Inc. | Gaze-Assisted Computer Interface |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6664990B1 (en) * | 1999-12-07 | 2003-12-16 | International Business Machines Corporation | Computer display pointer with alternate hot spots |
US6717600B2 (en) * | 2000-12-15 | 2004-04-06 | International Business Machines Corporation | Proximity selection of selectable item in a graphical user interface |
US6637883B1 (en) * | 2003-01-23 | 2003-10-28 | Vishwas V. Tengshe | Gaze tracking system and method |
US9274598B2 (en) * | 2003-08-25 | 2016-03-01 | International Business Machines Corporation | System and method for selecting and activating a target object using a combination of eye gaze and key presses |
GB0618978D0 (en) * | 2006-09-27 | 2006-11-08 | Malvern Scient Solutions Ltd | Method of employing gaze direction tracking for cursor control in a computer |
TW201001236A (en) | 2008-06-17 | 2010-01-01 | Utechzone Co Ltd | Method of determining direction of eye movement, control device and man-machine interaction system |
TW201005651A (en) | 2008-07-24 | 2010-02-01 | Utechzone Co Ltd | Page-turning method for electronic document through eyeball control and system thereof, pupil position determination method and pupil analysis module |
TWI432172B (zh) * | 2008-10-27 | 2014-04-01 | Utechzone Co Ltd | Pupil location method, pupil positioning system and storage media |
TWI398796B (zh) | 2009-03-27 | 2013-06-11 | Utechzone Co Ltd | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking |
TWI447659B (zh) | 2010-01-15 | 2014-08-01 | Utechzone Co Ltd | 瞳孔或臉部特徵對位方法與裝置 |
US8209630B2 (en) * | 2010-01-26 | 2012-06-26 | Apple Inc. | Device, method, and graphical user interface for resizing user interface content |
TWI419014B (zh) * | 2010-12-10 | 2013-12-11 | Acer Inc | 防止誤觸控的方法 |
-
2013
- 2013-06-03 TW TW102119654A patent/TWI509463B/zh active
- 2013-07-25 CN CN201310317796.9A patent/CN104216510B/zh active Active
- 2013-10-18 JP JP2013216902A patent/JP5766763B2/ja active Active
- 2013-10-21 EP EP13189488.3A patent/EP2811369A1/en not_active Withdrawn
- 2013-10-25 US US14/063,623 patent/US20140359521A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0916370A (ja) * | 1995-06-29 | 1997-01-17 | Victor Co Of Japan Ltd | 表示オブジェクト選択方式 |
JP2000047823A (ja) * | 1998-07-31 | 2000-02-18 | Shimadzu Corp | 情報処理装置 |
JP2005063101A (ja) * | 2003-08-11 | 2005-03-10 | Hitachi Keiyo Engineerring & System Ltd | 障害者用パソコン入力装置 |
JP2006285715A (ja) * | 2005-04-01 | 2006-10-19 | Konica Minolta Holdings Inc | 視線検出システム |
WO2010118292A1 (en) * | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
US20120272179A1 (en) * | 2011-04-21 | 2012-10-25 | Sony Computer Entertainment Inc. | Gaze-Assisted Computer Interface |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020189254A1 (ja) * | 2019-03-15 | 2020-09-24 | ソニー株式会社 | 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体 |
US11720178B2 (en) | 2019-03-15 | 2023-08-08 | Sony Group Corporation | Information processing device, information processing method, and computer-readable recording medium |
JP7491300B2 (ja) | 2019-03-15 | 2024-05-28 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN104216510B (zh) | 2018-01-09 |
JP5766763B2 (ja) | 2015-08-19 |
TWI509463B (zh) | 2015-11-21 |
CN104216510A (zh) | 2014-12-17 |
TW201447641A (zh) | 2014-12-16 |
EP2811369A1 (en) | 2014-12-10 |
US20140359521A1 (en) | 2014-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9996983B2 (en) | Manipulation of virtual object in augmented reality via intent | |
US11650659B2 (en) | User input processing with eye tracking | |
US9996155B2 (en) | Manipulation of virtual object in augmented reality via thought | |
Zhang et al. | Sideways: A gaze interface for spontaneous interaction with situated displays | |
JP5766763B2 (ja) | スクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法及び該方法を実現するために用いるコンピュータシステムとコンピュータプログラム | |
JP2022168082A (ja) | 物理的操作を用いたオブジェクト作成 | |
US20190073029A1 (en) | System and method for receiving user commands via contactless user interface | |
US20160349972A1 (en) | Data browse apparatus, data browse method, and storage medium | |
US10395101B2 (en) | Interest degree determination device, interest Degree determination method, and non-transitory computer-readable recording medium | |
Kumar et al. | Eye-controlled interfaces for multimedia interaction | |
Jakobsen et al. | Negotiating for Space?: Collaborative Work Using a Wall Display with Mouse and Touch Input. | |
Hohlfeld et al. | On the applicability of computer vision based gaze tracking in mobile scenarios | |
JP2020081280A (ja) | 画像表示制御システム、画像表示システム及び画像解析装置 | |
US10572722B2 (en) | Display apparatus and display method | |
CN111324274A (zh) | 虚拟试妆方法、装置、设备及存储介质 | |
Chiossi et al. | Understanding the impact of the realityvirtuality continuum on visual search using fixation-related potentials and eye tracking features | |
JP2012203645A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2024024307A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2022066476A1 (en) | Detecting unexpected user interface behavior using physiological data | |
Bakar et al. | Rhythm of eyes: Enhancing visual communication through eye tracking technology | |
JP2014039079A (ja) | 医療情報処理装置、医療情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150224 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20150401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5766763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |