JP7383471B2 - 電子機器およびその制御方法 - Google Patents
電子機器およびその制御方法 Download PDFInfo
- Publication number
- JP7383471B2 JP7383471B2 JP2019230917A JP2019230917A JP7383471B2 JP 7383471 B2 JP7383471 B2 JP 7383471B2 JP 2019230917 A JP2019230917 A JP 2019230917A JP 2019230917 A JP2019230917 A JP 2019230917A JP 7383471 B2 JP7383471 B2 JP 7383471B2
- Authority
- JP
- Japan
- Prior art keywords
- indicator
- condition
- line
- sight
- pointer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000001514 detection method Methods 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 description 19
- 210000001508 eye Anatomy 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 210000005252 bulbus oculi Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 6
- 238000001028 reflection method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 230000000449 premovement Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03543—Mice or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
ユーザーの視線を検出する検出手段と、操作手段に対する操作に応じたインジケーターの移動の制御を行う制御手段であって、操作手段に対する第1の条件を満たす操作に応じて、インジケーターを検出手段により検出した視線位置に基づく位置に移動させ、操作手段に対する第1の条件を満たさない操作に応じて、操作手段に対する操作量に応じた移動量でインジケーターを移動するように、操作手段に対する操作に応じたインジケーターの移動の制御を行う制御手段と、を有し、制御手段は、操作手段に対する第1の条件を満たす操作に応じてインジケーターを視線位置に基づく位置に移動させた後、操作手段に対する操作が第2の条件を満たすまでは、操作手段に対する操作に応じたインジケーターの移動の制御を行わず、操作手段に対する操作が第2の条件を満たした後は、操作手段に対する操作に応じたインジケーターの移動の制御を行い、第1の条件は、連続した操作であることを判定するための条件であり、第2の条件は、連続した操作の終了を判定するための条件であることを特徴とする。
・タッチパッド112aにタッチしていなかった指が新たにタッチパッド112aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する)。
・タッチパッド112aを指でタッチしている状態であること(以下、タッチオン(Touch-On)と称する)。
・タッチパッド112aを指でタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)。
・タッチパッド112aへタッチしていた指を離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)。
・タッチパッド112aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)。
・ユーザーの視線入力がある状態であること。
・ユーザーが注視している状態であること。
・ユーザーが入力していた視線を外したこと。すなわち、視線入力の終了。
・ユーザーが何も視線入力していない状態。
・左右に数回振る操作(右または左に所定距離以上ドラッグされたあとに反対方向に所定距離以上ドラッグする往復操作が、所定回数以上(例えば3回)繰り返される操作)
・視線入力位置の方向への操作(操作前のポインター位置から視線入力位置の方向へ所定距離以上ドラッグする操作)
・クリック操作もしくはタッチダウンを継続したままの移動操作(マウス112cへのクリック操作、もしくは、タッチパッド112aでのタッチダウンを所定時間以上継続したまま移動を行う操作)
・タッチダウンの継続操作(タッチパッド112aにタッチダウンをし、タッチムーブすることなくタッチダウン位置で所定時間以上タッチダウンを継続する操作)
タッチパネル112bや4方向に操作可能な方向キー(十字キー)では、以下の所定の操作でもよい。
・タッチムーブ操作(タッチパネル112bへの位置指定が相対位置指定である場合に、視線入力位置の方向への所定距離以上のタッチムーブ操作)
・方向キーの長押し操作(十字キーの左右上下いずれか1つの方向キーを所定時間以上長押しする操作)
・マウス112cもしくはタッチパッド112aを用いたクリック操作の終了
・タッチパッド112aへのタッチムーブなしのタッチダウンの終了(タッチアップ)
・タッチパネル112bからのタッチアップ
・十字キーの方向キーへの長押し操作の終了
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
Claims (14)
- ユーザーの視線を検出する検出手段と、
操作手段に対する操作に応じたインジケーターの移動の制御を行う制御手段であって、前記操作手段に対する第1の条件を満たす操作に応じて、前記インジケーターを前記検出手段により検出した視線位置に基づく位置に移動させ、前記操作手段に対する前記第1の条件を満たさない操作に応じて、前記操作手段に対する操作量に応じた移動量で前記インジケーターを移動するように、前記操作手段に対する操作に応じた前記インジケーターの移動の制御を行う制御手段と、
を有し、
前記制御手段は、前記操作手段に対する第1の条件を満たす操作に応じて前記インジケーターを前記視線位置に基づく位置に移動させた後、前記操作手段に対する操作が第2の条件を満たすまでは、前記操作手段に対する操作に応じた前記インジケーターの移動の制御を行わず、前記操作手段に対する操作が前記第2の条件を満たした後は、前記操作手段に対する操作に応じた前記インジケーターの移動の制御を行い、
前記第1の条件は、連続した操作であることを判定するための条件であり、前記第2の条件は、前記連続した操作の終了を判定するための条件である
ことを特徴とする電子機器。 - 前記第2の条件は、前記操作手段に対する単位時間当たりの操作量が所定値以下となることであることを特徴とする請求項1に記載の電子機器。
- 前記第2の条件は、前記操作手段に対する操作の一時的な静止、または、前記操作手段に対する操作の終了、のうち少なくとも1つであることを特徴とする請求項1に記載の電子機器。
- 前記第1の条件は、操作方向を所定回数以上切り替える往復操作、所定時間以上継続した操作、タッチ操作においてタッチ位置を移動する移動操作、長押し操作、のうち少なくとも1つであることを特徴とする請求項1に記載の電子機器。
- 前記制御手段は、前記インジケーターを前記視線位置に基づく位置に移動する前に、前記操作手段に対する操作が前記第1の条件を満たさなければ、前記視線位置に基づく位置にかかわらず、移動前の前記インジケーターの位置から前記操作手段に対する操作量に応じた移動量で前記インジケーターを移動するように制御することを特徴とする請求項1に記載の電子機器。
- 前記制御手段は、前記操作手段に対する操作が前記第1の条件を満たすと、前記操作手段への操作量にかかわらず、前記インジケーターを前記視線位置に基づく位置に移動させることを特徴とする請求項1に記載の電子機器。
- 前記インジケーターは、表示手段に表示される表示アイテムを選択するためのインジケーターであることを特徴とする請求項1乃至6のいずれか1項に記載の電子機器。
- 前記インジケーターは、所定の処理を施す基準となる位置を指定するためのインジケーターであることを特徴とする請求項1乃至6のいずれか1項に記載の電子機器。
- 前記所定の処理は、AF処理、画像処理、プログラムの実行処理の少なくとも1つであることを特徴とする請求項8に記載の電子機器。
- 前記制御手段は、前記操作手段に対する第1の条件を満たす操作に応じて前記インジケーターを前記視線位置に基づく位置に移動させた後、前記操作手段に対する操作が前記第2の条件を満たす前と、前記第2の条件を満たした後とで、前記インジケーターの表示形態を異ならせるように制御することを特徴とする請求項1乃至9のいずれか1項に記載の電子機器。
- 前記操作手段は、マウス、タッチ操作可能なタッチ操作手段、空間上で操作可能なポインティングデバイス、4方向に操作可能な方向キー、のうち少なくとも1つであることを特徴とする請求項1乃至10のいずれか1項に記載の電子機器。
- ユーザーの視線を検出する検出ステップと、
操作手段に対する操作に応じたインジケーターの移動の制御を行う制御ステップであって、前記操作手段に対する第1の条件を満たす操作に応じて、前記インジケーターを前記検出ステップで検出した視線位置に基づく位置に移動させ、前記操作手段に対する前記第1の条件を満たさない操作に応じて、前記操作手段に対する操作量に応じた移動量で前記インジケーターを移動するように、前記操作手段に対する操作に応じた前記インジケーターの移動の制御を行う制御ステップと、
を有し、
前記制御ステップでは、前記操作手段に対する前記第1の条件を満たす操作に応じて前記インジケーターを前記視線位置に基づく位置に移動させた後、前記操作手段に対する操作が第2の条件を満たすまでは前記操作手段に対する操作に応じた前記インジケーターの移動の制御を行わず、前記操作手段に対する操作が前記第2の条件を満たした後は、前記操作手段に対する操作に応じた前記インジケーターの移動の制御を行い、
前記第1の条件は、連続した操作であることを判定するための条件であり、前記第2の条件は、前記連続した操作の終了を判定するための条件である
ことを特徴とする電子機器の制御方法。 - コンピュータを、請求項1乃至11のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
- コンピュータを、請求項1乃至11のいずれか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019230917A JP7383471B2 (ja) | 2019-12-20 | 2019-12-20 | 電子機器およびその制御方法 |
US17/121,018 US11520400B2 (en) | 2019-12-20 | 2020-12-14 | Electronic apparatus and method for controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019230917A JP7383471B2 (ja) | 2019-12-20 | 2019-12-20 | 電子機器およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021099643A JP2021099643A (ja) | 2021-07-01 |
JP2021099643A5 JP2021099643A5 (ja) | 2022-12-14 |
JP7383471B2 true JP7383471B2 (ja) | 2023-11-20 |
Family
ID=76439745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019230917A Active JP7383471B2 (ja) | 2019-12-20 | 2019-12-20 | 電子機器およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11520400B2 (ja) |
JP (1) | JP7383471B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013210742A (ja) | 2012-03-30 | 2013-10-10 | Fujitsu Ltd | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2013254406A (ja) | 2012-06-08 | 2013-12-19 | Ntt Docomo Inc | 表示装置、表示方法及びプログラム。 |
JP2015118531A (ja) | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 表示制御装置およびプログラム |
WO2015104884A1 (ja) | 2014-01-08 | 2015-07-16 | ソニー株式会社 | 情報処理システム、情報処理方法およびプログラム |
US20170108923A1 (en) | 2015-10-14 | 2017-04-20 | Ecole Nationale De L'aviation Civile | Historical representation in gaze tracking interface |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08136798A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 自動焦点カメラ |
US8793620B2 (en) * | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
EP3316075B1 (en) * | 2016-10-26 | 2021-04-07 | Harman Becker Automotive Systems GmbH | Combined eye and gesture tracking |
-
2019
- 2019-12-20 JP JP2019230917A patent/JP7383471B2/ja active Active
-
2020
- 2020-12-14 US US17/121,018 patent/US11520400B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013210742A (ja) | 2012-03-30 | 2013-10-10 | Fujitsu Ltd | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2013254406A (ja) | 2012-06-08 | 2013-12-19 | Ntt Docomo Inc | 表示装置、表示方法及びプログラム。 |
JP2015118531A (ja) | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 表示制御装置およびプログラム |
US20160313891A1 (en) | 2013-12-18 | 2016-10-27 | Denso Corporation | Display control device, display control program and display-control-program product |
WO2015104884A1 (ja) | 2014-01-08 | 2015-07-16 | ソニー株式会社 | 情報処理システム、情報処理方法およびプログラム |
US20170108923A1 (en) | 2015-10-14 | 2017-04-20 | Ecole Nationale De L'aviation Civile | Historical representation in gaze tracking interface |
Also Published As
Publication number | Publication date |
---|---|
JP2021099643A (ja) | 2021-07-01 |
US11520400B2 (en) | 2022-12-06 |
US20210191510A1 (en) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10070044B2 (en) | Electronic apparatus, image sensing apparatus, control method and storage medium for multiple types of user interfaces | |
US9360965B2 (en) | Combined touch input and offset non-touch gesture | |
JP6297599B2 (ja) | 3d物体検出によるシステムのエンゲージメントのための方法 | |
US20130145308A1 (en) | Information Processing Apparatus and Screen Selection Method | |
JP5893456B2 (ja) | 表示制御装置及びその制御方法、プログラム、並びに記憶媒体 | |
JPWO2015159548A1 (ja) | 投影制御装置、投影制御方法及び投影制御プログラム | |
US11233941B2 (en) | Electronic device that receives line of sight input, method of controlling electronic device, and non-transitory computer readable medium | |
JP6399834B2 (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
JP7433810B2 (ja) | 電子機器、電子機器の制御方法、プログラム及び記憶媒体 | |
KR20230007515A (ko) | 접이식 디바이스의 디스플레이 스크린 상에서 검출된 제스처들을 처리하기 위한 방법 및 시스템 | |
US20160147294A1 (en) | Apparatus and Method for Recognizing Motion in Spatial Interaction | |
JP5911321B2 (ja) | 表示制御装置および表示制御装置の制御方法 | |
JP6128919B2 (ja) | 表示制御装置及びその制御方法 | |
JP6808408B2 (ja) | 表示制御装置およびその制御方法 | |
US20170228149A1 (en) | Information processing apparatus and information processing method | |
JP7383471B2 (ja) | 電子機器およびその制御方法 | |
US10963137B2 (en) | Information display apparatus and non-transitory recording medium storing program for controlling information display apparatus | |
JP6768426B2 (ja) | 表示制御装置、その制御方法、およびプログラム、並びに記憶媒体 | |
US10983686B2 (en) | Display control apparatus equipped with touch panel, control method therefor, and storage medium storing control program therefor | |
US20190310750A1 (en) | Electronic device, method for controlling the same, and storage medium | |
US11556173B2 (en) | Electronic apparatus, method for controlling the same, and storage medium | |
US12032754B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP7091159B2 (ja) | 電子機器およびその制御方法 | |
US20240053832A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
US20230254555A1 (en) | Electronic apparatus, control method therefor, and computer-readable storage medium storing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7383471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |