JP6823988B2 - 画面操作方法及び画面操作装置 - Google Patents
画面操作方法及び画面操作装置 Download PDFInfo
- Publication number
- JP6823988B2 JP6823988B2 JP2016193245A JP2016193245A JP6823988B2 JP 6823988 B2 JP6823988 B2 JP 6823988B2 JP 2016193245 A JP2016193245 A JP 2016193245A JP 2016193245 A JP2016193245 A JP 2016193245A JP 6823988 B2 JP6823988 B2 JP 6823988B2
- Authority
- JP
- Japan
- Prior art keywords
- action
- screen
- operation range
- unit
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000001514 detection method Methods 0.000 description 46
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 5
- 230000011514 reflex Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
Description
例えば、ジェスチャに応じてカーソルの位置を操作する方法では、画面上の操作範囲に対して操作者の動作範囲が狭く、細やかな操作が行えない。
しかしながら、例えば図14に示すように、視線の動きが大きくなり、瞳孔の中心点104が眼球画像の中心位置からずれると、角膜反射点105が瞳孔部分から白目部分にずれる。この場合、角膜反射点105が検出できなかったり、瞳孔の端と白目部分に複数の反射が乱れて映ったりして、誤認識が生じる。
実施の形態1.
図1はこの発明の実施の形態1に係る画面操作装置3を含む画面操作システムの構成例を示す図である。
画面操作システムは、表示装置1、検出装置2及び画面操作装置3を備えている。なお図では、表示装置1、検出装置2及び画面操作装置3がそれぞれ別体に構成された場合を示しているが、これに限らず、表示装置1、検出装置2及び画面操作装置3は他の装置と一体化されていてもよい。また、表示装置1と画面操作装置3との間及び検出装置2と画面操作装置3との間は、それぞれ有線又は無線で接続され、通信可能に構成されている。
例えば、第1行動が顔の移動であり、第2行動が手の移動である場合、入力装置として1台の可視カメラを用いて実現可能である。一方、第1行動が顔の移動であり、第2行動が視線の移動である場合、1台の可視カメラでも実現可能であるが、視線検出の精度を上げる場合には赤外線光源及び赤外線カメラを別途用いる。なお、赤外線カメラの解像度は低いため、表示装置1と操作者との間の距離が限定される。そこで、表示装置1としてヘッドマウント型ディスプレイを用い、このディスプレイに赤外線光源及び赤外線カメラを搭載して視線検出を行ってもよい。なお、検出装置2による第1,2行動の具体的な検出方法については、既存の技術と同様であり、その説明は省略する。
画面操作装置3によるカーソルの位置の操作例では、図2に示すように、まず、第1行動取得部301は、検出装置2から出力されたデータを受信することで、操作者による第1行動を取得する(ステップST201)。
また、操作範囲指定部302は、指定した操作範囲を示す枠を画面上に表示してもよい。これにより、操作者は、指定された操作範囲を確認できる。
この場合、まず、操作者は、表示装置1に対向する位置に立ち、表示装置1に表示された画面上の操作対象がある方向を見るように、顔を回転させる。そして、第1行動取得部301はその顔の向きを取得し、操作範囲指定部302は、当該顔の向きから、画面上の一部の領域を操作範囲として指定する。
次いで、操作者は、カーソルの位置を操作対象へ移動させるように、手を移動させる。そして、第2行動取得部303はその手の動きを取得し、カーソル位置操作部304は、当該手の動きを、操作範囲の画面に対する比率に応じた操作量に変換した上で、当該操作範囲においてカーソルの位置を操作する。
ここで、図3Aに示すように、100インチの表示装置1に表示された画面11上に、機能メニューのボタン12が100ピクセル間隔(符号l1)で並び、カーソル13で操作するものとする。この画面11において、操作範囲14を画面全体から例えば300ピクセル×300ピクセルの範囲に限定する。この場合、図3Bに示すボタン12間を移動するために必要な手の動作範囲(符号l2)が例えば従来の4cmから24cmに変わる。このように、手を動かす必要がある距離が大きくなることで、検出誤差が抑制され、より細やかな操作が可能となる。
この場合、まず、操作者は、表示装置1に対向する位置に立ち、表示装置1に表示された画面上の操作対象がある方向を見るように、顔を回転させる。そして、第1行動取得部301はその顔の向きを取得し、操作範囲指定部302は、当該顔の向きから、画面上の一部の領域を操作範囲として指定する。
次いで、操作者は、カーソルの位置を操作対象へ移動させるように、視線を移動させる。そして、第2行動取得部303はその視線の動きを取得し、カーソル位置操作部304は、当該視線の動きを、操作範囲の画面に対する比率に応じた操作量に変換した上で、当該操作範囲においてカーソルの位置を操作する。
この場合、まず、操作者は、表示装置1に対向する位置に立ち、表示装置1に表示された画面上の操作対象がある方向を見るように、顔を回転させる。そして、第1行動取得部301はその顔の向きを取得し、操作範囲指定部302は、当該顔の向きから、画面上の一部の領域を操作範囲として指定する。
次いで、作業者は、カーソルの位置を操作対象へ移動させるように、マウスを移動させる。そして、第2行動取得部303はそのマウスの動きを取得し、カーソル位置操作部304は、当該マウスの動きを、操作範囲の画面に対する比率に応じた操作量に変換した上で、当該操作範囲においてカーソルの位置を操作させる。
また、従来では、単一の行動のみを検出し、その検出結果に応じてカーソルの位置を操作している。そのため、高性能、高価格、大型の検出装置を用いる必要があった。それに対し、実施の形態1では、検出装置2で2つの行動を検出して、操作範囲の絞り込みを行った上でカーソルの位置の操作を行うことで、低性能、低価格、小型な検出装置2であっても画像操作の信頼性を高めることができる。
実施の形態2では、操作範囲の指定後、当該操作範囲の大きさを変更する場合を示す。
図5はこの発明の実施の形態2に係る画面操作装置3を備えた画面操作システムの構成例を示す図である。この図5に示す実施の形態2に係る画面操作装置3では、図1に示す実施の形態1に係る画面操作装置3に、第3行動取得部305及びサイズ変更部306を追加している。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
サイズ変更部306は、第3行動取得部305により取得された第3行動から、操作範囲指定部302により指定された操作範囲の大きさを変更(拡張又は縮小)する。
この場合、まず、操作者は、表示装置1に対向する位置に立ち、表示装置1に表示された画面上の操作対象がある方向を見るように、顔を回転させる。そして、第1行動取得部301はその顔の向きを取得し、操作範囲指定部302は、当該顔の向きから、図6Aに示すように、画面11上の一部の領域を操作範囲14として指定する。
次に、操作者は、操作範囲指定部302により指定された操作範囲の大きさを変更するように、顔を前又は後ろに移動させる。そして、第3行動取得部305はその顔の動きを取得し、サイズ変更部306は、当該顔の動きから、図6Bに示すように、操作範囲14の大きさを変更する。図6Bでは、例えば操作者が顔を後ろに移動することで、操作範囲14が拡張した場合を示している。
次いで、作業者は、カーソル13の位置を操作対象へ移動させるように、マウスを移動させる。そして、第2行動取得部303はそのマウスの動きを取得し、カーソル位置操作部304は、当該マウスの動きを、操作範囲14の画面11に対する比率に応じた操作量に変換した上で、当該操作範囲14においてカーソル13の位置を操作させる(図6C)。
実施の形態3では、操作範囲の指定後、当該操作範囲に対応する画面上の領域の表示倍率を変更する場合を示す。
図7はこの発明の実施の形態3に係る画面操作装置3を備えた画面操作システムの構成例を示す図である。この図7に示す実施の形態3に係る画面操作装置3では、図1に示す実施の形態1に係る画面操作装置3に、第4行動取得部307及び倍率変更部308を追加している。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
倍率変更部308は、第4行動取得部307により取得された第4行動から、操作範囲指定部302により指定された操作範囲に対応する画面上の領域の表示倍率を変更する。
実施の形態4では、操作範囲の指定後、当該操作範囲を画面上の任意の位置に移動する場合を示す。
図9はこの発明の実施の形態4に係る画面操作装置3を備えた画面操作システムの構成例を示す図である。この図9に示す実施の形態4に係る画面操作装置3では、図1に示す実施の形態1に係る画面操作装置3に、領域移動部309を追加している。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
ここで、例えば図10Aに示すように、操作範囲指定部302により指定された操作範囲14が、画面11上の上方に位置する場合、操作者は上方を見ながら操作を行うことになり、身体的負担が大きい。そこで、図10Bに示すように、操作範囲14を画面11上の真ん中や下方に移動させることで、上記負担を軽減できる。
画面操作装置3における第1行動取得部301、操作範囲指定部302、第2行動取得部303及びカーソル位置操作部304の各機能は、処理回路51により実現される。処理回路51は、図11Aに示すように、専用のハードウェアであっても、図11Bに示すように、メモリ53に格納されるプログラムを実行するCPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)ともいう)52であってもよい。
Claims (6)
- 第1行動取得部は、画面を操作する操作者による第1行動を取得し、
操作範囲指定部は、前記第1行動取得部により取得された第1行動から、前記画面上の一部の領域を操作範囲として指定し、
第2行動取得部は、前記操作者による第2行動を取得し、
カーソル位置操作部は、前記第2行動取得部により取得された第2行動から、前記操作範囲指定部により指定された操作範囲の前記画面に対する比率に応じて、当該画面に対するカーソルの移動量である操作量よりも小さい操作量で、当該操作範囲においてカーソルの位置を操作する
ことを特徴とする画面操作方法。 - 前記操作範囲指定部は、前記第1行動に対応する前記画面上の位置が、規定時間、しきい値範囲内に位置する場合に、当該位置を含む領域を操作範囲として指定する
ことを特徴とする請求項1記載の画面操作方法。 - 第3行動取得部は、前記操作者による第3行動を取得し、
サイズ変更部は、前記第3行動取得部により取得された第3行動から、前記操作範囲指定部により指定された操作範囲の大きさを変更し、
前記カーソル位置操作部は、前記操作範囲指定部により指定され前記サイズ変更部により大きさが変更された操作範囲の前記画面に対する比率に応じた操作量で、当該操作範囲においてカーソルの位置を操作する
ことを特徴とする請求項1又は請求項2記載の画面操作方法。 - 第4行動取得部は、前記操作者による第4行動を取得し、
倍率変更部は、前記第4行動取得部により取得された第4行動から、前記操作範囲指定部により指定された操作範囲に含まれる画面上の領域の表示倍率を変更する
ことを特徴とする請求項1から請求項3のうちのいずれか1項記載の画面操作方法。 - 領域移動部は、前記操作範囲に含まれる画面上の領域を、当該画面上で移動する
ことを特徴とする請求項1から請求項4のうちのいずれか1項記載の画面操作方法。 - 画面を操作する操作者による第1行動を取得する第1行動取得部と、
前記第1行動取得部により取得された第1行動から、前記画面上の一部の領域を操作範囲として指定する操作範囲指定部と、
前記操作者による第2行動を取得する第2行動取得部と、
前記第2行動取得部により取得された第2行動から、前記操作範囲指定部により指定された操作範囲の前記画面に対する比率に応じて、当該画面に対するカーソルの移動量である操作量よりも小さい操作量で、当該操作範囲においてカーソルの位置を操作するカーソル位置操作部と
を備えた画面操作装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016193245A JP6823988B2 (ja) | 2016-09-30 | 2016-09-30 | 画面操作方法及び画面操作装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016193245A JP6823988B2 (ja) | 2016-09-30 | 2016-09-30 | 画面操作方法及び画面操作装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055549A JP2018055549A (ja) | 2018-04-05 |
JP6823988B2 true JP6823988B2 (ja) | 2021-02-03 |
Family
ID=61836779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016193245A Active JP6823988B2 (ja) | 2016-09-30 | 2016-09-30 | 画面操作方法及び画面操作装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6823988B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7186999B2 (ja) * | 2018-05-16 | 2022-12-12 | 株式会社ネクステッジテクノロジー | 操作入力装置、操作入力方法及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04315215A (ja) * | 1991-04-15 | 1992-11-06 | Matsushita Electric Ind Co Ltd | データ表示装置 |
JP2009223494A (ja) * | 2008-03-14 | 2009-10-01 | Ricoh Co Ltd | 情報処理装置 |
US8902156B2 (en) * | 2011-01-14 | 2014-12-02 | International Business Machines Corporation | Intelligent real-time display selection in a multi-display computer system |
JP2013159590A (ja) * | 2012-02-08 | 2013-08-19 | Kyowa Yakuhin Kogyo Kk | クエチアピンを内包する顆粒剤 |
JP5994328B2 (ja) * | 2012-03-29 | 2016-09-21 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
-
2016
- 2016-09-30 JP JP2016193245A patent/JP6823988B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018055549A (ja) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210258474A1 (en) | Adjusting Motion Capture Based on the Distance Between Tracked Objects | |
CN105706028B (zh) | 投影型影像显示装置 | |
US9804671B2 (en) | Input device and non-transitory computer-readable recording medium | |
JP6371475B2 (ja) | 視線入力装置、視線入力方法、および、視線入力プログラム | |
US10444908B2 (en) | Virtual touchpads for wearable and portable devices | |
US10015402B2 (en) | Electronic apparatus | |
JP6282758B2 (ja) | 投射型映像表示装置および映像表示方法 | |
JP6123694B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
TW202009653A (zh) | 指向判斷系統以及指向判斷方法 | |
JP2016118929A (ja) | 入力支援方法、入力支援プログラムおよび入力支援装置 | |
KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
US20140111457A1 (en) | Touch discrimination using fisheye lens | |
US10126813B2 (en) | Omni-directional camera | |
JPWO2015159548A1 (ja) | 投影制御装置、投影制御方法及び投影制御プログラム | |
US20150241968A1 (en) | Method for Processing Information and Electronic Device | |
JP6823988B2 (ja) | 画面操作方法及び画面操作装置 | |
CN110291495B (zh) | 信息处理***、信息处理方法及程序 | |
JP2022078706A (ja) | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム | |
JP6079418B2 (ja) | 入力装置および入力プログラム | |
KR20190027081A (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 | |
JP2020042633A (ja) | 画像処理装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200515 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6823988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |