JP4244202B2 - 操作入力装置および操作入力方法 - Google Patents
操作入力装置および操作入力方法 Download PDFInfo
- Publication number
- JP4244202B2 JP4244202B2 JP2004137385A JP2004137385A JP4244202B2 JP 4244202 B2 JP4244202 B2 JP 4244202B2 JP 2004137385 A JP2004137385 A JP 2004137385A JP 2004137385 A JP2004137385 A JP 2004137385A JP 4244202 B2 JP4244202 B2 JP 4244202B2
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- space
- operation input
- operator
- development
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
また、本発明は、主たるコンテンツ情報を表示する面積を大きくとりながら、ポインティング領域も小さくならず操作入力が行いやすくできるようにすることを目的とする。
以下、本発明の一実施形態を図面に基づいて説明する。図1は、第1の実施形態による操作入力装置の構成例を示す図である。図1に示すように、第1の実施形態の操作入力装置は、位置検出手段としての3次元イメージセンサ1と、CPU2a、ROM2b、RAM2cなどを備えて構成されるマイクロコンピュータ(以下、マイコンと記す)2と、ディスプレイ装置20の表示制御を行う表示制御手段としてのディスプレイコントローラ3とを備えて構成されている。
次に、本発明の第2の実施形態について説明する。図8は、第2の実施形態による操作入力装置の構成例を示す図である。なお、この図8において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
次に、本発明の第3の実施形態について説明する。第3の実施形態では、図1に示した第1の実施形態と同様に、位置検出手段としては1つの3次元イメージセンサ1を使用する。また、第3の実施形態によるマイコン2の機能構成は、図12に示すブロック図の通りである。なお、この図12において、図2に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
次に、本発明の第4の実施形態について説明する。第4の実施形態は、上記第2の実施形態と第3の実施形態とを組み合わせたものである。すなわち第4の実施形態では、一方の3次元イメージセンサ1-1を用いて、第3の実施形態と同様の動作でキャリブレーション時の指示物34の動きを検出し、基準点31を求めてこれを初期値に設定する。また、第2の実施形態と同様の動作で他方の3次元イメージセンサ1-2により操作者の目、鼻、口、顔の中央などの動きを検出し、その動きに応じて基準点31を初期値から移動させるようにする。
x=d・x1・G(x2)/H(x1,x2)
y=d・y1・G(y2)/H(y1,y2)
z=d・F・G(x1)/H(x1,x2)
ここで、G(x1)=F・sinθ・x1(1−cosθ)
H(x1,x2)=(F+x1・x2)sinθ+F(x1−x2)cosθ
2 マイコン
3 ディスプレイコントローラ
21,27,28 ポインティング空間設定部
22 指示物認識部
23 座標検出部
24 動き検出部
25 操作入力内容判定部
26 基準点認識部
30 ディスプレイ画面
31 基準点
32 ポインティング空間
33 ポインティング面
34 指示物
36 対象点
37 延長面
38 展開面
Claims (25)
- ディスプレイ画面および当該ディスプレイ画面の外部に想定される延長面を含んで成る展開面と当該展開面から離れた場所にある所定の基準点とを結んで成る錐体状の仮想的なポインティング空間を設定するポインティング空間設定手段と、
上記ポインティング空間内において行われるポインティング動作を検出し、対応する操作指令を出力するポインティング動作検出手段とを備えたことを特徴とする操作入力装置。 - 上記ポインティング動作検出手段によりドラグ動作が行われたことが検出されたときに、上記ポインティング動作により指示された点がドラグ量だけドラグされた方向に移動するように画面をスクロール表示する表示制御手段を備えたことを特徴とする請求項1に記載の操作入力装置。
- 上記ポインティング動作検出手段によりクリック動作が行われたことが検出されたときに、上記ポインティング動作により指示された点が上記ディスプレイ画面内の所定の位置に移動するように画面をスクロール表示する表示制御手段を備えたことを特徴とする請求項1に記載の操作入力装置。
- 上記ポインティング空間設定手段は、上記延長面の一部または全部を1以上の領域に分割してそれぞれをポインティング領域として設定し、
上記ポインティング動作検出手段は、上記ポインティング動作により指示されたポインティング領域に対応するコマンドの実行指令を出力することを特徴とする請求項1に記載の操作入力装置。 - 上記ポインティング動作検出手段は、上記ポインティング空間内にある物体の3次元的な位置を検出する位置検出手段と、
上記位置検出手段により検出される上記ポインティング空間内における上記物体の位置をもとに、写像関係を利用して上記展開面における対象点の座標を検出する座標検出手段と、
上記ポインティング空間内における上記物体の3次元的な動きを検出する動き検出手段と、
上記座標検出手段により検出される上記展開面における対象点の座標および上記動き検出手段により検出される上記物体の3次元的な動きに基づいて操作入力内容を判定し、対応する操作指令を出力する判定手段とを備えることを特徴とする請求項1に記載の操作入力装置。 - 上記位置検出手段により検出される上記ポインティング空間内の物体が所定の指示物であることを認識する指示物認識手段を備え、
上記座標検出手段は、上記指示物認識手段により上記指示物であると認識された物体について上記位置検出手段により検出される上記ポインティング空間内における位置をもとに、上記展開面における対象点の座標を検出し、
上記動き検出手段は、上記指示物認識手段により上記指示物であると認識された物体の3次元的な動きを検出することを特徴とする請求項5に記載の操作入力装置。 - 上記基準点は、上記位置検出手段により検出される操作者の目の位置であることを特徴とする請求項5に記載の操作入力装置。
- 上記基準点は、上記位置検出手段により検出される操作者の効き目の位置であることを特徴とする請求項5に記載の操作入力装置。
- 上記基準点は、上記展開面と、上記ディスプレイ画面の四隅をそれぞれ空間上でポインティング動作したときの上記指示物の位置を結んで得られる面との双方を断面として持つ錐体の頂点に当たる位置であることを特徴とする請求項6に記載の操作入力装置。
- 上記ポインティング空間設定手段は、上記展開面と、上記ディスプレイ画面の四隅をそれぞれ空間上でポインティング動作したときの上記指示物の位置を結んで得られる面との双方を断面として持つ錐体の頂点に当たる位置を上記基準点の初期値として設定し、上記位置検出手段により検出される操作者の目の位置に基づき上記動き検出手段により検出される上記操作者の目の3次元的な動きに応じて、上記基準点を上記初期値から移動させるようにしたことを特徴とする請求項6に記載の操作入力装置。
- ディスプレイ画面および当該ディスプレイ画面の外部に想定される延長面を含んで成る展開面、または、上記展開面を当該展開面から離れた空間上に写像した空間面を、ポインティング面として設定するポインティング面設定手段と、
上記ポインティング面において行われるポインティング動作を検出し、対応する操作指令を出力するポインティング動作検出手段とを備えたことを特徴とする操作入力装置。 - 上記ポインティング面設定手段は、上記展開面と当該展開面から離れた場所にある所定の基準点とを結んで成る錐体上の仮想的なポインティング空間を設定し、上記展開面の座標を上記ポインティング空間内の上記物体が存在する位置に写像した空間面を上記ポインティング面として設定することを特徴とする請求項11に記載の操作入力装置。
- 上記ポインティング面は、上記展開面と操作者との間にあり、上記操作者が上記ポインティング動作をしたときの上記指示物の位置を含み、上記操作者が上記指示物を自然に動かしたときに上記指示物の軌跡が形作ると想定される面であり、
上記ポインティング面設定手段は、上記ポインティング動作が行われる毎に上記ポインティング面を設定することを特徴とする請求項12に記載の操作入力装置。 - ディスプレイ画面および当該ディスプレイ画面の外部に想定される延長面を含んで成る展開面と当該展開面から離れた場所にある所定の基準点とを結んで成る錐体状の仮想的なポインティング空間を設定する第1のステップと、
上記第1のステップで設定された上記ポインティング空間内において行われるポインティング動作を検出し、対応する操作指令を出力する第2のステップとを有することを特徴とする操作入力方法。 - 上記第2のステップでドラグ動作が行われたことが検出されたときに出力される上記操作指令に基づいて、上記ポインティング動作により指示された点がドラグ量だけドラグされた方向に移動するように画面をスクロール表示する第3のステップを有することを特徴とする請求項14に記載の操作入力方法。
- 上記第2のステップでクリック動作が行われたことが検出されたときに出力される上記操作指令に基づいて、上記ポインティング動作により指示された点が上記ディスプレイ画面内の所定の位置に移動するように画面をスクロール表示する第3のステップを有することを特徴とする請求項14に記載の操作入力方法。
- 上記第1のステップでは、上記延長面の一部または全部を1以上の領域に分割してそれぞれをポインティング領域として設定し、
上記第2のステップでは、上記ポインティング動作により指示されたポインティング領域に対応するコマンドの実行指令を出力することを特徴とする請求項14に記載の操作入力方法。 - 上記第2のステップは、
上記ポインティング空間内にある物体の3次元的な位置を検出する第4のステップと、
上記ポインティング空間内における上記物体の3次元的な動きを検出するとともに、上記ポインティング空間内における上記物体の位置をもとに写像関係を利用して上記展開面における対象点の座標を算出する第5のステップと、
上記物体の3次元的な動きおよび上記物体の位置に対応する上記展開面における対象点の座標に基づいて操作入力内容を判定し、対応する操作指令を出力する第6のステップとから成ることを特徴とする請求項14に記載の操作入力方法。 - 上記第4のステップで検出される上記ポインティング空間内の物体が所定の指示物であることを認識する第7のステップを有し、
上記第5のステップでは、上記第7のステップで上記指示物であると認識された物体について、当該物体の3次元的な動きを検出するとともに、上記第4のステップで検出される上記ポインティング空間内における上記物体の位置をもとに上記展開面における対象点の座標を算出することを特徴とする請求項18に記載の操作入力方法。 - 上記基準点は操作者の目の位置に設定されることを特徴とする請求項14に記載の操作入力方法。
- 上記第1のステップは、上記ディスプレイ画面の四隅に所定のマークを表示して操作者にポインティング動作を促す第8のステップと、
上記所定のマークをそれぞれ操作者が空間上でポインティング動作したときの上記物体の位置を結んで得られる面と上記展開面との双方を断面として持つ錐体を上記ポインティング空間として設定する第9のステップとから成ることを特徴とする請求項14に記載の操作入力方法。 - 上記第1のステップは、上記ディスプレイ画面の四隅に所定のマークを表示して操作者にポインティング動作を促す第8のステップと、
上記所定のマークをそれぞれ操作者が空間上でポインティング動作したときの上記物体の位置を結んで得られる面と上記展開面との双方を断面として持つ錐体の頂点に当たる位置を上記基準点の初期値に設定して上記ポインティング空間を設定する第9のステップとから成り、
上記空間上における上記操作者の目の位置を検出して上記操作者の目の3次元的な動きを検出する第10のステップと、
上記操作者の目の3次元的な動きに応じて、上記基準点を上記初期値から移動させ、当該移動した上記基準点と上記展開面とを結んで成る錐体を上記ポインティング空間として再設定する第11のステップとを有することを特徴とする請求項14に記載の操作入力方法。 - ディスプレイ画面および当該ディスプレイ画面の外部に想定される延長面を含んで成る展開面、または、上記展開面を当該展開面から離れた空間上に写像した空間面を、ポインティング面として設定する第1のステップと、
上記第1のステップで設定された上記ポインティング面において行われるポインティング動作を検出し、対応する操作指令を出力する第2のステップとを有することを特徴とする操作入力方法。 - 上記第1のステップでは、上記展開面と当該展開面から離れた場所にある所定の基準点とを結んで成る錐体上の仮想的なポインティング空間を設定し、上記展開面の座標を上記ポインティング空間内の上記物体が存在する位置に写像した空間面を上記ポインティング面として設定することを特徴とする請求項23に記載の操作入力方法。
- 上記ポインティング面は、上記展開面と操作者との間にあり、上記操作者が上記ポインティング動作をしたときの上記指示物の位置を含み、上記操作者が上記指示物を自然に動かしたときに上記指示物の軌跡が形作ると想定される面であり、
上記第1のステップでは、上記ポインティング動作が行われる毎に上記ポインティング面を設定することを特徴とする請求項24に記載の操作入力方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004137385A JP4244202B2 (ja) | 2004-05-06 | 2004-05-06 | 操作入力装置および操作入力方法 |
US11/104,872 US7893920B2 (en) | 2004-05-06 | 2005-04-13 | Operation input device and method of operation input |
EP05009784A EP1594040A3 (en) | 2004-05-06 | 2005-05-04 | Operation input device and method of operation input |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004137385A JP4244202B2 (ja) | 2004-05-06 | 2004-05-06 | 操作入力装置および操作入力方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005321870A JP2005321870A (ja) | 2005-11-17 |
JP4244202B2 true JP4244202B2 (ja) | 2009-03-25 |
Family
ID=35469133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004137385A Expired - Fee Related JP4244202B2 (ja) | 2004-05-06 | 2004-05-06 | 操作入力装置および操作入力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4244202B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101606120B (zh) * | 2007-12-07 | 2012-08-15 | 索尼株式会社 | 控制装置、输入装置、控制***、控制方法和手持装置 |
JP5730086B2 (ja) * | 2011-03-18 | 2015-06-03 | Necパーソナルコンピュータ株式会社 | 入力装置および入力方法 |
JP6251957B2 (ja) * | 2013-01-23 | 2017-12-27 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置および表示装置の制御方法 |
JP5472509B2 (ja) * | 2013-04-11 | 2014-04-16 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びに情報記録媒体 |
US9836199B2 (en) | 2013-06-26 | 2017-12-05 | Panasonic Intellectual Property Corporation Of America | User interface device and display object operating method |
KR20150031384A (ko) * | 2013-09-13 | 2015-03-24 | 현대자동차주식회사 | 맞춤형 인터페이스 시스템 및 그 동작 방법 |
JP6472252B2 (ja) * | 2015-01-20 | 2019-02-20 | Nttテクノクロス株式会社 | 仮想タッチパネルポインティングシステム |
JP6884123B2 (ja) * | 2018-05-15 | 2021-06-09 | Kddi株式会社 | ユーザの注視点を推定する注視点推定装置、プログラム及び方法 |
JP7335335B2 (ja) * | 2019-06-28 | 2023-08-29 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2004
- 2004-05-06 JP JP2004137385A patent/JP4244202B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005321870A (ja) | 2005-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4274997B2 (ja) | 操作入力装置および操作入力方法 | |
US7893920B2 (en) | Operation input device and method of operation input | |
JP6116064B2 (ja) | 車両インターフェース用ジェスチャ基準制御システム | |
KR101809636B1 (ko) | 컴퓨터 장치의 원격 제어 | |
US8743089B2 (en) | Information processing apparatus and control method thereof | |
US20110157236A1 (en) | Head-mounted display | |
US20100229090A1 (en) | Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures | |
JP2008009759A (ja) | タッチパネル装置 | |
NO339941B1 (no) | System og fremgangsmåte for et gestbasert styringssystem | |
JP2006072854A (ja) | 入力装置 | |
JP5664301B2 (ja) | コンピュータ装置、電子ペン入力システム、及びプログラム | |
JP5561092B2 (ja) | 入力装置、入力制御システム、情報処理方法及びプログラム | |
JP4244202B2 (ja) | 操作入力装置および操作入力方法 | |
JPWO2012153536A1 (ja) | 座標入力装置及び座標入力方法 | |
KR101564089B1 (ko) | 손동작 인식을 이용한 프리젠테이션 실행시스템 | |
CN110949271A (zh) | 操作处理装置 | |
JP2003280813A (ja) | ポインティングデバイス、ポインタ制御装置、ポインタ制御方法及びその方法を記録した記録媒体 | |
JP2009237746A (ja) | 車両用操作装置 | |
JP5678697B2 (ja) | コンピュータ装置、入力システム、及びプログラム | |
JP5005585B2 (ja) | 操作装置及びその方法 | |
JP4962466B2 (ja) | 入力装置および入力方法 | |
KR20200034348A (ko) | 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치 | |
KR102254091B1 (ko) | 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치 | |
JP2010182135A (ja) | 入力装置および入力方法 | |
EP3374847B1 (en) | Controlling operation of a 3d tracking device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081224 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4244202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140116 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |