JP2008027328A - データ入力装置 - Google Patents
データ入力装置 Download PDFInfo
- Publication number
- JP2008027328A JP2008027328A JP2006201543A JP2006201543A JP2008027328A JP 2008027328 A JP2008027328 A JP 2008027328A JP 2006201543 A JP2006201543 A JP 2006201543A JP 2006201543 A JP2006201543 A JP 2006201543A JP 2008027328 A JP2008027328 A JP 2008027328A
- Authority
- JP
- Japan
- Prior art keywords
- hand shape
- image
- display screen
- hand
- data input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Position Input By Displaying (AREA)
Abstract
【構成】手形状を保存しておき、操作面11におけるユーザの手形状をカメラ13で撮影し、該手形状の少なくとも2つの特定部分A,Bのディスプレイ画面上における位置A′,B′を計算し、保存してある手形状の2つの特定部分が該計算位置に来るように手形状画像を発生する。これにより、カメラが操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示できる。
【選択図】図1
Description
しかし、タッチパネル入力方法では、タッチパネルに直接触れることによりデータ、コマンドを入力するものであるため、手をディスプレイ画面まで動かして操作する必要があり、車載機器などではデータ入力操作がしにくい問題がある。また、タッチパネルにタッチするものであるため汚れがついて画面の視認性を低下する。
そこで、図10に示すように操作面(操作子)1を操作しやすい場所に設け、該操作面上でユーザ3が手4を移動させ、制御部5が手形状画像4′をディスプレイ画面2に表示し、ディスプレイ画面に表示されている画像(メニュー項目やキーなど)6a,6b,6c,….を指で選択してデータを入力するデータ入力方法が提案されている(特許文献1)。
以上から本発明の目的は、カメラを操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示できるデータ入力装置を提供することである。
本発明の別の目的は、手の位置に応じて該手形状のスケールを制御することにより手形状に遠近感を持たせて表示することにより違和感のない手形状表示ができるデータ入力装置を提供することである。
本発明の第2の態様は、操作面におけるユーザの手形状画像を取り込んでディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置であり、三次元画像データを用いて道路を含む三次元画像を発生する三次元画像発生部、操作面におけるユーザの手形状を撮影するカメラ、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生する手形状画像発生部、ディスプレイ画面において前記三次元画像上に前記手形状画像を重ねて表示する画像合成部、指で指示された画像に応じたデータを入力するデータ入力部を備えている。
本発明によれば、三次元画像データを用いて道路を含む三次元画像を発生し、操作面におけるユーザの手形状をカメラで撮影し、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生するようにしたから、遠近感を持たせて手形状を表示することができ、違和感のない手形状表示が可能になった。
図1は本発明の第1実施例の概略説明図である。
予めユーザが操作面(操作子)11を操作するときの手形状10(図1(B)参照)の外形(輪郭)を、例えばカメラで真上から撮影して保存しておく。手形状10はカメラに限らず別の手段により取得することもできる。
操作時、操作面11の前方に配置されたカメラ13で該操作面11におけるユーザの手12の形状を撮影する(図1(A))。ついで、カメラ13で撮影した手形状14の2つの特定部分(例えば2本の指の先端部分)A,Bのディスプレイ画面上における位置を計算する。カメラ13と操作面11の位置関係は固定であるからカメラで撮影した映像上の位置A,Bはディスプレイ画面16上の位置A′,B′に容易に変換できる(図1(B),(C))。なお、図1(B)において15はカメラ撮影範囲である。ついで、保存されている手形状10の2つの特定部分A,Bがディスプレイ画面16上の該計算位置A′,B′に来るように手形状画像10を発生して表示する。
以上では手形状14の2つの特定部分のディスプレイ画面上における位置を計算したが、手形状14の3つの特定部分A,B,Cのディスプレイ画面上における位置を計算することもできる。
手形状画像発生部21において、カメラ13は操作面11(図1参照)上のユーザの手形状を撮影し、カメラ映像保存部21aに保存する。指先位置算出部21bはカメラで撮影した手形状における指先部分A,Bのディスプレイ画面上の位置A′,B′を計算する。
一方、手形状取得部21cは予め操作面11を操作するときのユーザの手の外形を取得して手形状保存部21dに保存する。例えば、カメラで真上から撮影し、あるいは、赤外線発光/受光素子を用いて取得することもできる。図3は赤外線発光/受光素子を用いて取得する例であり、操作面11の下に赤外線発光/受光素子18をマトリックス状に配列し、各赤外線発光素子を発光し、手12で反射した光を受光素子で受光することにより手形状10の輪郭を取得する。図3(A)は横から見た概略図、(B)は上から見た概略図、(C)は手形状である。手形状発生部21eは、保存されている手形状10の2つの指先部分A,Bがディスプレイ画面16上の該計算位置A′,B′に来るように手形状画像10を発生する。
以上第1実施例によれば、手形状を保存しておき、操作面におけるユーザの手形状をカメラで撮影し、該手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記保存してある手形状の2つの特定部分が該計算位置に来るように手形状画像を発生するようにしたから、カメラが操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示することができる。
図4は第2実施例の概略説明図であり、(A)はディスプレイ画面の表示例、(B)は操作面上の手形状位置例である。
道路RDを含む三次元画像3DIMをディスプレイ画面16に表示する。操作面11の上で手12を移動させて所定の画像部分を指示する際、カメラで手形状を撮影し、ディスプレイ画面16の三次元画像3DIM上に手形状画像10を重ねて表示する。この際、手形状10のディスプレイ画面上の奥行き方向の位置と道路RDの消失点の位置とから手形状のスケールを決定し、該スケールで手形状画像を発生して表示する。このようにすれば、手の位置が奥のほうに行くほど小さく表示でき、遠近感を持たせて手形状を表示することができる。図5は、図4に比べて視点位置が高く、奥行き感が小さい場合の手形状表示例であり、道路の消失点は遠くにある。図5のように奥行き感が小さい場合には手形状のスケール差は小さいが、図4のように視点が低く、奥行き感が大きい場合には手形状のスケール差は大きくなる。
カメラ51は操作面上のユーザの手形状を撮影し、カメラ映像保存部52に保存する。なお、説明を簡単にするためにカメラ51は手形状を真上から撮影するものとする。
Y軸方向位置算出部53は撮影された手形状を参照して所定部分(例えば薬指の指先)のY軸方向位置yを算出する。Y軸方向位置yは、操作面とディスプレイ画面の座標変換式を予め記憶しておき、この変換式を用いて算出することができる。
3D画像生成部55は3D画像データに基づいて道路の消失点DPのY座標(=Y0)を計算して手形状スケール変換部54に入力するとともに、3D画像を発生する。手形状スケール変換部54は(1)式に基づいてスケールSを計算し、該スケールに基づいて手形状のスケールを変換し、手形状発生部56はスケール変換された手形状データに基づいて手形状画像を発生する。画像合成部57は3D画像3DIMの上に手形状画像10が表示されるように(図4(A))参照)、両画像を合成してモニター58に表示する。
ユーザは操作面11上で手を移動し、指で所望の画像(例えば建物)を指示して該操作面を押下すると、タブレットで構成されている操作面11は押下された位置を識別してデータ入力部25に入力する。データ入力部25は、押下された位置と表示している3D画像とに基づいて入力データを識別して制御部に入力する。
なお、奥行き感をより強調するため、手形状を小さくしていくのと同時に、「手の甲」部分を強調し、「指」部分を小さく表現する。具体的には、図9に示すように、奥行きが深くなると、相対的に手の甲部分の面積を大きくし、指部分の面積が小さくなるようにする。また、3D画像表示が、左側あるいは右側へ傾いた場合も同様に制御する。たとえば、右側へ傾いた場合には、"手"の左側部分の相対面積を大きく、右側を小さく表示する。
以上第2実施例によれば、三次元画像データを用いて道路を含む三次元画像を発生し、操作面におけるユーザの手形状をカメラで撮影し、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生するようにしたから、遠近感を持たせて手形状を表示することができ、違和感のない手形状表示が可能になった。
以上の説明では、手形状として手を開いた場合について説明したが、手形状は開いた場合に限るものではない。
13 カメラ
21 手形状画像発生部
21a カメラ映像保存部
21b 指先位置算出部
21c 手形状取得部
21d 手形状保存部
21e 手形状発生部
22 メニュー/スイッチ画像作成部
23 画像合成部
24 モニター
25 データ入力部
Claims (2)
- 操作面におけるユーザの手形状画像をディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置において、
手形状を保存する手形状保存部、
操作面におけるユーザの手形状を撮影するカメラ、
カメラで撮影した手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記手形状保存部に保存されている手形状の2つの特定部分が該計算位置に来るように手形状画像を発生する手形状画像発生部、
データ入力用の操作画像を発生す操作画像発生部、
ディスプレイ画面において該操作画像上に前記手形状画像を重ねて表示する画像合成部、
指で指示された画像に応じたデータを入力するデータ入力部、
を有することを特徴とするデータ入力装置。 - 操作面におけるユーザの手形状画像を取り込んでディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置において、
三次元画像データを用いて道路を含む三次元画像を発生する三次元画像発生部、
操作面におけるユーザの手形状を撮影するカメラ、
手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生する手形状画像発生部、
ディスプレイ画面において前記三次元画像上に前記手形状画像を重ねて表示する画像合成部、
指で指示された画像に応じたデータを入力するデータ入力部、
を有することを特徴とするデータ入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006201543A JP4757132B2 (ja) | 2006-07-25 | 2006-07-25 | データ入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006201543A JP4757132B2 (ja) | 2006-07-25 | 2006-07-25 | データ入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008027328A true JP2008027328A (ja) | 2008-02-07 |
JP4757132B2 JP4757132B2 (ja) | 2011-08-24 |
Family
ID=39117880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006201543A Expired - Fee Related JP4757132B2 (ja) | 2006-07-25 | 2006-07-25 | データ入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4757132B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012053557A (ja) * | 2010-08-31 | 2012-03-15 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2014520339A (ja) * | 2011-06-21 | 2014-08-21 | クアルコム,インコーポレイテッド | コンピュータビジョンの応用例で対話の範囲を拡大するジェスチャ制御による技術 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09185456A (ja) * | 1995-04-28 | 1997-07-15 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
JP2000075991A (ja) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
-
2006
- 2006-07-25 JP JP2006201543A patent/JP4757132B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09185456A (ja) * | 1995-04-28 | 1997-07-15 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
JP2000075991A (ja) * | 1998-08-28 | 2000-03-14 | Aqueous Research:Kk | 情報入力装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012053557A (ja) * | 2010-08-31 | 2012-03-15 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
CN102385438A (zh) * | 2010-08-31 | 2012-03-21 | 索尼公司 | 信息处理设备,信息处理方法和程序 |
JP2014520339A (ja) * | 2011-06-21 | 2014-08-21 | クアルコム,インコーポレイテッド | コンピュータビジョンの応用例で対話の範囲を拡大するジェスチャ制御による技術 |
Also Published As
Publication number | Publication date |
---|---|
JP4757132B2 (ja) | 2011-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6702489B2 (ja) | ヘッドマウントディスプレイ、情報処理方法、及びプログラム | |
JP4351599B2 (ja) | 入力装置 | |
JP4533087B2 (ja) | 画像処理方法、画像処理装置 | |
JP4783456B2 (ja) | 映像再生装置及び映像再生方法 | |
JP5110438B2 (ja) | 入力装置 | |
US8085243B2 (en) | Input device and its method | |
US8593417B2 (en) | Operation apparatus for in-vehicle electronic device and method for controlling the same | |
US20170003852A1 (en) | Information display terminal, information display method and program | |
JP6116934B2 (ja) | アイコン操作装置 | |
CN109478103B (zh) | 用于在虚拟现实中显示三维模型的***及方法 | |
WO2006013783A1 (ja) | 入力装置 | |
US20110157236A1 (en) | Head-mounted display | |
JPWO2007088939A1 (ja) | 情報処理装置 | |
EP3262505B1 (en) | Interactive system control apparatus and method | |
JP2010184600A (ja) | 車載用ジェスチャースイッチ装置 | |
JP2014056462A (ja) | 操作装置 | |
JP2013029958A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP4945694B2 (ja) | 映像再生装置及び映像再生方法 | |
US20220155881A1 (en) | Sensing movement of a hand-held controller | |
JP4757132B2 (ja) | データ入力装置 | |
WO2013111280A1 (ja) | 表示装置及び表示方法 | |
CN117590930A (zh) | 信息处理设备、信息处理方法和计算机可读介质 | |
KR101564089B1 (ko) | 손동작 인식을 이용한 프리젠테이션 실행시스템 | |
JP2005321870A (ja) | 操作入力装置および操作入力方法 | |
TWM564749U (zh) | 車輛多螢幕控制系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4757132 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |