JP2000075991A

JP2000075991A - 情報入力装置

Info

Publication number: JP2000075991A
Application number: JP24407398A
Authority: JP
Inventors: Tomoki Kubota; 智氣窪田; Yoichi Nomoto; 洋一野本; Shoji Yokoyama; 昭二横山
Original assignee: AQUEOUS RESEARCH KK; Equos Research Co Ltd
Current assignee: AQUEOUS RESEARCH KK; Equos Research Co Ltd
Priority date: 1998-08-28
Filing date: 1998-08-28
Publication date: 2000-03-14

Abstract

(57)【要約】【課題】車載用機器を見たり触れたりすることなく、
運転姿勢を維持しつつ、非接触で情報の入力操作を行う
ことができ、入力情報の確認も容易な情報入力の手法を
提供する。【解決手段】ドライバは、仮想空間５０の範囲に入る
ように手５２を挙げ、閉じた状態から手を開いた状態と
する。この手の動きはカメラで撮像され、その画像と位
置が所定のものに該当するときは、入力可能なスタンバ
イ状態となる。続いてドライバ５４は、仮想空間５０内
のメニュー空間ＭＡ〜ＭＤのうちのいずれか選択したい
ものを手５２で掴む。この動作は同様にカメラで撮像さ
れ、手５２の動きや位置が認識され、手５２がいずれの
メニュー空間を掴んだかが判定される。判定結果はナビ
ゲーション装置に供給される。また、判定結果は、音声
でドライバ５４にコールバックされる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、各種機器に対して
コマンドなどの情報入力を行う情報入力装置にかかり、
例えばカーナビゲーションシステムなどの車載用機器に
好適な情報入力装置に関するものである。

【０００２】

【背景技術】カーナビゲーションシステムでは、道路案
内などのナビゲーション，テレビやビデオソフトなどの
映像表示，ラジオやＣＤ再生などの音声再生，ゲームソ
フトの再生実行，エアコンなどの機器の制御など、各種
のサービスが可能となっている。これらのサービスメニ
ューは、通常階層化されており、ユーザは、階層化メニ
ューの中から必要なものを選択する。

【０００３】図１０には、そのような階層化メニューの
一例が示されている。この例では、同図（Ａ）に示すよ
うに、「探す」，「見る」，「覚える」，「変える」の
４つのメインメニューＭＮ１〜ＭＮ４がナビゲータ装置
のディスプレイであるタッチパネルに表示されている。
これらのうち、例えば「探す」のメニューは、同図
（Ｂ）のようにメニュー１，２，３，４，……に階層化
されている。更に、メニュー１は、メニュー１１，１
２，１３，１４，……に階層化されており、メニュー１
１は、メニュー１１１，１１２，１１３，１１４，……
に階層化されているという具合である。他のメニューに
ついても同様である。

【０００４】ところで、このようなメニューの選択は、
タッチパネルを有するディスプレイにメニュー選択用の
アイコンが表示されているときはそのアイコンをタッチ
する，メニュー選択用のスイッチボタンがあるときはそ
れを操作する，リモコン（リモートコントロール）装置
があるときはそれを操作するというような方法で行われ
ている。

【０００５】

【発明が解決しようとする課題】しかしながら、タッチ
パネル画面に表示されるメニュー選択用のアイコンは、
表示内容に応じて相対的に表示位置が変動するため、そ
の表示位置が把握しづらい。このため、タッチパネル画
面上におけるアイコン操作を必ずしも簡単に行うことが
できない。また、タッチパネルやスイッチボタンを操作
するためには、それらの位置まで手を伸ばす必要があ
り、一時的にせよ、ドライバは運転姿勢を崩さなければ
ならない。リモコン装置の場合には、リモコン自体を探
して操作しなければならない。更に、いずれの場合に
も、必要なメニューが選択されかどうかは、画面を見て
確認する必要がある。

【０００６】しかし、車をより快適に運転するという観
点からすれば、ドライバが視線を表示画面側にずらした
り、腕を伸ばすために姿勢を変えるなどの動作を行うこ
となく、必要なメニューを選択することができると好都
合である。

【０００７】本発明は、以上の点に着目したもので、そ
の目的は、車載用機器を見たり触れたりすることなく、
非接触で情報の入力操作を行うことができる情報入力装
置を提供することである。他の目的は、運転姿勢を維持
しつつ、情報の入力操作を行うことができる情報入力装
置を提供することである。更に他の目的は、入力した情
報の確認を簡便に行うことができる操作性のよい情報入
力装置を提供することである。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、人体の一部を撮像する撮像手段；これに
よって撮像された画像から、対象物の形状，動き，もし
くは位置の少なくとも一つを把握して、情報入力のスタ
ンバイ状態を判定するスタンバイ判定手段；これによっ
てスタンバイ状態であると判定された後に、前記撮像手
段によって撮像された画像から、対象物の形状，動き，
もしくは位置の少なくとも一つを把握して、入力情報を
判定する入力判定手段；前記スタンバイ判定手段及び入
力判定手段による判定結果をコールバックするコールバ
ック手段；を備えたことを特徴とする。

【０００９】主要な形態の一つは、前記撮像の対象物は
人体の手であり、前記撮像手段は予め設定された仮想空
間内で対象物を撮像することを特徴とする。他の形態
は、前記対称物の位置が、前記仮想空間内における２次
元もしくは３次元の座標位置であることを特徴とする。
また、前記撮像手段は、自動車の天井が背景となるよう
に撮像を行うことを特徴とする。更に他の形態は、前記
コールバック手段による前記入力判定手段の判定結果に
よるコールバック後に、前記入力判定手段によって入力
確認の判定を行うことを特徴とする。

【００１０】また、前記目的を達成するために、本発明
は、車載用機器を操作するための車載用機器操作装置に
おいて、撮像装置；該撮像装置により撮像された人体の
一部の画像から、該人体の一部の動きを特定の変化パタ
ーンとして認識する認識手段；特定の変化パターンと車
載用機器の操作情報とを対応づけて記憶する記憶手段；
前記認識手段により認識された特定の変化パターンに対
応する操作情報を前記記憶手段から読み出し、該読み出
された操作情報に基づいて車載用機器を操作する車載用
機器操作手段；を備えたことを特徴とする。

【００１１】本発明によれば、人体の一部の動き、例え
ば手の動きのみによって車載用機器の操作を行うことが
できる。本発明により操作される車載用機器には、経路
案内等を行ういわゆるカーナビゲーション装置、エアコ
ン，テレビ，ラジオ，カセット，ＣＤなどのオーディオ
類，ワイパー，ヘッドライト，その他の各種の車載の機
器が含まれる。

【００１２】また、それら車載用機器の操作には、それ
らの車載用機器に対して利用者が行う全ての操作が含ま
れる。例えば、各種車載用機器の電源のオンオフ操作，
カーナビゲーション装置の目的地設定・案内開始などの
操作，エアコンの温度調節・風量調節・冷暖切替などの
操作，テレビ・ラジオの音量調節・チャンネル切替など
の操作，カセット・ＣＤの音量調節・再生停止切替など
の操作，ワイパー・ヘッドライトのオンオフ切替操作，
その他各種の操作が含まれる。

【００１３】また、人体の一部の動きには、例えば、手
を上下左右や前後などに移動するような二次元的もしく
は三次元的な動きのみならず、開いた手を握る場合のよ
うに形状が変化する動きも含む。二次元的な動きとは、
所定のＸ−Ｙ軸を含む平面内における移動をいい、三次
元的な動きとは、二次元的な動きに所定のＸ−Ｙ軸を含
む平面に直交するＺ軸方向の移動を加えたものをいう。

【００１４】なお、カーナビゲーション装置の地図表示
の拡大・縮小の切替操作を手の三次元的な動きで行え
ば、より感覚的に地図の切替操作を行うことができる。
例えば、Ｚ軸方向に手を動かすことで地図表示の拡大・
縮小操作を行い、Ｘ−Ｙ平面内で手を動かすことで他の
操作を行う。この場合、Ｚ軸を人体の正面方向に延びる
ように設定すると、より感覚的に地図の切替操作を行う
ことができる。

【００１５】更に、前記目的を達成するために、本発明
は、スピーカ；前記認識手段による認識結果を示す音声
を前記スピーカから出力するコールバック手段；を備え
たことを特徴とする。本発明によれば、利用者は、手の
動きがどのように認識されたかを音声で確認することが
できるため、その確認のために視線を動かす必要がな
く、より快適に運転を行うことができる。例えば、手が
左右に振られたことが認識された場合には、コールバッ
ク手段により「左右の振りが認識されました」のように
音声が出力される。

【００１６】更に、前記目的を達成するために、本発明
は、スピーカ；前記車載用機器操作手段による操作前
に、該操作内容を示す音声を前記スピーカから出力する
コールバック手段；を備えたことを特徴とする。本発明
によれば、利用者は、車載用機器が操作される前に車載
用機器がどのように操作されるかを音声で確認すること
ができる。このため、その確認のために視線を動かす必
要がなく、より快適に運転を行うことができる。例え
ば、「ナビゲーション装置の電源を切ります」のように
音声が出力される。

【００１７】更に、前記目的を達成するために、本発明
は、画像表示装置；前記認識手段が認識可能な人体の一
部の動きを示す画像を前記画像表示装置に表示する表示
手段；を備えたことを特徴とする。本発明によれば、車
載用機器の特定の操作を行うためにはどのように手を動
かせばよいかが明瞭になる。表示手段が表示する画像と
しては、例えば、車載用機器がエアコンである場合、手
を左方向に移動すれば温度が下がり、右方向に移動すれ
ば逆に温度が上がることを示す画像などである。この画
像は、テキストのみの表示であってもよいし、テキスト
と併せて右向きの矢印・左向きの矢印の画像を表示して
もよい。

【００１８】本発明の前記及び他の目的，特徴，利点
は、以下の詳細な説明及び添付図面から明瞭になろう。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態につい
て詳細に説明する。図１には、一形態の構成が示されて
いる。まず、情報入力装置１０側から説明すると、撮像
手段であるカメラ１１の出力側は、画像処理部１２に接
続されている。画像処理部１２の出力側は、画像認識部
１４及び位置測定部１６にそれぞれ接続されており、こ
れら画像認識部１４及び位置測定部１６の出力側は、ス
タンバイ判定部１８及び入力判定部２０にそれぞれ接続
されている。スタンバイ判定部１８，入力判定部２０に
は、それぞれ判定用の情報が格納されたメモリ１８Ｍ，
２０Ｍが設けられている。

【００２０】スタンバイ判定部１８及び入力判定部２０
の出力側は、適宜のインターフェース２２，２４を介し
て、ナビゲーション装置３０側のメインコンピュータ３
２にそれぞれ接続されている。車載用機器としてのナビ
ゲーション装置３０には、表示処理を行う表示部３４，
音声処理を行う音声部３６，ナビゲータ用のナビゲーシ
ョン機器３８を備えている。そして、表示部３４は、タ
ッチパネルを有する表示手段としてのディスプレイ３４
Ａを備えており、音声部３６は、音声出力手段としての
スピーカ３６Ａを備えている。メインコンピュータ３２
は、それらの装置を駆動制御するための表示制御部３２
Ａ，音声制御部３２Ｂ，ナビゲーション制御部３２Ｃを
機能的に備えている。

【００２１】以上の各部のうち、カメラ１１は、例えば
図２に示すように自動車４０のダッシュボード下側位置
に設けられており、自動車４０の天井４２が視野となる
ように撮像範囲が設定されている。後述するように、本
形態では、ドライバの手の形状や動き（ジェスチャ）が
カメラ１１によって撮像される。このとき、手の背景が
天井４２となるように設定することで、不要な画像の映
り込みを低減することができる。

【００２２】画像処理部１２は、カメラ１１によって撮
像された映像から背景を除去して、手の映像部分を取り
出す処理を行うためのものである。画像認識部１４は、
ドライバの手の画像を認識するためのものである。例え
ば、テンプレートによるパターン認識によって手の形
状，手が開いているとか、手を握っているといった形状
が認識される。位置測定部１６は、例えば、画像の重心
から所定空間内における画像の位置を検出するためのも
のである。

【００２３】手の動きのパターン化は、例えば次のよう
に行う。手の動きを、位置測定部１６によってある時間
間隔で検出することにより、連続する座標値で表し、図
示しないメモリに記憶する。この連続する座標値と、図
示しないメモリに記憶された特定の変化パターンとその
変化パターンを示す代表的な座標値（連続する座標値の
うちの代表的ないくつかの座標値）を対応づけたテーブ
ルと、を比較することにより、認識手段としての画像認
識部１４が特定の変化パターンを認識する。

【００２４】スタンバイ判定部１８は、画像認識部１４
において認識された手の形状情報と、位置測定部１６で
測定された位置情報とに基づいて、予め設定した仮想空
間内で手が所定の形状であるかあるいは所定の変化をし
たかを判定するためのものである。判定に必要な手の形
状情報や位置情報は、予め設定されてメモリ１８Ｍに格
納されている。例えば、手の所定の変化は、予め設定さ
れた変化パターンをテーブル化し、このテーブルとパタ
ーンを照合することで判定される。仮想空間５０は、図
３に示すように、カメラ１１の撮像範囲内に仮想的に設
定されている。この仮想空間５０内に手５２があるかど
うかの判定を行って、情報入力装置１０は入力可能なス
タンバイ状態となる。

【００２５】入力判定部２０は、画像認識部１４におい
て認識された手の画像情報と、位置測定部１６で測定さ
れた位置情報とに基づいて、入力情報の判定を行うため
のものである。判定に必要な手の形状や位置の情報は、
予め設定されて記憶手段としてのメモリ２０Ｍに格納さ
れている。具体的には、後述する図５（Ｂ）に示すよう
に、上述した仮想空間５０のメニュー領域５０Ａ内に、
図１０（Ａ）の「探す」，「見る」，「覚える」，「変
える」の４つのメニュー空間ＭＡ〜ＭＤが仮想的に設定
されている。そして、これらのいずれかのメニュー空間
を手で掴んで作業領域５０Ｂに移動するという手の形状
と位置の変化から、いずれのメニューが入力されたかが
判定される。

【００２６】なお、前記メモリ２０Ｍに、特定の変化パ
ターンとナビゲーション装置３０の操作情報とを対応づ
けて記憶させておけば、入力判定部２０は、画像認識部
１４によって認識された特定の変化パターンに基づいて
該変化パターンに対応する操作情報をメモリ２０Ｍから
読み出すことができる。読み出された操作情報は、メイ
ンコンピュータ３２に送出され、この操作情報に基づい
てナビゲーション装置３０が操作される。

【００２７】次に、ナビゲーション装置３０のメインコ
ンピュータ３２は、ナビゲーション装置３０全体の動作
を制御するためのものである。ナビゲーション装置３０
の主要な装置であるタッチパネルを有するディスプレイ
３４Ａは、地図，テレビ，ビデオソフト，メニューなど
を表示するためのものである。スピーカ３６Ａは、ボイ
スナビゲーション，ラジオやＣＤの再生などを行うため
のものである。ナビゲーション機器３８は、ＧＰＳ受信
機や地図情報が格納されたディスクなどのドライブ装置
などを含んでおり、現在位置付近の道路表示や目的地ま
でのルート探索，音声誘導，ＶＩＣＳ情報の表示などを
行う。これらの各部は、メインコンピュータ３２の各制
御部３２Ａ〜３２Ｃによって動作が制御されている。

【００２８】次に、本形態の動作を説明する。図４には
動作の主要手順がフローチャートとして示されており、
図５，図６，図８には主要動作における手の動きが示さ
れている。また、以下に説明する動作は、ドライバが運
転中であり、情報入力装置１０及びナビゲーション装置
３０が動作中であるとする。

【００２９】最初、情報入力装置１０はリセット状態Ｓ
Ａにあり、カメラ１１は撮像状態にある。ここで、例え
ばナビゲーション装置３０で実行中の動作を変更するな
どの情報入力を行いたいときは、ドライバは、図３に示
したように、仮想空間５０の範囲に入るように手５２を
挙げる。これを正面から見ると、図５（Ａ）に示すよう
にドライバ５４が左手５２を挙げた状態となる。そし
て、ドライバ５４は、手５２を予め定めた形状とする
か、もしくは予め定めた形状変化を行う。例えば、手を
閉じた状態から手を開いた状態とするという具合であ
る。

【００３０】このような手の形状や変化はカメラ１１で
撮像され（図３ステップＳＢ）、画像処理部１２による
処理の後、画像認識部１４でその形状や変化が認識され
る。また、位置測定部１６では、仮想空間５０内におけ
る手５２の位置Ｘ，Ｙが測定される（ステップＳＢ）。
これらの画像認識結果や位置測定結果は、スタンバイ判
定部１８に供給される。スタンバイ判定部１８では、メ
モリ１８Ｍに格納されているデータを利用して、手５２
が仮想空間５０内で所定の形状や変化をしたかどうかが
判定される。その結果、所定形状等に該当したときは
（ステップＳＣのＹ）、続いて情報入力装置１０による
情報入力が行われるものと判断し、その旨をナビゲーシ
ョン装置３０のメインコンピュータ３２に出力する。メ
インコンピュータ３２では、その入力に従って、スタン
バイ状態にあることを音声で知らせる（ステップＳ
Ｄ）。すなわち、音声制御部３２Ｂによってスピーカ３
６Ａが駆動され、例えば「スタンバイＯＫです」あるい
は「入力可能です」というコールバックが行われる。な
お、適当な音でコールバックするようにしてもよい。

【００３１】このようなコールバックにより、ドライバ
５４は、何らディスプレイ３４Ａを見ることなく、自分
の手５２の動きをナビゲーション装置３０側が認識した
ことを知ることができる。なお、このとき、手５２の形
状や位置を、ディスプレイ３４Ａ上に表示するようにし
てもよい。このようにすると、例えば助手席の同乗者に
ドライバによる入力が行われることを知らせることがで
きるし、信号停止中であればドライバ自身がスタンバイ
の確認を行うために利用できる。また、画像認識部１４
が認識可能な手の動きを示す画像をディスプレイ３４Ａ
に表示するようにしてもよい。

【００３２】このようなスタンバイ状態で、ドライバ５
４は、図５（Ｂ）に示すように、仮想空間５０内に仮想
的に設定されているメニュー領域５０Ａのメニュー空間
ＭＡ〜ＭＤのうちのいずれか選択したいものを手５２で
掴む。なお、図５（Ｂ）には、メニューが便宜的に示さ
れているが、実際は単なる空間であり、ドライバ５４は
空間を掴むことになる。この動作における手５２の形状
や変化は、同様にカメラ１１で撮像され、画像処理部１
２による処理の後、画像認識部１４で認識される（ステ
ップＳＥ）。認識された手の形状等は、メインコンピュ
ータ３２の制御によって今度は入力判定部２０側に供給
される。入力判定部２０では、メモリ２０Ｍに格納され
ているデータを利用して、手５２がいずれのメニュー空
間を掴んだかが判定される。

【００３３】その結果、掴んだメニューが判定されたと
きは（ステップＳＦ）、その旨がナビゲーション装置３
０のメインコンピュータ３２に出力される。メインコン
ピュータ３２は、その入力に従って、掴んだメニューを
音声で知らせる（ステップＳＧ）。例えば「『探す』が
選択されました」というコールバックが行われる。ドラ
イバ５４は、このコールバックで自分が選択したメニュ
ーを確認することができる。

【００３４】そして、選択したメニューがよければ、確
認動作として手５２をメニュー領域５０Ａから作業領域
５０Ｂに移動する。これが入力判定部２０で判定される
と（ステップＳＨのＹ）、メインコンピュータ３２にそ
のメニューのコマンドが入力される（ステップＳＩ）。
このような確認動作によって、ドライバ５４は該当する
メニューを選択したという意志を装置側に伝えることが
できる。なお、もしコールバックされたメニューが異な
っているときは、確認動作をすることなく（ステップＳ
ＨのＮ）、いずれかのメニュー空間を再度手５２で掴む
動作を繰り返す。以上のようにして、「探す」，「見
る」，「覚える」，「変える」の４つのメニューのうち
の一つが選択される。

【００３５】ところで、図１０（Ｂ）に示したように、
「探す」というメニューは階層構造となっており、更に
下位のメニューが存在する。ドライバ５４は、それらの
中から更に必要なものを選択する。このときの動作は、
例えば図６に示すように行われる。まず、図６（Ａ）で
は、図５（Ｂ）で「探す」のメニュー空間ＭＡを掴んで
結んだ手５２を左右方向に振るもしくは移動すること
で、第１階層メニュー１〜４のいずれかを選択する。手
５２の左右方向の位置に応じて、該当する第１階層メニ
ューがコールバックされるので、ドライバ５４は、それ
を聞いて必要なメニューを選択する。すなわち、手５２
を左右方向に振るもしくは移動すると、該当する位置の
メニューアイコンがアクティブになるというような感じ
である。なお、メニュー選択の確認は、例えば、該当す
るメニューのコールバックを聞いた後に手を一度開いて
閉じるというような動作で行なわれる。

【００３６】図６（Ｂ）は、手を上下方向に移動するこ
とで第２階層メニューのいずれかを選択するようにした
例である。例えば、第１階層メニューとしてメニュー１
が選択されたとする。このメニュー１には、図１０
（Ｂ）に示したように更にメニュー１１〜１４が第２階
層として存在する。そこで、ドライバ５４は、手５２を
上下方向に移動して、必要な第２階層メニューを選択す
る。手５２の上下方向の位置に応じて、該当する第２階
層メニューがコールバックされるので、ドライバ５４
は、それを聞いて必要なメニューを選択する。すなわ
ち、手５２を上下方向に振るもしくは移動すると、該当
する位置のメニューアイコンがアクティブになるという
ような感じである。メニュー選択の確認は、前記第１階
層の場合と同様である。

【００３７】以上の動作を繰り返し行うことで、ドライ
バ５４は希望するメニューを選択することができる。そ
して、最下位のメニューが選択された時点でそのメニュ
ーに該当するコマンドが実行される。図４に示す動作
は、ドライバ５４の入力が全て終了するか（ステップＳ
ＪのＹ）、ドライバ５４が終了コマンドを入力した場合
に終了する。終了コマンドとしては、例えば、仮想空間
５０内で手を開いて振るなどである。その後、ドライバ
５４が手５２をハンドルなどの位置に戻し、ドライバ５
４の手５２が仮想空間５０から外に出て仮想空間内に手
がないことが入力判定部２０で判定されたときは、情報
入力装置１０は再び入力待ちのリセット状態となる（ス
テップＳＡ）。すなわち、スタンバイ前の状態に戻る。

【００３８】本形態によれば、次のような効果がある。（１）仮想空間内で手を動かすだけでよく、タッチパネ
ルなどを見たり触れたりすることなく、非接触で情報の
入力操作を行うことができる。また、運転姿勢を維持し
つつ、情報の入力操作を行うことができる。（２）入力された情報がコールバックされるので、入力
情報の確認を簡便に行うことができ、操作性がよい。（３）入力情報の確認動作を行っているので、誤ったコ
マンドが実行されるなどの不都合が回避できる。（４）例えば，メニュー空間を掴むことでメニューを選
択する，作業を終了するときは手を開いて振るなど、日
常的な手の動きの感覚と入力動作の感覚が近似するよう
に設定されている。従って、特別な手の動きを行うこと
なく情報入力が可能である。（５）手の背景が自動車の天井となるようにカメラをセ
ットすることで、不要な画像の映り込みを低減すること
ができる。

【００３９】次に、本発明の他の形態について説明す
る。前記形態では、イメージセンサとして１台のカメラ
を使用しており、仮想空間５０内における２次元方向，
すなわち図３に示すＸ，Ｙ方向の手の位置を測定した。
しかし、以下の形態では、図７に示すように、２台のカ
メラ１１Ａ，１１Ｂを使用し、これらによってＸ，Ｙ，
Ｚの３次元方向で手の位置を測定する構成となってい
る。２台のカメラによる３次元座標Ｘ，Ｙ，Ｚの測定
は、例えば三角測量の原理で可能である。なお、カメラ
１１Ａ，１１Ｂのいずれも、図２に示したように自動車
４０の天井４２が背景として写るように撮像視野を設定
することで、同様に不要な画像の映り込みを低減するこ
とができる。

【００４０】本形態における動作は、基本的には上述し
た形態と同様である。しかし、位置測定部１６におい
て、Ｘ，Ｙ，Ｚの３方向の位置が測定される。このた
め、スタンバイ判定部１８や入力判定部２０では、Ｚ方
向も考慮した判定が行われる。すなわち、スタンバイ判
定部１８では、Ｚ方向に広がった仮想空間６０に基づい
てスタンバイの判定が行なわれる。入力判定部２０で
は、Ｚ方向における手５２の形や変化も考慮した入力判
定が行われる。

【００４１】上述した図１０（Ｂ）の例によれば、第１
階層メニュー１の下位には更に第２階層メニュー１１〜
１４があり、第２階層メニュー１１の下位には更に第３
階層メニュー１１１〜１１４がある。このような階層構
造において、階層の上下間を素早く移動したいとき、例
えば「探す」のメニュー選択後からメニュー１１１まで
速やかに移動したいときに、本形態は好都合である。

【００４２】図８には、そのような階層間の移動の例が
示されており、同図（Ａ）のように手５２をＺ方向に移
動することで、上下の階層間で移動が行われる。例え
ば、手５２が最もカメラ１１Ａ側にあるときは第１階層
メニュー１〜４が選択可能であり、この状態から手５２
を後ろ側に引くと第２階層メニュー１１〜１４が選択可
能であり、更に手を後ろ側に引くと第３階層メニュー１
１１〜１１４が選択可能という具合である。上位の階層
のメニューの引き出しに下位の階層のメニューが存在す
るような感じである。なお、各階層におけるメニューの
選択は、例えば図６（Ｂ）に示したような手５２の上下
方向の移動で行えばよい。ドライバが予めメニュー階層
を熟知しているような場合には、このような階層間の移
動を行うことで、速やかなメニューの選択が可能であ
る。

【００４３】本発明には数多くの実施形態があり、以上
の開示に基づいて多様に改変することが可能である。例
えば、次のようなものも含まれる。

【００４４】（１）前記形態では、手で掴む，手を開く
などの動きの例を説明したが、入力するための形状や変
化は、必要に応じて適宜設定してよい。例えば、握った
状態から指を１本立てるとメニュー１，２本立てるとメ
ニュー２，……などのように、指の形状や動きにも対応
させる，手の開き具合，開いた手の回転などのように、
撮像される手の面積の大きさとメニューを対応させる，
などである。

【００４５】（２）前記形態では、メニューを選択して
結果的に該当する動作を実行することとしたが、手の形
状や動きを所定のコマンドに直接対応付けることで、コ
マンドを直接入力するようにしてもよい。例えば、入力
の途中キャンセルなどは、直接コマンド入力できるよう
にしておくと好都合である。図９には、手の形状や動き
に基づいて直接対応する動作が実行される例が示されて
いる。まず、同図（Ａ）の例は、手の開閉を、メニュー
ウインドウの開閉に対応させたものである。手５２を開
くことでメニューＭＥが開いている。他に、エアコンや
ラジオなどの車載用機器のＯＮ／ＯＦＦなどに対応させ
てもよい。同図（Ｂ）の例は、手５２のＸ，Ｙ方向の動
きを、ディスプレイ３４Ａ上における地図のスクロール
に対応させたものである。同図（Ｃ）は、手５２のＺ方
向の動きを、ディスプレイ３４Ａ上における地図の縮尺
変更に対応させたものである。この例は、ラジオやＣＤ
再生の音量変更などにも適用可能である。

【００４６】（３）情報入力装置側の機能を、ナビゲー
ション装置側に含めるようにしてもよい。例えば、画像
認識，位置測定，スタンバイ及び入力の判定をメインコ
ンピュータで行うという具合である。

【００４７】

【発明の効果】以上説明したように、本発明によれば、
次のような効果がある。（１）ディスプレイを見たり、スイッチに触れることな
く、非接触で運転姿勢を維持しつつ情報入力が可能であ
り、運転の快適性が向上する。（２）入力された情報をコールバックすることで、入力
情報の確認を簡便に行うことができ、操作性がよい。

【図面の簡単な説明】

【図１】本発明の一形態における情報入力装置の構成を
示すブロック図である。

【図２】前記装置におけるカメラの配置例を示す図であ
る。

【図３】前記形態における情報入力の仮想空間を示す図
である。

【図４】前記形態における情報入力の手順を示すフロー
チャートである。

【図５】前記形態におけるドライバの手の動きを示す図
である。

【図６】前記形態における他のドライバの手の動きを示
す図である。

【図７】他の形態における情報入力の仮想空間を示す図
である。

【図８】他の形態におけるドライバの手の動きを示す図
である。

【図９】更に他の形態におけるドライバの手の動きを示
す図である。

【図１０】メニューとその階層構造の例を示す図であ
る。

【符号の説明】

１０…情報入力装置１１，１１Ａ，１１Ｂ…カメラ１２… 画像処理部１４… 画像認識部１６… 位置測定部１８…スタンバイ判定部１８Ｍ，２０Ｍ…メモリ２０…入力判定部２２，２４…インターフェース３０…ナビゲーション装置３２Ａ…表示制御部３２Ｂ…音声制御部３２Ｃ…ナビゲーション制御部３２…メインコンピュータ３４…表示部３４Ａ…タッチパネルを有するディスプレイ３６…音声部３６Ａ…スピーカ３８…ナビゲーション機器４０…自動車４２…天井５０，６０…仮想空間５０Ａ…メニュー領域５０Ｂ…作業領域５２…手５４…ドライバＭＡ〜ＭＤ…メニュー空間ＭＥ…メニューＭＮ１〜ＭＮ４…メインメニュー

───────────────────────────────────────────────────── フロントページの続き (72)発明者横山昭二東京都千代田区外神田２丁目19番12号株式会社エクォス・リサーチ内Ｆターム(参考） 5H180 AA01 BB13 CC04 FF03 FF13 FF22 FF25 FF27 FF32 FF33

Claims

【特許請求の範囲】

【請求項１】車載用機器に対して情報の入力を行う情
報入力装置において、人体の一部を撮像する撮像手段；これによって撮像され
た画像から、対象物の形状，動き，もしくは位置の少な
くとも一つを把握して、情報入力のスタンバイ状態を判
定するスタンバイ判定手段；これによってスタンバイ状
態であると判定された後に、前記撮像手段によって撮像
された画像から、対象物の形状，動き，もしくは位置の
少なくとも一つを把握して、入力情報を判定する入力判
定手段；前記スタンバイ判定手段及び入力判定手段によ
る判定結果をコールバックするコールバック手段；を備
えたことを特徴とする情報入力装置。
【請求項２】前記撮像の対象物は人体の手であり、前
記撮像手段は予め設定された仮想空間内で対象物を撮像
することを特徴とする請求項１記載の情報入力装置。
【請求項３】前記対称物の位置は、前記仮想空間内に
おける２次元もしくは３次元の座標位置であることを特
徴とする請求項２記載の情報入力装置。
【請求項４】前記撮像手段は、自動車の天井が背景と
なるように撮像を行うことを特徴とする請求項１記載の
情報入力装置。
【請求項５】前記コールバック手段による前記入力判
定手段の判定結果によるコールバック後に、前記入力判
定手段によって入力確認の判定を行うことを特徴とする
請求項１記載の情報入力装置。