JP3903968B2

JP3903968B2 - 非接触式情報入力装置

Info

Publication number: JP3903968B2
Application number: JP2003282380A
Authority: JP
Inventors: 最実太田; 正樹廣田; 正文辻; 誠岩島; 裕一猪狩
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-07-30
Filing date: 2003-07-30
Publication date: 2007-04-11
Anticipated expiration: 2023-07-30
Also published as: JP2005050177A; US20050025345A1

Description

本発明は、機器操作等に関する情報を非接触で入力する装置に関する。

近年、自動車の中には、カーナビゲーションを始め、オーディオ装置、ＴＶ、ビデオ装置、携帯電話、エアコンなど数多くの情報機器、電装機器が搭載されるようになっている。車内で電話をかけるだけでなく、電子メールの読み書き、インターネットへのアクセスさえ可能である。この傾向は今後もますます進み、自動料金収受システムや安全走行支援システムなども導入され、車はまさに走るコンピュータになろうとしている状況である。
また、それらの様々な機器の操作を行うために、現在は例としてカーオーディオ用の操作ボタン、エアコン用の操作ボタン、カーナビゲーション用の操作ボタンあるいはリモートコントロール等の種々のボタンやスイッチ等があり、それぞれを使って操作を行うという状況が一般的である。このように、車載機器の種類が増えていく中で、運転者が行う操作の種類は飛躍的に増大している。特にカーナビゲーションの登場によって、操作の種類は大幅に増えたと言って良い。
運転中の車載機器の操作は前方不注意につながるため、前方を見たまま車載機器の操作を行うことが出来るようにすることが望ましい。そのため、例えば下記特許文献１においては、手の形状（指の形など）や手の動きを検知するカメラと、手の形状、手の動きそれぞれに対応した操作モードを用意した操作入力装置を用い、前記カメラを用いて検出した手の形状や手の動きを検出、判別して、非接触の操作入力スイッチとして用いることにより、前方を見たまま操作を可能にしている。
また、上記の従来例では、エアコンやラジオなどのＯＮ／ＯＦＦといった操作機器モードの切り替えスイッチとしての入力に加えて、エアコンの温度やオーディオのボリュームなどのパラメータの調整を、手振りを以って行うことで可能としている。

特開２００１−２１６０６９号公報

しかしながら前述のような装置を使用する場合、操作モードの選択の数や、パラメータ調整の数が増えるに従い、それぞれに対応した手の形状や手の動き（手振り）が増えることとなる。そのため、画像処理を用いた認識では処理が複雑になることに加えて、誤りが発生しやすくなるという問題があった。さらに画像処理が複雑になればなるほど処理に要する時間が長くなるので、結果として手の動きに追随できなくなるという問題があった。

本発明は上記の問題を解決するためになされたものであり、使用者の手の形状で示された情報を、簡単な画像処理で容易、かつ確実に入力することの出来る非接触式情報入力装置を提供することを目的とする。

本発明においては、撮像手段で使用者の手を検出し、手の形状から操作モードを選択し、かつ、手が最初に検出された際における距離を基準距離とし、その基準距離からの距離の変化量または変化割合を検出し、調整すべきパラメータについては、基準距離からの距離の変化量または変化割合に応じてパラメータ値の調整を行うように構成している。

選択した操作モードにおいて調整可能なパラメータの値を、基準距離からの距離の変化量または変化割合に応じて調整するように構成したことにより、使用者が手の距離を変えることでパラメータを調整することが出来るので、画像処理の負担を軽減して容易、かつ確実にパラメータを調整することができる、という効果がある。

（実施例１）
図１は、実施例１を示すブロック図であり、本発明による非接触式情報入力装置を車載機器の非接触式情報入力装置として用いた場合の構成を説明する図である。
図１において、１は赤外線カメラ、２は赤外線カメラに向かって提示された手の形状を検出する手形状検出部、３は赤外線カメラに向かって提示された手と赤外線カメラ１との距離を検出する距離検出部、４は手形状検出部２の検出結果に従い車載機器の操作モードを選択実行する操作モード選択部、５は操作モード選択部４で選択された操作の中で、変更可能なパラメータを距離検出部２の検出結果に従って調整するパラメータ調整部である。６ａは操作モード選択部４にて選択実行された操作モードを使用者に報知する操作モード報知部、６ｂはパラメータ調整部５にて調整されたパラメータの値を使用者に報知するパラメータ報知部である。７はパラメータ調整部５にて調整されたパラメータを確定して実行し、操作終了とするパラメータ調整実行部である。

図２は赤外線カメラ１により、提示した手８が撮像される様子を説明した図である。
図２において、赤外線カメラ１によって撮像される撮像範囲Ａ中に手８を提示する。手形状検出部２によって手形状が検出され、同時に距離検出部３によって手８と赤外線カメラ１との距離Ｌを検出する。次に操作モード選択部４によって手の形状を判別して操作モードを選択した後、手８の位置を動かして距離Ｌを変えることによって調整可能なパラメータを調整する。例えば手を近づかせればパラメータを大きく、手を遠ざければパラメータを小さく変化させるように調整する。そしてパラメータ調整後、確定を示す所定の手形状（例えば指で丸印を作る）を検知することを以ってパラメータを確定、実行とする。所定の手形状が検知されなければパラメータ調整を実行せず、パラメータ調整前のパラメータ値へと戻る。なお、所定領域（撮像範囲Ａ）の範囲外へ手８を移動させたことを検知したことを以ってパラメータを確定、実行としてもよい。

上記操作モード選択部４による手の形状の判別は通常の画像処理を用いて行う。また、手の形状や距離を検出するセンサとしては、上記の赤外線カメラ以外に可視光のカメラを用いることも可能であるが、下記の理由によって赤外線カメラの方が適している。すなわり、車載機器への応用を考えた場合、車内は昼間明るく夜は暗いので、外光状態の変動が大きい。そのため可視光カメラで得られる画像は大きく変動してしまうので、検出精度が低下してしまうという問題がある。そのため、外乱を受けにくい赤外線を検出するカメラが適している。特に遠赤外線を検出する赤外線カメラは熱を発する対象物（つまり手）のみを画像として捕らえるため、赤外線カメラの前にかざした手のみを抽出できる。

次に、操作モード選択部４において検出した手の形状と車載機器の操作モードとの対応について説明する。
図３は、手の形状と操作モードとの対応の一例を示す図である。
手形状とは、例えば「グー」「チョキ」「パー」といった「じゃんけん」で提示するような手の形状や、「５本の指の中どの指を伸ばすか」、「人差し指と親指で丸を作る」など手によって表現されるさまざまな形のことを意味する。図３においては、エアコン風量を調整する場合にはａの形状（指１本）を、エアコン温度を調整する場合にはｂの形状（指２本）を、オーディオの音量を調整する場合にはｃの形状（指５本）を提示することで操作モードを選択する。また、パラメータ調整実行部７において、調整されたパラメータ調整を確定、実行する場合の「確定」を示す所定の手形状としては、ｄに示すような手形状（指で丸を作る）を提示する。この形状を判別した場合にはパラメータ調整を確定、実行とする。

次に、距離検出部３およびパラメータ調整部５についての詳細を説明する。
図４は赤外線カメラ１と手８との位置関係を示す図、図５は距離検出部３の内容を示すブロック図である。
赤外線カメラ１が遠赤外線を検知する場合、遠赤外線は撮像範囲の温度分布を撮像することになる。図４に示すように、手８を赤外線カメラ１の前にかざすと、手８の表面の温度に対応した遠赤外線が放射され赤外線カメラ１に入射する。そのため近ければ近いほど赤外線カメラ１への入射光量が増え、遠くなるほど入射光量は少なくなる。入射光量は手と赤外線カメラ１との距離の２乗に反比例することが判っている。

図４において、手形状検出部２にて手形状が検出された場合において、赤外線カメラ１と手８との距離をＬとし、この時の手の位置を原点２１とする。そしてこの時の入射光量を、基準入射光量検出部２２にて検出し、その値を基準光量Ｉ(０）とする。原点２１から赤外線カメラ１に対して距離ｘだけ近づくと、入射光量Ｉ(ｘ）は
Ｉ(ｘ)＝Ｉ(０)×Ｌ^２／(Ｌ−ｘ)^２
となる。

入射光量の変化量算出部２３においては、基準光量Ｉ(０)からの変化量Ｉ(ｘ)−Ｉ(０)を下記（数１）式で求める。

位置変化算出部２４では、上記のＩ(ｘ)−Ｉ(０)の値から距離ｘの変化量を求める。距離ｘが正に大きく（基準位置よりも近く）なればパラメータ値を大きく、距離ｘが負に大きく（基準位置よりも遠く）なればパラメータ値を小さくさせるように対応づけすることでパラメータ値の調整を行う。なお、距離ｘは基準位置（原点２１）よりも近づいたか遠ざかったかの相対値で良く、絶対的な距離値は必要としない。すなわち、基準位置における距離（つまり基準距離）との変化量もしくは変化割合を検出すればよい。

次に、操作モード報知部６ａ、パラメータ値報知部６ｂにおける操作した内容を使用者に報知する機能について説明する。操作モード報知部６ａ、パラメータ値報知部６ｂにおいては、例えば音声や音などの音響信号によって操作内容を使用者に報知する。
例えば図３ａに示した手形状を示すことによって「エアコン風量」操作を選択した場合には、操作モード報知部６ａが「エアコン風量」と発声して使用者に報知し、エアコン風量の調整モードに切り替わる。そして手８と赤外線カメラ１との距離を変化させることでエアコン風量が随時変わり、使用者がエアコン風量を感知しながら手を動かすことで「エアコン風量」のパラメータ、つまり風量を変化させることが出来る。これにより使用者の意図するエアコン風量に調節できる。

また、図３ｂに示した手形状を示すことによって「エアコン温度」を選択した場合には、操作モード報知部６ａが「エアコン温度」と発声して使用者に報知し、エアコン温度の調整モードに切り替わる。エアコン温度の調節は、上記と同様に手８の位置を変化させることによって行うが、この場合には温度が直ちに変化するものではないので、温度の設定が０.５℃刻みで変化する毎にパラメータ値報知部６ｂが「ピッ」と音を出す。そしてパラメータの変化がなくなったら（つまり手を止めたら）最後に設定した温度、例えば「２５度」と発声して報知する。このように構成すればパラメータの値（この場合は設定温度）を確認することが出来る。上記のように音声や音の音響信号で報知することにより、使用者が視線をそらすことなく内容を確認することが出来る。

また、図３ｃに示した手形状を示すことによって「オーディオ音量」操作を選択した場合には、操作モード報知部６ａが「オーディオ音量」と発声して使用者に報知し、オーディオ音量の調整モードに切り替わる。オーディオ音量の調節は上記と同様に手８の位置を変化させることによって行うが、この場合には実際に音が大きくなるので使用者は意図する音量に調節することが出来る。

図６は、これまで説明した非接触式情報入力装置における動作時のフローチャートである。
図６において、ステップＳ０では、赤外線カメラ１によって撮像範囲Ａの領域の情報を取得する。ステップＳ１では手形状検出部２にて提示された手の形状を検出する。ステップＳ２では、検出した手の形状がａ、ｂ、ｃのいずれかであるかを操作モード選択部４にて判別し、いずれの手形状にも合致しなければ再びステップＳ０に戻る。

ステップＳ２で、いずれかの形状に合致すると判断（ＹＥＳ）した場合には、ステップＳ３で、操作モード報知部６ａによって操作モード内容を使用者に報知する。そしてステップＳ４では操作モードを変更し、ステップＳ５で再び画像取得を行う。
ステップＳ６では、ステップＳ５で取得した画像から、距離検出部２にて距離測定を行う。そしてステップＳ７ではパラメータ調整部５にてパラメータ値の調整を行い、ステップＳ８では、パラメータ報知部６ｂにてパラメータの値を使用者に報知する。

次に、ステップＳ９では再び手形状を検出し、ステップＳ１０では、検出した手形状が図３のｄ（確定を示す手形状）であるか否かを判断する。なお、撮像範囲Ａの外へ手８が移動したか否かを判断してもよい。
ステップＳ１０で、手形状がｄに合致（ＹＥＳ）するなら、ステップＳ１１でパラメータ調整操作を実行とする。また、ステップＳ１０にてｄの手形状と判断されなかった場合（Ｎｏ）にはステップＳ５に戻る。

また、ステップＳ１０にて所定の時間のあいだ「確定を示す手形状ｄ」が検出されなかった場合には、操作情報の入力ではなく誤操作（例えば単に手形状に似た手の形が偶然に撮像された場合など）と判断してステップＳ０へ戻る。

以上説明したように、赤外線カメラ１にて手８を検出し、操作選択モード部４において手８の形状から車載機器の操作モードを選択したときに、調整すべきパラメータがあった場合には、手８から赤外線カメラ１への入射光量Ｉ(ｘ)の値に基づき距離ｘを求め、パラメータ値の調整を行うことにより、複雑な画像処理を行わずに容易に、かつ確実にパラメータの調整を行うことができる。また、手から赤外線カメラに入射する光量は、手と赤外線カメラとの距離が近くなるほど大きく、遠くなると小さくなるので、距離検出手段で光量を検出することで、手と赤外線カメラとの距離を容易に算出することができる。

また、パラメータ調整中に使用者にパラメータの値を報知する手段を備えているので、使用者が随時操作中パラメータの値を確認することが可能であり、かつ、パラメータ調整実行部７にて所定の手形状を以ってパラメータ値の確定、実行を行うことで、確実に意図したパラメータの値へ調整することができる。そして選択された操作モードおよび調整されたパラメータの値を、音を用いて使用者に報知することにより、使用者が視線をそらすことなく内容を確認することが出来る。なお、使用者が車両の運転操作を行わない乗員である場合には、選択された操作モードおよび調整されたパラメータの値をディスプレイ等に表示して使用者に報知するように構成してもよい。

また、パラメータ調整の確定を所定の手形状を以って決定することから、使用者の意思を確実に反映し、かつ意図しない動作を防止できる。

なお、特許請求の範囲における撮像手段は上記赤外線カメラに、手形状検出手段は手形状検出部２に、操作モード選択手段は操作モード選択部４に、距離検出手段は距離検出部３に、パラメータ調整手段はパラメータ調整部５に、それぞれ相当する。また、撮像手段は赤外線カメラ（遠赤外線もしくは近赤外線）に限らず、可視光カメラでも良い。

（実施例２）
次に、本発明の第２の実施例について説明する。
第２の実施例では、距離検出部３として、撮像範囲Ａ中での撮像する手８の占める面積から赤外線カメラ１と手８との距離を算出するものである。その他の部分は図１と同様である。また、演算のフローチャートも実施例１と同じであるため説明を省く。

図７は、赤外線カメラ１によって撮像した手８の面積から距離を検出する距離検出部３の内容を示すブロック図である。また、図８は赤外線カメラ１と手８との位置関係を示す図、図９は手８の位置による撮像画像の変化を示す図である。

一般にカメラで撮像した対象は、カメラに近づけば近づくほど大きく映る。この性質を利用して撮像対象である手８の大きさの変化によって距離を求める。
図８に示すように、手の基準面積算出部３１では操作モード選択部４にて操作モードが決定した時における撮像エリアＡ中の手８の占める面積を基準面積Ａ(０)、その時の赤外線カメラ１と手８との距離をＬとし、またこの時の手の位置を原点２１とする。原点２１からｘだけ近づくと、手８の撮像範囲Ａに占める割合は、
Ａ(ｘ)＝Ａ(０)×Ｌ^２／(Ｌ−ｘ)^２
となる。撮像範囲Ａ中で手８の占める面積の変化量は、面積変化量算出部３２において求める。すなわち、基準面積Ａ(０)からの変化量Ａ(ｘ)−Ａ(０)は、下記（数２）式で求めることが出来る。

さらに位置変化算出部３５において、面積変化量算出部３２により求まったＡ(ｘ)−Ａ(０)の値からｘの変化量を求める。このようにして手の位置が基準距離Ｌより近づいたか遠ざかったかが検出できるので、調整すべきパラメータの値を距離ｘの変化量に従って調整する。

図９に示したように、手８が赤外線カメラ１に対して、原点２１の位置よりも近づいたときは画像中の手の面積が大きくなり、遠のいたときは面積が小さくなる。距離ｘが正に大きく（基準位置よりも近く）なればパラメータ値を大きく、距離ｘが負に大きく（基準位置よりも遠く）なればパラメータ値を小さくさせるように対応づけすることでパラメータ値の調整を行う。なお、距離ｘは基準位置（原点２１）よりも近づいたか遠ざかったかの相対値で良く、絶対的な距離値は必要としない。すなわち、基準位置における距離（つまり基準距離）との変化量もしくは変化割合を検出すればよい。

撮像範囲に占める手の画像の面積割合は、手と赤外線カメラとの距離が近くなるほど大きく、遠くなると小さくなるので、撮像した手の面積を計算することによって、手と赤外線カメラとの距離を容易に算出することができる。したがって、本実施例においては、撮像範囲に占める手の面積を求めることにより、手の面積からパラメータの値を簡単に調整することが出来る、という効果がある。

（実施例３）
次に、本発明の第３の実施例について説明する。
図１０は、本発明の第３の実施例の構成を示すブロック図である。
図１０において、赤外線カメラ１、手形状検出部２、操作モード選択部４、操作モード報知部６ａ、、パラメータ報知部６ｂ、パラメータ調整実行部７の構成および演算のフローチャートは前記実施例１と同一なので省略する。

本実施例では、静電容量センサを用いて赤外線カメラ１と手８との距離を算出する点が異なっている。
図１１に示すように、静電容量センサ４１を赤外線カメラ１の近傍に設置し、距離検出部３において手８による静電容量の変化を検出する。手８による静電容量は静電容量センサ４１と手８との距離に応じて変化するので、静電容量の変化に応じて赤外線カメラ１と手８との距離Ｌを検出する。この場合も前記実施例１、実施例２と同様に、操作モード選択部４にて操作モードが決定した時における手８の位置を基準位置とし、その時の赤外線カメラ１と手８との距離Ｌを基準距離とし、手８の位置が基準位置よりも近づいたか遠ざかったかに応じてパラメータ調整を行うことにより、精度のよいパラメータ調整が可能となる。

実施例３によれば、静電容量センサ４１により手８と静電容量センサ４１との距離を精度良く検知することができる。この静電容量センサ４１を赤外線カメラ１近傍に取り付けることにより、赤外線カメラ１と手８との距離を容易に測定することが出来る。この方法によってパラメータ調整時に手８を動かした時、距離の変化を検出することでパラメータ調整を行い精度のよいパラメータ調整が可能となる。

本発明の実施例１の構成を示すブロック図。赤外線カメラ１により、提示した手８が撮像される様子を説明した図。手の形状と操作モードとの対応の一例を示す図。赤外線カメラ１と手８との位置関係を示す図。距離検出部３の内容を示すブロック図。非接触式情報入力装置における動作時のフローチャート。本発明の実施例２における赤外線カメラ１によって撮像した手８の面積から距離を検出する距離検出部３の内容を示すブロック図。赤外線カメラ１と手８との位置関係を示す図。手８の位置による撮像画像の変化を示す図。本発明の実施例３の構成を示すブロック図。静電容量センサ４１と赤外線カメラ１および手８の位置関係を示す図。

符号の説明

１…赤外線カメラ２…手形状検出部
３…距離検出部４…操作モード選択部
５…パラメータ調整部６ａ…操作モード報知部
６ｂ…パラメータ報知部７…パラメータ調整実行部
８…手

Claims

使用者の手を含めた所定領域を撮像する撮像手段と、
前記撮像手段により得られた手の形状を認識する手形状検出手段と、
前記手形状検出手段の検出結果に基づいて、使用者が手の形状で指示した特定の操作を判別して選択する操作モード選択手段と、
手が最初に検出された際における距離を基準距離とし、その基準距離からの距離の変化量または変化割合を検出する距離検出手段と、
前記操作モード選択手段にて選択した操作モードにおける調整可能なパラメータの値を、前記距離検出手段によって検出した基準距離からの距離の変化量または変化割合に応じて調整するパラメータ調整手段と、
を備えたことを特徴とする非接触式情報入力装置。
請求項１に記載の非接触式情報入力装置において、
前記操作モード選択手段にて選択した操作モード、および前記パラメータ調整手段にて調整したパラメータの値を、音響信号または光学信号を用いて使用者に報知する報知手段を備えたことを特徴とする非接触式情報入力装置。
請求項１または請求項２に記載の非接触式情報入力装置において、
前記パラメータ調整手段におけるパラメータ調整値を「確定」する操作は、検出された手の形状が予め定められた所定の形状であることを判別した場合に「確定」と決定することを特徴とする非接触式情報入力装置。
請求項１または請求項２に記載の非接触式情報入力装置において、
前記パラメータ調整手段におけるパラメータ調整値を「確定」する操作は、前記撮像手段の撮像する所定領域の範囲外へ手を移動させたことを検出した場合に「確定」と決定することを特徴とする非接触式情報入力装置。
請求項１乃至請求項４の何れかに記載の非接触式情報入力装置において、
前記距離検出手段は、撮像手段と手との距離を、検出した手からの光量に基づいて算出することを特徴とする非接触式情報入力装置。
請求項１乃至請求項４の何れかに記載の非接触式情報入力装置において、
前記距離検出手段は、撮像手段と手との距離を、検出した手の面積に基づいて算出することを特徴とする非接触式情報入力装置。
請求項１乃至請求項４の何れかに記載の非接触式情報入力装置において、
前記距離検出手段は、撮像手段の近傍に静電容量センサを備え、前記静電容量センサにて検出した静電容量の変化に基づいて撮像手段と手との距離を算出する、ことを特徴とする非接触式情報入力装置。
前記撮像手段は赤外線カメラであることを特徴とする請求項１乃至請求項７の何れかに記載の非接触式情報入力装置。