JPH0981307A - 機器制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 操作入力時にユーザーに大きな負担がかか
る。 【解決手段】 機器３０の制御に係わる指令に対応した
キー表示を有するメニュー画面を記憶するメモリ部１４
と、当該メニュー画面を表示する表示部１７と、移動体
を撮像し、当該移動体に係わる撮像信号を得るカメラ部
１１と、当該撮像信号から移動体の画面領域を抽出する
移動体抽出部１２と、当該抽出された移動体領域を前記
メモリ部１４に記憶されたメニュー画面に重ね合わせる
画面合成部１５と、当該合成画面から当該移動体領域を
画像認識し、当該移動体の動作及び当該動作にて指定さ
れたキー表示を認識する動作認識部１３及び指令入力抽
出部１６と、当該認識されたキー表示に対応した指令に
係わる機器制御データを読み出し、当該読み出された機
器制御データに基づいて前記機器３０を制御する制御部
２０とを有している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば車載用機器
等の制御に係わる指令を入力する指令入力機能をを備え
た機器制御装置に関する。

【０００２】

【従来の技術】従来、このような機器制御装置として
は、例えばルームエアコンやカーオーディオといった車
載用機器等の機器制御を行うものがあげられ、通常、運
転者がその近傍に配置した前面パネルの各指令に対応し
た操作キーを直接触れて操作することにより、当該車載
用機器の制御を実現するようにしたものである。

【０００３】しかしながら、このような機器制御装置に
よれば、昨今、当該車載用機器の機能が複雑化して当該
機能に係わる各指令数が多くなってきたことに伴い、各
指令に対応した操作キーを増設しなければならず、しか
も、これら操作キーに対応したキースペースを確保する
ことは非常に困難であるといった事態が生じた。

【０００４】そこで、このような事態を打開するため
に、近年、タッチパネル機能を備えた機器制御装置が商
品化されている。

【０００５】当該タッチパネル機能を備えた機器制御装
置は、表示部の表示画面上に各指令に対応した疑似キー
を表示し、当該表示画面上の疑似キーに直接触れて操作
されることにより、当該疑似キーに対応した指令に基づ
いて当該車載用機器の制御を実現するようにしたもので
ある。

【０００６】当該タッチパネル機能を備えた機器制御装
置によれば、当該車載用機器の機能が複雑化して当該機
能に係わる各指令数が増えたとしても、当該表示画面上
の疑似キーの数を増やす、すなわち当該プログラム上で
のキー数を増やすだけで良く、前述したようなキースペ
ースを確保する必要性はない。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の機器制御装置によれば、ユーザーが当該表示画面上
に表示中の各指令に対応した疑似キーに直接触れて操作
するものであるが、当該操作時においてユーザーの姿勢
が崩れて、視線が逸れてしまい、強いては当該機器制御
装置を車載用に適用した場合には、当該操作時における
姿勢の崩れや視線の逸れが運転上に支障を来す虞があ
り、当該操作時においてユーザーに負担をかけてしまう
といった問題点があった。

【０００８】本発明は上記問題点に鑑みてなされたもの
であり、その目的とするところは、操作入力時にかかる
ユーザーへの負担を確実に解消することができる機器制
御装置を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に本発明における請求項１記載の機器制御装置は、機器
の制御に係わる指令に対応したキー表示を有するメニュ
ー画面を記憶する第１記憶手段と、当該キー表示に対応
した指令に係わる機器制御データを記憶する第２記憶手
段と、前記第１記憶手段に記憶されたメニュー画面を表
示する表示手段と、移動体を撮像し、当該移動体に係わ
る撮像信号を得る撮像手段と、当該撮像信号から移動体
領域を抽出する移動体抽出手段と、当該抽出された移動
体領域と前記第１記憶手段に記憶されたメニュー画面と
を合成して合成画面を生成する画面合成手段と、前記移
動体領域における移動体の動作及び当該動作により指定
されたキー表示を認識する移動体動作認識手段と、当該
認識されたキー表示に対応した指令に係わる機器制御デ
ータを前記第２記憶手段から読み出し、当該読み出され
た機器制御データに基づいて前記機器を制御する制御手
段とを有することを特徴とする。

【００１０】つまり、上記請求項１記載の機器制御装置
は、例えば車載用機器の制御に係わる指令を入力する指
令入力機能を備えた機器制御装置であり、当該入力操作
を実行する移動体、例えば人の手等を撮像する撮像手段
であるカメラ等を設け、当該カメラにて撮像された撮像
信号から移動体領域である手の画面領域を前記移動体抽
出手段にて抽出し、当該抽出された手の画面領域を前記
第１記憶手段に記憶されたメニュー画面上に前記画面合
成手段にて重ね合わせ、当該メニュー画面上の手の画面
領域、主に当該手の指先の画面領域を画像認識すること
により指先の動作及び当該動作により指定されたキー表
示を前記移動体動作認識手段にて認識し、当該認識され
たキー表示に対応した指令に係わる機器制御データを前
記第２記憶手段から読み出し、当該読み出された機器制
御データに基づいて当該車載用機器の制御を前記制御手
段にて行うようにした。

【００１１】また、前記指先の動作により指定されたキ
ー表示とは、当該メニュー画面上に指先の画面領域が重
ね合わせられた際の当該メニュー画面上における当該指
先の画面領域の位置に対応したキー表示である。

【００１２】従って、上記請求項１記載の機器制御装置
によれば、従来のようにタッチパネル機能の疑似キーや
操作キーに直接触れなくても、指先の動作、すなわちジ
ェスチャーを画像認識し、当該画像認識された指先のジ
ェスチャーにて当該機器制御に係わる指令を入力するよ
うにした、つまり、当該操作時における姿勢の崩れや視
線の逸れを起こすことなく指先のジェスチャーだけで所
望の指令を入力するようにしたので、当該入力操作時に
かかるユーザーへの負担を確実に解消することができ
る。

【００１３】また、上記請求項２記載の機器制御装置
は、前記制御手段が前記画面合成手段にて生成された合
成画面を前記表示手段に表示出力させることを特徴とす
る。

【００１４】従って、上記請求項２記載の機器制御装置
によれば、前記移動体動作認識手段にて認識された指先
及びメニュー画面を前記表示手段に合わせて表示させる
ようにしたので、ユーザーの指先がどの位置にあるのか
を当該表示手段の画面上にて認識することができる。

【００１５】また、上記請求項３記載の機器制御装置
は、請求項１又は２記載の制御手段が前記移動体動作認
識手段にて認識されたキー表示を当該表示手段に表示中
のメニュー画面上にて識別表示させることを特徴とす
る。

【００１６】従って、上記請求項３記載の機器制御装置
によれば、前記移動体動作認識手段にて認識されたキー
表示、すなわち前記指先の動作により指定されたキー表
示を他のキー表示とは異なるように、例えばマークや異
色等により識別表示させるようにしたので、当該指令指
定に係わる入力操作を効果的に認識することができる。

【００１７】

【発明の実施の形態】以下、図面に基づいて本発明の機
器制御装置における実施形態について説明する。図１は
本発明の機器制御装置の実施形態を示す車載用機器制御
装置の概略構成を示すブロック図である。

【００１８】図１において車載用機器制御装置１０は、
車載用機器３０を制御するものであり、移動体を撮像し
て撮像信号を得る撮像手段であるカメラ１１と、当該カ
メラ１１の撮像信号から移動体の画面領域（以下、単に
移動体領域と称する）を抽出する移動体抽出手段である
移動体抽出部１２と、当該移動体抽出部１２にて抽出さ
れた移動体領域が人の手の画面領域であるか否かを判別
すると共に、当該手における指先の動作を画像認識する
動作認識部１３と、前記車載用機器３０の制御に係わる
指令に対応したキー表示を有するメニュー画面を記憶す
る第１記憶手段であるメモリ部１４と、当該メモリ部１
４に記憶されたメニュー画面上に、前記移動体抽出部１
２により抽出された移動体領域を重ね合わせる画面合成
手段である画面合成部１５と、当該画面合成部１５にて
合成された合成画面から前記指の動作により指定された
キー表示を抽出する指令入力抽出部１６と、前記画面合
成部１５にて合成された合成画面を表示出力する表示手
段である表示部１７と、報知音を発生する報知音発生部
１８と、当該報知音を音声出力するスピーカ１９と、当
該機器制御装置１０全体を制御する制御手段である制御
部２０とを有している。尚、請求項１記載の移動体動作
認識手段は、前記動作認識部１３及び指令入力抽出部１
６に相当するものである。

【００１９】前記制御部２０の内部には、前記メニュー
画面上の各キー表示に対応した指令に係わる機器制御デ
ータが記憶されているものである。

【００２０】前記表示部１７は、例えば運転中において
も視線の動きが少ないヘッドアップディスプレイとす
る。

【００２１】では、次に当該車載用機器制御装置１０に
おける動作について説明する。図２は当該機器制御装置
１０の指令入力処理における制御部２０の処理動作を示
すフローチャートである。

【００２２】当該指令入力処理とは、人の手、主に指先
のジェスチャーを前記カメラ１１にて撮像し、当該撮像
された指先のジェスチャーを画像認識し、当該指先のジ
ェスチャーにより指定された合成画面上のキー表示に対
応した指令に係わる車載用機器３０の制御を実行する処
理である。つまり、当該指令入力処理とは、操作キーに
直接触れることなく、指先のジェスチャーだけで指令を
入力するものである。

【００２３】図１に示す制御部２０は、前記カメラ１１
から得られる撮像信号を入力し（ステップＳ１１）、後
述する図３に示す移動体抽出処理を実行する（ステップ
Ｓ１２）。尚、当該移動体抽出処理は、前記移動体抽出
部１２にて前記カメラ１１からの撮像信号から移動体領
域を抽出する処理である。

【００２４】ステップＳ１２の移動体抽出処理終了後、
当該撮像信号内にて移動体領域を抽出されたことを示す
移動体検出フラグ（以下、単に第１フラグと称する）が
“１”であるか否かを判定する（ステップＳ１３）。

【００２５】当該第１フラグが“１”であれば、当該抽
出された移動体領域が手の画面領域であり、かつ指先の
画面領域が検出されたことを示す指先検出フラグ（以
下、単に第２フラグと称する）が“１”であるか否かを
判定する（ステップＳ１４）。尚、前記移動体抽出部１
２は、撮像信号から図７（ａ）に示すように移動体領域
５０ａのみを抽出し、当該抽出された移動体領域５０ａ
を前記画面合成部１５及び動作認識部１３に夫々供給す
るものである。また、当該画面合成部１５は、当該移動
体領域５０ａを前記メモリ部１４に記憶した図７（ｂ）
に示すメニュー画面５０ｂ上に重ね合わせて合成画面と
して図７（ｃ）に示す画像内容を前記表示部１７に表示
出力するものである。当該表示部１７に表示中の画面上
においては、下から上へと移動体が順次に移動するので
あれば、重ねられる画像の下方から移動方向へと順次に
重ね合わせられていくものである。

【００２６】また、ステップＳ１４にて当該第２フラグ
が“１”であれば、当該指先の指閉じアクションを検出
したことを示す指閉じアクション検出フラグ（以下、単
に第３フラグと称する）が“１”であるか否かを判定す
る（ステップＳ１５）。

【００２７】当該第３フラグが“１”であれば、当該指
先の指開きアクションを検出したことを示す指開きアク
ション検出フラグ（以下、単に第４フラグと称する）が
“１”であるか否かを判定する（ステップＳ１６）。

【００２８】当該第４フラグが“１”であれば、前記画
面合成部１５にて合成された合成画面上、つまりメニュ
ー画面上に重ね合わせられた指先の位置に対応したキー
表示を前記指令入力抽出部１６を介して抽出し、当該抽
出されたキー表示に対応した指令に係わる機器制御デー
タを読み出し、当該読み出された機器制御データに基づ
いて各車載用機器３０を制御し（ステップＳ１７）、当
該指令入力に係わる監視動作が終了したか否かを判定す
る（ステップＳ１８）。尚、当該表示部１７にはキー表
示及び指先（手）も合わせて合成画面として表示されて
いる。

【００２９】また、ステップＳ１８にて当該監視動作が
終了したのであれば、当該指令入力処理を終了する。

【００３０】また、ステップＳ１３にて第１フラグが
“１”でなければ、ステップＳ１８に移行する。また、
ステップＳ１４にて第２フラグが“１”でなければ、後
述する図４に示す指の検出処理を実行し（ステップＳ１
９）、当該処理実行後にステップＳ１８に移行する。
尚、当該指の検出処理とは、前記動作認識部１３にて前
記移動体抽出処理により抽出された移動体領域が人の手
の画面領域であり、かつ当該手の指先の画面領域を検出
する処理である。

【００３１】また、ステップＳ１５にて第３フラグが
“１”でなければ、後述する図５に示す指閉じアクショ
ン検出処理を実行し（ステップＳ２０）、当該処理実行
後にステップＳ１８に移行する。尚、当該指閉じアクシ
ョン検出処理とは、前記動作認識部１３にて指先を閉じ
たアクション、すなわち当該メニュー画面上の指先によ
るキー表示指定の開始を促すアクションを検出する処理
である。

【００３２】また、ステップＳ１６にて第４フラグが
“１”でなければ、後述する図６に示す指開きアクショ
ン検出処理を実行し（ステップＳ２１）、当該処理実行
後にステップＳ１８に移行する。尚、当該指開きアクシ
ョン検出処理とは、前記動作認識部１３にて指先を開い
たアクション、すなわち当該メニュー画面上の指先によ
りキー表示を指定するアクションを検出する処理であ
る。

【００３３】また、ステップＳ１８にて当該指令入力処
理による監視動作を終了するのでなければ、ステップＳ
１１に移行する。

【００３４】尚、上記指令入力処理においてユーザー
は、まず最初に前記カメラ１１にて撮像された移動体が
人の手であることを認識させるために指先を開いたアク
ションを実行し、次に当該キー表示指定開始を促すため
に指先を閉じたアクションを実行し、次に当該キー表示
指定を行うために指先を開いたアクションを実行するも
のである。

【００３５】では、次にステップＳ１２の移動体抽出処
理について説明する。図３は当該移動体抽出処理におけ
る移動体抽出部１２の処理動作を示すフローチャートで
ある。

【００３６】図３に示す移動体抽出部１２においては、
前記カメラ１１から順次得られる撮像信号（画面）から
２枚のフレームデータを画素毎に差分をとるフレーム間
差分処理を実行し（ステップＳ３１）、当該フレーム間
差分処理より得られた差分データを２値化して当該撮像
信号内に移動体領域があるか否かを判別する移動体判別
処理を実行し（ステップＳ３２）、当該処理結果に基づ
いて移動体領域が当該撮像信号内にあるか否かを判定す
る（ステップＳ３３）。尚、ステップＳ３３における移
動体の画面領域の判別方法としては、前記２値化された
差分データの画素数が所定しきい値以上であるか否かを
判別基準とし、当該画素数が所定しきい値以上であれ
ば、当該撮像信号内に移動体領域があると判別するもの
である。

【００３７】ステップＳ３３にて当該撮像信号内に移動
体領域があれば、当該撮像信号内に移動体領域が検出さ
れたことを示す第１フラグを“１”にし（ステップＳ３
４）、前記差分データに基づいて当該撮像信号から移動
体領域を抽出する移動体抽出処理を実行する（ステップ
Ｓ３５）。尚、ステップＳ３５においては、エッジ抽出
処理を実行することにより当該撮像信号内から移動体領
域を抽出するものであるが、当該エッジ抽出は微分演算
により行うものである。

【００３８】また、ステップＳ３５の処理後、先に抽出
された移動体領域を今回抽出された移動体領域に更新す
る移動体更新処理を実行し（ステップＳ３６）、当該移
動体領域が画面の監視エリアから外れた、すなわち当該
移動体領域が当該撮像信号内から画面抜けしたか否かを
判定する移動体画面抜け判別処理を実行し（ステップＳ
３７）、当該処理結果に基づいて当該移動体領域が当該
撮像信号内から画面抜けしたか否かを判定する（ステッ
プＳ３８）。

【００３９】当該移動体領域が画面抜けしたのであれ
ば、前記第１、第２、第３及び第４フラグを夫々リセッ
トし（ステップＳ３９）、当該移動体抽出処理を終了し
て図２に示すステップＳ１３に移行する。

【００４０】また、ステップＳ３３にて当該撮像信号内
に移動体領域がなければ、第１フラグが“１”であるか
否かを判定する（ステップＳ４０）。当該第１フラグが
“１”であれば、ステップＳ３５に移行する。

【００４１】また、ステップＳ３８にて当該画面抜けが
発生したのでなければ、又はステップＳ４０にて第１フ
ラグが“１”でなければ、当該移動体抽出処理を終了し
て図２に示すステップＳ１３に移行する。

【００４２】では、次に図２に示すステップＳ１９の指
の検出処理について説明する。図４は当該指の検出処理
における動作認識部１３の処理動作を示すフローチャー
トである。

【００４３】図４に示す動作認識部１３においては、前
記移動体抽出部１２にて抽出された移動体領域の先端部
分を検出し（ステップＳ５１）、当該移動体領域が図７
（ａ）に示す指定枠領域１７ａ内にあるか否かを判定す
る（ステップＳ５２）。当該移動体領域が当該指定枠領
域１７ａ内にあれば、当該移動体領域が人の手の画面領
域であるか否かを判別する細線化処理を実行する（ステ
ップＳ５３）。

【００４４】尚、当該細線化処理とは、図８に示すよう
に当該移動体領域を当該撮像信号の撮像画面に対して横
方向に一定量の縮小化処理を施し、当該縮小化処理を施
された移動体領域の先端部分が細線化されているか否か
を判別基準とし、当該先端部分が細線化されていれば、
当該移動体領域を手の画面領域、そして当該先端部分を
指先の画面領域と考えて当該指先の画面領域における長
さ及び幅を算出する処理である。

【００４５】ステップＳ５３の処理後、当該算出された
指先の画面領域の長さが予め設定された所定値以上であ
るか否かを判定する（ステップＳ５４）。当該指先の画
面領域の長さが所定値以上であれば、当該指先の画面領
域における幅が予め設定された所定値以下であるか否か
を判定する（ステップＳ５５）。当該指先の画面領域の
幅が所定値以下であれば、当該先端部分を確実に指先の
画面領域であると判断し、当該判断された指先の画面領
域が前記指定枠領域１７ａ内にあることを示す第２フラ
グを“１”とし（ステップＳ５６）、当該指の検出処理
を終了して図２に示すステップＳ１８に移行する。

【００４６】尚、前記制御部２０は、前記動作認識部１
３を介してステップＳ５６にて指先の画面領域が指定枠
領域１７ａ内にあると判断した場合、前記報知音発生部
１８に報知音を発生させ、当該発生された報知音を前記
スピーカ１９を介して音声出力させる。つまり、ユーザ
ーは、当該報知音を受聴することにより、画面を目視し
なくても当該指先が指定枠領域１７ａ内にあることを認
識することができる。

【００４７】また、ステップＳ５２にて当該移動体領域
が指定枠領域１７ａ内になければ、又はステップＳ５４
にて当該移動体領域の先端部分における画面領域の長さ
が所定値以上でなければ、又はステップＳ５５にて当該
移動体領域の先端部分における画面領域の幅が所定値以
下でなければ、当該指定枠領域１７ａ内に指先の画面領
域がないと判断し、当該指の検出処理を終了して図２に
示すステップＳ１８に移行する。

【００４８】では、次に図２に示すステップＳ２０の指
閉じアクション検出処理について説明する。図５は当該
指閉じアクション検出処理における動作認識部１３の処
理動作を示すフローチャートである。

【００４９】図５に示す動作認識部１３においては、前
記移動体領域、すなわち手の画面領域が指定枠領域１７
ａ内にあることを検出し（ステップＳ６１）、当該指定
枠領域１７ａ内に指先の画面領域があるか否かを判定す
る（ステップＳ６２）。当該指定枠領域１７ａ内に指先
の画面領域がなければ、指先を閉じたアクション、すな
わち当該メニュー画面上の指先によるキー表示指定の開
始を促すアクションを検出したことを示す第３フラグを
“１”とし（ステップＳ６３）、当該指閉じアクション
検出処理を終了して図２に示すステップＳ１８に移行す
る。

【００５０】尚、前記制御部２０は、ステップＳ６２に
て当該指定枠領域１７ａ内に手の画面領域はあるが、指
先の画面領域がないことを前記動作認識部１３を介して
検出すると、前記報知音発生部１８に報知音を発生さ
せ、当該発生された報知音を前記スピーカ１９を介して
音声出力するものである。ユーザーは、当該報知音を受
聴することにより、画面を目視せずともキー表示指定の
開始を促すアクションを認識することができる。

【００５１】また、ステップＳ６２にて当該指定枠領域
１７ａ内に移動体領域の画面領域がなければ、当該指閉
じアクション検出処理を終了して図２に示すステップＳ
１８に移行する。

【００５２】では、次に図２に示すステップＳ２１の指
開きアクション検出処理について説明する。図６は当該
指開きアクション検出処理における動作認識部１３の処
理動作を示すフローチャートである。

【００５３】図６に示す動作認識部１３においては、前
記移動体領域、すなわち手の画面領域が指定枠領域１７
ａ内にあることを検出し（ステップＳ７１）、当該指定
枠領域１７ａ内に指先の画面領域があるか否かを判定す
る（ステップＳ７２）。当該指定枠領域１７ａ内に指先
の画面領域があれば、指先を開いたアクション、すなわ
ち当該メニュー画面上の指先によりキー表示を指定する
アクションを検出したことを示す第４フラグを“１”と
し（ステップＳ７３）、当該指開きアクションを終了し
て図２に示すステップＳ１８に移行する。

【００５４】また、ステップＳ７２にて当該指定枠領域
１７ａ内に指先の画面領域がなければ、当該指開きアク
ション検出処理を終了して図２に示すステップＳ１８に
移行する。

【００５５】尚、前記制御部２０は、ステップＳ７２に
て当該指定枠領域１７ａ内に指先の画面領域があること
を前記動作認識部１３を介して検出すると、前記報知音
発生部１８に報知音を発生させ、当該報知音を前記スピ
ーカ１９を介して音声出力するものである。ユーザー
は、当該報知音を受聴することにより、画面を目視せず
ともキー表示を指定したことを認識することができる。

【００５６】つまり、上記実施形態による車載用機器制
御装置１０は、カメラ１１により撮像された撮像信号か
ら移動体領域を前記移動体抽出部１２にて抽出し、当該
抽出された移動体領域をメニュー画面上に重ね合わせ、
当該移動体領域が手及び指先の画面領域であるか否かを
判別し、当該指先の画面領域であると判断した場合、当
該表示部１７に表示中の表示画面上において指先及び当
該指先の動作を画像認識し、当該画像認識された指先の
動作により当該表示部１７に表示中の表示画面上におい
て当該指先の画面領域の位置に対応したキー表示に係わ
る指令に対応した機器制御データを読み出し、当該読み
出された機器制御データに基づいて前記車載用機器３０
を制御するようにした。

【００５７】従って、上記実施形態による車載用機器制
御装置１０によれば、従来のタッチパネル機能の疑似キ
ーや操作キーといったように直接触れなくても、手や指
先のジェスチャーを画像認識し、当該画像認識された指
先のジェスチャーにて当該機器制御に係わる指令を入力
するようにした、つまり、当該操作時における姿勢の崩
れや視線の逸れを起こすことなく指先のジェスチャーだ
けで所望の指令を入力するようにしたので、当該入力操
作時にかかるユーザーへの負担を確実に解消することが
でき、強いて運転上の安全性向上を図ることができる。

【００５８】また、上記実施形態によれば、前記表示部
１７に表示中の合成画面のメニュー画面上に当該指先に
より指定されたキー表示の位置に当該指先も合わせて表
示させるようにしたので、当該画面上においてどのキー
表示を指定したかをユーザーは認識することができ、強
いてはその操作性を著しく向上させることができる。

【００５９】また、上記実施形態によれば、前記カメラ
部１１に撮像される移動体がキー入力可能領域に到達し
たときに前記報知音声発生部１８より報知音を発生し、
当該発生された報知音をスピーカ１９より音声出力させ
るようにしたので、ユーザーは、表示画面を目視せずと
もその指先がキー入力可能領域にあることを認識するこ
とができる。

【００６０】尚、上記実施形態においては、当該指先に
より指定されたキー表示と当該指先とを合わせて当該表
示部１７に表示中のメニュー画面上に表示させることに
より、当該指定されたキー表示と他のキー表示とを異な
るように識別表示させるようにしたが、当該指先のブレ
等により指定されたキー表示の位置が定まりにくいとい
った事態も考えられる。

【００６１】そこで、このような事態を打開するため
に、図９に示すように当該表示中のメニュー画面上にお
いて当該指定されたキー表示２００の色や輝度を、他の
キー表示１００とは異なるように変えるようにしても良
く、この場合には当該指定されたキー表示２００が明確
になり、ユーザーの入力操作をより一層良好にすること
ができる。

【００６２】また、当該表示中のメニュー画面上におい
ては、当該指定されたキー表示をカーソル表示等のマー
ク表示とするようにしても良く、この場合には前記移動
体抽出部１２により移動体の位置情報を抽出し、当該移
動体が抽出された位置にカーソル等のマークを表示させ
るようにすれば良い。

【００６３】また、上記実施形態によれば、当該カメラ
部１１により撮像された撮像信号から抽出された移動体
領域を当該表示部１７に表示中のメニュー画面上に表示
させるようにしたが、当該移動体領域が当該撮像信号内
にないと、当該移動体がキー入力可能領域にない場合と
して図１０（ａ）に示すように当該表示部１７に表示中
の表示画面を滅灯し、当該移動体領域が当該撮像信号内
にあると、当該移動体がキー入力可能領域にある場合と
して図１０（ｂ）に示すように当該表示部１７に表示中
の表示画面上において指定枠領域１７ａ以外の画面領域
を点灯表示させるようにしても良く、この場合、ユーザ
ーは自分の手がキー入力可能領域近傍にあるか否かを画
面上にて認識することができ、非常に入力操作がしやす
い。

【００６４】また、図１１に示すように当該表示部１７
に表示中のメニュー画面上を例えば指定枠領域１７ａ、
当該指定枠領域１７ａを包囲する中間画面領域１７ｂ及
び当該中間画面領域１７ｂを包囲する外枠画面領域１７
ｃの様に３つの画面領域に分け、当該表示部１７に表示
中の外枠画面領域１７ｃ上にて移動体が移動してきた場
合には当該外枠画面領域１７ｃをオレンジ色に表示し、
当該移動体が中間画面領域１７ｂ内に移動してきた場合
には当該中間画面領域１７ｂを黄色に表示し、当該移動
体が指定枠領域１７ａ内に移動してきた場合、当該指定
枠領域１７ａを緑色に表示させるようにしても良く、こ
の場合、手探り操作時においてユーザーの手がどのキー
入力領域にあるかを逐次認識することができ、より一層
の操作性を向上させることができる。また、これら各領
域１７ａ，１７ｂ，１７ｃへの移動体の移動により、表
示色を変えるだけでなく、報知音の音量や音質を変化さ
せるようにしても良い。

【００６５】また、上記実施形態においては運転中のキ
ー入力未使用時においても当該表示部１７においてはメ
ニュー画面を表示しているが、当該キー入力未使用時に
おいては前記表示部１７におけるメニュー画面の表示を
消して、図３に示すステップＳ３３にて移動体が判別さ
れたときにのみ当該表示部１７に対してメニュー画面を
表示させるようにしても良く、この場合には当該表示中
のメニュー画面により運転中の視界を妨げることを防止
することができると共に、キー入力未使用時における無
駄な電力消費を削減することができる。

【００６６】また、上記実施形態における機器制御装置
としては、車載用機器を制御する車載用機器制御装置を
例にとり説明するようにしたが、図１２に示すようにパ
ソコン４１にカメラ４２を設けることにより、パソコン
４１のポインタ４３を移動させるマウスの代わりに当該
カメラ４２により撮像された指先のジェスチャーに基づ
いて当該ポインタ４３を制御するようにしても良いこと
は言うまでもない。

【００６７】

【発明の効果】上記のように構成された本発明の請求項
１記載の機器制御装置によれば、従来のようにタッチパ
ネル機能の疑似キーや操作キーに直接触れなくても、指
先のジェスチャーを画像認識し、当該画像認識された指
先のジェスチャーにて当該機器制御に係わる指令を入力
するようにした、つまり、当該操作時における姿勢の崩
れや視線の逸れを起こすことなく指先のジェスチャーだ
けで所望の指令を入力するようにしたので、当該入力操
作時にかかるユーザーへの負担を確実に解消することが
できる。

【００６８】また、上記請求項２記載の機器制御装置に
よれば、前記移動体動作認識手段にて認識された指先及
びメニュー画面を合成画面として前記表示手段に表示さ
せるようにしたので、ユーザーの指先がどの位置にある
のかを当該表示手段の画面上にて認識することができ
る。

【００６９】また、上記請求項３記載の機器制御装置に
よれば、前記移動体動作認識手段にて認識されたキー表
示、すなわち前記指先の動作により指定されたキー表示
を他のキー表示とは異なるように、例えばマークや異色
等により識別表示させるようにしたので、当該指令指定
に係わる入力操作を効果的に認識することができる。

【図面の簡単な説明】

【図１】本発明の機器制御装置を実施形態を示す車載用
機器制御装置の概略構成を示すブロック図である。

【図２】本実施形態の指令入力処理における制御部の処
理動作を示すフローチャートである。

【図３】本実施形態の移動体抽出処理における移動体抽
出部の処理動作を示すフローチャートである。

【図４】本実施形態の指の検出処理における動作認識部
の処理動作を示すフローチャートである。

【図５】本実施形態の指閉じアクション検出処理におけ
る動作認識部の処理動作を示すフローチャートである。

【図６】本実施形態の指開きアクション検出処理におけ
る動作認識部の処理動作を示すフローチャートである。

【図７】本実施形態の画面合成部に係わる合成画面を端
的に示す説明図である。 ａ）撮像信号から抽出された移動体領域を示す説明図 ｂ）メモリ部に記憶されたメニュー画面を示す説明図 ｃ）メニュー画面上に移動体領域を重ね合わせた合成画
面を示す説明図

【図８】本実施形態の動作認識部にて行われる細線化処
理を端的に示す説明図である。 ａ）細線化処理前の移動体領域を示す説明図 ｂ）細線化処理後の移動体領域を示す説明図

【図９】他の実施形態における表示部に表示中のメニュ
ー画面を示す説明図である。

【図１０】他の実施形態における表示部に表示中のメニ
ュー画面を端的に示す説明図である。 ａ）撮像信号内に移動体がない場合における表示画面の
表示状態を示す説明図 ｂ）撮像信号内に移動体がある場合における表示画面の
表示状態を示す説明図

【図１１】他の実施形態における表示部に表示中のメニ
ュー画面を端的に示す説明図である。

【図１２】本発明の機器制御装置をパソコン等に適用し
た場合の実施形態を示す外観説明図である。

【符号の説明】

１０ 車載用機器制御装置（機器制御装置） １１ カメラ部（撮像手段） １２ 移動体抽出部（移動体抽出手段） １３ 動作認識部（移動体動作認識手段） １４ メモリ部（第１記憶手段） １５ 画面合成部（画面合成手段） １６ 指令入力抽出部（移動体動作認識手段） １７ 表示部（表示手段） ２０ 制御部（制御手段、第２記憶手段） ３０ 車載用機器（機器）

Claims (3)

【特許請求の範囲】
1. 【請求項１】 機器の制御に係わる指令に対応したキー
   表示を有するメニュー画面を記憶する第１記憶手段と、 当該キー表示に対応した指令に係わる機器制御データを
   記憶する第２記憶手段と、 前記第１記憶手段に記憶されたメニュー画面を表示する
   表示手段と、 移動体を撮像し、当該移動体に係わる撮像信号を得る撮
   像手段と、 当該撮像信号から移動体領域を抽出する移動体抽出手段
   と、 当該抽出された移動体領域と前記第１記憶手段に記憶さ
   れたメニュー画面とを合成して合成画面を生成する画面
   合成手段と、 前記移動体領域における移動体の動作及び当該動作によ
   り指定されたキー表示を認識する移動体動作認識手段
   と、 当該認識されたキー表示に対応した指令に係わる機器制
   御データを前記第２記憶手段から読み出し、当該読み出
   された機器制御データに基づいて前記機器を制御する制
   御手段とを有することを特徴とする機器制御装置。
2. 【請求項２】 前記制御手段は、前記画面合成手段にて
   生成された合成画面を前記表示手段に表示出力させるこ
   とを特徴とする請求項１記載の機器制御装置。
3. 【請求項３】 前記制御手段は、前記移動体動作認識手
   段にて認識されたキー表示を当該表示手段に表示中のメ
   ニュー画面上にて識別表示させることを特徴とする請求
   項１又は２記載の機器制御装置。