JP7336228B2 - 車両の非接触操作装置、および車両 - Google Patents

Description

本発明は、車両の非接触操作装置に関する。

車両には、各種の操作部材が設けられる。たとえば、車両には、車両の走行を制御するためのスタートスイッチ、ハンドル、シフトレバー、ペダルなどがある。また、車両には、空調装置、ナビゲーション装置、オーディオ装置、映像受信装置、ハンズフリー通話装置、その他の設備機器の操作部材が設けられる。このように、車両には、多数の操作部材が設けられている。これら多数の操作部材は車室の内面に対してレイアウトされるものであるが、近年においては車室のレイアウト面が不足する傾向にある。今後さらに、たとえばゲーム装置、ネットワーク通信装置、エンターテイメント装置などが追加されることを考えた場合、それらの装置の操作部材を増設できなくなる可能性もある。

特開２０１７－０２７４０１号公報

このため、車両では、特許文献１に開示されるように、車両の車室へ投影された映像を操作するような新たな操作装置を用いることが考えられる。
特許文献１では、シートに着座する乗員の前に映像を提示する。また、提示した映像に対応する操作に応じて、超音波場による触覚刺激を乗員の操作部位へ出力する。このため、乗員は、映像への操作について、操作の実感を得ることができる。
しかしながら、車両は走行して移動するものである。走行中の車両には、走行のために加減速し、右左折などにより荷重が作用する。車両が加減速したり、車両に荷重が作用したりすると、乗員の身体は流れるように動くことになる。この場合、映像に対して操作をする乗員のたとえば手や指などは、車両の動きに起因する乗員の動きにより、振れて移動する。
そして、このような走行状態において、特許文献１のように、映像を固定的に投影し、その映像に対する操作を固定的に判定し、操作に対する触覚刺激を固定的に出力すると、乗員が映像に対してしようとしていた操作を正しく判定したり、映像に対して操作をしている操作部位に対して触覚刺激を正しく出力したりできなくなる。

このように、車両では、操作装置を改善することが求められている。

本発明に係る車両の非接触操作装置は、車両の車室の空間へ映像を投影する投影デバイスと、前記投影デバイスにより投影される前記映像を生成および更新する生成部と、前記車室の前記空間に投影されている前記映像に対して設定される入力可能エリアに非接触の操作をする前記車両の乗員の操作部位を検出する操作検出デバイスと、前記車室の前記空間に投影されている前記映像に対する前記乗員の非接触の操作を、前記映像に対する前記乗員の前記操作部位の位置または動きに基づいて判定する操作判定部と、前記車両の動き、または前記車両の動きに起因する前記乗員の動きを検出する動き検出デバイスと、前記車室に乗っている前記乗員に対して配置され、前記映像に対して操作をする前記乗員へ超音波場による触覚刺激を出力可能な刺激出力デバイスと、前記操作判定部により判定された操作に対する応答として、投影されている前記映像に対して前記操作をする前記乗員の操作部位に対して、前記超音波場による前記触覚刺激を出力する刺激応答出力部と、を有し、前記操作判定部は、前記動き検出デバイスの検出に基づいて、前記映像の位置に対する前記入力可能エリアの位置を、前記映像と重なる第１の位置から、前記車両の動きに起因する前記乗員の動きと同じ方向に前記第１の位置よりも前記映像の位置に対してオフセットされた第２の位置に移動して、または、前記動き検出デバイスの検出に基づいて、前記映像のサイズに対する前記入力可能エリアのサイズを、前記映像と重なる第１のサイズから、前記車両の動きに起因する前記乗員の動きの量に対応する拡大率で前記第１のサイズを拡大した第２のサイズにすることで拡大して、前記車室の前記空間に投影される前記映像に対する前記乗員の操作部位による操作を判定し、前記刺激応答出力部は、前記操作判定部が、前記乗員の操作を、前記動き検出デバイスの検出により調整して判定している場合、前記動き検出デバイスにより検出されている前記乗員の操作部位に対して、前記乗員の操作に対する前記触覚刺激の応答を出力するとともに、前記動き検出デバイスの検出により調整されていない、前記操作検出デバイスより検出される前記乗員の操作部位の位置に対して、前記乗員の操作に対する前記触覚刺激の応答を出力して、前記動き検出デバイスの検出により調整しないで判定する場合より広い範囲へ、前記乗員の操作に対する前記触覚刺激の応答を出力する。

好適には、前記操作判定部は、前記投影デバイスにより投影される前記映像に対する前記乗員の動きにより、前記乗員による操作を判定し、前記動き検出デバイスの検出に基づいて、前記操作検出デバイスにより検出される前記乗員の動きを、前記車両の動きに起因する身体、上体、肩、頭部のいずれかの動きを抑制するように調整して、前記乗員による操作を判定する、とよい。

好適には、前記動き検出デバイスは、前記車両の走行状態を検出する、とよい。

好適には、前記動き検出デバイスは、前記乗員を撮像した画像に基づいて、前記車両の動きに起因する前記乗員の動きを検出する、とよい。

本発明に係る車両は、上述したいずれかの非接触操作装置と、前記非接触操作装置とネットワークを通じて接続され、車両を制御する複数の被制御装置と、を有し、複数の前記被制御装置の各々は、前記非接触操作装置が車室に投影する映像に対する乗員の非接触操作に基づいて生成する入力情報を、前記ネットワークを通じて前記非接触操作装置から取得する。

本発明では、車両の動き、または車両の動きに起因する乗員の動きを検出する。そして、前記動き検出デバイスの検出に基づいて、乗員についての、車両の動きに起因する動きを抑制するように調整して、車室の中空に投影される映像に対する乗員の操作部位による操作を判定する。
これにより、本発明では、乗員が、車両の動きによらずに本来的にしようとした、中空に投影される映像に対する非接触の操作を、走行中の車両の動きによらずに、適切に判定することができる。本発明では、乗員の操作を、車両の挙動によって乗員の身体が流れている状態においても、正確に判定することができる。

図１は、本発明の実施形態に係る自動車の模式的な説明図である。 図２は、図１の自動車の制御系の模式的な説明図である。 図３は、図１の自動車に設けられる非接触操作装置の構成図である。 図４は、図３の非接触操作装置の主要構成要素の車室での配置の一例を説明する図である。 図５は、図３の非接触操作装置による非接触投影操作処理の流れを示すフローチャートである。 図６は、第一実施形態での、操作判定処理および判定結果としての応答出力処理の流れを示すフローチャートである。 図７は、図６に対応する操作判定処理および触覚刺激による応答出力処理の一例の説明図である。 図８は、第二実施形態での、操作判定処理および判定結果としての応答出力処理の流れを示すフローチャートである。 図９は、図８に対応する操作判定処理および触覚刺激による応答出力処理の一例の説明図である。 図１０は、第三実施形態での、操作判定処理および判定結果としての応答出力処理の流れを示すフローチャートである。 図１１は、図１０に対応する操作判定処理および触覚刺激による応答出力処理の一例の説明図である。

以下、本発明の実施形態を、図面に基づいて説明する。

［第一実施形態］
図１は、本発明の実施形態に係る自動車１の模式的な説明図である。
図１（Ａ）は上面図、図１（Ｂ）は側面図、である。
図１の自動車１は、車両の一例である。自動車１は、乗員が乗車する車室３が設けられる車体２を有する。車室３には、乗員が着座するシート４が設けられる。車室３の前部には、乗員が自動車１の走行を操作するために、ハンドル５、シフトレバー６、ブレーキペダル７、アクセルペダル８、が設けられる。乗員は、図１（Ｂ）に示すように、シート４に運転姿勢で着座することにより、これらハンドル５などの操作部材へ手を伸ばして操作することができる。

図２は、図１の自動車１の制御系１０の模式的な説明図である。図２には、制御系１０を構成する複数の制御装置が、それぞれに組み込まれる制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により代表して示されている。
具体的には、図２には、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３、自動運転／運転支援ＥＣＵ１４、運転操作ＥＣＵ１５、検出ＥＣＵ１６、空調ＥＣＵ１７、乗員監視ＥＣＵ１８、外通信ＥＣＵ１９、非接触操作装置４０の操作ＥＣＵ２０、システムＥＣＵ２１、が図示されている。これら複数の制御ＥＣＵは、自動車１で採用されるたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった車ネットワーク２６により、中継装置としてのセントラルゲートウェイ（ＣＧＷ）２７に接続される。
そして、各制御モジュールにおいて、制御ＥＣＵは、自動車１で用いる電子機器に接続される。起動された制御ＥＣＵは、各種の処理を実行し、車ネットワーク２６から取得する情報（データ）に基づいてそれぞれに接続されている電子機器の動作を制御する。また、制御ＥＣＵは、それぞれに接続されている電子機器の動作状態などの情報（データ）を車ネットワーク２６へ出力する。

運転操作ＥＣＵ１５には、乗員が自動車１の走行を制御するために操作するハンドル５、ブレーキペダル７、アクセルペダル８、シフトレバー６などの操作検出センサが接続される。運転操作ＥＣＵ１５は、操作量に応じた制御情報を、車ネットワーク２６へ出力する。駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３は、車ネットワーク２６から情報を取得し、自動車１の走行を制御する。

操作ＥＣＵ２０は、車ネットワーク２６を通じて運転操作ＥＣＵ１５から情報を取得して、図示外の表示デバイスに表示する。操作ＥＣＵ２０には、表示デバイスとともに、乗員が操作する図示外の操作デバイスが接続される。操作ＥＣＵ２０は、たとえば表示デバイスおよび操作デバイスとともに、操作装置を構成する。操作装置は、後述する非接触操作装置４０に組み込まれてよい。操作ＥＣＵ２０は、車ネットワーク２６を通じて運転操作ＥＣＵ１５から取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６を通じて運転操作ＥＣＵ１５へ出力する。運転操作ＥＣＵ１５は、車ネットワーク２６を通じて入力情報を取得して、入力情報に基づく制御を実行する。

検出ＥＣＵ１６には、自動車１の速度センサ３１、衝突などによる自動車１の加速度を検出可能な加速度センサ３２、外カメラ３３、などが接続される。検出ＥＣＵ１６には、自動車１の速度センサ３１および加速度センサ３２の値、外カメラ３３の画像などを、車ネットワーク２６へ出力する。検出ＥＣＵ１６は、外カメラ３３の画像に基づいて衝突を予測し、予測結果を車ネットワーク２６へ出力してよい。セントラルゲートウェイ２７は、情報を中継する。
自動運転／運転支援ＥＣＵ１４は、たとえば自動車１の目的地まで自動車１の走行を制御する。自動運転／運転支援ＥＣＵ１４は、車ネットワーク２６を通じて検出ＥＣＵ１６から情報を取得し、安全な走行のための制御情報を、車ネットワーク２６へ出力する。駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３は、車ネットワーク２６から情報を取得し、自動車１の走行を制御する。

操作ＥＣＵ２０は、車ネットワーク２６を通じて検出ＥＣＵ１６および自動運転／運転支援ＥＣＵ１４から情報を取得して、表示デバイスに表示する。操作ＥＣＵ２０は、車ネットワーク２６を通じて検出ＥＣＵ１６および自動運転／運転支援ＥＣＵ１４から取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６へ出力する。検出ＥＣＵ１６および自動運転／運転支援ＥＣＵ１４は、車ネットワーク２６を通じて入力情報を取得して、入力情報に基づく制御を実行する。

乗員監視ＥＣＵ１８には、内カメラ３４、が接続される。乗員監視ＥＣＵ１８は、内カメラ３４の画像に基づいて、自動車１に乗っている乗員を識別し、また、乗員の乗車状態を監視する。乗員監視ＥＣＵ１８は、これらの情報を車ネットワーク２６へ出力する。操作ＥＣＵ２０は、車ネットワーク２６を通じて乗員監視ＥＣＵ１８の情報を取得して、表示デバイスに表示する。操作ＥＣＵ２０は、車ネットワーク２６を通じて取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６へ出力する。乗員監視ＥＣＵ１８は、車ネットワーク２６を通じて入力情報を取得して、入力情報に基づく制御を実行する。

空調ＥＣＵ１７は、車室３の温度、湿度などの環境を制御する。空調ＥＣＵ１７は、検出した温度、日射量、湿度などの情報を車ネットワーク２６へ出力する。操作ＥＣＵ２０は、車ネットワーク２６を通じて空調ＥＣＵ１７の情報を取得して、表示デバイスに表示する。操作ＥＣＵ２０は、車ネットワーク２６を通じて取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６へ出力する。空調ＥＣＵ１７は、車ネットワーク２６を通じて入力情報を取得して、入力情報に基づく制御を実行する。

外通信ＥＣＵ１９は、たとえば、自動車１の外に存在する通信基地局８１、他の自動車８２の通信装置と無線通信する。通信基地局８１、および他の自動車８２の通信装置は、サーバ装置８３とともに、交通システム８０を構成する。外通信ＥＣＵ１９は、交通システム８０の情報を、通信基地局８１または他の自動車８２の通信装置から受信し、車ネットワーク２６へ出力する。操作ＥＣＵ２０は、車ネットワーク２６を通じて外通信ＥＣＵ１９の情報を取得して、表示デバイスに表示する。操作ＥＣＵ２０は、車ネットワーク２６を通じて取得した情報に対して操作デバイスが操作された場合、操作デバイスの入力情報を、車ネットワーク２６へ出力する。外通信ＥＣＵ１９は、車ネットワーク２６を通じて入力情報を取得して、入力情報を、通信基地局８１、他の自動車８２の通信装置へ無線送信する。送信された情報は、交通システム８０において、たとえばサーバ装置８３や他の自動車８２において利用される。これにより、自動車１のたとえば操作ＥＣＵ２０は、外通信ＥＣＵ１９を通じて、交通システム８０のサーバ装置８３や他の自動車８２との間で、情報（データ）を送受することができる。

また、図２に示す制御系１０は、自動車１に設けられるバッテリ９１から各部へ電力が供給されることにより動作し得る。バッテリ９１から各部への電力供給線は、たとえば車ネットワーク２６の通信ケーブルとともに自動車１に張り巡らされる。制御系１０は、バッテリ９１のほかにも、発電機、受電機から電力が供給されてもよい。

このように操作ＥＣＵ２０は、自動車１の車ネットワーク２６により、被制御装置としての他の制御装置の制御ＥＣＵと接続され、他の制御装置の制御ＥＣＵとの間で情報（データ）を送受することができる。また、図２において、操作ＥＣＵ２０以外の複数の被制御装置の各制御ＥＣＵは、車ネットワーク２６を通じて、非接触操作装置４０の操作ＥＣＵ２０から入力情報を取得し、自動車１を制御する。

ところで、自動車１には、各種の操作部材が設けられる。たとえば、自動車１には、自動車１の走行を制御するためのスタートスイッチ、ハンドル５、シフトレバー６、ペダルなどがある。また、自動車１には、空調装置、ナビゲーション装置、オーディオ装置、映像受信装置、ハンズフリー通話装置、その他の設備機器の操作部材が設けられ得る。このように、自動車１には、多数の操作部材が設けられる。これら多数の操作部材は、車室３の内面に対してレイアウトされるものであるが、近年においては車室３のレイアウト面が不足する傾向にある。今後さらに、たとえばゲーム装置、ネットワーク通信装置、エンターテイメント装置などが追加されることを考えた場合、それらの装置の操作部材を増設できなくなる可能性もある。
このため、自動車１では、自動車１の車室３へ投影された映像を操作するような新たな操作装置を開発することが求められている。このような操作装置として、たとえば非接触操作装置４０が考えられる。非接触操作装置４０は、シート４に着座する乗員の前に映像を投影する。非接触操作装置４０は、投影した映像に対応する操作に応じて、入力情報を生成し、車ネットワーク２６へ出力し得る。また、非接触操作装置４０では、投影した映像に対応する操作に応じて、超音波場による触覚刺激を乗員の操作部位へ出力してもよい。このような触覚刺激による応答が得られることにより、乗員は、車室３の空間に投影された映像への非接触の操作をしているにもかかわらず、実体のある物に対して操作している場合と同様に、操作の実感を得ることができる。

しかしながら、自動車１は走行して移動するものである。走行中の自動車１には、走行のために加減速し、右左折などにより荷重が作用する。自動車１が加減速したり、自動車１に荷重が作用したりすると、乗員の身体は流れるように動くことになる。この場合、映像に対して操作をする乗員のたとえば手や指などは、自動車１の動きに起因する乗員の動きにより、振れて移動する。
そして、このような走行状態において、特許文献１のように、映像を固定的に投影し、その映像に対する操作を固定的に判定し、操作に対する触覚刺激を固定的に出力すると、乗員が映像に対してしようとしていた操作を正しく判定したり、映像に対して操作をしている操作部位に対して触覚刺激を正しく出力したりできなくなる。
このように、自動車１では、操作装置を改善することが求められている。

図３は、図１の自動車１に設けられる非接触操作装置４０の構成図である。
図３の非接触操作装置４０は、車内通信部４１、タイマ４２、３Ｄ映像投影デバイス４３、操作検出デバイス４４、刺激出力デバイス４５、音出力デバイス４６、走行状態検出デバイス４８、メモリ４７、およびこれらが接続される操作ＥＣＵ２０、を有する。
メモリ４７は、たとえば不揮発性メモリ４７である。メモリ４７は、非接触操作用のプログラム、およびデータを記録する。プログラムには、ＡＩにより処理を実行するものであってもよい。プログラムには、ＡＩ処理のための学習プログラムが含まれてよい。データには、非接触操作の際に投影する映像の三次元モデルデータなどが含まれる。三次元モデルデータは、非接触操作のための映像データであり、たとえばモデルの表面を構成する複数のポリゴンデータを有する。

操作ＥＣＵ２０は、たとえば中央処理装置、ＡＳＩＣ、ＤＳＰなどのマイクロコンピュータでよい。操作ＥＣＵ２０は、メモリ４７から非接触操作用のプログラムを読み込んで実行する。これにより、操作ＥＣＵ２０には、非接触操作装置４０の制御部が実現される。非接触操作装置４０の制御部は、非接触操作装置４０の全体の動作を制御し、非接触操作装置４０に非接触操作のための各種の機能を実現する。たとえば、操作ＥＣＵ２０には、非接触操作のための各種の機能として、映像生成部５１、操作判定部５２、刺激応答出力部５３、音応答出力部５４、が実現される。

車内通信部４１は、車ネットワーク２６に接続される。車内通信部４１は、車ネットワーク２６を通じて、たとえば図中に例示するように空調ＥＣＵ１７、自動運転／運転支援ＥＣＵ１４、外通信ＥＣＵ１９、などの他の制御ＥＣＵとの間で情報（データ）を送受する。たとえば、車内通信部４１は、空調ＥＣＵ１７から空調操作映像の表示指示を取得し、操作ＥＣＵ２０へ出力する。車内通信部４１は、自動運転／運転支援ＥＣＵ１４から、自動運転／運転支援のための設定操作映像の表示指示を取得し、操作ＥＣＵ２０へ出力する。車内通信部４１は、外通信ＥＣＵ１９から三次元モデルデータなどのコンテンツデータを取得し、操作ＥＣＵ２０へ出力する。

タイマ４２は、経過時間または時刻を計測する。

映像生成部５１は、３Ｄ映像投影デバイス４３により投影される映像を生成および更新する。映像生成部５１は、表示指示に基づいて、投影する映像のデータを生成するために、メモリ４７または車内通信部４１から三次元モデルデータを取得する。映像生成部５１は、取得した三次元モデルデータから、三次元モデルを生成する。映像生成部５１は、乗員から見た車室３での三次元モデルの投影位置および向きを決定し、三次元モデル（立体モデル）から投影用の映像データを生成する。映像生成部５１は、投影用の映像データを３Ｄ映像投影デバイス４３へ出力する。映像生成部５１は、二次元モデルデータから、二次元モデル（平面モデル）を生成して、投影用の映像データを生成してもよい。なお、映像生成部５１は、表示指示がない場合でも、メモリ４７または車内通信部４１から動画や静止画といったコンテンツデータを取得し、そのコンテンツの三次元映像（立体映像）または二次元映像（平面映像）の映像データを生成し、３Ｄ映像投影デバイス４３へ出力してもよい。

３Ｄ映像投影デバイス４３は、自動車１の車室３へ乗員により操作可能な映像を投影する。３Ｄ映像投影デバイス４３は、たとえばディスプレイデバイス、プロジェクタ、でよい。３Ｄ映像投影デバイス４３は、たとえばホログラム方式、ミラー方式により、車室３についての中空の空間に映像を投影してよい。３Ｄ映像投影デバイス４３は、乗員が着座するシート４の前に、たとえばダッシュボード、リアミラー、車室３の天井に配置されてよい。自動車１の車室３による空間へ３Ｄ（三次元）の映像または２Ｄ（二次元）の映像を、車室３の空間へ投影する。これにより、車室３の投影位置には、乗員が三次元モデルを視認できるように、立体的な映像が投影される。

操作検出デバイス４４は、乗員の所定の操作部位を検出する。操作検出デバイス４４は、自動車１の動きに起因して振れる乗員の身体、上体、肩、頭部などの動きを検出してよい。操作検出デバイス４４は、車室３による空間に投影されている映像に対して非接触の操作をする乗員の操作部位を検出してよい。非接触の操作には、たとえば、映像に対する手元操作、映像を移動させる移動操作がある。操作検出デバイス４４は、乗員が着座するシート４の前に、たとえばダッシュボード、リアミラー、車室３の天井に配置されてよい。ダッシュボードやリアミラーに乗員監視装置の内カメラ３４が配置されている場合、操作検出デバイス４４は、内カメラ３４と兼用されてよい。操作検出デバイス４４は、たとえば２つの撮像素子が並べて配列されたステレオカメラ６３でよい。この場合、操作検出デバイス４４は、２つの撮像素子の画像により、車室３の中空に投影される映像に対する乗員による操作を検出する。

操作判定部５２は、操作検出デバイス４４からたとえばステレオカメラ６３の画像といった検出情報を取得し、それに基づいて車室３の空間に投影されている映像に対する乗員の非接触の操作を判定する。操作判定部５２は、車室３による空間に投影されている映像に対する乗員の操作として、操作部位の位置や動きを判定する。動きには、移動の方向、速度、加速度などの操作部位の運動の情報が含まれる。操作判定部５２は、たとえばＡＩ処理により画像から乗員の指先の特徴を含む画素位置を取得し、ステレオカメラ６３の画像についての三角測量法により指先の位置情報を生成する。操作判定部５２は、時間をずらした撮像結果から、指先の動き、たとえば移動方向、移動速度、移動の加速度などの情報を生成する。操作判定部５２は、映像の投影位置を基準として乗員の操作部位の位置や動きを判定して、車室３による空間に投影されている映像に対する乗員の操作を判定する。操作判定部５２は、投影される映像への乗員の操作部位の接触の有無、接触までの残距離、接触する深さなどを判定する。操作判定部５２は、判定したこれらの操作情報を、操作ＥＣＵ２０の各部へ出力する。操作判定部５２は、操作情報を、たとえば映像生成部５１、刺激応答出力部５３、音応答出力部５４、へ出力する。映像生成部５１は、乗員の操作に応じて投影用の映像データを更新して３Ｄ映像投影デバイス４３へ出力する。これにより、３Ｄ映像投影デバイス４３により車室３に投影される映像は、操作に応答して更新される。

また、操作判定部５２は、操作情報に基づいて、車室３の空間に投影されている映像に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を、車内通信部４１を通じて自動車１の各部へ出力する。操作判定部５２は、たとえば空調温度の設定を変更する操作ボタンを投影している状態で、その操作ボタンが操作された場合、操作ボタンに対応する入力情報を生成し、車内通信部４１へ出力する。車内通信部４１は、入力情報を、車ネットワーク２６を通じて被制御装置としての空調ＥＣＵ１７へ出力する。空調ＥＣＵ１７は、入力情報に基づいて、空調の目標温度を変更し、車室３の温度が目標温度となるように空調制御を実行する。

走行状態検出デバイス４８は、自動車１の走行状態を検出する。走行状態検出デバイス４８は、自動車１の走行状態として、たとえば、走行による自動車１の動きを検出する。走行による自動車１の動きを示す情報には、自動車１に作用する加重、自動車１の速度、自動車１の加速度、ヨーレート、などがある。

刺激出力デバイス４５は、映像に対して操作をする乗員の操作部位に対して配置される。刺激出力デバイス４５は、たとえば電気信号により、触覚刺激を出力可能なものであればよい。非接触に触感を与えるデバイスとしては、たとえば超音波の場を生成して、乗員の操作部位へ超音波の場または場の変動を与えることにより、操作部位の皮膚に超音波場による触覚刺激を出力するものがある。刺激出力デバイス４５は、たとえば複数の超音波素子６５が平面状に配列される素子アレイでよい。刺激出力デバイス４５は、車室３に乗っている乗員の操作部位に向けて、たとえば手の下側に離れた位置に設けられればよい。複数の超音波素子６５から選択的に超音波を出力することにより、映像に対して操作をする乗員の手のたとえば指先といった局所的な部位には、皮膚が物体に触れているかのような触感が生じ得る。

刺激応答出力部５３は、投影されている映像に対して操作をする乗員の操作部位に対して、刺激出力デバイス４５から超音波場による触覚刺激を出力する。刺激応答出力部５３は、乗員の操作に対する応答として、触覚刺激を出力する。刺激応答出力部５３は、刺激出力デバイス４５へ電気信号を出力し、操作に応じた超音波を複数の超音波素子６５から選択的に出力する。これにより、刺激応答出力部５３は、車室３に超音波場を生成することができる。刺激応答出力部５３は、操作判定部５２により映像と接触していると判断される乗員の操作部位へ局所的に超音波の場または場の変動を与える。人は、超音波場にたとえば手を入れると、手の表面の皮膚により超音波場を感じ取ることができる。これにより、刺激応答出力部５３は、車室３による空間に投影されている映像に対して非接触の操作をする乗員の操作部位に対して、超音波場による触感の刺激を操作に対する応答として出力することができる。刺激応答出力部５３は、乗員の操作部位についての、たとえば映像と仮想的に接触している面に、超音波の場または場の変動を局所的に与える。
この他にもたとえば、刺激応答出力部５３は、複数の圧力出力素子が配列される素子アレイを有してもよい。この場合、刺激応答出力部５３は、複数の圧力出力素子の動作を個別に制御することにより、人の皮膚に対して圧力を作用させることができる。これにより、乗員は、操作に応じた感触を得ることができる。

音出力デバイス４６は、たとえば音信号により駆動されるスピーカでよい。音出力デバイス４６は、車室３に配置されていればよい。

音応答出力部５４は、音出力デバイス４６へ音信号を出力し、操作に応じた音を音出力デバイス４６から出力する。音応答出力部５４は、メモリ４７に記録されている音声データを選択して取得し、音声データから生成した音信号を音出力デバイス４６としてのスピーカへ出力する。これにより、乗員は、操作に応じた音を聞くことができる。

図４は、図３の非接触操作装置４０の主要構成要素の車室３での配置の一例を説明する図である。
図４には、図３の３Ｄ映像投影デバイス４３、操作検出デバイス４４、および、刺激出力デバイス４５の具体的な組み合わせ例が模式的に示されている。
具体的には、３Ｄ映像投影デバイス４３として、表示スクリーン６１、ハーフミラー６２が図示されている。操作検出デバイス４４として、ステレオカメラ６３が図示されている。刺激出力デバイス４５として、素子アレイが図示されている。これらの非接触操作装置４０の部材は、自動車１の車室３に設けられる。

刺激出力デバイス４５は、中空の四角枠体６４を有する。四角枠体６４の４つの面のそれぞれには、複数の超音波素子６５が配列された素子アレイが設けられる。四角枠体６４の上下左右の面の素子アレイを動作させることにより、図示するように四角枠体６４の内へ入れた指先には、超音波場を局所的に作用し得る。これにより、人は指先が触られている触感を得ることができる。

ハーフミラー６２は、刺激出力デバイス４５の中空の四角枠体６４の前に設けられる。ハーフミラー６２は、乗員と対向するように設けられる。ハーフミラー６２の下側には、三次元映像（立体映像）または二次元映像（平面映像）を表示するための表示スクリーン６１が配置される。これにより、刺激出力デバイス４５についての中空の四角枠体６４の内側に、三次元映像（立体映像）または二次元映像（平面映像）が視認可能に投影される。乗員は、刺激出力デバイス４５についての中空の四角枠体６４の内側において、車室３の中空に投影された映像を視認できる。乗員は、図中に円で示す三次元映像としての球体を、中空の四角枠体６４の内側に浮かんでいるように視認することができる。

ステレオカメラ６３は、たとえばハーフミラー６２についての、刺激出力デバイス４５の反対側に設けてよい。ステレオカメラ６３の２つの撮像素子は、四角枠体６４の内側にいる乗員の指などを撮像し得る。これにより、ステレオカメラ６３は、刺激出力デバイス４５の中空の四角枠体６４に入る指などを撮像することができる。以下、必要に応じて、図４を基準として、四角枠体６４の軸心に沿った方向をＺ方向とよび、それに垂直な方向をＹ方向およびＸ方向とよぶ。ここで、Ｚ方向は、自動車１の前後方向に沿った方向となる。

なお、図３の非接触操作装置４０の構成要素は、図４に示すように密集して配置される必要はない。

たとえば、刺激出力デバイス４５の中空の四角枠体６４は、乗員の前に配置された場合、乗員がハンドル５などを操作する際に操作の邪魔となる可能性がある。中空の四角枠体６４は、図１に示すように、車体２の外周面に沿って四角枠状に設けられてよい。この場合、乗員が着座するシート４の前には、四角枠体６４などの構造物が設けられなくなる。この場合であっても、３Ｄ映像投影デバイス４３は、たとえば図中に点線円で示す球体の映像で示すように、車室３に設けられる中空の四角枠体６４の内側の空間に映像を投影することができる。乗員は、四角枠体６４の内側の操作エリアにおいて操作をすることにより、映像に対して非接触の操作をすることができる。また、中空の四角枠体６４は、必ずしも正四角形の枠形状でなくてもよい。素子アレイは、単に車体２の外周に沿って配置されてもよい。素子アレイは、車室３の内面に全体的に配置されてもよい。

ハーフミラー６２は、基本的に、刺激出力デバイス４５の中空の四角枠体６４を間にして、乗員と対向するように設ければよい。また、映像を四角枠体６４の内側の中空に投影するためだけであれば、ハーフミラー６２の替わりに、フル反射ミラーを用いてもよい。また、刺激出力デバイス４５の中空の四角枠体６４を間にして、乗員と対向する位置に表示スクリーン６１そのものを配置してもよい。この場合、ハーフミラー６２またはフル反射ミラーは不要である。このようなハーフミラー６２またはフル反射ミラーおよび表示スクリーン６１は、たとえばダッシュボード、ルームミラー、ルーフに配置してよい。また、乗員監視装置と一体化して設けてもよい。

ステレオカメラ６３などの検出デバイスは、たとえばダッシュボード、ルームミラー、バックミラーに配置してよい。また、検出デバイスは、ＤＭＳなどの乗員監視装置の撮像素子と兼用してもよい。ステレオカメラ６３などの検出デバイスは、乗員についての指先などの操作部位を撮像できるものであればよい。また、検出デバイスは、画像によらず、たとえば車室３をレーザースキャンして、レーザにより乗員の指先などを検出してもよい。

図５は、図３の非接触操作装置４０による非接触投影操作処理の流れを示すフローチャートである。

ステップＳＴ１において、操作ＥＣＵ２０は、映像を投影した非接触操作を開始するか否かを判断する。操作ＥＣＵ２０は、たとえば表示指示がある場合、または表示するコンテンツがある場合、非接触操作を開始と判断し、処理をステップＳＴ２へ進める。それ以外の場合、操作ＥＣＵ２０は、非接触操作を開始しないと判断し、図５の処理を終了する。

ステップＳＴ２において、操作ＥＣＵ２０は、映像生成部５１として、最初の３Ｄ映像を生成して表示する。操作ＥＣＵ２０は、メモリ４７または車内通信部４１から取得する三次元モデルデータから三次元モデルを生成し、さらに投影用の映像データを生成する。操作ＥＣＵ２０は、三次元モデルについてあらかじめ設定された映像の最初の投影位置および表示向きの設定に基づいて、三次元モデルから投影用の映像データを生成する。操作ＥＣＵ２０は、生成した三次元モデルをメモリ４７に一時的に記録してもよい。この場合、操作ＥＣＵ２０は、映像を更新するための次回の生成処理ではメモリ４７から三次元モデルを読み込んで、投影用の映像データを生成することができる。操作ＥＣＵ２０は、生成した投影用の映像データを３Ｄ映像投影デバイス４３へ出力する。３Ｄ映像投影デバイス４３は、投影用の映像データによる映像を、車室３の空間に投影する。これにより、たとえば最初の投影位置が、運転姿勢の乗員の前へ投影する標準投影位置である場合、図４に示すように乗員の前の標準投影位置に、三次元モデルが所定の表示向きにより表示される。所定の表示向きは、たとえば三次元モデルに向きがある場合にはその正面とすればよい。運転姿勢の乗員は、そのまま手を伸ばすことにより、映像まで手を伸ばすことができる。

ステップＳＴ３において、操作ＥＣＵ２０は、操作判定部５２として、映像に対する乗員の操作を検出しているか否かを判断する。操作ＥＣＵ２０は、操作検出デバイス４４からたとえばステレオカメラ６３の画像といった検出情報を取得し、乗員のたとえば指先といった所定の部位を抽出し、所定の操作部位についてのたとえば車室３での位置の変化や動きの有無に基づいて、映像に対する乗員の操作を検出する。この時点での操作検出では、操作ＥＣＵ２０は、乗員の操作部位が映像を操作していなくても、映像に対する乗員の操作を検出したと判断してよい。映像に対する乗員の操作を検出しない場合、操作ＥＣＵ２０は、本ステップの判断処理を繰り返す。映像に対する乗員の操作を検出した場合、操作ＥＣＵ２０は、処理をステップＳＴ４へ進める。

ステップＳＴ４において、操作ＥＣＵ２０は、操作判定部５２として、映像に対する乗員の操作を判定する。操作ＥＣＵ２０は、映像の表面の投影位置を基準として、乗員の操作部位が映像に接触している状態にあるか否かを判定し、操作部位が映像を操作している状態にある場合にはさらに操作部位の接触形状、位置および動き（方向、速度）を判定する。接触形状は、たとえば接触している指の本数、手の位置などでよい。さらに、操作ＥＣＵ２０は、映像の表面の投影位置を基準として、操作部位が映像に接触するまでの残距離、操作部位が映像に対して接触している深さ、などを判定してもよい。
また、操作ＥＣＵ２０は、操作情報に基づいて、車室３の空間に投影されている映像のたとえばボタンといった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。

ステップＳＴ５において、操作ＥＣＵ２０は、操作判定部５２として、判定した乗員の操作についての操作情報および操作による入力情報を、装置の内外へ出力する。操作ＥＣＵ２０は、操作情報を、映像生成部５１、刺激応答出力部５３、音応答出力部５４、へ出力する。操作ＥＣＵ２０は、入力情報を、車内通信部４１を通じて自動車１の各部に設けられる複数の被制御装置の制御ＥＣＵへ出力する。

ステップＳＴ６において、操作ＥＣＵ２０は、操作情報に基づいて、操作に対する応答を触覚および音により出力する。
操作ＥＣＵ２０は、刺激応答出力部５３として、操作情報に基づいて、映像に接触している状態にある乗員の操作部位の位置を特定し、その位置へ向けて超音波を出力するように、超音波を出力する複数の超音波素子６５を選択し、刺激出力デバイス４５へ電気信号を出力する。刺激出力デバイス４５は、選択された複数の超音波素子６５から超音波を出力する。乗員は、超音波による応答により、映像を操作している触感を得ることができる。
操作ＥＣＵ２０は、音応答出力部５４として、操作情報に基づいて特定される映像に接触している状態にある乗員の操作部位の動き、および映像の接触箇所に応じて、メモリ４７から音声データを選択し、音信号を音出力デバイス４６へ出力する。音出力デバイス４６は、音信号に基づく音を車室３へ出力する。これにより、乗員は、操作の応答音として、乗員の操作部位の動きおよび映像の接触箇所に応じて異なる音を聞くことができる。

ステップＳＴ７において、操作ＥＣＵ２０は、映像生成部５１として、操作情報に基づいて、操作に対する応答のために、投影する３Ｄ映像を更新する。操作ＥＣＵ２０は、メモリ４７に記録してある三次元モデルを読み込んで、投影用の映像データを更新し、３Ｄ映像投影デバイス４３へ出力する。３Ｄ映像投影デバイス４３は、更新された映像を、車室３へ投影する。これにより、乗員は、映像の変化により、映像に対して操作をしていることを視覚的に認識することができる。操作ＥＣＵ２０は、操作検出デバイス４４により検出される同じ乗員の操作部位の操作情報に応じて、映像と刺激の出力とを同期するように更新する。

ステップＳＴ８において、操作ＥＣＵ２０は、非接触操作を終了するか否かを判断する。操作ＥＣＵ２０は、たとえば操作に基づく入力情報を出力し終えている場合、新たな表示指示がない場合、または、表示しているコンテンツが終了する場合、非接触操作を終了と判断し、図５の処理を終了する。それ以外の場合、操作ＥＣＵ２０は、処理をステップＳＴ３へ戻す。操作ＥＣＵ２０は、ステップＳＴ８において非接触操作を終了と判断するまで、ステップＳＴ３からステップＳＴ８の処理を繰り返す。この繰返処理の間、操作ＥＣＵ２０は、映像に対する乗員の操作に応じて、乗員の操作部位に対する刺激の応答、音の応答、映像の更新による応答の処理を繰り返す。すなわち、操作ＥＣＵ２０は、操作に応じて映像を更新する際に、超音波場による刺激の出力を、更新される映像に対応させて変更することになる。超音波場による刺激は、映像の更新に追従するように同期的に制御し得る。

図６は、第一実施形態での、操作判定処理および判定結果としての応答出力処理の流れを示すフローチャートである。
図６の処理は、図５において点線四角枠で囲ったステップＳＴ４からステップＳＴ６の処理に対応する。図６では、ステップＳＴ５の入力情報を外部へ出力する処理と、ステップＳＴ６の音応答出力処理とについては、省略している。

ステップＳＴ１１において、操作ＥＣＵ２０は、操作判定のために、操作検出デバイス４４から、乗員の操作を取得する。
ステップＳＴ１２において、操作ＥＣＵ２０は、操作判定のためにさらに、走行状態検出デバイス４８から、走行状態を取得する。

ステップＳＴ１３において、操作ＥＣＵ２０は、自動車１の走行に起因する乗員の振れなどの動きがあるか否かを判断する。
操作ＥＣＵ２０は、たとえば取得した走行状態の加速度または加重が所定値以下である場合、自動車１の走行に起因する乗員の動きがないと判断する。この場合、操作ＥＣＵ２０は、処理をステップＳＴ１６へ進める。
操作ＥＣＵ２０は、たとえば取得した走行状態の加速度または加重が所定値以下でない場合、自動車１の走行に起因する乗員の動きがあると判断する。この場合、操作ＥＣＵ２０は、処理をステップＳＴ１４へ進める。

自動車１の動きに起因する動きがない場合でのステップＳＴ１６において、操作ＥＣＵ２０は、検出される乗員の操作を調整しないで、映像に対する乗員の操作を判定する。
操作ＥＣＵ２０は、操作検出デバイス４４により検出されている、映像に対する乗員の操作部位による操作について、映像に対して設定する入力可能エリアを用いて、乗員の操作部位が入力可能エリアに接触している状態にあるか否かを判定し、操作部位が入力可能エリアを操作している状態にある場合にはさらに操作部位の接触形状、位置および動き（方向、速度）を判定する。また、操作ＥＣＵ２０は、操作情報に基づいて、車室３の空間に投影されている映像のたとえばボタンといった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。

ステップＳＴ１７において、操作ＥＣＵ２０は、ステップＳＴ１６において判定した操作に対する応答出力を実行する。
操作ＥＣＵ２０は、ステップＳＴ１６において判定した操作に対する触覚刺激を、ステップＳＴ１６において判定に使用した操作部位の位置に対して、刺激出力デバイス４５から出力する。
自動車１の動きに起因する動きがない場合、操作ＥＣＵ２０は、触覚刺激を、走行状態検出デバイス４８の検出により調整されていない乗員の操作部位の位置に対して出力するように、刺激出力デバイス４５に指示する。

自動車１の動きに起因する動きがある場合でのステップＳＴ１４において、操作ＥＣＵ２０は、検出される乗員の操作を調整して、映像に対する乗員の操作を判定する。
操作ＥＣＵ２０は、映像についての入力可能エリアの位置を、走行状態検出デバイス４８により検出される乗員についての、自動車１の動きに起因する動きにより補正して、乗員の動きを調整する。そして、操作ＥＣＵ２０は、操作検出デバイス４４により検出されている、映像についての乗員の操作について、位置を調整した入力可能エリアに対して操作しているか否かを判定する。これにより、乗員が映像に対してしようとした操作が判定できる。操作ＥＣＵ２０は、位置を調整した操作による入力可能エリアに対する操作を判定することにより、乗員の操作部位が映像に接触している状態にあるか否かを判定し、操作部位が映像を操作している状態にある場合にはさらに操作部位の接触形状、位置および動き（方向、速度）を判定する。また、操作ＥＣＵ２０は、操作情報に基づいて、車室３の空間に投影されている映像のたとえばボタンといった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。

ステップＳＴ１５において、操作ＥＣＵ２０は、ステップＳＴ１４において判定した操作に対する触覚刺激の応答出力を実行する。
操作ＥＣＵ２０は、ステップＳＴ１４において判定した操作に対する触覚刺激を、刺激出力デバイス４５から出力する。
自動車１の動きに起因する動きがある場合、操作ＥＣＵ２０は、触覚刺激を、走行状態検出デバイス４８の検出により調整されている乗員の操作部位の位置に対してではなく、操作検出デバイス４４により実際に検出されている乗員の操作部位に対して出力するように、刺激出力デバイス４５に指示する。
操作ＥＣＵ２０は、ステップＳＴ１４の操作判定において乗員の操作を走行状態検出デバイス４８の検出により調整して判定している場合、ステップＳＴ１６のように走行状態検出デバイス４８の検出により調整しないで判定する場合と比べてより広い範囲に対して、乗員の操作に対する触覚刺激の応答を出力する。

図７は、図６に対応する操作判定処理および触覚刺激による応答出力処理の一例の説明図である。
図７において、３Ｄ映像投影デバイス４３は、操作面にボタン７１を有する立方体７０の映像を、乗員の前に投影する。

操作判定部５２としての操作ＥＣＵ２０は、投影されるボタン７１の位置に、図中に破線で示す入力可能エリア７２を設定する。操作判定部５２は、この入力可能エリアに対する乗員による操作を判定する。操作判定部５２は、たとえば乗員の指先が入力可能エリア７２に触れるように動くと、ボタン７１を操作したと判定する。
そして、乗員について、自動車１の動きに起因する動きがある場合、操作ＥＣＵ２０は、入力可能エリア７２を、ボタン７１と重なる初期位置から移動させる。入力可能エリア７２の初期位置からのオフセット方向は、走行状態検出デバイス４８により検出される乗員についての、自動車１の動きに起因する動きと同じ方向とすればよい。入力可能エリア７２の初期位置からのオフセット量は、走行状態検出デバイス４８により検出される乗員についての、自動車１の動きに起因する動きの量と同じにすればよい。

図７では、ボタン７１を操作しようとする指は、自動車１の動きに起因して、図の右上方向へ触れている。この場合、操作ＥＣＵ２０は、入力可能エリア７２を初期位置から右上方向へオフセット移動させ、オフセット移動させた後の入力可能エリア７３により、乗員によるボタン７１の操作を判定する。これにより、操作ＥＣＵ２０は、乗員についての、自動車１の動きに起因する動きを相殺するように抑制して、入力可能エリア７３により乗員によるボタン７１の操作を判定することができる。なお、オフセット方向は、自動車１に横方向の加速度が作用している場合には、その横方向とし、前後方向の加速度が作用している場合には、その前後方向とすればよい。また、オフセット量は、乗員についての、自動車１の動きに起因する動きの量に比例させてもよい。オフセット量は、自動車１の通常の走行中に作用すると想定される最大の加速度において、数ミリメートル程度のオフセット量としてよい。

以上のように、本実施形態では、自動車１の動き、または自動車１の動きに起因する乗員の全体的な動きを検出する。そして、動き検出デバイスの検出に基づいて、乗員についての、自動車１の動きに起因する動きを抑制するように調整して、操作検出デバイス４４の検出に基づく車室３の中空に投影される映像に対する乗員の操作部位による操作を判定する。
これにより、本実施形態では、乗員が、自動車１の動きによらずに本来的にしようとした、中空に投影される映像に対する非接触の操作を、走行中の自動車１の動きによらずに、適切に判定することができる。本実施形態では、乗員の操作を、自動車１の挙動によって乗員の身体が流れている状態においても、正確に判定することができる。

［第二実施形態］
次に、本発明の第二実施形態に係る自動車１の非接触操作装置４０を説明する。本実施形態では、上述した実施形態に対応する構成要素に対してと上述した実施形態と同じ符号を使用して、その説明を省略する。

図８は、第二実施形態での、操作判定処理および判定結果としての応答出力処理の流れを示すフローチャートである。

自動車１の動きに起因する動きがある場合でのステップＳＴ２１において、操作ＥＣＵ２０は、検出される乗員の操作を調整して、映像に対する乗員の操作を判定する。
操作ＥＣＵ２０は、ステップＳＴ２２と同様に、投影される映像に対して設定される入力可能エリアを用いて、乗員による操作を判定する。なお、ステップＳＴ２２の処理は、ステップＳＴ１６と同様である。そして、ステップＳＴ２１では特に、操作ＥＣＵ２０は、映像についての入力可能エリアの範囲を、走行状態検出デバイス４８により検出される乗員についての、自動車１の動きに起因する動きにより補正して、乗員の動きを調整する。操作ＥＣＵ２０は、自動車１の動きに起因する動きの大きさに応じて、入力可能エリアを拡大するように調整する。
そして、操作ＥＣＵ２０は、操作検出デバイス４４により検出されている、映像についての乗員の操作について、範囲を拡大した入力可能エリアに対して操作しているか否かを判定する。これにより、乗員が映像に対してしようとした操作が判定できる。操作ＥＣＵ２０は、範囲を拡大した入力可能エリアに対する操作を判定することにより、乗員の操作部位が映像に接触している状態にあるか否かを判定し、操作部位が映像を操作している状態にある場合にはさらに操作部位の接触形状、位置および動き（方向、速度）を判定する。また、操作ＥＣＵ２０は、操作情報に基づいて、車室３の空間に投影されている映像のたとえばボタン７１といった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。

その後のステップＳＴ１５において、操作ＥＣＵ２０は、ステップＳＴ２１において判定した操作に対する触覚刺激の応答出力を実行する。自動車１の動きに起因する動きがあるため、操作ＥＣＵ２０は、触覚刺激を、走行状態検出デバイス４８の検出により調整されている乗員の操作部位の位置に対してではなく、操作検出デバイス４４により実際に検出されている乗員の操作部位に対して出力するように、刺激出力デバイス４５に指示する。
操作ＥＣＵ２０は、ステップＳＴ２１の操作判定において乗員の操作を走行状態検出デバイス４８の検出により調整して判定している場合、ステップＳＴ２２のように走行状態検出デバイス４８の検出により調整しないで判定する場合と比べてより広い範囲に対して、乗員の操作に対する触覚刺激の応答を出力する。

図９は、図８に対応する操作判定処理および触覚刺激による応答出力処理の一例の説明図である。
図９において、３Ｄ映像投影デバイス４３は、操作面にボタン７１を有する立方体７０の映像を、乗員の前に投影する。

操作判定部５２としての操作ＥＣＵ２０は、投影されるボタン７１の位置に、図中に破線で示す入力可能エリア７２を設定する。操作判定部５２は、この入力可能エリアに対する乗員による操作を判定する。操作判定部５２は、たとえば乗員の指先が入力可能エリア７２に触れるように動くと、ボタン７１を操作したと判定する。
そして、乗員について、自動車１の動きに起因する動きがある場合、操作ＥＣＵ２０は、入力可能エリア７２を、初期サイズから拡大する。入力可能エリア７２の初期サイズからの拡大率は、走行状態検出デバイス４８により検出される乗員についての、自動車１の動きに起因する動きの量に対応する割合でよい。また、図９では、入力可能エリア７２は、上下左右のすべての方向で拡大されている。この他にもたとえば、入力可能エリア７２は、走行状態検出デバイス４８により検出される乗員についての、自動車１の動きに起因する動きと同じ方向において拡大されてもよい。たとえば縦方向でのみ乗員が動いている場合には、操作ＥＣＵ２０は、入力可能エリア７２を上下方向にのみ拡大してよい。

図９では、ボタン７１を操作しようとする指は、自動車１の動きに起因して、図の右上方向へ触れている。この場合、操作ＥＣＵ２０は、入力可能エリア７２を初期サイズから拡大し、拡大後の入力可能エリア７４により、乗員によるボタン７１の操作を判定する。これにより、操作ＥＣＵ２０は、乗員についての、自動車１の動きに起因する動きの影響を抑制して、入力可能エリア７４により乗員によるボタン７１の操作を判定することができる。

以上のように、本実施形態では、自動車１の動き、または自動車１の動きに起因する乗員の全体的な動きを検出する。そして、動き検出デバイスの検出に基づいて、乗員についての、自動車１の動きに起因する動きを抑制するように調整して、操作検出デバイス４４の検出に基づく車室３の中空に投影される映像に対する乗員の操作部位による操作を判定する。
これにより、本実施形態では、乗員が、自動車１の動きによらずに本来的にしようとした、中空に投影される映像に対する非接触の操作を、走行中の自動車１の動きによらずに、適切に判定することができる。本実施形態では、乗員の操作を、自動車１の挙動によって乗員の身体が流れている状態においても、正確に判定することができる。

［第三実施形態］
次に、本発明の第三実施形態に係る自動車１の非接触操作装置４０を説明する。本実施形態では、上述した実施形態に対応する構成要素に対してと上述した実施形態と同じ符号を使用して、その説明を省略する。
本実施形態では、操作検出デバイス４４、または走行状態検出デバイス４８は、乗員などを撮像することにより、走行中の自動車１の動きに起因する乗員の全体的な動きを検出する。

図１０は、第三実施形態での、操作判定処理および判定結果としての応答出力処理の流れを示すフローチャートである。

自動車１の動きに起因する動きがある場合でのステップＳＴ３１おいて、操作ＥＣＵ２０は、検出される乗員の操作を調整して、映像に対する乗員の操作を判定する。
操作ＥＣＵ２０は、ステップＳＴ３２と同様に、投影される映像に対する乗員の操作部位の動きにより、乗員による操作を判定する。なお、ステップＳＴ３２の処理は、ステップＳＴ１６と同様である。そして、ステップＳＴ３１では特に、操作ＥＣＵ２０は、操作検出デバイス４４により検出されている、映像についての入力可能エリアに対する乗員の操作を、操作検出デバイス４４または走行状態検出デバイス４８により検出される乗員についての、自動車１の動きに起因する動きを相殺するように、補正して、調整する。これにより、乗員が映像に対してしようとした操作が得られる。操作ＥＣＵ２０は、調整した操作により、映像に対する操作を判定することにより、乗員の操作部位が映像に接触している状態にあるか否かを判定し、操作部位が映像を操作している状態にある場合にはさらに操作部位の接触形状、位置および動き（方向、速度）を判定する。また、操作ＥＣＵ２０は、操作情報に基づいて、車室３の空間に投影されている映像のたとえばボタン７１といった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。

その後のステップＳＴ１５において、操作ＥＣＵ２０は、ステップＳＴ３１において判定した操作に対する触覚刺激の応答出力を実行する。自動車１の動きに起因する動きがあるため、操作ＥＣＵ２０は、触覚刺激を、走行状態検出デバイス４８の検出により調整されている乗員の操作部位の位置に対してではなく、操作検出デバイス４４により実際に検出されている乗員の操作部位に対して出力するように、刺激出力デバイス４５に指示する。
操作ＥＣＵ２０は、ステップＳＴ３１の操作判定において乗員の操作を走行状態検出デバイス４８の検出により調整して判定している場合、ステップＳＴ３２のように走行状態検出デバイス４８の検出により調整しないで判定する場合と比べてより広い範囲に対して、乗員の操作に対する触覚刺激の応答を出力する。

図１１は、図１０に対応する操作判定処理および触覚刺激による応答出力処理の一例の説明図である。
図１１において、３Ｄ映像投影デバイス４３は、球体７５の映像を、乗員の前に投影する。

操作判定部５２としての操作ＥＣＵ２０は、投影される球体７５に対する乗員による操作を判定する。操作判定部５２は、たとえば乗員の指先が球体７５の表面に触れるように動くと、映像を操作したと判定する。
そして、乗員について、自動車１の動きに起因する動きがある場合、操作ＥＣＵ２０は、映像としての球体７５を操作する乗員の指先の位置を、乗員についての、自動車１の動きに起因する動きを相殺するように、補正して、調整する。
たとえば、操作ＥＣＵ２０は、操作の前後の映像中の撮像位置の違いに基づいて、自動車１の動きに起因する乗員の頭部の移動方向および移動量を演算する。そして、操作ＥＣＵ２０は、乗員の指先の位置を、頭部の移動方向と逆向きに、頭部の移動量にて補正する。

図１１では、乗員の頭部は、自動車１の動きに起因して、自動車１の前方向である図の左方向へ振れるように移動している。この場合、操作ＥＣＵ２０は、映像としての球体７５を操作しようとする乗員の指先の位置を、自動車１の後方向である図の左方向へ、頭部の移動量で補正する。操作ＥＣＵ２０は、調整した指先の位置により、映像に対する操作を判定する。

以上のように、本実施形態では、自動車１の動き、または自動車１の動きに起因する乗員の全体的な動きを検出する。そして、動き検出デバイスの検出に基づいて、乗員についての、自動車１の動きに起因する動きを抑制するように調整して、操作検出デバイス４４の検出に基づく車室３の中空に投影される映像に対する乗員の操作部位による操作を判定する。
これにより、本実施形態では、乗員が、自動車１の動きによらずに本来的にしようとした、中空に投影される映像に対する非接触の操作を、走行中の自動車１の動きによらずに、適切に判定することができる。本実施形態では、乗員の操作を、自動車１の挙動によって乗員の身体が流れている状態においても、正確に判定することができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるのもではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

１…自動車（車両）、２…車体、３…車室、４…シート、１０…制御系、２０…操作ＥＣＵ、４０…非接触操作装置、４３…３Ｄ映像投影デバイス（投影デバイス）、４４…操作検出デバイス、４５…刺激出力デバイス、４６…音出力デバイス、４８…走行状態検出デバイス（動き検出デバイス）、５１…映像生成部（生成部）、５２…操作判定部、５３…刺激応答出力部、５４…音応答出力部、６１…表示スクリーン、６２…ハーフミラー、６３…ステレオカメラ、６４…四角枠体、６５…超音波素子、７０…立方体、７１…ボタン（映像の一部）、７２，７３，７４…入力可能エリア、７５…球体７（映像）

Claims (5)

1. 車両の車室の空間へ映像を投影する投影デバイスと、
   前記投影デバイスにより投影される前記映像を生成および更新する生成部と、
   前記車室の前記空間に投影されている前記映像に対して設定される入力可能エリアに非接触の操作をする前記車両の乗員の操作部位を検出する操作検出デバイスと、
   前記車室の前記空間に投影されている前記映像に対する前記乗員の非接触の操作を、前記映像に対する前記乗員の前記操作部位の位置または動きに基づいて判定する操作判定部と、
   前記車両の動き、または前記車両の動きに起因する前記乗員の動きを検出する動き検出デバイスと、
   前記車室に乗っている前記乗員に対して配置され、前記映像に対して操作をする前記乗員へ超音波場による触覚刺激を出力可能な刺激出力デバイスと、
   前記操作判定部により判定された操作に対する応答として、投影されている前記映像に対して前記操作をする前記乗員の操作部位に対して、前記超音波場による前記触覚刺激を出力する刺激応答出力部と、
   を有し、
   前記操作判定部は、
   前記動き検出デバイスの検出に基づいて、前記映像の位置に対する前記入力可能エリアの位置を、前記映像と重なる第１の位置から、前記車両の動きに起因する前記乗員の動きと同じ方向に前記第１の位置よりも前記映像の位置に対してオフセットされた第２の位置に移動して、または、前記動き検出デバイスの検出に基づいて、前記映像のサイズに対する前記入力可能エリアのサイズを、前記映像と重なる第１のサイズから、前記車両の動きに起因する前記乗員の動きの量に対応する拡大率で前記第１のサイズを拡大した第２のサイズにすることで拡大して、前記車室の前記空間に投影される前記映像に対する前記乗員の操作部位による操作を判定し、
   前記刺激応答出力部は、
   前記操作判定部が、前記乗員の操作を、前記動き検出デバイスの検出により調整して判定している場合、
   前記動き検出デバイスにより検出されている前記乗員の操作部位に対して、前記乗員の操作に対する前記触覚刺激の応答を出力するとともに、
   前記動き検出デバイスの検出により調整されていない、前記操作検出デバイスより検出される前記乗員の操作部位の位置に対して、前記乗員の操作に対する前記触覚刺激の応答を出力して、
   前記動き検出デバイスの検出により調整しないで判定する場合より広い範囲へ、前記乗員の操作に対する前記触覚刺激の応答を出力する、
   車両の非接触操作装置。
   
2. 前記操作判定部は、
   前記投影デバイスにより投影される前記映像に対する前記乗員の動きにより、前記乗員による操作を判定し、
   前記動き検出デバイスの検出に基づいて、前記操作検出デバイスにより検出される前記乗員の動きを、前記車両の動きに起因する身体、上体、肩、頭部のいずれかの動きを抑制するように調整して、前記乗員による操作を判定する、
   請求項１記載の、車両の非接触操作装置。
   
3. 前記動き検出デバイスは、前記車両の走行状態を検出する、
   請求項１または２記載の、車両の非接触操作装置。
   
4. 前記動き検出デバイスは、前記乗員を撮像した画像に基づいて、前記車両の動きに起因する前記乗員の動きを検出する、
   請求項１から３のいずれか一項記載の、車両の非接触操作装置。
   
5. 請求項１から４のいずれか一項記載の非接触操作装置と、
   前記非接触操作装置とネットワークを通じて接続され、前記車両を制御する複数の被制御装置と、
   を有し、
   複数の前記被制御装置の各々は、前記非接触操作装置が車室に投影する映像に対する乗員の非接触操作に基づいて生成する入力情報を、前記ネットワークを通じて前記非接触操作装置から取得する、
   車両。
   

Images