JP2017197015A - 車載用情報処理システム - Google Patents

Abstract

【課題】自車の走行状態を直感的に制御できる車載用情報処理システムを提供する。【解決手段】車載用情報処理システム１０は、自車の走行状態を表示する少なくとも１つの画面を有する表示部１１と、操作者の操作手による接触を検出するタッチ操作部１２と、操作手の少なくとも一部と、タッチ操作部１２とを撮像する撮像部１３と、撮像部１３により撮像された画像に基づいて、操作手の少なくとも一部を画面上に重畳表示させ、タッチ操作部１２上での操作手の一部の動きに基づいて、自車の走行状態を制御する制御部１５と、を備える。【選択図】図１

Description

本発明は、車両に関する情報を制御するために車両に搭載される車載用情報処理システムに関する。

従来、自車の周辺状況を表示して、運転者に適切な安全確認を促す車両用情報提供装置が知られている。

例えば、特許文献１に開示された車両用情報提供装置は、電子ミラーに運転者確認画像を表示させて、電子ミラーの確認が必要なときに、運転者が電子ミラーに視線を向ける頻度を向上させることが可能である。

特開２０１５−０１１４５７

しかしながら、特許文献１に記載の車両用情報提供装置は、情報を表示して必要に応じて報知するものであり、例えば、自動運転において運転者自身が自車の走行状態を制御できるものではなかった。従って、自車の走行状態を直感的に制御できるインターフェースの実現が望まれる。

かかる観点に鑑みてなされた本発明の目的は、自車の走行状態を直感的に制御できる車載用情報処理システムを提供することにある。

上記課題を解決する第１の観点に係る車載用情報処理システムは、
自車の走行状態を表示する少なくとも１つの画面を有する表示部と、
操作者の操作手による接触を検出するタッチ操作部と、
前記操作手の少なくとも一部と、前記タッチ操作部とを撮像する撮像部と、
前記撮像部により撮像された画像に基づいて、前記操作手の少なくとも一部を前記画面上に重畳表示させ、前記タッチ操作部上での前記操作手の一部の動きに基づいて、前記自車の走行状態を制御する制御部と、
を備える。

また、第２の観点に係る車載用情報処理システムでは、
前記制御部は、前記タッチ操作部における１つの指の動きに基づいて、前記自車の走行状態を制御する。

また、第３の観点に係る車載用情報処理システムでは、
前記制御部は、前記タッチ操作部における２つ以上の指の動きに基づいて、前記自車の走行状態を制御する。

また、第４の観点に係る車載用情報処理システムでは、
前記表示部は、前記自車の走行状態を、視覚情報によって表示する。

また、第５の観点に係る車載用情報処理システムでは、
前記自車の走行状態は、当該自車と前車との位置関係である。

また、第６の観点に係る車載用情報処理システムでは、
前記自車の走行状態は、当該自車の車速である。

また、第７の観点に係る車載用情報処理システムでは、
前記自車の走行状態は、複数車線における当該自車の走行位置である。

また、第８の観点に係る車載用情報処理システムでは、
前記自車の走行状態は、交差点に対する予定通過経路である。

第１の観点に係る車載用情報処理システムによれば、操作者は、自車の走行状態を直感的に制御できる。

また、第２の観点に係る車載用情報処理システムによれば、操作者は、容易かつ直感的に自車の走行状態を制御できる。

また、第３の観点に係る車載用情報処理システムによれば、操作者は、直感的に自車の走行状態を制御できる。

また、第４の観点に係る車載用情報処理システムによれば、操作者は、自車の走行状態を容易に視認できる。

また、第５の観点に係る車載用情報処理システムによれば、操作者は、自車と前車との車間距離を直感的に制御できる。

また、第６の観点に係る車載用情報処理システムによれば、操作者は、自車の車速を直感的に制御できる。

また、第７の観点に係る車載用情報処理システムによれば、操作者は、複数車線における自車の走行位置を直感的に制御できる。

また、第８の観点に係る車載用情報処理システムによれば、操作者は、交差点に対する通過経路を直感的に制御できる。

本実施形態に係る車載用情報処理システムの全体を示す模式図である。 図１の車載用情報処理システムの概略構成を示す機能ブロック図である。 表示部に表示される画像の一例を示した模式図である。 タッチ操作部を側面方向から見たときの断面を模式的に示す図である。 操作部を上面方向から見たときの模式図である。 タッチ操作部の所定の領域と、表示部を構成する画面上の操作領域との対応関係の一例を示す模式図である。 車載用情報処理システムが行う画像処理の様子を示した模式図である。 図１に示した表示部の拡大図である。 操作者による車間距離の制御の一例を示した模式図である。 操作者による自車の車速の制御の一例を示した模式図である。 操作者による複数車線における自車の走行位置の制御の一例を示した模式図である。 操作者による、交差点に対する予定通過経路の制御の一例を示した模式図である。 主に、操作者が操作部により画面を選択操作する際の制御を示すフローチャートである。 操作者が自車の走行状態を制御する際のフローチャートである。

以降、諸図面を参照しながら、本発明の実施形態について詳細に説明する。

図１は、本実施形態に係る車載用情報処理システム１０の全体を示す模式図である。図２は、図１の車載用情報処理システム１０の概略構成を示す機能ブロック図である。車載用情報処理システム１０は、表示部１１と、タッチ操作部１２と、撮像部１３と、操作部１４と、制御部１５と、記憶部１６とを有する。図３は、表示部１１に表示される画像の一例を示した模式図である。図３（ａ）は、メニュー画面の一例を示し、図３（ｂ）は、地図画面の一例を示す。図４は、タッチ操作部１２を側面方向から見たときの断面を模式的に示す図である。図５は、操作部１４を上面方向から見たときの模式図である。

車載用情報処理システム１０は、表示部１１を構成する画面上の操作領域内の位置座標と、タッチ操作部１２の所定の領域内の位置座標とを対応させて、撮像部１３により撮像した画像に基づいて、操作者の操作手を画面上に重畳表示する。すなわち、タッチ操作部１２上での操作者によるタッチ操作に基づいて、画面上に重畳表示した操作手が、対応する位置で仮想的に画面を操作する。車載用情報処理システム１０は、画面上に重畳表示した操作手の動きを、撮像部１３によって撮像した実際の操作者の操作手の動きと対応させる。ここで、操作者とは、例えば車両を運転する運転者又は助手席に座っている同乗者であり、操作手とは、例えばセンターコンソール側の運転者又は同乗者自身の手である。

図１に示すとおり、表示部１１は、少なくとも１つの画面を有する。表示部１１は、液晶ディスプレイなどの任意の表示装置により構成されてもよい。表示部１１は、液晶ディスプレイによって構成される場合、例えばインストルメントパネルに配置される。表示部１１を構成する表示装置は、タッチパネルディスプレイであってもよいし、タッチ操作不能のディスプレイであってもよい。以下では、表示部１１は、タッチ操作不能のディスプレイであるとして説明する。

また、車載用情報処理システム１０は、表示部１１に加えて又は代えて、いわゆるヘッドアップディスプレイ型の装置を有してもよい。この場合、ヘッドアップディスプレイ型の装置は、表示情報を表示光として発生する発光部を有し、発生した表示光を運転者等の観察者へ向かうように反射して、フロントウィンドシールド越しに虚像を表示する。なお、観察者は運転者に限らず助手席に座っている同乗者等でもよい。

表示部１１は、車両に関する情報若しくは当該情報を制御するための機能項目、又はこれらの組合せを表示する。以下では、これらをまとめて「表示内容」という。車両に関する情報は、例えば、空調、カーナビゲーション、オーディオ、電子ミラーによる車両周囲の画像、車間距離、車速、複数車線における自車の走行位置、又は交差点に対する予定通過経路などの情報を含む。当該情報を制御するための機能項目は、例えば、「戻る」、「進む」、「ホーム」、「決定」、「各種メニュー」、「温度高い・低い」、「現在地」、「音量大・小」、「拡大・縮小」、「距離長い・短い」、「速度速い・遅い」、「車線変更」、又は「通過経路選択」などの項目を含む。表示部１１は、各項目を文字として表示してもよいし、アイコンとして表示してもよい。

例えば、図３（ａ）に示すとおり、表示部１１は、車両に関する情報を制御するための機能項目として、各種メニューを１つの画面上に表示する。具体的には、表示部１１は、各種アプリを表示するための項目として「ＡＰＰＳ」を、電話を使用するための項目として「ＴＥＬ」を、エアコンを制御するための項目として「Ａ／Ｃ」を、カーナビゲーションを使用するためのメニューとして「ＮＡＶＩ」を、オーディオを使用するためのメニューとして「ＡＵＤＩＯ」を表示する。同様に、表示部１１は、ホーム画面に戻るための項目として「ＨＯＭＥ」を表示し、１つ前の画面に戻るための項目として「ＲＥＴＵＲＮ」を表示する。

例えば、図３（ｂ）に示すとおり、表示部１１は、車両に関する情報として、カーナビゲーションシステムの一部である地図情報を１つの画面上に表示する。さらに、表示部１１は、車両に関する情報及び当該情報を制御するための機能項目の組合せとして、当該地図情報に重畳させるように、「目的地設定」、「ＨＯＭＥ」、及び「ＲＥＴＵＲＮ」などの機能項目を表示する。

表示部１１は、上記の表示内容と重畳させるように操作者の操作手を表示する。表示部１１は、図３に示すとおり、操作者の操作手を半透過にして、その背後に上記の表示内容を表示する。表示部１１は、これに限定されず、操作者の操作手が重畳したときに、背後の表示内容が一時的に隠れるように、不透明な操作手を表示してもよい。

以下では、半透過の度合い、すなわち透過率は、重畳させる位置に依存せず一定であるとして説明するが、これに限定されず、重畳させる位置ごとに変化してもよい。例えば、機能項目を表示している位置では、操作者がどの項目を選択すべきかを十分に視認可能なように、表示部１１は、透過率を所定値よりも上げて操作者の操作手を表示してもよい。逆に、単なる背景のみを表示している位置では、表示部１１は、透過率を所定値よりも下げて表示してもよい。

また、表示部１１は、グラデーションを付した操作者の操作手を表示してもよい。ここで述べるグラデーションは、明暗、色彩、若しくは透過率又はこれらの組合せに関する任意の段階的変化を含んでよい。表示部１１は、操作者が背後の表示内容を容易に視認可能な任意の方法によりグラデーション表示するのが好適である。例えば、表示部１１は、重畳表示した操作者の操作手の指先により近づくほど、操作手を徐々に明るくしたり、淡い色へと徐々に変えたり、透過率を徐々に上げたりして表示してもよい。

透過率が低いほど、重畳させる操作者の操作手のリアリティは向上するが、操作者は、背後の表示内容を視認することが困難となる。逆に、透過率が高いほど、操作者による背後の表示内容の視認は容易となるが、リアリティは低下する。従って、表示部１１は、重畳させる操作者の操作手のリアリティを確保しつつ、表示内容を操作者が容易に視認可能な任意の表示方法によりそれぞれを表示するのが好適である。

表示部１１は、上述の表示内容などが表示される仮想空間上に、現実世界の操作者の操作手を重畳させるものとして説明したが、これに限定されない。例えば、表示部１１は、いわゆるミックスドリアリティのように、画面上に表示した操作者の操作手の前面から、表示内容などを重畳表示してもよい。

タッチ操作部１２は、図１に示すとおり、例えばセンターコンソールに配置される。タッチ操作部１２は、図２に示すとおり、タッチパッド１２１と、タクトスイッチ１２２とを有する。図４に示すとおり、操作者は、アームレスト及びパームレストに自身の腕及び手首をそれぞれ乗せて、操作手の一部、例えば指をタッチパッド１２１に接触させる。

タッチパッド１２１は、操作者の操作手又はスタイラスペンなどの接触物による接触を、対応する接触位置において検出する。特に、タッチパッド１２１は、操作者の操作手の一部、例えば指による接触を対応する接触位置において検出する。操作者は、タッチ操作部１２、特にタッチパッド１２１上でタッチ操作を行うことにより、表示部１１を構成する各画面上に表示される情報を操作する。タッチパッド１２１は、例えば透明なガラスにより形成され、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、又は電磁誘導方式などの任意の方式により構成されたタッチセンサを用いることができる。以下では、タッチパッド１２１は、静電容量方式による静電タッチパッドであるものとして説明する。

タクトスイッチ１２２は、図４に示すとおり、タッチパッド１２１の直下に配置され、基板により支持される。タクトスイッチ１２２は、操作者の押込みによってタッチパッド１２１が下方へと変位した場合、その押圧によりオンになる。タクトスイッチ１２２は、操作者の押込みが解除されタッチパッド１２１が元の位置に戻った場合、オフになる。操作者は、タッチパッド１２１を押込むと、タクトスイッチ１２２がオンになることで、クリック感を得る。

図４では、タクトスイッチ１２２は、タッチパッド１２１の直下において、その中心部に１つ配置されているが、これに限定されず、タッチパッド１２１からの押圧を検出可能であれば、任意の個数で任意の場所に配置されてもよい。例えば、タクトスイッチ１２２は、タッチパッド１２１の直下において、その外周部に１つ配置されてもよいし、分散した位置に複数個配置されてもよい。例えば、タッチパッド１２１の直下に複数のタクトスイッチ１２２が配置されることで、タッチ操作部１２は、タッチパッド１２１の所定のエリアごとにタッチパッド１２１からの押圧を検出可能なように構成されてもよい。すなわち、タッチ操作部１２は、操作者の複数の指が同時にタッチパッド１２１に接触している場合に、タッチパッド１２１上のどの位置で操作者が押込んだかを検出可能なように構成されてもよい。

タッチパッド１２１の直下に配置される構成部は、タクトスイッチ１２２に限定されず、タッチパッド１２１からの押圧を検出可能であれば、任意の構成であってよい。例えば、タクトスイッチ１２２に代えて、圧電素子などの感圧センサがタッチパッド１２１の直下に配置されてもよい。

タッチ操作部１２は、タッチパッド１２１と、タクトスイッチ１２２とに加えて、車両走行中の振動によるタッチパッド１２１の不要な検出信号を除去するために、フィルターを有してもよい。

撮像部１３は、少なくとも１つのカメラを有し、例えば、ルーフパネルに配置される。撮像部１３を構成するカメラは、ルーフパネルから車内を撮像するように配置される。より具体的には、撮像部１３は、タッチ操作部１２でタッチ操作を行う操作者の操作手の少なくとも一部と、タッチ操作部１２とを上方から撮像する。

撮像部１３は、操作者の操作手の少なくとも一部、例えば５本の指のみを撮像してもよいが、手の甲なども含めた操作者の操作手全体を撮像するのが好適である。ここで、操作手全体とは、操作者の手首付近から指先までを含む部位全体である。この場合、撮像部１３は、操作者の操作手全体を容易に撮像するために、例えば、ルーフパネルなど、操作手の上方に配置されるのが好適である。

撮像部１３は、このような配置に限定されず、操作者の操作手の少なくとも一部を撮像可能であれば、任意の場所に配置されてもよい。例えば、撮像部１３は、透明なタッチパッド１２１の直下に配置され、タッチパッド１２１でタッチ操作を行っている操作者の操作手の一部を下方から撮像してもよい。この場合、例えば、図４のパームレスト部分を任意の透明な支持部材に変えることで、撮像部１３は、手の甲なども含めた操作者の操作手全体を撮像することも可能である。

撮像部１３は、昼間の明るい状態及び夜間の暗い状態の両方で操作者の操作手を鮮明に撮像可能なように、ダイナミックレンジの広いカメラで構成されるのが好適である。また、カメラにより撮像される画像は、白黒画像であってもよいし、カラー画像であってもよい。

撮像部１３は、ダイナミックレンジの広いカメラによる構成に限定されず、昼間の明るい状態で撮像可能なカメラにより構成されてもよい。この場合、撮像部１３は、夜間でも操作者の操作手を鮮明に撮像するために、タッチパッド１２１上の操作者の操作手に上方からスポットライトを照射してもよい。

車両が自動運転を行う場合、操作者は、リクライニングシートを倒して、リラックスした状態でシートに寄りかかることが想定される。この時、タッチ操作部１２の位置が固定されていると、操作者は、シートに寄りかかった状態で腕を伸ばしてタッチ操作を行う必要があり、不便性を感じる。従って、例えば、タッチ操作部１２が配置されたセンターコンソールを、リクライニングシートの動きに連動して後方に下がるように構成することで、操作者は腕を伸ばすことなく、容易にタッチ操作を行うことができる。このような構成の場合、撮像部１３は、リクライニングシートの動きに連動したタッチ操作部１２のそれぞれの位置に合わせて、タッチパッド１２１上の操作手を撮像する必要がある。

従って、撮像部１３は、上記に加えて、画角の広いカメラで構成されるのが好適である。撮像部１３は、これに限定されず、画角の狭いカメラであっても、タッチ操作部１２の位置の変化に連動してカメラ自体の角度が変化するように構成されてもよい。同様に、撮像部１３は、タッチ操作部１２の位置の変化に連動してカメラ自体が平行移動するように構成されてもよい。また、リクライニングシートの動きに連動して変化するタッチ操作部１２の位置を、例えば、手動運転時の位置及び自動運転時の位置の二カ所に限定して、各々の位置に対応するように二台のカメラが配置されてもよい。

操作部１４は、図１に示すとおり、例えばパームレストの上面に配置される。図４に示すとおり、操作者は、アームレスト及びパームレストに自身の腕及び手首をそれぞれ乗せて、操作手の一部を操作部１４の上面に接触させる。ここで述べる操作手の一部とは、例えば、手首の手のひら側、すなわち手根部である。

図５に示すとおり、操作部１４は、例えば、その上面に十字キーなどの４方向スイッチを有する。操作者は、操作部１４の上面、特に当該４方向スイッチの表面に操作手の一部を配置する。操作部１４は、４方向スイッチに接触している操作者の操作手の少なくとも一部の動作を検出する。例えば、操作者が、手根部で４方向スイッチを奥側に押込むと、操作部１４は、奥側への押込み動作を検出する。同様に、操作者が、手根部で４方向スイッチを手前側、左側、又は右側に押込むと、操作部１４は、手前側、左側、又は右側への押込み動作をそれぞれ検出する。すなわち、操作部１４は、操作者の手根部の４方向の動作を検出可能である。操作部１４は、検出された動作に基づく信号を、制御部１５に送信する。

操作部１４は、４方向スイッチを有するものとして、以降においても説明するが、これに限定されない。例えば、操作部１４は、８方向スイッチを有してもよい。この場合、操作部１４は、操作者の操作手の少なくとも一部の８方向の動作を検出可能である。また、操作部１４は、方向スイッチに限定されず、操作者の操作手の少なくとも一部の動作を検出可能であれば、任意の構成を有してもよい。

制御部１５は、車載用情報処理システム１０の各機能ブロックをはじめとして、車載用情報処理システム１０の全体を制御及び管理するプロセッサである。制御部１５は、制御手順を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成され、かかるプログラムは、例えば記憶部１６に格納される。

制御部１５は、タッチパッド１２１上で検出した接触情報を、入力信号としてタッチ操作部１２から取得する。具体的には、制御部１５は、接触物、例えば、操作者の指による接触及び対応する接触位置に関する検出情報を取得する。制御部１５は、対応する接触位置に関する検出情報に基づいて、タッチ操作が行われるタッチパッド１２１上の正確な位置座標を識別する。

制御部１５は、タクトスイッチ１２２のオン状態又はオフ状態に関する信号を、タッチ操作部１２から取得する。具体的には、操作者が、タッチパッド１２１を介して、タクトスイッチ１２２を押込んだ場合、制御部１５は、オン状態の信号を取得する。操作者が、タッチパッド１２１への押込みを止めて、タクトスイッチ１２２の押込みを解除した場合、制御部１５は、オフ状態の信号を取得する。制御部１５は、取得した信号に基づいて、タクトスイッチ１２２のオン状態又はオフ状態を識別する。

制御部１５は、操作者の操作手の一部による接触をタッチパッド１２１が検出した場合、表示部１１を構成する画面上の対応する項目を選択する。この時、制御部１５は、当該項目をハイライトさせる。ハイライトとは、所定の項目を強調して表示することである。制御部１５は、ハイライトにより上記の項目が選択状態にあることを操作者にフィードバックする。例えば、図３（ａ）に示すとおり、操作者の指による接触をタッチパッド１２１の対応する位置で検出した場合、制御部１５は、画面上の「ＮＡＶＩ」の機能項目をハイライトさせる。この時、制御部１５は、撮像部１３により撮像された画像に基づいて、操作者の操作手を対応する位置に重畳表示させる。

続いて、制御部１５は、操作者の操作手の一部によるタッチパッド１２１の押込みによりタクトスイッチ１２２がオンになった場合、画面上の所定の項目の選択を確定させる。画面上の所定の項目の選択を確定させる操作は、これに限定されず、例えば、タッチパッド１２１上でのダブルタップなど、任意の操作であってよい。この場合、タッチ操作部１２は、タクトスイッチ１２２を有さなくてもよい。

例えば、図３（ａ）では、操作者の操作手の一部による押込みによりタクトスイッチ１２２がオンになった場合、制御部１５は、画面上に表示された「ＮＡＶＩ」の項目の選択を確定させる。この時、制御部１５は、タッチパッド１２１に接触している操作者の操作手の一部、例えば人差し指の押込み又はダブルタップなどに合わせて、同様の動きを画面上に表示させる。

制御部１５は、車両に関する情報若しくは当該情報を制御するための機能項目、又はこれらの組合せを表示部１１に表示させる。また、制御部１５は、後述する画像処理により、表示部１１を構成する画面上の操作領域の大きさに基づいた表示倍率で、操作者の操作手の少なくとも一部をその画面上に重畳表示させる。

制御部１５は、操作部１４により検出された、操作者の操作手の少なくとも一部、例えば手根部の動作に基づく信号を取得する。制御部１５は、取得した信号に基づいて、例えば当該動作の方向を識別する。制御部１５は、検出された動作に基づいて、操作者が表示内容を操作するための画面を選択する。

制御部１５は、記憶部１６に格納された種々の情報を参照する。具体的には、制御部１５は、上記の車両に関する情報又は当該情報を制御するための機能項目に関する情報を参照する。制御部１５は、タクトスイッチ１２２のオン状態又はオフ状態に関する情報を参照する。制御部１５は、撮像部１３により撮像された画像情報を参照する。制御部１５は、表示部１１に最終的に重畳表示させる、画像処理された操作者の操作手に関する情報を参照する。

記憶部１６は、半導体メモリ又は磁気メモリ等で構成することができ、上述した各種情報及び車載用情報処理システム１０を動作させるためのプログラムなどを記憶する。また、記憶部１６は、ワークメモリとしても機能する。一例を挙げると、記憶部１６は、表示部１１に最終的に重畳表示させる、画像処理された操作者の操作手に関する情報などを記憶する。

以下では、図６及び図７を参照して、車載用情報処理システム１０が行う画像処理について詳細に説明する。

図６は、タッチ操作部１２の所定の領域と、表示部１１を構成する画面上の操作領域との対応関係の一例を示す模式図である。図６（ａ）は、タッチ操作部１２の所定の領域Ｒ１を示す。図６（ｂ）は、表示部１１を構成する画面上の操作領域Ｒ２を示す。

制御部１５は、タッチ操作部１２の所定の領域Ｒ１及び表示部１１を構成する画面上の操作領域Ｒ２を設定する。タッチ操作部１２の所定の領域Ｒ１とは、操作者が操作手の一部によりタッチ操作を行うための領域である。例えば、タッチ操作部１２の所定の領域Ｒ１は、タッチパッド１２１の一部又は全体の領域である。表示部１１を構成する画面上の操作領域Ｒ２とは、画面上に重畳表示された操作者の操作手が仮想的に操作可能な画面上の領域である。例えば、表示部１１を構成する画面上の操作領域Ｒ２は、当該画面の一部又は全体の領域である。

図６（ａ）に示すとおり、タッチ操作部１２の所定の領域Ｒ１は、タッチ操作部１２全体に操作者の操作手が重畳するように、タッチ操作部１２の奥側に設定されるのが好適である。タッチ操作部１２の奥側とは、例えば、タッチ操作部１２を構成するタッチパッド１２１の奥側である。すなわち、図４及び図６に示すとおり、タッチ操作部１２の奥側とは、操作者の腕及び手首をアームレスト及びパームレストにそれぞれ配置したときに、手首から最も離れるタッチパッド１２１上の領域である。

タッチ操作部１２の所定の領域Ｒ１は、これに限定されず、上述のとおり、タッチパッド１２１上の任意の一部の領域であってもよいし、全体領域であってもよい。タッチ操作部１２の所定の領域Ｒ１がタッチパッド１２１上の任意の一部の領域である場合、所定の領域Ｒ１以外のタッチパッド１２１上の領域は、タッチ操作に対して反応しないように構成されてもよい。

一方で、表示部１１を構成する画面上の操作領域Ｒ２は、タッチパッド１２１の奥側に上記の所定の領域Ｒ１が設定されたとき、対応するように、画面の上部に設定される。すなわち、タッチパッド１２１の奥側及び手前側が、画面の上部及び下部にそれぞれ対応する。このように各々を対応させるのが最も直感的であるが、タッチパッド１２１と、表示部１１を構成する画面との対応関係はこれに限定されない。例えば、上記の対応関係を逆にして、タッチパッド１２１の手前側及び奥側が、画面の上部及び下部にそれぞれ対応してもよい。この場合、タッチ操作部１２全体に操作者の操作手を重畳させるために、タッチ操作部１２の奥側の所定の領域Ｒ１に対応させて、表示部１１を構成する画面上の操作領域Ｒ２は、その下部に設定されてもよい。

制御部１５は、設定したタッチ操作部１２の所定の領域Ｒ１内の位置座標と、表示部１１を構成する画面上の操作領域Ｒ２内の位置座標とを対応させる。例えば、タッチ操作部１２の所定の領域Ｒ１が、タッチパッド１２１の一部又は全体の四角の領域であり、画面上の操作領域Ｒ２が、当該画面の一部又は全体の四角の領域である場合を考える。この場合、制御部１５は、所定の領域Ｒ１の４つの頂点と操作領域Ｒ２の４つの頂点とをそれぞれ対応させる。制御部１５は、４つの頂点の位置座標の対応関係を識別することで、各頂点を結ぶ四角の領域内に位置する各点の位置座標の対応関係を決定することができる。

このような処理は、例えば、車載用情報処理システム１０が車両に搭載された初期の段階でキャリブレーションとして実行されてもよいし、随時実行されてもよい。

図７は、車載用情報処理システム１０が行う画像処理の様子を示した模式図である。図７（ａ）は、タッチ操作部１２上でタッチ操作を行っている操作者の操作手の様子を示す。図７（ｂ）は、表示部１１を構成する画面上に重畳表示させた操作者の操作手の様子を示す。

制御部１５は、カメラによって撮像された画像情報を、撮像部１３から取得する。図７の領域Ｒ３により示すとおり、撮像された画像は、タッチ操作部１２でタッチ操作を行う操作者の操作手の少なくとも一部と、タッチ操作部１２、特にタッチパッド１２１とを含む。すなわち、撮像部１３は、タッチ操作部１２と操作者の操作手との位置関係を撮像する。加えて、上述のとおり、制御部１５は、所定の領域Ｒ１内の位置座標と操作領域Ｒ２内の位置座標とを対応させるので、タッチ操作部１２における操作者の操作手の位置と対応するように、当該操作手の少なくとも一部を画面上に重畳表示させることが可能である。

制御部１５は、表示部１１に操作者の操作手を重畳表示させるとき、上記の画像に基づいて、操作者の操作手の一部又は全体を抽出する画像処理を行う。すなわち、制御部１５は、操作者の操作手の輪郭よりも外部の背景等の画像情報を除去する。なお、タッチパッド１２１の周囲を黒色の縁により囲むことで、制御部１５は、撮像された画像に基づいて容易に操作者の操作手を抽出することができる。

さらに、制御部１５は、撮像された画像が白黒画像の場合、画像処理によって操作手部分を着色してもよいし、着色しなくてもよい。表示部１１に表示される操作者の操作手のリアリティをより向上させるためには、制御部１５は、画像処理により着色するのが好適である。

一方で、制御部１５は、撮像された画像がカラー画像の場合、操作者の操作手の実際の色彩及び明暗などに合わせて、画面上にそのまま重畳表示させるのが好適である。制御部１５は、これに限定されず、背後の表示内容をより容易に視認可能とするために、操作手部分の色彩及び明暗などを排除して、代わりに例えば所定の一色を付す画像処理を行ってもよい。また、制御部１５は、操作手部分の色彩及び明暗などを排除して、操作手部分を完全に無色透明とする画像処理を行ってもよい。この場合、制御部１５は、操作手の輪郭近傍の部位のみを画面上に表示させる。

以下では、撮像部１３によって撮像された画像はカラー画像であり、制御部１５は、操作者の操作手の実際の色彩及び明暗などに合わせて、画面上にそのまま重畳表示させるものとして説明する。すなわち、制御部１５は、色彩及び明暗などに関する画像処理を行う必要はないものとして説明する。

制御部１５は、撮像された画像中のタッチ操作部１２の所定の領域Ｒ１と、表示部１１を構成する画面上の操作領域Ｒ２との間の大きさの比率に基づいて、操作者の操作手の表示倍率を決定する。例えば、タッチ操作部１２の所定の領域Ｒ１が、タッチパッド１２１の一部又は全体の四角の領域であり、画面上の操作領域Ｒ２が、当該画面の一部又は全体の四角の領域である場合を考える。この場合、制御部１５は、タッチ操作部１２の所定の領域Ｒ１の各辺の長さと、画面上の操作領域Ｒ２の対応する各辺の長さとの比率をそれぞれ算出する。制御部１５は、当該比率に基づいて、表示部１１に重畳表示させる操作者の操作手の表示倍率を決定する。

制御部１５は、決定した表示倍率に基づいて、撮像された操作者の操作手を、拡大若しくは縮小した状態、又はそのままの状態で表示部１１に重畳表示させる。

制御部１５は、操作者の操作手の表示倍率を上記の比率と同一としてもよいし、上記の比率に基づく異なる値としてもよい。また、表示倍率の決定処理は、例えば、車載用情報処理システム１０が車両に搭載された初期の段階で上述のキャリブレーションと同時に実行されてもよいし、随時実行されてもよい。制御部１５は、表示倍率を一度決定すると、その倍率を固定してもよいし、状況に応じて可変としてもよい。例えば、制御部１５は、昼間と夜間とで操作者の操作手の表示倍率を変えてもよいし、操作者の設定により表示倍率を適宜変えてもよい。

例えば、表示部１１が複数の画面により構成される場合、制御部１５は、各々の画面の操作領域Ｒ２の大きさに基づいて、重畳表示させる操作者の操作手の表示倍率をそれぞれ変えてもよい。これに限定されず、制御部１５は、各々の画面の操作領域Ｒ２の大きさに基づいて、例えば、その平均値を導出し、当該平均値に基づいて、重畳表示させる操作者の操作手の表示倍率を一定にしてもよい。

制御部１５は、画面上の操作領域Ｒ２の大きさのみならず、画面上に表示する内容に応じて、操作者の操作手の表示倍率を変化させてもよい。例えば、表示部１１が地図又は機能項目などを表示して、操作者が各々を操作する場合、制御部１５は、操作者が操作しやすいようにその操作手の表示倍率を通常よりも低下させて、表示部１１に重畳表示させてもよい。

また、制御部１５は、例えば、操作手の大きさの異なる操作者間で、表示部１１に重畳表示される操作手の大きさを一致させるために、操作者ごとに表示倍率を変えてもよい。一方で、制御部１５は、操作手の大きさの異なる操作者間で、表示部１１に重畳表示される操作手の表示倍率を一定にして、現実の操作者の操作手の大きさに合わせて重畳表示させてもよい。

制御部１５は、撮像部１３により撮像された画像に基づいて、所定の時間内で画像処理を行うのが好適である。所定の時間とは、操作者の実際の操作手による操作のタイミングと、画面上に重畳表示させた操作者の操作手の動きのタイミングとの間の時間遅れであって、操作者が意識しない程度の時間遅れを意味する。すなわち、制御部１５は、操作者の反応速度及び認知能力などによって操作者が操作に違和感を感じる時間遅れよりも十分に短い時間内で画像処理を完結するのが好適である。例えば、制御部１５は、上述した、撮像された操作者の操作手の抽出及び表示倍率の調整のみに画像処理を限定するのが好適である。

すなわち、操作者の操作手によるタッチ操作が検出されるタッチ操作部１２の所定の領域Ｒ１内の位置座標は、撮像部１３による撮像画像の画像処理により識別されるのではなく、上述したとおり、タッチ操作部１２、特にタッチパッド１２１からの検出情報に基づいて識別されるのが好適である。

制御部１５は、上記のように２つの画像処理を行うものとして説明するが、これに限定されず、所定の時間内であれば、３つ以上の画像処理を行ってもよい。この場合、例えば、操作者の操作手によるタッチ操作が検出されるタッチ操作部１２の所定の領域Ｒ１内の位置座標は、撮像部１３による撮像画像の画像処理により識別されてもよい。

制御部１５は、上記の画像処理を行うにあたり、タッチ操作部１２の所定の領域Ｒ１及び表示部１１を構成する画面上の操作領域Ｒ２に関する情報を、記憶部１６より参照する。すなわち、制御部１５は、検出情報に対応させた、タッチパッド１２１の所定の領域Ｒ１内の位置座標に関する情報を参照する。制御部１５は、表示部１１を構成する各画面の操作領域Ｒ２内の位置座標に関する情報を参照する。制御部１５は、キャリブレーションなどにより決定された、重畳表示させる操作者の操作手の表示倍率に関する情報を参照する。

以下では、図８を参照して、操作者が表示部１１を構成する複数の画面のうち操作対象とする任意の１つの画面を選択する操作の一例を詳細に説明する。

図８は、図１に示した表示部１１の拡大図である。表示部１１は、４つの画面１１１、１１２、１１３、及び１１４を有する。また、画面１１１は、奥行き方向に異なる２つの表示レイヤ１１１１及び１１１２を有する。例えば、画面１１１の表示レイヤ１１１１は、操作画面を表示し、表示レイヤ１１１２は、車間距離、車速、複数車線における自車の走行位置、又は交差点に対する予定通過経路などの車両に関する情報、すなわち自車の走行状態を表示する。例えば、画面１１２及び１１３は、電子ミラーによる車両周囲の画像を表示する。例えば、画面１１４は、カーナビゲーションに関する地図情報、及び車両に関する情報を制御するための機能項目を表示する。

図８では、表示部１１を構成する画面の数は４つであり、画面１１１の表示レイヤの数は２つであるものとして説明するが、これに限定されない。表示部１１は、任意の数の画面により構成されてもよいし、画面１１１は、任意の数の表示レイヤにより構成されてもよい。また、画面１１１のみ表示レイヤを有するものとして説明するが、これに限定されず、表示部１１を構成する他の画面についても、複数の表示レイヤを有してもよい。また、各画面に表示されるコンテンツは、上記に限定されず、任意の画面が、任意のコンテンツを表示してもよい。

制御部１５は、操作部１４より取得した信号に基づいて、現在選択されている画面から次に選択される画面への移動方向を、検出された操作者の操作手の少なくとも一部（手根部）の動作の方向に対応させる。例えば、画面１１１が選択されている状態で、操作者が手根部で４方向スイッチを左側に押込むと、制御部１５は、画面１１１の左側に設置された画面１１２を選択する。同様に、画面１１１が選択されている状態で、操作者が手根部で４方向スイッチを右側に押込むと、制御部１５は、画面１１１の右側に設置された画面１１３を選択する。この状態で、操作者が手根部で４方向スイッチを再度右側に押込むと、制御部１５は、画面１１３の右側に設置された画面１１４を選択する。

表示部１１の左端に配置された画面１１２を選択した状態で、操作者が４方向スイッチをさらに左側に押込んだ場合、制御部１５は、右端に戻って画面１１４を選択してもよいし、選択を変更せず、依然として画面１１２にとどまるように制御してもよい。表示部１１の右端に配置された画面１１４を選択した状態で、操作者が４方向スイッチをさらに右側に押込んだ場合も、制御部１５は同様の制御を行ってもよい。

制御部１５は、操作部１４より取得した信号に基づいて、現在選択されている表示レイヤから次に選択される表示レイヤへの移動方向を、検出された操作者の操作手の少なくとも一部の動作の方向に対応させる。例えば、表示レイヤ１１１１が選択されている状態で、操作者が手根部で４方向スイッチを奥側に押込むと、制御部１５は、表示レイヤ１１１１の奥側に配置された表示レイヤ１１１２を選択する。逆に、表示レイヤ１１１２が選択されている状態で、操作者が手根部で４方向スイッチを手前側に押込むと、制御部１５は、表示レイヤ１１１２の手前側に配置された表示レイヤ１１１１を選択する。

例えば、車載用情報処理システム１０が表示部１１に加えてヘッドアップディスプレイ型の装置を有する場合、上記の動作により選択される対象は、各画面及び各表示レイヤに加えて、虚像を表示するフロントウィンドシールドであってもよい。この場合、例えば、表示レイヤ１１１２が選択されている状態で、操作者が手根部で４方向スイッチを奥側に押込むと、制御部１５は、表示レイヤ１１１２の奥側に配置されたフロントウィンドシールドを選択する。すなわち、制御部１５は、表示レイヤ１１１１、１１１２及びフロントウィンドシールドを、１つのまとまった階層構造として識別する。

表示部１１の奥端に配置された表示レイヤ１１１２又はフロントウィンドシールドを選択した状態で、操作者が４方向スイッチをさらに奥側に押込んだ場合、制御部１５は、前端に戻って表示レイヤ１１１１を選択してもよいし、選択を変更せず、依然として表示レイヤ１１１２又はフロントウィンドシールドにとどまるように制御してもよい。表示部１１の前端に配置された画面１１１を選択した状態で、操作者が４方向スイッチをさらに手前側に押込んだ場合も、制御部１５は同様の制御を行ってもよい。

なお、表示レイヤ１１１２又はフロントウィンドシールドを選択した状態で、操作者が４方向スイッチを左側に押込んだ場合、制御部１５は、左側に設置された画面１１２を選択する。また、表示レイヤ１１１２又はフロントウィンドシールドを選択した状態で、操作者が４方向スイッチを右側に押込んだ場合、制御部１５は、右側に設置された画面１１３を選択する。

画面１１２又は１１３を選択した状態で、操作者が画面１１１を選択する方向に４方向スイッチを押込むと、制御部１５は、予め定められた特定の表示レイヤ又はフロントウィンドシールド（例えば、前端の表示レイヤ１１１１）に選択を戻してもよいし、直前に選択されていた表示レイヤ又はフロントウィンドシールドに選択を戻してもよい。

画面、表示レイヤ、又はフロントウィンドシールドの選択の方法は上記に限定されず、検出された操作者の操作手の少なくとも一部の動作の方向に対応していれば、任意の方法であってよい。

制御部１５は、画面１１１において選択していない表示レイヤの表示の度合いを抑制してもよいし、抑制しなくてもよい。操作者の視認容易性に鑑みると、制御部１５は、選択していない表示レイヤの表示の度合いを抑制するのが好適である。

具体的には、制御部１５は、画面１１１において選択していない表示レイヤの輝度を低下させてもよい。また、制御部１５は、グレーアウトにより表示の度合いを抑制してもよい。また、制御部１５は、選択していない表示レイヤのＲＧＢ全てを排除してもよいし、ＲＧＢの任意の１つ又は２つの要素のみを排除してもよい。また、制御部１５は、選択していない表示レイヤをぼやかしてもよい。さらに、制御部１５は、選択していない表示レイヤをそもそも表示しなくてもよい。これらの方法に限定されず、制御部１５は、選択していない表示レイヤの視認性を低下させることで、選択している表示レイヤの視認性を相対的に高めることのできる任意の方法により制御してもよい。

続いて、図９乃至図１２を参照して、操作者が自車の走行状態を制御する方法について詳細に説明する。この時、制御部１５は、操作者による操作部１４での選択操作により、画面１１１の表示レイヤ１１１２を選択しているものとする。制御部１５は、タッチ操作部１２上での操作者の操作手の一部、特に指の動きに基づいて、自車の走行状態を制御する。制御部１５は、撮像部１３により撮像された画像に基づいて、タッチ操作部１２上での実際の指の動きと、表示レイヤ１１１２に重畳表示させた操作者の操作手の指の動きとを対応させる。

操作者は、タッチ操作部１２、特にタッチパッド１２１上で１つの指を動かし、当該動きに基づいて、自車の走行状態を制御する。１つの指の動きとしては、指の接触点をタッチパッド１２１上で移動させるスワイプ動作、タッチパッド１２１の上面から垂直方向に押圧する接触動作、タッチパッド１２１の表面を軽くたたくタップ動作、又はねじり動作が考えられる。１つの指の動きは、これらに限定されず、タッチパッド１２１が検出可能な動作であれば、任意の動作であってよい。

制御部１５は、１つの指の動きに限定されず、２つ以上の指の動きに基づいて、自車の走行状態を制御してもよい。２つ以上の指の動きとしては、スワイプ動作、２つの指の接触点の間隔を伸縮させるピンチ動作、又は２つ以上の指を同時に回転させる回転動作が考えられる。２つの指の動きは、これらに限定されず、タッチパッド１２１が検出可能な動作であれば、任意の動作であってよい。

以下では、自車の走行状態は、自車と前車との位置関係、すなわち車間距離、自車の車速、複数車線における自車の走行位置、若しくは交差点に対する予定通過経路又はこれらの組合せであるものとして説明するが、これらに限定されない。制御部１５は、自車の任意の走行状態を任意の組合せで制御可能である。

図９乃至図１２に示すとおり、制御部１５は、表示レイヤ１１１２に対して、自車の走行状態を、視覚情報によって表示させてもよい。視覚情報は、文字、数字、図形、記号、若しくは色又はこれらの組合せなど、操作者が視認できる任意の情報を含む。以下の表示方法は一例であり、制御部１５は、操作者が容易に視認できる任意の方法により自車の任意の走行状態を任意の組合せで表示させてもよい。

図９は、操作者による車間距離の制御の一例を示した模式図である。

例えば、表示レイヤ１１１２は、自車と前車とを、図形により表示した状態で、自車と前車との位置関係、すなわち、車間距離を文字及び数字で「５０ｍ」などと表示してもよいし、自車と前車との間に表示された矢印の大きさによって表現してもよい。矢印により表現する場合、例えば、表示レイヤ１１１２は、車間距離が短いほど矢印を太く短く、逆に、車間距離が長いほど矢印を細く長く表現してもよい。加えて、制御部１５は、車間距離が短いほど目立つ色（例えば、赤色）により矢印を着色してもよいし、逆に、車間距離が長いほど落ち着いた色（例えば、青色）により矢印を着色してもよい。

操作者は、例えば、表示レイヤ１１１２上の自車の位置に対応するタッチパッド１２１上の位置で１つの指を接触させ、手前側にスワイプする。この時、制御部１５は、操作者のスワイプ動作に応じて、表示レイヤ１１１２に表示された車間距離を広げつつ、実際の車間距離も広げるように自車を制御する。

一方、操作者が、例えば奥側にスワイプすると、制御部１５は、操作者のスワイプ動作に応じて、表示レイヤ１１１２に表示された車間距離を狭めつつ、実際の車間距離も狭めるように自車を制御する。

逆に、操作者は、車間距離を制御するために、例えば、表示レイヤ１１１２上の前車の位置に対応するタッチパッド１２１上の位置で１つの指を接触させ、奥側又は手前側にスワイプさせてもよい。

また、上記の制御を行うための動作は、１つの指によるスワイプ動作に限定されず、任意の動作であってよい。例えば、操作者は、２つの指により、表示レイヤ１１１２上の自車の両端に対応するタッチパッド１２１上の２つの位置に２つの指をそれぞれ接触させ、スワイプしてもよい。この時、表示レイヤ１１１２に重畳表示された操作手は、図形により表現された自車を２つの指ではさみこむようにして、手前側又は奥側に移動させる。

同様に、操作者は、例えば、表示レイヤ１１１２上の自車及び前車の各位置に対応するタッチパッド１２１上の２つの位置に２つの指をそれぞれ接触させ、ピンチしてもよい。この時、制御部１５は、ピンチアウト動作又はピンチイン動作に応じて、車間距離を広げたり、又は狭めたりする。

図１０は、操作者による自車の車速の制御の一例を示した模式図である。

例えば、表示レイヤ１１１２は、車速を文字及び数字で「５０ｋｍ／ｈ」などと表示してもよいし、自車の進行方向に表示された矢印の大きさによって表現してもよい。矢印により表現する場合、例えば、表示レイヤ１１１２は、車速が大きいほど矢印を太く長く、逆に、車速が小さいほど矢印を細く短く表現してもよい。加えて、制御部１５は、車速が大きいほど目立つ色（例えば、赤色）により矢印を着色してもよいし、逆に、車速が小さいほど落ち着いた色（例えば、青色）により矢印を着色してもよい。

操作者は、例えば、表示レイヤ１１１２上の自車の位置に対応するタッチパッド１２１上の位置で１つの指を接触させ、手前側にスワイプする。この時、制御部１５は、操作者のスワイプ動作に応じて、表示レイヤ１１１２に表示された車速を下げつつ、実際の車速も下げるように自車を制御する。

一方、操作者が、例えば奥側にスワイプすると、制御部１５は、操作者のスワイプ動作に応じて、表示レイヤ１１１２に表示された車速を上げつつ、実際の車速も上げるように自車を制御する。

また、上記の制御を行うための動作は、１つの指によるスワイプ動作に限定されず、任意の動作であってよい。例えば、操作者は、２つの指により、表示レイヤ１１１２上の自車の両端に対応するタッチパッド１２１上の２つの位置に２つの指をそれぞれ接触させ、スワイプしてもよい。この時、表示レイヤ１１１２に重畳表示された操作手は、図形により表現された自車を２つの指ではさみこむようにして、手前側又は奥側に移動させる。

同様に、操作者は、例えば、タッチパッド１２１上の任意の位置でピンチしてもよい。この時、制御部１５は、ピンチアウト動作又はピンチイン動作に応じて、車速を下げたり、又は上げたりする。

図１１は、操作者による複数車線における自車の走行位置の制御の一例を示した模式図である。

例えば、表示レイヤ１１１２は、複数車線における自車の走行位置を、文字で「右車線」などと表示してもよいし、自車とその進行方向に表示された矢印とによって表現してもよい。矢印により表現する場合、例えば、表示レイヤ１１１２は、右車線（追い越し車線）に位置しているときは矢印を太く長く、逆に、それ以外の車線に位置しているときは矢印を細く短く表現してもよい。加えて、制御部１５は、右車線（追い越し車線）に位置しているときは目立つ色（例えば、赤色）により矢印を表現してもよいし、逆に、それ以外の車線に位置しているときは落ち着いた色（例えば、青色）により矢印を表現してもよい。

また、表示レイヤ１１１２は、車線変更を行うための予定経路を、文字で「左車線に変更」などと表示してもよいし、予定経路に沿った形状の矢印によって表現してもよい。矢印により表現する場合、例えば、表示レイヤ１１１２は、車線変更する際の車速に応じて、矢印の太さを変更してもよい。すなわち、表示レイヤ１１１２は、自車の車速が小さいほど矢印を細く、逆に、大きいほど矢印を太く表現してもよい。加えて、制御部１５は、車線変更する際の車速が小さいほど、落ち着いた色（例えば、青色）により矢印を着色してもよいし、逆に車速が大きいほど、目立つ色（例えば、赤色）により矢印を着色してもよい。

操作者は、例えば、表示レイヤ１１１２上の自車の位置に対応するタッチパッド１２１上の位置で１つの指を接触させ、表示された車線をまたぐようにスワイプする。この時、制御部１５は、操作者のスワイプ動作に応じて、表示レイヤ１１１２に表示された現在の車線を変更しつつ、実際の走行車線も変更するように自車を制御する。

また、上記の制御を行うための動作は、１つの指によるスワイプ動作に限定されず、任意の動作であってよい。例えば、操作者は、２つの指により、表示レイヤ１１１２上の自車の両端に対応するタッチパッド１２１上の２つの位置に２つの指をそれぞれ接触させ、スワイプしてもよい。この時、表示レイヤ１１１２に重畳表示された操作手は、図形により表現された自車を２つの指ではさみこむようにして、異なる車線に移動させる。

制御部１５は、例えば、操作者が指でタッチパッド１２１を長押しすることで、点線で表現された自車のダミーを表示させてもよい。表示レイヤ１１１２は、例えば、現在の走行車線に対応する位置に、図形により表現された自車を配置したまま、重畳表示された操作手がダミーをつまんで、車線変更を行うための予定経路上を移動させるように表示してもよい。

図１２は、操作者による、交差点に対する予定通過経路の制御の一例を示した模式図である。

例えば、表示レイヤ１１１２は、交差点と自車との位置関係を図形により表示する。また、表示レイヤ１１１２は、交差点に対する予定通過経路を、文字で「右折」などと表示してもよいし、矢印によって表現してもよい。矢印により表現する場合、例えば、表示レイヤ１１１２は、予定通過経路に沿った形状の矢印を表示してもよいし、交差点への予定進入速度を矢印の太さによって表現してもよい。すなわち、表示レイヤ１１１２は、自車の交差点への予定進入速度が小さいほど矢印を細く、逆に、大きいほど矢印を太く表現してもよい。加えて、制御部１５は、交差点への予定進入速度が小さいほど、落ち着いた色（例えば、青色）により矢印を着色してもよいし、逆に予定進入速度が大きいほど、目立つ色（例えば、赤色）により矢印を着色してもよい。

操作者は、例えば、表示レイヤ１１１２上の自車の位置に対応するタッチパッド１２１上の位置で１つの指を接触させ、交差点での予定通過経路に沿ってスワイプする。この時、制御部１５は、操作者のスワイプ動作に応じて、表示レイヤ１１１２に上述した矢印を表示させる。その後、制御部１５は、予定通過経路に従って交差点を通過するよう、自車を制御する。

また、上記の制御を行うための動作は、１つの指によるスワイプ動作に限定されず、任意の動作であってよい。例えば、操作者は、２つの指により、表示レイヤ１１１２上の自車の両端に対応するタッチパッド１２１上の２つの位置に２つの指をそれぞれ接触させ、スワイプしてもよい。この時、表示レイヤ１１１２に重畳表示された操作手は、図形により表現された自車を２つの指ではさみこむようにして、予定通過経路に沿って移動させる。

制御部１５は、例えば、操作者が指でタッチパッド１２１を長押しすることで、点線で表現された自車のダミーを表示させてもよい。表示レイヤ１１１２は、例えば、現在の走行位置に、図形により表現された自車を配置したまま、重畳表示された操作手がダミーをつまんで、予定通過経路上を移動させるように表示してもよい。

図１３は、車載用情報処理システム１０の動作の一例を示すフローチャートである。図１３（ａ）は主に、操作者が操作部１４により画面を選択操作する際の制御を示すフローチャートである。図１３（ｂ）は、操作者が自車の走行状態を制御する際のフローチャートである。

初めに、制御部１５は、キャリブレーションを行う。すなわち、制御部１５は、設定されたタッチ操作部１２の所定の領域Ｒ１内の位置座標と、表示部１１を構成する画面上の操作領域Ｒ２内の位置座標とを対応させる（ステップＳ１０）。

続いて、制御部１５は、キャリブレーションなどによって、表示部１１に重畳表示させる操作者の操作手の表示倍率を決定する（ステップＳ１１）。

次に、制御部１５は、撮像部１３により撮像された画像に基づいて、タッチ操作部１２上に操作者の操作手が重畳しているかを判別する（ステップＳ１２）。

制御部１５は、タッチ操作部１２上に操作者の操作手が重畳していると判別した場合、ステップＳ１３に進む。制御部１５は、タッチ操作部１２上に操作者の操作手が重畳していないと判別した場合、再度ステップＳ１２に戻り、操作者の操作手が重畳するまで待機する。

制御部１５は、タッチ操作部１２上に操作者の操作手が重畳していると判別した場合、操作者の操作手の一部又は全体を抽出する画像処理を行う（ステップＳ１３）。

続いて、制御部１５は、ステップＳ１１で決定された表示倍率に基づいて、撮像された操作者の操作手を重畳表示させる（ステップＳ１４）。

続いて、制御部１５は、操作部１４から操作者の操作手の少なくとも一部の動作に関する検出情報を取得したかを判別する（ステップＳ１５）。

制御部１５は、検出情報を取得した場合、ステップＳ１６に進む。制御部１５は、検出情報を取得しない場合、ステップＳ１８に進む。

制御部１５は、検出情報を取得した場合、識別した動作の方向に対応する画面を新たに選択する（ステップＳ１６）。

制御部１５は、新たに選択された画面に合わせた表示倍率に基づいて、撮像された操作者の操作手を重畳表示させる（ステップＳ１７）。

続いて、制御部１５は、タッチ操作部１２からタッチ操作に関する検出情報を取得したかを判別する（ステップＳ１８）。

制御部１５は、検出情報を取得した場合、ステップＳ１９に進む。制御部１５は、検出情報を取得しない場合、再度ステップＳ１８に戻り、検出情報を取得するまで待機する。

制御部１５は、検出情報を取得した場合、さらに、現在選択されている画面が自車の走行状態を表示しているかを判別する（ステップＳ１９）。

制御部１５は、自車の走行状態を表示していないと判別した場合、ステップＳ２０に進む。制御部１５は、自車の走行状態を表示していると判別した場合、図１３（ｂ）のステップＳ２１に進む。

制御部１５は、自車の走行状態を表示していないと判別した場合、現在選択されている画面上で、タッチ操作部１２でのタッチ操作に基づく操作を実行する（ステップＳ２０）。その後、フローは終了する。

一方、制御部１５は、自車の走行状態を表示していると判別した場合、ステップＳ２１からステップＳ２４において、制御対象となる自車の走行状態を判別する。ステップＳ２１からステップＳ２４までの判別は、この順序に限定されず、任意の順序で行われてもよいし、同時に並列して行われてもよい。

具体的には、制御部１５は、制御対象となる自車の走行状態が車間距離であるかを判別する（ステップＳ２１）。

制御部１５は、制御対象となる自車の走行状態が車間距離ではないと判別した場合、ステップＳ２２に進む。制御部１５は、車間距離であると判別した場合、ステップＳ２５に進む。

続いて、制御部１５は、制御対象となる自車の走行状態が車間距離ではないと判別した場合、制御対象となる自車の走行状態が車速であるかを判別する（ステップＳ２２）。

制御部１５は、制御対象となる自車の走行状態が車速ではないと判別した場合、ステップＳ２３に進む。制御部１５は、車速であると判別した場合、ステップＳ２６に進む。

続いて、制御部１５は、制御対象となる自車の走行状態が車速ではないと判別した場合、制御対象となる自車の走行状態が複数車線における走行位置であるかを判別する（ステップＳ２３）。

制御部１５は、制御対象となる自車の走行状態が走行位置ではないと判別した場合、ステップＳ２４に進む。制御部１５は、走行位置であると判別した場合、ステップＳ２７に進む。

続いて、制御部１５は、制御対象となる自車の走行状態が走行位置ではないと判別した場合、制御対象となる自車の走行状態が交差点での予定通過経路であるかを判別する（ステップＳ２４）。

制御部１５は、制御対象となる自車の走行状態が予定通過経路ではないと判別した場合、図１３（ａ）に戻り、フローは終了する。制御部１５は、予定通過経路であると判別した場合、ステップＳ２８に進む。

制御部１５は、制御対象となる自車の走行状態が車間距離であると判別した場合、自車と前車との位置関係を制御する（ステップＳ２５）。その後、制御部１５は、再度ステップＳ２１に戻る。

制御部１５は、制御対象となる自車の走行状態が車速であると判別した場合、自車の車速を制御する（ステップＳ２６）。その後、制御部１５は、再度ステップＳ２１に戻る。

制御部１５は、制御対象となる自車の走行状態が走行位置であると判別した場合、複数車線における自車の走行位置を制御する（ステップＳ２７）。その後、制御部１５は、再度ステップＳ２１に戻る。

制御部１５は、制御対象となる自車の走行状態が予定通過経路であると判別した場合、交差点での自車の通過経路を制御する（ステップＳ２８）。その後、制御部１５は、再度ステップＳ２１に戻る。

以上により、本実施形態に係る車載用情報処理システム１０は、表示部１１に表示された操作者の操作手が仮想的に画面上で情報を操作するので、操作者に対して直感的な操作を可能とする。すなわち、操作者は、実際の感覚により近い状態で画面内にアクセスできる。また、操作者は、操作手の実際の位置と画面上の位置関係とを直感的に認識できる。従って、車載用情報処理システム１０は、ポインタなどを表示させる従来の装置と比べて、操作者が画面を注視する時間を低減させることが可能である。

車載用情報処理システム１０は、画像処理を行う時間を限定するので、最小限の遅延により、操作者の操作手を重畳表示させることが可能である。すなわち、車載用情報処理システム１０は、実際の操作手と画面上に重畳表示された操作手との間で、時間的な動きのズレを低減することができる。これにより、操作者は、より違和感なく画面上に表示される情報を操作可能である。

車載用情報処理システム１０は、撮像部１３により撮像された操作者の操作手を抽出する画像処理を行うので、画面上で操作者の操作手を忠実に重畳表示させることが可能である。これにより、操作者は、画面上に重畳表示された操作手を、自身の手であると直感的に認識することができる。

車載用情報処理システム１０は、撮像部１３により撮像された操作者の操作手の表示倍率を変更する画像処理を行うので、各画面に合わせた最適な大きさで操作者の操作手を重畳表示させることが可能である。これにより、操作者は、画面上に重畳表示されている操作手にリアリティを感じつつ、その背後に表示された表示内容を容易に視認可能である。

車載用情報処理システム１０は、タッチ操作が検出される所定の領域Ｒ１内の位置座標を画像処理により識別する場合と比べて、最小限の遅延により、操作者の操作手を重畳表示させることが可能である。また、車載用情報処理システム１０は、撮像部１３により撮像された画像に基づいて間接的に位置座標を識別するのではなく、タッチ操作部１２により直接識別するので、精度良く位置座標を識別することができる。すなわち、車載用情報処理システム１０は、タッチ操作部１２により操作手が実際に接触している位置を検出するので、操作者が画面上に表示された機能項目などを選択する際に、誤動作を引き起こす可能性が低い。

車載用情報処理システム１０では、撮像部１３が操作者の操作手全体を撮像することで、操作者は、画面上に重畳表示された操作手が自身の手であることを容易に認識できる。さらに、操作者は、操作手のどの部分を動かしているのかを、画面上の表示に基づいて容易に認識できる。また、操作者は、実際の操作手の位置と、画面上の位置との関係を正確に認識するので、操作手の移動量及び移動可能な画面上の領域を容易に把握できる。

車載用情報処理システム１０は、撮像部１３により操作者の操作手全体を撮像することで、タッチパッド１２１上の操作者の操作手を精度良く識別することが可能である。すなわち、車載用情報処理システム１０は、操作者の操作手を人の手として精度良く認識することが可能である。さらに、車載用情報処理システム１０は、操作者の操作手の各部の識別をより精度良く行うことが可能である。すなわち、車載用情報処理システム１０は、撮像された画像中の指がどの指に対応するかを精度良く識別することが可能である。また、車載用情報処理システム１０は、操作手全体を撮像することで、操作手全体の大きさ、操作手全体に占める各部の大きさの割合などを精度良く識別することが可能である。これにより、車載用情報処理システム１０は、画面中での操作者の操作手の移動量、移動可能な画面上の領域を、タッチパッド１２１上の実際の操作手の動きと対応させて精度良く識別することが可能である。

車載用情報処理システム１０は、タッチパッド１２１の奥側に所定の領域Ｒ１を設定し、画面上の上部に操作領域Ｒ２を設定することで、操作者は、必然的にタッチ操作部１２全体に自身の操作手を重畳させることになる。この時、車載用情報処理システム１０は、撮像部１３により、必然的に操作者の操作手全体を撮像可能である。なお、所定の領域Ｒ１以外のタッチパッド１２１上の領域をタッチ操作に対して無反応とすることで、操作者の意識は所定の領域Ｒ１により集中することになる。この時、車載用情報処理システム１０は、より確実に操作者の操作手全体を撮像可能である。

車載用情報処理システム１０は、操作者が接触により選択した項目をハイライトさせることで、どの指がタッチパッド１２１に接触しているかを、視覚情報としても明瞭に認識することができる。また、操作者は、重畳表示された操作手が画面上のどの位置で接触しているのか、又はどの項目が選択されているのかを容易に視認可能である。

車載用情報処理システム１０は、タクトスイッチ１２２がオンになるときに操作者に対してクリック感を与えるので、操作者は、自身の動作による触感的なフィードバックを得ることができ、より直感的な操作が可能である。換言すると、タクトスイッチ１２２が選択の確定に用いられることで、操作者は、自然な動作で選択した項目を確定させることができる。加えて、操作者は、指に働く反力によって、画面上に重畳表示された操作手に対してよりリアリティを感じる。すなわち、操作者は、自身の実際の操作手があたかも直接画面に触れているような錯覚を覚えやすくなる。

車載用情報処理システム１０は、重畳表示させる操作者の操作手を半透過にするので、リアリティを確保しつつ、操作者は、画面上に表示される情報を容易に視認可能である。すなわち、操作者は、より直感的に画面上に表示される情報を操作可能である。

車載用情報処理システム１０は、タッチ操作部１２の上方に撮像部１３を設置することで、操作者の操作手全体をより容易に撮像可能である。

車載用情報処理システム１０では、操作者は、操作部１４上で自身の操作手の少なくとも一部を動作させるので、各画面を容易に選択できる。すなわち、操作者は、表示部１１の各画面を目視しながら得る視覚情報に基づいて、自身の操作手に視線を変更することなく、各画面を選択できる。従って、車載用情報処理システム１０は、操作者の画面選択操作をより簡便にし、操作者の利便性を向上させる。

車載用情報処理システム１０は、現在選択されている画面から次に選択される画面への移動方向を、検出された動作の方向に対応させるので、直感的な画面選択操作を可能とする。すなわち、操作者は、次の画面を選択するために、視覚により識別した各画面の位置情報に基づいて、通常の感覚により、自身の操作手の少なくとも一部を動作させることができる。

車載用情報処理システム１０は、奥行き方向に異なる複数の表示レイヤを有する画面を含むので、より多くの情報を１つの画面上に表示させることが可能である。すなわち、車載用情報処理システム１０は、異なる種類の情報であっても、表示レイヤを分けることによって、１つの画面上で同時に表示させることが可能である。

車載用情報処理システム１０は、現在選択されている表示レイヤから次に選択される表示レイヤへの移動方向を、検出された動作の方向に対応させるので、直感的な表示レイヤ選択操作を可能とする。すなわち、操作者は、次の表示レイヤを選択するために、視覚により識別した各表示レイヤの位置情報に基づいて、通常の感覚により、自身の操作手の少なくとも一部を動作させることができる。

車載用情報処理システム１０は、選択されていない表示レイヤの表示の度合いを抑制するので、選択されている表示レイヤの視認性を高めることができる。

車載用情報処理システム１０は、輝度を低下させることで表示の度合いを抑制するので、選択されている表示レイヤを明瞭に表示させることができる。すなわち、車載用情報処理システム１０は、選択されていない表示レイヤの輝度を低下させることで、選択されている表示レイヤの輝度を相対的に高めることができ、明瞭な表示を可能とする。

車載用情報処理システム１０は、グレーアウトにより選択されてない表示レイヤの表示の度合いを抑制するので、選択されている表示レイヤの視認性を相対的に高めることができる。

車載用情報処理システム１０は、選択されていない表示レイヤを上記の任意の方法により表示させる場合、全く表示しない場合に比べて、表示レイヤ構造に対する操作者の視認性を向上させることができる。すなわち、操作者は、画面上のどの位置にどの数の表示レイヤが設けられているかを容易に視認できる。

車載用情報処理システム１０は、パームレストに配置され、４方向スイッチにより構成される操作部１４を有するので、操作者は、簡易な動作で各画面又は各表示レイヤを選択できる。すなわち、操作者は、視覚により識別した各画面又は各表示レイヤに関する奥、手前、左、及び右の方向に基づいて、４方向スイッチを対応する方向に押込むだけで、各画面を選択できる。また、車載用情報処理システム１０は、各画面又は各表示レイヤに関する奥、手前、左、及び右の方向を、４方向スイッチの奥側、手前側、左側、及び右側のスイッチとそれぞれ対応させるので、操作者は、直感的に選択操作を行うことができる。

車載用情報処理システム１０では、タッチ操作部１２上での操作手の一部の実際の動きに従って、重畳表示された操作手が表示レイヤ１１１２上で仮想的に自車の走行状態を制御するので、操作者は、実際の自車の走行状態を直感的に制御できる。

車載用情報処理システム１０は、タッチ操作部１２上での１つの指の動きに基づいて、自車の走行状態を制御するので、操作者は、複雑な指の動作を行うことなく、容易かつ直感的に自車の走行状態を制御できる。

車載用情報処理システム１０は、タッチ操作部１２上での２つ以上の指の動きに基づいて、自車の走行状態を制御するので、操作者は、直感的に自車の走行状態を制御できる。また、タッチ操作部１２上で動作させる指の数を増やすことで、車載用情報処理システム１０は、制御に対応付ける指の動作パターンのバリエーションを増やすことができる。

車載用情報処理システム１０は、様々な視覚情報により自車の走行状態を表示するので、操作者は、自車の走行状態を容易、又は直感的に視認できる。従って、車載用情報処理システム１０は、操作者が画面を注視する時間を低減させるので、インストルメントパネル周りの従来の装置と比べて、操作者が進行方向から視線をそらす時間を低減させることが可能である。

車載用情報処理システム１０では、自車の走行状態として車間距離が含まれるので、操作者は、自車と前車との位置関係を直感的に制御できる。

車載用情報処理システム１０では、自車の走行状態として車速が含まれるので、操作者は、自車の車速を直感的に制御できる。

車載用情報処理システム１０では、自車の走行状態として複数車線における走行位置が含まれるので、操作者は、複数車線における自車の走行位置を直感的に制御できる。すなわち、操作者は、タッチパッド１２１上でのタッチ操作に基づいて、直感的に車線変更を行うことができる。

車載用情報処理システム１０では、自車の走行状態として、交差点に対する予定通過経路が含まれるので、操作者は、交差点に対する通過経路を直感的に制御できる。すなわち、操作者は、タッチパッド１２１上でのタッチ操作に基づいて、直感的に交差点における右折又は左折を制御することができる。

本発明は、その精神又はその本質的な特徴から離れることなく、上述した実施形態以外の他の所定の形態で実現できることは当業者にとって明白である。従って、先の記述は例示的なものであり、これに限定されるものではない。発明の範囲は、先の記述によってではなく、付加した請求項によって定義される。あらゆる変更のうちその均等の範囲内にあるいくつかの変更は、その中に包含されるものとする。

１０ 車載用情報処理システム
１１ 表示部
１１１、１１２、１１３、１１４ 画面
１１１１、１１１２ 表示レイヤ
１２ タッチ操作部
１２１ タッチパッド
１２２ タクトスイッチ
１３ 撮像部
１４ 操作部
１５ 制御部
１６ 記憶部
Ｒ１ 所定の領域
Ｒ２ 操作領域
Ｒ３ 領域

Claims (8)

1. 自車の走行状態を表示する少なくとも１つの画面を有する表示部と、
   操作者の操作手による接触を検出するタッチ操作部と、
   前記操作手の少なくとも一部と、前記タッチ操作部とを撮像する撮像部と、
   前記撮像部により撮像された画像に基づいて、前記操作手の少なくとも一部を前記画面上に重畳表示させ、前記タッチ操作部上での前記操作手の一部の動きに基づいて、前記自車の走行状態を制御する制御部と、
   を備える、
   車載用情報処理システム。
2. 前記制御部は、前記タッチ操作部における１つの指の動きに基づいて、前記自車の走行状態を制御する、
   請求項１に記載の車載用情報処理システム。
3. 前記制御部は、前記タッチ操作部における２つ以上の指の動きに基づいて、前記自車の走行状態を制御する、
   請求項１に記載の車載用情報処理システム。
4. 前記表示部は、前記自車の走行状態を、視覚情報によって表示する、
   請求項１乃至３のいずれか一項に記載の車載用情報処理システム。
5. 前記自車の走行状態は、当該自車と前車との位置関係である、
   請求項１乃至４のいずれか一項に記載の車載用情報処理システム。
6. 前記自車の走行状態は、当該自車の車速である、
   請求項１乃至４のいずれか一項に記載の車載用情報処理システム。
7. 前記自車の走行状態は、複数車線における当該自車の走行位置である、
   請求項１乃至４のいずれか一項に記載の車載用情報処理システム。
8. 前記自車の走行状態は、交差点に対する予定通過経路である、
   請求項１乃至４のいずれか一項に記載の車載用情報処理システム。

Images