JP5136338B2

JP5136338B2 - 画像表示装置

Info

Publication number: JP5136338B2
Application number: JP2008253029A
Authority: JP
Inventors: 文彦松下; 卓矢辰己
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2008-09-30
Filing date: 2008-09-30
Publication date: 2013-02-06
Anticipated expiration: 2028-09-30
Also published as: JP2010087728A

Description

本発明は、撮影領域の異なる複数の表示モードを有し、選択した特定の表示モードに従って車両周辺を撮影したカメラの撮影画像を表示部に表示させる画像表示装置に関するものである。

従来、車両の速度に従いカメラのズームレンズを駆動して、パン、チルト、ズーム、フォーカスの調整を行い、視野角や俯角などを変更して撮影することが可能な車載カメラがある（例えば、特許文献１参照）。
特開平１１−３１２３００号公報

ところで、車載カメラを用いて車両周辺の撮影画像を表示する車両周辺画像表示装置として、カメラの撮影画像をそのまま表示する通常モード、カメラの撮影画像の一部を拡大した拡大画像を表示する拡大モード、カメラの撮影画像に画像処理を施して、車両上方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードなど、複数の表示モードを切り替えるようにして表示することが可能な車両周辺画像表示装置が実用化されている。

このような車両周辺画像表示装置では、表示モードの切り替えは、運転者による切替スイッチの操作により行うようになっているので、運転者の負担となっている。

また、上記特許文献１に記載の装置は、各運転者の癖などを考慮して運転動作に適した表示モードが自動で選択されるようになっていない。したがって、運転者が運転に集中したいような状況であっても、運転者が切替スイッチを操作して表示モードの切り替える必要があり、運転者の負担となっている。

本発明は上記点に鑑みたもので、運転者の負担を軽減することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、複数の表示モードを有し、選択した特定の表示モードに従って車両周辺を撮影したカメラの撮影画像を表示部に表示させる画像表示装置であって、車両各部の状態を示す車両状態情報、車両周辺に存在する物体を示す物体検知情報および車両の運転者の挙動を示す運転者挙動情報の少なくとも１つの情報に基づいて車両の運転者により特定の運転動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させる運転動作学習手段と、車両状態情報、物体検知情報、運転者挙動情報の少なくとも１つの情報および記憶媒体に記憶された情報に基づいて特定の運転動作が実施される状況にあると判定した場合、表示モードとして、特定の運転動作に適した表示モードを選択する表示モード選択手段と、を備えたことを特徴としている。

このような構成によれば、車両状態情報、物体検知情報および運転者挙動情報の少なくとも１つの情報に基づいて車両の運転者により特定の運転動作が実施されたことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、物体検知情報、運転者挙動情報の少なくとも１つの情報および記憶媒体に記憶された情報に基づいて特定の運転動作が実施される状況にあると判定された場合、表示モードとして、特定の運転動作に適した表示モードが選択されるので、表示モードの切り替え操作を行う必要がなく、運転者の負担を軽減することができる。

また、請求項２に記載の発明は、運転動作学習手段が、車両状態情報を収集し、収集した車両状態情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報および記憶媒体に記憶された情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードを選択することを特徴としている。

このような構成によれば、車両状態情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報および記憶媒体に記憶された情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードが選択される。すなわち、運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定された場合、表示モードを運転動作に適した鳥瞰モードとすることができる。

また、請求項３に記載の発明は、運転動作学習手段は、車両状態情報および運転者挙動情報を収集し、収集した車両状態情報および運転者挙動情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施する状況にあると判定した場合、表示モードとして、車両の後方を広角で撮影した広角画像を表示する広角モードを選択することを特徴としている。

このような構成によれば、車両状態情報および運転者挙動情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施する状況にあると判定された場合、表示モードとして、車両の後方を広角で撮影した広角画像を表示する広角モードが選択される。すなわち、運転者が振り向いて車両後方を確認しながら車両を後退させる状況にあると判定された場合、表示モードを運転動作に適した広角モードとすることができる。

また、請求項４に記載の発明は、運転動作学習手段は、車両状態情報および運転者挙動情報を収集し、収集した車両状態情報および運転者挙動情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施する状況にあると判定した場合、表示モードとして、車両の旋回方向を拡大して撮影した拡大画像を表示する拡大モードを選択することを特徴としている。

このような構成によれば、車両状態情報および運転者挙動情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施する状況にあると判定した場合、表示モードとして、車両の旋回方向を拡大して撮影した拡大画像を表示する拡大モードが選択される。すなわち、運転者が旋回方向の巻き込みを確認しながら車両を旋回させる状況にあると判定した場合、表示モードを運転動作に適した拡大モードとすることができる。

また、請求項５に記載の発明は、運転動作学習手段は、車両状態情報および運転者挙動情報を収集し、収集した車両状態情報および運転者挙動情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、車両の前方を広角で撮影した広角画像を表示する広角モードを選択することを特徴としている。

このような構成によれば、車両状態情報および運転者挙動情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、車両の前方を広角で撮影した広角画像を表示する広角モードが選択される。すなわち、運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードを運転動作に適した広角モードとすることができる。

また、請求項６に記載の発明は、運転動作学習手段は、車両状態情報および物体検知情報を収集し、収集した車両状態情報および物体検知情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報、物体検知情報および記憶媒体に記憶された情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードを選択することを特徴としている。

このような構成によれば、車両状態情報および物体検知情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、物体検知情報および記憶媒体に記憶された情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードが選択される。すなわち、運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードを運転動作に適した鳥瞰モードとすることができる。

本発明の一実施形態に係る画像表示装置の構成を図１に示す。本画像表示装置１は、車両の前方を撮影するフロントカメラ１０ａ、車両の後方を撮影するリアカメラ１０ｂ、画像を表示するディスプレイ１１および画像処理ＥＣＵ１２を備えている。また、画像処理ＥＣＵ１２は、多重通信バス２を介してソナーＥＣＵ２０、エンジン制御ＥＣＵ３０、メータ制御ＥＣＵ４０、目線／動作検出ＥＣＵ５０、ボデーＥＣＵ６０等の車載機器と接続されている。

画像処理ＥＣＵ１２は、ＣＰＵ、メモリ、Ｉ／Ｏ用を備えたコンピュータとして構成されており、ＣＰＵはメモリに記憶されたプログラムに従って各種処理を実施する。

ソナーＥＣＵ２０は、車両周辺に存在する物体の有無および物体との距離（障害物検知距離）を検出するとともに、車両周辺に存在する物体の有無および障害物検知距離を示す物体検知情報を多重通信バス２を介して画像処理ＥＣＵ１２へ送出する。

エンジン制御ＥＣＵ３０は、シフトポジションおよびブレーキ制御を検出し、シフトポジションを示す情報およびブレーキのオン、オフ状態を示すブレーキ信号を多重通信バス２を介して画像処理ＥＣＵ１２へ送出する。なお、シフトポジションを示す情報としては、シフトレバーがＲ位置にあることを示すリバース信号と、シフトレバーが前進ギヤ位置（Ｄ位置、ロー位置、セカンド位置）にあることを示すドライブ信号と、シフトレバーがＰ位置にあることを示すパーキング信号と、シフトレバーがＮ位置にあることを示すニュートラル信号などがある。

メータ制御ＥＣＵ４０は、運転者によるウィンカー操作に応じて車両の左右のウィンカーを点滅させるとともに、各ウィンカーの点滅状態を示すウィンカー情報を画像処理ＥＣＵ１２へ送出する。

目線／動作検出ＥＣＵ５０は、運転席の運転者を撮影する運転席カメラ５０ａより入力される画像に画像認識処理を施して、運転者の目線移動や、左右への振り向き、車両後方への振り向き等の運転者の体の動きを検出し、運転者の挙動を示す運転者挙動情報として画像処理ＥＣＵ１２へ送出する。

ボデーＥＣＵ６０は、各席のドアの開閉状態を検出するドア開スイッチより入力される各信号に基づいて各席のドアの開閉状態を示すドア開信号を画像処理ＥＣＵ１２へ送出する。

本画像表示装置１は、撮影領域の異なる複数の表示モードを有し、選択した特定の表示モードに従って車両周辺を撮影したカメラ１０ａ、１０ｂの撮影画像を表示部に表示させる。

本実施形態における画像表示装置１は、図２に示すように、車両周辺を撮影した画像をそのまま表示する通常モード、車両周辺を広角で撮影した広角画像を表示する広角モード、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モード、車両の左右いずれかの方向を拡大して撮影した拡大画像を表示する左右拡大モードを有している。なお、本実施形態において、左右拡大モードは、車両の左方向を拡大して撮影した拡大画像を表示するものとなっている。

本画像表示装置１は、車両各部の状態を示す車両状態情報、車両周辺に存在する物体の有無および物体との距離を示す物体検知情報および車両の運転者の挙動を示す運転者挙動に基づいて車両の運転者により特定の運転動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させる運転動作学習処理（運転者癖学習処理）を実施する。

この運転者癖学習処理のフローチャートを図３〜図７に示す。本画像表示装置１は、車両のイグニッションスイッチがオンすると動作状態となり、画像処理ＥＣＵ１２は、図３〜図７に示す処理を並行して周期的に実施する。

まず、図３に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン１について説明する。

まず、エンジンＥＣＵ３０よりリバース信号を収集し、このリバース信号に基づいてシフトレバーがＲ位置にあるか否かを判定し（Ｓ１００）、次に、エンジンＥＣＵ３０よりブレーキ信号を収集し、このブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ１０２）、次に、ボデーＥＣＵ６０よりドア開信号を収集し、このドア開信号に基づいてＤ席（運転席）のドアが開状態か否かを判定する（Ｓ１０４）。

ここで、シフトレバーの位置がＲ位置にない場合、あるいは、シフトレバーの位置がＲ位置にあってもブレーキが操作されていない場合、あるいは、シフトレバーの位置がＲ位置にあり、ブレーキが操作されている場合であっても運転席のドアが開状態にされていない場合には、本処理を終了する。

また、運転者がシフトレバーの位置をＲ位置にして、運転席ドアを開けながら、ブレーキ操作を行うと、Ｓ１０２〜Ｓ１０６の各判定はＹＥＳとなり、運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン１として学習してメモリに記憶させる（Ｓ１０６）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。

このように、運転者がシフトレバーの位置をＲ位置にして、運転席ドアを開けながら、ブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。

次に、図４に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン２について説明する。

まず、エンジンＥＣＵ３０よりリバース信号を収集し、このリバース信号に基づいてシフトレバーがＲ位置にあるか否かを判定し（Ｓ２００）、次に、エンジンＥＣＵ３０よりブレーキ信号を収集し、このブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ２０２）、次に、目線／動作検出ＥＣＵ５０より運転者挙動情報を収集し、この運転者挙動情報に基づいて運転者による後方への振り向きがあるか否かを判定する（Ｓ２０４）。

ここで、シフトレバーの位置がＲ位置にない場合、あるいは、シフトレバーの位置がＲ位置にあってもブレーキが操作されていない場合、あるいは、シフトレバーの位置がＲ位置にあり、ブレーキが操作されている場合であっても運転席による後方への振り向きが検出されていない場合には、本処理を終了する。

また、運転者がシフトレバーの位置をＲ位置にして、車両後方へ振り向きながら、ブレーキ操作を行うと、Ｓ２０２〜Ｓ２０６の各判定はＹＥＳとなり、運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン２として学習してメモリに記憶させる（Ｓ２０６）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。

このように、運転者がシフトレバーの位置をＲ位置にして、車両後方へ振り向きながら、ブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。

次に、図５に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン３について説明する。

まず、エンジンＥＣＵ３０よりドライブ信号を収集し、このドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ３００）、次に、メータＥＣＵ４０よりウィンカー情報を収集し、このウィンカー情報に基づいて車両左側のウィンカーへのウィンカー操作があるか否かを判定し（Ｓ３０２）、次に、目線／動作検出ＥＣＵ５０より運転者挙動情報を収集し、この運転者挙動情報に基づいて左方向への目線移動があるか否かを判定する（Ｓ３０４）。

ここで、シフトレバーが前進ギヤ位置にない場合、あるいは、シフトレバーが前進ギヤ位置にあっても車両左側のウィンカーへのウィンカー操作がない場合、あるいは、シフトレバーが前進ギヤ位置にあり、車両左側のウィンカーへのウィンカー操作がある場合であっても運転席による左方向への目線移動が検出されていない場合には、本処理を終了する。

また、運転者がシフトレバーを前進ギヤ位置にして、左方向へ目線を移動させて、ブレーキ操作を行うと、Ｓ３０２〜Ｓ３０６の各判定はＹＥＳとなり、運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン３として学習してメモリに記憶させる（Ｓ３０６）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。

このように、運転者がシフトレバーを前進ギヤ位置にして、左方向へ目線を移動させて、ブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。

次に、図６に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン４について説明する。

まず、エンジンＥＣＵ３０よりドライブ信号を収集し、このドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ４００）、次に、エンジンＥＣＵ３０よりブレーキ信号を収集し、このブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ４０２）、次に、目線／動作検出ＥＣＵ５０より運転者挙動情報を収集し、この運転者挙動情報に基づいて運転者による左右へ振り向きがあるか否かを判定する（Ｓ４０６）。

ここで、シフトレバーが前進ギヤ位置にない場合、あるいは、シフトレバーが前進ギヤ位置にあってもブレーキ操作がない場合、あるいは、シフトレバーが前進ギヤ位置にあり、ブレーキ操作がある場合であっても、運転者による左右へ振り向きがない場合には、本処理を終了する。

また、運転者がシフトレバーを前進ギヤ位置にし、左右へ振り向いてブレーキ操作を行うと、Ｓ４００〜Ｓ４０６の各判定はＹＥＳとなり、運転者が慎重に左右方向を確認しながら車両を前進させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン４として学習してメモリに記憶させる（Ｓ４０８）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。

このように、障害物が検知されており、運転者がシフトレバーを前進ギヤ位置にし、左右へ振り向いてブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。

次に、図７に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン５について説明する。

まず、エンジンＥＣＵ３０よりドライブ信号を収集し、このドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ５００）、次に、エンジンＥＣＵ３０よりブレーキ信号を収集し、このブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ５０２）、次に、ソナーＥＣＵ２０より物体検知情報を収集し、この物体検知情報に基づいて障害物の検知があるか否かを判定する（Ｓ５０４）。

ここで、シフトレバーが前進ギヤ位置にない場合、あるいは、シフトレバーが前進ギヤ位置にあってもブレーキ操作がない場合、あるいは、シフトレバーが前進ギヤ位置にあり、ブレーキ操作がある場合であっても障害物の検知がない場合には、本処理を終了する。

また、障害物が検知されており、運転者がシフトレバーを前進ギヤ位置にし、ブレーキ操作を行うと、Ｓ５００〜Ｓ５０４の各判定はＹＥＳとなり、運転者が物体を確認しながら車両を前進させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン５として学習してメモリに記憶させる（Ｓ５０６）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。

このように、障害物が検知されており、運転者がシフトレバーを前進ギヤ位置にし、ブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。

本実施形態における画像処理ＥＣＵ１２は、車両状態情報、物体検知情報、運転者挙動情報およびメモリに学習して記憶した各特定の運転動作を示す情報（パターン１〜５）に基づいて特定の運転動作が実施される状況にあると判定した場合、表示モードとして、特定の運転動作に適した表示モードを選択する表示モード選択処理を実施する。

この表示モード選択処理のフローチャートを、図８、図９に示す。なお、図８は、フロントカメラ１０ａに対する表示モード選択処理を示すフローチャート、図８は、リアカメラ１０ｂに対する表示モード選択処理を示すフローチャートである。画像処理ＥＣＵ１２は、車両のイグニッションスイッチがオンとなり、画像表示装置１が動作状態になると、図８、図９に示す各処理を並行して周期的に実施する。先に、図８に従って、フロントカメラ１０ａに対する表示モード選択処理について説明する。

まず、エンジンＥＣＵ３０より入力されるドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ６００）、次に、エンジンＥＣＵ３０より入力されるブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ６０２）、次に、ソナーＥＣＵ２０より入力される物体検知情報に基づいて障害物の検知があるか否かを判定する（Ｓ６０４）。

ここで、シフトレバーが前進ギヤ位置にあり、ブレーキ操作があり、障害物の検知があると判定された場合、Ｓ６００、Ｓ６０２、Ｓ６０４の各判定はＹＥＳとなり、次に、パターン５としてメモリに記憶された特定の運転動作の回数が予め定められた規定回数（Ｎ回）以上であるか否かを判定する（Ｓ６０６）。すなわち、パターン５としてメモリに記憶された運転者が慎重に物体を確認した運転動作の回数が規定回数以上であるか否かを判定する。

ここで、パターン５としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上である場合、Ｓ６１２の判定はＹＥＳとなり、運転者が慎重に物体を確認する状況にあると判定し、表示モードとして鳥瞰モードを選択し（Ｓ６１２）、本処理を終了する。

これにより、フロントカメラ１０ａにより撮影された撮影画像を鳥瞰変換した画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に鳥瞰モードの画像が表示される。なお、ディスプレイ１１に鳥瞰モード以外の画像が表示されている場合には、鳥瞰モードの画像に自動で切り替わる。

したがって、運転者は、切り替え操作を行うことなく、鳥瞰モードで表示される画像を視認して、慎重に物体を確認しながら運転操作を行うことが可能である。

また、シフトレバーが前進ギヤ位置にない場合、あるいは、シフトレバーが前進ギヤ位置にあってもブレーキ操作がない場合、あるいは、シフトレバーが前進ギヤ位置にあり、ブレーキ操作があり、障害物の検知がある場合であっても、パターン５としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）未満である場合には、表示モードとして通常モードを選択し（Ｓ６１４）、本処理を終了する。

これにより、フロントカメラ１０ａにより撮影された撮影画像がそのまま画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に通常モードの画像が表示される。例えば、ディスプレイ１１に鳥瞰モードの画像が表示されている場合には、通常モードの画像に自動で切り替わる。

また、シフトレバーが前進ギヤ位置にあり、ブレーキ操作があっても、障害物の検知がない場合、Ｓ６０４の判定はＮＯとなり、次に、目線／動作検出ＥＣＵ５０より入力される運転者挙動情報に基づいて運転者による左右へ振り向きがあるか否かを判定する（Ｓ６０８）。

ここで、運転者による左右へ振り向きがない場合、Ｓ６０８の判定はＮＯとなり、表示モードとして通常モードを選択する（Ｓ６１４）。

また、運転者による左右へ振り向きがある場合、Ｓ６０８の判定はＹＥＳとなり、次に、パターン４としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上であるか否かを判定する（Ｓ６１０）。すなわち、パターン４としてメモリに記憶された運転者が慎重に左右を確認した運転動作の回数が規定回数以上であるか否かを判定する。

ここで、パターン４としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上である場合、Ｓ６１０の判定はＹＥＳとなり、運転者が慎重に左右を確認する状況にあると判定し、表示モードとして広角モードを選択し（Ｓ６１６）、本処理を終了する。

これにより、フロントカメラ１０ａにより車両前方を広角で撮影した広角画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に広角モードの画像が表示される。例えば、ディスプレイ１１に通常モードの画像が表示されている場合には、広角モードの画像に自動で切り替わる。

したがって、運転者は、切り替え操作を行うことなく、広角モードで表示される画像を視認して、車両の左右を確認することが可能である。

次に、図９に従って、リアカメラ１０ｂに対する表示モード選択処理について説明する。

まず、エンジンＥＣＵ３０より入力されるドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ７００）、次に、エンジンＥＣＵ３０より入力されるブレーキ信号に基づいてブレーキ操作があるか否かを判定する（Ｓ７０２）。

ここで、シフトレバーが前進ギヤ位置にあり、ブレーキ操作がある場合、Ｓ７００、Ｓ７０２の各判定はＹＥＳとなり、次に、パターン１としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上であるか否かを判定する（Ｓ７０４）。すなわち、パターン１としてメモリに記憶された運転者が運転席ドアを開けて後方距離を確認した運転動作の回数が規定回数以上であるか否かを判定する。

ここで、パターン１としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上である場合、Ｓ７０４の判定はＹＥＳとなり、運転者が運転席ドアを開けて後方距離を確認する状況にあると判定し、表示モードとして鳥瞰モードを選択し（Ｓ７１４）、本処理を終了する。

これにより、リアカメラ１０ｂにより撮影された撮影画像を鳥瞰変換した画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に鳥瞰モードの画像が表示される。なお、ディスプレイ１１に鳥瞰モード以外の画像が表示されている場合には、鳥瞰モードの画像に自動で切り替わる。

したがって、運転者は、切り替え操作を行うことなく、鳥瞰モードで表示される画像を視認して、車両と物体を確認することが可能である。

また、シフトレバーが前進ギヤ位置にあり、ブレーキ操作があっても、パターン１としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）未満である場合、Ｓ７０４の判定はＮＯとなり、次に、パターン２としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上か否かを判定する（Ｓ７０６）。すなわち、パターン１としてメモリに記憶された運転者が車両後方へ振り向いて後方を確認した運転操作の回数が規定回数以上か否かを判定する。

ここで、パターン２としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上の場合、Ｓ７０６の判定はＹＥＳとなり、次に、運転者が車両後方へ振り向いて後方を確認する状況にあると判定し、表示モードとして広角モードを選択し（Ｓ７１６）、本処理を終了する。

これにより、リアントカメラ１０ｂにより車両周辺を広角で撮影した広角画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に広角モードの画像が表示される。例えば、ディスプレイ１１に通常モードの画像が表示されている場合には、広角モードの画像に自動で切り替わる。

したがって、運転者は、切り替え操作を行うことなく、広角モードで表示される画像を視認して車両後方を確認することが可能である。

また、パターン２としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）未満の場合には、Ｓ７０６の判定はＮＯとなり、表示モードとして通常モードを選択し（Ｓ７１８）、本処理を終了する。

また、シフトレバーが前進ギヤ位置にないと判定された場合、Ｓ７００の判定はＮＯとなり、次に、エンジンＥＣＵ３０より入力されるドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定する（Ｓ７０８）。ここで、シフトレバーが前進ギヤ位置にもない場合、Ｓ７０８の判定はＮＯとなり、Ｓ７１８へ進む。なお、この場合、表示モードは通常モードとなるが、リアカメラ１０ｂの撮影画像の表示は行われない。

また、シフトレバーが前進ギヤ位置にある場合には、Ｓ７０８の判定はＹＥＳとなり、次に、メータ制御ＥＣＵ４０より入力されるウィンカー情報に基づいて左方向へのウィンカー操作があるか否かを判定する（Ｓ７１０）。ここで、左方向へのウィンカー操作がない場合、Ｓ７１０の判定はＮＯとなり、Ｓ７１８へ進む。この場合においても、表示モードは通常モードとなるが、リアカメラ１０ｂの撮影画像の表示は行われない。

また、左方向へのウィンカー操作がある場合には、Ｓ７１０の判定はＹＥＳとなり、次に、パターン３としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上であるか否かを判定する（Ｓ７１２）。すなわち、パターン３としてメモリに記憶された運転者が車両左方向の巻き込みを確認した運転動作の回数が規定回数以上であるか否かを判定する。

ここで、パターン３としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上の場合、Ｓ７１２の判定はＹＥＳとなり、次に、運転者が車両左方向の巻き込みを確認する状況にあると判定し、表示モードとして車両の左後方を拡大した左右拡大モードを選択し（Ｓ７２０）、本処理を終了する。

これにより、リアカメラ１０ｂにより撮影された車両の左後方を拡大した拡大画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に左後方を拡大した左右拡大モードの画像が表示される。例えば、ディスプレイ１１に通常モードの画像が表示されている場合には、左後方を拡大した左右拡大モードの画像に自動で切り替わる。

したがって、運転者は、切り替え操作を行うことなく、左後方を拡大した左右拡大モードで表示される画像を視認して車両の左後方を確認することが可能である。

なお、パターン３としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）未満の場合には、Ｓ７１２の判定はＮＯとなり、Ｓ７１８へ進む。この場合においても、表示モードは通常モードとなるが、リアカメラ１０ｂの撮影画像の表示は行われない。

上記した構成によれば、車両状態情報、物体検知情報および運転者挙動情報の少なくとも１つの情報に基づいて車両の運転者により特定の運転動作が実施されたことが推定されると、当該特定の運転動作を示す情報がメモリに記憶され、車両状態情報、物体検知情報、運転者挙動情報の少なくとも１つの情報およびメモリに記憶された情報に基づいて特定の運転動作が実施される状況にあると判定された場合、表示モードとして、特定の運転動作に適した表示モードが選択されるので、表示モードの切り替え操作を行う必要がなく、運転者の負担を軽減することができる。

また、車両状態情報およびメモリに記憶された情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードが選択される。すなわち、運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定された場合、表示モードを運転動作に適した鳥瞰モードとすることができる。

また、車両状態情報、運転者挙動情報およびメモリに記憶された情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施する状況にあると判定された場合、表示モードとして、車両の後方を広角で撮影した広角画像を表示する広角モードが選択される。すなわち、運転者が振り向いて車両後方を確認しながら車両を後退させる状況にあると判定された場合、表示モードを運転動作に適した広角モードとすることができる。

また、車両状態情報、運転者挙動情報およびメモリに記憶された情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施する状況にあると判定した場合、表示モードとして、車両の旋回方向を拡大して撮影した拡大画像を表示する拡大モードが選択される。すなわち、運転者が旋回方向の巻き込みを確認しながら車両を旋回させる状況にあると判定した場合、表示モードを運転動作に適した拡大モードとすることができる。

また、車両状態情報、運転者挙動情報、物体検知情報およびメモリに記憶された情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、車両の前方を広角で撮影した広角画像を表示する広角モードが選択される。すなわち、運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードを運転動作に適した広角モードとすることができる。

また、車両状態情報、物体検知情報およびメモリに記憶された情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードが選択される。すなわち、運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードを運転動作に適した鳥瞰モードとすることができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。

例えば、上記実施形態では、車両状態情報、運転者挙動情報、物体検知情報を収集し、収集した各情報に基づいて各種運転者による特定の運転動作を推定する構成を示したが、上記実施形態に示した手法に限定されるものではなく、車両状態情報、運転者挙動情報および物体検知情報の少なくとも１つの情報を用いて各種運転者による特定の運転動作を推定することができる。同様に、車両状態情報、運転者挙動情報および物体検知情報の少なくとも１つの情報を用いて各種運転動作に適した表示モードを選択することもできる。

また、上記実施形態では、特定の運転動作として、運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作、運転者が振り向いて車両後方を確認しながら車両を後退させる動作等を示したが、これらの運転動作に限定されるものではなく、例えば、車両が前進し、ウィンカー操作があり、サイドミラーへの目線移動がある場合に、車線変更前の確認動作を実施したものと推定するようにしてもよい。

また、上記実施形態では、フロントカメラ１０ａとリアカメラ１０ｂを備えた構成を示したが、このような構成に限定されるものではなく、フロントカメラ１０ａとリアカメラ１０ｂのいずれか１つのみとしてもよく、更に、サイドカメラを備えた構成としてもよい。

また、上記実施形態では、各カメラ１０ａ、１０ｂにより撮影された画像をディスプレイ１１に表示させる構成を示したが、各カメラ１０ａ、１０ｂにより撮影された画像を同時に並べてディスプレイ１１に表示させてもよく、各カメラ１０ａ、１０ｂにより撮影された画像を切り替えてディスプレイ１１に表示させてもよい。また、複数のディスプレイを設け、各カメラ１０ａ、１０ｂにより撮影された画像を別々に表示させるようにしてもよい。

また、上記実施形態では、図２に示した様に、各カメラ１０ａ、１０ｂに対して、それぞれ４つの表示モードを有する構成を示したが、このような構成に限定されるものではなく、３つ以下の表示モードを有する構成としてもよく、また、５つ以上の表示モードを有する構成としてもよい。

また、上記実施形態では、表示モードを自動で選択する構成を示したが、ユーザ操作に応じてマニュアル操作で表示モードを切り替えることも可能となるように構成してもよい。

また、上記実施形態では、表示モードを自動で選択する構成を示したが、ユーザカスタマイズにより、例えば、後方カメラの左後方画像の拡大のみ行うなど、所望の表示モードのみ選択可能とする、あるいは、規定回数Ｎを可変とする仕組みとしてもよい
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、図３〜図７に示した各フローチャートが運転動作学習手段に相当し、図８、図９に示した各フローチャートが表示モード選択手段に相当し、ディスプレイ１１が表示部に相当し、メモリが記憶媒体に相当する。

本発明の一実施形態に係る画像表示装置の構成を示す図である。本画像表示装置の表示モードについて説明するための図である。運転者癖学習処理（パターン１）のフローチャートである。運転者癖学習処理（パターン２）のフローチャートである。運転者癖学習処理（パターン３）のフローチャートである。運転者癖学習処理（パターン４）のフローチャートである。運転者癖学習処理（パターン５）のフローチャートである。フロントカメラに対する表示モード選択処理を示すフローチャートである。リアカメラに対する表示モード選択処理を示すフローチャートである。

符号の説明

１画像表示装置
２多重通信バス
１０ａフロントカメラ
１０ｂリアカメラ
１１ディスプレイ
１２画像処理ＥＣＵ
２０ソナーＥＣＵ
３０エンジン制御ＥＣＵ
４０メータ制御ＥＣＵ
５０目線／動作検出ＥＣＵ
６０ボデーＥＣＵ

Claims

複数の表示モードを有し、選択した特定の表示モードに従って車両周辺を撮影したカメラの撮影画像を表示部に表示させる画像表示装置であって、
前記車両各部の状態を示す車両状態情報、前記車両周辺に存在する物体を示す物体検知情報および前記車両の運転者の挙動を示す運転者挙動情報の少なくとも１つの情報に基づいて前記車両の運転者により特定の運転動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させる運転動作学習手段と、
前記車両状態情報、前記物体検知情報、前記運転者挙動情報の少なくとも１つの情報および前記記憶媒体に記憶された前記情報に基づいて前記特定の運転動作が実施される状況にあると判定した場合、前記表示モードとして、前記特定の運転動作に適した表示モードを選択する表示モード選択手段と、を備えたことを特徴とする画像表示装置。
前記運転動作学習手段は、前記車両状態情報を収集し、収集した前記車両状態情報に基づいて前記運転者が運転席ドアを開けて前記車両の後方距離を確認しながら前記車両を後退させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して前記記憶媒体に記憶させ、
前記表示モード選択手段は、前記車両状態情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が運転席ドアを開けて前記車両の後方距離を確認しながら前記車両を後退させる動作を実施する状況にあると判定した場合、前記表示モードとして、鉛直方向から前記車両を見下ろした鳥瞰画像を表示する鳥瞰モードを選択することを特徴とする請求項１に記載の画像表示装置。
前記運転動作学習手段は、前記車両状態情報および前記運転者挙動情報を収集し、収集した前記車両状態情報および前記運転者挙動情報に基づいて前記運転者が振り向いて前記車両後方を確認しながら前記車両を後退させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して前記記憶媒体に記憶させ、
前記表示モード選択手段は、前記車両状態情報、前記運転者挙動情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が振り向いて前記車両後方を確認しながら前記車両を後退させる動作を実施する状況にあると判定した場合、前記表示モードとして、前記車両の後方を広角で撮影した広角画像を表示する広角モードを選択することを特徴とする請求項１に記載の画像表示装置。
前記運転動作学習手段は、前記車両状態情報および前記運転者挙動情報を収集し、収集した前記車両状態情報および前記運転者挙動情報に基づいて前記運転者が旋回方向の巻き込みを確認しながら前記車両を旋回させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して前記記憶媒体に記憶させ、
前記表示モード選択手段は、前記車両状態情報、前記運転者挙動情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が旋回方向の巻き込みを確認しながら前記車両を旋回させる動作を実施する状況にあると判定した場合、前記表示モードとして、前記車両の旋回方向を拡大して撮影した拡大画像を表示する拡大モードを選択することを特徴とする請求項１に記載の画像表示装置。
前記運転動作学習手段は、前記車両状態情報および運転者挙動情報を収集し、収集した前記車両状態情報および運転者挙動情報に基づいて前記運転者が左右方向を確認しながら前記車両を前進させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して前記記憶媒体に記憶させ、
前記表示モード選択手段は、前記車両状態情報、運転者挙動情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が左右方向を確認しながら前記車両を前進させる動作を実施する状況にあると判定した場合、前記表示モードとして、前記車両の前方を広角で撮影した広角画像を表示する広角モードを選択することを特徴とする請求項１に記載の画像表示装置。
前記運転動作学習手段は、前記車両状態情報および前記物体検知情報を収集し、収集した前記車両状態情報および前記物体検知情報に基づいて前記運転者が前記物体を確認しながら前記車両を前進させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して前記記憶媒体に記憶させ、
前記表示モード選択手段は、前記車両状態情報、前記物体検知情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が前記物体を確認しながら前記車両を前進させる動作を実施する状況にあると判定した場合、前記表示モードとして、鉛直方向から前記車両を見下ろした鳥瞰画像を表示する鳥瞰モードを選択することを特徴とする請求項１に記載の画像表示装置。