JP6021888B2 - 画像制御装置およびこれを用いた画像制御システム - Google Patents

Description

この発明は、車両の側方の映像を撮像し、車両内部の表示部にその映像を投影する画像制御装置およびこれを用いた画像制御システムに関するものである。

従来の側方や後方の死角画像を運転者に提示するシステムとして、特許文献１に示される車両用表示装置がある。
特許文献１では、サイドミラーと車体内部に備え付けられたディスプレイを用いて、側方、後方の死角となる部分を運転者に違和感なく把握させることが目的の装置が提案されている。
また、特許文献２では、運転者の視線の移動から死角を表示する場所を動的に変更し、運転者に確実に認知させることを目的とした技術が提案されている。

特開２００７−８１５９０号公報（第８〜１２頁、第１図） 特開２０１０−１８２０１号公報（第３〜８頁、第３図）

しかしながら、特許文献１や特許文献２に示される技術では、運転者が側方や死角を確認する、しないにかかわらず、常に映像が撮像され、運転者に認知させるため、運転者が側方を確認しない、する必要がない場合は、運転者の視界の邪魔になり、視認性を下げるという問題があった。

この発明は、上述のような課題を解決するためになされたものであり、運転者が側方を確認したいときに側方の映像を投影するようにした画像制御装置およびこれを用いた画像制御システムを得ることを目的とする。

この発明に係わる画像制御装置においては、車両の側方および後方を撮像するように配置されたカメラからの撮像信号を受領する撮像信号受領部、車両の運転の状況を判断する運転状況判断部、この運転状況判断部の判断に応じて、撮像信号受領部により受領された撮像信号を処理し、車両のサイドガラスに投影する映像の態様を決定する投影態様決定部、およびこの投影態様決定部により決定された映像の態様で撮像信号をプロジェクタを介してサイドガラスに投影する画像出力部を備え、運転状況判断部は、運転者の側方確認の意図を検出するように構成され、投影態様決定部は、運転状況判断部が運転者の側方確認の意図を検出した場合に、当該側方方向のサイドガラスに投影するように映像の態様を決定するとともに、運転状況判断部によって判断された運転状況に応じて、サイドガラス上の投影範囲を変化させるものである。

この発明によれば、車両の側方および後方を撮像するように配置されたカメラからの撮像信号を受領する撮像信号受領部、車両の運転の状況を判断する運転状況判断部、この運転状況判断部の判断に応じて、撮像信号受領部により受領された撮像信号を処理し、車両のサイドガラスに投影する映像の態様を決定する投影態様決定部、およびこの投影態様決定部により決定された映像の態様で撮像信号をプロジェクタを介してサイドガラスに投影する画像出力部を備え、運転状況判断部は、運転者の側方確認の意図を検出するように構成され、投影態様決定部は、運転状況判断部が運転者の側方確認の意図を検出した場合に、当該側方方向のサイドガラスに投影するように映像の態様を決定するとともに、運転状況判断部によって判断された運転状況に応じて、サイドガラス上の投影範囲を変化させるので、サイドミラーで視認するときよりも広い部分の映像を運転者が確認することができる。

この発明の実施の形態１〜３による画像制御装置を示すブロック図である。 この発明の実施の形態１〜３による画像制御装置のサイドミラーの先端部分にカメラを取り付けた際の一例と、サイドガラスに実際に映す映像を示す図である。 この発明の実施の形態１〜３による画像制御装置のサイドミラーのカメラによる撮像範囲を示す図である。 この発明の実施の形態１による画像制御装置の動作を示すフローチャートである。 この発明の実施の形態１による画像制御装置のサイドガラスへの投影を示す概略図である。 この発明の実施の形態２による画像制御装置の動作を示すフローチャートである。 この発明の実施の形態２による画像制御装置のサイドガラスへの投影を示す概略図である。 この発明の実施の形態３による画像制御装置の動作を示すフローチャートである。 この発明の実施の形態３による画像制御装置における側方後方から他車が迫ってきた状態を示す図である。 この発明の実施の形態３による画像制御装置のサイドガラスへの投影を示す概略図である。 この発明の実施の形態３による画像制御装置におけるシートのヘッドレストおよびシート本体にプロジェクタを設置するときの範囲を示す図である。 この発明の実施の形態３による画像制御装置におけるサイドガラスに投影するプロジェクタの光の反射を示す図である。

実施の形態１．
以下、この発明の実施の形態１について、図を用いて説明する。
図１は、この発明の実施の形態１による画像制御装置を示すブロック図である。
図１において、カメラ２は、側方を撮像するために、サイドミラー等の後方を一定以上の角度で撮像できる部分に取り付けられる。センサ群３は、視界不良や、他車接近を判断するための信号を取得するために車両に配置されている。プロジェクタ４は、短焦点プロジェクタであり、カメラ２により撮像された映像をサイドガラスに投影するように配置されている。

画像制御装置１は、次のように構成されている。
撮像信号受領部１１は、カメラ２の撮像信号を受領する。運転状況判断部１２は、運転者の前方に取り付けた車内カメラにより、顔の向き、視線を検出することや、ウィンカの状態を取得することで、運転者の側方確認の意図を検出する。運転状況判断部１２が運転者の側方確認の意図を検出した場合、サイドミラーに設置したカメラ２から撮像信号を受領し、投影態様決定部１３と画像出力回路１４（画像出力部）を介して、当該サイドミラーのある方向のサイドガラス上に、プロジェクタ４によりカメラ２で取得した映像を投影する。
運転状況判断部１２は、カメラ２およびセンサ群３からの信号に基づき、視界不良かどうかを判断する視界不良判断部１２１（実施の形態２で後述する。）と、他車が接近しているかどうかを判断する他車接近判断部１２２（実施の形態３で後述する。）とを有する。
投影態様決定部１３は、サイドガラス上の所定部分（実施の形態１では下半分）に映像を投影するように撮像信号を処理して、画像出力回路１４を介して出力する。これにより、運転者が直接側方を確認したいときでも、実際の側方の状態は、サイドガラスの上半分から見ることができるため、運転者の意図に沿って側方確認の支援を行うことができる。

図２は、この発明の実施の形態１による画像制御装置のサイドミラーの先端部分にカメラを取り付けた際の一例と、サイドガラスに実際に映す映像を示す図である。
図２（ａ）は、カメラ２のサイドミラー５１への取り付けの様子を示す図、図２（ｂ）は、カメラ２の撮像した映像をサイドガラス５２に投影した投影映像４１を示している。
図２において、カメラ２はサイドミラー５１に取り付けられ、その撮像した映像はサイドガラス５２に投影される。後方の他車６は投影映像４１に含まれている。

図３は、この発明の実施の形態１による画像制御装置のサイドミラーのカメラによる撮像範囲を示す図である。
図３において、自車５のサイドミラー５１に取り付けられたカメラ２の撮像範囲２１を示している。撮像範囲２１には自車５の後方にある他車６が含まれている。

図５は、この発明の実施の形態１による画像制御装置のサイドガラスへの投影を示す概略図であり、車内でのドライバーの横を向く動作と、プロジェクタ等の動作を示している。
図５において、４は図１におけるものと、５２は図２におけるものとそれぞれ同一のものである。プロジェクタ４は、サイドガラス５２の下部の投影範囲４２に画像を投影する。運転者８の前方に、フロントガラス５３と、ルームミラー５４と、運転者８を撮像するための車内カメラ５５が設置されている。図には、前方車線７が示されている。

次に、動作について説明する。
実施の形態１は、運転者が側方を確認したいという運転状況における動作についてのものである。
実施の形態１では、側方を撮像するカメラ２は、サイドミラー等、後方を一定以上の角度で撮像できる部分に取り付けられる。図２（ａ）は、カメラ２をサイドミラー５１に取り付けた場合の図であり、図２（ｂ）は、カメラ２により撮像された映像をサイドガラス５２に投影した投影映像４１を示す図であり、そのときの側方後方の撮像範囲２１が図３に示されている。

次に、図４を用いて、実施の形態１の画像制御装置１の動作について説明する。
まず、車内に搭載した車内カメラ５５により、運転者８の顔の向きおよび視線を撮像する（ステップＳ１）。また、ウィンカの情報を取得する（ステップＳ２）。視線や顔の向きが左右どちらかに向いたとき、もしくはウィンカの左右どちらかが点いている際に、運転状況判断部１２は、運転者８が左右どちらかを確認したいという意図を検知し、左右どちらを確認したいかを判断する（ステップＳ３）。
運転状況判断部１２が、運転者８が左右どちらかの映像を確認したいかを判断できなければ（ステップＳ４）、ステップＳ１、Ｓ２に戻り、判断できれば（ステップＳ４）、ステップＳ５に進む。

投影態様決定部１３は、サイドミラー５１に取り付けたカメラ２から撮像した映像を受領する撮像信号受領部１１から受け取った映像を、運転状況判断部１２が下した運転者８が左右どちらの映像を確認したいかという判断のもと、当該方向のサイドガラス５２に投影するように映像の形態を決定する。
その際、サイドガラス５２の下半分の投影範囲４２に、プロジェクタ４により投影する。図５は、実際にどのように出力させているかの様子を示している。
このとき、投影態様決定部１３は、サイドガラス５２上の下半分に投影するべく、映像を、車が映っている高さまでのものにするように映像の上部を切り取る処理を行う。
なお、映像の態様には、投影範囲、画像の輝度、投影するかしないかという判断を含むものとする。
運転者８は、サイドガラス５２に投影された映像を見ることで、運転者８の側方確認時の視野が広がり、視認性を改善することができる。

実施の形態１によれば、運転者が側方確認したいときに側方ないしは側方後方の映像をサイドガラスに投影することにより、サイドミラーで視認したときよりも広い部分の映像を運転者が確認することができ、運転者の側方ないしは側方後方の視認性を改善する効果がある。
また、映像を投影するに際して、常にサイドガラスに投影するのではなく、あくまで運転者が側方確認したいときに投影するようにしたので、運転者に側方を確認する意図がないときには運転者の視界内にサイドガラス上の映像が映らなくなるため、運転者の注意を削がれずに済む。
また、カメラと短焦点プロジェクタだけで本発明を実現できるため、スクリーンやモニタを準備するよりも低価格で実現することができる。

実施の形態２．
実施の形態２は、雨天時やサイドガラスが曇り、側方確認が困難な運転状況の場合についてのものである。
なお、実施の形態２の画像制御装置の構成は、図１におけるものと同じである。

図７は、この発明の実施の形態２による画像制御装置のサイドガラスへの投影を示す概略図である。
図７において、４、４２、５２〜５５、７、８は図５におけるものと同一のものである。図７では、プロジェクタ４の投影範囲４２は、サイドガラス５２の上端部以外の部分になっている。車内カメラ５５は、運転者８とサイドガラス５２を撮像する。

次に、図６を用いて、実施の形態２の画像制御装置の視界不良の場合の動作について説明する。
まず、車内カメラ５５でサイドガラス５２を撮像する（ステップＳ１１）。また、並行して運転状況判断部１２が、ワイパーの運転の有無を判断する（ステップＳ１２）。
車内カメラ５５の撮像結果およびワイパーの運転の有無により、運転状況判断部１２内の視界不良判断部１２１が、現在、運転者の視界不良かどうかを判断する（ステップＳ１３）。この判断では、車内外の温度差を含めて行うようにしてもよい。
視界不良判断部１２１が視界不良と判断した際、運転状況判断部１２は、投影態様決定部１３に視界不良である状態を伝える。
投影態様決定部１３は、視界不良という状態を取得すると、撮像信号受領部１１から受け取った映像をサイドガラス５２の上端部以外の部分に投射するよう映像を処理して、当該方向のサイドガラス５２に取得した映像を投影する（ステップＳ１４）。

実施の形態２では、左右への側方確認の意図の有無に拘らず、視界不良の状態の際は、常にサイドガラス５２上に映像を投影し続ける。図７に、サイドガラス５２上に投影する様子を示す。

実施の形態２によれば、サイドガラスの視界が悪く、運転者が側方の確認ができないときに、運転者がサイドミラーを見るのと似た動作で側方の状態を確認することができる。
また、側方の視界が悪いときに側方ないしは側方後方の映像をサイドガラスに投影することにより、サイドミラーで視認したときよりも広い部分の映像を運転者が確認することができ、運転者の側方ないしは側方後方の視認性を改善する効果がある。

実施の形態３．
実施の形態３は、側方後方から他車が迫ってくるという運転状況の場合についてのものである。
なお、実施の形態３の画像制御装置の構成は、図１におけるものと同じである。

図９は、この発明の実施の形態３による画像制御装置における側方後方から他車が迫ってきた状態を示す図である。
図９において、５、６は図３におけるものと同一のものである。図９では、自車５のセンサで他車６を検知している。

図１０は、この発明の実施の形態３による画像制御装置のサイドガラスへの投影を示す概略図である。
図１０において、４、４２、５２〜５５、７、８は図５におけるものと同一のものである。図１０では、プロジェクタ４の投影範囲４２は、サイドガラス５２の上端部以外の部分になっている。車内カメラ５５は、運転者８を撮像する。

図１１は、この発明の実施の形態３による画像制御装置におけるシートのヘッドレストおよびシート本体にプロジェクタを設置するときの範囲を示す図である。
図１１において、プロジェクタ４を取り付ける範囲を示すプロジェクタ取付エリア４３は、シート５６の上部およびヘッドレスト５７に設けられている。

図１２は、この発明の実施の形態３による画像制御装置におけるサイドガラスに投影するプロジェクタの光の反射を示す図である。
図１２において、４、８、５２は図１０におけるものと、５６、５７は図１１におけるものとそれぞれ同一のものである。運転者８の前方にハンドル５８が図示されている。プロジェクタ４の光は、サイドガラス５２で反射されて運転者８に入る。

次に、図８を用いて、実施の形態３の画像制御装置の他車接近の場合の動作について説明する。
まず、車体後部に取り付けられたセンサから、左右どちらかの側方から他車６が接近してきたかを他車接近判断部１２２が判断する（ステップＳ２１）。
他車接近判断部１２２が、他車６の接近を検知した際（ステップＳ２２）、運転状況判断部１２が、投影態様決定部１３に他車接近の状態を伝える。このとき、接近が感知される他車６は隣の車線の車である。１車線より遠い車は検知しても投影態様決定部１３には伝えない。投影態様決定部１３は、その他車接近の状態を受けて、撮像信号受領部１１から受け取った映像をサイドガラス５２上に投影するべく処理する。
投影態様決定部１３は、迫っている後方の他車６とその周りの風景が映し出されるように映像を切り取る処理を行う。その映像をサイドガラス５２上の一部分に投影するべく画像出力回路１４に送り、当該方向のサイドガラス５２上に映像が投影される（ステップＳ２３）。
なお、投影態様決定部１３は、このとき投影する映像を警告色にしてもよい。
他車６が自車５に迫ってきたときの様子を図９に示す。また、実際のサイドガラス５２上に投影する様子を図１０に示す。

実施の形態３によれば、後方から他車が迫ってきたとき、その状況をサイドガラスに投影するようにしたので、サイドミラーで視認したときよりも広い部分の映像を運転者が確認することができ、運転者の側方ないしは側方後方の視認性を改善する効果がある。

なお、実施の形態１〜３におけるプロジェクタ４は、短焦点プロジェクタであり、ヘッドレスト、天井、シート、ルームミラーに取り付けることができる。
プロジェクタは、サイドガラスの垂直方向を含む所定範囲内の方向から画像を投影する。この所定範囲内は、画像のゆがみ補正が現実的に困難な範囲を除外するものとする。
図１１に、プロジェクタ４をシート５６、またはヘッドレスト５７に取り付ける場合の取付範囲であるプロジェクタ取付エリア４３を示し、図１２に、プロジェクタ４が投影する光の角度とその反射の様子を示している。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１ 画像制御装置、２ カメラ、３ センサ群、４ プロジェクタ、５ 自車、６ 他車、
７ 前方車線、８ 運転者、１１ 撮像信号受領部、１２ 運転状況判断部、
１３ 投影態様決定部、１４ 画像出力回路、２１ 撮像範囲、４１ 投影映像、
４２ 投影範囲、４３ プロジェクタ取付エリア、５１ サイドミラー、
５２ サイドガラス、５３ フロントガラス、５４ ルームミラー、５５ 車内カメラ、５６ シート、５７ ヘッドレスト、５８ ハンドル、１２１ 視界不良判断部、
１２２ 他車接近判断部。

Claims (7)

1. 車両の側方および後方を撮像するように配置されたカメラからの撮像信号を受領する撮像信号受領部、
   上記車両の運転の状況を判断する運転状況判断部、
   この運転状況判断部の判断に応じて、上記撮像信号受領部により受領された撮像信号を処理し、上記車両のサイドガラスに投影する映像の態様を決定する投影態様決定部、
   およびこの投影態様決定部により決定された映像の態様で上記撮像信号をプロジェクタを介して上記サイドガラスに投影する画像出力部を備え、
   上記運転状況判断部は、運転者の側方確認の意図を検出するように構成され、
   上記投影態様決定部は、上記運転状況判断部が上記運転者の側方確認の意図を検出した場合に、当該側方方向のサイドガラスに投影するように上記映像の態様を決定するとともに、上記運転状況判断部によって判断された運転状況に応じて、上記サイドガラス上の投影範囲を変化させることを特徴とする画像制御装置。
2. サイドガラスの視界不良を判断する視界不良判断部を備え、
   上記投影態様決定部は、上記視界不良判断部により視界不良が判断された場合に、上記サイドガラスに投影するように上記映像の態様を決定することを特徴とする請求項１に記載の画像制御装置。
3. 他車両の接近を判断する他車接近判断部を備え、
   上記投影態様決定部は、上記他車接近判断部により他車両の接近が判断された場合に、上記サイドガラスに投影するように上記映像の態様を決定することを特徴とする請求項１または請求項２に記載の画像制御装置。
4. 上記投影態様決定部は、少なくとも上記サイドガラスの上端部以外の領域を映像の投影範囲とすることを特徴とする請求項１から請求項３のいずれか一項に記載の画像制御装置。
5. 請求項１から請求項４のいずれか一項に記載の画像制御装置、
   およびこの画像制御装置の上記画像出力部から上記撮像信号を出力され、上記サイドガラスに投影するプロジェクタを備え、
   上記プロジェクタは、上記サイドガラスに対し、所定範囲内の方向から上記映像を投影するように配置されることを特徴とする画像制御システム。
6. 上記プロジェクタは、上記車両のヘッドレスト、シートおよび天井のいずれかに配置されることを特徴とする請求項５に記載の画像制御システム。
7. 上記プロジェクタは、短焦点プロジェクタであることを特徴とする請求項５または請求項６に記載の画像制御システム。