JP6167940B2

JP6167940B2 - 撮影画像処理装置

Info

Publication number: JP6167940B2
Application number: JP2014041789A
Authority: JP
Inventors: 邦友青木; 兼靖小出; 彰雄伊藤
Original assignee: Denso Corp; Jeco Corp
Current assignee: Denso Corp; Jeco Corp
Priority date: 2014-03-04
Filing date: 2014-03-04
Publication date: 2017-07-26
Anticipated expiration: 2034-03-04
Also published as: JP2015166228A

Description

本発明は、撮影画像処理装置に関するものである。

従来、車両に取り付けられて車両から後方を撮影するリアカメラの撮影画像を車載ディスプレイシステムに表示させる技術が知られている。また、リアカメラ以外にも、車両の前方等を撮影するサブカメラの撮影画像を車載ディスプレイシステムに表示させる技術も知られている。また、リアカメラの撮影画像に対して車載ディスプレイシステムが車両の車幅延長線および予測進路線を重畳して表示する技術も知られている（例えば、特許文献１参照）。

特開２０１０−２２１９８０号公報

このように、リアカメラとリアカメラ以外のサブカメラを車両に搭載する場合、これらリアカメラおよびサブカメラから車載ディスプレイシステムの同じ映像入力端子に撮影画像を入力する場合がある。例えば、車載ディスプレイシステムには映像入力端子としてリアカメラ用の映像入力端子しか設けられていない場合が該当する。

そしてこのような場合、車載ディスプレイシステムのリアカメラ用映像入力端子には、切替スイッチ等により、リアカメラの撮影画像が入力されるかサブカメラの撮影画像が入力されるかをユーザが選択できるようにすることが考えられる。

しかし、リアカメラ用映像入力端子から車載ディスプレイシステムに画像が入力されると、車載ディスプレイシステムは、入力された画像がサブカメラの撮影画像であったとしても、上記のように車幅延長線および予測進路線を重畳してしまう場合がある。その場合、無意味なガイド線がサブカメラの撮影画像に重畳されたまま、サブカメラの撮影画像が表示されてしまうので、ユーザに違和感を与えてしまう。

本発明は上記点に鑑み、リアカメラおよびサブカメラから車載ディスプレイシステムの同じ映像入力端子に撮影画像が入力される場合、無意味なガイド線がサブカメラの撮影画像に重畳されて、ユーザに違和感を与えてしまう可能性を低減することを目的とする。

上記目的を達成するための請求項１に記載の発明は、車両から後方を撮影するリアカメラ（４）の撮影画像と、前記車両から前記リアカメラとは異なる方向を撮影するサブカメラ（５１）の撮影画像に基づく画像とを、車載ディスプレイシステム（１）の同じ映像入力端子に入力する撮影画像処理装置であって、前記サブカメラの撮影画像（６０）を加工して加工後サブカメラ画像（６２）として出力する画像加工回路（５２）と、前記リアカメラの撮影画像の映像信号と、前記画像加工回路が出力した前記加工後サブカメラ画像の映像信号とを、前記車載ディスプレイシステムの前記映像入力端子に入力する画像入力回路（５４）と、を備え、前記車載ディスプレイシステムは、前記映像入力端子に入力された画像に対して前記車両の後退支援用ガイド線を重畳してユーザに表示し、前記画像加工回路は、前記サブカメラの撮影画像を縮小し、縮小した前記サブカメラの撮影画像を上端部に限定して配置した画像を、前記加工後サブカメラ画像として出力することを特徴とする撮影画像処理装置である。

このように、車載ディスプレイシステムが上記映像入力端子に入力された画像に対して後退支援用ガイド線（以下、単にガイド線という）を重畳してユーザに表示するという前提について、本願発明者が検討を加えた。そしてその結果、ガイド線の特性上、上端部にガイド線が重畳されない部分が多くあることを見出した。そこで本願発明者は、画像加工回路において、加工後サブカメラ画像中において、縮小したサブカメラの撮影画像を上端部に限定して配置することを着想した。

このようになっていることで、加工後サブカメラ画像中で上端部に限定されたサブカメラの撮影画像には、ガイド線が重畳されないか、重畳されたとしても重畳部分はごく僅かな領域に収まる可能性が高くなる。したがって、無意味なガイド線がサブカメラの撮影画像に重畳されて、ユーザに違和感を与えてしまう可能性が低減される。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

第１実施形態に係る車載システムの構成図である。画像加工回路５２の構成図である。映像切替回路５４の構成図である。車載システムの作動状態の経時変化を表すタイミング図である。サブカメラの撮影画像６０と加工後サブカメラ画像６２画像表示装置１２に表示される加工後サブカメラ画像６２の図である。第２実施形態に係る車載システムの構成図である。画像加工回路５２の構成図である。車載システムの作動状態の経時変化を表すタイミング図である。画像表示装置１２に表示される画像の切り替わりを示す図である。第３実施形態に係る車載システムの構成図である。映像切替回路５４の構成図である。車載システムの作動状態の経時変化を表すタイミング図である。

（第１実施形態）
以下、本発明の第１実施形態について説明する。図１に示すように、本実施形態に係る車載システムは、車両に搭載され、車載ディスプレイシステム１、バックギア信号出力部３、リアカメラ４、撮影画像処理装置５を備えている。

車載ディスプレイシステム１は、ナビゲーション装置１１および画像表示装置１２を備えている。ナビゲーション装置１１は、車両内の周知のセンサ（ＧＰＳ受信機、加速度センサ、車速センサ、ヨーレートセンサ等）からの信号に基づいて車両の現在位置を特定し、現在位置からユーザが設定した目的地までの誘導経路を算出する。またナビゲーション装置１１は、地図データに基づいて現在位置周辺の地図画像を作成し、画像表示装置１２に表示させると共に、誘導経路を当該地図上で強調表示させる。

バックギア信号出力部３は、車両のシフト位置が後退位置になった場合、すなわち、ドライブポジションがＲになった場合、オンの信号を出力し、車両のシフト位置が後退位置以外になった場合、すなわち、ドライブポジションがＤ、Ｎ、Ｐ等になった場合、オフの信号を出力する。

リアカメラ４は、車両の後方（例えば後端部）に取り付けられ、車両から後方を撮影し、撮影画像のアナログ映像信号を出力するカメラである。

撮影画像処理装置５は、リアカメラ４の撮影画像のアナログ映像信号が入力されると共に、リアカメラ４の撮影画像と、リアカメラ４以外の車載カメラ（後述するサブカメラ５１）で撮影された撮影画像に基づく画像とを切り替えて、アナログ映像信号として出力する装置である。

ここで、ナビゲーション装置１１に備えられた入力端子について説明する。ナビゲーション装置１１は、リア用映像入力端子１１ａおよびＲＥＶ入力端子１１ｂを有している。

このリア用映像入力端子１１ａは、本来は、リアカメラ４の出力する撮影画像のアナログ映像信号が直接入力されることが意図された映像入力端子である。しかし、本実施形態では、撮影画像処理装置５の出力するアナログ映像信号がリア用映像入力端子１１ａに直接入力されるようになっている。

また、ＲＥＶ入力端子１１ｂは、本来は、バックギア信号出力部３の出力する信号が直接入力されることが意図された信号入力端子である。しかし、本実施形態では、撮影画像処理装置５の出力する疑似バックギア信号が直接入力されるようになっている。

本来の意図通り、リアカメラ４の出力する撮影画像のアナログ映像信号がリア用映像入力端子１１ａに入力され、バックギア信号出力部３の出力する信号がＲＥＶ入力端子１１ｂに入力される場合のナビゲーション装置１１の作動は、以下の通りである。車両のシフト位置が後退位置になった場合に限り、リアカメラ４の撮影画像を画像表示装置１２に表示させ、車両のシフト位置が後退位置以外になった場合、すなわち、ドライブポジションがＤ、Ｎ、Ｐ等になった場合、リアカメラ４の撮影画像を画像表示装置１２に表示させることを禁止する。

この作動を実現するために、本実施形態のナビゲーション装置１１は、ＲＥＶ入力端子１１ｂに入力される信号がオンの場合にのみ、リア用映像入力端子１１ａに入力される画像を画像表示装置１２に表示させる。そして、ＲＥＶ入力端子１１ｂに入力される信号がオフの場合には、リア用映像入力端子１１ａに入力される画像を画像表示装置１２に表示させることを禁止する。

ここで、撮影画像処理装置５について更に詳しく説明する。撮影画像処理装置５は、サブカメラ５１、画像加工回路５２、切替スイッチ５３、映像切替回路５４を有している。

サブカメラ５１は、リアカメラ４とは異なる方向を撮影する車載カメラである。具体的には、サブカメラ５１は、車両の左前端部付近に取り付けられ、その取り付け位置から、車両の左前端部および車両から見た左前方を撮影するコーナークリアランスモニターカメラ（ＣＣＭカメラ）である。サブカメラ５１の撮影画像は画像加工回路５２に入力される。

画像加工回路５２は、サブカメラ５１から入力された撮影画像を加工して出力する回路であり、図２に示すように、イメージトリミング回路５２１、イラストメモリ５２２、および画像合成回路５２３を有している。

イメージトリミング回路５２１は、サブカメラ５１から入力された撮影画像に対し、縮小、トリミング等の画像処理を行い、その画像処理の結果得られた仮の加工後サブカメラ画像を画像合成回路５２３に入力する。

イラストメモリ５２２は、上記仮の加工後サブカメラ画像に重畳するための画像および文字の情報があらかじめ記録された記憶媒体である。

画像合成回路５２３は、上記イラストメモリ５２２から上記画像および文字の情報を読み出し、読み出した情報に基づいて、イメージトリミング回路５２１から入力された仮の加工後サブカメラ画像に、上記画像および文字を重畳する。そして、重畳の結果得られた最終的な加工後サブカメラ画像のアナログ映像信号を、映像切替回路５４に出力する。

切替スイッチ５３は、車室内の運転席付近に取り付けられ、ユーザ（すなわち、ドライバ）が操作可能なスイッチである。

映像切替回路５４（画像入力回路の一例に相当する）は、アナログスイッチ回路５４１、疑似ＲＥＶ出力回路５４２を有している。

アナログスイッチ回路５４１は、切替スイッチ５３の操作内容に応じた信号が入力される映像切替端子５４１ａを有している。そしてアナログスイッチ回路５４１は、この映像切替端子５４１ａに入力される信号に応じて、画像合成回路５２３から入力された加工後サブカメラ画像と、リアカメラ４から入力されたリアカメラ４の撮影画像のうち、一方のみを選択する。

そして、選択した撮影画像をアナログ映像信号に変換し、ナビゲーション装置１１のリア用映像入力端子１１ａに入力する。具体的には、アナログスイッチ回路５４１は、映像切替端子５４１ａに入力される信号がオフの場合には、リアカメラ４の撮影画像のアナログ映像信号をリア用映像入力端子１１ａに入力する。またアナログスイッチ回路５４１は、映像切替端子５４１ａに入力される信号がオンの場合には、加工後サブカメラ画像のアナログ映像信号をリア用映像入力端子１１ａに入力する。

疑似ＲＥＶ出力回路５４２は、切替スイッチ５３の操作内容に応じた信号が入力されるＲＥＶ切替端子５４２ａを有している。また、疑似ＲＥＶ出力回路５４２には、バックギア信号出力部３の出力する信号も入力される。疑似ＲＥＶ出力回路５４２は、このＲＥＶ切替端子に入力される信号およびバックギア信号出力部３の出力する信号に応じて、疑似ＲＥＶ信号をナビゲーション装置１１のＲＥＶ入力端子１１ｂに入力する。

具体的には、疑似ＲＥＶ出力回路５４２は、バックギア信号出力部３の出力する信号とＲＥＶ切替端子５４２ａに入力される信号のうち、いずれか一方または両方がオンならば、ナビゲーション装置１１のＲＥＶ入力端子１１ｂに入力する信号をオンとする。また
疑似ＲＥＶ出力回路５４２は、バックギア信号出力部３の出力する信号とＲＥＶ切替端子５４２ａに入力される信号の両方がオフならば、ナビゲーション装置１１のＲＥＶ入力端子１１ｂに入力する信号をオフとする。

上記のような構成の車載システムの作動について、以下説明する。まず、図４に示す事例では、時点ｔ０以降、車両のシフト位置が後退位置以外（例えば前進位置、すなわちドライブポジションＤ）であり続けるものとする。したがって、バックギア信号出力部３からの信号はオフになっている。

また、時点ｔ０から時点ｔ１直前までの期間においては、ユーザが切替スイッチ５３をオフに操作した状態になっているので、ＲＥＶ切替端子５４２ａへ入力される信号もオフである。したがってこの期間中、疑似ＲＥＶ出力回路５４２からナビゲーション装置１１のＲＥＶ入力端子１１ｂに入力される疑似ＲＥＶ信号（図４のＲＥＶ入力）もオフであり続ける。したがって、この期間中、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力される映像信号が表す画像を画像表示装置１２に表示させない。

なおこの期間中、ユーザが切替スイッチ５３をオフに操作した状態になっているので、映像切替端子５４１ａに入力される信号もオフとなっている。したがって、アナログスイッチ回路５４１からリア用映像入力端子１１ａに入力される信号は、リアカメラ４の撮影画像を表すアナログ映像信号である。

時点ｔ１になって、ユーザが切替スイッチ５３を操作したとする。するとその結果、切替スイッチ５３からＲＥＶ切替端子５４２ａおよび映像切替端子５４１ａに入力される信号がオンになる。

すると、疑似ＲＥＶ出力回路５４２からＲＥＶ入力端子１１ｂへの疑似ＲＥＶ信号がオンに切り替わり、アナログスイッチ回路５４１からリア用映像入力端子１１ａに入力される信号は、加工後サブカメラ画像に切り替わる。

ナビゲーション装置１１は、ＲＥＶ入力端子１１ｂに入力される疑似ＲＥＶ信号がオフからオンになったことに基づいて、リア用映像入力端子１１ａに入力される加工後サブカメラ画像の映像信号を画像表示装置１２に表示させる。

時点ｔ１以降は、ユーザが切替スイッチ５３をそのままに維持する。したがって、切替スイッチ５３からＲＥＶ切替端子５４２ａおよび映像切替端子５４１ａに入力される信号がオンのままである。これにより、時点ｔ１以降も、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力される加工後サブカメラ画像の映像信号を画像表示装置１２に表示させ続ける。

ここで、時点ｔ１以降に画像表示装置１２に表示される加工後サブカメラ画像について、図５、図６を参照して説明する。画像加工回路５２のイメージトリミング回路５２１は、サブカメラ５１から撮影画像６０が入力されると、その一部６１（破線で囲まれた部分）を撮影画像６０から切り出す。どの領域を切り出すかは、あらかじめ固定的に定められて、イメージトリミング回路５２１内のメモリに記録されており、イメージトリミング回路５２１は、この記録に従った領域を切り出す。

この切り出しによって除去された部分は、撮影画像６０の右下隅の三角形領域６０ａ、および、当該三角形領域６０ａ以外で、撮影画像６０の外周までの最短距離が所定距離ｓ以内となる額縁領域である。

この額縁領域を除去するのは、撮影範囲の境界近傍の画像は、歪み等の画像異常が発生する可能性が比較的高いからである。また、三角形領域６０ａの範囲を除去するのは、後述する後退支援用ガイド線６３ａ〜６３ｃが撮影画像６０に重畳されることを効率的に防ぐためである。

続いてイメージトリミング回路５２１は、切り出した画像６１を縦横とも１／２程度に縮小する（図５の矢印参照）。そして、縮小した画像６１を上端部（より具体的には左上隅）に限定して配置した画像６２を、仮の加工後サブカメラ画像６２とし、画像合成回路５２３に出力する。なお、仮の加工後サブカメラ画像６２のうち、縮小した画像６１が表れている部分以外の部分は、黒一色の模様の無い画像でもよいし、何らかの模様が表れていてもよい。画像６２中で画像６１が占める面積の割合は、例えば、１／４以下であってもよい。

画像６１の縮小方法（縮小比率等）、および、仮の加工後サブカメラ画像６２への配置は、あらかじめ固定的に定められて、イメージトリミング回路５２１内のメモリに記録されており、イメージトリミング回路５２１は、この記録に従って縮小および配置を行う。

画像合成回路５２３は、イラストメモリ５２２にあらかじめ記録されている画像または文字の情報を読み出し、読み出した情報に基づいて、当該画像６４および文字６５を、イメージトリミング回路５２１から入力された仮の加工後サブカメラ画像６２に、重畳する。なお、重畳する位置は、仮の加工後サブカメラ画像６２のうち、縮小した画像６１が表れている部分以外の部分である。このようになっていることで、加工後サブカメラ画像６２中の、サブカメラ６の撮影画像６１以外の部分を利用して、加工後サブカメラ画像６２の利便性を高めることができる。

なお、この画像６４は、画像６１に映っている部分の位置をユーザに視覚的に把握させるための、自車両の前端部の形状を表す画像である。また、文字６５は、画像６１に映っている部分が自車両の左前の部分であることをユーザに通知する文字である。つまり、これらは、画像６１に映っている部分がどこの部分の映像かをユーザに把握させるための表示である。

そして画像合成回路５２３は、画像６４および文字６５を重畳した結果得られた最終的な加工後サブカメラ画像６２を、映像切替回路５４に出力する。

映像切替回路５４は、上述の通り、この最終的な加工後サブカメラ画像６２をアナログ映像信号に変換し、変換後のアナログ映像信号を、リア用映像入力端子１１ａに入力する。

するとナビゲーション装置１１は、上述の通り、ＲＥＶ入力端子１１ｂに入力されている疑似ＲＥＶ信号がオンなので、リア用映像入力端子１１ａに入力された最終的な加工後サブカメラ画像６２の映像信号に基づいて、当該画像６２を、画像表示装置１２に表示させる。

ただしナビゲーション装置１１は、当該最終的な加工後サブカメラ画像６２を画像表示装置１２に表示させる前に、図６に示す様に、後退支援用ガイド線６３ａ〜６３ｃおよびツールバー６６を、当該画像６２に重畳する。

後退支援用ガイド線６３ａ〜６３ｃは、車両の後退を支援するための周知のガイド線である。具体的には、ガイド線６３ａは、車両の予測進路線であり、ガイド線６３ｂ、６３ｃは、車両の車幅延長線である。これらの後退支援用ガイド線６３ａ〜６３ｃの表示位置は、変化しない場合もあれば、操舵輪の舵角に応じて変化する場合もある。

これらの後退支援用ガイド線６３ａ〜６３ｃは、本来は、リアカメラ４の撮影画像に対して重畳されて初めて意味があるものであり、リアカメラ４と撮影範囲が異なるサブカメラ５１によって撮影された画像とは、位置的に無関係である。したがって、加工後サブカメラ画像６２にガイド線６３ａ〜６３ｃを重畳しても、殆ど無意味である。

ではなぜ後退支援用ガイド線６３ａ〜６３ｃが加工後サブカメラ画像６２にガイド線６３ａ〜６３ｃを表示させるかといえば、それは、ナビゲーション装置１１が、リア用映像入力端子１１ａに入力される映像信号の内容に無頓着に、当該映像信号の表す画像に対して、ガイド線６３ａ〜６３ｃを重畳するからである。

したがって、ナビゲーション装置１１は、ＲＥＶ入力端子１１ｂに入力される映像信号が、リアカメラ４の撮影画像の映像信号であっても、最終的な加工後サブカメラ画像６２であっても、それに関わりなく、同じ位置に、後退支援用ガイド線６３ａ〜６３ｃを重畳する。ツールバー６６についても同様である。

ツールバー６６は、進路消去ボタン６６ａを含んでいる。ユーザが図示しない操作デバイス（例えばタッチパネル）を用いて、この進路消去ボタン６６ａを操作すると、ナビゲーション装置１１は、ガイド線６３ａ〜６３ｃの重畳を止める。この結果、ガイド線６３ａ〜６３ｃが重畳されていない最終的な加工後サブカメラ画像６２が、画像表示装置１２に表示されることになる。なお、この場合も、画像表示装置１２に表示される画像６２中でサブカメラ５１の撮影画像６０が表示される範囲６１には、変化が無い。

ガイド線６３ａ〜６３ｃが最終的な加工後サブカメラ画像６２に重畳されている場合、図６に示すように、ガイド線６３ａ〜６３ｃの特性上、遠近法により、車両から遠く離れる程ガイド線の幅が狭くなる。したがって、上端部（特に左上隅および右上隅）にガイド線が重畳されない部分が多くある。

したがって、最終的な加工後サブカメラ画像６２中で、サブカメラ５１の撮影画像６０から切り出された一部６１の表示領域を、上端部（より具体的には左上隅）に限定することで、画像６１にはガイド線が全く重畳されないか、重畳されたとしても重畳部分はごく僅かな領域に収まる可能性が高くなる。しかも、画像６１には、車両の左前端部６１ａ（具体的にはバンパー）が表示されているので、画像６１にガイド線が重畳された部分が少しあっても、その部分の殆どまたはすべてが、視認性が落ちても影響が少ない車両の左前端部６１ａ内に収まる。

ガイド線６３ａ〜６３ｃと画像６１との位置関係は、以下の（１）〜（３）のような態様がすべてあり得る。
（１）ガイド線６３ａ〜６３ｃがあらかじめ設定された範囲内でどのように動いても、画像６１にはガイド線６３ａ〜６３ｃが全く重畳されない。
（２）ガイド線６３ａ〜６３ｃがあらかじめ設定された範囲内で動くと、ある場面（例えばステアリングを左に大きく切った場合）では、ガイド線６３ａ〜６３ｃの僅かな一部が画像６１に重畳され、また別の場面（例えばステアリングを右に切った場合）では、画像６１にはガイド線６３ａ〜６３ｃが全く重畳されない。
（３）ガイド線６３ａ〜６３ｃがあらかじめ設定された範囲内でどのように動いても、僅かな一部が常に画像６１に重畳される。

また、（２）、（３）の態様のいずれにおいても、画像６１のうちガイド線６３ａ〜６３ｃが重畳される部分については、以下の（ａ）、（ｂ）のどちらの態様もあり得る。
（ａ）画像６１のうちガイド線６３ａ〜６３ｃが重畳される部分は、ガイド線６３ａ〜６３ｃがあらかじめ設定された範囲内でどのように動いても、車両の左前端部６１ａ内にすべて収まる。
（ｂ）画像６１のうちガイド線６３ａ〜６３ｃが重畳される部分は、ガイド線６３ａ〜６３ｃがあらかじめ設定された範囲内で動くと、ある場面では、ガイド線６３ａ〜６３ｃが車両の左前端部６１ａ内にすべて収まり、また別の場面では、ガイド線６３ａ〜６３ｃが車両の左前端部６１ａ内からはみ出る。

なお、上述の通り、加工後サブカメラ画像６２の上端部のうちでも、右上隅または左上隅は、ガイド線６３ａ〜６３ｃが特に重畳され難い場所である。したがって、加工後サブカメラ画像６２の右上隅または左上隅にサブカメラの撮影画像を限定することで、無意味なガイド線がサブカメラの撮影画像に重畳されて、ユーザに違和感を与えてしまう可能性が更に低減される。

（第２実施形態）
次に、本発明の第２実施形態について、第１実施形態との違いを中心に説明する。本実施形態に係る車載システムが第１実施形態と構成上異なるのは、図７に示すように、ナビゲーション装置１１から画像加工回路５２に線消去信号用の信号線が繋がっていることである。

ナビゲーション装置１１は、第１実施形態と同様、リア用映像入力端子１１ａに入力された画像に対して車両の後退支援用ガイド線６３ａ〜６３ｃを重畳して画像表示装置１２に表示させるようになっている。

また第１実施形態と同様、ユーザが進路消去ボタン６６ａを操作すると、ナビゲーション装置１１はガイド線６３ａ〜６３ｃの重畳を止め、ガイド線６３ａ〜６３ｃが重畳されていない最終的な加工後サブカメラ画像６２が画像表示装置１２に表示される。つまり、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力された画像に対して車両の後退支援用ガイド線６３ａ〜６３ｃを重畳せずに画像表示装置１２に表示させる。

このように、車載ディスプレイシステム１は、リア用映像入力端子１１ａに入力された画像に対してガイド線６３ａ〜６３ｃを重畳してユーザに表示する作動と重畳せずにユーザに表示する作動が切り替え可能である。

本実施形態では、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力された画像に対して、車両の後退支援用ガイド線６３ａ〜６３ｃを重畳して画像表示装置１２に表示させているか否かを、線消去信号で画像加工回路５２に通知している。

具体的には、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力された画像に対して、車両の後退支援用ガイド線６３ａ〜６３ｃを重畳せずに画像表示装置１２に表示させている場合にのみ、この線消去信号をオンとし、そうでない場合、オフとする。

また、図８に示すように、画像加工回路５２においては、この線消去信号がイメージトリミング回路５２１に入力される。そして、イメージトリミング回路５２１は、線消去信号がオンであるか否かに応じて、サブカメラ５１から入力された撮影画像の加工方法を切り替える。

具体的には、イメージトリミング回路５２１は、線消去信号がオフである場合は、第１実施形態と同様の加工（図５参照）を撮影画像６０に加え、その結果の加工後サブカメラ画像６２を画像合成回路５２３に入力する。

またイメージトリミング回路５２１は、線消去信号がオンである場合は、サブカメラ５１から入力された撮影画像６０の全部（または第１実施形態と同じ額縁領域を除去した残りの部分）を、加工後サブカメラ画像６２として、画像合成回路５２３に入力する。つまり、線消去信号がオフである場合に比べ、加工後サブカメラ画像６２中でサブカメラ５１の撮影画像６０が占める面積割合を多くする。

以下、本実施形態の車載システムの作動について説明する。まず、図９に示す事例は、時点ｔ２の直前までは第１実施形態と同じである。

線消去信号については、時点ｔ１までは、ＲＥＶ入力端子１１ｂへの入力がオフなので、ナビゲーション装置１１はリア用映像入力端子１１ａに入力された画像を画像表示装置１２に表示させない。したがって、ナビゲーション装置１１は、線消去信号をオフとしている。

そして、時点ｔ１になると、第１実施形態と同じ作動により、ＲＥＶ入力端子１１ｂの信号がオンとなる。するとナビゲーション装置１１は、リア用映像入力端子１１ａに入力された最終的な加工後サブカメラ画像６２にガイド線６３ａ〜６３ｃおよびツールバー６６を重畳して画像表示装置１２に表示させ始めると共に、線消去信号をオフのまま維持する。

したがって、画像加工回路５２のイメージトリミング回路５２１は、第１実施形態と同様の加工（図５参照）を撮影画像６０に加え、その結果の加工後サブカメラ画像６２を画像合成回路５２３に入力する。その結果、画像表示装置１２に表示される画像６２は、第１実施形態と同様、図６のようなものになる。つまり、画像表示装置１２に表示される画像６２中で、サブカメラ５１の撮影画像が占める範囲６１の割合は、小さいままである。

その後、時点ｔ２において、ユーザが進路消去ボタン６６ａを操作すると、ナビゲーション装置１１は、ガイド線６３ａ〜６３ｃの重畳を止めると共に、線消去信号をオンに切り替える。

すると画像加工回路５２のイメージトリミング回路５２１は、線消去信号がオンであることに基づいて、サブカメラ５１から入力された撮影画像の全部（または第１実施形態と同じ額縁領域を除去した残りの部分）を、仮の加工後サブカメラ画像６２として、画像合成回路５２３に入力する（図１０の下段参照）。なお、画像合成回路５２３の作動内容は、線消去信号のオン、オフに関わらず、第１実施形態と同じである。この結果、ガイド線６３ａ〜６３ｃが重畳されていない最終的な加工後サブカメラ画像６２が、画像表示装置１２に表示されることになる。

このように、イメージトリミング回路５２１は、ナビゲーション装置１１がリア用映像入力端子１１ａに入力された画像に対してガイド線６３ａ〜６３ｃを重畳せずにユーザに表示していることに基づいて、ガイド線６３ａ〜６３ｃを重畳してユーザに表示している場合に比べ、サブカメラ５１の撮影画像の配置範囲をより広くした画像を、加工後サブカメラ画像６２として出力する。

このようにするのは、端的に言えば、ガイド線６３ａ〜６３ｃが表示されないならば、ガイド線６３ａ〜６３ｃを避けるためにサブカメラ５１の撮影画像６０を小さく表示する必要は無いからである。このような作動により、ガイド線６３ａ〜６３ｃが重畳されない場合は、サブカメラ５１の撮影画像６０をより大きく表示することで、ガイド線により違和感を与えてしまう可能性が低減されるという効果を維持したまま、サブカメラの撮影画像の視認性を向上することができる。

時点ｔ２から時点ｔ３直前までは、ガイド線６３ａ〜６３ｃが画像表示装置１２に表示されないままとなっている。したがって、線消去信号はオンのまま維持され、サブカメラ５１の撮影画像は画像表示装置１２で大きく表示される。

時点ｔ３になって、ユーザは所定のガイド線復帰操作をナビゲーション装置１１に対して行ったとする。するとナビゲーション装置１１は、この操作があったことに起因して、再度、リア用映像入力端子１１ａに入力された最終的な加工後サブカメラ画像６２にガイド線６３ａ〜６３ｃを重畳して画像表示装置１２に表示させ始める。そしてそれと同時に、線消去信号をオンからオフに切り替える。

すると画像加工回路５２のイメージトリミング回路５２１は、線消去信号がオフであることに基づいて、時点ｔ１以降から時点ｔ２直前までと同様の加工（図５参照）を撮影画像６０に加え、その結果の加工後サブカメラ画像６２を画像合成回路５２３に入力する。その結果、画像表示装置１２に表示される画像６２は、第１実施形態と同様、図６のようなものに戻る（図１０の上段参照）。つまり、画像表示装置１２に表示される画像６２中で、サブカメラ５１の撮影画像が占める範囲６１の割合が、小さくなる。

（第３実施形態）
次に、本発明の第３実施形態について、第１実施形態との違いを中心に説明する。本実施形態では、車両のシフト位置が後退位置（ドライブポジションＲ）から前進位置（ドライブポジションＤ）に変化した場合、画像表示装置１２が表示する画像が、リアカメラ４の撮影画像から加工後サブカメラ画像６２に自動的に変化することである。

本実施形態に係る車載システムが第１実施形態と構成上異なるのは、図１１に示すように、ナビゲーション装置１１から映像切替回路５４にＲＤ信号用の信号線が繋がっていることである。

このＲＤ信号線は、車両のシフト位置（前進位置、後退位置、ニュートラル位置等）を表すＲＤ信号を出力する信号線であり、ナビゲーション装置１１から映像切替回路５４に繋がっている。ナビゲーション装置１１は、図示しない周知のシフト位置センサに基づいて、上記シフト位置を特定し、特定したシフト位置に従って、ＲＤ信号線にＲＤ信号を出力する。

また、図１２に示すように、映像切替回路５４においては、このＲＤ信号がタイマ５４３に入力される。そして、タイマ５４３は、入力されるＲＤ信号の示すシフト位置が後退位置から前進位置に変化した場合、その変化した時点から所定時間Ｐだけ、切替スイッチ５３から疑似ＲＥＶ出力回路５４２およびアナログスイッチ回路５４１への信号線の信号を、強制的にオンとする。この信号線の信号を、以下切替信号という。この所定時間Ｐとしては、例えば１０秒間を採用してもよい。また、それ以外の場合、タイマ５４３は、切替スイッチ５３から上記切替信号を、強制的にオンとしない。

上記のような構成の車載システムの作動について、以下説明する。まず、図１３に示す事例では、時点ｔ５以降、ユーザは切替スイッチ５３を全く操作しないものとする。

時点ｔ５から時点ｔ６の直前までの期間は、後退駐車のため、車両のシフト位置が後退位置となっている。したがって、ナビゲーション装置１１からタイマ５４３に入力されるＲＤ信号は、後退位置を示している。したがって、この期間中、切替信号はオフのままである。また、バックギア信号出力部３から疑似ＲＥＶ出力回路５４２に出力される信号は、オンとなっている。

これらのことから、時点ｔ５から時点ｔ６の直前までの期間においては、疑似ＲＥＶ出力回路５４２からＲＥＶ入力端子１１ｂに入力される疑似ＲＥＶ信号（図１３のＲＥＶ入力）は、オンに維持される。また、アナログスイッチ回路５４１は、リアカメラ４の撮影画像の映像信号をリア用映像入力端子１１ａに入力する。したがって、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力されたリアカメラ４の撮影画像にガイド線６３ａ〜６３ｃおよびツールバー６６を重畳して、画像表示装置１２に表示させる。

その後、時点ｔ６において、後退駐車時の切り戻しにより一旦ギア位置が前進位置になったとする。すると、ＲＤ信号の示すシフト位置が後退位置から前進位置に変化し、バックギア信号出力部３の出力する信号がオフになる。

これにより、タイマ５４３が切替信号を強制的にオンにし始める。これにより、疑似ＲＥＶ出力回路５４２は、バックギア信号出力部３の出力する信号がオフであるにも関わらず、ＲＥＶ入力端子１１ｂへ入力する疑似ＲＥＶ信号をオンに維持する。また、アナログスイッチ回路５４１は、リア用映像入力端子１１ａへ入力する映像信号を、リアカメラ４の撮影画像の映像信号から、最終的な加工後サブカメラ画像６２の映像信号に切り替える。したがって、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力された最終的な加工後サブカメラ画像６２の撮影画像にガイド線６３ａ〜６３ｃおよびツールバー６６を重畳して、画像表示装置１２に表示させる。この状態は、時点ｔ７の直前まで継続される。

後退駐車時等に切り戻しにより一旦ギア位置が前進位置になると、ユーザは車両のフロントコーナー周辺が気になる。このような場合でも、上記のような作動により、加工後サブカメラ画像６２が車載ディスプレイシステム１に表示されるので、利便性が高まる。

時点ｔ６以降、車両のシフト位置は、時点ｔ８の直前まで前進位置となっているのでＲＤ信号に変化はない。しかし、時点ｔ８に至る前に、タイマ５４３において、時点ｔ７において、所定時間Ｐが経過し、その時点で、タイマ５４３が切替信号を強制的にオンにすることを止める。すると、切替信号の内容は、切替スイッチ５３の状態のみに依存することになり、切替スイッチ５３が操作されていない状態（オフ状態）では、切替信号はオフとなる。

したがって、時点ｔ７においては、アナログスイッチ回路５４１は、リア用映像入力端子１１ａへ入力する映像信号を、最終的な加工後サブカメラ画像６２の映像信号から、リアカメラ４の撮影画像の映像信号に切り替える。また、疑似ＲＥＶ出力回路５４２では、バックギア信号出力部３からの信号も切替信号もオフなので、ＲＥＶ入力端子１１ｂに入力する信号（図１３のＲＥＶ入力）がオフとなる。したがって、ナビゲーション装置１１は、リア用映像入力端子１１ａから入力された映像信号が表す画像を、画像表示装置１２に表示させない。この状態は、時点ｔ８の直前まで続く。

時点ｔ８においては、再度車両を後退させるため、ユーザが車両のシフト位置を後退位置に変化させる。すると、ＲＤ信号の示すシフト位置が前進位置から後退位置に変化するが、タイマ５４３の出力に変化はない。また、バックギア信号出力部３から疑似ＲＥＶ出力回路５４２に入力される信号がオンになる。

したがって、疑似ＲＥＶ出力回路５４２からＲＥＶ入力端子１１ｂに入力される疑似ＲＥＶ信号は、オフからオンに変化する。また、アナログスイッチ回路５４１からリア用映像入力端子１１ａに入力される映像信号は、リアカメラ４の撮影画像の映像信号のままである。したがって、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力されたリアカメラ４の撮影画像にガイド線６３ａ〜６３ｃおよびツールバー６６を重畳して、画像表示装置１２に表示させる。この状態は、時点ｔ９の直前まで続く。

その後、時点ｔ９において、ギア位置が前進位置になるが、この時点の作動は、時点ｔ６と同じである。したがって、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力された最終的な加工後サブカメラ画像６２の撮影画像にガイド線６３ａ〜６３ｃおよびツールバー６６を重畳して、画像表示装置１２に表示させ始める。この状態は、時点ｔ１０の直前まで継続される。

時点ｔ１０では、時点ｔ９から所定時間Ｐが経過する前に、車両のシフト位置が再度後退位置に変化する。すると、ＲＤ信号の示すシフト位置が前進位置から後退位置に変化するが、上記所定時間Ｐが経過する前なので、タイマ５４３の出力に変化はない。しかし、バックギア信号出力部３から疑似ＲＥＶ出力回路５４２に入力される信号がオンに変化する。

したがって、疑似ＲＥＶ出力回路５４２からＲＥＶ入力端子１１ｂに入力される疑似ＲＥＶ信号は、オンのままである。また、アナログスイッチ回路５４１からリア用映像入力端子１１ａに入力される映像信号は、最終的な加工後サブカメラ画像６２の撮影画像の映像信号のままである。したがって、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力された最終的な加工後サブカメラ画像６２にガイド線６３ａ〜６３ｃおよびツールバー６６を重畳して、画像表示装置１２に表示させる。この状態は、時点ｔ１１の直前まで続く。

時点ｔ１１においては、時点ｔ９から所定時間Ｐが経過する。するとその時点で、タイマ５４３が切替信号を強制的にオンにすることを止める。すると、時点ｔ７と同様、切替信号はオフとなる。また、バックギア信号出力部３からの信号は、オンのまま変化がない。

したがって、時点ｔ１１においては、アナログスイッチ回路５４１は、リア用映像入力端子１１ａへ入力する映像信号を、最終的な加工後サブカメラ画像６２の映像信号から、リアカメラ４の撮影画像の映像信号に切り替える。また、疑似ＲＥＶ出力回路５４２では、バックギア信号出力部３からの信号がオンのままなので、ＲＥＶ入力端子１１ｂに入力する信号（図１３のＲＥＶ入力）がオンとなる。したがって、ナビゲーション装置１１は、リア用映像入力端子１１ａに入力されたリアカメラ４の撮影画像にガイド線６３ａ〜６３ｃおよびツールバー６６を重畳して、画像表示装置１２に表示させる。この状態は、時点ｔ１１以降も続く。

（他の実施形態）
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。例えば、以下のような変形例も許容される。なお、以下の変形例は、それぞれ独立に、上記実施形態に適用および不適用を選択できる。すなわち、以下の変形例のうち任意の組み合わせを、上記実施形態に適用することができる。

（変形例１）
上記実施形態では、サブカメラ５１は、車両の左前端部付近に取り付けられ、その取り付け位置から、車両の左前端部および車両から見た左前方を撮影する。しかし、サブカメラ５１は、このようなものに限られるわけではない。例えば、サブカメラ５１は、車両の右前端部付近に取り付けられ、その取り付け位置から、車両の右前端部および車両から見た右前方を撮影するようになっていてもよい。この場合、画像加工回路５２のイメージトリミング回路５２１は、サブカメラ５１の撮影画像から、左下隅の三角形領域と第１実施形態と同様の額縁領域を除去した画像を切り出し、切り出した画像を縦横とも１／２程度に縮小する。そして、縮小した画像を上端部（より具体的には右上隅）に限定して配置した画像６２を、仮の加工後サブカメラ画像６２とし、画像合成回路５２３に出力する。また、サブカメラ５１、車両から真正面の前方を撮影するカメラであってもよいし、車両から側方を撮影するカメラであってもよい。

（変形例２）
また、車両は、第１実施形態におけるサブカメラ５１（左前コーナー用のサブカメラ）と、上記変形例１におけるサブカメラ５１（右前コーナー用のサブカメラ）の両方を有していてもよい。この場合、それら左右のサブカメラの撮影画像は、画像表示装置１２において、それぞれ、加工後サブカメラ画像６２の左上および右上に制限されて表示されるようになっていてもよい。

（変形例３）
また、上記各実施形態では、アナログスイッチ回路５４１は、加工後サブカメラ画像６２とリアカメラ４の撮影画像のいずれか一方のみを状況に応じて選択し、選択した画像の映像信号をリア用映像入力端子１１ａに入力している。しかし、必ずしもこのようになっておらずともよい。例えば、アナログスイッチ回路５４１は、画像合成回路を内蔵し、その画像合成回路を用いて、切替信号の状態にかかわらず、常に、加工後サブカメラ画像６２のうち、サブカメラ５１の撮影画像が配置された部分以外の部分に、リアカメラ４の撮影画像を重畳させてもよい。その場合、アナログスイッチ回路５４１は、その結果の画像を、最終的な加工後サブカメラ画像６２としてリア用映像入力端子１１ａに入力するようになっていてもよい。

（変形例４）
また、上記実施形態において、サブカメラ画像の切り出しパターン、切り出した画像を配置する位置や配置時の縮小率、重畳用のイラストメモリ内の画像や文字情報を、ユーザが任意に設定したり、種々の組み合わせパターンから選択できるようにしても良い。

１車載ディスプレイシステム
４リアカメラ
１１ａリア用映像入力端子
１１ｂＲＥＶ入力端子
５１サブカメラ
５２画像加工回路
５４映像切替回路
６０サブカメラの撮影画像
６２加工後サブカメラ画像

Claims

車両から後方を撮影するリアカメラ（４）の撮影画像と、前記車両から前記リアカメラとは異なる方向を撮影するサブカメラ（５１）の撮影画像に基づく画像とを、車載ディスプレイシステム（１）の同じ映像入力端子に入力する撮影画像処理装置であって、
前記サブカメラの撮影画像（６０）を加工して加工後サブカメラ画像（６２）として出力する画像加工回路（５２）と、
前記リアカメラの撮影画像の映像信号と、前記画像加工回路が出力した前記加工後サブカメラ画像の映像信号とを、前記車載ディスプレイシステムの前記映像入力端子に入力する画像入力回路（５４）と、を備え、
前記車載ディスプレイシステムは、前記映像入力端子に入力された画像に対して前記車両の後退支援用ガイド線を重畳してユーザに表示し、
前記画像加工回路は、前記サブカメラの撮影画像を縮小し、縮小した前記サブカメラの撮影画像を上端部に限定して配置した画像を、前記加工後サブカメラ画像として出力することを特徴とする撮影画像処理装置。
前記画像加工回路は、前記サブカメラの撮影画像を縮小し、縮小した前記サブカメラの撮影画像を、左上隅または右上隅に限定して配置した画像を、前記加工後サブカメラ画像として出力することを特徴とする請求項１に記載の撮影画像処理装置。
前記サブカメラは、前記車両から前記車両の左前端部を含む左前方を撮影し、前記画像加工回路は、前記サブカメラの撮影画像を縮小すると共に右下角を除去し、縮小および除去の結果の前記サブカメラの撮影画像を左上隅に限定して配置した画像を、前記加工後サブカメラ画像として出力するか、
または、
前記サブカメラは、前記車両から前記車両の右前端部を含む右前方を撮影し、前記画像加工回路は、前記サブカメラの撮影画像を縮小すると共に左下角を除去し、縮小および除去の結果の前記サブカメラの撮影画像を右上隅に限定して配置した画像を、前記加工後サブカメラ画像として出力することを特徴とする請求項２に記載の撮影画像処理装置。
前記画像加工回路は、前記サブカメラの撮影方向を通知するための画像（６４）または文字（６５）を、前記加工後サブカメラ画像中の、前記サブカメラの撮影画像以外の部分に重畳して出力することを特徴とする請求項１ないし３のいずれか１つに記載の撮影画像処理装置。
前記車載ディスプレイシステムは、前記映像入力端子に入力された画像に対して前記後退支援用ガイド線を重畳してユーザに表示する作動と重畳せずにユーザに表示する作動が切り替え可能であり、
前記画像加工回路は、前記車載ディスプレイシステムが前記映像入力端子に入力された画像に対して前記後退支援用ガイド線を重畳せずにユーザに表示していることに基づいて、前記車載ディスプレイシステムが前記映像入力端子に入力された画像に対して前記後退支援用ガイド線を重畳してユーザに表示している場合に比べて、前記サブカメラの撮影画像の配置範囲をより広くした画像を、前記加工後サブカメラ画像として出力することを特徴とする請求項１ないし４のいずれか１つに記載の撮影画像処理装置。
前記サブカメラは、前記車両から前記車両の左前方または前記車両の右前方を撮影し、
前記車両のギア位置が後退位置にあって前記画像入力回路が前記リアカメラの撮影画像および前記加工後サブカメラ画像のうち前記リアカメラの撮影画像のみを含む映像信号を前記映像入力端子に入力しているとき、前記画像入力回路は、前記車両のギア位置が後退位置から前進位置に変化したことに基づいて、所定時間だけ、前記加工後サブカメラ画像を含む映像信号を前記映像入力端子に入力することを特徴とする請求項１ないし５のいずれか１つに記載の撮影画像処理装置。