JP6833128B2 - 後方画像処理装置 - Google Patents

Description

本発明は、車両の後方を撮影した画像を表示装置に表示させる後方画像処理装置に関するものである。

近年、車両の物理ミラー（光学ミラー）の代替手段として、車両の後方あるいは側方を撮影した画像を車内の表示装置に表示するカメラモニタリングシステム（ＣＭＳ）、いわゆる「電子ミラー」の開発が進んでいる。また、電子ミラー用のカメラで撮影した自車両の後方の画像（後方画像）を電子ミラーの画面に表示させる際、自車両から後方車両（後続車両）までの距離に応じて後方画像を拡大または縮小するスケーリング処理を行うことによって、電子ミラーが表示する後方車両の画像と物理ミラーに映った後方車両の鏡像との距離感の違いを抑制する技術が知られている（例えば、下記の特許文献１）。

特開２０１４−２３５６４０号公報

特許文献１の技術において、後方画像のスケーリング処理におけるスケーリング係数（拡大率または縮小率）は、自車両から後方車両までの距離に応じて設定される。しかし、自車両から後方車両までの距離が長い状態では、その距離が後方画像の距離感に与える影響は小さい。そのため、自車両から後方車両までの距離が長い場合（後方車両が存在しない場合も含む）にまで特許文献１の技術を適用すると、電子ミラーが表示する後方車両の画像と物理ミラーに映った後方車両の鏡像との距離感の違いが増幅されることも考えられる。

本発明は上記のような課題を解決するためになされたものであり、自車両から後方車両までの距離が長い場合にも、電子ミラーが表示する画像と物理ミラーに映った鏡像との距離感の違いを抑制できる画像処理装置を提供することを目的とする。

本発明に係る後方画像処理装置は、車両の後方の風景を撮像した画像である後方画像を取得する後方画像取得部と、車両から後方画像に写る物体までの距離を取得する距離取得部と、車両から物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して後方画像のスケーリング処理を行い、当該距離が閾値以下のときは当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させて後方画像のスケーリング処理を行う画像処理部と、スケーリング処理後の後方画像を表示装置に表示させる表示処理部と、を備え、画像処理部は、スケーリング係数を後方画像内の位置ごとに設定し、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定するものである。

本発明に係る後方画像処理装置によれば、車両から物体までの距離が閾値以下のとき、当該距離が短くなるほど後方画像が縮小されることで、表示装置に表示される物体の距離感が、物理ミラーに映る物体の距離感と同等になる。また、車両から物体までの距離が閾値よりも大きいときは、スケーリング係数が一定の標準値に設定されることで、表示装置に表示される物体の距離感が、物理ミラーに映る物体の距離感と同等な状態で維持される。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る電子ミラーシステムの構成を示すブロック図である。 実施の形態１のスケーリング処理に用いられるスケーリング係数を説明するための図である。 自車両から後方物体までの距離が閾値よりも大きいときに、実施の形態１に係る電子ミラーシステムの表示装置に表示される後方画像、ならびに、リアビューミラーに映る鏡像の例を示す図である。 自車両から後方物体までの距離が閾値よりも小さいときに、リアビューミラーに映る鏡像の例を示す図である。 自車両から後方物体までの距離が閾値よりも小さいときにスケーリング係数を標準値に設定した場合に、電子ミラーシステムの表示装置に表示される後方画像の例を示す図である。 自車両から後方物体までの距離が閾値よりも小さいときに、実施の形態１に係る電子ミラーシステムの表示装置に表示される後方画像の例を示す図である。 実施の形態１に係る後方画像処理装置の動作を示すフローチャートである。 後方画像処理装置のハードウェア構成の例を示す図である。 後方画像処理装置のハードウェア構成の例を示す図である。 実施の形態２のスケーリング処理に用いられるスケーリング係数を説明するための図である。 実施の形態２のスケーリング処理に用いられるスケーリング係数を説明するための図である。 自車両から後方物体までの距離が閾値よりも小さいときに、実施の形態２に係る電子ミラーシステムの表示装置に表示される後方画像の例を示す図である。 実施の形態２に係る後方画像処理装置の動作を示すフローチャートである。 実施の形態２に係る後方画像処理装置で生じ得る問題を説明するための図である。 実施の形態３に係る電子ミラーシステムの構成を示すブロック図である。 実施の形態３のスケーリング処理に用いられるスケーリング係数を説明するための図である。 実施の形態３のスケーリング処理に用いられるスケーリング係数を説明するための図である。 実施の形態３のスケーリング処理に用いられるスケーリング係数を説明するための図である。 実施の形態３に係る後方画像処理装置の動作を示すフローチャートである。 実施の形態２に係る後方画像処理装置で生じ得る問題を説明するための図である。 実施の形態２に係る後方画像処理装置で生じ得る問題を説明するための図である。 実施の形態４のスケーリング処理に用いられるスケーリング係数を説明するための図である。 実施の形態４のスケーリング処理に用いられるスケーリング係数を説明するための図である。 実施の形態４のスケーリング処理に用いられるスケーリング係数を説明するための図である。 実施の形態４に係る後方画像処理装置の動作を示すフローチャートである。 自車両から後方物体までの距離が閾値よりも小さいときに、実施の形態４に係る電子ミラーシステムの表示装置に表示される後方画像の例を示す図である。

＜実施の形態１＞
図１は、実施の形態１に係る電子ミラーシステムの構成を示すブロック図である。実施の形態１の電子ミラーシステムは、車両のリアビューミラー（バックミラー、ルームミラーとも呼ばれる）の代替手段となる電子ミラーを提供するものである。以下、当該電子ミラーシステムを搭載する車両を「自車両」という。

図１のように、実施の形態１の電子ミラーシステムは、後方画像処理装置１０と、それに接続された後方画像撮影装置２１、表示装置２２および測距センサ２３とを備えている。

後方画像撮影装置２１は、自車両の後方の風景を撮像するカメラである。表示装置２２は、後方画像処理装置１０が出力する画像を表示するためのものであり、例えば液晶表示装置などによって構成される。

測距センサ２３は、自車両から、自車両の後方に存在する物体までの距離を測定するセンサであり、例えば、赤外線センサ、ミリ波レーダ、超音波レーダ、ＬｉＤＡＲ（Light Detection and Ranging）、ソナーなどによって構成される。測距センサ２３が検出する物体には、車両、バイク、自転車、歩行者などの移動体のほか、ガードレールや壁、建物、電柱などの静止物も含まれる。以下、自車両の後方に存在する物体を「後方物体」という。なお、測距センサ２３は、少なくとも後方画像撮影装置２１の撮影範囲内に存在する後方物体と自車両との間の距離を測定できればよい。

後方画像処理装置１０は、後方画像撮影装置２１が撮影した自車両後方の画像（以下「後方画像」という）の拡大または縮小するスケーリング処理を行い、スケーリング処理後の後方画像を表示装置２２に表示させる。後方画像処理装置１０が行うスケーリング処理で用いられるスケーリング係数（拡大率または縮小率）は、測距センサ２３が測定した自車両から後方物体までの距離に基づいて設定される。

図１に示すように、後方画像処理装置１０は、後方画像取得部１１、距離取得部１２、画像処理部１３および表示処理部１４を備えている。

後方画像取得部１１は、後方画像撮影装置２１が撮影した後方画像を取得する。距離取得部１２は、測距センサ２３によって測定された、自車両から後方画像に写る後方物体（つまり後方画像撮影装置２１の撮影範囲内に存在する後方物体）までの距離を取得する。

画像処理部１３は、後方画像取得部１１が取得した後方画像のスケーリング処理を行う。表示処理部１４は、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングして、トリミングした範囲の後方画像を表示装置２２に表示させる。上記のトリミングの処理は、画像処理部１３が行ってもよい。

ここで、画像処理部１３が行うスケーリング処理について説明する。このスケーリング処理で用いられるスケーリング係数は、自車両から後方物体までの距離に基づいて設定される。具体的には、自車両から後方物体までの距離が予め定められた閾値よりも大きい場合には、画像処理部１３は、スケーリング係数を一定の標準値に設定する。また、自車両から後方物体までの距離が閾値以下の場合には、画像処理部１３は、当該距離が短くなるほど後方画像が縮小（ズームアウト）されるようにスケーリング係数を変化させる。つまり、自車両から後方物体までの距離とスケーリング係数との関係をグラフで示すと図２のようになる。図２のグラフの縦軸に相当するスケーリング係数は拡大率を表しており、スケーリング係数が小さくなると後方画像は縮小される。なお、実施の形態１では、スケーリング係数は、後方画像の全体にわたって均一な値に設定される。

画像処理部１３は、自車両から後方物体までの距離に基づく演算処理によってスケーリング係数を算出してもよいし、自車両から後方物体までの距離とスケーリング係数との対応関係が記述されたスケーリングテーブル（図２のグラフに相当するデータ）を予め記憶していてもよい。

スケーリング係数の標準値は、電子ミラーシステムの表示装置２２に表示される後方画像の視野（後方画像に映り込む範囲）が、物理ミラーとしてのリアビューミラーの視野（リアビューミラーに映り込む範囲）と同等になるように定められる。例えば、リアビューミラーに図３に示すような視野の鏡像が映る場合、スケーリング係数の標準値は、電子ミラーシステムの表示装置２２に図３と同等の後方画像が表示されるように設定される。

よって、自車両から後方物体までの距離が閾値よりも大きく、スケーリング係数が標準値に設定された状態では、表示装置２２に表示される後方画像と、リアビューミラーに映る鏡像とは、どちらも図３に相当するものとなる。従って、表示装置２２に表示される後方物体の距離感とリアビューミラーに映る後方物体の距離感との相違は無い。

また、自車両から後方物体までの距離が閾値よりも大きい場合に、その距離の値に関わらず、スケーリング係数が一定の標準値に設定されることで、表示装置２２に表示される後方物体の距離感は、リアビューミラーに映る後方物体の距離感と同等な状態で維持される。

一方、自車両から後方物体までの距離が短い場合に、スケーリング係数を一定にすると、表示装置２２に表示される後方物体の距離感とリアビューミラーに映る後方物体の距離感との間に差が生じる。運転者からリアビューミラーに映る後方物体までの見かけ上の距離が、運転者の目からフロントウィンドウ付近にあるリアビューミラーを経て後方物体に至るまでの距離であるのに対し、運転者から電子ミラーシステムの表示装置２２に映る後方画像までの見かけ上の距離は、後方画像撮影装置２１と後方物体との間の距離に相当するため、両者の間には差が存在し、自車両から後方物体までの距離が短い場合にはその差が距離感に大きく影響するためである。特に、リアビューミラーの代替手段となる電子ミラーシステムでは、死角を少なくするために後方画像撮影装置２１が自車両の後部に設置されるため、上記の差は３ｍ程度になる。

よって、自車両から後方物体までの距離が短いときにも、スケーリング係数を標準値に設定すると、例えば、リアビューミラーに図４のような鏡像が映るとき、表示装置２２には図５のような後方画像が表示され、後方物体（ここでは後方車両）の距離感に差異が生じる。つまり、表示装置２２に表示された後方物体は、リアビューミラーに映る後方物体よりも大きく見える（視野に占める割合が大きくなる）。よって、表示装置２２に表示された後方物体は、リアビューミラーに映る後方物体よりも近くにあるように見える。

それに対し、実施の形態１の電子ミラーシステムでは、図４に示したように、自車両から後方物体までの距離が閾値以下になると、画像処理部１３が、当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させる。よって、表示装置２２には、図５の後方画像を縮小して得られる図６のような後方画像が表示される。図６の後方画像における後方物体は、リアビューミラーに映る後方物体（図４）と同等の大きさであるため、両者の間で距離感の違いは抑制されている。

このように、実施の形態１に係る電子ミラーシステムによれば、自車両から後方物体までの距離が閾値以下のとき、当該距離が短くなるほど後方画像が縮小されることによって、表示装置２２に表示される後方物体の距離感を、リアビューミラー（物理ミラー）に映る後方物体の距離感と同等にすることができる。また、自車両から後方物体までの距離が閾値よりも大きいときは、スケーリング係数が一定の標準値に設定されることで、表示装置２２に表示される後方物体の距離感が、物理ミラーに映る物体の距離感と同等な状態を維持することができる。

図７は、実施の形態１に係る後方画像処理装置１０の動作を示すフローチャートである。以下、図７を参照しつつ、実施の形態１に係る後方画像処理装置１０の動作を説明する。

後方画像処理装置１０が起動すると、まず、後方画像取得部１１が、後方画像撮影装置２１によって撮影された後方画像を取得する（ステップＳ１０１）。次に、距離取得部１２が、測距センサ２３によって測定された自車両から後方画像に写る後方物体までの距離を取得する（ステップＳ１０２）。そして、画像処理部１３は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する（ステップＳ１０３）。

自車両から後方物体までの距離が閾値以下であれば（ステップＳ１０３でＹＥＳ）、画像処理部１３は、スケーリング係数を当該距離に応じた値に設定する（ステップＳ１０４）。具体的には、画像処理部１３は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じてスケーリング係数を変化させる。そして、画像処理部１３は、ステップＳ１０４で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ１０５）。

一方、自車両から後方物体までの距離が閾値よりも大きければ（ステップＳ１０３でＮＯ）、画像処理部１３は、スケーリング係数を標準値に設定する（ステップＳ１０６）。そして、画像処理部１３は、ステップＳ１０６で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ１０７）。

ステップＳ１０５またはＳ１０７のスケーリング処理が完了すると、表示処理部１４が、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置２２に表示させる（ステップＳ１０８）。後方画像処理装置１０は、以上の処理を繰り返し実行する。

図８および図９は、それぞれ後方画像処理装置１０のハードウェア構成の例を示す図である。図１に示した後方画像処理装置１０の構成要素の各機能は、例えば図８に示す処理回路５０により実現される。すなわち、後方画像処理装置１０は、自車両の後方の風景を撮像した画像である後方画像を取得し、自車両から後方画像に写る後方物体までの距離を取得し、自車両から後方物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して後方画像のスケーリング処理を行い、自車両から後方物体までの距離が閾値以下のときは当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させて後方画像のスケーリング処理を行い、スケーリング処理後の後方画像を表示装置に表示させる、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。後方画像処理装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図９は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における後方画像処理装置１０のハードウェア構成の例を示している。この場合、後方画像処理装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、後方画像処理装置１０は、プロセッサ５１により実行されるときに、自車両の後方の風景を撮像した画像である後方画像を取得する処理と、自車両から後方画像に写る後方物体までの距離を取得する処理と、自車両から後方物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して後方画像のスケーリング処理を行い、自車両から後方物体までの距離が閾値以下のときは当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させて後方画像のスケーリング処理を行う処理と、スケーリング処理後の後方画像を表示装置に表示させる処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、後方画像処理装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、後方画像処理装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、後方画像処理装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、後方画像処理装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

＜実施の形態２＞
実施の形態１では、自車両から後方物体までの距離が閾値以下のとき、後方画像を縮小するスケーリング処理を行い、表示装置２２に表示される後方物体の大きさ（図６参照）を、リアビューミラー（物理ミラー）に映る後方物体の大きさ（図４参照）と同等にすることで、両者の距離感の差を抑制した。

しかし、実施の形態１では、スケーリング係数が、後方画像の全体にわたって均一な値に設定されており、後方物体の背景の画像も後方物体と同じように縮小されるため、表示装置２２に表示される後方画像の視野と、物理ミラーの視野との間に差が生じる。その結果、背景の地物に対する後方物体の相対的な大きさを把握し難くなる。実施の形態２では、この問題を解決できる後方画像処理装置１０を示す。

実施の形態２の電子ミラーシステムの構成は、図１と同様である。ただし、実施の形態２では、画像処理部１３は、スケーリング係数を後方画像内の位置ごとに設定することができる。

自車両から後方物体までの距離が閾値よりも大きいとき、画像処理部１３は、実施の形態１と同様に、スケーリング係数を、後方画像の全体にわたって一律に、標準値に設定する。一方、自車両から後方物体までの距離が閾値以下のときには、画像処理部１３は、後方画像の中央部分では、スケーリング係数を実施の形態１（図２）と同様に自車両から後方物体までの距離に応じて変化させるが、後方画像の中央以外の部分では、図１０のように、後方画像の中央から外側へ向けてスケーリング係数を徐々に大きくし、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定する。

すなわち、実施の形態２では、自車両から後方物体までの距離が閾値以下の場合、図１１に示すように、スケーリング係数（ＳＦ）は、後方画像の中央部分では標準値よりも小さく、後方画像の外周部分で標準値に近い値となる。また、図１１から分かるように、スケーリング係数は、後方画像の特定の位置で大きく変化する。つまり、スケーリング係数は、後方画像の中央からの距離に対して非線形に変化する。以下、後方画像上で非線形に変化するスケーリング係数を用いて行われるスケーリング処理を「非線形スケーリング処理」という。

例えば、図５に示した後方画像に対し、図１１のようなスケーリング係数を用いた非線形スケーリング処理を行うと、非線形スケーリング処理後の後方画像は図１２のようになる。このような非線形スケーリング処理では、後方画像の中央部に映る後方物体の画像が縮小されるため、非線形スケーリング処理後の後方画像に映る後方物体の距離感は物理ミラーの距離感と同等になる。さらに、後方画像の外周部に映る背景の画像のスケーリング係数は標準値に近いため、背景画像の縮小が抑えられ、非線形スケーリング処理後の後方画像の視野は、物理ミラーの視野と同等になる。その結果、実施の形態１と比較して、表示装置２２に表示される後方画像において、背景の地物に対する後方物体の相対的な大きさを把握し易くなり、上記の問題が解決される。

図１３は、実施の形態２に係る後方画像処理装置１０の動作を示すフローチャートである。以下、図１３を参照しつつ、実施の形態２に係る後方画像処理装置１０の動作を説明する。

後方画像処理装置１０が起動すると、まず、後方画像取得部１１が、後方画像撮影装置２１によって撮影された後方画像を取得する（ステップＳ２０１）。次に、距離取得部１２が、測距センサ２３によって測定された自車両から後方画像に写る後方物体までの距離を取得する（ステップＳ２０２）。そして、画像処理部１３は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する（ステップＳ２０３）。

自車両から後方物体までの距離が閾値以下であれば（ステップＳ２０３でＹＥＳ）、画像処理部１３は、後方画像の中央のスケーリング係数を当該距離に応じた値に設定する（ステップＳ２０４）。具体的には、画像処理部１３は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じて後方画像の中央のスケーリング係数を変化させる。

続いて、画像処理部１３は、後方画像の各位置のスケーリング係数を設定する（ステップＳ２０５）。具体的には、画像処理部１３は、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定する。

さらに、画像処理部１３は、ステップＳ２０４，Ｓ２０５で設定したスケーリング係数を用いて、後方画像に対する非線形スケーリング処理を実施する（ステップＳ２０６）。

一方、自車両から後方物体までの距離が閾値よりも大きければ（ステップＳ２０３でＮＯ）、画像処理部１３は、後方画像全体のスケーリング係数を標準値に設定する（ステップＳ２０７）。そして、画像処理部１３は、ステップＳ２０７で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ２０８）。

ステップＳ２０６またはＳ２０８のスケーリング処理が完了すると、表示処理部１４が、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置２２に表示させる（ステップＳ２０９）。後方画像処理装置１０は、以上の処理を繰り返し実行する。

＜実施の形態３＞
図１１に示したように、実施の形態２において、後方画像のスケーリング係数の変化の傾きは、後方画像の特定の位置で大きくなる。また、自車両から後方物体までの距離が極めて近くなると、後方画像に写る後方物体のサイズは非常に大きいものとなる。このとき、スケーリング係数の変化の傾きが大きい位置が、後方物体の画像の内側になると、図１４のように後方物体の画像に歪みが生じるだけで、後方物体の画像が適切に縮小されなくなる。実施の形態３では、この問題を解決できる後方画像処理装置１０を示す。

図１５は、実施の形態３に係る電子ミラーシステムの構成を示すブロック図である。図１５の電子ミラーシステムの構成は、図１の構成に対し、後方画像処理装置１０に物体画像抽出部１５を追加したものである。物体画像抽出部１５は、後方画像取得部１１が取得した後方画像を解析して、後方画像から後方物体の画像（以下「後方物体画像」という）を抽出する。

また、実施の形態３では、画像処理部１３は、自車両から後方物体までの距離が閾値以下のとき、図１６のように、スケーリング係数の変化の傾きが大きくなる位置を、物体画像抽出部１５が抽出した後方物体画像のサイズに応じて変化させる。具体的には、画像処理部１３は、スケーリング係数の変化の傾きが大きくなる位置を、後方物体画像の周辺部に設定する。すなわち、図１７のように後方物体画像のサイズが小さいときは、スケーリング係数の変化の傾きが大きくなる位置は、後方画像の中央に近くなり、図１８のように後方物体画像のサイズが大きいときは、スケーリング係数の変化の傾きが大きくなる位置は、後方画像の中央から遠ざかる。

実施の形態３によれば、スケーリング係数の変化の傾きが大きい位置が、後方物体の画像の内側になることが防止されるため、後方画像に写る後方物体のサイズは非常に大きくなった場合でも、後方物体の画像が適切に縮小されるようになる。

図１９は、実施の形態３に係る後方画像処理装置１０の動作を示すフローチャートである。以下、図１９を参照しつつ、実施の形態３に係る後方画像処理装置１０の動作を説明する。

後方画像処理装置１０が起動すると、まず、後方画像取得部１１が、後方画像撮影装置２１によって撮影された後方画像を取得する（ステップＳ３０１）。次に、距離取得部１２が、測距センサ２３によって測定された自車両から後方画像に写る後方物体までの距離を取得する（ステップＳ３０２）。そして、画像処理部１３は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する（ステップＳ３０３）。

自車両から後方物体までの距離が閾値以下であれば（ステップＳ３０３でＹＥＳ）、画像処理部１３は、後方画像の中央のスケーリング係数を当該距離に応じた値に設定する（ステップＳ３０４）。具体的には、画像処理部１３は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じて後方画像の中央のスケーリング係数を変化させる。

続いて、物体画像抽出部１５は、後方画像から後方物体画像を抽出する（ステップＳ３０５）。画像処理部１３は、物体画像抽出部１５が抽出した後方物体画像のサイズを確認し、そのサイズに応じて、スケーリング係数の変化の傾きを大きくする位置を設定する（ステップＳ３０６）。具体的には、画像処理部１３は、スケーリング係数の変化の傾きを大きくする位置を、後方物体画像の周辺部（後方物体画像の外側）に設定する。

さらに、画像処理部１３は、ステップＳ３０４，Ｓ３０６の処理結果に基づいて、後方画像の各位置のスケーリング係数を設定する（ステップＳ３０７）。具体的には、画像処理部１３は、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定する。そして、画像処理部１３は、ステップＳ３０４，Ｓ３０７で設定したスケーリング係数を用いて、後方画像に対する非線形スケーリング処理を実施する（ステップＳ３０８）。

一方、自車両から後方物体までの距離が閾値よりも大きければ（ステップＳ３０３でＮＯ）、画像処理部１３は、後方画像全体のスケーリング係数を標準値に設定する（ステップＳ３０９）。そして、画像処理部１３は、ステップＳ３０９で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ３１０）。

ステップＳ３０８またはＳ３１０のスケーリング処理が完了すると、表示処理部１４が、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置２２に表示させる（ステップＳ３１１）。後方画像処理装置１０は、以上の処理を繰り返し実行する。

＜実施の形態４＞
実施の形態２では、後方物体が後方画像の中央付近に映り込んでいることを前提としていたが、例えば図２０のように、後方物体が後方画像の中央からずれた位置に映り込むこともある。図２０のような後方画像に、実施の形態２をそのまま適用すると、図２１のように後方物体の画像の一部分が縮小されることになる。実施の形態４では、この問題を解決できる後方画像処理装置１０を示す。

実施の形態４に係る電子ミラーシステムの構成は図１５と同様である。すなわち、実施の形態４の後方画像処理装置１０は、後方画像取得部１１が取得した後方画像から後方物体画像を抽出する物体画像抽出部１５を備えている。

また、実施の形態４では、画像処理部１３は、自車両から後方物体までの距離が閾値以下のとき、後方物体画像の中央部分では、スケーリング係数を実施の形態１（図２）と同様に自車両から後方物体までの距離に応じて変化させるが、後方画像の中央以外の部分では、図２２のように、後方画像内の後方物体画像の中央から外側へ向けてスケーリング係数を徐々に大きくし、後方物体画像から遠い位置ほどスケーリング係数を標準値に近い値に設定する。このとき画像処理部１３は、スケーリング係数を、後方物体画像からの距離に対して非線形に変化させる。

実施の形態４では、スケーリング係数の変化の傾きが大きくなる位置は、図２３および図２４に示すように、後方物体画像の位置に応じて変化する。例えば、図２３のように後方物体画像が後方画像の左下部分に位置する場合、スケーリング係数の変化の傾きが大きくなる位置は、後方物体画像が後方画像の中央に位置する場合（図１１）に比べて左下へ移動する。また、図２４のように後方物体画像が後方画像の右上部分に位置する場合、スケーリング係数の変化の傾きが大きくなる位置は、後方物体画像が後方画像の中央に位置する場合（図１１）に比べて右上へ移動する。

実施の形態４によれば、スケーリング係数の変化の傾きが大きい位置が、後方画像における後方物体画像の位置に合わせて移動するため、図２０のように後方物体が後方画像の中央からずれた位置に映り込む場合でも、図２５のように後方物体の画像が適切に縮小されるようになる。

図２６は、実施の形態４に係る後方画像処理装置１０の動作を示すフローチャートである。以下、図２６を参照しつつ、実施の形態４に係る後方画像処理装置１０の動作を説明する。

後方画像処理装置１０が起動すると、まず、後方画像取得部１１が、後方画像撮影装置２１によって撮影された後方画像を取得する（ステップＳ４０１）。次に、距離取得部１２が、測距センサ２３によって測定された自車両から後方画像に写る後方物体までの距離を取得する（ステップＳ４０２）。そして、画像処理部１３は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する（ステップＳ４０３）。

自車両から後方物体までの距離が閾値以下であれば（ステップＳ４０３でＹＥＳ）、物体画像抽出部１５が、後方画像から後方物体画像を抽出する（ステップＳ４０４）。そして、画像処理部１３は、物体画像抽出部１５が抽出した後方物体画像の位置を確認し、後方画像における後方物体画像の中央のスケーリング係数を当該距離に応じた値に設定する（ステップＳ４０５）。具体的には、画像処理部１３は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じて後方物体画像の中央のスケーリング係数を変化させる。

また、画像処理部１３は、後方画像における後方物体画像の位置に応じて、スケーリング係数の変化の傾きを大きくする位置を設定する（ステップＳ４０６）。具体的には、画像処理部１３は、スケーリング係数の変化の傾きを大きくする位置を、後方物体画像の周辺部に設定する。

さらに、画像処理部１３は、ステップＳ４０５，Ｓ４０６の処理結果に基づいて、後方画像の各位置のスケーリング係数を設定する（ステップＳ４０７）。具体的には、画像処理部１３は、後方物体画像から遠い位置ほどスケーリング係数を標準値に近い値に設定する。そして、画像処理部１３は、ステップＳ４０５，Ｓ４０７で設定したスケーリング係数を用いて、後方画像に対する非線形スケーリング処理を実施する（ステップＳ４０８）。

一方、自車両から後方物体までの距離が閾値よりも大きければ（ステップＳ４０３でＮＯ）、画像処理部１３は、後方画像全体のスケーリング係数を標準値に設定する（ステップＳ４０９）。そして、画像処理部１３は、ステップＳ４０９で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ４１０）。

ステップＳ４０８またはＳ４１０のスケーリング処理が完了すると、表示処理部１４が、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置２２に表示させる（ステップＳ４１１）。後方画像処理装置１０は、以上の処理を繰り返し実行する。

＜変形例＞
実施の形態１〜４では、後方画像処理装置１０は自車両に搭載されているものとしたが、後方画像処理装置１０に外部のサーバーとの通信手段を設け、後方画像処理装置１０の機能の一部をサーバーが実行してもよい。例えば、非線形スケーリング処理や、後方物体画像の抽出するための画像解析処理など、演算負荷の高い処理を外部のサーバーで行えば、後方画像処理装置１０の演算負荷を削減できる。

また、実施の形態１〜４において、適切なスケーリング係数は、厳密には、自車両から後方物体までの距離だけでなく、後方物体の実際のサイズにも依存すると考えられる。そのため、後方画像処理装置１０は、後方物体のサイズを認識し、後方物体のサイズを加味してスケーリング係数を設定してもよい。

また、後方物体が後方車両の場合、画像処理部１３が後方車両の車種を判断し、後方車両の車種から分かるサイズに応じてスケーリング係数を変化させてもよい。この場合、後方画像処理装置１０に、車種ごとのスケーリングテーブルを格納したデータベースを設けてもよい。あるいは、車種ごとのスケーリングテーブルを格納したデータベースを外部のサーバー上に構築し、画像処理部１３が、後方車両の車種に対応するスケーリングテーブルをサーバーから取得できるようにしてもよい。データベースをサーバー上に構築したシステムでは、新たな車種が加わった場合などに、サーバーの管理者がデータベースの更新を行えばよく、後方画像処理装置１０のユーザがデータベースの更新を行う必要が無いため、ユーザにとって利便性の高いシステムとなる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０ 後方画像処理装置、１１ 後方画像取得部、１２ 距離取得部、１３ 画像処理部、１４ 表示処理部、１５ 物体画像抽出部、２１ 後方画像撮影装置、２２ 表示装置、２３ 測距センサ。

Claims (8)

1. 車両の後方の風景を撮像した画像である後方画像を取得する後方画像取得部と、
   前記車両から前記後方画像に写る物体までの距離を取得する距離取得部と、
   前記車両から前記物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して前記後方画像のスケーリング処理を行い、前記距離が前記閾値以下のときは前記距離が短くなるほど前記後方画像が縮小されるように前記スケーリング係数を変化させて前記後方画像の前記スケーリング処理を行う画像処理部と、
   前記スケーリング処理後の前記後方画像を表示装置に表示させる表示処理部と、
   を備え、
   前記画像処理部は、前記スケーリング係数を前記後方画像内の位置ごとに設定し、前記後方画像の中央から遠い位置ほど前記スケーリング係数を前記標準値に近い値に設定する
   後方画像処理装置。
2. 前記画像処理部は、前記スケーリング係数を前記後方画像の中央からの距離に対して非線形に変化させる
   請求項１に記載の後方画像処理装置。
3. 前記後方画像から前記物体の画像である物体画像を抽出する物体画像抽出部をさらに備え、
   前記画像処理部は、前記スケーリング係数の変化の傾きが大きくなる位置を前記物体画像のサイズに応じて変化させる
   請求項２に記載の後方画像処理装置。
4. 前記画像処理部は、前記スケーリング係数の変化の傾きが大きくなる位置を前記物体画像の周辺部に設定する
   請求項３に記載の後方画像処理装置。
5. 車両の後方の風景を撮像した画像である後方画像を取得する後方画像取得部と、
   前記車両から前記後方画像に写る物体までの距離を取得する距離取得部と、
   前記車両から前記物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して前記後方画像のスケーリング処理を行い、前記距離が前記閾値以下のときは前記距離が短くなるほど前記後方画像が縮小されるように前記スケーリング係数を変化させて前記後方画像の前記スケーリング処理を行う画像処理部と、
   前記スケーリング処理後の前記後方画像を表示装置に表示させる表示処理部と、
   前記後方画像から前記物体の画像である物体画像を抽出する物体画像抽出部と、
   を備え、
   前記画像処理部は、前記スケーリング係数を前記後方画像内の位置ごとに設定し、前記物体画像から遠い位置ほど前記スケーリング係数を前記標準値に近い値に設定する
   後方画像処理装置。
6. 前記画像処理部は、前記スケーリング係数を前記物体画像からの距離に対して非線形に変化させる
   請求項５に記載の後方画像処理装置。
7. 前記画像処理部は、前記スケーリング係数の変化の傾きが大きくなる位置を前記物体画像の位置に応じて変化させる
   請求項６に記載の後方画像処理装置。
8. 前記画像処理部は、前記スケーリング係数の変化の傾きが大きくなる位置を前記物体画像の周辺部に設定する
   請求項７に記載の後方画像処理装置。

Images