JP2009147628A - 車載用画像処理装置及び車載用画像表示装置 - Google Patents

Abstract

【課題】画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができる車載用画像処理装置及びその画像を表示する車載用画像表示装置を提供する。
【解決手段】自車両側後方の画像を側後方カメラから取得し（Ｓ１００）、取得した画像中から、画像縮小時に直線をひずませないための拘束点（地平線、消失点から延びる直線又は車線区分線）を抽出する。また、画像中の揺動抑制領域をひずませないための拘束点（車両、白線の消失点、自車両後方方向の無限遠点のいずれかの領域及びその揺動抑制方向）を検出する（Ｓ１０５）。そして、画像エネルギ画像を生成する（Ｓ１１０）。その後、画像中に設定された拘束点を通り、画像エネルギが所定の値以下の部分結ぶＳｅａｍを算出し、Ｓｅａｍを削除して縮小画像を生成する（Ｓ１１５）。そして、算出した縮小画像を表示装置に表示する（Ｓ１２０）。
【選択図】図２

Description

本発明は、車両周辺の重要部分を見やすさを保った状態で画像を縮小して表示するための車載用画像処理装置及び車載用画像表示装置に関する。

従来、車載カメラを用い、車両の側後方の画像を取得し、オプティカルフローなどで検出した相対速度を持つ物を強調表示して、運転者がより理解しやすい画像を生成することで車両運転時の安全向上を狙っている技術がある（例えば、特許文献１参照）。

一方で、画像の重要度を解析して重要度の高い箇所を切り貼りすることで重要箇所を残したまま画像を縮小する技術もある（例えば、特許文献２参照）。さらに、これを改良し、重要度を示す画像エネルギ画像をまず算出し、それに対してＳｅａｍと呼ばれる重要度が低い箇所を通って画像エネルギ画像を縦断するラインを算出し、その箇所を削除していく方法が提案されている（例えば、非特許文献１参照）。

これらの縮小画像生成技術により、小さなモニタに効率よく周辺状況を表示することができる。これを車載カメラに適用した場合、例えば側後方カメラにおいては、追越し車両がより拡大強調されることになり、一目で車線変更の可否が分かりやすい。
特開２００３−２７４３９３ ＵＳ２００７／００２５６３７ "Seam Carving for Content-Aware Image Resizing", S.Avidan (Mitsubishi Electric Research Labs), SIGGRAPH’07

しかし、非特許文献１に記載されている手法では、縮小後の画像がひずんだりするという問題がある。例えば、側後方カメラ画像における隣車線の白線が、直線なのに途切れたり曲がったりする。これは、削除されるＳｅａｍが、画像のエネルギ分布によっては白線の一箇所に集中してしまい、削除されることによって起こる。一般的な手法として、画像エネルギ画像にエッジ画像を用いた場合、路側構造物は強いエッジを持つ場合が多く、路側のビルの谷間にはＳｅａｍが集中して走りやすく、そこの近くの直線はひずむことが多い。

また、動画像においては、削除される箇所が毎フレーム異なるため、例えば、側後方カメラに写る追い越し車両の姿が左右にぶれることがある。これは、削除されるＳｅａｍが着目する追い越し車両の右側や左側に通る本数がフレーム毎に異なることにより起こる。

このように、本手法を車載動画像に適用するには、ひずみや揺れを押さえるようＳｅａｍに適切な拘束条件を設定することが必要となる。
本発明は、こうした問題に鑑みなされたもので、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができる車載用画像処理装置及びその画像を表示する車載用画像表示装置を提供することを目的とする。

かかる問題を解決するためになされた請求項１に記載の車載用画像処理装置（５：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、画像取得手段（１０）、画像エネルギ算出手段（３０）、拘束点配置手段（３０）及び画像縮小手段（３０）を備えている。

画像取得手段（１０）は、自車両周辺の画像を取得するためのものであり、画像エネルギ算出手段（３０）は、画像取得手段（１０）で取得した画像中の画像エネルギを算出し、算出した画像エネルギが所定の値より低い部分を通過するラインを算出する。

拘束点配置手段（３０）は、画像取得手段（１０）で取得した画像中に、画像エネルギの値に関係なくラインが通過しなければならない拘束点を設定する
画像縮小手段（３０）は、画像エネルギ算出手段（３０）で算出した画像中のライン部分を削除することにより画像を縮小する。

さらに、画像エネルギ算出手段（３０）は、ラインを算出する際、ラインを拘束点配置手段（３０）で配置した拘束点を通過させる。
以上のような車載用画像処理装置（５）は、運転者にとって車両運行上重要な位置の物体だけを的確に選定して画像縮小を行い、運転者に見やすい画像表示が可能な画像処理装置となる。以下説明する。

まず、「画像中の画像エネルギ」について説明する。これは、画像中の重要な箇所がどこかを示す指標で、画像中の各位置ごとに算出され、画像全体のエネルギ分布を作成した物をエネルギ画像と呼ぶ。

この算出方法、すなわちエネルギの定義の方法はさまざまな方法が考えられ、例えば、エッジ画像、すなわち線の粗密が色の変化が大きい箇所と考えることができる。例えば、晴天の空など重要でないと思われる箇所では、線の粗密や画面の色の変化がほとんどできない。一方、都市の道路を撮影した画像で重要と思われる箇所は、道路面に車線などのペイントが施されていたり、道路上には車両が多数存在していたり、道路脇に建物が立ち並んでいたり、また、道路脇や建物には広告用の看板などが立ち並んでいたりするので、線の粗密や色の変化が大きい。

このように、エッジ抽出処理を画像中の画像エネルギとした場合、エッジが強い部分が「画像中の画像エネルギが高い」となる一方で、模様が無い重要なもの、例えば、のっぺりとしたデザインの車両は重要でないとされてしまうことになる。このため、車両が削除されたり、車両内部ののっぺりした箇所が削除され車両の見た目がひずんだりする。そのため、この画像エネルギの算出方法は非常に重要である。

このように定義した「画像エネルギ」によれば、請求項１に記載の車載用画像処理装置（５）では、画像エネルギ算出手段（３０）で画像中の画像エネルギが算出され、算出された画像エネルギが所定の値より低い部分が削除されて画像が縮小される。

このように画像エネルギが所定の値より低い部分を削除して画像を縮小すると、得られる画像にはひずみが生じる。特に、ラインが画像中を斜めに通過し、かつ、１点に集中するとひずみが大きくなる。

そこで、本発明においては請求項１に記載のように、その際、ラインが必ず通過する拘束点を設定する。特定した拘束点を画像の一端から対向する他端へ順次通過するラインを算出するようにしており、その拘束点の位置を適切にばらけさせることにより、ラインの集中を防止することができ、結果として画像縮小時の画像のひずみを抑制することができる。

具体的には、請求項２に記載のように、拘束点配置手段（３０）は、画像取得手段（１０）で取得した画像中に所定の間隔で拘束点を設定するようにするとよい。
このようにすると、ひずませたくない部分に、拘束点配置手段（３０）によって所定の間隔で拘束点を配置すれば、そこを通過するラインは所定の間隔となるので、ラインが集中しなくなる。ラインが集中しなければ削除される部分が集中しないので、画像縮小時にその部分がひずむことがなくなる。

また、画像取得手段（１０）で取得した画像中において、地平線、消失点から延びる直線あるいは車線区分線などの直線がひずんだ場合には運転者に違和感を感じさせる。そこで、請求項３に記載のように、画像取得手段（１０）で取得した画像中の地平線、消失点から延びる直線又は車線区分線を抽出する線分抽出手段（３０）を備え、拘束点配置手段（３０）は、線分抽出手段（３０）で抽出した線分上に拘束点を配置するとよい。

このようにすると、それらの直線部分に所定の間隔で拘束点が配置されるので、画像縮小時には、一定間隔でそれらの直線が縮小される。したがって、それらの直線がひずむことがない。

ところで、動画像中でこのライン削除による縮小を適用した場合は、本来元の画像中で同一の位置にいる物体が、削除処理により揺れを生じる場合がある。例えば、側後方カメラにおいては、隣車線を走行中の他車両が左右に小刻みに震える。これは、毎フレームその車両の右側と左側で削除されるラインの本数が一定しないためであり、その画像中の揺れを抑制したい場合、その左右を通るラインの本数が一定であれば画像縮小時の揺れを防ぐことができる。

そこで、請求項４に記載のように、画像取得手段（１０）で取得した画像中において揺動抑制領域及び揺動抑制方向を検出する揺動抑制領域検出手段（３０）を備え、拘束点配置手段（３０）は、揺動抑制領域検出手段（３０）で検出した画像中の揺動抑制領域の揺動抑制方向の両外側を通過する、削除されるラインの本数が、各々所定の本数となるように拘束点を配置するようにするとよい。

このようにすると、揺動抑制領域の揺動抑制方向の両外側を通過し、画像端への間に通過するラインの総本数が、例えば、左側１００本と右側５０本というように、毎フレーム一定させるといった効果を出すことができる。つまり、揺動抑制領域は、処理後の画像上の位置が一定となるので、画像縮小時の揺動を抑制することができる。

ここで、拘束点は必ずしも点ではなく、揺動抑制領域の端から画像端へのライン上全てと考えることができる。すなわち、拘束点の概念を拘束線に拡張し、このライン上のどこを通過しても良いとさせることもできる。

または、揺動抑制領域の左右に配置する拘束点の総数の割合を設定しても良い。例えば、左側１００点と右側５０点とし、そこの白線上に等間隔で設定すれば、ひずみも揺れも押さえられることとなる。

また、前述のように車両あるいは白線の消失点、自車両後方方向の無限遠点などが揺動すると運転者に違和感を感じさせる。そこで、請求項５に記載のように、揺動抑制領域検出手段（３０）は、画像取得手段（１０）で取得した画像中の車両、白線の消失点、自車両後方方向の無限遠点のいずれかの領域を揺動抑制領域として検出すると、それら揺動を抑制することができる。

ところで、従来、画像中のラインは、画面上端全域からスタートして、画面下端に向かって画像エネルギが最短となる経路を算出している（非特許文献１参照）が、拘束領域が導入されても大きく計算は変わらない。つまり、請求項６に記載のように、画像エネルギ算出手段（３０）が、拘束点を通過するライン上の画像エネルギの合計が最小となるようにラインを算出するようにすると、求めるラインは最短経路となる。拘束領域が点の場合は、点からの上端下端への最短経路がそのまま求めるラインとなる。

請求項６に記載の画像表示装置（１）は、車載用の表示手段（５０）と、請求項１〜請求項５の何れかに記載の車載用画像処理装置（５）と、車載用画像処理装置（５）で縮小した画像を表示手段（５０）で表示する表示制御手段（３０）を備えたことを特徴とする。

このような車載用画像表示装置（１）によれば、請求項１〜請求項５の何れかに記載の車載用画像処理装置の特徴を有する画像を表示することができる車載用画像表示装置（１）とすることができる。

ところで、表示手段（５０）を自車両に装着する際、装着する位置や表示の方向には種々の方法が考えられる。例えば、車室内の前部に装着されているカーナビゲーション装置の表示画面を表示手段（５０）として用い、車両内に対して表示を行うようにしてもよいが、請求効７に記載のように、自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられるようにしてもよい。

このようにすると、運転者は、後方確認用ミラーを介しての自車両後方確認動作と同じ動作によって、強調表示された物体を視認することができるので、物体の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

図１は、本発明が適用された車載用画像表示装置１の概略の構成を示すブロック図である。車載用画像表示装置１は、図１に示すように、車載用画像処理装置５及び表示装置５０を備えている。

車載用画像処理装置５は、側後方カメラ１０、ミリ波レーダ２０、車速センサ４０及び画像処理部３０を備えている。
側後方カメラ１０は、図示しない自車両周辺の画像を取得するための可視光画像を取得可能な小型広角ＣＣＤカメラであり、車両の側後方の画像を取得できるように自車両のバックミラーなどに取り付けられている。

ミリ波レーダ２０は、画像中の物体（本実施形態では他車両）の相対速度を検出するためのものであり、ミリ波電波を自車両の側後方に送信できるように自車両に取り付けられている。ミリ波レーダ２０は、ミリ波電波を送信し、送信した電波の反射波を受信し、受信した反射波の受信強度、受信方位及び反射波のドップラシフトから車両側後方の他車両のまでの距離と方位及び相対速度を検出する。

車速センサ４０は、自車両の速度を検出するものであり、車軸の回転数から速度を検出するものであってもよいし、ＧＰＳ車載機で自車両の現在位置を検出し、その変化量から速度を検出するものであってもよい。

画像処理部３０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏなどから構成されており、以下の（ア）〜（ク）の処理を実行する。
ＲＡＭ及びＩ／Ｏなどから構成されており、以下の（ア）〜（ケ）の処理を実行する。

（ア）側後方カメラ１０で取得した画像中の地平線、消失点から延びる直線又は車線区分線を抽出する。
（イ）画像中において、車両、白線の消失点、自車両後方方向の無限遠点のいずれかの領域を揺動抑制領域及び揺動抑制方向として検出する。

（ウ）側後方カメラ１０で取得した画像中の画像エネルギを算出する。
（エ）（イ）において検出した画像中の揺動抑制領域の揺動抑制方向の左右に配置する拘束点の総数を決定する。

（オ）（エ）で算出した拘束点の数に基づき、画像中に所定の間隔で拘束点を設定する。この際、拘束点として（ア）において抽出した線分上に拘束点を配置する。
（カ）特定した拘束点を画像の一端から対向する他端へ順次通過し、かつ、算出した画像エネルギが所定の値より低い部分を通過するラインを算出する。

（キ）（カ）において算出したライン部分を削除することにより画像を縮小する。
（ク）（キ）の処理で縮小した画像を表示装置５０で表示させる。
表示装置５０は、車載用画像処理装置５で縮小した画像を表示するものであり、液晶ディスプレイや有機ＥＬディスプレイを有している。表示装置５０は、自車両のバックミラー部分のミラーの代わりに、運転者が表示画面を視認可能となるように取り付けられている。

表示装置５０は、車載用画像処理装置５で縮小した画像を表示するものであり、液晶ディスプレイや有機ＥＬディスプレイを有している。表示装置５０は、自車両のバックミラー部分のミラーの代わりに、運転者が表示画面を視認可能となるように取り付けられている。

（画像処理部３０における処理）
次に図２〜図５に基づき画像処理部３０で実行される処理について説明する。図２は、画像処理部３０で実行される画像処理のメインルーチンの処理の流れを示すフローチャートであり、図３は、サブルーチンである拘束点設定処理のフローチャートである。また、図４は、サブルーチンである画像エネルギ画像生成処理のフローチャートであり、図５は、サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。

画像処理では、図２に示すように、Ｓ１００において側後方カメラ１０から自車両の側後方の画像が取得され、続くＳ１０５では、拘束点設定処理がなされ、Ｓ１００において取得された画像中に拘束点が設定される。拘束点設定処理については後述する。

続くＳ１１０では、Ｓ１００において取得された画像の画像エネルギ画像が生成される。画像エネルギ画像生成処理の詳細については後述する。
続くＳ１１５では、Ｓ１１０において生成された画像エネルギ画像に対して、低画像エネルギ箇所が削除され、縮小画像が得られる。低画像エネルギ箇所削除処理については後述する。

続くＳ１２０では、Ｓ１１５において得られた縮小画像が表示装置５０に表示され、処理がＳ１００に戻されて、画像処理が繰り返される。
（拘束点設定処理）
次に、図３に基づき、拘束点設定処理について説明する。拘束点設定処理では、Ｓ２００において、Ｓ１００（図２参照）で取得された画像中から拘束点領域が抽出される。つまり、画像中から公知の画像処理によって、地平線、消失点から延びる直線又は車線区分線が抽出される。

続くＳ２０５では、画像中において、車両、白線の消失点、自車両後方方向の無限遠点のいずれかの領域が揺動抑制領域及び揺動抑制方向として検出される。
Ｓ２１０では、Ｓ２００において、地平線、消失点から延びる直線又は車線区分線が抽出されたか否かが判定される。そして、それらのうち何れかが抽出されたと判定された場合（Ｓ２１０：Ｙｅｓ）、処理がＳ２２０へ移行され、何れも抽出されない場合（Ｓ２１０：Ｎｏ）、処理がＳ２１５へ移行される。

Ｓ２１５では、Ｓ２０５において、車両、白線の消失点、自車両後方方向の無限遠点のいずれかの領域が揺動抑制領域及び揺動抑制方向として抽出されたか否かが判定される。そして、揺動抑制領域及び揺動抑制方向として抽出された場合（Ｓ２１５：Ｙｅｓ）、処理がＳ２２０へ処理が移行され、抽出されない場合（Ｓ２１５：Ｎｏ）、拘束点設定処理が終了される。

Ｓ２２０では、拘束点が設定される。つまり、Ｓ２００において抽出された線分があれば、その線分上に拘束点が所定の間隔で配置される。また、Ｓ２０５において検出された揺動抑制領域及び揺動抑制方向があれば、その揺動抑制領域の揺動抑制方向の両側に、拘束点の総数が所定の数になるように拘束点が配置される。

（画像エネルギ画像生成処理）
次に、図４に基づき、画像エネルギ画像生成処理について説明する。画像エネルギ画像生成処理では、Ｓ３００においてベース画像エネルギパターン画像が生成される。例えば、全領域で一律一定値の値を持つ画像や、格子模様などの一定パターンなど、エネルギ画像のベースとなる基本画像（ベース画像エネルギパターン画像）が生成される。

Ｓ３０５では、Ｓ３００において生成されたベース画像エネルギパターン画像に対しエッジ画像が作成される。つまり、画像中の角や縁の部分が抽出され画像（エッジ画像）が生成される。原画像の例を図６（ａ）及びエッジ画像の例を図６（ｂ）に示す。

Ｓ３１０では、Ｓ３０５において生成されたエッジ画像がＳ３００において生成されたベース画像エネルギパターン画像に加算される。つまり、ベース画像エネルギパターン画像にエッジ画像が重畳され、続くＳ３１５では、Ｓ１０５（図２参照）において設定された拘束点がベース画像エネルギパターン画像に加算され、処理が終了される。
（低画像エネルギ箇所削除処理）
次に、図５に基づき、低画像エネルギ箇所削除処理について説明する。低画像エネルギ箇所削除処理では、Ｓ１１０（図２参照）の画像エネルギ画像生成処理で得られた画像エネルギ画像に対してまず、削減すべきライン（以下、このラインを「Ｓｅａｍ」と呼ぶ。）の本数が算出される。

具体的には、Ｓ１００（図２参照）で取得された画像の大きさと縮小画像との縦横の長さの比率及びＳｅａｍ１本を画面から削除した場合に画面から削除されるＳｅａｍの幅から削除すべきＳｅａｍの本数が算出される。

続くＳ４０５では、Ｓｅａｍが算出される。Ｓｅａｍは画像上端から下端まで最小のエネルギで通過できる筋のことであり、最短経路問題を解くことにより求められる。具体的にはＳｅａｍの算出は、Ｓ２４０（図３参照）において得られた画像エネルギ画像と同サイズの経路合計値を保存するメモリ空間（以下経路画像と呼ぶ）を確保し、元画像上辺の２行目から下の行に向かって以下のように全ピクセルに対して計算する。

ある画像中の１点のピクセルに対し、その上３ピクセルの経路画像エネルギ値のうち最も小さい値と、元画像の自身のピクセル位置のエネルギ値の合算値を、経路画像に保存する。これにより、経路画像には画像上端からそのピクセルへの最短経路値が保存され、経路画像の最下辺の値のうち最小の物が、求めるＳｅａｍの合計エネルギ値、その箇所から逆に経路画像を上端に向かってさかのぼることで、Ｓｅａｍの形状が得られる。

この際、Ｓ１０５（図２参照）で設定された拘束点がある場合には、拘束点の画像エネルギが低い場合であっても、最優先でＳｅａｍを通過させるようにする。
また、Ｓｅａｍを算出するとともに、Ｓｅａｍ１本ごとの画像エネルギ値が算出される。Ｓｅａｍの例を図７（ａ）に示す。図７（ａ）中で、画像の上辺から下辺へ描かれている多数の線がＳｅａｍである。

続く、Ｓ４１０では、Ｓ４０５で算出されたＳｅａｍの画像エネルギ値から、画像エネルギが最小のＳｅａｍを特定する。
Ｓ４１５では、Ｓ４０５において特定されたＳｅａｍ部分が画像エネルギ画像から削除され、続くＳ４２０では、Ｓ４１５において削除されたＳｅａｍの総本数がＳ４００において算出された削除すべきＳｅａｍの本数以下か否かが判定される。

そして、削除されたＳｅａｍの総本数が削除すべきＳｅａｍの本数以下の場合（Ｓ４２０：Ｙｅｓ）、処理がＳ４０５へ移行され処理が繰り返される。また、削除されたＳｅａｍの総本数が削除すべきＳｅａｍの本数よりも多い場合（Ｓ４２０：Ｎｏ）、処理が終了される。本低画像エネルギ箇所削除処理がなされた画像の例を図７（ｂ）に示す。

（車載用画像表示装置１の特徴）
画像エネルギを算出し、算出した画像エネルギが所定の値より低い部分を削除すると画像が縮小される。しかし、このように画像エネルギが所定の値より低い部分を削除して画像を縮小すると、得られる画像にはひずみが生じる。特に、ラインが画像中を斜めに通過し、かつ、１点に集中するとひずみが大きくなる。

ところが、車載用画像表示装置１では、算出した画像エネルギが所定の値より低い箇所を拘束点として特定し、特定した拘束点を画像の一端から対向する他端へ順次通過するＳｅａｍを算出するようにしているので、Ｓｅａｍの集中を防止することができ、結果として画像縮小時の画像のひずみを抑制することができる。

さらに、Ｓｅａｍが集中している場合には、その部分のＳｅａｍが削除されるので、画面のひずみが大きくなるが、車載用画像表示装置１では、画像中に所定の間隔で拘束点を設定している。つまり、ひずませたくない部分については、所定の間隔で拘束点を配置している。

したがって、そこを通過するＳｅａｍは所定の間隔となるので、Ｓｅａｍが集中しなくなる。Ｓｅａｍが集中しなければ削除される部分が集中しないので、画像縮小時にその部分がひずむことがなくなる。

特に、地平線、消失点から延びる直線あるいは車線区分線などの直線のように、ひずみが生じた場合に、運転者に違和感を感じさせる部分に拘束点を等間隔で配置しているので、画像縮小時には、一定間隔でそれらの直線が縮小される。したがって、それらの直線のひずみを抑制することができる。

また、車両あるいは白線の消失点、自車両後方方向の無限遠点など、揺動すると運転者に違和感を感じさせる部分についても、それらを検出し、検出した画像中の揺動抑制領域の揺動抑制方向の両側を通るＳｅａｍの総数を、例えば、左側１００本と右側５０本といったように制御して拘束点を配置している。

したがって、揺動抑制領域は、処理後の画像上の位置が一定となるので、画像縮小時に揺れを抑制することができる。
また、拘束点を通過するＳｅａｍ上の画像エネルギの合計が最小となるようにＳｅａｍを特定している。したがって、Ｓｅａｍは最短経路となるので、画像縮小時に画像中で余分な部分が削除されないので、画像のひずみを抑制することができる。

また、表示装置５０は、自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられている。したがって、運転者は、後方確認用ミラーを介しての自車両後方確認動作と同じ動作によって、強調表示された物体を視認することができるので、物体の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。

［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。

（１）上記実施形態では、表示装置５０は、自車両のバックミラー部分に、運転者が表示画面を視認可能となるように取り付けられているが、自車両の車室内の前部に装着されているカーナビゲーション装置の表示画面を用い、車両内に対して表示を行うようにしてもよい。

（２）上記実施形態では、画像エネルギ画像を生成するためにエッジ画像を生成していた（図４のＳ３０５参照）が、エッジの代わりに、縮小対象画像の特定にあわせて、他の関数を用いてもよい。具体的には、エッジ２乗関数、顕著性関数、ハリスコーナ関数、視線認識結果関数、顔認識結果関数、エントロピ関数、セグメンテーション関数あるいはＨｏＧ（Histogram of Gradientsの略）関数などの関数を用いてもよい。

（３）また側後方カメラ１０は、可視光カメラの代わりに赤外線カメラであってもよい。赤外線カメラであれば、夜間など自車両の周囲が暗いときに人や自転車などを縮小画像中で強調表示する場合に有効である。

（４）上記実施形態では、画像の左右幅を縮小するよう、Ｓｅａｍ方向は上下を想定したが、上下幅を縮小する場合は、Ｓｅａｍ方向を左右に置き換えて適用できる。

車載用画像表示装置１の概略の構成を示すブロック図である。 画像処理のメインルーチンの処理の流れを示すフローチャートである。 サブルーチンである拘束点設定処理のフローチャートである。 サブルーチンである画像エネルギ画像生成処理のフローチャートである。 サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。 画像エネルギ画像生成処理中で生成されるエッジ画像の例を示す図である。 低画像エネルギ箇所削除処理がなされた画像の例を示す図である。

符号の説明

１…車載用画像表示装置、５…車載用画像処理装置、１０…側後方カメラ、２０…ミリ波レーダ、３０…画像処理部、４０…車速センサ、５０…表示装置。

Claims (8)

1. 自車両周辺の画像を取得するための画像取得手段と、
   前記画像取得手段で取得した前記画像中の画像エネルギを算出し、算出した画像エネルギが所定の値より低い部分を通過するラインを算出する画像エネルギ算出手段と、
   前記画像取得手段で取得した画像中に、前記エネルギの値に関係なく前記ラインが通過しなければならない拘束点を設定する拘束点配置手段と、
   前記画像エネルギ算出手段で算出した前記画像中のライン部分を削除することにより前記画像を縮小する画像縮小手段と、
   を備え、
   前記画像エネルギ算出手段は、
   前記ラインを算出する際、前記ラインを前記拘束点配置手段で配置した前記拘束点を通過させることを特徴とする車載用画像処理装置。
2. 請求項１に記載の車載用画像処理装置であって、
   前記拘束点配置手段は、
   前記画像取得手段で取得した画像中に所定の間隔で前記拘束点を設定することを特徴とする車載用画像処理装置。
3. 請求項２に記載の車載用画像処理装置であって、
   前記画像取得手段で取得した画像中の地平線、消失点から延びる直線又は車線区分線を抽出する線分抽出手段を備え、
   前記拘束点配置手段は、
   前記線分抽出手段で抽出した線分上に前記拘束点を配置することを特徴とする車載用画像処理装置。
4. 請求項１〜請求項３の何れかに記載の車載用画像処理装置であって、
   前記画像取得手段で取得した画像中において揺動抑制領域及び揺動抑制方向を検出する揺動抑制領域検出手段を備え、
   前記拘束点配置手段は、
   前記揺動抑制領域検出手段で検出した前記画像中の揺動抑制領域の揺動抑制方向の両外側を通過する、前記削除されるラインの本数が、各々所定の本数となるよう、前記拘束点を配置することを特徴とする車載用画像処理装置。
5. 請求項４に記載の車載用画像処理装置であって、
   前記揺動抑制領域検出手段は、
   前記画像取得手段で取得した画像中の車両、白線の消失点、自車両後方方向の無限遠点のいずれかの領域を揺動抑制領域として検出することを特徴とする車載用画像処理装置。
6. 請求項１〜請求項５の何れかに記載の車載用画像処理装置において、
   前記画像エネルギ算出手段は、
   前記拘束点を通過する前記ライン上の画像エネルギの合計が最小となるようにラインを算出することを特徴とする車載用画像処理装置。
7. 車載用の表示手段と、
   請求項１〜請求項６の何れかに記載の車載用画像処理装置と、
   前記車載用画像処理装置で縮小した画像を前記表示手段で表示させる表示制御手段と、
   を備えたことを特徴とする車載用画像表示装置。
8. 請求項７に記載の車載用画像表示装置において、
   前記表示手段は、
   前記自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられていることを特徴とする車載用画像表示装置。