JP5208790B2 - 画像処理装置、画像処理方法ならびにプログラム - Google Patents

Description

本発明は、車両の周囲の画像を適切に表示させるための画像信号を生成する画像処理装置、画像処理方法ならびに当該画像処理装置をコンピュータ上で実現するためのプログラムに関する。

近年、車載カメラで撮像された車両の周囲の画像を車室内に設置されたモニターに表示することにより、運転者の適切な運転操作を促す技術が知られている。このような用途で用いられる車載カメラは、車両の周囲の所望の領域（空間）を適切に表示できるように、一般的には、車体の正確な位置に正確な角度で取り付けられる。

しかしながら、車載カメラを車体に取り付ける際の取り付けミスや経年劣化により、取り付け位置や取り付け角度がずれてしまう場合がある。このような問題を解決するための技術は、例えば、特許文献１乃至４に開示されている。

特許文献１には、第１行列演算部と、校正点特定部と、第２行列演算部と、第３行列演算部と、成否判定部と、を備え、回転行列を求めることによって、車両に取り付けられた車載カメラを校正し、その成否を判定する車載カメラの校正装置が開示されている。ここで、第１行列演算部は、少なくとも異なる２箇所に配置された校正指標の校正点の基準座標系における座標に基づいて第１行列を演算する。また、校正点特定部は、車載カメラの撮影画像から校正点を特定する。そして、第２行列演算部は、車載カメラの撮影画像上の校正点の座標に基づいて第２行列を演算する。また、第３行列演算部は、第１行列と第２行列とに基づいて車載カメラの回転状態を示す回転行列を演算する。そして、成否判定部は、車載カメラの撮影画像に基づいて車載カメラの校正の成否を判定する。

また、特許文献２には、画像処理装置を構成するメモリのメモリ容量を削減すると共に、ビデオカメラに対する光軸ズレ補正を行うことができる画像処理装置が開示されている。特許文献２に開示された画像処理装置は、ビデオカメラと、その撮像信号を格納するメモリと、読み出した撮像信号に対して所定の処理を行うＣＰＵとを備える。特許文献２に開示された画像処理装置は、ＣＰＵからの選択指令に応じて、撮像信号のうち所定の部分のみを選択し、選択撮像信号のみをメモリに書き込む選択書き込み手段をさらに備えている。

さらに、特許文献３には、車載カメラの光軸ずれを検出できる車載カメラの光軸ずれ検出装置が開示されている。特許文献３に開示された車載カメラの光軸ずれ検出装置は、以下に示す手法により車載カメラの光軸のずれを検出する。すなわち、車載カメラは、リヤバンパー等の車体の一部が視野に入るように車両に取り付けられる。ここで、この車載カメラにより撮像される画像内においてリヤバンパー等が本来観測されるべき位置は、テンプレート画像としてデータＲＯＭに予め格納されている。車載カメラの光軸ずれを検出する際は、車載カメラにより撮像された実画像内におけるリヤバンパー等の位置が、テンプレート画像内におけるリヤバンパー等の位置と比較される。そして、所定値以上の位置ずれが生じている場合には、車載カメラに光軸ずれが生じているものと判定される。

また、特許文献４には、車両に搭載された車載カメラのピントが合わない場合に乗員に速やかに警告を発し得る車載カメラ点検装置、ならびに、車載カメラのずれや汚れを乗員に確実に判別せしめる車載カメラ点検装置が開示されている。特許文献４に開示された車載カメラ点検装置は、以下に示すように構成されている。すなわち、撮像部により撮像された撮像画像について、ピント判定部がピント判定を行う。ピント判定は、エッジ抽出により行う。ここで、記憶部には基準映像が記憶されている。そして、基準映像と撮像映像とが照合されることによって撮像部の設置姿勢のずれが判別される。また、車両が移動しているにも拘わらず無変化領域が検出された場合には、撮像部のレンズ表面に付着した汚れがあると判別される。ピントが合っていない場合、または設置姿勢がずれている場合、またはレンズ表面に汚れが付着されていると判別された場合には、警告部から乗員に対して警告を発する。

特開２００８−１３１２５０号公報 特開２００２−９４９７７号公報 特開２００４−１６５８号公報 特開２００７−３８７７３号公報

しかしながら、特許文献１に開示された車載カメラの校正装置は、車載カメラを校正する装置である。このため、車載カメラ自身が車載カメラを校正するための特別な機構等を備えている必要があった。また、特許文献２に開示された画像処理装置は、光軸ズレ補正を行うことができる画像処理装置であり、画像処理装置自身が光軸ズレ補正を行うための機構等を備えている必要があった。また、特許文献３に開示された車載カメラの光軸ずれ検出装置は、車載カメラの光軸ずれを検出するだけの装置である。さらに、特許文献４に開示された車載カメラ点検装置は、車載カメラのピントのずれや車載カメラの設置姿勢のずれやレンズの汚れなどがあるか否かを判別し、これらがあった場合には乗員に警告を発するだけの装置である。このように、特許文献１乃至４に開示された装置はいずれも、装置自体に車載カメラを校正するための特別な機構等を設けずに、車両の周囲の画像を適切に表示できる装置ではなかった。従って、簡単な構成で、車両の周囲の画像を適切に表示する技術が強く望まれていた。

本発明は、上記問題に鑑みてなされたものであり、車両の周囲の画像を適切に表示させるための画像信号を生成する画像処理装置、画像処理方法ならびに当該画像処理装置をコンピュータ上で実現するためのプログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る画像処理装置は、
車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶する記憶手段と、
前記撮像画像上における前記車両の一部の位置を特定する特定手段と、
前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出手段と、
前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成手段と、を備え、
前記撮像画像は、前記車両に設置された撮像装置が前記車両の移動中に前記撮像空間を撮像して得られた動画像であり、
前記特定手段は、前記動画像上における画素の輝度の変化が小さい画像部分の位置を前記車両の一部の位置として特定する、
ことを特徴とする。

前記生成手段は、前記抽出手段により抽出された画像部分を前記表示装置の画面上の一定の位置に表示させるとともに当該画面上の一定の位置にガイド線を重畳表示させるための画像信号を生成してもよい。

上記目的を達成するために、本発明の第２の観点に係る画像処理方法は、
記憶手段、特定手段、抽出手段、生成手段を備える画像処理装置が実行する画像処理方法であって、
前記記憶手段は、
車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶し、
前記画像処理方法は、
前記特定手段が、前記撮像画像上における前記車両の一部の位置を特定する特定ステップと、
前記抽出手段が、前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出ステップと、
前記生成手段が、前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成ステップと、を備え、
前記撮像画像は、前記車両に設置された撮像装置が前記車両の移動中に前記撮像空間を撮像して得られた動画像であり、
前記特定ステップでは、前記特定手段は、前記動画像上における画素の輝度の変化が小さい画像部分の位置を前記車両の一部の位置として特定する、
ことを特徴とする。

上記目的を達成するために、本発明の第３の観点に係るプログラムは、
コンピュータを、
車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶する記憶手段、
前記撮像画像上における前記車両の一部の位置を特定する特定手段、
前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出手段、
前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成手段、
として機能させるプログラムであって、
前記撮像画像は、前記車両に設置された撮像装置が前記車両の移動中に前記撮像空間を撮像して得られた動画像であり、
前記特定手段は、前記動画像上における画素の輝度の変化が小さい画像部分の位置を前記車両の一部の位置として特定する、
ことを特徴とする。

本発明にかかる画像処理装置、画像処理方法ならびにプログラムによれば、車両の周囲の画像を適切に表示させるための画像信号を生成することができる。

本発明の実施形態に係る画像処理装置を備える画像処理システムの構成図である。 画像処理システムが備える各モジュールの配置例を示す図である。 画像処理装置の機能を説明するためのブロック図である。 カメラが画像を撮像する様子を模式的に示す第１の図である。 表示装置に表示される画像を模式的に示す第１の図である。 カメラが画像を撮像する様子を模式的に示す第２の図である。 表示装置に表示される画像を模式的に示す第２の図である。 画像処理システムが実行する車両後方空間表示処理を示すフローチャートである。 図６のフローチャートに示すリヤバンパー位置特定処理の詳細を示すフローチャートである。 リヤバンパーの上端部の位置の特定方法を説明するための図である。 画像処理装置が撮像画像から撮像対象画像を抽出する方法を説明するための図である。 表示装置に表示される合成画像を示す図である。 特徴点を説明するための図である。 変形例に係る画像処理装置が撮像画像から撮像対象画像を抽出する方法を説明するための図である。 距離の目安をラフに示す合成画像を示す第１の図である。 距離の目安をラフに示す合成画像を示す第２の図である。

以下、本発明の実施形態に係る画像処理装置について図面を参照して説明する。

まず、図１を参照して本発明の実施形態に係る画像処理装置を備える画像処理システムの構成について説明する。

図１に示すように、画像処理システム１００は、カメラ１０と、照明光源２０と、画像処理装置３０と、表示装置５０と、車速センサ６０と、から構成される。

カメラ１０は、一定周期（例えば、１／３０秒）毎に、車両の一部を含んだ所定の空間（以下、「撮像対象」とする。）を含む撮像空間を撮像して、撮像により得られた階調画像（以下、「撮像画像」とする。）を順次出力する。カメラ１０は、撮像画像を、例えば、アナログ画像信号として出力する。カメラ１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等から構成される。照明光源２０は、撮像対象を照明する。

表示装置５０は、画像処理装置３０から供給された画像信号に従って画像を表示する。表示装置５０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから構成される。

車速センサ６０は、車両の速度を電気信号に変換して出力する。車速センサ６０は、例えば、ロータリエンコーダなどから構成される。

画像処理装置３０は、カメラ１０から供給された撮像画像から撮像対象に相当する画像部分を抽出して、当該抽出された画像部分（以下「撮像対象画像」とする。）に目安線などを合成して得られる合成画像を表示装置５０に表示させるための画像信号を生成する。画像処理装置３０は、例えば、図１に示すように、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器３１と、画像メモリ３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３５と、表示制御部３６と、光源制御部３７と、設定メモリ３８と、操作装置３９と、センサ入力部４０と、から構成される。

Ａ／Ｄ変換器３１は、カメラ１０から供給されたアナログ画像信号をディジタル画像信号に変換して、出力する。

画像メモリ３２は、Ａ／Ｄ変換器３１が出力したディジタル画像信号により表現された撮像画像を記憶する。また、画像メモリ３２は、撮像対象画像や合成画像も記憶する。画像メモリ３２は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。

ＲＯＭ３３は、ＣＰＵ３４の動作を制御するためのプログラムを記憶する。ＣＰＵ３４は、画像処理装置３０全体の動作を制御する。ＣＰＵ３４は、ＲＯＭ３３に記憶されたプログラムを実行することにより、カメラ１０から供給された撮像画像を処理する。ＲＡＭ３５は、ＣＰＵ３４のワークエリアとして機能する。

表示制御部３６は、ＣＰＵ３４の制御のもと、画像メモリ３２に記憶されている合成画像から画像信号を生成し、表示装置５０に供給する。光源制御部３７は、照明光源２０の点灯・消灯を制御する。

設定メモリ３８は、ＣＰＵ３４が後述する車両後方空間表示処理を実行するために必要な設定データなどを格納する。

操作装置３９は、ドライバーからの操作入力を受け付け、受け付けた操作入力に応じた操作信号をＣＰＵ３４に供給する。操作装置３９は、各種のボタンなどにより構成される。ドライバーは、これらのボタンを操作することにより、車両の後方の様子を表示装置５０に表示させたり、当該表示を終了させたりする。

センサ入力部４０は、車速センサ６０から供給された電気信号の入力を受け付け、当該電気信号により示される車速データをＲＡＭ３５などに記憶する。

次に、図２を参照して、画像処理システム１００が備える各モジュールが車両のどの部分にどのように設置されるかを説明する。なお、ここで説明する各モジュールの設置場所は例示である。

カメラ１０は、例えば、車両１０００の後方のナンバープレートの上端部近傍の車体部分に設置される。カメラ１０は、車両１０００の後方斜め下方の空間を、リヤバンパー２００の上部とともに撮像できるような位置ならびに角度に設置される。照明光源２０は、カメラ１０の近傍の車体部分に設置される。照明光源２０は、カメラ１０が撮像する空間を照明可能な位置ならびに角度に設置される。

画像処理装置３０は、例えば、運転席に座っているドライバーが操作装置３９を操作可能なように、ギアボックスの前方に設置される。表示装置５０は、例えば、運転席に座っているドライバーが合成画像を見ることができるように、ギアボックスの前方に設置される。車速センサ６０は、例えば、前輪のシャフト部分近傍に設置される。

次に、図３を参照して、本発明の実施形態に係る画像処理装置３０の機能を説明する。

図３に示すように、画像処理装置３０は、記憶部１１０と、特定部１２０と、抽出部１３０と、生成部１４０と、を備える。なお、画像処理装置３０は、カメラ１０から供給された撮像画像を処理して画像信号を生成し、生成した画像信号を表示装置５０に供給する。

カメラ１０は、車両の一部を含んだ所定の空間を含む撮像空間を撮像して撮像画像を取得し、取得した撮像画像を特定部１２０ならびに抽出部１３０に供給する。車両の一部は、例えば、リヤバンパー２００の上端部であり、所定の空間は、例えば、車両１０００の後方斜め下方の空間を含む空間である。

記憶部１１０は、所定空間位置定義情報を記憶する。ここで、所定空間位置定義情報は、撮像画像上における車両の一部の位置を基準とした撮像画像上における所定の空間を示す領域を定義する情報である。また、撮像画像は、車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる画像である。所定空間位置定義情報は、例えば、撮像画像上における車両１０００の後方斜め下方の空間ならびにリヤバンパー２００の上端部を示す領域を、撮像画像上におけるリヤバンパー２００の上端部の位置を基準として定義する情報である。記憶部１１０は、例えば、設定メモリ３８により構成される。

特定部１２０は、カメラ１０により生成された撮像画像上における車両の一部の位置を特定する。特定部１２０は、例えば、撮像画像上におけるリヤバンパー２００の上端部の位置を特定する。特定部１２０は、例えば、ＣＰＵ３４により構成される。

抽出部１３０は、記憶部１１０に記憶されている所定空間位置定義情報と特定部１２０により特定された撮像画像上における車両の一部の位置とに基づいて、撮像画像から所定の空間を示す画像部分を抽出する。抽出部１３０は、例えば、撮像画像から車両１０００の後方斜め下方の空間ならびにリヤバンパー２００の上端部を示す画像部分を抽出する。抽出部１３０は、例えば、ＣＰＵ３４により構成される。

生成部１４０は、抽出部１３０により抽出された画像部分を所定の表示装置に表示させるための画像信号を生成する。生成部１４０は、例えば、車両１０００の後方斜め下方の空間を示す画像部分を表示装置５０に表示させるための画像信号を生成する。

表示装置５０は、生成部１４０から供給された画像信号により示される画像を表示する。表示装置５０は、例えば、生成部１４０から供給された画像信号により示される、車両１０００の後方斜め下方の空間の画像を表示する。

ここで、図４Ａ、図４Ｂ、図５Ａならびに図５Ｂを参照して、画像処理装置３０の機能を簡単に説明する。

図４Ａは、カメラ１０が撮像対象を撮像する様子を模式的に示す図である。図４Ａに示すように、カメラ１０の垂直方向の画角（以下「カメラフル画角」という。）をＤｅｇＡとすると、カメラ１０によって撮像される垂直方向の範囲は、ＤｅｇＡを挟む２つの破線の線分に挟まれた範囲となる。また、表示装置５０の垂直方向の画角（以下「画面表示角」という。）をＤｅｇＢとすると、カメラ１０によって撮像される垂直方向の範囲のうち表示装置５０に表示される垂直方向の範囲は、ＤｅｇＢを挟む２つの実線の線分に挟まれた範囲となる。なお、図４Ａにおいて、カメラ１０は、一点鎖線で示される方向を中心とした空間（撮像領域）を撮像する。また、カメラ１０によって撮像される水平方向の範囲も所定の範囲に限定される。ここで、カメラ１０によって撮像される範囲には、撮像画像のうちどの範囲を表示装置５０に表示するかを決定するための基準物であるリヤバンパー２００の上端部が含まれる。また、図４Ａに示す例では、路面上の車両１０００の後方５０ｃｍの位置に目印４０１、路面上の車両１０００の後方１００ｃｍの位置に目印４０２、路面上の車両１０００の後方２００ｃｍの位置に目印４０３、がそれぞれ配置され、撮像範囲には目印４０１〜４０３が含まれている。

図４Ｂは、表示装置５０に表示される画像を模式的に示す図である。図４Ｂにおいて、カメラ１０により生成された撮像画像は、破線の枠４１０で囲まれた部分に示す画像である。一方、図４Ｂにおいて、表示装置５０に表示される合成画像は、太線の枠４２０で囲まれた部分に示す画像である。なお、合成画像は、撮像画像の一部を抽出して得られる撮像対象画像に、所定の目安線などを合成して得られる画像である。撮像画像のどの部分を撮像対象画像として抽出するかは、撮像画像に含まれる基準物の位置に基づく。本実施形態においては、リヤバンパー２００の上端部の垂直方向の位置が撮像画像のどの位置にあるか、ならびに、表示装置５０に表示すべき車両１０００の後方斜め下の空間をリヤバンパー２００の上端部の垂直方向の位置を基準として定義した所定空間位置定義情報に基づいて、撮像画像からどの部分を抽出して撮像対象画像とするかが定められる。

図４Ｂに示す例では、ＤｅｇＡにより示される範囲の画像が撮像画像であり、ＤｅｇＢにより示される範囲の画像が合成画像である。なお、合成画像には、車両１０００の後方５０ｃｍの路面位置を示す目安線４４１、車両１０００の後方１００ｃｍの路面位置を示す目安線４４２、ならびに、車両１０００の後方２００ｃｍの路面位置を示す目安線４４３が含まれる。なお、上述したように、路面上の車両１０００の後方５０ｃｍの位置に目印４０１、路面上の車両１０００の後方１００ｃｍの位置に目印４０２、路面上の車両１０００の後方２００ｃｍの位置に目印４０３、がそれぞれ配置されている。このため、合成画像は、目安線４４１上に目印４０１、目安線４４２上に目印４０２、目安線４４３上に目印４０３、がそれぞれ配置されているように表示される画像となる。また、合成画像の下方には、リヤバンパー２００が示される。なお、図４Ｂにおいて、リヤバンパー２００に相当する画像部分をハッチングにより明示している。

図５Ａは、カメラ１０が撮像対象を撮像する様子を模式的に示す図である。図５Ａに示す例では、図４Ａに示す例と比較すると、カメラ１０はより下方の空間が撮像範囲となるような角度で車両１０００に設置されている。カメラ１０の設置角度以外は、図４Ａと同様であるため説明を省略する。

図５Ｂは、表示装置５０に表示される画像を模式的に示す図である。カメラ１０により撮像される垂直方向の範囲は、図４Ａに示す例と図５Ａに示す例とでは異なるため、図５Ｂに示す撮像画像は図４Ｂに示す撮像画像と異なる画像となる。図５Ｂに示すように、合成画像は図４Ｂに示す合成画像と同じ画像となる。これは、図４Ｂに示す例と図５Ｂに示す例とで、異なる撮像画像から同じ撮像対象画像が撮像画像から抽出されるように構成されているためである。

すなわち、従来の撮像装置では、撮像対象を表示装置に表示しようとした場合、当該撮像対象を撮像可能な正確な位置ならびに正確な角度でカメラを車両に設置する必要がある。しかしながら、カメラの設置時の設置ミスあるいは経年劣化により、カメラの設置位置あるいは設置角度にずれが生じてしまう場合がある。この場合、撮像対象を表示装置に正確に表示することができなくなってしまう。これに対し、画像処理システム１００では、撮像対象を含む広い領域をカメラ１０で撮像して撮像画像を生成し、表示装置５０は撮像画像のうちの撮像対象に相当する部分のみを表示する。これにより、画像処理システム１００によれば、カメラ１０の設置位置あるいは設置角度に多少のずれが生じた場合であっても、撮像対象を表示装置５０に正確に表示できる。なお、カメラ１０は、撮像範囲に基準物が含まれるような位置ならびに角度に設置される。

次に、図６に示すフローチャートを用いて、画像処理システム１００が実行する車両後方空間表示処理について説明する。

画像処理システム１００は、車両の後方の空間の表示を開始する要求を受け付けた後、当該表示を終了する要求を受け付けるまでの間、定期的（例えば、１／３０秒毎）に図６に示す車両後方空間表示処理を実行する。

まず、カメラ１０は、車両の後方の空間を撮像する（ステップＳ１０１）。そして、ＣＰＵ３４は、カメラ１０から供給された信号に基づいて撮像画像を生成する（ステップＳ１０２）。具体的には、ＣＰＵ３４は、カメラ１０が出力する１フレーム分のアナログ画像信号により表現される撮像画像をＡ／Ｄ変換器３１に供給し、当該Ａ／Ｄ変換器３１が出力する１フレーム分のディジタル画像信号により表現される撮像画像を画像メモリ３２に記憶する。

次に、ＣＰＵ３４は、リヤバンパー位置特定処理を実行する（ステップＳ１０３）。リヤバンパー位置特定処理については、図７に示すフローチャートを参照して詳細に説明する。なお、リヤバンパー位置特定処理は、撮像画像におけるリヤバンパー２００の上端部の垂直方向の位置を特定する処理である。

まず、車速センサから車両１０００の車速を取得する（ステップＳ２０１）。次に、ＣＰＵ３４は、車両１０００が移動中であるか否を判別する（ステップＳ２０２）。具体的には、ＣＰＵ３４は、ステップＳ２０１において取得した車速の絶対値が所定の値以上である場合に車両１０００が移動中であると判別し、ステップＳ２０１において取得した車速の絶対値が所定の値未満である場合に車両１０００が移動中ではないと判別する。

ＣＰＵ３４は、車両１０００が移動中ではない判別すると（ステップＳ２０２：ＮＯ）、エッジ検出によりリヤバンパー２００の上端部の位置を検出して（ステップＳ２０３）、リヤバンパー位置特定処理を終了する。なお、エッジ検出によりリヤバンパー２００の上端部の位置を検出する方法については、従来のエッジ検出技術を採用することができる。従来のエッジ検出技術は、例えば、特許文献３（特開２００４−１６５８号公報）の図４等に、リヤバンパーの境界線を検出する技術として開示されている。なお、リヤバンパー２００の上端部の位置とは、厳密には、撮像画像におけるリヤバンパー２００の上端の境界線の位置である。

一方、車両１０００が移動中であると判別すると（ステップＳ２０２：ＹＥＳ）、チェック対象の画素を下から１行目の左端の画素に設定する（ステップＳ２０４）。ここで、チェック対象の画素は、撮像画像を構成する画素のうち、１フレーム前のフレームにおける輝度と現在のフレームにおける輝度との差分をチェックする対象の画素である。なお、本実施形態においては、チェック対象の画素は、水平方向には左から右に走査され、垂直方向には下から上に走査される。

次に、ＣＰＵ３４は、現在のフレームにおけるチェック対象の画素の輝度を取得する（ステップＳ２０５）。具体的には、ＣＰＵ３４は、画像メモリ３２に記憶されている撮像画像のうち現在のフレームの撮像画像を読み出し、当該撮像画像を構成する画素のうちチェック対象の画素の輝度を取得する。同様に、ＣＰＵ３４は、１フレーム前のフレームにおけるチェック対象の画素の輝度を取得する（ステップＳ２０６）。具体的には、ＣＰＵ３４は、画像メモリ３２に記憶されている撮像画像のうち１フレーム前のフレームの撮像画像を読み出し、当該撮像画像を構成する画素のうちチェック対象の画素の輝度を取得する。なお、各画素がＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３色から構成される場合、ＣＰＵ３４は、３色の輝度をそれぞれ取得する。

そして、ＣＰＵ３４は、輝度の差分の絶対値が所定値以上であるか否かを判別する（ステップＳ２０７）。具体的には、ＣＰＵ３４は、ステップＳ２０５で取得した輝度とステップＳ２０６で取得した輝度との差分の絶対値が所定値以上であるか否かを判別し、判別結果をＲＡＭ３５に記憶する。所定値は、例えば、各画素の輝度が０〜２５５の値で示される場合に、５〜５０程度の値に設定する。なお、各画素がＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３色から構成される場合、ＣＰＵ３４は、色毎に輝度の差分の絶対値をとり、色毎の輝度の差分の絶対値の和が所定値以上であるか否かを判別する。

ＣＰＵ３４は、輝度の差分の絶対値が所定値以上であるか否かを判別する処理（ステップＳ２０７）を終了すると、チェック対象の画素が右端の画素であるか否かを判別する（ステップＳ２０８）。ＣＰＵ３４は、チェック対象の画素が右端の画素ではないと判別すると（ステップＳ２０８：ＮＯ）、チェック対象の画素を１つ右の画素に設定して（ステップＳ２０９）、現在のフレームにおけるチェック対象の画素の輝度を取得する処理（ステップＳ２０５）に処理を戻す。

一方、ＣＰＵ３４は、チェック対象の画素が右端の画素であると判別すると（ステップＳ２０８：ＹＥＳ）、輝度の差分の絶対値が所定値以上の画素の割合が所定の割合未満か否かを判別する（ステップＳ２１０）。具体的には、ＣＰＵ３４は、チェック対象の画素を含む行から２つ下の行までの行に含まれる画素のうち、輝度の差分の絶対値が所定値以上の画素の個数が所定の割合（例えば、８０％）未満であるか否かを判別する。ＣＰＵ３４は、輝度の差分の絶対値が所定値以上の画素の割合が所定の割合未満ではないと判別すると（ステップＳ２１０：ＮＯ）、チェック対象の画素を１行上の左端の画素に設定して（ステップＳ２１１）、現在のフレームにおけるチェック対象の画素の輝度を取得する処理（ステップＳ２０５）に処理を戻す。これに対し、ＣＰＵ３４は、輝度の差分の絶対値が所定値以上の画素の割合が所定の割合未満であると判別すると（ステップＳ２１０：ＹＥＳ）、チェック対象の画素を含む行を示す情報をＲＡＭ３５に記憶して（ステップＳ２１２）、リヤバンパー位置特定処理を終了する。なお、チェック対象の画素を含む行は、リヤバンパー２００の上端部の位置を示す行として扱われる。

ここで、図８を参照して、リヤバンパー位置特定処理において、撮像画像上におけるリヤバンパー２００の上端部の位置がどのように特定されるかを説明する。

図８において、撮像画像は、破線の枠４１０で囲まれた部分に示す画像である。一方、図８において、撮像対象画像は、太線の枠４２０で囲まれた部分である。図８において、リヤバンパー２００に相当する部分をハッチング表示している。ここで、カメラ１０とリヤバンパー２００とは共に車両１０００に固定されており、車両１０００が移動中でも撮像画像上におけるリヤバンパー２００の位置は変化しない。このため、リヤバンパー２００に相当する部分は、現在のフレームと１フレーム前のフレームとで輝度の変化が小さい。これに対し、撮像画像上のリヤバンパー２００に相当する部分以外の部分は、現在のフレームと１フレーム前のフレームとで輝度の変化が大きくなるのが一般的である。

ここで、図８において、太線の枠４５０で囲まれた部分は、チェック対象の画素を示す部分であり、１画素分に相当する。まず、チェック対象の画素は、ステップＳ２０４において、１番下の行（ｋ１）の左端の画素に設定される。そして、チェック対象の画素は、ステップＳ２０９において、１つずつ右の画素にシフトされる。なお、チェック対象の画素が右端の画素である場合、チェック対象の画素は、ステップＳ２１１において、１つ上の行の左端の画素に設定される。なお、チェック対象の画素が１つ上の行の左端の画素に設定される前に、ステップＳ２１０において、チェック対象の画素が含まれる行から２行下までの行に含まれる画素について、輝度の差分の絶対値が所定値以上の画素の割合が所定の割合未満であるか否かがチェックされる。

本実施形態においては、輝度の差分の絶対値が所定値未満の画素を静止画素として、１行中における静止画素の割合をチェックするのではなく、１行中における静止画素の割合の３行分の移動平均をとった割合をチェックするのは、ノイズ除去のためである。図８において、ｋ１〜ｋ６までの行は静止画素の割合が１００％であり、ｋ７の行の静止画素の割合が９０％であり、ｋ８の行の静止画素の割合が８０％であり、ｋ９の行の静止画素の割合が７５％であり、ｋ１０の行の静止画素の割合が７０％であり、ｋ１１の行の静止画素の割合が６０％であり、ｋ１２の行の静止画素の割合が２５％であり、ｋ１３の行の静止画素の割合が５％であり、ｋ１４以降の行の静止画素の割合が０％である。従って、例えば、ｋ７の右端のチェック対象の画素をチェックした後には、ｋ５〜ｋ７の行のそれぞれについての静止画素の割合の平均値である９６．７％が８０％未満であるか否かが判別される。同様に、ｋ８の右端のチェック対象の画素をチェックした後には、ｋ６〜ｋ８の行のそれぞれについての静止画素の割合の平均値である９０％が８０％未満であるか否かが判別され、ｋ９の右端のチェック対象の画素をチェックした後には、ｋ７〜ｋ９の行のそれぞれについての静止画素の割合の平均値である８１．７％が８０％未満であるか否かが判別され、ｋ１０の右端のチェック対象の画素をチェックした後には、ｋ８〜ｋ１０の行のそれぞれについての静止画素の割合の平均値である７５％が８０％未満であるか否かが判別される。そして、静止画素の割合の平均値が８０％未満であると初めて判別された行であるｋ９が、ステップＳ２１２において、リヤバンパー２００の上端部に相当する行として記憶される。

なお、行毎の静止画素の割合を求めずに、３行分の静止画素の割合を直接求めるようにしてもよい。また、１行目と２行目については、静止画素の割合が所定の割合未満であるか否かを判別する処理を実行しなくてもよいし、存在する行のみの静止画素の割合を平均して所定の割合未満であるか否かを判別するようにしてもよい。

以下、フローチャートの説明に戻る。ＣＰＵ３４は、リヤバンパー位置特定処理（ステップＳ１０３）を終了すると、設定メモリ３８にあらかじめ記憶されている所定空間位置定義情報を取得する（ステップＳ１０４）。上述したように、所定空間位置定義情報は、例えば、撮像画像内における車両１０００の後方斜め下方の空間の位置を、撮像画像内におけるリヤバンパー２００の上端部の位置を基準として定義する情報である。例えば、リヤバンパー２００の上端部が撮像対象画像の下方から２０％の位置になるように撮像画像から撮像対象画像を切り出す場合に、２０％を示す情報を所定空間位置定義情報とすることができる。

ＣＰＵ３４は、所定空間位置定義情報の取得（ステップＳ１０４）を終了すると、ステップＳ１０３で特定したリヤバンパー２００の上端部の位置と、ステップＳ１０４で取得した所定空間位置定義情報とに基づいて、撮像画像から撮像対象画像を抽出する（ステップＳ１０５）。上述したように、所定空間位置定義情報が２０％である場合、図９Ａに示すように、リヤバンパー２００の上端部の位置が撮像対象画像の下方から２０％の位置になるように、撮像画像から撮像対象画像を切り出す。

次に、ＣＰＵ３４は、ステップＳ１０５において抽出した撮像対象画像に目安線４４１〜４４３を合成して合成画像を生成する（ステップＳ１０６）。そして、ＣＰＵ３４は、ステップＳ１０６において生成した合成画像を示す画像信号を表示装置５０に供給して、表示装置５０に合成画像を表示させる（ステップＳ１０７）。図９Ｂに、合成画像の例を示す。ＣＰＵ３４は、合成画像を表示する処理（ステップＳ１０７）を終了すると、車両後方空間表示処理を終了する。

本実施形態にかかる画像処理装置３０によれば、カメラ１０の設置位置ならびに設置角度に垂直方向にずれがある場合においても、所望の領域の画像を適切に表示することができる。また、カメラ１０の固定位置ならびに固定角度のずれに拘わらず、目安線を表示する画面上の位置を一定の位置にする。このため、ずれの量に合わせて目安線を表示する画面上の位置を再計算するなどの処理をしなくてもよい。

（変形例）
上記実施形態においては、カメラ１０により撮像される撮像画像の垂直方向の範囲を表示装置５０に表示される合成画像（または、撮像対象画像）の垂直方向の範囲よりも広い範囲に設定し、撮像画像内におけるリヤバンパー２００の上端部の位置に基づいて垂直方向の表示範囲を定め、撮像画像のうち当該定めた垂直方向の範囲のみを表示装置５０に表示する例を示した。しかし、本発明によれば、撮像画像の水平方向の範囲を合成画像の水平方向の範囲よりも広い範囲に設定し、撮像画像内における所定の基準物の位置に基づいて水平方向の表示範囲を定め、撮像画像のうち当該定めた水平方向の範囲のみを表示装置５０に表示するようにしてもよい。また、撮像画像の垂直方向の範囲を合成画像の垂直方向の範囲よりも広い範囲に設定するとともに、撮像画像の水平方向の範囲を合成画像の水平方向の範囲よりも広い範囲に設定してもよい。このように、撮像画像の範囲を合成画像の範囲よりも広くとることにより、カメラ１０の設置位置ならびに設置角度にずれがある場合においても、所望の領域の画像を適切に表示することができる。

例えば、撮像画像に基づいてエッジ検出により検出した特徴点が、撮像対象画像上において、所望の垂直方向の位置ならびに所望の水平方向の位置に表示されるように、撮像画像から撮像対象画像を抽出するように構成することができる。図１０Ａに示すように、撮像画像に基づいてエッジ検出によりリヤバンパー２００の上端部の境界線４５１が検出されたとする。このとき、境界線４５１上の点のうち垂直方向の位置が最も下方である点が特徴点４５２であるものとする。

ここで、設定メモリ３８に、撮像対象画像上における特徴点４５２の位置が、垂直方向については下方から２０％、水平方向については左方から５０％の位置となるように定義する所定空間位置定義情報が格納されているとする。このとき、ＣＰＵ３４は、撮像対象画像における特徴点４５２の位置が、垂直方向については下方から２０％、水平方向については左方から５０％の位置となるように撮像画像から撮像対象画像を抽出する。

図１０Ｂに、撮像画像と撮像対象画像との関係を示す。図１０Ｂにおいて、撮像画像は破線の枠４１０で囲まれた部分に示す画像であり、撮像対象画像は太線の枠４２０で囲まれた部分に示す画像である。撮像対象画像における特徴点４５２の位置は、下方から２０％、左方から５０％の位置である。このように、撮像対象画像における特徴点４５２の位置が所定空間位置定義情報で定義された位置になるように、撮像画像から撮像対象画像が抽出される。なお、撮像画像と撮像対象画像の大きさは適宜調整が可能である。例えば、予測されるカメラ１０の車両１０００への設置位置若しくは設置角度のずれが大きいほど、撮像対象画像の大きさに対する撮像画像の大きさの割合を大きくする。

本実施形態においては、撮像対象画像に幅の狭い目安線を合成することにより、車両１０００からの距離（カメラ１０からの距離）の目安を示す合成画像を生成した。しかし、図１１に示すように、幅の広い目安線を用いて車両１０００からの距離の目安を示してもよい。図１１に示す例では、車両１０００から５０ｃｍの位置を示す目安線４６１、車両１０００から１００ｃｍの位置を示す目安線４６２、車両１０００から２００ｃｍの位置を示す目安線４６３を示している。バンパーの取り付け精度などが良くない場合、目安線が厳密に表示されない場合がある。しかしながら、このように目安線の幅をある程度広くすることにより、ドライバーに余裕もった運転操作をさせることができる。なお、これらの各目安線の色彩や模様などを、適宜調整して表示することが可能である。典型的には、目安線により示される車両１０００からの距離が近いほど、ドライバーの注意を惹くように、目立つ色彩や模様などにすることができる。例えば、目安線４６１を赤色、目安線４６２を黄色、目安線４６３を青色、とすることができる。また、目安線の幅を広くする場合は、背景の画像を完全に隠してしまわないように、目安線を半透明に表示するようにしてもよい。

本実施形態においては、撮像対象画像に目安線を合成することにより、車両１０００からの距離（カメラ１０からの距離）の目安を示す合成画像を生成した。しかし、車両１０００からの距離の目安を示すものとして、目安線ではなく、目安となる領域を示すものを表示するようにしてもよい。図１２に示す例では、車両１０００から５０ｃｍ付近の領域を示す領域４７１、車両１０００から１００ｃｍ付近の領域を示す領域４７２、車両１０００から２００ｃｍ付近の領域を示す領域４７３、が示されている。このように、車両１０００からの大まかな距離の目安を示すことにより、ドライバーに余裕もった運転操作をさせることができる。なお、目安線と同様に、各領域の色彩や模様などを適宜調整して表示することができる。例えば、領域４７１は危険領域として赤色表示、領域４７２は注意領域として黄色表示、領域４７３は安全領域として青色表示とすることができる。

上記実施形態では、輝度の変化が大きい画素の割合を求める際には、３行分の画素について割合を求めたが、１行分若しくは２行分の画素について割合を求めても良いし、４行以上分の画素について割合を求めても良い。また、上記実施形態では、画素毎に輝度の差分を求める例を示したが、複数の画素から構成されるブロック毎に輝度の総和を求め、ブロック毎の輝度の差分を求めることにより、基準物（静止物）を特定しても良い。また、行毎に輝度の総和を求め、行毎の輝度の差分を求めることにより、基準物を特定しても良い。

上記実施形態では、現在のフレームと１フレーム前のフレームとで輝度の差分を求めたが、比較するフレームは適宜変更可能である。例えば、現在のフレームと１０フレーム前とで輝度の差分を求めても良い。また、数フレームにわたって継続して輝度が変化しない部分を、基準物を示す部分として特定しても良い。

上記実施形態では、撮像画像から抽出された撮像対象画像に目安線などを合成した合成画像を表示する例を示した。しかし、撮像対象画像そのものを表示するようにしてもよい。

上記実施形態ならびに変形例では、所定空間位置定義情報は、合成画像上における基準物の位置を％表示で示すものであった。しかし、所定空間位置定義情報は、例えば、合成画像上における基準物の所定の部分の位置を、下あるいは上から何行目もしくは左あるいは右から何列目であるかにより撮像対象の撮像対象画像上における位置を定義する情報であってもよい。なお、何行目もしくは何列目であるかとは、何画素目であるかと同義である。基準物は、実施形態のように基準となる線を示すものであってもよいし、変形例のように基準となる点を示すものであってもよい。

上記実施形態においては、撮像画像において輝度の差分が小さい部分をリヤバンパーに相当する部分として特定した。また、変形例においては、エッジ検出によりリヤバンパーの上端部を検出して、撮像画像中のリヤバンパーに相当する部分を特定する方法を示した。しかし、撮像画像中の基準物（リヤバンパー）に相当する部分を特定する方法は、これらの方法に限られない。例えば、リヤバンパーの色を示す情報をあらかじめ設定メモリ３８などに記憶しておき、撮像画像中の当該色を示す画素部分をリヤバンパーに相当する部分として特定しても良い。

なお、本発明に係る画像処理装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、画像を入力可能なコンピュータに、上記動作を実行するためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｋ）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これをコンピュータシステムにインストールすることにより、上述の処理を実行する画像処理装置を構成しても良い。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明は、例えば、車載用の撮像装置に利用することができる。

１０ カメラ
２０ 照明光源
３０ 画像処理装置
３１ Ａ／Ｄ変換器
３２ 画像メモリ
３３ ＲＯＭ
３４ ＣＰＵ（特定手段、抽出手段、生成手段）
３５ ＲＡＭ
３６ 表示制御部
３７ 光源制御部
３８ 設定メモリ（記憶手段）
３９ 操作装置
４０ センサ入力部
５０ 表示装置
６０ 車速センサ
１００ 画像処理システム
１１０ 記憶部
１２０ 特定部
１３０ 抽出部
１４０ 生成部
２００ リヤバンパー
１０００ 車両

Claims (4)

1. 車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶する記憶手段と、
   前記撮像画像上における前記車両の一部の位置を特定する特定手段と、
   前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出手段と、
   前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成手段と、を備え、
   前記撮像画像は、前記車両に設置された撮像装置が前記車両の移動中に前記撮像空間を撮像して得られた動画像であり、
   前記特定手段は、前記動画像上における画素の輝度の変化が小さい画像部分の位置を前記車両の一部の位置として特定する、
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記抽出手段により抽出された画像部分を前記表示装置の画面上の一定の位置に表示させるとともに当該画面上の一定の位置にガイド線を重畳表示させるための画像信号を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 記憶手段、特定手段、抽出手段、生成手段を備える画像処理装置が実行する画像処理方法であって、
   前記記憶手段は、
   車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶し、
   前記画像処理方法は、
   前記特定手段が、前記撮像画像上における前記車両の一部の位置を特定する特定ステップと、
   前記抽出手段が、前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出ステップと、
   前記生成手段が、前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成ステップと、を備え、
   前記撮像画像は、前記車両に設置された撮像装置が前記車両の移動中に前記撮像空間を撮像して得られた動画像であり、
   前記特定ステップでは、前記特定手段は、前記動画像上における画素の輝度の変化が小さい画像部分の位置を前記車両の一部の位置として特定する、
   ことを特徴とする画像処理方法。
4. コンピュータを、
   車両の一部を含んだ所定の空間を含む撮像空間を撮像して得られる撮像画像上における前記車両の一部の位置を基準とした前記撮像画像上における前記所定の空間の領域を定義する所定空間位置定義情報を記憶する記憶手段、
   前記撮像画像上における前記車両の一部の位置を特定する特定手段、
   前記記憶手段に記憶されている前記所定空間位置定義情報と前記特定手段により特定された前記撮像画像上における前記車両の一部の位置とに基づいて、前記撮像画像から前記所定の空間を示す画像部分を抽出する抽出手段、
   前記抽出手段により抽出された画像部分を表示装置に表示させるための画像信号を生成する生成手段、
   として機能させるプログラムであって、
   前記撮像画像は、前記車両に設置された撮像装置が前記車両の移動中に前記撮像空間を撮像して得られた動画像であり、
   前記特定手段は、前記動画像上における画素の輝度の変化が小さい画像部分の位置を前記車両の一部の位置として特定する、
   ことを特徴とするプログラム。

Images