JP2004126947A

JP2004126947A - Image processor and image processing method

Info

Publication number: JP2004126947A
Application number: JP2002290263A
Authority: JP
Inventors: Jun Koreishi; 是石　純; Takeshi Sawamura; 澤村　武
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2002-10-02
Filing date: 2002-10-02
Publication date: 2004-04-22

Abstract

<P>PROBLEM TO BE SOLVED: To exactly determines the direction of a vehicle from the image of the vehicle. <P>SOLUTION: A vehicular direction determination device 1 comprises at least a vehicular region detection section 13, a symmetry determination section 16, and a direction presumption section 17. The vehicular region detection section 13 detects the image domain of the vehicle from the image. The symmetry determination section 16 determines whether the vehicle has symmetry or not from the image domain of the vehicle. The direction presumption section 17 presumes the direction of the vehicle based on the determination result of the presence or absence of the symmetry by the symmetry determination section 16. For example, the direction presumption section 17 presumes that the direction of the vehicle is the front or the rear when the determination is made that the symmetry is present and presumes that the direction of the vehicle is the horizontal or the oblique when the determination is made that the symmetry is absent. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、及び画像処理方法に関する。
【０００２】
【従来の技術】
近年、画像処理技術の進歩に伴い、カメラによって撮像された画像から特定の領域を抽出する画像処理装置が提案されている。例えば、特開平７−３３４６７９号公報においては、以下に説明する領域抽出装置が開示されている。すなわち、領域抽出装置は、三次元空間に設定された面に複数の画像を射影し、射影された画像の中から類似する領域を道路領域として抽出する。これにより、画像変化の影響や類似物の誤抽出を低減した領域抽出装置を実現するものである（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平７−３３４６７９号公報　（第６図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来技術では以下に示す様な問題点があった。すなわち、画像から道路領域や車両領域を抽出することはできても、車両の向きまでは判定することはできない。かかる点に起因して、他車両の進行方向を特定できない、自車両を駐車する向きが決められない等の難点があった。
【０００５】
他車両の進行方向の特定に関しては、２時点における画像を比較して車両の変位から進行方向を推定する手法も考えられるが、処理時間や負荷が増大すると共に、他車両が駐車中の場合には進行方向の特定が困難である。また、自車両を駐車する向きの決定に関しては、他車両間の隙間領域を検出し、その領域の方向を推定する処理が必要になる。当該処理の実行に際しては、少なくとも２台の車両を検出する必要があり、同じく処理時間や負荷が増大する。
【０００６】
このため、車両の向きを正確に判定することが、他車両の進行方向の特定あるいは自車両の駐車方向の決定を簡易迅速に行う上で極めて有効である。
そこで、本発明は、車両の画像から車両の向きを正確に判定する画像処理装置、及び画像処理方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、上記課題を解決する為、以下の様な特徴を備えている。
本発明に係る画像処理装置は、画像から車両を検出する検出手段と、前記検出手段により検出された前記車両が対称性を有するか否かを判定する判定手段と、前記判定手段による対称性の判定結果に基づいて前記車両の向きを推定する推定手段とを備える。
【０００８】
本発明に係る画像処理方法は、画像処理装置が、画像から車両を検出する検出ステップと、前記画像処理装置が、前記検出ステップにて検出された前記車両が対称性を有するか否かを判定する判定ステップと、前記画像処理装置が、前記判定ステップにおける対称性の判定結果に基づいて前記車両の向きを推定する推定ステップとを含む。
【０００９】
本発明に係る画像処理装置において好ましくは、前記推定手段は、前記判定手段により前記車両が対称性を有すると判定された場合には、前記車両の向きが前又は後ろ向きであると推定する。
【００１０】
本発明に係る画像処理装置において好ましくは、前記推定手段は、前記判定手段により前記車両が対称性を有さないと判定された場合には、前記車両の向きが横又は斜め向きであると推定する。
【００１１】
これらの発明によれば、車両の画像から前記車両が対称性を有するか否かが判定され、この判定結果に基づいて前記車両の向きが推定される。すなわち、前後方向から撮影された車両画像は一般的に左右対称であるのに対して、横や斜め方向から撮影された車両画像は左右非対称である点に着目し、例えば、車両画像に対称性が有ると判定された場合には、画像処理装置は、その車両は前後何れか一方を向いている車両であると推定する。反対に、車両画像に対称性が無いと判定された場合には、画像処理装置は、その車両は横、斜めの何れかを向いている車両であると推定する。その結果、車両の画像から車両の向きを正確に判定することが可能となる。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本実施の形態における車両方向判定装置１の機能的構成を示すブロック図である。図１に示す様に、車両方向判定装置１（画像処理装置に対応）は、撮像部１１と、画像格納部１２と、車両領域検出部１３（検出手段に対応）と、エッジ検出処理部１４と、対称軸探索部１５と、対称性判定部１６（判定手段に対応）と、向き推定部１７（推定手段に対応）とを備える。これら各部は、各種信号の入出力が可能な様に電気的に接続されている。
【００１３】
撮像部１１は、車両及びその周辺部分を撮影する周知のカメラである。撮像部１１は、エッジ検出の精度を高める観点から明暗の差（コントラスト）が高いものが望ましい。なお、撮像部１１は、複眼カメラ、単眼カメラの何れでもよい。
画像格納部１２は、撮像部１１により撮像された画像データを格納する。
【００１４】
車両領域検出部１３は、画像格納部１２に格納されている背景を含む画像データから車両に対応するデータ部分（以下、「車両領域」と記す。）を検出する。車両領域は、車両の輪郭に囲まれた領域に限らず、例えば車両を含む矩形の領域であってもよい。
【００１５】
エッジ検出処理部１４は、画像格納部１２に格納された画像データに対して、所定の輝度を閾値とする二値化処理を実行する。また、エッジ検出処理部１４は、二値化された画像データに対して、後述のエッジ検出処理を実行する。
【００１６】
対称軸探索部１５は、車両領域検出部１３により検出された車両領域から、色面積の多い領域を除去し、各画素の輝度値をヒストグラム化することにより、車両領域の対称軸を探索する。
【００１７】
対称性判定部１６は、車両領域検出部１３により検出された車両領域から任意の判定領域を選択し、対称軸探索部１５により生成されたヒストグラムの対称軸を基準に判定領域を水平方向に反転する。また、対称性判定部１６は、周知慣用のパターンマッチング等の画像解析手法を用いて、判定領域と反転先の領域との同一性を判定する。同一である場合には、同一の画像領域が左右の対称位置に存在するので、対称性判定部１６は、対称性判定の対象画像が左右対称の画像であるものと判定する。
【００１８】
向き推定部１７は、前後方向推定処理の実行に際して、対称性判定部１６により画像が左右対称の画像であると判定された場合には、車両が、前又は後ろの何れかの向きを向いているものと推定する。また、向き推定部１７は、横・斜め方向推定処理の実行に際して、対称性判定部１６により長方形に変形された画像が左右対称の画像であると判定された場合には、車両が、斜めを向いているものと推定する。更に、向き推定部１７は、横・斜め方向推定処理の実行に際して、車両領域から台形部分が検出されなかった場合には、車両が、横を向いているものと推定する。
【００１９】
台形検出部１８は、詳細な処理内容に関しては後述するが、エッジ検出処理部１４により検出されたエッジから直線を検出し、更にその直線の組合せである台形を検出する。
変形処理部１９は、台形検出部１８により検出された台形が長方形に変形する様に、判定領域に画像処理を施す。
【００２０】
次に、図２〜図６を参照して、本実施の形態における車両方向判定装置１の動作を説明する。併せて、本発明に係る画像処理方法の各ステップについて説明する。
【００２１】
自車両の停止後に、運転者により車両方向推定処理の開始が指示されると、図２のフローチャートに示す処理が開始される。まず、撮像部１１は、車両方向の推定対象となる車両及びその近傍を撮影し、撮影された画像データを画像格納部１２に格納する（Ｓ１）。
【００２２】
次いで、車両領域検出部１３は、Ｓ１で取得された画像データから、車両に該当するデータ部分（車両領域）を検出する（Ｓ２）。車両領域の検出処理に関しては周知慣用の画像解析技術に該当するので詳細な説明（数式を含む）は省略し、好適な手法を簡略に説明する。すなわち、車両領域検出部１３は、平面ステレオ法の原理（例えば、“日本ロボット学会誌”Ｖｏｌ．１８　Ｎｏ．８，ｐｐ１１０５〜１１１１，２０００の文献に記載）により、一対の平面ステレオカメラから投影された画像データ間の差分画像において、輝度値が閾値よりも低い部分を平面領域として検出する。そして、上記画像データにおいて、当該平面領域以外の領域を車両領域として検出する。
【００２３】
Ｓ３では、エッジ検出処理部１４は、画像格納部１２に格納された画像データに対して、所定の輝度を閾値とする二値化処理を実行する。かかる閾値は、後述のエッジ検出に伴う処理負荷を軽減すると共に処理時間を短縮すべく、極力小さい値であることが望ましい。好適には、２５６グレイスケールで３２〜５０、より好適には４０程度である。
なお、二値化処理の基準となる画素値は輝度に限らず、例えば彩度などであってもよい。
【００２４】
更にＳ４では、エッジ検出処理部１４は、二値化された画像データに対してエッジ検出処理を実行する。エッジ検出処理に関しては周知慣用の画像解析技術であるので、詳細な説明や図示（数式を含む）は省略し、好適な方法を簡略に説明する。すなわち、エッジ検出処理部１４は、例えばソーベルフィルタにより構成され、取得された画像データ中の任意の１画素を中心とした上下左右の９（＝３×３）の画素値（輝度）に、水平及び垂直方向の２つの係数行列をそれぞれ乗算する。続いて、エッジ検出処理部１４は、当該乗算結果に基づいて上記各画素値の変化量を算定し、画素値の変化量が大きい部分（特徴点）をエッジとして検出する。エッジ検出処理が施された車両領域Ｒ１の一例として画像データＧ１を図３（ａ）に示す。
【００２５】
Ｓ５では、対称軸探索部１５は、Ｓ２において検出された車両領域から色面積の多い領域を除去し、各画素の輝度値をヒストグラム化する。続いて、対称軸探索部１５は、図３（ｂ）に示す様に、ヒストグラム化された車両領域Ｒ１から対称軸Ａを探索する。
【００２６】
Ｓ５における対称軸探索処理の結果、対称軸が検出された場合には後述の前後方向推定処理（Ｓ６）が実行される。一方、対称軸が検出されなかった場合には後述の横・斜め方向推定処理（Ｓ７）が実行される。
【００２７】
以下、図４のフローチャートを参照して、前後方向推定処理について詳細に説明する。まず、対称性判定部１６は、Ｓ２で検出された車両領域から判定領域を選択する（Ｓ６１）。判定領域は、矩形、円形など、その形状及び位置は任意であるが、対称性判定の精度を向上する観点から、楕円形（円形を含む）などの特徴的な形状を有する部分を含む領域であることが望ましい。
【００２８】
Ｓ６２では、対称性判定部１６は、図２のＳ５において検出された対称軸を基準として判定領域を水平方向（左右方向）に反転する。また、対称性判定部１６は、周知慣用のパターンマッチング等の画像解析手法を用いて、判定領域と反転先に位置する領域とにおける画像データの同一性を判定する。
【００２９】
Ｓ６２において、判定領域と反転先の領域とにおける画像データが同一であると判定された場合には、同一の画像領域が左右の対称位置に存在するので、対称性判定部１６は、Ｓ２で検出された車両領域が左右対称であるものと判定する（Ｓ６３）。例えば、図３（ｃ）に示す画像データＧ１において、車両領域Ｒ１から判定領域Ｂ１が選択された場合には、判定領域Ｂ１は対称軸Ａを基準として右側に反転された後、反転先に位置する領域Ｂ２との画像同一性が判定される。この場合、判定領域Ｂ１と領域Ｂ２とは同一の画像領域であるので、車両領域Ｒ１は左右対称であるものと判定される。
【００３０】
Ｓ６４では、向き推定部１７は、車両領域が左右対称であるものとの判定結果を受けて、図２のＳ１で撮影された車両が前後何れかを向いているものと推定し、一連の車両方向推定処理を終了する。
【００３１】
なお、Ｓ６２において判定領域と反転先の領域との画像データが異なるものと判定された場合にはＳ６１に戻り、更に別の判定領域を選択する。所定数又は所定面積の判定領域が選択されたにも拘わらず、左右同一の判定領域が存在しない場合には、車両領域は左右対称ではない、つまり車両が前後の何れかを向いていないものと推定される。
【００３２】
続いて、図５のフローチャートを参照して、横・斜め方向推定処理について詳細に説明する。まず、台形検出部１８は、ハフ変換（Ｈｏｕｇｈ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などの数学的手法を用いて、Ｓ４で車両領域から検出されたエッジから直線を検出する（Ｓ７１）。ここで、ハフ変換とは、二次元座標データをＸＹ平面座標系からρθ平面座標系に変換した結果、投票点が最も多い座標を特定し、当該座標に対応するＸＹ平面座標系上の直線を検出する手法である。
【００３３】
Ｓ７２では、台形検出部１８は、Ｓ７１で検出された直線から構成される四角形部分の中から台形部分を検出する。
台形部分が検出された場合には、台形検出部１８は、Ｓ７２で検出された台形部分の中から判定領域を選択する（Ｓ７３）。このとき選択された判定領域の一例を図６（ａ）に示す。図６（ａ）において、車両のフロントパネルが判定領域としての台形部分Ｃに相当する。
【００３４】
Ｓ７４では、変形処理部１９は、Ｓ７３で選択された判定領域が長方形に変形する様に、判定領域に画像処理を施す。なお、長方形には、長方形の一態様である正方形を含む。この変形処理は、図６（ｂ）に示す様に、台形部分を構成する各画素の輝度や彩度は元より、水平方向における各部分毎の縮尺比を一定に維持した状態で行われる。したがって、変形処理後の判定領域が水平方向に対称性を有するか否かに基づいて、その判定領域が斜め方向から撮影された画像データの一部であるか否かを判断できる。
【００３５】
Ｓ７５では、対称軸探索部１５は、Ｓ７４において変形された判定領域から、色面積の多い領域を除去し、各画素の輝度値をヒストグラム化する。続いて、対称軸探索部１５は、ヒストグラム化された判定領域の画像データから対称軸を探索する。
【００３６】
Ｓ７５における対称軸探索処理の結果、対称軸が検出された場合には、対称性判定部１６は、Ｓ７５において検出された対称軸を基準として判定領域を水平方向（左右方向）に反転する。また、対称性判定部１６は、周知慣用のパターンマッチング等の画像解析手法を用いて、判定領域と反転先に位置する領域とにおける画像データの同一性を判定する（Ｓ７６）。
【００３７】
これに対して、Ｓ７５における対称軸探索処理の結果、対称軸が検出されなかった場合には、向き推定部１７は、図２のＳ１で撮影された車両が横を向いているものと推定し（Ｓ７９）、一連の車両方向推定処理を終了する。
【００３８】
Ｓ７６に戻り、判定領域と反転先の領域とにおける画像データが同一であると判定された場合には、同一の画像領域が左右の対称位置に存在するので、対称性判定部１６は、Ｓ７４で変形された判定領域が左右対称であるものと判定する（Ｓ７７）。
【００３９】
Ｓ７８では、向き推定部１７は、判定領域が左右対称であるものとの判定結果を受けて、図２のＳ１で撮影された車両が斜めを向いているものと推定し、一連の車両方向推定処理を終了する。
【００４０】
なお、Ｓ７６において判定領域と反転先の領域とが異なるものと判定された場合にはＳ７２に戻り、更に別の台形部分の検出を行う。そして、台形部分が検出されなくなった時点でＳ７９に移行し、向き推定部１７は、図２のＳ１で撮影された車両が横を向いているものと推定する。
【００４１】
以上説明した様に、本発明は、第一に、前後何れかの向きの車両が対称性を有するのに対して、横又は斜め向きの車両が対称性を有さない点に着目して為されたものである。第二に、斜め向きの車両画像の一部を長方形に変形した場合に対称性を有するのに対して、横向きの車両画像の一部を長方形に変形した場合には対称性を有さない点に着目して為されたものである。
【００４２】
すなわち、本発明に係る車両方向判定装置１によれば、取得された画像データから車両領域を抽出し、該車両領域が左右対称であるか否か（対称性）を判定する。判定の結果、車両領域が左右対称である場合には、車両の向きが前後何れかの向きであるものと判断する。これに対して、車両領域が左右非対称である場合には、車両方向判定装置１は、車両の向きが、横又は斜めの何れの向きであるかを特定すべく、車両領域の台形部分を長方形に変形し、この変形領域に関して対称性の判定を行う。判定の結果、左右対称の変形領域が存在する場合には車両の向きが斜め向きであるものと判断し、存在しない場合には車両の向きが横向きであるものと判断する。
【００４３】
したがって、車両方向判定装置１を備える自車両は、他車両の画像データから他車両の向きを正確に判定することができる。これにより、自車両の運転者は、他車両の進行方向の特定、及び自車両の駐車方向の決定を簡易迅速に行うことが可能となる。その結果、運転者は、所望の目標駐車区画に車両を容易に駐車できる。
【００４４】
【発明の効果】
本発明によれば、車両の画像から車両の向きを正確に判定することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る車両方向判定装置の機能的構成を示すブロック図である。
【図２】車両方向推定処理を説明する為のフローチャートである。
【図３】図３（ａ）は、車両領域から検出されたエッジを示す図である。図３（ｂ）は、車両領域のヒストグラムから対称軸を探索する過程を概念的に示す図である。図３（ｃ）は、車両領域が左右対称であるか否かを判定する処理を示す図である。
【図４】前後方向推定処理を説明する為のフローチャートである。
【図５】横・斜め方向推定処理を説明する為のフローチャートである。
【図６】図６（ａ）は、車両領域から検出された台形部分を示す図である。図６（ｂ）は、台形部分が長方形に変形される様子を概念的に示す図である。
【符号の説明】
１…車両方向判定装置、１３…車両領域検出部、１６…対称性判定部、１７…向き推定部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device and an image processing method.
[0002]
[Prior art]
In recent years, with the advance of image processing technology, an image processing apparatus that extracts a specific area from an image captured by a camera has been proposed. For example, Japanese Patent Application Laid-Open No. 7-334679 discloses an area extraction device described below. That is, the region extraction device projects a plurality of images on a surface set in the three-dimensional space, and extracts a similar region from the projected images as a road region. As a result, an area extraction device that reduces the influence of image changes and erroneous extraction of similar objects is realized (for example, see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-7-334679 (FIG. 6)
[0004]
[Problems to be solved by the invention]
However, the prior art has the following problems. That is, although the road area and the vehicle area can be extracted from the image, the direction of the vehicle cannot be determined. Due to these points, there are difficulties such as the inability to specify the traveling direction of the other vehicle and the inability to determine the direction in which the own vehicle is parked.
[0005]
Regarding the identification of the traveling direction of the other vehicle, a method of comparing the images at the two time points and estimating the traveling direction from the displacement of the vehicle may be considered. However, when the processing time and load increase and the other vehicle is parked, Is difficult to identify the direction of travel. Further, regarding the determination of the direction in which the host vehicle is parked, a process of detecting a gap region between other vehicles and estimating the direction of the region is required. In executing the processing, it is necessary to detect at least two vehicles, and the processing time and the load also increase.
[0006]
Therefore, it is extremely effective to accurately determine the direction of the vehicle in order to specify the traveling direction of the other vehicle or to determine the parking direction of the own vehicle simply and quickly.
Therefore, an object of the present invention is to provide an image processing device and an image processing method for accurately determining the direction of a vehicle from an image of the vehicle.
[0007]
[Means for Solving the Problems]
The present invention has the following features to solve the above problems.
An image processing apparatus according to the present invention includes a detecting unit that detects a vehicle from an image, a determining unit that determines whether the vehicle detected by the detecting unit has symmetry, and a symmetry that is determined by the determining unit. Estimating means for estimating the direction of the vehicle based on the determination result.
[0008]
In the image processing method according to the present invention, the image processing device detects a vehicle from an image, and the image processing device determines whether the vehicle detected in the detection step has symmetry. And an estimation step in which the image processing device estimates the direction of the vehicle based on the result of the symmetry determination in the determination step.
[0009]
Preferably, in the image processing apparatus according to the present invention, when the determination unit determines that the vehicle has symmetry, the estimation unit estimates that the direction of the vehicle is forward or backward.
[0010]
Preferably, in the image processing device according to the present invention, the estimating unit estimates that the direction of the vehicle is lateral or oblique when the determining unit determines that the vehicle does not have symmetry. I do.
[0011]
According to these inventions, it is determined whether or not the vehicle has symmetry from the image of the vehicle, and the direction of the vehicle is estimated based on the determination result. That is, while a vehicle image taken from the front-back direction is generally symmetrical, a vehicle image taken from the side and oblique directions is asymmetrical. When it is determined that there is a vehicle, the image processing apparatus estimates that the vehicle is a vehicle facing one of the front and rear. Conversely, when it is determined that the vehicle image has no symmetry, the image processing device estimates that the vehicle is a vehicle that is facing either sideways or obliquely. As a result, the direction of the vehicle can be accurately determined from the image of the vehicle.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating a functional configuration of a vehicle direction determination device 1 according to the present embodiment. As shown in FIG. 1, the vehicle direction determination device 1 (corresponding to an image processing device) includes an imaging unit 11, an image storage unit 12, a vehicle region detection unit 13 (corresponding to a detection unit), and an edge detection processing unit 14. And a symmetry axis searching unit 15, a symmetry determining unit 16 (corresponding to a determining unit), and a direction estimating unit 17 (corresponding to an estimating unit). These units are electrically connected so that various signals can be input and output.
[0013]
The imaging unit 11 is a known camera that captures an image of a vehicle and its surroundings. It is desirable that the imaging unit 11 has a high contrast between light and dark from the viewpoint of enhancing the accuracy of edge detection. Note that the imaging unit 11 may be either a compound-eye camera or a monocular camera.
The image storage unit 12 stores image data captured by the imaging unit 11.
[0014]
The vehicle area detection unit 13 detects a data portion (hereinafter, referred to as “vehicle area”) corresponding to the vehicle from the image data including the background stored in the image storage unit 12. The vehicle region is not limited to the region surrounded by the outline of the vehicle, and may be, for example, a rectangular region including the vehicle.
[0015]
The edge detection processing unit 14 performs a binarization process on the image data stored in the image storage unit 12 using a predetermined luminance as a threshold. Further, the edge detection processing unit 14 performs an edge detection process described below on the binarized image data.
[0016]
The symmetry axis search unit 15 searches for a symmetry axis of the vehicle region by removing a region having a large color area from the vehicle region detected by the vehicle region detection unit 13 and converting the luminance value of each pixel into a histogram.
[0017]
The symmetry determination unit 16 selects an arbitrary determination region from the vehicle region detected by the vehicle region detection unit 13 and inverts the determination region in the horizontal direction based on the symmetry axis of the histogram generated by the symmetry axis search unit 15. I do. In addition, the symmetry determining unit 16 determines the identity between the determination area and the area to be inverted using an image analysis technique such as pattern matching that is commonly used. If they are the same, the same image area exists at the left-right symmetric position, and thus the symmetry determining unit 16 determines that the target image of the symmetry determination is a left-right symmetric image.
[0018]
When the symmetry determination unit 16 determines that the image is a left-right symmetric image during the execution of the front-rear direction estimation processing, the direction estimation unit 17 turns the vehicle in either the front or the rear direction. It is assumed that there is. In addition, when performing the lateral / diagonal direction estimation process, the direction estimating unit 17 determines that the vehicle is oblique if the image transformed into a rectangle by the symmetry determining unit 16 is a bilaterally symmetric image. Presumed to be suitable. Furthermore, the direction estimating unit 17 estimates that the vehicle is facing sideways when the trapezoidal portion is not detected from the vehicle region when performing the lateral / diagonal direction estimation processing.
[0019]
The trapezoid detection unit 18 detects a straight line from the edges detected by the edge detection processing unit 14, and detects a trapezoid which is a combination of the straight lines, as will be described later in detail.
The transformation processing unit 19 performs image processing on the determination area so that the trapezoid detected by the trapezoid detection unit 18 is transformed into a rectangle.
[0020]
Next, the operation of the vehicle direction determination device 1 in the present embodiment will be described with reference to FIGS. In addition, each step of the image processing method according to the present invention will be described.
[0021]
When the driver instructs to start the vehicle direction estimation process after the host vehicle stops, the process shown in the flowchart of FIG. 2 is started. First, the image capturing unit 11 captures an image of a vehicle to be estimated in the vehicle direction and the vicinity thereof, and stores captured image data in the image storage unit 12 (S1).
[0022]
Next, the vehicle area detection unit 13 detects a data portion (vehicle area) corresponding to the vehicle from the image data acquired in S1 (S2). Since the detection processing of the vehicle area corresponds to a well-known and commonly used image analysis technique, a detailed description (including mathematical expressions) is omitted, and a preferred method is briefly described. That is, the vehicle area detection unit 13 is projected from a pair of planar stereo cameras by the principle of the planar stereo method (for example, described in the literature of “The Robotics Society of Japan” Vol. 18 No. 8, pp. 1105-11111, 2000). In the difference image between the obtained image data, a portion where the luminance value is lower than the threshold value is detected as a plane region. Then, in the image data, an area other than the plane area is detected as a vehicle area.
[0023]
In S3, the edge detection processing unit 14 performs a binarization process on the image data stored in the image storage unit 12 using a predetermined luminance as a threshold. It is desirable that the threshold value be as small as possible in order to reduce the processing load involved in edge detection described later and to shorten the processing time. Preferably, it is about 32 to 50, more preferably about 40 on a 256 gray scale.
Note that the pixel value serving as a reference for the binarization processing is not limited to luminance, but may be, for example, saturation.
[0024]
Further, in S4, the edge detection processing unit 14 performs an edge detection process on the binarized image data. Since the edge detection process is a well-known and commonly used image analysis technique, detailed description and illustration (including mathematical expressions) are omitted, and a preferred method will be briefly described. That is, the edge detection processing unit 14 is configured by, for example, a Sobel filter, and sets 9 (= 3 × 3) pixel values (luminance) of up, down, left, and right around an arbitrary pixel in the acquired image data, The two coefficient matrices in the horizontal and vertical directions are respectively multiplied. Subsequently, the edge detection processing unit 14 calculates the change amount of each pixel value based on the multiplication result, and detects a portion (feature point) where the change amount of the pixel value is large as an edge. FIG. 3A shows image data G1 as an example of the vehicle region R1 subjected to the edge detection processing.
[0025]
In S5, the symmetric axis search unit 15 removes a region having a large color area from the vehicle region detected in S2, and converts the luminance value of each pixel into a histogram. Subsequently, as shown in FIG. 3B, the symmetry axis search unit 15 searches for the symmetry axis A from the histogram-formed vehicle region R1.
[0026]
As a result of the symmetric axis search processing in S5, if a symmetric axis is detected, a longitudinal direction estimation processing (S6) described later is executed. On the other hand, when the symmetry axis is not detected, a later-described lateral / diagonal direction estimation process (S7) is executed.
[0027]
Hereinafter, the front-rear direction estimation processing will be described in detail with reference to the flowchart of FIG. First, the symmetry determining unit 16 selects a determination area from the vehicle areas detected in S2 (S61). The determination area is an area including a portion having a characteristic shape such as an ellipse (including a circle) from the viewpoint of improving the accuracy of the symmetry determination, although the shape and position thereof are arbitrary such as a rectangle and a circle. Desirably.
[0028]
In S62, the symmetry determining unit 16 inverts the determination area in the horizontal direction (left / right direction) based on the symmetry axis detected in S5 in FIG. In addition, the symmetry determination unit 16 determines the identity of the image data in the determination area and the area located at the reversal destination using an image analysis technique such as well-known and commonly used pattern matching.
[0029]
If it is determined in S62 that the image data in the determination area and the image data in the inversion destination area are the same, the same image area exists at the left and right symmetric positions. It is determined that the determined vehicle area is symmetric (S63). For example, in the image data G1 shown in FIG. 3C, when the determination area B1 is selected from the vehicle area R1, the determination area B1 is inverted rightward with respect to the symmetry axis A, and then is positioned at the inversion destination. The image identity with the region B2 to be processed is determined. In this case, since the determination area B1 and the area B2 are the same image area, it is determined that the vehicle area R1 is symmetric.
[0030]
In S64, the direction estimating unit 17 receives the determination result that the vehicle area is symmetric, and estimates that the vehicle photographed in S1 of FIG. The direction estimation processing ends.
[0031]
If it is determined in S62 that the image data of the determination area is different from the image data of the inversion destination area, the process returns to S61 to select another determination area. Despite the selection of a predetermined number or a predetermined area of determination areas, if the left and right same determination areas do not exist, the vehicle area is not symmetrical, that is, the vehicle is not facing forward or backward. Presumed.
[0032]
Subsequently, the horizontal / diagonal direction estimation processing will be described in detail with reference to the flowchart in FIG. First, the trapezoid detection unit 18 detects a straight line from the edge detected from the vehicle area in S4 by using a mathematical method such as Hough transformation (S71). Here, the Hough transform means that, as a result of converting the two-dimensional coordinate data from the XY plane coordinate system to the ρθ plane coordinate system, a coordinate having the largest number of voting points is specified, and a straight line on the XY plane coordinate system corresponding to the coordinate is specified. It is a technique to detect.
[0033]
In S72, the trapezoid detection unit 18 detects a trapezoid portion from the quadrangular portions formed by the straight lines detected in S71.
If a trapezoid is detected, the trapezoid detector 18 selects a determination area from the trapezoid detected in S72 (S73). An example of the determination area selected at this time is shown in FIG. In FIG. 6A, the front panel of the vehicle corresponds to a trapezoidal portion C as a determination area.
[0034]
In S74, the deformation processing unit 19 performs image processing on the determination area so that the determination area selected in S73 is transformed into a rectangle. Note that the rectangle includes a square which is one mode of the rectangle. As shown in FIG. 6B, this deformation processing is performed in a state where the luminance and the saturation of each pixel constituting the trapezoidal portion and the scale ratio of each portion in the horizontal direction are kept constant. Therefore, based on whether or not the determination area after the deformation processing has symmetry in the horizontal direction, it can be determined whether or not the determination area is a part of image data captured from an oblique direction.
[0035]
In S75, the symmetric axis search unit 15 removes a region having a large color area from the determination region deformed in S74, and converts the luminance value of each pixel into a histogram. Subsequently, the symmetric axis search unit 15 searches for a symmetric axis from the image data of the determination area that has been turned into a histogram.
[0036]
When the symmetry axis is detected as a result of the symmetry axis search processing in S75, the symmetry determination unit 16 inverts the determination area in the horizontal direction (left / right direction) based on the symmetry axis detected in S75. In addition, the symmetry determining unit 16 determines the identity of the image data in the determination area and the area located at the reversal destination using an image analysis technique such as well-known and commonly used pattern matching (S76).
[0037]
On the other hand, when the symmetry axis is not detected as a result of the symmetry axis search processing in S75, the direction estimating unit 17 estimates that the vehicle photographed in S1 of FIG. 2 is facing sideways. (S79), a series of vehicle direction estimation processing ends.
[0038]
Returning to S76, if it is determined that the image data in the determination area and the inversion destination area are the same, the same image area exists at the left and right symmetric positions. It is determined that the deformed determination area is symmetric (S77).
[0039]
In S78, the direction estimating unit 17 receives the determination result that the determination area is symmetric, and estimates that the vehicle captured in S1 of FIG. 2 is facing obliquely. The process ends.
[0040]
If it is determined in S76 that the determination area is different from the inversion destination area, the process returns to S72 to detect another trapezoidal portion. Then, when the trapezoidal portion is no longer detected, the process proceeds to S79, and the direction estimating unit 17 estimates that the vehicle photographed in S1 of FIG. 2 is facing sideways.
[0041]
As described above, the present invention firstly focuses on the point that a vehicle in one of the front and rear directions has symmetry, whereas a vehicle in a lateral or oblique direction has no symmetry. It was done. Second, when a part of the obliquely oriented vehicle image is transformed into a rectangle, it has symmetry, whereas when a part of the laterally oriented vehicle image is transformed into a rectangle, there is no symmetry. It was made by paying attention to.
[0042]
That is, according to the vehicle direction determination device 1 of the present invention, the vehicle region is extracted from the acquired image data, and it is determined whether the vehicle region is left-right symmetric (symmetry). If the result of the determination is that the vehicle region is symmetrical, it is determined that the direction of the vehicle is either forward or backward. On the other hand, when the vehicle area is asymmetrical left and right, the vehicle direction determination device 1 sets the trapezoidal portion of the vehicle area to a rectangular shape in order to specify whether the direction of the vehicle is horizontal or oblique. And a determination of symmetry is made for this deformed area. If the result of the determination is that there is a left-right symmetric deformation region, it is determined that the direction of the vehicle is oblique, and if not, it is determined that the direction of the vehicle is horizontal.
[0043]
Therefore, the own vehicle including the vehicle direction determination device 1 can accurately determine the direction of the other vehicle from the image data of the other vehicle. Thereby, the driver of the own vehicle can easily and quickly determine the traveling direction of the other vehicle and determine the parking direction of the own vehicle. As a result, the driver can easily park the vehicle in the desired target parking section.
[0044]
【The invention's effect】
According to the present invention, it is possible to accurately determine the direction of the vehicle from the image of the vehicle.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of a vehicle direction determination device according to the present invention.
FIG. 2 is a flowchart illustrating a vehicle direction estimation process.
FIG. 3A is a diagram illustrating an edge detected from a vehicle area. FIG. 3B is a diagram conceptually illustrating a process of searching for a symmetry axis from the histogram of the vehicle area. FIG. 3C is a diagram illustrating a process of determining whether or not the vehicle area is symmetric.
FIG. 4 is a flowchart illustrating a front-rear direction estimation process.
FIG. 5 is a flowchart illustrating a horizontal / diagonal direction estimation process.
FIG. 6A is a diagram illustrating a trapezoidal portion detected from a vehicle area. FIG. 6B is a diagram conceptually showing a state in which the trapezoidal portion is transformed into a rectangle.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Vehicle direction determination apparatus, 13 ... Vehicle area detection part, 16 ... Symmetry determination part, 17 ... Direction estimation part

Claims

画像から車両を検出する検出手段と、
前記検出手段により検出された前記車両が対称性を有するか否かを判定する判定手段と、
前記判定手段による対称性の判定結果に基づいて、前記車両の向きを推定する推定手段と
を備えることを特徴とする画像処理装置。Detecting means for detecting a vehicle from the image;
Determining means for determining whether the vehicle detected by the detecting means has symmetry,
An image processing apparatus comprising: an estimation unit configured to estimate a direction of the vehicle based on a result of the determination of the symmetry by the determination unit.

前記推定手段は、前記判定手段により前記車両が対称性を有すると判定された場合には、前記車両の向きが前又は後ろ向きであると推定することを特徴とする請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the estimating unit estimates that the direction of the vehicle is forward or backward when the determining unit determines that the vehicle has symmetry. apparatus.

前記推定手段は、前記判定手段により前記車両が対称性を有さないと判定された場合には、前記車両の向きが横又は斜め向きであると推定することを特徴とする請求項１に記載の画像処理装置。2. The vehicle according to claim 1, wherein the estimating unit estimates that the direction of the vehicle is horizontal or oblique if the determining unit determines that the vehicle does not have symmetry. Image processing device.

画像処理装置が、画像から車両を検出する検出ステップと、
前記画像処理装置が、前記検出ステップにて検出された前記車両が対称性を有するか否かを判定する判定ステップと、
前記画像処理装置が、前記判定ステップにおける対称性の判定結果に基づいて、前記車両の向きを推定する推定ステップと
を含むことを特徴とする画像処理方法。A detection step of detecting the vehicle from the image by the image processing device;
A determination step in which the image processing device determines whether the vehicle detected in the detection step has symmetry,
An estimation step of estimating the direction of the vehicle based on the result of the symmetry determination in the determination step.