JP2014119858A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2014119858A JP2014119858A JP2012273391A JP2012273391A JP2014119858A JP 2014119858 A JP2014119858 A JP 2014119858A JP 2012273391 A JP2012273391 A JP 2012273391A JP 2012273391 A JP2012273391 A JP 2012273391A JP 2014119858 A JP2014119858 A JP 2014119858A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- slope
- image
- vertical
- index value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、ステレオ撮像画像に基づき対応点探索法により対応点までの距離を算出し、その結果に基づき得られる距離画像データに基づいて画像内に存在する物体の検出処理を行う画像処理装置に関する。 The present invention relates to an image processing apparatus that calculates a distance to a corresponding point by a corresponding point search method based on a stereo image, and detects an object present in the image based on distance image data obtained based on the result. .
例えば先行車両やその他の障害物の接近を検知して車両を制動させるなどの衝突回避や、オートクルーズ等といった運転者を支援するための運転支援技術が知られている。このような運転支援技術では、車両前方に存在する物体までの距離を検出し、その結果に基づき車両制動やスロットル制御等の車両制御が行われる。 For example, driving assistance technologies for assisting the driver, such as collision avoidance such as detecting the approach of a preceding vehicle and other obstacles to brake the vehicle, and auto-cruising, are known. In such driving support technology, the distance to an object existing in front of the vehicle is detected, and vehicle control such as vehicle braking and throttle control is performed based on the result.
撮像された物体までの距離の情報を得るための手法として、例えば上記特許文献１に記載されるような対応点探索法を用いた手法が知られている。
従来では、対応点探索法により算出した各対応点についての距離の情報を、各対応点の座標（画像平面としての二次元空間上の座標）と対応づけて距離画像として保持し、この距離画像を用いて、画像内に存在する物体の検出処理を実行している。
As a method for obtaining information on the distance to the imaged object, for example, a method using a corresponding point search method as described in
Conventionally, distance information for each corresponding point calculated by the corresponding point search method is stored as a distance image in association with the coordinates of each corresponding point (coordinates in a two-dimensional space as an image plane). Is used to detect an object present in the image.
図１０を参照して従来の物体検出処理の概要を説明する。
先ず、従来の物体検出処理では、上記のようにして得られた距離画像を、図１０Ａに示されるように画像縦方向に沿った分割線によって複数の領域（以下、「縦領域ＶＲ」と表記）に分割する。そして、これら縦領域ＶＲごとに、その縦領域ＶＲ内に存在する距離データから奥行き方向の距離分布を表す距離ヒストグラムを作成し、度数が最大となる位置（対応点）の距離をその縦領域ＶＲ内に存在する物体の代表距離とする。図１０Ｂは、このような縦領域ＶＲごとの処理で求まった代表距離を黒丸によって模式的に表している。
The outline of the conventional object detection process will be described with reference to FIG.
First, in the conventional object detection process, the distance image obtained as described above is expressed as a plurality of regions (hereinafter referred to as “vertical region VR”) by dividing lines along the vertical direction of the image as shown in FIG. 10A. ). Then, for each vertical region VR, a distance histogram representing the distance distribution in the depth direction is created from the distance data existing in the vertical region VR, and the distance of the position (corresponding point) at which the frequency is the maximum is determined as the vertical region VR. The representative distance of the object existing inside. FIG. 10B schematically represents the representative distance obtained by such processing for each vertical region VR by a black circle.
次に、代表距離が得られた度数最大となる各対応点について、近接する各対応点までの距離や方向などの関係性から、同一物体とみなされる画素範囲をグループ化する。図１０Ｃは、図１０Ａに示した画像内に存在する３つの先行車両がそれぞれグループＧ１、Ｇ２、Ｇ３としてグループ化されたことを模式的に表している。 Next, for each corresponding point with the maximum frequency for which the representative distance is obtained, pixel ranges that are considered to be the same object are grouped from the relationship such as the distance to each corresponding point and the direction. FIG. 10C schematically shows that the three preceding vehicles existing in the image shown in FIG. 10A are grouped as groups G1, G2, and G3, respectively.
このようにして、撮像画像内に存在する各物体が、その物体までの距離の情報も含めて検出されたことになる。
上記のような物体検出処理は、道路面よりも上側に存在する物体を対象として行うが、車両前方に坂が存在する場合には、該坂も道路面上に存在する物体として検出される場合がある。
この点を加味し、特許文献１に記載の従来手法では、上記の物体検出処理によって検出した物体ごとに、該物体が坂であるか否かを判別するようにしている。
In this way, each object existing in the captured image is detected including information on the distance to the object.
The object detection process as described above is performed on an object that exists above the road surface, but when a slope exists in front of the vehicle, the slope is also detected as an object that exists on the road surface. There is.
Considering this point, in the conventional method described in
しかしながら上記の従来手法によると、物体検出処理において、縦領域ＶＲごとに求まった距離ヒストグラムの度数が最大となる対応点間の距離や方向などの関係性からグループ化を行うので、坂と坂以外の物体とが近接して存在していると、それらが纏めてグループ化されてしまう虞がある。
そして、このように坂と坂以外の物体とが纏められたグループについて、坂か否かの判別が行われると、坂の部分では距離データの密度が比較的疎となるのに対し、坂以外の物体では距離データが密集するために、正しく坂と判別することができない虞があった。
特に、坂が急である場合には、奥行き方向の距離分布の態様が坂と該坂の近接物とで近似するので、物体検出処理においてそれらが纏めてグループ化されてしまう可能性が高くなり、坂の誤判別の可能性が高まることとなる。
However, according to the above-described conventional method, in object detection processing, grouping is performed based on the relationship between distances and directions between corresponding points where the frequency of the distance histogram obtained for each vertical region VR is maximized. If these objects are close to each other, they may be grouped together.
Then, regarding the group in which hills and objects other than hills are collected in this way, when it is determined whether or not it is a hill, the density of distance data is relatively sparse in the hill part, while other than the hill Since the distance data of the object is dense, there is a possibility that it cannot be correctly determined as a slope.
In particular, when the slope is steep, the distance distribution mode in the depth direction is approximated by the slope and an object close to the slope, so that there is a high possibility that they will be grouped together in the object detection process. This increases the possibility of misidentification of slopes.
上記のように誤判別が行われ、本来は坂と判別されるべきものを正しく判別できないと、検出物体は障害物として認識されて、制動がかけられてしまい、画像認識に基づく車両制御の誤作動が生じてしまう。 As described above, if an erroneous determination is performed and an object that should originally be determined to be a slope cannot be correctly determined, the detected object is recognized as an obstacle and is braked, resulting in an erroneous vehicle control based on image recognition. Operation will occur.
そこで、本発明は坂であるか否かの判別精度の向上を図り、車両制御の誤作動を防止することを目的とする。 Accordingly, an object of the present invention is to improve the accuracy of determining whether or not the vehicle is a hill and prevent malfunction of vehicle control.
本発明の画像処理装置は、ステレオ撮像された一対の画像データ間の対応点をパターンマッチングにより検出し、該検出された対応点間の座標のずれを視差として算出した結果に基づき、実空間上における前記対応点までの距離を画像上に表した距離画像データを生成する距離画像生成部と、前記距離画像データを画像縦方向に沿った分割線により短冊状に分割して得た個々の領域を縦領域としたときに、該縦領域ごとに、その距離分布に基づいて被写体の坂らしさを表す坂指標値を算出し、該坂指標値に基づき、被写体が坂以外であるとみなされる前記縦領域を選択する領域選択部と、前記領域選択部が選択した前記縦領域を検出対象領域として、前記距離画像データに基づき、画像内に存在する物体を検出する物体検出処理部とを備えるものである。
上記本発明によれば、坂と坂以外の物体とが纏めてグループ化されたものについて坂の判別が行われてしまうことがない。
The image processing apparatus of the present invention detects a corresponding point between a pair of image data captured in stereo by pattern matching, and based on a result of calculating a coordinate shift between the detected corresponding points as a parallax, A distance image generation unit that generates distance image data representing the distance to the corresponding point on the image, and individual regions obtained by dividing the distance image data into strips by dividing lines along the vertical direction of the image For each vertical region, a slope index value representing the slope of the subject is calculated based on the distance distribution, and the subject is considered to be other than a slope based on the slope index value. A region selection unit that selects a vertical region, and an object detection processing unit that detects an object present in the image based on the distance image data, with the vertical region selected by the region selection unit as a detection target region. Than is.
According to the present invention, a slope is not discriminated for a slope and objects other than the slope that are grouped together.
本発明によれば、坂の判別精度を向上することができ、車両制御の誤作動を防止することができる。 According to the present invention, it is possible to improve slope discrimination accuracy and prevent vehicle control malfunction.
＜１．システム全体構成＞
図１は、本発明に係る実施の形態としての画像処理装置を備え、車両１についての車両制御を行うためのシステム構成を模式的に示している。本システムは、車両１に対して設けられた撮像装置２、車外環境認識装置３、車両制御装置４、舵角センサ５、車速センサ６、アクチュエータ７、ディスプレイ８を備えて構成される。
本システムでは、撮像装置２で得られた撮像画像に基づき、車外環境認識装置３が車両前方に存在する物体を認識する。そして本システムでは、車両制御装置４が、車外環境認識装置３で認識された物体との衝突を回避したり、先行車両としての物体との離間距離（車間距離）を安全とされる距離に保つ制御等を実行する。
<1. Overall system configuration>
FIG. 1 schematically shows a system configuration that includes an image processing apparatus according to an embodiment of the present invention and performs vehicle control of a
In the present system, the vehicle environment recognition device 3 recognizes an object existing in front of the vehicle based on the captured image obtained by the
具体的に、車両制御装置４は、操舵の角度を検出する舵角センサ５や車両１の走行速度を検出する車速センサ６を通じて取得した現在の車両１の走行状態の情報と、車外環境認識装置３で検出された車両１の前方に存在する物体に関する情報とに基づき、先行車両との車間距離を安全とされる距離に保ったり、また物体との衝突が想定される場合には車両１を自動的に制動させるための制御をアクチュエータ７に対して実行する。ここでアクチュエータ７は、車両１を制動するためのブレーキやスロットルバルブ、舵角等を制御するためのアクチュエータを包括的に表したものである。
また、車両制御装置４は、物体との衝突が想定される場合には、運転者の前方に配置されたディスプレイ８にその旨の警告表示が行われるように制御を行う。
なお、車両制御装置４は、車外環境認識装置３と一体に形成することも可能である。
Specifically, the
Further, when a collision with an object is assumed, the
The
本実施の形態の画像処理装置は、撮像装置２で得られた撮像画像に基づき、画像内に存在する（車両１の前方に存在する）物体についての検出処理を実行し、上記のシステム構成においては、車外環境認識装置３に内在される。
The image processing apparatus according to the present embodiment executes detection processing on an object existing in the image (present in front of the vehicle 1) based on the captured image obtained by the
＜２．物体検出に係る構成＞
図２は、図１に示した撮像装置２の内部構成と、車外環境認識装置３の内部構成のうち物体検出に係る要部の構成とを抽出して示している。なお、図中では図１に示した車両制御装置４も併せて示している。
撮像装置２には、第１カメラ部２０-1、第２カメラ部２０-2、Ａ／Ｄ変換器２１-1、Ａ／Ｄ変換器２１-2、画像補正部２２及びインターフェイス部（Ｉ／Ｆ部）２３が設けられている。
第１カメラ部２０-1、第２カメラ部２０-2は、それぞれカメラ光学系と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えて構成され、前記カメラ光学系により前記撮像素子の撮像面に被写体像が結像され、該撮像素子にて受光光量に応じた電気信号が画素単位で得られる。
<2. Configuration related to object detection>
FIG. 2 shows the internal configuration of the
The
Each of the first camera unit 20-1 and the second camera unit 20-2 includes a camera optical system and an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). A subject image is formed on the imaging surface of the imaging device by the optical system, and an electrical signal corresponding to the amount of received light is obtained in pixel units by the imaging device.
第１カメラ部２０-1、第２カメラ部２０-2は、いわゆるステレオ法による測距が可能となるように設置される。本例における第１カメラ部２０-1、第２カメラ部２０-2は、車両１のフロントガラスの上部付近において、車幅方向に所定間隔を空けて配置されている。第１カメラ部２０-1、第２カメラ部２０-2の光軸は平行とされている。
また、第１カメラ部２０-1、第２カメラ部２０-2の焦点距離はそれぞれ同値とされ、またフレーム周期は同期しているものとする。フレームレートは、例えば６０ｆｐｓである。
The first camera unit 20-1 and the second camera unit 20-2 are installed so as to enable distance measurement by a so-called stereo method. The first camera unit 20-1 and the second camera unit 20-2 in this example are arranged at a predetermined interval in the vehicle width direction in the vicinity of the upper part of the windshield of the
In addition, it is assumed that the focal lengths of the first camera unit 20-1 and the second camera unit 20-2 are the same value, and the frame periods are synchronized. The frame rate is 60 fps, for example.
第１カメラ部２０-1の撮像素子で得られた電気信号はＡ／Ｄ変換器２１-1に、第２カメラ部２０-2の撮像素子で得られた電気信号はＡ／Ｄ変換器２１-2に供給され、それぞれＡ／Ｄ変換が行われる。これにより、画素単位で所定階調による輝度値を表すデジタル画像信号（画像データ）が得られる。 The electrical signal obtained by the image sensor of the first camera unit 20-1 is sent to the A / D converter 21-1, and the electrical signal obtained by the image sensor of the second camera unit 20-2 is sent to the A / D converter 21. -2 and A / D conversion is performed respectively. As a result, a digital image signal (image data) representing a luminance value with a predetermined gradation in pixel units is obtained.
画像補正部２２には、Ａ／Ｄ変換器２１-1を介して得られる第１カメラ部２０-1による撮像画像に基づく画像データ（以下、「第１撮像画像データ」と表記）と、Ａ／Ｄ変換器２１-2を介して得られる第２カメラ部２０-2による撮像画像に基づく画像データ（以下、「第２撮像画像データ」と表記）とが入力される。
画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対し、第１カメラ部２０-1、第２カメラ部２０-2の取り付け位置の誤差に起因するずれの補正を例えばアフィン変換等を用いて行う。また画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対しノイズの除去等を含む輝度値の補正も行う。
The
For example, the
インターフェイス部２３は、外部装置との間で各種のデータをやり取りするために設けられている。画像補正部２２によって補正の施された第１撮像画像データ、第２撮像画像データは、インターフェイス部２３を介して車外環境認識装置３に転送される。
The
車外環境認識装置３には、インターフェイス部３１、バス３２、画像処理部３３及びメモリ部３４が設けられている。インターフェイス部３１、画像処理部３３、メモリ部３４はそれぞれバス３２を介して接続され、バス３２を介しての相互のデータ通信が可能とされる。
インターフェイス部３１は、外部装置との間で各種のデータをやり取りするために設けられている。先のインターフェイス部２３によって撮像装置２側から転送された第１撮像画像データ、第２撮像画像データは、インターフェイス部３１にて受信される。このようにインターフェイス部３１によって受信された第１撮像画像データ、第２撮像画像データは、バス３２を介してメモリ部３４に保持され、画像処理部３３の処理に供される。
また、画像処理部３３が行う後述する物体検出処理の結果は、インターフェイス部３１を介して車両制御装置４に転送される。先の図１の説明からも理解されるように、車両制御装置４は、このように転送された物体検出処理結果に基づき前述した車両制御を実行する。
The outside environment recognition device 3 includes an
The
In addition, the result of an object detection process (described later) performed by the
画像処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えた半導体集積回路で構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。
特に本実施の形態の場合、画像処理部３３は、インターフェイス部３１を介してメモリ部３４に保持された第１撮像画像データ、第２撮像画像データに基づき、以下の処理を実行する。
先ず、メモリ部３４に保持された第１撮像画像データ、第２撮像画像データに基づき距離画像を生成する距離画像生成処理を実行する。次に、距離画像生成処理で生成した距離画像に基づく領域選択処理を実行し、続いて領域選択処理の結果を用いて前記距離画像について画像内に存在する物体を検出する物体検出処理を実行する。
本例の場合には、距離画像生成処理、領域選択処理、物体検出処理は、ＲＯＭに格納されたプログラムに従ったＣＰＵによるソフトウェア処理で実現される。図２中では便宜的に、これらの処理を実行するハードウェアがそれぞれ存在するものと擬制し、それぞれ距離画像生成処理部３３Ａ、領域選択処理部３３Ｂ、物体検出処理部３３Ｃと表している。
The
Particularly in the case of the present embodiment, the
First, a distance image generation process for generating a distance image based on the first captured image data and the second captured image data held in the
In the case of this example, the distance image generation process, the area selection process, and the object detection process are realized by software processing by the CPU according to a program stored in the ROM. In FIG. 2, for the sake of convenience, it is assumed that there is hardware for executing these processes, which are respectively represented as a distance image
＜３．距離画像生成処理＞
先ず、距離画像生成処理部３３Ａが実行する距離画像生成処理について説明する。距離画像生成処理は、ステレオ撮像された一対の画像データ間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差として算出した結果に基づき、実空間上における対応点までの距離を画像上に表した距離画像データを生成する処理である。
<3. Distance image generation processing>
First, the distance image generation processing executed by the distance image
以下に、対応点探索法により視差を求めるための手法について、その概要を説明する。
以下の説明では、第１撮像画像データを基準画像Ｔとし、第２撮像画像データを比較画像Ｃとする場合を例示する。
以下の説明においては、基準画像Ｔにおける各画素の位置を座標（ｉ，ｊ）で表す。座標（ｉ，ｊ）は、基準画像Ｔの左下隅を原点とし、水平方向（横方向）をｉ座標軸、垂直方向（縦方向）をｊ座標軸とした場合の画素のｉ座標、ｊ座標を表す。また比較画像Ｃについては、基準画像Ｔの原点に予め対応づけられた画素を原点として同様にｉ座標、ｊ座標を取る。
また、以下の説明では、画素ごとの輝度値を輝度値ｐで表し、基準画像Ｔにおける座標（ｉ，ｊ）で特定される画素の輝度値ｐを輝度値ｐ１ij、比較画像Ｃにおける座標（ｉ，ｊ）で特定される画素の輝度値ｐを輝度値ｐ２ijと表記する。
Below, the outline | summary is demonstrated about the method for calculating | requiring a parallax by the corresponding point search method.
In the following description, the case where the first captured image data is the reference image T and the second captured image data is the comparison image C is exemplified.
In the following description, the position of each pixel in the reference image T is represented by coordinates (i, j). The coordinates (i, j) represent the i and j coordinates of the pixel when the lower left corner of the reference image T is the origin, the horizontal direction (lateral direction) is the i coordinate axis, and the vertical direction (vertical direction) is the j coordinate axis. . For the comparison image C, the i-coordinate and the j-coordinate are similarly taken with the pixel previously associated with the origin of the reference image T as the origin.
In the following description, the luminance value for each pixel is represented by the luminance value p, the luminance value p of the pixel specified by the coordinate (i, j) in the reference image T is the luminance value p1ij, and the coordinate (i in the comparative image C is i , J) is expressed as a luminance value p2ij.
先ず、距離画像生成処理では、基準画像Ｔを、例えば４・４画素などの所定の複数画素で成る画素ブロック単位で分割し、画素ブロック単位で、比較画像Ｃとのパターンマッチング処理を行って、前記対応点としての、基準画像Ｔと比較画像Ｃとの間で対応している点（同じ被写体が撮像されているとみなされる点）を検出する。 First, in the distance image generation process, the reference image T is divided in units of pixel blocks composed of a predetermined plurality of pixels, for example, 4/4 pixels, and pattern matching processing with the comparison image C is performed in units of pixel blocks. A point corresponding to the reference image T and the comparison image C (a point where the same subject is considered to be captured) is detected as the corresponding point.
具体的には、比較画像Ｃを水平方向に延在する４画素幅の水平ラインに分割し、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像Ｃの水平ライン上を１画素単位で順次水平方向（ｉ方向）にシフトさせながら、基準画像Ｔの画素ブロックにおける１６個の画素の輝度値ｐ１ijとそれに対応する比較画像Ｃにおける１６個の画素の輝度値ｐ２ijとを取得する。そして、これら基準画像Ｔの輝度値ｐ１ijと比較画像Ｃの輝度値ｐ２ijとの差の絶対値をそれぞれ合計した下記［式１］で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロックを、基準画像Ｔの画素ブロックに最も近い輝度値特性を有する比較画像Ｃ上の画素ブロック（対応点）として特定する。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ ・・・［式１］
Specifically, the comparative image C is divided into horizontal lines of 4 pixels width extending in the horizontal direction, one pixel block of the reference image T is taken out, and the corresponding horizontal line of the comparative image C is taken as one pixel unit. The luminance values p1ij of the 16 pixels in the pixel block of the reference image T and the luminance values p2ij of the 16 pixels in the corresponding comparison image C are acquired while sequentially shifting in the horizontal direction (i direction). Then, the pixel blocks on the horizontal line that minimize the city block distance CB obtained by the following [Equation 1] in which the absolute values of the differences between the luminance value p1ij of the reference image T and the luminance value p2ij of the comparative image C are summed. Is specified as a pixel block (corresponding point) on the comparison image C having the luminance value characteristic closest to the pixel block of the reference image T.
CB = Σ | p1ij−p2ij | [Formula 1]
このように特定した比較画像Ｃ上の画素ブロックと、もとの基準画像Ｔ上の画素ブロックとの座標のずれ量を算出し、そのずれ量を視差ｄｐとして求める。視差ｄｐの値は、検出された対応点ごとに求まるものであり、距離画像生成処理では、このように得られた視差ｄｐの値を、その視差ｄｐが検出された対応点の位置の情報と対応づけて保持する。 The coordinate shift amount between the pixel block on the comparison image C specified in this way and the pixel block on the original reference image T is calculated, and the shift amount is obtained as the parallax dp. The value of the parallax dp is obtained for each detected corresponding point. In the distance image generation process, the parallax dp value obtained in this way is used as the position information of the corresponding point where the parallax dp is detected. Hold in association.
上記のように求めた視差ｄｐは、第１カメラ部２０-1と第２カメラ部２０-2との離間距離に由来する基準画像Ｔと比較画像Ｃとにおける同一物体の写像位置に関する水平方向の相対的なずれ量を表す。このような視差ｄｐの値を用いて、第１カメラ部２０-1と第２カメラ部２０-2との中央位置から対応点としての被写体までの距離（実空間上の距離）を三角測量の原理に基づいて算出する。 The parallax dp determined as described above is the horizontal direction related to the mapping position of the same object in the reference image T and the comparison image C derived from the separation distance between the first camera unit 20-1 and the second camera unit 20-2. Represents the relative shift amount. Using such a value of the parallax dp, the distance from the center position of the first camera unit 20-1 and the second camera unit 20-2 to the subject as a corresponding point (distance in real space) is triangulated. Calculate based on the principle.
対応点としての被写体までの実空間上における距離の算出は、例えば以下のようにして行うことができる。
先ず前提として、第１カメラ部２０-1と第２カメラ部２０-2との中央位置の真下に位置する道路面上の点を原点とし、車両１の車幅方向（水平方向）をＸ軸、車高方向をＹ軸、車長方向（距離方向）をＺ軸とした三次元空間を定義する。
該三次元空間上において、視差ｄｐが求められた対応点としての被写体が存在する位置の座標（Ｘ，Ｙ，Ｚ）は、該視差ｄｐが求められた対応点の画像上の座標を（ｉc，ｊc）とすると、算出された視差ｄｐの値を用いて、下記の［式２］〜［式４］により求まる。
Ｘ＝ＣＤ／２＋Ｚ・ＰＷ・（ｉｃ−ＩＶ） ・・・［式２］
Ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊｃ−ＪＶ） ・・・［式３］
Ｚ＝ＣＤ／（ＰＷ・（ｄｐ−ＤＰ）） ・・・［式４］
ただし、ＣＤは第１カメラ部２０-1と第２カメラ部２０-2との間隔、ＰＷは１画素当たりの視野角、ＣＨは第１カメラ部２０-1及び第２カメラ部２０-2の取り付け高さ、ＩＶ、ＪＶはそれぞれ車両１の正面における無限遠点の画像上のｉ座標、ｊ座標、ＤＰは消失点視差を表す。
視差ｄｐが算出された対応点としての被写体までの距離（以下、「距離Ｌ」と表記）は、［式４］により、算出された視差ｄｐの値とＣＤ，ＰＷ，ＤＰの値とを用いて算出できる。
The calculation of the distance in the real space to the subject as the corresponding point can be performed as follows, for example.
First, as a premise, a point on the road surface located directly below the center position of the first camera unit 20-1 and the second camera unit 20-2 is used as the origin, and the vehicle width direction (horizontal direction) of the
In the three-dimensional space, the coordinates (X, Y, Z) of the position of the subject as the corresponding point for which the parallax dp has been obtained are the coordinates on the image of the corresponding point for which the parallax dp has been obtained (ic , Jc), it is obtained by the following [Expression 2] to [Expression 4] using the calculated value of the parallax dp.
X = CD / 2 + Z · PW · (ic−IV) [Formula 2]
Y = CH + Z · PW · (jc−JV) (Formula 3)
Z = CD / (PW · (dp−DP)) (Formula 4)
However, CD is the interval between the first camera unit 20-1 and the second camera unit 20-2, PW is the viewing angle per pixel, and CH is the first camera unit 20-1 and the second camera unit 20-2. The attachment height, IV, and JV represent i-coordinate and j-coordinate on the image of the infinity point in the front of the
The distance to the subject as the corresponding point for which the parallax dp has been calculated (hereinafter referred to as “distance L”) is calculated using the values of the parallax dp and the values of CD, PW, and DP calculated by [Equation 4]. Can be calculated.
このとき、距離画像生成処理では、視差ｄｐの信頼性を向上させる目的から、求めた視差ｄｐについてのフィルタリング処理を施す。例えば、車道の映像のみからなる特徴に乏しい４・４画素の画素ブロックを比較画像Ｃの４画素幅の水平ライン上で走査した場合は、比較画像Ｃの車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。このため、そのような視差ｄｐは前記フィルタリング処理で無効とし、当該画素ブロックの視差ｄｐの値としては０（無効値）を割り当てる。
このようなフィルタリング処理が行われる結果、視差ｄｐは、通常、基準画像Ｔの水平方向に隣り合う画素間で輝度値ｐ１ijの差が大きないわゆるエッジ部分についてのみ有効な値を持つデータとなる。そしてこれに伴い、視差ｄｐの算出結果から得られる距離画像としても、同様にエッジ部分についてのみ有効な値を持つデータとなる。
At this time, in the distance image generation process, a filtering process for the obtained parallax dp is performed for the purpose of improving the reliability of the parallax dp. For example, when a 4/4 pixel pixel block having only a feature image of a roadway is scanned on a horizontal line having a width of 4 pixels in the comparison image C, all the portions of the comparison image C where the roadway is imaged are correlated. Even if the corresponding pixel block is specified and the parallax dp is calculated, the reliability of the parallax dp is low. For this reason, such a parallax dp is invalidated in the filtering process, and 0 (invalid value) is assigned as the value of the parallax dp of the pixel block.
As a result of performing such filtering processing, the parallax dp is normally data having an effective value only for a so-called edge portion where the difference in luminance value p1ij is large between pixels adjacent in the horizontal direction of the reference image T. Along with this, the distance image obtained from the calculation result of the parallax dp is also data having an effective value only for the edge portion.
距離画像生成処理では、対象とする画素ブロックについて、算出した視差ｄｐの値から先の［式４］により距離Ｌを算出し、算出した距離Ｌの値を当該画素ブロックの位置の情報（座標（ｉ，ｊ））と対応づけて保持する。
このように距離Ｌの値を画像上の位置の情報と対応づけた情報は、これをｉ軸とｊ軸による二次元平面上に展開すると、各対応点（各被写体）までの実空間上における距離Ｌを画像上に表すものとなる。この意味で、上記のように距離Ｌの値を画像上の位置の情報と対応づけた情報のことを、以下「距離画像」と表記する。
In the distance image generation process, for the target pixel block, the distance L is calculated from the calculated parallax dp value according to the previous [Expression 4], and the calculated distance L value is used as information on the position of the pixel block (coordinate ( i, j)) and hold it.
Information that associates the value of the distance L with the position information on the image in this way is expanded on a two-dimensional plane by the i-axis and the j-axis in the real space up to each corresponding point (each subject). The distance L is represented on the image. In this sense, the information in which the value of the distance L is associated with the position information on the image as described above is hereinafter referred to as “distance image”.
＜４．領域選択処理＞
［4-1．第１判別処理］
次に、領域選択処理部３３Ｂが実行する領域選択処理について説明する。
図３Ａは、取得された距離画像の一例として、車両１の前方に坂が存在し、該坂の近傍に道路標識Ｉとしての坂以外の物体が存在している場合の距離画像を模式的に表している。
領域選択処理においては、先ず距離画像を画像縦方向に沿った分割線により複数の領域（以下、「縦領域ＶＲ」と表記）に分割する。
図３Ｂは、図３Ａに示す距離画像を複数の縦領域ＶＲに分割した例を示している。図３Ｂから分かるように、距離画像を複数の縦領域ＶＲに分割することによって、坂と坂以外の物体とがそれぞれ異なる縦領域ＶＲ内に含まれるようにできる。図３Ｂの例では、画面左端からｎ番目の縦領域ＶＲを縦領域ＶＲ_nとしたときに、道路標識Ｉが縦領域ＶＲ_nと縦領域ＶＲ_n＋1に含まれ、坂が縦領域ＶＲ_n＋2〜ＶＲ_n＋8に含まれた例を示している。
<4. Area selection processing>
[4-1. First discrimination process]
Next, the area selection process executed by the area
FIG. 3A schematically shows a distance image when a slope exists in front of the
In the region selection process, first, the distance image is divided into a plurality of regions (hereinafter referred to as “vertical region VR”) by dividing lines along the vertical direction of the image.
FIG. 3B shows an example in which the distance image shown in FIG. 3A is divided into a plurality of vertical regions VR. As can be seen from FIG. 3B, by dividing the distance image into a plurality of vertical regions VR, the hill and objects other than the hill can be included in different vertical regions VR. In the example of FIG. 3B, when the n-th vertical region VR from the left end of the screen is the vertical region VR_n, the road sign I is included in the vertical region VR_n and the vertical
領域選択処理では、上記のように距離画像を複数の縦領域ＶＲに分割した後に、これら縦領域ＶＲごとに、その距離分布に基づいて被写体の坂らしさを表す坂指標値を算出する。そして、該坂指標値に基づき、被写体が坂以外であるとみなされる縦領域ＶＲを選択する。 In the area selection process, after the distance image is divided into a plurality of vertical areas VR as described above, a slope index value representing the slope of the subject is calculated for each of the vertical areas VR based on the distance distribution. Then, based on the slope index value, a vertical region VR in which the subject is regarded as other than a slope is selected.
図４は、縦領域ＶＲの画像縦方向における距離分布についての説明図であり、図４Ａは、図３Ｂに示した縦領域ＶＲ_n及び縦領域ＶＲ_n＋1としての、道路標識Ｉが含まれた縦領域ＶＲの距離分布を例示し、図４Ｂは、図３Ｂに示した縦領域ＶＲ_n＋2〜ＶＲ_n＋8としての、坂が含まれた縦領域ＶＲの距離分布を例示している。
図４Ａ，図４Ｂを比較すると、被写体が坂である場合と坂以外の物体である場合とで距離分布の態様が全く異なることが確認できる。従って、縦領域ＶＲごとに、その距離分布に基づいて被写体が坂であるか否かの判別が可能であることが分かる。
FIG. 4 is an explanatory diagram of the distance distribution in the vertical direction of the image of the vertical region VR. FIG. 4A is a vertical region VR including the road sign I as the vertical region VR_n and the vertical region VR_n + 1 shown in FIG. 3B. 4B illustrates the distance distribution of the vertical region VR including the slope as the vertical regions VR_n + 2 to VR_n + 8 illustrated in FIG. 3B.
Comparing FIG. 4A and FIG. 4B, it can be confirmed that the manner of the distance distribution is completely different between the case where the subject is a slope and the case where the subject is an object other than a slope. Therefore, it can be seen that for each vertical region VR, it is possible to determine whether or not the subject is a slope based on the distance distribution.
具体的に、被写体が坂以外である場合には、図４Ａのように或る距離に密集した距離分布を示し、被写体が坂である場合には、図４Ｂのように画像の上側となるほど距離Ｌの値が徐々に大となるような距離分布を示す。このような距離分布の態様の差に基づき、被写体が坂であるか坂以外の物体であるかの判別を行うことができる。
より具体的には、同じ距離が密集する度合いが高ければ、被写体が坂以外の物体であると判別でき、同じ距離が密集する度合いが低ければ、被写体が坂以外の物体ではないと判別できる。この点に鑑み本実施の形態では、同じ距離が密集する度合いを表す指標値を坂指標値（第１の坂指標値）として算出し、該坂指標値と所定の閾値との大小関係に基づき、被写体が坂以外の物体であるか否かの判別を行う。
Specifically, when the subject is other than a slope, a distance distribution densely arranged at a certain distance as shown in FIG. 4A is shown, and when the subject is a slope, the distance is higher toward the upper side of the image as shown in FIG. 4B. A distance distribution in which the value of L gradually increases is shown. It is possible to determine whether the subject is a hill or an object other than a hill based on the difference in the manner of distance distribution.
More specifically, if the same distance is dense, it can be determined that the subject is an object other than a hill, and if the same distance is less dense, it can be determined that the subject is not an object other than a hill. In view of this point, in the present embodiment, an index value representing the degree of denseness of the same distance is calculated as a slope index value (first slope index value), and based on the magnitude relationship between the slope index value and a predetermined threshold value. Then, it is determined whether or not the subject is an object other than a hill.
上記のように同じ距離が密集する度合いを表す第１の坂指標値の具体的な算出手法としては、種々考えることができるが、以下ではその一例を挙げて説明を行う。 Various specific methods for calculating the first slope index value representing the degree of denseness of the same distance as described above can be considered, but an example thereof will be described below.
図５Ａは、坂の判別手法の具体的な手順を説明するための図である。
先ず、この場合の坂の判別手法では、縦領域ＶＲ内に含まれる距離Ｌのデータ総数をＪ、データ総数Ｊを均等に分割したときの区分の総数をＫ、前記区分ごとのデータ個数をＪ／Ｋとしたとき、縦領域ＶＲごとに、画像下側から順に距離Ｌの数をカウントし、カウントしたＪ／Ｋ個の距離Ｌごとに、その代表距離の値を得ていく。
図５Ａでは、対象とする縦領域ＶＲ内に含まれる距離Ｌのデータ総数Ｊ＝４０個とされ、データ総数Ｊを１２．５％ごとに均等分割したときの各区分を例示している（図中右側）。この場合には、Ｊ／Ｋ＝５個となる。すなわち、上記の各区分の境界値は５の倍数（５〜３５）となる。
FIG. 5A is a diagram for explaining a specific procedure of the slope discrimination method.
First, in the slope discrimination method in this case, the total number of data of the distance L included in the vertical region VR is J, the total number of sections when the total number of data J is evenly divided is K, and the total number of data for each section is J. When / K, the number of distances L is counted in order from the lower side of the image for each vertical region VR, and the representative distance value is obtained for each counted J / K distances L.
In FIG. 5A, the total number J of the distance L included in the target vertical region VR is 40, and each division when the total number J of data is equally divided every 12.5% is illustrated (FIG. 5A). Middle right). In this case, J / K = 5. That is, the boundary value of each section is a multiple of 5 (5-35).
この手法では、前述のように画像下側から順に距離Ｌのデータ数をカウントしていき、該カウント値が、上記区分の境界値に至るまでの間に（つまり５の倍数に至るまでの間に）、その区分についての代表距離の値を順次取得していく。代表距離については、その区分の距離Ｌの平均値であっても良いしピーク値であっても良い。或いはその区分について最初に取得（カウント）した距離Ｌの値を用いてもよい。
ここでは、その区分の距離Ｌの平均値を代表距離の値として取得する。
このように画像下側から順に距離Ｌのデータ数をカウントし、区分ごとの代表距離を順次取得していきながら、代表距離が重なる区分の数を、前記の坂指標値（第１の坂指標値）として算出する。そして、該坂指標値が、所定の閾値（「閾値ｔｈ１」とする：第１閾値）以上であるか否かを判別することで、被写体が坂以外であるか否かの切り分けを行う。本例では、閾値ｔｈ１の例として「３」を設定する。
In this method, as described above, the number of data of the distance L is counted in order from the lower side of the image, and until the count value reaches the boundary value of the section (that is, until it reaches a multiple of 5). ), The representative distance value for each category is obtained sequentially. The representative distance may be an average value or a peak value of the distance L of the section. Or you may use the value of the distance L acquired (counted) initially about the division.
Here, the average value of the distance L of the section is acquired as the representative distance value.
In this way, the number of data of the distance L is counted in order from the lower side of the image, and the representative distance for each section is sequentially acquired, and the number of the sections with the representative distance overlapping is determined as the slope index value (first slope index). Value). Then, it is determined whether or not the subject is other than a hill by determining whether or not the hill index value is equal to or greater than a predetermined threshold (“threshold th1”: first threshold). In this example, “3” is set as an example of the threshold th1.
図５Ｂは、被写体が坂以外の物体である場合における区分ごとの代表距離の値を例示し、図５Ｃは、被写体が坂である場合における区分ごとの代表距離の値を例示している。なおこれらの図においても、総数Ｊ＝４０、Ｊ／Ｋ＝５であるとする。
被写体が坂以外の物体の場合は、図４Ａで例示したように、距離の分布としては或る距離に集中するような分布となるので、複数の区分で代表距離が重複することになる。図５Ｂでは、１０〜１５の区分、１５〜２０の区分及び２０〜２５の区分で代表距離の値が同値で重なっており、それ以外の区分では代表距離の値が異なっている例が示されている。
一方、被写体が坂である場合には、図４Ｂで例示した通り、画像の上側となるほど徐々に距離Ｌの値が大となるような距離分布を示すので、複数の区分で代表距離が重複する可能性は非常に低く、図５Ｂの坂以外の物体の場合のように代表距離が３つの区分で重なるということはない。図５Ｃでは、坂の部分（ここでは５〜１０の区分から２５〜３０の区分までの部分）において、各区分の代表距離の値がほぼ０．２ｍ〜０．３ｍ程度の差となっている例が示されている。
FIG. 5B illustrates the value of the representative distance for each category when the subject is an object other than a slope, and FIG. 5C illustrates the value of the representative distance for each category when the subject is a slope. In these figures, it is assumed that the total number J = 40 and J / K = 5.
When the subject is an object other than a slope, as illustrated in FIG. 4A, the distance distribution is such that the distance is concentrated at a certain distance, and therefore, the representative distances overlap in a plurality of sections. FIG. 5B shows an example in which the representative distance values overlap in the 10-15 section, the 15-20 section, and the 20-25 section, and the representative distance values differ in the other sections. ing.
On the other hand, when the subject is a slope, as illustrated in FIG. 4B, the distance distribution is such that the value of the distance L gradually increases toward the upper side of the image. Therefore, the representative distances overlap in a plurality of sections. The possibility is very low, and the representative distances do not overlap in the three sections as in the case of an object other than the slope of FIG. 5B. In FIG. 5C, in the slope portion (here, the portion from the 5-10 section to the 25-30 section), the value of the representative distance of each section is about 0.2 m to 0.3 m. An example is shown.
本例では、前述のように代表距離が重なる区分の数を坂指標値として算出し、該坂指標値が閾値ｔｈ１（前述のようにこの場合は「３」）以上であるか否かを判別する。そしてその結果、前記坂指標値が閾値ｔｈ１以上であった場合には、被写体が坂以外の物体であるとの判別結果を得る。
従って、図５Ｂに示したように被写体が坂以外の物体である場合に、これを適正に坂以外の物体であると判別することができる。また、図５Ｃに示すように被写体が坂である場合には、これを適正に坂以外の物体ではないと判別することができる。
In this example, as described above, the number of sections where the representative distances overlap is calculated as a slope index value, and it is determined whether or not the slope index value is equal to or greater than a threshold th1 (in this case, “3” in this case). To do. As a result, when the slope index value is equal to or greater than the threshold th1, a determination result that the subject is an object other than a slope is obtained.
Accordingly, when the subject is an object other than a hill as shown in FIG. 5B, it can be properly determined that the object is an object other than a hill. Further, when the subject is a slope as shown in FIG. 5C, it can be determined that the subject is not an object other than a slope.
［4-2．第２判別処理］
次に、図６を参照して第２の判別処理について説明する。
上記のような第１判別処理によっては、坂以外の物体として、例えば道路標識Ｉのように距離の値が全体的に或る一定範囲に集中する物体を確実に坂以外の物体として切り分けることができるが、坂以外の物体としては、例えば図６Ａに示すキャリアカーのように、坂に類似する物体も存在するため、坂に類似する物体を判別するための以下の第２判別処理を行う。第２判別処理は、第１判別処理において坂以外ではない（坂である）と判別された縦領域ＶＲについて、さらに第２の坂指標値を求めて行う再判別処理である。
[4-2. Second discrimination process]
Next, the second determination process will be described with reference to FIG.
Depending on the first discrimination processing as described above, an object whose distance value is entirely concentrated in a certain range, such as road sign I, can be reliably identified as an object other than a hill as an object other than a hill. However, as an object other than a hill, there is an object similar to a hill as in the carrier car shown in FIG. 6A, for example, so the following second determination process for determining an object similar to a hill is performed. The second determination process is a re-determination process that is performed by further obtaining a second slope index value for the vertical region VR that is determined to be other than a slope (is a slope) in the first determination process.
図６Ｂは、坂の距離分布（◆によるプロット）とキャリアカーの距離分布（□によるプロット）とを対比して示している。
図６Ｂに示されるように、キャリアカーの距離分布には、比較的大きなピークが生じるのに対し、坂の距離分布にはそのような大きなピークは生じない。これは、坂は画像内の或る範囲内でほぼ一様に傾斜する態様であるのに対し、キャリアカーは画面の或る範囲内にて傾斜部分が一部のみに存在していることに起因する。また、坂は路面と連続して傾斜しているのに対し、キャリアカーは、先行車両として走行中である場合には、その後端部は路面と連続していないことにも起因する。
このような距離分布の差に基づき、坂とキャリアカー（坂以外の物体）との切り分けを行うことができる。具体的には、先の第１判別処理において坂以外ではない（坂である）とみなされた縦領域ＶＲについて、さらにその距離分布の平滑度合いを表す値を第２の坂指標値として算出し、第２の坂指標値に基づき、その縦領域ＶＲの被写体が坂以外であるか否かの再判別を行う。
FIG. 6B shows a slope distance distribution (plotted by ◆) and a carrier car distance distribution (plotted by □) in comparison.
As shown in FIG. 6B, the carrier car distance distribution has a relatively large peak, whereas the slope distance distribution does not have such a large peak. This is because the slope is inclined almost uniformly within a certain range in the image, whereas the carrier car has a part of the inclined portion within a certain range of the screen. to cause. Further, the slope is continuously inclined with respect to the road surface, whereas the carrier car is caused by the rear end portion not being continuous with the road surface when traveling as a preceding vehicle.
Based on such a difference in distance distribution, it is possible to distinguish between a slope and a carrier car (an object other than a slope). Specifically, a value representing the smoothness of the distance distribution is calculated as the second slope index value for the vertical region VR that is regarded as not a slope (is a slope) in the previous first determination process. Based on the second slope index value, it is determined again whether or not the subject in the vertical region VR is other than a slope.
第２の坂指標値の具体的な算出手法については種々考えられるが、本例では、対象とする縦領域ＶＲの距離分布のピークの度数を、第２の坂指標値として用いる。すなわち、対象とする縦領域ＶＲについて、度数が最大となる距離Ｌを検出し、検出したピークの度数を第２の坂指標値とする。 Various specific methods for calculating the second slope index value are conceivable. In this example, the frequency of the peak of the distance distribution of the target vertical region VR is used as the second slope index value. That is, for the target vertical region VR, the distance L with the highest frequency is detected, and the detected peak frequency is set as the second slope index value.
この場合の再判別では、取得した距離分布のピークの度数としての第２の坂指標値が、所定の閾値（「閾値ｔｈ２」とする：第２閾値）以上であるか否かを判別する。該判別により、第２の坂指標値が閾値ｔｈ２以上であるとされた場合には、当該縦領域ＶＲの被写体が坂以外の物体であるとして、当該縦領域ＶＲを物体検出処理の対象領域として選択する。一方、第２の坂指標値が閾値ｔｈ２以上ではないとされた場合は、当該縦領域ＶＲの被写体が坂以外の物体ではない（つまり坂である）として、当該縦領域ＶＲの距離データを削除することで物体検出処理の対象領域から除外する。 In this re-discrimination, it is determined whether or not the second slope index value as the frequency of the acquired distance distribution peak is greater than or equal to a predetermined threshold (“threshold th2”: second threshold). If it is determined that the second slope index value is equal to or greater than the threshold th2, the subject of the vertical region VR is assumed to be an object other than a slope, and the vertical region VR is set as a target region for object detection processing. select. On the other hand, if it is determined that the second slope index value is not equal to or greater than the threshold th2, the subject of the vertical area VR is not an object other than a slope (that is, a slope), and the distance data of the vertical area VR is deleted. By doing so, it is excluded from the target area of the object detection process.
このように坂と、キャリアカーなどの坂に類似する物体とでは、坂の方が距離分布の平滑度合いが高いという特性を利用して、坂と坂以外の物体との切り分けを行うことができる。 In this way, a slope and an object similar to a slope such as a carrier car can be separated from a slope and an object other than the slope by using the characteristic that the slope has a higher degree of smoothness of the distance distribution. .
＜５．物体検出処理について＞
次いで、物体検出処理部３３Ｃが実行する物体検出処理について説明する。
物体検出処理では、上記の第２判別処理によって坂であると判別されて距離データが削除された縦領域ＶＲが処理対象から除外される。
物体検出処理の具体的な処理内容については、従来から行われているものと同様であるため、以下では要点のみを述べる。
先ず、物体検出処理では、例えば縦領域ＶＲ内に存在する距離データから奥行き方向の距離分布を表す距離ヒストグラムを作成し、度数が最大となる位置（対応点）の距離Ｌをその縦領域ＶＲ内に存在する物体の代表距離とする。そして、代表距離が得られた度数最大となる各対応点について、近接する各対応点までの距離や方向などの関係性から、同一物体とみなされる画素範囲をグループ化し、画像内に存在する各物体の範囲を特定する。これにより、画像内に存在する物体が、該物体までの距離Ｌの情報も含めて検出される。
<5. Object detection processing>
Next, the object detection process executed by the object
In the object detection process, the vertical area VR in which the distance data is deleted because it is determined as a slope by the second determination process is excluded from the processing target.
Since the specific processing contents of the object detection processing are the same as those conventionally performed, only the main points will be described below.
First, in the object detection process, for example, a distance histogram representing a distance distribution in the depth direction is created from distance data existing in the vertical region VR, and the distance L of the position (corresponding point) at which the frequency is maximum is set in the vertical region VR. The representative distance of an object existing in Then, for each corresponding point with the maximum frequency for which the representative distance is obtained, pixel ranges that are regarded as the same object are grouped from the relationship such as the distance and direction to each corresponding point adjacent to each other, and each existing in the image Specify the range of the object. Thereby, an object existing in the image is detected including information on the distance L to the object.
＜６．領域選択処理の手順＞
次に、図７のフローチャートを参照して、上記した領域選択処理の手順を説明する。
図７において、ＣＰＵ（画像処理部３３のＣＰＵ、以下に同じ）は、距離画像を画像縦方向に沿った分割線によってＮ個（Ｎは２以上の自然数）の縦領域ＶＲに短冊状に分割する（ステップＳ１０１）。
そして、縦領域識別番号ｎの値を「１」にセットする（ステップＳ１０２）。縦領域識別番号ｎの値は、ステップＳ１０１の短冊化で得られたＮ個の縦領域ＶＲのうち処理対象とする縦領域ＶＲを識別するためにＣＰＵが管理する値である。
<6. Region selection process>
Next, the procedure of the area selection process described above will be described with reference to the flowchart of FIG.
In FIG. 7, the CPU (the CPU of the
Then, the value of the vertical area identification number n is set to “1” (step S102). The value of the vertical area identification number n is a value managed by the CPU in order to identify the vertical area VR to be processed among the N vertical areas VR obtained by shortening the strip in step S101.
次に、ｎ番目の縦領域ＶＲについてその距離Ｌのデータ総数ＪをＸ％ごとに均等に区分する（ステップＳ１０３）。ここで、該均等区分処理で得られた区分の数をＫとする。
さらにＣＰＵは、閾値ｔｈｃ＝Ｊ／Ｋと設定する（ステップＳ１０４）。閾値ｔｈｃは、区分の切れ目を検出するための閾値である。
Next, for the nth vertical region VR, the total number J of data of the distance L is equally divided every X% (step S103). Here, let K be the number of sections obtained by the equal section processing.
Further, the CPU sets a threshold thc = J / K (step S104). The threshold value thc is a threshold value for detecting a break between sections.
次に、区分識別番号ｋ＝０と設定する（ステップＳ１０５）。区分識別番号ｋの値は、ステップＳ１０３の処理で得られたＫ個の区分のうち、処理対象とする区分を識別するためにＣＰＵが管理する値である。 Next, the category identification number k = 0 is set (step S105). The value of the category identification number k is a value managed by the CPU to identify the category to be processed among the K categories obtained in the process of step S103.
続いて、画像下側から順に距離Ｌのデータ数のカウントを開始し（ステップＳ１０６）、カウント値が閾値ｔｈｃ以上となるまで待機する（ステップＳ１０７）。
カウント値が閾値ｔｈｃ以上となった場合は、ｋ番目の区分の代表距離を取得する（ステップＳ１０８）。本例の場合は、ｋ番目の区分としてカウントしたＪ／Ｋ個の距離Ｌの平均値をｋ番目の区分の代表距離の値として算出し取得する。
さらに、区分識別番号ｋの値をインクリメント（ｋ←ｋ＋１）する（ステップＳ１０９）と共に、閾値ｔｈｃの値にＪ／Ｋを加算する（ｔｈｃ←ｔｈｃ＋Ｊ／Ｋ）処理を行う（ステップＳ１１０）。これにより、次の区分の代表距離の取得のための準備が為される。
Subsequently, counting of the number of data of the distance L is started in order from the lower side of the image (step S106), and the process waits until the count value becomes equal to or greater than the threshold thc (step S107).
If the count value is equal to or greater than the threshold thc, the representative distance of the kth section is acquired (step S108). In the case of this example, the average value of the J / K distances L counted as the kth section is calculated and acquired as the representative distance value of the kth section.
Further, the value of the classification identification number k is incremented (k ← k + 1) (step S109), and J / K is added to the value of the threshold thc (thc ← thc + J / K) (step S110). Thereby, preparation for acquisition of the representative distance of the next section is made.
次に、代表距離が重なっている区分の数が閾値ｔｈ１以上であるか否かを判別する（Ｓ１１１）。本例の場合は、代表距離の値が同値で重なっている区分の数を第１の坂指標値として求め、第１の坂指標値が閾値ｔｈ１以上（前述の例では「３」）であるか否かを判別する。 Next, it is determined whether or not the number of sections where the representative distances overlap is greater than or equal to the threshold th1 (S111). In the case of this example, the number of sections with the same representative distance value overlapped is obtained as the first slope index value, and the first slope index value is equal to or greater than the threshold th1 (“3” in the above example). It is determined whether or not.
ステップＳ１１１において、代表距離が重なっている区分の数が閾値ｔｈ１以上であると判別された場合は、ステップＳ１１２に進み、ｎ番目の縦領域ＶＲを物体検出の対象領域として選択する。続いて、ステップＳ１１３において縦領域識別番号ｎの値が縦領域ＶＲの総数Ｎ以上であるか否かを判別する。
ステップＳ１１３において、縦領域識別番号ｎの値がＮ以上であると判別された場合は、対象とするフレーム画像（距離画像）内の全ての縦領域ＶＲについての処理（坂判別）が完了し、領域選択処理を終了する。
If it is determined in step S111 that the number of sections with overlapping representative distances is greater than or equal to the threshold th1, the process proceeds to step S112, and the nth vertical region VR is selected as a target region for object detection. Subsequently, in step S113, it is determined whether or not the value of the vertical area identification number n is equal to or greater than the total number N of vertical areas VR.
When it is determined in step S113 that the value of the vertical region identification number n is N or more, the processing (slope determination) for all the vertical regions VR in the target frame image (distance image) is completed. The area selection process ends.
一方、ステップＳ１１３において、処理対象縦領域識別番号ｎの値がＮ以上ではないと判別された場合は、ステップＳ１１４に進んで縦領域識別番号ｎの値をインクリメント（ｎ←ｎ＋１）した後に、先のステップＳ１０３に戻り、ｎ番目の縦領域ＶＲについての区分処理を実行する。これにより、次の縦領域ＶＲについての坂判別処理が開始される。 On the other hand, if it is determined in step S113 that the value of the processing target vertical area identification number n is not equal to or greater than N, the process proceeds to step S114, and the value of the vertical area identification number n is incremented (n ← n + 1). Returning to step S103, the sorting process for the nth vertical region VR is executed. Thereby, the slope discrimination process for the next vertical region VR is started.
一方で、前述のステップＳ１１１において、代表距離が重なっている区分の数が閾値ｔｈ１以上ではないと判別された場合は、ステップＳ１１５に進み、カウント値がデータ総数Ｊに至ったか否かを判別する。すなわち、対象とするｎ番目の縦領域ＶＲ内における全ての距離Ｌのデータをカウントし終え、全ての区分の代表距離の取得及び代表距離に基づくステップＳ１１１の判別処理が完了したか否かを判別していることに相当する。 On the other hand, if it is determined in step S111 described above that the number of sections with overlapping representative distances is not equal to or greater than the threshold th1, the process proceeds to step S115 to determine whether the count value has reached the total number of data J. . That is, it is determined whether or not the data of all the distances L in the target n-th vertical region VR has been counted, and the determination processing of step S111 based on the acquisition of the representative distances of all the sections and the representative distances is completed. It is equivalent to doing.
ステップＳ１１５において、カウント値がデータ総数Ｊに至っていないと判別された場合は、ステップＳ１０７に戻り、カウント値が閾値ｔｈｃとなるまで待機する。
一方、ステップＳ１１５でカウント値がデータ総数Ｊに至ったと判別された場合、すなわち、代表距離が重なっている区分の数が閾値ｔｈ１以上ではないことが確定した場合は、ｎ番目の縦領域ＶＲの被写体は坂である場合とキャリアカーのような坂と類似した坂以外の物体である場合との双方が考えられる。このため、以下のステップＳ１１６〜Ｓ１１８によって、前述した第２の坂指標値に基づく再判別処理を実行する。
If it is determined in step S115 that the count value has not reached the total number of data J, the process returns to step S107 and waits until the count value reaches the threshold value thc.
On the other hand, if it is determined in step S115 that the count value has reached the total number J of data, that is, if it is determined that the number of sections with overlapping representative distances is not equal to or greater than the threshold th1, the nth vertical region VR Both the case where the subject is a slope and the case where the subject is an object other than a slope similar to a slope like a carrier car can be considered. For this reason, the re-discrimination process based on the second slope index value described above is executed in the following steps S116 to S118.
先ず、ステップＳ１１６において、ｎ番目の縦領域ＶＲの距離分布のピークを検出し、続くステップＳ１１７において、ピークの度数（第２の坂指標値）が閾値ｔｈ２以上であるか否かを判別する。
ステップＳ１１７において、ピークの度数が閾値ｔｈ２以上であると判別された場合は、ステップＳ１１８に進み、ｎ番目の縦領域ＶＲを物体検出の対象範囲として選択した後に、先のステップＳ１１３に処理を進める。すなわち、ピークの度数が閾値ｔｈ２以上である場合は、ｎ番目の縦領域ＶＲの被写体は例えばキャリアカー等の坂以外の物体であるとみなすことができるので、ステップＳ１１３に処理を進めて、ｎ≧Ｎにより残りの縦領域ＶＲが存在するか否かを判別し、存在する場合は次の縦領域ＶＲについての処理を開始（Ｓ１１４以降）して、存在しない場合は領域選択処理を終了する。
First, in step S116, the peak of the distance distribution of the nth vertical region VR is detected, and in the subsequent step S117, it is determined whether or not the peak frequency (second slope index value) is equal to or greater than a threshold th2.
If it is determined in step S117 that the peak frequency is greater than or equal to the threshold th2, the process proceeds to step S118, and after selecting the nth vertical region VR as the object detection target range, the process proceeds to the previous step S113. . That is, when the frequency of the peak is equal to or greater than the threshold th2, the subject in the nth vertical region VR can be regarded as an object other than a hill such as a carrier car, and thus the process proceeds to step S113, and n It is determined whether or not there is a remaining vertical region VR based on ≧ N. If it exists, the processing for the next vertical region VR is started (after S114), and if it does not exist, the region selection processing is ended.
一方、ステップＳ１１７において、ピークの度数が閾値ｔｈ２以上ではないと判別された場合は、ｎ番目の縦領域ＶＲの被写体は坂であるとみなすことができるので、ｎ番目の縦領域ＶＲについては距離データを削除することで物体検出の対象領域に選択せず、ステップＳ１１８に進むことなくステップＳ１１３に進む。
上述のように、ステップＳ１１３でｎ≧Ｎではないと判別された場合は次の縦領域ＶＲについての処理を開始（Ｓ１１４以降）し、ｎ≧Ｎであると判別された場合は領域選択処理を終了する。
On the other hand, if it is determined in step S117 that the frequency of the peak is not equal to or greater than the threshold th2, the subject in the nth vertical region VR can be regarded as a slope, so the distance for the nth vertical region VR is By deleting the data, the object detection target area is not selected, and the process proceeds to step S113 without proceeding to step S118.
As described above, if it is determined in step S113 that n ≧ N is not satisfied, processing for the next vertical region VR is started (after S114), and if it is determined that n ≧ N, region selection processing is performed. finish.
＜７．まとめ＞
上記で説明したように、本実施の形態では、距離画像を複数の縦領域ＶＲに短冊状に分割し、分割した縦領域ＶＲごとに、坂指標値に基づき被写体が坂以外の物体であるか否かの判別を行い、該判別によって坂以外の物体であるとされた縦領域ＶＲを検出対象領域として物体検出処理を実行している。
従って、従来のように坂と坂以外の物体とが纏めてグループ化されたものについて坂の判別が行われることがなく、坂か坂以外の物体であるかの判別をより正確に行うことができ、坂の判別精度の向上が図られる。そしてその結果、車両制御の誤動作を防止できる。
<7. Summary>
As described above, in the present embodiment, the distance image is divided into a plurality of vertical regions VR in a strip shape, and whether the subject is an object other than a hill based on the slope index value for each of the divided vertical regions VR. The object detection process is executed using the vertical region VR determined to be an object other than a slope by the determination as a detection target region.
Therefore, it is possible to more accurately determine whether the object is a hill or an object other than a hill without the determination of a hill for a group in which hills and objects other than the hill are grouped together as in the past. This improves the accuracy of slope discrimination. As a result, malfunction of vehicle control can be prevented.
また、縦領域ＶＲごとに、画像縦方向において同じ距離が密集する度合いを表す指標値を第１の坂指標値として算出し、第１の坂指標値と所定の閾値ｔｈ１との大小関係に基づき、被写体が坂以外の物体であるか否かの判別を行っている。
従って、被写体が確実に坂以外の物体であるとみなすことのできるケースを適正に切り分けることができる。
Further, for each vertical region VR, an index value indicating the degree to which the same distance is dense in the image vertical direction is calculated as the first slope index value, and based on the magnitude relationship between the first slope index value and the predetermined threshold th1. Whether or not the subject is an object other than a hill is determined.
Therefore, it is possible to appropriately separate cases where the subject can be reliably regarded as an object other than a slope.
さらに、縦領域ＶＲごとに、画像下側から順に距離Ｌのデータ数をカウントし、カウントしたＪ／Ｋ個の距離Ｌごとにその代表距離の値を得ると共に、代表距離の値が重なる区分の数を第１の坂指標値として算出し、第１の坂指標値が第１閾値ｔｈ１以上であるか否かを判別している。
これによれば、被写体が坂以外の物体であるか否かの判別は、対象とする縦領域ＶＲ内の全データを参照する前に完了することが可能となり、その分、判別に係る処理負担の軽減及び処理時間の短縮化が図られる。
Further, for each vertical region VR, the number of data of the distance L is counted in order from the lower side of the image, the representative distance value is obtained for each of the counted J / K distances L, and the representative distance values overlap. The number is calculated as the first slope index value, and it is determined whether or not the first slope index value is equal to or greater than the first threshold th1.
According to this, it is possible to complete the determination as to whether or not the subject is an object other than a hill before referring to all the data in the target vertical region VR, and accordingly, the processing burden related to the determination is increased. Can be reduced and the processing time can be shortened.
さらにまた、被写体が坂以外の物体ではないと判別された縦領域ＶＲについて、その距離分布に基づく第２の坂指標値を算出し、第２の坂指標値に基づき、縦領域ＶＲの被写体が坂以外であるか否かの再判別を行っている。
このように、第１判別処理により確実に坂以外の物体であるとみなすことのできる縦領域ＶＲを切り分け、その後に、第２判別処理として残された縦領域ＶＲについて被写体が坂であるか否かの再判別を行うことにより、判別に係る処理負担の軽減を図ることができる。
すなわち、１度の判別処理により被写体が坂か坂以外の物体であるかの判別を行う（キャリアカー等との切り分けも含む）場合には、画像内の個々の縦領域ＶＲにつき実行すべき処理の負担は増大傾向となるが、上記のように判別を二段階に分けて実行すれば、第１段階目の判別の処理負担を軽くすることが可能であり、全体として処理負担の軽減が図られ、処理時間の短縮化も図られる。
Furthermore, a second slope index value based on the distance distribution is calculated for the vertical region VR determined that the subject is not an object other than a slope, and the subject in the vertical region VR is calculated based on the second slope index value. It is redetermined whether it is other than a slope.
In this way, the vertical region VR that can be reliably regarded as an object other than a hill by the first determination process is divided, and then whether or not the subject is a hill in the vertical region VR that is left as the second determination process. By re-determination, it is possible to reduce the processing load related to the discrimination.
That is, when it is determined whether the subject is a hill or an object other than a hill by a single determination process (including separation from a carrier car or the like), a process to be executed for each vertical region VR in the image However, if the discrimination is performed in two stages as described above, the processing burden for the first stage discrimination can be reduced, and the overall processing burden can be reduced. In addition, the processing time can be shortened.
また、第２の坂指標値として、距離分布の平滑度合いを表す値を算出し、その値に基づき被写体が坂以外の物体であるか否かの再判別を行っている。
これによれば、被写体が坂であるか、キャリアカーのような坂と類似した坂以外の物体であるかの切り分けを行うことができる。
In addition, a value representing the degree of smoothness of the distance distribution is calculated as the second slope index value, and it is determined again whether or not the subject is an object other than a slope.
According to this, it is possible to determine whether the subject is a slope or an object other than a slope similar to a slope like a carrier car.
さらに、第２の坂指標値として、距離分布のピークの度数を算出し、第２の坂指標値と所定の閾値ｔｈ２との比較結果に基づき、被写体が坂以外であるか否かの再判別を行っている。
これによれば、被写体が坂であるか、キャリアカーのような坂と類似した坂以外の物体であるかの切り分けを確実に行うことができる。
Further, the frequency of the peak of the distance distribution is calculated as the second slope index value, and it is determined again whether or not the subject is other than the slope based on the comparison result between the second slope index value and the predetermined threshold th2. It is carried out.
According to this, it is possible to reliably determine whether the subject is a slope or an object other than a slope similar to a slope like a carrier car.
＜８．変形例＞
以下に、坂判別の手法の変形例について説明する。
例えば、第１の坂指標値に基づく坂判別については、対象とする縦領域ＶＲ内に存在する距離Ｌについて、その度数分布表（距離ヒストグラムでも良い）を作成し、その結果から第１の坂指標値を得て、被写体が坂以外の物体であるか否かの判別を行うこともできる。
<8. Modification>
Below, the modification of the technique of hill discrimination is demonstrated.
For example, for slope determination based on the first slope index value, a frequency distribution table (may be a distance histogram) is created for the distance L existing in the target vertical region VR, and the first slope is obtained from the result. It is also possible to obtain an index value and determine whether or not the subject is an object other than a slope.
或いは、第１の坂指標値に基づく坂判別の手法としては、以下のような距離Ｌのデータ密度に基づく手法を採ることもできる。
具体的には、先ず、対象とする縦領域ＶＲ内に存在する距離Ｌの最大値（Ｌ_max）と最小値（Ｌ_min）について、それらの差分の絶対値が閾値ｔｈｌより大であることを条件として課す（｜Ｌ_max−Ｌ_min｜＞ｔｈｌ）。該条件を満たさない縦領域ＶＲは、被写体が坂以外の物体であると判別して、物体検出処理の対象領域としては選択しない。
一方、上記条件を満たす場合は、所定の距離区分、例えば、距離０．５ｍ単位で区切った距離区分ごとに、距離Ｌのデータ数をカウントし、データ数が所定の閾値（「閾値ｔｈｄ」と表記）以上となる距離区分を、距離Ｌのデータが存在する距離区分として検出する。
その上で、検出した距離区分の個数が、距離区分の総数に占める割合（％）を、第１の坂指標値として求め、第１の坂指標値が、所定の閾値（「閾値ｔｈ１'」と表記）以上であるか否かを判別し、該判別で肯定結果が得られた場合は被写体が坂以外の物体ではないとし、否定結果が得られた場合は被写体が坂以外の物体であるとする。例えば、閾値ｔｈ１'は７５％に設定されているとする。
Alternatively, as a hill discrimination method based on the first hill index value, the following method based on the data density of the distance L can be adopted.
Specifically, first, on the condition that the absolute value of the difference between the maximum value (L_max) and the minimum value (L_min) of the distance L existing in the target vertical region VR is larger than the threshold value thl. Impose (| L_max−L_min |> thl). The vertical region VR that does not satisfy this condition is determined not to be selected as a target region for object detection processing because it is determined that the subject is an object other than a slope.
On the other hand, if the above condition is satisfied, the number of data of the distance L is counted for each predetermined distance section, for example, the distance section divided by a distance of 0.5 m, and the number of data is set to a predetermined threshold (“threshold thd”). (Notation) The above-described distance section is detected as a distance section in which data of the distance L exists.
Then, the ratio (%) of the number of detected distance sections to the total number of distance sections is obtained as a first slope index value, and the first slope index value is a predetermined threshold (“threshold th1 ′”). If the result is positive, the subject is not an object other than a hill. If the result is negative, the subject is an object other than a hill. And For example, it is assumed that the threshold th1 ′ is set to 75%.
図８Ａは、被写体が坂であった場合における距離区分ごとのデータ（距離Ｌ）の分布例を模式的に表し、図８Ｂは被写体が坂以外の物体であった場合における距離区分ごとのデータの分布例を模式的に表している。
上記の手法によれば、図８Ａのケースでは、第１の坂指標値は５／５で１００％と算出され、閾値ｔｈ１'＝７５％以上であるため、適正に坂以外の物体ではないとの判別結果を得ることができる。
一方、図８Ｂのケースについては、第１の坂指標値は２／５で４０％と算出され、閾値ｔｈ１'未満であるため、適正に坂以外の物体であるとの判別結果を得ることができる。
FIG. 8A schematically shows an example of the distribution of data (distance L) for each distance section when the subject is a slope, and FIG. 8B shows the data for each distance section when the subject is an object other than a slope. A distribution example is schematically shown.
According to the above method, in the case of FIG. 8A, the first slope index value is calculated as 5/5 and 100%, and the threshold th1 ′ = 75% or more. Can be obtained.
On the other hand, in the case of FIG. 8B, the first slope index value is calculated as 2/5 and 40%, and is less than the threshold th1 ′, so that it is possible to appropriately obtain the discrimination result that the object is other than the slope. it can.
また、第２の坂指標値に基づく再判別の手法としては、前述のように距離分布のピークの度数を指標値とする手法以外にも、例えば図９に示すような手法を採ることもできる。
図９において、図９Ａは被写体が坂である縦領域ＶＲについての距離分布の例を示し、図９Ｂは被写体が坂に類似した坂以外の物体である縦領域ＶＲについての距離分布の例を示している。
先ず、対象とする縦領域ＶＲの距離Ｌのデータに基づき、例えば０．５ｍ単位などの所定の距離区分ごとの代表距離の値（例えば平均値）を得る。図９Ａ，図９Ｂにそれぞれ示す黒丸は、距離区分ごとの代表距離を表している。
次に、距離区分ごとの代表距離についての近似直線ａｐを例えば最小二乗法などにより求めた上で、近似直線ａｐに対する距離区分ごとの代表距離の乖離量の合計値を、第２の坂指標値として求める。第２の坂指標値が所定の閾値（「閾値ｔｈ２'」と表記）以上であるか否かを判別し、該判別により肯定結果が得られた場合は被写体が坂以外の物体であるとし、否定結果が得られた場合は被写体が坂以外の物体ではないとする。
Further, as a method of re-discrimination based on the second slope index value, for example, a method as shown in FIG. 9 can be adopted in addition to the method using the frequency of the distance distribution peak as the index value as described above. .
9, FIG. 9A shows an example of a distance distribution for a vertical region VR whose subject is a slope, and FIG. 9B shows an example of a distance distribution for a vertical region VR whose subject is an object other than a slope similar to a slope. ing.
First, based on the data of the distance L of the target vertical region VR, a representative distance value (for example, an average value) for each predetermined distance section such as 0.5 m unit is obtained. The black circles shown in FIGS. 9A and 9B represent the representative distance for each distance section.
Next, after calculating the approximate straight line ap for the representative distance for each distance section by, for example, the least square method, the total value of the divergence amount of the representative distance for each distance section with respect to the approximate straight line ap is obtained as the second slope index value. Asking. It is determined whether or not the second slope index value is equal to or greater than a predetermined threshold (denoted as “threshold th2 ′”), and if the determination gives a positive result, the subject is an object other than a slope, If a negative result is obtained, it is assumed that the subject is not an object other than a slope.
図６Ｂで説明したように、被写体が坂に類似する坂以外の物体である場合には距離分布に比較的大きなピークが生じるので、近似直線ａｐに対する各代表距離の乖離量の合計値は、被写体が坂である場合との比較で大となる。図９Ｂでは両矢印によって、近似直線ａｐからの乖離量が大となっている代表距離を表している。
従って、上記の手法によっても、坂と坂に類似した坂以外の物体とを適正に切り分けることができる。
As described with reference to FIG. 6B, when the subject is an object other than a slope similar to a slope, a relatively large peak occurs in the distance distribution. Therefore, the total value of the divergence amounts of the representative distances from the approximate straight line ap is the subject. Compared to the case where is a slope, it becomes large. In FIG. 9B, the double arrow represents the representative distance where the deviation from the approximate straight line ap is large.
Therefore, even by the above method, it is possible to appropriately separate a slope and an object other than a slope similar to the slope.
１・車両、２・撮像装置、３・車外環境認識装置、３１・インターフェイス（Ｉ／Ｆ）部、３２・バス、３３・画像処理部、３３Ａ・距離画像生成処理部、３３Ｂ・領域選択処理部、３３Ｃ・物体検出処理部
DESCRIPTION OF
Claims (5)
前記距離画像データを画像縦方向に沿った分割線により短冊状に分割して得た個々の領域を縦領域としたときに、該縦領域ごとに、その距離分布に基づいて被写体の坂らしさを表す坂指標値を算出し、該坂指標値に基づき、被写体が坂以外であるとみなされる前記縦領域を選択する領域選択部と、
前記領域選択部が選択した前記縦領域を検出対象領域として、前記距離画像データに基づき、画像内に存在する物体を検出する物体検出処理部と、を備える
画像処理装置。 A corresponding point between a pair of image data captured in stereo is detected by pattern matching, and a distance to the corresponding point in real space is calculated based on a result of calculating a deviation of coordinates between the detected corresponding points as a parallax. A distance image generator for generating distance image data represented on the image;
When each area obtained by dividing the distance image data into strips by dividing lines along the image vertical direction is defined as a vertical area, the slope of the subject is determined for each vertical area based on the distance distribution. A region selection unit that calculates a slope index value that represents, and based on the slope index value, selects the vertical region in which the subject is considered to be other than a slope;
An image processing apparatus comprising: an object detection processing unit configured to detect an object existing in an image based on the distance image data using the vertical region selected by the region selection unit as a detection target region.
前記縦領域ごとに、画像縦方向において同じ距離が密集する度合いを表す指標値を第１の坂指標値として算出すると共に、
前記縦領域ごとに、前記第１の坂指標値と所定の第１閾値との大小関係に基づき、前記被写体が坂以外であるとみなされる縦領域であるか否かの判別を行う
請求項１に記載の画像処理装置。 The region selection unit
For each of the vertical regions, an index value representing the degree to which the same distance is dense in the image vertical direction is calculated as a first slope index value,
2. For each of the vertical regions, it is determined whether or not the subject is a vertical region that is considered to be other than a hill based on a magnitude relationship between the first slope index value and a predetermined first threshold value. An image processing apparatus according to 1.
前記縦領域内に含まれる距離データの総数をＪ、該総数Ｊを均等に分割したときの区分の総数をＫ、前記区分ごとのデータ個数をＪ／Ｋとしたときに、
前記縦領域ごとに、画像下側から順に距離データをカウントし、カウントしたＪ／Ｋ個の距離データごとにその代表距離の値を得ると共に、該代表距離の値が重なる区分の数を前記第１の坂指標値として算出し、該第１の坂指標値が前記第１閾値以上であるか否かを判別する
請求項２に記載の画像処理装置。 The region selection unit
When the total number of distance data included in the vertical region is J, the total number of sections when the total number J is equally divided is K, and the number of data for each section is J / K,
For each of the vertical regions, distance data is counted in order from the lower side of the image, and a representative distance value is obtained for each of the counted J / K distance data, and the number of sections in which the representative distance values are overlapped is determined. The image processing apparatus according to claim 2, wherein the image processing apparatus calculates a first slope index value and determines whether the first slope index value is equal to or greater than the first threshold value.
前記第１の坂指標値と前記第１閾値とに基づく判別の結果、坂以外ではないとみなされた前記縦領域について、さらにその距離分布に基づく第２の坂指標値を算出し、該第２の坂指標値に基づき、該縦領域の被写体が坂以外であるか否かの再判別を行う
請求項２に記載の画像処理装置。 The region selection unit
As a result of the determination based on the first slope index value and the first threshold value, a second slope index value based on the distance distribution is further calculated for the vertical region regarded as not being a slope, and the second slope index value is calculated. The image processing apparatus according to claim 2, wherein redetermining whether the subject in the vertical region is other than a slope is performed based on the slope index value of 2.
前記第２の坂指標値として、前記坂以外ではないとみなされた前記縦領域の距離分布の平滑度合いを表す値を算出する
請求項４に記載の画像処理装置。 The region selection unit
The image processing apparatus according to claim 4, wherein a value representing a smoothness degree of the distance distribution of the vertical region that is regarded as other than the slope is calculated as the second slope index value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012273391A JP6014867B2 (en) | 2012-12-14 | 2012-12-14 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012273391A JP6014867B2 (en) | 2012-12-14 | 2012-12-14 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014119858A true JP2014119858A (en) | 2014-06-30 |
| JP6014867B2 JP6014867B2 (en) | 2016-10-26 |
Family
ID=51174664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012273391A Active JP6014867B2 (en) | 2012-12-14 | 2012-12-14 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6014867B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016002418A1 (en) * | 2014-07-04 | 2016-01-07 | 日立オートモティブシステムズ株式会社 | Information processing device |
| JP2016186702A (en) * | 2015-03-27 | 2016-10-27 | 富士重工業株式会社 | Outside-vehicle environment recognition device |
| JP2018026021A (en) * | 2016-08-11 | 2018-02-15 | 株式会社Ｓｕｂａｒｕ | Vehicle external supervising device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001052171A (en) * | 1999-08-06 | 2001-02-23 | Nissan Motor Co Ltd | Surrounding environment recognizing device |
| JP2008033750A (en) * | 2006-07-31 | 2008-02-14 | Fuji Heavy Ind Ltd | Object inclination detector |
| JP2008065634A (en) * | 2006-09-07 | 2008-03-21 | Fuji Heavy Ind Ltd | Object detection apparatus and object detection method |
| JP2009176091A (en) * | 2008-01-25 | 2009-08-06 | Fuji Heavy Ind Ltd | Object detection apparatus |
| JP2011202982A (en) * | 2010-03-24 | 2011-10-13 | Honda Motor Co Ltd | Object detector |
-
2012
- 2012-12-14 JP JP2012273391A patent/JP6014867B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001052171A (en) * | 1999-08-06 | 2001-02-23 | Nissan Motor Co Ltd | Surrounding environment recognizing device |
| JP2008033750A (en) * | 2006-07-31 | 2008-02-14 | Fuji Heavy Ind Ltd | Object inclination detector |
| JP2008065634A (en) * | 2006-09-07 | 2008-03-21 | Fuji Heavy Ind Ltd | Object detection apparatus and object detection method |
| JP2009176091A (en) * | 2008-01-25 | 2009-08-06 | Fuji Heavy Ind Ltd | Object detection apparatus |
| JP2011202982A (en) * | 2010-03-24 | 2011-10-13 | Honda Motor Co Ltd | Object detector |
Non-Patent Citations (1)
| Title |
|---|
| JPN6016031492; 松井 俊樹: '縦断勾配を持つ路面領域の抽出' ＳＳＩＩ２０１１ 第１７回 画像センシングシンポジウム講演論文集 ［ＣＤ-ＲＯＭ］ , 20110608, Ｐ．ＩＳ３-０１-１〜ＩＳ３-０１-８, 画像センシング技術研究会 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016002418A1 (en) * | 2014-07-04 | 2016-01-07 | 日立オートモティブシステムズ株式会社 | Information processing device |
| JP2016186702A (en) * | 2015-03-27 | 2016-10-27 | 富士重工業株式会社 | Outside-vehicle environment recognition device |
| JP2018026021A (en) * | 2016-08-11 | 2018-02-15 | 株式会社Ｓｕｂａｒｕ | Vehicle external supervising device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6014867B2 (en) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4956452B2 (en) | Vehicle environment recognition device | |
| JP4876080B2 (en) | Environment recognition device | |
| EP3082066B1 (en) | Road surface gradient detection device | |
| JP6013884B2 (en) | Object detection apparatus and object detection method | |
| JP5693994B2 (en) | Vehicle detection device | |
| JP6358160B2 (en) | Traveling road surface detection device and traveling road surface detection method | |
| JP6376429B2 (en) | Target point arrival detection device, target point arrival detection program, mobile device control system, and mobile | |
| JP6156400B2 (en) | Traveling road surface detection device and traveling road surface detection method | |
| KR101551026B1 (en) | Method of tracking vehicle | |
| JP2014138420A (en) | Depth sensing method and system for autonomous vehicle | |
| CN111368607A (en) | Robot, obstacle detection method and detection device | |
| JP2018092604A (en) | Information processing device, imaging device, apparatus control system, movable body, information processing method, and program | |
| JP6810009B2 (en) | Parallax calculator | |
| JP2007264955A (en) | Lane position detector | |
| JP2008262333A (en) | Road surface discrimination device and road surface discrimination method | |
| JP5073700B2 (en) | Object detection device | |
| JP2017021780A (en) | Image processor, imaging device, mobile body equipment control system, image processing method, and image processing program | |
| JP2004108980A (en) | Image processing method | |
| JP6014867B2 (en) | Image processing device | |
| JP4956099B2 (en) | Wall detector | |
| JP6543935B2 (en) | PARALLEL VALUE DERIVING DEVICE, DEVICE CONTROL SYSTEM, MOBILE OBJECT, ROBOT, PARALLEL VALUE DERIVING METHOD, AND PROGRAM | |
| JP6455164B2 (en) | Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program | |
| JP2008027046A (en) | Lane recognition device | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| JP2011232965A (en) | Plane area detection device and stereo camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150918 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160810 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160831 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6014867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |