JP4835201B2 - 3D shape detector - Google Patents
3D shape detector Download PDFInfo
- Publication number
- JP4835201B2 JP4835201B2 JP2006050866A JP2006050866A JP4835201B2 JP 4835201 B2 JP4835201 B2 JP 4835201B2 JP 2006050866 A JP2006050866 A JP 2006050866A JP 2006050866 A JP2006050866 A JP 2006050866A JP 4835201 B2 JP4835201 B2 JP 4835201B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- image
- similarity
- camera
- searched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、車両周辺の障害物検出等に用いることができる画像を用いた立体形状検出装置に関する。 The present invention relates to a three-dimensional shape detection apparatus using an image that can be used for detecting an obstacle around a vehicle.
自動車の周辺状況を把握して運転者に提供することで運転支援を行う各種の運転支援システムの開発が進められている。こうした運転支援システムの一つとしてガードレールや側壁、駐車車両等の障害物を認識して、自車両との接触可能性を評価し、接触可能性があると判定した場合に、運転者に対して報知や回避制御を行うシステムがある(例えば、特許文献1参照)。 Various driving support systems that support driving by grasping the surrounding situation of a car and providing it to a driver are being developed. As one of such driving support systems, when it recognizes obstacles such as guardrails, side walls, parked vehicles, etc., evaluates the possibility of contact with the host vehicle, and determines that there is a possibility of contact, There is a system that performs notification and avoidance control (see, for example, Patent Document 1).
同文献には、CCDカメラや超音波センサにより、車両進路方向における三次元距離分布を把握して道路形状と障害物を把握し、自車両の形状との対比により、接触可能性の判定を行う技術が記載されている。
この技術においては、道路上の障害物、例えば、電柱や駐車車両、対向車両等については、ステレオ視技術によりその3次元情報を求める手法がとられているが、側溝等の路面より下の障害物は超音波センサにより把握している。その理由については詳述されていないが、ステレオ視における空間位置算出は、対応画像中の特徴点の画素位置の対応関係を基にして行うのが一般的であり、特許文献1にも同様の技術が開示されている。しかし、例えば、側溝の場合、底部のエッジが撮影画像中に存在するとは限らないこともあって、エッジ位置自体が溝の上部の路面との境界位置に位置してしまい、路面上の模様(白線等)との識別が難しいという点がある。これらは、側溝に限らず、路面上の段差等においてもあてはまる。 In this technology, for obstacles on the road, such as utility poles, parked vehicles, oncoming vehicles, etc., a technique for obtaining the three-dimensional information by stereo vision technology is used, but obstacles below the road surface such as side grooves An object is grasped by an ultrasonic sensor. Although the reason is not described in detail, the spatial position calculation in the stereo view is generally performed based on the correspondence between the pixel positions of the feature points in the corresponding image. Technology is disclosed. However, for example, in the case of a side groove, the edge of the bottom may not be present in the captured image, and the edge position itself is located at the boundary position with the road surface at the top of the groove, and the pattern on the road surface ( It is difficult to distinguish from white lines. These apply not only to the side grooves but also to steps on the road surface.
そこで本発明は、画像データに基づいて路面段差のような立体物についても形状把握を可能とする立体形状検出装置を提供することを課題とする。 Therefore, an object of the present invention is to provide a three-dimensional shape detection device that can grasp the shape of a three-dimensional object such as a road surface step based on image data.
上記課題を解決するため、本発明にかかる立体形状検出装置は、(1)高さ方向の異なる位置から対となる画像を撮像する撮像手段と、(2)取得した対画像内のそれぞれにおいて左右方向に延びるエッジを抽出するエッジ抽出手段と、(3)対画像内の抽出したエッジにより分割される上側領域と下側領域のそれぞれについて、対応点の探索を行う対応点探索手段と、(4)探索した対応点の類似度を算出する類似度算出手段と、(5)上側領域で探索した対応点の類似度と、下側領域で探索した対応点の類似度との関係に基づいて、当該エッジが撮像手段側から見た下り段差の横エッジであるか否かを推定する形状推定手段と、を備えていることを特徴とする。 In order to solve the above-described problems, a three-dimensional shape detection apparatus according to the present invention includes (1) an imaging unit that captures a pair of images from different positions in the height direction, and (2) left and right in each of the acquired paired images. Edge extraction means for extracting edges extending in the direction; (3) corresponding point search means for searching for corresponding points for each of the upper and lower areas divided by the extracted edges in the image; ) Based on the relationship between the similarity calculation means for calculating the similarity of the corresponding point searched, and (5) the similarity of the corresponding point searched in the upper region and the similarity of the corresponding point searched in the lower region, And shape estimation means for estimating whether or not the edge is a horizontal edge of a downward step as viewed from the imaging means side .
高さ方向に異なる位置から対となる画像を取得することで、立体物について異なる視点からの画像を取得できる。側溝の画像を取得する場合を例に考えると、上側から取得した画像(上側カメラ画像)と、下側から取得した画像(下側カメラ画像)のそれぞれにおいて映り込む側壁部分の範囲は、上側カメラ画像のほうがより深い位置まで達する。言い換えると、側壁画像の撮像装置に近い側の路面との境界エッジの上側の領域は、上側と下側のカメラ画像では異なる範囲を撮像したものとなる。一方、下側の領域は、同じ領域を異なる角度で撮像したものとなる。路面より遠い側の境界エッジについては、上側、下側ともほぼ同一の領域を撮像したものとなる。したがって、上側領域と下側領域の相関度から、側溝等の近い側のエッジであるか否かを判定することができる。 By acquiring a pair of images from different positions in the height direction, it is possible to acquire images from different viewpoints for the three-dimensional object. Considering the case of acquiring the image of the side groove as an example, the range of the side wall portion reflected in each of the image acquired from the upper side (upper camera image) and the image acquired from the lower side (lower camera image) is the upper camera. The image reaches a deeper position. In other words, the upper region of the boundary edge between the side wall image and the road surface close to the imaging device captures a different range between the upper and lower camera images. On the other hand, the lower area is obtained by imaging the same area at different angles. As for the boundary edge farther from the road surface, the same region is imaged on both the upper side and the lower side. Therefore, it can be determined from the degree of correlation between the upper region and the lower region whether the edge is closer to the side groove or the like.
具体的には、形状推定手段は、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上小さい場合に、当該エッジが撮像手段側から見た下り段差の横エッジであると推定し、あるいは、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上大きい場合に、当該エッジが撮像手段側から見た下り段差の横エッジではないと推定するとよい。
Specifically, the shape estimation unit looks at the edge from the imaging unit side when the similarity of the corresponding point searched in the upper region is smaller than a predetermined reference by the similarity of the corresponding point searched in the lower region . If the similarity of the corresponding point searched in the upper area is estimated to be a horizontal edge of the descending step, or if the similarity of the corresponding point searched in the lower area is greater than a predetermined reference, the edge is on the imaging means side It is good to estimate that it is not the horizontal edge of the descending step as seen from .
この撮像手段の高さ方向で異なる位置の間の位置から撮像対象に向けて投光する投光手段をさらに備えているとよい。この投光手段が投光する光は、可視光に限られるものではなく、例えば、撮像手段が赤外線画像を取得可能な場合には、赤外光を投光してもよい。 It is preferable to further include a light projecting unit that projects light toward an imaging target from a position between different positions in the height direction of the image capturing unit. The light projected by the light projecting unit is not limited to visible light. For example, when the imaging unit can acquire an infrared image, infrared light may be projected.
側溝を例にとると、投光手段と対向する側壁の上側には、投光手段からの光が届くが、下側領域(側壁の形状によっては、底部分)は、投光手段からの光は、反対側の側壁のエッジより投光手段側の路面によって遮られて届かず、影になる。投光手段より下側から撮像した場合には、この影部分は映り込まないが、投光手段より上側から撮像した場合には、この影部分が映り込む。つまり、影の存否から立体物を判定できる。 Taking a side groove as an example, the light from the light projecting means reaches the upper side of the side wall facing the light projecting means, but the lower region (the bottom portion depending on the shape of the side wall) is the light from the light projecting means. Is blocked by the road surface on the light projecting means side from the edge of the opposite side wall and does not reach and becomes a shadow. When the image is taken from below the light projecting means, this shadow portion is not reflected, but when the image is taken from above the light projecting means, this shadow portion is reflected. That is, a three-dimensional object can be determined from the presence or absence of a shadow.
本発明にかかる立体形状検出装置によれば、側溝等の路面段差が存在する場合に、エッジ位置だけでなく、エッジの上下の画像相関度を参照することで、段差と平面とを精度よく判定することが可能となる。このとき、上下の撮像手段の間から対象物に投光すると、対象物表面に形成される陰影からさらに精度よく立体形状の判定を行うことができる。 According to the three-dimensional shape detection device according to the present invention, when there is a road surface step such as a side groove, the step and the plane are accurately determined by referring not only to the edge position but also to the image correlation degree above and below the edge. It becomes possible to do. At this time, when the object is projected from between the upper and lower imaging means, the three-dimensional shape can be determined with higher accuracy from the shadow formed on the surface of the object.
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the description, the same reference numerals are given to the same components in the drawings as much as possible, and duplicate descriptions are omitted.
図1は、本発明にかかる立体形状検出装置の第1の実施形態の構成を示すブロック図である。本立体形状検出装置は、車両に搭載され、障害物の検出に用いられるものであり、撮像対象物6の画像を異なる視点から撮像するステレオカメラ3と撮像対象物6を照らす投光手段4と、ステレオカメラ3の出力信号をデジタル変換するA/Dコンバータ2と、画像処理により立体形状検出を行う画像処理手段1を備え、車両挙動制御装置5に推定した形状情報を出力する。
FIG. 1 is a block diagram showing a configuration of a first embodiment of a three-dimensional shape detection apparatus according to the present invention. The three-dimensional shape detection device is mounted on a vehicle and used for detecting an obstacle, and includes a
画像処理手段1は、CPU、ROM、RAM等によって構成されている。以下に説明する画像処理手段1内の各構成要素は、ハードウェア的に区分されていてもよいが、共通のハードウェア上で稼働するソフトウェアによって実現されていてもよい。これらのソフトウェアは別々のプログラム、サブルーチン等によって構成される場合もあるが、一部またはその大部分のルーチンを共有していてもよい。 The image processing means 1 is composed of a CPU, ROM, RAM, and the like. Each component in the image processing means 1 described below may be divided by hardware, but may be realized by software operating on common hardware. These software may be constituted by separate programs, subroutines, etc., but some or most of the routines may be shared.
画像処理手段1は、画像中の対象物の輪郭線を検出して抽出するエッジ抽出手段10と、対応画像中のエッジ間の対応点を探索する対応点探索手段11と、エッジに隣接する所定の領域間での類似度を算出する類似度算出手段12と、これらの情報を基にして撮像対象物6の立体形状を推定する形状推定手段13とを備えている。
The image processing means 1 includes an edge extracting means 10 for detecting and extracting the contour line of the object in the image, a corresponding point searching means 11 for searching for a corresponding point between the edges in the corresponding image, and a predetermined adjacent to the edge. Similarity calculation means 12 for calculating the similarity between these areas, and shape estimation means 13 for estimating the three-dimensional shape of the
車両挙動制御装置5としては、検出した障害物等と、自車両との接触可能性を判定して、警報や回避動作支援を行う装置やレーン内の走行を維持する装置、先行車両に追従して走行する装置等が挙げられる。
The vehicle
図2にステレオカメラ3の配置例を、図3にその構成例を、図4に取得する画像の一例を示す。ステレオカメラ3は、上カメラ30uと下カメラ30dとを上下に配置することで、撮像対象物6を異なる高さ位置から撮像するものであり、上カメラ30uと下カメラ30dで取得した画像は撮像部31に送られ、処理される。各カメラ30u、30dは、広視野角のカメラであり、例えば、円周魚眼レンズや対角魚眼レンズ等を備えているとよい。このステレオカメラ3は、車両8の側面や前方、後方等に配置される。図2では、左側面に配置した例を示している。撮像対象は、車両8周囲の障害物等であって、路面9に沿って設けられた側溝90や縁石91等の画像を取得する。このようなステレオカメラ3で図4(a)に示されるような側溝90の画像を取得した場合、上カメラ30u、下カメラ30dでそれぞれ取得した画像Iu、Idは、図4(b)、図4(c)にそれぞれ示されるようになる(以下、最初に投光手段4を使用していない場合を例に説明する)。側溝90の底部のエッジが両画像でともに確認できる状態にあれば底部位置から側溝90の存在を判定できるが、図4(b)(c)に示されるように、側溝90の上部エッジしか見えない場合には、エッジ部の位置情報からのみでは、間が平面であるのか、立体物であるかを判定できない。
FIG. 2 shows an arrangement example of the
本実施形態の立体形状検出装置は、図4(b)(c)に示されるような取得画像からでも側溝90の存在を検知可能としたものであり、以下にその具体的な動作について説明する。図5は、その処理のメインフローチャートの前半部であり、図6は、その後半部である。この処理は、車両の電源がオンにされてからオフにされるまでの間(画像処理手段のオン/オフスイッチを有する場合には、さらにそのスイッチがオンにされている間に限る。)所定のタイミングで繰り返し実行される。
The three-dimensional shape detection apparatus of the present embodiment can detect the presence of the
まず、ステレオカメラ3で取得し、A/Dコンバータ2でデジタル信号に変換された画像信号を取得する(ステップS1、図4(b)、(c)参照)。次に、エッジ抽出手段10により、横方向のエッジ線を抽出する(ステップS3)。具体的には、図7(a)に示される画像の側溝対応部Pu、Pdの輪郭線部分のエッジ点をSobelフィルタや上下方向差分等の方法で抽出し(図7(b)参照)、その後、抽出したエッジ点列からHough変換や最小自乗法により直線としてのエッジ線Lu1、Lu2、Ld1、Ld2を求める(図7(c)参照)。ここで検出した横エッジ線には番号(インデックス)付けがされる。
First, an image signal acquired by the
次に変数iに初期値0を代入し(ステップS5)、横エッジ直線下側領域について画像間のマッチングを調べる(ステップS7)。具体的には、まず、図8(a)に示されるように、抽出した上カメラ30uの画像Iu中の横エッジ曲線Lu1の直下の小領域(例えば、3×3画素領域)au1,d1について、対応点探索手段11により下カメラ30dの画像Idにおいて対応するエピポーラ極線e1上に位置し、かつ、横エッジ直線Ld1、Ld2直下の小領域ad1,d1、ad2,d1を探索し、類似度算出手段12により、小領域au1,d1とad1,d1およびad2,d1との相関値を求める。この相関値を算出する手法としては、正規化相関法や差分総和などのパターン認識技術を利用すればよい。そして、最も相関値の高い小領域を対応領域候補とする。この対応領域候補の相関値(最大相関値)をSLとする。
Next, an
次に、求めたSLを閾値THsと比較する(ステップS9)。SLがTHs以下の場合には、当該対応領域候補は対応領域には該当しないと判定して、後述するステップS27へと移行する。SLがTHsを超えている場合には、当該対応領域候補を対応領域と判定する。図8(b)の例では、小領域ad1,d1が小領域au1,d1の対応領域となる。対応領域が確認できたらエッジ下側小領域ad1,d1と小領域au1,d1の画像内での位置関係からステレオ視による3次元変換技術により当該領域の3次元位置PLを算出する(ステップS11)。これは三角測量の原理を用いることで実行できる。 Then, the S L obtained is compared with a threshold value THs (step S9). If S L is equal to or lower than THs, it is determined that the corresponding area candidate does not correspond to the corresponding area, and the process proceeds to step S27 described later. If S L exceeds THs, the corresponding area candidate is determined to be a corresponding area. In the example of FIG. 8B, the small areas a d1 and d1 are the corresponding areas of the small areas a u1 and d1 . The 3D conversion technique by Stereo Vision When the corresponding region can be confirmed edge lower subregion a d1, d1 from the positional relationship in the sub-region a u1, d1 image to calculate a three-dimensional position P L of the region ( Step S11). This can be done using the principle of triangulation.
次に、横エッジ直線上側領域について画像間のマッチングを調べる(ステップS13)。処理の内容は、ステップS7と同様であって、図9(a)に示されるように、抽出した上カメラ30uの画像Iu中の横エッジ曲線Lu1の直上の小領域(領域の大きさはステップS7の小領域と同サイズとする。)au1,u1について、対応点探索手段11により下カメラ30dの画像Idにおいて対応するエピポーラ極線e1上に位置し、かつ、横エッジ直線Ld1、Ld2直上の小領域ad1,u1、ad2,u1を探索し、類似度算出手段12により相関値を求める。そして、最も相関値の高い小領域を対応領域候補とする。この対応領域候補の相関値(最大相関値)をSUとする。
Next, the matching between images is examined for the upper region of the horizontal edge straight line (step S13). The contents of the process are the same as in step S7, and as shown in FIG. 9A, the small area (the size of the area is just above the horizontal edge curve L u1 in the extracted image Iu of the
次に、求めたSUを閾値THsと比較する(ステップS15)。SLがTHs以下の場合には、当該対応領域候補は対応領域には該当しないと判定して、後述するステップS19へと移行する。SUがTHsを超えている場合には、当該対応領域候補を対応領域と判定する。図9(b)の例では、小領域ad1,u1が小領域au1,u1の対応領域となる。対応領域が確認できたらエッジ上側小領域ad1,u1と小領域au1,u1の画像内での位置関係から当該領域の3次元位置PUを算出する(ステップS17)。 Then, the S U obtained is compared with a threshold value THs (step S15). If S L is equal to or lower than THs, it is determined that the corresponding area candidate does not correspond to the corresponding area, and the process proceeds to step S19 described later. If the S U is greater than THs determines the corresponding region candidate and the corresponding region. In the example of FIG. 9B, the small areas a d1 and u1 are the corresponding areas of the small areas a u1 and u1 . Corresponding region is calculated three-dimensional position P U of the area and the edge upper subregion a d1, u1 After confirming the positional relationship in the sub-region a u1, u1 image (step S17).
続いて形状推定手段13は、SUとSLの比である相関値比RSを算出し(ステップS19)、求めたRSを閾値THRと比較する(ステップS21)。このTHRは、1より小さいが、1に近い数値、例えば、0.8等に設定されている。立体物の形状によって上カメラ30uで取得した画像Iuと下カメラ30dで取得した画像Id中の対応エッジの直上、直下に映り込む領域が異なる場合がある。領域が異なるとSUとSLが異なる値をとることになり、RSが1からずれる。以下、立体形状の具体例を挙げて説明する。
Subsequently shape
側溝の上端の両エッジEd1、Ed2の双方が両カメラ30u、30dの撮像範囲にある場合を図10、図11に示す。この場合、上カメラ30uの取得した画像Iuと、下カメラ30dの取得した画像Idにおいては、手前エッジEd1の直下に映り込む小領域は、いずれもEd1に隣接する領域ad1であるが、手前エッジEd1の直上に映り込む小領域は、対岸の側溝の壁面であって、Idにおいては、Iuにおける領域au1により上部のau2となる。この結果、上記RSは1より小さくなる。
FIGS. 10 and 11 show a case where both edges E d1 and E d2 at the upper end of the side groove are within the imaging range of both
一方、対岸、つまり、奥側エッジEd1の直上および直下に映り込む領域は、図12、図13に示されるように、画像Iuにおいても、画像Idにおいてもau3とad2の組み合わせで一致する。したがって、この場合の上記RSは1にほぼ等しくなる。 On the other hand, as shown in FIGS. 12 and 13, the area reflected on the opposite bank, that is, immediately above and immediately below the back edge E d1 , is the same in the combination of a u3 and a d2 in both the image Iu and the image Id. To do. Therefore, the RS in this case is approximately equal to 1.
また、対岸のない下り段差の場合は図14、図15に示されるように、エッジEd3の下側に映り込む領域は、画像Iu、Idで一致し、エッジEd3に隣接する領域ad3となる。一方、直上に映り込む領域は、画像Iuでは、au4、画像Idでは、au5となり、画像Iuのほうが、画像Idの場合よりカメラ3に近い領域が映り込む。この結果、この場合の上記RSも1より小さくなる。
Also, as in the case of the other side without the down step shown in FIG. 14, FIG. 15, the region being reflected on the lower side of the edge E d3 is image Iu, consistent with Id, the area a d3 adjacent the edge E d3 It becomes. On the other hand, a region where reflected on the immediately above, the image Iu, a u4, the image Id, becomes a u5, towards the image Iu is, a region close to the
逆に上り段差においては、その手前エッジEd4については、図16、図17に示されるように、その直上および直下に映り込む領域は、au6、ad4で一致し、また、奥側エッジEd5についても、図18、図19に示されるように、その直上および直下に映り込む領域は、au7、ad5で一致する。この場合も上記RSは1にほぼ等しくなる。 On the contrary, in the up step, as shown in FIGS. 16 and 17, for the front edge E d4 , the areas reflected immediately above and immediately below coincide with a u6 and a d4 , and the back edge As for E d5 , as shown in FIGS. 18 and 19, the areas reflected immediately above and directly below are the same in a u7 and a d5 . Again, the RS is approximately equal to 1.
すなわち、RSは、エッジが平面に存在している場合や上り段差のエッジである場合には、1にほぼ等しくなるが、下り段差のエッジ(側溝の手前エッジを含む)である場合には、1より小さくなる。これを利用して、RSを判定することで、下り段差のエッジであるか否かを判定することができる。 That is, RS is approximately equal to 1 when the edge is present on a plane or an edge of an ascending step, but when it is an edge of a descending step (including the front edge of a side groove), Less than 1. By utilizing this, it is possible to determine whether or not it is an edge of a downward step by determining RS.
ステップS21においてRSが閾値THRより小さいと判定した場合には、下り段差のエッジであると判定して、側溝エッジ候補としてマークをつける(ステップS23)。そして、ステップS11で求めた位置情報PLをエッジの位置情報として記録する。一方、RSが閾値THR以上であると判定した場合には、下り段差のエッジではないと判定し、側溝以外のエッジ候補としてマークをつける(ステップS25)。この場合には、ステップS17で求めた位置情報PUをエッジの位置情報として記録する。 When the RS determines that the threshold value TH R is smaller than in step S21, it is determined that an edge of the downstream step, marked as gutter edge candidate (step S23). Then, it records the position information P L obtained in step S11 as the position information of the edge. On the other hand, if the RS is determined to be the threshold value TH R above, and determined not to be the edge of the downstream step, marked as an edge candidate other than gutters (step S25). In this case, it records the position information P U obtained in step S17 as the position information of the edge.
ステップS23、S25終了後は、ステップS27へと移行し、当該横エッジ線Liの全構成点について調べたか否かを判定する。構成点の全てについて判定を終了していない場合には、ステップS7へと戻り、次の構成点についてステップS7〜S25の処理を実行する。これにより、図8(c)、図9(c)に示されるようにエッジLu1の左端から右端までの全構成点の直上領域と直下領域の小領域に対応する領域の検出を行い、下り段差エッジであるか否かと、その位置情報の算出を行う。 After steps S23 and S25 are completed, the process proceeds to step S27, and it is determined whether or not all constituent points of the horizontal edge line Li have been examined. If the determination has not been completed for all of the constituent points, the process returns to step S7, and the processes of steps S7 to S25 are executed for the next constituent point. As a result, as shown in FIGS. 8C and 9C, the areas corresponding to the area immediately above all the constituent points from the left end to the right end of the edge Lu1 and the small areas of the areas immediately below are detected, and the down step Whether or not it is an edge and its position information are calculated.
横エッジ線Liの全構成点についての判定が終了したら、図6に示されるステップS29へと移行し、横エッジ線Liにおいて、側溝エッジ候補としてマークづけした構成点の数Ngと、側溝以外のエッジ候補としてマークづけした構成点の数Ncをそれぞれ数える。図20においては、側溝エッジ候補を黒丸で、側溝以外のエッジ候補を黒三角で示している。画像取得時の条件(明るさや影の状態、カメラとの角度等)によって実際には下り段差のエッジの場合に、RSが1に近いと判定して、側溝エッジ候補でないと判定する場合や、その逆に判定する場合がある。このような誤判定の影響を軽減するために、エッジ全体について側溝エッジ候補の数Ngとそれ以外のエッジ候補の数Ncの比率を調べることで、判定精度の向上を図る。 When the determination is completed for all the constituent points of the horizontal edge line L i, the operation proceeds to step S29 shown in FIG. 6, the horizontal edge line Li, the number Ng of marks correlated with the structures point as gutter edge candidate, except gutter The number Nc of component points marked as edge candidates is counted. In FIG. 20, the side groove edge candidates are indicated by black circles, and the edge candidates other than the side grooves are indicated by black triangles. Depending on the conditions at the time of image acquisition (brightness, shadow state, angle with the camera, etc.) The determination may be reversed. In order to reduce the influence of such an erroneous determination, the accuracy of determination is improved by examining the ratio of the number Ng of side groove edge candidates to the number Nc of other edge candidates for the entire edge.
具体的には、NgとNcの比率と閾値THNとを比較する(ステップS31)。Ng/NcがTHNを上回っている場合には、当該エッジLiを側溝エッジとしてマークづけし(ステップS33)、当該エッジ線の3次元位置・姿勢を導出する(ステップS35)。図20の例では、黒丸が大部分を占める手前側エッジが側溝エッジとしてマークづけされる。このエッジ線を構成する点上、または、そのエッジ点直下や直上の小領域の3次元情報を用いて、Hough変換や最小自乗法等の手法を用いて当該エッジの3次元直線式を導出すればよい。この直線式は、例えば以下の式(1)で表せる。 Specifically, comparing the ratio with a threshold TH N of Ng and Nc (step S31). When Ng / Nc is greater than the TH N is to association marks the edge Li as gutter edge (step S33), and derives the three-dimensional position and orientation of the edge line (step S35). In the example of FIG. 20, the near side edge where black circles occupy most is marked as a gutter edge. Using the three-dimensional information on the points constituting the edge line, or just under or immediately above the edge point, a three-dimensional linear expression of the edge can be derived by using a method such as Hough transform or least square method. That's fine. This linear formula can be expressed by the following formula (1), for example.
なお、x1、y1、z1、a1、b1、c1はいずれも定数である。 Note that x 1 , y 1 , z 1 , a 1 , b 1 , and c 1 are all constants.
一方、Ng/NcがTHN以下の場合には、当該エッジLiを側溝以外エッジとしてマークづけし(ステップS37)、当該エッジ線の3次元位置・姿勢を導出する(ステップS39)。図20の例では、黒三角が大部分を占める奥側エッジが側溝以外エッジとしてマークづけされる。空間位置の算出手法は、上述した側溝エッジの場合と同じ手法を用いればよい。 On the other hand, when Ng / Nc is less than TH N is to association marks the edge Li as an edge other than gutters (step S37), and derives the three-dimensional position and orientation of the edge line (step S39). In the example of FIG. 20, the far side edge in which the black triangle occupies most is marked as an edge other than the side groove. The calculation method of the spatial position may be the same method as in the case of the side groove edge described above.
ステップS35、S39終了後は、ステップS41へと移行し、画像内の全ての横エッジ線について判定を終了したか否かを調べる。終了していない場合には、ステップS43へと移行して、変数iに1を加算し、ステップS7へと戻ることにより、次のエッジ線についての調査を行う。 After steps S35 and S39 are completed, the process proceeds to step S41, and it is checked whether or not the determination has been completed for all the horizontal edge lines in the image. If not completed, the process proceeds to step S43, 1 is added to the variable i, and the process returns to step S7 to investigate the next edge line.
全てのエッジ線について調査が終了したらステップS45へと移行し、画面内に側溝エッジ線が存在するか否かを調べる。側溝エッジ線が存在しない場合には、その後の処理をスキップして処理を終了する。側溝エッジ線が存在する場合には、変数jを初期値0に設定し(ステップS47)、側溝エッジ線Lgi(手前エッジ)に対応する奥側エッジの探索を行う(ステップS49)。具体的には、側溝エッジ線Lgiと並行で、かつ、それより上(奥側)に位置し、かつ、最も近接している横エッジ線Loを探索する。 When the investigation is completed for all the edge lines, the process proceeds to step S45, and it is examined whether or not a side groove edge line exists in the screen. When the side groove edge line does not exist, the subsequent process is skipped and the process is terminated. If there is a side groove edge line, the variable j is set to the initial value 0 (step S47), and the back edge corresponding to the side groove edge line Lgi (front edge) is searched (step S49). Specifically, the horizontal edge line Lo that is parallel to the side groove edge line Lgi and located above (back side) and closest to the side groove edge line Lgi is searched.
例として、側溝エッジ線が上記式(1)で別のエッジ線が下記式(2)で表される場合を考える。(ここで、x2、y2、z2、a2、b2、c2も定数である。
As an example, consider a case where the side groove edge line is expressed by the above formula (1) and another edge line is expressed by the following formula (2). (Where, x 2, y 2, z 2, a 2,
上記の2直線がなす角度θ12は、下記の式(3)で求めることができる。 Angle theta 12 in which the two straight lines forms can be obtained by the following equation (3).
θ12の絶対値が閾値THθより小さいとき(例えば、5°未満)の場合に、2直線はほぼ平行であると判定すればよい。 When the absolute value of theta 12 is smaller than the threshold value TH theta (e.g., less than 5 °) in the case of, may be determined that the two lines are substantially parallel.
横エッジ線Loの探索が成功したか否かを判定し(ステップS51)、成功した、つまり、Loが存在した場合には、ステップS53へと移行してLoを対岸エッジとして、側溝の幅、見掛けの深さ等を算出する。側溝の幅D12は2直線間の距離として算出でき、下記の(4)式によって表すことができる。 It is determined whether or not the search for the horizontal edge line Lo is successful (step S51). If the search is successful, that is, if Lo exists, the process proceeds to step S53, where Lo is the opposite bank edge, the width of the side groove, The apparent depth is calculated. The width of groove D 12 can be calculated as the distance between the two straight lines can be expressed by the following equation (4).
また、車両8と側溝90の位置関係が、図21に示されるような関係である場合に、側溝までの距離dと、側溝の伸長方向と車両8から横向きに伸ばした延長線とのなす角度φは下記の式(5)、(6)で表される。
Further, when the positional relationship between the
一方、Loが存在しない場合には、対岸が撮像領域内に存在しないか、対岸のない単純な下り段差である場合を意味する。この場合は、ステップS55へと移行して、段差または対岸が壁であると判断し、その旨を表す情報を記録する。 On the other hand, when Lo does not exist, it means a case where the opposite bank does not exist in the imaging region or is a simple descending step having no opposite bank. In this case, the process proceeds to step S55, where it is determined that the step or the opposite bank is a wall, and information indicating that is recorded.
ステップS53、S55終了後は、求めた側溝情報を出力する(ステップS57)。そして、全ての側溝エッジ線について対応する横エッジ線の探索を終了したか否かを判定する(ステップS59)。判定が未了の場合には、ステップS61へと移行し、jを1加算して、次の側溝エッジ線について対応横エッジ線の探索処理を行う。一方、判定が終了した場合には、全処理を終了する。 After completion of steps S53 and S55, the obtained side groove information is output (step S57). Then, it is determined whether or not the search for the corresponding horizontal edge line for all the side groove edge lines has been completed (step S59). If the determination is not completed, the process proceeds to step S61, j is incremented by 1, and the corresponding lateral edge line search process is performed for the next gutter edge line. On the other hand, when the determination is finished, the entire process is finished.
以上説明したように、本発明によれば、エッジ抽出によって検出した物体の輪郭位置だけでなく、エッジ直上直下の領域の類似度を判定することで、側溝等の立体物の存在を判定することができる。これにより、側溝を障害物として正しく認識し、車両挙動制御装置5において適切な車両挙動制御(例えば、障害物回避制御等)を行うことができ、安全性がさらに向上する。
As described above, according to the present invention, it is possible to determine the presence of a three-dimensional object such as a gutter by determining not only the contour position of an object detected by edge extraction but also the similarity of the region immediately below the edge. Can do. As a result, the side groove can be correctly recognized as an obstacle, and appropriate vehicle behavior control (for example, obstacle avoidance control) can be performed in the vehicle
さらに、投光手段4を活用することで、検出を容易にすることができる。図22(a)は投光手段4により照明光を被写体に向けて照射した場合の関係図を、図22(b)、(c)はこの場合に取得される上カメラ画像Iuと、下カメラ画像Idを示している。ここで、投光手段4により照射される照明光は、上カメラ30u、下カメラ30dにおいて検出可能であれば赤外光や紫外光など可視光線に限られるものではない。
Furthermore, detection can be facilitated by utilizing the
上カメラ30uと下カメラ30dの間に配置される投光手段4により投影した光の投光エリア40は、図22(a)に示されるようになり、手前エッジEd1に対向する壁面の上側は投光エリア40内に位置するが、下側は、手前エッジEd1の影となる。このため、画像Idにおいて手前エッジEd1の直上に映り込む領域au2は投光エリア40内に位置し、比較的高い輝度値を有するのに対して、画像Iuにおいて手前エッジEd1の直上に映り込む領域au1は投光エリア40の外の影S1内に位置し、比較的低い輝度値を有することになる。そのため、輝度差が大きくなり、その相関値は低いものとなる。これにより、手前エッジの検出が容易になり、側溝等をより精度良く判定することが可能となる。
以上の説明では、上カメラ30uと下カメラ30dの2つのカメラにより上下ステレオ画像を撮像する例を説明したが、ステレオ画像の取得は必ずしも2台のカメラを要するものではない。図23は、1台のカメラで上下ステレオ画像を撮像できるステレオカメラ3aの構成を示す概略図である。このカメラ3aは、CCDやCMOS等の固体撮像素子あるいは撮像管等を備えるカメラ本体34の光学系33の全面に対称構造のレンズ35u、35d、ミラー36u、37u、36d、37dを配置している。レンズ35uとレンズ35dの光軸が平行で、かつ、所定距離(図では50mm程度)離れるよう配置することで、取得した1画面中の上半分が上カメラ画像Iu、下半分が下カメラ画像Idに相当することになる。このようなカメラを用いると、車両8に上下ステレオカメラを設置する際に、上下カメラ間で光軸の調整や配置間隔の調整を行う必要がなく、その設置が容易になるほか、配置精度を高めることができるので、結果的に立体物の認識精度を高めることができる。
In the above description, an example in which the upper and lower stereo images are captured by the
また、以上の説明では、上下ステレオ視の場合を例に説明したが、左右ステレオ視の場合や角度をもって配置されたステレオカメラの場合においても同様の手法により通常のステレオ視処理のみでは判定が困難な立体物形状を判定することが可能である。 Further, in the above description, the case of the top and bottom stereo view has been described as an example. However, even in the case of the left and right stereo view or the stereo camera arranged at an angle, it is difficult to make a determination only by the normal stereo view processing by the same method. It is possible to determine a solid object shape.
次に、本発明にかかる立体形状検出装置の第2の実施形態について説明する。図24は、この第2の実施形態の構成を示すブロック図である。ここでは、上述のステレオカメラ3aを用いた場合を例に説明する。カメラ3aの出力は、A/Dコンバータ2で変換され、画像処理手段1aへと送られる。この画像処理手段1aは、図1に示される第1の実施形態の画像処理手段と同様にCPU、ROM、RAM等によって構成されており、各構成要素はハードウェアまたはソフトウェアによって実現される。
Next, a second embodiment of the three-dimensional shape detection apparatus according to the present invention will be described. FIG. 24 is a block diagram showing the configuration of the second embodiment. Here, a case where the above-described
画像処理手段1aは、画像内の横エッジを抽出するエッジ抽出手段10と、抽出したエッジの3次元位置を検出する第1空間位置検出手段14と、その結果を基にして検出領域の設定を行う検出領域設定手段15と、設定した検出領域の3次元位置を検出する第2空間位置検出手段16と、その検出結果に応じて対象物の立体形状を推定する形状推定手段17とを備えている。
The
画像処理手段1aには、車両の現在位置を検出するとともに、地図DB50に格納された地図情報を読み出すナビゲーション装置51の出力が入力されており、また、第1の実施形態と同様に車両挙動制御装置5に対して、推定した立体形状に関する情報を出力する。
The image processing means 1a receives the output of the
この実施形態の動作である立体物検出処理のフローチャートを図25に示す。まず、ステップS101では、図26(a)に示されるような画像をカメラ3aにより取得する。次に、取得した画像中からエッジ抽出手段10が横方向エッジを抽出する(ステップS103、図26(b)参照)。エッジ抽出処理自体は上述した第1の実施形態におけるステップS3の処理手法と同様の手法を用いればよい。
FIG. 25 shows a flowchart of the three-dimensional object detection process that is the operation of this embodiment. First, in step S101, an image as shown in FIG. 26A is acquired by the
次に、車両位置・姿勢・包囲情報をナビゲーション装置51から取得する(ステップS105)。そして、地図DB50から位置情報を読み込むとともに、車両の走行軌跡、現在車両位置情報の対応づけを行う(ステップS107)。そして、地図DB50から道路構造物の相対位置情報を取得する(ステップS109)。取得した道路構造物の相対位置情報から当該構造物の画像内の位置を予測し、探索範囲を設定する(ステップS111)。
Next, vehicle position / posture / envelopment information is acquired from the navigation device 51 (step S105). Then, the position information is read from the
設定した探索範囲に基づいて対応点探索手段11は、上下画像間でエッジの対応点を探索する(ステップS113、図26(c)参照)。ここで、上下画像においてエッジの対応点は、図26(c)中に符号eで示す同一のエピポーラ極線上に位置する。この関係と、画像内における類似度を利用して対応点を検出する。 Based on the set search range, the corresponding point searching means 11 searches for corresponding points of the edge between the upper and lower images (see step S113, FIG. 26C). Here, in the upper and lower images, the corresponding point of the edge is located on the same epipolar polar line indicated by the symbol e in FIG. Corresponding points are detected using this relationship and the similarity in the image.
対応点を検出したら、第1空間位置検出手段14は、ステレオ視の手法によってその3次元位置を導出する(ステップS115)。検出した横エッジの3次元位置の一例を図27(a)、(b)、図28に示す。図27(a)は斜視図であり、図27(b)はそれを車両前方方向から見た断面図である。また、図28は、図27(b)に対応する図を車両8とともに示す図である。 When the corresponding point is detected, the first spatial position detecting means 14 derives the three-dimensional position by a stereo vision technique (step S115). An example of the detected three-dimensional position of the lateral edge is shown in FIGS. 27 (a), 27 (b), and 28. FIG. Fig.27 (a) is a perspective view, FIG.27 (b) is sectional drawing which looked at it from the vehicle forward direction. FIG. 28 is a diagram showing a diagram corresponding to FIG.
検出領域設定手段15は、3次元位置検出結果を基にして、自車両8が乗っている平面9からの距離が閾値Th1以内の点(エッジ)を抽出する(ステップS117)。図28に示される例では、Ed−c〜Ed−eが相当する。図29は、実際の画像Iu、IdにおけるこれらのエッジEd−c〜Ed−e位置を示している。検出領域設定手段15は、さらに、抽出した平面上に位置するエッジ(それに近い位置に位置するエッジを含む)の間に小領域Riを設定し、第2空間位置検出手段16によりその空間位置を導出する(ステップS119)。例えば、図29、図30に示されるように、下画像Id内のEd−dとEd−e間に小領域aA〜aCを配置する。そして、上画像のEd−dとEd−e間に小領域aA〜aCに対応する領域を探索し、ステレオ視の手法によってそれらの3次元位置を導出する。
Based on the three-dimensional position detection result, the detection region setting means 15 extracts a point (edge) whose distance from the
形状推定手段17は、求めた小領域Riとこれを挟み込むエッジの空間位置関係を判定する(ステップS121)。例えば、図31(a)に示されるように、小領域aA〜aCが奥側エッジEd−dと同じ垂直面上に位置し、平面9から閾値Th2より低い位置にあれば、ステップS123へ移行して側溝と判定する。一方、図31(b)に示されるように、小領域aA〜aCがエッジEd−cとEd−dとほぼ同じ水平面上に位置していれば、ステップS125へ移行して側溝でないと判定する。ステップS123、S125終了後は、ステップS127へと移行し、判定結果を出力する。車両挙動制御装置5は、判定結果に応じて所望の車両挙動制御を実施する。
The shape estimating means 17 determines the spatial positional relationship between the obtained small region Ri and the edge sandwiching the small region Ri (step S121). For example, as shown in FIG. 31 (a), the small region a A ~a C is located in the same vertical plane on the rear side edge Ed-d, if the
このようにエッジのみでなく、エッジに挟まれた小領域について対応をとり、その3次元空間位置を算出することで、例えば、底部の画像を取得できていない側溝のようにエッジからでは、その立体形状を正確に把握することができない立体物についても精度良くその形状を把握することが可能となる。 In this way, not only the edge but also the small region sandwiched between the edges is taken, and by calculating its three-dimensional spatial position, for example, from the edge like the side groove where the bottom image cannot be acquired, It becomes possible to grasp the shape of a three-dimensional object that cannot accurately grasp the three-dimensional shape with high accuracy.
ここでは、車両の乗っている平面上のエッジについて判定を行ったが、それ以外の平面、例えば、図28におけるEd−aとEd−bを含む平面について判定を行ってもよい。また、以上の例では、ステレオカメラ3aを用いた場合について説明してきたが、例えば、時系列画像を用いてモーションベースステレオ手法によって3次元位置検出を行ってもよい。あるいは、レーザスキャナの出力を用いて判定を行ってもよい。
Here, although the determination is made for the edge on the plane on which the vehicle is riding, the determination may be performed for other planes, for example, the plane including Ed-a and Ed-b in FIG. Moreover, although the case where the
また、ここでは、地図DB50やナビゲーション装置51を用いて予め探索される物体(ガードレール等)の位置情報から画像内での位置を予測し、予測結果に基づいて検出を行う例を説明したが、このような物体の位置情報を用いることなく、画像のみから立体物を検出する場合であっても本発明は好適に適用可能である。
In addition, here, an example has been described in which the position in the image is predicted from the position information of an object (such as a guardrail) searched in advance using the
以上の説明では、車両に搭載した場合を例に説明してきたが、本発明にかかる立体形状検出装置は、車載用に限られるものではなく、例えば、ロボット用のカメラや各種の検査機器、監視用カメラ等に用いることができる。 In the above description, the case where it is mounted on a vehicle has been described as an example. However, the three-dimensional shape detection apparatus according to the present invention is not limited to a vehicle-mounted device, for example, a robot camera, various inspection devices, and monitoring. It can be used for cameras.
1、1a…画像処理手段、2…A/Dコンバータ、3、3a…ステレオカメラ、4…投光手段、5…車両挙動制御装置、6…撮像対象物、8…車両、9…平面、10…エッジ抽出手段、11…対応点探索手段、12…類似度算出手段、13…形状推定手段、14…第1空間位置検出手段、15…検出領域設定手段、16…第2空間位置検出手段、17…形状推定手段、30d…下カメラ、30u…上カメラ、31…撮像部、33…光学系、34…カメラ本体、35u、35d…レンズ、36u、36d、37u、37d…ミラー、40…投光エリア、50…地図DB、51…ナビゲーション装置、90…側溝、91…縁石、e1…エピポーラ極線、Ed…エッジ、Id…下カメラ画像、Iu…上カメラ画像。
DESCRIPTION OF
Claims (4)
取得した対画像内のそれぞれにおいて左右方向に延びるエッジを抽出するエッジ抽出手段と、
対画像内の抽出したエッジにより分割される上側領域と下側領域のそれぞれについて、対応点の探索を行う対応点探索手段と、
探索した対応点の類似度を算出する類似度算出手段と、
上側領域で探索した対応点の類似度と、下側領域で探索した対応点の類似度との関係に基づいて、当該エッジが撮像手段側から見た下り段差の横エッジであるか否かを推定する形状推定手段と、
を備えていることを特徴とする立体形状検出装置。 Imaging means for capturing a pair of images from different positions in the height direction;
Edge extraction means for extracting an edge extending in the left-right direction in each of the acquired paired images;
Corresponding point search means for searching for corresponding points for each of the upper region and the lower region divided by the extracted edge in the paired image;
A similarity calculation means for calculating the similarity of the searched corresponding points;
Based on the relationship between the similarity of the corresponding point searched in the upper area and the similarity of the corresponding point searched in the lower area, it is determined whether or not the edge is a horizontal edge of the downward step as viewed from the imaging means side. Shape estimation means for estimation;
A three-dimensional shape detection apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006050866A JP4835201B2 (en) | 2006-02-27 | 2006-02-27 | 3D shape detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006050866A JP4835201B2 (en) | 2006-02-27 | 2006-02-27 | 3D shape detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007232389A JP2007232389A (en) | 2007-09-13 |
JP4835201B2 true JP4835201B2 (en) | 2011-12-14 |
Family
ID=38553133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006050866A Expired - Fee Related JP4835201B2 (en) | 2006-02-27 | 2006-02-27 | 3D shape detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4835201B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5056436B2 (en) * | 2008-01-24 | 2012-10-24 | 株式会社豊田中央研究所 | 3D map generation apparatus and program |
JP5713624B2 (en) * | 2009-11-12 | 2015-05-07 | キヤノン株式会社 | 3D measurement method |
JP5325765B2 (en) * | 2009-12-28 | 2013-10-23 | 日立オートモティブシステムズ株式会社 | Road shoulder detection device and vehicle using road shoulder detection device |
JP5389002B2 (en) * | 2010-12-07 | 2014-01-15 | 日立オートモティブシステムズ株式会社 | Driving environment recognition device |
JP5689534B2 (en) * | 2011-09-29 | 2015-03-25 | 住友重機械工業株式会社 | Overhead crane with object detection device |
JP5929330B2 (en) * | 2012-03-05 | 2016-06-01 | 日産自動車株式会社 | Step detection device |
JP5829980B2 (en) | 2012-06-19 | 2015-12-09 | トヨタ自動車株式会社 | Roadside detection device |
JP5959073B2 (en) | 2014-09-30 | 2016-08-02 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Detection device, detection method, and program |
WO2017056269A1 (en) * | 2015-09-30 | 2017-04-06 | 株式会社小松製作所 | Image data generation method |
JP6865018B2 (en) * | 2016-11-08 | 2021-04-28 | 日産自動車株式会社 | Parking support method and parking support device |
JP7264163B2 (en) * | 2018-06-29 | 2023-04-25 | 富士通株式会社 | Determination method, determination program and information processing device |
CN112236116B (en) * | 2018-07-13 | 2023-07-07 | Whill株式会社 | Electric mobile vehicle |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57141574A (en) * | 1981-02-25 | 1982-09-01 | Fujitsu Ten Ltd | Warning device for travelling obstacle |
JPH095078A (en) * | 1995-06-21 | 1997-01-10 | Nissan Motor Co Ltd | Vehicle peripheral monitor |
JPH09126759A (en) * | 1995-11-06 | 1997-05-16 | Mitsubishi Motors Corp | Range finding method by on-vehicle camera and range finder using the camera |
JPH09287933A (en) * | 1996-04-23 | 1997-11-04 | Mitsubishi Heavy Ind Ltd | Apparatus for measuring state of rutted road surface |
JP3465531B2 (en) * | 1997-05-12 | 2003-11-10 | オムロン株式会社 | Object recognition method and apparatus |
JP3759429B2 (en) * | 2001-05-23 | 2006-03-22 | 株式会社東芝 | Obstacle detection apparatus and method |
-
2006
- 2006-02-27 JP JP2006050866A patent/JP4835201B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007232389A (en) | 2007-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4835201B2 (en) | 3D shape detector | |
US10937181B2 (en) | Information processing apparatus, object recognition apparatus, device control system, movable body, image processing method, and computer-readable recording medium | |
US11093763B2 (en) | Onboard environment recognition device | |
US7899211B2 (en) | Object detecting system and object detecting method | |
US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
JP3822515B2 (en) | Obstacle detection device and method | |
KR101395089B1 (en) | System and method for detecting obstacle applying to vehicle | |
JP5325765B2 (en) | Road shoulder detection device and vehicle using road shoulder detection device | |
KR101740231B1 (en) | Method and apparatus for estimating 3d face position | |
JP5561064B2 (en) | Vehicle object recognition device | |
CN110088802B (en) | Object detection device | |
CN110088801B (en) | Driving region detection device and driving assistance system | |
JP3562751B2 (en) | Forward vehicle detection method and device | |
JP6597792B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
JP3612970B2 (en) | Tunnel detection apparatus and vehicle control apparatus using the same | |
JP4032843B2 (en) | Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system | |
JP3656056B2 (en) | Interrupting vehicle detection device and method | |
JP5539250B2 (en) | Approaching object detection device and approaching object detection method | |
JP2007249257A (en) | Apparatus and method for detecting movable element | |
JP4067340B2 (en) | Object recognition device and object recognition method | |
KR20160088986A (en) | Lane detection method using disparity based on vanishing point | |
JP2008309519A (en) | Object detection device using image processing | |
JP4123138B2 (en) | Vehicle detection method and vehicle detection device | |
JP2011033594A (en) | Distance calculation device for vehicle | |
JP3629935B2 (en) | Speed measurement method for moving body and speed measurement device using the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110830 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110912 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141007 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4835201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141007 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |