JP2017010553A - Detection method and detection device for road boundary body - Google Patents
Detection method and detection device for road boundary body Download PDFInfo
- Publication number
- JP2017010553A JP2017010553A JP2016121582A JP2016121582A JP2017010553A JP 2017010553 A JP2017010553 A JP 2017010553A JP 2016121582 A JP2016121582 A JP 2016121582A JP 2016121582 A JP2016121582 A JP 2016121582A JP 2017010553 A JP2017010553 A JP 2017010553A
- Authority
- JP
- Japan
- Prior art keywords
- point
- road
- parallax
- points
- road boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明はオブジェクト検出分野に関するものであり、より具体的には道路境界物の検出方法及び装置に関するものである。 The present invention relates to the field of object detection, and more specifically to a road boundary object detection method and apparatus.
運転支援システムの応用はますます普及している。道路あるいは車道警告システム（Lane/Road detection warning：LDW/RDW）は運転支援システムのサブシステムであり、衝突を回避し、更に正確に運転方向を決定することができる。道路あるいは車道の検出はLDW/RDWシステムにとって非常に重要であり、例えば警告など、道路情報をさえ知った上で、更なる処理を行うことができる。一般的には道路境界物の検出を通して道路あるいは車道を検出する。 The application of driving support systems is becoming increasingly popular. The road / road detection warning (Lane / Road detection warning: LDW / RDW) is a subsystem of the driving support system, which can avoid collision and determine the driving direction more accurately. Road or roadway detection is very important for LDW / RDW systems and can be further processed with knowledge of road information such as warnings. In general, a road or a roadway is detected through detection of a road boundary.
道路境界物には、車線境界線、縁石、フェンス及びその他道のエリア及び車道を識別できる物体を含み、車線境界線には白線や黄色線を含むこともできる。 Road boundaries include lane boundaries, curbs, fences, and other road areas and objects that can identify roadways, and lane boundaries may include white lines and yellow lines.
従来の方法においては、視差画像を用いて車線境界線の検出を行うことができる。例えば、図1は道路エリアを含む目標情景を例示した視差画像である。しかしながら、ある状況下においては、図1の楕円形フレームで示すように、スパース（sparse）視差画像上の道路境界または道路境界物を表す視差画素点がほとんど無く、よって直接視差画像上で道路検出を行うのは恐らく比較的困難である。しかも、実際の道路状況において、道路は必ずしも常に直線ではなく、様々なカーブや曲がった道もよく見られるが、現在の検出方法のほとんどは直線道路を対象に検出を行うものであるので、図1に示す曲がった道のような非直線道路は通常処理することができない。 In the conventional method, a lane boundary line can be detected using a parallax image. For example, FIG. 1 is a parallax image illustrating a target scene including a road area. However, under certain circumstances, there are few parallax pixel points representing road boundaries or road borders on a sparse parallax image, as shown by the oval frame in FIG. 1, and thus road detection directly on the parallax image. Is probably relatively difficult to do. Moreover, in actual road conditions, the road is not always a straight line, and various curves and curved roads are often seen, but most current detection methods detect straight roads. Non-linear roads such as the curved road shown in 1 cannot usually be processed.
以上の問題を考慮して、正確に道路境界物を検出でき、さらに非直線道路及びその道路境界物を検出できる方法及び装置を提供する。 In view of the above problems, a method and an apparatus capable of accurately detecting a road boundary and further detecting a non-straight road and its road boundary are provided.
本発明の一つの態様では、道路エリアの視差画像及び道路消失点を取得するステップと、道路消失点に基づき前記視差画像中の視差点に対して座標変換を行うステップと、座標変換後の視差点に基づいて道路境界物を検出するステップと、を含む、道路境界物の検出方法を提供する。 In one aspect of the present invention, a step of obtaining a parallax image of a road area and a road vanishing point, a step of performing coordinate transformation on the parallax point in the parallax image based on the road vanishing point, and a view after the coordinate transformation Detecting a road boundary based on the difference point, and providing a road boundary detection method.
一つの実施例では、前記座標変換後の視差点に基づいて道路境界物を検出するステップは、座標変換後の視差点に対応する3次元空間の中で、道路境界物に属する点を検出するステップと、前記座標変換の逆変換により、3次元空間の中で検出された道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得して、前記道路境界物を取得するステップと、を含んでもよい。 In one embodiment, the step of detecting a road boundary based on the coordinate-converted parallax point detects a point belonging to the road boundary in a three-dimensional space corresponding to the coordinate-converted parallax point. Obtaining a point of the road boundary in the parallax image corresponding to a point belonging to the road boundary detected in the three-dimensional space by inverse transformation of the step and the coordinate transformation, and Acquiring.
別の実施例において、前記道路消失点を取得するステップは、前記視差画像の距離情報に基づいて、前記視差画像中の道路エリアを複数のブロックに分割するステップと、各ブロックの道路消失点を取得するステップと、を含んでもよい。 In another embodiment, the step of obtaining the road vanishing point includes the step of dividing the road area in the parallax image into a plurality of blocks based on the distance information of the parallax image, and the road vanishing point of each block. Acquiring.
別の実施例において、前記道路消失点に基づき視差画像中の視差点に対して座標変換を行うステップは、前記複数のブロック中の第一ブロックを除いて他のブロックの消失点を前記第一ブロックの道路消失点に移動させるステップであって、前記第一ブロックは前記複数のブロックのうち、前記視差画像中の距離が最も近いブロックである、ステップと、変換前のブロック中の視差点から変換前の該ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点から変換後の該ブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるように、前記他のブロックの各ブロック中の視差点に対して座標変換を行うことを含んでもよい。 In another embodiment, the step of performing coordinate transformation on the parallax point in the parallax image based on the road vanishing point includes the vanishing points of other blocks except the first block in the plurality of blocks. A step of moving to a road vanishing point of the block, wherein the first block is a block having the closest distance in the parallax image among the plurality of blocks, and a parallax point in the block before conversion The horizontal distance and vertical distance to the road vanishing point in the block before conversion are equal to the horizontal distance and vertical distance from the corresponding disparity point after conversion to the road vanishing point in the block after conversion, respectively. In addition, coordinate conversion may be performed on the parallax points in each of the other blocks.
別の実施例において、前記座標変換後の視差点に対応する3次元空間の中で、道路境界物に属する点を検出するステップは、変換後の視差点と道路消失点との間の相対的位置関係に基づき、3次元空間に分布する変換後の視差点を取得するステップと、3次元空間中の視差点をZ＝dの平面上に投影するステップであって、dはすべての視差点のうち最大の視差値を有する視差点に対応する現実3次元空間距離を表す、ステップと、視差点の投影により、3次元空間中の道路境界物に属する点を検出するステップと、を含んでもよい。 In another embodiment, the step of detecting a point belonging to the road boundary in the three-dimensional space corresponding to the parallax point after the coordinate conversion is performed by comparing the parallax point after the conversion and the road vanishing point. Based on the positional relationship, obtaining a converted parallax point distributed in a three-dimensional space, and projecting the parallax point in the three-dimensional space onto a plane of Z = d, where d is all the parallax points A step of representing a real three-dimensional spatial distance corresponding to the parallax point having the largest parallax value, and a step of detecting a point belonging to a road boundary in the three-dimensional space by projecting the parallax point. Good.
別の実施例において、前記座標変換の逆変換により、3次元空間の中で検出された道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得して、前記道路境界物を取得するステップは、変換後の視差点と道路消失点との間の相対的位置関係に基づき、検出された3次元空間中の道路境界物に属する点に対応する、変換後の視差点を、目標視差点として取得するステップと、前記座標変換の逆変換により、前記目標視差点に対応する、前記視差画像中の変換前の視差点を取得するステップと、前記変換前の視差点に対してフィッティングを行って、前記道路境界物を取得するステップと、を含んでもよい。 In another embodiment, a point of the road boundary in the parallax image corresponding to a point belonging to the road boundary detected in the three-dimensional space is obtained by inverse transformation of the coordinate transformation, and the road The step of acquiring the boundary object is a post-conversion view corresponding to a point belonging to the road boundary object in the detected three-dimensional space based on the relative positional relationship between the converted parallax point and the road vanishing point. Obtaining a difference point as a target parallax point, obtaining a parallax point before conversion in the parallax image corresponding to the target parallax point by inverse transformation of the coordinate transformation, and the parallax point before conversion And fitting the road to obtain the road boundary.
別の実施例において、前記視差点の投影により、3次元空間中の道路境界物に属する点を検出するステップは、前記Z＝dの平面上の投影点のうち投影した視差点の数が最も多い投影点を選択するステップと、選択された投影点上に投影したすべての3次元空間の視差点を、前記3次元空間中の道路境界物に属する点として取得するステップと、を含んでもよい。 In another embodiment, the step of detecting the points belonging to the road boundary in the three-dimensional space by projecting the parallax points is the number of the projected parallax points among the projected points on the Z = d plane. Selecting a large number of projection points; and obtaining all parallax points of the three-dimensional space projected onto the selected projection points as points belonging to road boundaries in the three-dimensional space. .
好ましくは、前記Z＝dの平面上の所定の垂直距離以下の投影点の中で、3次元空間中の道路境界物に属する点を検出してもよい。 Preferably, a point belonging to a road boundary in the three-dimensional space may be detected among the projected points that are not more than a predetermined vertical distance on the Z = d plane.
好ましくは、前記Z＝dの平面上の投影点のうち投影した視差点の数が所定の閾値より大きい投影点を選択するステップと、選択された投影点を用いて直線フィッティングを行い、直線の両端の二つの投影点を取得するステップと、前記二つの投影点に基づいて、道路エリアの境界を決定するステップと、をさらに含んでもよい。 Preferably, among the projected points on the plane of Z = d, a step of selecting a projected point where the number of projected parallax points is greater than a predetermined threshold value, and performing straight line fitting using the selected projected point, The method may further include obtaining two projection points at both ends and determining a boundary of a road area based on the two projection points.
本発明の別の態様では、道路エリアの視差画像及び道路消失点を取得する取得手段と、道路消失点に基づき前記視差画像中の視差点に対して座標変換を行う変換手段と、座標変換後の視差点に基づいて道路境界物を検出する検出手段と、を含む、道路境界物の検出装置を提供する。 In another aspect of the present invention, an acquisition unit that acquires a parallax image of a road area and a road vanishing point, a conversion unit that performs coordinate conversion on the parallax point in the parallax image based on the road vanishing point, and after the coordinate conversion And a detection device for detecting the road boundary based on the parallax points.
本発明によれば、道路消失点に基づき元の視差画像中の視差点に対して座標変換を行い、変換後の視差点に基づき道路境界物を検出できる。これにより、検出待ちの道路が直線道路でなくても、座標変換を通して直線道路の検出に転換することもでき、これにより、当該直線道路の検出結果に対応する、元の視差画像中の道路及びその道路の境界物を取得することができる。よって、本発明の検出対象は直線道路に限ることはない。さらに、視差画像中の全ての視差点を用いて検出を行うので、正確な検出結果を取得できる。 According to the present invention, it is possible to perform coordinate conversion on a parallax point in an original parallax image based on a road vanishing point, and to detect a road boundary based on the parallax point after conversion. As a result, even if the road waiting for detection is not a straight road, it can be converted to detection of a straight road through coordinate conversion, whereby the road in the original parallax image corresponding to the detection result of the straight road and The boundary of the road can be acquired. Therefore, the detection target of the present invention is not limited to a straight road. Furthermore, since detection is performed using all the parallax points in the parallax image, an accurate detection result can be acquired.
当業者が本発明をより良く理解するために、以下は図面及び具体的な実施方式を合わせて本発明について更に詳細な説明を行うものとする。 In order that those skilled in the art may better understand the present invention, the following description will be made in more detail with reference to the drawings and specific implementation methods.
以下の順序で説明を行う。 The description will be given in the following order.
1、発明思想の概要
2、実施例
2.1、道路境界物検出の全体過程
2.2、視差画像の座標変換
2.3、道路境界物の検出
2.4、道路境界物検出装置
2.5、道路境界物検出システム
3、まとめ
＜1、発明思想概要＞
上述のように、スパース（sparse）視差画像上で曲がった道路の検出を行うのは困難である。そのため、本発明は視差画像中の道路消失点を用いて検出を行い、当該現実世界の3次元画像中で同一方向を有する道路及び道路境界物を検出するために、道路消失点に基づいて道路エリアの視差画像をその道路が有する同一方向の現実世界の3次元画像に転換し、さらにバックトレースを通して、検出された現実世界の3次元画像中の道路及び道路境界物に対応する、視差画像中の道路及びその道路境界物を取得する。
1.Outline of inventive concept
2.Example
2.1. Overall process of road boundary detection
2.2, coordinate conversion of parallax images
2.3, detection of road boundary
2.4, road boundary detection device
2.5, road boundary detection system
3. Summary <1. Summary of Invention Thought>
As described above, it is difficult to detect a curved road on a sparse parallax image. Therefore, the present invention performs detection using the road vanishing point in the parallax image, and in order to detect roads and road boundaries having the same direction in the real-world three-dimensional image, the road is based on the road vanishing point. In the parallax image corresponding to roads and road boundaries in the detected real world 3D image by converting the parallax image of the area into a real world 3D image in the same direction that the road has, and through backtrace The road and its road boundary.
本発明によれば、道路消失点を用いて視差画像中の同一方向を有する道路、すなわち直線道路に変換し、同一道路方向を有する3次元世界の中で道路境界物を検出する。これにより、同一方向を有する道路及び道路境界物を正確に検出でき、その後当該変換関係に基づいて、元の視差画像中の道路境界物に逆変換することができる。よって本発明の方法は道路及び道路境界物を正確に検出でき、さらに、本発明の方法は直線道路であろうと曲がった道路であろうと、一般的な道路に適応することができる。 According to the present invention, a road vanishing point is used to convert a road having the same direction in a parallax image, that is, a straight road, and a road boundary is detected in a three-dimensional world having the same road direction. Thereby, it is possible to accurately detect the road and the road boundary having the same direction, and then reversely convert the road boundary in the original parallax image based on the conversion relationship. Thus, the method of the present invention can accurately detect roads and road boundaries, and the method of the present invention can be applied to general roads, whether straight roads or curved roads.
図2は本発明を理解する助けとなる、本発明の応用環境を例示した車載システムの概略図である。本発明の道路境界物の検出方法はその中のチップ（集積回路）中で実現できる。 FIG. 2 is a schematic diagram of an in-vehicle system illustrating an application environment of the present invention, which helps to understand the present invention. The road boundary object detection method of the present invention can be realized in a chip (integrated circuit) therein.
＜2、実施例＞
＜2.1、道路境界物検出の全体過程＞
図3は本発明の実施例に基づく道路境界物検出方法の全体フローチャートである。図3に示すように、この実施例の道路境界物検出方法には、道路エリアの視差画像及び道路消失点を取得するステップS310、道路消失点に基づき当該視差画像中の視差点の座標変換を行うステップS320、及び座標変換後の視差点を基に道路境界物を検出するステップS330を含むことができる。
<2. Examples>
<2.1. Overall process of road boundary detection>
FIG. 3 is an overall flowchart of the road boundary object detection method according to the embodiment of the present invention. As shown in FIG. 3, in the road boundary object detection method of this embodiment, step S310 of acquiring a parallax image of a road area and a road vanishing point, coordinate conversion of the parallax point in the parallax image based on the road vanishing point is performed. Step S320 to be performed, and Step S330 to detect a road boundary based on the parallax point after coordinate conversion can be included.
ステップS310では、カメラの撮影した目標情景の画像から目標情景中に含まれる道路エリアの元の画像を取得することができる。たとえば、両眼カメラを用いてオブジェクトの左右画像を撮影し、かつ左画像及び右画像のうち任意の一つを参考画像として、ステレオ・マッチングアルゴリズムなどを用いて道路エリアの目標情景を含む視差画像を取得する。当然、目標情景の視差画像を取得する方法はこれに限らない。 In step S310, the original image of the road area included in the target scene can be acquired from the target scene image captured by the camera. For example, a parallax image that includes a target scene in a road area using a stereo matching algorithm or the like, using a binocular camera to capture left and right images of an object, and using one of the left and right images as a reference image To get. Of course, the method of acquiring the parallax image of the target scene is not limited to this.
また、当該の元の視差画像中の道路消失点をさらに取得する。理論上、平行の直線は全て無限遠点で消失する。しかしながら、実際の撮影画像では、平行の直線が画像平面上に形成する画像には交点が一つだけあり、それは消失点と呼ばれる。よって、同一方向を有する直線について言えば、その画像中には消失点が一つだけあることになる。 Further, a road vanishing point in the original parallax image is further acquired. Theoretically, all parallel straight lines disappear at infinity. However, in an actual captured image, an image formed by parallel straight lines on the image plane has only one intersection, which is called a vanishing point. Therefore, for a straight line having the same direction, there is only one vanishing point in the image.
消失点の検出は当業者の熟知しているところである。例えば、一般的な消失点検出アルゴリズムは三種類に分類できる。第一類はガウス変換、ハフ変換など、空間変換技術を用いて、画像上の情報を有限の空間上に変換する。第二類は直接直線情報を利用して画像平面上で消失点の検出を行う。第三類は統計推定の方法を用いて、画像上のエッジ特徴点を基に直線パラメータを推定し、これらのパラメータが算出した消失点によって、あるいは消失点及びエッジ特徴点の構造代価関数を用いて、直線及び消失点を同時に推定する。当然、これ以外のその他どんな消失点検出技術も本発明に応用できる。 The detection of vanishing points is familiar to those skilled in the art. For example, general vanishing point detection algorithms can be classified into three types. The first type transforms information on an image into a finite space using spatial transformation techniques such as Gaussian transformation and Hough transformation. The second type detects vanishing points on the image plane using straight line information directly. The third type uses a statistical estimation method to estimate linear parameters based on edge feature points on the image, and uses the vanishing points calculated by these parameters or the structural price function of the vanishing points and edge feature points. Thus, the straight line and vanishing point are estimated simultaneously. Of course, any other vanishing point detection technique can be applied to the present invention.
上述のように、平行直線道路は一つの消失点を有するという基礎を基に、非直線道路、すなわち曲がった道路は、それを幾つもの直線道路のブロックに分けることにより、各直線道路ブロックは一つの消失点に対応しているので、画像中で多くの消失点を取得することができる。よって、本発明の実施例において、ステップS310で道路消失点を取得するために、その取得した道路エリアの視差画像中の距離情報を基に、当該視差画像中の道路エリアを複数のブロックにセグメント化し、各ブロックの消失点を取得することができる。 As described above, on the basis that parallel straight roads have one vanishing point, non-straight roads, that is, curved roads, are divided into several straight road blocks. Since it corresponds to one vanishing point, many vanishing points can be acquired in the image. Therefore, in the embodiment of the present invention, in order to acquire the road vanishing point in step S310, the road area in the parallax image is segmented into a plurality of blocks based on the distance information in the acquired parallax image of the road area. And the vanishing point of each block can be obtained.
図4は視差画像中の道路エリアに行う分割を示す概略図である。当該図に示すように、道路距離を基に平面の距離を撮影し、道路を手前から奥まで複数に分割する。分割する際、視差画像中の代表的な距離情報に基づき、距離平均に従って区分できる。或いはその他のセグメント方式を用いてもよく、ただブロックに区切られた後の各道路が直線に近似するものであればよい。これにより、分割後の各道路には道路消失点が一つだけあることになる。こうして非直線道路に対して、多くの道路消失点を取得することができる。 FIG. 4 is a schematic diagram illustrating division performed on a road area in a parallax image. As shown in the figure, the distance of the plane is photographed based on the road distance, and the road is divided into a plurality from the front to the back. When the image is divided, the image can be classified according to the distance average based on typical distance information in the parallax image. Alternatively, other segment systems may be used as long as each road after being divided into blocks approximates a straight line. As a result, each road after division has only one road vanishing point. In this way, many road vanishing points can be acquired for the non-linear road.
分割の具体的な数について特別な制限はなく、分割の数が多くなれば、後続の検出結果がより正確になるが、同時に計算量も多くなるのは明らかである。よって、実際に応用する際、当業者は状況を見て相応しいセグメント方法を選択できる。 There is no particular limitation on the specific number of divisions, and it is clear that if the number of divisions increases, the subsequent detection result becomes more accurate, but the calculation amount also increases at the same time. Therefore, in actual application, those skilled in the art can select a suitable segment method according to the situation.
図5は視差画像中の道路エリアの複数の道路消失点を示す簡易概略図である。図5に示す道路エリアはカーブであり、当該カーブを手前から奥まで3つのセグメントに分割することで、各セグメントが一つの道路消失点に対応するので、ここから三つの道路消失点P1、P2とP3を得られる。 FIG. 5 is a simplified schematic diagram showing a plurality of road vanishing points in the road area in the parallax image. The road area shown in FIG. 5 is a curve, and by dividing the curve into three segments from the front to the back, each segment corresponds to one road vanishing point. From here, three road vanishing points P1, P2 And get P3.
ステップS310で道路エリアの元の視差画像及び道路消失点を取得した後、ステップS320 で、道路消失点を基に当該の元の視差画像中の視差点の座標変換を行う。視差画像の座標変換を行う目的は、次のような変換後の視差画像を取得することにある。正確に道路及び道路境界物を検出できるように、当該視差画像中で、変換を通して道路エリアを直線道路に近似するもの、すなわち同一の道路方向を有するものとする。 After acquiring the original parallax image and road vanishing point of the road area in step S310, in step S320, coordinate conversion of the parallax point in the original parallax image is performed based on the road vanishing point. The purpose of performing coordinate conversion of a parallax image is to obtain a parallax image after conversion as follows. In the parallax image, it is assumed that the road area is approximated to a straight road through the conversion, that is, has the same road direction so that the road and the road boundary can be accurately detected.
ステップS310で取得したすべての道路消失点を一つの点に移動し、かつ対応して当該の元の画像中のその他のすべての視差点を移動することで、このような視差画像変換を実現できる。本文の少し後の部分でこの変換処理の具体的な実施例を詳細に説明する。ステップS320を通して、同一方向を有する道路の変換後の視差画像を取得する。そのうえ、変換後の視差画像中では、道路が同一方向なので、道路境界物も直線に近似している。 Such parallax image conversion can be realized by moving all the road vanishing points acquired in step S310 to one point and correspondingly moving all other parallax points in the original image. . A specific embodiment of this conversion process will be described in detail later in the text. Through step S320, a converted parallax image of a road having the same direction is acquired. In addition, in the converted parallax image, roads are in the same direction, so road borders also approximate straight lines.
ステップS330で、変換後の視差画像中の視差点を基に道路境界物を検出する。直線に近似する道路境界物に対しての検出は通常、比較的容易かつ正確に行える。例えば、座標変換後の視差点に対応する3次元空間中で道路境界物に属する点の検出、つまり直線の道路境界物を検出し、かつその座標変換の逆変換に基づいて、3次元空間中で検出した道路境界物に属する点に対応する、当該の元の視差画像中の道路境界物の点を取得し、元の視差画像中の道路境界物を取得することができる。 In step S330, a road boundary is detected based on the parallax points in the converted parallax image. Detection of road boundaries that approximate a straight line is usually relatively easy and accurate. For example, detection of a point belonging to a road boundary in a 3D space corresponding to a parallax point after coordinate conversion, that is, detection of a straight road boundary and the inverse transformation of the coordinate conversion, The point of the road boundary in the original parallax image corresponding to the point belonging to the road boundary detected in (1) can be acquired, and the road boundary in the original parallax image can be acquired.
こうして、本発明の実施例の道路境界物の検出方法は、変換後の視差点に基づいて道路境界物を検出するために、道路消失点を基に元の視差画像中の視差点に座標変換を行う。従って、検出する道路が直線道路でなくても、座標変換によって直線道路の検出に転換でき、これによってその直線道路の検出結果に対応する、元の視差画像中の道路及び道路境界物を取得できる。よって本発明の検出対象は直線道路に限らない。そのうえ、視差画像中のすべての視差点を用いて検出を行うので、正確な検出結果を取得できる。 Thus, the road boundary detection method of the embodiment of the present invention performs coordinate conversion to the parallax point in the original parallax image based on the road vanishing point in order to detect the road boundary based on the converted parallax point. I do. Therefore, even if the road to be detected is not a straight road, it can be converted to detection of a straight road by coordinate conversion, thereby obtaining the road and road boundary in the original parallax image corresponding to the detection result of the straight road. . Therefore, the detection target of the present invention is not limited to a straight road. In addition, since detection is performed using all the parallax points in the parallax image, an accurate detection result can be acquired.
＜2.2、視差画像の座標変換＞
以下は図6〜7を参考に視差画像の座標変換の具体的な実施例を説明する。図6は実施例に基づいた視差画像座標変換方法のフローチャートである。上述のように、道路消失点に基づき当該の元の視差画像中の視差点に座標変換を行い、変換後の道路エリアの視差画像を取得する。具体的には、図6に示すように、当該座標変換方法には、複数ブロック中の第一ブロックを除いて他のブロックの消失点をその第一ブロックの道路消失点に移動するが、当該第一ブロックは前記視差画像中で距離が最も近いブロックである、というステップS610、及び変換前の該当ブロック中の視差点から変換前の該当ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点か変換後のそのブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるようにその他のブロックのうちの各ブロック中の視差点の座標変換を行う、というステップS620 を含むことができる。
<2.2, coordinate conversion of parallax image>
Hereinafter, specific examples of the coordinate conversion of parallax images will be described with reference to FIGS. FIG. 6 is a flowchart of the parallax image coordinate conversion method based on the embodiment. As described above, coordinate conversion is performed on the parallax point in the original parallax image based on the road vanishing point, and the parallax image of the road area after conversion is acquired. Specifically, as shown in FIG. 6, the coordinate conversion method moves the vanishing point of other blocks to the road vanishing point of the first block except for the first block in the plurality of blocks. Step S610 that the first block is the closest block in the parallax image, and the horizontal and vertical distances from the parallax point in the corresponding block before conversion to the road vanishing point in the corresponding block before conversion, The coordinate conversion of the disparity point in each of the other blocks is performed so that the horizontal distance and the vertical distance from the corresponding disparity point after conversion to the road vanishing point in the block after conversion are equal to each other. Step S620 can be included.
例えば、やはり図5で示した道路消失点P1(x1,y1)、P2(x2,y2)及びP3(x3,y3)を例にすると、最も距離が近い第一セグメント道路の消失点はP1(x1,y1)である。ステップS610で、消失点P2(x2,y2)及びP3(x3,y3)を第一セグメント道路の消失点P1(x1,y1)に移動する。仮に路面が平面であるとすると、消失点P1、P2及びP3は同じ高さに位置するので、これらのy座標は同等のy1=y2=y3となる。 For example, if the road vanishing points P1 (x 1 , y 1 ), P2 (x 2 , y 2 ) and P3 (x 3 , y 3 ) shown in FIG. 5 are taken as an example, the first segment road with the closest distance The vanishing point of is P1 (x 1 , y 1 ). In step S610, the move to vanishing point P2 (x 2, y 2) and P3 (x 3, y 3) of the vanishing point of the first segment road P1 (x 1, y 1) . If the road surface is a plane, the vanishing points P1, P2 and P3 are located at the same height, so these y coordinates are equivalent to y 1 = y 2 = y 3 .
それに対応して、ステップS620で、消失点P2(x2,y2)の移動に基づいて、消失点P2に対応する道路ブロック（以下第二セグメント道路と称する）中の各視差点P(x,y)の座標変換を行い、変換後の第二セグメント道路中のその視差点P'(x',y')から変換後の消失点P2'(x2',y2')（すなわちP1(x1,y1)）までの水平距離と、変換前のその視差点P(x,y)から変換前の消失点P2(x2,y2)までの水平距離を等しくさせる。垂直距離は変換前後で変わらないので、上述のようにy座標は変化せず、y'=yとなる。 Correspondingly, in step S620, based on the movement of the vanishing point P2 (x 2 , y 2 ), each parallax point P (x in the road block corresponding to the vanishing point P2 (hereinafter referred to as the second segment road) , y), and the converted disparity point P ′ (x ′, y ′) in the converted second segment road is the converted vanishing point P2 ′ (x 2 ′, y 2 ′) (that is, P1 The horizontal distance to (x 1 , y 1 )) is made equal to the horizontal distance from the parallax point P (x, y) before conversion to the vanishing point P2 (x 2 , y 2 ) before conversion. Since the vertical distance does not change before and after conversion, the y coordinate does not change as described above, and y ′ = y.
変換前、視差点P(x,y)から消失点P2(x2,y2)の水平距離DP-P2は以下の公式（1）で表す。
DP-P2=(x2-x)・lz (1)
Before conversion, the horizontal distance D P-P2 from the parallax point P (x, y) to the vanishing point P2 (x 2 , y 2 ) is expressed by the following formula (1).
D P-P2 = (x 2 -x) ・ lz (1)
式中のlzは深度Z方向における各視差点の実際の長さであり、これはカメラにより決定されるものであり、また既知のものである。 In the equation, lz is the actual length of each parallax point in the depth Z direction, which is determined by the camera and is known.
座標変換後の視差点P'(x',y')から変換後の消失点P2'(x2',y2')（すなわちP1(x1,y1)）までの水平距離は以下の公式（2）で表す。
DP'-P2'=(x1-x')・lz (2)
The horizontal distance from the parallax point P ′ (x ′, y ′) after coordinate transformation to the vanishing point P2 ′ (x 2 ′, y 2 ′) after transformation (ie, P1 (x 1 , y 1 )) is Expressed in formula (2).
D P'-P2 ' = (x 1 -x') ・ lz (2)
座標変換後のその水平距離DP'-P2'は変換前の水平距離DP-P2と等しくなければならないので、以下の公式（3）が成り立つ。
(x1-x')・lz=(x2-x)・lz (3)
Since the horizontal distance D P′-P2 ′ after the coordinate conversion must be equal to the horizontal distance D P-P2 before the conversion, the following formula (3) holds.
(x 1 -x ') ・ lz = (x 2 -x) ・ lz (3)
これによって、以下の公式（4）を取得できる。
x'=x1-(x2-x) (4)
As a result, the following formula (4) can be obtained.
x '= x 1- (x 2 -x) (4)
よって第二セグメント道路中の視差点P(x,y)の変換後の視差画像中の視差点座標はP'(x1-(x2-x),y)となる。 Therefore, the parallax point coordinates in the parallax image after the conversion of the parallax point P (x, y) in the second segment road is P ′ (x 1 − (x 2 −x), y).
同様に、第三セグメント道路の対応する消失点P3(x3,y3)の消失点P1(x1,y1)までの移動に基づき、第三セグメント道路中の各視差点の座標変換を行い、変換後の第三セグメント道路中の各視差点から変換後の消失点P3'(x3',y3')（すなわちP1(x1,y1)）までの水平距離と、変換前のその視差点から変換前の消失点P3(x3,y3)までの水平距離を等しくさせる。 Similarly, based on the movement of the corresponding vanishing point P3 (x 3 , y 3 ) of the third segment road to the vanishing point P1 (x 1 , y 1 ), coordinate conversion of each parallax point in the third segment road is performed. The horizontal distance from each disparity point in the converted third segment road to the vanishing point P3 ′ (x 3 ′, y 3 ′) after conversion (that is, P1 (x 1 , y 1 )) and before conversion The horizontal distance from the parallax point to the vanishing point P3 (x 3 , y 3 ) before conversion is made equal.
これによって、当該座標変換方法600に基づいて、道路消失点を基に道路エリアを含む視差画像中の各視差点の座標変換を行い、変換後の視差画像を取得する。 Thereby, based on the coordinate conversion method 600, coordinate conversion of each parallax point in the parallax image including the road area is performed based on the road vanishing point, and the converted parallax image is acquired.
図7は視差画像の座標変換の簡易概略図であり、左図は元の視差画像、右図は変換後の視差画像である。図7に示すように、変換後の視差画像において、第一セグメント道路を除く各セグメントの道路の消失点が第一セグメント道路の消失点に移動する、つまり変換後の各セグメント道路が同じ消失点を有するので、変換後の視差画像において道路エリアは同一道路方向を有するように、すなわち直線道路に変換される。 FIG. 7 is a simplified schematic diagram of coordinate conversion of a parallax image, the left diagram is an original parallax image, and the right diagram is a parallax image after conversion. As shown in FIG. 7, in the converted parallax image, the vanishing point of each segment road except the first segment road moves to the vanishing point of the first segment road, that is, each segment road after conversion has the same vanishing point. Therefore, the road area in the converted parallax image has the same road direction, that is, is converted into a straight road.
注意すべき点として、上述の例では道路が平坦であると仮定しているので、各消失点のy座標は変わらないが、本発明は道路が平坦でない状況にも応用でき、その際は視差画像中の各視差点のy座標に同じ座標変換を行い、変換後の当該視差点から変換後の消失点までの垂直距離と、変換前のその視差点から変換前の消失点までの垂直距離を等しくさせる。当該y座標の変換と上述のx座標の変換は同じ原理なので、ここでは説明しない。 It should be noted that in the above example, it is assumed that the road is flat, so the y coordinate of each vanishing point does not change, but the present invention can also be applied to the situation where the road is not flat, in which case the parallax The same coordinate transformation is performed on the y coordinate of each parallax point in the image, the vertical distance from the parallax point after conversion to the vanishing point after conversion, and the vertical distance from that parallax point before conversion to the vanishing point before conversion Are made equal. Since the conversion of the y coordinate and the conversion of the above x coordinate are the same principle, they will not be described here.
＜2.3、道路境界物の検出＞
変換後の視差画像を取得した後、座標変換後の視差画像中の視差点を基に道路境界物を検出することができる。具体的には、座標変換後の視差点に対応する3次元空間の中で道路境界物に属する点を検出し、かつ前記座標変換の逆変換に基づいて、3次元空間の中で検出した道路境界物に属する点に対応する、元の視差画像中の道路境界物の点を取得することにより、上述の道路境界物を取得できる。以下は、変換後の視差点に対応して3次元空間中で道路境界物を検出する具体的な実施例、及び、3次元空間中で検出した道路境界物の点に基づき元の視差画像中の道路境界物を取得する具体的な実施例を詳細に説明する。
<2.3, Detection of road boundary>
After acquiring the converted parallax image, a road boundary object can be detected based on the parallax points in the parallax image after coordinate conversion. Specifically, the road detected in the three-dimensional space is detected based on the inverse transformation of the coordinate transformation by detecting a point belonging to the road boundary in the three-dimensional space corresponding to the parallax point after the coordinate transformation. By acquiring the points of the road boundary in the original parallax image corresponding to the points belonging to the boundary, the above road boundary can be acquired. The following is a specific example of detecting a road boundary in the three-dimensional space corresponding to the converted parallax point, and the original parallax image based on the points of the road boundary detected in the three-dimensional space. A specific embodiment for obtaining the road boundary will be described in detail.
図8は実施例に基づく、座標変換後の視差点に対応する3次元空間の中で道路境界物を検出する方法を示すフローチャートである。図8に示すように、当該方法には、変換後の視差点と道路消失点との間の相対的位置関係に基づき、3次元空間に分布する変換後の視差点を取得するステップS810、3次元空間中の視差点をZ＝dの平面上に投影するが、式中のdはすべての視差点の中で最大の視差値を有する視差点に対応する現実3次元空間距離を表す、というステップS820、及び視差点の投影に基づき、3次元空間中の道路境界物に属する点を検出することを含むステップS830を含むことができる。 FIG. 8 is a flowchart illustrating a method for detecting a road boundary object in a three-dimensional space corresponding to a parallax point after coordinate conversion based on the embodiment. As shown in FIG. 8, the method includes steps S810, 3 for obtaining converted parallax points distributed in a three-dimensional space based on the relative positional relationship between the converted parallax points and the road vanishing points. Project a parallax point in dimensional space onto a plane with Z = d, where d in the equation represents the real 3D spatial distance corresponding to the parallax point having the largest parallax value among all parallax points Step S820 and step S830 including detecting points belonging to road boundaries in the three-dimensional space based on the projection of the parallax points may be included.
ステップS810で、道路消失点の位置座標は既知であるので、変換後の視差画像中の各視差点と道路消失点間の相対位置関係を基に、3次元空間中の各視差点の分布、すなわち空間位置座標を決定する。 In step S810, since the position coordinates of the road vanishing points are known, the distribution of each parallax point in the three-dimensional space based on the relative positional relationship between each parallax point in the converted parallax image and the road vanishing point, That is, the spatial position coordinates are determined.
例えば、変換後の任意の視差点P'(x',y')について、以下の公式（5）及び（6）を基に消失点P1(x1,y1)の現実世界の水平距離Dxと垂直距離Dyを計算できる。
Dx=(x'-x1)・lz （5）
Dy=(y'-y1)・lz （6）
For example, for an arbitrary parallax point P ′ (x ′, y ′) after conversion, the horizontal distance D in the real world of the vanishing point P1 (x 1 , y 1 ) based on the following formulas (5) and (6) It can be calculated x and the vertical distance D y.
D x = (x'-x 1 ) · lz (5)
D y = (y'-y 1 ) ・ lz (6)
また、各視差点の視差値を基に各視差点の深度情報、すなわちz軸座標を得ることができるので、変換後の視差点と道路消失点の間の相対的位置関係を基に現実世界の3次元空間中の変換後の視差点の分布を取得できる。 Also, since the depth information of each parallax point, that is, the z-axis coordinates can be obtained based on the parallax value of each parallax point, the real world is based on the relative positional relationship between the parallax point after conversion and the road vanishing point. The distribution of the parallax points after conversion in the three-dimensional space can be acquired.
図9は変換後の視差画像から3次元視差点に分布する転換を示す概略図であり、左図は座標変換した同一道路方向を有する視差画像であり、右図は対応する3次元視差画像の平面図である。図9の右図に示すように、現実3次元空間中の座標変換後の道路は直線道路である。 FIG. 9 is a schematic diagram illustrating the transformation from the converted parallax image to the three-dimensional parallax points, the left diagram is a parallax image having the same road direction after coordinate transformation, and the right diagram is a corresponding three-dimensional parallax image. It is a top view. As shown in the right diagram of FIG. 9, the road after the coordinate conversion in the actual three-dimensional space is a straight road.
3次元空間中の変換後の視差点の分布を取得した後、ステップS820で、3次元空間中の視差点をZ＝dの平面上に投影するが、式中のdはすべての視差点の中で最大の視差値を有する視差点に対応する実の3次元空間距離を表す。視差値と距離は反比例の関係にあるので、最大視差値を有する視差点は最も短い平面距離を有する。これによって、すべての視差点を用いて道路境界物の検出を行うことで正確な検出結果を取得するために、可能な限りすべての視差点をZ＝dの平面上に投影することができる。 After obtaining the distribution of the converted parallax points in the three-dimensional space, in step S820, the parallax points in the three-dimensional space are projected on the plane of Z = d, where d in the equation is all of the parallax points. This represents the actual three-dimensional spatial distance corresponding to the parallax point having the maximum parallax value. Since the parallax value and the distance are inversely proportional, the parallax point having the maximum parallax value has the shortest plane distance. Thus, in order to obtain an accurate detection result by detecting road boundaries using all the parallax points, as much as possible all the parallax points can be projected on the plane of Z = d.
図10は3次元空間中の視差点がZ=dの平面に投影することを示す概略図であり、左図は3次元視差分布図の平面図であり、右図は視差点をZ=dの平面上への投影を示す。図10からわかるように、同一車線境界線に属する視差点はZ=dの平面上の同一点に投影するので、Z=dの平面上のすべての投影点のうち、投影する視差点の数が最も多い投影点（すなわち投影図上最も強く光る投影点）が車線境界線と対応している。Z方向に沿って、当該の最も強く光る投影点の、同一道路方向の現実世界の画像中に投影したすべての点を探すことができる。 FIG. 10 is a schematic diagram showing that the parallax points in the three-dimensional space are projected onto the plane of Z = d, the left figure is a plan view of the three-dimensional parallax distribution map, and the right figure shows the parallax points as Z = d Shows the projection onto the plane. As can be seen from FIG. 10, since the parallax points belonging to the same lane boundary line are projected onto the same point on the Z = d plane, the number of parallax points to be projected among all the projected points on the Z = d plane. The projection point with the largest number (that is, the projection point that shines most strongly on the projection map) corresponds to the lane boundary line. Along the Z direction, all the projected points in the real world image of the same road direction of the projection point that is the most shining can be searched.
よってステップS830で、視差点の投影に基づいて、3次元空間中の道路境界物に属する点を検出する。具体的には、上述のZ=dの平面上の投影点のうち投影の視差点が最も多い投影点を選択し、選択した投影点上に投影したすべての3次元空間中の視差点を取得して、前記3次元空間中の道路境界物に属する点とすることができる。 Therefore, in step S830, a point belonging to the road boundary in the three-dimensional space is detected based on the projection of the parallax point. Specifically, the projection point with the largest number of projection parallax points is selected from the projection points on the plane with Z = d described above, and all the parallax points in the three-dimensional space projected on the selected projection point are acquired. Thus, the point can belong to a road boundary in the three-dimensional space.
以上の実施例では、すべての視差点をZ=dの平面上に投影する。しかしながら、通常画像中の道路エリアの高度は一定の垂直距離を超えないため、選択的に、別の実施例では、ノイズ点をフィルタ・アウトし、検出速度および検出の正確性を高めるために、そのZ=dの平面上の所定の垂直距離以下の投影点だけの中から3次元空間中の道路境界物に属する点を検出することもできる。当該所定の垂直距離は当業者が経験や実験に基づき具体的に設定できる。 In the above embodiment, all the parallax points are projected on the plane of Z = d. However, since the altitude of the road area in the normal image does not exceed a certain vertical distance, optionally, in another embodiment, to filter out noise points and increase detection speed and accuracy of detection, It is also possible to detect a point belonging to a road boundary in a three-dimensional space from only projected points that are equal to or less than a predetermined vertical distance on the Z = d plane. The predetermined vertical distance can be specifically set by those skilled in the art based on experience and experiment.
ステップS830で、道路境界物を検出できる以外に、視差点の投影に基づいて3次元空間中の道路境界も検出できる。図10の右図に示すように、すべての投影点のうち、両端の二つの投影点は恐らく道路の境界に対応している。ノイズなどの要素を考慮して、通常はZ=dの平面上の投影点のうち、投影の視差点の数が所定の閾値より大きい投影点を道路エリアの有効な投影点とみなす。当該所定の数は当業者が経験や実験に基づき具体的に設置できる。 In step S830, in addition to detecting the road boundary object, the road boundary in the three-dimensional space can also be detected based on the projection of the parallax points. As shown in the right diagram of FIG. 10, out of all projected points, the two projected points at both ends probably correspond to road boundaries. In consideration of factors such as noise, normally, among the projection points on the plane where Z = d, a projection point in which the number of parallax points of projection is larger than a predetermined threshold is regarded as an effective projection point in the road area. The predetermined number can be specifically set by those skilled in the art based on experience and experiment.
よって、前記Z=dの平面上の投影点中で、投影の視差点の数が所定の閾値より大きい投影点を選択し、選択した投影点を用いて直線のフィッティングを行い、当該Z=dの平面上の道路エリアの断面図とし、当該直線の両端の二つの投影点を取り出し、前記二つの投影点を基に3次元空間中の道路エリアの境界を決定できる。 Therefore, among the projection points on the plane Z = d, a projection point having a number of projection parallax points larger than a predetermined threshold is selected, and a straight line is fitted using the selected projection point, and the Z = d As a cross-sectional view of the road area on the plane, two projection points at both ends of the straight line are extracted, and the boundary of the road area in the three-dimensional space can be determined based on the two projection points.
図11は投影点に基づきフィッティングした道路エリア断面の概略図であり、左図はZ=dの平面上の視差点の投影を表し、右図は視差点の投影を基にフィッティングして得た道路投影を表す。図12は取得した3次元空間中に投影された境界線に属する点に基づく概略図であり、左図は境界線及び道路投影を表し、右図はその境界線と道路投影に対応する3次元空間中の境界線及び道路の平面図である。 FIG. 11 is a schematic diagram of a cross section of a road area fitted based on the projection points, the left figure shows the projection of the parallax points on the Z = d plane, and the right figure is obtained by fitting based on the projection of the parallax points Represents a road projection. Fig. 12 is a schematic diagram based on the points belonging to the boundary line projected in the acquired 3D space, the left figure shows the boundary line and the road projection, the right figure shows the 3D corresponding to the boundary line and the road projection It is a top view of the boundary line in space and a road.
これによって、該方法によれば、座標変換後の視差点に対応する3次元空間中で道路境界物及び/または道路境界に属する点を検出できる。 Thus, according to the method, a road boundary object and / or a point belonging to the road boundary can be detected in the three-dimensional space corresponding to the parallax point after coordinate conversion.
3次元空間中において道路境界物に属する点を取得した後、上述の座標変換の逆変換に基づいて3次元空間中で検出した道路境界物に対応する、元の視差画像中の道路境界物を取得できる。 After acquiring the points belonging to the road boundary in the 3D space, the road boundary in the original parallax image corresponding to the road boundary detected in the 3D space based on the inverse transformation of the coordinate conversion described above is obtained. You can get it.
図13は実施例に基づく、3次元空間中で検出された道路境界物に基づき、元の視差画像中の道路境界物を検出する方法のフローチャートである。図13に示すように、当該方法には、変換後の視差点と道路消失点の間の相対位置関係に基づき、3次元空間中で検出された道路境界物に属する点に対応する、変換後の視差点を取得し、目標視差点とするステップS1310、前記座標変換の逆変換に基づき、前記目標視差点に対応する、前記視差画像中の変換前の視差点を取得するステップS1320、前記変換前の視差点に対してフィッティングを行うことにより、前記道路境界物を取得するステップS1330を含むことができる。 FIG. 13 is a flowchart of a method for detecting a road boundary in the original parallax image based on the road boundary detected in the three-dimensional space based on the embodiment. As shown in FIG. 13, the method includes a post-conversion that corresponds to a point belonging to a road boundary detected in a three-dimensional space based on a relative positional relationship between the converted parallax point and the road vanishing point. Step S1310, obtaining a parallax point before conversion in the parallax image corresponding to the target parallax point based on the inverse transformation of the coordinate transformation, step S1320, Step S1330 may be included to obtain the road boundary by fitting to the previous parallax point.
以上の方法で述べたように、変換後の視差点と道路消失点の間の相対的位置関係に基づき、3次元空間中に分布する変換後の視差点を取得し、同様に、ステップS1310で、変換後の視差点と道路消失点の間の相対的位置関係に基づき、3次元空間中の視差点に対応する、変換後の視差画像（同一道路方向を有する視差画像）中の視差点の位置座標を取得できる。 As described in the above method, the converted parallax points distributed in the three-dimensional space are acquired based on the relative positional relationship between the converted parallax points and the road vanishing points. Similarly, in step S1310, Based on the relative positional relationship between the converted parallax point and the road vanishing point, the parallax point in the converted parallax image (parallax image having the same road direction) corresponding to the parallax point in the three-dimensional space The position coordinates can be acquired.
つまり、3次元空間中で検出した距離z0に位置する道路境界物に属する点P"(x",y")から道路消失点P1"(x1",y1")までの水平距離及び垂直距離は、当該変換後の視差画像中でその点P"(x",y")に対応する視差点P'(x',y')から道路消失点P1'(x1',y1')までの水平距離及び垂直距離に等しい。 That is, the horizontal distance and the vertical distance from the point P "(x", y ") belonging to the road boundary located at the distance z0 detected in the three-dimensional space to the road vanishing point P1" (x 1 ", y 1 ") The distance is calculated from the disparity point P ′ (x ′, y ′) corresponding to the point P ″ (x ″, y ′) in the converted disparity image to the road vanishing point P1 ′ (x 1 ′, y 1 ′). Equal to the horizontal and vertical distance to
3次元空間中の点P"(x",y")から道路消失点P1"(x1",y1")までの水平距離がDx"であり、垂直距離が0であることが既知である場合、以下の公式（7）及び（8）が得られる。
Dx"=(x'-x1')・lz (7)
O=(y'-y1')・lz (8)
It is known that the horizontal distance from the point P "(x", y ") in the three-dimensional space to the road vanishing point P1" (x 1 ", y 1 ") is D x "and the vertical distance is 0 The following formulas (7) and (8) are obtained.
D x "= (x'-x 1 ') ・ lz (7)
O = (y'-y 1 ') ・ lz (8)
式中のlzは深度Z方向における各視差点の実際の長さであり、これはカメラにより決定されるものであり、また既知であるのは上述した通りである。 In the equation, lz is the actual length of each parallax point in the depth Z direction, which is determined by the camera, and is known as described above.
これによって、以下の公式（9）及び（10）が得られる。
x'=x1'+Dx"/lz (9)
y'=y1' (10)
This gives the following formulas (9) and (10).
x '= x 1 ' + D x "/ lz (9)
y '= y 1 ' (10)
よってz0にある視差点P'の座標P'(x1'+Dx"/lz,y1')を取得する。この方式によって、その3次元空間中の道路境界物に属するすべての点に対応する、同一道路方向を有する視差画像中の視差点の座標を取得できる。 Therefore, the coordinates P ′ (x 1 ′ + D x ″ / lz, y 1 ′) of the parallax point P ′ at z0 are obtained. By this method, all points belonging to the road boundary in the three-dimensional space are obtained. Corresponding coordinates of parallax points in parallax images having the same road direction can be acquired.
よってステップS1310で、変換後の視差点と道路消失点の間の相対位置関係に基づいて、検出された3次元空間中の道路境界物の点に対応する、変換後の視差点を取得し、目標視差点とすることができる。その後、ステップS1320で、上述の座標変換の逆変換に基づいて、目標視差点に対応する、元の視差画像の変換前の視差点を取得することができる。 Therefore, in step S1310, based on the relative positional relationship between the converted parallax point and the road vanishing point, obtain the converted parallax point corresponding to the detected road boundary point in the three-dimensional space, It can be a target parallax point. Thereafter, in step S1320, a parallax point before conversion of the original parallax image corresponding to the target parallax point can be acquired based on the inverse transformation of the coordinate transformation described above.
以上の方法で述べたように、道路消失点を基に元の視差画像の座標変換を行う際、複数の道路ブロック中の第一ブロックを除いてその他のブロックの消失点を第一ブロックの道路消失点に移動し、変換前の当該ブロック中の視差点から変換前の当該ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点から変換後の当該ブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるようにその他のブロック中の各ブロック中の視差点の座標変換を行う。 As described in the above method, when the coordinate conversion of the original parallax image is performed based on the road vanishing point, the vanishing points of the other blocks except for the first block in the plurality of road blocks are used as the road of the first block. Move to the vanishing point, the horizontal and vertical distance from the disparity point in the block before conversion to the road vanishing point in the block before conversion, and the corresponding disparity point after conversion in the block after conversion The coordinate conversion of the parallax points in each of the other blocks is performed so that the horizontal distance and the vertical distance to the road vanishing point are equal to each other.
それに対応して、ステップS1320で、その座標変換の逆変換により、目標視差点に対応する元の視差画像中の変換前の視差点を取得できる。具体的には、同一道路方向を有する視差画像中の同一道路の消失点P（第一セグメント道路の消失点P1）を図7に示すような第二道路消失点P2及び第三道路消失点P3へそれぞれ移動させ、対応して、第二道路消失点に対応する道路ブロックに対し、当該道路ブロック中の各視差点の座標変換を行い、再度座標変換を経た視差点（すなわち元の視差画像中の視差点）から変換後の当該ブロックの道路消失点までの水平距離及び垂直距離と、再度変換前の当該ブロック中の視差点（同一道路方向を有する視差画像中の視差点）から再度変換前のそのブロック中の道路消失点（同一道路方向を有する視差画像中の同一道路消失点）までの水平距離及び垂直距離とをそれぞれ等しくさせることができる。 Correspondingly, in step S1320, the pre-conversion parallax point in the original parallax image corresponding to the target parallax point can be acquired by inverse transformation of the coordinate transformation. Specifically, the vanishing point P of the same road in the parallax images having the same road direction (the vanishing point P1 of the first segment road) is the second road vanishing point P2 and the third road vanishing point P3 as shown in FIG. Corresponding to the second road vanishing point, coordinate conversion of each parallax point in the road block is performed, and parallax points that have undergone coordinate conversion again (that is, in the original parallax image) Before the conversion from the disparity point in the block before the conversion (disparity point in the disparity image having the same road direction) before the conversion again. The horizontal distance and the vertical distance to the road vanishing point in the block (the same road vanishing point in the parallax image having the same road direction) can be made equal.
例を挙げると、同一道路方向を有する視差画像中の距離z0に位置する視差点P'(x',y')については、その同一道路方向を有する視差画像中の道路消失点P1'(x1',y1')の水平及び垂直距離は、当該点P'(x',y')に対応する元の視差画像中の視差点P(x,y)からその元の視差画像中の視差点P0(x0,y0)の水平および垂直距離とをそれぞれ等しくしてもよい。先に述べたようにz軸の距離に基づいて道路エリアを分割し、各ブロックは一つの道路消失点P1、P2あるいはP3に対応するので、視差点P'(x',y')の距離z0に基づいてその視差点P'(x',y')がある道路ブロックに対応する元の視差画像中の視差点を決定できる。つまり、z0を決める、当該点P'(x',y')に対応する元の視差画像中の道路消失点P0(x0,y0)はP1(x1,y1)、P2(x2,y2)とP3(x3,y3)のうちの一つでよい。 For example, for the parallax point P ′ (x ′, y ′) located at the distance z0 in the parallax image having the same road direction, the road vanishing point P 1 ′ ( The horizontal and vertical distances of x 1 ′, y 1 ′) are determined from the parallax point P (x, y) in the original parallax image corresponding to the point P ′ (x ′, y ′) in the original parallax image. The horizontal and vertical distances of the parallax points P 0 (x 0 , y 0 ) may be equal to each other. As described above, the road area is divided based on the z-axis distance, and each block corresponds to one road vanishing point P1, P2 or P3, so the distance of the parallax point P ′ (x ′, y ′) Based on z0, the parallax point in the original parallax image corresponding to the road block with the parallax point P ′ (x ′, y ′) can be determined. That is, the road vanishing point P 0 (x 0 , y 0 ) in the original parallax image corresponding to the point P ′ (x ′, y ′) that determines z0 is P1 (x 1 , y 1 ), P2 ( x 2 , y 2 ) and P3 (x 3 , y 3 ).
道路はやはり平坦であると仮定すると、視差点y座標は変わらない。よって、以下の公式（11）及び（12）が得られる。
x=x'-x1'+x0 （11)
y=y' (12)
Assuming that the road is still flat, the parallax point y coordinate does not change. Therefore, the following formulas (11) and (12) are obtained.
x = x'-x 1 '+ x 0 (11)
y = y '(12)
これによって、目標視差点P'(x',y')に対応する変換前の視差点Pの位置座標P(x'-x1'+x0,y')を取得できる。よって、元の視差画像中で目標視差点に対応するすべての変換前視差点を見つけ、かつステップS1330で変換前視差点全てに対してフィッティングを行うことにより、前記道路境界物を取得できる。ここでは最小二乗法など、任意の曲線フィッティング方法を用いることができる。 Thereby, the position coordinates P (x′−x 1 ′ + x 0 , y ′) of the parallax point P before conversion corresponding to the target parallax point P ′ (x ′, y ′) can be acquired. Therefore, the road boundary object can be acquired by finding all the pre-conversion parallax points corresponding to the target parallax point in the original parallax image and fitting all the pre-conversion parallax points in step S1330. Here, an arbitrary curve fitting method such as a least square method can be used.
図14は同一道路方向を有する視差画像中の目標視差点に基づき元の視差画像中の道路境界物を取得することを示す概略図であり、左図は同一道路方向を有する視差画像を表し、右図は取得した元の視差画像の道路境界物を表す。 FIG. 14 is a schematic diagram illustrating obtaining a road boundary in the original parallax image based on a target parallax point in the parallax image having the same road direction, and the left diagram represents the parallax image having the same road direction; The right figure shows the road boundary of the acquired original parallax image.
上述のステップS830で述べたように、道路境界物を検出できること以外に、視差点の投影に基づいて、3次元空間中の道路境界も検出できる。それに対応して、ステップS1310で、3次元空間中の道路境界に対応する、同一道路方向を有する視差画像中の視差点を取得し、さらにステップS1320で、同様に座標変換の逆変換に基づいて、これら視差点に対応する、元の視差画像中の視差点を取得し、さらにステップS1330で、取得した元の視差画像中の視差点に基づきフィッティングを行い、それにより元の視差画像中の道路境界曲線を取得することができる。 As described above in step S830, in addition to detecting a road boundary object, a road boundary in a three-dimensional space can also be detected based on the projection of parallax points. Correspondingly, in step S1310, a parallax point in the parallax image having the same road direction corresponding to the road boundary in the three-dimensional space is acquired, and in step S1320, similarly, based on the inverse transformation of the coordinate transformation. Then, the parallax points in the original parallax image corresponding to these parallax points are acquired, and in step S1330, fitting is performed based on the parallax points in the acquired original parallax image, and thereby the roads in the original parallax image A boundary curve can be obtained.
よって、上記方法によれば、3次元空間中で検出した道路境界物を基に元の視差画像中の道路境界物を検出できる。 Therefore, according to the above method, the road boundary in the original parallax image can be detected based on the road boundary detected in the three-dimensional space.
従って上述の道路境界物の検出方法を、ステップS320及びステップS330中で応用することができる。これにより、本発明の道路境界物検出方法は、道路消失点に基づいて元の視差画像中の視差点の座標変換を行い、変換後の視差点を基に道路境界物を検出できる。これにより、検出待ちの道路が直線道路でなくても、当該直線道路の検出結果に対応する、元の視差画像中の道路及び道路境界物を取得するために、座標変換によって直線道路の検出に転換することができる。よって、本発明の検出対象は直線道路に限ることがない。そのうえ視差画像中の視差点すべてを用いて検出を行うので、正確な検出結果を取得できる。 Therefore, the road boundary detection method described above can be applied in step S320 and step S330. Thereby, the road boundary object detection method of the present invention can perform coordinate conversion of the parallax point in the original parallax image based on the road vanishing point, and detect the road boundary object based on the converted parallax point. As a result, even if the road waiting for detection is not a straight road, in order to obtain the road and road boundary in the original parallax image corresponding to the detection result of the straight road, the straight road is detected by coordinate conversion. Can be converted. Therefore, the detection target of the present invention is not limited to a straight road. In addition, since detection is performed using all the parallax points in the parallax image, an accurate detection result can be acquired.
説明すべき点として、検出待ちの目標エリアは道路エリアなので、上記の視差画像変換の説明において、道路エリアに属する視差点のみの座標変換を行い、さらに道路境界物を検出する際も道路エリアの視差点を基に検出を行う。当該道路エリアは既にあるどんな画像処理方法によってでも元の視差画像から検出できる。しかしながら、本発明はこれに限らず、元の視差画像全体に対し座標変換を行い、かつすべての視差点を基に道路境界物の検出を行うこともできる。 As a point to be described, since the target area waiting for detection is a road area, in the above description of parallax image conversion, only the parallax points belonging to the road area are subjected to coordinate conversion, and also when the road boundary is detected, Detection is performed based on the parallax point. The road area can be detected from the original parallax image by any existing image processing method. However, the present invention is not limited to this, and it is also possible to perform coordinate transformation on the entire original parallax image and detect road boundary objects based on all parallax points.
そのうえ、以上の具体例において、車線境界線を道路境界物の具体例として説明を行ったが、当業者であれば、以上で説明した方法が車線境界線以外のその他どんな道路境界物にも適用できることは明らかである。 In addition, in the above specific examples, lane boundaries have been described as specific examples of road boundaries, but those skilled in the art can apply the method described above to any other road boundary other than lane boundaries. Obviously we can do it.
＜2.4、道路境界物検出装置＞
以下は図15を参考に本発明の別の実施例に基づく道路境界物検出装置を説明する。図15は当該道路境界物検出装置の機能ブロック図である。図15に示すように、当該検出装置1500には、道路エリアの視差画像及び道路消失点を取得する取得部1510、道路消失点を基にその視差画像中の視差点に対して座標変換を行う変換部1520、及び座標変換後の視差点に基づいて道路境界物を検出する検出部1530を含むことができる。
<2.4, road boundary detection device>
Hereinafter, a road boundary object detection apparatus according to another embodiment of the present invention will be described with reference to FIG. FIG. 15 is a functional block diagram of the road boundary object detection apparatus. As shown in FIG. 15, in the
当該取得部1510は、視差画像の距離情報に基づき、当該視差画像中の道路エリアを複数のブロックに分割し、かつ各ブロックの道路消失点を取得するよう構成できる。
The
一つの具体例で、当該変換部1520は、前記複数ブロック中の第一ブロックを除いて他のブロックの消失点を前記第一ブロックの道路消失点に移動させ、変換前の当該ブロック中の視差点から変換前の当該ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点から変換後の当該ブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるようにその他のブロックの各ブロック中の視差点の座標変換を行ってもよい。該第一ブロックは複数ブロックの中の前記視差画像中で距離が最も近いブロックである。
In one specific example, the
別の具体例で、当該検出部1530は、座標変換後の視差点に対応する3次元空間中で道路境界物に属する点を検出する3次元空間検出部（図示しない）、及び前記座標変換の逆変換に基づいて、その3次元空間検出部が検出した道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得しそれにより前記道路境界物を取得する視差画像検出部（図示しない）を含むことができる。
In another specific example, the
別の具体例で、当該3次元空間検出部は、変換後の視差点と道路消失点の間の相対的位置関係に基づき、3次元空間に分布する変換後の視差点を取得し、3次元空間中の視差点をZ＝dの平面上に投影し、視差点の投影に基づき、3次元空間中の道路境界物に属する点を検出してもよい。式中のdはすべての視差点の中で最大の視差値を有する視差点に対応する現実3次元空間距離を表す。 In another specific example, the three-dimensional space detection unit acquires the converted parallax points distributed in the three-dimensional space based on the relative positional relationship between the converted parallax points and the road vanishing points, and A parallax point in the space may be projected on a plane of Z = d, and a point belonging to a road boundary in the three-dimensional space may be detected based on the projection of the parallax point. In the equation, d represents the actual three-dimensional spatial distance corresponding to the parallax point having the maximum parallax value among all the parallax points.
別の具体例において、当該視差画像検出部は、変換後の視差点と道路消失点の間の相対位置関係に基づき、当該3次元空間検出部が検出した3次元空間中の道路境界物に属する点に対応する、変換後の視差点を取得し、目標視差点とし、前記座標変換の逆変換を基に、前記目標視差点に対応する、前記視差画像中の変換前視差点を取得し、前記変換前視差点に対してフィッティングを行って前述道路境界物を取得してもよい。 In another specific example, the parallax image detection unit belongs to a road boundary in the three-dimensional space detected by the three-dimensional space detection unit based on the relative positional relationship between the converted parallax point and the road vanishing point. A parallax point after conversion corresponding to a point is obtained as a target parallax point, and based on the inverse transformation of the coordinate transformation, a parallax point before conversion in the parallax image corresponding to the target parallax point is obtained; The road boundary object may be obtained by fitting the parallax point before conversion.
別の具体例で、当該3次元空間検出部はさらに、Z＝dの平面上の投影点のうち、投影した視差点の数が最も多い投影点を選択し、選択した投影点上に投影したすべての3次元空間の視差点を取得し、前記3次元空間中の道路境界物に属する点としてもよい。 In another specific example, the three-dimensional space detection unit further selects a projection point having the largest number of parallax points projected from the projection points on the Z = d plane, and projects the projection point onto the selected projection point. The parallax points in all the three-dimensional spaces may be acquired, and the points belonging to the road boundary in the three-dimensional space may be obtained.
好ましくは、当該3次元空間検出部は、前記Z＝dの平面上の所定の垂直距離以下の投影点中で3次元空間中の道路境界物に属する点を検出してもよい。 Preferably, the three-dimensional space detection unit may detect a point belonging to a road boundary in the three-dimensional space among projection points having a predetermined vertical distance or less on the plane Z = d.
好ましくは、当該3次元空間検出部はさらに、前記Z＝dの平面上の投影点の中で投影した視差点の数が所定の閾値より大きい投影点を選択し、選択した投影点を用いて直線のフィッティングを行い、当該直線の両端の二つの投影点を取り出すこと、前記二つの投影点に基づいて道路エリアの境界を決定してもよい。 Preferably, the three-dimensional space detection unit further selects a projection point where the number of parallax points projected among the projection points on the plane of Z = d is greater than a predetermined threshold, and uses the selected projection point. A straight line fitting may be performed to extract two projection points at both ends of the straight line, and a road area boundary may be determined based on the two projection points.
当該検出装置1500の取得部1510、変換部1520及び検出部1530の具体的な操作過程は、上述の道路境界物の検出方法の説明を参考にできるので、ここでは説明しない。
The specific operation processes of the
当該実施例の道路境界物検出装置1500は、変換後の視差点に基づき道路境界物を検出するために、元の道路消失点に基づき視差画像中の視差点に対して座標変換を行うことができる。これにより、検出待ち道路が直線道路でなくても、座標変換を通して直線道路の検出に転換することもでき、これにより、当該直線道路の検出結果に対応する、元の視差画像中の道路及びその道路境界物を取得することができる。よって本発明の検出対象は直線道路に限ることはない。そのうえ、視差画像中の視差点すべてを用いて検出を行うので、正確な検出結果を取得できる。
In order to detect a road boundary based on the converted parallax point, the road
＜2.5、道路境界物検出システム＞
次に、図16を参考に本発明の実施例に基づく道路境界物の検出を実現する検出システムのシステム構成について説明する。図16に示すように、検出システム1600には、例えば、道路エリアの目標情景の当該視差画像などを含むことのできる、処理すべき画像を外部から取り込むために用いる入力装置1610であって、キーボード、マウス及び通信ネットワーク及びそれと接続する遠隔入力装置などを含むことのできる入力装置1610と、上述の本発明の実施例に基づく道路境界物検出方法を実施し、あるいは、例えばインターネットのネットワーク（不図示）などに接続できて、処理過程の需要によってネットワークから必要なデータを取得できる、例えばコンピュータの中央処理ユニットあるいはその他の処理能力を有するチップなどを含むことのできる、上述の本発明の実施例に基づく道路境界物装置を実施するために用いられる、処理装置1620と、例えば検出した画像中の車線境界線、道路境界など上述の道路境界物の検出結果を外部に出力できる、出力装置1630であって、例えばディスプレイ、プリンター、及び通信ネットワークとそれに接続する遠隔出力設備などを含むことのできる、出力装置1630と、及び揮発性または非揮発性の方式で上述の処理過程に関する画像、データ、取得結果、オーダー及び中間データなどを記憶する記憶装置1640であって、例えばランダムアクセスメモリ（RAM）、読み込み専用メモリ（ROM）、ハードディスク、或いは半導体メモリなど各種揮発性或いは非揮発性メモリを含むことのできる、当該記憶装置1640と、を含む。
<2.5, road boundary detection system>
Next, a system configuration of a detection system that realizes road boundary object detection based on the embodiment of the present invention will be described with reference to FIG. As shown in FIG. 16, the
当然、簡略化のため、図16では当該システム中で本発明と関係する構成要素の一部のみを示しており、バスや入力/出力インターフェイスなどの構成要素は省略した。それ以外に、具体的な応用状況に基づいて、システム1600はその他の構成要素をも含むことができる。
Of course, for the sake of simplicity, FIG. 16 shows only some of the components related to the present invention in the system, and the components such as the bus and the input / output interface are omitted. In addition, based on the specific application situation, the
＜3.まとめ＞
本発明に基づいて、道路境界物の検出方法、検出装置及び検出システムを提供する。道路エリアの視差画像及び道路消失点を取得し、その道路消失点に基づき視差画像中の視差点に対して座標変換を行い、かつ座標変換後の視差点を基に道路境界物を検出する。
<3. Summary>
In accordance with the present invention, a road boundary object detection method, detection device, and detection system are provided. A parallax image of a road area and a road vanishing point are acquired, coordinate conversion is performed on the parallax point in the parallax image based on the road vanishing point, and a road boundary is detected based on the parallax point after the coordinate conversion.
上述の道路境界物の検出方法、検出装置及び検出システムに基づき、変換後の視差点に基づき道路境界物を検出するために、道路消失点に基づき元の視差画像中の視差点に対して座標変換を行うことができる。これにより、検出すべき道路が直線道路でなくても、座標変換を通して直線道路の検出に転換することができ、これにより、当該直線道路の検出結果に対応する、元の視差画像中の道路及びその道路の境界物を取得することができる。よって、本発明の検出対象は直線道路に限ることはない。さらに、視差画像中の全ての視差点を用いて検出を行うので、正確な検出結果を取得できる。 Based on the road boundary detection method, detection device, and detection system described above, in order to detect the road boundary based on the converted parallax point, the coordinates with respect to the parallax point in the original parallax image based on the road vanishing point Conversion can be performed. Thereby, even if the road to be detected is not a straight road, it can be converted to detection of a straight road through coordinate conversion, whereby the road in the original parallax image corresponding to the detection result of the straight road and The boundary of the road can be acquired. Therefore, the detection target of the present invention is not limited to a straight road. Furthermore, since detection is performed using all the parallax points in the parallax image, an accurate detection result can be acquired.
以上図面を参考に本発明の実施例に基づく道路境界物検出方法及び装置を詳細に説明した。上述においては車線境界線を検出対象として説明を行ったが、当業者であれば本発明が応用できる対象はこれに限らず、例えば縁石、フェンス及びその他の道路エリア及び車線を識別できる物体でも可能であることは明らかである。 The road boundary object detection method and apparatus according to the embodiment of the present invention have been described in detail with reference to the drawings. In the above description, the lane boundary line is described as a detection target. However, those skilled in the art are not limited to the object to which the present invention can be applied. For example, curbs, fences, other road areas, and objects that can identify lanes are also possible. Obviously.
本公開に関わる装置、設備、システムのブロック図は単に例を示すものであり、必ずブロック図の示す方法で接続、配置、構成を行うよう要求または暗示することを意図するものではない。当業者であれば知っているように、任意の方法でこれらの装置、設備、システムを接続、配置、構成できる。例えば、「含む」、「包含する」、「備える」等の単語は自由な語彙であり、「含むが限らない」ことを指し、かつ互換使用できる。ここで用いている語彙「または」及び「及び」は、文脈上で明確な指示がないかぎり、「及び／または」を指しており、かつ互換使用できる。ここで用いている語彙「例えば」は「例えるが限定しない」ことを指し、かつ互換使用できる。 The block diagrams of the devices, facilities, and systems involved in this disclosure are merely examples, and are not intended to require or imply that connections, arrangements, or configurations are necessarily made in the manner shown in the block diagrams. As those skilled in the art know, these devices, equipment, and systems can be connected, arranged, and configured in any manner. For example, words such as “include”, “include” and “comprise” are free vocabulary, which means “not necessarily included” and can be used interchangeably. As used herein, the terms “or” and “and” refer to “and / or” and can be used interchangeably unless the context clearly indicates otherwise. As used herein, the vocabulary “for example” refers to “for example but not limited” and can be used interchangeably.
本公開中のステップのフローチャート及び上述の方法についての記載はあくまで例に過ぎず、必ずその順序に沿って各実施例のステップを実行するよう要求あるいは暗示するものではない。当業者であれば、任意の順序で上述の実施例中のステップの順序を実行できることを知っている。「その後」、「それから」、「次に」等の単語はステップの順序を限定することを意図してはいない。これらの単語はあくまでそれら方法の記載に対する読者の理解を助けるためのものである。その他、単数の要素に「一つの」「一つ」あるいは「当該」といった冠詞を用いたいずれの引用も、単数に限ると解釈されるものではない。 The description of the flowchart of the steps in the present disclosure and the above-described method is merely an example, and does not necessarily require or imply that the steps of each embodiment are executed in that order. One skilled in the art knows that the order of the steps in the above embodiments can be performed in any order. Words such as “after”, “then”, “next”, etc. are not intended to limit the order of the steps. These words are only to help the reader understand how to describe them. In addition, any citation using an article such as “one”, “one”, or “related” to a singular element is not to be construed as being limited to the singular.
公開した分野の以上の説明により、いかなる当業者であれ本公開を実行または使用することができる。これらの分野に対する様々な修正は当業者にとってはきわめて容易に見て取れるものであり、かつここで定義した一般原理は他方面に応用でき、本発明の範囲を外れるものではない。したがって、本発明はここに示した方面だけに限定されず、それはここで開示した原理及び斬新な特徴が一致する最大範囲にまで及ぶものである。 With the above description of the published field, any person skilled in the art can implement or use this publication. Various modifications to these areas will be readily apparent to those skilled in the art, and the general principles defined herein can be applied to the other side and do not depart from the scope of the present invention. Accordingly, the present invention is not limited to the aspects shown herein, but extends to the maximum extent in which the principles and novel features disclosed herein are consistent.
Claims (10)
道路消失点に基づき前記視差画像中の視差点に対して座標変換を行うステップと、
座標変換後の視差点に基づいて道路境界物を検出するステップと、を含む、道路境界物の検出方法。 Obtaining a parallax image of the road area and a road vanishing point;
Performing coordinate transformation on the parallax point in the parallax image based on a road vanishing point;
Detecting a road boundary based on a parallax point after coordinate conversion, and detecting a road boundary.
座標変換後の視差点に対応する3次元空間の中で、道路境界物に属する点を検出するステップと、
前記座標変換の逆変換により、3次元空間の中で検出された道路境界物に属する点に対応する、前記視差画像中の道路境界物の点を取得して、前記道路境界物を取得するステップと、を含む、請求項１に記載の道路境界物の検出方法。 The step of detecting a road boundary based on the parallax point after the coordinate conversion is as follows:
Detecting a point belonging to a road boundary in a three-dimensional space corresponding to a parallax point after coordinate transformation;
Obtaining the road boundary by obtaining a point of the road boundary in the parallax image corresponding to a point belonging to the road boundary detected in the three-dimensional space by inverse transformation of the coordinate transformation; The road boundary object detection method according to claim 1, comprising:
前記視差画像の距離情報に基づいて、前記視差画像中の道路エリアを複数のブロックに分割するステップと、
各ブロックの道路消失点を取得するステップと、を含む、請求項１または２に記載の道路境界物の検出方法。 The step of obtaining the road vanishing point includes
Dividing a road area in the parallax image into a plurality of blocks based on distance information of the parallax image;
The method for detecting a road boundary according to claim 1, further comprising: obtaining a road vanishing point of each block.
前記複数のブロック中の第一ブロックを除いて他のブロックの消失点を前記第一ブロックの道路消失点に移動させるステップであって、前記第一ブロックは前記複数のブロックのうち、前記視差画像中の距離が最も近いブロックである、ステップと、
変換前のブロック中の視差点から変換前の該ブロック中の道路消失点までの水平距離及び垂直距離と、変換後の対応する視差点から変換後の該ブロック中の道路消失点までの水平距離及び垂直距離とがそれぞれ等しくなるように、前記他のブロックの各ブロック中の視差点に対して座標変換を行うことを含む、請求項３に記載の道路境界物の検出方法。 The step of performing coordinate transformation on the parallax point in the parallax image based on the road vanishing point,
The step of moving vanishing points of other blocks to the road vanishing point of the first block except for the first block in the plurality of blocks, wherein the first block is the parallax image among the plurality of blocks. The step with the nearest block in the middle,
The horizontal distance and vertical distance from the disparity point in the block before conversion to the road vanishing point in the block before conversion, and the horizontal distance from the corresponding disparity point after conversion to the road vanishing point in the block after conversion 4. The road boundary object detection method according to claim 3, further comprising: performing coordinate transformation on a parallax point in each of the other blocks so that the vertical distance is equal to the vertical distance.
変換後の視差点と道路消失点との間の相対的位置関係に基づき、3次元空間に分布する変換後の視差点を取得するステップと、
3次元空間中の視差点をZ＝dの平面上に投影するステップであって、dはすべての視差点のうち最大の視差値を有する視差点に対応する現実3次元空間距離を表す、ステップと、
視差点の投影により、3次元空間中の道路境界物に属する点を検出するステップと、を含む、請求項２に記載の道路境界物の検出方法。 In the three-dimensional space corresponding to the parallax points after the coordinate transformation, detecting a point belonging to a road boundary object
Acquiring the converted parallax points distributed in the three-dimensional space based on the relative positional relationship between the converted parallax points and the road vanishing points;
Projecting parallax points in a three-dimensional space onto a plane of Z = d, where d represents a real three-dimensional spatial distance corresponding to the parallax point having the largest parallax value among all parallax points When,
Detecting a point belonging to a road boundary in a three-dimensional space by projecting a parallax point.
変換後の視差点と道路消失点との間の相対的位置関係に基づき、検出された3次元空間中の道路境界物に属する点に対応する、変換後の視差点を、目標視差点として取得するステップと、
前記座標変換の逆変換により、前記目標視差点に対応する、前記視差画像中の変換前の視差点を取得するステップと、
前記変換前の視差点に対してフィッティングを行って、前記道路境界物を取得するステップと、を含む、請求項２に記載の道路境界物の検出方法。 Obtaining the road boundary by obtaining a point of the road boundary in the parallax image corresponding to a point belonging to the road boundary detected in the three-dimensional space by inverse transformation of the coordinate transformation; Is
Based on the relative positional relationship between the converted disparity point and the road vanishing point, the converted disparity point corresponding to the detected point belonging to the road boundary in the three-dimensional space is acquired as the target disparity point. And steps to
Obtaining a pre-conversion parallax point in the parallax image corresponding to the target parallax point by inverse transformation of the coordinate transformation;
The road boundary object detection method according to claim 2, further comprising: fitting the parallax point before the conversion to acquire the road boundary object.
前記Z＝dの平面上の投影点のうち投影した視差点の数が最も多い投影点を選択するステップと、
選択された投影点上に投影したすべての3次元空間の視差点を、前記3次元空間中の道路境界物に属する点として取得するステップと、を含む、請求項５に記載の道路境界物の検出方法。 The step of detecting a point belonging to a road boundary in a three-dimensional space by the projection of the parallax point,
Selecting a projection point having the largest number of projected parallax points among the projection points on the plane of Z = d;
Obtaining all parallax points of the three-dimensional space projected on the selected projection point as points belonging to the road boundary in the three-dimensional space. Detection method.
選択された投影点を用いて直線フィッティングを行い、直線の両端の二つの投影点を取得するステップと、
前記二つの投影点に基づいて、道路エリアの境界を決定するステップと、をさらに含む、請求項７に記載の道路境界物の検出方法。 Selecting a projection point where the number of parallax points projected is larger than a predetermined threshold among the projection points on the plane of Z = d;
Performing straight line fitting using the selected projection points and obtaining two projection points at both ends of the straight line;
The road boundary object detection method according to claim 7, further comprising: determining a boundary of a road area based on the two projection points.
道路消失点に基づき前記視差画像中の視差点に対して座標変換を行う変換手段と、
座標変換後の視差点に基づいて道路境界物を検出する検出手段と、を含む、道路境界物の検出装置。 An acquisition means for acquiring a parallax image of a road area and a road vanishing point;
Conversion means for performing coordinate conversion on a parallax point in the parallax image based on a road vanishing point;
A road boundary detection device, comprising: detection means for detecting a road boundary based on a parallax point after coordinate conversion.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510354626.7A CN106327466B (en) | 2015-06-24 | 2015-06-24 | The detection method and device of lane segmentation object |
| CN201510354626.7 | 2015-06-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017010553A true JP2017010553A (en) | 2017-01-12 |
| JP6179639B2 JP6179639B2 (en) | 2017-08-16 |
Family
ID=57729661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016121582A Expired - Fee Related JP6179639B2 (en) | 2015-06-24 | 2016-06-20 | Road boundary detection method and detection apparatus |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6179639B2 (en) |
| CN (1) | CN106327466B (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108256455A (en) * | 2018-01-08 | 2018-07-06 | 哈尔滨工业大学 | A kind of Road image segmentation method based on end point |
| CN110197173A (en) * | 2019-06-13 | 2019-09-03 | 重庆邮电大学 | A kind of curb detection method based on binocular vision |
| JP2019200776A (en) * | 2018-05-15 | 2019-11-21 | 株式会社東芝 | Vehicle recognition device and vehicle recognition method |
| KR20200042100A (en) * | 2018-10-15 | 2020-04-23 | 삼성전자주식회사 | Device and method to convert image |
| CN111696048A (en) * | 2019-03-15 | 2020-09-22 | 北京四维图新科技股份有限公司 | Smoothing method and device for wall sampling line |
| CN112348752A (en) * | 2020-10-28 | 2021-02-09 | 武汉极目智能技术有限公司 | Lane line vanishing point compensation method and device based on parallel constraint |
| CN116523921A (en) * | 2023-07-05 | 2023-08-01 | 广州市易鸿智能装备有限公司 | Detection method, device and system for tab turnover condition |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766847B (en) * | 2017-11-21 | 2020-10-30 | 海信集团有限公司 | Lane line detection method and device |
| CN110120081B (en) * | 2018-02-07 | 2023-04-25 | 北京四维图新科技股份有限公司 | Method, device and storage equipment for generating lane markings of electronic map |
| CN108256510B (en) * | 2018-03-12 | 2022-08-12 | 海信集团有限公司 | Road edge line detection method and device and terminal |
| CN112304293B (en) * | 2019-08-02 | 2022-09-13 | 北京地平线机器人技术研发有限公司 | Road height detection method and device, readable storage medium and electronic equipment |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009075938A (en) * | 2007-09-21 | 2009-04-09 | Honda Motor Co Ltd | Road shape estimating device |
| JP2012243050A (en) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103177236B (en) * | 2011-12-22 | 2016-06-01 | 株式会社理光 | Road area detection method and device, lane line detection method and apparatus |
-
2015
- 2015-06-24 CN CN201510354626.7A patent/CN106327466B/en active Active
-
2016
- 2016-06-20 JP JP2016121582A patent/JP6179639B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009075938A (en) * | 2007-09-21 | 2009-04-09 | Honda Motor Co Ltd | Road shape estimating device |
| JP2012243050A (en) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | Environment recognition device and environment recognition method |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108256455A (en) * | 2018-01-08 | 2018-07-06 | 哈尔滨工业大学 | A kind of Road image segmentation method based on end point |
| CN108256455B (en) * | 2018-01-08 | 2021-03-23 | 哈尔滨工业大学 | Road image segmentation method based on vanishing points |
| JP2019200776A (en) * | 2018-05-15 | 2019-11-21 | 株式会社東芝 | Vehicle recognition device and vehicle recognition method |
| KR20200042100A (en) * | 2018-10-15 | 2020-04-23 | 삼성전자주식회사 | Device and method to convert image |
| KR102519666B1 (en) * | 2018-10-15 | 2023-04-07 | 삼성전자주식회사 | Device and method to convert image |
| CN111696048A (en) * | 2019-03-15 | 2020-09-22 | 北京四维图新科技股份有限公司 | Smoothing method and device for wall sampling line |
| CN111696048B (en) * | 2019-03-15 | 2023-11-14 | 北京四维图新科技股份有限公司 | Smoothing processing method and device for wall sampling line |
| CN110197173A (en) * | 2019-06-13 | 2019-09-03 | 重庆邮电大学 | A kind of curb detection method based on binocular vision |
| CN110197173B (en) * | 2019-06-13 | 2022-09-23 | 重庆邮电大学 | Road edge detection method based on binocular vision |
| CN112348752A (en) * | 2020-10-28 | 2021-02-09 | 武汉极目智能技术有限公司 | Lane line vanishing point compensation method and device based on parallel constraint |
| CN112348752B (en) * | 2020-10-28 | 2022-08-16 | 武汉极目智能技术有限公司 | Lane line vanishing point compensation method and device based on parallel constraint |
| CN116523921A (en) * | 2023-07-05 | 2023-08-01 | 广州市易鸿智能装备有限公司 | Detection method, device and system for tab turnover condition |
| CN116523921B (en) * | 2023-07-05 | 2023-09-29 | 广州市易鸿智能装备有限公司 | Detection method, device and system for tab turnover condition |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106327466A (en) | 2017-01-11 |
| CN106327466B (en) | 2018-12-21 |
| JP6179639B2 (en) | 2017-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6179639B2 (en) | Road boundary detection method and detection apparatus | |
| US9378424B2 (en) | Method and device for detecting road region as well as method and device for detecting road line | |
| JP6531846B2 (en) | Method and apparatus for detecting movable area of road surface | |
| JP6221371B2 (en) | Road surface detection method and road surface detection device | |
| JP6299291B2 (en) | Road edge detection method and road edge detection device | |
| US11328479B2 (en) | Reconstruction method, reconstruction device, and generation device | |
| JP6131704B2 (en) | Detection method for continuous road segment and detection device for continuous road segment | |
| US9898669B2 (en) | Traveling road surface detection device and traveling road surface detection method | |
| JP6111745B2 (en) | Vehicle detection method and apparatus | |
| EP2772883A2 (en) | Road-surface height shape estimation method and system | |
| KR20200060194A (en) | Method of predicting depth values of lines, method of outputting 3d lines and apparatus thereof | |
| EP3324359B1 (en) | Image processing device and image processing method | |
| CN104637043B (en) | Pixel selecting method, device, parallax value is supported to determine method | |
| CN110827340B (en) | Map updating method, device and storage medium | |
| KR20120044699A (en) | Method and apparatus for detecting obstacle on road | |
| KR20160052256A (en) | Three-dimensional space Mapping apparatus using a virtual feature point and method therefor | |
| JP2014211694A (en) | Image processing apparatus, distance measurement apparatus, and image processing program | |
| JP2017162024A (en) | Stereo matching processing method, processing program and processing device | |
| JP2013142668A (en) | Position estimation device and position estimation method | |
| KR20120044693A (en) | Method and apparatus for detecting obstacle | |
| KR20160010900A (en) | Method and apparatus for generating disparity map for steroscopic image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170703 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6179639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |