JP2009237901A - Method of creating road marker map - Google Patents
Method of creating road marker map Download PDFInfo
- Publication number
- JP2009237901A JP2009237901A JP2008083251A JP2008083251A JP2009237901A JP 2009237901 A JP2009237901 A JP 2009237901A JP 2008083251 A JP2008083251 A JP 2008083251A JP 2008083251 A JP2008083251 A JP 2008083251A JP 2009237901 A JP2009237901 A JP 2009237901A
- Authority
- JP
- Japan
- Prior art keywords
- image
- path
- lane boundary
- road surface
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Abstract
Description
本発明は、道路面に施された標示を含む路面標示地図を生成する技術に関する。 The present invention relates to a technique for generating a road marking map including a marking applied to a road surface.
カーナビゲーションなどで使用される電子地図データには、多様な機能を実現するため、種々の詳細なデータが要求されている。その一つとして、横断歩道や中央線、車線境界線などの路面に描かれる標示が挙げられる。これらの標示を予め画像として取得しておくことにより、ユーザに対して実際の路面に近い画像を提供することができ、直感的に理解しやすい案内を実現することが可能となる。 Electronic map data used in car navigation or the like requires various detailed data in order to realize various functions. One example is the markings on road surfaces such as pedestrian crossings, central lines, and lane boundaries. By acquiring these signs as images in advance, it is possible to provide the user with an image close to the actual road surface, and to realize guidance that is easy to understand intuitively.
標示を含む路面の画像を効率的に生成するための技術として特許文献１、特許文献２などが挙げられる。
特許文献１は、車輌の前後または側方に対してデジタルカメラ等により取得された画像から、路面の標示を含む静止画像を生成する技術を開示している。この技術では、目的の道路を車両で走行しながら、その車両に搭載されたデジタルカメラ等で路面の標示等を撮影する。そして、動画を構成する各フレーム画像を真上から見た状態の正射画像に変換し、撮影位置に応じて配列する。正射画像とは、道路の垂直上方の無限遠点に視点を置いた場合の道路画像を言う。複数のフレーム画像を配列することによって、１回の走行の軌跡（以下、パスと呼ぶこともある）に沿った道路面の合成画像を得ることができる。
As a technique for efficiently generating an image of a road surface including a sign, Patent Document 1, Patent Document 2, and the like can be cited.
Patent Document 1 discloses a technique for generating a still image including a road surface marking from images acquired by a digital camera or the like with respect to the front and rear or the side of a vehicle. In this technique, a road marking or the like is photographed with a digital camera or the like mounted on the vehicle while traveling on the target road with the vehicle. Then, each frame image constituting the moving image is converted into an orthogonal image as viewed from directly above, and arranged according to the shooting position. An orthographic image is a road image when the viewpoint is placed at an infinite point vertically above the road. By arranging a plurality of frame images, it is possible to obtain a composite image of the road surface along the trajectory of one run (hereinafter also referred to as a path).
特許文献２は、２つのパスで得られた画像を合成して幅広の道路画像を合成する技術を開示している。この技術では、まず一つのパスで得られた画像に対して、道路の車線境界線など、本来、直線的に描かれているものが直線として表示されるようにアフィン変換をかける。そして、２つのパスで共通して撮影されている車線境界線などの座標が一致するように、一方のパスの画像をアフィン変換する。また、同様の方法によって、パスごとに画像をアフィン変換しながら合成することによって３以上のパスを合成する技術も開示している。 Patent Document 2 discloses a technique for synthesizing a wide road image by synthesizing images obtained by two passes. In this technique, first, an affine transformation is applied to an image obtained in one pass so that what is originally drawn linearly, such as a road lane boundary line, is displayed as a straight line. Then, the image of one path is affine transformed so that the coordinates of the lane boundary line or the like that are photographed in common in the two paths coincide. Also disclosed is a technique of synthesizing three or more paths by synthesizing images while performing affine transformation for each path by a similar method.
特許文献３は、道路面の画像から、標示を抽出する技術を開示している。この技術では、航空写真などの画像から、画像処理によって道路ペイントに当たる部分を抽出し、抽出された部分の特徴量に基づいて道路ペイントの種別を判断する。特徴量としては、抽出した部分の長手方向を代表する軸と、道路ネットワークのリンクとの角度などが用いられている。 Patent document 3 is disclosing the technique which extracts a sign from the image of a road surface. In this technique, a portion corresponding to road paint is extracted from an image such as an aerial photograph by image processing, and the type of road paint is determined based on the feature amount of the extracted portion. As the feature amount, an angle between an axis representing the longitudinal direction of the extracted portion and a link of the road network is used.
地図データには、経路探索用に道路をノード、リンクで表した道路ネットワーク、および地図を表示するために道路をポリゴンで表したデータなどがある。道路ネットワークでは、道路を１本または２本のリンクで代表させているため、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からない。描画データでは、道路を表すポリゴンの外周の位置座標は分かるものの、道路内部の地点についての位置座標は分からない。
例えば、道路内部の各地点の位置座標が詳細に得られている地図データが存在すれば、車両の現在位置に応じて、車両が道路のどの車線を走行しているかを判断して、車線変更の案内を行うことや、車両に横断歩道が接近していることを警告するなどの高機能な案内を実現することが可能となる。
しかし、従来の地図データは、これらの高精度、高機能な案内を実現するためには不十分な精度しか有していなかった。仮に車両の現在位置を精度良く把握したとしても、その位置情報を活かすだけの詳細な地図データが用意されていたとは言えなかったのである。
Map data includes a road network in which roads are represented by nodes and links for route search, and data in which roads are represented by polygons in order to display a map. In the road network, since the road is represented by one or two links, the coordinates attached to the link do not know exactly which part of the road is represented. In the drawing data, the position coordinates of the outer periphery of the polygon representing the road are known, but the position coordinates of the points inside the road are not known.
For example, if there is map data in which the position coordinates of each point inside the road are obtained in detail, the lane change is determined by determining which lane on the road the vehicle is driving according to the current position of the vehicle It is possible to realize highly functional guidance such as providing guidance on the vehicle and warning that a pedestrian crossing is approaching the vehicle.
However, the conventional map data has only insufficient accuracy to realize such high-precision and high-performance guidance. Even if the current position of the vehicle is grasped with high accuracy, it cannot be said that detailed map data has been prepared to make use of the position information.
路面の標示は道路上の位置座標を豊富にするための目的物として適している。例えば、横断歩道や車線境界線の位置座標が得られていれば、上述した高機能な案内の実現に資することができる。
しかし、従来技術は、いずれも道路面の合成画像を得ることを主目的としており、路面の標示の位置座標を得ることを目的としてはいなかった。
例えば、特許文献２の技術は、道路が直線か曲線かに関わらず車両の進行方向をＸ軸とし、その移動距離をＸ座標として画像を表しているに過ぎず、このＸ軸に直交する方向にのみ画像をアフィン変換するに過ぎない。複数のパスで得られた画像について、このように定められたＸ座標が十分に一致しているという保証はないから、特許文献２の技術では路面の標示の位置座標を精度良く得ることはできない。
また、アフィン変換は、原画像の長方形領域を平行四辺形に歪ませる作用を持つ変換とも言えるから、特許文献２の技術では、アフィン変換によって画像の合成を行うことにより画質の劣化を招き、路面の標示の位置座標を一層低下させるという課題もある。
一方、特許文献１記載の技術は、１回のパスで得られる画像に対する処理を開示しているのみであり、道路全体を十分にカバーすることができない。
The road marking is suitable as an object for enriching the position coordinates on the road. For example, if the position coordinates of the pedestrian crossing and the lane boundary line are obtained, it is possible to contribute to the realization of the high-performance guidance described above.
However, all the prior arts have a main purpose of obtaining a composite image of a road surface, and have not been intended to obtain a position coordinate of a road surface sign.
For example, the technique of Patent Document 2 merely represents an image with the traveling direction of the vehicle as the X axis and the movement distance as the X coordinate regardless of whether the road is a straight line or a curve, and a direction orthogonal to the X axis. Only the image is affine transformed. Since there is no guarantee that the X coordinates determined in this manner are sufficiently coincident with each other for images obtained by a plurality of passes, the technique of Patent Document 2 cannot accurately obtain the position coordinates of road markings. .
The affine transformation can also be said to be a transformation having the effect of distorting the rectangular area of the original image into a parallelogram. Therefore, in the technique of Patent Document 2, image degradation is caused by combining images by affine transformation, and the road surface. There is also a problem of further reducing the position coordinates of the markings.
On the other hand, the technique described in Patent Document 1 only discloses processing for an image obtained in one pass and cannot sufficiently cover the entire road.
従来技術では、道路面の画像から標示を抽出する際にも、標示の位置精度を十分に確保できないという課題があった。特許文献３は、道路ネットワークで与えられるリンクとの位置関係で標示の種別や位置を認定しているものの、先に説明した通り、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からないデータである。従って、リンクを基準として標示の位置を認識しても、十分な精度を確保することはできない。 The prior art has a problem that the position accuracy of the sign cannot be sufficiently secured even when the sign is extracted from the road surface image. Although Patent Document 3 recognizes the type and position of the sign by the positional relationship with the link given by the road network, as described above, the coordinates attached to the link represent any part of the road. It is data that we do not know exactly. Therefore, even if the position of the sign is recognized with reference to the link, sufficient accuracy cannot be ensured.
更に、路面標示の一つである車線境界線については、次のような課題もあった。
車線境界線は、道路に沿って描かれているため、これをひとまとまりの連続した標示として認識することが好ましい。車線境界線には実線と破線とがあるが、破線の場合でも、それぞれの線分をバラバラで認識しておくのではなく、一つの車線境界線として全体を関連づけて認識しておくことが好ましい。
しかし、路面標示の認識処理は、道路面の画像を複数の領域に分割して行わざるを得ない場合があり、車線境界線が複数に分断されて認識されるのが通常である。また、破線の車線境界線は、それぞれバラバラの線分として認識されるに過ぎない。従来技術では、このように分断され、バラバラの状態で認識された車線境界線を、連結した標示として認識させることは考慮されていなかった。
In addition, the following problems have been encountered with respect to lane boundaries that are one of road markings.
Since the lane boundary line is drawn along the road, it is preferable to recognize it as a group of continuous signs. The lane boundary line includes a solid line and a broken line. Even in the case of the broken line, it is preferable to recognize each line segment as a single lane boundary line instead of recognizing each line segment separately. .
However, there are cases where the road marking recognition process has to be performed by dividing the road surface image into a plurality of regions, and the lane boundary line is usually divided into a plurality of regions for recognition. Further, the broken lane boundary lines are only recognized as disjoint line segments. In the prior art, it has not been taken into account that the lane boundary line thus divided and recognized in a disjoint state is recognized as a connected sign.
また、車線境界線のように単純な線分は、横断歩道の横線や、速度規制を表す数字の一部、路面に描かれた矢印などと誤認識されることが多い。このように誤認識がある状態で、単純に近くにある車線境界線同士を連結すれば、現実とは全く異なる車線境界線となってしまう。 In addition, a simple line segment such as a lane boundary line is often mistakenly recognized as a horizontal line of a pedestrian crossing, a part of a number indicating speed regulation, an arrow drawn on a road surface, or the like. In this state, if lane boundary lines that are close to each other are simply connected together, a lane boundary line that is completely different from the actual situation will be created.
本発明は、これらの課題を解決するためになされたものであり、車線境界線の誤認識を排し、連続したひとまとまりの標示として認識可能とすることを目的とする。 The present invention has been made to solve these problems, and an object of the present invention is to eliminate erroneous recognition of lane boundary lines and enable recognition as a continuous group of signs.
本発明は、コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法として構成することができる。
本発明では、まず、コンピュータは、道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら標示を含む路面を撮影した連続画像の画像データと、この画像データの撮影位置を表す位置座標データとを入力する。所定のパスは、１本でも良いし、異なる位置で複数本用意されていてもよい。
上述の画像データは、例えば、車両などの移動体に搭載した撮影装置によって撮影することができる。撮影装置としては、例えば、ディジタル・ビデオ・カメラなどを用いることができる。また、撮影装置には、撮影時の位置座標データを取得する位置計測装置を搭載しておくことが好ましい。位置計測装置は、例えば、ＧＰＳ（Global Positioning System）や、ジャイロなどの慣性航法装置などを単独または組み合わせて用いることができる。また、処理の便宜上、撮影した画像と位置座標データを入力し、両者を同期させて記録する記録装置を用意しておくことが好ましい。
The present invention can be configured as a generation method for generating a road marking map including a marking given to a road surface by a computer.
In the present invention, first, the computer captures image data of a continuous image obtained by photographing a road surface including a sign while moving along a predetermined path which is a movement locus when photographing a road surface, and a photographing position of the image data. Enter the position coordinate data to represent. There may be one predetermined path, or a plurality of paths may be prepared at different positions.
The above-mentioned image data can be photographed by a photographing device mounted on a moving body such as a vehicle, for example. For example, a digital video camera or the like can be used as the photographing apparatus. Moreover, it is preferable that the photographing apparatus is equipped with a position measuring device that acquires position coordinate data at the time of photographing. As the position measuring device, for example, a GPS (Global Positioning System) or an inertial navigation device such as a gyro can be used alone or in combination. For convenience of processing, it is preferable to prepare a recording apparatus that inputs a photographed image and position coordinate data and records them in synchronization.
コンピュータは、入力された画像データを構成する各フレーム画像を変換して、路面を真上から見た状態の正射画像を得る。正射画像は、各フレーム画像の一部を利用して生成してもよい。
そして、こうして得られた正射画像を位置座標データに基づいて、パス上に配置することにより、各パスの路面を表す連結画像を生成して表示する。この際、正射画像の一部が重なっても良い。正射画像は、例えば、その中心線がパスの進行方向に沿う状態で配置することが好ましい。
こうすることで連結画像がパスの本数分だけ得られる。それぞれ位置座標に誤差が含まれるため、複数本の連結画像は、誤差に応じて、ずれて表示されることもある。
The computer converts each frame image constituting the input image data to obtain an orthographic image in a state where the road surface is viewed from directly above. The orthographic image may be generated using a part of each frame image.
Then, by arranging the orthographic image obtained in this way on the path based on the position coordinate data, a connected image representing the road surface of each path is generated and displayed. At this time, a part of the orthographic image may overlap. For example, the orthographic image is preferably arranged in a state where its center line is along the traveling direction of the path.
In this way, as many connected images as the number of paths are obtained. Since each position coordinate includes an error, a plurality of connected images may be displayed in a shifted manner according to the error.
次に、コンピュータは、連結画像から、画像処理によって、車線境界線の位置を認識する。この段階では、実線の車線境界線が分断されて認識されることもある。破線の車線境界線は、短い個々の線分として認識されている。また、車線境界線は、横断歩道の縞模様や、速度規制その他の数字の一部の線などと誤認識されることもある。
コンピュータは、車線境界線と、パスまたは他の車線境界線との間隔に基づいて、車線境界線の認識結果を修正する。
撮影時には、車線境界線の間を走行するのが通常であるから、パスと車線境界線との距離が非常に小さい場合には、車線境界線が誤認識されているおそれがある。また、車線境界線同士の間隔は、車両が通ることができる程度の値となるはずであるから、この間隔が非常に小さい値となっている場合には、車線境界線が誤認識である可能性が高い。逆に、例えば、認識された車線境界線と、パスまたは他の車線境界線との距離がほぼ一定値となっているように規則的な場合には、実際の道路上で車線の境界を画するように連結されるべき車線境界線を特定することも可能である。
本発明は、このように車線境界線と、パスまたは他の車線境界線との間隔を利用して、認識結果に対して、誤認識を回避したり、車線境界線同士を連結したりといった修正を施すことができる。
Next, the computer recognizes the position of the lane boundary line from the connected image by image processing. At this stage, the solid lane boundary may be divided and recognized. Dashed lane boundaries are recognized as short individual line segments. In addition, the lane boundary line may be misrecognized as a striped pattern of a pedestrian crossing, a speed regulation, or some other numbers.
The computer corrects the recognition result of the lane boundary based on the distance between the lane boundary and the path or other lane boundary.
At the time of shooting, the vehicle usually travels between the lane boundary lines. Therefore, when the distance between the path and the lane boundary line is very small, the lane boundary line may be erroneously recognized. In addition, the distance between the lane boundary lines should be a value that allows the vehicle to pass through. If this distance is very small, the lane boundary line may be erroneously recognized. High nature. Conversely, for example, if the distance between a recognized lane boundary and a path or other lane boundary is a regular value, the lane boundary is defined on the actual road. It is also possible to specify the lane boundary line to be connected in such a manner.
The present invention uses the distance between the lane boundary line and the path or another lane boundary line in this way to correct misrecognition and connect the lane boundary lines to the recognition result. Can be applied.
本発明における修正は、種々の態様を採ることができる。
例えば、パスを挟んで直近に位置する車線境界線を抽出し、これらの車線境界線のパスに対する配置の偏りの有無を判定してもよい。こうすることによって誤認識を判定することができる。撮影時には、２つの車線境界線の中央付近を走行するのが通常であるため、パスに対して偏って配置されている車線境界線は誤認識されている可能性が高いからである。
Modifications in the present invention can take various forms.
For example, a lane boundary line that is located closest to the path may be extracted, and whether or not there is a deviation in the arrangement of the lane boundary line with respect to the path may be determined. In this way, misrecognition can be determined. This is because it is normal that the vehicle travels in the vicinity of the center of the two lane boundary lines at the time of shooting, and therefore the lane boundary line that is biased with respect to the path is likely to be erroneously recognized.
別の態様として、次の手順で車線境界線同士を連結してもよい。
まず、パスに沿う方向に所定間隔で設定された基準点から認識された車線境界線への距離を求める。そして、距離の統計に基づいて、認識された車線境界線のうち、同一の車線境界線として結合されるべきとものを特定する。
撮影時に車線境界線のほぼ中央を走行しているとすれば、逆に、パスからほぼ一定距離にある車線境界線は、道路上で車線の境界として描かれている実線または破線と考えられるからである。従って、こうして特定された車線境界線同士を連結することにより、バラバラで認識されていた標示を関連づけ、道路に沿った一連の車線境界線を構成することができる。
連結とは、画像として結合することを意味する訳ではなく、認識された車線境界線を、一連のラインの構成要素として関連づけることを言う。認識された車線境界線を連結することによって、車線を画する情報として活用することが可能となる。
As another aspect, you may connect lane boundary lines in the following procedure.
First, a distance from a reference point set at a predetermined interval in a direction along the path to a recognized lane boundary line is obtained. And based on the statistics of distance, the thing which should be combined as the same lane boundary line among the recognized lane boundary lines is specified.
If you are traveling almost in the middle of the lane boundary line at the time of shooting, conversely, the lane boundary line that is at a certain distance from the path is considered to be a solid line or a broken line drawn as a lane boundary on the road It is. Therefore, by connecting the lane boundary lines specified in this way, the signs recognized separately can be associated to form a series of lane boundary lines along the road.
Linking does not mean combining as an image, but refers to associating recognized lane boundaries as components of a series of lines. By connecting the recognized lane boundary lines, it can be used as information for defining the lane.
車線境界線が連結された後は、この連結された車線境界線がパスに該当するとみなして、上述の手順を適用して更に他の車線境界線を連結するようにしてもよい。つまり、連結された車線境界線に沿う方向に所定間隔で設定された基準点から他の認識された車線境界線への距離を求め、この距離の統計に基づいて連結されるべき車線境界線を特定し、連結する。こうすることによって、パスに直近から離れた側に、順に車線境界線を連結していくことができる。 After the lane boundary line is connected, the connected lane boundary line may be regarded as a path, and another lane boundary line may be further connected by applying the above-described procedure. That is, the distance from the reference points set at predetermined intervals in the direction along the connected lane boundary line to the other recognized lane boundary line is obtained, and the lane boundary line to be connected is determined based on the statistics of the distance. Identify and concatenate. By doing so, the lane boundary line can be connected in order to the side farthest away from the path.
連結されるべき複数の車線境界線が特定されている場合、スムージング処理を施して、これらの車線境界線を滑らかな曲線で連結してもよい。この場合、複数の車線境界線のパスに双方向の間隙に構成点を補間した上で、これらの構成点を用いたスムージング処理を施すことが好ましい。こうすることによって、スムージングで得られる曲線が、車線境界線の間を補間した形状から大きくはずれることを回避できる。 When a plurality of lane boundary lines to be connected are specified, smoothing processing may be performed to connect these lane boundary lines with a smooth curve. In this case, it is preferable to interpolate composing points in a bidirectional gap in a plurality of lane boundary paths and then perform a smoothing process using these composing points. By doing so, it is possible to avoid that the curve obtained by smoothing deviates greatly from the shape interpolated between the lane boundary lines.
また、車線境界線を連結した後は、次の手順で実線か破線かの判定を行っても良い。
まず、連結された車線境界線上に所定間隔で配置された各点からの垂線と、車線境界線の認識結果との交点を求める。連結された車線境界線上に認識結果が存在する場合は、「交点有り」という状態に含めるものとする。
認識された車線境界線が破線の場合には、連結された破線境界線との交点には、一定周期で「交点無し」の状態が現れる。認識された車線境界線が実線の場合には、途中で分断されている部分があるとしても、「交点無し」の状態は不規則に現れることになる。
従って、この態様によれば、パスに沿う方向に交点が表れる規則性に基づいて、連結された車線境界線が実線か破線かを判断することができる。
Further, after connecting the lane boundary line, it may be determined whether it is a solid line or a broken line by the following procedure.
First, the intersection of the perpendicular from each point arrange | positioned on the connected lane boundary line at predetermined intervals, and the recognition result of a lane boundary line are calculated | required. When the recognition result exists on the connected lane boundary line, it is included in the state of “with intersection”.
When the recognized lane boundary line is a broken line, a state of “no intersection” appears at a certain cycle at an intersection with the connected broken line boundary line. When the recognized lane boundary line is a solid line, the state of “no intersection” appears irregularly even if there is a part that is divided on the way.
Therefore, according to this aspect, it is possible to determine whether the connected lane boundary line is a solid line or a broken line based on the regularity that the intersection appears in the direction along the path.
こうして連結された車線境界線が得られた後は、更に、次の手順で、パスに沿う方向に離れた位置にある複数の車線境界線を連結してもよい。
まず、それぞれの車線境界線を近似したベクトルを求める。そして、そのベクトルのなす角、および端点間の距離に基づいて、車線境界線同士の連結可否を判断し、連結するのである。例えば、ベクトルのなす角が所定値以上の場合、かつ端点間の距離が、破線の間隔に基づいて定まる所定値以下の場合に、連結可能と判断する方法を採ることができる。
After the connected lane boundary lines are obtained in this way, a plurality of lane boundary lines at positions separated in the direction along the path may be further connected by the following procedure.
First, a vector approximating each lane boundary line is obtained. Then, based on the angle formed by the vector and the distance between the end points, it is determined whether or not the lane boundary lines can be connected, and the lane boundary lines are connected. For example, when the angle formed by the vectors is equal to or larger than a predetermined value and the distance between the end points is equal to or smaller than a predetermined value determined based on the interval between the broken lines, a method of determining that the connection is possible can be adopted.
以上の処理によって、車線境界線の誤認識を除去することができ、車線境界線を連結することができる。
本発明は、１本のパスから得られる連結画像に対して、上述の処理を施すようにしてもよいし、複数のパスから得られる連結画像に対して、施すようにしてもよい。複数の連結画像に対して処理を行う場合、パス間の位置誤差によって連結画像の位置に不整合が生じることがあり、また、連結画像同士が重なり合っている場合には、同一の車線境界線が重複して認識されることもある。従って、上述の処理を施すのに先だって、パス間の位置誤差を修正する処理を施しても良いし、認識結果が重なり合っている場合にはいずれかの認識結果を削除する処理を施しても良い。
Through the above processing, erroneous recognition of the lane boundary line can be eliminated, and the lane boundary line can be connected.
In the present invention, the above-described processing may be applied to a connected image obtained from a single pass, or may be applied to a connected image obtained from a plurality of passes. When processing a plurality of connected images, inconsistencies may occur in the positions of the connected images due to positional errors between passes, and when the connected images overlap, the same lane boundary line may appear. It may be recognized twice. Therefore, prior to performing the above-described processing, processing for correcting a positional error between passes may be performed, or processing for deleting one of the recognition results may be performed when the recognition results overlap. .
パス間の位置誤差は、例えば、各パスの位置精度、またはオペレータの指示などに基づいて、複数のパスのいずれかを基準パスとし、この基準パスに次の手順で他のパスを合わせる方法を採ることができる。
位置合わせを行うためには、２本以上のパスの連結画像に共通して撮影されている領域内で、対応する対応点を特定する。例えば、２本のパスに横断歩道が共通に撮影されている場合には、それぞれの連結画像において横断歩道の縞模様のいずれかの角を対応する対応点とすることができる。対応点は、各連結画像からの標示の認識結果に基づいて自動的に設定してもよいし、オペレータの指示によるものとしてもよい。
こうして特定された対応点同士のずれは、位置座標の誤差を表すことになる。従って、対応する対応点の位置が一致するように設定された移動ベクトルに基づいて、基準パス以外のパスの連結画像に対して補正をかけることで、複数のパスの位置の不整合を解消することが出来る。
また、各パスの合成は、連結画像を領域ごとに平行移動することによって行うため、各領域の正射画像に歪みを加えることなく位置を修正することができる。従って、この修正時には路面の標示は、各領域の正射画像内での相対的な位置精度を保持しておくことができる。
The positional error between paths is, for example, based on the positional accuracy of each path or an operator's instruction, etc., using one of a plurality of paths as a reference path, and aligning other paths with this reference path in the following procedure. Can be taken.
In order to perform alignment, corresponding corresponding points are specified in an area that is photographed in common with a connected image of two or more passes. For example, when a pedestrian crossing is photographed in common in two paths, any corner of the striped pattern of the pedestrian crossing can be set as a corresponding point in each connected image. Corresponding points may be set automatically based on the recognition result of the sign from each connected image, or may be based on an operator's instruction.
The deviation between the corresponding points specified in this way represents an error in position coordinates. Therefore, by correcting the connected images of paths other than the reference path based on the movement vector set so that the positions of the corresponding corresponding points coincide with each other, the mismatch of the positions of the plurality of paths is resolved. I can do it.
Further, since the synthesis of each path is performed by translating the connected image for each area, the position can be corrected without adding distortion to the orthographic image of each area. Therefore, at the time of this correction, the road surface marking can maintain the relative positional accuracy in the orthographic image of each region.
本発明は、必ずしも上述した特徴を全て備えている必要はなく、適宜、その一部を省略してもよいし、いくつかの特徴を適宜、組み合わせて備えるようにしてもよい。
本発明は、上述の生成方法に限らず、この生成方法によって道路面に施された標示を含む路面標示地図を生成する生成装置として構成してもよい。
また、上述の生成方法をコンピュータに実現させるためのコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、例えば、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等、コンピュータが読取り可能な種々の媒体を利用できる。
The present invention does not necessarily have all the above-described features, and some of them may be omitted as appropriate, or some features may be appropriately combined.
The present invention is not limited to the above-described generation method, and may be configured as a generation device that generates a road marking map including a label applied to a road surface by this generation method.
Moreover, the above-described generation method may be configured as a computer program for causing a computer to realize it, or may be configured as a computer-readable recording medium on which the computer program is recorded. Examples of the recording medium include a flexible disk, a CD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, a punch card, a printed matter on which a code such as a bar code is printed, an internal storage device of a computer (a memory such as a RAM or a ROM). ) And external storage devices can be used.
本発明の実施例について以下の順序で説明する。
Ａ．システム構成：
Ａ１．道路面撮影システム：
Ａ２．路面標示地図生成装置：
Ｂ．処理概要：
Ｂ１．中間データ構成：
Ｂ２．処理例：
Ｂ３．位置合わせ加工概要：
Ｃ．路面標示地図生成方法：
Ｃ１．連結画像生成処理：
Ｃ２．位置合わせ加工：
Ｃ３．基準パス設定処理：
Ｃ４．連結画像移動処理：
Ｃ５．透明化ポリゴン設定処理：
Ｃ６．ペイント認識処理：
Ｃ７．車線境界線修正処理：
Ｄ．効果：
Embodiments of the present invention will be described in the following order.
A. System configuration:
A1. Road surface photography system:
A2. Road marking map generator:
B. Outline of processing:
B1. Intermediate data structure:
B2. Processing example:
B3. Outline of alignment processing:
C. Road marking map generation method:
C1. Connected image generation processing:
C2. Alignment processing:
C3. Standard path setting process:
C4. Connected image movement processing:
C5. Transparent polygon setting process:
C6. Paint recognition process:
C7. Lane boundary correction processing:
D. effect:
Ａ．システム構成：
本実施例では、車両に搭載したビデオカメラで撮影した道路面の画像を用いて、路面の標示を含む地図（以下、「路面標示地図」と呼ぶ）を生成する方法を示す。
本実施例のシステムは、道路面撮影システムと路面標示地図生成装置から構成される。道路面撮影システムは、道路を走行しながら道路面の画像をビデオカメラで撮影するシステムである。本実施例では、対象となる道路を、異なる走行軌跡で複数回走行し、それぞれ画像を撮影する。
路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成する装置である。まず、上述の各走行軌跡上に、撮影された画像を正射画像に変換した上で配置することで、道路面の一部の車線についての画像を生成する。そして、複数の走行軌跡の画像を、位置座標が整合するように配置することで道路全体の画像を生成する。
以下、道路面撮影システムと路面標示地図生成装置のシステム構成について説明する。
A. System configuration:
In this embodiment, a method for generating a map including road markings (hereinafter referred to as a “road marking map”) using road surface images taken by a video camera mounted on a vehicle will be described.
The system according to this embodiment includes a road surface photographing system and a road marking map generating device. The road surface photographing system is a system for photographing an image of a road surface with a video camera while traveling on the road. In the present embodiment, the target road is traveled a plurality of times with different travel trajectories, and images are respectively captured.
The road marking map generation device is a device that generates a road marking map based on an image of a road surface photographed by a road surface photographing system. First, an image of a part of the lane on the road surface is generated by arranging the photographed image after converting it into an orthographic image on each of the above-described travel trajectories. And the image of the whole road is produced | generated by arrange | positioning the image of a some driving | running | working locus so that a position coordinate may match.
Hereinafter, the system configuration of the road surface photographing system and the road marking map generating device will be described.
Ａ１．道路面撮影システム：
図１は実施例としての道路面撮影システムの構成を示す説明図である。
道路面撮影システム１００は、車両に搭載されたシステムである。図の下方のブロック図に基づき、システム構成を説明する。
ビデオカメラ１２０は、走行中の道路面の画像を撮影する。
位置計測部１１０は、撮影中の位置座標を計測する装置である。位置計測部１１０は、ＧＰＳ（Global Positioning System）１１４、ＩＭＵ（Inertial
Measurement Unit）１１６、ＤＭＩ（Distance Measuring Instrument）１１８およびコントローラ１１２から構成されている。ＧＰＳ１１４は、全地球測位システムである。ＩＭＵ１１６は、内部に３軸のジャイロおよび加速度センサを備えた慣性計測装置である。ＤＭＩ１１８は、車輪の回転を検出して移動距離を計測する装置である。
A1. Road surface photography system:
FIG. 1 is an explanatory diagram showing a configuration of a road surface photographing system as an embodiment.
The road surface photographing system 100 is a system mounted on a vehicle. The system configuration will be described based on the block diagram below.
The video camera 120 captures an image of a running road surface.
The position measurement unit 110 is a device that measures position coordinates during shooting. The position measurement unit 110 includes a GPS (Global Positioning System) 114 and an IMU (Inertial).
It comprises a measurement unit (116) 116, a distance measuring instrument (DMI) 118, and a controller 112. The GPS 114 is a global positioning system. The IMU 116 is an inertial measurement device including a triaxial gyro and an acceleration sensor inside. The DMI 118 is a device that measures the distance traveled by detecting the rotation of a wheel.
コントローラ１１２は、ＧＰＳ１１４、ＩＭＵ１１６、ＤＭＩ１１８からの信号を受け、撮影時の位置座標を逐次出力する。位置座標は任意の座標系を採ることができるが、本実施例では、緯度経度および標高を用いた。
また、これらの信号の取得後、位置座標の計測精度の評価値である自己推定位置精度σを併せて出力する。一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。
自己推定位置精度σは、任意に定義可能である。例えば、ＧＰＳ１１４の人工衛星の配置によって定まる精度低下率（ＤＯＰ（Dilution of Precision））を用いて自己推定位置精度σを算出するようにしてもよい。
The controller 112 receives signals from the GPS 114, the IMU 116, and the DMI 118, and sequentially outputs position coordinates at the time of shooting. The position coordinates can take an arbitrary coordinate system, but in this embodiment, latitude and longitude and altitude are used.
In addition, after obtaining these signals, a self-estimated position accuracy σ, which is an evaluation value of the position coordinate measurement accuracy, is also output. In general, it is known that the detection accuracy of the GPS 114 varies depending on the arrangement of artificial satellites used for detecting position coordinates, the reception status of radio waves, the presence of multipath by receiving radio waves reflected on buildings, and the like. Yes. In differential positioning, the detection accuracy is also affected by the operating status of the reference station.
The self-estimated position accuracy σ can be arbitrarily defined. For example, the self-estimated position accuracy σ may be calculated using a precision reduction rate (DOP (Dilution of Precision)) determined by the arrangement of the satellites of the GPS 114.
記録装置１３０は、ビデオカメラ１２０および位置計測部１１０の出力信号を同期して記録する。本実施例では、記録装置１３０は、汎用のパーソナルコンピュータに、記録用のハードディスク１４０を増設した装置によって構成した。ハードディスク１４０内には、図示する通り、画像データ１４２、同期データ１４４、計測データ１４６が記録される。画像データ１４２は、ビデオカメラで撮影された画像の動画ファイルである。計測データ１４６は、位置計測部１１０で得られた位置座標である。同期データ１４４は、画像データ１４２と計測データ１４６との取得時刻を対応づけるデータである。同期データ１４４および計測データ１４６を参照することにより、画像データ１４２のフレームごとに撮影地点の位置座標を得ることができる。 The recording device 130 records the output signals of the video camera 120 and the position measuring unit 110 in synchronization. In this embodiment, the recording device 130 is configured by a device in which a recording hard disk 140 is added to a general-purpose personal computer. In the hard disk 140, as shown in the figure, image data 142, synchronization data 144, and measurement data 146 are recorded. The image data 142 is a moving image file of an image taken with a video camera. The measurement data 146 is position coordinates obtained by the position measurement unit 110. The synchronization data 144 is data that associates the acquisition times of the image data 142 and the measurement data 146 with each other. By referring to the synchronization data 144 and the measurement data 146, the position coordinates of the shooting point can be obtained for each frame of the image data 142.
撮影時の記録用のデータ構造は、上述した構造に限られない。例えば、計測データ１４６は、画像データ１４２の各フレームの位置座標を順次、格納するデータとしてもよい。こうすることにより、同期データ１４４を省略することが可能となる。かかるデータを取得するためには、例えば、記録装置１３０がビデオカメラ１２０のフレームごとに同期信号を位置計測部１１０に出力し、その時の位置座標を取得する方法を採ることができる。 The data structure for recording at the time of shooting is not limited to the structure described above. For example, the measurement data 146 may be data that sequentially stores the position coordinates of each frame of the image data 142. By doing so, the synchronization data 144 can be omitted. In order to acquire such data, for example, a method in which the recording device 130 outputs a synchronization signal for each frame of the video camera 120 to the position measurement unit 110 and acquires the position coordinates at that time can be employed.
図の上方に、車両に搭載した状態を模式的に示した。
ビデオカメラ１２０は、前方画像を撮影できるよう、車両の前方に設置する。画角を広げるために広角レンズを装着してもよい。
ＧＰＳ１１４のアンテナ１１４Ａは、車両のルーフ上部に設置する。本実施例では、ＧＰＳ用の人工衛星からの電波を確実に受信し、十分な位置精度を確保することができるよう、アンテナ１１４Ａを車両の前後に主副の２台設置した。いずれか一台のみを用いるものとしてもよい。
ＩＭＵ１１６、ＤＭＩ１１８、コントローラ１１２は、それぞれ車両の後部に設置した。ＤＭＩ１１８は、後輪の回転を検出可能に装着されている。
記録装置１３０およびハードディスク１４０は車室内の任意の場所に設置可能であるため、図示を省略した。
The state mounted on the vehicle is schematically shown in the upper part of the figure.
The video camera 120 is installed in front of the vehicle so that a front image can be taken. A wide-angle lens may be attached to widen the angle of view.
The antenna 114A of the GPS 114 is installed on the upper roof of the vehicle. In the present embodiment, two main and sub antennas 114A are installed in front of and behind the vehicle so that radio waves from GPS artificial satellites can be reliably received and sufficient positional accuracy can be ensured. Only one of them may be used.
The IMU 116, DMI 118, and controller 112 were installed at the rear of the vehicle. The DMI 118 is mounted so that the rotation of the rear wheel can be detected.
Since the recording device 130 and the hard disk 140 can be installed at any location in the vehicle interior, illustration is omitted.
Ａ２．路面標示地図生成装置：
図２は実施例としての路面標示地図生成装置の構成を示す説明図である。道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成するための装置である。本実施例では、完全に自動で路面標示地図を生成するのではなく、適宜、オペレータからのコマンドによる指示を受けながら対話型または半自動で処理を進める方法を採用した。
A2. Road marking map generator:
FIG. 2 is an explanatory diagram showing a configuration of a road marking map generating apparatus as an embodiment. It is an apparatus for generating a road marking map based on an image of a road surface photographed by a road surface photographing system. In this embodiment, a method of advancing the process interactively or semi-automatically while receiving an instruction by a command from an operator as appropriate, instead of generating a road marking map completely automatically.
図中には、路面標示地図生成装置２００の機能ブロックを示した。本実施例では、路面標示地図生成装置２００は、図示する各機能を実現するためのコンピュータプログラムを、汎用のパーソナルコンピュータにインストールすることによってソフトウェア的に構築した。これらの機能ブロックの一部は、ＯＳ（Operating System）によって提供してもよい。また、これらの機能ブロックは、それぞれハードウェア的に構成することも可能である。また、ここでは説明の便宜上、スタンドアロンで稼働する装置として説明するが、各機能ブロックをネットワークで接続された複数のコンピュータに分散して用意してもよい。 In the figure, functional blocks of the road marking map generating apparatus 200 are shown. In the present embodiment, the road marking map generating apparatus 200 is constructed in software by installing a computer program for realizing each function shown in a general-purpose personal computer. Some of these functional blocks may be provided by an OS (Operating System). Each of these functional blocks can also be configured in hardware. In addition, here, for convenience of explanation, it is described as a stand-alone operating device, but each functional block may be distributed and prepared in a plurality of computers connected via a network.
主制御部２０１は、各機能ブロックを統合制御する。データ入力部２０４は、道路面撮影システム１００で取得した各種データを記録したハードディスク１４０から、画像データ１４２、同期データ１４４、計測データ１４６を入力する。本実施例では、ハードディスク１４０を道路面撮影システム１００から路面標示地図生成装置２００に接続し直すことによって、これらのデータを受け渡す方法を採ったが、ネットワーク経由でデータを送信する方法や、ＤＶＤなどの記録媒体を用いてデータを受け渡す方法を採ってもよい。 The main control unit 201 performs integrated control of each functional block. The data input unit 204 inputs image data 142, synchronization data 144, and measurement data 146 from the hard disk 140 that records various data acquired by the road surface photographing system 100. In this embodiment, the hard disk 140 is reconnected to the road marking map generating apparatus 200 from the road surface photographing system 100 to transfer these data. However, a method of transmitting data via a network, a DVD, A method of transferring data using a recording medium such as the above may be adopted.
コマンド入力部２０２は、コンピュータに備えられたキーボードやマウスなどの操作を介して、オペレータからのコマンドを入力する。
表示制御部２０３は、コンピュータのディスプレイに、路面標示地図生成装置２００での処理結果を表示したり、オペレータが種々のコマンドを指示するための画面を表示したりする。コマンド入力部２０２、表示制御部２０３の機能は、コンピュータのＯＳ（Operating System）によって提供してもよい。
The command input unit 202 inputs a command from an operator through operations such as a keyboard and a mouse provided in the computer.
The display control unit 203 displays the processing result of the road marking map generation device 200 on a computer display, or displays a screen for an operator to instruct various commands. The functions of the command input unit 202 and the display control unit 203 may be provided by a computer OS (Operating System).
軌跡データ算出部２０５は、計測データ１４６に基づき、画像データ１４２を撮影した時の走行軌跡（以下、「パス」と呼ぶこともある）を表すデータを生成する。本実施例では、軌跡データ算出部２０５は、道路面撮影システム１００によって得られる位置座標を記録した計測データ１４６に対して、位置座標が既知の基準局から提供されている検出情報に基づく補正を施すことによって軌跡データを生成する。基準局の情報を用いて位置座標を補正する技術は周知であるため、説明を省略する。この処理によって位置座標の精度を向上させることが可能となる。
もっとも、基準局からのデータを用いることは必須ではない。計測データ１４６で得られた位置座標をそのまま用いるものとしてもよい。かかる場合には、軌跡データ算出部２０５は省略することも可能である。
The trajectory data calculation unit 205 generates data representing a travel trajectory (hereinafter also referred to as “pass”) when the image data 142 is captured based on the measurement data 146. In this embodiment, the trajectory data calculation unit 205 corrects the measurement data 146 in which the position coordinates obtained by the road surface photographing system 100 are recorded based on detection information provided from a reference station whose position coordinates are known. Thus, trajectory data is generated. Since the technique for correcting the position coordinates using the information of the reference station is well known, the description thereof is omitted. This processing can improve the accuracy of position coordinates.
However, it is not essential to use data from the reference station. The position coordinates obtained from the measurement data 146 may be used as they are. In such a case, the trajectory data calculation unit 205 can be omitted.
画像変換部２０６は、正射投影、即ち画像データ１４２の各フレーム画像を真上から見た状態に変換して正射画像を生成する。
１パス合成部２０７は、画像変換部２０６によって得られた各フレーム画像の正射画像を、その正射画像内の代表点が、撮影時の位置座標に基づいて定まる位置座標に来るように配置することによって、撮影時の走行軌跡（パス）に沿った道路面の画像を合成する。こうして合成された画像を、連結画像と呼ぶものとする。合成された連結画像は、処理データ記憶部２１０に保存される。
本実施例では、それぞれの道路に対して、異なる走行軌跡で、複数回走行して、撮影を行う。１パス画像合成部２０７は、それぞれのパスごとに合成画像を生成する。この結果、連結画像は、パスの本数に応じて、複数生成される。
The image conversion unit 206 generates an orthographic image by converting each frame image of the image data 142 into an orthographic projection, that is, a state as viewed from directly above.
The one-pass composition unit 207 arranges the orthographic image of each frame image obtained by the image conversion unit 206 so that the representative point in the orthographic image comes to a position coordinate determined based on the position coordinate at the time of shooting. By doing so, an image of the road surface along the traveling locus (path) at the time of photographing is synthesized. The image synthesized in this way is called a connected image. The combined connection image is stored in the processing data storage unit 210.
In this embodiment, each road is photographed by traveling a plurality of times with different traveling trajectories. The 1-pass image composition unit 207 generates a composite image for each pass. As a result, a plurality of connected images are generated according to the number of paths.
位置合わせ処理部２２０は、１パス画像合成部２０７で生成された複数の連結画像を、位置合わせ処理、即ち連結画像間の位置座標の誤差を修正して路面の画像が整合するように配置する処理を行うことで、道路全体の正射画像（以下、「道路画像」と呼ぶこともある）を生成する。位置合わせ処理は、オペレータからの指示に応じて行う。処理内容は後述する。
位置合わせで得られた道路画像は、処理データ記憶部２１０に保存される。
The alignment processing unit 220 arranges the plurality of connected images generated by the one-pass image combining unit 207 so that the road image is aligned by correcting the positional coordinate error between the connected images, that is, the connected images. By performing the process, an orthogonal image of the entire road (hereinafter also referred to as “road image”) is generated. The alignment process is performed according to an instruction from the operator. The processing contents will be described later.
The road image obtained by the alignment is stored in the processing data storage unit 210.
透明化ポリゴン設定部２２１は、得られた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定する。上述の位置合わせを行う際には、隣接するパスに対応する正射画像の一部が重なり合うことがある。そして重なった部分では、下側に配置された正射画像の方に、路面標示が鮮明に写されている場合もある。透明化ポリゴンは、このような場合に、下側の画像が表示されるように上側の正射画像の一部を透明化する処理を施す領域を指定するためのポリゴンである。透明化ポリゴンを設定することにより、路面標示を正確に把握可能な地図を提供することが可能となる。 The transparent polygon setting unit 221 sets a transparent polygon on the obtained road image according to an operator's instruction. When performing the above-described alignment, a part of the orthographic image corresponding to the adjacent path may overlap. In the overlapped portion, the road marking may be clearly copied toward the orthographic image arranged on the lower side. In such a case, the transparent polygon is a polygon for designating an area to be subjected to processing for making a part of the upper orthographic image transparent so that the lower image is displayed. By setting the transparent polygon, it is possible to provide a map that can accurately grasp the road marking.
ペイント認識部２２３は、道路面の標示（以下、「ペイント」と呼ぶこともある）を認識する。本実施例では、１パス画像合成部２０７で生成された連結画像に基づいて標示の認識を行うものとした。ペイント認識結果は、処理データ記憶部２１０に保存される。 The paint recognition unit 223 recognizes a road surface sign (hereinafter also referred to as “paint”). In the present embodiment, the sign is recognized based on the connected image generated by the one-pass image combining unit 207. The paint recognition result is stored in the processing data storage unit 210.
車線境界線修正部２２８は、ペイント認識部２２３で認識された車線境界線について、誤認識と判断されるものを除去し、車線を画する一連の境界線を構成するものを連結する処理を行う。車線境界線修正部２２８で連結された車線境界線は、複数の点列を結ぶ折れ線（以下、「ポリライン」と呼ぶ）として定義される。ポリラインを構成する点列の座標データ、および実線か破線かという車線境界線の種別は、オブジェクトファイルとして処理データ記憶部２１０に記憶される。 The lane boundary correction unit 228 performs processing for removing the lane boundary recognized by the paint recognizing unit 223 and determining what is erroneously recognized, and connecting the components constituting a series of boundaries defining the lane. . The lane boundary line connected by the lane boundary line correcting unit 228 is defined as a broken line (hereinafter referred to as “polyline”) connecting a plurality of point sequences. The coordinate data of the point sequence constituting the polyline and the type of the lane boundary line, which is a solid line or a broken line, are stored in the processing data storage unit 210 as an object file.
路面標示地図生成装置は、以上で生成された道路画像に基づいて路面標示地図を出力することができる。例えば、道路画像を印刷可能なファイルとして出力してもよい。また、路面標示地図を電子地図として生成するように、道路画像を電子データとして出力してもよい。また、これらの出力に先立って、道路画像に基づいて路面標示の位置座標や形状データを取得する処理を行うようにしてもよい。 The road marking map generating device can output a road marking map based on the road image generated as described above. For example, a road image may be output as a printable file. Moreover, you may output a road image as electronic data so that a road marking map may be produced | generated as an electronic map. In addition, prior to these outputs, a process for obtaining position coordinates and shape data of road markings based on road images may be performed.
Ｂ．処理概要：
Ｂ１．中間データ構成：
図３は路面標示地図の生成過程における中間データを示す説明図である。これらのデータは、順次、処理データ記憶部２１０(図２参照）に記憶される。
本実施例では、道路を走行しながらビデオカメラ１２０および位置計測部１１０で取得したデータが記録装置１３０としてのパーソナルコンピュータによってハードディスク１４０内に格納されている。格納されるデータとしては、画像データ１４２、計測データ１４６、および両者の同期をとるための同期データ１４４がある。
B. Outline of processing:
B1. Intermediate data structure:
FIG. 3 is an explanatory diagram showing intermediate data in the process of generating a road marking map. These data are sequentially stored in the processing data storage unit 210 (see FIG. 2).
In this embodiment, data acquired by the video camera 120 and the position measuring unit 110 while traveling on a road is stored in the hard disk 140 by a personal computer as the recording device 130. The stored data includes image data 142, measurement data 146, and synchronization data 144 for synchronizing them.
計測データ１４６は、撮影時の位置座標データの記録である。本実施例では、基準局データ１５０を参照して、計測データ１４６を補正することにより、軌跡データ２１０ａを算出する。これは、先に図２で説明した軌跡データ算出部２０５が行う処理である。基準局データ１５０は、位置座標が既知の基準点におけるＧＰＳでの検出結果を表すデータであり、例えば、国土地理院が提供している基準点データなどを用いることができる。ここで得られた軌跡データ２１０ａは、以下、それぞれの処理において、道路面の画像を撮影した際の軌跡（以下、「パス」と呼ぶこともある）を緯度経度、高度からなる絶対座標で表すデータとして利用される。 The measurement data 146 is a record of position coordinate data at the time of shooting. In this embodiment, the trajectory data 210a is calculated by correcting the measurement data 146 with reference to the reference station data 150. This is a process performed by the trajectory data calculation unit 205 described above with reference to FIG. The reference station data 150 is data representing a detection result by GPS at a reference point whose position coordinates are known. For example, reference point data provided by the Geospatial Information Authority of Japan can be used. The trajectory data 210a obtained here represents the trajectory (hereinafter also referred to as “path”) when an image of the road surface is captured in each processing, in absolute coordinates including latitude, longitude, and altitude. Used as data.
一方、画像データ１４２、同期データ１４４、軌跡データ２１０ａからは、路面テクスチャ２１０ｃが生成される。また、同期データ１４４と軌跡データ２１０ａから、路面軌跡データが生成される。
本実施例では、各道路を複数回走行して、道路面の画像を撮影する。従って、路面テクスチャ２１０ｃおよび路線軌跡データ２１０ｂは、各道路に対して複数パス分、生成されることになる。
On the other hand, a road surface texture 210c is generated from the image data 142, the synchronization data 144, and the trajectory data 210a. In addition, road surface trajectory data is generated from the synchronization data 144 and the trajectory data 210a.
In this embodiment, each road is traveled a plurality of times, and an image of the road surface is taken. Therefore, the road surface texture 210c and the route trajectory data 210b are generated for a plurality of paths for each road.
路面テクスチャ２１０ｃおよび路線軌跡データ２１０ｂを用いて、連結画像２１０ｄが生成される。連結画像２１０ｄは、図２中の１パス画像合成部２０７によって生成される画像である。つまり、連結画像２１０ｄとは、路線軌跡データ２１０ｂで表される位置座標に基づき、各路面テクスチャ２１０ｃを配置することによって生成される各パスの路面画像である。連結画像２１０ｄも、各道路に対して複数パス分、生成されることになる。
連結画像２１０ｄは、路面テクスチャ２１０ｃを結合した一つの画像ファイルとして生成することもできる。本実施例では、後に続く処理の便宜上、合成画像として生成するのではなく、路面テクスチャ２１０ｃを配置して連結画像２１０ｄを生成するための情報（以下、「登録データ」と呼ぶこともある）を、路面テクスチャ２１０ｃの各画像と対応づけて格納するものとした。かかる情報には、路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）、および隣接する路面テクスチャ２１０ｃを特定する情報、隣接する路面テクスチャ２１０ｃとの上下関係などを含めることができる。
A coupled image 210d is generated using the road surface texture 210c and the route trajectory data 210b. The connected image 210d is an image generated by the one-pass image composition unit 207 in FIG. That is, the connected image 210d is a road surface image of each path generated by arranging each road surface texture 210c based on the position coordinates represented by the route locus data 210b. The connected image 210d is also generated for a plurality of paths for each road.
The connected image 210d can also be generated as one image file obtained by combining the road surface texture 210c. In this embodiment, for convenience of subsequent processing, information (hereinafter also referred to as “registered data”) for generating the connected image 210d by arranging the road surface texture 210c is not generated as a composite image. The image is stored in association with each image of the road surface texture 210c. Such information can include position coordinates for placing the road surface texture 210c, posture (angle) at the time of placement, information for specifying the adjacent road surface texture 210c, vertical relationship with the adjacent road surface texture 210c, and the like.
こうして得られた連結画像２１０ｄを用いて、位置合わせおよび透明化ポリゴン設定などの処理を行う。これらの処理は、図２の位置合わせ処理部２２０、透明化ポリゴン設定部２２１が行う処理である。この処理によって、複数パス分の連結画像２１０ｄを合成して、道路ごとに道路画像２１０ｅを得ることができる。
道路画像２１０ｅについても、合成画像として生成してもよいし、路面テクスチャ２１０ｃを配置して道路画像２１０ｅを生成するための情報を、路面テクスチャ２１０ｃの各画像と対応づけて格納するようにしてもよい。本実施例では、後者の方法を採用した。それぞれの路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）などの情報は、道路画像用登録データ２１０ｆとして保存されている。また、位置合わせの過程で、路線軌跡データ２１０ｂに対して、位置誤差を修正する処理が施されるため、この原データに対する修正過程を表す情報を、軌跡用登録データ２１０ｇとして保存する。
この他、連結画像２１０ｄのデータ（路面テクスチャ２１０ｃ、路線軌跡データ２１０ｂを含む）も併せて保存する。原データである画像データ１４２、軌跡データ２１０ａも保存しておくことが好ましい。仮に、合成画像化された形で連結画像２１０ｄを保存している場合には、道路画像２１０ｅは、連結画像２１０ｄを合成することになるため、合成の繰り返しで原データに比較して画質が劣化するおそれがある。これに対し、本実施例のように、路面テクスチャ２１０ｃも含めて、原データに近いデータを残しておくことにより、これらのデータを利用して道路画像２１０ｅを生成することが可能となる。従って、合成の繰り返しなど、画像データに重畳的に画像処理が施されることを抑制でき、道路画像２１０ｅの画質を向上させることが可能となる。
Using the connected image 210d thus obtained, processing such as alignment and transparent polygon setting is performed. These processes are processes performed by the alignment processing unit 220 and the transparent polygon setting unit 221 in FIG. By this process, the linked images 210d for a plurality of paths can be synthesized to obtain a road image 210e for each road.
The road image 210e may be generated as a composite image, or information for generating the road image 210e by arranging the road surface texture 210c may be stored in association with each image of the road surface texture 210c. Good. In this embodiment, the latter method is adopted. Information such as the position coordinates at which each road surface texture 210c is arranged and the posture (angle) at the time of arrangement are stored as road image registration data 210f. In addition, since a process for correcting the position error is performed on the route trajectory data 210b in the alignment process, information indicating the correction process for the original data is stored as the trajectory registration data 210g.
In addition, the data of the connected image 210d (including the road surface texture 210c and the route trajectory data 210b) are also stored. It is preferable to store the image data 142 and the trajectory data 210a as the original data. If the connected image 210d is stored in the form of a composite image, the road image 210e is combined with the connected image 210d. Therefore, the image quality is deteriorated as compared with the original data due to repeated combining. There is a risk. On the other hand, as in the present embodiment, by leaving data close to the original data including the road surface texture 210c, it is possible to generate the road image 210e using these data. Therefore, it is possible to suppress the image processing being superimposed on the image data, such as repeated synthesis, and to improve the image quality of the road image 210e.
Ｂ２．処理例：
次に、本実施例における処理の概要理解を容易にするため、処理例を示す。
図４は実施例における道路画像の生成例を示す説明図である。図４（ａ）には、１本のパスに沿って得られた連結画像の生成例を示し、図４（ｂ）には、複数パスの連結画像を配置して得られた道路画像の例を示している。
図４（ａ）中の直線Ｌ４１〜Ｌ４４は、それぞれ道路面撮影システム１００で走行しながら道路画像を撮影した際の走行軌跡（パス）を表している。図４（ａ）のＰＩＣ４１は、パスＬ４３を走行して得られた画像データに基づいて生成された連結画像である。本実施例では、広角レンズを用いて撮影しているため、１回のパスでも複数車線を覆うだけの連結画像を得ることができている。連結画像の両端が、のこぎり刃状にギザギザになっているのは、画像データの各フレームを正射投影した際に生じる形状歪みの影響である。この連結画像ＰＩＣ４１は、ギザギザの山数に応じたフレーム数の正射画像（路面テクスチャ）を配置して生成されているのである。
このような連結画像は、図中のパスＬ４１〜Ｌ４４のそれぞれに対して得られる。
B2. Processing example:
Next, in order to facilitate understanding of the outline of processing in the present embodiment, a processing example will be shown.
FIG. 4 is an explanatory diagram illustrating a generation example of a road image in the embodiment. FIG. 4A shows an example of generation of a connected image obtained along one path, and FIG. 4B shows an example of a road image obtained by arranging connected images of a plurality of paths. Is shown.
Straight lines L <b> 41 to L <b> 44 in FIG. 4A represent travel trajectories (paths) when a road image is captured while traveling on the road surface photographing system 100. The PIC 41 in FIG. 4A is a linked image generated based on image data obtained by traveling on the path L43. In this embodiment, since the image is taken using the wide-angle lens, it is possible to obtain a connected image that only covers a plurality of lanes even in one pass. The fact that both ends of the connected image are serrated in a saw-tooth shape is due to the influence of shape distortion that occurs when each frame of image data is orthographically projected. The connected image PIC41 is generated by arranging orthogonal images (road surface texture) having the number of frames corresponding to the number of jagged peaks.
Such a connected image is obtained for each of the paths L41 to L44 in the drawing.
図４（ｂ）は、パスＬ４１〜Ｌ４４に対する連結画像を合成して得られた道路画像ＰＩＣ４２を示している。図４（ａ）よりも幅広く、反対車線まで含めて道路画像が生成されていることが分かる。複数パスの連結画像を合成する際、各パスの位置座標に誤差があると、連結画像間にずれが生じる。これらのずれが存在すると、図４（ｂ）中の横断歩道、車線境界線などの標示も途中でずれた状態で表示されてしまう。本実施例では、各パスの連結画像間の位置座標の誤差を修正しつつ合成を行う。この処理を位置合わせと呼ぶ。このように位置合わせを行って連結画像を合成することにより、図４（ｂ）に示すように、横断歩道、車線境界線などの標示が整合した道路画像を得ることができる。 FIG. 4B shows a road image PIC42 obtained by synthesizing connected images for the paths L41 to L44. It can be seen that road images are generated that are wider than those in FIG. 4A and include the opposite lane. When combining a multi-pass connected image, if there is an error in the position coordinates of each pass, a shift occurs between the connected images. If these shifts exist, the signs such as the pedestrian crossing and the lane boundary in FIG. 4B are also displayed in a shifted state. In this embodiment, the composition is performed while correcting the positional coordinate error between the connected images of each path. This process is called alignment. By performing alignment in this way and synthesizing the connected images, as shown in FIG. 4B, a road image in which signs such as a pedestrian crossing and a lane boundary line are matched can be obtained.
Ｂ３．位置合わせ加工概要：
図５は位置合わせ加工の概要を示す説明図である。本実施例では、複数の連結画像に共通して撮影されている標示に基づいてオペレータが指定した対応点の位置を合わせるように、連結画像を平行移動することによって位置合わせを行う。
図５（ａ）には対応点が１つだけ指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５１、ＰＩＣ５２が描かれている。これらには、それぞれ菱形の標示、つまり横断歩道の予告標示が含まれている。ただし、図５（ａ）左側の状態では、連結画像ＰＩＣ５１、ＰＩＣ５２には相対的に位置誤差があるため、標示の位置がずれている。
オペレータは、この表示画面を見ながら、マウス等のポインティングデバイスを用いて対応点を指定する。図の例では、横断歩道の予告表示の頂点に当たるＰ５１、Ｐ５２を指定した状態を示した。これらの対応点Ｐ５１、Ｐ５２は、連結画像ＰＩＣ５１、ＰＩＣ５２に位置誤差がなければ、本来、同じ位置に重なるはずの点である。そこで、本実施例では、対応点Ｐ５１、Ｐ５２が一致するよう、図中に矢印で示すように連結画像ＰＩＣ５１、ＰＩＣ５２を平行移動させる。
この際、連結画像ＰＩＣ５１、ＰＩＣ５２の一方を基準とし、他方を平行移動する方法を採った。図の例では、連結画像ＰＩＣ５１を基準とし、連結画像ＰＩＣ５２を移動させた例を示している。このように移動することにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５３を得ることができる。
B3. Outline of alignment processing:
FIG. 5 is an explanatory diagram showing an outline of the alignment process. In the present embodiment, alignment is performed by moving the connected images in parallel so that the positions of corresponding points designated by the operator are aligned based on the signs photographed in common with the plurality of connected images.
FIG. 5A shows a processing method when only one corresponding point is designated. In the figure, two linked images PIC51 and PIC52 are drawn. Each of these includes a diamond sign, that is, a warning sign for a pedestrian crossing. However, in the state on the left side of FIG. 5 (a), the linked images PIC51 and PIC52 have a relative position error, so that the positions of the markings are shifted.
The operator designates corresponding points using a pointing device such as a mouse while looking at the display screen. In the example of the figure, a state is shown in which P51 and P52 corresponding to the apex of the notice of pedestrian crossing are designated. These corresponding points P51 and P52 are originally points that should overlap at the same position if the connected images PIC51 and PIC52 have no position error. Therefore, in this embodiment, the connected images PIC51 and PIC52 are translated as indicated by arrows in the drawing so that the corresponding points P51 and P52 coincide.
At this time, a method was adopted in which one of the connected images PIC51 and PIC52 is translated and the other is translated. In the example of the figure, an example in which the connected image PIC52 is moved with reference to the connected image PIC51 is shown. By moving in this way, it is possible to obtain the road image PIC53 in a state in which the shift of the warning sign is eliminated.
図５（ｂ）には対応点が複数指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５４、ＰＩＣ５５が描かれている。これらには、それぞれ横断歩道の予告標示が含まれている。但し、図５（ｂ）の左側の状態では、連結画像ＰＩＣ５４、ＰＩＣ５５には相対的に位置誤差があるため、標示の位置がずれている。
この状態で、オペレータが、２組の対応点を指定したとする。対応点Ｐ５４、Ｐ５３の組と、対応点Ｐ５６、Ｐ５５の組である。連結画像ＰＩＣ５４では、連結画像ＰＩＣ５５に含まれる予告標示Ｍ５２は全体が描かれており、連結画像ＰＩＣ５４に含まれる予告標示Ｍ５１は一部が消えている。このような状態であっても、対応点Ｐ５５、Ｐ５６が対応することは明らかであるため、対応点として指定することは可能である。
このように複数組の対応点が指定されると、連結画像ＰＩＣ５４を基準として、それぞれの対応点が一致するように、連結画像ＰＩＣ５５を移動させる。ただし、対応点Ｐ５３をＰ５４に一致させるための第１の移動量と、対応点Ｐ５５をＰ５６に一致させるための第２の移動量とが同じであるとは限らない。そこで、対応点Ｐ５３とＰ５５との間の領域では、第１の移動量、第２の移動量を直線補間して、各点の移動量を設定する。こうすることにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５６を得ることができる。
FIG. 5B shows a processing method when a plurality of corresponding points are designated. In the figure, two linked images PIC54 and PIC55 are drawn. Each of these includes a warning sign for a pedestrian crossing. However, in the state on the left side of FIG. 5B, since the linked images PIC54 and PIC55 have a relative position error, the positions of the markings are shifted.
In this state, it is assumed that the operator has specified two sets of corresponding points. A pair of corresponding points P54 and P53 and a pair of corresponding points P56 and P55. In the linked image PIC54, the entire warning sign M52 included in the linked image PIC55 is drawn, and a part of the warning sign M51 included in the linked image PIC54 has disappeared. Even in such a state, since it is clear that the corresponding points P55 and P56 correspond, it is possible to designate them as corresponding points.
When a plurality of sets of corresponding points are designated in this way, the linked image PIC 55 is moved so that the corresponding points match with the linked image PIC 54 as a reference. However, the first movement amount for matching the corresponding point P53 with P54 and the second movement amount for matching the corresponding point P55 with P56 are not necessarily the same. Therefore, in the region between the corresponding points P53 and P55, the first movement amount and the second movement amount are linearly interpolated to set the movement amount of each point. By doing so, it is possible to obtain the road image PIC 56 in a state in which the shift of the notice sign is eliminated.
図５（ｂ）中には、透明化ポリゴンの設定例も併せて示した。
この例では、連結画像ＰＩＣ５４中の予告標示Ｍ５１は半分が欠けている。この状態で位置合わせを行うと、この例では、連結画像ＰＩＣ５４をＰＩＣ５５の上側に重ねるように表示しているから、連結画像ＰＩＣ５５の予告標示Ｍ５２は、連結画像ＰＩＣ５４によって覆い隠されてしまう。この結果、連結画像ＰＩＣ５５では完全な状態で描かれている標示Ｍ５２を道路画像ＰＩＣ５６で活かすことができない。
そこで、このような場合に、オペレータの指示によって予告標示Ｍ５２を取り囲むように透明化ポリゴンＴＰ５０を設定する。透明化ポリゴンＴＰ５０が設定された箇所では、上側の連結画像が透明化され、切り取られたように表示される。この結果、透明化ポリゴンＴＰ５０の部分では、連結画像ＰＩＣ５４の下側に配置された連結画像ＰＩＣ５５に描かれている予告標示Ｍ５２が表示される。
本実施例では、このように透明化ポリゴンを設定可能とすることによって、それぞれの連結画像で描かれている標示を、道路画像においても有効活用することができる。
FIG. 5B also shows an example of setting a transparent polygon.
In this example, half of the notice sign M51 in the linked image PIC54 is missing. If alignment is performed in this state, in this example, the connected image PIC54 is displayed so as to be superimposed on the upper side of the PIC55, so the notice sign M52 of the connected image PIC55 is covered by the connected image PIC54. As a result, the sign M52 drawn in the complete state in the connected image PIC55 cannot be utilized in the road image PIC56.
Therefore, in such a case, the transparent polygon TP50 is set so as to surround the notice sign M52 according to an instruction from the operator. At the place where the transparent polygon TP50 is set, the upper connected image is made transparent and displayed as if it was cut out. As a result, in the part of the transparent polygon TP50, the notice sign M52 drawn on the connection image PIC55 arranged below the connection image PIC54 is displayed.
In this embodiment, by making the transparent polygons settable in this way, the signs drawn in the respective connected images can be used effectively in the road image.
図６は交差点が存在する場合の位置合わせの手順を示す説明図である。図の煩雑化を避けるため、ここでは連結画像のパスの位置関係のみを示した。図中には、２つの交差点周辺の道路が描かれている。縦の道路では、それぞれパスＢＰ６１、ＢＰ６２に沿って連結画像が得られているとする。横の道路については、破線で示したパスＢＰ６３ｂ、ＢＰ６４ｂ、ＮＰ６１ｂに沿って連結画像が得られているとする。 FIG. 6 is an explanatory diagram showing a procedure for alignment when an intersection exists. In order to avoid complication of the figure, only the positional relationship of the paths of the connected images is shown here. In the figure, roads around two intersections are drawn. It is assumed that connected images are obtained along the paths BP61 and BP62 on the vertical road, respectively. For the horizontal road, it is assumed that a connected image is obtained along the paths BP63b, BP64b, and NP61b indicated by broken lines.
本実施例では、複数のパス間の位置合わせを行う際には、いずれか一つのパスを基準パスに設定し、他のパスを平行移動して基準パスに合わせる。基準パス以外のパスを、以下、標準パスと呼ぶものとする。基準パスおよび標準パスは、任意の方法で設定可能であるが、本実施例では、後述する通り、位置精度が高いものを基準パスとして設定している。
図６の例では、縦の道路については、それぞれ単一のパスしか存在しないため、パスＢＰ６１、ＢＰ６２が基準パスとなる。
横の道路については、区間Ｄ６１ではパスＢＰ６３ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとし、区間Ｄ６２についてはＢＰ６４ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとする。ここでは、それぞれパスＢＰ６３ｂ、ＢＰ６４ｂが基準パスとして設定されているものとする。更に、パスＢＰ６３ｂ、ＢＰ６４ｂ間の位置精度を比較して、優劣を決める。パスＢＰ６３ｂ、ＢＰ６４ｂはそれぞれ区間Ｄ６１、Ｄ６２の基準パスではあるが、一本の道路に配置された連続するパスなので、これらのパス間でも位置合わせを行う必要があるからである。図６の例では、パスＢＰ６３ｂの方が、パスＢＰ６４ｂよりも位置精度が高いものとする。
この結果、横のパスについては、基準パスＢＰ６３ｂ＞基準パスＢＰ６４ｂ＞標準パスＮＰ６１ｂの順に位置合わせの優先度が定まる。
In this embodiment, when positioning between a plurality of paths, any one path is set as a reference path, and the other paths are translated to match the reference path. A path other than the reference path is hereinafter referred to as a standard path. Although the reference path and the standard path can be set by an arbitrary method, in this embodiment, as described later, a path with high position accuracy is set as the reference path.
In the example of FIG. 6, there is only a single path for each vertical road, so the paths BP61 and BP62 are the reference paths.
For the side road, in the section D61, the side having higher position accuracy among the paths BP63b and NP61b is set as a reference path, and for the section D62, the side in BP64b and NP61b having higher position accuracy is set as the reference path. Here, it is assumed that the paths BP63b and BP64b are set as reference paths, respectively. Further, the superiority or inferiority is determined by comparing the positional accuracy between the paths BP63b and BP64b. This is because the paths BP63b and BP64b are reference paths of the sections D61 and D62, respectively, but are continuous paths arranged on one road, and therefore it is necessary to perform alignment between these paths. In the example of FIG. 6, it is assumed that the path accuracy of the path BP63b is higher than that of the path BP64b.
As a result, for the horizontal path, the alignment priority is determined in the order of the reference path BP63b> reference path BP64b> standard path NP61b.
次に、上述の優先度に従って、それぞれのパスの位置合わせを行う。縦のパスＢＰ６１、ＢＰ６２は既に位置合わせが完了しているものとする。
まず、基準パスＢＰ６３ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６３ｂ上の対応点Ｐ６３ｂが指定され、その本来の位置として、点Ｐ６３ａが指定されたとする。この結果、基準パスＢＰ６３ｂは、対応点Ｐ６３ｂが、点Ｐ６３ａに一致するように移動され、実線で示した基準パスＢＰ６３ａが得られる。
図示を省略したが、基準パスＢＰ６３ｂに対応した連結画像も基準パスＢＰ６３ａに合わせて移動する。本実施例では、基準パスＢＰ６３ｂに沿って路面テクスチャを配置することによって連結画像を表示しており、これらの路面テクスチャを合成してはいない。従って、基準パスＢＰ６３ａへの移動が行われた場合には、基準パスＢＰ６３ａに沿うように、各路面テクスチャの位置を平行移動することによって、基準パスＢＰ６３ａの連結画像を得ることができる。
Next, each path is aligned according to the above-described priority. Assume that the vertical paths BP61 and BP62 have already been aligned.
First, alignment of the reference path BP63b is performed. It is assumed that the corresponding point P63b on the reference path BP63b is designated by the operator's instruction, and the point P63a is designated as its original position. As a result, the reference path BP63b is moved so that the corresponding point P63b coincides with the point P63a, and the reference path BP63a indicated by the solid line is obtained.
Although not shown, the connected image corresponding to the reference path BP63b also moves in accordance with the reference path BP63a. In the present embodiment, the connected images are displayed by arranging road surface textures along the reference path BP63b, and these road surface textures are not synthesized. Therefore, when the movement to the reference path BP63a is performed, a connected image of the reference path BP63a can be obtained by translating the position of each road surface texture along the reference path BP63a.
次に、基準パスＢＰ６４ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６４ｂ上の対応点Ｐ６５ｂ、Ｐ６４ｂが指定され、その本来の位置として、点Ｐ６５ａ、Ｐ６４ａが指定されたとする。この対応点は、基準パスＢＰ６３ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理の結果に応じて、基準パスＢＰ６４ｂの位置合わせは影響を受けることになる。
対応点が指定されると、基準パスＢＰ６４ｂは、対応点Ｐ６５ｂ、Ｐ６４ｂが、点Ｐ６５ａ、Ｐ６４ａに一致するように移動され、実線で示した基準パスＢＰ６４ａが得られる。これに合わせて、基準パスＢＰ６４ｂの連結画像を構成していた路面テクスチャも、それぞれ基準パスＢＰ６４ａ上に平行移動される。
Next, the reference path BP64b is aligned. It is assumed that corresponding points P65b and P64b on the reference path BP64b are designated by the operator's instruction, and points P65a and P64a are designated as their original positions. This corresponding point is designated based on the connected image of the reference path BP63a. That is, the alignment of the reference path BP64b is affected according to the result of the process of aligning the reference path BP63b with the reference path BP63a.
When the corresponding point is designated, the reference path BP64b is moved so that the corresponding points P65b and P64b coincide with the points P65a and P64a, and the reference path BP64a indicated by the solid line is obtained. In accordance with this, the road surface texture constituting the connected image of the reference path BP64b is also translated on the reference path BP64a.
最後に、標準パスＮＰ６１ｂの位置合わせを行う。オペレータの指示によって、標準パスＮＰ６１ｂ上の対応点Ｐ６８ｂ、Ｐ６７ｂ、Ｐ６６ｂが指定され、その本来の位置として、点Ｐ６８ａ、Ｐ６７ａ、Ｐ６６ａが指定されたとする。この対応点は、基準パスＢＰ６３ａ、ＢＰ６４ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理、および基準パスＢＰ６４ｂを基準パスＢＰ６４ａに位置合わせする処理の結果に応じて、標準パスＮＰ６１ｂの位置合わせは影響を受けることになる。
対応点が指定されると、標準パスＮＰ６１ｂは、対応点Ｐ６８ｂ、Ｐ６７ｂが、点Ｐ６８ａ、Ｐ６７ａに一致するように移動されるとともに、対応点Ｐ６７ｂ、Ｐ６６ｂが、点Ｐ６７ａ、Ｐ６６ａに一致するように移動される。これらの３点は一直線上にはないから、結果として、標準パスＮＰ６１ｂは、折れ線状の標準パスＮ６１ａに移動される。これに合わせて、標準パスＮＰ６１ｂの連結画像を構成していた路面テクスチャも、それぞれ標準パスＮＰ６１ａ上に平行移動される。
Finally, the standard path NP61b is aligned. It is assumed that corresponding points P68b, P67b, and P66b on the standard path NP61b are specified by an operator's instruction, and points P68a, P67a, and P66a are specified as their original positions. This corresponding point is designated based on the connected image of the reference paths BP63a and BP64a. That is, the alignment of the standard path NP61b is affected by the result of the process of aligning the reference path BP63b with the reference path BP63a and the process of aligning the reference path BP64b with the reference path BP64a.
When the corresponding point is designated, the standard path NP61b is moved so that the corresponding points P68b and P67b coincide with the points P68a and P67a, and the corresponding points P67b and P66b coincide with the points P67a and P66a. Moved. Since these three points are not on a straight line, as a result, the standard path NP61b is moved to the broken line-shaped standard path N61a. In accordance with this, the road surface texture constituting the connected image of the standard path NP61b is also translated on the standard path NP61a.
本実施例では、図６に示すように複数のパスが存在する場合には、以上で説明した手順によって、位置精度が高いパスから優先的に位置合わせが行われる。こうすることによって、全体の位置精度を十分に確保しつつ位置合わせを行うことができる。
例えば、図６の処理において、位置精度が低い順、つまり標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂ、基準パスＢＰ６３ｂの順に位置合わせをしたとする。この場合には、基準パスＢＰ６４ｂの位置合わせは、標準パスＮＰ６１ｂの位置合わせの影響を受け、位置精度が低下する。基準パスＢＰ６３ｂの位置合わせは、標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂの位置合わせの影響を受け、位置精度が低下する。従って、位置精度が低い順に位置合わせを行うと、パス間の相互作用によって全体の位置精度が低下してしまう。
本実施例では、これとは逆に、位置精度が高い順に位置合わせを行う。従って、最も位置精度が高いパスの位置精度を劣化させることなく、全体の位置合わせを行うことが可能となるのである。
In the present embodiment, when there are a plurality of paths as shown in FIG. 6, alignment is performed preferentially from a path with high position accuracy by the procedure described above. By doing so, it is possible to perform alignment while ensuring sufficient overall position accuracy.
For example, in the processing of FIG. 6, it is assumed that alignment is performed in the order of low position accuracy, that is, in order of the standard path NP61b, the reference path BP64b, and the reference path BP63b. In this case, the alignment of the reference path BP64b is affected by the alignment of the standard path NP61b, and the position accuracy decreases. The alignment of the reference path BP63b is affected by the alignment of the standard path NP61b and the reference path BP64b, and the position accuracy is lowered. Therefore, if the alignment is performed in the order from the lowest position accuracy, the overall position accuracy decreases due to the interaction between the paths.
In the present embodiment, on the contrary, the alignment is performed in the descending order of positional accuracy. Therefore, it is possible to perform the entire alignment without deteriorating the position accuracy of the path having the highest position accuracy.
Ｃ．路面標示地図生成方法：
以下、図１〜６で説明した路面標示地図の生成方法について、オペレータが必要に応じて指示を行う場合を例にとって、詳細に説明する。
まず、連結画像生成処理、つまり図３中の路面テクスチャ２１０ｃ、路面軌跡データ２１０ｂに基づいて各パスの連結画像２１０ｄを得る処理について説明する。
次に、位置合わせ加工、つまり複数パスに対する連結画像２１０ｄの位置合わせを行う処理、および位置合わせ加工の中で行われる基準パス設定処理、連結画像移動処理について説明する。
また、透明化ポリゴンの設定処理について説明する。
上述の一連の処理においては、路面標示地図生成装置が連結画像内の標示の位置を表示するようにすれば、オペレータが対応点や透明化ポリゴンの位置を容易に指定可能となる。また、自動的に対応点を特定したり、透明化ポリゴンを設定したりすることも可能となる。こうした処理を可能にするための処理として、連結画像内の標示を認識する処理、即ちペイント認識処理について説明する。
最後に、ペイント認識処理で認識された車線境界線について、誤認識を削除し、車線の境界を構成すべきものを連結する処理、車線境界線修正処理について説明する。
C. Road marking map generation method:
Hereinafter, the method for generating the road marking map described with reference to FIGS. 1 to 6 will be described in detail by taking as an example a case where an operator gives an instruction as necessary.
First, a connected image generation process, that is, a process of obtaining a connected image 210d of each path based on the road surface texture 210c and the road surface trajectory data 210b in FIG. 3 will be described.
Next, registration processing, that is, processing for positioning the connected image 210d with respect to a plurality of passes, reference path setting processing, and connected image movement processing performed during the positioning processing will be described.
Also, the transparent polygon setting process will be described.
In the series of processes described above, if the road marking map generating apparatus displays the position of the marking in the connected image, the operator can easily specify the corresponding point and the position of the transparent polygon. It is also possible to automatically identify corresponding points and set transparent polygons. As a process for enabling such a process, a process for recognizing a sign in a connected image, that is, a paint recognition process will be described.
Lastly, a process for deleting erroneous recognition and connecting the lane boundaries recognized in the paint recognition process and linking the lane boundaries and a lane boundary correction process will be described.
Ｃ１．連結画像生成処理：
図７は連結画像生成処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した画像変換部２０６、１パス合成部２０７の処理に相当する。
処理を開始すると、ＣＰＵは、まずフレームデータを読み込む（ステップＳ１０）。フレームデータとは、道路面撮影システム１００（図１）のビデオカメラ１２０で撮影された画像データ１４２を構成する各フレームの画像である。
C1. Connected image generation processing:
FIG. 7 is a flowchart of linked image generation processing. In terms of hardware, this is a process executed by the CPU of the road marking map generating apparatus 200. This corresponds to the processing of the image conversion unit 206 and the one-pass synthesis unit 207 shown in FIG.
When the process is started, the CPU first reads frame data (step S10). The frame data is an image of each frame constituting the image data 142 photographed by the video camera 120 of the road surface photographing system 100 (FIG. 1).
図中にフレームデータの例を示した。ビデオカメラ１２０は、道路面撮影システム１００の前方に向けて設置されているため、フレームデータには、車両の前方の道路、前方車両などが写っている。本実施例では、道路面の画像を生成したいため、このフレームデータの一部の領域を切り出して使用する。図中の領域Ａ７１は、道路面のみが含まれるように設定された切り出し領域を現している。本実施例では、車両の前方５〜７ｍの領域の画像を取得するように領域Ａ７１を設定した。領域Ａ７１の各フレーム内での相対的な位置は一定である。
領域Ａ７１は、上述の例に限らず、任意に設定可能である。ビデオカメラ１２０が一定のフレームレートで画像を撮影するため、フレームデータは、道路面を間欠的に撮影した画像群となる。従って、領域Ａ７１は、間欠的に撮影された画像群を並べた時に、道路が連続画像として再現できるように範囲を決定することが好ましい。例えば、領域Ａ７１の縦幅を狭くすれば、車両の速度が速い場合には、あるフレームデータから切り出された領域と、次のフレームデータから切り出された領域との間に隙間が生じやすくなる。一方、領域Ａ７１の縦幅を広くすれば、前方車両や空、建物など、道路画像とは異なる雑多な映像が含まれやすくなる。領域Ａ７１は、これらの影響を考慮した上で、設定すればよい。
An example of frame data is shown in the figure. Since the video camera 120 is installed toward the front of the road surface photographing system 100, the frame data includes a road ahead of the vehicle, a vehicle ahead, and the like. In this embodiment, since it is desired to generate an image of the road surface, a partial region of this frame data is cut out and used. A region A71 in the figure represents a cut-out region set to include only the road surface. In this embodiment, the area A71 is set so as to acquire an image of an area 5 to 7 m ahead of the vehicle. The relative position of the area A71 in each frame is constant.
The area A71 is not limited to the above example, and can be set arbitrarily. Since the video camera 120 captures images at a constant frame rate, the frame data is an image group obtained by intermittently capturing the road surface. Therefore, it is preferable to determine the range of the area A71 so that the road can be reproduced as a continuous image when the group of images photographed intermittently are arranged. For example, if the vertical width of the area A71 is narrowed, a gap is likely to be generated between an area cut out from certain frame data and an area cut out from the next frame data when the vehicle speed is high. On the other hand, if the vertical width of the area A71 is increased, miscellaneous images different from the road image such as the preceding vehicle, the sky, and the building are easily included. The area A71 may be set in consideration of these influences.
次に、ＣＰＵは、取得されたフレームデータを正射画像（路面テクスチャ）に画像変換する（ステップＳ１２）。図中に処理の概要を示した。上側にはフレームデータの例である。ここでは路面の状態のみが撮影され、道路の左右の車線規制線Ｌ７１、Ｌ７２および標示Ｍ７が写されている例を示した。前方を撮影した画像であるため、パース（遠近法）の影響で、本来平行な車線規制線Ｌ７１、Ｌ７２が、ハの字状に写されている。
先に説明した通り、このフレームデータの一部の領域Ａ７１を切り出して使用する。
下段には、領域Ａ７１の画像を正射投影変換した状態を例示した。道路を真上から見た画像に変換するため、左右の車線規制線Ｌ７１、Ｌ７２は図示する通り、平行な線分に変換される。標示Ｍ７も同様に真上から見た状態の形状に変換される。
Next, the CPU converts the acquired frame data into an orthogonal image (road surface texture) (step S12). The outline of the processing is shown in the figure. On the upper side is an example of frame data. Here, an example is shown in which only the road surface state is photographed, and the left and right lane regulation lines L71 and L72 and the sign M7 are photographed. Since this is an image of the front, the lane restriction lines L71 and L72 that are essentially parallel are shown in a square shape under the influence of perspective (perspective).
As described above, a partial area A71 of this frame data is cut out and used.
The lower part illustrates a state in which the image of the area A71 is orthographically converted. In order to convert the road into an image viewed from directly above, the left and right lane regulation lines L71 and L72 are converted into parallel line segments as shown in the figure. The sign M7 is similarly converted into a shape as seen from directly above.
正射投影変換の方法を説明する。
まず、道路面撮影システム１００を搭載した車両は水平面上を走行しており、被写体である道路も同一水平面上にあるものとする。
この時、道路画像、即ちフレームデータの画面上の２次元座標をｍ＝［ｕ，ｖ］Ｔとする。また、地面に固定された世界座標系の３次元座標をＭ＝［Ｘ，Ｙ，Ｚ］Ｔとする。これらの各座標に１の要素を直積で加えたベクトルを、次式（１）の通り定義する。
An orthographic projection conversion method will be described.
First, it is assumed that a vehicle on which the road surface photographing system 100 is mounted is traveling on a horizontal plane, and a road as a subject is also on the same horizontal plane.
At this time, the road image, that is, the two-dimensional coordinates on the screen of the frame data is m = [u, v] T. Further, the three-dimensional coordinate of the world coordinate system fixed to the ground is M = [X, Y, Z] T. A vector obtained by adding one element to each of these coordinates as a direct product is defined as the following equation (1).
３次元座標Ｍと、その投影画像の２次元座標ｍとの関係を以下の関係式（２）（３）によりモデル化する。 The relationship between the three-dimensional coordinate M and the two-dimensional coordinate m of the projected image is modeled by the following relational expressions (2) and (3).
ここで、ｓはスケール・ファクター；
［Ｒｔ］は、外部パラメータ行列；
Ｒは回転行列；
ｔは平行移動行列；
Ａは内部パラメータ行列である。
Where s is the scale factor;
[Rt] is an external parameter matrix;
R is a rotation matrix;
t is a translation matrix;
A is an internal parameter matrix.
内部パラメータ行列Ａは、ビデオカメラ１２０の焦点距離等を考慮した内部的なパラメータであり、実画像座標系（ｘｙ座標系）からフレーム座標系（ｕｖ座標系）への写像パラメータを表す。
α、βはそれぞれｕ軸、ｖ軸方向のスケール因子、γは２つの画像軸のスキューにより表されるパラメータ；
［ｕ0，ｖ0］Ｔは、画像の主点の座標（主点座標）である。
画像のピクセルサイズを（ｋｕ、ｋｖ）、ｕ軸とｖ軸とのなす角をθ、焦点距離をｆとすると、α、β、γは次式（４）で表される。
The internal parameter matrix A is an internal parameter considering the focal length of the video camera 120 and the like, and represents a mapping parameter from the real image coordinate system (xy coordinate system) to the frame coordinate system (uv coordinate system).
α and β are scale factors in the u-axis and v-axis directions, respectively, and γ is a parameter represented by the skew of the two image axes;
[U 0 , v 0 ] T is the coordinate (principal point coordinate) of the principal point of the image.
Assuming that the pixel size of the image is (k u , k v ), the angle between the u axis and the v axis is θ, and the focal length is f, α, β, and γ are expressed by the following equation (4).
外部パラメータ行列［Ｒｔ］は、ビデオカメラ１２０の設置位置、設置姿勢などによる外部的なパラメータであり、世界座標系（ＸＹＺ座標系）から実画像座標系（ｘｙ座標系）への写像パラメータを表す。世界座標系は、ビデオカメラ１２０の真下の路面を原点とし、車両の進行方向に対し垂直な水平軸をＸ軸、鉛直軸をＹ軸、進行方向の水平軸をＺ軸とする。
平行移動ベクトルｔは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。
ビデオカメラ１２０の高さ（実画像の画像主点の高さ）をｈとすると、平行移動ベクトルｔは次式（５）で表される。
The external parameter matrix [Rt] is an external parameter depending on the installation position, installation posture, and the like of the video camera 120, and represents a mapping parameter from the world coordinate system (XYZ coordinate system) to the real image coordinate system (xy coordinate system). . In the world coordinate system, the road surface directly below the video camera 120 is the origin, the horizontal axis perpendicular to the traveling direction of the vehicle is the X axis, the vertical axis is the Y axis, and the horizontal axis in the traveling direction is the Z axis.
The parallel movement vector t is a movement vector of the image principal point of the real image with respect to the origin in the world coordinate system.
When the height of the video camera 120 (the height of the main image point of the actual image) is h, the translation vector t is expressed by the following equation (5).
また、世界座標系において、実画像のヘディング方向の回転角（ヨー角）をφ、ピッチ角をω、ロール角をκとすると、回転行列Ｒは次式（６）で表される。
内部パラメータ行列Ａは、事前の測定によって得られる。
ヨー角φ、ピッチ角ω、ロール角κおよび画像主点の高さｈは、次の手順で得られる。まず、初期状態、即ち車両が水平な地面に設置されている状態において、ヨー角φ0、ピッチ角ω0、ロール角κ0、および高さｈ0の基準値を計測しておく。次に、走行中には逐次、車両の姿勢角の変化および車高の変化をジャイロ、加速度センサ等で記録しておき、上述の基準値にこの変化を反映することで、各地点でのヨー角φ、ピッチ角ω、ロール角κおよび高さを得ることができる。
The internal parameter matrix A is obtained by a prior measurement.
The yaw angle φ, pitch angle ω, roll angle κ, and height h of the image principal point are obtained by the following procedure. First, in an initial state, that is, a state where the vehicle is installed on a horizontal ground, reference values of the yaw angle φ 0 , the pitch angle ω 0 , the roll angle κ 0 , and the height h 0 are measured. Next, while driving, the change in the vehicle attitude angle and the change in vehicle height are recorded with a gyroscope, an acceleration sensor, etc., and this change is reflected in the above-mentioned reference value. The angle φ, the pitch angle ω, the roll angle κ, and the height can be obtained.
正射投影変換は、これらのパラメータに基づき、式（２）を用いることにより、行われ、フレーム座標系（ｕｖ座標系）の道路画像を、世界座標系（ＸＹＺ座標系）の投射道路画像に変換することができる。その手順は次の通りである。
まず、被写体である道路面を水平面（Ｙ＝０）の画像であると仮定する。この時、式（２）より、次式（７）の関係が成立する。
The orthographic projection conversion is performed by using the equation (2) based on these parameters, and a road image in the frame coordinate system (uv coordinate system) is converted into a projected road image in the world coordinate system (XYZ coordinate system). Can be converted. The procedure is as follows.
First, it is assumed that the road surface as a subject is an image of a horizontal plane (Y = 0). At this time, the relationship of the following equation (7) is established from the equation (2).
この結果、ピクセル（ｕ，ｖ）に対する世界座標（Ｘ，Ｚ）及びスケールパラメータｓは次式（８）により求めることができる。 As a result, the world coordinates (X, Z) and the scale parameter s for the pixel (u, v) can be obtained by the following equation (8).
次に、路面標示地図生成装置２００のＣＰＵは、被写体である道路面の傾斜を考慮した補正を行う。
まず、フレームデータを取得した各地点の位置座標データ（Ｘ０，Ｙ０，Ｚ０）と、被写体である道路面付近の複数点の位置座標（Ｘｉ，Ｙｉ，Ｚｉ）とから、被写体である道路面の勾配を計算する。本実施例では、勾配は一様であるものと仮定した。
具体的には、撮影地点の世界座標点（Ｘ，Ｙ，Ｚ）付近の位置座標データから、高さの変化Δｈを求める。つまり、Δｈ＝Ｙ−Ｙ０である。この時、一様な勾配を仮定すると、道路面上の世界座標系（Ｘ’，Ｙ’，Ｚ’）の点の奥行きＺ’は次式（９）で求めることができる。
Next, the CPU of the road marking map generating apparatus 200 performs correction in consideration of the inclination of the road surface that is the subject.
First, from the position coordinate data (X 0 , Y 0 , Z 0 ) of each point where the frame data is acquired, and the position coordinates (X i , Y i , Z i ) of a plurality of points near the road surface that is the subject, The slope of the road surface that is the subject is calculated. In this embodiment, it is assumed that the gradient is uniform.
Specifically, the height change Δh is obtained from position coordinate data in the vicinity of the world coordinate point (X, Y, Z) of the shooting point. That is Δh = Y-Y 0. At this time, assuming a uniform gradient, the depth Z ′ of the points in the world coordinate system (X ′, Y ′, Z ′) on the road surface can be obtained by the following equation (9).
補正した道路面上の奥行きＺ’が決まると、式（２）より、フレーム座標点（ｕ，ｖ）と世界座標点（Ｘ’，Ｙ’，Ｚ’）との関係は次式（１０）の通りとなる。 When the corrected depth Z ′ on the road surface is determined, the relationship between the frame coordinate point (u, v) and the world coordinate point (X ′, Y ′, Z ′) is expressed by the following equation (10) from the equation (2). It becomes as follows.
これより、世界座標点のＸ’，Ｙ’を次式（１１）によって計算することができる。
以上の通り、フレームデータ上の点（ｕ，ｖ）を、それぞれ（Ｘ’，Ｚ’）に写像すれば、正射画像（路面テクスチャ）を得ることができる。図７中に示すように、フレームデータを矩形の領域Ａ７１で切り出した上で正射投影すると、上方が広がる台形状の正射画像（路面テクスチャ）Ａ７２が得られる。
本実施例では、後に続く処理の便宜のため、正射画像（路面テクスチャ）を低解像度／高解像度の２通りで生成するものとした。高解像度の正射画像（路面テクスチャ）（以下、「高解像度画像」と呼ぶ）は、もとのフレームデータの切り出し領域Ａ７１をそのまま利用して生成された画像、即ち原画像と同じ解像度で生成された画像である。低解像度の正射画像（路面テクスチャ）（以下、「低解像度画像」と呼ぶ）は、解像度を原データよりも下げた画像である。低解像度画像の解像度は、路面標示地図生成装置２００が軽い負荷で画像を表示することができる程度の値とすることが好ましく、原画像の解像度の半分など、任意に設定可能である。
As described above, an orthographic image (road surface texture) can be obtained by mapping the point (u, v) on the frame data to (X ′, Z ′), respectively. As shown in FIG. 7, when the frame data is cut out in a rectangular area A71 and orthographically projected, a trapezoidal orthographic image (road surface texture) A72 spreading upward is obtained.
In the present embodiment, for the convenience of the subsequent processing, the orthographic image (road surface texture) is generated in two ways of low resolution / high resolution. A high-resolution orthographic image (road texture) (hereinafter referred to as a “high-resolution image”) is generated with the same resolution as the original image, ie, an image generated by using the cut-out area A71 of the original frame data as it is. It is an image that was made. A low-resolution orthographic image (road surface texture) (hereinafter referred to as a “low-resolution image”) is an image whose resolution is lower than that of the original data. The resolution of the low-resolution image is preferably set to such a value that the road marking map generating apparatus 200 can display the image with a light load, and can be arbitrarily set such as half the resolution of the original image.
次に、路面標示地図生成装置２００のＣＰＵは、得られた正射画像（路面テクスチャ）を配置して１パス画像の合成を行う（ステップＳ１４）。図中に１パス画像合成の例を示した。この例では、正射画像（路面テクスチャ）Ａ７２［０］〜Ａ７２［５］が合成されている。
各正射画像（路面テクスチャ）Ａ７２は、フレーム座標系（ｕｖ座標系）の原点に対応する点を、各フレームデータの撮影時の位置座標に基づいて配置すればよい。フレームデータは車両の位置よりも前方を写したものであるため、正射画像（路面テクスチャ）は、車両位置から一定距離だけ前方に移動させた地点に配置する必要がある。本実施例では、フレームデータ毎に車輌位置とフレーム座標系の位置関係を計算して配置する。また、正射画像（路面テクスチャ）は、時系列的に古い画像から新しい画像に順次、配置するものとした。
このように正射画像（路面テクスチャ）を配置することによって、道路面の車線境界線Ｌ７１、Ｌ７２および標示Ｍ７が再現される。
本実施例では、連結画像生成処理の段階では、正射画像（路面テクスチャ）を１枚の画像に結合することなく、配置して表示する状態に留めている。従って、１パス画像合成処理（ステップＳ１４）で生成されるのは、合成画像ではなく、各正射画像（路面テクスチャ）の配置を決定する情報となる。もっとも、この処理において、正射画像（路面テクスチャ）を１枚の画像に結合する方法を採ることもできる。
Next, the CPU of the road marking map generating apparatus 200 arranges the obtained orthographic image (road surface texture) and synthesizes a one-pass image (step S14). An example of 1-pass image synthesis is shown in the figure. In this example, orthographic images (road surface texture) A72 [0] to A72 [5] are synthesized.
In each orthographic image (road surface texture) A72, a point corresponding to the origin of the frame coordinate system (uv coordinate system) may be arranged based on the position coordinates at the time of shooting each frame data. Since the frame data is a forward image of the position of the vehicle, the orthographic image (road surface texture) needs to be arranged at a point moved forward by a certain distance from the vehicle position. In this embodiment, the positional relationship between the vehicle position and the frame coordinate system is calculated and arranged for each frame data. In addition, the orthographic image (road surface texture) is sequentially arranged from the old image to the new image in time series.
By arranging the orthographic image (road surface texture) in this way, the lane boundary lines L71 and L72 and the marking M7 on the road surface are reproduced.
In the present embodiment, at the stage of the connected image generation processing, the orthographic image (road surface texture) is kept arranged and displayed without being combined with one image. Therefore, what is generated by the one-pass image synthesis process (step S14) is not a synthesized image but information that determines the arrangement of each orthogonal image (road surface texture). However, in this process, a method of combining an orthographic image (road surface texture) into one image can be adopted.
Ｃ２．位置合わせ加工：
図８は位置合わせ加工のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した位置合わせ処理部２２０の処理に相当する。
処理を開始すると、ＣＰＵは、まず処理の対象となる道路（以下、「対象道路」と言う）についてのオペレータからの指定を入力する（ステップＳ２０）。そして、対象道路に対応する連結画像を入力する（ステップＳ２２）。本実施例では、それぞれの道路について、走行位置を変えながら複数回走行して、路面画像を撮影している。従って、各走行に対応するパスに基づいて、それぞれ連結画像が生成されている。ステップＳ２２では、これらの複数の連結画像を読み込む。
C2. Alignment processing:
FIG. 8 is a flowchart of alignment processing. In terms of hardware, this is a process executed by the CPU of the road marking map generating apparatus 200. This corresponds to the processing of the alignment processing unit 220 shown in FIG.
When the process is started, the CPU first inputs a designation from the operator regarding a road to be processed (hereinafter referred to as “target road”) (step S20). Then, a connected image corresponding to the target road is input (step S22). In this embodiment, each road is traveled a plurality of times while changing the travel position, and a road surface image is taken. Therefore, a connected image is generated based on the path corresponding to each run. In step S22, the plurality of connected images are read.
次に、ＣＰＵは基準パスを設定する（ステップＳ３０）。基準パスとは、複数のパスの位置合わせをする際に、基準となるパスである。本実施例では、対象道路に対応するパスのうち、位置精度の評価値、即ち自己推定位置精度が最も高いものを選択する。基準パスの設定方法については、後述する。 Next, the CPU sets a reference path (step S30). The reference path is a path that serves as a reference when positioning a plurality of paths. In the present embodiment, among the paths corresponding to the target road, the evaluation value of the position accuracy, that is, the one having the highest self-estimated position accuracy is selected. The reference path setting method will be described later.
基準パスが設定されると、ＣＰＵはオペレータの操作に従い、各パスについて対応点を設定する処理を行う（ステップＳ４０）。
本実施例では、図中に示すように、基準パスおよび標準パスの連結画像をディスプレイに表示し、オペレータが、マウスなどのポインティングデバイスを操作して、この画面内で対応点を設定するという方法を採った。図の例では、標準パスの画像内で菱形をした横断歩道予告標示の頂点を対応点として指定し、次に、これに対応する頂点を基準パスの画像内で指定する例を示した。対応点は、１点に限らず、複数の点を指定可能である。
When the reference path is set, the CPU performs processing for setting corresponding points for each path in accordance with the operation of the operator (step S40).
In this embodiment, as shown in the figure, a method of displaying a linked image of a reference path and a standard path on a display, and an operator operating a pointing device such as a mouse to set corresponding points in this screen. Was taken. In the example of the figure, the vertex of the pedestrian crossing warning sign having a rhombus shape in the standard path image is designated as the corresponding point, and then the corresponding vertex is designated in the reference path image. The corresponding points are not limited to one point, and a plurality of points can be designated.
本実施例では、この連結画像の表示には、低解像度画像を用いる。こうすることにより、対応点を指定する際に、表示の移動、拡大・縮小を円滑に行うことができ、作業効率を高めることができる利点がある。 In this embodiment, a low-resolution image is used for displaying the connected image. By doing so, there is an advantage that when the corresponding point is designated, the display can be smoothly moved, enlarged and reduced, and the work efficiency can be improved.
対応点が指定されると、ＣＰＵは、対応点同士が一致するように、標準パスの連結画像を基準パスの連結画像に合わせるよう移動する処理を行って、位置合わせ加工を終了する（ステップＳ５０）。
先に説明した通り、本実施例では、連結画像は一枚の合成画像として生成されている訳ではなく、正射画像（路面テクスチャ）を配置して表示している。従って、ステップＳ５０の処理では、それぞれの正射画像（路面テクスチャ）を移動することで、連結画像の移動処理が行われる。移動処理と併せて、それぞれの正射画像を低解像度画像から高解像度画像に置換する処理が行われる。高解像度画像を用いて、正射画像を再配置する処理を行うものとしてもよい。
連結画像移動処理の内容は、後で詳述する。
When the corresponding point is designated, the CPU performs a process of moving the standard path connected image to match the reference path connected image so that the corresponding points match each other, and ends the alignment process (step S50). ).
As described above, in the present embodiment, the connected image is not generated as a single composite image, but an orthographic image (road surface texture) is arranged and displayed. Therefore, in the process of step S50, the movement process of a connected image is performed by moving each orthogonal image (road surface texture). Along with the movement process, a process of replacing each orthogonal image from a low resolution image to a high resolution image is performed. Processing for rearranging the orthographic image may be performed using the high-resolution image.
The contents of the connected image moving process will be described in detail later.
Ｃ３．基準パス設定処理：
図９は基準パス設定処理のフローチャートである。位置合わせ加工（図８）のステップＳ３０に相当する処理であり、複数のパスの位置合わせをする際に、自己推定位置精度が最も高いものを基準パスとして設定するための処理である。
C3. Standard path setting process:
FIG. 9 is a flowchart of the reference path setting process. This process corresponds to step S30 of the alignment process (FIG. 8), and is a process for setting a reference path having the highest self-estimated position accuracy when aligning a plurality of paths.
ＣＰＵは、処理を開始すると、対象道路の各パスについて、フレーム画像が取得されている各地点での位置精度を入力する（ステップＳ３１）。撮影時には、図中に示すように、パスにそって点Ｐ９１，Ｐ９２、Ｐ９３等でフレーム画像を撮影するとともに、各点ごとに東西方向の位置精度ＡＣ１、南北方向の位置精度ＡＣ２が記録されている。 When starting the processing, the CPU inputs the position accuracy at each point where the frame image is acquired for each path of the target road (step S31). At the time of shooting, as shown in the figure, a frame image is shot along the path at points P91, P92, P93, etc., and position accuracy AC1 in the east-west direction and position accuracy AC2 in the north-south direction are recorded for each point. Yes.
一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。位置精度は、これらの影響を定量的に評価したものである。位置精度は、任意に定義可能であり、例えば、精度低下率（ＤＯＰ（Dilution of Precision））等を用いても良い。 In general, it is known that the detection accuracy of the GPS 114 varies depending on the arrangement of artificial satellites used for detecting position coordinates, the reception status of radio waves, the presence of multipath by receiving radio waves reflected on buildings, and the like. Yes. In differential positioning, the detection accuracy is also affected by the operating status of the reference station. The position accuracy is a quantitative evaluation of these effects. The position accuracy can be arbitrarily defined. For example, a precision reduction rate (DOP (Dilution of Precision)) or the like may be used.
ＣＰＵは、各点の位置精度に基づいて、パスごとに自己推定位置精度σを算出する（ステップＳ３２）。 The CPU calculates the self-estimated position accuracy σ for each path based on the position accuracy of each point (step S32).
自己位置推定精度は、ＧＰＳと、ＩＭＵ、ＤＭＩ等とのずれに基づいて定まる値としてもよい。この場合は、例えば、ずれ量の標準偏差を用いても良い。また、東西方向の標準偏差の自乗と、南北方向の標準偏差の自乗の和を求め、この平方根を自己位置推定精度として用いても良い。このように、ＧＰＳと、ＩＭＵ、ＤＭＩ等のずれ量に応じた値とする場合には、自己位置推定精度は、ずれが大きい程、大きい値となる。つまり、自己推定位置精度は値が小さい方が、精度が高いことを示す評価値となる。
各パスの自己推定位置精度σが得られると、ＣＰＵはこの値が最小となるパスを基準パスとして設定する（ステップＳ３３）。対象道路に対して単一のパスしか存在しない場合には、無条件にそのパスが基準パスとして設定されることになる。この基準パスの自己推定位置精度をσＢとする。
The self-position estimation accuracy may be a value determined based on a difference between GPS and IMU, DMI, or the like. In this case, for example, a standard deviation of the deviation amount may be used. Alternatively, the sum of the square of the standard deviation in the east-west direction and the square of the standard deviation in the north-south direction may be obtained, and this square root may be used as the self-position estimation accuracy. As described above, when the GPS, IMU, DMI, and other values are used, the self-position estimation accuracy increases as the deviation increases. That is, the smaller the value of the self-estimated position accuracy is, the higher the accuracy is.
When the self-estimated position accuracy σ of each path is obtained, the CPU sets the path having the minimum value as the reference path (step S33). If there is only a single path for the target road, that path is unconditionally set as the reference path. Let the self-estimated position accuracy of this reference path be σ B.
ステップＳ３３で設定された基準パスの自己推定位置精度σＢが、所定の閾値σＴＨよりも低い場合には（ステップＳ３４）、基準パス設定処理を終了する。
これに対し、自己推定位置精度σＢが、所定の閾値σＴＨ以上の場合には、エラー表示を行って（ステップＳ３５）、処理を終了する。この場合には、基準パスの位置精度が十分確保されていないことを意味するため、位置合わせ処理を行っても、位置精度が十分に保証されないからである。
所定の閾値σＴＨは、上述の通り、路面標示地図として確保すべき位置精度に基づいて任意に設定可能である。
If the self-estimated position accuracy σ B of the reference path set in step S33 is lower than the predetermined threshold σ TH (step S34), the reference path setting process is terminated.
On the other hand, if the self-estimated position accuracy σ B is equal to or greater than the predetermined threshold σ TH , an error display is performed (step S35), and the process ends. In this case, it means that the position accuracy of the reference path is not sufficiently ensured, and therefore the position accuracy is not sufficiently ensured even if the alignment process is performed.
As described above, the predetermined threshold σ TH can be arbitrarily set based on the position accuracy to be secured as the road marking map.
エラー表示（ステップＳ３５）を行うか否かの判断対象となるのは、基準パスの自己推定位置精度σＢのみとした。他の標準パスについては、自己推定位置精度が低い場合でも、基準パスを基準として位置合わせを行うことにより、位置精度を高めることが可能だからである。
もっとも、位置合わせ処理における修正は、いずれのパスに対してもできるだけ小さい方が、より好ましいと言える。従って、ステップＳ３４において、全てのパスの自己推定位置精度を閾値σＴＨと比較し、いずれか一本でも、この閾値を下回る精度のパスが存在する場合にはエラー表示を行うようにしてもよい。
ただし、標準パスにも基準パスと同等の位置精度を要求すると、エラー表示が頻繁になされるおそれがある。かかる弊害を回避するため、標準パスでは基準パスよりも高い閾値σＴＨを用いるようにしてもよい。つまり、標準パスについては位置精度の要求を基準パスよりも緩めるのである。こうすることによって、標準パスについても最低限の位置精度を保証しつつ、エラー表示が頻繁になされるのを回避することができる。
It is only the self-estimated position accuracy σ B of the reference path that is the object of determination as to whether or not to perform error display (step S35). This is because, with respect to other standard paths, even if the self-estimated position accuracy is low, it is possible to improve the position accuracy by performing alignment with reference to the reference path.
However, it can be said that the correction in the alignment process is preferably as small as possible for any path. Therefore, in step S34, the self-estimated position accuracy of all the paths is compared with the threshold value σTH, and if any one of the paths has an accuracy lower than the threshold value, an error display may be performed. .
However, if the standard path is required to have the same position accuracy as the reference path, there is a possibility that error display is frequently performed. In order to avoid such an adverse effect, a higher threshold σ TH may be used in the standard path than in the reference path. In other words, for the standard path, the positional accuracy requirement is relaxed compared to the reference path. By doing so, it is possible to avoid frequent error display while guaranteeing the minimum position accuracy for the standard path.
Ｃ４．連結画像移動処理：
（１）フローチャート：
図１０は連結画像移動処理のフローチャートである。位置合わせ処理（図８）のステップＳ５０の処理に相当する。
処理を開始すると、ＣＰＵは移動対象となる標準パスのデータおよび対応点のデータを入力する（ステップＳ５１）。標準パスのデータとは、フレーム画像が撮影された時の位置座標を順次、記録した点列からなる軌跡データである。対応点のデータは、図８のステップＳ２０において、基準パスおよび標準パスが表示された画面内でオペレータが指定した対応点の座標値である。
C4. Connected image movement processing:
(1) Flow chart:
FIG. 10 is a flowchart of the connected image movement process. This corresponds to the processing in step S50 of the alignment processing (FIG. 8).
When the process is started, the CPU inputs standard path data and corresponding point data to be moved (step S51). The standard path data is trajectory data including a point sequence in which position coordinates when a frame image is taken are sequentially recorded. The corresponding point data is the coordinate value of the corresponding point designated by the operator in the screen on which the reference path and the standard path are displayed in step S20 of FIG.
ＣＰＵは、次に、標準パス上で正射画像（路面テクスチャ）が配置されている点ごとに、移動ベクトルを算出する（ステップＳ５２）。
図中に移動ベクトルの算出例を示した。この例では、標準パスＮＰ１０について、対応点Ｐ１０１、Ｐ１０３が指定されているものとする。標準パス上には、図中に台形で示すように正射画像（路面テクスチャ）が配置されている。
Next, the CPU calculates a movement vector for each point where the orthographic image (road surface texture) is arranged on the standard path (step S52).
An example of movement vector calculation is shown in the figure. In this example, it is assumed that corresponding points P101 and P103 are designated for the standard path NP10. On the standard path, an orthographic image (road surface texture) is arranged as shown by a trapezoid in the drawing.
対応点Ｐ１０１、Ｐ１０３に対応する点としては、基準パス上では、対応点Ｐ１０２、Ｐ１０４が指定されているものとする。ＣＰＵは、これらの指定結果に基づき、対応点について移動ベクトルを求める。図の例では、標準パスの対応点Ｐ１０１からＰ１０２に向かう移動ベクトルＶ１０と、対応点Ｐ１０３からＰ１０４に向かう移動ベクトルＶ１１が得られる。 As points corresponding to the corresponding points P101 and P103, it is assumed that corresponding points P102 and P104 are designated on the reference path. The CPU obtains a movement vector for the corresponding points based on these designation results. In the illustrated example, a movement vector V10 from the corresponding point P101 to P102 of the standard path and a movement vector V11 from the corresponding point P103 to P104 are obtained.
対応点は、標示の頂点など、オペレータが基準パスと標準パスとで対応をとりやすい点を指定するため、必ずしも標準パスＮＰ１０上で指定されるとは限らない。対応点が標準パスＮＰ１０からずれた場所で指定されている場合には、図中に破線で示すように標準パスＮＰ１０からずれた場所に移動ベクトルＶ１０ａが得られる。従って、この移動ベクトルＶ１０ａの始点が標準パスＮＰ１０上に来るように、標準パスＮＰ１０に垂直方向に移動させて移動ベクトルＶ１０を求めればよい。 The corresponding point is not necessarily specified on the standard path NP10 because the operator specifies a point such as the apex of the sign that the operator can easily correspond with the standard path and the standard path. When the corresponding point is specified at a location deviated from the standard path NP10, the movement vector V10a is obtained at a location deviated from the standard path NP10 as indicated by a broken line in the drawing. Therefore, the movement vector V10 may be obtained by moving in the vertical direction to the standard path NP10 so that the starting point of the movement vector V10a is on the standard path NP10.
対応点での移動ベクトルＶ１０、Ｖ１１が得られると、ＣＰＵは、これらを補間することによって、対応点Ｐ１０１、Ｐ１０３の間に位置する各点での移動ベクトルを求める。例えば、図中に示すように、フレーム画像の撮影地点ＰＰ１０で移動ベクトルを求める場合には、この地点を始点とするように移動ベクトルＶ１０、Ｖ１１を平行移動し、両ベクトルの終点を結ぶ線分を、対応点Ｐ１０１〜ＰＰ１０の距離、Ｐ１０３〜ＰＰ１０の距離の比で内分する点を求める。こうすることによって、点ＰＰ１０を始点とし、この内分点を終点とする移動ベクトルＶＰ１０を求めることができる。 When the movement vectors V10 and V11 at the corresponding points are obtained, the CPU obtains the movement vectors at the respective points located between the corresponding points P101 and P103 by interpolating these. For example, as shown in the figure, when the movement vector is obtained at the shooting point PP10 of the frame image, the movement vectors V10 and V11 are translated so that this point is the starting point, and a line segment connecting the end points of both vectors is obtained. Is internally divided by the ratio of the distance between corresponding points P101 to PP10 and the distance between P103 to PP10. By doing so, it is possible to obtain a movement vector VP10 starting from the point PP10 and ending at this internal dividing point.
２つの移動ベクトルＶ１０、Ｖ１１に挟まれた区間に存在しない点については、最も近い位置にある移動ベクトルをそのまま用いる。図中の例では、点Ｐ１０１よりも右側の区間では、移動ベクトルＶ１０をそのまま用い、点Ｐ１０３の左側の区間では、移動ベクトルＶ１１をそのまま用いることになる。
また、対応点が一つしか指定されておらず、移動ベクトルが一つしか与えられない場合は、この移動ベクトルを用いる。
For points that do not exist in the section between the two movement vectors V10 and V11, the movement vector at the closest position is used as it is. In the example in the figure, the movement vector V10 is used as it is in the section on the right side of the point P101, and the movement vector V11 is used as it is in the section on the left side of the point P103.
Further, when only one corresponding point is specified and only one movement vector is given, this movement vector is used.
ＣＰＵは以上の処理で得られた移動ベクトルに従って、正射画像（路面テクスチャ）を平行移動して（ステップＳ５３）、連結画像移動処理を終了する。図の例では、標準パスＮＰ１０の点ＰＰ１０に配置されていた路面テクスチャＴＸ１１が、移動ベクトルＶＰ１０に従って路面テクスチャＴＸ１２の位置に平行移動される例を示している。
この処理と併せて、標準パスＮＰ１０上の点ＰＰ１０の位置も移動ベクトルＶＰ１０によって修正される。従って、ステップＳ５３の処理では、路面テクスチャの移動と共に、標準パスＮＰ１０の軌跡も修正されることになる。
The CPU translates the orthographic image (road surface texture) according to the movement vector obtained by the above processing (step S53), and ends the connected image movement processing. In the example of the figure, an example is shown in which the road surface texture TX11 arranged at the point PP10 of the standard path NP10 is translated to the position of the road surface texture TX12 according to the movement vector VP10.
Along with this processing, the position of the point PP10 on the standard path NP10 is also corrected by the movement vector VP10. Therefore, in the process of step S53, the locus of the standard path NP10 is also corrected along with the movement of the road surface texture.
（２）位置合わせ加工の処理例（１）：
図１１は位置合わせ加工の処理例（１）を示す説明図である。図１１（ａ）〜図１１（ｃ）のそれぞれには、標準パスＮＰ１１および基準パスＢＰ１１に対する連結画像を重ねて表示した状態を示している。図１１（ａ）は標準パスＮＰ１１の連結画像を、基準パスＢＰ１１の連結画像よりも上に配置した状態である。先に説明した通り、連結画像は多数の路面テクスチャを配置することで構成されているが、図中には、説明の便宜上、一つの路面テクスチャＴＸ１１に輪郭を付して示した。
オペレータは、この画面中で、標準パスＮＰ１１における対応点Ｐ１１１を指定する。対応点Ｐ１１１は、任意に設定可能である。本実施例では、分離帯標示Ｍ１１の白線の斜め縞模様の端点の一つを対応点Ｐ１１１として選択している。
(2) Positioning processing example (1):
FIG. 11 is an explanatory view showing a processing example (1) of alignment processing. Each of FIGS. 11A to 11C shows a state in which the linked images for the standard path NP11 and the reference path BP11 are displayed in an overlapping manner. FIG. 11A shows a state in which the connected image of the standard path NP11 is arranged above the connected image of the reference path BP11. As described above, the connected image is configured by arranging a large number of road surface textures, but for the sake of convenience of explanation, one road surface texture TX11 is illustrated with an outline.
The operator designates the corresponding point P111 in the standard path NP11 in this screen. The corresponding point P111 can be arbitrarily set. In this embodiment, one of the end points of the white stripe diagonal stripe pattern of the separation band sign M11 is selected as the corresponding point P111.
図１１（ｂ）は、基準パスＢＰ１１の連結画像を上側にして配置した状態を示している。この状態では、標準パスＮＰ１１と基準パスＢＰ１１の位置がずれている。従って、基準パスＢＰ１１の連結画像を上側に表示すると、対応点Ｐ１１１の位置は、分離帯標示Ｍ１２の白線の斜め縞模様からずれてしまう。 FIG. 11B shows a state where the connected images of the reference path BP11 are arranged on the upper side. In this state, the positions of the standard path NP11 and the reference path BP11 are shifted. Therefore, when the connected image of the reference path BP11 is displayed on the upper side, the position of the corresponding point P111 is deviated from the diagonal stripe pattern of the white line of the separation band sign M12.
図１１（ｃ）は、基準パスＢＰ１１の連結画像を上側にした状態で、対応点Ｐ１１２を指定した状態を示している。つまり、基準パスＢＰ１１を上側にした画像内で、分離帯標示Ｍ１１の白線の斜め縞模様の端点を対応点Ｐ１１２として選択すればよい。
対応点Ｐ１１２が指定されると、標準パスＮＰ１１の対応点Ｐ１１１から基準パスＢＰ１１の対応点Ｐ１１２に向かうように移動ベクトルＶ１１が求められる。この移動ベクトルＶ１１に従って、路面テクスチャＴＸ１１を移動すれば、対応点Ｐ１１１は対応点Ｐ１１２に一致し、分離帯標示Ｍ１１、Ｍ１２の位置も一致させることができる。
FIG. 11C shows a state in which the corresponding point P112 is specified with the connected image of the reference path BP11 facing upward. That is, in the image with the reference path BP11 on the upper side, the end point of the white stripe of the separation band sign M11 may be selected as the corresponding point P112.
When the corresponding point P112 is designated, the movement vector V11 is obtained so as to go from the corresponding point P111 of the standard path NP11 to the corresponding point P112 of the reference path BP11. If the road texture TX11 is moved according to the movement vector V11, the corresponding point P111 coincides with the corresponding point P112, and the positions of the separation band signs M11 and M12 can also coincide.
路面テクスチャＴＸ１１だけでなく、位置合わせ加工では、標準パスＮＰ１１を構成する他の路面テクスチャも同様に、移動ベクトルＶ１１に従って移動させる。ここでは対応点を一つだけ指定した処理例を示したが、対応点は複数指定してもよい。例えば、図の例では、横断歩道の縞模様、停止線、車線境界線の端点などを対応点として利用することが考えられる。 In the alignment process, not only the road surface texture TX11 but also other road surface textures constituting the standard path NP11 are similarly moved according to the movement vector V11. Although an example of processing in which only one corresponding point is specified is shown here, a plurality of corresponding points may be specified. For example, in the example of the figure, it is conceivable to use the crossing stripe pattern, the stop line, the end point of the lane boundary line, or the like as the corresponding point.
（３）位置合わせ加工の処理例（２）：
図１２は位置合わせ加工の処理例（２）を示す説明図である。標準パスＮＰ１２、基準パスＢＰ１２の連結画像を重ねた状態を示した。説明の便宜上、双方の路面標示を視認可能な状態で示している。位置合わせ前は、標準パスＮＰ１２、基準パスＢＰ１２の位置がずれているため、車線境界線などの標示の位置はずれている。
オペレータは、ここでは破線での車線境界線の端点の一つを対応点として選択している。標準パスＮＰ１２については車線境界線Ｌ１２２の端点を対応点Ｐ１２２として選択し、基準パスＢＰ１２については車線境界線Ｌ１２１の端点を対応点Ｐ１２１として選択する。この結果、標準パスＮＰ１２の対応点Ｐ１２２から基準パスＢＰ１２の対応点Ｐ１２１に向かう移動ベクトルＶ１２が定まる。
(3) Positioning processing example (2):
FIG. 12 is an explanatory view showing a processing example (2) of alignment processing. The state where the connected images of the standard path NP12 and the reference path BP12 are overlapped is shown. For convenience of explanation, both road markings are shown in a visible state. Before the alignment, the positions of the standard path NP12 and the reference path BP12 are deviated, and thus the positions of the markings such as the lane boundary line are deviated.
Here, the operator selects one of the end points of the lane boundary line indicated by a broken line as a corresponding point. For the standard path NP12, the end point of the lane boundary line L122 is selected as the corresponding point P122, and for the reference path BP12, the end point of the lane boundary line L121 is selected as the corresponding point P121. As a result, a movement vector V12 from the corresponding point P122 of the standard path NP12 toward the corresponding point P121 of the reference path BP12 is determined.
図１３は位置合わせ加工の処理（２）の加工結果を示す説明図である。
上述の通り、標準パスＮＰ１２の連結画像を、移動ベクトルＶ１２に従って移動することによって、車線境界線の位置を合わせることができる。位置合わせの結果が車線境界線Ｌ１３である。
また、この位置合わせ加工によって、標準パスも基準パスの位置に合わせられる。本実施例は、本来、異なる位置を走行した複数のパスを位置合わせすることによって、道路面の画像をを生成する。この際、図１２、図１３の比較から分かる通り、対応点に基づいて設定される移動ベクトルに従って、標準パスを平行移動することにより、複数のパス間で、路面標示の位置関係およびパスの位置関係を、非常によく一致させることができる。
FIG. 13 is an explanatory diagram showing a processing result of the positioning processing (2).
As described above, the position of the lane boundary line can be adjusted by moving the connected image of the standard path NP12 according to the movement vector V12. The result of the alignment is the lane boundary line L13.
In addition, by this alignment process, the standard path is also aligned with the position of the reference path. In the present embodiment, an image of a road surface is generated by aligning a plurality of paths originally traveling at different positions. At this time, as can be seen from the comparison between FIG. 12 and FIG. 13, by moving the standard path in parallel according to the movement vector set based on the corresponding point, the positional relationship of the road marking and the position of the path between the plurality of paths. Relationships can be matched very well.
（４）絶対座標の取得：
図１４は路面標示の絶対位置座標の取得方法を示す説明図である。図の例では、標準パスＮＰ１４上の路面テクスチャＴＸ１４２、基準パスＢＰ１４上の路面テクスチャＴＸ１４１を例示した。路面テクスチャＴＸ１４１、ＴＸ１４２内には、それぞれ標示Ｍ１４１、Ｍ１４２が含まれている。
路面テクスチャＴＸ１４１、ＴＸ１４２は、それぞれの代表点が、基準パスＢＰ１４上の点Ｐ１４１、および標準パスＮＰ１４上の点Ｐ１４３に一致するように配置される。
(4) Acquisition of absolute coordinates:
FIG. 14 is an explanatory diagram showing a method for obtaining the absolute position coordinates of the road marking. In the illustrated example, the road surface texture TX142 on the standard path NP14 and the road surface texture TX141 on the reference path BP14 are illustrated. In the road surface textures TX141 and TX142, signs M141 and M142 are included, respectively.
The road surface textures TX141 and TX142 are arranged so that their representative points coincide with a point P141 on the reference path BP14 and a point P143 on the standard path NP14.
路面テクスチャＴＸ１４１内で、標示Ｍ１４１の頂点Ｐ１４２の位置は、代表点を原点とする相対的な座標（ｘ１４２，ｙ１４２）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４１が配置されている位置座標（Ｘ１４１，Ｙ１４１）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４１の頂点Ｐ１４２の絶対位置座標を取得することができる。 In the road surface texture TX141, the position of the vertex P142 of the sign M141 can be specified by relative coordinates (x142, y142) with the representative point as the origin. Therefore, if the absolute coordinates of the representative point, that is, the position coordinates (X141, Y141) where the road surface texture TX141 is arranged are known, the absolute position of the vertex P142 of the sign M141 is added by adding the relative coordinates described above. Coordinates can be acquired.
路面テクスチャＴＸ１４２内も同様に、標示Ｍ１４２の頂点Ｐ１４５の位置は、代表点を原点とする相対的な座標（ｘ１４５，Ｙ１４５）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４２が配置されている位置座標（Ｘ１４３，Ｙ１４３）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。 Similarly, in the road surface texture TX142, the position of the vertex P145 of the sign M142 can be specified by relative coordinates (x145, Y145) with the representative point as the origin. Accordingly, if the absolute coordinates of the representative point, that is, the position coordinates (X143, Y143) where the road surface texture TX142 is arranged are known, the relative position described above is added to the absolute position of the vertex P145 of the sign M142. Coordinates can be acquired.
路面テクスチャＴＸ１４２については、位置合わせ加工によって、移動ベクトルＶ１４に従って、代表点の位置Ｐ１４３が点Ｐ１４４に移動したとする。この時、位置合わせ後の点Ｐ１４４の絶対位置座標は、移動前の点Ｐ１４３の位置座標（Ｘ１４３，Ｙ１４３）に、移動ベクトルＶ１４の成分（ＶＸ１４，ＶＹ１４）を加えることで得ることができる。更に、こうして得られた点Ｐ１４４の絶対位置座標に対して、点Ｐ１４５の相対的な座標（ｘ１４５，Ｙ１４５）を加えれば、位置合わせ加工後の標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。 For the road surface texture TX142, it is assumed that the position P143 of the representative point is moved to the point P144 according to the movement vector V14 by the alignment process. At this time, the absolute position coordinates of the point P144 after alignment can be obtained by adding the components (VX14, VY14) of the movement vector V14 to the position coordinates (X143, Y143) of the point P143 before movement. Furthermore, if the relative coordinates (x145, Y145) of the point P145 are added to the absolute position coordinates of the point P144 obtained in this way, the absolute position coordinates of the vertex P145 of the sign M142 after the alignment processing are obtained. Can do.
ここでは、路面テクスチャ内の標示Ｍ１４１，Ｍ１４２の頂点について絶対位置座標を取得する方法を示したが、路面テクスチャ内の任意の点は、それぞれ路面テクスチャの代表点を基準とする相対的な座標で特定可能であるから、同様の方法によって任意の点の絶対位置座標を取得することが可能である。 Here, the method of obtaining the absolute position coordinates for the vertices of the signs M141 and M142 in the road texture has been shown. However, each arbitrary point in the road texture is a relative coordinate based on the representative point of the road texture. Since it can be specified, the absolute position coordinates of an arbitrary point can be obtained by a similar method.
Ｃ５．透明化ポリゴン設定処理：
（１）処理概要：
図１５は透明化ポリゴン設定処理の概要を示す説明図である。透明化ポリゴン設定処理は、重ねられた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定することによって、隣接するパスに対応する正射画像同士が重なり合っている部分で、上側の正射画像の一部を透明化して、下側の正射画像を透視可能とする処理である。
図の中央に、正射画像Ｐ１５２の上に正射画像Ｐ１５１が重ねられている様子を斜視図的に示した。下側の正射画像Ｐ１５２には、横断歩道Ａ１５４が分断された状態で含まれており、停止線Ａ１５３が完全な状態で含まれている。上側の正射画像Ｐ１５１には、横断歩道Ａ１５２が完全な形で含まれており、停止線Ａ１５１が分断された状態で含まれている。それぞれ分断された部分を、破線で囲んで示した。
この状態で正射画像Ｐ１５１、Ｐ１５２を重ねると、左側に示したように表示される。つまり、両者が重なった部分では、上側の正射画像Ｐ１５１の画像のみが表示されるため、横断歩道Ａ１５２は完全な状態で表示されるが、停止線Ａ１５１は分断された状態で示されてしまうのである。
仮に、正射画像Ｐ１５１、Ｐ１５２の上下関係を変えたとすれば、今度は、停止線Ａ１５３は完全な状態で表示することができるが、横断歩道Ａ１５４が分断された状態で表示されることになる。このように、正射画像Ｐ１５１、Ｐ１５２の上下関係だけでは、横断歩道、停止線の双方を完全な状態で表示させることはできない。
C5. Transparent polygon setting process:
(1) Process overview:
FIG. 15 is an explanatory diagram showing an outline of the transparent polygon setting process. In the transparent polygon setting process, the transparent polygon is set on the superimposed road image according to the operator's instruction so that the orthographic image corresponding to the adjacent path overlaps at the upper orthographic image. This is a process in which a part of the image is made transparent so that the lower orthographic image can be seen through.
In the center of the figure, a state in which the orthographic image P151 is superimposed on the orthographic image P152 is shown in a perspective view. The lower orthographic image P152 includes the pedestrian crossing A154 in a divided state, and includes the stop line A153 in a complete state. In the upper orthographic image P151, the pedestrian crossing A152 is included in a complete form, and the stop line A151 is included in a divided state. Each divided part is shown surrounded by a broken line.
When the orthographic images P151 and P152 are overlapped in this state, they are displayed as shown on the left side. That is, in the part where both overlap, only the image of the upper orthographic image P151 is displayed, so the pedestrian crossing A152 is displayed in a complete state, but the stop line A151 is shown in a divided state. It is.
If the vertical relationship between the orthogonal images P151 and P152 is changed, the stop line A153 can be displayed in a complete state, but the pedestrian crossing A154 is displayed in a divided state. . Thus, it is not possible to display both the pedestrian crossing and the stop line in a complete state only by the vertical relationship between the orthogonal images P151 and P152.
そこで、本実施例では、透明化ポリゴンＰＯＬ１５を設定する。この例では、上側の正射画像Ｐ１５１において、分断されている停止線Ａ１５１を覆うように設定した例を示した。透明化ポリゴンＰＯＬ１５内では、上側の正射画像Ｐ１５１は透過した状態で表示される。従って、図の右側に示すように、正射画像Ｐ１５１、Ｐ１５２を重ねた状態では、透明化ポリゴンＰＯＬ１５の内部では、下側の正射画像Ｐ１５２が表示され、その他の部分では、上側の正射画像Ｐ１５１が表示される。この結果、下側の正射画像Ｐ１５２に含まれる停止線Ａ１５３と、上側の正射画像Ｐ１５１に含まれる横断歩道Ａ１５２が表示され、停止線および横断歩道の双方を完全な形で表示することができる。 Therefore, in this embodiment, the transparent polygon POL15 is set. In this example, the upper orthographic image P151 is set so as to cover the divided stop line A151. In the transparent polygon POL15, the upper orthographic image P151 is displayed in a transparent state. Therefore, as shown on the right side of the figure, when the orthographic images P151 and P152 are overlapped, the lower orthographic image P152 is displayed inside the transparent polygon POL15, and the upper orthographic image is displayed in other portions. An image P151 is displayed. As a result, the stop line A153 included in the lower orthographic image P152 and the pedestrian crossing A152 included in the upper orthographic image P151 are displayed, and both the stop line and the pedestrian crossing can be displayed in a complete form. it can.
（２）フローチャート：
図１６は透明化ポリゴン設定処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した透明化ポリゴン設定部２２１の処理に相当する。
処理を開始すると、ＣＰＵは、オペレータからの対象道路の指定を入力し（ステップＳ１００）、対象道路に対応する連結画像を入力する（ステップＳ１０２）。対象道路に対して複数のパスが対応している場合には、これらのパスに対応する複数の連結画像が入力される。
(2) Flow chart:
FIG. 16 is a flowchart of the transparent polygon setting process. In terms of hardware, this is a process executed by the CPU of the road marking map generating apparatus 200. This corresponds to the processing of the transparent polygon setting unit 221 shown in FIG.
When the process is started, the CPU inputs designation of the target road from the operator (step S100), and inputs a connected image corresponding to the target road (step S102). When a plurality of paths correspond to the target road, a plurality of connected images corresponding to these paths are input.
ＣＰＵは、これらの連結画像を表示し、オペレータの操作に基づいて優先パスの指定を入力する（ステップＳ１０４）。優先パスとは、複数のパスのうち路面画像が最も良好なパスを言い、複数のパスの連結画像を重ねる際に最も上に位置するパスを言う。優先パスは、位置合わせ加工で用いられた基準パスとは異なる。基準パスは位置精度が最も良いものを意味したが、位置精度が良いからといって、路面画像が良好とは限らないからである。複数のパス間の連結画像の重ね合わせの上下関係がどのような状態であっても、位置合わせは支障なく行うことが可能であるから、位置合わせ用の基準パスと優先パスとは相互に独立して設定可能である。
本実施例では、優先パスは、オペレータが各パスの連結画像を比較しながら、任意に設定することができる。仮に、路面画像が最も粗いパスを優先パスに指定しても構わない。このような場合には、後述する透明化ポリゴンの設定数が増えるだけのことである。
The CPU displays these connected images and inputs designation of a priority path based on the operation of the operator (step S104). The priority path refers to a path having the best road image among a plurality of paths, and refers to a path positioned at the top when overlapping connected images of a plurality of paths. The priority path is different from the reference path used in the alignment process. The reference path means the one with the best position accuracy, but just because the position accuracy is good does not mean that the road surface image is good. Regardless of the top-to-bottom relationship of the overlay of connected images between multiple paths, alignment can be performed without any problem, so the alignment reference path and priority path are independent of each other. And can be set.
In this embodiment, the priority path can be arbitrarily set while the operator compares the linked images of the paths. The path with the roughest road surface image may be designated as the priority path. In such a case, only the number of transparent polygons to be described later increases.
優先パスが設定されると、ＣＰＵは、オペレータの操作に従い透明化ポリゴンを設定する（ステップＳ１０６）。
図中に透明化ポリゴンの設定例を示した。この例では、優先パスに沿った路面テクスチャＴＸ１６１と、その他のパスに沿った路面テクスチャＴＸ１６２を示した。
撮影時には矩形の画像が、正射画像変換により、台形になるため、路面テクスチャＴＸ１６１、ＴＸ１６２を配置すると、図示するようにのこぎり刃状になる。のこぎり刃状の部分からは、路面画像の見栄えを落とすと共に、分断された路面画像しか得られないため、完全な路面画像を得るという目的からは不要な部分となる。そこで、図の例では、路面テクスチャＴＸ１６１、ＴＸ１６２が重なり合った部分では、のこぎり刃状になった路面テクスチャＴＸ１６１の左端の部分に透明化ポリゴンＰＯＬ１６１を設定し、のこぎり刃状の部分が表示されないようにしている。
When the priority path is set, the CPU sets a transparent polygon according to the operation of the operator (step S106).
An example of transparent polygon setting is shown in the figure. In this example, the road surface texture TX161 along the priority path and the road surface texture TX162 along the other paths are shown.
At the time of shooting, a rectangular image becomes a trapezoid by orthographic image conversion. Therefore, when the road surface textures TX161 and TX162 are arranged, it becomes a saw blade shape as shown in the figure. From the saw blade portion, the appearance of the road surface image is deteriorated and only the divided road surface image can be obtained. Therefore, the portion is unnecessary for the purpose of obtaining a complete road surface image. Therefore, in the example shown in the figure, in the portion where the road surface textures TX161 and TX162 overlap, the transparent polygon POL161 is set at the left end portion of the road surface texture TX161 having a saw blade shape so that the saw blade portion is not displayed. ing.
一方、路面テクスチャＴＸ１６１、ＴＸ１６２が重なりあっていない部分、図の例では、両端の領域Ａ１６１、Ａ１６２の部分には、透明化ポリゴンは設定しない。この部分では、それぞれ路面テクスチャＴＸ１６１、ＴＸ１６２によって得られる画像が、唯一の画像情報となるからである。両端の領域に透明化ポリゴンを設定すると、この部分に含まれる路面画像の情報は活用し得なくなる。本実施例では、このように他の路面テクスチャと重なり合っていない部分には、透明化ポリゴンを設定しないようにすることで、路面テクスチャに含まれる路面画像の情報を有効活用できるようにした。
かかる設定は、単に路面テクスチャが重なっていない部分を避けて、オペレータが透明化ポリゴンを設定するという運用によって実現してもよいが、透明化ポリゴンの設定処理（ステップＳ１０６）において、透明化ポリゴンの設定位置を制限するようにしてもよい。つまり、路面テクスチャが重なり合っている部分についてのみ、オペレータによる透明化ポリゴンの設定操作を受け付けるようにしても良い。
On the other hand, transparent polygons are not set in the portions where the road surface textures TX161 and TX162 do not overlap, in the example shown in the figure, the regions A161 and A162 at both ends. This is because in this portion, the images obtained by the road surface textures TX161 and TX162 are the only image information. If transparent polygons are set in the regions at both ends, the information on the road surface image included in this portion cannot be used. In the present embodiment, the information on the road surface image included in the road surface texture can be effectively used by not setting the transparent polygon in the portion that does not overlap with the other road surface texture.
Such a setting may be realized by an operation in which the operator sets a transparent polygon by simply avoiding a portion where the road surface texture does not overlap, but in the transparent polygon setting process (step S106), the transparent polygon You may make it restrict | limit a setting position. In other words, the transparent polygon setting operation by the operator may be accepted only for the portion where the road surface texture overlaps.
路面テクスチャＴＸ１６１によって隠されている標示がある場合には、オペレータはその標示が視認できるように透明化ポリゴンを設定する。図の例では、矢印の標示を覆うように、透明化ポリゴンＰＯＬ１６２が設定されている例を示した。矢印の標示は、テクスチャＴＸ１６１の下側に配置されているテクスチャに含まれている画像である。 When there is a sign hidden by the road surface texture TX161, the operator sets the transparent polygon so that the sign can be visually recognized. In the example shown in the figure, the transparent polygon POL 162 is set so as to cover the arrow mark. The arrow mark is an image included in the texture arranged on the lower side of the texture TX161.
このように標示を覆う透明化ポリゴンＰＯＬ１６２を設定するためには、一旦、路面テクスチャＴＸ１６１を他の路面テクスチャよりも下側に位置するように上下関係を変更したり、路面テクスチャＴＸ１６１を非表示としたりすればよい。これらの操作によって、路面テクスチャＴＸ１６１に隠された標示を視認可能な状態にした上で、その標示を覆うように透明化ポリゴンＰＯＬ１６２を設定し、路面テクスチャＴＸ１６１の表示を元に戻せばよい。 In order to set the transparent polygon POL162 that covers the sign in this way, the vertical relationship is temporarily changed so that the road texture TX161 is positioned below the other road texture, or the road texture TX161 is not displayed. Just do it. With these operations, the sign hidden in the road texture TX161 is made visible, the transparent polygon POL162 is set so as to cover the sign, and the display of the road texture TX161 is restored.
以上の処理によって、透明化ポリゴンの設定が終わると、ＣＰＵは、設定結果を出力して、透明化ポリゴン設定処理を終了する。 When the setting of the transparent polygon is completed by the above processing, the CPU outputs the setting result and ends the transparent polygon setting processing.
（３）処理例：
図１７は透明化ポリゴンを設定する前の道路画像例を示す説明図である。この例では、パスＰ１７１、Ｐ１７２の２本に沿って得られた連結画像の位置合わせを行って生成された道路画像を示した。パスＰ１７２の連結画像と、パスＰ１７１の連結画像とで、のこぎり刃状の両端の形状が逆向きになっているのは、これらのパスＰ１７１，Ｐ１７２を道路面撮影システム１００の車両が走行する方向が逆だからである。
(3) Processing example:
FIG. 17 is an explanatory diagram showing an example of a road image before setting a transparent polygon. In this example, a road image generated by performing alignment of connected images obtained along two paths P171 and P172 is shown. The shape of both ends of the saw blade in the connected image of the path P172 and the connected image of the path P171 are opposite to each other in the direction in which the vehicle of the road surface photographing system 100 travels on these paths P171 and P172. This is because the opposite is true.
パスＰ１７２の連結画像が、パスＰ１７１の連結画像と重なっている部分では、パスＰ１７２の連結画像の端部Ｂ１７ののこぎり刃状の境界が現れており、道路画像の画質を劣化させている。ただし、図１７では、図示の都合上、のこぎり刃状の輪郭を付して端部Ｂ１７の形状を強調してある。
また、パスＰ１７２の路面画像が端の方で不鮮明なため、例えば、領域Ａ１７１では横断歩道の縞模様が歪んでいる。領域Ａ１７２では、停止線が分断された状態となっている。領域Ａ１７３では、路線バス等優先通行帯（いわゆるバスレーン）であることを示す「バス専用」の文字が読めない程に崩れている。領域Ａ１７４では、破線状の車線境界線が途中で分断された状態となっている。
In a portion where the connected image of the path P172 overlaps with the connected image of the path P171, a saw-toothed boundary at the end B17 of the connected image of the path P172 appears, degrading the image quality of the road image. However, in FIG. 17, for the convenience of illustration, the shape of the end portion B <b> 17 is emphasized with a saw-blade contour.
Further, since the road surface image of the path P172 is unclear at the end, for example, in the region A171, the stripe pattern of the pedestrian crossing is distorted. In the area A172, the stop line is divided. In the area A173, the character “bus only” indicating that the route is a preferential traffic zone such as a route bus (so-called bus lane) is broken so that it cannot be read. In the area A174, the broken-line lane boundary line is divided in the middle.
これらの影響を回避するため、図１７では、領域Ａ１７１〜Ａ１７４および端部Ｂ１７を包含する透明化テクスチャＰＯＬ１７を図中の一点鎖線のように設定した。
このように透明化ポリゴンＰＯＬ１７を設定すると、パスＰ１７２側の路面テクスチャは、透明化ポリゴンＰＯＬ１７の内部では透視状態となり、下側に配置されたパスＰ１７１側の路面テクスチャが視認されるようになる。
In order to avoid these influences, in FIG. 17, the transparent texture POL <b> 17 including the regions A <b> 171 to A <b> 174 and the end B <b> 17 is set as indicated by a one-dot chain line in the drawing.
When the transparent polygon POL17 is set in this way, the road surface texture on the path P172 side is in a transparent state inside the transparent polygon POL17, and the road surface texture on the path P171 side arranged below is visually recognized.
図１８は透明化ポリゴンの設定後の道路画像例を示す説明図である。上述の透明化ポリゴンの作用により、領域Ａ１８１では、下側の画像が表示されるため、図１７で示した横断歩道の分断状態が解消される。領域Ａ１８２でも同様に、停止線が完全な状態で表示される。また、領域Ｂ１８に例示するように、路面テクスチャの端部ののこぎり刃状の輪郭は視認されなくなり、道路画像全体の画質が向上する。
領域Ａ１８３では、バス専用の文字が、はっきりと判読可能な状態となる。領域Ａ１８４では、車線境界線が完全な状態で表示される。
このように、本実施例では、透明化ポリゴンを設定することにより、道路画像の画質を向上させることができるとともに、道路面の標示の画質も向上させることができる。
FIG. 18 is an explanatory diagram showing an example of a road image after setting a transparent polygon. Due to the action of the transparent polygon described above, the lower image is displayed in the area A181, so that the divided state of the pedestrian crossing shown in FIG. 17 is eliminated. Similarly, in the area A182, the stop line is displayed in a complete state. Further, as exemplified in the region B18, the saw-tooth profile at the end of the road surface texture is not visually recognized, and the image quality of the entire road image is improved.
In the area A183, the bus-specific characters are clearly readable. In the area A184, the lane boundary line is displayed in a complete state.
As described above, in this embodiment, by setting the transparent polygon, the image quality of the road image can be improved and the image quality of the marking on the road surface can be improved.
Ｃ６．ペイント認識処理：
（１）全体処理：
図１９はペイント認識処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示したペイント認識部２２３の処理に相当する。
処理を開始すると、ＣＰＵは処理データ記憶部２１０から、処理対象となっている道路の画像、即ち路面テクスチャ、パスのデータを読み込む（ステップＳ３００）。
次に、ＣＰＵは縦配置処理を行って（ステップＳ３０２）、縦配置画像を生成し、処理データ記憶部２１０に格納する。
C6. Paint recognition process:
(1) Overall processing:
FIG. 19 is a flowchart of the paint recognition process. In terms of hardware, this is a process executed by the CPU of the road marking map generating apparatus 200. This corresponds to the processing of the paint recognition unit 223 shown in FIG.
When the processing is started, the CPU reads from the processing data storage unit 210 an image of a road to be processed, that is, road texture and path data (step S300).
Next, the CPU performs vertical arrangement processing (step S302), generates a vertical arrangement image, and stores it in the processing data storage unit 210.
図２０は縦配置処理の内容を示す説明図である。図２０（ａ）に通常の処理における連結画像を示した。図中の一点鎖線の矢印ＰＡ２０は画像を撮影した際のパスを表している。通常の処理では、パスＰＡ２０に沿って路面テクスチャＴｘ２０を配置する。パスＰＡ２０の位置座標は、緯度経度などの絶対座標系ＸＹで得られている。従って、絶対座標系でパスＰＡ２０および路面テクスチャＴｘ２０を配置すると、図２０（ａ）に示すように連結画像は斜めに表示されることがある。この例では、直線状の道路を例示しているが、道路がカーブしている場合には、連結画像もカーブした状態となる。 FIG. 20 is an explanatory diagram showing the contents of the vertical arrangement processing. FIG. 20A shows a connected image in normal processing. A one-dot chain line arrow PA20 in the figure represents a path when an image is taken. In normal processing, the road surface texture Tx20 is arranged along the path PA20. The position coordinates of the path PA20 are obtained in an absolute coordinate system XY such as latitude and longitude. Therefore, when the path PA20 and the road surface texture Tx20 are arranged in the absolute coordinate system, the connected image may be displayed obliquely as shown in FIG. In this example, a straight road is illustrated, but when the road is curved, the connected image is also curved.
図２０（ｂ）は縦配置した画像例を示した。道路が直線状のため、図２０（ａ）の向きを矢印Ａ２０方向に回転した状態の画像となっている。
縦配置の画像は、次の手順で生成することができる。まず、２次元座標ｘｙの縦（ｙ）方向に距離軸を設定する。距離軸とは、パスＰＡ２０に沿って画像を撮影する際の開始点からの移動距離を表す軸である。パスＰＡ２０が直線状の時は、パスＰＡ２０の進行方向を上向きに表示した状態となる。パスが曲線状のときには、パスを直線状に伸ばした状態となる。
それぞれの路面テクスチャＴｘ２０については、撮影時の位置座標データおよび撮影開始からの移動距離が得られているから（図１の位置計測部１１０参照）、これらのデータに基づき、距離軸上に路面テクスチャＴｘ２０を配置する。路面テクスチャＴｘ２０は、画像内の代表点を距離軸上に置き、左右対称軸が距離軸に平行になるよう配置する。こうすることによって、パスが曲線状か否かに関わらず、進行方向が縦方向に直線状に伸ばされた状態の連結画像を表示することができる。この連結画像によれば、図示する通り、横断歩道および停止線は距離軸に直交する方向（図中の左右方向）に描かれ、車線境界線は距離軸に沿う方向（図中の上下方向）に描かれる。縦配置画像には、このように道路の標示が一定の位置関係で描画されるため、これらの認識がしやすくなるという利点がある。
ここでは、距離軸を縦に配置する例を示したが、横または斜めなど任意の方向に配置可能である。
FIG. 20B shows an example of vertically arranged images. Since the road is straight, the image in FIG. 20A is rotated in the direction of arrow A20.
The vertically arranged image can be generated by the following procedure. First, a distance axis is set in the longitudinal (y) direction of the two-dimensional coordinate xy. The distance axis is an axis representing a moving distance from the start point when an image is taken along the path PA20. When the path PA20 is linear, the traveling direction of the path PA20 is displayed upward. When the path is curved, the path is straightened.
For each road texture Tx20, since the position coordinate data at the time of shooting and the movement distance from the start of shooting are obtained (see the position measuring unit 110 in FIG. 1), the road texture on the distance axis is based on these data. Tx20 is arranged. The road surface texture Tx20 is arranged such that the representative point in the image is placed on the distance axis and the left-right symmetry axis is parallel to the distance axis. By doing so, it is possible to display a connected image in which the traveling direction is linearly extended in the vertical direction regardless of whether the path is curved or not. According to this connected image, as shown in the figure, the pedestrian crossing and the stop line are drawn in a direction perpendicular to the distance axis (left and right direction in the figure), and the lane boundary line is in a direction along the distance axis (up and down direction in the figure). Drawn in. In the vertically arranged image, road markings are drawn in a fixed positional relationship in this way, so that there is an advantage that these can be easily recognized.
Here, an example is shown in which the distance axis is arranged vertically, but the distance axis can be arranged in any direction such as laterally or diagonally.
図１９に戻り、ペイント認識処理について説明する。
縦配置処理が完了すると、ＣＰＵは横断関連ペイント抽出処理を行う（ステップＳ３１０）。これは、横断歩道、自転車横断帯、停止線など交差点近辺の標示を抽出する処理である。本実施例では、処理データ記憶部２１０に格納された縦配置画像を用い、そこに描かれた標示を画像処理で抽出するとともに、標示に含まれる線分の位置関係や長さなどに基づく条件判断によって標示の種別を判断するようにした。
Returning to FIG. 19, the paint recognition process will be described.
When the vertical arrangement process is completed, the CPU performs a crossing-related paint extraction process (step S310). This is a process of extracting signs in the vicinity of intersections such as pedestrian crossings, bicycle crossings, and stop lines. In the present embodiment, a vertically arranged image stored in the processing data storage unit 210 is used, and a sign drawn there is extracted by image processing, and a condition based on the positional relationship, length, etc. of the line segment included in the sign Judgment type is judged by judgment.
横断関連ペイント処理が終わると、ＣＰＵは各種ペイント抽出処理を行う（ステップＳ３５０）。この処理で抽出対象となる標示を図中に示した。
「境界線」とは、実線および破線などで描かれた車線境界線である。
「矢印」とは、交差点内の進行方向の規制を示すために、交差点付近で各車線に示されている矢印である。
「ゼブラ」とは、横断歩道とは異なり、中央分離帯や右左折用の車線が増える箇所などに標示されている縞模様である。
「Ｕターン」とは、Ｕターン禁止道路に描かれているＵ字形状の矢印である。
「転回禁止」とは、Ｕターンの矢印とともに描かれている×印である。
「規制」とは、通行規制の時刻標示等である。例えば、バスレーンなどの標示と併せて描かれる「１７−１９」の標示（１７時〜１９時であることを意味）のような通行態様の規制等である。
「数字」とは、速度規制などの数字である。
「横断歩道予告」とは、横断歩道手前に描かれている菱形の記号である。
「減速帯」とは、車速の減速を促すために、路面上にパスに直交する方向の線分をパスの進行方向に沿って平行に複数本配置することで描かれている縞模様である。
「路面塗装」は、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
「バスレーン文字」とは、バスレーンとして使用される車線に付される「バス専用」「バス優先」という文字である。本実施例では、バスレーンを例示しているが、バスレーンに限らず、路面に標示される文字一般を対象としてもよい。
「終わり記号」とは、バスレーンなどの終了地点を示す「０」形状の記号である。
本実施例では、これらの標示を対象としているが、これらは例示に過ぎず、更に多くの標示を対象としてもよいし、この中の一部を抽出処理の対象外としても構わない。
When the crossing-related paint process ends, the CPU performs various paint extraction processes (step S350). Indices to be extracted in this process are shown in the figure.
The “boundary line” is a lane boundary line drawn with a solid line or a broken line.
“Arrow” is an arrow shown in each lane in the vicinity of the intersection in order to indicate regulation of the traveling direction within the intersection.
Unlike a pedestrian crossing, the “zebra” is a striped pattern that is marked on the median strip or where there are more lanes for turning left and right.
“U-turn” is a U-shaped arrow drawn on a U-turn prohibited road.
“Turning prohibited” is a cross marked with a U-turn arrow.
“Regulation” means time marking of traffic regulation. For example, traffic mode restrictions such as a sign “17-19” (meaning from 17:00 to 19:00) drawn together with a sign such as a bus lane.
The “number” is a number such as speed regulation.
“Pedestrian crossing notice” is a diamond-shaped symbol drawn in front of the pedestrian crossing.
The “deceleration zone” is a striped pattern drawn by arranging a plurality of line segments in a direction perpendicular to the path on the road surface in parallel along the traveling direction of the path in order to promote the deceleration of the vehicle speed. .
“Road surface painting” is a pavement area such as red, which is provided for safety of traffic at sharp curves and other places where the driver should be alerted.
The “bus lane character” is a character “bus exclusive” or “bus priority” attached to a lane used as a bus lane. In the present embodiment, the bus lane is illustrated, but the present invention is not limited to the bus lane, and may be a general character displayed on the road surface.
The “end symbol” is a “0” -shaped symbol indicating an end point such as a bus lane.
In the present embodiment, these signs are targeted, but these are merely examples, and more signs may be targeted, and some of them may be excluded from the extraction process.
各種ペイント抽出処理（ステップＳ３５０）では、予め用意されたモデルを用いて、パターンマッチングを行う。本実施例では、人工モデル画像、ＯＣＲモデル画像の２種類を用いるものとした。これらのモデルは、予め処理データ記憶部２１０に記憶されている。
人工モデル画像とは、コンピュータグラフィックスによって生成されたモデルである。矢印、Ｕターン、転回禁止など、比較的単純な標示のマッチング用のモデルとして適している。
ＯＣＲモデル画像とは、撮影された画像から、オペレータが手作業で切り出した画像に基づいて生成されたモデルである。例えば、数字、バスレーンなどの複雑な形状をした標示のマッチング用のモデルとして適している。これらのモデルをコンピュータグラフィックスによって生成することも不可能ではないが、文字の形状を現実の道路標示に併せてモデルを生成するためには、結局、撮影した画像をトレース等する必要が生じるため、結果としてＯＣＲモデルを利用しているのと大差ない。
In various paint extraction processes (step S350), pattern matching is performed using a model prepared in advance. In this embodiment, two types of artificial model images and OCR model images are used. These models are stored in the processing data storage unit 210 in advance.
An artificial model image is a model generated by computer graphics. It is suitable as a model for matching relatively simple markings such as arrows, U-turns, and turning prohibition.
An OCR model image is a model generated based on an image manually cut out by an operator from a captured image. For example, it is suitable as a model for matching signs having complicated shapes such as numbers and bus lanes. Although it is not impossible to generate these models by computer graphics, in order to generate a model by combining the shape of characters with actual road markings, it is necessary to trace the captured image after all. As a result, it is not much different from using the OCR model.
ＣＰＵは、以上の処理を連結画像単位で、実行し、ペイント認識結果を処理データ記憶部２１０に格納して、ペイント認識処理を終了する。
以下では、相対座標変換処理（ステップＳ３７０）について詳細に説明する。
The CPU executes the above processing in units of connected images, stores the paint recognition result in the processing data storage unit 210, and ends the paint recognition processing.
Hereinafter, the relative coordinate conversion process (step S370) will be described in detail.
（２）相対座標変換処理：
図２１は相対座標変換処理の内容を示す説明図である。本実施例では、以上で説明した各種標示の認識結果は、全て距離軸に沿って路面テクスチャを配置した直線状の画像を用いて得られている。従って、認識結果は、この直線状の画像を表示する座標系における相対的な位置が取得されているに過ぎない。相対座標変換処理は、この相対的な位置を、撮影時の位置座標に対応する絶対座標系の位置に変換する処理である。
(2) Relative coordinate conversion processing:
FIG. 21 is an explanatory diagram showing the contents of the relative coordinate conversion process. In the present embodiment, the recognition results of the various signs described above are all obtained using linear images in which road textures are arranged along the distance axis. Therefore, as a recognition result, only a relative position in the coordinate system displaying this linear image is acquired. The relative coordinate conversion process is a process of converting this relative position into an absolute coordinate system position corresponding to the position coordinate at the time of photographing.
図の左側には、直線状の連結画像で標示を認識した状態を示している。ここでは、矩形の存在領域Ｍ３９１、Ｍ３９２を示した。これらの存在領域Ｍ３９１、Ｍ３９２の位置は、代表点としての重心Ｇ３９１、Ｇ３９２の位置座標で表される。この座標は、直線状の連結画像を表示するための座標系ｘｎ、ｙｎで与えられる。この座標系ｘｎ、ｙｎは、例えば、距離軸ＮＰ３９をｙｎ軸として定義することが好ましい。 The left side of the figure shows a state in which the sign is recognized by a linear connected image. Here, rectangular existence areas M391 and M392 are shown. The positions of these existence areas M391 and M392 are represented by the position coordinates of the centroids G391 and G392 as representative points. These coordinates are given by a coordinate system xn, yn for displaying a linear connected image. In the coordinate systems xn and yn, for example, the distance axis NP39 is preferably defined as the yn axis.
連結画像では、路面テクスチャＴｘ３９の代表点が、撮影時の位置に応じて、距離軸上に配置されている。各路面テクスチャＴｘ３９内の各点の代表点からの相対的な座標は既知である。従って、各存在領域の重心Ｇ３９１、Ｇ３９２の路面テクスチャＴｘ３９内での相対的な座標が求まるため、重心Ｇ３９１、Ｇ３９２から距離軸におろした垂線の足Ｒ３９１、Ｒ３９２の座標も求めることができる。 In the connected image, the representative points of the road surface texture Tx39 are arranged on the distance axis according to the position at the time of shooting. The relative coordinates from the representative point of each point in each road surface texture Tx39 are known. Accordingly, since the relative coordinates within the road surface texture Tx39 of the centroids G391 and G392 of the respective existence areas are obtained, the coordinates of the perpendicular legs R391 and R392 taken from the centroids G391 and G392 on the distance axis can also be obtained.
図の右側には、絶対座標系ＸＹに変換した状態を示した。道路は直線とは限らないから、絶対座標系では、撮影時に取得された位置座標に従い、パスＲＰ３９は曲線状に描かれることもある。
各存在領域Ｍ３９１、Ｍ３９２の位置および向きは次の方法で求める。
まず、この曲線状のパスＲＰ３９の基準点からの距離に応じて、存在領域の垂線の足Ｒ３９１、Ｒ３９２のパスＲＰ３９上での位置を求め、点Ｒ３９１、Ｒ３９２から、それぞれ法線ベクトルＶ３９１、Ｖ３９２を描き、その終点を重心Ｇ３９１、Ｇ３９２とする。法線ベクトルＶ３９１、Ｖ３９２の大きさは、直線状の連結画像における点Ｒ３９１、Ｇ３９１間の距離、および点Ｒ３９２、Ｇ３９２間の距離にそれぞれ等しい。存在領域Ｍ３９１、Ｍ３９２の方向は、長手方向が法線ベクトルＶ３９１、Ｖ３９２と直交するように配置する。つまり、存在領域Ｍ３９１、Ｍ３９２と、重心Ｇ３９１、Ｇ３９２、および垂線の足Ｒ３９１、Ｒ３９２の相対的な位置関係が、直線状の連結画像（図の左側）と絶対座標系（図の右側）とで同一となるように、存在領域Ｍ３９１、Ｍ３９２を配置するのである。
この変換処理により、抽出された各標示の位置を絶対座標系の位置座標で表すことが可能となる。
The right side of the figure shows a state converted to the absolute coordinate system XY. Since the road is not always a straight line, in the absolute coordinate system, the path RP39 may be drawn in a curved line according to the position coordinates acquired at the time of shooting.
The positions and orientations of the respective existence areas M391 and M392 are obtained by the following method.
First, according to the distance from the reference point of the curved path RP39, the positions of the perpendicular legs R391 and R392 on the path RP39 of the existing region are obtained, and the normal vectors V391 and V392 are obtained from the points R391 and R392, respectively. Is drawn, and the end points are set as the center of gravity G391 and G392. The magnitudes of the normal vectors V391 and V392 are equal to the distance between the points R391 and G391 and the distance between the points R392 and G392 in the linear connected image, respectively. The directions of the existence regions M391 and M392 are arranged so that the longitudinal direction is orthogonal to the normal vectors V391 and V392. In other words, the relative positional relationship between the existence areas M391, M392, the centroids G391, G392, and the perpendicular legs R391, R392 is expressed by a linear connected image (left side in the figure) and an absolute coordinate system (right side in the figure). The existence areas M391 and M392 are arranged so as to be the same.
By this conversion process, the position of each extracted sign can be expressed by the position coordinates of the absolute coordinate system.
上述した絶対座標系への位置座標の変換処理は、次の方法で行っても良い。
まず、各存在領域の構成点、つまり存在領域の頂点の位置を、それぞれの頂点が属する路面テクスチャの代表点を基準とする相対座標で求める。そして、それぞれの路面テクスチャを絶対座標系ＸＹでの配置に変換する際に、同様の変換をそれぞれの構成点に施すのである。こうすることにより、比較的容易に絶対座標系での構成点の位置座標を得ることができる。
ただし、この方法では、構成点ごとに座標変換するため、変換時に存在領域の形状が崩れる場合がある。従って、変換後の構成点の配置を、存在領域の形状に適合させる修正処理を施しても良い。
You may perform the conversion process of the position coordinate to an absolute coordinate system mentioned above with the following method.
First, the constituent points of each existence area, that is, the positions of the vertices of the existence area are obtained with relative coordinates based on the representative point of the road texture to which each vertex belongs. Then, when each road surface texture is converted into an arrangement in the absolute coordinate system XY, the same conversion is applied to each constituent point. By doing so, the position coordinates of the constituent points in the absolute coordinate system can be obtained relatively easily.
However, in this method, since the coordinate conversion is performed for each constituent point, the shape of the existing area may be destroyed during the conversion. Therefore, a correction process may be performed to adapt the arrangement of the converted component points to the shape of the existing area.
Ｃ７．車線境界線修正処理：
図２２は車線境界線修正処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した車線境界線修正部２２８の処理に相当する。
C7. Lane boundary correction processing:
FIG. 22 is a flowchart of the lane boundary correction process. In terms of hardware, this is a process executed by the CPU of the road marking map generating apparatus 200. This corresponds to the processing of the lane boundary correction unit 228 shown in FIG.
処理を開始すると、ＣＰＵはペイント認識結果を読み込む（ステップＳ７００）。車線境界線の誤認識の判断等で用いるため、ここでは、車線境界線以外のペイントについても認識結果を読み込む。 When the process is started, the CPU reads the paint recognition result (step S700). In order to use it for determination of misrecognition of the lane boundary line, the recognition result is read here for the paint other than the lane boundary line.
読み込んだ認識結果に基づいて、ＣＰＵは、車線境界線として認識された標示について、次の条件によって、フィルタリングを行う（ステップＳ７０２）。
１）ライン長＜Ｔｈ（Ｔｈは所定の閾値）；
２）他のペイントと重なっているもの；
Based on the read recognition result, the CPU filters the sign recognized as the lane boundary line under the following conditions (step S702).
1) Line length <Th (Th is a predetermined threshold);
2) Overlapping with other paints;
図中に処理例を示した。この例では、道路面に車線境界線として認識されている標示Ｌ２２１、Ｌ２２２、Ｌ２２３が存在する。また、他のペイントとして矢印Ｍ２２１が存在する。
車線境界線Ｌ２２２は、そのライン長が閾値Ｔｈよりも短いため、ノイズと判断され、除去される。
車線境界線Ｌ２２３は、十分なライン長を有しているものの、他のペイントＭ２２１と重なっているため、除去される。この結果、図の例では、車線境界線Ｌ２２１のみが残されることになる。
An example of processing is shown in the figure. In this example, there are signs L221, L222, and L223 recognized as lane boundary lines on the road surface. An arrow M221 exists as another paint.
Since the line length of the lane boundary line L222 is shorter than the threshold value Th, it is determined as noise and is removed.
Although the lane boundary line L223 has a sufficient line length, the lane boundary line L223 is removed because it overlaps with another paint M221. As a result, in the example of the figure, only the lane boundary line L221 is left.
上述の条件における閾値Ｔｈは、ノイズと車線境界線とを識別可能な範囲で任意に設定することができる。例えば、閾値Ｔｈは、破線状の車線境界線を構成する一つ一つの線分よりも小さい範囲で設定すればよい。閾値Ｔｈを小さい値に設定すれば、ノイズを除去する効果が低くなるが、大きい値に設定すれば、車線境界線を構成する線分が誤って削除される可能性が高くなる。閾値Ｔｈは、これらの双方の影響を考慮して設定することが好ましい。 The threshold value Th in the above conditions can be arbitrarily set within a range in which noise and lane boundary lines can be identified. For example, the threshold value Th may be set in a range smaller than each line segment constituting the broken-line lane boundary line. If the threshold value Th is set to a small value, the effect of removing noise is reduced. However, if the threshold value Th is set to a large value, there is a high possibility that line segments constituting the lane boundary line will be erroneously deleted. The threshold Th is preferably set in consideration of both effects.
車線境界線のフィルタリングが終わると、ＣＰＵは軌跡レーン判別点を取得する（ステップＳ７０４）。軌跡レーン判別点とは、車線境界線として認識された標示の中から、撮影時のパスが存在する車線（以下、「軌跡レーン」と称する）を判別し、その両端の境界を画する標示を特定するために使用する点である。 When the lane boundary filtering is finished, the CPU acquires a trajectory lane discrimination point (step S704). A trajectory lane discriminant point is a sign that discriminates a lane (hereinafter referred to as a “trajectory lane”) where a path at the time of photographing exists from among the signs recognized as lane boundary lines, and demarcates the boundaries between both ends. It is a point used to specify.
図中に軌跡レーン判別点の設定方法を示した。
図の例では、パスＮＰ２２に沿って生成された連結画像内の道路標示を示した。まず、このパスＮＰ２２に沿って所定の距離ごとに基準点を生成し、パスＮＰ２２に対する垂線（図中の破線）Ｖ２２１等を引く。
The method for setting the trajectory lane discrimination point is shown in the figure.
In the example of the figure, the road marking in the connected image generated along the path NP22 is shown. First, a reference point is generated for each predetermined distance along the path NP22, and a perpendicular (broken line in the figure) V221 to the path NP22 is drawn.
そして、連結画像内で車線境界線として認識されている各標示と、この垂線との交点を求める。ただし、交点は次の条件に適合するものを抽出する。
ｉ） パスＮＰ２２から左右それぞれで一番近い交点のみを抽出する。；
ii) 左右の２つの交点間の距離が所定値Ｄｔｈ以下の場合には、パスＮＰ２２に近い側の交点を除外する。
Then, the intersection of each marking recognized as a lane boundary line in the connected image and this perpendicular is obtained. However, intersections that meet the following conditions are extracted.
i) Extract only the closest intersection on the left and right from the path NP22. ;
ii) If the distance between the left and right intersections is less than or equal to the predetermined value Dth, the intersection on the side closer to the path NP22 is excluded.
図の例では、垂線Ｖ２２１に対しては、パスＮＰ２２の左側（図の上側）に標示ＬＬ２２２との交点Ｐａ２２１が得られる。標示ＬＬ２２１との交点も得られるが、この交点は、交点Ｐａ２２１よりもパスＮＰ２２から離れているため、抽出されない。
パスＮＰ２２の右側（図の下側）では、標示ＬＬ２２３との交点Ｐｂ２２１が得られる。標示ＬＬ２２４との交点も得られるが、この交点は、交点Ｐｂ２２１よりもパスＮＰ２２から離れているため、抽出されない。
In the example in the figure, for the perpendicular line V221, an intersection Pa221 with the marking LL222 is obtained on the left side (upper side in the figure) of the path NP22. Although an intersection with the marking LL 221 is also obtained, this intersection is not extracted because it is farther from the path NP22 than the intersection Pa221.
On the right side of the path NP22 (the lower side of the figure), an intersection Pb221 with the marking LL223 is obtained. Although an intersection with the marking LL 224 is also obtained, this intersection is not extracted because it is farther from the path NP22 than the intersection Pb221.
垂線Ｖ２２２では、パスＮＰ２２の左側（図の上側）については標示ＬＬ２２２上に交点が得られる。パスＮＰ２２の右側（図の下側）については、矢印Ｍ２２２の一部が車線境界線と誤認識されているとすると、この標示Ｍ２２２との交点Ｐｃ ２２２が得られる。この結果、パスＮＰ２２の両側で得られた交点Ｐａ２２２、Ｐｃ２２２間の距離がｄ２２であったとする。
この距離ｄ２２が、先に説明した所定値Ｄｔｈよりも小さい場合には、パスＮＰ２２に近い側の交点Ｐｃ２２２は、誤認識として削除される。この結果、パスＮＰ２２の右側（図の下側）では、交点Ｐｂ２２２が得られる。同様にして、垂線Ｖ２２３についても、一旦、矢印Ｍ２２２の交点が抽出されるが、交点Ｐｃ２２２と同じ条件によって削除され、標示ＬＬ２２３上の交点が抽出される。
In the vertical line V222, an intersection is obtained on the marking LL222 on the left side (upper side in the drawing) of the path NP22. On the right side of the path NP22 (lower side in the figure), if a part of the arrow M222 is misrecognized as a lane boundary line, an intersection Pc 222 with the sign M222 is obtained. As a result, it is assumed that the distance between the intersections Pa222 and Pc222 obtained on both sides of the path NP22 is d22.
When the distance d22 is smaller than the predetermined value Dth described above, the intersection Pc222 closer to the path NP22 is deleted as a false recognition. As a result, an intersection point Pb222 is obtained on the right side of the path NP22 (lower side in the figure). Similarly, for the perpendicular line V223, the intersection point of the arrow M222 is once extracted, but is deleted under the same conditions as the intersection point Pc222, and the intersection point on the marking LL223 is extracted.
交点Ｐｃ２２２等を削除するための距離Ｄｔｈは、パスＮＰ２２が２つの車線境界線のほぼ中央付近に位置するとの仮定によって、誤認識を検出するための閾値である。このような考え方で誤認識を判別可能とするため、距離Ｄｔｈは、通常の道路の一車線分の幅よりも小さい範囲で任意に設定することができる。 The distance Dth for deleting the intersection point Pc222 and the like is a threshold value for detecting misrecognition based on the assumption that the path NP22 is located near the center of the two lane boundary lines. In order to make it possible to determine misrecognition based on such a concept, the distance Dth can be arbitrarily set within a range smaller than the width of one lane of a normal road.
停止線を越えて、標示ＬＬ２２２、ＬＬ２２３が途切れると、例えば、垂線Ｖ２２４に示すように、標示ＬＬ２２１、ＬＬ２２４との交点が抽出される。 When the signs LL222 and LL223 are interrupted beyond the stop line, for example, as indicated by the vertical line V224, intersections with the signs LL221 and LL224 are extracted.
図２３は車線境界線修正処理（２）のフローチャートである。
図２２で説明した軌跡レーン判別点について、ＣＰＵは、フィルタリングを行う（ステップＳ７０６）。撮影時のパスが軌跡レーンの中央に位置するとすれば、パスは、軌跡レーン判別点の中央付近に位置するはずである。ステップＳ７０６のフィルタリングでは、かかる観点から、偏りフィルタ、即ち軌跡レーン判別点に対してパスが偏って位置している場合には軌跡レーン判別点を除去するという処理を施す。
FIG. 23 is a flowchart of the lane boundary correction process (2).
The CPU performs filtering on the locus lane discrimination points described in FIG. 22 (step S706). If the path at the time of shooting is located at the center of the locus lane, the path should be located near the center of the locus lane discrimination point. In the filtering in step S706, from this point of view, a bias filter, that is, a process of removing the trajectory lane discrimination point when the path is biased with respect to the trajectory lane discrimination point is performed.
図中に処理例を示した。パスＮＰ２３に対して、標示Ｌ２３１、Ｌ２３２、Ｍ２３１、Ｍ２３２上の軌跡レーン判別点Ｐ２３１〜Ｐ２３４が得られているとする。軌跡レーン判別点Ｐ２３１、Ｐ２３２間の距離はｄ２３１であり、Ｐ２３３、Ｐ２３４間の距離はｄ２３２である。
パスＮＰ２３は、構成点Ｐ２３１、Ｐ２３２の中点付近を通っている。構成点Ｐ２３１、Ｐ２３２からパスＮＰ２３までの距離と、構成点Ｐ２３１、Ｐ２３２間の距離ｄ２３１の１／２との誤差は非常に小さい。
一方、パスＮＰ２３は、構成点Ｐ２３３、Ｐ２３４の中点からずれたところを通っている。構成点Ｐ２３３、Ｐ２３４からパスＮＰ２３までの距離と、構成点Ｐ２３３、Ｐ２３４間の距離ｄ２３２の１／２との誤差は比較的大きい。
従って、偏りフィルタでは、標示Ｍ２３１、Ｍ２３２上の構成点Ｐ２３３、Ｐ２３４が除去される。
An example of processing is shown in the figure. It is assumed that locus lane discrimination points P231 to P234 on the signs L231, L232, M231, and M232 are obtained for the path NP23. The distance between the locus lane discrimination points P231 and P232 is d231, and the distance between P233 and P234 is d232.
The path NP23 passes through the vicinity of the midpoint between the constituent points P231 and P232. The error between the distance from the configuration points P231 and P232 to the path NP23 and 1/2 of the distance d231 between the configuration points P231 and P232 is very small.
On the other hand, the path NP23 passes through a place shifted from the middle point of the constituent points P233 and P234. The error between the distance from the configuration points P233 and P234 to the path NP23 and 1/2 of the distance d232 between the configuration points P233 and P234 is relatively large.
Therefore, in the bias filter, the constituent points P233 and P234 on the signs M231 and M232 are removed.
このようにパスＮＰ２３と軌跡レーン判別点との偏りは、次の評価値Ｖによって判定することができる。
ＨＤ＝軌跡レーン判別点間の距離／２
ＤＲ＝右側の軌跡レーン判別点からパスＮＰ２３までの距離；
ＤＬ＝左側の軌跡レーン判別点からパスＮＰ２３までの距離；
評価値Ｖ＝（ＤＲ−ＨＤ）２＋（ＤＲ−ＨＤ）２；
この評価値Ｖが所定値以下の場合には、偏りがないものと判定することができる。
Thus, the deviation between the path NP23 and the locus lane discrimination point can be determined by the next evaluation value V.
HD = distance between track lane discrimination points / 2
DR = distance from the right trajectory lane discrimination point to the path NP23;
DL = distance from the left track lane discrimination point to the path NP23;
Evaluation value V = (DR−HD) 2 + (DR−HD) 2 ;
When the evaluation value V is less than or equal to a predetermined value, it can be determined that there is no bias.
次に、ＣＰＵは、軌跡レーン判別点の統計フィルタリングを行う（ステップＳ７０８）。本実施例では、パスを挟んで位置する軌跡レーン判別点間の距離（以下、「点間距離」と称する）の統計に基づいて、棋歴レーンの両側の車線境界線を抽出する。
図中に処理例を示した。この例では、パスＮＰ２３１上の基準点Ｐ［１］〜Ｐ［１５］に対応する軌跡レーン判別点を実線または破線の丸印で示した。基準点Ｐ［１］〜Ｐ［５］等、幅が狭い位置の点間距離はｄ２３１である。基準点Ｐ［６］、Ｐ［７］等、幅が広い位置にある軌跡レーン判別点ＱＲ［６］、ＱＬ［６］等の点間距離はｄ２３２である。実際には、基準点ごとに点間距離にはばらつきがある。
Next, the CPU performs statistical filtering of locus lane discrimination points (step S708). In the present embodiment, the lane boundary lines on both sides of the history lane are extracted based on the statistics of the distance between the trajectory lane discriminating points located across the path (hereinafter referred to as “point distance”).
An example of processing is shown in the figure. In this example, the trajectory lane discrimination points corresponding to the reference points P [1] to P [15] on the path NP231 are indicated by solid or broken circles. The distance between points at narrow positions such as the reference points P [1] to P [5] is d231. The distance between points such as the trajectory lane discriminating points QR [6], QL [6], etc., which are at wide positions such as the reference points P [6], P [7], is d232. Actually, the distance between points varies for each reference point.
統計フィルタリングでは、パスＮＰ２３１の進行方向に沿って、５個の基準点ごとに、点間距離をサンプリングし、統計的に外れるものを削除する。
まず、パスＮＰ２３１の端の方に位置する基準点Ｐ［１］〜Ｐ［３］は、図中にＮ１〜Ｎ３で示すように、いずれも基準点Ｐ［１］〜［５］に対応する距離を用いて判定する。これらの基準点Ｐ［１］〜Ｐ［５］に対応する点間距離の最大値、最小値を求める。そして、最小値〜最大値の範囲内をＭ等分して、Ｍ個の階級を設定する。Ｍは、データ数Ｎ（本実施例では５）に基づいて、次に示すスタージスの式によって設定できる。
Ｍ＝１＋（log10Ｎ／log10２）；
ただし、この方法は、サンプリングした点間距離のばらつきが非常に小さい時には、各階級の幅が非常に狭くなり、過度に感度の高いフィルタリングになるおそれがある。こうした状態を回避するため、階級幅に下限値を設けておいても良い。
In the statistical filtering, the distance between points is sampled for every five reference points along the traveling direction of the path NP231, and those that deviate statistically are deleted.
First, the reference points P [1] to P [3] located toward the end of the path NP231 all correspond to the reference points P [1] to [5], as indicated by N1 to N3 in the drawing. Judge using distance. The maximum value and the minimum value of the distance between points corresponding to these reference points P [1] to P [5] are obtained. Then, the range of the minimum value to the maximum value is equally divided into M, and M classes are set. M can be set by the following Sturgis equation based on the number of data N (5 in this embodiment).
M = 1 + (log 10 N / log 10 2);
However, in this method, when the variation in the distance between the sampled points is very small, the width of each class becomes very narrow, and there is a possibility that the filtering becomes excessively sensitive. In order to avoid such a state, a lower limit value may be provided for the class width.
こうして階級を設定したら、サンプリングされた各点間距離を、各階級に割り当て、度数分布を調べる。処理対象となっている基準点が、最大度数に属する場合には、その軌跡レーン判別点を抽出し、その他の場合には削除する。
区間Ｎ１〜Ｎ３では、点間距離はいずれもｄ２３１であるから、基準点Ｐ［１］〜Ｐ［３］は、いずれも最大度数の階級に属することになる。従って、これらの基準点に対応する軌跡レーン判別点は削除対象とはならず、抽出される。
When the class is set in this way, the sampled distance between the points is assigned to each class, and the frequency distribution is examined. If the reference point to be processed belongs to the maximum frequency, the trajectory lane discrimination point is extracted, and is deleted in other cases.
In the sections N1 to N3, since the distance between the points is d231, the reference points P [1] to P [3] all belong to the class of the maximum frequency. Therefore, the trajectory lane discrimination points corresponding to these reference points are not deleted but extracted.
基準点Ｐ［４］については、その前後２点を含む基準点Ｐ［２］〜Ｐ［６］（図中のＮ４の範囲）で上述の統計処理を行う。図の例では、基準点Ｐ［６］に対応する軌跡レーン判別点ＱＲ［６］、ＱＬ［６］の点間距離がｄ２３２であり、基準点Ｐ［２］〜Ｐ［５］に対応する点間距離がｄ２３１である。従って、基準点Ｐ［４］に対応する点間距離は最大度数に属するため、これに対応する軌跡レーン判別点は抽出対象となる。
基準点Ｐ［５］も同様である。
For the reference point P [4], the above statistical processing is performed at the reference points P [2] to P [6] (range N4 in the figure) including the two points before and after the reference point P [4]. In the illustrated example, the distance between the trajectory lane discriminating points QR [6] and QL [6] corresponding to the reference point P [6] is d232, which corresponds to the reference points P [2] to P [5]. The distance between points is d231. Accordingly, since the point-to-point distance corresponding to the reference point P [4] belongs to the maximum frequency, the locus lane discrimination point corresponding to this is the extraction target.
The same applies to the reference point P [5].
基準点Ｐ［６］は、図示を省略したが、基準点Ｐ［４］〜Ｐ［８］を用いて統計処理される。この範囲では、基準点Ｐ［６］、Ｐ［７］に対応する点間距離がｄ２３２であり、その他の点間距離がｄ２３１である。従って、基準点Ｐ［６］の点間距離は最大度数の階級には属さないことになるため、軌跡レーン判別点ＱＲ［６］、ＱＬ［６］は、統計処理よって削除される。
基準点Ｐ［７］も同様に最大度数に属さないため、軌跡レーン判別点ＱＲ［７］、ＱＬ［７］は、統計処理によって削除される。
Although not shown, the reference point P [6] is statistically processed using the reference points P [4] to P [8]. In this range, the distance between points corresponding to the reference points P [6] and P [7] is d232, and the distance between the other points is d231. Accordingly, since the point-to-point distance of the reference point P [6] does not belong to the maximum power class, the locus lane discrimination points QR [6] and QL [6] are deleted by statistical processing.
Similarly, since the reference point P [7] does not belong to the maximum frequency, the trajectory lane discrimination points QR [7] and QL [7] are deleted by statistical processing.
軌跡レーン判別点は、全ての基準点で存在するとは限らない。図中の基準点Ｐ［１１］に対応する破線の円は、対応する軌跡レーン判別点が空白となっていることを表している。例えば、ステップＳ７０６で示した偏りフィルタリングで削除されると、このように軌跡レーン判別点が空白となる可能性がある。
本実施例では、このような空白の部分についても、同じ統計処理の方法を適用した。つまり、図中のＮ６の範囲で示すように、基準点Ｐ［１０］を処理する際には、空白の基準点Ｐ［１１］も含めて５つのデータをサンプリングし、統計処理を行うのである。図の例では、基準点Ｐ［１０］の点間距離は、基準点Ｐ［８］〜Ｐ［１２］の中で最大度数の階級に属するため、その軌跡レーン判別点は、統計処理によって削除されることなく抽出される。
基準点Ｐ［１２］も同様である。
The trajectory lane discrimination point does not necessarily exist at all reference points. A broken-line circle corresponding to the reference point P [11] in the figure indicates that the corresponding locus lane discrimination point is blank. For example, when deleted by the bias filtering shown in step S706, the trajectory lane discriminating point may become blank in this way.
In this embodiment, the same statistical processing method is applied to such a blank portion. That is, as shown in the range of N6 in the figure, when processing the reference point P [10], five data including the blank reference point P [11] are sampled and statistical processing is performed. . In the example shown in the figure, the distance between the reference points P [10] belongs to the highest frequency class among the reference points P [8] to P [12]. Extracted without being done.
The same applies to the reference point P [12].
基準点Ｐ［１４］、Ｐ［１５］に対応する点間距離はｄ２３２であり、その他の点間距離ｄ２３１と大きく異なるため、これらに対応する軌跡レーン判別点ＱＲ［１４］、ＱＬ［１４］、ＱＲ［１５］、ＱＬ［１５］は、統計処理によって削除される。 The point-to-point distance corresponding to the reference points P [14] and P [15] is d232, which is significantly different from the other point-to-point distances d231. Therefore, the trajectory lane discrimination points QR [14] and QL [14] corresponding to these points. , QR [15] and QL [15] are deleted by statistical processing.
以上の処理によって、パスが存在する軌跡レーンの両側の車線境界線上の点が抽出される。これらを連結することによって、軌跡レーンの両側を画する車線境界線を設定することができる。 Through the above processing, points on the lane boundary line on both sides of the locus lane where the path exists are extracted. By connecting these, it is possible to set a lane boundary line that defines both sides of the trajectory lane.
図２４は車線境界線修正処理（３）のフローチャートである。
ＣＰＵは、図２３のステップＳ７０８までで抽出された軌跡レーン判別点に基づいてスムージングを行う（ステップＳ７１０）。図中に処理例を示した。
パスＮＰ２４上の基準点ＢＰ２４１、ＢＰ２４２に対して軌跡レーン判別点Ｐ２４１、Ｐ２４２が抽出されている。抽出された軌跡レーン判別点は●で示した。
基準点ＣＰ２４３、ＢＰ２４４には、軌跡レーン判別点が存在しない。このような基準点に対しては、直近の軌跡レーン判別点Ｐ２４３、Ｐ２４４を補間して、補間点ＩＰ２４１、ＩＰ２４２を設定する。
FIG. 24 is a flowchart of the lane boundary correction process (3).
The CPU performs smoothing based on the locus lane discrimination points extracted up to step S708 in FIG. 23 (step S710). An example of processing is shown in the figure.
Trajectory lane discrimination points P241 and P242 are extracted for the reference points BP241 and BP242 on the path NP24. The extracted trajectory lane discrimination points are indicated by ●.
There are no trajectory lane discrimination points at the reference points CP243 and BP244. Interpolation points IP241 and IP242 are set for such a reference point by interpolating the latest locus lane discrimination points P243 and P244.
このように、各基準点に対して軌跡レーン判別点または補間点が存在する状態にした後、ＣＰＵは、これらの点を曲線Ｌ２４で結びスムージングを行う。スムージングは、スプライン曲線、ベジェ曲線などを用いることができる。
スムージングは、補間点ＩＰ２４１、ＩＰ２４２を設けずに行うことも可能である。ただし、補間点ＩＰ２４１、ＩＰ２４２を設けない場合には、基準点ＢＰ２４３、ＢＰ２４４に対応する区間で、本来の車線境界線から大きく形状が外れるおそれがある。補間点ＩＰ２４１、ＩＰ２４２を設けることにより、このような弊害を回避することができる。
As described above, after the locus lane discrimination point or the interpolation point exists for each reference point, the CPU performs smoothing by connecting these points with the curve L24. For smoothing, a spline curve, a Bezier curve, or the like can be used.
Smoothing can also be performed without providing the interpolation points IP241 and IP242. However, when the interpolation points IP241 and IP242 are not provided, there is a possibility that the shape largely deviates from the original lane boundary line in the section corresponding to the reference points BP243 and BP244. By providing the interpolation points IP241 and IP242, such an adverse effect can be avoided.
以上の処理によって、軌跡レーンの両側の車線境界線を連続した曲線として得ることができる。以下、説明の便宜上、こうして得られた車線境界線を、「レーン境界」と称する。 With the above processing, the lane boundary lines on both sides of the track lane can be obtained as a continuous curve. Hereinafter, for convenience of explanation, the lane boundary line thus obtained is referred to as a “lane boundary”.
次に、ＣＰＵは軌跡レーンに隣接する車線の境界線の解析を行う（ステップＳ７１２）。この処理は、軌跡レーンの両側のレーン境界を、パスと見なして従前の処理（ステップＳ７０４〜Ｓ７１０）を行うのに相当する。 Next, the CPU analyzes the boundary line of the lane adjacent to the trajectory lane (step S712). This processing corresponds to performing the previous processing (steps S704 to S710) by regarding the lane boundaries on both sides of the trajectory lane as paths.
図中に処理例を示した。
ステップＳ７１０までの処理によって、パスＮＰ２４の軌跡レーンのレーン境界としてＬＬ２４１、ＬＲ２４１が得られている。ＣＰＵは、まず、これらのレーン境界としてＬＬ２４１、ＬＲ２４１に沿って所定距離で基準点を設定し、各基準点からレーン境界に対して垂線Ｖ２４［１］〜Ｖ２４［６］を引く。図の例では、レーン境界ＬＬ２４１については、基準点ＰＬ２４［１］〜ＰＬ２４［６］が設定され、レーン境界ＬＲ２４１については、基準点ＰＲ２４［１］〜ＰＲ２４［６］が設定されている。
An example of processing is shown in the figure.
Through the processing up to step S710, LL241 and LR241 are obtained as the lane boundaries of the locus lane of the path NP24. First, the CPU sets a reference point at a predetermined distance along the LL 241 and LR 241 as these lane boundaries, and draws perpendicular lines V24 [1] to V24 [6] from the respective reference points to the lane boundary. In the illustrated example, reference points PL24 [1] to PL24 [6] are set for the lane boundary LL241, and reference points PR24 [1] to PR24 [6] are set for the lane boundary LR241.
次に、車線境界線として認識されている標示と、各基準点からの垂線との交点を求める。ただし、パスＮＰ２４の左側のレーン境界ＬＬ２４１については、更に左側（図の上側）の標示ＬＬ２４２との交点ＱＬ２４［１］、ＱＬ２４［２］、ＱＬ２４［４］〜ＱＬ２４［６］を求める。パスＮＰ２４の右側のレーン境界ＬＲ２４１については、更に右側（図の下側）の標示ＬＲ２４２との交点ＱＲ２４［１］、ＱＲ２４［２］、ＱＲ２４［４］〜ＱＲ２４［６］を求める。 Next, the intersection of the sign recognized as the lane boundary and the perpendicular from each reference point is obtained. However, for the left lane boundary LL241 of the path NP24, intersections QL24 [1], QL24 [2], QL24 [4] to QL24 [6] with the left side (upper side in the figure) sign LL242 are obtained. For the lane boundary LR241 on the right side of the path NP24, intersections QR24 [1], QR24 [2], QR24 [4] to QR24 [6] with the marking LR242 on the right side (lower side of the figure) are further obtained.
先に図２２のステップＳ７０４において、パスを挟んで位置する交点間の距離が所定値Ｄｔｈ以下となる場合には、パスに近い側の交点を削除したのと同じく、ステップＳ７１２の処理でも、交点ＱＬ２４［１］、ＱＲ２４［１］等を求める際には、レーン境界ＬＬ２４１、ＬＲ２４１から所定値Ｄｔｈを超える範囲で、最も近いものを選択する。 In step S704 of FIG. 22, when the distance between the intersections located across the path is equal to or smaller than the predetermined value Dth, the intersection point in the process of step S712 is the same as when the intersection on the side closer to the path is deleted. When obtaining QL24 [1], QR24 [1], etc., the closest one in the range exceeding the predetermined value Dth from the lane boundaries LL241, LR241 is selected.
こうして得られた交点ＱＬ２４［１］、ＱＲ２４［１］等からレーン境界ＬＬ２４１、ＬＲ２４１までの距離について、図２３のステップＳ７０８と同様の統計処理を行い、統計的に外れる交点を削除する。
統計処理の結果、残った交点はレーン境界に対してパスＮＰ２４から見て一つ外側の車線の境界線上の点となる。従って、ＣＰＵはステップＳ７１０と同じく、これらの交点に基づいてスムージングを施す。基準点ＰＬ２４［３］、ＰＲ２４［３］に対応する箇所のように交点が空白となる部分は、ステップＳ７１０と同じく補間点を設けてスムージングを行うことが好ましい。
For the distances from the intersections QL24 [1], QR24 [1], etc. thus obtained to the lane boundaries LL241, LR241, statistical processing similar to that in step S708 in FIG.
As a result of the statistical processing, the remaining intersection is a point on the boundary line of the lane that is one outside as viewed from the path NP24 with respect to the lane boundary. Accordingly, the CPU performs smoothing based on these intersection points, as in step S710. It is preferable to perform smoothing by providing an interpolation point in a portion where the intersection is blank, such as a portion corresponding to the reference points PL24 [3] and PR24 [3], as in step S710.
ステップＳ７１２の処理によって、レーン境界の一つ外側の車線境界線が得られる。ＣＰＵは、新たに得られた車線境界線をレーン境界と見なして、ステップＳ７１２の処理を施す。こうすることによって、順に外側に位置する車線境界線を特定することができる。以下、スムージングによって得られた車線境界線を、説明の便宜上、スムージングラインと称する。 By the process in step S712, a lane boundary line on the outer side of the lane boundary is obtained. The CPU regards the newly obtained lane boundary as a lane boundary, and performs the process of step S712. By doing so, it is possible to specify the lane boundary line located on the outside in order. Hereinafter, the lane boundary obtained by smoothing is referred to as a smoothing line for convenience of explanation.
図２５は車線境界線修正処理（４）のフローチャートである。
ＣＰＵは、この処理に従って、得られた車線境界線について実線か破線かの種別を判定する。
まず、ＣＰＵは、スムージングライン近傍の車線境界線を取得する（ステップＳ７１４）。図中に処理例を示した。
スムージングラインＬ２５上に等間隔に基準点Ｐ２５［１］等を設定し、これらの基準点から垂線を生成し、車線境界線として認識されている標示との直近の交点を求める。図の煩雑化を避けるため、交点の図示は省略した。基準点Ｐ２５［１］については、直近の交点として、標示ＳＬ２５１との交点が得られる。同様に、基準点Ｐ２５［２］では標示ＳＬ２５４との交点、Ｐ２５［３］では標示ＳＬ２５２との交点、Ｐ２５［４］では標示Ｍ２５１との交点、Ｐ２５［５］では標示ＳＬ２５３との交点が得られる。
FIG. 25 is a flowchart of the lane boundary correction process (4).
In accordance with this process, the CPU determines the type of the obtained lane boundary line, which is a solid line or a broken line.
First, the CPU acquires a lane boundary line near the smoothing line (step S714). An example of processing is shown in the figure.
Reference points P25 [1] and the like are set at equal intervals on the smoothing line L25, perpendicular lines are generated from these reference points, and the nearest intersection with the sign recognized as a lane boundary line is obtained. In order to avoid complication of the figure, illustration of the intersection is omitted. For the reference point P25 [1], an intersection with the marking SL251 is obtained as the nearest intersection. Similarly, an intersection with the marking SL254 is obtained at the reference point P25 [2], an intersection with the marking SL252 is obtained at P25 [3], an intersection with the marking M251 is obtained at P25 [4], and an intersection with the marking SL253 is obtained at P25 [5]. It is done.
ＣＰＵは、こうして得られた交点のうち、所定値以下のものを抽出する。ここで用いる所定値は、スムージングラインＬ２５上にあると言える標示を抽出するための基準値である。従って、標示の線幅の数倍程度の値としておくことが好ましい。
ＣＰＵは、所定値を超える交点は削除する。この結果、図の例では、標示ＳＬ２５１〜ＳＬ２５３との交点が抽出される。
The CPU extracts the intersections obtained in this way and those below a predetermined value. The predetermined value used here is a reference value for extracting a sign that can be said to be on the smoothing line L25. Therefore, it is preferable to set a value that is several times the line width of the marking.
The CPU deletes intersections that exceed a predetermined value. As a result, in the example shown in the figure, intersections with the indications SL251 to SL253 are extracted.
ＣＰＵはこうして抽出された交点に基づいて車線境界線のパターン解析を行う（ステップＳ７１６）。つまり、交点が表れるパターンに基づいて車線境界線が実線か破線かを判断するのである。
図示するように、交点有りとなる基準点と、無しとなる基準点とが、ほぼ一定の周期で表れる場合には、車線境界線は破線であると判断することができる。
この周期性は、種々の方法で判断することができる。
The CPU performs lane boundary line pattern analysis based on the intersections thus extracted (step S716). That is, it is determined whether the lane boundary line is a solid line or a broken line based on the pattern in which the intersection appears.
As shown in the drawing, when the reference point having the intersection and the reference point having no intersection appear at a substantially constant cycle, it can be determined that the lane boundary line is a broken line.
This periodicity can be determined by various methods.
こうして車線境界線の種別が判定されると、ＣＰＵは破線と認識された車線境界線同士を連結する処理を行う（ステップＳ７１８）。破線の車線境界線は、図中の（ａ）に示すように、標示ＳＬ２５１、ＳＬ２５２の間に間隙ＳＬ２５が存在するため、連結したスムージングライン同士が、間隙ＳＬ２５で分断されていることが生じ得るからである。
この処理における連結の対象は、スムージングライン同士で行われることもあれば、スムージングラインと未連結状態の車線境界線間で行われることもある。以下では、スムージングライン同士の連結を例にとって説明するが、一方を未連結の車線境界線とした場合も同様に処理することができる。
When the type of the lane boundary line is thus determined, the CPU performs a process of connecting the lane boundary lines recognized as broken lines (step S718). As indicated by (a) in the figure, the broken lane boundary line has a gap SL25 between the markings SL251 and SL252. Therefore, the connected smoothing lines may be separated by the gap SL25. Because.
The connection target in this process may be performed between the smoothing lines or may be performed between the smoothing line and the unconnected lane boundary line. In the following, the connection between the smoothing lines will be described as an example, but the same processing can be performed when one of the smoothing lines is an unconnected lane boundary line.
連結可否を判断するための処理例を（ｂ）に示した。ＣＰＵは破線のスムージングラインＬｂ２５１、Ｌｂ２５２を近似した方向ベクトルＶ２５１，Ｖ２５２を求める。各スムージングラインＬｂ２５１、Ｌｂ２５２の構成点からの距離誤差が最小となる直線を表すベクトルを求めればよい。 A processing example for determining whether or not connection is possible is shown in FIG. The CPU obtains directional vectors V251 and V252 that approximate the dashed smoothing lines Lb251 and Lb252. What is necessary is just to obtain | require the vector showing the straight line from which the distance error from the structural point of each smoothing line Lb251 and Lb252 becomes the minimum.
そして、一方のベクトルＶ２５１に基づいて検出領域Ａ２５を設定する。本実施例では、接戦方向のベクトルＶ２５１方向に平行に長辺を有する矩形で検出領域Ａ２５を設定した。そして、検出領域Ａ２５内に端点が存在するスムージングラインを検出する。図中の例では、スムージングラインＬｂ２５２が検出されることになる。 Then, the detection area A25 is set based on one vector V251. In this embodiment, the detection area A25 is set as a rectangle having a long side parallel to the direction of the vector V251 in the close direction. Then, a smoothing line having an end point in the detection area A25 is detected. In the example in the figure, the smoothing line Lb252 is detected.
検出対象となるのは、スムージングラインＬｂ２５１と同種のスムージングラインである。つまり、スムージングラインＬｂ２５１が実線であれば、実線が検出対象となり、破線であれば、破線が検出対象となる。
未連結の車線境界線が検出対象となる場合には、車線境界線の長さに基づいて実線か破線かの判断を行えばよい。
更に、破線同士を結合する時には、スムージングラインＬｂ２５１、Ｌｂ２５２の間隔が、破線の間隙に相当する距離だけ空いていることを検出条件に加えても良い。
The detection target is a smoothing line of the same type as the smoothing line Lb251. That is, if the smoothing line Lb251 is a solid line, the solid line is a detection target, and if it is a broken line, the broken line is a detection target.
When an unconnected lane boundary line is a detection target, it may be determined whether it is a solid line or a broken line based on the length of the lane boundary line.
Furthermore, when connecting the broken lines, it may be added to the detection condition that the distance between the smoothing lines Lb251 and Lb252 is a distance corresponding to the gap between the broken lines.
次に、方向ベクトルＶ２５１、Ｖ２５２のなす角度を求める。スムージングラインＬｂ２５１、Ｌｂ２５２が、滑らかに連結できる状態にある時、方向ベクトルＶ２５１、Ｖ２５２は、ほぼ対向する位置関係にあるはずである。従って、方向ベクトルＶ２５１、Ｖ２５２のなす角が、１８０度から所定範囲にある時には、これらのスムージングラインＬｂ２５１、Ｌｂ２５２は連結可能であると判断する。 Next, an angle formed by the direction vectors V251 and V252 is obtained. When the smoothing lines Lb251 and Lb252 are in a state where they can be smoothly connected, the direction vectors V251 and V252 should be in a substantially opposing positional relationship. Accordingly, when the angles formed by the direction vectors V251 and V252 are within a predetermined range from 180 degrees, it is determined that these smoothing lines Lb251 and Lb252 can be connected.
上述の条件によって連結対象が一つに絞り込めない場合には、更に、次の方法で絞り込み行う。
まず、スムージングラインＬｂ２５１の方向ベクトルＶ２５１を延長して基準直線を設定する。そして、連結対象となるスムージングラインＬｂ２５２等の方向ベクトルＶ２５２の終点および始点から、上述の基準直線までの距離を求める。こうして得られた距離の合計を、各方向ベクトル２５２等の評価値とし、この評価値が最小となるものを連結対象として選択し、連結する。
ただし、この方法では、カーブしている道路などで、連結対象となるスムージングラインＬｂ２５２が大きくカーブしている場合に、方向ベクトルの始点が基準直線から大きくずれてしまい適正な連結対象を選択できなくなるおそれがある。こうした状態を回避するため、方向ベクトルの終点または始点からの距離に所定の重み値を乗じた和で上述の評価値を算出してもよい。
If the connection target cannot be narrowed down to one due to the above conditions, further narrowing is performed by the following method.
First, the direction vector V251 of the smoothing line Lb251 is extended to set a reference straight line. Then, the distance from the end point and start point of the direction vector V252 such as the smoothing line Lb252 to be connected to the reference straight line is obtained. The total of the distances obtained in this way is used as an evaluation value for each direction vector 252 and the like, and the one having the smallest evaluation value is selected as a connection target and connected.
However, in this method, when the smoothing line Lb252 to be connected is greatly curved on a curved road or the like, the start point of the direction vector is greatly deviated from the reference straight line, so that an appropriate connection target cannot be selected. There is a fear. In order to avoid such a state, the above-described evaluation value may be calculated by the sum of the distance from the end point or start point of the direction vector and a predetermined weight value.
ＣＰＵはステップＳ７１８の処理を、連結可能な車線境界線が見つからなくなるまで、繰り返し実行する。
以上の処理によって、ノイズや矢印の一部など、車線境界線と誤認識されていた標示は削除される。また、破線と認識された車線境界線同士はステップＳ７１８の処理によって連結されている。
The CPU repeatedly executes the process of step S718 until no connectable lane boundary line is found.
Through the above processing, signs that have been misrecognized as lane boundaries such as noise and part of arrows are deleted. Further, the lane boundary lines recognized as broken lines are connected by the process of step S718.
従って、ＣＰＵは残った車線境界線を、実線の境界線と見なして連結する（ステップＳ７２０）。連結にはステップＳ７１８と同様の方法を適用することができる。ただし、車線境界線の種別は問わずに連結するものとする。
もっとも、実線同士とみなして連結するため、ステップＳ７１８に比較して、連結対象となるべき方向ベクトルＶ２５１、Ｖ２５２のなす角度を、より１８０度に近い範囲に限定してもよい。
また、矢印同士が誤って連結されてしまうのを回避するため、連結対象となる車線境界線またはスムージングラインの少なくとも一方は、明らかに実線の車線境界線と認められる程度の長さを有していることを条件としてもよい。例えば、処理対象となる車線境界線のいずれか一方の長さは、矢印や破線の構成線の長さの数倍程度の基準値以上であることを条件とすることができる。
Therefore, the CPU regards the remaining lane boundary line as a solid boundary line and connects them (step S720). For the connection, the same method as in step S718 can be applied. However, it shall be connected regardless of the type of lane boundary line.
However, in order to connect the lines as solid lines, the angle formed by the direction vectors V251 and V252 to be connected may be limited to a range closer to 180 degrees compared to step S718.
In addition, in order to avoid erroneous connection of the arrows, at least one of the lane boundary line or smoothing line to be connected has a length that is clearly recognized as a solid lane boundary line. It may be conditional on being. For example, the length of any one of the lane boundary lines to be processed can be a condition that the length is equal to or more than a reference value that is several times the length of the constituent lines of arrows and broken lines.
Ｄ．効果：
以上で説明した実施例の道路面撮影システム１００および路面標示地図生成装置２００によれば、道路を走行しながら取得したフレーム画像を正射変換して得られた路面テクスチャを配置することにより、走行軌跡（パス）に沿って位置精度のよい連結画像を得ることができる。更に、複数のパスに沿って得られた連結画像同士を、位置合わせして合成することにより、道路全体の路面画像を得ることができる。この際、画像を撮影した際の各パスの位置精度が最も高いものを基準パスとして、他のパスをこの基準パスに合わせる方法を採ることにより、全体の位置精度を確保しつつ路面画像を生成することができる。
本実施例では、各パスの連結画像は、路面テクスチャを配置するまでに留め、これらを一枚の画像として合成していない。従って、路面テクスチャ単位で配置を平行移動することによって、複数パスの連結画像を容易に合成可能である。
D. effect:
According to the road surface photographing system 100 and the road marking map generating device 200 of the embodiment described above, the road surface texture obtained by orthogonal transformation of the frame image acquired while traveling on the road is arranged, thereby driving. A connected image with high positional accuracy can be obtained along a trajectory (path). Furthermore, a road surface image of the entire road can be obtained by aligning and synthesizing connected images obtained along a plurality of paths. At this time, a road surface image is generated while ensuring the overall position accuracy by adopting a method that uses the path with the highest position accuracy of each path when taking an image as a reference path and aligning other paths with this reference path. can do.
In the present embodiment, the connected images of the respective paths are limited until the road surface texture is arranged, and these are not combined as a single image. Therefore, it is possible to easily synthesize a multi-pass connected image by translating the arrangement in units of road surface texture.
本実施例では、各パスの連結画像の生成、および複数パスの連結画像の合成のいずれの処理も、路面テクスチャに対するアフィン変換を施す必要がなく、単純な平行移動で行う。従って、複雑な画像処理に伴う画質の劣化を回避することができ、路面標示が鮮明な状態で表示された路面画像を得ることが可能である。また、平行移動で行うため、路面テクスチャ内の代表点を基準とする相対的な座標系は、連結画像の生成および合成の前後で維持される。この結果、代表点の絶対位置座標が得られれば、路面テクスチャ内の各点の絶対位置座標を容易に取得することが可能となり、路面標示の絶対位置座標を取得することも可能となる。 In this embodiment, both the generation of the connected image of each path and the synthesis of the combined images of a plurality of paths do not need to perform affine transformation on the road surface texture, and are performed by simple parallel movement. Therefore, it is possible to avoid deterioration in image quality due to complicated image processing, and to obtain a road surface image displayed with a clear road marking. Further, since the translation is performed by parallel movement, a relative coordinate system based on the representative point in the road texture is maintained before and after the generation and synthesis of the connected images. As a result, if the absolute position coordinates of the representative point are obtained, the absolute position coordinates of each point in the road texture can be easily obtained, and the absolute position coordinates of the road marking can also be obtained.
本実施例では、連結画像を構成する複数の路面テクスチャが重なっている領域では、生成された路面画像に対して、透明化ポリゴンを設定可能である。こうすることにより、重なり合っている路面テクスチャに含まれる路面標示の中で、最も鮮明なものを有効活用することが可能となる。従って、路面テクスチャを合成して得られる路面画像の画質を向上させることが可能である。 In the present embodiment, a transparent polygon can be set for a generated road surface image in an area where a plurality of road surface textures constituting a connected image overlap. By doing so, it becomes possible to effectively utilize the clearest road marking included in the overlapping road surface texture. Therefore, it is possible to improve the image quality of the road surface image obtained by synthesizing the road surface texture.
また、本実施例では、連結画像から認識された車線境界線に対して、車線境界線間の間隔や、車線境界線に対するパスの偏りに基づいて誤認識を排除することができる（図２２のステップＳ７０４、図２３のステップＳ７０６参照）。また、パスと車線境界線との間隔に基づいて、パスが含まれる車線の両側を区画する車線境界線を特定し、連結することができる。
こうすることによって、本実施例では、道路に沿った一連の車線境界線を、ポリラインとして特定することができる。ポリラインとして特定することによって、車線境界線の各構成点の位置座標を特定することができるから、路面標示地図に活用することができる。
Further, in this embodiment, it is possible to eliminate misrecognition with respect to the lane boundary line recognized from the connection image based on the interval between the lane boundary lines and the bias of the path with respect to the lane boundary line (FIG. 22). Step S704, see Step S706 in FIG. 23). Further, the lane boundary line that divides both sides of the lane including the path can be identified and connected based on the interval between the path and the lane boundary line.
By doing so, in this embodiment, a series of lane boundary lines along the road can be specified as a polyline. By specifying it as a polyline, the position coordinates of each component point of the lane boundary line can be specified, so that it can be utilized for a road marking map.
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。
例えば、連結画像は、路面テクスチャを合成した一枚の画像として生成してもよい。この場合、複数パスの合成を行う際には、連結画像を路面テクスチャに相当する複数の領域に分割した上で、領域ごとに平行移動すればよい。
本実施例では、車両に搭載したビデオカメラで撮影した画像を利用する例を示したが、車両に限らず自転車その他の種々の移動体を利用可能であり、歩行しながら撮影する方法を採っても良い。
As mentioned above, although the various Example of this invention was described, it cannot be overemphasized that this invention is not limited to these Examples, and can take a various structure in the range which does not deviate from the meaning.
For example, the connected image may be generated as a single image obtained by combining road textures. In this case, when synthesizing a plurality of paths, the connected image may be divided into a plurality of regions corresponding to the road texture, and then translated for each region.
In this embodiment, an example of using an image taken with a video camera mounted on a vehicle is shown. However, not only a vehicle but also various other moving bodies can be used, and a method of taking a picture while walking is adopted. Also good.
１００…道路面撮影システム
１１０…位置計測部
１１０…計測データ
１１２…コントローラ
１１４…ＧＰＳ
１１４Ａ…アンテナ
１１６…ＩＭＵ
１１８…ＤＭＩ
１２０…ビデオカメラ
１３０…記録装置
１４０…ハードディスク
１４２…画像データ
１４４…同期データ
１４６…計測データ
１５０…基準局データ
２００…路面標示地図生成装置
２０１…主制御部
２０２…コマンド入力部
２０３…表示制御部
２０４…データ入力部
２０５…軌跡データ算出部
２０６…画像変換部
２０７…１パス画像合成部
２１０ａ…軌跡データ
２１０ｂ…路面軌跡データ
２１０ｃ…路面テクスチャ
２１０ｄ…連結画像
２１０ｅ…道路画像
２１０ｆ…道路画像用登録データ
２１０ｇ…軌跡用登録データ
２１０…処理データ記憶部
２２０…位置合わせ処理部
２２１…透明化ポリゴン設定部
DESCRIPTION OF SYMBOLS 100 ... Road surface imaging | photography system 110 ... Position measurement part 110 ... Measurement data 112 ... Controller 114 ... GPS
114A ... Antenna 116 ... IMU
118 ... DMI
DESCRIPTION OF SYMBOLS 120 ... Video camera 130 ... Recording apparatus 140 ... Hard disk 142 ... Image data 144 ... Synchronization data 146 ... Measurement data 150 ... Base station data 200 ... Road marking map generator 201 ... Main control part 202 ... Command input part 203 ... Display control part 204 ... Data input unit 205 ... Track data calculation unit 206 ... Image conversion unit 207 ... 1-pass image synthesis unit 210a ... Track data 210b ... Road surface track data 210c ... Road surface texture 210d ... Linked image 210e ... Road image 210f ... Road image registration data 210g ... Registration data for locus 210 ... Processing data storage unit 220 ... Alignment processing unit 221 ... Transparent polygon setting unit
Claims (9)
（ａ） 前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続画像の画像データと、該画像データの撮影位置を表す位置座標データとを入力する工程と、
（ｂ） 前記入力された画像データを構成する各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る工程と、
（ｃ） 前記正射画像を前記位置座標データに基づいて、前記パス上に配置することにより、前記各パスの路面を表す連結画像を生成して表示する工程と、
（ｄ） 前記連結画像から、画像処理によって、車線境界線の位置を認識する工程と、
（ｅ） 前記車線境界線と、前記パスまたは他の車線境界線との間隔に基づいて、該車線境界線の認識結果を修正する工程とを備える生成方法。 A generation method for generating a road marking map including a marking given to a road surface by a computer,
(A) Image data of a continuous image obtained by photographing a road surface including the sign while moving along a predetermined path which is a movement locus when photographing the road surface, and position coordinate data representing a photographing position of the image data And a step of inputting
(B) converting each frame image constituting the input image data to obtain an orthogonal image in a state where the road surface is viewed from directly above;
(C) generating and displaying a connected image representing a road surface of each path by arranging the orthogonal image on the path based on the position coordinate data;
(D) recognizing the position of the lane boundary line from the connected image by image processing;
(E) A generation method including a step of correcting a recognition result of the lane boundary line based on an interval between the lane boundary line and the path or another lane boundary line.
前記工程（ｅ）は、前記パスを挟んで直近に位置する前記車線境界線の前記パスに対する配置の偏りに基づき、誤認識と判定される認識結果を除去する工程である生成方法。 The generation method according to claim 1, comprising:
The generating method is a generation method in which the step (e) is a step of removing a recognition result determined to be misrecognition based on a deviation of an arrangement of the lane boundary line positioned nearest to the path with respect to the path.
前記工程（ｅ）は、
（ｅ１） 前記パスに沿う方向に所定間隔で設定された基準点から前記認識された車線境界線への距離を求める工程と、
（ｅ２） 前記距離の統計に基づいて、前記認識された車線境界線のうち、同一の車線境界線として結合されるべきとものを特定し、該特定された車線境界線同士を連結する工程とを供える生成方法。 The generation method according to claim 1 or 2, comprising:
The step (e)
(E1) obtaining a distance from a reference point set at a predetermined interval in the direction along the path to the recognized lane boundary;
(E2) identifying, based on the distance statistics, the recognized lane boundary lines that should be combined as the same lane boundary line, and connecting the identified lane boundary lines; Providing a production method.
前記工程（ｅ）は、前記認識結果のうち、連結されるべき複数の車線境界線を特定し、該複数の車線境界線の前記パスに双方向の間隙に構成点を補間した上で、これらの構成点を用いたスムージング処理を施して車線境界線を連結する工程である生成方法。 It is the production | generation method in any one of Claims 1-4, Comprising:
The step (e) specifies a plurality of lane boundary lines to be connected among the recognition results, interpolates constituent points in a bidirectional gap in the path of the plurality of lane boundary lines, and A generation method that is a step of connecting lane boundary lines by performing a smoothing process using the constituent points.
（ｆ１） 前記連結された車線境界線上に所定間隔で配置された各点からの垂線と、前記車線境界線の認識結果との交点を求める工程と、
（ｆ２） 前記パスに沿う方向に前記交点が表れる規則性に基づいて、前記連結された車線境界線が実線か破線かを判断する工程とを供える生成方法。 6. The generation method according to claim 5, further comprising:
(F1) obtaining intersections between perpendiculars from the points arranged at predetermined intervals on the connected lane boundary line and the recognition result of the lane boundary line;
(F2) A generation method including a step of determining whether the connected lane boundary line is a solid line or a broken line based on regularity in which the intersection appears in a direction along the path.
前記工程（ｅ）は、前記パスに沿う方向に離れた位置にある複数の車線境界線に対し、それぞれの車線境界線を近似したベクトルのなす角、および端点間の距離に基づいて、該車線境界線同士の連結可否を判断する工程を供える生成方法。 It is the production | generation method in any one of Claims 1-6, Comprising:
The step (e) is based on an angle formed by a vector approximating each lane boundary line and a distance between end points with respect to a plurality of lane boundary lines at positions separated in the direction along the path. A generation method including a step of determining whether or not the boundary lines can be connected.
前記道路面を撮影する際の移動軌跡である複数のパスに沿って移動しながら前記標示を含む路面を撮影した連続画像の画像データと、該画像データの撮影位置を表す位置座標データとを入力する入力部と、
前記入力された画像データを構成する各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る画像変換部と、
前記正射画像を前記位置座標データに基づいて、前記パス上に配置することにより、前記各パスの路面を表す連結画像を生成して表示する連結画像生成部と、
前記連結画像から、画像処理によって、車線境界線の位置を認識する標示認識部と、
前記車線境界線と、前記パスまたは他の車線境界線との間隔に基づいて、該車線境界線の認識結果を修正する標示修正部とを備える生成装置。 A generating device for generating a road marking map including a marking applied to a road surface,
Input image data of a continuous image obtained by photographing a road surface including the sign while moving along a plurality of paths that are movement trajectories when photographing the road surface, and position coordinate data representing a photographing position of the image data. An input unit to
An image conversion unit that converts each frame image constituting the input image data and obtains an orthogonal image in a state in which the road surface is viewed from directly above;
A connected image generation unit that generates and displays a connected image representing a road surface of each path by arranging the orthogonal image on the path based on the position coordinate data;
From the connected image, a sign recognition unit that recognizes the position of the lane boundary line by image processing;
A generation apparatus comprising: a sign correcting unit that corrects a recognition result of the lane boundary based on an interval between the lane boundary and the path or another lane boundary.
前記道路面を撮影する際の移動軌跡である複数のパスに沿って移動しながら前記標示を含む路面を撮影した連続画像の画像データと、該画像データの撮影位置を表す位置座標データとを入力する入力サブプログラムと、
前記入力された画像データを構成する各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る画像変換サブプログラムと、
前記正射画像を前記位置座標データに基づいて、前記パス上に配置することにより、前記各パスの路面を表す連結画像を生成して表示する連結画像生成サブプログラムと、
前記連結画像から、画像処理によって、車線境界線の位置を認識する標示認識サブプログラムと、
前記車線境界線と、前記パスまたは他の車線境界線との間隔に基づいて、該車線境界線の認識結果を修正する標示修正サブプログラムとを備えるコンピュータプログラム。 A computer program for generating a road marking map including a marking applied to a road surface,
Input image data of a continuous image obtained by photographing a road surface including the sign while moving along a plurality of paths that are movement trajectories when photographing the road surface, and position coordinate data representing a photographing position of the image data. An input subprogram to
An image conversion subprogram that converts each frame image constituting the input image data and obtains an orthogonal image in a state in which the road surface is viewed from directly above;
A connected image generation subprogram for generating and displaying a connected image representing a road surface of each path by arranging the orthogonal image on the path based on the position coordinate data;
A sign recognition subprogram for recognizing the position of the lane boundary line by image processing from the connected image;
A computer program comprising: a sign correction subprogram for correcting a recognition result of the lane boundary line based on an interval between the lane boundary line and the path or another lane boundary line.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008083251A JP2009237901A (en) | 2008-03-27 | 2008-03-27 | Method of creating road marker map |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008083251A JP2009237901A (en) | 2008-03-27 | 2008-03-27 | Method of creating road marker map |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009237901A true JP2009237901A (en) | 2009-10-15 |
Family
ID=41251772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008083251A Pending JP2009237901A (en) | 2008-03-27 | 2008-03-27 | Method of creating road marker map |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009237901A (en) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015513014A (en) * | 2012-01-17 | 2015-04-30 | リーン テック エルエルシー | Road marking locator, inspection device, and analysis device |
| CN104700617A (en) * | 2015-04-02 | 2015-06-10 | 武汉大学 | High-precision lane information extracting method based on low-precision GPS track data |
| JP2015206649A (en) * | 2014-04-18 | 2015-11-19 | アイサンテクノロジー株式会社 | Road map data and navigation device |
| JP2017078607A (en) * | 2015-10-19 | 2017-04-27 | 株式会社豊田中央研究所 | Vehicle position estimation device and program |
| JP2017090121A (en) * | 2015-11-05 | 2017-05-25 | 株式会社豊田中央研究所 | Center processor, map creation system, and program |
| WO2017154464A1 (en) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | Travel position detection device and travel position detection method |
| JP2017161501A (en) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | Travelling location detection device and travelling location detection method |
| US9784843B2 (en) | 2012-01-17 | 2017-10-10 | Limn Tech LLC | Enhanced roadway mark locator, inspection apparatus, and marker |
| JP2018072637A (en) * | 2016-10-31 | 2018-05-10 | 株式会社トヨタマップマスター | Orthoscopic image creation device, orthoscopic image creation method and program |
| JP2018173512A (en) * | 2017-03-31 | 2018-11-08 | パイオニア株式会社 | Traffic lane information generation device, traffic lane information generation method, and program for traffic lane information generation |
| JP2018173511A (en) * | 2017-03-31 | 2018-11-08 | パイオニア株式会社 | Traffic lane information generation device, traffic lane information generation method, and program for traffic lane information generation |
| CN109470254A (en) * | 2018-10-31 | 2019-03-15 | 百度在线网络技术（北京）有限公司 | Generation method, device, system and the storage medium of map lane line |
| WO2019116686A1 (en) * | 2017-12-15 | 2019-06-20 | 株式会社デンソー | Road map generation system and road map generation method |
| CN110361021A (en) * | 2018-09-30 | 2019-10-22 | 长城汽车股份有限公司 | Lane line approximating method and system |
| CN110926469A (en) * | 2018-08-31 | 2020-03-27 | 杭州海康机器人技术有限公司 | Mobile robot control method and device and mobile robot real-time mapping method and device |
| CN111595340A (en) * | 2020-04-20 | 2020-08-28 | 广东博智林机器人有限公司 | Path determining method and device and electronic equipment |
| CN111814651A (en) * | 2020-07-02 | 2020-10-23 | 北京百度网讯科技有限公司 | Method, device and equipment for generating lane line |
| CN113465615A (en) * | 2021-06-23 | 2021-10-01 | 智道网联科技(北京)有限公司 | Lane line generation method and related device |
| CN113566817A (en) * | 2021-07-23 | 2021-10-29 | 北京经纬恒润科技股份有限公司 | Vehicle positioning method and device |
| CN113928336A (en) * | 2021-09-24 | 2022-01-14 | 上海时代之光照明电器检测有限公司 | Automatic driving assistance method and system for automobile |
| CN114842647A (en) * | 2022-05-10 | 2022-08-02 | 华人运通(上海)自动驾驶科技有限公司 | Method, product and system for providing electronic horizon service for intersection |
| CN115906265A (en) * | 2022-12-27 | 2023-04-04 | 中交第二公路勘察设计研究院有限公司 | Near main line outlet marking optimization method based on lane changing behavior characteristics |
| DE102022127693A1 (en) | 2022-10-20 | 2024-04-25 | Ford Global Technologies, Llc | Method and system for evaluating a device for on-board camera-based detection of road markings |
| US12007243B2 (en) | 2018-09-30 | 2024-06-11 | Great Wall Motor Company Limited | Traffic lane line fitting method and system |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06162159A (en) * | 1992-06-12 | 1994-06-10 | Nippon Steel Corp | Method and device for processing graphic data |
| JPH07200782A (en) * | 1993-12-27 | 1995-08-04 | Suzuki Motor Corp | Line recognition method by image processing |
| JPH0844999A (en) * | 1994-08-03 | 1996-02-16 | Nissan Motor Co Ltd | Approach prediction device |
| JP2001014595A (en) * | 1999-06-29 | 2001-01-19 | Mitsubishi Motors Corp | Device for detecting traffic lane for vehicle |
| JP2002203251A (en) * | 2000-12-28 | 2002-07-19 | Pioneer Electronic Corp | Method and device for preparing map image data |
| JP2003281552A (en) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | Image processor and method |
| JP2004294953A (en) * | 2003-03-28 | 2004-10-21 | Toyota Central Res & Dev Lab Inc | Road shape restoring device |
| JP2004310522A (en) * | 2003-04-08 | 2004-11-04 | Toyota Motor Corp | Vehicular image processor |
| JP2005100000A (en) * | 2003-09-24 | 2005-04-14 | Aisin Seiki Co Ltd | Road surface travel lane detection device |
| JP2006214854A (en) * | 2005-02-03 | 2006-08-17 | Nagoya City | Apparatus and method for creating road surface image |
| WO2006114955A1 (en) * | 2005-04-25 | 2006-11-02 | Geo Technical Laboratory Co., Ltd. | Imaging position analyzing method |
| WO2007077682A1 (en) * | 2005-12-28 | 2007-07-12 | Honda Motor Co., Ltd. | Vehicle and lane mark detection device |
| JP2007249103A (en) * | 2006-03-20 | 2007-09-27 | Zenrin Co Ltd | Road image creation system, road image creation method, and road image compositing device |
| JP2007264714A (en) * | 2006-03-27 | 2007-10-11 | Fuji Heavy Ind Ltd | Lane recognition device |
-
2008
- 2008-03-27 JP JP2008083251A patent/JP2009237901A/en active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06162159A (en) * | 1992-06-12 | 1994-06-10 | Nippon Steel Corp | Method and device for processing graphic data |
| JPH07200782A (en) * | 1993-12-27 | 1995-08-04 | Suzuki Motor Corp | Line recognition method by image processing |
| JPH0844999A (en) * | 1994-08-03 | 1996-02-16 | Nissan Motor Co Ltd | Approach prediction device |
| JP2001014595A (en) * | 1999-06-29 | 2001-01-19 | Mitsubishi Motors Corp | Device for detecting traffic lane for vehicle |
| JP2002203251A (en) * | 2000-12-28 | 2002-07-19 | Pioneer Electronic Corp | Method and device for preparing map image data |
| JP2003281552A (en) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | Image processor and method |
| JP2004294953A (en) * | 2003-03-28 | 2004-10-21 | Toyota Central Res & Dev Lab Inc | Road shape restoring device |
| JP2004310522A (en) * | 2003-04-08 | 2004-11-04 | Toyota Motor Corp | Vehicular image processor |
| JP2005100000A (en) * | 2003-09-24 | 2005-04-14 | Aisin Seiki Co Ltd | Road surface travel lane detection device |
| JP2006214854A (en) * | 2005-02-03 | 2006-08-17 | Nagoya City | Apparatus and method for creating road surface image |
| WO2006114955A1 (en) * | 2005-04-25 | 2006-11-02 | Geo Technical Laboratory Co., Ltd. | Imaging position analyzing method |
| WO2007077682A1 (en) * | 2005-12-28 | 2007-07-12 | Honda Motor Co., Ltd. | Vehicle and lane mark detection device |
| JP2007249103A (en) * | 2006-03-20 | 2007-09-27 | Zenrin Co Ltd | Road image creation system, road image creation method, and road image compositing device |
| JP2007264714A (en) * | 2006-03-27 | 2007-10-11 | Fuji Heavy Ind Ltd | Lane recognition device |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015513014A (en) * | 2012-01-17 | 2015-04-30 | リーン テック エルエルシー | Road marking locator, inspection device, and analysis device |
| JP2017106318A (en) * | 2012-01-17 | 2017-06-15 | リーン テック エルエルシー | Road surface mark locator, inspecting device and analyzing device |
| US9784843B2 (en) | 2012-01-17 | 2017-10-10 | Limn Tech LLC | Enhanced roadway mark locator, inspection apparatus, and marker |
| JP2015206649A (en) * | 2014-04-18 | 2015-11-19 | アイサンテクノロジー株式会社 | Road map data and navigation device |
| CN104700617A (en) * | 2015-04-02 | 2015-06-10 | 武汉大学 | High-precision lane information extracting method based on low-precision GPS track data |
| CN104700617B (en) * | 2015-04-02 | 2016-03-16 | 武汉大学 | Based on the high precision track information extracting method of low precision GPS track data |
| JP2017078607A (en) * | 2015-10-19 | 2017-04-27 | 株式会社豊田中央研究所 | Vehicle position estimation device and program |
| JP2017090121A (en) * | 2015-11-05 | 2017-05-25 | 株式会社豊田中央研究所 | Center processor, map creation system, and program |
| WO2017154464A1 (en) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | Travel position detection device and travel position detection method |
| JP2017161501A (en) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | Travelling location detection device and travelling location detection method |
| US10984551B2 (en) | 2016-03-07 | 2021-04-20 | Denso Corporation | Traveling position detection apparatus and traveling position detection method |
| JP2018072637A (en) * | 2016-10-31 | 2018-05-10 | 株式会社トヨタマップマスター | Orthoscopic image creation device, orthoscopic image creation method and program |
| JP2018173511A (en) * | 2017-03-31 | 2018-11-08 | パイオニア株式会社 | Traffic lane information generation device, traffic lane information generation method, and program for traffic lane information generation |
| JP2018173512A (en) * | 2017-03-31 | 2018-11-08 | パイオニア株式会社 | Traffic lane information generation device, traffic lane information generation method, and program for traffic lane information generation |
| WO2019116686A1 (en) * | 2017-12-15 | 2019-06-20 | 株式会社デンソー | Road map generation system and road map generation method |
| JP2019109592A (en) * | 2017-12-15 | 2019-07-04 | 株式会社デンソー | System and method for generating road map |
| CN110926469A (en) * | 2018-08-31 | 2020-03-27 | 杭州海康机器人技术有限公司 | Mobile robot control method and device and mobile robot real-time mapping method and device |
| CN110926469B (en) * | 2018-08-31 | 2021-09-17 | 杭州海康机器人技术有限公司 | Mobile robot control method and device and mobile robot real-time mapping method and device |
| CN110361021A (en) * | 2018-09-30 | 2019-10-22 | 长城汽车股份有限公司 | Lane line approximating method and system |
| US12007243B2 (en) | 2018-09-30 | 2024-06-11 | Great Wall Motor Company Limited | Traffic lane line fitting method and system |
| CN110361021B (en) * | 2018-09-30 | 2021-06-22 | 毫末智行科技有限公司 | Lane line fitting method and system |
| CN109470254A (en) * | 2018-10-31 | 2019-03-15 | 百度在线网络技术（北京）有限公司 | Generation method, device, system and the storage medium of map lane line |
| CN109470254B (en) * | 2018-10-31 | 2020-09-08 | 百度在线网络技术（北京）有限公司 | Map lane line generation method, device, system and storage medium |
| CN111595340A (en) * | 2020-04-20 | 2020-08-28 | 广东博智林机器人有限公司 | Path determining method and device and electronic equipment |
| CN111595340B (en) * | 2020-04-20 | 2023-03-21 | 广东博智林机器人有限公司 | Path determining method and device and electronic equipment |
| CN111814651B (en) * | 2020-07-02 | 2024-01-12 | 阿波罗智能技术(北京)有限公司 | Lane line generation method, device and equipment |
| CN111814651A (en) * | 2020-07-02 | 2020-10-23 | 北京百度网讯科技有限公司 | Method, device and equipment for generating lane line |
| CN113465615B (en) * | 2021-06-23 | 2021-11-09 | 智道网联科技(北京)有限公司 | Lane line generation method and related device |
| CN113465615A (en) * | 2021-06-23 | 2021-10-01 | 智道网联科技(北京)有限公司 | Lane line generation method and related device |
| CN113566817A (en) * | 2021-07-23 | 2021-10-29 | 北京经纬恒润科技股份有限公司 | Vehicle positioning method and device |
| CN113566817B (en) * | 2021-07-23 | 2024-03-08 | 北京经纬恒润科技股份有限公司 | Vehicle positioning method and device |
| CN113928336A (en) * | 2021-09-24 | 2022-01-14 | 上海时代之光照明电器检测有限公司 | Automatic driving assistance method and system for automobile |
| CN113928336B (en) * | 2021-09-24 | 2023-09-01 | 上海时代之光照明电器检测有限公司 | Automatic driving assisting method and system for automobile |
| CN114842647A (en) * | 2022-05-10 | 2022-08-02 | 华人运通(上海)自动驾驶科技有限公司 | Method, product and system for providing electronic horizon service for intersection |
| DE102022127693A1 (en) | 2022-10-20 | 2024-04-25 | Ford Global Technologies, Llc | Method and system for evaluating a device for on-board camera-based detection of road markings |
| CN115906265A (en) * | 2022-12-27 | 2023-04-04 | 中交第二公路勘察设计研究院有限公司 | Near main line outlet marking optimization method based on lane changing behavior characteristics |
| CN115906265B (en) * | 2022-12-27 | 2024-05-10 | 中交第二公路勘察设计研究院有限公司 | Near main line outlet marking optimization method based on channel change behavior characteristics |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009237901A (en) | Method of creating road marker map | |
| JP5363752B2 (en) | Road marking map generation method | |
| JP5324240B2 (en) | Road marking map generation method and road marking map generation device | |
| JP2009223817A (en) | Method for generating road surface marked map | |
| EP3519770B1 (en) | Methods and systems for generating and using localisation reference data | |
| JP2009259215A (en) | Road surface marking map generation method | |
| US8571265B2 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
| CN108460815B (en) | Method and device for editing map road elements | |
| EP3332216B1 (en) | Methods and systems for generating and using localisation reference data | |
| JP4767578B2 (en) | High-precision CV calculation device, CV-type three-dimensional map generation device and CV-type navigation device equipped with this high-precision CV calculation device | |
| JP5808369B2 (en) | Overhead image generation device, overhead image generation method, and overhead image generation program | |
| US6768813B1 (en) | Photogrammetric image processing apparatus and method | |
| US20090080697A1 (en) | Imaging position analyzing method | |
| KR102305328B1 (en) | System and method of Automatically Generating High Definition Map Based on Camera Images | |
| JP5281424B2 (en) | Road marking map generation method | |
| KR101453143B1 (en) | Stereo matching process system, stereo matching process method, and recording medium | |
| JP5544595B2 (en) | Map image processing apparatus, map image processing method, and computer program | |
| JP7010535B2 (en) | Information processing equipment | |
| JP2018147393A (en) | Sign recognition system | |
| JP5285311B2 (en) | Road marking map generation method | |
| JP5339753B2 (en) | Road marking map generation method | |
| JP5435294B2 (en) | Image processing apparatus and image processing program | |
| JP7293931B2 (en) | Position measurement data generation device, position measurement data generation method, and position measurement data generation program | |
| WO2009095966A1 (en) | Navigation device | |
| JP2007003298A (en) | Road model generator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110311 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121023 |