JP2011254128A - Plane view generating device and plane view generating method - Google Patents
Plane view generating device and plane view generating method Download PDFInfo
- Publication number
- JP2011254128A JP2011254128A JP2010124547A JP2010124547A JP2011254128A JP 2011254128 A JP2011254128 A JP 2011254128A JP 2010124547 A JP2010124547 A JP 2010124547A JP 2010124547 A JP2010124547 A JP 2010124547A JP 2011254128 A JP2011254128 A JP 2011254128A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- plane
- camera
- plan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、平面図生成装置及び平面図生成方法に関する。 The present invention relates to a plan view generation apparatus and a plan view generation method.
車両運転者にとって、交差点において相手(歩行者又は他の車両等)の位置を把握するための運転者補助技術は有用である。このような相手の位置の把握を補助する手段のひとつとして、「平面図」がある。 For the vehicle driver, driver assistance technology for grasping the position of the other party (pedestrian or other vehicle, etc.) at the intersection is useful. One of the means for assisting in grasping the position of such a partner is a “plan view”.
平面図とは、対象地点を上空から見た地図のような画像のことである。いわゆる鳥瞰図(俯瞰図)も上空から見た地図のような画像であるが、鳥瞰図が上空のある1点を視点とする画像(透視投影画像)であるのに対して、本明細書で言う平面図とは、上空の複数視点から鉛直方向に見下ろした画像(つまり、平行投影画像)である。このような平面図を交差点に関してリアルタイムに生成し運転者に提示することにより、運転者は、交差点における自車両と、他の車両又は歩行者との位置関係を正確に把握することができる。 A plan view is an image like a map of a target point as seen from above. A so-called bird's-eye view (bird's-eye view) is also an image like a map seen from above, but the bird's-eye view is an image (perspective projection image) with a certain point in the sky as a viewpoint (perspective projection image). The figure is an image (that is, a parallel projection image) looking down in the vertical direction from a plurality of viewpoints in the sky. By generating such a plan view on the intersection in real time and presenting it to the driver, the driver can accurately grasp the positional relationship between the host vehicle at the intersection and another vehicle or a pedestrian.
交差点中央の高度上空から高精細なカメラで鉛直下向きに撮影することができれば、撮影した画像の中央部分が、リアルな平面図となる。しかしながら、通常はそのような撮影を行うことは困難である。従って、実際には、信号機程度の高さに設置した複数のカメラを用いて道路を撮影し、画像の変換処理及び合成処理を行うことにより平面図を生成することが必要となる。 If the image can be taken vertically downward with a high-definition camera from above the altitude at the center of the intersection, the central part of the photographed image becomes a realistic plan view. However, it is usually difficult to perform such shooting. Therefore, in practice, it is necessary to photograph a road using a plurality of cameras installed at a height of a traffic light, and generate a plan view by performing image conversion processing and composition processing.
複数のカメラにより得られた画像(つまり、カメラ画像)を変換処理及び合成処理することにより得られた画像は、擬似的な平面図(以下では、単に、平面図と呼ぶ)である。このため、カメラ画像において移動体の物陰となる部分は、平面図においても死角のままとなる。例えば、路側に設置されたカメラ(つまり、路側カメラ)により得られた画像を用いることにより広範囲に渡る平面図を作成することができる。しかしながら、路側カメラから死角になる領域が、各車両の周辺に生じてしまう。そこで、車両に搭載されたカメラ(つまり、車載カメラ)により得られた画像を用いて、平面図を生成することが考えられる。こうすることで、車両周辺にも死角が生じていない平面図を生成することができる。 An image obtained by converting and synthesizing images (that is, camera images) obtained by a plurality of cameras is a pseudo plan view (hereinafter simply referred to as a plan view). For this reason, the part which becomes the shadow of a moving body in a camera image remains a blind spot also in a top view. For example, it is possible to create a plan view over a wide range by using an image obtained by a camera installed on the roadside (that is, a roadside camera). However, an area that becomes a blind spot from the roadside camera is generated around each vehicle. Therefore, it is conceivable to generate a plan view using an image obtained by a camera mounted on a vehicle (that is, an in-vehicle camera). By doing so, it is possible to generate a plan view in which no blind spots are generated around the vehicle.
実際上、複数のカメラ画像から平面図を生成する場合、複数のカメラについての校正(つまり、キャリブレーション)を行うことにより、変換処理及び合成処理に用いられるパラメータを予め設定しておく必要がある。路側カメラの画像だけ又は車載カメラの画像だけを用いて平面図を生成する場合には、通常、カメラ設置時にキャリブレーションが行われているので、その際に得られたパラメータを用いて単純な射影変換処理を行うだけで平面図を生成することができる。しかしながら、路側カメラの画像と車載カメラの画像との両方を用いて平面図を生成する場合には、事情が異なる。すなわち、路側カメラと車載カメラとの間では予めキャリブレーションを行っておくことができない。従って、何らかの方法を用いて、路側カメラの画像と車載カメラの画像との対応付けを行う必要がある。 In practice, when generating a plan view from a plurality of camera images, it is necessary to preset parameters used for conversion processing and composition processing by performing calibration (that is, calibration) for a plurality of cameras. . When a plan view is generated using only the roadside camera image or the in-vehicle camera image, calibration is usually performed when the camera is installed, so simple projection using the parameters obtained at that time is performed. A plan view can be generated simply by performing the conversion process. However, the situation is different when a plan view is generated using both the roadside camera image and the in-vehicle camera image. That is, calibration cannot be performed in advance between the roadside camera and the vehicle-mounted camera. Therefore, it is necessary to associate the image of the roadside camera with the image of the vehicle-mounted camera using some method.
例えば、特許文献1に開示される平面図の生成方法では、路側カメラの画像と車載カメラの画像との両方に映し出された道路上の特徴画像(特許文献1では、特に、駐車区画線の画像)が重なるように、路側カメラの画像及び車載カメラの画像に対して回転及び拡大縮小等の処理を行うことにより、平面画像が生成される。
For example, in the plan view generation method disclosed in
しかしながら、上記した従来の平面図生成方法では、そもそも道路上にパターン(駐車区画線又は車線区分線など)が無い場合には、平面図を生成することができない。 However, in the above-described conventional plan view generation method, a plan view cannot be generated when there is no pattern (such as a parking lot line or a lane line) on the road.
また、道路上にパターンが存在する場合であっても、車両の姿勢にロール・ピッチ方向の変動が発生した場合には、路側カメラの画像と車載カメラの画像との対応付けが困難である。すなわち、車両の姿勢のヨー方向の変動が生じると、車載カメラの平面図は、路側カメラの平面図に対して同一平面上で回転移動する。そのため、上記した従来の平面図生成方法のように、道路上のパターンを用いてマッチング処理を行うことで、路側カメラの画像と車載カメラの画像とを対応付けることができる。しかしながら、車両のロール方向及びピッチ方向の変動の場合、車載カメラの平面図が路側カメラの平面図に対して交差する方向に変動するので、路側カメラの画像と車載カメラの画像とを合成した後の平面図が変形してしまう。このため、車両の姿勢にロール・ピッチ方向の変動が発生した場合には、路側カメラの画像と車載カメラの画像との対応付けが困難となる。 Further, even when a pattern exists on the road, it is difficult to associate the image of the roadside camera with the image of the in-vehicle camera when the posture of the vehicle changes in the roll / pitch direction. That is, when a change in the yaw direction of the attitude of the vehicle occurs, the plan view of the in-vehicle camera rotates on the same plane with respect to the plan view of the roadside camera. For this reason, as in the conventional plan view generation method described above, by performing the matching process using the pattern on the road, the image of the roadside camera and the image of the vehicle-mounted camera can be associated with each other. However, in the case of fluctuations in the roll direction and pitch direction of the vehicle, the plan view of the in-vehicle camera fluctuates in a direction intersecting the plan view of the road-side camera, so after combining the image of the road-side camera and the image of the in-vehicle camera Will be deformed. For this reason, when a change in the roll / pitch direction occurs in the posture of the vehicle, it becomes difficult to associate the image of the roadside camera with the image of the in-vehicle camera.
また、センサを用いて車両の姿勢のロール・ピッチ方向の変動を検出し、検出値に基づいて、車載カメラの画像からロール・ピッチ方向の姿勢変動の影響を取り除いた後に、路側カメラの画像と合成することもできる。しかしながら、実際の交通環境では、ロール・ピッチ方向の車両姿勢の変化は急であり、回転の加速度が大きい。このため、センサとカメラとの間に同期ズレが生じ、この結果、路側カメラの画像と車載カメラの画像とから生成される平面図の精度が低下してしまう問題がある。 In addition, the change in the roll / pitch direction of the attitude of the vehicle is detected using a sensor, and after removing the influence of the attitude change in the roll / pitch direction from the image of the in-vehicle camera based on the detected value, It can also be synthesized. However, in an actual traffic environment, the change in the vehicle posture in the roll / pitch direction is abrupt and the acceleration of rotation is large. For this reason, a synchronization shift occurs between the sensor and the camera, and as a result, there is a problem that the accuracy of the plan view generated from the image of the roadside camera and the image of the vehicle-mounted camera is lowered.
本発明は、かかる点に鑑みてなされたものであり、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、高精度の平面図を生成することができる平面図生成装置及び平面図生成方法を提供することを目的とする。 The present invention has been made in view of such points, and in the case of generating a plan view based on an in-vehicle camera image and a roadside camera image, a plan view generation device and a plane that can generate a highly accurate plan view An object is to provide a diagram generation method.
本発明の一態様の平面図生成装置は、車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第1の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第2の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成装置であって、前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第1の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第2の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定する推定手段と、前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整する調整手段と、前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第1の水平平面画像を生成する生成手段と、を具備する。 A plan view generation apparatus according to an aspect of the present invention is a first view generated by subjecting a road area image in an in-vehicle camera image captured by an in-vehicle camera to plane conversion that is projective conversion using homogeneous coordinates. And a second horizontal plane image generated by performing the plane conversion on the road area image of the roadside camera image captured by the roadside camera, and a parallel projection image from above A plan view generation device for generating a plan view simulating the first vertical plane image generated by performing the plane conversion on a background area image excluding a road area image in the in-vehicle camera image; and A vehicle in which the in-vehicle camera is mounted based on a second vertical plane image generated by performing the plane conversion on a background area image excluding a road area image in a roadside camera image An estimation unit that estimates a position and an orientation, an adjustment unit that adjusts a parameter used in the plane conversion based on the estimated position and orientation, and the adjustment of the road region image in the in-vehicle camera image Generating means for generating the first horizontal plane image by performing the plane conversion using the set parameters.
本発明の一態様の平面図生成方法は、車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第1の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第2の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成方法であって、前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第1の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第2の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定し、前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整し、前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第1の水平平面画像を生成する。 The plan view generation method according to one aspect of the present invention is a first view generated by subjecting a road area image in an in-vehicle camera image captured by an in-vehicle camera to plane conversion that is projective conversion using homogeneous coordinates. And a second horizontal plane image generated by performing the plane conversion on the road area image of the roadside camera image captured by the roadside camera, and a parallel projection image from above A plan view generation method for generating a plan view simulating a first vertical plane image generated by performing the plane conversion on a background area image excluding a road area image in the in-vehicle camera image; A vehicle in which the in-vehicle camera is mounted based on a second vertical plane image generated by performing the plane conversion on a background area image excluding a road area image in a roadside camera image Estimating the position and orientation, adjusting the parameters used in the plane conversion based on the estimated position and orientation, and using the adjusted parameters, the road area image of the in-vehicle camera image The first horizontal plane image is generated by the plane conversion.
本発明によれば、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて車両の姿勢を推定し、推定した車両の姿勢に基づいて調整した平面変換パラメータに基づいて車載カメラ画像内の道路画像を平面変換して得られる水平平面画像を用いて平面図を作成することにより、高精度の平面図を生成することができる。 According to the present invention, when a plan view is generated based on an in-vehicle camera image and a roadside camera image, the posture of the vehicle is estimated based on the vertical plane image based on the in-vehicle camera image and the vertical plane image based on the roadside camera image. A high-accuracy plan is generated by creating a plan using a horizontal plane image obtained by plane-transforming the road image in the in-vehicle camera image based on the plane transformation parameter adjusted based on the attitude of the vehicle can do.
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the embodiment, the same components are denoted by the same reference numerals, and the description thereof will be omitted because it is duplicated.
[実施の形態1]
[平面図生成システム10の概要]
図1は、本発明の実施の形態1に係る平面図生成システム10の構成を示すブロック図である。図1において、平面図生成システム10は、車載装置100と、路側装置200とを有する。車載装置100は、車両に搭載される一方、路側装置200は、例えば交差点等の路側に設置される。車載装置100は、車載カメラで撮影された画像(つまり、車載カメラ画像)と、路側装置200のカメラで撮影された画像(つまり、路側カメラ画像)とに基づいて合成平面図を生成し、その合成平面図を表示手段に表示させる。
[Embodiment 1]
[Outline of Plan View Generation System 10]
FIG. 1 is a block diagram showing a configuration of a plan
[車載装置100の構成]
図1において、車載装置100は、画像取得部101と、画像分離部102と、垂直平面画像生成部103と、通信部104と、平面図生成部105と、情報出力部106とを有する。
[Configuration of in-vehicle device 100]
In FIG. 1, the in-
〈画像取得部101〉
画像取得部101は、1つ又は複数の車載カメラで撮影された車載カメラ画像を取得する。この車載カメラ画像は、画像分離部102へ出力される。車載カメラは、例えば、車両の前後左右に搭載される。これにより、車両周囲の画像が得られる。また、車載カメラは、その撮影画像に道路領域及び道路領域以外の背景領域の両方が含まれるように、設置される。車載カメラは、道路領域と背景領域との割合が所定値となるように、設置される。
<
The
図2は、車載カメラ画像の一例を示す。図2に示すように、車載カメラ画像11は、道路領域12と、道路領域12の上方に現れる背景領域13とに分離される。
FIG. 2 shows an example of an in-vehicle camera image. As shown in FIG. 2, the in-
図3は、車載カメラの設置状況の異なる複数の車載カメラ画像の一例を示す。図3の上段には、光軸を水平方向よりも下側に向けて車載カメラを設置した場合の車載カメラ画像が示され、中段には、光軸を水平方向に合わせて車載カメラを設置した場合の車載カメラ画像が示され、下段には、光軸を水平方向よりも上側に向けて車載カメラを設置した場合の車載カメラ画像が示されている。このように、車載カメラの光軸の向く方向(特に、仰角方向)によって車載カメラ画像に含まれる道路領域と背景領域との割合が変わるので、所定の割合となるように車載カメラの設置位置及び方向を調整する必要がある。 FIG. 3 shows an example of a plurality of in-vehicle camera images having different installation conditions of the in-vehicle camera. The upper part of FIG. 3 shows the in-vehicle camera image when the in-vehicle camera is installed with the optical axis facing downward from the horizontal direction, and the in-vehicle camera is installed in the middle part with the optical axis aligned in the horizontal direction. The in-vehicle camera image in the case where the in-vehicle camera is installed with the optical axis facing upward from the horizontal direction is shown in the lower part. Thus, since the ratio of the road area and the background area included in the in-vehicle camera image changes depending on the direction of the optical axis of the in-vehicle camera (particularly the elevation direction), the installation position of the in-vehicle camera and the predetermined ratio It is necessary to adjust the direction.
また、車載カメラの光学的設定は、次のように設定される。車載カメラのフォーカスは、道路面に対してだけではなく、背景領域となり得る部分に対しても、できるだけ合致するように設定されることが望ましい。そのため、車載カメラのフォーカスは、例えば、被写界深度が深くなるように設定されていることが望ましい。また、後段の処理において、背景領域における特徴物の撮像状態をもとに、自車両の動きを推定する処理を行うので、車載カメラは、十分なコントラストが確保されるように設定されることが望ましい。 The optical setting of the in-vehicle camera is set as follows. It is desirable to set the focus of the in-vehicle camera so that it matches as much as possible not only to the road surface but also to a portion that can be a background area. Therefore, it is desirable that the focus of the in-vehicle camera is set so that the depth of field becomes deep, for example. Further, in the subsequent process, since the process of estimating the movement of the host vehicle is performed based on the imaging state of the feature object in the background region, the in-vehicle camera may be set to ensure sufficient contrast. desirable.
〈画像分離部102〉
画像分離部102は、画像取得部101から受け取る車載カメラ画像を、道路領域の画像と、道路領域を除く背景領域の画像とに分離する。背景領域の画像は垂直平面画像生成部103へ出力される一方、道路領域の画像は平面図生成部105へ出力される。
<
The
第1の領域分離方法としては、例えば、車載カメラ画像内で道路領域及び背景領域が所定の領域に固定的に現れると見なして、道路領域と背景領域とを分離しても良い。この方法は、車載カメラのロール方向及びピッチ方向の変動量がカメラ画像の横方向及び縦方向のサイズに対して比較的小さいと想定される場合に有用である。 As the first region separation method, for example, it is possible to separate the road region and the background region on the assumption that the road region and the background region appear fixedly in a predetermined region in the in-vehicle camera image. This method is useful when the amount of change in the roll direction and pitch direction of the in-vehicle camera is assumed to be relatively small with respect to the size in the horizontal direction and vertical direction of the camera image.
図4は、固定的に設定される道路領域及び背景領域の一例を示す図である。図4に示すように、車載カメラのピッチ方向又はロール方向の変動量の最大値が予め分かっている場合には、道路領域と背景領域との境界が変動しうる範囲を除く領域が、常に、道路領域又は背景領域となる。 FIG. 4 is a diagram illustrating an example of a road area and a background area that are fixedly set. As shown in FIG. 4, when the maximum value of the amount of change in the pitch direction or roll direction of the in-vehicle camera is known in advance, the region excluding the range where the boundary between the road region and the background region can be changed is always It becomes a road area or a background area.
第2の領域分離方法としては、エッジ検出及び線分検出を応用することで道路領域と背景領域との境界線を検出し、この境界線に基づいて道路領域と背景領域とを分離しても良い。 As a second region separation method, the boundary line between the road region and the background region is detected by applying edge detection and line segment detection, and the road region and the background region are separated based on this boundary line. good.
具体的には、まず、微分フィルタを用いてカメラ画像からエッジを検出する。道路領域と背景領域との境界線は斜め方向のエッジとなり、画像の左半分は左方向のエッジ、画像の右半分は右方向のエッジとなることが想定される。このため、斜め方向のエッジを容易に検出できるフィルタを用いれば良い。例えば、車載カメラ画像の左半分及び右半分に対して、式(1)で表されるフィルタ及び式(2)で表されるフィルタをそれぞれ適用すれば良い。
そして、検出されたエッジの画素をもとに、境界を表す線分を検出する。すなわち、エッジを構成している複数の点座標に基づいて、画像の左半分および右半分において、境界を表す線分をそれぞれ検出する。具体的には、線分の検出には、いわゆる最小二乗法又はハフ変換を用いることができる。ここで、境界を表す線分の傾きを、所定の範囲に制限しても良い。これにより、検出演算量を削減できるので、検出までに掛かる時間を削減することができる。 Then, a line segment representing the boundary is detected based on the detected edge pixels. That is, line segments representing boundaries are detected in the left half and the right half of the image based on a plurality of point coordinates constituting the edge. Specifically, a so-called least square method or Hough transform can be used to detect the line segment. Here, the slope of the line segment representing the boundary may be limited to a predetermined range. Thereby, since the amount of detection calculation can be reduced, the time taken for detection can be reduced.
第3の領域分離方法としては、例えば、道路領域と背景領域との輝度の違いを利用しても良い。道路領域は、背景領域と比較して、画素の輝度が低くなる可能性が高い。このため、カメラ画像に含まれる輝度の分布を解析することにより、道路領域と背景領域とを分離することができる。具体的には、カメラ画像の輝度ヒストグラムに基づいて、道路領域の候補となる画像領域と背景領域の候補となる画像領域とに分離する。すなわち、低輝度に偏っている部分を道路領域候補とし、より高輝度の部分を背景領域候補とする。そして、それぞれの領域候補に対して領域の抜けを埋める処理を施すことで、最終的な道路領域及び背景領域を得ることができる。画像領域の抜けを埋める処理としては、例えば、2値画像のノイズ除去に用いられるような、いわゆるオープニング処理又はクロージング処理を用いることができる。 As the third region separation method, for example, the difference in luminance between the road region and the background region may be used. The road area is likely to have lower pixel brightness than the background area. For this reason, the road area and the background area can be separated by analyzing the luminance distribution included in the camera image. Specifically, based on the luminance histogram of the camera image, the image area is separated into a candidate road area and a candidate background area. That is, a portion that is biased toward low luminance is set as a road region candidate, and a portion with higher luminance is set as a background region candidate. Then, a final road region and a background region can be obtained by performing a process of filling in the missing regions on each region candidate. As the process for filling in the omission of the image area, for example, a so-called opening process or closing process used for noise removal of a binary image can be used.
第4の領域分離方法としては、縦方向のエッジを検出し、縦方向のエッジの存在割合が比較的多い領域を背景領域と見なすことにより、道路領域と背景領域とを分離しても良い。背景領域には、建造物が存在する場合が多い。建造物の画像では横方向のエッジが少なく、縦方向のエッジが多い。このため、縦方向のエッジの存在割合を基準とする単純な方法によっても、背景領域をある程度の精度で特定することができる。 As a fourth region separation method, the road region and the background region may be separated by detecting the edge in the vertical direction and considering the region having a relatively high proportion of the edges in the vertical direction as the background region. Buildings often exist in the background area. In a building image, there are few horizontal edges and many vertical edges. For this reason, the background region can be specified with a certain degree of accuracy even by a simple method based on the presence ratio of the edge in the vertical direction.
第5の領域分離方法としては、画像から特定物体を認識し、この認識結果に基づいて道路領域と背景領域とを分離しても良い。例えば、背景領域を構成する物体として、道路標識を挙げることができる。従って、道路標識を認識することにより、背景領域も認識することができる。すなわち、道路標識の画像領域の周囲は背景領域と見なすことができるので、道路標識の画像を検出することにより背景領域を特定することができる。道路標識を検出する具体例な処理は、例えば、次のように行われる。すなわち、ハフ変換等を用いて、道路標識に特徴的な図形(円形又は三角形など)の検出を行い、検出した図形の内部に対して、特定の文字又は模様に関するパターンマッチング等の処理を行えば良い。 As a fifth region separation method, a specific object may be recognized from an image, and a road region and a background region may be separated based on the recognition result. For example, a road sign can be mentioned as an object constituting the background area. Therefore, the background area can also be recognized by recognizing the road sign. That is, since the area around the road sign image area can be regarded as the background area, the background area can be specified by detecting the road sign image. A specific process for detecting a road sign is performed as follows, for example. That is, if a figure (characters such as a circle or a triangle) that is characteristic of a road sign is detected using Hough transform or the like, and processing such as pattern matching related to a specific character or pattern is performed on the inside of the detected figure. good.
〈垂直平面画像生成部103〉
垂直平面画像生成部103は、背景領域の画像を、変換パラメータ(垂直平面変換パラメータ)に基づいて「垂直平面画像」へ変換する。すなわち、図5に示すように、背景領域の画像が、車両進行方向に対して垂直な方向から背景を見たような垂直平面画像に変換される。
<Vertical plane
The vertical plane
カメラ画像を平面画像へ変換するための計算方法を示す。平面画像への変換処理は、同次座標を用いた射影変換処理として捉えることができる。平面変換前の座標をmT=(x, y)T、その同次座標をm T=(x,y,1)T、平面変換後の座標をm’T=(x’,y’)T、その同次座標をm’T=(x’,y’,1)T、平面変換のための射影行列をA=(a11, a12, a13; a21, a22, a23; a31, a32, 1)とすると、平面変換のための射影変換は、式(3)のように表される。
平面変換パラメータは、後述する歪補正処理にて行われるパターン処理と同様に、既知のパターンを用いて求めることができる。例えば、地上平面上に形状が既知のパターンを用意し、そのパターンを車載カメラで撮像する。また、車載カメラ画像において、既知パターンの画像の位置を検出する。この既知パターンは複数の位置に設置され、その都度、画像の位置も検出される。そして、既知パターン画像の検出位置のそれぞれに対して、平面変換後に移動すべき座標位置を指定することにより、平面変換前と平面変換後の対応点ペアを複数用意する。上記式(3)で示したように射影変換のパラメータはa11〜a32の8個有るので、1組の対応点ペア(x1,y1)(x’1,y’1)から2つの方程式を立てることができる。従って、少なくとも4組の対応点ペア(x1,y1)(x’1,y’1),〜,(x4,y4)(x’4,y’4)を用意すれば、式(4)に示す連立方程式の解として、平面変換のための射影行列A=(a11, a12, a13; a21, a22, a23; a31, a32, 1)を得ることができる。
5組以上の対応点ペアを用意できる場合には、例えば最小二乗法のような手法を用いて解を求めるようにすれば良い。 If five or more pairs of corresponding points can be prepared, a solution may be obtained using a method such as a least square method.
なお、垂直平面画像生成部103は、上記した平面画像変換を行う前に、歪み補正処理を行っても良い。
Note that the vertical plane
歪補正処理では、レンズを通して撮像されることにより発生する放射歪曲等を画像変換処理により補正する。光軸中心を(cx,cy)、画素ピッチを(ax,ay)、レンズ歪み係数をk1及びk2とし、歪補正処理前の画像座標を(x,y)、歪補正処理後の画像座標を(x’,y’)としたとき、歪補正処理前の画像座標(x,y)と歪補正処理後の画像座標(x’,y’)とは、式(5)で表される関係を満たす。
光軸中心、画素ピッチ、及びレンズ歪み係数等のパラメータは、キャリブレーション処理により、車両や交差点へのカメラ設置時点において算出されている。このキャリブレーション処理には、公知の方法が用いられても良い。例えば、次のようにキャリブレーション処理が行われる。先ず、マス目サイズが既知のチェッカーボードを用意し、キャリブレーション対象であるカメラを用いてそのチェッカーボードを複数回撮影する。そして、その撮影された画像においてチェッカーボードパターンの交点の位置を検出し、複数の画像における交点の位置について繰返し計算を行う。これにより、必要なパラメータが求められる。 Parameters such as the optical axis center, pixel pitch, and lens distortion coefficient are calculated at the time of camera installation at the vehicle or intersection by calibration processing. A known method may be used for this calibration process. For example, calibration processing is performed as follows. First, a checkerboard having a known grid size is prepared, and the checkerboard is photographed a plurality of times using a camera to be calibrated. Then, the position of the intersection of the checkerboard pattern is detected in the photographed image, and the calculation is repeatedly performed for the position of the intersection in a plurality of images. As a result, necessary parameters are obtained.
このようなキャリブレーション処理を行った結果、パラメータ(光軸中心、画素ピッチ、レンズ歪み係数等)が分かれば、歪補正処理前の画像座標(x,y)と歪補正処理後の画像座標(x’,y’)との対応関係が分かる。従って、この対応関係に従って元画像を変換すれば、歪補正処理を施した画像を得ることができる。 As a result of such calibration processing, if parameters (optical axis center, pixel pitch, lens distortion coefficient, etc.) are known, image coordinates (x, y) before distortion correction processing and image coordinates after distortion correction processing ( x ', y'). Therefore, if the original image is converted according to this correspondence, an image subjected to distortion correction processing can be obtained.
式(5)に示すような対応関係を用いるため、歪補正処理後の画像座標(x’,y’)は整数にならない場合がある。そのような場合には、ニアレストネイバー補間により近傍の画素値で代用するか、又は、バイリニア補間のような画素補間処理により周囲の画素値から特定の計算を施して変換後の画素値を生成しても良い。 Since the correspondence as shown in Expression (5) is used, the image coordinates (x ′, y ′) after the distortion correction processing may not be an integer. In such a case, a neighboring pixel value is substituted by nearest neighbor interpolation, or a converted pixel value is generated by performing a specific calculation from surrounding pixel values by a pixel interpolation process such as bilinear interpolation. You may do it.
また、実際に歪補正処理を行う際には、パラメータ(光軸中心、画素ピッチ、レンズ歪み係数等)をそのまま保存しておいて、その都度パラメータを読み出して座標を計算しても良いし、歪補正処理前の画像座標と歪補正処理後の画像座標との対応テーブルを予め生成しておいて、必要時にその対応テーブルを読み出すような仕様にしても良い。 When actually performing the distortion correction process, the parameters (optical axis center, pixel pitch, lens distortion coefficient, etc.) may be stored as they are, and the parameters may be read out each time to calculate the coordinates. The correspondence table between the image coordinates before the distortion correction process and the image coordinates after the distortion correction process may be generated in advance, and the correspondence table may be read out when necessary.
〈通信部104〉
通信部104は、路側装置200から送信された平面画像(垂直平面画像及び水平平面画像を含む)を受信し、平面図生成部105へ出力する。
<
The
〈平面図生成部105〉
平面図生成部105は、垂直平面画像生成部103から受け取る垂直平面画像(つまり、車載カメラ画像による垂直平面画像)及び路側装置200から送信された垂直平面画像(つまり、路側カメラ画像による垂直平面画像)に基づいて平面変換パラメータを調整し、調整後の平面変換パラメータを用いて車載カメラ画像の道路画像を平面変換することにより、車載カメラによる水平平面画像を生成する。そして、平面図生成部105は、車載カメラによる水平平面画像と、路側カメラによる水平平面画像とを合成することにより、合成平面図を生成する。
<
The plan
具体的には、平面図生成部105は、図6に示すように、位置/向き推定部111と、パラメータ調整部112と、水平平面画像生成部113と、合成部114とを有する。
Specifically, the plan
位置/向き推定部111は、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて、車載カメラの搭載されている車両の位置及び姿勢を推定する。
The position /
パラメータ調整部112は、平面変換パラメータのデフォルト値を保持している。そして、パラメータ調整部112は、位置/向き推定部111によって推定された車両の位置及び姿勢に基づいて、平面変換パラメータを調整する。調整後の平面変換パラメータは、水平平面画像生成部113へ出力される。
The
水平平面画像生成部113は、画像分離部102から受け取る道路領域の画像を、調整後の平面変換パラメータを用いて平面変換することにより、水平平面画像を生成する。すなわち、図7に示すように、道路領域の画像が、道路面を鉛直上方から見たような水平平面画像に変換される。
The horizontal plane
合成部114は、水平平面画像生成部113から受け取る車載カメラ画像による水平平面画像と、路側カメラ画像による水平平面画像とを合成することにより、合成平面図を形成する。
The synthesizing
〈情報出力部106〉
情報出力部106は、平面図生成部105で生成された合成平面図を表示手段に表示させる。
<
The
[路側装置200の構成]
図1において、路側装置200は、画像取得部201と、画像分離部202と、画像変換部203と、通信部204とを有する。
[Configuration of Roadside Device 200]
In FIG. 1, the
〈画像取得部201〉
画像取得部201は、路側カメラで撮影された路側カメラ画像を取得する。この路側カメラ画像は、画像分離部202へ出力される。図8は、路側カメラ及び車載カメラの配置例を示す図である。図8に示すように、路側カメラは、例えば、交差点の四隅にそれぞれ配置される。これにより、交差点の内部及び周囲を撮影できる。また、車載カメラは、上記したように車両の前後左右に配置される。
<
The
また、路側カメラも、車載カメラと同様に、道路領域と背景領域との割合が所定値となるように、設置される。 The roadside camera is also installed so that the ratio between the road area and the background area becomes a predetermined value, similarly to the in-vehicle camera.
また、路側カメラの光学的設定も、車載カメラと同様に、設定される。 Further, the optical setting of the roadside camera is also set in the same manner as the in-vehicle camera.
〈画像分離部202〉
画像分離部202は、画像取得部201から受け取る路側カメラ画像を、道路領域の画像と、背景領域の画像とに分離する。分離方法については、画像分離部102で説明した方法と同様である。
<
The
〈画像変換部203〉
画像変換部203は、背景領域の画像及び道路領域の画像を、変換パラメータに基づいて「垂直平面画像」及び「水平平面画像」へそれぞれ変換する。この変換方法は、垂直平面画像生成部103で説明した平面変換と同様である。路側カメラについては、車載カメラと異なり、姿勢の変化を考慮する必要性が少ない。従って、「垂直平面画像」への変換及び「水平平面画像」への変換のいずれにも、路側カメラの設置時に算出され、記憶部(図示せず)に保持されているパラメータをそのまま用いることができる。なお、この変換処理の前に、垂直平面画像生成部103と同様の歪補正処理が行われても良い。
<
The
〈通信部204〉
通信部204は、画像変換部203から受け取る垂直平面画像及び水平平面画像を車載装置100へ送信する。また、通信部204は、車載装置100において車載カメラ画像と路側カメラ画像との対応付けに必要なパラメータも、車載装置100へ送信する。
<
The
[平面図生成システム10の動作]
以上の構成を有する平面図生成システム10の動作について説明する。図9は、車載装置100の動作説明に供するフロー図である。図10は、路側装置200の動作説明に供するフロー図である。
[Operation of Plan View Generation System 10]
The operation of the plan
ステップS101で車載装置100の画像取得部101は、車載カメラ画像データを取得する。
In step S101, the
ステップS102で画像分離部102は、画像取得部101から受け取る車載カメラ画像を、道路領域の画像と背景領域の画像とに分離する。
In step S102, the
ステップS103で垂直平面画像生成部103は、背景領域の画像を、変換パラメータ(垂直平面変換パラメータ)に基づいて垂直平面画像へ変換する。
In step S103, the vertical plane
上記した車載装置100のステップS101〜103の処理と並列して、路側装置200では、図10に示すステップS201〜204の処理が実行される。
In parallel with the process of steps S101 to S103 of the in-
ステップS201で路側装置200の画像取得部201は、路側カメラで撮影された路側カメラ画像を取得する。
In step S201, the
ステップS202で画像分離部202は、画像取得部201から受け取る路側カメラ画像を、道路領域の画像と、背景領域の画像とに分離する。
In step S202, the
ステップS203で画像変換部203は、背景領域の画像及び道路領域の画像を、変換パラメータに基づいて垂直平面画像及び水平平面画像へそれぞれ変換する。図11には、車載カメラ、路側カメラ及び垂直平面画像の位置関係、並びに、路側カメラ画像による垂直平面画像及び車載カメラ画像による垂直平面画像の一例が示されている。図11Aは、車載カメラ、路側カメラ及び垂直平面画像の位置関係を示す図であり、図11Bは、路側カメラ画像による垂直平面画像の一例を示す図であり、図11Cは、車載カメラ画像による垂直平面画像の一例を示す図である。
In step S203, the
例えば、画像変換部203は、複数の垂直平面画像を部分的に合成して特定の垂直平面画像を生成する。具体的には、図11では交差点の特定の進行方向に対して前後左右の4枚の垂直平面画像1〜4が生成されている。画像変換部203は、この垂直平面画像1を生成する際に、路側カメラA及び路側カメラCという複数の路側カメラ画像を用いて1つの垂直平面画像を生成する。
For example, the
ステップS204で通信部204は、規定のデータ(垂直平面画像及び水平平面画像を含む)を車載装置100へ送信する。
In step S204, the
図9に戻り、ステップS104で通信部104は、路側装置200から送信された規定のデータを受信する。
Returning to FIG. 9, in step S <b> 104, the
ステップS105で平面図生成部105は、垂直平面画像生成部103から受け取る垂直平面画像(つまり、車載カメラによる垂直平面画像)及び路側装置200から送信された垂直平面画像(つまり、路側カメラによる垂直平面画像)に基づいて自車両の位置及び向きを推定する。
In step S105, the plan
具体的には、まず、交差点における自車両の位置及びヨー方向の向きを特定する。路側カメラ画像の背景画像から生成された交差点の前後左右の垂直平面画像と、車載カメラ画像の背景画像から生成された垂直平面画像との間のマッチング処理を行う。図12A,Bに示すように路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像がマッチングする位置を前後左右の垂直平面画像のそれぞれについて特定することにより、交差点内における自車両の2次元位置とヨー方向の向きとを特定することができる(図12C参照)。 Specifically, first, the position of the host vehicle and the direction in the yaw direction at the intersection are specified. A matching process is performed between the vertical plane images before and after the intersection generated from the background image of the roadside camera image and the vertical plane image generated from the background image of the in-vehicle camera image. As shown in FIGS. 12A and 12B, by specifying the position where the vertical plane image of the in-vehicle camera image matches the vertical plane image of the roadside camera image for each of the front, rear, left and right vertical plane images, The two-dimensional position and the direction of the yaw direction can be specified (see FIG. 12C).
次に、自車両のピッチ方向及びロール方向の向きを特定する。路側カメラ画像の背景画像から生成された交差点の前後左右の垂直平面画像と、車載カメラ画像の背景画像から生成された垂直平面画像との間のマッチング処理を行う。図13A,Bに示すように、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像がマッチングする位置を前後左右の垂直平面画像のそれぞれについて特定することにより、交差点に対するピッチ方向及びロール方向の向きを特定することができる。 Next, the direction of the pitch direction and the roll direction of the host vehicle is specified. A matching process is performed between the vertical plane images before and after the intersection generated from the background image of the roadside camera image and the vertical plane image generated from the background image of the in-vehicle camera image. As shown in FIGS. 13A and 13B, by specifying the position where the vertical plane image of the in-vehicle camera image matches the vertical plane image of the roadside camera image for each of the front, rear, left and right vertical plane images, The direction of the roll direction can be specified.
画像における横方向及び縦方向の変位量を、自車両の状態(位置/向き)に対応付ける方法としては、位置/向き推定部111に予め対応付けのテーブルを用意しておけば良い。例えば、縦方向の変位については、各車載カメラに関して、縦方向の変位量(例えば、単位は、ピクセル)と、ピッチ方向及びロール方向の回転角度とが対応付けられたテーブルを用意すれば良い。横方向の変位については、各車載カメラに関して、横方向の変位量(例えば、単位は、ピクセル)と、ヨー方向の回転角度と、交差点における位置とが対応付けられたテーブルを用意すれば良い。
As a method of associating the horizontal and vertical displacement amounts in the image with the state (position / orientation) of the host vehicle, a correspondence table may be prepared in advance in the position /
ここで、各車載カメラにおける変位量と位置/向きとの関係について述べる。自車両の前方及び後方の車載カメラにおける縦方向の変位量が、自車両のピッチ方向の回転角度に対応する。また、自車両の左側方及び右側方の車載カメラにおける縦方向の変位量が、自車両のロール方向の回転角度に対応する。また、自車両の前方、後方、左側方、右側方のうちの任意の2つの車載カメラにおける横方向の変位量をもとに、交差点における自車の位置を求めることができ、さらにもう1つの車載カメラにおける横方向の変位量をもとに、自車のヨー方向の回転角度を求めることができる。 Here, the relationship between the displacement amount and the position / orientation in each in-vehicle camera will be described. The amount of vertical displacement in the in-vehicle cameras in front and behind the host vehicle corresponds to the rotation angle in the pitch direction of the host vehicle. Further, the amount of vertical displacement of the left and right vehicle-mounted cameras of the host vehicle corresponds to the rotation angle of the host vehicle in the roll direction. Further, the position of the vehicle at the intersection can be obtained based on the lateral displacement amount of any two on-vehicle cameras among the front, rear, left side, and right side of the vehicle. Based on the amount of lateral displacement of the in-vehicle camera, the rotation angle of the vehicle in the yaw direction can be obtained.
横方向のマッチングを行って2次元位置及びヨー方向の向きを特定する際には、垂直平面画像の縦方向のエッジ検出を行い、縦方向のエッジ同士を比較する方法を用いると良い。画像から縦方向のエッジを検出するためには、横方向の1次元微分フィルタ又は横方向のSOBELフィルタ等の公知のフィルタを用いると良い。縦方向のエッジの出現するパターンを比較するようなパターンマッチング処理を行うことで、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像が、横方向にどれくらい変位しているかを特定する。 When specifying the two-dimensional position and the direction of the yaw direction by performing the matching in the horizontal direction, it is preferable to use a method of detecting the vertical edge of the vertical plane image and comparing the vertical edges. In order to detect a vertical edge from an image, a known filter such as a horizontal one-dimensional differential filter or a horizontal SOBEL filter may be used. By performing pattern matching processing that compares patterns with vertical edges, it is possible to determine how much the vertical plane image of the in-vehicle camera image is displaced in the horizontal direction relative to the vertical plane image of the roadside camera image. To do.
同様に、縦方向のマッチングを行ってピッチ方向の向きを特定する際には、垂直平面画像の横方向のエッジ検出を行い、横方向のエッジ同士を比較する方法を用いると良い。画像から横方向のエッジを検出するためには、縦方向の1次元微分フィルタ又は縦方向のSOBELフィルタ等の公知のフィルタを用いると良い。縦方向の場合と同様に、横方向のエッジの出現するパターンを比較するパターンマッチング処理を行うことで、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像が縦方向にどれくらい変位しているかを特定する。 Similarly, when specifying the direction of the pitch direction by performing the matching in the vertical direction, it is preferable to use a method of detecting the edge in the horizontal direction of the vertical plane image and comparing the edges in the horizontal direction. In order to detect the horizontal edge from the image, a known filter such as a vertical one-dimensional differential filter or a vertical SOBEL filter may be used. As in the vertical direction, by performing pattern matching processing that compares the patterns in which horizontal edges appear, how much the vertical plane image of the in-vehicle camera image is displaced in the vertical direction relative to the vertical plane image of the roadside camera image Identify what you are doing.
パターンマッチング方法としては、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、NCC(Normalized Cross−Correlation)といった公知の評価関数を用いてマッチング位置を特定すれば良い。また、サブピクセル精度でマッチング位置を特定する場合には、等角直線フィッティング又はパラボラフィッティングといった公知の探索手法を用いるようにして良い。勿論、マッチング位置の特定方法についてはこれに限定されるものではなく、他の方法を用いても良い。 As a pattern matching method, a matching position may be specified using a known evaluation function such as SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), or NCC (Normalized Cross-Correlation). In addition, when a matching position is specified with subpixel accuracy, a known search method such as equiangular straight line fitting or parabolic fitting may be used. Of course, the method for specifying the matching position is not limited to this, and other methods may be used.
なお、以上では、パターンマッチングを行う前にエッジ検出を行う方法について述べたが、本発明はこれに限定されるものではなく、エッジ検出をしないでパターンマッチングを行っても良い。例えば、元の画像のままでマッチング処理を行っても良く、また元の画像に対してコントラスト強調を行った上でマッチング処理を行うようにしても良い。元の画像に含まれるノイズが少ない場合、元の画像が持つ情報を出来るだけ残すようにして処理する方が、マッチングの精度が向上する可能性がある。 Although the method for performing edge detection before pattern matching has been described above, the present invention is not limited to this, and pattern matching may be performed without edge detection. For example, the matching process may be performed with the original image as it is, or the matching process may be performed after contrast enhancement is performed on the original image. When the noise included in the original image is small, the matching accuracy may be improved by processing the original image as much as possible.
また、パターンマッチングを行う前に、元画像またはエッジ画像に対して2値化処理を行っても良く、またいわゆるオープニング処理及びクロージング処理を行っても良い。元の画像に含まれるノイズが多い場合であっても、2値化処理及びオープニング処理・クロージング処理を行うことによりノイズが除去されて、単純なパターン同士の比較を行うことができる可能性がある。 Further, before performing pattern matching, binarization processing may be performed on the original image or the edge image, or so-called opening processing and closing processing may be performed. Even if there is a lot of noise in the original image, there is a possibility that noise can be removed by performing binarization processing, opening processing, and closing processing, and simple patterns can be compared with each other .
路側カメラ画像の垂直平面画像と車載カメラ画像の垂直平面画像とのマッチングを行う際に、各カメラ画像の中央領域を重視するようなマッチングを行っても良い。各カメラ画像における端領域は、歪補正や平行化処理による変形の影響が大きいため、有効なマッチング処理結果が得られない可能性がある。そのため画像変形によるマッチング精度への影響を軽減するためには、画像の中央領域のみに限定してマッチング処理を行うことが有効である。また、この場合、重み付けを利用するようにしても良く、画像の端領域におけるマッチング結果よりも、画像の中央領域におけるマッチング結果をより重視するような重み付けをして、計算結果を算出するようにしても良い。 When performing matching between the vertical plane image of the roadside camera image and the vertical plane image of the vehicle-mounted camera image, matching may be performed in which the center area of each camera image is emphasized. Since the edge region in each camera image is greatly affected by deformation due to distortion correction or parallelization processing, an effective matching processing result may not be obtained. Therefore, in order to reduce the influence of the image deformation on the matching accuracy, it is effective to perform the matching process only in the central region of the image. In this case, weighting may be used, and the calculation result is calculated by weighting the matching result in the central region of the image more than the matching result in the edge region of the image. May be.
また、位置/向き推定部111におけるエッジ検出結果をもとに、マッチング結果を制御するようにしても良い。カメラ画像に対して微分フィルタを使用し、微分結果に基づいて各画素値の決定を行うと、画素値の大きさがエッジの強さを表すようなエッジ画像を得ることができる。このとき、エッジの弱い部分については誤差の影響がより大きくなる可能性があるため、エッジの弱い部分よりもエッジの強い部分をより重視するような重み付けをして、計算結果を算出するようにしても良い。
Further, the matching result may be controlled based on the edge detection result in the position /
ステップS106で平面図生成部105は、推定された自車両の位置及び向きに基づいて、平面変換パラメータを調整する。
In step S106, the plan
ここで、平面変換パラメータのデフォルト値は、車両が姿勢変動のない水平な状態で、算出されている。そのため、水平面上に車両が停車している場合には、このデフォルト値をそのまま用いて平面変換処理が可能である。しかしながら、実環境で車両が走行している状態においては、車両の姿勢状態は常に変動している。このため、図14に示すように、ロール方向及びピッチ方向の変動によって、車載カメラ画像から生成される平面図に変形が生じてしまう。従って、例えば平面に対して車両が傾いている状態の場合には、デフォルト値を用いても正しく平面変換が行われない。このような車両の姿勢変動に対応した平面変換を行うためには、車両の姿勢を加味して、平面変換パラメータを設定し直す必要がある。 Here, the default value of the plane conversion parameter is calculated in a horizontal state where the vehicle does not change in posture. Therefore, when the vehicle is stopped on the horizontal plane, the plane conversion process can be performed using the default value as it is. However, when the vehicle is traveling in a real environment, the posture state of the vehicle is constantly changing. For this reason, as shown in FIG. 14, the plan view generated from the in-vehicle camera image is deformed due to fluctuations in the roll direction and the pitch direction. Therefore, for example, when the vehicle is inclined with respect to the plane, the plane conversion is not performed correctly even if the default value is used. In order to perform plane conversion corresponding to such a change in the attitude of the vehicle, it is necessary to reset the plane conversion parameters in consideration of the attitude of the vehicle.
また、ここで、カメラに対する撮像位置及びカメラの向き変動に伴う、撮像画像の変形について述べる。図15に示すように、カメラの撮像面において光軸中心から離れた周辺部分に対象物が撮像された場合、対象物は変形した状態で撮像される。このときカメラの向きを変動させると、カメラの向きの変動に応じて対象物の変形状態が変化する。対象物の変形した状態を元の状態に戻すためには、カメラ画像の撮像領域毎に射影変換等の処理を施す必要がある。逆に、カメラの撮像面において光軸中心に近い中央部分に対象物が撮像された場合、光軸中心に近くなるほど撮像された対象物の変形は小さくなる。従って、光軸中心から近い位置でカメラの向きを変動させても、対象物は殆ど変形せず、対象物が単に平行移動を行ったように撮像位置が変動する。 Here, a description will be given of the deformation of the captured image that accompanies fluctuations in the imaging position with respect to the camera and the orientation of the camera. As shown in FIG. 15, when an object is imaged in a peripheral portion away from the optical axis center on the imaging surface of the camera, the object is imaged in a deformed state. If the direction of the camera is changed at this time, the deformation state of the object changes according to the change in the direction of the camera. In order to return the deformed state of the object to the original state, it is necessary to perform a process such as projective transformation for each imaging region of the camera image. On the other hand, when an object is imaged in the central portion near the optical axis center on the imaging surface of the camera, the deformation of the imaged object becomes smaller the closer to the optical axis center. Therefore, even if the orientation of the camera is changed at a position close to the center of the optical axis, the object is hardly deformed, and the imaging position is changed as if the object was simply translated.
このような性質から、車載カメラを車両に対して略垂直に且つ道路面に対して略水平に設置した場合、背景領域を変換して生成した垂直平面画像に対するカメラ向き変動の影響は小さく、道路領域を変換して生成した水平平面画像に対するカメラ向き変動の影響は大きくなる。 Due to these characteristics, when the in-vehicle camera is installed substantially perpendicular to the vehicle and substantially horizontally to the road surface, the influence of the camera direction variation on the vertical plane image generated by converting the background region is small, and the road The influence of the camera orientation variation on the horizontal plane image generated by converting the region becomes large.
従って、背景領域の画像を平面変換することにより得られる垂直平面画像に基づいてカメラのロール方向及びピッチ方向の変動量を精度良く推定することができる。具体的には、ロール方向またはピッチ方向の変動前と変動後に撮影した2枚1組のカメラ画像に対して、光軸近傍における同一対象物の撮像位置の差分を計測することにより、ロール方向及びピッチ方向の変動量を推定することができる。 Therefore, it is possible to accurately estimate the amount of change in the roll direction and the pitch direction of the camera based on the vertical plane image obtained by plane-transforming the background region image. Specifically, by measuring the difference in the imaging position of the same object in the vicinity of the optical axis for a set of two camera images taken before and after the change in the roll direction or pitch direction, The amount of variation in the pitch direction can be estimated.
平面変換パラメータの再設定は、例えば、次のように行われる。まず、車載装置100において、車両のロール状態及びピッチ状態の複数のパターンに対応する平面変換パラメータが予めテーブルに記憶される。そして、実際の道路走行時においては、現在の車両状態(つまり、ロール状態及びピッチ状態)が逐次推定され、その推定された車両状態情報に対応する平面変換パラメータが読み出され、読み出された平面変換パラメータを用いた平面変換が行われる。現在の車両状態にマッチする平面変換パラメータが記憶されている場合には、単純なテーブル参照処理が行われるだけで、平面図生成部105は、必要なパラメータを読み出すことができる。これに対して、現在の車両状態にマッチする平面変換パラメータがテーブルに無い場合には、線形補間を行うことにより、平面図生成部105は、マッチする平面変換パラメータを求めても良い。
The plane conversion parameter is reset as follows, for example. First, in the in-
なお、1つの画像に対する垂直平面画像及び水平平面画像は、対応付けて管理される。路側装置200及び車載装置100で撮影される画像は、その撮影されたカメラ、撮影された日時等の管理情報と共に、一意に定まるように管理される。例えば、撮影日時が2010年3月30日14時45分12秒95であり、撮影されたカメラがナンバー04であり、水平平面画像の場合を0、垂直平面画像の場合を1とすると、例えば20100330_14451295_04_0といった通し番号を用いることで、画像を一意に管理することができる。勿論、垂直平面画像及び水平平面画像を一意に管理する方法はこれに限定されるものではなく、他の方法を用いても良い。
Note that a vertical plane image and a horizontal plane image for one image are managed in association with each other. Images captured by the
ステップS107で平面図生成部105は、ステップS106で垂直平面画像に基づいて調整された平面変換パラメータを用いて道路画像を平面変換することにより、水平平面画像を生成する。このように調整された平面変換パラメータに基づいて道路画像を平面変換することにより、精度の良い水平平面画像を生成することができる。なお、ここでは、調整後の平面変換パラメータを用いて道路画像を変換する方法を示しているが、次の方法によっても、精度の上がった水平平面画像を生成することができる。すなわち、推定された車両状態に近い車両状態に対応する2つの平面変換パラメータをテーブルから読み出し、それらパラメータを用いて画像を平面変換することにより、2つのパラメータに対応する平面変換後の画像を作成し、これらの画像の画素値を平均することにより、必要とする平面画像を得るようにすれば良い。
In step S107, the plan
ステップS108で平面図生成部105は、ステップS107で得られた車載カメラ画像による水平平面画像と、路側カメラ画像による水平平面画像とを合成することにより、合成平面図を形成する。
In step S108, the plan
すなわち、平面図生成部105は、路側カメラ画像の水平平面画像と、車載カメラ画像の水平平面画像とを合成することで、自車両を中心とした交差点平面図を生成する。交差点平面図を生成するまでの流れは、次のようになる。すなわち、まず、路側カメラ画像の水平平面画像同士の合成を行って路側カメラ画像の合成画像を生成し(図16A参照)、次に、車載カメラ画像の水平平面画像同士の合成を行って車載カメラ画像の合成画像を生成する(図16B参照)。そして、路側カメラ画像の合成画像と車載カメラ画像の合成画像とを最後に合成することにより、最終的に必要な交差点平面図(上記した合成平面図)を生成する(図17参照)。
That is, the plan
より詳細には、まず、路側カメラ画像の水平平面画像同士の合成では、平面図生成部105は、路側装置200から送信された、対応付けパラメータを使用する。対応付けパラメータを利用することにより、路側カメラ画像の水平平面画像同士の相対的な位置関係を特定できるので、平面図生成部105は、その相対的な位置関係に合わせて各画像の回転移動を行い、回転移動後の画像群を結合して1つの水平平面画像を生成する。対応付けパラメータには、例えば、各水平平面画像の重心位置の実座標及び画像の上方向の指す方角が記載されている。このようなパラメータが用いられる場合には、平面図生成部105は、各画像が同じ方角となるように適宜回転移動を行い、各画像の重心位置がひとつの座標系で相対的に合致するように適宜平行移動を行う。
More specifically, first, in the synthesis of horizontal plane images of roadside camera images, the plan
次に、車載カメラ画像の水平平面画像同士の合成では、車載装置100に車載カメラを設置した際に予め計算済みの対応付けパラメータが車載装置100に保存されているため、平面図生成部105は、その対応付けパラメータを読み出して、水平平面画像同士の合成を行う。
Next, in the synthesis of the horizontal plane images of the in-vehicle camera images, since the association parameter calculated in advance when the in-vehicle camera is installed in the in-
その後、平面図生成部105は、路側カメラ画像による水平平面画像と、車載カメラ画像による水平平面画像とを結合して交差点平面図を生成する。すなわち、推定された車両のヨー方向の回転変動量と交差点における位置情報とに基づいて車載カメラ画像による水平平面画像を回転させることにより路側カメラ画像による水平平面画像と合わせて、交差点平面図を生成する。
Thereafter, the plan
なお、水平平面画像同士を合成する際に、互いの画像の領域が重複する場合には、公知の方法を用いて双方の画像情報を混合するようにしても良い。例えば、重複する領域における互いの画素の濃淡値を平均して、新しい輝度値とするようにしても良い。 When the horizontal plane images are combined with each other, if the areas of the images overlap each other, both image information may be mixed using a known method. For example, the gray value of each pixel in the overlapping area may be averaged to obtain a new luminance value.
ステップS109で情報出力部106は、平面図生成部105で生成された合成平面図を表示手段に表示させる。表示のさせ方としては、車両に備え付けられたモニタに平面図を表示しても良いし、ヘッドアップディスプレイのような方法でフロントガラスに平面図を投影しても良い。表示の際には、平面図の位置と向きも考慮して表示されるのが望ましい。例えば、平面図の向きは、自車両の進行方向、または自車両の走行道路の方向に向けて回転された後に表示されると良い。また、平面図における自車両の位置が表示位置の中央または中央よりやや下の位置に来るように、平面図を平行移動した状態で表示するのが良い。このようにすることで、運転者が交差点における自車両の位置を直感的に把握しやすくなる。
In step S109, the
以上のように本実施の形態によれば、車載装置100において、位置/向き推定部111が、車載カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第1の垂直平面画像と、路側カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第2の垂直平面画像とに基づいて、車載装置100が搭載されている車両の位置及び向きを推定し、パラメータ調整部112が、推定された位置及び向きに基づいて、平面変換で用いられるパラメータを調整し、水平平面画像生成部113が、車載カメラ画像の内の道路領域画像を、パラメータ調整部112で調整されたパラメータを用いて平面変換することにより、水平平面画像を生成する。
As described above, according to the present embodiment, in the in-
こうすることで、ロール方向及びピッチ方向の変動量が正確に反映される垂直平面画像を用いて推定された車両の位置及び向きに基づいてパラメータを調整することができるので、より適切なパラメータを求めることができる。そして、このパラメータを用いて平面変換することにより、より精度の高い水平平面画像を生成することができる。そして、この水平平面画像を用いて平面図を生成することにより、高精度の平面図を生成することができる。 In this way, the parameter can be adjusted based on the position and orientation of the vehicle estimated using the vertical plane image that accurately reflects the amount of variation in the roll direction and the pitch direction. Can be sought. Then, by performing plane conversion using this parameter, a more accurate horizontal plane image can be generated. Then, by generating a plan view using this horizontal plane image, a highly accurate plan view can be generated.
[実施の形態2]
図18は、本発明の実施の形態2に係る平面図生成システム20の構成を示すブロック図である。
[Embodiment 2]
FIG. 18 is a block diagram showing a configuration of a plan view generation system 20 according to Embodiment 2 of the present invention.
図18において、平面図生成システム20は、車載装置300と、路側装置400とを有する。
In FIG. 18, the plan view generation system 20 includes an in-
車載装置300は、センサ部301を有する。
The in-
センサ部301は、物体と車載装置300との離間距離を測定することにより、物体(車両の周辺に存在する移動体又は建造物等)の3次元構造を計測する。センサ部301は、例えば、ステレオカメラ又はミリ波レーダ等の距離測定が可能な手段から構成されている。
The
車載装置300の垂直平面画像生成部103は、センサ部301によって計測された物体の3次元構造データを用いて、平面変換パラメータを設定する。これにより、より適切な平面変換パラメータを設定することができる。この平面変換パラメータは、パラメータ調整部112において調整されるデフォルト値として用いられる。従って、パラメータ調整部112によって調整された後の平面変換パラメータも、より適切なものとなる。この結果、車載装置300は、より高精度の平面図を生成することができる。
The vertical plane
路側装置400は、センサ部401を有する。
The
センサ部401は、物体と路側装置400との離間距離を測定することにより、物体の3次元構造を計測する。センサ部401は、例えば、ステレオカメラ又はミリ波レーダ等の距離測定が可能な手段から構成されている。
The
路側装置400の画像変換部203は、センサ部401によって計測された物体の3次元構造データを用いて、平面変換パラメータを設定する。これにより、より適切な平面変換パラメータを設定することができる。
The
以上のように本実施の形態によれば、垂直平面画像生成部103が、センサ部301によって計測された物体の3次元構造データを用いて平面変換パラメータを設定する。また、画像変換部203が、センサ部401によって計測された物体の3次元構造データを用いて、平面変換パラメータを設定する。
As described above, according to the present embodiment, the vertical plane
こうすることで、より適切な平面変換パラメータを設定することができる。 In this way, more appropriate plane conversion parameters can be set.
また、車載装置300の垂直平面画像生成部103で設定された平面変換パラメータは、パラメータ調整部112において調整されるデフォルト値として用いられる。
The plane conversion parameter set by the vertical plane
こうすることで、パラメータ調整部112によって調整された後の平面変換パラメータも、より適切なものとなる。この結果、車載装置300は、より高精度の平面図を生成することができる。
By doing so, the plane conversion parameter after adjustment by the
なお、常時、計測された物体の3次元構造データを用いて平面変換パラメータを設定し直すのではなく、次のような場合にのみ再設定するようにしても良い。すなわち、平面変換により生成される平面の法線とカメラの光軸との成す角が大きくなる場合に平面変換に伴う画像変形の影響がより大きくなるので、そのような場合にのみ再設定するようにしても良い。 Note that the plane conversion parameter may not be reset using the measured three-dimensional structure data of the object at all times, but may be reset only in the following cases. In other words, when the angle between the normal of the plane generated by the plane conversion and the optical axis of the camera increases, the influence of image deformation accompanying the plane conversion becomes larger. Therefore, reset only in such a case. Anyway.
また、センサ部301の代わりに、自車周囲の障害物を検知するためのシステムで使用されるセンサが用いられても良いし、センサ部401の代わりに、交差点内の障害物を検知するためのシステムで使用されるセンサが用いられても良いし、また、併用されても良い。
Further, instead of the
[実施の形態3]
図19は、本発明の実施の形態3に係る平面図生成システム30の構成を示すブロック図である。図19において、平面図生成システム30は、複数の車載装置500と、路側装置600とを有する。
[Embodiment 3]
FIG. 19 is a block diagram showing a configuration of a plan
車載装置500は、通信部501を有する。
The in-vehicle device 500 includes a
通信部501は、画像分離部102で得られた背景領域の画像及び道路領域の画像、並びに垂直平面画像生成部103で得られた垂直平面画像を路側装置600へ送信する。
The
路側装置600は、通信部601と、平面図生成部602と、情報出力部603とを有する。
The
通信部601は、路側装置600の周辺に位置する複数の車載装置500のそれぞれから、背景領域の画像及び道路領域の画像、並びに垂直平面画像を受信する。
The
平面図生成部602は、複数の車載装置500から送信された画像の内で有効な車載カメラ画像を選択する。平面図生成部602は、図20に示すように、選択部611を有し、この選択部611によって、有効な車載カメラ画像が選択される。すなわち、選択部611は、複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択する。有効な画像を選別するための具体的な方法としては、各画像のフォーカス又はコントラストが適切であるかどうかを画像処理で確認するようにすれば良い。または、カメラの目の前を物体が塞ぐようないわゆるオクルージョンが発生していないかを画像処理で判別するようにすれば良い。
The plan
そして、平面図生成部602は、選択した車載カメラ画像による垂直平面画像、及び路側カメラ画像による垂直平面画像に基づいて、平面変換パラメータを調整し、調整後の平面変換パラメータを用いて車載カメラ画像の道路画像を平面変換することにより、車載カメラによる水平平面画像を生成する。そして、平面図生成部602は、車載カメラによる水平平面画像と、路側カメラによる水平平面画像とを合成することにより、合成平面図を生成する。
Then, the plan
情報出力部603は、平面図生成部602で生成された合成平面図を表示手段に表示させる。情報出力部603は、システム利用者が交通管制等の目的において目視確認し易い状態で、合成平面図を表示させる。情報出力部603が、平面図を任意に拡大・縮小・平行移動・回転できるようにしても良い。
The
以上のように本実施の形態によれば、選択部611が、複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択し、平面図生成部602が、選択された車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて、平面変換パラメータを調整する。
As described above, according to the present embodiment, the
こうすることで、或る車載装置500の車載カメラ画像の品質が悪くても、他の車載装置500の車載カメラ画像を用いて平面変換パラメータを調整することができるので、結果として、精度の良い平面図を生成することができる。 By doing so, even if the quality of the in-vehicle camera image of a certain in-vehicle device 500 is poor, the plane conversion parameter can be adjusted using the in-vehicle camera image of another in-vehicle device 500, and as a result, the accuracy is high. A plan view can be generated.
なお、システム利用者がどのような状態で平面図を参照しているかを示す参照情報を情報出力部603から選択部611に通知し、選択部611がその参照情報をもとに画像選択処理を行うようにして良い。例えば、選択部611が、システム利用者が平面図を拡大・平行移動させて見ている位置の近傍に存在する車両のカメラ画像を優先的に選択するようにしても良い。
The
また、平面図生成部602によって生成された平面図を、通信部601を介して各車載装置500へ送信しても良い。これにより、車載装置500の具備する情報出力部(図示せず)がその平面図を表示することより、より精度の高い平面図を表示することができる。
In addition, the plan view generated by the plan
[他の実施の形態]
(1)実施の形態1及び2では、平面図生成部105が車載装置100(300)に設けられているが、本発明はこれに限定されるものではない。例えば、平面図生成部105は、路側装置200(400)に設けられていても良い。この場合には、路側装置200(400)で生成された平面図は、車載装置100(300)へ送信され、情報出力部106によって表示される。又は、平面図生成部105は、車載装置及び路側装置とは別体の平面図生成装置に設けられても良い。この場合には、平面図生成装置は、備えている通信部を介して必要な情報を車載装置及び路側装置から受信し、生成した平面図を車載装置100(300)へ送信する。
[Other embodiments]
(1) In
また、実施の形態3では、平面図生成部602が路側装置600に設けられているが、本発明はこれに限定されるものではない。平面図生成部602は、車載装置及び路側装置とは別体の平面図生成装置に設けられても良い。この場合には、平面図生成装置に設けられる通信部を介して必要な情報を車載装置及び路側装置から受信する。
In the third embodiment, the plan
(2)上記各実施の形態において生成された平面図を利用することにより、次のようなメリットがある。 (2) By using the plan view generated in each of the above embodiments, there are the following merits.
すなわち、平面図の利用者が交差点における自分の位置をより容易に把握できる。また、例えば、車両の運転者にとって気付きづらく距離感も掴み難いような、車両の側後方から接近する移動体についても、リアルタイムに生成される平面図を用いて確認することができる。この結果、車両の右左折時又は車線変更時における移動体確認をより確実に行うことができる。 That is, the user of the plan view can more easily grasp his / her position at the intersection. In addition, for example, a moving body approaching from the rear side of the vehicle that is difficult to notice for the driver of the vehicle and difficult to grasp the distance can be confirmed using a plan view generated in real time. As a result, the moving body can be confirmed more reliably when the vehicle turns right or left or when the lane is changed.
また、交通管制の分野において管制者が交差点の状況をより確実に把握できる。 In the field of traffic control, the controller can grasp the situation of the intersection more reliably.
(3)上記各実施の形態において求めたロール変動量又はピッチ変動量などのパラメータは、自車の走行状態を推定して車両制御にフィードバックするような用途にも応用することができる。 (3) The parameters such as the roll fluctuation amount or the pitch fluctuation amount obtained in each of the above embodiments can be applied to uses such as estimating the traveling state of the host vehicle and feeding back to the vehicle control.
(4)上記各実施の形態における路側カメラの設置場所は、屋外の交差点だけでなく、例えば、屋内駐車場のような屋内であっても良い。こうすることで、生成される平面図を、移動体の位置を把握するためだけでなく、駐車をより簡単に行うための支援にも利用することができる。また、車載カメラの設置場所は、車両のみならず、移動ロボット等であっても良い。 (4) The installation location of the roadside camera in each of the above embodiments may be indoors such as an indoor parking lot as well as an outdoor intersection. By doing so, the generated plan view can be used not only for grasping the position of the moving body but also for assisting parking more easily. The installation location of the in-vehicle camera may be not only the vehicle but also a mobile robot or the like.
(5)上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。 (5) Although cases have been described with the above embodiment as examples where the present invention is configured by hardware, the present invention can also be realized by software.
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 Each functional block used in the description of each of the above embodiments is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。 Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。 Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
本発明の平面図生成装置及び平面図生成方法は、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて車両の姿勢を推定し、推定した車両の姿勢に基づいて調整した平面変換パラメータに基づいて車載カメラ画像内の道路画像を平面変換して得られる水平平面画像を用いて平面図を作成することにより、高精度の平面図を生成することができるものとして有用である。 The plan view generation apparatus and plan view generation method of the present invention generates a plan view based on an in-vehicle camera image and a roadside camera image, and based on the vertical plane image by the in-vehicle camera image and the vertical plane image by the roadside camera image. By estimating the attitude of the vehicle and creating a plan view using a horizontal plane image obtained by plane-transforming the road image in the in-vehicle camera image based on the plane conversion parameter adjusted based on the estimated attitude of the vehicle It is useful as a device capable of generating a highly accurate plan view.
10,20,30 平面図生成システム
100,300,500 車載装置
101,201 画像取得部
102,202 画像分離部
103 垂直平面画像生成部
104,204,501,601 通信部
105,602 平面図生成部
106,603 情報出力部
111 位置/向き推定部
112 パラメータ調整部
113 水平平面画像生成部
114 合成部
200,400,600 路側装置
203 画像変換部
301,401 センサ部
611 選択部
10, 20, 30 Plane
Claims (3)
前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第1の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第2の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定する推定手段と、
前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整する調整手段と、
前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第1の水平平面画像を生成する生成手段と、
を具備する平面図生成装置。 A first horizontal plane image generated by performing a plane transformation, which is a projective transformation using homogeneous coordinates, on a road region image in an in-vehicle camera image captured by the in-vehicle camera, and an image captured by the roadside camera A plan view generation device for generating a plan view imitating a parallel projection image from above by combining the second horizontal plane image generated by performing the plane conversion on the road area image in the roadside camera image Because
The first vertical plane image generated by performing the plane conversion on the background area image excluding the road area image in the in-vehicle camera image, and the background area image excluding the road area image in the roadside camera image Estimating means for estimating the position and orientation of the vehicle on which the in-vehicle camera is mounted based on the second vertical plane image generated by plane conversion;
Adjusting means for adjusting parameters used in the plane transformation based on the estimated position and orientation;
Generating means for generating the first horizontal plane image by converting the road area image of the in-vehicle camera image into the plane using the adjusted parameter;
A plan view generating apparatus.
前記複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択する選択手段と、
をさらに具備し、
前記第1の垂直平面画像は、前記選択された画像から生成された垂直平面画像である、
請求項1に記載の平面図生成装置。 Receiving means for receiving a plurality of in-vehicle camera images transmitted from a plurality of the vehicles;
Selecting means for selecting an image having a quality of a predetermined level or higher from the plurality of in-vehicle camera images;
Further comprising
The first vertical plane image is a vertical plane image generated from the selected image.
The top view production | generation apparatus of Claim 1.
前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第1の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第2の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定し、
前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整し、
前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第1の水平平面画像を生成する、
平面図生成方法。 A first horizontal plane image generated by performing a plane transformation, which is a projective transformation using homogeneous coordinates, on a road region image in an in-vehicle camera image captured by the in-vehicle camera, and an image captured by the roadside camera A plan view generation method for generating a plan view imitating a parallel projection image from the sky by combining a second horizontal plane image generated by performing the plane conversion on a road area image in a roadside camera image Because
The first vertical plane image generated by performing the plane conversion on the background area image excluding the road area image in the in-vehicle camera image, and the background area image excluding the road area image in the roadside camera image Based on the second vertical plane image generated by the plane conversion and estimating the position and orientation of the vehicle on which the in-vehicle camera is mounted,
Adjusting the parameters used in the plane transformation based on the estimated position and orientation;
The first horizontal plane image is generated by performing the plane conversion on the road region image in the in-vehicle camera image using the adjusted parameter.
Plan view generation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010124547A JP2011254128A (en) | 2010-05-31 | 2010-05-31 | Plane view generating device and plane view generating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010124547A JP2011254128A (en) | 2010-05-31 | 2010-05-31 | Plane view generating device and plane view generating method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011254128A true JP2011254128A (en) | 2011-12-15 |
Family
ID=45417760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010124547A Pending JP2011254128A (en) | 2010-05-31 | 2010-05-31 | Plane view generating device and plane view generating method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011254128A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013132970A1 (en) * | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | Three-dimensional object detection device and three-dimensional object detection method |
JP2013203335A (en) * | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | Object recognition apparatus |
JP2015067220A (en) * | 2013-09-30 | 2015-04-13 | 日産自動車株式会社 | Vehicular acceleration suppression device and vehicular acceleration suppression method |
WO2018047687A1 (en) * | 2016-09-12 | 2018-03-15 | パナソニックIpマネジメント株式会社 | Three-dimensional model generating device and three-dimensional model generating method |
JP2018198030A (en) * | 2017-05-25 | 2018-12-13 | Kddi株式会社 | Information processor and program |
KR102003387B1 (en) * | 2018-10-11 | 2019-07-24 | 한국과학기술원 | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program |
WO2022250300A1 (en) * | 2021-05-25 | 2022-12-01 | Samsung Electronics Co., Ltd. | A method and an electronic apparatus for acquiring a floor map of a room layout |
-
2010
- 2010-05-31 JP JP2010124547A patent/JP2011254128A/en active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013132970A1 (en) * | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | Three-dimensional object detection device and three-dimensional object detection method |
JPWO2013132970A1 (en) * | 2012-03-06 | 2015-07-30 | 日産自動車株式会社 | Three-dimensional object detection apparatus and three-dimensional object detection method |
JP2013203335A (en) * | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | Object recognition apparatus |
JP2015067220A (en) * | 2013-09-30 | 2015-04-13 | 日産自動車株式会社 | Vehicular acceleration suppression device and vehicular acceleration suppression method |
CN109690620A (en) * | 2016-09-12 | 2019-04-26 | 松下知识产权经营株式会社 | Threedimensional model generating means and threedimensional model generation method |
WO2018047687A1 (en) * | 2016-09-12 | 2018-03-15 | パナソニックIpマネジメント株式会社 | Three-dimensional model generating device and three-dimensional model generating method |
JPWO2018047687A1 (en) * | 2016-09-12 | 2019-06-24 | パナソニックIpマネジメント株式会社 | Three-dimensional model generation device and three-dimensional model generation method |
US10893251B2 (en) | 2016-09-12 | 2021-01-12 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional model generating device and three-dimensional model generating method |
JP7002056B2 (en) | 2016-09-12 | 2022-02-10 | パナソニックIpマネジメント株式会社 | 3D model generator and 3D model generation method |
CN109690620B (en) * | 2016-09-12 | 2023-05-30 | 松下知识产权经营株式会社 | Three-dimensional model generation device and three-dimensional model generation method |
JP2018198030A (en) * | 2017-05-25 | 2018-12-13 | Kddi株式会社 | Information processor and program |
KR102003387B1 (en) * | 2018-10-11 | 2019-07-24 | 한국과학기술원 | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program |
WO2022250300A1 (en) * | 2021-05-25 | 2022-12-01 | Samsung Electronics Co., Ltd. | A method and an electronic apparatus for acquiring a floor map of a room layout |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5632762B2 (en) | POSITIONING INFORMATION FORMING DEVICE, DETECTING DEVICE, AND POSITIONING INFORMATION FORMING METHOD | |
US9451236B2 (en) | Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof | |
WO2021004312A1 (en) | Intelligent vehicle trajectory measurement method based on binocular stereo vision system | |
CN107738612B (en) | Automatic parking space detection and identification system based on panoramic vision auxiliary system | |
JP5455124B2 (en) | Camera posture parameter estimation device | |
CN112419385B (en) | 3D depth information estimation method and device and computer equipment | |
US10602059B2 (en) | Method for generating a panoramic image | |
JP5503578B2 (en) | Object detection apparatus and object detection method | |
US9508189B2 (en) | Method and apparatus for creating 3D image of vehicle surroundings | |
KR101911610B1 (en) | Method and device for the distortion-free display of an area surrounding a vehicle | |
JP2011254128A (en) | Plane view generating device and plane view generating method | |
WO2021140886A1 (en) | Three-dimensional model generation method, information processing device, and program | |
JP5872818B2 (en) | Positioning processing device, positioning processing method, and image processing device | |
EP2939211B1 (en) | Method and system for generating a surround view | |
KR101705558B1 (en) | Top view creating method for camera installed on vehicle and AVM system | |
CN114283391A (en) | Automatic parking sensing method fusing panoramic image and laser radar | |
CN111768332A (en) | Splicing method of vehicle-mounted all-around real-time 3D panoramic image and image acquisition device | |
JP2016218694A (en) | Three-dimensional model generation device, three-dimensional model generation method, and program | |
JP2011170568A (en) | Device and method for detecting obstacle | |
KR101265710B1 (en) | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus | |
KR101398068B1 (en) | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus | |
KR102079332B1 (en) | 3D Vehicle Around View Generating Method and System | |
KR101331893B1 (en) | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus | |
JP6734136B2 (en) | Image processing device | |
US20240137477A1 (en) | Method and apparatus for generating 3d image by recording digital content |