JP2011254128A - Plane view generating device and plane view generating method - Google Patents

Plane view generating device and plane view generating method Download PDF

Info

Publication number
JP2011254128A
JP2011254128A JP2010124547A JP2010124547A JP2011254128A JP 2011254128 A JP2011254128 A JP 2011254128A JP 2010124547 A JP2010124547 A JP 2010124547A JP 2010124547 A JP2010124547 A JP 2010124547A JP 2011254128 A JP2011254128 A JP 2011254128A
Authority
JP
Japan
Prior art keywords
image
vehicle
plane
camera
plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010124547A
Other languages
Japanese (ja)
Inventor
Koji Arata
浩治 新
Takafumi Tokuhiro
崇文 徳弘
Etsuyo Takagi
惠世 高木
Takashi Motoyama
貴巳 本山
Tatsuyuki Negishi
辰行 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010124547A priority Critical patent/JP2011254128A/en
Publication of JP2011254128A publication Critical patent/JP2011254128A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a plane view generating device and a plane view generating method which can generate a plane view with high accuracy when generating the plane view based on an on-vehicle camera image and a road-side camera image.SOLUTION: A position/direction estimating unit 111 estimates a position and direction of a vehicle on which an on-vehicle device 100 is incorporated based on a first vertical plane image generated by a plane transformation of a background area image except a road area image in the on-vehicle camera image and on a second vertical plane image generated by the plane transformation of the background area image except the road area image in the road-side camera image. A parameter adjusting unit 112 adjusts a parameter used in the plane transformation based on the estimated position and direction, and a horizontal plane image generating unit 113 generates a horizontal plane image by performing the plane transformation on the road area image in the on-vehicle camera image with the parameter adjusted in the parameter adjusting unit 112.

Description

本発明は、平面図生成装置及び平面図生成方法に関する。   The present invention relates to a plan view generation apparatus and a plan view generation method.

車両運転者にとって、交差点において相手（歩行者又は他の車両等）の位置を把握するための運転者補助技術は有用である。このような相手の位置の把握を補助する手段のひとつとして、「平面図」がある。   For the vehicle driver, driver assistance technology for grasping the position of the other party (pedestrian or other vehicle, etc.) at the intersection is useful. One of the means for assisting in grasping the position of such a partner is a “plan view”.

平面図とは、対象地点を上空から見た地図のような画像のことである。いわゆる鳥瞰図(俯瞰図)も上空から見た地図のような画像であるが、鳥瞰図が上空のある１点を視点とする画像（透視投影画像）であるのに対して、本明細書で言う平面図とは、上空の複数視点から鉛直方向に見下ろした画像（つまり、平行投影画像）である。このような平面図を交差点に関してリアルタイムに生成し運転者に提示することにより、運転者は、交差点における自車両と、他の車両又は歩行者との位置関係を正確に把握することができる。   A plan view is an image like a map of a target point as seen from above. A so-called bird's-eye view (bird's-eye view) is also an image like a map seen from above, but the bird's-eye view is an image (perspective projection image) with a certain point in the sky as a viewpoint (perspective projection image). The figure is an image (that is, a parallel projection image) looking down in the vertical direction from a plurality of viewpoints in the sky. By generating such a plan view on the intersection in real time and presenting it to the driver, the driver can accurately grasp the positional relationship between the host vehicle at the intersection and another vehicle or a pedestrian.

交差点中央の高度上空から高精細なカメラで鉛直下向きに撮影することができれば、撮影した画像の中央部分が、リアルな平面図となる。しかしながら、通常はそのような撮影を行うことは困難である。従って、実際には、信号機程度の高さに設置した複数のカメラを用いて道路を撮影し、画像の変換処理及び合成処理を行うことにより平面図を生成することが必要となる。   If the image can be taken vertically downward with a high-definition camera from above the altitude at the center of the intersection, the central part of the photographed image becomes a realistic plan view. However, it is usually difficult to perform such shooting. Therefore, in practice, it is necessary to photograph a road using a plurality of cameras installed at a height of a traffic light, and generate a plan view by performing image conversion processing and composition processing.

複数のカメラにより得られた画像（つまり、カメラ画像）を変換処理及び合成処理することにより得られた画像は、擬似的な平面図（以下では、単に、平面図と呼ぶ）である。このため、カメラ画像において移動体の物陰となる部分は、平面図においても死角のままとなる。例えば、路側に設置されたカメラ（つまり、路側カメラ）により得られた画像を用いることにより広範囲に渡る平面図を作成することができる。しかしながら、路側カメラから死角になる領域が、各車両の周辺に生じてしまう。そこで、車両に搭載されたカメラ（つまり、車載カメラ）により得られた画像を用いて、平面図を生成することが考えられる。こうすることで、車両周辺にも死角が生じていない平面図を生成することができる。   An image obtained by converting and synthesizing images (that is, camera images) obtained by a plurality of cameras is a pseudo plan view (hereinafter simply referred to as a plan view). For this reason, the part which becomes the shadow of a moving body in a camera image remains a blind spot also in a top view. For example, it is possible to create a plan view over a wide range by using an image obtained by a camera installed on the roadside (that is, a roadside camera). However, an area that becomes a blind spot from the roadside camera is generated around each vehicle. Therefore, it is conceivable to generate a plan view using an image obtained by a camera mounted on a vehicle (that is, an in-vehicle camera). By doing so, it is possible to generate a plan view in which no blind spots are generated around the vehicle.

実際上、複数のカメラ画像から平面図を生成する場合、複数のカメラについての校正（つまり、キャリブレーション）を行うことにより、変換処理及び合成処理に用いられるパラメータを予め設定しておく必要がある。路側カメラの画像だけ又は車載カメラの画像だけを用いて平面図を生成する場合には、通常、カメラ設置時にキャリブレーションが行われているので、その際に得られたパラメータを用いて単純な射影変換処理を行うだけで平面図を生成することができる。しかしながら、路側カメラの画像と車載カメラの画像との両方を用いて平面図を生成する場合には、事情が異なる。すなわち、路側カメラと車載カメラとの間では予めキャリブレーションを行っておくことができない。従って、何らかの方法を用いて、路側カメラの画像と車載カメラの画像との対応付けを行う必要がある。   In practice, when generating a plan view from a plurality of camera images, it is necessary to preset parameters used for conversion processing and composition processing by performing calibration (that is, calibration) for a plurality of cameras. . When a plan view is generated using only the roadside camera image or the in-vehicle camera image, calibration is usually performed when the camera is installed, so simple projection using the parameters obtained at that time is performed. A plan view can be generated simply by performing the conversion process. However, the situation is different when a plan view is generated using both the roadside camera image and the in-vehicle camera image. That is, calibration cannot be performed in advance between the roadside camera and the vehicle-mounted camera. Therefore, it is necessary to associate the image of the roadside camera with the image of the vehicle-mounted camera using some method.

例えば、特許文献１に開示される平面図の生成方法では、路側カメラの画像と車載カメラの画像との両方に映し出された道路上の特徴画像（特許文献１では、特に、駐車区画線の画像）が重なるように、路側カメラの画像及び車載カメラの画像に対して回転及び拡大縮小等の処理を行うことにより、平面画像が生成される。   For example, in the plan view generation method disclosed in Patent Document 1, a feature image on a road projected on both a roadside camera image and an in-vehicle camera image (in Patent Document 1, in particular, an image of a parking lot line) ), A plane image is generated by performing processing such as rotation and enlargement / reduction on the image of the roadside camera and the image of the vehicle-mounted camera.

特開２００９−１７３１２２号公報JP 2009-173122 A

しかしながら、上記した従来の平面図生成方法では、そもそも道路上にパターン（駐車区画線又は車線区分線など）が無い場合には、平面図を生成することができない。   However, in the above-described conventional plan view generation method, a plan view cannot be generated when there is no pattern (such as a parking lot line or a lane line) on the road.

また、道路上にパターンが存在する場合であっても、車両の姿勢にロール・ピッチ方向の変動が発生した場合には、路側カメラの画像と車載カメラの画像との対応付けが困難である。すなわち、車両の姿勢のヨー方向の変動が生じると、車載カメラの平面図は、路側カメラの平面図に対して同一平面上で回転移動する。そのため、上記した従来の平面図生成方法のように、道路上のパターンを用いてマッチング処理を行うことで、路側カメラの画像と車載カメラの画像とを対応付けることができる。しかしながら、車両のロール方向及びピッチ方向の変動の場合、車載カメラの平面図が路側カメラの平面図に対して交差する方向に変動するので、路側カメラの画像と車載カメラの画像とを合成した後の平面図が変形してしまう。このため、車両の姿勢にロール・ピッチ方向の変動が発生した場合には、路側カメラの画像と車載カメラの画像との対応付けが困難となる。   Further, even when a pattern exists on the road, it is difficult to associate the image of the roadside camera with the image of the in-vehicle camera when the posture of the vehicle changes in the roll / pitch direction. That is, when a change in the yaw direction of the attitude of the vehicle occurs, the plan view of the in-vehicle camera rotates on the same plane with respect to the plan view of the roadside camera. For this reason, as in the conventional plan view generation method described above, by performing the matching process using the pattern on the road, the image of the roadside camera and the image of the vehicle-mounted camera can be associated with each other. However, in the case of fluctuations in the roll direction and pitch direction of the vehicle, the plan view of the in-vehicle camera fluctuates in a direction intersecting the plan view of the road-side camera, so after combining the image of the road-side camera and the image of the in-vehicle camera Will be deformed. For this reason, when a change in the roll / pitch direction occurs in the posture of the vehicle, it becomes difficult to associate the image of the roadside camera with the image of the in-vehicle camera.

また、センサを用いて車両の姿勢のロール・ピッチ方向の変動を検出し、検出値に基づいて、車載カメラの画像からロール・ピッチ方向の姿勢変動の影響を取り除いた後に、路側カメラの画像と合成することもできる。しかしながら、実際の交通環境では、ロール・ピッチ方向の車両姿勢の変化は急であり、回転の加速度が大きい。このため、センサとカメラとの間に同期ズレが生じ、この結果、路側カメラの画像と車載カメラの画像とから生成される平面図の精度が低下してしまう問題がある。   In addition, the change in the roll / pitch direction of the attitude of the vehicle is detected using a sensor, and after removing the influence of the attitude change in the roll / pitch direction from the image of the in-vehicle camera based on the detected value, It can also be synthesized. However, in an actual traffic environment, the change in the vehicle posture in the roll / pitch direction is abrupt and the acceleration of rotation is large. For this reason, a synchronization shift occurs between the sensor and the camera, and as a result, there is a problem that the accuracy of the plan view generated from the image of the roadside camera and the image of the vehicle-mounted camera is lowered.

本発明は、かかる点に鑑みてなされたものであり、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、高精度の平面図を生成することができる平面図生成装置及び平面図生成方法を提供することを目的とする。   The present invention has been made in view of such points, and in the case of generating a plan view based on an in-vehicle camera image and a roadside camera image, a plan view generation device and a plane that can generate a highly accurate plan view An object is to provide a diagram generation method.

本発明の一態様の平面図生成装置は、車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成装置であって、前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定する推定手段と、前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整する調整手段と、前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する生成手段と、を具備する。   A plan view generation apparatus according to an aspect of the present invention is a first view generated by subjecting a road area image in an in-vehicle camera image captured by an in-vehicle camera to plane conversion that is projective conversion using homogeneous coordinates. And a second horizontal plane image generated by performing the plane conversion on the road area image of the roadside camera image captured by the roadside camera, and a parallel projection image from above A plan view generation device for generating a plan view simulating the first vertical plane image generated by performing the plane conversion on a background area image excluding a road area image in the in-vehicle camera image; and A vehicle in which the in-vehicle camera is mounted based on a second vertical plane image generated by performing the plane conversion on a background area image excluding a road area image in a roadside camera image An estimation unit that estimates a position and an orientation, an adjustment unit that adjusts a parameter used in the plane conversion based on the estimated position and orientation, and the adjustment of the road region image in the in-vehicle camera image Generating means for generating the first horizontal plane image by performing the plane conversion using the set parameters.

本発明の一態様の平面図生成方法は、車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成方法であって、前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定し、前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整し、前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する。   The plan view generation method according to one aspect of the present invention is a first view generated by subjecting a road area image in an in-vehicle camera image captured by an in-vehicle camera to plane conversion that is projective conversion using homogeneous coordinates. And a second horizontal plane image generated by performing the plane conversion on the road area image of the roadside camera image captured by the roadside camera, and a parallel projection image from above A plan view generation method for generating a plan view simulating a first vertical plane image generated by performing the plane conversion on a background area image excluding a road area image in the in-vehicle camera image; A vehicle in which the in-vehicle camera is mounted based on a second vertical plane image generated by performing the plane conversion on a background area image excluding a road area image in a roadside camera image Estimating the position and orientation, adjusting the parameters used in the plane conversion based on the estimated position and orientation, and using the adjusted parameters, the road area image of the in-vehicle camera image The first horizontal plane image is generated by the plane conversion.

本発明によれば、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて車両の姿勢を推定し、推定した車両の姿勢に基づいて調整した平面変換パラメータに基づいて車載カメラ画像内の道路画像を平面変換して得られる水平平面画像を用いて平面図を作成することにより、高精度の平面図を生成することができる。   According to the present invention, when a plan view is generated based on an in-vehicle camera image and a roadside camera image, the posture of the vehicle is estimated based on the vertical plane image based on the in-vehicle camera image and the vertical plane image based on the roadside camera image. A high-accuracy plan is generated by creating a plan using a horizontal plane image obtained by plane-transforming the road image in the in-vehicle camera image based on the plane transformation parameter adjusted based on the attitude of the vehicle can do.

本発明の実施の形態１に係る平面図生成システムの構成を示すブロック図The block diagram which shows the structure of the top view production | generation system which concerns on Embodiment 1 of this invention. 車載カメラ画像の一例を示す図The figure which shows an example of in-vehicle camera image 車載カメラの設置状況の異なる複数の車載カメラ画像の一例を示す図The figure which shows an example of the plural in-vehicle camera picture where installation situation of in-vehicle camera differs 固定的に設定される道路領域及び背景領域の一例を示す図The figure which shows an example of the road area and background area which are set fixedly 垂直平面画像への変換の説明に供する図Diagram for explaining conversion to vertical plane image 平面図生成部の構成を示すブロック図Block diagram showing the configuration of the plan view generator 水平平面画像への変換の説明に供する図Diagram for explaining conversion to horizontal plane image 路側カメラ及び車載カメラの配置例を示す図The figure which shows the example of arrangement | positioning of a roadside camera and a vehicle-mounted camera 車載装置の動作説明に供するフロー図Flow diagram for explaining the operation of in-vehicle devices 路側装置の動作説明に供するフロー図Flow diagram for explaining the operation of roadside equipment 車載カメラ、路側カメラ及び垂直平面画像の位置関係、並びに、路側カメラ画像による垂直平面画像及び車載カメラ画像による垂直平面画像の一例を示す図The figure which shows an example of the positional relationship of a vehicle-mounted camera, a roadside camera, and a vertical plane image, and a vertical plane image by a roadside camera image and a vertical plane image by a vehicle-mounted camera image 自車両の位置及び向きの推定処理の説明に供する図The figure which serves for explanation of the estimation processing of the position and direction of the own vehicle 自車両の位置及び向きの推定処理の説明に供する図The figure which serves for explanation of the estimation processing of the position and direction of the own vehicle ロール方向及びピッチ方向の変動と、車載カメラ画像から生成される平面図における変形との関係を示す図The figure which shows the relationship between the fluctuation | variation of a roll direction and a pitch direction, and the deformation | transformation in the top view produced | generated from a vehicle-mounted camera image カメラに対する撮像位置及びカメラの向き変動に伴う、撮像画像の変形の説明に供する図FIG. 5 is a diagram for explaining the deformation of a captured image that accompanies a change in an imaging position with respect to the camera and a camera orientation. 平面図生成処理の説明に供する図The figure which serves for explanation of the plan view generation processing 平面図生成処理の説明に供する図The figure which serves for explanation of the plan view generation processing 本発明の実施の形態２に係る平面図生成システムの構成を示すブロック図The block diagram which shows the structure of the top view production | generation system which concerns on Embodiment 2 of this invention. 本発明の実施の形態３に係る平面図生成システムの構成を示すブロック図The block diagram which shows the structure of the top view production | generation system which concerns on Embodiment 3 of this invention. 平面図生成部の構成を示すブロック図Block diagram showing the configuration of the plan view generator

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the embodiment, the same components are denoted by the same reference numerals, and the description thereof will be omitted because it is duplicated.

［実施の形態１］
［平面図生成システム１０の概要］
図１は、本発明の実施の形態１に係る平面図生成システム１０の構成を示すブロック図である。図１において、平面図生成システム１０は、車載装置１００と、路側装置２００とを有する。車載装置１００は、車両に搭載される一方、路側装置２００は、例えば交差点等の路側に設置される。車載装置１００は、車載カメラで撮影された画像（つまり、車載カメラ画像）と、路側装置２００のカメラで撮影された画像（つまり、路側カメラ画像）とに基づいて合成平面図を生成し、その合成平面図を表示手段に表示させる。 [Embodiment 1]
[Outline of Plan View Generation System 10]
FIG. 1 is a block diagram showing a configuration of a plan view generation system 10 according to Embodiment 1 of the present invention. In FIG. 1, the plan view generation system 10 includes an in-vehicle device 100 and a roadside device 200. The in-vehicle device 100 is mounted on a vehicle, while the roadside device 200 is installed on a roadside such as an intersection. The in-vehicle device 100 generates a combined plan view based on an image captured by the in-vehicle camera (that is, the in-vehicle camera image) and an image captured by the camera of the road-side device 200 (that is, the road-side camera image). The composite plan view is displayed on the display means.

［車載装置１００の構成］
図１において、車載装置１００は、画像取得部１０１と、画像分離部１０２と、垂直平面画像生成部１０３と、通信部１０４と、平面図生成部１０５と、情報出力部１０６とを有する。 [Configuration of in-vehicle device 100]
In FIG. 1, the in-vehicle device 100 includes an image acquisition unit 101, an image separation unit 102, a vertical plane image generation unit 103, a communication unit 104, a plan view generation unit 105, and an information output unit 106.

〈画像取得部１０１〉
画像取得部１０１は、１つ又は複数の車載カメラで撮影された車載カメラ画像を取得する。この車載カメラ画像は、画像分離部１０２へ出力される。車載カメラは、例えば、車両の前後左右に搭載される。これにより、車両周囲の画像が得られる。また、車載カメラは、その撮影画像に道路領域及び道路領域以外の背景領域の両方が含まれるように、設置される。車載カメラは、道路領域と背景領域との割合が所定値となるように、設置される。 <Image acquisition unit 101>
The image acquisition unit 101 acquires an in-vehicle camera image captured by one or more in-vehicle cameras. This in-vehicle camera image is output to the image separation unit 102. For example, in-vehicle cameras are mounted on the front, rear, left, and right sides of the vehicle. Thereby, an image around the vehicle is obtained. In addition, the in-vehicle camera is installed so that the captured image includes both a road area and a background area other than the road area. The in-vehicle camera is installed so that the ratio between the road area and the background area becomes a predetermined value.

図２は、車載カメラ画像の一例を示す。図２に示すように、車載カメラ画像１１は、道路領域１２と、道路領域１２の上方に現れる背景領域１３とに分離される。   FIG. 2 shows an example of an in-vehicle camera image. As shown in FIG. 2, the in-vehicle camera image 11 is separated into a road area 12 and a background area 13 that appears above the road area 12.

図３は、車載カメラの設置状況の異なる複数の車載カメラ画像の一例を示す。図３の上段には、光軸を水平方向よりも下側に向けて車載カメラを設置した場合の車載カメラ画像が示され、中段には、光軸を水平方向に合わせて車載カメラを設置した場合の車載カメラ画像が示され、下段には、光軸を水平方向よりも上側に向けて車載カメラを設置した場合の車載カメラ画像が示されている。このように、車載カメラの光軸の向く方向（特に、仰角方向）によって車載カメラ画像に含まれる道路領域と背景領域との割合が変わるので、所定の割合となるように車載カメラの設置位置及び方向を調整する必要がある。   FIG. 3 shows an example of a plurality of in-vehicle camera images having different installation conditions of the in-vehicle camera. The upper part of FIG. 3 shows the in-vehicle camera image when the in-vehicle camera is installed with the optical axis facing downward from the horizontal direction, and the in-vehicle camera is installed in the middle part with the optical axis aligned in the horizontal direction. The in-vehicle camera image in the case where the in-vehicle camera is installed with the optical axis facing upward from the horizontal direction is shown in the lower part. Thus, since the ratio of the road area and the background area included in the in-vehicle camera image changes depending on the direction of the optical axis of the in-vehicle camera (particularly the elevation direction), the installation position of the in-vehicle camera and the predetermined ratio It is necessary to adjust the direction.

また、車載カメラの光学的設定は、次のように設定される。車載カメラのフォーカスは、道路面に対してだけではなく、背景領域となり得る部分に対しても、できるだけ合致するように設定されることが望ましい。そのため、車載カメラのフォーカスは、例えば、被写界深度が深くなるように設定されていることが望ましい。また、後段の処理において、背景領域における特徴物の撮像状態をもとに、自車両の動きを推定する処理を行うので、車載カメラは、十分なコントラストが確保されるように設定されることが望ましい。   The optical setting of the in-vehicle camera is set as follows. It is desirable to set the focus of the in-vehicle camera so that it matches as much as possible not only to the road surface but also to a portion that can be a background area. Therefore, it is desirable that the focus of the in-vehicle camera is set so that the depth of field becomes deep, for example. Further, in the subsequent process, since the process of estimating the movement of the host vehicle is performed based on the imaging state of the feature object in the background region, the in-vehicle camera may be set to ensure sufficient contrast. desirable.

〈画像分離部１０２〉
画像分離部１０２は、画像取得部１０１から受け取る車載カメラ画像を、道路領域の画像と、道路領域を除く背景領域の画像とに分離する。背景領域の画像は垂直平面画像生成部１０３へ出力される一方、道路領域の画像は平面図生成部１０５へ出力される。 <Image Separation Unit 102>
The image separation unit 102 separates the in-vehicle camera image received from the image acquisition unit 101 into a road region image and a background region image excluding the road region. The background region image is output to the vertical plane image generation unit 103, while the road region image is output to the plan view generation unit 105.

第１の領域分離方法としては、例えば、車載カメラ画像内で道路領域及び背景領域が所定の領域に固定的に現れると見なして、道路領域と背景領域とを分離しても良い。この方法は、車載カメラのロール方向及びピッチ方向の変動量がカメラ画像の横方向及び縦方向のサイズに対して比較的小さいと想定される場合に有用である。   As the first region separation method, for example, it is possible to separate the road region and the background region on the assumption that the road region and the background region appear fixedly in a predetermined region in the in-vehicle camera image. This method is useful when the amount of change in the roll direction and pitch direction of the in-vehicle camera is assumed to be relatively small with respect to the size in the horizontal direction and vertical direction of the camera image.

図４は、固定的に設定される道路領域及び背景領域の一例を示す図である。図４に示すように、車載カメラのピッチ方向又はロール方向の変動量の最大値が予め分かっている場合には、道路領域と背景領域との境界が変動しうる範囲を除く領域が、常に、道路領域又は背景領域となる。   FIG. 4 is a diagram illustrating an example of a road area and a background area that are fixedly set. As shown in FIG. 4, when the maximum value of the amount of change in the pitch direction or roll direction of the in-vehicle camera is known in advance, the region excluding the range where the boundary between the road region and the background region can be changed is always It becomes a road area or a background area.

第２の領域分離方法としては、エッジ検出及び線分検出を応用することで道路領域と背景領域との境界線を検出し、この境界線に基づいて道路領域と背景領域とを分離しても良い。   As a second region separation method, the boundary line between the road region and the background region is detected by applying edge detection and line segment detection, and the road region and the background region are separated based on this boundary line. good.

具体的には、まず、微分フィルタを用いてカメラ画像からエッジを検出する。道路領域と背景領域との境界線は斜め方向のエッジとなり、画像の左半分は左方向のエッジ、画像の右半分は右方向のエッジとなることが想定される。このため、斜め方向のエッジを容易に検出できるフィルタを用いれば良い。例えば、車載カメラ画像の左半分及び右半分に対して、式（１）で表されるフィルタ及び式（２）で表されるフィルタをそれぞれ適用すれば良い。

Figure 2011254128
Figure 2011254128
 Specifically, first, an edge is detected from a camera image using a differential filter. It is assumed that the boundary line between the road area and the background area is an oblique edge, the left half of the image is the left edge, and the right half of the image is the right edge. For this reason, a filter that can easily detect an edge in an oblique direction may be used. For example, the filter represented by Expression (1) and the filter represented by Expression (2) may be applied to the left half and the right half of the in-vehicle camera image, respectively.
Figure 2011254128
Figure 2011254128

そして、検出されたエッジの画素をもとに、境界を表す線分を検出する。すなわち、エッジを構成している複数の点座標に基づいて、画像の左半分および右半分において、境界を表す線分をそれぞれ検出する。具体的には、線分の検出には、いわゆる最小二乗法又はハフ変換を用いることができる。ここで、境界を表す線分の傾きを、所定の範囲に制限しても良い。これにより、検出演算量を削減できるので、検出までに掛かる時間を削減することができる。   Then, a line segment representing the boundary is detected based on the detected edge pixels. That is, line segments representing boundaries are detected in the left half and the right half of the image based on a plurality of point coordinates constituting the edge. Specifically, a so-called least square method or Hough transform can be used to detect the line segment. Here, the slope of the line segment representing the boundary may be limited to a predetermined range. Thereby, since the amount of detection calculation can be reduced, the time taken for detection can be reduced.

第３の領域分離方法としては、例えば、道路領域と背景領域との輝度の違いを利用しても良い。道路領域は、背景領域と比較して、画素の輝度が低くなる可能性が高い。このため、カメラ画像に含まれる輝度の分布を解析することにより、道路領域と背景領域とを分離することができる。具体的には、カメラ画像の輝度ヒストグラムに基づいて、道路領域の候補となる画像領域と背景領域の候補となる画像領域とに分離する。すなわち、低輝度に偏っている部分を道路領域候補とし、より高輝度の部分を背景領域候補とする。そして、それぞれの領域候補に対して領域の抜けを埋める処理を施すことで、最終的な道路領域及び背景領域を得ることができる。画像領域の抜けを埋める処理としては、例えば、２値画像のノイズ除去に用いられるような、いわゆるオープニング処理又はクロージング処理を用いることができる。   As the third region separation method, for example, the difference in luminance between the road region and the background region may be used. The road area is likely to have lower pixel brightness than the background area. For this reason, the road area and the background area can be separated by analyzing the luminance distribution included in the camera image. Specifically, based on the luminance histogram of the camera image, the image area is separated into a candidate road area and a candidate background area. That is, a portion that is biased toward low luminance is set as a road region candidate, and a portion with higher luminance is set as a background region candidate. Then, a final road region and a background region can be obtained by performing a process of filling in the missing regions on each region candidate. As the process for filling in the omission of the image area, for example, a so-called opening process or closing process used for noise removal of a binary image can be used.

第４の領域分離方法としては、縦方向のエッジを検出し、縦方向のエッジの存在割合が比較的多い領域を背景領域と見なすことにより、道路領域と背景領域とを分離しても良い。背景領域には、建造物が存在する場合が多い。建造物の画像では横方向のエッジが少なく、縦方向のエッジが多い。このため、縦方向のエッジの存在割合を基準とする単純な方法によっても、背景領域をある程度の精度で特定することができる。   As a fourth region separation method, the road region and the background region may be separated by detecting the edge in the vertical direction and considering the region having a relatively high proportion of the edges in the vertical direction as the background region. Buildings often exist in the background area. In a building image, there are few horizontal edges and many vertical edges. For this reason, the background region can be specified with a certain degree of accuracy even by a simple method based on the presence ratio of the edge in the vertical direction.

第５の領域分離方法としては、画像から特定物体を認識し、この認識結果に基づいて道路領域と背景領域とを分離しても良い。例えば、背景領域を構成する物体として、道路標識を挙げることができる。従って、道路標識を認識することにより、背景領域も認識することができる。すなわち、道路標識の画像領域の周囲は背景領域と見なすことができるので、道路標識の画像を検出することにより背景領域を特定することができる。道路標識を検出する具体例な処理は、例えば、次のように行われる。すなわち、ハフ変換等を用いて、道路標識に特徴的な図形（円形又は三角形など）の検出を行い、検出した図形の内部に対して、特定の文字又は模様に関するパターンマッチング等の処理を行えば良い。   As a fifth region separation method, a specific object may be recognized from an image, and a road region and a background region may be separated based on the recognition result. For example, a road sign can be mentioned as an object constituting the background area. Therefore, the background area can also be recognized by recognizing the road sign. That is, since the area around the road sign image area can be regarded as the background area, the background area can be specified by detecting the road sign image. A specific process for detecting a road sign is performed as follows, for example. That is, if a figure (characters such as a circle or a triangle) that is characteristic of a road sign is detected using Hough transform or the like, and processing such as pattern matching related to a specific character or pattern is performed on the inside of the detected figure. good.

〈垂直平面画像生成部１０３〉
垂直平面画像生成部１０３は、背景領域の画像を、変換パラメータ（垂直平面変換パラメータ）に基づいて「垂直平面画像」へ変換する。すなわち、図５に示すように、背景領域の画像が、車両進行方向に対して垂直な方向から背景を見たような垂直平面画像に変換される。 <Vertical plane image generation unit 103>
The vertical plane image generation unit 103 converts the image of the background region into a “vertical plane image” based on the conversion parameter (vertical plane conversion parameter). That is, as shown in FIG. 5, the image of the background region is converted into a vertical plane image as if the background was viewed from a direction perpendicular to the vehicle traveling direction.

カメラ画像を平面画像へ変換するための計算方法を示す。平面画像への変換処理は、同次座標を用いた射影変換処理として捉えることができる。平面変換前の座標をmT=(x, y)T、その同次座標をm T=(x,y,1)T、平面変換後の座標をm’T=(x’,y’)T、その同次座標をm’T=(x’,y’,1)T、平面変換のための射影行列をA=(a11, a12, a13; a21, a22, a23; a31, a32, 1)とすると、平面変換のための射影変換は、式（３）のように表される。

Figure 2011254128
A calculation method for converting a camera image into a planar image will be described. The conversion process to a planar image can be regarded as a projective conversion process using homogeneous coordinates. The coordinates before plane transformation are m T = (x, y) T , their homogeneous coordinates are m T = (x, y, 1) T , and the coordinates after plane transformation are m ' T = (x', y ') T , its homogeneous coordinates are m ' T = (x', y ', 1) T , and the projection matrix for plane transformation is A = (a 11 , a 12 , a 13 ; a 21 , a 22 , a 23 a 31 , a 32 , 1), the projective transformation for plane transformation is expressed as shown in Equation (3).
Figure 2011254128

平面変換パラメータは、後述する歪補正処理にて行われるパターン処理と同様に、既知のパターンを用いて求めることができる。例えば、地上平面上に形状が既知のパターンを用意し、そのパターンを車載カメラで撮像する。また、車載カメラ画像において、既知パターンの画像の位置を検出する。この既知パターンは複数の位置に設置され、その都度、画像の位置も検出される。そして、既知パターン画像の検出位置のそれぞれに対して、平面変換後に移動すべき座標位置を指定することにより、平面変換前と平面変換後の対応点ペアを複数用意する。上記式（３）で示したように射影変換のパラメータはa11〜a32の８個有るので、１組の対応点ペア（x1,y1）（x’1,y’1）から２つの方程式を立てることができる。従って、少なくとも４組の対応点ペア（x1,y1）（x’1,y’1），〜，（x4,y4）（x’4,y’4）を用意すれば、式（４）に示す連立方程式の解として、平面変換のための射影行列A=(a11, a12, a13; a21, a22, a23; a31, a32, 1)を得ることができる。

Figure 2011254128
The plane conversion parameter can be obtained using a known pattern in the same manner as the pattern processing performed in the distortion correction processing described later. For example, a pattern having a known shape is prepared on the ground plane, and the pattern is imaged with an in-vehicle camera. Moreover, the position of the image of a known pattern is detected in the vehicle-mounted camera image. This known pattern is installed at a plurality of positions, and the position of the image is also detected each time. A plurality of corresponding point pairs before and after plane conversion are prepared by designating coordinate positions to be moved after plane conversion for each detection position of the known pattern image. As shown in the above equation (3), there are eight projection transformation parameters a 11 to a 32 , so 2 from one pair of corresponding points (x 1 , y 1 ) (x ′ 1 , y ′ 1 ) One equation can be established. Therefore, if at least four pairs of corresponding points (x 1 , y 1 ) (x ′ 1 , y ′ 1 ) to (x 4 , y 4 ) (x ′ 4 , y ′ 4 ) are prepared, the formula Obtain the projection matrix A = (a 11 , a 12 , a 13 ; a 21 , a 22 , a 23 ; a 31 , a 32 , 1) for plane transformation as the solution of the simultaneous equations shown in (4) Can do.
Figure 2011254128

５組以上の対応点ペアを用意できる場合には、例えば最小二乗法のような手法を用いて解を求めるようにすれば良い。   If five or more pairs of corresponding points can be prepared, a solution may be obtained using a method such as a least square method.

なお、垂直平面画像生成部１０３は、上記した平面画像変換を行う前に、歪み補正処理を行っても良い。   Note that the vertical plane image generation unit 103 may perform distortion correction processing before performing the above-described plane image conversion.

歪補正処理では、レンズを通して撮像されることにより発生する放射歪曲等を画像変換処理により補正する。光軸中心を(cx,cy)、画素ピッチを(ax,ay)、レンズ歪み係数をk1及びk2とし、歪補正処理前の画像座標を(x,y)、歪補正処理後の画像座標を(x’,y’)としたとき、歪補正処理前の画像座標(x,y)と歪補正処理後の画像座標(x’,y’)とは、式（５）で表される関係を満たす。

Figure 2011254128
In the distortion correction process, radial distortion or the like generated by imaging through a lens is corrected by an image conversion process. The center of the optical axis is (c x , c y ), the pixel pitch is (a x , a y ), the lens distortion coefficients are k 1 and k 2 , the image coordinates before distortion correction processing are (x, y), and distortion correction When the image coordinates after the processing are (x ′, y ′), the image coordinates (x, y) before the distortion correction processing and the image coordinates (x ′, y ′) after the distortion correction processing are expressed by Equation (5). ) Is satisfied.
Figure 2011254128

光軸中心、画素ピッチ、及びレンズ歪み係数等のパラメータは、キャリブレーション処理により、車両や交差点へのカメラ設置時点において算出されている。このキャリブレーション処理には、公知の方法が用いられても良い。例えば、次のようにキャリブレーション処理が行われる。先ず、マス目サイズが既知のチェッカーボードを用意し、キャリブレーション対象であるカメラを用いてそのチェッカーボードを複数回撮影する。そして、その撮影された画像においてチェッカーボードパターンの交点の位置を検出し、複数の画像における交点の位置について繰返し計算を行う。これにより、必要なパラメータが求められる。   Parameters such as the optical axis center, pixel pitch, and lens distortion coefficient are calculated at the time of camera installation at the vehicle or intersection by calibration processing. A known method may be used for this calibration process. For example, calibration processing is performed as follows. First, a checkerboard having a known grid size is prepared, and the checkerboard is photographed a plurality of times using a camera to be calibrated. Then, the position of the intersection of the checkerboard pattern is detected in the photographed image, and the calculation is repeatedly performed for the position of the intersection in a plurality of images. As a result, necessary parameters are obtained.

このようなキャリブレーション処理を行った結果、パラメータ（光軸中心、画素ピッチ、レンズ歪み係数等）が分かれば、歪補正処理前の画像座標(x,y)と歪補正処理後の画像座標(x’,y’)との対応関係が分かる。従って、この対応関係に従って元画像を変換すれば、歪補正処理を施した画像を得ることができる。   As a result of such calibration processing, if parameters (optical axis center, pixel pitch, lens distortion coefficient, etc.) are known, image coordinates (x, y) before distortion correction processing and image coordinates after distortion correction processing ( x ', y'). Therefore, if the original image is converted according to this correspondence, an image subjected to distortion correction processing can be obtained.

式（５）に示すような対応関係を用いるため、歪補正処理後の画像座標(x’,y’)は整数にならない場合がある。そのような場合には、ニアレストネイバー補間により近傍の画素値で代用するか、又は、バイリニア補間のような画素補間処理により周囲の画素値から特定の計算を施して変換後の画素値を生成しても良い。   Since the correspondence as shown in Expression (5) is used, the image coordinates (x ′, y ′) after the distortion correction processing may not be an integer. In such a case, a neighboring pixel value is substituted by nearest neighbor interpolation, or a converted pixel value is generated by performing a specific calculation from surrounding pixel values by a pixel interpolation process such as bilinear interpolation. You may do it.

また、実際に歪補正処理を行う際には、パラメータ（光軸中心、画素ピッチ、レンズ歪み係数等）をそのまま保存しておいて、その都度パラメータを読み出して座標を計算しても良いし、歪補正処理前の画像座標と歪補正処理後の画像座標との対応テーブルを予め生成しておいて、必要時にその対応テーブルを読み出すような仕様にしても良い。   When actually performing the distortion correction process, the parameters (optical axis center, pixel pitch, lens distortion coefficient, etc.) may be stored as they are, and the parameters may be read out each time to calculate the coordinates. The correspondence table between the image coordinates before the distortion correction process and the image coordinates after the distortion correction process may be generated in advance, and the correspondence table may be read out when necessary.

〈通信部１０４〉
通信部１０４は、路側装置２００から送信された平面画像（垂直平面画像及び水平平面画像を含む）を受信し、平面図生成部１０５へ出力する。 <Communication unit 104>
The communication unit 104 receives a planar image (including a vertical planar image and a horizontal planar image) transmitted from the roadside device 200 and outputs the planar image to the plan view generation unit 105.

〈平面図生成部１０５〉
平面図生成部１０５は、垂直平面画像生成部１０３から受け取る垂直平面画像（つまり、車載カメラ画像による垂直平面画像）及び路側装置２００から送信された垂直平面画像（つまり、路側カメラ画像による垂直平面画像）に基づいて平面変換パラメータを調整し、調整後の平面変換パラメータを用いて車載カメラ画像の道路画像を平面変換することにより、車載カメラによる水平平面画像を生成する。そして、平面図生成部１０５は、車載カメラによる水平平面画像と、路側カメラによる水平平面画像とを合成することにより、合成平面図を生成する。 <Plan view generator 105>
The plan view generation unit 105 receives the vertical plane image received from the vertical plane image generation unit 103 (that is, the vertical plane image based on the in-vehicle camera image) and the vertical plane image transmitted from the roadside device 200 (that is, the vertical plane image based on the roadside camera image). ) To adjust the plane conversion parameter, and plane-convert the road image of the in-vehicle camera image using the adjusted plane conversion parameter to generate a horizontal plane image by the in-vehicle camera. Then, the plan view generation unit 105 generates a composite plan view by synthesizing the horizontal plane image from the in-vehicle camera and the horizontal plane image from the roadside camera.

具体的には、平面図生成部１０５は、図６に示すように、位置／向き推定部１１１と、パラメータ調整部１１２と、水平平面画像生成部１１３と、合成部１１４とを有する。   Specifically, the plan view generation unit 105 includes a position / orientation estimation unit 111, a parameter adjustment unit 112, a horizontal plane image generation unit 113, and a synthesis unit 114, as shown in FIG.

位置／向き推定部１１１は、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて、車載カメラの搭載されている車両の位置及び姿勢を推定する。   The position / orientation estimation unit 111 estimates the position and orientation of the vehicle on which the in-vehicle camera is mounted based on the vertical plane image by the in-vehicle camera image and the vertical plane image by the roadside camera image.

パラメータ調整部１１２は、平面変換パラメータのデフォルト値を保持している。そして、パラメータ調整部１１２は、位置／向き推定部１１１によって推定された車両の位置及び姿勢に基づいて、平面変換パラメータを調整する。調整後の平面変換パラメータは、水平平面画像生成部１１３へ出力される。   The parameter adjustment unit 112 holds a default value of the plane conversion parameter. Then, the parameter adjustment unit 112 adjusts the plane conversion parameter based on the position and orientation of the vehicle estimated by the position / orientation estimation unit 111. The adjusted plane conversion parameter is output to the horizontal plane image generation unit 113.

水平平面画像生成部１１３は、画像分離部１０２から受け取る道路領域の画像を、調整後の平面変換パラメータを用いて平面変換することにより、水平平面画像を生成する。すなわち、図７に示すように、道路領域の画像が、道路面を鉛直上方から見たような水平平面画像に変換される。   The horizontal plane image generation unit 113 generates a horizontal plane image by performing plane conversion on the road region image received from the image separation unit 102 using the adjusted plane conversion parameter. That is, as shown in FIG. 7, the image of the road region is converted into a horizontal plane image as if the road surface was viewed from vertically above.

合成部１１４は、水平平面画像生成部１１３から受け取る車載カメラ画像による水平平面画像と、路側カメラ画像による水平平面画像とを合成することにより、合成平面図を形成する。   The synthesizing unit 114 synthesizes the horizontal plane image based on the in-vehicle camera image received from the horizontal plane image generation unit 113 and the horizontal plane image based on the roadside camera image, thereby forming a combined plan view.

〈情報出力部１０６〉
情報出力部１０６は、平面図生成部１０５で生成された合成平面図を表示手段に表示させる。 <Information output unit 106>
The information output unit 106 causes the display unit to display the combined plan view generated by the plan view generation unit 105.

［路側装置２００の構成］
図１において、路側装置２００は、画像取得部２０１と、画像分離部２０２と、画像変換部２０３と、通信部２０４とを有する。 [Configuration of Roadside Device 200]
In FIG. 1, the roadside apparatus 200 includes an image acquisition unit 201, an image separation unit 202, an image conversion unit 203, and a communication unit 204.

〈画像取得部２０１〉
画像取得部２０１は、路側カメラで撮影された路側カメラ画像を取得する。この路側カメラ画像は、画像分離部２０２へ出力される。図８は、路側カメラ及び車載カメラの配置例を示す図である。図８に示すように、路側カメラは、例えば、交差点の四隅にそれぞれ配置される。これにより、交差点の内部及び周囲を撮影できる。また、車載カメラは、上記したように車両の前後左右に配置される。 <Image acquisition unit 201>
The image acquisition unit 201 acquires a roadside camera image captured by a roadside camera. The roadside camera image is output to the image separation unit 202. FIG. 8 is a diagram illustrating an arrangement example of a roadside camera and an in-vehicle camera. As shown in FIG. 8, the roadside cameras are disposed at, for example, four corners of an intersection. Thereby, the inside and the periphery of the intersection can be photographed. Further, as described above, the in-vehicle cameras are arranged on the front, rear, left and right sides of the vehicle.

また、路側カメラも、車載カメラと同様に、道路領域と背景領域との割合が所定値となるように、設置される。   The roadside camera is also installed so that the ratio between the road area and the background area becomes a predetermined value, similarly to the in-vehicle camera.

また、路側カメラの光学的設定も、車載カメラと同様に、設定される。   Further, the optical setting of the roadside camera is also set in the same manner as the in-vehicle camera.

〈画像分離部２０２〉
画像分離部２０２は、画像取得部２０１から受け取る路側カメラ画像を、道路領域の画像と、背景領域の画像とに分離する。分離方法については、画像分離部１０２で説明した方法と同様である。 <Image Separation Unit 202>
The image separation unit 202 separates the roadside camera image received from the image acquisition unit 201 into a road region image and a background region image. The separation method is the same as the method described in the image separation unit 102.

〈画像変換部２０３〉
画像変換部２０３は、背景領域の画像及び道路領域の画像を、変換パラメータに基づいて「垂直平面画像」及び「水平平面画像」へそれぞれ変換する。この変換方法は、垂直平面画像生成部１０３で説明した平面変換と同様である。路側カメラについては、車載カメラと異なり、姿勢の変化を考慮する必要性が少ない。従って、「垂直平面画像」への変換及び「水平平面画像」への変換のいずれにも、路側カメラの設置時に算出され、記憶部（図示せず）に保持されているパラメータをそのまま用いることができる。なお、この変換処理の前に、垂直平面画像生成部１０３と同様の歪補正処理が行われても良い。 <Image conversion unit 203>
The image conversion unit 203 converts the background area image and the road area image into a “vertical plane image” and a “horizontal plane image”, respectively, based on the conversion parameters. This conversion method is the same as the plane conversion described in the vertical plane image generation unit 103. For roadside cameras, unlike in-vehicle cameras, there is little need to consider changes in posture. Therefore, the parameters calculated when the roadside camera is installed and stored in the storage unit (not shown) are used as they are for the conversion to the “vertical plane image” and the conversion to the “horizontal plane image”. it can. Note that a distortion correction process similar to that of the vertical plane image generation unit 103 may be performed before this conversion process.

〈通信部２０４〉
通信部２０４は、画像変換部２０３から受け取る垂直平面画像及び水平平面画像を車載装置１００へ送信する。また、通信部２０４は、車載装置１００において車載カメラ画像と路側カメラ画像との対応付けに必要なパラメータも、車載装置１００へ送信する。 <Communication unit 204>
The communication unit 204 transmits the vertical plane image and the horizontal plane image received from the image conversion unit 203 to the in-vehicle device 100. Further, the communication unit 204 also transmits parameters necessary for associating the in-vehicle camera image with the roadside camera image in the in-vehicle device 100 to the in-vehicle device 100.

［平面図生成システム１０の動作］
以上の構成を有する平面図生成システム１０の動作について説明する。図９は、車載装置１００の動作説明に供するフロー図である。図１０は、路側装置２００の動作説明に供するフロー図である。 [Operation of Plan View Generation System 10]
The operation of the plan view generation system 10 having the above configuration will be described. FIG. 9 is a flowchart for explaining the operation of the in-vehicle device 100. FIG. 10 is a flowchart for explaining the operation of the roadside apparatus 200.

ステップＳ１０１で車載装置１００の画像取得部１０１は、車載カメラ画像データを取得する。   In step S101, the image acquisition unit 101 of the in-vehicle device 100 acquires in-vehicle camera image data.

ステップＳ１０２で画像分離部１０２は、画像取得部１０１から受け取る車載カメラ画像を、道路領域の画像と背景領域の画像とに分離する。   In step S102, the image separation unit 102 separates the in-vehicle camera image received from the image acquisition unit 101 into a road region image and a background region image.

ステップＳ１０３で垂直平面画像生成部１０３は、背景領域の画像を、変換パラメータ（垂直平面変換パラメータ）に基づいて垂直平面画像へ変換する。   In step S103, the vertical plane image generation unit 103 converts the background region image into a vertical plane image based on the conversion parameter (vertical plane conversion parameter).

上記した車載装置１００のステップＳ１０１〜１０３の処理と並列して、路側装置２００では、図１０に示すステップＳ２０１〜２０４の処理が実行される。   In parallel with the process of steps S101 to S103 of the in-vehicle device 100 described above, the roadside apparatus 200 executes the process of steps S201 to S204 shown in FIG.

ステップＳ２０１で路側装置２００の画像取得部２０１は、路側カメラで撮影された路側カメラ画像を取得する。   In step S201, the image acquisition unit 201 of the roadside apparatus 200 acquires a roadside camera image captured by the roadside camera.

ステップＳ２０２で画像分離部２０２は、画像取得部２０１から受け取る路側カメラ画像を、道路領域の画像と、背景領域の画像とに分離する。   In step S202, the image separation unit 202 separates the roadside camera image received from the image acquisition unit 201 into a road region image and a background region image.

ステップＳ２０３で画像変換部２０３は、背景領域の画像及び道路領域の画像を、変換パラメータに基づいて垂直平面画像及び水平平面画像へそれぞれ変換する。図１１には、車載カメラ、路側カメラ及び垂直平面画像の位置関係、並びに、路側カメラ画像による垂直平面画像及び車載カメラ画像による垂直平面画像の一例が示されている。図１１Ａは、車載カメラ、路側カメラ及び垂直平面画像の位置関係を示す図であり、図１１Ｂは、路側カメラ画像による垂直平面画像の一例を示す図であり、図１１Ｃは、車載カメラ画像による垂直平面画像の一例を示す図である。   In step S203, the image conversion unit 203 converts the background area image and the road area image into a vertical plane image and a horizontal plane image, respectively, based on the conversion parameters. FIG. 11 shows an example of the positional relationship between the in-vehicle camera, the roadside camera, and the vertical plane image, and an example of the vertical plane image by the roadside camera image and the vertical plane image by the in-vehicle camera image. FIG. 11A is a diagram illustrating a positional relationship between the in-vehicle camera, the roadside camera, and the vertical plane image, FIG. 11B is a diagram illustrating an example of the vertical plane image by the roadside camera image, and FIG. It is a figure which shows an example of a plane image.

例えば、画像変換部２０３は、複数の垂直平面画像を部分的に合成して特定の垂直平面画像を生成する。具体的には、図１１では交差点の特定の進行方向に対して前後左右の４枚の垂直平面画像１〜４が生成されている。画像変換部２０３は、この垂直平面画像１を生成する際に、路側カメラＡ及び路側カメラＣという複数の路側カメラ画像を用いて１つの垂直平面画像を生成する。   For example, the image conversion unit 203 partially synthesizes a plurality of vertical plane images to generate a specific vertical plane image. Specifically, in FIG. 11, four vertical plane images 1 to 4 on the front, rear, left and right are generated with respect to a specific traveling direction of the intersection. When generating the vertical plane image 1, the image conversion unit 203 generates a single vertical plane image using a plurality of roadside camera images of the roadside camera A and the roadside camera C.

ステップＳ２０４で通信部２０４は、規定のデータ（垂直平面画像及び水平平面画像を含む）を車載装置１００へ送信する。   In step S204, the communication unit 204 transmits prescribed data (including a vertical plane image and a horizontal plane image) to the in-vehicle device 100.

図９に戻り、ステップＳ１０４で通信部１０４は、路側装置２００から送信された規定のデータを受信する。   Returning to FIG. 9, in step S <b> 104, the communication unit 104 receives the prescribed data transmitted from the roadside device 200.

ステップＳ１０５で平面図生成部１０５は、垂直平面画像生成部１０３から受け取る垂直平面画像（つまり、車載カメラによる垂直平面画像）及び路側装置２００から送信された垂直平面画像（つまり、路側カメラによる垂直平面画像）に基づいて自車両の位置及び向きを推定する。   In step S105, the plan view generation unit 105 receives the vertical plane image received from the vertical plane image generation unit 103 (that is, the vertical plane image by the in-vehicle camera) and the vertical plane image transmitted from the roadside device 200 (that is, the vertical plane by the roadside camera). Based on the image, the position and orientation of the host vehicle are estimated.

具体的には、まず、交差点における自車両の位置及びヨー方向の向きを特定する。路側カメラ画像の背景画像から生成された交差点の前後左右の垂直平面画像と、車載カメラ画像の背景画像から生成された垂直平面画像との間のマッチング処理を行う。図１２Ａ，Ｂに示すように路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像がマッチングする位置を前後左右の垂直平面画像のそれぞれについて特定することにより、交差点内における自車両の２次元位置とヨー方向の向きとを特定することができる（図１２Ｃ参照）。   Specifically, first, the position of the host vehicle and the direction in the yaw direction at the intersection are specified. A matching process is performed between the vertical plane images before and after the intersection generated from the background image of the roadside camera image and the vertical plane image generated from the background image of the in-vehicle camera image. As shown in FIGS. 12A and 12B, by specifying the position where the vertical plane image of the in-vehicle camera image matches the vertical plane image of the roadside camera image for each of the front, rear, left and right vertical plane images, The two-dimensional position and the direction of the yaw direction can be specified (see FIG. 12C).

次に、自車両のピッチ方向及びロール方向の向きを特定する。路側カメラ画像の背景画像から生成された交差点の前後左右の垂直平面画像と、車載カメラ画像の背景画像から生成された垂直平面画像との間のマッチング処理を行う。図１３Ａ，Ｂに示すように、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像がマッチングする位置を前後左右の垂直平面画像のそれぞれについて特定することにより、交差点に対するピッチ方向及びロール方向の向きを特定することができる。   Next, the direction of the pitch direction and the roll direction of the host vehicle is specified. A matching process is performed between the vertical plane images before and after the intersection generated from the background image of the roadside camera image and the vertical plane image generated from the background image of the in-vehicle camera image. As shown in FIGS. 13A and 13B, by specifying the position where the vertical plane image of the in-vehicle camera image matches the vertical plane image of the roadside camera image for each of the front, rear, left and right vertical plane images, The direction of the roll direction can be specified.

画像における横方向及び縦方向の変位量を、自車両の状態（位置／向き）に対応付ける方法としては、位置／向き推定部１１１に予め対応付けのテーブルを用意しておけば良い。例えば、縦方向の変位については、各車載カメラに関して、縦方向の変位量（例えば、単位は、ピクセル）と、ピッチ方向及びロール方向の回転角度とが対応付けられたテーブルを用意すれば良い。横方向の変位については、各車載カメラに関して、横方向の変位量（例えば、単位は、ピクセル）と、ヨー方向の回転角度と、交差点における位置とが対応付けられたテーブルを用意すれば良い。   As a method of associating the horizontal and vertical displacement amounts in the image with the state (position / orientation) of the host vehicle, a correspondence table may be prepared in advance in the position / orientation estimation unit 111. For example, regarding the displacement in the vertical direction, a table in which the displacement amount in the vertical direction (for example, the unit is a pixel) and the rotation angle in the pitch direction and the roll direction may be prepared for each in-vehicle camera. Regarding the lateral displacement, a table in which the lateral displacement amount (for example, the unit is pixels), the rotation angle in the yaw direction, and the position at the intersection may be prepared for each on-vehicle camera.

ここで、各車載カメラにおける変位量と位置／向きとの関係について述べる。自車両の前方及び後方の車載カメラにおける縦方向の変位量が、自車両のピッチ方向の回転角度に対応する。また、自車両の左側方及び右側方の車載カメラにおける縦方向の変位量が、自車両のロール方向の回転角度に対応する。また、自車両の前方、後方、左側方、右側方のうちの任意の２つの車載カメラにおける横方向の変位量をもとに、交差点における自車の位置を求めることができ、さらにもう１つの車載カメラにおける横方向の変位量をもとに、自車のヨー方向の回転角度を求めることができる。   Here, the relationship between the displacement amount and the position / orientation in each in-vehicle camera will be described. The amount of vertical displacement in the in-vehicle cameras in front and behind the host vehicle corresponds to the rotation angle in the pitch direction of the host vehicle. Further, the amount of vertical displacement of the left and right vehicle-mounted cameras of the host vehicle corresponds to the rotation angle of the host vehicle in the roll direction. Further, the position of the vehicle at the intersection can be obtained based on the lateral displacement amount of any two on-vehicle cameras among the front, rear, left side, and right side of the vehicle. Based on the amount of lateral displacement of the in-vehicle camera, the rotation angle of the vehicle in the yaw direction can be obtained.

横方向のマッチングを行って２次元位置及びヨー方向の向きを特定する際には、垂直平面画像の縦方向のエッジ検出を行い、縦方向のエッジ同士を比較する方法を用いると良い。画像から縦方向のエッジを検出するためには、横方向の１次元微分フィルタ又は横方向のＳＯＢＥＬフィルタ等の公知のフィルタを用いると良い。縦方向のエッジの出現するパターンを比較するようなパターンマッチング処理を行うことで、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像が、横方向にどれくらい変位しているかを特定する。   When specifying the two-dimensional position and the direction of the yaw direction by performing the matching in the horizontal direction, it is preferable to use a method of detecting the vertical edge of the vertical plane image and comparing the vertical edges. In order to detect a vertical edge from an image, a known filter such as a horizontal one-dimensional differential filter or a horizontal SOBEL filter may be used. By performing pattern matching processing that compares patterns with vertical edges, it is possible to determine how much the vertical plane image of the in-vehicle camera image is displaced in the horizontal direction relative to the vertical plane image of the roadside camera image. To do.

同様に、縦方向のマッチングを行ってピッチ方向の向きを特定する際には、垂直平面画像の横方向のエッジ検出を行い、横方向のエッジ同士を比較する方法を用いると良い。画像から横方向のエッジを検出するためには、縦方向の１次元微分フィルタ又は縦方向のＳＯＢＥＬフィルタ等の公知のフィルタを用いると良い。縦方向の場合と同様に、横方向のエッジの出現するパターンを比較するパターンマッチング処理を行うことで、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像が縦方向にどれくらい変位しているかを特定する。   Similarly, when specifying the direction of the pitch direction by performing the matching in the vertical direction, it is preferable to use a method of detecting the edge in the horizontal direction of the vertical plane image and comparing the edges in the horizontal direction. In order to detect the horizontal edge from the image, a known filter such as a vertical one-dimensional differential filter or a vertical SOBEL filter may be used. As in the vertical direction, by performing pattern matching processing that compares the patterns in which horizontal edges appear, how much the vertical plane image of the in-vehicle camera image is displaced in the vertical direction relative to the vertical plane image of the roadside camera image Identify what you are doing.

パターンマッチング方法としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）といった公知の評価関数を用いてマッチング位置を特定すれば良い。また、サブピクセル精度でマッチング位置を特定する場合には、等角直線フィッティング又はパラボラフィッティングといった公知の探索手法を用いるようにして良い。勿論、マッチング位置の特定方法についてはこれに限定されるものではなく、他の方法を用いても良い。   As a pattern matching method, a matching position may be specified using a known evaluation function such as SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), or NCC (Normalized Cross-Correlation). In addition, when a matching position is specified with subpixel accuracy, a known search method such as equiangular straight line fitting or parabolic fitting may be used. Of course, the method for specifying the matching position is not limited to this, and other methods may be used.

なお、以上では、パターンマッチングを行う前にエッジ検出を行う方法について述べたが、本発明はこれに限定されるものではなく、エッジ検出をしないでパターンマッチングを行っても良い。例えば、元の画像のままでマッチング処理を行っても良く、また元の画像に対してコントラスト強調を行った上でマッチング処理を行うようにしても良い。元の画像に含まれるノイズが少ない場合、元の画像が持つ情報を出来るだけ残すようにして処理する方が、マッチングの精度が向上する可能性がある。   Although the method for performing edge detection before pattern matching has been described above, the present invention is not limited to this, and pattern matching may be performed without edge detection. For example, the matching process may be performed with the original image as it is, or the matching process may be performed after contrast enhancement is performed on the original image. When the noise included in the original image is small, the matching accuracy may be improved by processing the original image as much as possible.

また、パターンマッチングを行う前に、元画像またはエッジ画像に対して２値化処理を行っても良く、またいわゆるオープニング処理及びクロージング処理を行っても良い。元の画像に含まれるノイズが多い場合であっても、２値化処理及びオープニング処理・クロージング処理を行うことによりノイズが除去されて、単純なパターン同士の比較を行うことができる可能性がある。   Further, before performing pattern matching, binarization processing may be performed on the original image or the edge image, or so-called opening processing and closing processing may be performed. Even if there is a lot of noise in the original image, there is a possibility that noise can be removed by performing binarization processing, opening processing, and closing processing, and simple patterns can be compared with each other .

路側カメラ画像の垂直平面画像と車載カメラ画像の垂直平面画像とのマッチングを行う際に、各カメラ画像の中央領域を重視するようなマッチングを行っても良い。各カメラ画像における端領域は、歪補正や平行化処理による変形の影響が大きいため、有効なマッチング処理結果が得られない可能性がある。そのため画像変形によるマッチング精度への影響を軽減するためには、画像の中央領域のみに限定してマッチング処理を行うことが有効である。また、この場合、重み付けを利用するようにしても良く、画像の端領域におけるマッチング結果よりも、画像の中央領域におけるマッチング結果をより重視するような重み付けをして、計算結果を算出するようにしても良い。   When performing matching between the vertical plane image of the roadside camera image and the vertical plane image of the vehicle-mounted camera image, matching may be performed in which the center area of each camera image is emphasized. Since the edge region in each camera image is greatly affected by deformation due to distortion correction or parallelization processing, an effective matching processing result may not be obtained. Therefore, in order to reduce the influence of the image deformation on the matching accuracy, it is effective to perform the matching process only in the central region of the image. In this case, weighting may be used, and the calculation result is calculated by weighting the matching result in the central region of the image more than the matching result in the edge region of the image. May be.

また、位置／向き推定部１１１におけるエッジ検出結果をもとに、マッチング結果を制御するようにしても良い。カメラ画像に対して微分フィルタを使用し、微分結果に基づいて各画素値の決定を行うと、画素値の大きさがエッジの強さを表すようなエッジ画像を得ることができる。このとき、エッジの弱い部分については誤差の影響がより大きくなる可能性があるため、エッジの弱い部分よりもエッジの強い部分をより重視するような重み付けをして、計算結果を算出するようにしても良い。   Further, the matching result may be controlled based on the edge detection result in the position / orientation estimation unit 111. When a differential filter is used for the camera image and each pixel value is determined based on the differential result, an edge image in which the magnitude of the pixel value represents the strength of the edge can be obtained. At this time, there is a possibility that the influence of the error may be larger for the weak edge portion, so that the calculation result is calculated by weighting the strong edge portion more than the weak edge portion. May be.

ステップＳ１０６で平面図生成部１０５は、推定された自車両の位置及び向きに基づいて、平面変換パラメータを調整する。   In step S106, the plan view generation unit 105 adjusts the plane conversion parameters based on the estimated position and orientation of the host vehicle.

ここで、平面変換パラメータのデフォルト値は、車両が姿勢変動のない水平な状態で、算出されている。そのため、水平面上に車両が停車している場合には、このデフォルト値をそのまま用いて平面変換処理が可能である。しかしながら、実環境で車両が走行している状態においては、車両の姿勢状態は常に変動している。このため、図１４に示すように、ロール方向及びピッチ方向の変動によって、車載カメラ画像から生成される平面図に変形が生じてしまう。従って、例えば平面に対して車両が傾いている状態の場合には、デフォルト値を用いても正しく平面変換が行われない。このような車両の姿勢変動に対応した平面変換を行うためには、車両の姿勢を加味して、平面変換パラメータを設定し直す必要がある。   Here, the default value of the plane conversion parameter is calculated in a horizontal state where the vehicle does not change in posture. Therefore, when the vehicle is stopped on the horizontal plane, the plane conversion process can be performed using the default value as it is. However, when the vehicle is traveling in a real environment, the posture state of the vehicle is constantly changing. For this reason, as shown in FIG. 14, the plan view generated from the in-vehicle camera image is deformed due to fluctuations in the roll direction and the pitch direction. Therefore, for example, when the vehicle is inclined with respect to the plane, the plane conversion is not performed correctly even if the default value is used. In order to perform plane conversion corresponding to such a change in the attitude of the vehicle, it is necessary to reset the plane conversion parameters in consideration of the attitude of the vehicle.

また、ここで、カメラに対する撮像位置及びカメラの向き変動に伴う、撮像画像の変形について述べる。図１５に示すように、カメラの撮像面において光軸中心から離れた周辺部分に対象物が撮像された場合、対象物は変形した状態で撮像される。このときカメラの向きを変動させると、カメラの向きの変動に応じて対象物の変形状態が変化する。対象物の変形した状態を元の状態に戻すためには、カメラ画像の撮像領域毎に射影変換等の処理を施す必要がある。逆に、カメラの撮像面において光軸中心に近い中央部分に対象物が撮像された場合、光軸中心に近くなるほど撮像された対象物の変形は小さくなる。従って、光軸中心から近い位置でカメラの向きを変動させても、対象物は殆ど変形せず、対象物が単に平行移動を行ったように撮像位置が変動する。   Here, a description will be given of the deformation of the captured image that accompanies fluctuations in the imaging position with respect to the camera and the orientation of the camera. As shown in FIG. 15, when an object is imaged in a peripheral portion away from the optical axis center on the imaging surface of the camera, the object is imaged in a deformed state. If the direction of the camera is changed at this time, the deformation state of the object changes according to the change in the direction of the camera. In order to return the deformed state of the object to the original state, it is necessary to perform a process such as projective transformation for each imaging region of the camera image. On the other hand, when an object is imaged in the central portion near the optical axis center on the imaging surface of the camera, the deformation of the imaged object becomes smaller the closer to the optical axis center. Therefore, even if the orientation of the camera is changed at a position close to the center of the optical axis, the object is hardly deformed, and the imaging position is changed as if the object was simply translated.

このような性質から、車載カメラを車両に対して略垂直に且つ道路面に対して略水平に設置した場合、背景領域を変換して生成した垂直平面画像に対するカメラ向き変動の影響は小さく、道路領域を変換して生成した水平平面画像に対するカメラ向き変動の影響は大きくなる。   Due to these characteristics, when the in-vehicle camera is installed substantially perpendicular to the vehicle and substantially horizontally to the road surface, the influence of the camera direction variation on the vertical plane image generated by converting the background region is small, and the road The influence of the camera orientation variation on the horizontal plane image generated by converting the region becomes large.

従って、背景領域の画像を平面変換することにより得られる垂直平面画像に基づいてカメラのロール方向及びピッチ方向の変動量を精度良く推定することができる。具体的には、ロール方向またはピッチ方向の変動前と変動後に撮影した２枚１組のカメラ画像に対して、光軸近傍における同一対象物の撮像位置の差分を計測することにより、ロール方向及びピッチ方向の変動量を推定することができる。   Therefore, it is possible to accurately estimate the amount of change in the roll direction and the pitch direction of the camera based on the vertical plane image obtained by plane-transforming the background region image. Specifically, by measuring the difference in the imaging position of the same object in the vicinity of the optical axis for a set of two camera images taken before and after the change in the roll direction or pitch direction, The amount of variation in the pitch direction can be estimated.

平面変換パラメータの再設定は、例えば、次のように行われる。まず、車載装置１００において、車両のロール状態及びピッチ状態の複数のパターンに対応する平面変換パラメータが予めテーブルに記憶される。そして、実際の道路走行時においては、現在の車両状態（つまり、ロール状態及びピッチ状態）が逐次推定され、その推定された車両状態情報に対応する平面変換パラメータが読み出され、読み出された平面変換パラメータを用いた平面変換が行われる。現在の車両状態にマッチする平面変換パラメータが記憶されている場合には、単純なテーブル参照処理が行われるだけで、平面図生成部１０５は、必要なパラメータを読み出すことができる。これに対して、現在の車両状態にマッチする平面変換パラメータがテーブルに無い場合には、線形補間を行うことにより、平面図生成部１０５は、マッチする平面変換パラメータを求めても良い。   The plane conversion parameter is reset as follows, for example. First, in the in-vehicle device 100, plane conversion parameters corresponding to a plurality of patterns of the roll state and the pitch state of the vehicle are stored in advance in a table. During actual road driving, the current vehicle state (that is, the roll state and the pitch state) is sequentially estimated, and the plane conversion parameter corresponding to the estimated vehicle state information is read and read. Planar transformation using plane transformation parameters is performed. When plane conversion parameters matching the current vehicle state are stored, the plan view generation unit 105 can read out necessary parameters only by performing a simple table reference process. On the other hand, when there is no plane conversion parameter matching the current vehicle state in the table, the plan view generation unit 105 may obtain a matching plane conversion parameter by performing linear interpolation.

なお、１つの画像に対する垂直平面画像及び水平平面画像は、対応付けて管理される。路側装置２００及び車載装置１００で撮影される画像は、その撮影されたカメラ、撮影された日時等の管理情報と共に、一意に定まるように管理される。例えば、撮影日時が２０１０年３月３０日１４時４５分１２秒９５であり、撮影されたカメラがナンバー０４であり、水平平面画像の場合を０、垂直平面画像の場合を１とすると、例えば２０１００３３０＿１４４５１２９５＿０４＿０といった通し番号を用いることで、画像を一意に管理することができる。勿論、垂直平面画像及び水平平面画像を一意に管理する方法はこれに限定されるものではなく、他の方法を用いても良い。   Note that a vertical plane image and a horizontal plane image for one image are managed in association with each other. Images captured by the roadside device 200 and the vehicle-mounted device 100 are managed so as to be uniquely determined together with management information such as the captured camera and the date and time when the image was captured. For example, if the shooting date and time is March 30, 2010 14:45:12, 95, the shot camera is number 04, the horizontal plane image is 0, and the vertical plane image is 1. An image can be managed uniquely by using a serial number such as 201003030_144451295_04_0. Of course, the method for uniquely managing the vertical plane image and the horizontal plane image is not limited to this, and other methods may be used.

ステップＳ１０７で平面図生成部１０５は、ステップＳ１０６で垂直平面画像に基づいて調整された平面変換パラメータを用いて道路画像を平面変換することにより、水平平面画像を生成する。このように調整された平面変換パラメータに基づいて道路画像を平面変換することにより、精度の良い水平平面画像を生成することができる。なお、ここでは、調整後の平面変換パラメータを用いて道路画像を変換する方法を示しているが、次の方法によっても、精度の上がった水平平面画像を生成することができる。すなわち、推定された車両状態に近い車両状態に対応する２つの平面変換パラメータをテーブルから読み出し、それらパラメータを用いて画像を平面変換することにより、２つのパラメータに対応する平面変換後の画像を作成し、これらの画像の画素値を平均することにより、必要とする平面画像を得るようにすれば良い。   In step S107, the plan view generation unit 105 generates a horizontal plane image by performing plane conversion on the road image using the plane conversion parameter adjusted based on the vertical plane image in step S106. By converting the road image into a plane based on the plane conversion parameter adjusted in this way, it is possible to generate an accurate horizontal plane image. Although a method for converting a road image using the adjusted plane conversion parameter is shown here, a highly accurate horizontal plane image can also be generated by the following method. That is, two plane conversion parameters corresponding to the vehicle state close to the estimated vehicle state are read from the table, and the image is subjected to plane conversion using these parameters, thereby creating an image after plane conversion corresponding to the two parameters. Then, the required planar image may be obtained by averaging the pixel values of these images.

ステップＳ１０８で平面図生成部１０５は、ステップＳ１０７で得られた車載カメラ画像による水平平面画像と、路側カメラ画像による水平平面画像とを合成することにより、合成平面図を形成する。   In step S108, the plan view generation unit 105 forms a composite plan view by combining the horizontal plane image based on the in-vehicle camera image obtained in step S107 and the horizontal plane image based on the roadside camera image.

すなわち、平面図生成部１０５は、路側カメラ画像の水平平面画像と、車載カメラ画像の水平平面画像とを合成することで、自車両を中心とした交差点平面図を生成する。交差点平面図を生成するまでの流れは、次のようになる。すなわち、まず、路側カメラ画像の水平平面画像同士の合成を行って路側カメラ画像の合成画像を生成し（図１６Ａ参照）、次に、車載カメラ画像の水平平面画像同士の合成を行って車載カメラ画像の合成画像を生成する（図１６Ｂ参照）。そして、路側カメラ画像の合成画像と車載カメラ画像の合成画像とを最後に合成することにより、最終的に必要な交差点平面図（上記した合成平面図）を生成する（図１７参照）。   That is, the plan view generation unit 105 generates an intersection plan view centered on the host vehicle by combining the horizontal plane image of the roadside camera image and the horizontal plane image of the in-vehicle camera image. The flow until generating the intersection plan is as follows. That is, first, a horizontal plane image of a roadside camera image is synthesized with each other to generate a synthesized image of a roadside camera image (see FIG. 16A), and then a horizontal plane image of a vehicle-mounted camera image is synthesized with each other. A composite image of the images is generated (see FIG. 16B). Then, the composite image of the roadside camera image and the composite image of the vehicle-mounted camera image are finally combined to generate a finally required intersection plan view (the above-described composite plan view) (see FIG. 17).

より詳細には、まず、路側カメラ画像の水平平面画像同士の合成では、平面図生成部１０５は、路側装置２００から送信された、対応付けパラメータを使用する。対応付けパラメータを利用することにより、路側カメラ画像の水平平面画像同士の相対的な位置関係を特定できるので、平面図生成部１０５は、その相対的な位置関係に合わせて各画像の回転移動を行い、回転移動後の画像群を結合して１つの水平平面画像を生成する。対応付けパラメータには、例えば、各水平平面画像の重心位置の実座標及び画像の上方向の指す方角が記載されている。このようなパラメータが用いられる場合には、平面図生成部１０５は、各画像が同じ方角となるように適宜回転移動を行い、各画像の重心位置がひとつの座標系で相対的に合致するように適宜平行移動を行う。   More specifically, first, in the synthesis of horizontal plane images of roadside camera images, the plan view generation unit 105 uses the association parameter transmitted from the roadside apparatus 200. By using the association parameter, it is possible to specify the relative positional relationship between the horizontal plane images of the roadside camera image, so that the plan view generation unit 105 rotates and moves each image according to the relative positional relationship. Then, the image groups after the rotational movement are combined to generate one horizontal plane image. In the association parameter, for example, the actual coordinates of the center of gravity position of each horizontal plane image and the direction indicated by the image in the upward direction are described. When such parameters are used, the plan view generation unit 105 appropriately rotates and moves the images so that the images have the same direction so that the center of gravity positions of the images are relatively matched in one coordinate system. Is appropriately translated.

次に、車載カメラ画像の水平平面画像同士の合成では、車載装置１００に車載カメラを設置した際に予め計算済みの対応付けパラメータが車載装置１００に保存されているため、平面図生成部１０５は、その対応付けパラメータを読み出して、水平平面画像同士の合成を行う。   Next, in the synthesis of the horizontal plane images of the in-vehicle camera images, since the association parameter calculated in advance when the in-vehicle camera is installed in the in-vehicle device 100 is stored in the in-vehicle device 100, the plan view generation unit 105 Then, the correspondence parameters are read out and the horizontal plane images are synthesized.

その後、平面図生成部１０５は、路側カメラ画像による水平平面画像と、車載カメラ画像による水平平面画像とを結合して交差点平面図を生成する。すなわち、推定された車両のヨー方向の回転変動量と交差点における位置情報とに基づいて車載カメラ画像による水平平面画像を回転させることにより路側カメラ画像による水平平面画像と合わせて、交差点平面図を生成する。   Thereafter, the plan view generation unit 105 combines the horizontal plane image based on the roadside camera image and the horizontal plane image based on the in-vehicle camera image to generate an intersection plan view. In other words, an intersection plan view is generated together with the horizontal plane image by the roadside camera image by rotating the horizontal plane image by the in-vehicle camera image based on the estimated rotational fluctuation amount in the yaw direction of the vehicle and the position information at the intersection. To do.

なお、水平平面画像同士を合成する際に、互いの画像の領域が重複する場合には、公知の方法を用いて双方の画像情報を混合するようにしても良い。例えば、重複する領域における互いの画素の濃淡値を平均して、新しい輝度値とするようにしても良い。   When the horizontal plane images are combined with each other, if the areas of the images overlap each other, both image information may be mixed using a known method. For example, the gray value of each pixel in the overlapping area may be averaged to obtain a new luminance value.

ステップＳ１０９で情報出力部１０６は、平面図生成部１０５で生成された合成平面図を表示手段に表示させる。表示のさせ方としては、車両に備え付けられたモニタに平面図を表示しても良いし、ヘッドアップディスプレイのような方法でフロントガラスに平面図を投影しても良い。表示の際には、平面図の位置と向きも考慮して表示されるのが望ましい。例えば、平面図の向きは、自車両の進行方向、または自車両の走行道路の方向に向けて回転された後に表示されると良い。また、平面図における自車両の位置が表示位置の中央または中央よりやや下の位置に来るように、平面図を平行移動した状態で表示するのが良い。このようにすることで、運転者が交差点における自車両の位置を直感的に把握しやすくなる。   In step S109, the information output unit 106 causes the display unit to display the combined plan view generated by the plan view generation unit 105. As a display method, a plan view may be displayed on a monitor provided in the vehicle, or a plan view may be projected on the windshield by a method such as a head-up display. When displaying, it is desirable to display in consideration of the position and orientation of the plan view. For example, the orientation of the plan view may be displayed after being rotated toward the traveling direction of the host vehicle or the traveling road of the host vehicle. Further, the plan view may be displayed in a translated state so that the position of the host vehicle in the plan view is at the center of the display position or a position slightly below the center. This makes it easier for the driver to intuitively grasp the position of the host vehicle at the intersection.

以上のように本実施の形態によれば、車載装置１００において、位置／向き推定部１１１が、車載カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第１の垂直平面画像と、路側カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第２の垂直平面画像とに基づいて、車載装置１００が搭載されている車両の位置及び向きを推定し、パラメータ調整部１１２が、推定された位置及び向きに基づいて、平面変換で用いられるパラメータを調整し、水平平面画像生成部１１３が、車載カメラ画像の内の道路領域画像を、パラメータ調整部１１２で調整されたパラメータを用いて平面変換することにより、水平平面画像を生成する。   As described above, according to the present embodiment, in the in-vehicle device 100, the position / orientation estimation unit 111 is generated by performing plane conversion on the background region image excluding the road region image in the in-vehicle camera image. Of the vehicle on which the in-vehicle device 100 is mounted on the basis of the vertical plane image and the second vertical plane image generated by performing the plane conversion on the background area image excluding the road area image in the roadside camera image. The position and orientation are estimated, the parameter adjustment unit 112 adjusts parameters used in plane conversion based on the estimated position and orientation, and the horizontal plane image generation unit 113 is a road area image in the in-vehicle camera image. Is converted into a plane using the parameter adjusted by the parameter adjustment unit 112, thereby generating a horizontal plane image.

こうすることで、ロール方向及びピッチ方向の変動量が正確に反映される垂直平面画像を用いて推定された車両の位置及び向きに基づいてパラメータを調整することができるので、より適切なパラメータを求めることができる。そして、このパラメータを用いて平面変換することにより、より精度の高い水平平面画像を生成することができる。そして、この水平平面画像を用いて平面図を生成することにより、高精度の平面図を生成することができる。   In this way, the parameter can be adjusted based on the position and orientation of the vehicle estimated using the vertical plane image that accurately reflects the amount of variation in the roll direction and the pitch direction. Can be sought. Then, by performing plane conversion using this parameter, a more accurate horizontal plane image can be generated. Then, by generating a plan view using this horizontal plane image, a highly accurate plan view can be generated.

［実施の形態２］
図１８は、本発明の実施の形態２に係る平面図生成システム２０の構成を示すブロック図である。 [Embodiment 2]
FIG. 18 is a block diagram showing a configuration of a plan view generation system 20 according to Embodiment 2 of the present invention.

図１８において、平面図生成システム２０は、車載装置３００と、路側装置４００とを有する。   In FIG. 18, the plan view generation system 20 includes an in-vehicle device 300 and a roadside device 400.

車載装置３００は、センサ部３０１を有する。   The in-vehicle device 300 includes a sensor unit 301.

センサ部３０１は、物体と車載装置３００との離間距離を測定することにより、物体（車両の周辺に存在する移動体又は建造物等）の３次元構造を計測する。センサ部３０１は、例えば、ステレオカメラ又はミリ波レーダ等の距離測定が可能な手段から構成されている。   The sensor unit 301 measures a three-dimensional structure of an object (a moving body or a building existing around the vehicle) by measuring a separation distance between the object and the vehicle-mounted device 300. The sensor unit 301 is composed of a unit capable of measuring a distance, such as a stereo camera or a millimeter wave radar.

車載装置３００の垂直平面画像生成部１０３は、センサ部３０１によって計測された物体の３次元構造データを用いて、平面変換パラメータを設定する。これにより、より適切な平面変換パラメータを設定することができる。この平面変換パラメータは、パラメータ調整部１１２において調整されるデフォルト値として用いられる。従って、パラメータ調整部１１２によって調整された後の平面変換パラメータも、より適切なものとなる。この結果、車載装置３００は、より高精度の平面図を生成することができる。   The vertical plane image generation unit 103 of the in-vehicle device 300 sets plane conversion parameters using the three-dimensional structure data of the object measured by the sensor unit 301. Thereby, a more appropriate plane conversion parameter can be set. This plane conversion parameter is used as a default value adjusted by the parameter adjustment unit 112. Therefore, the plane conversion parameter after adjustment by the parameter adjustment unit 112 is also more appropriate. As a result, the in-vehicle device 300 can generate a more accurate plan view.

路側装置４００は、センサ部４０１を有する。   The roadside device 400 includes a sensor unit 401.

センサ部４０１は、物体と路側装置４００との離間距離を測定することにより、物体の３次元構造を計測する。センサ部４０１は、例えば、ステレオカメラ又はミリ波レーダ等の距離測定が可能な手段から構成されている。   The sensor unit 401 measures the three-dimensional structure of the object by measuring the distance between the object and the roadside device 400. The sensor unit 401 is composed of a unit capable of measuring a distance, such as a stereo camera or a millimeter wave radar.

路側装置４００の画像変換部２０３は、センサ部４０１によって計測された物体の３次元構造データを用いて、平面変換パラメータを設定する。これにより、より適切な平面変換パラメータを設定することができる。   The image conversion unit 203 of the roadside device 400 sets plane conversion parameters using the three-dimensional structure data of the object measured by the sensor unit 401. Thereby, a more appropriate plane conversion parameter can be set.

以上のように本実施の形態によれば、垂直平面画像生成部１０３が、センサ部３０１によって計測された物体の３次元構造データを用いて平面変換パラメータを設定する。また、画像変換部２０３が、センサ部４０１によって計測された物体の３次元構造データを用いて、平面変換パラメータを設定する。   As described above, according to the present embodiment, the vertical plane image generation unit 103 sets plane conversion parameters using the three-dimensional structure data of the object measured by the sensor unit 301. Further, the image conversion unit 203 sets plane conversion parameters using the three-dimensional structure data of the object measured by the sensor unit 401.

こうすることで、より適切な平面変換パラメータを設定することができる。   In this way, more appropriate plane conversion parameters can be set.

また、車載装置３００の垂直平面画像生成部１０３で設定された平面変換パラメータは、パラメータ調整部１１２において調整されるデフォルト値として用いられる。   The plane conversion parameter set by the vertical plane image generation unit 103 of the in-vehicle device 300 is used as a default value adjusted by the parameter adjustment unit 112.

こうすることで、パラメータ調整部１１２によって調整された後の平面変換パラメータも、より適切なものとなる。この結果、車載装置３００は、より高精度の平面図を生成することができる。   By doing so, the plane conversion parameter after adjustment by the parameter adjustment unit 112 is also more appropriate. As a result, the in-vehicle device 300 can generate a more accurate plan view.

なお、常時、計測された物体の３次元構造データを用いて平面変換パラメータを設定し直すのではなく、次のような場合にのみ再設定するようにしても良い。すなわち、平面変換により生成される平面の法線とカメラの光軸との成す角が大きくなる場合に平面変換に伴う画像変形の影響がより大きくなるので、そのような場合にのみ再設定するようにしても良い。   Note that the plane conversion parameter may not be reset using the measured three-dimensional structure data of the object at all times, but may be reset only in the following cases. In other words, when the angle between the normal of the plane generated by the plane conversion and the optical axis of the camera increases, the influence of image deformation accompanying the plane conversion becomes larger. Therefore, reset only in such a case. Anyway.

また、センサ部３０１の代わりに、自車周囲の障害物を検知するためのシステムで使用されるセンサが用いられても良いし、センサ部４０１の代わりに、交差点内の障害物を検知するためのシステムで使用されるセンサが用いられても良いし、また、併用されても良い。   Further, instead of the sensor unit 301, a sensor used in a system for detecting obstacles around the host vehicle may be used, or in order to detect an obstacle in an intersection instead of the sensor unit 401. The sensor used in this system may be used, or may be used in combination.

［実施の形態３］
図１９は、本発明の実施の形態３に係る平面図生成システム３０の構成を示すブロック図である。図１９において、平面図生成システム３０は、複数の車載装置５００と、路側装置６００とを有する。 [Embodiment 3]
FIG. 19 is a block diagram showing a configuration of a plan view generation system 30 according to Embodiment 3 of the present invention. In FIG. 19, the plan view generation system 30 includes a plurality of in-vehicle devices 500 and a roadside device 600.

車載装置５００は、通信部５０１を有する。   The in-vehicle device 500 includes a communication unit 501.

通信部５０１は、画像分離部１０２で得られた背景領域の画像及び道路領域の画像、並びに垂直平面画像生成部１０３で得られた垂直平面画像を路側装置６００へ送信する。   The communication unit 501 transmits the background region image and the road region image obtained by the image separation unit 102 and the vertical plane image obtained by the vertical plane image generation unit 103 to the roadside device 600.

路側装置６００は、通信部６０１と、平面図生成部６０２と、情報出力部６０３とを有する。   The roadside device 600 includes a communication unit 601, a plan view generation unit 602, and an information output unit 603.

通信部６０１は、路側装置６００の周辺に位置する複数の車載装置５００のそれぞれから、背景領域の画像及び道路領域の画像、並びに垂直平面画像を受信する。   The communication unit 601 receives a background region image, a road region image, and a vertical plane image from each of the plurality of in-vehicle devices 500 positioned around the roadside device 600.

平面図生成部６０２は、複数の車載装置５００から送信された画像の内で有効な車載カメラ画像を選択する。平面図生成部６０２は、図２０に示すように、選択部６１１を有し、この選択部６１１によって、有効な車載カメラ画像が選択される。すなわち、選択部６１１は、複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択する。有効な画像を選別するための具体的な方法としては、各画像のフォーカス又はコントラストが適切であるかどうかを画像処理で確認するようにすれば良い。または、カメラの目の前を物体が塞ぐようないわゆるオクルージョンが発生していないかを画像処理で判別するようにすれば良い。   The plan view generation unit 602 selects an effective in-vehicle camera image among images transmitted from the plurality of in-vehicle devices 500. As shown in FIG. 20, the plan view generation unit 602 includes a selection unit 611, and the selection unit 611 selects an effective in-vehicle camera image. That is, the selection unit 611 selects an image having a quality of a predetermined level or higher from among a plurality of in-vehicle camera images. As a specific method for selecting an effective image, whether or not the focus or contrast of each image is appropriate may be confirmed by image processing. Alternatively, it may be determined by image processing whether so-called occlusion that obstructs the front of the camera has occurred.

そして、平面図生成部６０２は、選択した車載カメラ画像による垂直平面画像、及び路側カメラ画像による垂直平面画像に基づいて、平面変換パラメータを調整し、調整後の平面変換パラメータを用いて車載カメラ画像の道路画像を平面変換することにより、車載カメラによる水平平面画像を生成する。そして、平面図生成部６０２は、車載カメラによる水平平面画像と、路側カメラによる水平平面画像とを合成することにより、合成平面図を生成する。   Then, the plan view generation unit 602 adjusts the plane conversion parameter based on the vertical plane image based on the selected in-vehicle camera image and the vertical plane image based on the roadside camera image, and uses the adjusted plane conversion parameter to check the in-vehicle camera image. A horizontal plane image by the in-vehicle camera is generated by plane-transforming the road image. And the top view production | generation part 602 produces | generates a composite top view by synthesize | combining the horizontal plane image by a vehicle-mounted camera, and the horizontal plane image by a roadside camera.

情報出力部６０３は、平面図生成部６０２で生成された合成平面図を表示手段に表示させる。情報出力部６０３は、システム利用者が交通管制等の目的において目視確認し易い状態で、合成平面図を表示させる。情報出力部６０３が、平面図を任意に拡大・縮小・平行移動・回転できるようにしても良い。   The information output unit 603 displays the combined plan generated by the plan view generation unit 602 on the display unit. The information output unit 603 displays the combined plan view in a state in which the system user can easily confirm visually for the purpose of traffic control or the like. The information output unit 603 may arbitrarily enlarge, reduce, translate and rotate the plan view.

以上のように本実施の形態によれば、選択部６１１が、複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択し、平面図生成部６０２が、選択された車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて、平面変換パラメータを調整する。   As described above, according to the present embodiment, the selection unit 611 selects an image having a quality of a predetermined level or more from a plurality of in-vehicle camera images, and the plan view generation unit 602 uses the selected in-vehicle camera image. The plane conversion parameters are adjusted based on the vertical plane image and the vertical plane image based on the roadside camera image.

こうすることで、或る車載装置５００の車載カメラ画像の品質が悪くても、他の車載装置５００の車載カメラ画像を用いて平面変換パラメータを調整することができるので、結果として、精度の良い平面図を生成することができる。   By doing so, even if the quality of the in-vehicle camera image of a certain in-vehicle device 500 is poor, the plane conversion parameter can be adjusted using the in-vehicle camera image of another in-vehicle device 500, and as a result, the accuracy is high. A plan view can be generated.

なお、システム利用者がどのような状態で平面図を参照しているかを示す参照情報を情報出力部６０３から選択部６１１に通知し、選択部６１１がその参照情報をもとに画像選択処理を行うようにして良い。例えば、選択部６１１が、システム利用者が平面図を拡大・平行移動させて見ている位置の近傍に存在する車両のカメラ画像を優先的に選択するようにしても良い。   The information output unit 603 notifies the selection unit 611 of reference information indicating in what state the system user is referring to the plan view, and the selection unit 611 performs image selection processing based on the reference information. You can do it. For example, the selection unit 611 may preferentially select a camera image of a vehicle existing in the vicinity of the position viewed by the system user by enlarging and translating the plan view.

また、平面図生成部６０２によって生成された平面図を、通信部６０１を介して各車載装置５００へ送信しても良い。これにより、車載装置５００の具備する情報出力部（図示せず）がその平面図を表示することより、より精度の高い平面図を表示することができる。   In addition, the plan view generated by the plan view generation unit 602 may be transmitted to each in-vehicle device 500 via the communication unit 601. Thereby, the information output part (not shown) which the vehicle-mounted apparatus 500 comprises can display the more highly accurate plan view by displaying the plan view.

［他の実施の形態］
（１）実施の形態１及び２では、平面図生成部１０５が車載装置１００（３００）に設けられているが、本発明はこれに限定されるものではない。例えば、平面図生成部１０５は、路側装置２００（４００）に設けられていても良い。この場合には、路側装置２００（４００）で生成された平面図は、車載装置１００（３００）へ送信され、情報出力部１０６によって表示される。又は、平面図生成部１０５は、車載装置及び路側装置とは別体の平面図生成装置に設けられても良い。この場合には、平面図生成装置は、備えている通信部を介して必要な情報を車載装置及び路側装置から受信し、生成した平面図を車載装置１００（３００）へ送信する。 [Other embodiments]
(1) In Embodiments 1 and 2, the plan view generation unit 105 is provided in the in-vehicle device 100 (300), but the present invention is not limited to this. For example, the plan view generation unit 105 may be provided in the roadside device 200 (400). In this case, the plan view generated by the roadside device 200 (400) is transmitted to the in-vehicle device 100 (300) and displayed by the information output unit 106. Alternatively, the plan view generation unit 105 may be provided in a plan view generation device that is separate from the in-vehicle device and the roadside device. In this case, the plan view generation device receives necessary information from the in-vehicle device and the roadside device via the communication unit provided, and transmits the generated plan view to the in-vehicle device 100 (300).

また、実施の形態３では、平面図生成部６０２が路側装置６００に設けられているが、本発明はこれに限定されるものではない。平面図生成部６０２は、車載装置及び路側装置とは別体の平面図生成装置に設けられても良い。この場合には、平面図生成装置に設けられる通信部を介して必要な情報を車載装置及び路側装置から受信する。   In the third embodiment, the plan view generation unit 602 is provided in the roadside device 600, but the present invention is not limited to this. The plan view generation unit 602 may be provided in a plan view generation device that is separate from the in-vehicle device and the roadside device. In this case, necessary information is received from the in-vehicle device and the roadside device via the communication unit provided in the plan view generation device.

（２）上記各実施の形態において生成された平面図を利用することにより、次のようなメリットがある。   (2) By using the plan view generated in each of the above embodiments, there are the following merits.

すなわち、平面図の利用者が交差点における自分の位置をより容易に把握できる。また、例えば、車両の運転者にとって気付きづらく距離感も掴み難いような、車両の側後方から接近する移動体についても、リアルタイムに生成される平面図を用いて確認することができる。この結果、車両の右左折時又は車線変更時における移動体確認をより確実に行うことができる。   That is, the user of the plan view can more easily grasp his / her position at the intersection. In addition, for example, a moving body approaching from the rear side of the vehicle that is difficult to notice for the driver of the vehicle and difficult to grasp the distance can be confirmed using a plan view generated in real time. As a result, the moving body can be confirmed more reliably when the vehicle turns right or left or when the lane is changed.

また、交通管制の分野において管制者が交差点の状況をより確実に把握できる。   In the field of traffic control, the controller can grasp the situation of the intersection more reliably.

（３）上記各実施の形態において求めたロール変動量又はピッチ変動量などのパラメータは、自車の走行状態を推定して車両制御にフィードバックするような用途にも応用することができる。   (3) The parameters such as the roll fluctuation amount or the pitch fluctuation amount obtained in each of the above embodiments can be applied to uses such as estimating the traveling state of the host vehicle and feeding back to the vehicle control.

（４）上記各実施の形態における路側カメラの設置場所は、屋外の交差点だけでなく、例えば、屋内駐車場のような屋内であっても良い。こうすることで、生成される平面図を、移動体の位置を把握するためだけでなく、駐車をより簡単に行うための支援にも利用することができる。また、車載カメラの設置場所は、車両のみならず、移動ロボット等であっても良い。   (4) The installation location of the roadside camera in each of the above embodiments may be indoors such as an indoor parking lot as well as an outdoor intersection. By doing so, the generated plan view can be used not only for grasping the position of the moving body but also for assisting parking more easily. The installation location of the in-vehicle camera may be not only the vehicle but also a mobile robot or the like.

（５）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。   (5) Although cases have been described with the above embodiment as examples where the present invention is configured by hardware, the present invention can also be realized by software.

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。   Each functional block used in the description of each of the above embodiments is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。   Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。   Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.

本発明の平面図生成装置及び平面図生成方法は、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて車両の姿勢を推定し、推定した車両の姿勢に基づいて調整した平面変換パラメータに基づいて車載カメラ画像内の道路画像を平面変換して得られる水平平面画像を用いて平面図を作成することにより、高精度の平面図を生成することができるものとして有用である。   The plan view generation apparatus and plan view generation method of the present invention generates a plan view based on an in-vehicle camera image and a roadside camera image, and based on the vertical plane image by the in-vehicle camera image and the vertical plane image by the roadside camera image. By estimating the attitude of the vehicle and creating a plan view using a horizontal plane image obtained by plane-transforming the road image in the in-vehicle camera image based on the plane conversion parameter adjusted based on the estimated attitude of the vehicle It is useful as a device capable of generating a highly accurate plan view.

１０，２０，３０ 平面図生成システム
１００，３００，５００ 車載装置
１０１，２０１ 画像取得部
１０２，２０２ 画像分離部
１０３ 垂直平面画像生成部
１０４，２０４，５０１，６０１ 通信部
１０５，６０２ 平面図生成部
１０６，６０３ 情報出力部
１１１ 位置／向き推定部
１１２ パラメータ調整部
１１３ 水平平面画像生成部
１１４ 合成部
２００，４００，６００ 路側装置
２０３ 画像変換部
３０１，４０１ センサ部
６１１ 選択部
10, 20, 30 Plane view generation system 100, 300, 500 In-vehicle device 101, 201 Image acquisition unit 102, 202 Image separation unit 103 Vertical plane image generation unit 104, 204, 501, 601 Communication unit 105, 602 Plane view generation unit 106,603 Information output unit 111 Position / orientation estimation unit 112 Parameter adjustment unit 113 Horizontal plane image generation unit 114 Composition unit 200,400,600 Roadside device 203 Image conversion unit 301,401 Sensor unit 611 Selection unit

Claims (3)

車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成装置であって、
前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定する推定手段と、
前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整する調整手段と、
前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する生成手段と、
を具備する平面図生成装置。 A first horizontal plane image generated by performing a plane transformation, which is a projective transformation using homogeneous coordinates, on a road region image in an in-vehicle camera image captured by the in-vehicle camera, and an image captured by the roadside camera A plan view generation device for generating a plan view imitating a parallel projection image from above by combining the second horizontal plane image generated by performing the plane conversion on the road area image in the roadside camera image Because
The first vertical plane image generated by performing the plane conversion on the background area image excluding the road area image in the in-vehicle camera image, and the background area image excluding the road area image in the roadside camera image Estimating means for estimating the position and orientation of the vehicle on which the in-vehicle camera is mounted based on the second vertical plane image generated by plane conversion;
Adjusting means for adjusting parameters used in the plane transformation based on the estimated position and orientation;
Generating means for generating the first horizontal plane image by converting the road area image of the in-vehicle camera image into the plane using the adjusted parameter;
A plan view generating apparatus. 複数の前記車両から送信された複数の車載カメラ画像を受信する受信手段と、
前記複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択する選択手段と、
をさらに具備し、
前記第１の垂直平面画像は、前記選択された画像から生成された垂直平面画像である、
請求項１に記載の平面図生成装置。 Receiving means for receiving a plurality of in-vehicle camera images transmitted from a plurality of the vehicles;
Selecting means for selecting an image having a quality of a predetermined level or higher from the plurality of in-vehicle camera images;
Further comprising
The first vertical plane image is a vertical plane image generated from the selected image.
The top view production | generation apparatus of Claim 1. 車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成方法であって、
前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定し、
前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整し、
前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する、
平面図生成方法。 A first horizontal plane image generated by performing a plane transformation, which is a projective transformation using homogeneous coordinates, on a road region image in an in-vehicle camera image captured by the in-vehicle camera, and an image captured by the roadside camera A plan view generation method for generating a plan view imitating a parallel projection image from the sky by combining a second horizontal plane image generated by performing the plane conversion on a road area image in a roadside camera image Because
The first vertical plane image generated by performing the plane conversion on the background area image excluding the road area image in the in-vehicle camera image, and the background area image excluding the road area image in the roadside camera image Based on the second vertical plane image generated by the plane conversion and estimating the position and orientation of the vehicle on which the in-vehicle camera is mounted,
Adjusting the parameters used in the plane transformation based on the estimated position and orientation;
The first horizontal plane image is generated by performing the plane conversion on the road region image in the in-vehicle camera image using the adjusted parameter.
Plan view generation method.
JP2010124547A 2010-05-31 2010-05-31 Plane view generating device and plane view generating method Pending JP2011254128A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010124547A JP2011254128A (en) 2010-05-31 2010-05-31 Plane view generating device and plane view generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010124547A JP2011254128A (en) 2010-05-31 2010-05-31 Plane view generating device and plane view generating method

Publications (1)

Publication Number Publication Date
JP2011254128A true JP2011254128A (en) 2011-12-15

Family

ID=45417760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010124547A Pending JP2011254128A (en) 2010-05-31 2010-05-31 Plane view generating device and plane view generating method

Country Status (1)

Country Link
JP (1) JP2011254128A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013132970A1 (en) * 2012-03-06 2013-09-12 日産自動車株式会社 Three-dimensional object detection device and three-dimensional object detection method
JP2013203335A (en) * 2012-03-29 2013-10-07 Denso It Laboratory Inc Object recognition apparatus
JP2015067220A (en) * 2013-09-30 2015-04-13 日産自動車株式会社 Vehicular acceleration suppression device and vehicular acceleration suppression method
WO2018047687A1 (en) * 2016-09-12 2018-03-15 パナソニックＩｐマネジメント株式会社 Three-dimensional model generating device and three-dimensional model generating method
JP2018198030A (en) * 2017-05-25 2018-12-13 Kddi株式会社 Information processor and program
KR102003387B1 (en) * 2018-10-11 2019-07-24 한국과학기술원 Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program
WO2022250300A1 (en) * 2021-05-25 2022-12-01 Samsung Electronics Co., Ltd. A method and an electronic apparatus for acquiring a floor map of a room layout

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013132970A1 (en) * 2012-03-06 2013-09-12 日産自動車株式会社 Three-dimensional object detection device and three-dimensional object detection method
JPWO2013132970A1 (en) * 2012-03-06 2015-07-30 日産自動車株式会社 Three-dimensional object detection apparatus and three-dimensional object detection method
JP2013203335A (en) * 2012-03-29 2013-10-07 Denso It Laboratory Inc Object recognition apparatus
JP2015067220A (en) * 2013-09-30 2015-04-13 日産自動車株式会社 Vehicular acceleration suppression device and vehicular acceleration suppression method
CN109690620A (en) * 2016-09-12 2019-04-26 松下知识产权经营株式会社 Threedimensional model generating means and threedimensional model generation method
WO2018047687A1 (en) * 2016-09-12 2018-03-15 パナソニックＩｐマネジメント株式会社 Three-dimensional model generating device and three-dimensional model generating method
JPWO2018047687A1 (en) * 2016-09-12 2019-06-24 パナソニックＩｐマネジメント株式会社 Three-dimensional model generation device and three-dimensional model generation method
US10893251B2 (en) 2016-09-12 2021-01-12 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional model generating device and three-dimensional model generating method
JP7002056B2 (en) 2016-09-12 2022-02-10 パナソニックＩｐマネジメント株式会社 3D model generator and 3D model generation method
CN109690620B (en) * 2016-09-12 2023-05-30 松下知识产权经营株式会社 Three-dimensional model generation device and three-dimensional model generation method
JP2018198030A (en) * 2017-05-25 2018-12-13 Kddi株式会社 Information processor and program
KR102003387B1 (en) * 2018-10-11 2019-07-24 한국과학기술원 Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program
WO2022250300A1 (en) * 2021-05-25 2022-12-01 Samsung Electronics Co., Ltd. A method and an electronic apparatus for acquiring a floor map of a room layout

Similar Documents

Publication Publication Date Title
JP5632762B2 (en) POSITIONING INFORMATION FORMING DEVICE, DETECTING DEVICE, AND POSITIONING INFORMATION FORMING METHOD
US9451236B2 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
WO2021004312A1 (en) Intelligent vehicle trajectory measurement method based on binocular stereo vision system
CN107738612B (en) Automatic parking space detection and identification system based on panoramic vision auxiliary system
JP5455124B2 (en) Camera posture parameter estimation device
CN112419385B (en) 3D depth information estimation method and device and computer equipment
US10602059B2 (en) Method for generating a panoramic image
JP5503578B2 (en) Object detection apparatus and object detection method
US9508189B2 (en) Method and apparatus for creating 3D image of vehicle surroundings
KR101911610B1 (en) Method and device for the distortion-free display of an area surrounding a vehicle
JP2011254128A (en) Plane view generating device and plane view generating method
WO2021140886A1 (en) Three-dimensional model generation method, information processing device, and program
JP5872818B2 (en) Positioning processing device, positioning processing method, and image processing device
EP2939211B1 (en) Method and system for generating a surround view
KR101705558B1 (en) Top view creating method for camera installed on vehicle and AVM system
CN114283391A (en) Automatic parking sensing method fusing panoramic image and laser radar
CN111768332A (en) Splicing method of vehicle-mounted all-around real-time 3D panoramic image and image acquisition device
JP2016218694A (en) Three-dimensional model generation device, three-dimensional model generation method, and program
JP2011170568A (en) Device and method for detecting obstacle
KR101265710B1 (en) Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus
KR101398068B1 (en) Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus
KR102079332B1 (en) 3D Vehicle Around View Generating Method and System
KR101331893B1 (en) Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus
JP6734136B2 (en) Image processing device
US20240137477A1 (en) Method and apparatus for generating 3d image by recording digital content