JP2010109452A - Vehicle surrounding monitoring device and vehicle surrounding monitoring method - Google Patents

Vehicle surrounding monitoring device and vehicle surrounding monitoring method Download PDF

Info

Publication number
JP2010109452A
JP2010109452A JP2008276894A JP2008276894A JP2010109452A JP 2010109452 A JP2010109452 A JP 2010109452A JP 2008276894 A JP2008276894 A JP 2008276894A JP 2008276894 A JP2008276894 A JP 2008276894A JP 2010109452 A JP2010109452 A JP 2010109452A
Authority
JP
Japan
Prior art keywords
dimensional object
image
camera
vehicle
overhead image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008276894A
Other languages
Japanese (ja)
Inventor
Hirotaka Kamiyama
博貴 神山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008276894A priority Critical patent/JP2010109452A/en
Publication of JP2010109452A publication Critical patent/JP2010109452A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle surrounding monitoring device and a vehicle surrounding monitoring method for allowing a driver to accurately recognize arrangement relationship among solid objects at the surrounding of a vehicle. <P>SOLUTION: The vehicle surrounding monitoring device 100 includes a solid object detector 430 and a synthetic bird's-eye view image generator 440. The solid object detector 430 detects solid objects existing at the surrounding of the vehicle. The synthetic bird's-eye view image generator 440 compounds photographed images by a plurality of cameras 200 to generate a synthetic bird's-eye view image indicative of a bird's-eye view image on the surrounding of the vehicle. Then, the generator 440 changes the direction of solid objects photographed at the generated synthetic bird's-eye view image into the boundary direction side of the synthetic processing, based on the detected result by the solid object detector 430. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車両周囲を撮影する複数のカメラの撮影画像から車両周囲を俯瞰可能な俯瞰画像を合成する車両周囲監視装置及び車両周囲監視方法に関する。   The present invention relates to a vehicle periphery monitoring device and a vehicle periphery monitoring method for synthesizing a bird's-eye view image that enables a bird's-eye view of a vehicle periphery from captured images of a plurality of cameras that capture the vehicle periphery.

近年、車両の上方の仮想視点から車両の周囲を見下ろした俯瞰画像をモニタに表示する車両周囲監視装置の普及が進んでいる。多くの車両周囲監視装置は、車両周囲を広範囲に映し出せるように、複数のカメラを利用して俯瞰画像を生成する（例えば特許文献１，２参照）。   2. Description of the Related Art In recent years, vehicle surroundings monitoring devices that display a bird's-eye view image looking down around a vehicle from a virtual viewpoint above the vehicle have been spreading. Many vehicle surrounding monitoring devices generate a bird's-eye view image using a plurality of cameras so that the vehicle surroundings can be displayed in a wide range (see, for example, Patent Documents 1 and 2).

図１８は、特許文献１，２に記載の車両周囲監視装置（以下「従来装置」という）におけるカメラ配置及び各カメラの撮影画像から得られる俯瞰画像の一例を示す図である。   FIG. 18 is a diagram illustrating an example of a bird's-eye view image obtained from a camera arrangement and a captured image of each camera in the vehicle surrounding monitoring apparatus (hereinafter referred to as “conventional apparatus”) described in Patent Documents 1 and 2.

図１８に示すように、車両１０には、第１〜第４のカメラ２０−１〜２０−４が取り付けられる。第１〜第４のカメラ２０−１〜２０−４は、車両１０の前方、後方、左側方、及び右側方の路面を、斜めに見下ろす向きでそれぞれ撮影する。第１〜第４のカメラ２０−１〜２０−４の撮影画像からは、車両の上方の仮想視点から見下ろしたときの画像に近似した第１〜第４のカメラ俯瞰画像３０−１〜３０−４を得ることができる。   As shown in FIG. 18, first to fourth cameras 20-1 to 20-4 are attached to the vehicle 10. The first to fourth cameras 20-1 to 20-4 respectively photograph the road surface of the vehicle 10 on the front side, the rear side, the left side, and the right side in an obliquely looking down direction. From the captured images of the first to fourth cameras 20-1 to 20-4, first to fourth camera overhead images 30-1 to 30-approximated to images when looking down from a virtual viewpoint above the vehicle. 4 can be obtained.

表示される俯瞰画像は、できるだけ広い範囲で連続した画像であることが望ましい。そこで、従来装置は、複数のカメラの撮影画像から１つの俯瞰画像を合成するようにしている。以下、複数のカメラの撮影画像から合成された俯瞰画像を、「合成俯瞰画像」という。   It is desirable that the overhead image to be displayed is an image that is continuous over as wide a range as possible. Therefore, the conventional apparatus synthesizes a single bird's-eye view image from images captured by a plurality of cameras. Hereinafter, a bird's-eye view image synthesized from images captured by a plurality of cameras is referred to as a “synthesized bird's-eye view image”.

従来装置は、第１〜第４のカメラ２０−１〜２０−４の撮影画像を、路面を基準として合成し、車両１０の全周で連続した合成俯瞰画像を生成する。また、従来装置では、合成俯瞰画像に抜けを生じさせないために、隣り合うカメラ２０の撮影範囲が重複している。以下、撮影範囲が重複する領域を、「重複エリア」という。   The conventional apparatus combines the captured images of the first to fourth cameras 20-1 to 20-4 with the road surface as a reference, and generates a combined overhead image that is continuous over the entire circumference of the vehicle 10. Further, in the conventional apparatus, the shooting ranges of the adjacent cameras 20 are overlapped so as not to cause omission in the synthesized overhead view image. Hereinafter, an area where the imaging ranges overlap is referred to as an “overlap area”.

重複エリアの路面標示や木陰など、実質的に高さが無い物体（非立体物）の位置は、両方のカメラ２０のカメラ俯瞰画像３０において一致する。ところが、重複エリアに位置し高さがある立体物の位置は、カメラ俯瞰画像ごとに異なる。これは、カメラ２０から見たときの立体物の射影方向が、カメラ２０ごとに異なるためである。   The positions of objects (non-three-dimensional objects) having substantially no height, such as road markings and shades of overlapping areas, coincide in the camera overhead image 30 of both cameras 20. However, the position of the three-dimensional object located in the overlapping area and having a height is different for each camera overhead image. This is because the projection direction of the three-dimensional object when viewed from the camera 20 is different for each camera 20.

図１９は、第２のカメラ２０−２及び第３のカメラ２０−３の重複エリアに、第１及び第２の立体物４０−１及び４０−２が位置するような状況における、第３のカメラ俯瞰画像３０−３を例示する図である。また、図２０は、上記と同じ状況における第２のカメラ俯瞰画像３０−２の一例を示す図である。   FIG. 19 shows the third state in the situation where the first and second three-dimensional objects 40-1 and 40-2 are located in the overlapping area of the second camera 20-2 and the third camera 20-3. It is a figure which illustrates camera overhead view image 30-3. FIG. 20 is a diagram illustrating an example of the second camera overhead image 30-2 in the same situation as described above.

図１９において、第１及び第２の立体物４０−１、４０−２は、基部４１−１、４１−２と、立体部分４２−１、４２−２とに分けられる。基部は、各立体物において、路面を基準とする高さが実質的に無い部分であり、立体部分は、各立体物において、路面を基準として高さ成分を有する部分である。第３のカメラ俯瞰画像３０−３において、立体部分４２−１、４２−２が、基部４１−１、４１−２から、車両１０に対し後方向に伸びた状態で運転者により視認される。すなわち、第３のカメラ俯瞰画像３０−３では、第１及び第２の立体物４０−１、４０−２は、車両１０の後方向に向けて倒れ込んだ状態となっている。一方、図２０に示すように、第２のカメラ俯瞰画像３０−２では、第１及び第２の立体物４０−１、４０−２は、車両１０の左方向に向けて倒れ込んだ状態となっている。   In FIG. 19, the first and second three-dimensional objects 40-1 and 40-2 are divided into base parts 41-1 and 41-2 and solid parts 42-1 and 42-2. The base portion is a portion having substantially no height with respect to the road surface in each three-dimensional object, and the three-dimensional portion is a portion having a height component with respect to the road surface in each three-dimensional object. In the third camera bird's-eye view image 30-3, the three-dimensional parts 42-1 and 42-2 are visually recognized by the driver in a state of extending backward from the bases 41-1 and 41-2 with respect to the vehicle 10. That is, in the third camera bird's-eye view image 30-3, the first and second three-dimensional objects 40-1 and 40-2 are in a state of falling toward the rear direction of the vehicle 10. On the other hand, as shown in FIG. 20, in the second camera bird's-eye view image 30-2, the first and second three-dimensional objects 40-1 and 40-2 are in a state of falling toward the left direction of the vehicle 10. ing.

このように、重複エリアの立体物の倒れ込みの方向（射影方向）は、カメラ俯瞰画像ごとに異なる。重複エリアにおいて２つのカメラ俯瞰画像を単純に重ね合わせて合成俯瞰画像を作成すると、１つの立体物に対して２つの立体物が現れ、二重像となってしまう。したがって、重複エリアの立体物をどのように処理するかが問題となる。   As described above, the direction in which the three-dimensional object in the overlapping area falls (projection direction) is different for each camera overhead image. When a composite overhead image is created by simply superimposing two camera overhead images in the overlapping area, two stereoscopic objects appear for one stereoscopic object, resulting in a double image. Therefore, how to process the three-dimensional object in the overlapping area becomes a problem.

そこで、従来装置は、図２１及び図２２に示すように、境界６０を境として一方のカメラ俯瞰画像の立体物４０のみを採用して、合成俯瞰画像５０を生成するようにしている。また、より具体的には、従来装置は、図２３及び図２４に示すように、重複エリアの内部に境界６０を設定している。これにより、立体物が重複して表示されるのを防ぐことができる。
特開２００８−４８３１７号公報 特開２００７−１８０７２０号公報 Therefore, as shown in FIGS. 21 and 22, the conventional apparatus adopts only the three-dimensional object 40 of one camera overhead image with the boundary 60 as a boundary, and generates the synthesized overhead image 50. More specifically, the conventional apparatus sets a boundary 60 inside the overlapping area as shown in FIGS. Thereby, it can prevent that a solid thing is displayed repeatedly.
JP 2008-48317 A JP 2007-180720 A

しかしながら、従来装置では、例えば、図２３及び図２４に示すように、実際には平行な２つの立体物が、境界６０の両側で大きく異なる向きで画像表示されることがある。また、図２４に示すように、実際には重なっていない２つの立体物が、境界６０において重なった状態で画像表示されることがある。すなわち、実際の複数の立体物の間の配置関係（以下単に「立体物の配置関係」という）とは大きく異なる配置関係で、立体物が表示される場合がある。したがって、従来装置には、運転者に対して、車両周囲の立体物の配置関係を誤って認識させてしまうという課題がある。   However, in the conventional device, for example, as shown in FIGS. 23 and 24, two parallel objects that are actually parallel may be displayed in different directions on both sides of the boundary 60. In addition, as shown in FIG. 24, two solid objects that do not actually overlap may be displayed in an image with the boundary 60 overlapping. That is, there are cases in which a three-dimensional object is displayed with an arrangement relationship that is significantly different from the actual arrangement relationship between a plurality of three-dimensional objects (hereinafter simply referred to as “three-dimensional object arrangement relationship”). Therefore, the conventional device has a problem of causing the driver to erroneously recognize the arrangement relationship of the three-dimensional object around the vehicle.

なお、上記説明では課題を分かりやすくするために、２つの立体物の例を挙げて説明したが、これに限らず、１つの立体物の場合でも、同様の課題は起こる。   In the above description, the example of two solid objects has been described for easy understanding of the problem. However, the present invention is not limited to this, and the same problem occurs even in the case of one solid object.

本発明は、かかる点に鑑みてなされたものであり、運転者が車両周囲の立体物の配置関係を認識させ易くすることができる車両周囲監視装置及び車両周囲監視方法を提供することを目的とする。   The present invention has been made in view of such a point, and an object of the present invention is to provide a vehicle periphery monitoring device and a vehicle periphery monitoring method that allow a driver to easily recognize the arrangement relationship of three-dimensional objects around the vehicle. To do.

本発明の車両周囲監視装置は、車両周囲に存在する立体物を検出する立体物検出部と、複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、合成処理の境界方向側に変更する第１の画像生成部とを備える。   The vehicle surrounding monitoring apparatus according to the present invention generates a composite overhead image representing a bird's-eye view image of a vehicle by combining the three-dimensional object detection unit that detects a three-dimensional object existing around the vehicle and the captured images of a plurality of cameras. And a first image generation unit that changes the direction of the three-dimensional object shown in the generated synthesized overhead image to the boundary direction side of the synthesis process based on the detection result by the three-dimensional object detection unit.

本発明の車両周囲監視方法は、車両周囲に存在する立体物を検出する第１のステップと、複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、第１のステップにおける検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、合成処理の境界方向側に変更する第２のステップとを備える。   In the vehicle surrounding monitoring method of the present invention, a first step of detecting a three-dimensional object existing around the vehicle and a composite processing of the captured images of a plurality of cameras to generate a combined overhead image representing the overhead image around the vehicle. And a second step of changing the direction of the three-dimensional object shown in the generated synthesized overhead image to the boundary direction side of the synthesis process based on the detection result in the first step.

本発明によれば、合成俯瞰画像における立体物の方向が合成境界側に変更されるので、運転者は車両周囲の立体物の配置関係をより正確に認識することができる。   According to the present invention, since the direction of the three-dimensional object in the composite bird's-eye view image is changed to the composite boundary side, the driver can more accurately recognize the arrangement relationship of the three-dimensional object around the vehicle.

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

図１は、本発明の一実施の形態に係る車両周囲監視装置のブロック図である。   FIG. 1 is a block diagram of a vehicle surroundings monitoring apparatus according to an embodiment of the present invention.

図１において、車両周囲監視装置１００は、大別して、第１〜第４のカメラ２００−１〜２００−４、画像処理部４００、及びモニタ５００を備えている。第１〜第４のカメラ２００−１〜２００−４は、同一の構成を有しているため、適宜、カメラ２００としてまとめて説明を行う。   In FIG. 1, the vehicle surrounding monitoring apparatus 100 is roughly provided with first to fourth cameras 200-1 to 200-4, an image processing unit 400, and a monitor 500. Since the first to fourth cameras 200-1 to 200-4 have the same configuration, they are collectively described as the camera 200 as appropriate.

各カメラ２００は、車両の周囲を撮影する。各カメラ２００は、撮像部２１０と、一対のフレームメモリ２２０を有するフレーム切替部２３０とを含んでいる。   Each camera 200 captures the surroundings of the vehicle. Each camera 200 includes an imaging unit 210 and a frame switching unit 230 having a pair of frame memories 220.

撮像部２１０は、固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）と、ＣＣＤの撮像面に光学像を結像させる光学系とを有し（いずれも図示せず）、ＣＣＤで撮像した画像をフレームメモリ２２０に出力する。フレームメモリ２２０は、撮像部２１０で撮像された画像を一時的に格納する。フレーム切替部２３０は、撮像部２１０で撮像された画像の入力先と、画像処理部４００による参照先とを、２つのフレームメモリ２２０の間で交互に切り替える。   The imaging unit 210 includes a CCD (Charge Coupled Device) that is a solid-state imaging device, and an optical system that forms an optical image on the imaging surface of the CCD (none of which is shown), and an image captured by the CCD is framed. Output to the memory 220. The frame memory 220 temporarily stores the image captured by the imaging unit 210. The frame switching unit 230 alternately switches between the input destination of the image captured by the imaging unit 210 and the reference destination by the image processing unit 400 between the two frame memories 220.

なお、カメラ２００は、撮像素子として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ）デバイスを採用してもよい。この場合には、ＣＭＯＳデバイスにフレームメモリの機能を持たせて、フレームメモリ２２０を省略することができる。   The camera 200 may employ a complementary metal oxide (CMOS) device as an image sensor. In this case, the frame memory 220 can be omitted by providing the CMOS device with a frame memory function.

図２は、図１の車両周囲監視装置の第１〜第４のカメラ２００−１〜２００−４の取り付け位置の一例を示す斜視図である。   FIG. 2 is a perspective view showing an example of attachment positions of the first to fourth cameras 200-1 to 200-4 of the vehicle surrounding monitoring apparatus of FIG.

図２に示すように、第１のカメラ２００−１は、車両６００の前方を撮影するために、車両６００の正面中央に取り付けられている。第２のカメラ２００−２は、車両６００の後方を撮影するために、車両６００の後部中央に取り付けられている。第３のカメラ２００−３は、車両６００の左側方を撮影するために、車両６００の左サイドミラーに取り付けられている。第４のカメラ２００−４は、車両６００の右側方を撮像するために、車両６００の右サイドミラーに取り付けられている。   As shown in FIG. 2, the first camera 200-1 is attached to the front center of the vehicle 600 in order to photograph the front of the vehicle 600. The second camera 200-2 is attached to the center of the rear part of the vehicle 600 in order to photograph the rear of the vehicle 600. The third camera 200-3 is attached to the left side mirror of the vehicle 600 in order to photograph the left side of the vehicle 600. The fourth camera 200-4 is attached to the right side mirror of the vehicle 600 in order to image the right side of the vehicle 600.

第１〜第４のカメラ２００−１〜２００−４の撮像範囲である第１〜第４のカメラ撮像範囲２００ａ−１〜２００ａ−４は、いずれも、車両６００の周囲の地面を含む。また、隣り合うカメラ撮像範囲２００ａ（例えば、第３のカメラ撮像範囲２００ａ−３と第２のカメラ撮像範囲２００ａ−２）は重なっている。すなわち、隣り合うカメラ撮像範囲２００ａには、重複エリアが存在する。これにより、第１〜第４のカメラ２００−１〜２００−４は、全体で、車両６００の周囲３６０度を撮像することができる。   The first to fourth camera imaging ranges 200 a-1 to 200 a-4 that are the imaging ranges of the first to fourth cameras 200-1 to 200-4 each include the ground around the vehicle 600. Further, adjacent camera imaging ranges 200a (for example, the third camera imaging range 200a-3 and the second camera imaging range 200a-2) overlap each other. That is, there is an overlapping area between adjacent camera imaging ranges 200a. Thereby, the 1st-4th cameras 200-1-200-4 can image 360 degrees around the vehicle 600 as a whole.

図３は、第１〜第４のカメラ２００−１〜２００−４の撮影画像の一例を示す図である。   FIG. 3 is a diagram illustrating an example of captured images of the first to fourth cameras 200-1 to 200-4.

図３に示すように、第１〜第４のカメラ２００−１〜２００−４により撮影される第１〜第４のカメラ撮影画像７１０−１〜７１０−４には、それぞれ、車両６００の前方、後方、左側方、右側方の状況が映っている。第１〜第４のカメラ撮影画像７１０−１〜７１０−４は、画像処理部４００から読み出し可能な状態で、第１〜第４のカメラ２００−１〜２００−４のフレームメモリに保持される。   As shown in FIG. 3, first to fourth camera captured images 710-1 to 710-4 captured by the first to fourth cameras 200-1 to 200-4 are respectively in front of the vehicle 600. The situation on the rear, left side, and right side is shown. The first to fourth camera captured images 710-1 to 710-4 are stored in the frame memories of the first to fourth cameras 200-1 to 200-4 in a state where they can be read from the image processing unit 400. .

再度図１を参照する。画像処理部４００は、マッピングテーブル参照部４１０、カメラ俯瞰画像生成部４２０、立体物検出部４３０、合成俯瞰画像生成部４４０、及びタイミング生成部４５０を含んでいる。   Refer to FIG. 1 again. The image processing unit 400 includes a mapping table reference unit 410, a camera overhead image generation unit 420, a three-dimensional object detection unit 430, a combined overhead image generation unit 440, and a timing generation unit 450.

マッピングテーブル参照部４１０は、２種類のマッピングテーブル（ＭＰＴ：Ｍａｐｐｉｎｇ Ｔａｂｌｅ）を格納し、これらマッピングテーブルを参照して、２種類のマッピングデータを生成する。一方のマッピングテーブルは、各カメラ２００のフレームメモリ２２０に格納された撮影画像の画素位置と、後で説明するカメラ俯瞰画像の画素とを対応付けたテーブルである。また、他方のマッピングテーブルは、各カメラ俯瞰画像の画素と、後で説明する合成俯瞰画像の画素とを対応付けたテーブルである。一方のマッピングデータは、各カメラ俯瞰画像の画素ごとに、どの撮影画像のどの画素の値を割り当てるかを指示するデータである。他方のマッピングデータは、合成俯瞰画像の画素ごとに、どのカメラ俯瞰画像におけるどの画素の値を割り当てるかを指示するデータである。マッピングテーブル参照部４１０は、一方のマッピングデータを、立体物検出部４３０及びカメラ俯瞰画像生成部４２０に出力し、また、他方のマッピングデータを、合成俯瞰画像生成部４４０に出力する。   The mapping table reference unit 410 stores two types of mapping tables (MPT: Mapping Table), and generates two types of mapping data by referring to these mapping tables. One mapping table is a table in which pixel positions of captured images stored in the frame memory 220 of each camera 200 are associated with pixels of a camera overhead image described later. The other mapping table is a table in which pixels of each camera overhead image are associated with pixels of a composite overhead image described later. One mapping data is data instructing which pixel value of which captured image is assigned for each pixel of each camera overhead image. The other mapping data is data instructing which pixel value in which camera overhead image is assigned to each pixel of the synthesized overhead image. The mapping table reference unit 410 outputs one mapping data to the three-dimensional object detection unit 430 and the camera overhead image generation unit 420, and outputs the other mapping data to the composite overhead image generation unit 440.

マッピングテーブル参照部４１０が格納するマッピングテーブルは、手作業で作成されてもよいし、車両周囲監視装置１００が幾何変換等の計算を実行することにより作成されてもよい。また、マッピングテーブルが、ファームウェアとして提供される場合には、マッピングテーブル参照部４１０は、通信回線やディスクドライブなどのデータ転送手段を用いて、外部からマッピングテーブルを取得してもよい。   The mapping table stored in the mapping table reference unit 410 may be created manually, or may be created by the vehicle surrounding monitoring apparatus 100 executing calculations such as geometric transformation. When the mapping table is provided as firmware, the mapping table reference unit 410 may acquire the mapping table from the outside using a data transfer unit such as a communication line or a disk drive.

カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から出力される一方のマッピングデータに従って、各カメラ２００のフレームメモリ２２０に格納された各撮影画像を読み出してマッピングを行うことにより、カメラ俯瞰画像を生成する。具体的には、カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から出力された一方のマッピングデータに基づき、指定された撮影画像の画素を、カメラ俯瞰画像の画素の値として割り当てて、カメラ撮影画像毎にカメラ俯瞰画像が生成される。   The camera overhead image generation unit 420 reads out each captured image stored in the frame memory 220 of each camera 200 according to one mapping data output from the mapping table reference unit 410, and performs mapping, thereby obtaining a camera overhead image. Generate. Specifically, the camera bird's-eye view image generation unit 420 assigns the designated captured image pixel as the pixel value of the camera bird's-eye view image based on the one mapping data output from the mapping table reference unit 410, and A camera overhead image is generated for each captured image.

ここで、カメラ撮影画像には、カメラ視点、つまり、カメラの設置位置から見たときのカメラ撮像範囲の状況が映っている。それとは異なり、カメラ俯瞰画像は、カメラ撮影画像の視点を変換したものであって、カメラ俯瞰画像には、車両上方に設置された仮想的なカメラの視点（仮想視点）から見た場合におけるカメラ撮像範囲の全体または一部の状況が映っている。   Here, the camera-captured image shows the camera viewpoint, that is, the situation of the camera imaging range when viewed from the camera installation position. On the other hand, the camera overhead view image is obtained by converting the viewpoint of the camera-captured image, and the camera overhead view image is a camera when viewed from the viewpoint of a virtual camera (virtual viewpoint) installed above the vehicle. The whole or part of the imaging range is shown.

ここで、図４は、図３に示す第１〜第４のカメラ撮影画像７１０−１〜７１０−４から生成される第１〜第４のカメラ俯瞰画像７２４−１〜７２４−４の一例を示す図である。第１〜第４のカメラ俯瞰画像７２４−１〜７２４−４はそれぞれ、隣のカメラ俯瞰画像７２４との間の重複エリアを含む。   Here, FIG. 4 is an example of the first to fourth camera overhead images 724-1 to 724-4 generated from the first to fourth camera captured images 710-1 to 710-4 shown in FIG. 3. FIG. The first to fourth camera overhead images 724-1 to 724-4 each include an overlapping area with the adjacent camera overhead image 724.

図１に示す立体物検出部４３０は、詳細については後述するが、各カメラ２００から得られたカメラ撮影画像に対し画像認識処理を行って、カメラ撮影画像から車両周囲に存在する立体物を検出する。また、立体物検出部４３０は、マッピングテーブル参照部４１０からの一方のマッピングデータを使うことで、各カメラ撮影画像のどの画素が、カメラ俯瞰画像におけるどの画素に対応するかが分かるので、このマッピングデータを用いて、検出した立体物が、カメラ俯瞰画像で映っているエリア（以下「立体物エリア」という）の座標値の集まりを特定する。立体物検出部４３０はさらに、検出した立体物エリアにおいて、車両に最も近い位置を、その立体物の基部位置として取得する。立体物エリアの座標値の集まりと、その立体物の基部位置とは、立体物位置情報として、合成俯瞰画像生成部４４０に送られる。   Although the details will be described later, the three-dimensional object detection unit 430 shown in FIG. 1 performs image recognition processing on the camera-captured images obtained from the respective cameras 200, and detects a three-dimensional object existing around the vehicle from the camera-captured images. To do. In addition, the three-dimensional object detection unit 430 uses one of the mapping data from the mapping table reference unit 410 to know which pixel in each camera captured image corresponds to which pixel in the camera overhead image. Using the data, a set of coordinate values of an area (hereinafter referred to as “three-dimensional object area”) in which the detected three-dimensional object is reflected in the camera overhead image is specified. The three-dimensional object detection unit 430 further acquires the position closest to the vehicle in the detected three-dimensional object area as the base position of the three-dimensional object. The collection of coordinate values of the three-dimensional object area and the base position of the three-dimensional object are sent to the synthesized overhead image generation unit 440 as three-dimensional object position information.

合成俯瞰画像生成部４４０は、カメラ俯瞰画像生成部４２０からの各カメラ俯瞰画像を受け取り、マッピングテーブル参照部４１０より他方のマッピングデータを受け取る。合成俯瞰画像生成部４４０は、受け取ったマッピングデータに従って、受け取った各カメラ俯瞰画像に対しマッピングを行って、合成俯瞰画像を合成する。具体的には、合成俯瞰画像生成部４４０は、このマッピングデータに基づき、指定されたカメラ俯瞰画像の画素を、合成俯瞰画像の画素の値として割り当てて、これによって、合成俯瞰画像が生成される。   The combined overhead image generation unit 440 receives each camera overhead image from the camera overhead image generation unit 420 and receives the other mapping data from the mapping table reference unit 410. The synthesized overhead image generation unit 440 performs mapping on each received camera overhead image according to the received mapping data, and synthesizes the synthesized overhead image. Specifically, the synthesized overhead image generation unit 440 allocates the designated camera overhead image pixel as the pixel value of the synthesized overhead image based on the mapping data, thereby generating the synthesized overhead image. .

ここで、合成俯瞰画像は、カメラ俯瞰画像と比較すると、仮想カメラ視点から見た場合における車両の全周囲を１フレームに収めている点で相違し、あたかも隣り合うカメラ２００のカメラ俯瞰画像７２４を、合成境界を境につなぎ合わせたような画像になる。   Here, compared with the camera overhead view image, the synthesized overhead view image is different in that the entire periphery of the vehicle when viewed from the virtual camera viewpoint is contained in one frame, as if the camera overhead image 724 of the adjacent camera 200 is displayed. , It becomes an image that the composite boundary is connected to the boundary.

図５は、合成俯瞰画像生成部４４０によって生成される合成俯瞰画像の一例を示す図である。図５の例では、仮想視点の位置は車両の真上に設定されており、合成俯瞰画像７２０の中央には車両を示すアイコン７２１が配置される。また、車両の周囲に立体物が存在する場合には、合成俯瞰画像７２０において対応する位置に立体物７２３が描かれる。   FIG. 5 is a diagram illustrating an example of a combined overhead image generated by the combined overhead image generation unit 440. In the example of FIG. 5, the position of the virtual viewpoint is set right above the vehicle, and an icon 721 indicating the vehicle is arranged at the center of the synthesized overhead image 720. When a three-dimensional object exists around the vehicle, the three-dimensional object 723 is drawn at a corresponding position in the composite overhead image 720.

ここで、各カメラ俯瞰画像は各カメラ２００の位置から撮影されているため、それぞれに映っている立体物の倒れこみの方向が異なる（図４参照）。したがって、このようなカメラ俯瞰画像を基礎として生成される合成俯瞰画像においても、立体物７２３は倒れこみの方向が相違する（図５参照）。もしこのような合成俯瞰画像がそのまま表示されると、この画像を見る運転者は違和を感じる。特に、重複エリアにおいては、「背景技術」の欄で説明したように、立体物の配置関係が運転者にとっては分かり難くなる。   Here, since each camera bird's-eye view image is taken from the position of each camera 200, the direction of collapse of the three-dimensional object shown in each camera is different (see FIG. 4). Therefore, also in the composite bird's-eye view image generated on the basis of such a camera bird's-eye view image, the three-dimensional object 723 has a different falling direction (see FIG. 5). If such a composite bird's-eye view image is displayed as it is, the driver who sees this image feels uncomfortable. In particular, in the overlapping area, as described in the “Background art” column, the arrangement relationship of the three-dimensional object is difficult for the driver to understand.

以上の観点から、合成俯瞰画像生成部４４０は、まず、立体物検出部４３０からの立体物位置情報に基づいて、この立体物位置情報に対応する立体物を、カメラ俯瞰画像生成部４２０から受け取ったカメラ俯瞰画像から切り出し、回転させる（画像回転処理）。その後、合成俯瞰画像生成部４４０は、自身が生成した合成俯瞰画像に、回転済みの立体物を合成する（立体物合成処理）。   From the above viewpoint, first, the synthesized overhead image generation unit 440 receives the three-dimensional object corresponding to the three-dimensional object position information from the camera overhead image generation unit 420 based on the three-dimensional object position information from the three-dimensional object detection unit 430. The camera is cut out from the overhead image and rotated (image rotation processing). Thereafter, the synthesized overhead image generation unit 440 synthesizes the rotated three-dimensional object with the synthesized overhead image generated by itself (three-dimensional object synthesis process).

画像回転処理は、立体物位置情報を受け取った場合に行われ、カメラ俯瞰画像において、立体物位置情報で特定される立体物エリアから、立体物が抽出される。抽出された立体物は、立体物位置情報で特定される基部位置を中心として、それを撮影したカメラ２００の視点から見た射影方向から、合成処理の境界方向側に回転させられる。   The image rotation process is performed when the three-dimensional object position information is received, and the three-dimensional object is extracted from the three-dimensional object area specified by the three-dimensional object position information in the camera overhead view image. The extracted three-dimensional object is rotated around the base position specified by the three-dimensional object position information from the projection direction viewed from the viewpoint of the camera 200 that captured the image to the boundary direction side of the synthesis process.

また、立体物合成処理において、回転済みの立体物は、合成俯瞰画像上に合成される。ここで、合成俯瞰画像生成部４４０には、カメラ俯瞰画像と、合成俯瞰画像との対応関係が示される他方のマッピングデータが入力されているので、合成俯瞰画像生成部４４０は、回転済みの立体物を、合成俯瞰画像上のどの位置に合成するかを、このマッピングデータに基づき特定する。   In the three-dimensional object synthesis process, the rotated three-dimensional object is synthesized on the synthesized overhead image. Here, since the other mapping data indicating the correspondence between the camera overhead image and the synthesized overhead image is input to the synthesized overhead image generation unit 440, the synthesized overhead image generation unit 440 is configured to display the rotated stereoscopic image. Based on this mapping data, it is specified at which position on the combined overhead image the object is to be combined.

以上の画像回転処理及び立体物合成処理は、受け取った立体物位置情報毎に行われる。また、特に、重複エリアについては、同じ立体物が複数のカメラ俯瞰画像に映っているが、いずれのカメラ俯瞰画像から立体物を抽出するかについては、後述する。   The above image rotation process and three-dimensional object synthesis process are performed for each received three-dimensional object position information. In particular, for the overlapping area, the same three-dimensional object is shown in a plurality of camera overhead images, and from which camera overhead image the three-dimensional object is extracted will be described later.

そして、合成俯瞰画像生成部４４０は、フレームごとの合成俯瞰画像から、動画系列を表示するための映像信号を生成し、生成した映像信号をモニタ５００へ出力する。   Then, the synthesized overhead image generation unit 440 generates a video signal for displaying a moving image series from the synthesized overhead image for each frame, and outputs the generated video signal to the monitor 500.

タイミング生成部４５０は、第１〜第４のカメラ２００−１〜２００−４のフレーム切り替えのタイミングと、マッピングテーブル参照部４１０の各マッピングデータ出力タイミングと、合成俯瞰画像生成部４４０の動作タイミングとを制御するタイミング信号を生成する。このタイミング信号により、車両６００の周囲の画像をリアルタイムで映し出す合成俯瞰画像の映像信号が、モニタ５００に出力される。   The timing generation unit 450 includes frame switching timings of the first to fourth cameras 200-1 to 200-4, mapping data output timings of the mapping table reference unit 410, and operation timings of the combined overhead image generation unit 440. A timing signal for controlling is generated. Based on this timing signal, a video signal of a composite overhead image that projects an image around the vehicle 600 in real time is output to the monitor 500.

モニタ５００は、合成俯瞰画像生成部４４０から受け取った映像信号に従って、合成俯瞰画像を表示する。モニタ５００は、例えば、液晶ディスプレイを有する表示装置であり、車両６００の運転席から見える位置に取り付けられる。モニタ５００は、車両搭載型のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）端末（いわゆるカーナビゲーションシステム）等の、他のシステムまたは装置との間で共有されてもよい。   The monitor 500 displays the synthesized overhead image according to the video signal received from the synthesized overhead image generation unit 440. The monitor 500 is a display device having a liquid crystal display, for example, and is attached at a position where it can be seen from the driver's seat of the vehicle 600. The monitor 500 may be shared with other systems or devices such as a vehicle-mounted GPS (Global Positioning System) terminal (so-called car navigation system).

なお、車両周囲監視装置１００は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びマッピングテーブルを含む各種データを格納したＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の作業用メモリなどを有する。上記各部の機能は、例えば、ＣＰＵが制御プログラムを実行することにより実現される。   Although not shown, the vehicle surroundings monitoring device 100 is not shown in the figure, but a CPU (Central Processing Unit), a ROM (Read Only Memory) storing a control program, and an EEPROM (Electrically Erasable and Programmable Read Only Memory) storing various data including a mapping table. ) And a working memory such as a RAM (Random Access Memory). The functions of the above-described units are realized, for example, when the CPU executes a control program.

このような車両周囲監視装置１００によれば、合成俯瞰画像を運転者に対して表示することができるとともに、合成俯瞰画像の立体物の射影方向を、所定の視点を基準とした方向に揃えることができる。また、マッピングテーブルを用いるので、合成俯瞰画像を高速に生成することができる。   According to the vehicle surrounding monitoring apparatus 100 as described above, the composite overhead image can be displayed to the driver, and the projection direction of the three-dimensional object of the composite overhead image is aligned with a direction based on a predetermined viewpoint. Can do. Moreover, since a mapping table is used, a composite overhead image can be generated at high speed.

次に、上述の画像回転処理の詳細について説明する。   Next, details of the above-described image rotation processing will be described.

図６は、画像回転処理を施す前の合成俯瞰画像の一例を示す図である。図６では、車両周囲の路面上の立体物（例えば人）が位置するときの合成俯瞰画像が模式的に示されている。なお、説明の簡便化のため、実際には合成俯瞰画像に描かれない部分についても、必要に応じて適宜、図６には図示される。   FIG. 6 is a diagram illustrating an example of a combined overhead image before image rotation processing is performed. FIG. 6 schematically shows a synthesized overhead image when a three-dimensional object (for example, a person) is located on the road surface around the vehicle. For simplification of description, portions that are not actually drawn in the synthesized overhead image are also illustrated in FIG. 6 as appropriate.

ここで、カメラ２００の視点の位置を、「カメラ視点」という。第２のカメラ俯瞰画像７２４−２と第３のカメラ俯瞰画像７２４−３との重複エリア７２５には、合成境界７２６が設定されており、合成境界７２６を境として一方のカメラ俯瞰画像７２４のみが合成俯瞰画像７２０に用いられる。また、重複エリア７２５の第３のカメラ俯瞰画像７２４−３の側に、立体物７３０が位置しているものとする。   Here, the position of the viewpoint of the camera 200 is referred to as “camera viewpoint”. In the overlapping area 725 of the second camera overhead image 724-2 and the third camera overhead image 724-3, a composite boundary 726 is set, and only one camera overhead image 724 is bounded by the composite boundary 726 as a boundary. Used for the combined overhead image 720. Further, it is assumed that the three-dimensional object 730 is located on the side of the third camera overhead image 724-3 in the overlapping area 725.

図６に示すように、画像回転処理を施す前の合成俯瞰画像７２０では、立体物７３０は、立体物の基部位置７３２を基点として、その画像を撮影したカメラ２００のカメラ視点７３１から見た射影方向（以下「カメラ射影方向」という）７３３に倒れ込んだ状態となる。   As shown in FIG. 6, in the synthesized overhead image 720 before the image rotation process is performed, the three-dimensional object 730 is projected from the camera viewpoint 731 of the camera 200 that has captured the image with the base position 732 of the three-dimensional object as a base point. It falls into a direction (hereinafter referred to as “camera projection direction”) 733.

具体的には、第３のカメラ俯瞰画像７２４−３において、立体物７３０は、第１の立体物７２３−１のように映っており、カメラ視点７３１−３から立体物７３０を見た第１の射影方向７３３−１（後方向）に倒れ込んでいる。一方、第２のカメラ俯瞰画像７２４−２において、立体物７３０は、第２の立体物７２３−２のように映っており、カメラ視点７３１−２から立体物７３０を見た第２の射影方向７３３−２（左方向）に倒れ込んでいる。すなわち、第１の立体物７２３−１及び第２の立体物７２３−２は元々同一であるが、第３のカメラ俯瞰画像７２４−３及び第２のカメラ俯瞰画像７２４−２では大きく異なった方向に倒れ込んでいる。   Specifically, in the third camera overhead image 724-3, the three-dimensional object 730 is reflected like the first three-dimensional object 723-1, and the first one when the three-dimensional object 730 is viewed from the camera viewpoint 731-3. Is projected in the projection direction 733-1 (backward direction). On the other hand, in the second camera bird's-eye view image 724-2, the three-dimensional object 730 appears as the second three-dimensional object 723-2, and the second projection direction when the three-dimensional object 730 is viewed from the camera viewpoint 731-2. It has fallen to 733-2 (left direction). That is, the first three-dimensional object 723-1 and the second three-dimensional object 723-2 are originally the same, but the third camera overhead image 724-3 and the second camera overhead image 724-2 have significantly different directions. Have fallen into.

このように、画像回転処理を施さない場合、実際には近距離に位置する２つの立体物であるにもかかわらず、カメラ俯瞰画像７２４の境界線（合成境界）の付近においてその立体物７３０の射影方向が大きく異なる。このことは、実際には同一の立体物であるにもかかわらず、カメラ俯瞰画像７２４の合成境界の両側で、その立体物７３０の射影方向が大きく異なることを意味する。したがって、画像回転処理を施さない合成俯瞰画像７２０は、上述の通り、運転者の立体物の配置関係に対する認識誤りを引き起こす。また、画像回転処理を施さない合成俯瞰画像７２０では、立体物７３０は、車両の移動または立体物７３０の移動によって合成境界を越えるときに、不連続な動きで表示されることになる。   As described above, when the image rotation process is not performed, the three-dimensional object 730 is near the boundary line (composite boundary) of the camera overhead image 724 even though the two three-dimensional objects are actually located at a short distance. Projection direction is greatly different. This means that the projection direction of the three-dimensional object 730 is greatly different on both sides of the synthesis boundary of the camera overhead image 724 even though they are actually the same three-dimensional object. Therefore, the composite overhead image 720 that is not subjected to the image rotation process causes a recognition error with respect to the arrangement relationship of the three-dimensional object of the driver as described above. Further, in the synthesized overhead image 720 that is not subjected to the image rotation process, the three-dimensional object 730 is displayed in a discontinuous motion when it exceeds the synthesis boundary due to the movement of the vehicle or the movement of the three-dimensional object 730.

そこで、本実施の形態の車両周囲監視装置１００は、カメラ俯瞰画像７２４から抽出した立体物７２３を、画像回転処理により、合成境界側に傾けた後に、合成俯瞰画像７２０に合成する。これによって、上記認識誤り及び立体物の不連続な動きの低減を図る。以下、回転の基準となる単一の視点を、「合成視点」という。   Therefore, the vehicle periphery monitoring apparatus 100 according to the present embodiment synthesizes the three-dimensional object 723 extracted from the camera overhead image 724 with the synthesized overhead image 720 after being tilted to the synthesis boundary side by image rotation processing. Thus, the recognition error and the discontinuous movement of the three-dimensional object are reduced. Hereinafter, a single viewpoint serving as a reference for rotation is referred to as a “composite viewpoint”.

図７は、画像回転処理を施した後の合成俯瞰画像の一例を示す図であり、図６に対応するものである。   FIG. 7 is a diagram illustrating an example of a synthesized overhead image after image rotation processing is performed, and corresponds to FIG.

図７に示すように、画像回転処理を施した後の合成俯瞰画像７２０では、第２の立体物７２３−２は、基部位置７３２を基点として、合成境界７２６と平行な方向７３５に倒れ込んだ状態となっている。合成俯瞰画像生成部４４０は、第２の立体物７２３−２を、基部位置７３２を中心として、合成境界７２６と平行な方向７３５へと回転させることにより、このような合成俯瞰画像７２０を生成する。   As shown in FIG. 7, in the synthesized overhead image 720 after the image rotation process is performed, the second three-dimensional object 723-2 is collapsed in a direction 735 parallel to the synthesis boundary 726 with the base position 732 as a base point. It has become. The synthesized overhead image generation unit 440 generates such a synthesized overhead image 720 by rotating the second three-dimensional object 723-2 around the base position 732 in a direction 735 parallel to the synthesis boundary 726. .

例えば、第１の立体物７２３−１を同様に回転させた場合でも、第１の立体物７２３−１も同じ方向に倒れ込んだ状態となる。また、合成境界７２６を挟んで両側に位置する２つの立体物７３０が実際に位置するときに、このような画像回転処理により、それらの立体物７２３は同じ方向に倒れ込んだ状態となる。これは、実際の立体物７３０の配置関係に近似した配置関係である。したがって、上記回転処理を、例えば重複エリア７２５全体に対して行うことにより、合成境界７２６における立体物７２３の不連続な動きや、立体物７３０の配置関係に対する認識誤りを防ぐことができる。   For example, even when the first three-dimensional object 723-1 is rotated in the same manner, the first three-dimensional object 723-1 also falls in the same direction. Further, when the two three-dimensional objects 730 located on both sides of the composite boundary 726 are actually positioned, such a three-dimensional object 723 is in a state of being collapsed in the same direction by such image rotation processing. This is an arrangement relationship that approximates the arrangement relationship of the actual three-dimensional object 730. Therefore, by performing the above rotation processing on, for example, the entire overlapping area 725, discontinuous movement of the three-dimensional object 723 at the synthesis boundary 726 and recognition errors regarding the arrangement relationship of the three-dimensional object 730 can be prevented.

このように、画像回転処理を施すことにより、実際の立体物の配置関係により近い配置関係で立体物７２３を配置した合成俯瞰画像を、運転者に提供することができる。また、合成境界と平行な方向７３５は、多くの場合、運転席から重複エリア７２５を見たときの方向に近い方向に設定されるので、実際に運転者から立体物を見たときの方向に近い方向に立体物を倒し込むことができる。したがって、運転者に対して、実際の立体物の配置関係と、路面垂直方向に対する立体物の向きとを、より正確に認識させることができる。   As described above, by performing the image rotation process, it is possible to provide the driver with a combined overhead image in which the three-dimensional object 723 is arranged in an arrangement relationship that is closer to the actual arrangement relationship of the three-dimensional object. Also, since the direction 735 parallel to the composite boundary is often set to a direction close to the direction when the overlapping area 725 is viewed from the driver's seat, the direction when the solid object is actually viewed from the driver is set. A solid object can be brought down in the near direction. Therefore, it is possible to make the driver more accurately recognize the arrangement relationship of the actual three-dimensional object and the direction of the three-dimensional object with respect to the road surface vertical direction.

ここで、車両を基準とし高さ成分を除いた座標系において、カメラ２００の設置位置の座標（カメラ視点の座標）をＣ（Ｃｘ，Ｃｙ）、立体物の基部位置７３２の座標をＯ（Ｏｘ，Ｏｙ）、合成境界と平行な方向のベクトルをＢと置く。このとき、カメラ射影方向７３３から視点射影方向までの回転角θは、カメラ射影方向の方向ベクトルＶＣ（Ｏｘ−Ｃｘ，Ｏｙ−Ｃｙ）及び方向ベクトルＢを用いて、以下の式（１）を用いて算出することができる。
θ ＝ ａｒｃｃｏｓ｛（ＶＣ・Ｂ）／（｜ＶＣ｜・｜Ｂ｜）｝ ・・・・・・（１） Here, in the coordinate system excluding the height component from the vehicle, the coordinates of the installation position of the camera 200 (the coordinates of the camera viewpoint) are C (C x , C y ), and the coordinates of the base position 732 of the three-dimensional object are O (O x , O y ), let B be the vector in the direction parallel to the composite boundary. At this time, the rotation angle θ from the camera projection direction 733 to the viewpoint projection direction is expressed by the following equation using the direction vector V C (O x −C x , O y −C y ) and the direction vector B in the camera projection direction. It can be calculated using (1).
θ = arccos {(V C · B) / (| V C | · | B |)} (1)

なお、回転角θは、合成俯瞰画像の座標ごとに一意に決まる。したがって、座標ごとに回転角θを予め算出して記憶しておくことにより、画像回転処理の高速化を図ることができる。   The rotation angle θ is uniquely determined for each coordinate of the synthesized overhead image. Therefore, by calculating and storing the rotation angle θ for each coordinate in advance, the image rotation process can be speeded up.

以下、本実施の形態に係る車両周囲監視装置１００の動作について説明する。   Hereinafter, the operation of the vehicle surrounding monitoring apparatus 100 according to the present embodiment will be described.

図８は、車両周囲監視装置１００の動作の一例を示すフローチャートである。   FIG. 8 is a flowchart showing an example of the operation of the vehicle surrounding monitoring apparatus 100.

まず、ステップＳ１１００において、カメラ俯瞰画像生成部４２０及び立体物検出部４３０は、タイミング生成部４５０からのタイミング信号を受けて、第１〜第４のカメラ２００−１〜２００−４から、第１〜第４のカメラ撮影画像をそれぞれ取得する（図３参照）。   First, in step S1100, the camera overhead image generation unit 420 and the three-dimensional object detection unit 430 receive the timing signal from the timing generation unit 450 and receive the first signal from the first to fourth cameras 200-1 to 200-4. The fourth camera-captured image is acquired (see FIG. 3).

次に、ステップＳ１２００において、カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から入力される一方のマッピングデータに基づいて、第１〜第４のカメラ撮影画像から、第１〜第４のカメラ俯瞰画像を生成する（図４参照）。そして、カメラ俯瞰画像生成部４２０は、生成した各カメラ俯瞰画像を、合成俯瞰画像生成部４４０に出力する。   Next, in step S1200, the camera overhead image generation unit 420 generates the first to fourth cameras from the first to fourth camera captured images based on one mapping data input from the mapping table reference unit 410. An overhead image is generated (see FIG. 4). Then, the camera overhead image generation unit 420 outputs each generated camera overhead image to the combined overhead image generation unit 440.

次に、ステップＳ１３００において、合成俯瞰画像生成部４４０は、カメラ俯瞰画像生成部４２０からの各カメラ俯瞰画像を受け取り、マッピングテーブル参照部４１０より他方のマッピングデータを受け取る。合成俯瞰画像生成部４４０は、受け取ったマッピングデータに従って、受け取った各カメラ俯瞰画像に対しマッピングを行って、合成俯瞰画像を合成する。   Next, in step S <b> 1300, the composite overhead image generation unit 440 receives each camera overhead image from the camera overhead image generation unit 420 and receives the other mapping data from the mapping table reference unit 410. The synthesized overhead image generation unit 440 performs mapping on each received camera overhead image according to the received mapping data, and synthesizes the synthesized overhead image.

次に、ステップＳ１４００において、立体物検出部４３０は、ステップＳ１１００で取得された第１〜第４のカメラ撮影画像に対し、画像認識処理を行うことにより、立体物の検出処理を行う。   Next, in step S1400, the three-dimensional object detection unit 430 performs a three-dimensional object detection process by performing an image recognition process on the first to fourth camera captured images acquired in step S1100.

画像認識処理としては、例えば、パターンマッチング処理またはエッジ抽出処理、またはステレオ処理を採用することができる。   As the image recognition processing, for example, pattern matching processing, edge extraction processing, or stereo processing can be employed.

パターンマッチング処理の場合、立体物検出部４３０は、検出対象となる立体物（例えばパイロン、ポール）の外観の形状の特徴を予め記憶しておき、その形状と相関性の高い画像部分を、立体物として検出する。エッジ抽出処理の場合、立体物検出部４３０は、検出対象となる立体物を構成する線分に特徴的な特定の方向（例えば路面に対する垂直方向）に近い方向の線分のみを抽出し、抽出された線分が集中する画像部分を、立体物として検出する。例えば、人、ポール、箱等の立体物は、垂直方向に近い方向の線分を多く有することから、検出が容易である。ステレオ処理の場合、立体物検出部４３０は、車両の路面に対する移動と、この移動に伴う第１〜第４のカメラ撮影画像の変化とから、路面画像ではない部分、つまり立体物を抽出する。ステレオ処理の詳細については、後述する。   In the case of pattern matching processing, the three-dimensional object detection unit 430 stores in advance characteristics of the shape of the appearance of a three-dimensional object (for example, a pylon or a pole) to be detected, and an image portion highly correlated with the shape is stored as a three-dimensional object. Detect as an object. In the case of edge extraction processing, the three-dimensional object detection unit 430 extracts and extracts only line segments in a direction close to a specific direction (for example, a direction perpendicular to the road surface) characteristic of the line segments constituting the three-dimensional object to be detected. The image portion where the line segments are concentrated is detected as a three-dimensional object. For example, a three-dimensional object such as a person, a pole, or a box has many line segments in a direction close to the vertical direction, and is easy to detect. In the case of stereo processing, the three-dimensional object detection unit 430 extracts a portion that is not a road surface image, that is, a three-dimensional object, from the movement of the vehicle with respect to the road surface and the changes in the first to fourth camera captured images accompanying the movement. Details of the stereo processing will be described later.

なお、立体物検出部４３０は、重複エリアについては、複数のカメラ俯瞰画像の間で輝度あるいは色の差分が大きい部分を、立体部と判定し、この画像部分と輝度及び色が連続して整合する画像を立体物と判定する。   Note that the three-dimensional object detection unit 430 determines a portion having a large luminance or color difference between a plurality of camera overhead images as a three-dimensional portion for the overlapping area, and the image portion and the luminance and color are continuously matched. The image to be determined is determined as a three-dimensional object.

また、立体物検出部４３０は、立体物が含まれる大まかな領域を、立体物と判定してもよい。これは、立体物の抽出を行うことができない場合に有効である。この場合には、立体物検出部４３０は、立体物を、矩形や楕円形等の単純な外形としてもよい。   In addition, the three-dimensional object detection unit 430 may determine that a rough region including the three-dimensional object is a three-dimensional object. This is effective when a three-dimensional object cannot be extracted. In this case, the three-dimensional object detection unit 430 may make the three-dimensional object have a simple outer shape such as a rectangle or an ellipse.

そして、ステップＳ１５００において、立体物検出部４３０は、後のステップで画像処理の対象となる少なくとも１つの立体物をステップＳ１４００で検出できたかを判断する。立体物検出部４３０は、処理対象となる立体物を検出できた場合には（Ｓ１５００：ＹＥＳ）、ステップＳ１６００へ進む。   In step S1500, the three-dimensional object detection unit 430 determines whether at least one three-dimensional object to be subjected to image processing in a subsequent step has been detected in step S1400. If the three-dimensional object detection unit 430 has detected a three-dimensional object to be processed (S1500: YES), the process proceeds to step S1600.

図８のステップＳ１６００において、立体物検出部４３０は、一方のマッピングデータを参照して、第１〜第４のカメラ撮影画像における立体物の位置を、カメラ俯瞰画像における位置情報に変換する。これによって得られた立体物位置情報を、立体物検出部４３０は、合成俯瞰画像生成部４４０へ出力する。   In step S1600 of FIG. 8, the three-dimensional object detection unit 430 refers to one mapping data and converts the position of the three-dimensional object in the first to fourth camera captured images into position information in the camera overhead image. The three-dimensional object detection unit 430 outputs the three-dimensional object position information obtained in this manner to the composite overhead image generation unit 440.

図９は、立体物位置情報を示す図である。立体物位置情報は、上述の通り、立体物エリアの座標の集まり及び基部位置を示す情報である。基部位置７３２は、立体物７２３が路面と接する位置である。また、立体物エリア７３６は、立体物７２３が描かれた座標の集合で特定される。   FIG. 9 is a diagram illustrating the three-dimensional object position information. As described above, the three-dimensional object position information is information indicating a collection of coordinates of the three-dimensional object area and the base position. The base position 732 is a position where the three-dimensional object 723 contacts the road surface. The three-dimensional object area 736 is specified by a set of coordinates where the three-dimensional object 723 is drawn.

立体物検出部４３０は、立体物エリア７３６のうちカメラ２００のカメラ視点７３１に最も近い位置の座標を、基部位置７３２として採用する。   The three-dimensional object detection unit 430 employs the coordinates of the position closest to the camera viewpoint 731 of the camera 200 in the three-dimensional object area 736 as the base position 732.

一方、立体物検出部４３０は、処理対象となる立体物を検出できなかった場合には（ステップＳ１５００：ＮＯ）、ステップＳ１７００へ進む。   On the other hand, if the three-dimensional object detection unit 430 cannot detect the three-dimensional object to be processed (step S1500: NO), the process proceeds to step S1700.

ステップＳ１７００において、立体物検出部４３０は、処理対象となる立体物を検出できなかった旨を示す情報を合成俯瞰画像生成部４４０に出力し、ステップＳ１８００へ進む。   In step S1700, the three-dimensional object detection unit 430 outputs information indicating that the three-dimensional object to be processed has not been detected to the composite overhead image generation unit 440, and proceeds to step S1800.

図８のステップＳ１８００において、合成俯瞰画像生成部４４０は、立体物位置情報を受け取ったか否かを判断する。立体物位置情報を受け取った場合（Ｓ１８００：ＹＥＳ）には、ステップＳ１９００に進む。   In step S1800 of FIG. 8, the synthesized overhead image generation unit 440 determines whether or not the three-dimensional object position information has been received. If the three-dimensional object position information is received (S1800: YES), the process proceeds to step S1900.

次に、ステップＳ１９００において、合成俯瞰画像生成部４４０は、立体物を回転させるために合成境界の平行方向を設定する。今回の説明で設定されるのは、処理対象となる立体物に最も近い合成境界の平行方向である（図７の方向７３５を参照）。   Next, in step S1900, the composite overhead image generation unit 440 sets the parallel direction of the composite boundary in order to rotate the three-dimensional object. What is set in this explanation is the parallel direction of the composite boundary closest to the three-dimensional object to be processed (see direction 735 in FIG. 7).

そして、ステップＳ２０００において、合成俯瞰画像生成部４４０は、立体物の基部を中心に、前式（１）で求まるθだけ立体物を回転させた後の、立体物エリアの座標の集まりを算出する。この回転は、図６及び図７で説明したように、基部位置を中心としたカメラ射影方向から、合成境界の平行方向への回転である。   In step S2000, the synthesized overhead image generation unit 440 calculates a set of coordinates of the three-dimensional object area after rotating the three-dimensional object by θ obtained by the above equation (1) around the base of the three-dimensional object. . As described with reference to FIGS. 6 and 7, this rotation is a rotation from the camera projection direction around the base position to the parallel direction of the composite boundary.

なお、重複エリアの立体物は、その生成に際してどちらのカメラ俯瞰画像を用いても、回転後の倒れ込みの方向は同一となる。しかし、立体物の大きさ、つまりカメラ射影方向の長さ（以下「射影長」という）は、どちらのカメラ俯瞰画像を用いたかによって異なる。   Note that the three-dimensional object in the overlapping area has the same tilting direction after rotation, regardless of which camera overhead image is used for generation. However, the size of the three-dimensional object, that is, the length in the camera projection direction (hereinafter referred to as “projection length”) differs depending on which camera overhead image is used.

図１０は、カメラ２００からの距離と射影長との関係を示す図である。図１０に示すように、カメラ２００から立体物７３７までの距離ｄと射影長Ｌとの比は、立体物７３７の高さｈＬと、立体物７３７の上端からカメラ２００の高さまでの距離ｈＵとの比に比例する。したがって、射影長Ｌは、カメラ２００から立体物７３７までの距離ｄに比例する。このことは、カメラ２００からの距離が長いほど、立体物７３７の射影長が長くなり、実際の立体物の外観に対する立体物７３７の歪みが大きくなり、表示範囲からはみ出して消失する部分が多くなることを意味する。 FIG. 10 is a diagram illustrating the relationship between the distance from the camera 200 and the projection length. As shown in FIG. 10, the ratio of the distance d from the camera 200 to the three-dimensional object 737 and the projection length L is the height h L of the three-dimensional object 737 and the distance h from the upper end of the three-dimensional object 737 to the height of the camera 200. It is proportional to the ratio with U. Therefore, the projection length L is proportional to the distance d from the camera 200 to the three-dimensional object 737. This means that the longer the distance from the camera 200, the longer the projection length of the three-dimensional object 737, the greater the distortion of the three-dimensional object 737 with respect to the actual appearance of the three-dimensional object, and the more portions that disappear from the display range. Means that.

したがって、合成俯瞰画像生成部４４０は、重複エリアの立体物については、カメラ２００の位置までの長さがより短いほうのカメラ画像を用いることが望ましい。距離は、例えば、立体物の基部位置とカメラ２００の位置とから求めることができる。   Therefore, it is desirable that the combined overhead image generation unit 440 uses a camera image having a shorter length to the position of the camera 200 for the three-dimensional object in the overlapping area. The distance can be obtained from the base position of the three-dimensional object and the position of the camera 200, for example.

そして、図８のステップＳ２１００において、合成俯瞰画像生成部４４０は、ステップＳ２０００で算出した回転後のエリアに立体物を合成俯瞰画像に描画する。   Then, in step S2100 of FIG. 8, the synthesized overhead image generation unit 440 draws a three-dimensional object in the synthesized overhead image in the area after rotation calculated in step S2000.

そして、回転後のエリアに立体物を描画するだけでは、合成俯瞰画像には、同じ立体物であるが回転前のものが描かれたままであるため、ステップＳ２２００において、合成俯瞰画像生成部４４０は、立体物の回転前のエリアに、路面を描画する。これにより、合成俯瞰画像において立体物は基部位置を中心としてカメラ射影方向から、合成境界と平行な方向へと回転した状態に補正される。   Then, only by drawing a three-dimensional object in the rotated area, the composite overhead image remains the same three-dimensional object but the one before rotation. In step S2200, the composite overhead image generation unit 440 The road surface is drawn in the area before the three-dimensional object is rotated. As a result, the three-dimensional object is corrected from the camera projection direction to the direction parallel to the composite boundary around the base position in the composite overhead image.

ここで、ステップＳ２２００の詳細な処理の一例について説明する。カメラ２００から見て立体物の背後（カメラ射影方向側）は、そのカメラ２００にとっては死角となる。したがって、そのカメラ２００のカメラ撮影画像においては、回転前のエリアに描画すべき路面の色データが欠落している。一方で、回転前のエリア（以下「データ欠落エリア」という）は、カメラ２００の視点の移動（車両の移動）や立体物の移動に伴って変化する。   Here, an example of detailed processing in step S2200 will be described. Behind the three-dimensional object as viewed from the camera 200 (camera projection direction side) is a blind spot for the camera 200. Therefore, in the camera-captured image of the camera 200, the road surface color data to be drawn in the area before the rotation is missing. On the other hand, the area before rotation (hereinafter referred to as “data missing area”) changes with the movement of the viewpoint of the camera 200 (movement of the vehicle) and the movement of the three-dimensional object.

そこで、合成俯瞰画像生成部４４０は、過去に生成された合成俯瞰画像を所定数フレーム分記憶しておき、過去のフレームを用いて、現在のフレームのデータ欠落エリアを補完する。   Therefore, the synthesized overhead image generation unit 440 stores a predetermined number of frames of synthesized overhead images generated in the past, and supplements the data missing area of the current frame using the past frames.

図１１は、データ欠落エリアの補完の様子を示す図である。   FIG. 11 is a diagram illustrating how data missing areas are complemented.

図１１（Ａ）に示す第ｎのフレームの合成俯瞰画像７２０ｎが取得された後、車両が車庫入れ等のために後退し、図１１（Ｂ）に示す第ｎ＋ａのフレームの合成俯瞰画像７２０ｎ＋ａが取得されたとする。 After the nth frame composite bird's-eye view image 720 n shown in FIG. 11A is acquired, the vehicle retreats to enter a garage or the like, and the n + a-th frame composite bird's-eye view image 720 shown in FIG. Assume that n + a is acquired.

第ｎのフレームの合成俯瞰画像７２０ｎにおいて、立体物７２３は、あるデータ欠落エリア７３８ｎから、回転後の領域（以下「回転先領域」という）７３９ｎへと回転する。回転先領域７３９ｎの路面画像は、基の第ｎのフレームの合成俯瞰画像７２０ｎに含まれている。 In the synthesized bird's-eye view image 720 n of the n-th frame, the three-dimensional object 723 rotates from a certain data missing area 738 n to a rotated area (hereinafter referred to as “rotation destination area”) 739 n . The road surface image of the rotation destination area 739 n is included in the synthesized overhead image 720 n of the base n-th frame.

そして、第ｎ＋ａのフレームの合成俯瞰画像７２０ｎ＋ａにおいて、立体物７２３は、さらに、データ欠落エリア７３８ｎ＋ａから、別の回転先領域７３９ｎ＋ａへと回転する。ここで、説明の簡便化のため、第ｎ＋ａのフレームにおけるデータ欠落エリア７３８ｎ＋ａが、第ｎのフレームにおける回転先領域７３９ｎに一致しているものとする。この場合、第ｎ＋ａのフレームにおけるデータ欠落エリア７３８ｎ＋ａの路面画像は、第ｎのフレームの合成俯瞰画像７２０ｎに、回転先領域７３９ｎの路面画像として含まれている。 Then, in the combined overhead image 720 n + a of the ( n + a) th frame, the three-dimensional object 723 further rotates from the data missing area 738 n + a to another rotation destination area 739 n + a . Here, for simplification of description, it is assumed that the data missing area 738 n + a in the n + a frame coincides with the rotation destination area 739 n in the nth frame. In this case, the road surface image of the data missing area 738 n + a in the n + a frame is included as the road surface image of the rotation destination region 739 n in the synthesized overhead image 720 n of the nth frame.

したがって、合成俯瞰画像生成部４４０は、まず、車両の舵角量並びに車速等から得られる車両の移動量並びに移動方向、及び／またはオプティカルフロー等の画像処理に基づいて、フレーム間での合成俯瞰画像の座標の対応付けを行う。そして、合成俯瞰画像生成部４４０は、矢印７４０に示すように、第ｎ＋ａのフレームの合成俯瞰画像７２０ｎ＋ａにおけるデータ欠落エリア７３８ｎ＋ａを、第ｎのフレームの合成俯瞰画像７２０ｎにおける回転先領域７３９ｎの路面画像で補完する。 Therefore, the synthesized overhead image generation unit 440 first combines the frames between frames based on the image processing such as the moving amount and moving direction of the vehicle and / or the optical flow obtained from the steering angle amount and the vehicle speed. Correlate image coordinates. Then, as indicated by an arrow 740, the synthesized overhead image generation unit 440 uses the data missing area 738 n + a in the synthesized overhead image 720 n + a of the n + a frame as the rotation destination region 739 in the synthesized overhead image 720 n of the nth frame. Complement with n road surface images.

なお、車両または立体物の移動がなければ、データ欠落エリアを補完することはできない。したがって、合成俯瞰画像生成部４４０は、検出対象となる立体物が存在する状態で車両の移動が検出された時、及びカメラ撮影範囲へ立体物の進入が検出してきた時にのみ、データ欠落エリアの補完を行うようにしてもよい。   If there is no movement of the vehicle or the three-dimensional object, the data missing area cannot be supplemented. Therefore, the synthesized overhead image generation unit 440 detects the data missing area only when the movement of the vehicle is detected in a state where the three-dimensional object to be detected exists and when the entry of the three-dimensional object is detected in the camera shooting range. You may make it complement.

また、合成俯瞰画像生成部４４０は、時間的に後のフレームの合成俯瞰画像を用いて、データ欠落エリアの補完を行うようにしてもよい。但し、数フレーム分の画像をバッファすることになり、モニタ５００に表示される合成俯瞰画像に多少の遅れが生じる。   Further, the synthesized overhead image generation unit 440 may complement the data missing area using a synthesized overhead image of a later frame. However, images of several frames are buffered, and a slight delay occurs in the synthesized overhead image displayed on the monitor 500.

以上のステップＳ２２００の実行後、処理は図８に示すステップＳ２３００に進む。ステップＳ２３００において、合俯瞰画像生成部４４０は、補正後の合成俯瞰画像を示す映像信号をモニタ５００に出力し、合成俯瞰画像を表示させる。表示される合成俯瞰画像は、処理対象となる立体物が存在する場合には、その立体物を回転させた画像となっている。   After execution of step S2200, the process proceeds to step S2300 shown in FIG. In step S2300, the combined overhead image generation unit 440 outputs a video signal indicating the corrected combined overhead image to the monitor 500 to display the combined overhead image. The composite overhead image to be displayed is an image obtained by rotating the three-dimensional object when there is a three-dimensional object to be processed.

そして、ステップＳ２４００において、タイミング生成部４５０は、ユーザ操作等により合成俯瞰画像の表示の処理の終了を指示されたか否かを判断する。タイミング生成部４５０は、処理の終了を指示されていない場合は（Ｓ２４００：ＮＯ）、タイミング信号を出力してステップＳ１１００に戻り、処理の終了を指示された場合は（Ｓ２４００：ＹＥＳ）、タイミング信号の出力を停止して一連の処理を終了させる。   In step S2400, timing generation unit 450 determines whether an instruction to end the process of displaying the synthesized overhead image is given by a user operation or the like. When the timing generation unit 450 is not instructed to end the processing (S2400: NO), the timing generation unit 450 outputs a timing signal and returns to Step S1100. When the timing generation unit 450 is instructed to end the processing (S2400: YES), the timing signal Is stopped and a series of processing is terminated.

また、画像処理の対象となる立体物が存在しない場合には（Ｓ１８００：ＮＯ）、合成俯瞰画像生成部４４０は、直接にステップＳ２３００へ進み、画像回転処理を行うことなく、合成俯瞰画像をモニタ５００に表示させる。   If there is no three-dimensional object to be subjected to image processing (S1800: NO), the synthesized overhead image generation unit 440 proceeds directly to step S2300 and monitors the synthesized overhead image without performing image rotation processing. 500.

このような動作により、車両周囲監視装置１００は、車両周囲の立体物の射影方向が揃った合成俯瞰画像を、運転者に提供することができる。   By such an operation, the vehicle surroundings monitoring apparatus 100 can provide the driver with a composite bird's-eye view image in which the projection directions of the three-dimensional objects around the vehicle are aligned.

なお、以上の実施形態の説明では、立体物検出部４３０が受け取ったカメラ画像から立体物までの距離を検出していたが、これに限らず、例えば、アクティブセンサにより立体物までの距離を検出してもかまわない。   In the above description of the embodiment, the distance from the camera image received by the three-dimensional object detection unit 430 to the three-dimensional object is detected. However, the present invention is not limited to this. For example, the distance to the three-dimensional object is detected by an active sensor. It doesn't matter.

なお、以上の実施形態の説明では、立体物検出部４３０が受け取ったカメラ画像から立体物及び立体物までの距離を検出していたが、これに限らず、例えば、アクティブセンサにより立体物及び立体物までの距離を検出してもかまわない。   In the above description of the embodiment, the distance from the camera image received by the three-dimensional object detection unit 430 to the three-dimensional object and the three-dimensional object is detected. However, the present invention is not limited to this. It does not matter if the distance to the object is detected.

なお、複数のカメラ俯瞰画像から成る合成俯瞰画像が用いられる場合には（図４参照）、重複エリアに位置する立体物は、複数のカメラ俯瞰画像に異なる形で映る場合がある。したがって、合成俯瞰画像においては、これら異なる形のもの同士を合成して、１つの立体物が映るようにしてもよい。   In addition, when the synthetic | combination bird's-eye view image which consists of a several camera bird's-eye view image is used (refer FIG. 4), the solid object located in an overlap area may be reflected on a some camera bird's-eye view image in a different form. Therefore, in the synthesized bird's-eye view image, these different shapes may be synthesized so that one solid object is reflected.

また、合成俯瞰画像に映る立体物の配置関係が実際の立体物の配置関係と大きく異なるのは、主に、重複エリアである。したがって、処理対象を重複エリアの付近に位置する立体物に絞ることにより、車両周囲監視装置１００の処理負荷を軽減することが可能である。   In addition, it is mainly in the overlapping area that the arrangement relationship of the three-dimensional object shown in the composite bird's-eye view image is significantly different from the actual arrangement relation of the three-dimensional object. Therefore, it is possible to reduce the processing load of the vehicle periphery monitoring device 100 by narrowing the processing target to a three-dimensional object located in the vicinity of the overlapping area.

また、画像処理を重複エリアに限定して行う場合には、複数のカメラ俯瞰画像から成る合成俯瞰画像を用いることにより、より簡単にデータ欠落エリアの補完を行うことが可能となる。   Further, when image processing is limited to overlapping areas, it is possible to more easily complement the data missing area by using a composite overhead image composed of a plurality of camera overhead images.

また、合成境界に平行な方向ではなく、２つのカメラによる２つの射影方向の間を二等分する方向に立体物を回転させることによっても、立体物の相対配置に対する認識誤り及び立体物の不連続な動きの低減を図ることが可能である。   In addition, by rotating a three-dimensional object in a direction that bisects the two projection directions of two cameras, rather than in a direction parallel to the composite boundary, a recognition error with respect to the relative arrangement of the three-dimensional object and a defect in the three-dimensional object are also prevented. It is possible to reduce the continuous movement.

以下、これらの態様について順に説明する。   Hereinafter, these aspects will be described in order.

まず、異なる形で映る立体物を合成する態様について詳細に説明する。   First, the aspect which synthesize | combines the solid thing reflected in a different form is demonstrated in detail.

図１２は、第３のカメラ俯瞰画像から得られる回転後の立体物のみを採用した場合の合成俯瞰画像の一例を示す図である。図１３は、第２のカメラ俯瞰画像から得られる回転後の立体物（図１６の立体物と同一のもの）のみを採用した場合の合成俯瞰画像の一例を示す図である。図１４は、図１２に示す立体物と、図１３に示す立体物とを合成した立体物を採用した場合の合成俯瞰画像の一例を示す図である。   FIG. 12 is a diagram illustrating an example of a composite overhead image when only a three-dimensional object after rotation obtained from the third camera overhead image is employed. FIG. 13 is a diagram illustrating an example of a combined overhead image when only a rotated three-dimensional object (same as the three-dimensional object in FIG. 16) obtained from the second camera overhead image is employed. FIG. 14 is a diagram illustrating an example of a combined overhead image when a three-dimensional object obtained by combining the three-dimensional object illustrated in FIG. 12 and the three-dimensional object illustrated in FIG. 13 is employed.

図１２に示す立体物７２３−３と、図１３に示す立体物７２３−２は、それぞれ単一の視点から見た画像である。したがって、ある方向からのみ観察したときには全体像を視認し難い立体物において、その方向とカメラの撮影方向とが一致した場合には、立体物７２３は、その立体物を把握し難い画像となる。例えば、板状の看板を真横から撮影した場合が、これに該当する。   The three-dimensional object 723-3 shown in FIG. 12 and the three-dimensional object 723-2 shown in FIG. 13 are images viewed from a single viewpoint. Accordingly, in a three-dimensional object in which it is difficult to visually recognize the entire image when observed only from a certain direction, when the direction coincides with the shooting direction of the camera, the three-dimensional object 723 is an image in which it is difficult to grasp the three-dimensional object. For example, this is the case when a plate-shaped signboard is photographed from the side.

そこで、合成俯瞰画像生成部４４０は、例えば、立体物７２３−３と立体物７２３−２とを合成して、図１４に示すような立体物７２３を描画する。これにより、運転者が立体物７２３をより把握し易くすることができる。なお、合成俯瞰画像生成部４４０は、回転後の立体物のみを合成してもよいし、立体物を回転させた後のカメラ俯瞰画像を合成してもよい。   Therefore, for example, the combined overhead image generation unit 440 combines the three-dimensional object 723-3 and the three-dimensional object 723-2 and draws the three-dimensional object 723 as illustrated in FIG. As a result, the driver can more easily grasp the three-dimensional object 723. Note that the synthesized overhead image generation unit 440 may synthesize only the three-dimensional object after rotation, or may synthesize the camera overhead image after rotating the three-dimensional object.

次に、異なるカメラ俯瞰画像に異なる形で映る同一立体物（以下、便宜上、「２つの立体物」という）の射影長を揃える態様について説明する。   Next, an aspect in which the projection lengths of the same three-dimensional object (hereinafter, referred to as “two three-dimensional objects” for convenience) reflected in different forms in different camera overhead images will be described.

図１０を参照して説明する。立体物検出により特定される立体物７３７の高さｈＬ及び立体物７３７までの距離ｄと、カメラ２００（または合成視点７３４）の高さＨ＝ｈＬ＋ｈＵとから、立体物７３７の射影長Ｌは、以下の式（２）を用いて算出することができる。
Ｌ ＝ （ｈＬ・ｄ）／（Ｈ−ｈＬ） ・・・・・・（２） This will be described with reference to FIG. The projection of the three-dimensional object 737 from the height h L of the three-dimensional object 737 specified by the three-dimensional object detection and the distance d to the three-dimensional object 737 and the height H = h L + h U of the camera 200 (or the combined viewpoint 734). The length L can be calculated using the following equation (2).
L = (h L · d) / (H−h L ) (2)

合成俯瞰画像生成部４４０は、例えば、式（２）を用いて、合成する２つの立体物の射影長を算出し、短いほうの射影長Ｌ１を長いほうの射影長Ｌ２で除して得られる比率Ｌ１／Ｌ２で、射影長が長いほうの立体物を、射影方向に縮小する。これにより、より短い方の射影長に、立体物の射影長を揃えることができる。 Synthesis overhead image generating unit 440, for example, using Equation (2), calculates the projection length of the two three-dimensional object to synthesize, by dividing the shorter projection length L 1 in the longer projection length L 2 of The three-dimensional object having the longer projection length is reduced in the projection direction at the obtained ratio L 1 / L 2 . As a result, the projection length of the three-dimensional object can be aligned with the shorter projection length.

次に、重複エリアのカメラ俯瞰画像を用いてデータ欠落エリアの補完を行う態様について説明する。   Next, a mode of complementing the data missing area using the camera overhead image of the overlapping area will be described.

図１５は、重複エリアのカメラ俯瞰画像を用いてデータ欠落エリアの補完の様子を示す図である。図１５に示すように、合成俯瞰画像生成部４４０は、例えば、第３のカメラ俯瞰画像７２４−３と第２のカメラ俯瞰画像７２４−２との重複エリア７４３において、第３のカメラ俯瞰画像７２４−３の立体物７２３を用いて回転させる。この場合、第３のカメラ俯瞰画像７２４−３には、データ欠落エリア７３８が生じる。ところが、第２のカメラ俯瞰画像７２４−２のデータ欠落エリア７３８に対応する領域７４４には、路面が映し出されている。これは、カメラ俯瞰画像７２４ごとにカメラ射影方向が異なるためである。   FIG. 15 is a diagram illustrating a state of complementing the data missing area using the camera overhead image of the overlapping area. As illustrated in FIG. 15, the combined overhead image generation unit 440, for example, in the overlapping area 743 of the third camera overhead image 724-3 and the second camera overhead image 724-2, -3 to rotate it. In this case, a data missing area 738 occurs in the third camera overhead image 724-3. However, the road surface is projected in an area 744 corresponding to the data missing area 738 of the second camera overhead image 724-2. This is because the camera projection direction differs for each camera overhead image 724.

したがって、合成俯瞰画像生成部４４０は、データ欠落エリア７３８を、第２のカメラ俯瞰画像７２４−２の対応する領域７４４の画像で補完する。１つのフレームの合成俯瞰画像からデータ欠落エリアの補完をすることができるので、図１１で説明した補完の手法に比べて、処理負荷及びメモリ負荷を軽減することができる。   Therefore, the synthesized bird's-eye view image generation unit 440 supplements the data missing area 738 with the image of the corresponding region 744 of the second camera bird's-eye view image 724-2. Since the data missing area can be complemented from the composite bird's-eye view image of one frame, the processing load and the memory load can be reduced as compared with the complementing method described in FIG.

次に、２つのカメラによる２つの射影方向の間を二等分する方向（以下「二等分方向」という）に立体物を回転させる態様について説明する。   Next, an aspect in which a three-dimensional object is rotated in a direction that bisects between two projection directions by two cameras (hereinafter referred to as “bisected direction”) will be described.

図１６は、二等分方向に立体物を回転させる画像回転処理を施した後の合成俯瞰画像の一例を示す図である。   FIG. 16 is a diagram illustrating an example of a composite overhead image after image rotation processing for rotating a three-dimensional object in a bisecting direction.

図１６に示すように、二等分方向に画像回転処理を施した後の合成俯瞰画像７２０では、第２の立体物７２３−２は、基部位置７３２を基点として、第１の射影方向７３３−１と第２の射影方向７３３−２との間の二等分方向７４５に倒れ込んだ状態となっている。合成俯瞰画像生成部４４０は、第２の立体物７２３−２を、基部位置７３２を中心として二等分方向７４５へと回転させることにより、このような合成俯瞰画像７２０を生成する。   As shown in FIG. 16, in the synthesized overhead image 720 after the image rotation processing is performed in the bisecting direction, the second three-dimensional object 723-2 is based on the base position 732 as the first projecting direction 733-3. It is in a state of falling into a bisecting direction 745 between 1 and the second projecting direction 733-2. The synthesized overhead image generation unit 440 generates such a synthesized overhead image 720 by rotating the second three-dimensional object 723-2 in the bisecting direction 745 around the base position 732.

例えば、第１の立体物７２３−１を同様に回転させた場合でも、第１の立体物７２３−１も同じ方向に倒れ込んだ状態となる。また、立体物７３０が移動したとき、第１及び第２の射影方向７３３−１、７３３−２はいずれも連続的に変化するので、二等分方向７４５も連続的に変化する。また、平行であって近距離に位置する２つの立体物７３０が位置するときに、それらの立体物７２３はほぼ同じ方向に倒れ込んだ状態となる。これは、実際の立体物７３０の配置関係に近似した配置関係である。したがって、上記回転処理を、例えば重複エリア７２５全体に対して行うことにより、合成境界と平行な方向７２６における立体物７２３の不連続な動きや、立体物７３０の配置関係に対する認識誤りを防ぐことができる。   For example, even when the first three-dimensional object 723-1 is rotated in the same manner, the first three-dimensional object 723-1 also falls in the same direction. Further, when the three-dimensional object 730 moves, both the first and second projection directions 733-1 and 733-2 change continuously, so the bisection direction 745 also changes continuously. In addition, when two solid objects 730 that are parallel and located at a short distance are located, the three-dimensional objects 723 are in a state of falling in substantially the same direction. This is an arrangement relationship that approximates the arrangement relationship of the actual three-dimensional object 730. Therefore, by performing the rotation process on the entire overlap area 725, for example, it is possible to prevent a discontinuous movement of the three-dimensional object 723 in the direction 726 parallel to the composite boundary and a recognition error with respect to the arrangement relationship of the three-dimensional object 730. it can.

次に、カメラ撮影画像に対する画像処理により立体物の検出を行う技術の詳細について説明する。   Next, details of a technique for detecting a three-dimensional object by image processing on a camera photographed image will be described.

画像処理による立体物の検出は、上述の通り、例えば、パターンマッチング処理及びステレオ処理により可能である。   As described above, detection of a three-dimensional object by image processing is possible by, for example, pattern matching processing and stereo processing.

パターンマッチング処理の場合、立体物検出部４３０は、予め記憶された立体物の外観の形状と相関性の高い画像部分を立体物として検出し、検出した立体物の画像位置から、立体物の位置を検出する。   In the case of pattern matching processing, the three-dimensional object detection unit 430 detects, as a three-dimensional object, an image portion having a high correlation with the shape of the external appearance of the three-dimensional object stored in advance, and determines the position of the three-dimensional object from the detected image position of the three-dimensional object. Is detected.

ステレオ処理の場合、立体物検出部４３０は、異なる位置から撮影された２つの画像を用い、撮影位置の変異と２つの撮影画像の差異とから、立体物の位置を検出する。ステレオ処理には、２眼カメラを用いたステレオ処理と単眼カメラを用いたモーションステレオ処理がある。   In the case of stereo processing, the three-dimensional object detection unit 430 uses two images photographed from different positions, and detects the position of the three-dimensional object from the variation in the photographing position and the difference between the two photographed images. Stereo processing includes stereo processing using a binocular camera and motion stereo processing using a monocular camera.

ここで、単眼カメラを用いたモーションステレオ処理として、カメラ２００の撮影画像を用いて立体物の検出を行う手法について説明する。２眼カメラを用いる場合と異なり、単眼カメラを用いる場合は、ある時刻において、１つの撮影画像しか得られない。したがって、撮影時刻が異なる２つの撮影画像を用いて、同じパターンの特徴点の移動量を求め、車両６００の移動量との比計算から、立体物までの距離を算出する。   Here, as a motion stereo process using a monocular camera, a method of detecting a three-dimensional object using a captured image of the camera 200 will be described. Unlike the case of using a binocular camera, when a monocular camera is used, only one captured image can be obtained at a certain time. Therefore, the movement amount of the feature point of the same pattern is obtained using two captured images with different shooting times, and the distance to the three-dimensional object is calculated from the ratio calculation with the movement amount of the vehicle 600.

図１７は、カメラ撮影画像を用いて立体物の検出を行う手法の概要を示す図である。図１７に示すように、車両６００が、立体物７５１を左に見ながら移動したとする。そして、立体物検出部４３０は、時刻ｔ１に第１の画像７５２−１を取得し、時刻ｔ２に第２の画像７５２−２を取得したとする。第１及び第２の画像７５２−１、７５２−２は、第３のカメラ撮影画像である。立体物検出部４３０は、コーナー検出フィルタ処理やエッジ検出フィルタ等を用いて、第１の画像７５２−１から、立体物の特徴となるような点（エッジ点やコーナー等）を、特徴点７５３として検出する。そして、検出した特徴点７５３を、第２の画像７５２−２で探索する。 FIG. 17 is a diagram illustrating an outline of a technique for detecting a three-dimensional object using a camera image. As shown in FIG. 17, it is assumed that the vehicle 600 moves while looking at the three-dimensional object 751 to the left. Then, the three-dimensional object detection unit 430, a first image 752-1 acquires at time t 1, and to obtain a second image 752-2 at time t 2. The first and second images 752-1 and 752-2 are third camera captured images. The three-dimensional object detection unit 430 uses a corner detection filter process, an edge detection filter, or the like to add points (edge points, corners, etc.) that are characteristic of the three-dimensional object from the first image 752-1 to the feature points 753. Detect as. Then, the detected feature point 753 is searched for in the second image 752-2.

立体物検出部４３０は、第１の画像７５２−１における特徴点７５３の位置と、第２の画像７５２−２における特徴点７５３の位置との間の画素間距離Ｄ［ｍｍ］を、これらの画素間距離［ｐｉｘｅｌ］と、第３のカメラ２００−３のカメラパラメータとから算出する。カメラパラメータは、カメラ２００のレンズ設計時に設定されるパラメータであって、ピクセル単位での画素間距離と長さ単位での画素間距離とを対応付けるパラメータである。そして、立体物検出部４３０は、第３のカメラ２００−３の焦点距離をｆ、時刻ｔ１から時刻ｔ２までの車両６００の移動距離をＸとすると、カメラ２００から立体物７５１までの距離ｄを、以下の式（３）を用いて算出する。
ｄ ＝ ｆ・Ｘ／Ｄ ・・・・・・（３） The three-dimensional object detection unit 430 calculates the inter-pixel distance D [mm] between the position of the feature point 753 in the first image 752-1 and the position of the feature point 753 in the second image 752-2. It is calculated from the inter-pixel distance [pixel] and the camera parameters of the third camera 200-3. The camera parameter is a parameter that is set when the lens of the camera 200 is designed, and is a parameter that associates the inter-pixel distance in pixel units with the inter-pixel distance in length units. Then, the three-dimensional object detection unit 430, and the focal length of the third camera 200-3 f, the moving distance of the vehicle 600 from time t 1 to time t 2 is X, the distance from the camera 200 to the three-dimensional object 751 d is calculated using the following equation (3).
d = f · X / D (3)

このように、立体物検出部４３０は、画像処理のみによって立体物を検出することができる。   Thus, the three-dimensional object detection unit 430 can detect a three-dimensional object only by image processing.

また、立体物検出部４３０は、上述のように立体物の特徴点検出を行う場合には、検出した複数の特徴点をグルーピングすることにより、グルーピングされた特徴点に囲まれた合成俯瞰画像の領域を、立体物の座標として検出してもよい。   Further, when detecting the feature point of the three-dimensional object as described above, the three-dimensional object detection unit 430 groups the plurality of detected feature points, thereby generating a composite overhead image surrounded by the grouped feature points. The region may be detected as the coordinates of the three-dimensional object.

以上説明したように、本実施の形態によれば、所定の視点を基準として立体物の射影方向が揃うので、運転者は車両周囲の立体物の配置関係をより正確に認識することができる。なお、カメラの台数及び合成俯瞰画像の範囲は、以上説明した実施の形態の内容に限定されるものではない。   As described above, according to the present embodiment, the projection direction of the three-dimensional object is aligned based on the predetermined viewpoint, so that the driver can more accurately recognize the arrangement relation of the three-dimensional object around the vehicle. Note that the number of cameras and the range of the synthesized overhead image are not limited to the contents of the embodiment described above.

本発明に係る車両周囲監視装置及び車両周囲監視方法は、運転者が車両周囲の立体物の配置関係をより正確に認識することができる車両周囲監視装置及び車両周囲監視方法として有用である。   INDUSTRIAL APPLICABILITY The vehicle surrounding monitoring apparatus and the vehicle surrounding monitoring method according to the present invention are useful as a vehicle surrounding monitoring apparatus and a vehicle surrounding monitoring method that allow a driver to more accurately recognize the arrangement relationship of three-dimensional objects around the vehicle.

本発明の一実施の形態に係る車両周囲監視装置のブロック図1 is a block diagram of a vehicle periphery monitoring device according to an embodiment of the present invention. 本実施の形態におけるカメラの取り付け位置の一例を示す斜視図The perspective view which shows an example of the attachment position of the camera in this Embodiment 本実施の形態におけるカメラの撮影画像の一例を示す図The figure which shows an example of the picked-up image of the camera in this Embodiment. 本実施の形態におけるカメラ俯瞰画像の一例を示す図The figure which shows an example of the camera bird's-eye view image in this Embodiment 本実施の形態におけるカメラ俯瞰画像生成部によって生成される合成俯瞰画像の一例を示す図The figure which shows an example of the synthetic | combination overhead image produced | generated by the camera overhead image production | generation part in this Embodiment. 本実施の形態における画像回転処理を施す前の合成俯瞰画像の一例を示す図The figure which shows an example of the synthetic | combination overhead image before performing the image rotation process in this Embodiment 本実施の形態における画像回転処理を施した後の合成俯瞰画像の一例を示す図The figure which shows an example of the synthetic | combination overhead image after performing the image rotation process in this Embodiment 本実施の形態に係る車両周囲監視装置の動作の一例を示すフローチャートThe flowchart which shows an example of operation | movement of the vehicle periphery monitoring apparatus which concerns on this Embodiment. 本実施の形態における立体物位置情報を示す図The figure which shows the solid-object position information in this Embodiment. 本実施の形態におけるカメラからの距離と射影長との関係を示す図The figure which shows the relationship between the distance from the camera and projection length in this Embodiment 本実施の形態におけるデータ欠落領域の補完の様子を示す図The figure which shows the mode of a complement of the data missing area in this Embodiment 本実施の形態における第３のカメラ俯瞰画像から得られる立体物のみを採用した場合の合成俯瞰画像の一例を示す図The figure which shows an example of the synthetic | combination overhead image at the time of employ | adopting only the solid object obtained from the 3rd camera overhead image in this Embodiment. 本実施の形態における第２のカメラ俯瞰画像から得られる立体物のみを採用した場合の合成俯瞰画像の一例を示す図The figure which shows an example of the synthetic | combination overhead image at the time of employ | adopting only the solid object obtained from the 2nd camera overhead image in this Embodiment. 本実施の形態における図１２に示す立体物と図１３に示す立体物を合成した立体物を採用した場合の合成俯瞰画像の一例を示す図The figure which shows an example of the synthetic | combination overhead image at the time of employ | adopting the solid thing which synthesize | combined the solid thing shown in FIG. 12 and the solid thing shown in FIG. 13 in this Embodiment. 本実施の形態における重複エリアのカメラ俯瞰画像を用いてデータ欠落領域の補完の様子を示す図The figure which shows the mode of a complement of a data missing area using the camera overhead view image of the duplication area in this Embodiment 本実施の形態における画像回転処理を施した後の合成俯瞰画像の一例を示す図The figure which shows an example of the synthetic | combination overhead image after performing the image rotation process in this Embodiment 本実施の形態におけるカメラ撮影画像を用いて立体物の検出を行う手法の概要を示す図The figure which shows the outline | summary of the method of detecting a solid object using the camera picked-up image in this Embodiment. 従来の車両周囲監視装置におけるカメラ配置及びカメラ俯瞰画像の一例を示す図The figure which shows an example of the camera arrangement | positioning in the conventional vehicle surroundings monitoring apparatus, and a camera bird's-eye view image 従来の車両周囲監視装置における重複エリアに立体物が位置するときの、第３のカメラ俯瞰画像の一例を示す図The figure which shows an example of a 3rd camera overhead image when a solid object is located in the duplication area in the conventional vehicle periphery monitoring apparatus. 従来の車両周囲監視装置における重複エリアに立体物が位置するときの、第２のカメラ俯瞰画像の一例を示す図The figure which shows an example of a 2nd camera bird's-eye view image when a solid object is located in the duplication area in the conventional vehicle periphery monitoring apparatus. 従来の車両周囲監視装置における合成俯瞰画像の第１の例を示す図The figure which shows the 1st example of the synthetic | combination overhead view image in the conventional vehicle periphery monitoring apparatus. 従来の車両周囲監視装置における合成俯瞰画像の第２の例を示す図The figure which shows the 2nd example of the synthetic | combination overhead view image in the conventional vehicle periphery monitoring apparatus. 従来の車両周囲監視装置における合成俯瞰画像の第３の例を示す図The figure which shows the 3rd example of the synthetic | combination overhead view image in the conventional vehicle periphery monitoring apparatus. 従来の車両周囲監視装置における合成俯瞰画像の第４の例を示す図The figure which shows the 4th example of the synthetic | combination overhead view image in the conventional vehicle periphery monitoring apparatus.

符号の説明Explanation of symbols

１００ 車両周囲監視装置
２００ カメラ
２１０ 撮像部
２２０ フレームメモリ
２３０ フレーム切替部
４００ 画像処理部
４１０ マッピングテーブル参照部
４２０ カメラ俯瞰画像生成部
４３０ 立体物検出部
４４０ 合成俯瞰画像生成部
４５０ タイミング生成部
５００ モニタ
DESCRIPTION OF SYMBOLS 100 Vehicle surroundings monitoring apparatus 200 Camera 210 Imaging part 220 Frame memory 230 Frame switching part 400 Image processing part 410 Mapping table reference part 420 Camera overhead view image generation part 430 Three-dimensional object detection part 440 Synthetic overhead view image generation part 450 Timing generation part 500 Monitor

Claims (9)

車両周囲に存在する立体物を検出する立体物検出部と、
複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、前記立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、前記合成処理の境界方向側に変更する第１の画像生成部と、
を備える車両周囲監視装置。 A three-dimensional object detection unit for detecting a three-dimensional object existing around the vehicle;
A composite overhead image representing a bird's-eye view around the vehicle is generated by synthesizing the captured images of a plurality of cameras, and the direction of the three-dimensional object shown in the generated synthesized bird's-eye image is based on the detection result by the three-dimensional object detection unit. A first image generation unit for changing to the boundary direction side of the synthesis process;
A vehicle surrounding monitoring device comprising: 前記複数のカメラの撮影範囲には互いに重複する重複エリアが存在し、
前記第１の画像生成部は、前記合成俯瞰画像において、少なくとも、前記重複エリアに存在する立体物の方向を、前記合成処理の境界の方向に変更する
請求項１記載の車両周囲監視装置。 There are overlapping areas that overlap each other in the shooting range of the plurality of cameras,
The vehicle surroundings monitoring apparatus according to claim 1, wherein the first image generation unit changes at least a direction of a three-dimensional object existing in the overlapping area to a direction of a boundary of the synthesis process in the synthesized overhead image. 前記第１の画像生成部は、前記合成処理の境界に平行な方向に、前記重複エリアに存在する立体物の方向を変更する、
請求項２記載の車両周囲監視装置。 The first image generation unit changes the direction of the three-dimensional object existing in the overlapping area in a direction parallel to the boundary of the synthesis process.
The vehicle surrounding monitoring apparatus according to claim 2. 前記重複エリアに存在する立体物は、少なくとも２個のカメラにより撮影され、
前記第１の画像生成部は、前記立体物を撮影した一方のカメラから見た射影方向と、他方のカメラから見た射影方向とを二等分する方向に、前記重複エリアに存在する立体物の方向を変更する、
請求項２記載の車両周囲監視装置。 The three-dimensional object existing in the overlapping area is photographed by at least two cameras,
The first image generation unit is a three-dimensional object that exists in the overlapping area in a direction that bisects a projection direction viewed from one camera that has captured the three-dimensional object and a projection direction viewed from the other camera. Change the direction of
The vehicle surrounding monitoring apparatus according to claim 2. 前記複数のカメラによる撮影画像毎に、前記車両周囲を俯瞰したカメラ俯瞰画像を生成する第２の画像生成部をさらに備え、
前記第１の画像生成部は、
前記第２の画像生成部により生成された複数のカメラ俯瞰画像に基づき合成俯瞰画像を生成し、さらに、
前記第２の画像生成部により生成された複数のカメラ俯瞰画像から、前記立体物検出部による検出結果に基づき立体物を抽出して、抽出した立体物を、前記合成処理の境界の方向に変更した状態で、生成した合成俯瞰画像に描画する、
請求項１記載の車両周囲監視装置。 A second image generation unit that generates a camera overhead view of the surroundings of the vehicle for each captured image by the plurality of cameras;
The first image generation unit includes:
Generating a combined overhead image based on the plurality of camera overhead images generated by the second image generation unit;
A three-dimensional object is extracted from a plurality of camera overhead images generated by the second image generation unit based on the detection result by the three-dimensional object detection unit, and the extracted three-dimensional object is changed in the direction of the boundary of the synthesis process. Draw on the generated composite overhead image
The vehicle surrounding monitoring apparatus according to claim 1. 前記第１の画像生成部はさらに、生成した合成俯瞰画像に元々映っていた立体物の部分に、カメラ俯瞰画像を用いて路面を描画する、
請求項５記載の車両周囲監視装置。 The first image generation unit further draws a road surface using a camera overhead image on the portion of the three-dimensional object originally reflected in the generated synthesized overhead image.
The vehicle surrounding monitoring apparatus according to claim 5. 前記第１の画像生成部はさらに、現在生成した合成俯瞰画像に元々映っていた立体物の部分に、過去に生成した合成俯瞰画像を用いて路面を描画する、
請求項５記載の車両周囲監視装置。 The first image generation unit further draws a road surface using a composite overhead image generated in the past on a part of the three-dimensional object originally reflected in the currently generated composite overhead image.
The vehicle surrounding monitoring apparatus according to claim 5. 前記第１の画像生成部により生成された合成俯瞰画像を表示するモニタをさらに備える、
請求項１記載の車両周囲監視装置。 A monitor that displays the combined overhead image generated by the first image generation unit;
The vehicle surrounding monitoring apparatus according to claim 1. 車両周囲に存在する立体物を検出する第１のステップと、
複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、前記第１のステップにおける検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、前記合成処理の境界方向側に変更する第２のステップと、
を備える車両周囲監視方法。 A first step of detecting a three-dimensional object existing around the vehicle;
A composite overhead image representing a bird's-eye view around the vehicle is generated by combining the captured images of the plurality of cameras, and the direction of the three-dimensional object reflected in the generated synthesized overhead image is determined based on the detection result in the first step. A second step of changing to the boundary direction side of the synthesis process;
A vehicle surrounding monitoring method comprising:
JP2008276894A 2008-10-28 2008-10-28 Vehicle surrounding monitoring device and vehicle surrounding monitoring method Pending JP2010109452A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008276894A JP2010109452A (en) 2008-10-28 2008-10-28 Vehicle surrounding monitoring device and vehicle surrounding monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008276894A JP2010109452A (en) 2008-10-28 2008-10-28 Vehicle surrounding monitoring device and vehicle surrounding monitoring method

Publications (1)

Publication Number Publication Date
JP2010109452A true JP2010109452A (en) 2010-05-13

Family

ID=42298501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008276894A Pending JP2010109452A (en) 2008-10-28 2008-10-28 Vehicle surrounding monitoring device and vehicle surrounding monitoring method

Country Status (1)

Country Link
JP (1) JP2010109452A (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254190A (en) * 2010-06-01 2011-12-15 Clarion Co Ltd Vehicle perimeter surveillance device
JP2012113605A (en) * 2010-11-26 2012-06-14 Toshiba Alpine Automotive Technology Corp Driving support apparatus and driving support method
JP2014094737A (en) * 2012-11-09 2014-05-22 Hyundai Motor Company Co Ltd Vehicular parking position display device and method
WO2014171100A1 (en) * 2013-04-15 2014-10-23 株式会社デンソー Vehicular image processing device
JP2015074318A (en) * 2013-10-08 2015-04-20 株式会社東海理化電機製作所 Three-dimensional object confirmation device and three-dimensional object confirmation program
CN104683706A (en) * 2013-11-28 2015-06-03 财团法人金属工业研究发展中心 Image joint method
JP2016144993A (en) * 2015-02-09 2016-08-12 サクサ株式会社 Image processing apparatus
WO2017158964A1 (en) * 2016-03-18 2017-09-21 株式会社リコー Image processing device, moving body equipment control system, image processing program, and image processing method
WO2018016274A1 (en) * 2016-07-20 2018-01-25 クラリオン株式会社 Image processing device
JPWO2017056266A1 (en) * 2015-09-30 2018-03-15 株式会社小松製作所 Imaging device
WO2018146997A1 (en) * 2017-02-07 2018-08-16 日本電気株式会社 Three-dimensional object detection device
JP2018144526A (en) * 2017-03-01 2018-09-20 アイシン精機株式会社 Periphery monitoring device
JP2018190402A (en) * 2017-05-01 2018-11-29 パナソニックＩｐマネジメント株式会社 Camera parameter set calculation device, camera parameter set calculation method, and program
JP2019153138A (en) * 2018-03-05 2019-09-12 株式会社デンソー Image creation device
WO2019216393A1 (en) * 2018-05-10 2019-11-14 パナソニックＩｐマネジメント株式会社 Road surface state estimating method, road surface state estimating device, and road surface state estimating system
JP2020074186A (en) * 2020-01-22 2020-05-14 シャープ株式会社 Image processing device, image processing system, image processing method, and image processing program
JP2020149086A (en) * 2019-03-11 2020-09-17 オムロン株式会社 Training data generation apparatus, training data generation method, and training data generation program
CN111914610A (en) * 2019-05-10 2020-11-10 歌乐株式会社 Three-dimensional object detection device and three-dimensional object detection method
CN112562384A (en) * 2019-09-10 2021-03-26 现代自动车株式会社 Apparatus and method for providing overhead view image of parking space
JP2021098492A (en) * 2019-12-23 2021-07-01 バイドゥ・インターナショナル・テクノロジー・（シェンチェン）・カンパニー・リミテッドＢａｉｄｕ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．， Ｌｔｄ． Collision detection method, device, electronic device, storage medium, and program
CN112562384B (en) * 2019-09-10 2024-05-31 现代自动车株式会社 Apparatus and method for providing overhead view image of parking space

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254190A (en) * 2010-06-01 2011-12-15 Clarion Co Ltd Vehicle perimeter surveillance device
JP2012113605A (en) * 2010-11-26 2012-06-14 Toshiba Alpine Automotive Technology Corp Driving support apparatus and driving support method
JP2014094737A (en) * 2012-11-09 2014-05-22 Hyundai Motor Company Co Ltd Vehicular parking position display device and method
WO2014171100A1 (en) * 2013-04-15 2014-10-23 株式会社デンソー Vehicular image processing device
JP2014207605A (en) * 2013-04-15 2014-10-30 株式会社デンソー Image processing unit for vehicle
CN105144707A (en) * 2013-04-15 2015-12-09 株式会社电装 Vehicular image processing device
JP2015074318A (en) * 2013-10-08 2015-04-20 株式会社東海理化電機製作所 Three-dimensional object confirmation device and three-dimensional object confirmation program
CN104683706A (en) * 2013-11-28 2015-06-03 财团法人金属工业研究发展中心 Image joint method
JP2016144993A (en) * 2015-02-09 2016-08-12 サクサ株式会社 Image processing apparatus
JPWO2017056266A1 (en) * 2015-09-30 2018-03-15 株式会社小松製作所 Imaging device
US11008735B2 (en) 2015-09-30 2021-05-18 Komatsu Ltd. Image pick-up apparatus
WO2017158964A1 (en) * 2016-03-18 2017-09-21 株式会社リコー Image processing device, moving body equipment control system, image processing program, and image processing method
US10810749B2 (en) 2016-03-18 2020-10-20 Ricoh Company, Ltd. Image processing apparatus, moving body device control system, computer-readable medium, and image processing method
JPWO2017158964A1 (en) * 2016-03-18 2018-09-13 株式会社リコー Image processing apparatus, mobile device control system, image processing program, and image processing method
WO2018016274A1 (en) * 2016-07-20 2018-01-25 クラリオン株式会社 Image processing device
JP2018014583A (en) * 2016-07-20 2018-01-25 クラリオン株式会社 Image processing apparatus
WO2018146997A1 (en) * 2017-02-07 2018-08-16 日本電気株式会社 Three-dimensional object detection device
JPWO2018146997A1 (en) * 2017-02-07 2019-11-14 日本電気株式会社 Three-dimensional object detection device
JP2018144526A (en) * 2017-03-01 2018-09-20 アイシン精機株式会社 Periphery monitoring device
JP7069548B2 (en) 2017-03-01 2022-05-18 株式会社アイシン Peripheral monitoring device
JP2018190402A (en) * 2017-05-01 2018-11-29 パナソニックＩｐマネジメント株式会社 Camera parameter set calculation device, camera parameter set calculation method, and program
JP7002007B2 (en) 2017-05-01 2022-01-20 パナソニックＩｐマネジメント株式会社 Camera parameter set calculation device, camera parameter set calculation method and program
CN111819595A (en) * 2018-03-05 2020-10-23 株式会社电装 Image forming apparatus and image forming method
JP2019153138A (en) * 2018-03-05 2019-09-12 株式会社デンソー Image creation device
US11258963B2 (en) 2018-03-05 2022-02-22 Denso Corporation Image creation device and image creation method
WO2019172073A1 (en) * 2018-03-05 2019-09-12 株式会社デンソー Image creation device and image creation method
WO2019216393A1 (en) * 2018-05-10 2019-11-14 パナソニックＩｐマネジメント株式会社 Road surface state estimating method, road surface state estimating device, and road surface state estimating system
JP2020149086A (en) * 2019-03-11 2020-09-17 オムロン株式会社 Training data generation apparatus, training data generation method, and training data generation program
CN111914610A (en) * 2019-05-10 2020-11-10 歌乐株式会社 Three-dimensional object detection device and three-dimensional object detection method
CN111914610B (en) * 2019-05-10 2024-05-14 歌乐株式会社 Three-dimensional object detection device and three-dimensional object detection method
CN112562384A (en) * 2019-09-10 2021-03-26 现代自动车株式会社 Apparatus and method for providing overhead view image of parking space
CN112562384B (en) * 2019-09-10 2024-05-31 现代自动车株式会社 Apparatus and method for providing overhead view image of parking space
JP2021098492A (en) * 2019-12-23 2021-07-01 バイドゥ・インターナショナル・テクノロジー・（シェンチェン）・カンパニー・リミテッドＢａｉｄｕ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．， Ｌｔｄ． Collision detection method, device, electronic device, storage medium, and program
JP7042868B2 (en) 2019-12-23 2022-03-28 阿波▲羅▼智▲聯▼（北京）科技有限公司 Collision detection methods, devices, electronic devices, storage media, and programs
US11753005B2 (en) 2019-12-23 2023-09-12 Baidu International Technology (Shenzhen) Co., Ltd. Collision detection method, and device, as well as electronic device and storage medium
JP2020074186A (en) * 2020-01-22 2020-05-14 シャープ株式会社 Image processing device, image processing system, image processing method, and image processing program

Similar Documents

Publication Publication Date Title
JP2010109452A (en) Vehicle surrounding monitoring device and vehicle surrounding monitoring method
JP5178454B2 (en) Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method
JP5491235B2 (en) Camera calibration device
JP6029306B2 (en) Perimeter monitoring equipment for work machines
US8155385B2 (en) Image-processing system and image-processing method
JP5165631B2 (en) Vehicle surrounding image display system
US20120069153A1 (en) Device for monitoring area around vehicle
WO2014148203A1 (en) Periphery monitoring device for work machine
JP6386213B2 (en) Excavator
JP5003395B2 (en) Vehicle periphery image processing apparatus and vehicle periphery state presentation method
JP2011040825A (en) Image correction apparatus, method, and method for making transformation map used for the same
JP6045865B2 (en) Excavator
JP6324665B2 (en) Perimeter monitoring equipment for work machines
JP2010117800A (en) Parking lot monitoring device and method
JP2010141836A (en) Obstacle detecting apparatus
JP2018017115A (en) Shovel
JP2011128838A (en) Image display device
JP5960007B2 (en) Perimeter monitoring equipment for work machines
JP5805574B2 (en) Perimeter monitoring equipment for work machines
JP2006017632A (en) Three-dimensional image processor, optical axis adjustment method, and optical axis adjustment support method
JP6257918B2 (en) Excavator
US20210146837A1 (en) Overhead image generation device, overhead image generation method, and program
JP2009077022A (en) Driving support system and vehicle
JP2014224412A (en) Periphery monitoring device for work machine
JP4736611B2 (en) Image processing apparatus and image processing method