JP4756316B2 - Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method - Google Patents

Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method Download PDF

Info

Publication number
JP4756316B2
JP4756316B2 JP2005069003A JP2005069003A JP4756316B2 JP 4756316 B2 JP4756316 B2 JP 4756316B2 JP 2005069003 A JP2005069003 A JP 2005069003A JP 2005069003 A JP2005069003 A JP 2005069003A JP 4756316 B2 JP4756316 B2 JP 4756316B2
Authority
JP
Japan
Prior art keywords
area
image
shadow
wide
area image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005069003A
Other languages
Japanese (ja)
Other versions
JP2006252269A (en
Inventor
崇 平槇
俊明 柿並
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2005069003A priority Critical patent/JP4756316B2/en
Publication of JP2006252269A publication Critical patent/JP2006252269A/en
Application granted granted Critical
Publication of JP4756316B2 publication Critical patent/JP4756316B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Description

本発明は、移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成装置、広域画像生成方法、及びこれらを用いた車両の周辺監視装置に関する。   The present invention relates to a wide area image generation apparatus, a wide area image generation method, and a vehicle periphery monitoring apparatus using the same, which generate a wide area image around the mobile body from a narrow area image in the vicinity of the mobile body.

近年、車両の後方の情景を撮影し、これを車両内部の表示装置に表示して乗員による運転を支援する車両の周辺監視装置が実用化されてきている。このような装置は、例えば、車両を後退させて駐車する場合などに、運転を支援するものとして有用である。このような周辺監視装置の最も簡単な構成としては、撮影した後方の情景を、例えばナビゲーションシステム（navigation system）の表示装置に表示するようなものである。これは、運転席からでは直接視認できないようないわゆる死角の情景をも撮影でき、乗員にとって利便性の高いものではある。しかし、当然のこととして、乗員の視点や視野とは異なる画像が表示されるため、撮影された情景が一見して理解しづらい場合もある。   2. Description of the Related Art In recent years, a vehicle periphery monitoring device that captures a scene behind a vehicle and displays it on a display device inside the vehicle to assist driving by a passenger has been put into practical use. Such a device is useful for assisting driving when, for example, the vehicle is parked while the vehicle is moved backward. The simplest configuration of such a peripheral monitoring device is to display the photographed rear scene on a display device of a navigation system, for example. This makes it possible to shoot a so-called blind spot that cannot be seen directly from the driver's seat, and is highly convenient for the passenger. However, as a matter of course, an image different from the viewpoint and field of view of the occupant is displayed, so the captured scene may be difficult to understand at a glance.

下記に示す特許文献１に記載の車両周辺画像処理装置は、このような課題に鑑みてなされた発明である。この文献には、自車両と周辺に存在する対象物（例えば駐車枠）との相対位置関係を解りやすく表示するための画像処理装置に関する発明が記載されている。これは、車両に搭載されたカメラの視野の外に出た部分を推定して描画することにより、より広域の画像を表示するようにしたものである。   The vehicle periphery image processing apparatus described in Patent Document 1 shown below is an invention made in view of such a problem. This document describes an invention relating to an image processing apparatus for displaying the relative positional relationship between the host vehicle and an object (for example, a parking frame) existing in the vicinity in an easy-to-understand manner. In this case, a wider area image is displayed by estimating and drawing a portion outside the field of view of the camera mounted on the vehicle.

この発明では、カメラにより撮影した画像をこのカメラを視点として投影した地上座標系のデータに変換して鳥瞰図画像を生成する。これを第１鳥瞰図画像とする。次にこれより後に作成した第２鳥瞰図画像と、第１鳥瞰図画像とを比較し、その一致領域と不一致領域とを判別する。第１鳥瞰図画像生成時と、第２鳥瞰図画像生成時とでは、車両が移動しているので、撮影した時間が異なり、２つの鳥瞰図画像にずれが生じている。このずれによる一致領域と不一致領域とを判別する。そして、後で生成した画像（第２鳥瞰図画像）に、過去の画像（第１鳥瞰図画像）にはあって今は無い部分の画像、即ち不一致領域の画像を加味する。このようにして、カメラによる撮影領域よりも広範囲な車両の周辺の状況を明確に把握するようにしている。   In the present invention, the bird's-eye view image is generated by converting the image captured by the camera into the data of the ground coordinate system projected from the camera as the viewpoint. This is the first bird's eye view image. Next, the second bird's-eye view image created after this is compared with the first bird's-eye view image, and the matching region and the mismatching region are discriminated. When the first bird's-eye view image is generated and when the second bird's-eye view image is generated, since the vehicle is moving, the time taken is different, and there is a difference between the two bird's-eye view images. A matching area and a mismatching area due to this shift are discriminated. Then, an image of a part that is not present in the past image (first bird's-eye view image), that is, an image of a mismatch area is added to the image generated later (second bird's-eye view image). In this way, it is possible to clearly grasp the situation around the vehicle in a wider area than the imaging area by the camera.

特開２００２−８７１６０号公報（第５−９段落、第５図）JP 2002-87160 A (paragraph 5-9, FIG. 5)

この発明は、車両の移動に伴って失われる情報を活用して、広域画像を得ることのできるものである。しかし、車両など、移動体の移動に伴って得られる狭域画像は、同じ場所（上記特許文献１での一致領域の画像に相当）の画像でも明暗に差が生じていることがある。従って、移動体の移動に伴って順次不一致領域の画像を加えていった場合、この明暗の差が生成された広域画像に影響を与える。即ち、広域画像に、この明暗の差が縞模様や斑点などとして現れてしまう場合がある。このような縞模様や斑点が生じると、乗員の視認性を高めるべく広域画像を得たにも拘らず、視認性を低下させるものとなってしまい、好ましくない。   According to the present invention, a wide area image can be obtained by utilizing information lost as a vehicle moves. However, a narrow-area image obtained with the movement of a moving body such as a vehicle may have a difference in brightness even in an image at the same location (corresponding to the image of the matching area in Patent Document 1). Therefore, when images of non-matching areas are sequentially added as the moving body moves, the difference between the brightness and darkness affects the generated wide area image. In other words, this difference in brightness may appear as a striped pattern or a spot in a wide area image. If such a striped pattern or a spot occurs, the visibility is lowered even though a wide area image is obtained in order to improve the visibility of the occupant, which is not preferable.

本願発明は、このような課題に着目してなされたもので、移動体の移動に伴って生じる明暗の差の影響を取り除き、視認性に優れた移動体の周辺の広域画像を生成する装置及び方法を提供することを目的とする。   The present invention has been made paying attention to such a problem, removes the influence of the difference in brightness caused by the movement of the moving body, and generates a wide-area image around the moving body with excellent visibility, and It aims to provide a method.

この目的を達成するための本発明に係る広域画像生成装置の特徴構成は、
移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成するものであって、
前記移動体の移動状態を検出する移動状態検出手段と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得手段と、
複数の前記狭域画像を合成して前記広域画像を生成する画像合成手段と、
前記狭域画像及び前記広域画像の内の少なくとも何れか一方の画像から前記移動体の影の影響を取り除く画像補正手段と、を備える点にある。 In order to achieve this object, the characteristic configuration of the wide-area image generation device according to the present invention is as follows:
A wide-area image around this moving object is generated from a narrow-area image near the moving object,
A moving state detecting means for detecting a moving state of the moving body;
Image acquisition means for sequentially acquiring the narrow area image by overlapping a part of the image according to the movement state;
Image synthesizing means for synthesizing a plurality of the narrow area images to generate the wide area image;
Image correction means for removing the influence of the shadow of the moving body from at least one of the narrow area image and the wide area image.

移動体の近傍の狭域画像には移動体によって光が遮られることによって影が生じており、この影は移動体の移動と共に移動する。この影は、狭域画像ごとに生じる明暗の差の大きな原因となるものである。即ち、この影を含んだ狭域画像を合成して広域画像を生成すると、広域画像には縞模様や斑点等が生じることとなる。そこで、本特徴構成のように、狭域画像又は広域画像から、この影の影響を取り除く補正を実施すると、明暗の差による縞模様や斑点を抑制することができる。   A shadow is generated in the narrow area image in the vicinity of the moving body due to light being blocked by the moving body, and the shadow moves with the movement of the moving body. This shadow is a major cause of the difference in brightness produced for each narrow area image. That is, when a wide area image is generated by synthesizing the narrow area image including the shadow, a striped pattern, a spot, or the like is generated in the wide area image. Therefore, when the correction for removing the influence of the shadow is performed from the narrow area image or the wide area image as in this feature configuration, it is possible to suppress the stripe pattern and the spots due to the difference in brightness.

ここで、前記画像補正手段が、前記画像中から影領域を推定する影領域推定手段と、推定された前記影領域の画像を補正する影領域補正手段と、を備えると好適である。   Here, it is preferable that the image correction unit includes a shadow region estimation unit that estimates a shadow region from the image and a shadow region correction unit that corrects the image of the estimated shadow region.

影領域推定手段を備えることにより、明暗の差の原因となる影領域を高い精度で見つけることができる。狭域画像は移動体の移動に応じて取得され、影領域は当然移動体と共に移動する。従って、影領域は、異なる狭域画像間において異なる場所を表す画像上に存在する。逆に、異なる狭域画像間において同一の場所を表す画像上の一方が影領域となり、他方が影領域ではないこともある。従って、一つの狭域画像の画像領域において影領域を見つけると、他の狭域画像の画像領域中で影領域ではない画像との比較が可能となる。そして、一つの狭域画像の画像領域に存在する影領域の画像を影領域補正手段によって補正すれば、狭域画像の画像領域から影の影響を排除することができる。従って、このような処理を施された狭域画像の画像領域の集合体である広域画像に出現する縞模様や斑点を抑制することができる。   By providing the shadow region estimation means, it is possible to find a shadow region that causes a difference in light and dark with high accuracy. The narrow area image is acquired according to the movement of the moving body, and the shadow area naturally moves together with the moving body. Therefore, the shadow area exists on images representing different places between different narrow area images. Conversely, one of the images representing the same place between different narrow area images may be a shadow area, and the other may not be a shadow area. Therefore, when a shadow area is found in the image area of one narrow area image, it is possible to compare with an image that is not a shadow area in the image area of another narrow area image. Then, if the shadow area image existing in the image area of one narrow area image is corrected by the shadow area correcting means, the influence of the shadow can be eliminated from the image area of the narrow area image. Therefore, it is possible to suppress striped patterns and spots appearing in the wide area image that is an aggregate of the image areas of the narrow area image subjected to such processing.

また、一つの狭域画像から影領域と影外領域とを推定し、影領域補正手段によって補正してもよい。具体的には、影領域推定手段によって推定された影の境界（例えば図７（ａ）のＢＬ）から法線方向に内側へ所定画素又は所定距離離れた位置（例えば図７（ａ）のＳＥ）を影領域とする。そして、同じく影の境界から外側へ所定画素又は所定距離離れた位置（例えば図７（ａ）のＬＥ）を影外領域とし、影領域と影外領域とを比較して補正してもよい。   Further, the shadow area and the out-of-shadow area may be estimated from one narrow area image and corrected by the shadow area correction unit. Specifically, a position (for example, SE in FIG. 7A) that is a predetermined pixel or a predetermined distance inward in the normal direction from the boundary of the shadow estimated by the shadow area estimation means (for example, BL in FIG. 7A). ) Is a shadow area. Similarly, a position that is a predetermined pixel or a predetermined distance away from the boundary of the shadow (for example, LE in FIG. 7A) may be used as the non-shadow area, and the shadow area and the non-shadow area may be compared and corrected.

尚、影領域の推定及び補正は、広域画像への合成前の狭域画像に対して実施してもよいし、広域画像への合成後に実施してもよい。つまり、上記において、「狭域画像の画像領域」と称して説明したように、狭域画像、広域画像の別に拘らず、推定及び補正の対象を「狭域画像の画像領域」にすることが可能である。広域画像は、狭域画像の集合体であるから、広域画像中から各狭域画像に対応する狭域画像の画像領域を見つけることは容易である。この時、必ずしも、広域画像中から各狭域画像領域を切り出して処理する必要はない。例えば、影領域と推定される座標値だけを狭域画像の画像領域から求め、オフセット値を与えて補正処理は広域画像全体の中で行うようにもできる。つまり、影領域が各狭域画像の領域に含まれていることを利用すれば、影領域の推定や補正は、何れの画像に対して実施しても効果的に行うことができる。また、狭域画像と広域画像との双方で推定及び補正の処理を行ってもよい。狭域画像に対する処理でピンポイントの補正を行い、広域画像に対する処理で、全体のバランスを整合させる補正を行ってさらに視認性を向上させることも可能となる。   Note that the estimation and correction of the shadow area may be performed on the narrow area image before being combined with the wide area image, or may be performed after being combined with the wide area image. That is, in the above description, as described as “image region of a narrow area image”, regardless of whether the image is a narrow area image or a wide area image, the target of estimation and correction can be set to “an image area of a narrow area image”. Is possible. Since the wide area image is a collection of narrow area images, it is easy to find the image area of the narrow area image corresponding to each narrow area image from the wide area image. At this time, it is not always necessary to cut out and process each narrow area image region from the wide area image. For example, only the coordinate value estimated as the shadow area can be obtained from the image area of the narrow area image, and the correction process can be performed in the entire wide area image by giving an offset value. In other words, if the fact that the shadow area is included in each narrow area image is used, the estimation and correction of the shadow area can be effectively performed for any image. Further, estimation and correction processing may be performed on both the narrow area image and the wide area image. It is also possible to perform pinpoint correction in the processing for the narrow area image, and perform correction for matching the overall balance in the processing for the wide area image to further improve the visibility.

また、前記影領域推定手段が、前記移動体が存在する位置と進行する方位とを含む測位情報を取得する測位情報取得手段と、現在の年月日及び時刻の日時情報を取得する日時情報取得手段と、前記測位情報と前記日時情報とを用いて前記移動体の影を生じさせる光源の位置情報を含む光源条件を演算する光源条件演算手段と、前記移動体の外形形状を表す情報を記憶する記憶手段と、前記光源条件と前記外形形状とを用いて前記移動体の影が発生する場所及び大きさを推定する推定演算部と、を備えると好適である。 In addition, the shadow area estimation means acquires positioning information acquisition means for acquiring positioning information including the position where the moving object is present and the traveling direction, and date / time information acquisition for acquiring date information of the current date and time Means, light source condition calculation means for calculating a light source condition including position information of a light source that causes a shadow of the moving body using the positioning information and the date and time information, and information representing an outer shape of the moving body is stored It is preferable to include a storage unit that performs estimation, and an estimation calculation unit that estimates the location and size of the shadow of the moving body using the light source condition and the outer shape .

測位情報と、日時情報とを取得すると、移動体に影を生じさせる光源、例えば太陽などの光源条件を演算することができる。そして、この光源条件と、移動体自身の外形形状の情報とにより、移動体の影がどの位置にどの程度の大きさ及び形状でできるかを推定することができる。その結果、精度良く影領域を推定することができ、影領域の画像補正も良好に行うことができる。   When the positioning information and the date / time information are acquired, a light source condition causing a shadow on the moving body, for example, a light source condition such as the sun can be calculated. Based on the light source condition and information on the outer shape of the moving body itself, it is possible to estimate at what position and in what size and shape the shadow of the moving body can be formed. As a result, the shadow area can be estimated with high accuracy, and the image correction of the shadow area can be performed well.

また、前記影領域補正手段は、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域に含まれる画素の濃度値を補正すると好適である。   In addition, the shadow area correction unit includes the in-shadow image information calculated according to the density value of the pixel included in the shadow area and the out-of-shadow image information calculated according to the density value of the pixel included outside the shadow area. Based on the above, it is preferable to correct the density value of the pixels included in the shadow region.

上述したように、一つの狭域画像の画像領域において影領域を見つけると、他の狭域画像の画像領域中で影領域ではない画像との比較が可能となる。ここで、一つの狭域画像の画像領域において見つけた（推定した）影領域の画素の濃度値に応じて算出したものが影内画像情報である。そして、これに対応する他の狭域画像の画像領域中の影領域ではない部分の画素の濃度値に応じて算出したものが影外画像情報である。このように、画素値に基づいて算出した定量的な影内画像情報と、影外画像情報とに基づいて、影領域に含まれる画素の濃度値を補正する。従って、精度の良い補正が可能となり、その結果、広域画像に表れる縞模様や斑点を効果的に抑制することができる。また、上述したように、一つの狭域画像内で影領域と影外領域とを見つけ、比較することで影領域の濃度値を補正しても、同じ効果を得ることができる。   As described above, when a shadow area is found in the image area of one narrow area image, it is possible to compare with an image that is not a shadow area in the image area of another narrow area image. Here, the in-shadow image information is calculated according to the density value of the pixel in the shadow area found (estimated) in the image area of one narrow area image. Then, the non-shadow image information is calculated according to the density value of the pixel of the portion that is not the shadow region in the image region of the other narrow-area image corresponding to this. As described above, the density value of the pixel included in the shadow region is corrected based on the quantitative in-shadow image information calculated based on the pixel value and the out-of-shadow image information. Accordingly, it is possible to perform correction with high accuracy, and as a result, it is possible to effectively suppress striped patterns and spots appearing in the wide area image. Further, as described above, the same effect can be obtained even if the shadow region and the non-shadow region are found and compared in one narrow area image and the density value of the shadow region is corrected.

また、前記影領域補正手段は、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域に含まれる画素の濃度値を補正すると好ましい。   In addition, the shadow area correction unit includes the in-shadow image information calculated according to the density value of the pixel included in the shadow area and the out-of-shadow image information calculated according to the density value of the pixel included outside the shadow area. Based on the above, it is preferable to correct the density value of the pixels included in the shadow area.

移動体が移動する路面は、一様な状態であるとは限らない。従って、撮影された路面の狭域画像やこれを合成した広域画像には、他の物体や路面の汚れや路面上の表示といったものも含まれる。上述したように、一つの狭域画像の画像領域において見つけた影領域と、他の狭域画像の画像領域中での影領域ではない画像との比較を行う際に一方が路面でないと好ましくない。即ち、この比較に際しては、同一の条件のもとで、できるだけ、多くの画素を含んで影内及び影外の画像情報を算出することが望ましい。このような条件を満たすには、画像中で大きな割合を占める路面領域の画像を利用することが好ましい。そこで、上記のように路面領域と路面外領域とを判別する路面領域判別手段を備え、路面領域に含まれる画素を用いて、影内及び影外の画像情報を算出する。このようにすれば、安定した条件のもとで、影内領域と影外領域とを整合させることができ、精度のよい補正が可能となる。その結果、広域画像に表れる縞模様や斑点を効果的に抑制することができる。   The road surface on which the moving body moves is not always in a uniform state. Therefore, the captured narrow area image of the road surface or the wide area image obtained by synthesizing the image includes other objects, dirt on the road surface, and display on the road surface. As described above, when comparing a shadow area found in the image area of one narrow area image with an image that is not a shadow area in the image area of another narrow area image, it is not preferable that one is not a road surface. . That is, in this comparison, it is desirable to calculate the image information inside and outside the shadow including as many pixels as possible under the same conditions. In order to satisfy such a condition, it is preferable to use an image of a road surface area that occupies a large proportion in the image. Therefore, as described above, the road surface area determination means for determining the road surface area and the road surface outside area is provided, and the image information inside and outside the shadow is calculated using the pixels included in the road surface area. In this way, the in-shadow region and the out-of-shadow region can be matched under stable conditions, and accurate correction can be performed. As a result, striped patterns and spots appearing in the wide area image can be effectively suppressed.

また、前記移動体が車両であり、上記広域画像生成装置を備えて、生成した前記広域画像を前記車両の内部に備える表示手段に表示する車両の周辺監視装置を構成すると好適である。   Further, it is preferable that the moving body is a vehicle, and includes a wide area image generation apparatus, and a vehicle periphery monitoring apparatus configured to display the generated wide area image on a display unit provided inside the vehicle.

本発明に係る広域画像生成装置を車両に備えれば、車両を運転する乗員から死角となるような場所も含め、広域な画像を表示できる周辺監視装置を得ることができる。車両の移動に伴って失われていく遠方の画像も含んで広域画像を生成するので、撮影した狭域画像も効率的に利用できる。また、広角カメラを使用せずに広域画像を得られるので装置のコストも低減できる。   If the vehicle is provided with the wide area image generation device according to the present invention, it is possible to obtain a periphery monitoring device capable of displaying a wide area image including a place where a blind spot is formed by an occupant driving the vehicle. Since a wide-area image is generated including a distant image that is lost as the vehicle moves, the captured narrow-area image can also be used efficiently. In addition, since a wide area image can be obtained without using a wide-angle camera, the cost of the apparatus can be reduced.

さらに、この車両の周辺監視装置が、前記画像合成手段において、前記広域画像にさらに前記車両を示す画像を合成すると好ましい。   Furthermore, it is preferable that the vehicle periphery monitoring device further synthesizes an image showing the vehicle with the wide area image in the image synthesizing unit.

得られた広域画像の中に、自車両を示す画像を合成すると、車両を運転する乗員は、広域画像の中で自分が乗車する車両の位置を容易に把握できる。その結果、車両の移動に伴って生じる明暗の差が取り除かれた広域画像を用いて、さらに視認性に優れた表示が実現でき、利便性に優れた車両の周辺監視装置を得ることができる。   When an image showing the host vehicle is synthesized with the obtained wide area image, the occupant driving the vehicle can easily grasp the position of the vehicle on which the user gets in the wide area image. As a result, it is possible to realize a display with higher visibility using a wide-area image from which the difference in brightness caused by the movement of the vehicle is removed, and to obtain a vehicle periphery monitoring device with excellent convenience.

また、本発明に係る移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成方法の特徴は、
前記移動体の移動状態を検出する移動状態検出工程と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得工程と、
前記狭域画像から前記移動体の影の影響を取り除く画像補正工程と、
補正された複数の前記狭域画像を合成して前記広域画像を生成する画像合成工程と、を備え、
前記画像中から影領域を推定する影領域推定工程と、
推定された前記影領域の画像について、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域と前記影領域外との明暗の差を取り除くように前記影領域に含まれる画素の濃度値を補正する影領域補正工程と、を備える点にある。 Further, the feature of the wide area image generation method for generating the wide area image around the moving body from the narrow area image near the moving body according to the present invention is as follows.
A moving state detecting step of detecting a moving state of the moving body;
An image acquisition step of sequentially acquiring the narrow area image by overlapping a part of the image according to the movement state;
An image correction step for removing the influence of the shadow of the moving object from the narrow area image,
An image synthesis step of synthesizing the plurality of corrected narrow-area images to generate the wide-area image ,
A shadow area estimation step for estimating a shadow area from the image;
For the estimated image of the shadow area, the in-shadow image information calculated according to the density value of the pixel included in the shadow area and the out-of-shadow image calculated according to the density value of the pixel included outside the shadow area based on the information, and the shadow region correction step of correcting the density values of pixels the included in the shadow region so as to eliminate the difference in brightness between the shadow region outside said shadow region lies in that Ru comprising a.

この特徴によれば、順次取得される狭域画像において、影の影響を取り除くので、広域画像をほぼリアルタイムに生成することができる。また、狭域画像は影の影響を補正されているので、広域画像を生成する際に重複する領域を検出し易くなり、広域画像の生成処理を簡単にすることができる。   According to this feature, since the influence of the shadow is removed from the sequentially acquired narrow area images, the wide area image can be generated almost in real time. Further, since the influence of the shadow is corrected in the narrow area image, it becomes easy to detect the overlapping area when generating the wide area image, and the generation process of the wide area image can be simplified.

また、本発明に係る移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成方法の別の特徴は、
前記移動体の移動状態を検出する移動状態検出工程と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得工程と、
取得された複数の前記狭域画像を合成して前記広域画像を生成する画像合成工程と、
前記広域画像から前記移動体の影の影響を取り除く画像補正工程と、を備え、
前記画像中から影領域を推定する影領域推定工程と、
推定された前記影領域の画像について、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域と前記影領域外との明暗の差を取り除くように前記影領域に含まれる画素の濃度値を補正する影領域補正工程と、を備える点にある。 Further, another feature of the wide area image generation method for generating a wide area image around the moving body from the narrow area image in the vicinity of the moving body according to the present invention is as follows:
A moving state detecting step of detecting a moving state of the moving body;
An image acquisition step of sequentially acquiring the narrow area image by overlapping a part of the image according to the movement state;
An image synthesis step of synthesizing the plurality of acquired narrow-area images to generate the wide-area image;
An image correction step for removing the influence of the shadow of the moving body from the wide area image ,
A shadow area estimation step for estimating a shadow area from the image;
For the estimated image of the shadow area, the in-shadow image information calculated according to the density value of the pixel included in the shadow area and the out-of-shadow image calculated according to the density value of the pixel included outside the shadow area based on the information, and the shadow region correction step of correcting the density values of pixels the included in the shadow region so as to eliminate the difference in brightness between the shadow region outside said shadow region lies in that Ru comprising a.

この特徴によれば、影を残した状態で広域画像を生成し、広域画像上で影の影響を取り除くので、画像補正工程をまとめて実行できる。その結果、演算装置の負荷を軽減することができる。また、広域画像全体でのバランスを考慮した補正を行うようにすることもできる。   According to this feature, a wide area image is generated with a shadow remaining, and the influence of the shadow is removed on the wide area image, so that the image correction process can be performed collectively. As a result, the load on the arithmetic device can be reduced. It is also possible to perform correction in consideration of the balance of the entire wide area image.

尚、これら本発明に係る広域画像生成方法は、上述した広域画像生成装置に関する作用効果、及び全ての追加的特徴とその作用効果を備えることができるものである。   Note that the wide area image generation method according to the present invention can be provided with the operational effects related to the above-described wide area image generating apparatus, and all the additional features and operational effects thereof.

以下、本発明に係る広域画像生成方法及び装置を、本発明に係る車両の周辺監視装置に適用した場合の実施形態を図面に基づいて説明する。初めに、図１０〜図１３に基づいて、移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する流れを説明する。   Hereinafter, an embodiment in which a wide area image generating method and apparatus according to the present invention are applied to a vehicle periphery monitoring apparatus according to the present invention will be described with reference to the drawings. First, a flow of generating a wide area image around a moving object from a narrow area image near the moving object will be described with reference to FIGS.

図１０は、移動体１から後方を撮影した狭域画像Ｎと、この狭域画像Ｎから広域画像Ｂを生成する際の再投影との関係を説明する図である。図に示すように狭域画像Ｎは、両側が平行である路面Ｌが遠方の消失点ＶＰにおいて交差する射影平面である。この射影平面の狭域画像Ｎをユークリッド平面に再投影することにより、広域画像Ｂを生成する。上述したように、狭域画像Ｎは消失点ＶＰを有する射影平面の画像であり、消失点ＶＰへ近づくほど、情報量が少なくなる。即ち、視点（移動体１に備えられた撮影装置）から遠い部分の画像は画質が悪い。このため、広域画像Ｂの生成に際しては、視点に近い部分の画像領域Ｖのみを用いるようにしている。また、このように狭域画像Ｎを広域画像Ｂへ再投影することは異なる幾何平面への変換となる。従って、全ての情報が１対１では対応せず、適宜補間処理等が施される。また、図に示したように移動体１の近傍の両側部には、死角Ｄが出現する。   FIG. 10 is a diagram for explaining the relationship between the narrow area image N taken from the back of the moving body 1 and reprojection when the wide area image B is generated from the narrow area image N. As shown in the figure, the narrow area image N is a projection plane where road surfaces L whose both sides are parallel intersect each other at a distant vanishing point VP. A wide area image B is generated by reprojecting the narrow area image N of the projection plane onto the Euclidean plane. As described above, the narrow area image N is an image of a projection plane having the vanishing point VP, and the amount of information decreases as the vanishing point VP approaches. That is, the image quality of a portion far from the viewpoint (the photographing device provided in the moving body 1) is poor. For this reason, when generating the wide area image B, only the image area V of the portion close to the viewpoint is used. Further, reprojecting the narrow area image N to the wide area image B in this way results in conversion to a different geometric plane. Accordingly, all information does not correspond one-on-one, and interpolation processing or the like is appropriately performed. In addition, as shown in the figure, blind spots D appear on both sides in the vicinity of the moving body 1.

図１１は、上述した再投影により、複数の狭域画像Ｎから広域画像Ｂを生成する場合の例を説明する図である。移動体１は後述するように、移動状態を検出する移動状態検出手段を有しており、検出した移動状態に応じて画像の一部を重複させて狭域画像Ｎを順次取得する。図１１では、移動状態に応じた移動体１として、符号１ａ、１ｂ、１ｃを図示している。図中において、移動体１は、進行方向Ｔに向かって直進している。最も過去の移動体１の位置が符号１ａであり、直近の移動体１の位置が符号１ｃである。図１１に示すように、移動状態に応じて、即ち移動体１ａ、１ｂ、１ｃは、それぞれ画像の一部を重複させて狭域画像ｎ１、ｎ２、ｎ３を順次取得する。ここで、重複する部分は、上述した画像領域Ｖの範囲に含まれる。従って、これら狭域画像ｎ１〜ｎ３それぞれの画像領域Ｖの重複部分を重ね合わせて上述したように再投影することにより、連続した広域画像Ｂが得られる。   FIG. 11 is a diagram illustrating an example in which a wide area image B is generated from a plurality of narrow area images N by the reprojection described above. As will be described later, the moving body 1 has moving state detecting means for detecting the moving state, and sequentially acquires the narrow area images N by overlapping a part of the images according to the detected moving state. In FIG. 11, reference numerals 1 a, 1 b, and 1 c are illustrated as the moving body 1 according to the moving state. In the figure, the moving body 1 is traveling straight in the traveling direction T. The position of the oldest moving body 1 is denoted by reference numeral 1a, and the position of the latest moving body 1 is denoted by reference numeral 1c. As shown in FIG. 11, according to the moving state, that is, the mobile bodies 1a, 1b, and 1c sequentially acquire the narrow area images n1, n2, and n3 by overlapping a part of the images. Here, the overlapping portion is included in the range of the image region V described above. Therefore, a continuous wide-area image B is obtained by superimposing overlapping portions of the image areas V of the narrow-area images n1 to n3 and reprojecting them as described above.

図１２は、図１０における移動体１の影の影響を説明する図である。移動体１に当たる光によって、その周辺には影が生じる。図１２には、移動体１の後方に影が生じ、狭域画像Ｎに影領域Ｓが含まれる場合を示したものである。影は移動体１の近傍に生じるため、影領域Ｓは、図１２に示すように広域画像Ｂの生成に用いられる画像領域Ｖの範囲に存在している。   FIG. 12 is a diagram for explaining the influence of the shadow of the moving body 1 in FIG. A shadow is generated in the vicinity of the light by the light hitting the moving body 1. FIG. 12 shows a case where a shadow is generated behind the moving body 1 and the shadow area S is included in the narrow area image N. Since the shadow is generated in the vicinity of the moving body 1, the shadow area S exists in the range of the image area V used for generating the wide area image B as shown in FIG.

図１３は、図１２に示した影を有した狭域画像を用いて広域画像を生成する場合の影の影響を説明する図である。図１３においては、移動体１として具体的に車両を例として示している。図１３（ａ）は、一つの狭域画像Ｎ（ｎ１）を広域画像Ｂに再投影した状態を示している。幾何平面は変換されているが、移動体１から撮影した状態が影を含めてほぼ忠実に再投影されている。図１３（ｂ）は、先の狭域画像ｎ１に続いて取得された狭域画像ｎ２より得た有効な画像領域Ｖを狭域画像ｎ１に重ね合わせて広域画像Ｂに再投影した状態である。最新の狭域画像ｎ２では、移動体１の移動に伴って先の狭域画像ｎ１において影領域Ｓであった部分でも影領域Ｓから脱している部分がある。従って、この影領域Ｓから脱した部分は非影領域として再投影されるので、結果として広域画像Ｂより影が消されることとなる。一方、狭域画像ｎ１の有効な画像領域Ｖにおいて影領域Ｓであった部分で、狭域画像ｎ２の有効な画像領域Ｖの範囲に含まれない部分は影が残存する。これを順次取得する複数の狭域画像Ｎに亘って繰り返すと、図１３（ｃ）に示すように、生成した広域画像Ｂに縞模様や斑点が現れることになる。   FIG. 13 is a diagram for explaining the influence of a shadow when a wide area image is generated using the narrow area image having the shadow shown in FIG. In FIG. 13, a vehicle is specifically shown as an example of the moving body 1. FIG. 13A shows a state in which one narrow area image N (n1) is reprojected onto the wide area image B. FIG. Although the geometric plane is converted, the state photographed from the moving body 1 is reprojected almost faithfully including the shadow. FIG. 13B shows a state in which an effective image area V obtained from the narrow area image n2 acquired subsequent to the previous narrow area image n1 is superimposed on the narrow area image n1 and re-projected on the wide area image B. . In the latest narrow area image n2, there is a part that is removed from the shadow area S even in the previous narrow area image n1 that is the shadow area S as the moving body 1 moves. Accordingly, the portion that has escaped from the shadow region S is reprojected as a non-shadow region, and as a result, the shadow is erased from the wide area image B. On the other hand, a shadow remains in a portion that is the shadow region S in the effective image region V of the narrow-area image n1 and is not included in the effective image region V of the narrow-region image n2. When this is repeated over a plurality of narrow-area images N that are sequentially acquired, stripe patterns and spots appear in the generated wide-area image B as shown in FIG.

本発明に係る広域画像生成装置では、広域画像Ｂにこのような縞模様や斑点が生じないように構成している。図１は、本発明に係る広域画像生成装置を適用した車両の周辺監視装置（本発明に係る車両の周辺監視装置）の好適な実施形態の一例を示すブロック図である。図１に示すように、広域画像生成装置１００は、一群の移動状態検出手段２と、画像取得部３（画像取得手段）と、画像処理部６とを備えている。画像処理部６は、画像補正部５（画像補正手段）と画像合成部４（画像合成手段）とを備えており、この画像処理部６で影の影響を排した広域画像Ｂを生成している。   The wide area image generating apparatus according to the present invention is configured so that such a striped pattern and spots do not occur in the wide area image B. FIG. 1 is a block diagram showing an example of a preferred embodiment of a vehicle periphery monitoring device (a vehicle periphery monitoring device according to the present invention) to which a wide area image generating device according to the present invention is applied. As shown in FIG. 1, the wide area image generation device 100 includes a group of movement state detection means 2, an image acquisition unit 3 (image acquisition unit), and an image processing unit 6. The image processing unit 6 includes an image correcting unit 5 (image correcting unit) and an image synthesizing unit 4 (image synthesizing unit). The image processing unit 6 generates a wide area image B excluding the influence of shadows. Yes.

広域画像生成装置１００は、移動体１としての車両１に搭載されており、生成された広域画像Ｂは表示制御部８を介して車室内のモニタ９で表示が可能である。車両１の乗員はモニタ９を見ることにより、例えば車両１の後方の広域画像Ｂを振り返ることなく視認できる。このように広域画像生成装置１００を用いて、車両の周辺監視装置を構築できる。また、後述するように広域画像生成装置１００は、車両外形記憶部５６（記憶部、図２参照）を備えている。従って、この情報を利用して表示制御部８において、自車両の外形を重ね合わせてモニタ９に表示させることも可能である。尚、このモニタ９は、例えば、ナビゲーションシステム（navigation system）のものを兼用すればよい。   The wide area image generating apparatus 100 is mounted on the vehicle 1 as the moving body 1, and the generated wide area image B can be displayed on the monitor 9 in the vehicle interior via the display control unit 8. An occupant of the vehicle 1 can view the wide area image B behind the vehicle 1 without looking back, for example, by looking at the monitor 9. In this manner, a vehicle periphery monitoring device can be constructed using the wide area image generation device 100. As will be described later, the wide area image generation device 100 includes a vehicle outer shape storage unit 56 (storage unit, see FIG. 2). Therefore, it is possible to display the information on the monitor 9 by superimposing the outer shape of the host vehicle in the display control unit 8 using this information. For example, the monitor 9 may be a navigation system.

画像取得部３は、カメラ３１とカメラ制御部３２とを備えている。画像取得部３には、舵角センサ２１やシフト位置検出部２２や車輪速センサ２３等の一群の移動状態検出手段２からの検出結果が入力される。舵角センサ２１は、車両１のステアリングの角度を検出するものであり、車両１の進行方向が予測できる。シフト位置検出部２２は、車両１が前進・後退等どの方向に運転されているかを検出できる。車輪速センサ２３は、車両の移動距離・速度を検出する。また、左右の車輪速の違いなどから操舵方向を検出するようにすることもできる。   The image acquisition unit 3 includes a camera 31 and a camera control unit 32. The image acquisition unit 3 receives detection results from a group of moving state detection means 2 such as the steering angle sensor 21, the shift position detection unit 22, and the wheel speed sensor 23. The steering angle sensor 21 detects the steering angle of the vehicle 1 and can predict the traveling direction of the vehicle 1. The shift position detector 22 can detect in which direction the vehicle 1 is driven, such as forward and backward. The wheel speed sensor 23 detects the moving distance / speed of the vehicle. Also, the steering direction can be detected from the difference between the left and right wheel speeds.

カメラ制御部３２は、これら移動状態検出手段２の内少なくとも一つが検出した車両１の移動状態に応じて、カメラ３１を制御して車両１近傍の画像（狭域画像Ｎ）を撮影する。この狭域画像Ｎの撮影に際しては、画像の一部が重複するような間隔をおいて撮影する。好ましくは、車両１の移動距離がほぼ等間隔となるような間隔であると、狭域画像Ｎが一定間隔で取得できる。尚、移動距離をほぼ等間隔とするために、移動速度との関係により時間間隔を計算し、この時間に応じて制御しても同様である。また、カメラ３１は複数備えていてもよい。例えば、バックカメラとサイドカメラとを備えていれば、図１０を用いて上述したような死角Ｄをサイドカメラの画像にて補完することもできる。   The camera control unit 32 controls the camera 31 according to the movement state of the vehicle 1 detected by at least one of the movement state detection means 2 and takes an image (narrow area image N) in the vicinity of the vehicle 1. When the narrow-area image N is captured, the images are captured at intervals such that part of the images overlap. Preferably, the narrow-area images N can be acquired at regular intervals when the movement distance of the vehicle 1 is substantially equal. In order to make the movement distance substantially equal, the time interval is calculated according to the relationship with the movement speed, and the control is performed according to this time. A plurality of cameras 31 may be provided. For example, if a back camera and a side camera are provided, the blind spot D as described above with reference to FIG. 10 can be supplemented with the image of the side camera.

画像処理部６は、上述したように、画像補正部５と画像合成部４とを備えている。画像補正部５は、さらに影領域推定部５１と影領域補正部５２とを備えている。画像補正部５は、車両１による影領域Ｓを狭域画像Ｎや広域画像Ｂの画像中から推定し、この影領域Ｓの画像を補正する。この推定や補正に際して、ＧＰＳ（Global Positioning System）Ｉ／Ｆ７１やカレンダー部７２や時計部７３等の情報を活用する。詳細については後述する。表示制御部８を介してモニタ９に表示される画像は、こうして影の影響を取り除かれたものである。従って、車両１の乗員は、図１３に示したような縞模様や斑点のある画像ではなく、視認性に優れた広域画像Ｂを見ることができる。   As described above, the image processing unit 6 includes the image correction unit 5 and the image composition unit 4. The image correction unit 5 further includes a shadow region estimation unit 51 and a shadow region correction unit 52. The image correction unit 5 estimates the shadow area S of the vehicle 1 from the images of the narrow area image N and the wide area image B, and corrects the image of the shadow area S. In this estimation and correction, information such as a GPS (Global Positioning System) I / F 71, a calendar unit 72, a clock unit 73, and the like is used. Details will be described later. The image displayed on the monitor 9 via the display control unit 8 is one in which the influence of the shadow is removed in this way. Therefore, the occupant of the vehicle 1 can see the wide-area image B excellent in visibility, not the striped pattern or the spotted image as shown in FIG.

尚、画像合成部４において、狭域画像Ｎから広域画像Ｂを合成するが、これについては、図１０〜図１３に基づいて上述した内容と同様であるので説明を省略する。   The image composition unit 4 synthesizes the wide area image B from the narrow area image N, which is the same as that described above with reference to FIGS.

図２は、図１に示す画像補正部５のブロック図である。影領域推定部５１は、測位情報取得部５３（測位情報取得手段）と、日時情報取得部５４（日時情報取得手段）と、光源条件演算部５５（光源条件演算手段）と、車両外形記憶部５６（記憶手段）と、推定演算部５７とを備えている。   FIG. 2 is a block diagram of the image correction unit 5 shown in FIG. The shadow area estimation unit 51 includes a positioning information acquisition unit 53 (positioning information acquisition unit), a date information acquisition unit 54 (date information acquisition unit), a light source condition calculation unit 55 (light source condition calculation unit), and a vehicle outer shape storage unit. 56 (storage means) and an estimation calculation unit 57.

測位情報取得部５３は、車両１の存在位置や方向、傾き具合等の測位情報を取得するものである。このような測位情報は、ＧＰＳＩ／Ｆ７１や一群の移動状態検出手段２や三次元センサ（傾きセンサ）等から入力される。ＧＰＳＩ／Ｆ７１は、人工衛星からの信号により車両１の現在位置を測定するＧＰＳ（Global Positioning System）のインターフェイスである。これにより、車両１の緯度経度を得る。また、移動状態検出手段２より車両１の舵角、シフト位置、移動速度を得る。また、三次元センサ（不図示）により坂道等における車両１の水平状態からの傾き情報を得る。   The positioning information acquisition unit 53 acquires positioning information such as the position and direction of the vehicle 1 and the inclination. Such positioning information is input from the GPS I / F 71, a group of movement state detection means 2, a three-dimensional sensor (tilt sensor), or the like. The GPS I / F 71 is a GPS (Global Positioning System) interface that measures the current position of the vehicle 1 using a signal from an artificial satellite. As a result, the latitude and longitude of the vehicle 1 are obtained. Further, the steering angle, shift position, and movement speed of the vehicle 1 are obtained from the movement state detection means 2. In addition, inclination information from the horizontal state of the vehicle 1 on a slope or the like is obtained by a three-dimensional sensor (not shown).

日時情報取得部５４は、車両１に搭載されたカレンダー部７２や時計部７３より現在日時に関する情報を取得する。あるいは、ＧＰＳＩ／Ｆ７１により、人工衛星から日時情報を取得してもよい。   The date information acquisition unit 54 acquires information related to the current date and time from the calendar unit 72 and the clock unit 73 mounted on the vehicle 1. Alternatively, the date / time information may be acquired from the artificial satellite by the GPS I / F 71.

このようにして得られた測位情報と日時情報とを用いて、光源条件演算部５５が光源条件を演算する。この演算に際しては、必要に応じて記憶された地学的情報（例えば太陽の位置情報や天候）や、照度センサ（不図示）の検出結果等を加味してもよい。光源条件とは、車両１の影を生じさせる太陽の位置や、この太陽による日照の強さである。   The light source condition calculation unit 55 calculates the light source condition using the positioning information and date / time information obtained in this way. In this calculation, stored geological information (for example, solar position information and weather), detection results of an illuminance sensor (not shown), and the like may be taken into consideration as necessary. The light source condition is the position of the sun that causes the shadow of the vehicle 1 and the intensity of sunlight by the sun.

そして、この光源条件と、予め車両外形記憶部５６（記憶部）に記憶している車両の外形形状とに基づいて、推定演算部５７が車両１の影の発生する場所及び大きさを推定する。このとき、照度センサより得られた日照の強さも光源条件として算出できていれば、この影の濃さも推定する。 Based on the light source condition and the vehicle outer shape stored in advance in the vehicle outer shape storage unit 56 (storage unit), the estimation calculation unit 57 estimates the location and size of the shadow of the vehicle 1. . At this time, if the intensity of sunshine obtained from the illuminance sensor can also be calculated as the light source condition, the shadow density is also estimated.

図３は、このようにして車両１の影領域Ｓを推定する方法を説明する図である。上述したように、車両１側では人工衛星７０等による情報を得て、光源である太陽５０の現在位置や移動軌跡等を演算し、自車両の影領域Ｓを推定する。   FIG. 3 is a diagram illustrating a method for estimating the shadow region S of the vehicle 1 in this way. As described above, the vehicle 1 side obtains information from the artificial satellite 70 or the like, calculates the current position of the sun 50 that is the light source, the movement locus, and the like, and estimates the shadow area S of the own vehicle.

このようにして影領域Ｓが推定できると、影領域補正部５２において、この影領域Ｓを補正する。本実施形態においては、推定された影領域Ｓと、これ以外の影外領域とを比較することにより、影領域Ｓの画像を影外領域の画像の濃度に整合させる。しかし、影が生じている路面Ｌには、例えばマンホールの蓋や中央分離帯等の物体、センターラインや停止線等の道路標示、汚れ等が存在することがある。従って、影領域Ｓと影外領域との画像の濃度を正しく比較できない場合がある。そこで、図２に示すように、影領域補正部５２に、路面領域判別部５８を備えている。路面領域判別部５８では、路面Ｌの中で路面領域と路面外領域とを判別し、影領域Ｓの補正に際して参酌する路面Ｌから路面外領域を外すようにする。既に影領域推定部５１により影領域Ｓが推定されているので、影領域Ｓ以外で路面Ｌと濃度差の生じている領域等を概略認識する。また、エッジ検出などの公知の画像処理を組み合わせてもよい。このようにして、補正演算部５９では、路面領域における影領域Ｓと影外領域とを比較することにより、補正値を定め、影領域Ｓの画像を補正する。補正値の定め方、補正の方法については後述する。   When the shadow area S can be estimated in this way, the shadow area correction unit 52 corrects the shadow area S. In the present embodiment, the image of the shadow region S is matched with the density of the image of the out-of-shadow region by comparing the estimated shadow region S with other out-of-shadow regions. However, on the road surface L where the shadow is generated, there may be objects such as manhole covers and median strips, road markings such as center lines and stop lines, and dirt. Therefore, there are cases where the image density of the shadow area S and the non-shadow area cannot be compared correctly. Therefore, as shown in FIG. 2, the shadow area correction unit 52 includes a road surface area determination unit 58. The road surface area discriminating unit 58 discriminates a road surface area and an out-of-road area in the road surface L, and removes the out-of-road area from the road surface L that is taken into consideration when correcting the shadow area S. Since the shadow area S has already been estimated by the shadow area estimation unit 51, an area in which a density difference from the road surface L other than the shadow area S is roughly recognized. Further, known image processing such as edge detection may be combined. In this way, the correction calculation unit 59 determines the correction value by comparing the shadow area S and the non-shadow area in the road surface area, and corrects the image of the shadow area S. A method for determining the correction value and a correction method will be described later.

以下、上述した広域画像生成装置により、広域画像を生成する手順についてフローチャートも利用して説明する。図４は、本発明により広域画像を生成する手順の一例を示すフローチャートである。   Hereinafter, a procedure for generating a wide area image by the above-described wide area image generating apparatus will be described using a flowchart. FIG. 4 is a flowchart showing an example of a procedure for generating a wide area image according to the present invention.

上述したように、まずはじめに移動状態検出手段２のうち少なくとも一つにより車両１の移動状態を検出する（移動状態検出工程＃１）。そして、この移動状態に応じて画像の一部を重複させて狭域画像Ｎを取得する（画像取得工程＃２）。そして、影領域推定部５１において狭域画像Ｎの画像中より影領域Ｓを推定する（影領域推定工程＃Ａ）。次に、影領域補正部５２において、この影領域Ｓの画像を補正し、狭域画像Ｎから車両１の影の影響を取り除く（影領域補正工程＃Ｂ）。これら、影領域推定工程＃Ａと影領域補正工程＃Ｂとを合わせて画像補正工程＃Ｃと称する。そして、影の影響が取り除かれた狭域画像Ｎを画像合成部４において、上述したように合成して広域画像Ｂを生成する（画像合成工程＃３）。   As described above, first, the movement state of the vehicle 1 is detected by at least one of the movement state detection means 2 (movement state detection step # 1). Then, a narrow area image N is acquired by overlapping a part of the image in accordance with the movement state (image acquisition process # 2). Then, the shadow area estimation unit 51 estimates the shadow area S from the narrow area image N (shadow area estimation step #A). Next, the shadow area correction unit 52 corrects the image of the shadow area S and removes the influence of the shadow of the vehicle 1 from the narrow area image N (shadow area correction step #B). The shadow area estimation process #A and the shadow area correction process #B are collectively referred to as an image correction process #C. Then, the narrow area image N from which the influence of the shadow has been removed is synthesized in the image synthesizing unit 4 as described above to generate the wide area image B (image synthesizing step # 3).

ここで、影領域推定工程＃Ａは、図５に示す以下の工程をさらに含むものである。図２を用いて上述したように、測位情報取得部５３及び日時情報取得部５４を用いて、測位情報及び日時情報を取得する（測位情報・日時情報取得工程＃Ａ１）。そして、これら取得した情報を用いて上述したように光源条件を演算する（光源条件演算工程＃Ａ２）。次に、演算された光源条件において発生する車両１の影の位置や大きさ、濃さ等を予め記憶された車両１の外形形状に基づいて演算する（推定演算工程＃Ａ３）。   Here, the shadow region estimation step #A further includes the following steps shown in FIG. As described above with reference to FIG. 2, the positioning information acquisition unit 53 and the date information acquisition unit 54 are used to acquire the positioning information and date information (positioning information / date information acquisition step # A1). Then, using the acquired information, the light source condition is calculated as described above (light source condition calculation step # A2). Next, the position, size, darkness, and the like of the shadow of the vehicle 1 generated under the calculated light source condition are calculated based on the external shape of the vehicle 1 stored in advance (estimation calculation step # A3).

また、影領域補正工程＃Ｂは、図６に示す以下の工程をさらに含むものである。はじめに路面Ｌの中で路面領域と路面外領域とを判別する（路面領域判別工程＃Ｂ１）。この工程により、影領域Ｓの補正に際して参酌する路面Ｌから路面外域を外すことができる。そして、路面領域における影領域Ｓと影外領域とを比較することにより、影領域Ｓの補正値を定める（補正値算出工程＃Ｂ２）。この補正値を定めるに際しては、以下のような方法を用いる。   Further, the shadow area correction step #B further includes the following steps shown in FIG. First, a road surface area and an outside road surface area are determined in the road surface L (road surface area determination step # B1). By this step, the road surface outside region can be removed from the road surface L that is taken into consideration when correcting the shadow region S. Then, the correction value of the shadow region S is determined by comparing the shadow region S and the non-shadow region in the road surface region (correction value calculation step # B2). In determining the correction value, the following method is used.

図７は、影領域補正部５２、影領域補正工程＃Ｂにおいて影領域Ｓを補正する方法の一例を説明する図である。図７（ａ）は、狭域画像Ｎを示すものであり、この狭域画像Ｎの中の路面Ｌは、全て路面領域として示している。影領域Ｓは既に推定されているので、影領域Ｓと影外領域との境界ラインＢＬも推定できる。より詳細な認識処理を行えば、ほぼ確定することも可能であり、確定させてもよいが本実施形態では必須ではない。次にこの境界ラインＢＬから影領域Ｓの内側に所定距離入った領域を影エリアＳＥとする。本例では影エリアＳＥはほぼ境界ラインＢＬに沿った線状となる。また、境界ラインＢＬから影外領域へ所定距離入った領域を路面エリアＬＥとする。同様に境界ラインＢＬに沿った線状となる。   FIG. 7 is a diagram illustrating an example of a method of correcting the shadow area S in the shadow area correction unit 52 and the shadow area correction step #B. FIG. 7A shows a narrow area image N, and all road surfaces L in the narrow area image N are shown as road surface areas. Since the shadow region S has already been estimated, the boundary line BL between the shadow region S and the non-shadow region can also be estimated. If a more detailed recognition process is performed, it can be almost confirmed and may be confirmed, but is not essential in the present embodiment. Next, an area that is a predetermined distance from the boundary line BL inside the shadow area S is defined as a shadow area SE. In this example, the shadow area SE is substantially linear along the boundary line BL. In addition, a region that is a predetermined distance from the boundary line BL to the non-shadow region is defined as a road surface area LE. Similarly, it is linear along the boundary line BL.

図７（ｂ）は、図７（ａ）の線ＰＸにおけるの画素の濃度値の変化を示すグラフである。このグラフより明らかなように、路面Ｌ上の画素の濃度値は明るい側にあり、影領域Ｓ上の画素の濃度値は暗い側にある。そして、境界ラインＢＬの前後では、明側と暗側とを結ぶように変化している。濃度値は、路面Ｌ上や、影領域Ｓ上であっても、一定ではなくばらついている。そこで、路面Ｌ上及び影領域Ｓ上の路面エリアＬＥ及び影エリアＳＥのそれぞれにおいて、平均的な濃度値（画素値）を算出する。例えば、路面エリアＬＥの画素値の平均（影内画像情報）が１８０、影エリアＳＥの画素値の平均（影外画像情報）が６０とする。ここで、路面エリアＬＥの画素値の平均と、影エリアＳＥの画素値の平均との差を計算すると、１２０となる。以上説明したような手順によって、補正値ＤＦが算出される（補正値算出工程＃Ｂ２）。   FIG. 7B is a graph showing the change in the density value of the pixel along the line PX in FIG. As is apparent from this graph, the density value of the pixel on the road surface L is on the bright side, and the density value of the pixel on the shadow area S is on the dark side. And before and after the boundary line BL, it changes so as to connect the bright side and the dark side. The density value is not constant and varies even on the road surface L and the shadow region S. Therefore, an average density value (pixel value) is calculated for each of the road surface area LE and the shadow area SE on the road surface L and the shadow area S. For example, the average pixel value (in-shadow image information) of the road surface area LE is 180, and the average pixel value (out-of-shadow image information) of the shadow area SE is 60. Here, the difference between the average pixel value of the road surface area LE and the average pixel value of the shadow area SE is 120. The correction value DF is calculated by the procedure described above (correction value calculation step # B2).

次に、影領域Ｓに含まれる画素値に対して、この補正値ＤＦを加算する（補正演算工程＃Ｂ３）。すると、影の影響により暗い方向に変化した画像が明るくなる。一方、境界ラインＢＬ前後については、境界エリアＢＥを設定し、このエリア内では補正値を比例配分する。このように補正することで、簡易な方法で狭域画像Ｎより影の影響を排することができる。   Next, the correction value DF is added to the pixel value included in the shadow area S (correction calculation step # B3). Then, the image changed in the dark direction due to the influence of the shadow becomes brighter. On the other hand, a boundary area BE is set before and after the boundary line BL, and correction values are proportionally distributed in this area. By correcting in this way, the influence of the shadow can be eliminated from the narrow area image N by a simple method.

このようにして、影領域Ｓを推定し、影領域Ｓを補正することにより、狭域画像Ｎにおける車両１の影の影響を排除する。そして、影の影響がなくなった狭域画像Ｎを図１０〜１３を用いて上述したように合成することで、広域画像Ｂを得る（画像合成工程＃３）。   In this way, the shadow region S is estimated and the shadow region S is corrected, thereby eliminating the influence of the shadow of the vehicle 1 on the narrow-area image N. Then, the narrow-area image N that is no longer affected by the shadow is synthesized as described above with reference to FIGS. 10 to 13 to obtain the wide-area image B (image synthesis step # 3).

以上、説明したように、移動体１（車両１）の移動に伴って生じる明暗の差の影響を取り除き、視認性に優れた移動体の周辺の広域画像を生成する方法及び装置を提供することができる。図８は、本発明による効果を示す説明図である。図８（ａ）では、影領域Ｓを有した狭域画像Ｎを用いて広域画像Ｂを合成しているので、広域画像Ｂには縞模様や斑点が生じている。図８（ｂ）では、影領域Ｓを画像補正によりなくしているので、この狭域画像Ｎを用いて合成した広域画像Ｂには、縞模様や斑点が生じていない。   As described above, it is possible to provide a method and an apparatus for generating a wide-area image around a moving body that is excellent in visibility by removing the influence of the difference in brightness caused by the movement of the moving body 1 (vehicle 1). Can do. FIG. 8 is an explanatory diagram showing the effect of the present invention. In FIG. 8A, since the wide area image B is synthesized using the narrow area image N having the shadow area S, the wide area image B has striped patterns and spots. In FIG. 8B, since the shadow area S is eliminated by image correction, the wide area image B synthesized using the narrow area image N has no striped pattern or spots.

また、上記説明においては、図４に示すフローチャートに基づいて、狭域画像Ｎにおいて影の影響を取り除き、その後広域画像Ｂを生成したが、本発明はこれには限定されない。例えば、図９に示すように、狭域画像Ｎには影領域Ｓを残した状態で広域画像Ｂを合成し、広域画像Ｂにおいて影領域Ｓを排してもよい。また、図示は省略するが、狭域画像Ｎにおいて影領域Ｓを補正し、広域画像Ｂを生成した後、さらに広域画像Ｂにおいて画像を補正するようにしてもよい。   In the above description, the influence of the shadow is removed from the narrow area image N based on the flowchart shown in FIG. 4, and then the wide area image B is generated. However, the present invention is not limited to this. For example, as shown in FIG. 9, the wide area image B may be combined with the narrow area image N with the shadow area S left, and the shadow area S may be excluded from the wide area image B. Although illustration is omitted, after the shadow area S is corrected in the narrow area image N and the wide area image B is generated, the image may be further corrected in the wide area image B.

尚、図１や図２に示した各部は機能としての分担を示すものであり、必ずしも物理的に独立したものである必要はない。例えば、画像処理部６の各部は、一つのプロセッサや一つの半導体ＩＣや一群の電子回路など、共通したハードウェアであってもよい。また、画像処理部６とカメラ制御部３２と表示制御部８とが同一のハードウェアであってもよい。ハードウェア上で実行されるプログラムなどのソフトウェアによって各機能を分担するものであっても充分である。   Note that each unit shown in FIG. 1 and FIG. 2 shows the sharing of functions, and does not necessarily have to be physically independent. For example, each unit of the image processing unit 6 may be common hardware such as one processor, one semiconductor IC, or a group of electronic circuits. The image processing unit 6, the camera control unit 32, and the display control unit 8 may be the same hardware. It is sufficient that each function is shared by software such as a program executed on hardware.

本発明に係る車両の周辺監視装置の実施形態の一例を示すブロック図The block diagram which shows an example of embodiment of the vehicle periphery monitoring apparatus which concerns on this invention 図１に示す画像補正部のブロック図Block diagram of the image correction unit shown in FIG. 図２に示す影領域推定部により影領域を推定する方法を説明する図The figure explaining the method of estimating a shadow area | region by the shadow area estimation part shown in FIG. 本発明により広域画像を生成する手順の一例を示すフローチャートThe flowchart which shows an example of the procedure which produces | generates a wide area image by this invention. 図４の影領域推定工程の一例を示すフローチャートThe flowchart which shows an example of the shadow area estimation process of FIG. 図４の影領域補正工程の一例を示すフローチャートThe flowchart which shows an example of the shadow area correction process of FIG. 図１及び図２の影領域補正部、図４及び図６の影領域補正工程において影領域を補正する方法の一例を説明する図1 and 2 are diagrams for explaining an example of a method for correcting a shadow area in the shadow area correction unit of FIGS. 1 and 2 and the shadow area correction process of FIGS. 本発明により狭域画像から広域画像を生成した効果を示す説明図Explanatory drawing which shows the effect which produced | generated the wide area image from the narrow area image by this invention 本発明により広域画像を生成する手順の他の例を示すフローチャートThe flowchart which shows the other example of the procedure which produces | generates a wide area image by this invention. 移動体から後方を撮影した狭域画像と、この狭域画像から広域画像を生成する際の再投影との関係を説明する図The figure explaining the relationship between the narrow area image which image | photographed the back from the moving body, and the reprojection at the time of producing | generating a wide area image from this narrow area image 図１０において説明した再投影により、複数の狭域画像から広域画像を生成する場合の例を説明する図The figure explaining the example in the case of producing | generating a wide area image from several narrow area images by the reprojection demonstrated in FIG. 図１０における移動体の影の影響を説明する図The figure explaining the influence of the shadow of the moving body in FIG. 図１２に示した影を有した狭域画像を用いて広域画像を生成する場合の影の影響を説明する図The figure explaining the influence of a shadow at the time of producing | generating a wide area image using the narrow area image which has the shadow shown in FIG.

符号の説明Explanation of symbols

２ 移動状態検出手段
３ 画像取得部（画像取得手段）
４ 画像合成部（画像合成手段）
５ 画像補正部（画像補正手段）
Ｂ 広域画像
Ｎ 狭域画像 2 Moving state detection means 3 Image acquisition unit (image acquisition means)
4 Image composition unit (image composition means)
5 Image correction unit (image correction means)
B Wide image N Narrow image

Claims (8)

移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成装置であって、
前記移動体の移動状態を検出する移動状態検出手段と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得手段と、
複数の前記狭域画像を合成して前記広域画像を生成する画像合成手段と、
前記狭域画像及び前記広域画像の内の少なくとも何れか一方の画像から前記移動体の影の影響を取り除く画像補正手段と、を備え、
前記画像補正手段は、
前記画像中から影領域を推定する影領域推定手段と、
推定された前記影領域の画像について、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域と前記影領域外との明暗の差を取り除くように前記影領域に含まれる画素の濃度値を補正する影領域補正手段と、
を備え、
前記影領域補正手段は、前記影領域と影外領域との境界ラインを挟む境界エリアを設定し、当該境界エリア内における濃度値を、当該境界エリアを挟む一対の領域の濃度差を比例配分して補正する広域画像生成装置。 A wide-area image generation device that generates a wide-area image around a moving object from a narrow-area image near the moving object,
A moving state detecting means for detecting a moving state of the moving body;
Image acquisition means for sequentially acquiring the narrow area image by overlapping a part of the image according to the movement state;
Image synthesizing means for synthesizing a plurality of the narrow area images to generate the wide area image;
Image correction means for removing the influence of the shadow of the moving body from at least one of the narrow area image and the wide area image, and
The image correcting means includes
A shadow area estimation means for estimating a shadow area from the image;
For the estimated image of the shadow area, the in-shadow image information calculated according to the density value of the pixel included in the shadow area and the out-of-shadow image calculated according to the density value of the pixel included outside the shadow area A shadow area correction unit that corrects a density value of a pixel included in the shadow area so as to remove a difference in brightness between the shadow area and the outside of the shadow area based on the information;
Equipped with a,
The shadow area correction means sets a boundary area that sandwiches a boundary line between the shadow area and the non-shadow area, and proportionally distributes a density value in the boundary area to a density difference between a pair of areas that sandwich the boundary area. wide area image generating device correct Te. 前記影領域補正手段は、前記狭域画像の濃度値の補正を行い、前記広域画像を生成する際に前記重複する領域を検出する請求項１に記載の広域画像生成装置。 The wide area image generation apparatus according to claim 1 , wherein the shadow area correction unit corrects the density value of the narrow area image and detects the overlapping area when generating the wide area image. 前記影領域推定手段は、
前記移動体が存在する位置と進行する方位とを含む測位情報を取得する測位情報取得手段と、
現在の年月日及び時刻の日時情報を取得する日時情報取得手段と、
前記測位情報と前記日時情報とを用いて前記移動体の影を生じさせる光源の位置情報を含む光源条件を演算する光源条件演算手段と、
前記移動体の外形形状を表す情報を記憶する記憶手段と、
前記光源条件と前記外形形状とを用いて前記移動体の影が発生する場所及び大きさを推定する推定演算部とを備える請求項１又は２に記載の広域画像生成装置。 The shadow area estimation means includes:
Positioning information acquisition means for acquiring positioning information including a position where the moving object exists and a traveling direction;
Date and time information acquisition means for acquiring date and time information of the current date and time;
A light source condition calculation means for calculating a light source condition including position information of a light source that causes a shadow of the moving body using the positioning information and the date and time information;
Storage means for storing information representing the outer shape of the mobile body;
Wide area image generating apparatus according to claim 1 or 2 and a estimation calculation section which shadow of the moving body to estimate the location and size generated using the light source condition and said outer shape. 前記影領域補正手段は、前記移動体の影を含む前記狭域画像又は前記広域画像の画像上において、前記移動体が移動する路面のうち、この路面に存在する物体と汚れと標示とを除いた路面領域を判別する路面領域判別手段を備え、
前記路面領域に含まれる画素を用いて、前記影内画像情報及び前記影外画像情報を算出する請求項１〜３の何れか一項に記載の広域画像生成装置。 The shadow area correcting unit excludes objects, dirt, and markings existing on a road surface of the narrow area image or the wide area image including the shadow of the moving body from the road surface on which the moving body moves. Road surface area discriminating means for discriminating the road surface area,
The wide area image generation device according to any one of claims 1 to 3 , wherein the in-shadow image information and the out-of-shadow image information are calculated using pixels included in the road surface region. 前記移動体は車両であり、請求項１〜４の何れか一項に記載の広域画像生成装置を備えて、生成した前記広域画像を前記車両の内部に備える表示手段に表示する車両の周辺監視装置。 The vehicle is monitored, and includes the wide-area image generation device according to any one of claims 1 to 4 and displays the generated wide-area image on a display unit provided inside the vehicle. apparatus. 前記画像合成手段において、前記広域画像にさらに前記車両を示す画像を合成する請求項５に記載の車両の周辺監視装置。 The vehicle periphery monitoring device according to claim 5 , wherein the image composition unit further composes an image showing the vehicle with the wide area image. 移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成方法であって、
前記移動体の移動状態を検出する移動状態検出工程と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得工程と、
前記狭域画像から前記移動体の影の影響を取り除く画像補正工程と、
補正された複数の前記狭域画像を合成して前記広域画像を生成する画像合成工程と、を備え、
前記画像中から影領域を推定する影領域推定工程と、
推定された前記影領域の画像について、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域と前記影領域外との明暗の差を取り除くように前記影領域に含まれる画素の濃度値を補正する影領域補正工程と、
を備え、
前記影領域補正工程は、前記影領域と影外領域との境界ラインを挟む境界エリアを設定し、当該境界エリア内における濃度値を、当該境界エリアを挟む一対の領域の濃度差を比例配分して補正する広域画像生成方法。 A wide-area image generation method for generating a wide-area image around a mobile object from a narrow-area image near the mobile object,
A moving state detecting step of detecting a moving state of the moving body;
An image acquisition step of sequentially acquiring the narrow area image by overlapping a part of the image according to the movement state;
An image correction step for removing the influence of the shadow of the moving object from the narrow area image,
An image synthesis step of synthesizing the plurality of corrected narrow-area images to generate the wide-area image,
A shadow area estimation step for estimating a shadow area from the image;
For the estimated image of the shadow area, the in-shadow image information calculated according to the density value of the pixel included in the shadow area and the out-of-shadow image calculated according to the density value of the pixel included outside the shadow area A shadow area correction step of correcting a density value of a pixel included in the shadow area so as to remove a difference in brightness between the shadow area and the outside of the shadow area based on the information;
Equipped with a,
The shadow area correction step sets a boundary area that sandwiches a boundary line between the shadow area and the non-shadow area, and proportionally distributes the density value in the boundary area to the density difference between a pair of areas that sandwich the boundary area. wide area image generation how to correction Te. 移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成方法であって、
前記移動体の移動状態を検出する移動状態検出工程と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得工程と、
取得された複数の前記狭域画像を合成して前記広域画像を生成する画像合成工程と、
前記広域画像から前記移動体の影の影響を取り除く画像補正工程と、を備え、
前記画像中から影領域を推定する影領域推定工程と、
推定された前記影領域の画像について、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域と前記影領域外との明暗の差を取り除くように前記影領域に含まれる画素の濃度値を補正する影領域補正工程と、
を備え、
前記影領域補正工程は、前記影領域と影外領域との境界ラインを挟む境界エリアを設定し、当該境界エリア内における濃度値を、当該境界エリアを挟む一対の領域の濃度差を比例配分して補正する広域画像生成方法。 A wide-area image generation method for generating a wide-area image around a mobile object from a narrow-area image near the mobile object,
A moving state detecting step of detecting a moving state of the moving body;
An image acquisition step of sequentially acquiring the narrow area image by overlapping a part of the image according to the movement state;
An image synthesis step of synthesizing the plurality of acquired narrow-area images to generate the wide-area image;
An image correction step for removing the influence of the shadow of the moving body from the wide area image,
A shadow area estimation step for estimating a shadow area from the image;
For the estimated image of the shadow area, the in-shadow image information calculated according to the density value of the pixel included in the shadow area and the out-of-shadow image calculated according to the density value of the pixel included outside the shadow area A shadow area correction step of correcting a density value of a pixel included in the shadow area so as to remove a difference in brightness between the shadow area and the outside of the shadow area based on the information;
Equipped with a,
The shadow area correction step sets a boundary area that sandwiches a boundary line between the shadow area and the non-shadow area, and proportionally distributes the density value in the boundary area to the density difference between a pair of areas that sandwich the boundary area. wide area image generation how to correction Te.
JP2005069003A 2005-03-11 2005-03-11 Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method Expired - Fee Related JP4756316B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005069003A JP4756316B2 (en) 2005-03-11 2005-03-11 Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005069003A JP4756316B2 (en) 2005-03-11 2005-03-11 Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method

Publications (2)

Publication Number Publication Date
JP2006252269A JP2006252269A (en) 2006-09-21
JP4756316B2 true JP4756316B2 (en) 2011-08-24

Family

ID=37092691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005069003A Expired - Fee Related JP4756316B2 (en) 2005-03-11 2005-03-11 Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method

Country Status (1)

Country Link
JP (1) JP4756316B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4625418B2 (en) * 2006-03-29 2011-02-02 株式会社デンソーアイティーラボラトリ Shadow detection method
JP2007300559A (en) * 2006-05-02 2007-11-15 Alpine Electronics Inc Vehicle peripheral image providing device and shadow correcting method in vehicle peripheral image
JP4770755B2 (en) * 2007-02-26 2011-09-14 株式会社デンソー Road sign recognition device
JP4986070B2 (en) * 2008-03-19 2012-07-25 マツダ株式会社 Ambient monitoring device for vehicles
US8755634B2 (en) * 2009-08-12 2014-06-17 Nec Corporation Obstacle detection device and method and obstacle detection system
JP5994437B2 (en) * 2012-07-04 2016-09-21 株式会社デンソー Vehicle surrounding image display control apparatus and vehicle surrounding image display control program
JP5983238B2 (en) * 2012-09-25 2016-08-31 日産自動車株式会社 Lane boundary detection device and lane boundary detection method
JP2014230088A (en) * 2013-05-22 2014-12-08 ソニー株式会社 Image adjustment device, image adjustment method, image adjustment program, and imaging device
KR102310279B1 (en) * 2014-09-23 2021-10-07 현대모비스 주식회사 Method and apparatus for detecting lane
JP6091727B1 (en) * 2016-07-13 2017-03-08 楽天株式会社 Image processing apparatus, image processing method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380457B2 (en) * 1997-01-27 2003-02-24 株式会社エヌ・ティ・ティ・データ Method for removing shadow component on geographic image, geographic image processing apparatus, and recording medium
JP3515019B2 (en) * 1999-07-26 2004-04-05 日本電信電話株式会社 Image correction method and apparatus, recording medium recording the method, image photographing apparatus incorporating the apparatus, and image display apparatus incorporating the apparatus
JP3584194B2 (en) * 2000-02-22 2004-11-04 株式会社ホンダエレシス White line detection method and white line detection device
JP2002354467A (en) * 2001-05-25 2002-12-06 Nissan Motor Co Ltd Surrounding information display unit for vehicle
JP2005043324A (en) * 2003-07-25 2005-02-17 Matsushita Electric Ind Co Ltd Method of checking defective condition of road surface, and method of specifying defective position of the road surface

Also Published As

Publication number Publication date
JP2006252269A (en) 2006-09-21

Similar Documents

Publication Publication Date Title
JP4756316B2 (en) Wide area image generation apparatus, vehicle periphery monitoring apparatus using the same, and wide area image generation method
US7728879B2 (en) Image processor and visual field support device
US9445011B2 (en) Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
US8395490B2 (en) Blind spot display apparatus
KR100550299B1 (en) Peripheral image processor of vehicle and recording medium
EP3368373B1 (en) Filling in surround view areas blocked by mirrors or other vehicle parts
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
GB2559760A (en) Apparatus and method for displaying information
US20090015675A1 (en) Driving Support System And Vehicle
US20090268027A1 (en) Driving Assistance System And Vehicle
JP4796676B2 (en) Vehicle upper viewpoint image display device
JP2008227646A (en) Obstacle detector
EP2487907B1 (en) Vehicle peripheral monitoring device
JP2010085186A (en) Calibration device for on-vehicle camera
CN102163331A (en) Image-assisting system using calibration method
JP2010136289A (en) Device and method for supporting drive
US11450040B2 (en) Display control device and display system
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
KR101888960B1 (en) Apparatus and method for measuring the flatness of the road
JP6471522B2 (en) Camera parameter adjustment device
US20210092327A1 (en) Sensor fusion based perceptually enhanced surround view
JP7426174B2 (en) Vehicle surrounding image display system and vehicle surrounding image display method
JP2007181129A (en) Vehicle-mounted movable body detection instrument
JP3961969B2 (en) Vehicle periphery image processing system
JP2021129157A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110506

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110519

R151 Written notification of patent or utility model registration

Ref document number: 4756316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees