JP2010015367A - Three-dimensional object detection device and its method - Google Patents

Three-dimensional object detection device and its method Download PDF

Info

Publication number
JP2010015367A
JP2010015367A JP2008174515A JP2008174515A JP2010015367A JP 2010015367 A JP2010015367 A JP 2010015367A JP 2008174515 A JP2008174515 A JP 2008174515A JP 2008174515 A JP2008174515 A JP 2008174515A JP 2010015367 A JP2010015367 A JP 2010015367A
Authority
JP
Japan
Prior art keywords
image
difference
time
vehicle
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008174515A
Other languages
Japanese (ja)
Other versions
JP5137717B2 (en
Inventor
Takeshi Aikawa
健 相川
Kiyoyuki Kawai
清幸 川井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2008174515A priority Critical patent/JP5137717B2/en
Publication of JP2010015367A publication Critical patent/JP2010015367A/en
Application granted granted Critical
Publication of JP5137717B2 publication Critical patent/JP5137717B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide "a three-dimensional object detection device and its method" for preventing a minor collision and an accident causing injury or death without falsely recognizing a shadow to be the three-dimensional object by accurately detecting the three-dimensional object even when a shadow exists in an image photographed by a monocular camera. <P>SOLUTION: By the monocular camera, an overhead view image, in which line of sight conversion is executed for each of the photographed images in any given timing t1 and timing t2, elapsed from the timing t1 in predetermined period of time, is captured. A first difference image, between the shifted image in which the overhead view image on one side is shifted based on the amount of movement of an own vehicle and the overhead view image not shifted thereof, is calculated. The own vehicle shade images in the timing t1 and t2 are calculated. A second difference image between the shifted shadow image in which own vehicle shade image on one side is shifted based on the amount of the movement of the own vehicle and the shifted shadow image not shifted thereof, is calculated. A third difference image, which is the difference between the first difference image and the second difference image is calculated. When the remaining difference exists in the third difference image, the three-dimensional object is judged to exist. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、立体物検出装置およびその方法に係り、特に自動車に取り付けた単眼カメラによる立体物検出装置およびその方法に関する。   The present invention relates to a three-dimensional object detection apparatus and method, and more particularly to a three-dimensional object detection apparatus and method using a monocular camera attached to an automobile.

車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には不注意により周囲の物体、特に後方の物体や子供と接触して車両を破損したり、人身事故を発生することがある。   When putting a vehicle in a narrow garage or parking lot, the driver needs to be very careful, sometimes inadvertently touching surrounding objects, especially objects behind them and children, damaging the vehicle or causing personal injury. There is.

そこで、車両に広角カメラ等を搭載して車両進行方向の立体物を検出するために、任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２において進行方向の風景を撮影する。そして、該撮影された二つの画像の一方を該時刻ｔ１とｔ２の間に自車が移動した移動量に基づいてシフト補正を行い、補正していない画像と該補正した画像との差分を算出し、差分画像内に残存差分が存在する場合には立体物が存在し、残存差分が存在しない場合には立体物が存在しないと判断する技術（特許文献１）がある。   Therefore, in order to mount a wide-angle camera or the like on the vehicle to detect a three-dimensional object in the vehicle traveling direction, a landscape in the traveling direction is photographed at an arbitrary time t1 and a time t2 after a predetermined time has elapsed from the time t1. Then, one of the two captured images is shift-corrected based on the amount of movement of the vehicle between the times t1 and t2, and the difference between the uncorrected image and the corrected image is calculated. However, there is a technique (Patent Document 1) that determines that there is a three-dimensional object when there is a residual difference in the difference image, and that there is no three-dimensional object when there is no residual difference.

すなわち、図１８に示すように、自車１８１の後方に設置されているカメラ１８２により任意の時刻ｔ１における撮影画像を車両の車高よりも高い所定の高さの地点（例えば車両中央の真上）から撮影した俯瞰画像に変換した図１８（Ｂ）の（ａ）に示すような俯瞰画像Ｇ１と該時刻ｔ１より所定時間経過した時刻ｔ２における撮影画像を同様に俯瞰画像に変換した図８（Ｂ）の（ｂ）に示すような俯瞰画像Ｇ２をそれぞれ取得する。尚、撮影領域１８３上には立体物１８４と、例えば路面に描かれた標示といった平面図形１８５が存在しているとする。ついで、撮影画像Ｇ２を、該時刻ｔ１からｔ２の間に移動した移動量に基づいてシフトした（ｃ）に示すようなシフト画像Ｇ２’を取得する。しかる後、シフト画像Ｇ２’とシフトしていない撮影画像Ｇ１との差分画像Ｇｓを取得し、差分画像Ｇｓ内に残存差分１８７が存在する場合には立体物が存在し、残存差分１８７が存在しない場合には立体物が存在しないと判断する。これにより、単眼カメラにより立体物が存在することを認識でき、運転者へ警告することができ、接触事故や人身事故を防止することができる。
特開平１０−２２２６７９号公報 That is, as shown in FIG. 18, a captured image at an arbitrary time t1 is captured by a camera 182 installed behind the host vehicle 181 at a predetermined height higher than the vehicle height (for example, directly above the vehicle center). ) Converted into a bird's-eye view image taken from FIG. 18B, and a photographed image at time t2 when a predetermined time has elapsed from time t1 as shown in FIG. A bird's-eye view image G2 as shown in (b) of B) is acquired. It is assumed that a three-dimensional object 184 and a plane figure 185 such as a sign drawn on the road surface exist on the photographing region 183. Next, a shifted image G2 ′ as shown in (c) obtained by shifting the photographed image G2 based on the movement amount moved between the times t1 and t2 is acquired. Thereafter, a difference image Gs between the shifted image G2 ′ and the unshifted captured image G1 is acquired. If there is a residual difference 187 in the difference image Gs, a three-dimensional object exists and no residual difference 187 exists. In this case, it is determined that there is no three-dimensional object. Thereby, it can recognize that a solid object exists with a monocular camera, can alert a driver, and can prevent a contact accident and a personal injury.
JP-A-10-222679

しかし、上記従来技術は、図１８（Ａ）に示すように自車の影が発生しない場合には有効であるが、図１９（Ａ）に示すように太陽１８７により自車影１８８が発生する場合には問題がある。すなわち、かかる場合には任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２においてカメラ１８２が撮影し、俯瞰変換した俯瞰画像Ｇ１、Ｇ２には図１９（Ｂ）の（ａ）、（ｂ）に示すようにほぼ同一形状の自車影１８８が存在する。このため該時刻ｔ１とｔ２の間に移動した移動量に応じた分撮影画像Ｇ２をシフトして、シフト画像Ｇ２’を算出すると、自車影１８８もシフトされる。この結果、平面図形を消去するためにＧ１とＧ２’の差分画像Ｇｓを算出すると立体物１８４による残存差分１８６と本来存在しない自車影１８８の残存差分１８９が発生する。これにより、影が存在する位置に立体物があると誤認識してしまうという問題点がある。   However, the above prior art is effective when the shadow of the own vehicle does not occur as shown in FIG. 18 (A), but the own vehicle shadow 188 is generated by the sun 187 as shown in FIG. 19 (A). In case there is a problem. That is, in such a case, the camera 182 takes an image at an arbitrary time t1 and a time t2 after a lapse of a predetermined time from the time t1, and the bird's-eye view images G1 and G2 converted to the bird's-eye view have (a) and (b) in FIG. ), There is a vehicle shadow 188 having substantially the same shape. For this reason, if the captured image G2 is shifted by an amount corresponding to the amount of movement moved between the times t1 and t2, and the shift image G2 'is calculated, the own vehicle shadow 188 is also shifted. As a result, when the difference image Gs between G1 and G2 ′ is calculated to delete the plane figure, a residual difference 186 due to the three-dimensional object 184 and a residual difference 189 of the own vehicle shadow 188 that does not exist are generated. As a result, there is a problem that a solid object is erroneously recognized at a position where a shadow exists.

以上より、本発明の目的は単眼カメラによる撮影画像に影が存在する場合においても、影を立体物と誤認識せず、立体物を正確に検出できるようにし、接触事故や人身事故を防止することである。   As described above, the object of the present invention is to make it possible to accurately detect a three-dimensional object without erroneously recognizing the shadow as a three-dimensional object even when a shadow is present in an image taken by a monocular camera, and to prevent a contact accident or personal injury. It is.

本発明は、自動車に取り付けた単眼カメラによる立体物検出装置およびその方法である。   The present invention is a three-dimensional object detection apparatus and method using a monocular camera attached to an automobile.

・ 立体物検出方法
本発明の立体物検出方法は、任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像を視線変換した第１の視線変換画像を発生し、前記時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換した第２の視線変換画像を発生し、前記第１の視線変換画像もしくは前記第２の視線変換画像を、前記時刻ｔ１から時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、該シフト画像とシフトしていない視線変換画像との差を算出して第１の差分画像を発生し、前記時刻ｔ１と前記時刻ｔ２における自車の影画像をそれぞれ作成し、一方の影画像を前記移動量に基づいてシフトしたシフト影画像を作成し、該シフト影画像とシフトしていない影画像との差を算出して第２の差分画像を発生し、前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生し、該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。 Solid Object Detection Method The solid object detection method of the present invention generates a first line-of-sight converted image obtained by line-of-sight conversion of a first captured image captured by the camera at an arbitrary time t1, and a predetermined time has elapsed from the time t1. A second line-of-sight conversion image is generated by line-of-sight conversion of the second image captured by the camera at time t2, and the first line-of-sight conversion image or the second line-of-sight conversion image is generated from time t1 to time t2. generating a shifted image that is shifted based on the amount of movement of the vehicle during t2, calculating a difference between the shifted image and a line-of-sight converted image that is not shifted, and generating a first difference image, A shadow image of the vehicle at time t1 and time t2 is created, a shift shadow image is created by shifting one of the shadow images based on the amount of movement, and the shifted shadow image and the unshifted shadow image are The difference A second difference image is generated, a difference between the first difference image and the second difference image is calculated to generate a third difference image, and a residual difference is generated in the third difference image. If it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that a three-dimensional object does not exist.

本発明の別の立体物検出方法は、車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を作成し、任意の時刻ｔ１に前記カメラに撮影した第１の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ１における前記影画像を合成して第１の合成画像を発生し、任意の時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ２における前記影画像を合成して第２の合成画像を発生し、前記第１の合成画像と第２の合成画像のいずれか一方を、前記時刻ｔ１から前記時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、該シフト画像とシフトしていない合成画像との差を算出して第１の差分画像を発生し、前記時刻ｔ１あるいは前記時刻ｔ２における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成し、該シフト影画像とシフトしない影画像との差を算出して第２の差分画像を発生し、前期第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生し、該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。   Another three-dimensional object detection method of the present invention creates a shadow image in which a region on the vehicle body side from the tip position of the vehicle shadow calculated based on the vehicle height and the sun position is a vehicle shadow region, and at an arbitrary time t1. A line-of-sight conversion image obtained by line-of-sight conversion of the first captured image captured by the camera and the shadow image at time t1 are combined to generate a first combined image, and a predetermined time has elapsed from an arbitrary time t1. A line-of-sight converted image obtained by line-of-sight conversion of the second captured image captured by the camera at time t2 and the shadow image at time t2 are combined to generate a second combined image, and the first combined image And a second synthesized image, a shifted image is generated by shifting the vehicle based on the amount of movement of the host vehicle between the time t1 and the time t2, and the shifted image and the shifted image are not shifted. The first difference by calculating the difference between Generating an image, generating a shifted shadow image obtained by shifting the shadow image at the time t1 or the time t2 based on the movement amount of the own vehicle, and calculating a difference between the shifted shadow image and the shadow image not shifted A second difference image is generated, a difference between the first difference image and the second difference image is calculated to generate a third difference image, and a residual difference exists in the third difference image. If it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that a three-dimensional object does not exist.

本発明の別の立体物検出方法は、任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像と、該時刻ｔ１より所定時間Δｔ経過した時刻に前記カメラにより撮影した第２の撮影画像との差を算出して第１の差分画像を発生し、前記時刻ｔ１より所定時間Ｔ（Ｔ＞Δｔ）経過した時刻ｔ２に前記カメラにより撮影した第３の撮影画像と、該時刻ｔ２より前記所定時間Δｔ経過した時刻に前記カメラにより撮影した第４の撮影画像との差を算出して第２の差分画像を発生し、前記第１の差分画像と前記第２の差分画像のいずれか一方を、前記時刻ｔ１から前記時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト差分画像を発生し、該シフト差分画像とシフトしていない差分画像との差を算出して第３の差分画像を発生し、該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。   Another three-dimensional object detection method of the present invention includes a first captured image captured by the camera at an arbitrary time t1, and a second captured image captured by the camera at a time after a predetermined time Δt has elapsed from the time t1. To generate a first difference image, and a third captured image captured by the camera at a time t2 when a predetermined time T (T> Δt) has elapsed from the time t1, and the predetermined image from the time t2. A difference from the fourth photographed image photographed by the camera at the time when the time Δt has elapsed is calculated to generate a second difference image, and either the first difference image or the second difference image is obtained. A shift difference image that is shifted based on the amount of movement of the host vehicle from the time t1 to the time t2 is generated, and a difference between the shift difference image and the non-shifted difference image is calculated to obtain a third value. Difference image is generated and the third Check for remaining difference in the difference image is present, determines that the three-dimensional object is present, if any, it is determined that there is no three-dimensional object in the absence.

・ 立体物検出装置
本発明の立体物検出装置は、任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２の間に、自車が移動した移動量を算出する移動量算出部と、前記時刻ｔ１と前記時刻ｔ２に前記カメラによりそれぞれ撮影した第１の撮影画像と第２の撮影画像とをそれぞれ視線変換して第１の視線変換画像と第２の視線変換画像とを発生する視線変換部と、前記第１の視線変換画像もしくは前記第２の視線変換画像を、前記移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、前記シフトした視線変換画像とシフトしていない視線変換画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、前記時刻ｔ１と前記時刻ｔ２における自車の影画像をそれぞれ作成する影画像作成部と、前記影画像の一方を前記移動量に基づいてシフトしたシフト影画像を発生するシフト影画像発生部と、前記シフト影画像とシフトしていない影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、前記第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。 -Solid object detection apparatus The solid object detection apparatus of the present invention includes a movement amount calculation unit that calculates a movement amount of the vehicle between an arbitrary time t1 and a time t2 after a predetermined time has elapsed from the time t1, The line-of-sight conversion for generating the first line-of-sight converted image and the second line-of-sight converted image by converting the line of sight of the first captured image and the second captured image respectively captured by the camera at time t1 and time t2. A shift image generation unit that generates a shift image obtained by shifting the first line-of-sight conversion image or the second line-of-sight conversion image based on the movement amount, and the shifted line-of-sight conversion image is not shifted. A first difference image generation unit that calculates a difference from the line-of-sight conversion image and generates a first difference image; a shadow image generation unit that generates a shadow image of the vehicle at the time t1 and the time t2, respectively; Shadow image A shift shadow image generation unit that generates a shifted shadow image that is shifted based on the amount of movement and a difference between the shifted shadow image and a non-shifted shadow image are generated to generate a second difference image. A second difference image generation unit; a third difference image generation unit that calculates a difference between the first difference image and the second difference image to generate a third difference image; and A three-dimensional object determining unit that determines whether a three-dimensional object is present if it exists, and determines that a three-dimensional object does not exist if it does not exist.

本発明の別の立体物検出装置は、車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を生成する影画像生成部と、任意の時刻ｔ１に前記カメラに撮影した第１の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ１における前記影画像を合成して第１の合成画像を発生する第１合成画像発生部と、任意の時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ２における前記影画像を合成して第２の合成画像を発生する第２合成画像発生部と、前記第１の合成画像と前記第２の合成画像のいずれか一方を、該時刻ｔ１から該時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、該シフト画像とシフトしていない合成画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、前記時刻ｔ１あるいは前記時刻ｔ２における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成するシフト影画像生成部と、該シフト影画像とシフトしない影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。   Another three-dimensional object detection device of the present invention includes a shadow image generation unit that generates a shadow image in which the region on the vehicle body side is the vehicle shadow region from the tip position of the vehicle shadow calculated based on the vehicle height and the sun position; First composite image generation for generating a first composite image by combining a line-of-sight conversion image obtained by line-of-sight conversion of a first captured image captured by the camera at an arbitrary time t1 and the shadow image at the time t1 And a line-of-sight converted image obtained by line-of-sight conversion of the second captured image captured by the camera at a time t2 after a predetermined time from an arbitrary time t1 and the shadow image at the time t2 are combined to generate a second The second composite image generating unit that generates a composite image, and either the first composite image or the second composite image are moved to the amount of movement of the host vehicle from time t1 to time t2. Shift that generates a shifted image based on An image generation unit, a first difference image generation unit that calculates a difference between the shifted image and a non-shifted composite image to generate a first difference image, and a shadow image at the time t1 or the time t2 A shifted shadow image generation unit that generates a shifted shadow image based on the amount of movement of the vehicle, and a second difference that generates a second difference image by calculating a difference between the shifted shadow image and a shadow image that is not shifted An image generation unit; a third difference image generation unit that calculates a difference between the first difference image and the second difference image to generate a third difference image; and a residual image in the third difference image. A three-dimensional object determination unit that checks whether a difference exists, determines that a three-dimensional object exists if it exists, and determines that a three-dimensional object does not exist if it does not exist;

本発明の別の立体物検出装置は、任意の時刻ｔ１と該時刻ｔ１より所定時間Ｔ経過した時刻ｔ２の間に、自車が移動した移動量を算出する移動量算出部と、前記時刻ｔ１に前記カメラにより撮影した第１の撮影画像と、前記時刻ｔ１より所定時間Δｔ（Ｔ＞Δｔ）経過した時刻に前記カメラにより撮影した第２の撮影画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、前記時刻ｔ２に前記カメラにより撮影した第３の撮影画像と、前記時刻ｔ２より所定時間Δｔ経過した時刻に前記カメラにより撮影した第４の撮影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、前記第１の差分画像と前記第２の差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生するシフト差分画像発生部と、前記シフト差分画像とシフトしていない差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、前記第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。   Another three-dimensional object detection device according to the present invention includes a movement amount calculation unit that calculates a movement amount of the own vehicle between an arbitrary time t1 and a time t2 after a predetermined time T has elapsed from the time t1, and the time t1. The first difference is calculated by calculating the difference between the first captured image captured by the camera and the second captured image captured by the camera at a time when a predetermined time Δt (T> Δt) has elapsed from the time t1. A first difference image generation unit for generating an image, a third captured image captured by the camera at the time t2, and a fourth captured image captured by the camera at a time after a predetermined time Δt from the time t2. A second difference image generation unit that calculates a difference between them and generates a second difference image; and a shift difference obtained by shifting one of the first difference image and the second difference image based on the movement amount Shift difference image that generates images A difference between the generation unit, the difference image between the shift difference image and the non-shifted difference image to generate a third difference image, and a residual difference exists in the third difference image A three-dimensional object determination unit that determines that a three-dimensional object exists when it exists and determines that a three-dimensional object does not exist when it does not exist.

本発明によれば、時刻ｔ１、ｔ２に撮影した２つの撮影画像の差分画像より自車影像を除去するように構成したので、自車の影に影響されずに正確に立体物を検出することができる。   According to the present invention, since the vehicle image is removed from the difference image between the two captured images taken at the times t1 and t2, the three-dimensional object can be accurately detected without being affected by the shadow of the vehicle. Can do.

本発明によれば、前記カメラにより前記時刻ｔ１とｔ２に撮影した第１の撮影画像と第２の撮影画像を視線変換して第１の視線変換画像と第２の視線変換画像とを発生し、該第１の視線変換画像と該第２の視線変換画像との差である第１の差分画像から、前記時刻ｔ１とｔ２における影画像の差である第２の差分画像を差し引いて作成した第３の差分画像内に残存差分が存在するか調べ、該残存差分より立体物が存在するか判断するようにしたので、自車の進行方向に自車影が存在している場合でも、正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。   According to the present invention, the first line-of-sight conversion image and the second line-of-sight conversion image are generated by line-of-sight conversion of the first captured image and the second captured image captured at the times t1 and t2 by the camera. The first difference image that is the difference between the first line-of-sight conversion image and the second line-of-sight conversion image is created by subtracting the second difference image that is the difference between the shadow images at the times t1 and t2. Since it is determined whether there is a residual difference in the third difference image and it is determined whether there is a three-dimensional object based on the residual difference, it is accurate even if the vehicle shadow exists in the traveling direction of the vehicle. A three-dimensional object can be detected and the distance to the three-dimensional object can be clearly indicated to the driver, thereby preventing a contact accident or a personal injury.

本発明によれば、更に、前記カメラにより前記時刻ｔ１前後の複数枚の撮影画像と前記時刻ｔ２前後の複数枚の撮影画像をそれぞれ平均化し、それぞれ前記第１の撮影画像、第２の撮影画像とするようにしたので、正確な撮影画像を取得し正確に立体物を検出することができる。   According to the present invention, the camera further averages the plurality of photographed images before and after the time t1 and the plurality of photographed images before and after the time t2, respectively, and the first photographed image and the second photographed image, respectively. Thus, it is possible to acquire an accurate captured image and accurately detect a three-dimensional object.

本発明によれば、更に、自車形状を記憶すると共に、自車方向を取得し、かつ光源位置を算出し、該光源位置と前記自車形状と前記自車方向を用いて前記影画像を作成するようにしたので、前記光源位置が変化しても正確に影画像を作成し、正確に立体物を検出することができる。   According to the present invention, the vehicle shape is further stored, the vehicle direction is acquired, the light source position is calculated, and the shadow image is calculated using the light source position, the vehicle shape, and the vehicle direction. Since it is created, it is possible to accurately create a shadow image and accurately detect a three-dimensional object even if the light source position changes.

本発明によれば、更に、太陽軌道を記憶すると共に、自車位置を取得し、前記光源位置を前記太陽軌道と前記自車位置を用いて算出するようにしたので、前記光源位置すなわち太陽位置が変化す場合でも正確に影画像を作成し、正確に立体物を検出することができる。   According to the present invention, the solar trajectory is further stored, the own vehicle position is acquired, and the light source position is calculated using the solar trajectory and the own vehicle position. Even when the angle changes, it is possible to accurately create a shadow image and accurately detect a three-dimensional object.

本発明によれば、更に、任意の場所に設置されたカメラにより光源を撮影し、前記光源位置を撮影画像より算出するようにしたので、光源が存在する全ての場所で影画像を作成し正確に立体物を検出することができる。   Further, according to the present invention, the light source is photographed by the camera installed at an arbitrary place, and the light source position is calculated from the photographed image. A three-dimensional object can be detected.

本発明によれば、自車の車高と前記時刻ｔ１とｔ２における太陽の位置より算出されるそれぞれの自車影の先端位置より車体側領域を車影領域とする影画像を作成するようにしたので、簡単に影画像を生成することができる。   According to the present invention, a shadow image having the vehicle body side region as the vehicle shadow region is created from the vehicle height of the vehicle and the tip position of each vehicle shadow calculated from the sun position at the times t1 and t2. Therefore, a shadow image can be easily generated.

本発明によれば、時刻ｔ１、ｔ２において撮影した撮影画像より自車影像を除去するようにし、２つの撮影画像の差分画像より自車影を除去するように構成したので、自車影に影響されずに正確に立体物を検出することができる。   According to the present invention, the vehicle shadow image is removed from the captured images taken at the times t1 and t2, and the vehicle shadow is removed from the difference image between the two captured images. The three-dimensional object can be accurately detected without being.

本発明によれば、前記カメラにより近接した２つの時刻に撮影した第１の撮影画像と第２の撮影画像の差分を算出することにより影を除去するようにしたので、簡単な処理で時刻ｔ１、ｔ２の撮影画像の差分画像より自車影を除去でき、該差分画像内に残存差分が存在するか調べ、該残存差分より立体物が存在するか判断するようにしたので、自車の進行方向に自車影が存在している場合でも、正確に立体物を検出することができ、接触事故や人身事故を防止することができる。   According to the present invention, the shadow is removed by calculating the difference between the first captured image and the second captured image captured at two times close to the camera. The vehicle shadow can be removed from the difference image of the photographed image at t2, and it is determined whether there is a residual difference in the difference image, and it is determined whether there is a three-dimensional object from the residual difference. Even when the vehicle shadow is present in the direction, a three-dimensional object can be accurately detected, and contact accidents and personal injury can be prevented.

本発明によれば、更に、視線変換してから差分画像を発生するようにしたので、自車方向に自車影が存在している場合でも正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。   According to the present invention, since the difference image is generated after the line-of-sight conversion is performed, even if the vehicle shadow is present in the vehicle direction, the three-dimensional object can be accurately detected and the driving is performed. The distance to the three-dimensional object can be clearly shown to the person, and contact accidents and personal injury can be prevented.

本発明によれば、更に、画像の幅に関し閾値判断して、該差分画像を作成するようにしたので、正確な前記第１、第２の差分画像を作成して、正確に立体物を検出することができ、接触事故や人身事故を防止することができる。   Further, according to the present invention, since the threshold image is determined with respect to the width of the image and the difference image is generated, the first and second difference images are accurately generated and the three-dimensional object is accurately detected. Can prevent contact accidents and personal injury.

（Ａ）本発明の概要
図１、図２、図３は本発明の第１〜第３実施例の概略説明図である。１は自車影、２は立体物、３は平面図形、４は自車影の残存差分、５は立体物の残存差分、６は計算で算出した自車影、７は自車影６の残存差分、８（図２）は計算で算出した自車影、９は自車影８より算出した矩形領域、１０は矩形領域９を影とした影画像、１１は自車影領域の残存差分、１２は立体物の残存差分、１３は影画像の残存差分、ＴＰは影の先端の位置、１４（図３）は移動前の立体物の残存差分、１５は移動後の立体物の残存差分、１６は立体物の残存差分である。 (A) Outline of the Present Invention FIGS. 1, 2 and 3 are schematic explanatory views of first to third embodiments of the present invention. 1 is a vehicle shadow, 2 is a solid object, 3 is a plane figure, 4 is a residual difference of the vehicle shadow, 5 is a residual difference of the solid object, 6 is a vehicle shadow calculated by calculation, and 7 is a vehicle shadow 6 Remaining difference, 8 (FIG. 2) is the own vehicle shadow calculated by calculation, 9 is a rectangular area calculated from the own vehicle shadow 8, 10 is a shadow image with the rectangular area 9 as a shadow, and 11 is the remaining difference of the own vehicle shadow area. , 12 is the residual difference of the three-dimensional object, 13 is the residual difference of the shadow image, TP is the position of the tip of the shadow, 14 (FIG. 3) is the residual difference of the three-dimensional object before movement, and 15 is the residual difference of the three-dimensional object after movement. , 16 is the residual difference of the three-dimensional object.

（Ａ１）第１実施例の概要
図示しないカメラにより、任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２において自車の後方を撮影し、得られた第１、第２の撮影画像を俯瞰変換し、図１（Ａ）の（ａ）、（ｂ）に示すように自車影１、立体物２、平面図形３が存在する俯瞰画像Ｇ１、Ｇ２をそれぞれ取得する。ついで、自車の移動量に基づいて、図１（Ａ）の（ｃ）に示すような俯瞰画像Ｇ２を移動方向と逆方向にシフトした俯瞰画像Ｇ２’を算出する。しかる後、俯瞰画像Ｇ１より俯瞰画像Ｇ２’を差し引いて、図１（Ａ）の（ｄ）に示すように自車影の残存差分４と立体物の残存差分５を含む差分画像Ｇｓを算出する。一方、自車の３次元形状と、時刻ｔ１と時刻ｔ２におけるそれぞれの光源（太陽）の位置と、自車方向とにより各時刻において、算出した図１（Ｂ）の（ａ）、（ｂ）に示すように自車影６を含む影画像Ｋ１、Ｋ２を作成する。その後、自車の移動量に基づいて、図１（Ｂ）の（ｃ）に示す影画像Ｋ２を移動方向と逆方向にシフトした自車影画像Ｋ２’を算出し、影画像Ｋ１から影画像Ｋ２’を差し引き、図１（Ｂ）の（ｄ）に示すように影の残存差分７を含む影差分画像Ｋｓを生成する。最後に、差分画像Ｇｓから影差分画像Ｋｓを差し引いて、図１（Ｃ）に示すように立体物の残存差分５だけを含む差分画像Ｇｓ’を算出する。以後、差分画像Ｇｓ’内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。 (A1) Outline of the first embodiment Using a camera (not shown), the rear of the vehicle is photographed at an arbitrary time t1 and a time t2 when a predetermined time has elapsed from the time t1, and the obtained first and second photographed images are obtained. The bird's-eye view conversion is performed, and the bird's-eye view images G1 and G2 in which the own vehicle shadow 1, the three-dimensional object 2, and the plane figure 3 exist are respectively obtained as shown in FIGS. Next, an overhead image G2 ′ obtained by shifting the overhead image G2 as shown in (c) of FIG. 1A in the direction opposite to the movement direction is calculated based on the movement amount of the own vehicle. Thereafter, the overhead image G2 ′ is subtracted from the overhead image G1, and the difference image Gs including the residual difference 4 of the own vehicle shadow and the residual difference 5 of the three-dimensional object is calculated as shown in FIG. . On the other hand, (a) and (b) in FIG. 1B calculated at each time based on the three-dimensional shape of the own vehicle, the position of each light source (sun) at time t1 and time t2, and the own vehicle direction. The shadow images K1 and K2 including the own vehicle shadow 6 are created as shown in FIG. Thereafter, based on the amount of movement of the vehicle, a shadow image K2 ′ obtained by shifting the shadow image K2 shown in (c) of FIG. 1B in the direction opposite to the movement direction is calculated, and the shadow image K1 is calculated from the shadow image K1. K2 ′ is subtracted to generate a shadow difference image Ks including the remaining shadow difference 7 as shown in FIG. Finally, by subtracting the shadow difference image Ks from the difference image Gs, a difference image Gs ′ including only the remaining difference 5 of the three-dimensional object is calculated as shown in FIG. Thereafter, by checking whether there is a residual difference in the difference image Gs ′, it is possible to determine whether a three-dimensional object exists in the traveling direction with a monocular camera.

（Ａ２）第２実施例の概要
任意の時刻ｔ１に図示しないカメラにより撮影した撮影画像を俯瞰変換し、図２（Ａ）の（ａ）に示すように自車影１、立体物２、平面図形３が存在する俯瞰画像Ｇ１を取得する。また、図２（Ｂ）の（ａ）、（ｂ）に示すように、該時刻ｔ１における光源の位置、自車方向より算出した自車影８の影が存在する矩形領域９を算出し、領域９全体を影領域１０とする影画像Ｋを作成する。ついで、図２（Ａ）の（ｂ）に示すように、図２（Ａ）の（ａ）と図２（Ｂ）の（ｂ）を合成した俯瞰画像Ｇ１’を取得する。同様にして、該時刻ｔ１より所定時間経過した時刻ｔ２において図示しないカメラにより撮影した撮影画像を俯瞰変換し、図２（Ａ）の（ｃ）に示すように俯瞰画像Ｇ２を取得し、ついで、図２（Ａ）の（ｄ）に示すように俯瞰画像Ｇ２と影画像Ｋを合成した俯瞰画像Ｇ２’を取得する。しかる後、図２（Ａ）の（ｅ）と図２（Ｂ）の（ｃ）に示すように、自車の移動量に基づいて俯瞰画像Ｇ２’と影画像Ｋを移動方向と逆方向にシフトした俯瞰画像Ｇ２”と影画像Ｋ’を算出する。シフト後、俯瞰画像Ｇ１’より俯瞰画像Ｇ２”を差し引いて図２（Ａ）の（ｆ）に示すような影の残存差分１１と立体物の残存差分１２を含む差分画像Ｇｓを算出し、かつ影画像Ｋより影画像Ｋ’を差し引いて図２（Ｂ）の（ｄ）に示すような影の残存差分１３を含む差分画像Ｋｓを算出する。最後に、差分画像Ｇｓより差分画像Ｋｓを差し引いて、図２（Ｃ）に示すような立体物の残存差分１２を含む差分画像Ｇｓ’を算出する。以後、差分画像Ｇｓ’内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。 (A2) Outline of Second Embodiment A captured image photographed by a camera (not shown) at an arbitrary time t1 is converted into a bird's-eye view, and as shown in FIG. An overhead image G1 in which the figure 3 exists is acquired. Also, as shown in (a) and (b) of FIG. 2 (B), a rectangular area 9 where the shadow of the own vehicle shadow 8 calculated from the position of the light source at the time t1 and the own vehicle direction exists is calculated. A shadow image K in which the entire area 9 is the shadow area 10 is created. Next, as shown in (b) of FIG. 2 (A), an overhead image G1 ′ obtained by synthesizing (a) of FIG. 2 (A) and (b) of FIG. 2 (B) is acquired. Similarly, a bird's-eye view image G2 is obtained as shown in (c) of FIG. 2 (A) by performing a bird's-eye conversion of a photographed image taken by a camera (not shown) at a time t2 when a predetermined time has elapsed from the time t1, As shown in FIG. 2A, an overhead image G2 ′ obtained by combining the overhead image G2 and the shadow image K is acquired. Thereafter, as shown in (e) of FIG. 2 (A) and (c) of FIG. 2 (B), the overhead image G2 ′ and the shadow image K are moved in the direction opposite to the moving direction based on the movement amount of the own vehicle. The shifted overhead image G2 ″ and the shadow image K ′ are calculated. After the shift, the overhead image G2 ′ is subtracted from the overhead image G1 ′, and the shadow residual difference 11 and the three-dimensional image as shown in FIG. The difference image Gs including the residual difference 12 of the object is calculated, and the difference image Ks including the residual difference 13 of the shadow as shown in (d) of FIG. calculate. Finally, the difference image Ks is subtracted from the difference image Gs to calculate a difference image Gs ′ including the three-dimensional object residual difference 12 as shown in FIG. Thereafter, by checking whether there is a residual difference in the difference image Gs ′, it is possible to determine whether a three-dimensional object exists in the traveling direction with a monocular camera.

（Ａ３）第３実施例の概要
図３（Ａ）の（ａ）に示すように、任意の時刻ｔ１に図示しないカメラにより撮影した撮影画像Ｐ１より、図３（Ａ）の（ｂ）に示すように、該時刻ｔ１より所定時間Δｔ経過した時刻（ｔ１＋Δｔ）に該カメラにより撮影した撮影画像Ｐ１’を差し引いて、図３（Ａ）の（ｃ）に示すように自車影のない立体物の残存差分１４を含む差分画像Ｐ１”を算出し、該差分画像Ｐ１”を俯瞰画像に変換し、図示しない俯瞰画像Ｇｔ１を算出する。同様にして、図３（Ｂ）の（ａ）に示すように、該時刻ｔ１より所定時間Ｔ（Ｔ＞Δｔ）経過した時刻ｔ２に撮影した撮影画像Ｐ２より、図３（Ｂ）の（ｂ）に示すように、該時刻ｔ２より所定時間Δｔ経過した時刻（ｔ２＋Δｔ）に撮影した撮影画像Ｐ２’を差し引いて、図３（Ｂ）の（ｃ）に示すように自車影のない立体物の残存差分１５を含む差分画像Ｐ２”を算出し、該差分画像Ｐ２”を俯瞰変換し、図示しない俯瞰画像Ｇｔ２を算出する。しかる後、自車の移動量に基づいて、図３（Ｂ）の（ｄ）に示すような俯瞰画像Ｇｔ２を移動方向と逆方向にシフトした俯瞰画像Ｇｔ２’を算出し、俯瞰画像Ｇｔ１より俯瞰画像Ｇｔ２’を差し引いて、図３（Ｃ）に示すような立体物の残存差分１６を含む差分画像Ｇｔｓを算出する。以後、差分画像Ｇｔｓ内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。 (A3) Outline of Third Embodiment As shown in (a) of FIG. 3 (A), it is shown in (b) of FIG. 3 (A) from an image P1 taken by a camera (not shown) at an arbitrary time t1. As shown in FIG. 3 (A) (c), a three-dimensional object having no own vehicle shadow is obtained by subtracting the photographed image P1 ′ photographed by the camera at a time (t1 + Δt) at which a predetermined time Δt has elapsed from the time t1. The difference image P1 ″ including the remaining difference 14 is calculated, the difference image P1 ″ is converted into an overhead image, and an overhead image Gt1 (not shown) is calculated. Similarly, as shown in (a) of FIG. 3 (B), (b) of FIG. 3 (B) is obtained from a photographed image P2 taken at time t2 when a predetermined time T (T> Δt) has elapsed from the time t1. As shown in (c) of FIG. 3 (B) by subtracting the photographed image P2 ′ taken at the time (t2 + Δt) when the predetermined time Δt has elapsed from the time t2, as shown in FIG. The difference image P2 ″ including the remaining difference 15 is calculated, and the difference image P2 ″ is overhead-converted to calculate an overhead image Gt2 (not shown). Thereafter, an overhead image Gt2 ′ obtained by shifting the overhead image Gt2 as shown in (d) of FIG. 3B in the direction opposite to the movement direction is calculated based on the movement amount of the host vehicle, and the overhead image Gt1 is overhead. Subtracting the image Gt2 ′, a difference image Gts including the three-dimensional object residual difference 16 as shown in FIG. 3C is calculated. Thereafter, by checking whether there is a residual difference in the difference image Gts, it is possible to determine whether a three-dimensional object exists in the traveling direction with a monocular camera.

従来技術では、自車影が存在する場合には影を立体物と誤認識していたが、本発明によれば、自車影に影響されず、立体物を正確に検出することが可能であり、これにより接触事故や人身事故を防止することが可能である。   In the prior art, when a vehicle shadow is present, the shadow is misrecognized as a three-dimensional object. However, according to the present invention, a three-dimensional object can be accurately detected without being affected by the vehicle shadow. Yes, it is possible to prevent contact accidents and personal injury.

（Ｂ）第１実施例
図４は本発明の立体物検出装置を搭載した車載器の構成図である。 (B) 1st Example FIG. 4: is a block diagram of the onboard equipment carrying the solid-object detection apparatus of this invention.

ナビゲーションユニット１９と立体物検出装置２０が車内ネットワークＣＮＷを介して接続されている。
ナビゲーションユニット１９において、ＧＰＳ受信部２１はＧＰＳ衛星から送られてくる位置情報を受信して車両の絶対現在位置を測定する。車速検出部２２は一定走行距離毎にパルスを発生する距離センサを備えている。ナビゲーション部２３はＧＰＳ受信部２１と車速検出部２２と車両回転角度を検出するジャイロセンサ（図示せず）から出力される信号を用いて、現在の車両位置を推定できるようになっている。 The navigation unit 19 and the three-dimensional object detection device 20 are connected via the in-vehicle network CNW.
In the navigation unit 19, the GPS receiver 21 receives position information sent from a GPS satellite and measures the absolute current position of the vehicle. The vehicle speed detection unit 22 includes a distance sensor that generates a pulse for every predetermined travel distance. The navigation unit 23 can estimate the current vehicle position using signals output from the GPS receiver 21, the vehicle speed detector 22, and a gyro sensor (not shown) that detects the vehicle rotation angle.

立体物検出装置２０において、カメラ２４は自車の後方を撮影できるように所定の位置（例えば、リアのナンバープレートの上方）に取り付けられており、画像トリミング部２５は時刻ｔ１と該時刻より所定時間経過後の時刻ｔ２における撮影画像から俯瞰変換を行うための画像を切り出す。地面への投影処理部２６はカメラ２４により撮影した各画像を車両の車高よりも高い所定の高さの地点（例えば、車両中央の真上）から撮影した俯瞰画像に変換する。画像バッファ２７は、投影処理部２６が作成した時刻ｔ１の画像の俯瞰画像を記憶する。   In the three-dimensional object detection device 20, the camera 24 is mounted at a predetermined position (for example, above the rear license plate) so that the rear of the host vehicle can be photographed, and the image trimming unit 25 is predetermined from the time t1 and the time. An image for performing overhead conversion is cut out from the captured image at time t2 after the elapse of time. The ground projection processing unit 26 converts each image captured by the camera 24 into an overhead image captured from a point having a predetermined height higher than the vehicle height (for example, directly above the center of the vehicle). The image buffer 27 stores an overhead image of the image at time t1 created by the projection processing unit 26.

ステアリング検出部２８は自車のステアリング情報を検出する。車両移動量計算部２９は車速検出部２２とステアリング検出部２８がそれぞれ検出した車速情報とステアリング情報を取得し、該車速情報とステアリング情報を基に自車の経度方向および緯度方向の移動量を算出する。   The steering detector 28 detects steering information of the own vehicle. The vehicle movement amount calculation unit 29 acquires the vehicle speed information and the steering information detected by the vehicle speed detection unit 22 and the steering detection unit 28, respectively, and based on the vehicle speed information and the steering information, calculates the movement amount in the longitude direction and the latitude direction of the own vehicle. calculate.

画像シフト部３０は投影処理部２６が作成した時刻ｔ２の画像の俯瞰画像を前記移動量に基づいて、自車が移動した方向と逆方向にシフトする。差分演算部３１は画像バッファ２７が記憶している時刻ｔ１の俯瞰画像より前記シフトした時刻ｔ２の俯瞰画像を差し引いて、差分画像を作成する。   The image shift unit 30 shifts the overhead view image of the image at time t2 created by the projection processing unit 26 in the direction opposite to the direction in which the host vehicle has moved based on the amount of movement. The difference calculation unit 31 creates a difference image by subtracting the shifted overhead image at time t2 from the overhead image at time t1 stored in the image buffer 27.

太陽運動軌道記憶部３２は光源である太陽の運動軌道情報を記憶している。太陽位置算出部３３はＧＰＳ受信部２１が受信したＧＰＳ情報（位置および時刻情報）と、太陽運動軌道記憶部３２が記憶している太陽の運動軌道情報を基に車両位置を基準とした現在の太陽の位置を算出する。自車３次元形状記憶部３４は自車形状を３次元のデータとして記憶している。自車影計算部３５は、図示しないジャイロセンサから取得した自車方向情報と、太陽位置計算部３３から取得した光源である太陽の位置情報と、自車３次元形状記憶部３４から取得した自車形状の３次元データとを用いて時刻ｔ１と該時刻より所定時間後の時刻ｔ２における自車影を計算し、影画像として発生する。影画像バッファ３６は自車影計算部３５が発生した時刻ｔ１の影画像を記憶する。影画像オフセット部３７は自車影計算部３５が発生した時刻ｔ２の影画像を前記移動量に基づいて、自車が移動した方向と逆方向にシフトする。自車影差分演算部３８は、影画像バッファ３６が記憶している時刻ｔ１の影画像より前記シフトした時刻ｔ２の影画像を差し引き、差分マスク作成部３９は自車影差分演算部３８により発生した差分影画像より差分マスクを作成する。   The solar motion trajectory storage unit 32 stores the motion trajectory information of the sun that is the light source. The solar position calculation unit 33 is based on the GPS information (position and time information) received by the GPS reception unit 21 and the solar motion trajectory information stored in the solar motion trajectory storage unit 32. Calculate the position of the sun. The own vehicle three-dimensional shape storage unit 34 stores the own vehicle shape as three-dimensional data. The own vehicle shadow calculation unit 35 includes own vehicle direction information acquired from a gyro sensor (not shown), sun position information acquired from the sun position calculation unit 33, and the own vehicle acquired from the own vehicle three-dimensional shape storage unit 34. Using the three-dimensional data of the vehicle shape, the vehicle shadow at time t1 and time t2 after a predetermined time from the time is calculated and generated as a shadow image. The shadow image buffer 36 stores a shadow image at time t1 generated by the vehicle shadow calculation unit 35. The shadow image offset unit 37 shifts the shadow image at the time t2 generated by the host vehicle shadow calculation unit 35 in the direction opposite to the direction in which the host vehicle has moved based on the movement amount. The own vehicle shadow difference calculation unit 38 subtracts the shifted shadow image at time t2 from the shadow image at time t1 stored in the shadow image buffer 36, and the difference mask creation unit 39 is generated by the own vehicle shadow difference calculation unit 38. A difference mask is created from the difference shadow image.

差分マスク部４０は、差分演算部３１が発生した差分画像より差分マスク作成部３９が作成した差分マスクを差し引いて影が除去された差分画像を作成し、警告発生部４１は、該差分画像内に残存差分が存在するかを調べ、残存差分が存在する場合には立体物が存在すると判断し、残存差分が存在しない場合には立体物が存在しないと判断する。尚、差分マスク部４０が立体物が存在すると判断した場合、警告発生部４１は警告を発生し、表示部４２とスピーカ４３は該警告を運転者に明示する。   The difference mask unit 40 creates a difference image in which the shadow is removed by subtracting the difference mask created by the difference mask creation unit 39 from the difference image generated by the difference calculation unit 31, and the warning generation unit 41 If there is a residual difference, it is determined that there is a three-dimensional object. If there is no residual difference, it is determined that there is no three-dimensional object. When the difference mask unit 40 determines that a three-dimensional object exists, the warning generation unit 41 generates a warning, and the display unit 42 and the speaker 43 clearly indicate the warning to the driver.

図５は第１実施例の立体物検出の処理フローであり、図６は第１実施例のマスク画像発生の処理フローである。以下、図５、図６の処理フローに沿って説明を行う。   FIG. 5 is a processing flow for detecting a three-dimensional object according to the first embodiment, and FIG. 6 is a processing flow for generating a mask image according to the first embodiment. Hereinafter, description will be made along the processing flow of FIGS. 5 and 6.

ギアポジション検出部（図示せず）はギアがバックに入ったかの監視を行い（ステップＳ５０１）、ギアがバックに入ったと判断した場合には、Ｓ５０２に進む。
ステップＳ５０１において、ギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ２４は時刻ｔ１において車両進行方向の撮影画像Ｐ１を撮影し（ステップＳ５０２）、画像トリミング部２５は撮影画像Ｐ１から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図１（Ａ）の（ａ）に示すような自車影１、立体物２、平面図形３を含む俯瞰画像Ｇ１を取得し（ステップＳ５０３）、画像バッファ２７は該俯瞰画像Ｇ１を記憶する。 A gear position detection unit (not shown) monitors whether the gear has entered the back (step S501). If it is determined that the gear has entered the back, the process proceeds to S502.
In step S501, when the gear position detection unit determines that the gear is in the back, the camera 24 captures the captured image P1 in the vehicle traveling direction at time t1 (step S502), and the image trimming unit 25 captures the captured image P1. The captured image for performing the overhead view conversion is cut out from the image, and the projection processing unit 26 performs the overhead view conversion of the cut out shot image, and the own vehicle shadow 1, the three-dimensional object 2, and the plane figure as shown in FIG. 3 is acquired (step S503), and the image buffer 27 stores the overhead image G1.

ついで、立体検出装置２０の制御部（図示せず）は所定時間（例えば、１秒）経過したかの判断を行い（ステップＳ５０４）、所定時間経過した場合Ｓ５０５に進む。
ステップＳ５０４において、所定時間経過した場合には、カメラ２４は時刻ｔ２における車両進行方向の撮影画像Ｐ２を撮影し（ステップＳ５０５）、画像トリミング部２５は撮影画像Ｐ２から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図１（Ａ）の（ｂ）に示すような俯瞰画像Ｇ２を取得する（ステップＳ５０６）。 Next, the control unit (not shown) of the three-dimensional detection device 20 determines whether a predetermined time (for example, 1 second) has elapsed (step S504), and proceeds to S505 when the predetermined time has elapsed.
In step S504, when the predetermined time has elapsed, the camera 24 captures the captured image P2 in the vehicle traveling direction at time t2 (step S505), and the image trimming unit 25 captures the captured image for performing overhead conversion from the captured image P2. , And the projection processing unit 26 performs overhead conversion of the captured image, and obtains an overhead image G2 as shown in FIG. 1A (b) (step S506).

しかる後、車両移動量計算部２９は車速検出部２２より車速情報を取得し、かつステアリング検出部２８よりステアリング情報を取得し、該車速情報と該ステアリング情報より自車の移動量を算出し（ステップＳ５０７）、画像オシフト部３０は該移動量に基づいて移動した方向と逆方向に俯瞰画像Ｇ２をシフトし、図１（Ａ）の（ｃ）に示すように俯瞰画像Ｇ２全体を移動量分だけ補正した俯瞰画像Ｇ２’を算出する（ステップＳ５０８）。
次に、差分演算部３１は画像バッファ２７が記憶している俯瞰画像Ｇ１より画像シフト部３０が補正した俯瞰画像Ｇ２’を差し引いて、図１（Ａ）の（ｄ）に示すように影の残存差分４と立体物の残存差分５が存在する差分画像Ｇｓを算出する（ステップＳ５０９）。 Thereafter, the vehicle movement amount calculation unit 29 acquires vehicle speed information from the vehicle speed detection unit 22, acquires steering information from the steering detection unit 28, and calculates the movement amount of the host vehicle from the vehicle speed information and the steering information ( In step S507), the image offset unit 30 shifts the bird's-eye view image G2 in the direction opposite to the direction of movement based on the amount of movement, and the entire bird's-eye view image G2 is moved by the amount of movement as shown in FIG. Only the overhead image G2 ′ corrected is calculated (step S508).
Next, the difference calculation unit 31 subtracts the overhead view image G2 ′ corrected by the image shift unit 30 from the overhead view image G1 stored in the image buffer 27 to obtain a shadow as shown in (d) of FIG. A difference image Gs in which the residual difference 4 and the residual difference 5 of the three-dimensional object are present is calculated (step S509).

ついで、後述するマスク画像Ｋｓ発生処理を行い、図１（Ｂ）の（ｄ）に示すように自車影の残存差分７を含むマスク画像Ｋｓを発生し（ステップＳ５１０）、差分マスク部４０は差分画像Ｇｓよりマスク画像Ｋｓを差し引いて図１（Ｃ）に示すような差分画像Ｇｓ’算出し（ステップＳ５１１）、警告発生部４１は差分画像Ｇｓ’内に残存差分が存在するか判断し（ステップＳ５１２）、残存差分５が存在する場合にはＳ５１３に進み、残存差分が存在しない場合にはＳ５１４に進む。   Next, a mask image Ks generation process, which will be described later, is performed to generate a mask image Ks including the residual difference 7 of the own vehicle shadow as shown in (d) of FIG. 1B (step S510). A difference image Gs ′ as shown in FIG. 1C is calculated by subtracting the mask image Ks from the difference image Gs (step S511), and the warning generation unit 41 determines whether or not there is a residual difference in the difference image Gs ′ ( Step S512) If the remaining difference 5 exists, the process proceeds to S513, and if there is no remaining difference, the process proceeds to S514.

ステップＳ５１２において、残存差分５が存在する場合には警告発生部４１は進行方向に立体物が存在すると判断して警告発生し（ステップＳ５１３）、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する（ステップＳ５１４）。   In step S512, if the remaining difference 5 exists, the warning generating unit 41 determines that a solid object exists in the traveling direction and generates a warning (step S513). If there is no remaining difference, the warning generating unit 41 generates a three-dimensional object in the traveling direction. It is determined that there is no object (step S514).

次にマスク画像Ｋｓの発生処理について説明する。図６はマスク画像発生の処理フローである。   Next, generation processing of the mask image Ks will be described. FIG. 6 is a processing flow of mask image generation.

太陽位置算出部３３は、ＧＰＳ受信部２１より撮影画像Ｐ１撮影時（時刻ｔ１）のＧＰＳ情報（位置および時刻情報）を取得し、かつ太陽運動軌道記憶部３２が記憶している太陽運動軌道情報を取得し、該ＧＰＳ情報と該太陽運動軌道情報より自車位置を基準にした撮影画像Ｐ１撮影時の太陽の位置を算出する（ステップＳ６１１）。
ついで、自車影計算部３５は、自車３次元形状記憶部３４が記憶している自車形状と、算出した太陽の位置とジャイロセンサから取得した自車方向情報とを用いて、図１（Ｂ）の（ａ）に示すような計算で算出した影画像６を含む撮影画像Ｐ１撮影時の自車影画像Ｋ１を算出する（ステップＳ６１３）。 The solar position calculation unit 33 acquires GPS information (position and time information) at the time of shooting the captured image P1 (time t1) from the GPS reception unit 21, and the solar motion trajectory information stored in the solar motion trajectory storage unit 32. And the position of the sun at the time of shooting the captured image P1 based on the vehicle position is calculated from the GPS information and the solar motion trajectory information (step S611).
Next, the own vehicle shadow calculation unit 35 uses the own vehicle shape stored in the own vehicle three-dimensional shape storage unit 34, the calculated sun position, and the own vehicle direction information acquired from the gyro sensor, as shown in FIG. The own vehicle shadow image K1 at the time of shooting the captured image P1 including the shadow image 6 calculated by the calculation shown in (B) of (B) is calculated (step S613).

しかる後、同様に太陽位置算出部３３は、ＧＰＳ受信部２１より撮影画像Ｐ２撮影時（時刻ｔ２）のＧＰＳ情報を取得し、該ＧＰＳ情報と該太陽軌道運動情報より撮影画像Ｐ２撮影時の太陽の位置を算出し（ステップＳ６１４）、自車影計算部３５は自車方向情報と該太陽の位置情報と該自車形状とを用いて、図１（Ｂ）の（ｂ）に示すように計算で算出した影画像６を含む撮影画像Ｐ２撮影時の自車影画像Ｋ２を算出する（ステップＳ６１５）。尚、時刻ｔ１と時刻ｔ２の時間差は、例えば１秒であるため、これらの時刻における太陽位置はほぼ同じであるので、時刻ｔ２の自車影画像Ｋ２を時刻ｔ１の自車影画像Ｋ１とみなすこともできる。   Thereafter, similarly, the sun position calculating unit 33 acquires GPS information at the time of shooting the captured image P2 (time t2) from the GPS receiving unit 21, and the sun at the time of shooting the captured image P2 from the GPS information and the solar orbit motion information. The vehicle shadow calculation unit 35 uses the vehicle direction information, the sun position information, and the vehicle shape as shown in FIG. 1B (b). The own vehicle shadow image K2 at the time of shooting the captured image P2 including the shadow image 6 calculated by the calculation is calculated (step S615). Since the time difference between time t1 and time t2 is 1 second, for example, the sun position at these times is almost the same, so the vehicle shadow image K2 at time t2 is regarded as the vehicle shadow image K1 at time t1. You can also.

次に、影画像シフト部３７は車両移動計算部２９が算出した移動量を取得し（ステップＳ６１６）、影画像Ｋ２を該移動量に基づいて移動した方向と逆方向にシフトし、図１（Ｂ）の（ｃ）に示すように移動量補正した影画像Ｋ２’を算出する（ステップＳ６１７）。
最後に自車影差分演算部３８は影画像Ｋ１より移動量補正した影画像Ｋ２’を差し引き、差分マスク作成部３９は図１（Ｂ）の（ｄ）に示すような差分画像Ｋｓを算出する（ステップＳ６１８）。この差分画像Ｋｓを前述したＳ５１１以降において使用する。 Next, the shadow image shift unit 37 acquires the movement amount calculated by the vehicle movement calculation unit 29 (step S616), and shifts the shadow image K2 in the direction opposite to the moving direction based on the movement amount. As shown in (c) of B), a shadow image K2 ′ whose movement amount is corrected is calculated (step S617).
Finally, the own vehicle shadow difference calculation unit 38 subtracts the shadow image K2 ′ whose movement amount has been corrected from the shadow image K1, and the difference mask creation unit 39 calculates a difference image Ks as shown in FIG. (Step S618). This difference image Ks is used after S511 described above.

以上、本実施例によれば、時刻ｔ１、ｔ２に撮影した２つの撮影画像の差分画像（図１（Ｃ））より自車方向、太陽の位置情報、自車形状を用いて作成した自車影画像を用いて、自車影像を除去するように構成したので、自車影に影響されずに正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。   As described above, according to the present embodiment, the own vehicle created using the own vehicle direction, the sun position information, and the own vehicle shape from the difference image (FIG. 1C) of the two photographed images taken at times t1 and t2. Since the vehicle image is removed using the shadow image, the three-dimensional object can be accurately detected without being affected by the vehicle shadow, and the distance to the three-dimensional object is clearly indicated to the driver. Can prevent contact accidents and personal injury.

（Ｃ）第１実施例の第１変形例
図７は本発明の第１実施例の第１変形例の構成図である。図４と同一の部分には同一の符号を付している。異なる点は、平均撮影画像発生部７１を設置した点である。
画像トリミング部２５は、任意の時刻ｔ１前後にカメラ２４が撮影した所定枚数（少なくとも２枚）の撮影画像から俯瞰変換を行うために画像を切り出し、投影処理部２６は該切り出した撮影画像をそれぞれ俯瞰画像に変換し、平均撮影画像発生部７１は該所定枚数の俯瞰画像を平均化して１枚の俯瞰画像を算出する。しかる後、該俯瞰画像を画像バッファ２７は記憶する。該時刻ｔ１より所定時間経過した時刻ｔ２においても同様の処理を行って１枚の俯瞰画像を算出し、平均撮影画像発生部７１は該俯瞰画像を画像シフト部３０に入力する。 (C) First Modification of First Embodiment FIG. 7 is a configuration diagram of a first modification of the first embodiment of the present invention. The same parts as those in FIG. 4 are denoted by the same reference numerals. The difference is that an average photographed image generating unit 71 is installed.
The image trimming unit 25 cuts out images for performing overhead conversion from a predetermined number (at least two) of shot images taken by the camera 24 before and after an arbitrary time t1, and the projection processing unit 26 cuts the cut-out shot images. The image is converted into a bird's-eye view image, and the average photographed image generator 71 averages the predetermined number of bird's-eye views to calculate one bird's-eye view image. Thereafter, the image buffer 27 stores the overhead view image. The same processing is performed at time t2 when a predetermined time has elapsed from time t1 to calculate one overhead image, and the average captured image generation unit 71 inputs the overhead image to the image shift unit 30.

以上、本変形例によれば、第１実施例と同様の効果を得ることができ、かつ所定枚数（少なくとも２枚）の撮影画像より俯瞰画像を算出するので、雑音の影響による立体物検出の精度の低下を防ぐことができる。   As described above, according to the present modification, the same effect as that of the first embodiment can be obtained, and the overhead image is calculated from a predetermined number (at least two) of captured images. A reduction in accuracy can be prevented.

（Ｄ）第１実施例の第２変形例
図８は本発明の第１実施例の第２変形例の構成図、図９はカメラによる光源位置検出の概要図である。図９において、８１はカメラ、９１は光源である太陽、９２は自車両、θはカメラ８１の視野角である。
図８の第２変形例の構成図において、図４の第１実施例の構成図と同一の部分には同一の符号を付している。異なる点は、太陽の位置を求めるための太陽運動軌道記憶部３２と太陽位置算出部３３とを除去し、代わりにカメラ８１と太陽位置検出部８２とを設けた点である。 (D) Second Modification of First Embodiment FIG. 8 is a configuration diagram of a second modification of the first embodiment of the present invention, and FIG. 9 is a schematic diagram of light source position detection by a camera. In FIG. 9, 81 is a camera, 91 is the sun as a light source, 92 is the host vehicle, and θ is a viewing angle of the camera 81.
In the configuration diagram of the second modified example of FIG. 8, the same components as those in the configuration diagram of the first embodiment of FIG. A different point is that the solar motion trajectory storage unit 32 and the solar position calculation unit 33 for obtaining the position of the sun are removed, and a camera 81 and a solar position detection unit 82 are provided instead.

カメラ８１は広角カメラ等で構成されており、例えば図９に示すように視野角θを持っており自車両９２の屋根の中央に配置されて任意の時刻に太陽９１を撮影する。太陽位置算出部８２は、該周囲撮影画像より太陽の位置および太陽に対する自車方向を算出する。   The camera 81 is composed of a wide-angle camera or the like. For example, as shown in FIG. 9, the camera 81 has a viewing angle θ and is arranged in the center of the roof of the host vehicle 92 to photograph the sun 91 at an arbitrary time. The sun position calculation unit 82 calculates the position of the sun and the direction of the vehicle relative to the sun from the surrounding captured image.

次に、処理フローについて説明を行う。図１０は第２変形例の処理フローであり、以下図１０に沿って処理の説明を行う。   Next, the processing flow will be described. FIG. 10 is a processing flow of the second modified example, and the processing will be described with reference to FIG.

ギアポジション検出部（図示せず）はギアがバックに入ったかの監視を行い（ステップＳ１００１）、ギアがバックに入ったと判断した場合には、Ｓ１００２に進む。
ステップＳ１００１において、ギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ２４は時刻ｔ１において車両進行方向の撮影画像Ｐ１を撮影すると共に、カメラ８１は周囲を撮影し、太陽位置検出部８２は該周囲撮影画像より太陽の位置および太陽に対する自車方向を検出して保存する（ステップＳ１００２）。 A gear position detection unit (not shown) monitors whether the gear has entered the back (step S1001). If it is determined that the gear has entered the back, the process proceeds to S1002.
In step S1001, when the gear position detection unit determines that the gear is in the back, the camera 24 captures the captured image P1 in the vehicle traveling direction at time t1, and the camera 81 captures the surroundings to detect the sun position. The unit 82 detects and stores the position of the sun and the direction of the vehicle relative to the sun from the surrounding photographed image (step S1002).

次に、画像トリミング部２５は撮影画像Ｐ１から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図１（Ａ）の（ａ）に示すような自車影１、立体物２、平面図形３を含む俯瞰画像Ｇ１を取得し（ステップＳ１００３）、画像バッファ２７は該俯瞰画像Ｇ１を記憶する。   Next, the image trimming unit 25 cuts out the shot image for performing the overhead view conversion from the shot image P1, and the projection processing unit 26 performs the overhead view conversion of the cut out shot image, as shown in (a) of FIG. An overhead image G1 including the own vehicle shadow 1, the three-dimensional object 2, and the plane figure 3 is acquired (step S1003), and the image buffer 27 stores the overhead image G1.

ついで、立体検出装置２０の制御部（図示せず）は所定時間（例えば、１秒）経過したかの判断を行い（ステップＳ１００４）、所定時間経過した場合Ｓ１００５に進む。
ステップＳ１００４において、所定時間経過した場合には、カメラ２４は時刻ｔ２における車両進行方向の撮影画像Ｐ２を撮影すると共に、カメラ８１は周囲を撮影し、太陽位置検出部８２は該周囲撮影画像より太陽の位置および太陽に対する自車方向を検出して保存する（ステップＳ１００５）。 Next, the control unit (not shown) of the stereoscopic detection device 20 determines whether a predetermined time (for example, 1 second) has elapsed (step S1004), and proceeds to S1005 when the predetermined time has elapsed.
In step S1004, when a predetermined time has elapsed, the camera 24 captures the captured image P2 in the vehicle traveling direction at time t2, the camera 81 captures the surroundings, and the sun position detector 82 detects the sun from the ambient captured images. And the vehicle direction relative to the sun are detected and stored (step S1005).

しかる後、画像トリミング部２５は撮影画像Ｐ２から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図１（Ａ）の（ｂ）に示すような俯瞰画像Ｇ２を取得する（ステップＳ１００６）。   Thereafter, the image trimming unit 25 cuts out the shot image for performing the overhead view conversion from the shot image P2, and the projection processing unit 26 performs the overhead view conversion of the cut out shot image, as shown in FIG. An overhead image G2 is acquired (step S1006).

その後、車両移動量計算部２９は車速検出部２２より車速情報を取得し、かつステアリング検出部２８よりステアリング情報を取得し、該車速情報と該ステアリング情報より自車の移動量を算出し（ステップＳ１００７）、画像シフト部３０は該移動量に基づいて移動した方向と逆方向に俯瞰画像Ｇ２をシフトし、図１（Ａ）の（ｃ）に示すように俯瞰画像Ｇ２全体を移動量分だけ補正した俯瞰画像Ｇ２’を算出する（ステップＳ１００８）。   Thereafter, the vehicle movement amount calculation unit 29 acquires vehicle speed information from the vehicle speed detection unit 22, acquires steering information from the steering detection unit 28, and calculates the movement amount of the host vehicle from the vehicle speed information and the steering information (step In step S1007), the image shift unit 30 shifts the overhead image G2 in the direction opposite to the direction of movement based on the movement amount, and moves the entire overhead image G2 by the movement amount as illustrated in (c) of FIG. A corrected overhead image G2 ′ is calculated (step S1008).

次に、差分演算部３１は画像バッファ２７が記憶している俯瞰画像Ｇ１より画像シフト部３０が補正した俯瞰画像Ｇ２’を差し引いて、図１（Ａ）の（ｄ）に示すように影の残存差分４と立体物の残存差分５が存在する差分画像Ｇｓを算出する（ステップＳ１００９）。   Next, the difference calculation unit 31 subtracts the overhead view image G2 ′ corrected by the image shift unit 30 from the overhead view image G1 stored in the image buffer 27 to obtain a shadow as shown in (d) of FIG. A difference image Gs in which the residual difference 4 and the residual difference 5 of the three-dimensional object exist is calculated (step S1009).

ついで、後述するマスク画像Ｋｓの発生処理により、図１（Ｂ）の（ｄ）に示すように自車影の残存差分７を含むマスク画像Ｋｓを発生し（ステップＳ１０１０）、差分マスク部４０は差分画像Ｇｓよりマスク画像Ｋｓを差し引いて図１（Ｃ）に示すような差分画像Ｇｓ’を算出し（ステップＳ１０１１）、警告発生部４１は差分画像Ｇｓ’内に残存差分が存在するか判断し（ステップＳ１０１２）、残存差分５が存在する場合にはＳ１０１３に進み、残存差分が存在しない場合にはＳ１０１４に進む。   Next, as shown in (d) of FIG. 1B, a mask image Ks including the residual difference 7 of the own vehicle shadow is generated by the generation process of the mask image Ks described later (step S1010), and the difference mask unit 40 A difference image Gs ′ as shown in FIG. 1C is calculated by subtracting the mask image Ks from the difference image Gs (step S1011), and the warning generation unit 41 determines whether or not there is a residual difference in the difference image Gs ′. (Step S1012) If the remaining difference 5 exists, the process proceeds to S1013. If the remaining difference does not exist, the process proceeds to S1014.

ステップＳ１０１２において、残存差分５が存在する場合には警告発生部４１は進行方向に立体物が存在すると判断して警告発生し（ステップＳ１０１３）、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する（ステップＳ１０１４）。   In step S1012, if the remaining difference 5 exists, the warning generating unit 41 determines that a solid object exists in the traveling direction and generates a warning (step S1013). If there is no remaining difference, the warning generating unit 41 generates a three-dimensional object in the traveling direction. It is determined that there is no object (step S1014).

次にマスク画像Ｋｓの発生処理について説明する。図１１はマスク画像発生の処理フローである。   Next, generation processing of the mask image Ks will be described. FIG. 11 is a processing flow of mask image generation.

自車影計算部３５は、自車３次元形状記憶部３４が記憶している自車形状と、時刻ｔ１において算出した太陽の位置と自車方向情報とを取得し（ステップＳ１１１１）、該自車形状と該太陽の位置と該自車方向情報を用いて、図１（Ｂ）の（ａ）に示すような時刻ｔ１（撮影画像Ｐ１撮影時）の自車影画像Ｋ１を算出する（ステップＳ１１１２）。   The own vehicle shadow calculation unit 35 acquires the own vehicle shape stored in the own vehicle three-dimensional shape storage unit 34, the sun position calculated at the time t1, and the own vehicle direction information (step S1111). By using the vehicle shape, the position of the sun, and the vehicle direction information, a vehicle shadow image K1 at time t1 (at the time of shooting the captured image P1) as shown in FIG. S1112).

しかる後、同様に自車影計算部３５は、時刻ｔ２において算出した太陽の位置と自車方向情報とを取得し（ステップＳ１１１３）、該自車形状と該太陽の位置情報と該自車方向情報とを用いて、図１（Ｂ）の（ｂ）に示すように（撮影画像Ｐ２撮影時）の自車影画像Ｋ２を算出する（ステップＳ１１１４）。尚、時刻ｔ１と時刻ｔ２の時間差は、例えば１秒であるため、これらの時刻における太陽位置はほぼ同じであるので、時刻ｔ２の自車影画像Ｋ２を時刻ｔ１の自車影画像Ｋ１とみなすこともできる。   Thereafter, the own vehicle shadow calculation unit 35 similarly acquires the sun position and the own vehicle direction information calculated at time t2 (step S1113), and the own vehicle shape, the sun position information, and the own vehicle direction. Using the information, as shown in (b) of FIG. 1B, the own vehicle shadow image K2 is calculated (at the time of shooting the shot image P2) (step S1114). Since the time difference between time t1 and time t2 is 1 second, for example, the sun position at these times is almost the same, so the vehicle shadow image K2 at time t2 is regarded as the vehicle shadow image K1 at time t1. You can also.

次に、影画像シフト部３７は車両移動計算部２９が算出した移動量を取得し（ステップＳ１１１５）、影画像Ｋ２を該移動量に基づいて移動した方向と逆方向にシフトし、図１（Ｂ）の（ｃ）に示すように移動量補正した影画像Ｋ２’を算出する（ステップＳ１１１６）。   Next, the shadow image shift unit 37 acquires the movement amount calculated by the vehicle movement calculation unit 29 (step S1115), shifts the shadow image K2 in the direction opposite to the moving direction based on the movement amount, and FIG. As shown in (c) of B), a shadow image K2 ′ whose movement amount is corrected is calculated (step S1116).

最後に自車影差分演算部３８は影画像Ｋ１より移動量補正した影画像Ｋ２’を差し引き、差分マスク作成部３９は図１（Ｂ）の（ｄ）に示すような差分画像Ｋｓを算出する（ステップＳ１１１７）。この差分画像Ｋｓを前述したＳ１０１１以降において使用する。尚、第１変形例と第２変形例とを組み合わせることも可能である。   Finally, the own vehicle shadow difference calculation unit 38 subtracts the shadow image K2 ′ whose movement amount has been corrected from the shadow image K1, and the difference mask creation unit 39 calculates a difference image Ks as shown in FIG. (Step S1117). This difference image Ks is used after S1011 described above. It is possible to combine the first modification and the second modification.

以上、本変形例によれば、第１実施例と同様の効果を得ることができ、かつ太陽に限らず光源が存在する全ての場所で影画像を作成し正確に立体物を検出することができる。   As described above, according to the present modification, it is possible to obtain the same effect as that of the first embodiment, and to accurately detect a three-dimensional object by creating a shadow image not only in the sun but in all places where a light source exists. it can.

（Ｅ）第２実施例
図１２は本発明の第２実施例の構成図であり、図４の第１実施例の構成図と同一の部分には同一符号を付しており、図４と異なる点は画像合成部１２１を設けた点である。
画像合成部１２１は自車影計算部３５が算出した影画像Ｋ（自車影領域）と投影処理部２６が作成した俯瞰画像との合成を行う。 (E) Second Embodiment FIG. 12 is a block diagram of a second embodiment of the present invention. The same parts as those in the first embodiment shown in FIG. The difference is that an image composition unit 121 is provided.
The image composition unit 121 synthesizes the shadow image K (vehicle shadow region) calculated by the vehicle shadow calculation unit 35 and the overhead image created by the projection processing unit 26.

図１３は本発明の第２実施例の処理フローである。以下、処理フローにしたがって、説明を行う。
ギアポジション検出部（図示せず）はギアがバックに入ったかの監視を行い（ステップＳ１３０１）、ギアがバックに入ったと判断した場合には、Ｓ１３０２に進む。
ステップＳ１３０１でギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ２４は時刻ｔ１において車両進行方向の撮影画像Ｐ１を撮影し（ステップＳ１３０２）、画像トリミング部２５は撮影画像Ｐ１から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図２（Ａ）の（ａ）に示すような自車影１、立体物２、平面図形３を含む俯瞰画像Ｇ１を取得し（ステップＳ１３０３）、内蔵のメモリに該俯瞰画像Ｇ１を記憶する。 FIG. 13 is a processing flow of the second embodiment of the present invention. Hereinafter, description will be given according to the processing flow.
A gear position detection unit (not shown) monitors whether the gear has entered the back (step S1301). If it is determined that the gear has entered the back, the process proceeds to S1302.
If the gear position detection unit determines that the gear is in the back in step S1301, the camera 24 captures the captured image P1 in the vehicle traveling direction at time t1 (step S1302), and the image trimming unit 25 starts from the captured image P1. The photographed image for performing the overhead view conversion is cut out, and the projection processing unit 26 performs the overhead view conversion of the cut out photographed image, and the own vehicle shadow 1, the three-dimensional object 2, and the plane figure 3 as shown in FIG. Is obtained (step S1303), and the overhead image G1 is stored in the built-in memory.

ついで、後述する影領域算出処理を行い、自車影計算画像Ｋ（図２（Ｂ）の（ｂ））を算出し（ステップＳ１３０４）、画像合成部１２１は俯瞰画像Ｇ１と影画像Ｋとを合成し、図２（Ａ）の（ｂ）に示すような立体物２、平面図形３、影画像１０を含む俯瞰画像Ｇ１’を生成して画像バッファ２７に保存する（ステップＳ１３０５）。立体検出装置２０の制御部（図示せず）は所定時間（例えば、１秒）経過したかの判断を行い（ステップＳ１３０６）、所定時間経過した場合Ｓ１３０７に進む。
ステップＳ１３０６において、所定時間経過した場合には、カメラ２４は時刻ｔ２における車両進行方向の撮影画像Ｐ２を撮影し（ステップＳ１３０７）、画像トリミング部２５は撮影画像Ｐ２から俯瞰変換を行うための撮影画像を切り出し、投影処理部２６は切り出した撮影画像を俯瞰変換し、図２（Ａ）の（ｃ）に示すような俯瞰画像Ｇ２を取得する（ステップＳ１３０８）。 Next, a shadow area calculation process to be described later is performed to calculate the vehicle shadow calculation image K ((b) in FIG. 2B) (step S1304), and the image composition unit 121 generates the overhead image G1 and the shadow image K. By combining the images, an overhead image G1 ′ including the three-dimensional object 2, the plane figure 3, and the shadow image 10 as shown in FIG. 2A is generated and stored in the image buffer 27 (step S1305). The control unit (not shown) of the stereoscopic detection device 20 determines whether a predetermined time (for example, 1 second) has elapsed (step S1306), and proceeds to S1307 if the predetermined time has elapsed.
In step S1306, when the predetermined time has elapsed, the camera 24 captures the captured image P2 in the vehicle traveling direction at time t2 (step S1307), and the image trimming unit 25 captures the captured image for performing overhead conversion from the captured image P2. Then, the projection processing unit 26 performs overhead conversion of the cropped captured image, and obtains an overhead image G2 as shown in FIG. 2A (c) (step S1308).

次に、画像合成部１２１は俯瞰画像Ｇ２と影画像Ｋとを合成し、図２（Ａ）の（ｄ）に示すような俯瞰画像Ｇ２’を発生し（ステップＳ１３０９）、車両移動量計算部２９は車速検出部２２より車速情報を取得し、かつステアリング検出部２８よりステアリング情報を取得し、該車速情報と該ステアリング情報より自車の移動量を算出し（ステップＳ１３１０）、画像シフト部３０は該移動量に基づいて移動した方向と逆方向に俯瞰画像Ｇ２’をシフトし、図２（Ａ）の（ｅ）に示すように俯瞰画像Ｇ２’全体を移動量分だけ補正した俯瞰画像Ｇ２”を算出する（ステップＳ１３１１）。   Next, the image synthesis unit 121 synthesizes the overhead image G2 and the shadow image K to generate an overhead image G2 ′ as shown in FIG. 2A (d) (step S1309), and a vehicle movement amount calculation unit 29 acquires vehicle speed information from the vehicle speed detection unit 22, acquires steering information from the steering detection unit 28, calculates the amount of movement of the host vehicle from the vehicle speed information and the steering information (step S 1310), and the image shift unit 30. Shifts the bird's-eye view image G2 ′ in the direction opposite to the direction of movement based on the amount of movement, and corrects the whole bird's-eye view image G2 ′ by the amount of movement as shown in (e) of FIG. "Is calculated (step S1311).

しかる後、差分演算部３１は画像バッファ２７が記憶している俯瞰画像Ｇ１’より画像シフト部３０が補正した俯瞰画像Ｇ２”を差し引いて、図２（Ａ）の（ｆ）に示すように影の残存差分１１と立体物の残存差分１２が存在する差分画像Ｇｓを算出する（ステップＳ１３１２）。
ついで、後述するマスク画像Ｋｓ発生処理を行い、図２（Ｂ）の（ｄ）に示すように自車影の残存差分１３を含むマスク画像Ｋｓを発生し（ステップＳ１３１３）、差分マスク部４０は差分画像Ｇｓよりマスク画像Ｋｓを差し引いて図２（Ｃ）に示すような差分画像Ｇｓ’を算出し（ステップＳ１３１４）、警告発生部４１は差分画像Ｇｓ’内に残存差分が存在するか判断し（ステップＳ１３１５）、残存差分５が存在する場合にはＳ１３１６に進み、残存差分が存在しない場合にはＳ１３１７に進む。 Thereafter, the difference calculation unit 31 subtracts the overhead view image G2 ″ corrected by the image shift unit 30 from the overhead view image G1 ′ stored in the image buffer 27 to obtain a shadow as shown in (f) of FIG. The difference image Gs in which the residual difference 11 and the residual difference 12 of the three-dimensional object exist are calculated (step S1312).
Next, a mask image Ks generation process, which will be described later, is performed to generate a mask image Ks including a residual difference 13 of the own vehicle shadow as shown in FIG. 2B (step S1313). The difference image Gs ′ as shown in FIG. 2C is calculated by subtracting the mask image Ks from the difference image Gs (step S1314), and the warning generation unit 41 determines whether there is a residual difference in the difference image Gs ′. (Step S1315) When the residual difference 5 exists, the process proceeds to S1316, and when the residual difference does not exist, the process proceeds to S1317.

ステップＳ１３１５において、残存差分１２が存在する場合には警告発生部４１は進行方向に立体物が存在すると判断して警告発生し（ステップＳ１３１６）、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する（ステップＳ１３１７）。   In step S1315, if the remaining difference 12 exists, the warning generating unit 41 determines that a solid object exists in the traveling direction and generates a warning (step S1316). If there is no remaining difference, the warning generating unit 41 generates a three-dimensional object in the traveling direction. It is determined that there is no object (step S1317).

次に影画像Ｋの算出処理について説明する。図１４は影画像算出の処理フローである。   Next, the calculation process of the shadow image K will be described. FIG. 14 is a processing flow of shadow image calculation.

太陽位置算出部３３は、ＧＰＳ受信部２１より撮影画像Ｐ１撮影時（時刻ｔ１）のＧＰＳ情報（位置および時刻情報）を取得し、かつ太陽運動軌道記憶部３２が記憶している太陽運動軌道情報を取得し、該ＧＰＳ情報と該太陽運動軌道情報より自車位置を基準にした撮影画像Ｐ１撮影時の太陽の位置を算出する（ステップＳ１４０５）。
ついで、自車影計算部３５は、自車３次元形状記憶部３４が記憶している自車形状（車高）と、算出した太陽の位置とジャイロセンサから取得した自車方向情報を取得する（ステップＳ１４０６）。 The solar position calculation unit 33 acquires GPS information (position and time information) at the time of shooting the captured image P1 (time t1) from the GPS reception unit 21, and the solar motion trajectory information stored in the solar motion trajectory storage unit 32. And the position of the sun at the time of photographing the photographed image P1 based on the own vehicle position is calculated from the GPS information and the solar motion trajectory information (step S1405).
Next, the own vehicle shadow calculation unit 35 acquires the own vehicle shape (vehicle height) stored in the own vehicle three-dimensional shape storage unit 34, the calculated sun position, and the own vehicle direction information acquired from the gyro sensor. (Step S1406).

しかる後、該取得した情報を用いて図２（Ｂ）の（ａ）に示すような自車影８の先端ＴＰの位置を算出し、該先端ＴＰを通る点線で特定される矩形領域９により自車影を近似し（ステップＳ１４０７）、図２（Ｂ）の（ｂ）に示すように自車影１０の画像Ｋを発生し（ステップＳ１４０８）、該影画像Ｋを画像合成部１２１と影画像バッファ３６と影画像オフセット部３７とにそれぞれ入力する。   Thereafter, the position of the front end TP of the vehicle shadow 8 as shown in (a) of FIG. 2B is calculated using the acquired information, and the rectangular area 9 specified by the dotted line passing through the front end TP is used. The own vehicle shadow is approximated (step S1407), and an image K of the own vehicle shadow 10 is generated as shown in (b) of FIG. 2B (step S1408). The data is input to the image buffer 36 and the shadow image offset unit 37, respectively.

次にマスク画像Ｋｓの発生処理について説明する。図１５はマスク画像発生の処理フローである。   Next, generation processing of the mask image Ks will be described. FIG. 15 is a processing flow of mask image generation.

影画像シフト部３７は、自車影計算部３５が算出した影画像Ｋを取得し（ステップ１５１４）、該影画像シフト部３７は車両移動計算部２９が算出した移動量を取得し（ステップＳ１５１５）、影画像Ｋを該移動量に基づいて移動した方向と逆方向にシフトし、図２（Ｂ）の（ｃ）に示すように移動量補正した影画像Ｋ’を算出する（ステップＳ１５１６）。   The shadow image shift unit 37 acquires the shadow image K calculated by the own vehicle shadow calculation unit 35 (step 1514), and the shadow image shift unit 37 acquires the movement amount calculated by the vehicle movement calculation unit 29 (step S1515). ), The shadow image K is shifted in the direction opposite to the direction of movement based on the amount of movement, and the shadow image K ′ corrected for the amount of movement is calculated as shown in (c) of FIG. 2B (step S1516). .

最後に、自車影差分演算部３８は影画像Ｋより移動量補正した影画像Ｋ’を差し引き、差分マスク作成部３９は図２（Ｂ）の（ｄ）に示すような差分画像Ｋｓを発生する（ステップＳ１５１７）。この差分画像Ｋｓが前述したＳ１３１４以降において使用される。   Finally, the own vehicle shadow difference calculation unit 38 subtracts the shadow image K ′ whose movement amount is corrected from the shadow image K, and the difference mask creation unit 39 generates a difference image Ks as shown in FIG. (Step S1517). This difference image Ks is used after S1314 described above.

以上、本実施例によれば、自車方向、太陽の位置情報、車高を用いて近似的に自車影を算出し、該自車影領域を影画像とする自車影画像を用いて、撮影画像より自車影像を除去するように構成したので、自車影に影響されずに正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。また、自車影画像を簡単に生成して削除することができる。   As described above, according to the present embodiment, the own vehicle shadow is approximately calculated using the own vehicle direction, the sun position information, and the vehicle height, and the own vehicle shadow image is used with the own vehicle shadow region as a shadow image. Since the vehicle image is removed from the captured image, the three-dimensional object can be accurately detected without being affected by the vehicle shadow, and the distance to the three-dimensional object can be clearly indicated to the driver. It is possible to prevent contact accidents and personal injury. In addition, the vehicle shadow image can be easily generated and deleted.

（Ｆ）第３実施例
図１６は本発明の第３実施例の構成図である。
カメラ１６１は、自車の後方を撮影できるように所定の位置（例えば、車両のナンバープレートの上方）に取り付けられており、時刻ｔ１と所定時間Δｔ経過した時刻（ｔ１＋Δｔ）、および該時刻ｔ１より所定時間Ｔ（Ｔ＞Δｔ）経過した時刻ｔ２と所定時間Δｔ経過した時刻（ｔ２＋Δｔ）にそれぞれの自車後方を撮影する。 (F) Third Embodiment FIG. 16 is a block diagram of a third embodiment of the present invention.
The camera 161 is attached at a predetermined position (for example, above the license plate of the vehicle) so that the rear of the host vehicle can be photographed. From the time t1, the time (t1 + Δt) after a predetermined time Δt, and the time t1 The rear of each vehicle is photographed at a time t2 when a predetermined time T (T> Δt) has passed and a time (t2 + Δt) when a predetermined time Δt has passed.

カメラＤＳＰ（Digital Signal Processor）１６２は時刻ｔ１、時刻（ｔ１＋Δｔ）、時刻ｔ２および時刻（ｔ２＋Δｔ）における各撮影画像から俯瞰変換を行うための画像の切り出しを行う。フレーム遅延制御部１６３は自車速度に応じてΔｔを変化させる。すなわち、カメラ１６１が、例えば１／６０秒で１フレームを撮影するように設定されているとすると、車速が遅い（例えば時速１ｋｍ）ときにはΔｔを１０フレーム分の時間に設定し、車速が早い（例えば時速２ｋｍ）ときにはΔｔを５フレーム分の時間に設定する。   A camera DSP (Digital Signal Processor) 162 cuts out an image for performing overhead conversion from each captured image at time t1, time (t1 + Δt), time t2, and time (t2 + Δt). The frame delay control unit 163 changes Δt according to the own vehicle speed. That is, if the camera 161 is set to capture one frame in 1/60 seconds, for example, when the vehicle speed is slow (for example, 1 km / h), Δt is set to a time corresponding to 10 frames and the vehicle speed is fast ( For example, when the speed is 2 km / h, Δt is set to a time corresponding to 5 frames.

差分演算部１６４は、時刻ｔ１における撮影画像より時刻（ｔ１＋Δｔ）における撮影画像を差し引いて自車影を除去した差分画像を作成し、および時刻ｔ２の撮影画像より時刻（ｔ２＋Δｔ）における撮影画像を差し引いて同様に自車影を除去した差分画像を作成する。閾値判定部１６５は、該差分画像内に自車影の残存差分が存在する場合に閾値幅を設けて除去するものである。すなわち、残存差分の幅が閾値幅以下であれば、自車影とみなし該残存差分を除去した差分画像を発生する。例えば、自車の移動距離が５ｃｍ、撮影画像内に存在する残存差分の移動方向の幅ｄ（単位はｃｍ）とすると、ｄ＜２ｃｍの残存差分は自車影であると判断し、該残存差分を除去する。尚、閾値判定部１６５を設ける理由は、例えば１／６０秒で１フレームを撮影するように設定されているとすると、１０フレームの時間をΔｔとした場合、該Δｔは１／６秒となり、自車影の細い差分画像が発生する可能性があるためである。   The difference calculation unit 164 creates a difference image obtained by subtracting the captured image at time (t1 + Δt) from the captured image at time t1 to remove the vehicle shadow, and subtracts the captured image at time (t2 + Δt) from the captured image at time t2. Similarly, a difference image from which the vehicle shadow is removed is created. The threshold determination unit 165 provides and removes a threshold width when a residual difference of the own vehicle shadow exists in the difference image. That is, if the width of the residual difference is equal to or less than the threshold width, a difference image is generated in which the residual difference is removed by regarding the vehicle shadow. For example, if the moving distance of the own vehicle is 5 cm and the width d (unit: cm) of the remaining difference existing in the captured image is determined that the remaining difference of d <2 cm is the shadow of the own vehicle. Remove differences. For example, if the threshold determination unit 165 is set to capture one frame in 1/60 seconds, if the time of 10 frames is Δt, the Δt is 1/6 second. This is because there is a possibility that a difference image with a thin shadow of the vehicle may be generated.

画像メモリ１６６は、任意の時刻ｔ１、ｔ２の各撮影画像と該任意の時間より所定時間Δｔそれぞれ経過した撮影画像との差分画像を記憶する。視線変換部１６７は、各差分画像を俯瞰画像に変換する。車両移動測定部１６８は、図示しない車速検出部とステアリング検出部から取得した車速情報とステアリング情報より自車の経度方向および緯度方向の移動量を算出する。移動補正処理部１６９は、視線変換部１６７が作成した該時刻ｔ２の画像の俯瞰画像を前記移動量に基づいて、自車が移動した方向と逆方向にシフトし、シフト画像を発生する。   The image memory 166 stores a difference image between each captured image at arbitrary times t1 and t2 and a captured image that has passed a predetermined time Δt from the arbitrary time. The line-of-sight conversion unit 167 converts each difference image into an overhead image. The vehicle movement measurement unit 168 calculates the movement amount of the host vehicle in the longitude direction and the latitude direction from vehicle speed information and steering information acquired from a vehicle speed detection unit and a steering detection unit (not shown). The movement correction processing unit 169 shifts the bird's-eye view image of the image at the time t2 created by the line-of-sight conversion unit 167 in the direction opposite to the direction in which the vehicle has moved based on the movement amount, and generates a shifted image.

差分画像演算部１７０は、該時刻ｔ１における差分画像の俯瞰画像より前記シフト画像を差し引いて差分画像を発生する。立体物判断部１７１は、該差分画像内に残存差分が存在するか判断し、残存差分が存在する場合には立体物が存在すると判断して図示しないスピーカおよび表示部により立体物の存在を運転者に明示して、残存差分が存在しない場合には立体物が存在しないと判断する。   The difference image calculation unit 170 generates a difference image by subtracting the shift image from the overhead image of the difference image at the time t1. The three-dimensional object determination unit 171 determines whether there is a residual difference in the difference image. If there is a residual difference, the three-dimensional object determination unit 171 determines that a three-dimensional object exists and operates the presence of the three-dimensional object with a speaker and a display unit (not shown). If there is no residual difference, it is determined that there is no solid object.

図１７は本発明の第３実施例の処理フローである。以下、処理フローにしたがって、説明を行う。
図示しないギアポジション検出部はギアがバックに入ったかの監視を行い（ステップＳ１７０１）、ギアがバックに入ったと判断した場合には、Ｓ１７０２に進む。 FIG. 17 is a processing flow of the third embodiment of the present invention. Hereinafter, description will be given according to the processing flow.
A gear position detection unit (not shown) monitors whether the gear has entered the back (step S1701), and if it is determined that the gear has entered the back, the process proceeds to S1702.

ステップＳ１７０１において、該ギアポジション検出がギアがバックに入ったと判断した場合には、カメラ１６１は時刻ｔ１において車両進行方向を撮影し、カメラＤＳＰ１６２は該撮影画像を切り取り、図３（Ａ）の（ａ）に示すような自車影１、立体物２を含む撮影画像Ｐ１を取得する（ステップＳ１７０２）。
ついで、Δｔ経過すると、カメラ１６１は時刻（ｔ１＋Δｔ）において車両進行方向を撮影し、カメラＤＳＰ１６２は該撮影画像を切り取り図３（Ａ）の（ｂ）に示すような撮影画像Ｐ１’を取得し（ステップＳ１７０３）、差分演算部１６４は撮影画像Ｐ１より撮影画像Ｐ１’を差し引いて、図３（Ａ）の（ｃ）に示すような立体物の残存差分１４を含む差分画像Ｐ１”を算出する（ステップＳ１７０４）。 If it is determined in step S1701 that the gear position detection has entered the back, the camera 161 captures the traveling direction of the vehicle at time t1, and the camera DSP 162 cuts out the captured image, as shown in FIG. A captured image P1 including the own vehicle shadow 1 and the three-dimensional object 2 as shown in a) is acquired (step S1702).
Next, when Δt has elapsed, the camera 161 captures the vehicle traveling direction at time (t1 + Δt), and the camera DSP 162 cuts out the captured image to obtain a captured image P1 ′ as shown in FIG. In step S1703, the difference calculation unit 164 subtracts the photographed image P1 ′ from the photographed image P1 to calculate a difference image P1 ″ including the residual difference 14 of the three-dimensional object as shown in FIG. Step S1704).

その後、閾値判定部１６５は差分画像Ｐ１”内に存在する残存差分の移動方向の幅が閾値以下かの判断を行い（ステップＳ１７０５）、該幅が該閾値以下の場合にはＳ１７０６に進み、該幅が閾値以上の場合にはＳ１７０７に進む。
ステップＳ１７０５において、閾値判定部１６５が該幅が該閾値内であると判断した場合には閾値判定部１６５は該残存差分を自車影の残存差分とみなして消去し（ステップＳ１７０６）、画像メモリ１６６は該差分画像を記憶する。 Thereafter, the threshold determination unit 165 determines whether the width of the remaining difference in the difference image P1 ″ in the moving direction is equal to or smaller than the threshold (step S1705). If the width is equal to or smaller than the threshold, the process proceeds to S1706. If the width is greater than or equal to the threshold, the process proceeds to S1707.
In step S1705, when the threshold value determination unit 165 determines that the width is within the threshold value, the threshold value determination unit 165 considers the remaining difference as the remaining difference of the own vehicle shadow and deletes it (step S1706). A difference image 166 stores the difference image.

ステップ１７０５において、閾値判定部１６５が該幅が該閾値以上である判断した場合、もしくはステップＳ１７０６の処理を行った後、立体検出装置の制御部（図示せず）は所定時間（例えば、１秒）経過したかの判断を行い（ステップＳ１７０７）、所定時間経過した場合にはＳ１７０８に進む。
ステップＳ１７０７において、所定時間経過した場合には、カメラ１６１は時刻ｔ２において車両進行方向を撮影し、カメラＤＳＰ１６２は該撮影画像を切り取り、図３（Ｂ）の（ａ）に示すような自車影１、立体物２を含む撮影画像Ｐ２を取得する（ステップＳ１７０８）。 In step 1705, when the threshold determination unit 165 determines that the width is equal to or greater than the threshold, or after performing the process of step S1706, the control unit (not shown) of the stereoscopic detection device performs a predetermined time (for example, 1 second). ) It is determined whether or not it has elapsed (step S1707), and if a predetermined time has elapsed, the process proceeds to S1708.
In step S1707, when a predetermined time has elapsed, the camera 161 captures the vehicle traveling direction at time t2, and the camera DSP 162 cuts out the captured image, and the own vehicle image as shown in FIG. 1. The captured image P2 including the three-dimensional object 2 is acquired (step S1708).

しかる後、Δｔ経過すると、カメラ１６１は時刻（ｔ２＋Δｔ）において車両進行方向を撮影し、カメラＤＳＰ１６２は該撮影画像を切り取り図３（Ｂ）の（ｂ）に示すような撮影画像Ｐ２’を取得し（ステップＳ１７０９）、差分演算部１６４は撮影画像Ｐ２より撮影画像Ｐ２’を差し引いて、図３（Ｂ）の（ｃ）に示すような立体物の残存差分１５とを含む差分画像Ｐ２”を算出し（ステップＳ１７１０）、閾値判定部１６５は差分画像Ｐ２”内に存在する残存差分の移動方向の幅が閾値以下かの判断を行い（ステップＳ１７１１）、該幅が該閾値以下の場合にはＳ１７１２に進み、該幅が閾値以下ではない場合にはＳ１７１３に進む。   Thereafter, when Δt elapses, the camera 161 captures the vehicle traveling direction at time (t2 + Δt), and the camera DSP 162 cuts out the captured image and obtains a captured image P2 ′ as shown in FIG. 3B (b). (Step S1709), the difference calculation unit 164 subtracts the photographed image P2 ′ from the photographed image P2 to calculate a difference image P2 ″ including the three-dimensional object residual difference 15 as shown in FIG. 3B (c). (Step S1710), the threshold determination unit 165 determines whether the width of the residual difference in the difference image P2 ″ in the moving direction is equal to or smaller than the threshold (Step S1711). If the width is equal to or smaller than the threshold, S1712 is performed. If the width is not less than or equal to the threshold, the process proceeds to S1713.

ステップＳ１７１１において、閾値判定部１６５が該幅が該閾値以下であると判断した場合には閾値判定部１６５は該残存差分を消去し（ステップＳ１７１２）、画像メモリ１６６は該差分画像を記憶する。
ステップ１７１１において、閾値判定部１６５が該幅が該閾値以上であると判断した場合、もしくはステップＳ１７１２の処理を行った後、視線変換部１６７は差分画像Ｐ１”および差分画像Ｐ２”を俯瞰変換し、図示しない俯瞰画像Ｇｔ１（差分画像Ｐ１”の俯瞰画像）と俯瞰画像Ｇｔ２（差分画像Ｐ２”の俯瞰画像）を算出する（ステップＳ１７１３）。 In step S1711, when the threshold determination unit 165 determines that the width is equal to or smaller than the threshold, the threshold determination unit 165 deletes the remaining difference (step S1712), and the image memory 166 stores the difference image.
In step 1711, when the threshold determination unit 165 determines that the width is greater than or equal to the threshold, or after performing the processing of step S1712, the line-of-sight conversion unit 167 performs overhead conversion of the difference image P1 ″ and the difference image P2 ″. The overhead image Gt1 (the overhead image of the difference image P1 ″) and the overhead image Gt2 (the overhead image of the difference image P2 ″) (not shown) are calculated (step S1713).

次に、車両移動測定部１６８は図示しない車速検出部とステアリング検出部からそれぞれ取得した車速情報とステアリング情報より自車の経度方向および緯度方向の移動量を算出し（ステップＳ１７１４）、移動補正処理部１６９は該移動量に基づいて移動した方向と逆方向に俯瞰画像Ｇｔ２をシフトし、図３（Ｂ）の（ｄ）に示すように俯瞰画像Ｇｔ２全体を移動量分だけ補正した俯瞰画像Ｇｔ２”を算出する（ステップＳ１７１５）。   Next, the vehicle movement measuring unit 168 calculates the movement amount in the longitude direction and the latitude direction of the own vehicle from the vehicle speed information and the steering information obtained from the vehicle speed detection unit and the steering detection unit (not shown) (step S1714), and the movement correction process The unit 169 shifts the overhead image Gt2 in the direction opposite to the direction of movement based on the movement amount, and corrects the entire overhead image Gt2 by the movement amount as shown in (d) of FIG. 3B. "Is calculated (step S1715).

ついで、差分演算部１７０は差分画像Ｇｔ１より差分画像Ｇｔ２’を差し引いて、図３（Ｃ）に示すような差分画像Ｇｔｓを算出し（ステップＳ１７１６）、立体物判断部１７１は差分画像Ｇｔｓ内に残存差分が存在するか判断し（ステップＳ１７１７）、残存差分１６が存在する場合にはＳ１７１８に進み、残存差分が存在しない場合にはＳ１７１９に進む。   Next, the difference calculation unit 170 subtracts the difference image Gt2 ′ from the difference image Gt1 to calculate a difference image Gts as shown in FIG. 3C (step S1716), and the three-dimensional object determination unit 171 includes the difference image Gts. It is determined whether there is a residual difference (step S1717). If there is a residual difference 16, the process proceeds to S1718. If there is no residual difference, the process proceeds to S1719.

ステップＳ１７１７において、残存差分１６が存在する場合には立体物検出部１７１は進行方向に立体物が存在すると判断し（ステップＳ１７１８）、図示しない警告発生部により運転者に警告を行い、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する（ステップＳ１７１９）。   In step S1717, when the residual difference 16 exists, the three-dimensional object detection unit 171 determines that a three-dimensional object exists in the traveling direction (step S1718), and warns the driver by a warning generation unit (not shown). If it does not exist, it is determined that there is no three-dimensional object in the traveling direction (step S1719).

以上、本実施例によれば、単眼カメラにより近接した２つの時刻に撮影した第１の撮影画像と第２の撮影画像の差分を算出することにより自車影を除去するようにしたので、簡単な処理で時刻ｔ１、ｔ２の撮影画像の差分画像より自車影を除去でき、自車の進行方向に自車影が存在している場合でも、正確に立体物を検出することができ、接触事故や人身事故を防止することができる。   As described above, according to this embodiment, the vehicle shadow is removed by calculating the difference between the first captured image and the second captured image captured at two times close to each other by the monocular camera. With this process, the vehicle shadow can be removed from the difference image of the captured images at times t1 and t2, and even when the vehicle shadow is present in the traveling direction of the vehicle, a three-dimensional object can be accurately detected, Accidents and personal injury can be prevented.

本発明の第１実施例の概略説明図である。It is a schematic explanatory drawing of 1st Example of this invention. 本発明の第２実施例の概略説明図である。It is a schematic explanatory drawing of 2nd Example of this invention. 本発明の第３実施例の概略説明図である。It is a schematic explanatory drawing of 3rd Example of this invention. 本発明の第１実施例の構成図である。It is a block diagram of 1st Example of this invention. 本発明の第１実施例の処理フローである。It is a processing flow of 1st Example of this invention. 本発明の第１実施例のマスク画像発生の処理フローである。It is a processing flow of mask image generation of the 1st example of the present invention. 本発明の第１実施例の第１変形例の構成図である。It is a block diagram of the 1st modification of 1st Example of this invention. 本発明の第１実施例の第２変形例の構成図である。It is a block diagram of the 2nd modification of 1st Example of this invention. カメラによる光源位置検出の概要図である。It is a schematic diagram of the light source position detection by a camera. 本発明の第１実施例の第２変形例の処理フローである。It is a processing flow of the 2nd modification of 1st Example of this invention. 本発明の第１実施例の第２変形例のマスク画像発生の処理フローである。It is a processing flow of the mask image generation of the 2nd modification of 1st Example of this invention. 本発明の第２実施例の構成図である。It is a block diagram of 2nd Example of this invention. 本発明の第２実施例の処理フローである。It is a processing flow of 2nd Example of this invention. 本発明の第２実施例の影画像算出の処理フローである。It is a processing flow of the shadow image calculation of 2nd Example of this invention. 本発明の第２実施例のマスク画像発生の処理フローである。It is a processing flow of mask image generation of the 2nd example of the present invention. 本発明の第３実施例の構成図である。It is a block diagram of 3rd Example of this invention. 本発明の第３実施例の処理フローである。It is a processing flow of 3rd Example of this invention. 従来技術の概略図である。It is the schematic of a prior art. 従来技術において影が存在する場合の概略図である。It is the schematic when a shadow exists in a prior art.

符号の説明Explanation of symbols

１ 自車影
２ 立体物
３ 平面図形
４ 自車影の残存差分
６ 計算で算出した自車影
７ 自車影６の残存差分
８ 計算で算出した残存差分
９ 自車影８より算出した自車影領域
１０ 自車影領域９を影とした影画像
１１ 自車影領域の残存差分
１３ 影画像の残存差分
１４ 移動前の立体物の残存差分
１５ 移動後の立体物の残存差分
１６ 立体物の残存差分
３２ 太陽運動軌道記憶部
３３ 太陽位置算出部
３４ 自車３次元形状記憶部
３５ 自車影計算部
３６ 影画像バッファ
３７ 影画像オフセット部
３８ 自車影差分演算部
３９ 差分マスク作成部
４０ 差分マスク部
７１ 背景画像作成部
８１ カメラ
８２ 太陽位置検出部
１２１ 画像合成部
１６３ フレーム遅延制御部
１６５ 閾値判定部
ＣＮＷ 車内ネットワーク
ＴＰ 影の先端の位置 DESCRIPTION OF SYMBOLS 1 Own vehicle shadow 3 Solid object 3 Plane figure 4 Residual difference of own vehicle shadow 6 Own vehicle shadow calculated by calculation 7 Residual difference of own vehicle shadow 6 8 Residual difference calculated by calculation 9 Own vehicle calculated from own vehicle shadow 8 Shadow region 10 Shadow image with shadow of own vehicle shadow region 9 Remaining difference of own vehicle shadow region 13 Remaining difference of shadow image 14 Remaining difference of three-dimensional object before moving 15 Remaining difference of three-dimensional object after moving 16 Three-dimensional object Residual difference 32 Solar motion trajectory storage unit 33 Sun position calculation unit 34 Own vehicle three-dimensional shape storage unit 35 Own vehicle shadow calculation unit 36 Shadow image buffer 37 Shadow image offset unit 38 Own vehicle shadow difference calculation unit 39 Difference mask creation unit 40 Difference Mask unit 71 Background image creation unit 81 Camera 82 Sun position detection unit 121 Image composition unit 163 Frame delay control unit 165 Threshold determination unit CNW In-vehicle network TP Position of shadow tip

Claims (22)

自動車に取り付けた単眼カメラによる立体物検出方法において、
任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像を視線変換した第１の視線変換画像を発生し、
前記時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換した第２の視線変換画像を発生し、
前記第１の視線変換画像もしくは前記第２の視線変換画像を、前記時刻ｔ１から時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、
該シフト画像とシフトしていない視線変換画像との差を算出して第１の差分画像を発生し、
前記時刻ｔ１と前記時刻ｔ２における自車の影画像をそれぞれ作成し、一方の影画像を前記移動量に基づいてシフトしたシフト影画像を作成し、
該シフト影画像とシフトしていない影画像との差を算出して第２の差分画像を発生し、
前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生し、
該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。 In the method of detecting a three-dimensional object with a monocular camera attached to a car,
Generating a first line-of-sight converted image obtained by line-of-sight conversion of a first captured image captured by the camera at an arbitrary time t1,
Generating a second line-of-sight converted image obtained by line-of-sight conversion of a second captured image captured by the camera at a time t2 after a predetermined time from the time t1;
Generating a shift image obtained by shifting the first line-of-sight conversion image or the second line-of-sight conversion image based on the amount of movement of the vehicle between time t1 and time t2,
Calculating a difference between the shifted image and the unshifted line-of-sight converted image to generate a first difference image;
Create a shadow image of the vehicle at the time t1 and the time t2, respectively, create a shifted shadow image obtained by shifting one of the shadow images based on the amount of movement,
Calculating a difference between the shifted shadow image and the unshifted shadow image to generate a second difference image;
Calculating a difference between the first difference image and the second difference image to generate a third difference image;
It is determined whether or not there is a residual difference in the third difference image, and if it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that a three-dimensional object does not exist.
A three-dimensional object detection method characterized by that. 更に、前記時刻ｔ１前後の複数枚の撮影画像を取得し平均化し、前記第１の撮影画像とし、
前記時刻ｔ２前後の複数枚撮影画像を取得し平均化し、前記第２の撮影画像とする、
ことを特徴とする請求項１記載の立体物検出方法。 Further, a plurality of photographed images before and after the time t1 are acquired and averaged to obtain the first photographed image,
A plurality of photographed images before and after time t2 are acquired and averaged to obtain the second photographed image.
The three-dimensional object detection method according to claim 1. 更に、自車移動方向と車速を検出し、
前記時刻ｔ１と前記時刻ｔ２の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
ことを特徴とする請求項１記載の立体物検出方法。 Furthermore, it detects the direction and speed of the vehicle,
The movement amount is calculated using the time difference between the time t1 and the time t2, the movement direction, and the vehicle speed.
The three-dimensional object detection method according to claim 1. 更に、自車形状を記憶すると共に、自車方向を取得し、かつ光源位置を算出し、
該光源位置と前記自車形状と前記自車方向を用いて、前記影画像を作成する、
ことを特徴とする請求項１記載の立体物検出方法。 Further, the vehicle shape is stored, the vehicle direction is acquired, and the light source position is calculated.
The shadow image is created using the light source position, the vehicle shape, and the vehicle direction.
The three-dimensional object detection method according to claim 1. 更に、太陽軌道を記憶すると共に、自車位置を取得し、
前記光源位置を、前記太陽軌道と前記自車位置を用いて算出する、
ことを特徴とする請求項４記載の立体物検出方法。 Furthermore, while memorizing the sun's orbit, the vehicle position is acquired,
Calculating the light source position using the solar orbit and the vehicle position;
The three-dimensional object detection method according to claim 4. 更に、任意の場所に設置されたカメラにより光源を撮影し、前記光源位置を、撮影画像により算出する、
ことを特徴とする請求項４記載の立体物検出方法。 Furthermore, a light source is photographed by a camera installed at an arbitrary place, and the light source position is calculated from the photographed image.
The three-dimensional object detection method according to claim 4. 自動車に取り付けた単眼カメラによる立体物検出方法において、
車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を作成し、
任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ１における前記影画像を合成して第１の合成画像を発生し、
任意の時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ２における前記影画像を合成して第２の合成画像を発生し、
前記第１の合成画像と前記第２の合成画像のいずれか一方を、該時刻ｔ１から該時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、
該シフト画像とシフトしていない合成画像との差を算出して第１の差分画像を発生し、
前記時刻ｔ１あるいは前記時刻ｔ２における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成し、
該シフト影画像とシフトしない影画像との差を算出して第２の差分画像を発生し、
前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生し、
該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。 In the method of detecting a three-dimensional object with a monocular camera attached to a car,
Create a shadow image with the area on the vehicle body side from the tip position of the vehicle shadow calculated based on the vehicle height and the sun position,
Generating a first composite image by combining the line-of-sight conversion image obtained by line-of-sight conversion of the first captured image captured by the camera at an arbitrary time t1 and the shadow image at the time t1;
A second synthesized image is obtained by synthesizing the line-of-sight converted image obtained by line-of-sight conversion of the second photographed image taken by the camera at a time t2 after a predetermined time from the arbitrary time t1 and the shadow image at the time t2. Occur,
A shift image is generated by shifting one of the first composite image and the second composite image based on the amount of movement of the host vehicle from the time t1 to the time t2,
Calculating a difference between the shifted image and the unshifted composite image to generate a first difference image;
Generating a shift shadow image obtained by shifting the shadow image at the time t1 or the time t2 based on the movement amount of the own vehicle;
Calculating a difference between the shifted shadow image and a non-shifted shadow image to generate a second difference image;
Calculating a difference between the first difference image and the second difference image to generate a third difference image;
It is determined whether or not there is a residual difference in the third difference image, and if it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that a three-dimensional object does not exist.
A three-dimensional object detection method characterized by that. 自動車に取り付けた単眼カメラによる立体物検出方法において、
任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像と、該時刻ｔ１より所定時間Δｔ経過した時刻に前記カメラにより撮影した第２の撮影画像との差を算出して第１の差分画像を発生し、
前記時刻ｔ１より所定時間Ｔ（Ｔ＞Δｔ）経過した時刻ｔ２に前記カメラにより撮影した第３の撮影画像と、該時刻ｔ２より前記所定時間Δｔ経過した時刻に前記カメラにより撮影した第４の撮影画像との差を算出して第２の差分画像を発生し、
前記第１の差分画像と前記第２の差分画像のいずれか一方を、前記時刻ｔ１から前記時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト差分画像を発生し、
該シフト差分画像とシフトしていない差分画像との差を算出して第３の差分画像を発生し、
該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。 In the method of detecting a three-dimensional object with a monocular camera attached to a car,
A first difference image is calculated by calculating a difference between a first photographed image taken by the camera at an arbitrary time t1 and a second photographed image taken by the camera at a time after a predetermined time Δt from the time t1. Occur and
A third photographed image taken by the camera at a time t2 when a predetermined time T (T> Δt) has elapsed from the time t1, and a fourth photograph taken by the camera at a time after the predetermined time Δt has elapsed from the time t2. Calculating a difference from the image to generate a second difference image;
A shift difference image is generated by shifting either one of the first difference image and the second difference image based on the amount of movement of the host vehicle from the time t1 to the time t2.
Calculating a difference between the shifted difference image and an unshifted difference image to generate a third difference image;
It is determined whether or not there is a residual difference in the third difference image, and if it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that there is no three-dimensional object.
A three-dimensional object detection method characterized by that. 前記第１の差分画像と前記第２の差分画像を視線変換して、第１の視線変換差分画像と第２の視線変換差分画像を発生し、
該第１の視線変換差分画像と該第２の視線変換差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生し、
該シフト差分画像とシフトしていない視線変換差分画像との差を算出して前記第３の差分画像を発生する、
ことを特徴とする請求項８記載の立体物検出方法。 Line-of-sight conversion of the first difference image and the second difference image to generate a first line-of-sight conversion difference image and a second line-of-sight conversion difference image;
Generating a shift difference image obtained by shifting one of the first line-of-sight conversion difference image and the second line-of-sight conversion difference image based on the movement amount;
Calculating the difference between the shift difference image and the unshifted line-of-sight conversion difference image to generate the third difference image;
The three-dimensional object detection method according to claim 8. 更に、自車の移動方向と車速を検出し、
前記時刻ｔ１と前記時刻ｔ２の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
ことを特徴とする請求項８記載の立体物検出方法。 In addition, it detects the direction and speed of the vehicle,
The movement amount is calculated using the time difference between the time t1 and the time t2, the movement direction, and the vehicle speed.
The three-dimensional object detection method according to claim 8. 更に、前記第１の差分画像もしくは前記第２の差分画像を作成する際に、画像の幅に関して閾値判断して該第１、第２の差分画像を作成する、
ことを特徴とする請求項８記載の立体物検出方法。 Further, when creating the first difference image or the second difference image, the threshold value is determined with respect to the width of the image, and the first and second difference images are created.
The three-dimensional object detection method according to claim 8. 自動車に取り付けた単眼カメラによる立体物検出装置において、
任意の時刻ｔ１と該時刻ｔ１より所定時間経過した時刻ｔ２の間に、自車が移動した移動量を算出する移動量算出部と、
前記時刻ｔ１と前記時刻ｔ２に前記カメラによりそれぞれ撮影した第１の撮影画像と第２の撮影画像とをそれぞれ視線変換して第１の視線変換画像と第２の視線変換画像とを発生する視線変換部と、
前記第１の視線変換画像もしくは前記第２の視線変換画像を、前記移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、
前記シフトした視線変換画像とシフトしていない視線変換画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、
前記時刻ｔ１と前記時刻ｔ２における自車の影画像をそれぞれ作成する影画像作成部と、
前記影画像の一方を前記移動量に基づいてシフトしたシフト影画像を発生するシフト影画像発生部と、
前記シフト影画像とシフトしていない影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、
前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、
前記第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。 In a three-dimensional object detection device with a monocular camera attached to an automobile,
A movement amount calculation unit for calculating a movement amount of the host vehicle between an arbitrary time t1 and a time t2 after a predetermined time has elapsed from the time t1;
A line of sight that generates a first line-of-sight converted image and a second line-of-sight converted image by converting the line of sight of the first captured image and the second captured image respectively captured by the camera at the time t1 and the time t2. A conversion unit;
A shift image generating unit that generates a shift image obtained by shifting the first line-of-sight conversion image or the second line-of-sight conversion image based on the movement amount;
A first difference image generator that calculates a difference between the shifted line-of-sight converted image and an unshifted line-of-sight converted image to generate a first difference image;
A shadow image creation unit for creating shadow images of the vehicle at the time t1 and the time t2, respectively;
A shifted shadow image generator that generates a shifted shadow image obtained by shifting one of the shadow images based on the amount of movement;
A second difference image generator for calculating a difference between the shifted shadow image and the unshifted shadow image to generate a second difference image;
A third difference image generator for calculating a difference between the first difference image and the second difference image to generate a third difference image;
A three-dimensional object determination unit that checks whether a residual difference exists in the third difference image, determines that a three-dimensional object exists if it exists, and determines that a three-dimensional object does not exist if it does not exist;
A three-dimensional object detection device comprising: 更に、複数の撮影画像を取得し平均化した撮影画像を発生する平均撮影画像発生部を備え、
該平均撮影画像発生部が発生した撮影画像を前記第１の撮影画像および前記第２の撮影画像とする、
ことを特徴とする請求項１２記載の立体物検出装置。 Furthermore, an average captured image generation unit that generates a plurality of captured images and generates an averaged captured image,
The captured image generated by the average captured image generation unit is the first captured image and the second captured image.
The three-dimensional object detection device according to claim 12. 更に、前記自車の移動方向を検出する移動方向検出部と、
前記自車の車速を検出する車速検出部と、
を備え、
前記移動量検出部は、前記時刻ｔ１と前記時刻ｔ２の時間差と前記移動方向検出部が検出した移動方向と前記車速検出部が検出した車速を用いて、前記移動量を算出する、
ことを特徴とする請求項１２記載の立体物検出装置。 Furthermore, a moving direction detector that detects the moving direction of the host vehicle,
A vehicle speed detector for detecting the vehicle speed of the host vehicle;
With
The movement amount detection unit calculates the movement amount using a time difference between the time t1 and the time t2, a movement direction detected by the movement direction detection unit, and a vehicle speed detected by the vehicle speed detection unit.
The three-dimensional object detection device according to claim 12. 更に、自車形状を記憶する自車形状記憶部と、
自車方向を検出する自車方向検出部と、
光源の位置を算出する光源位置算出部と、
を備え、
前記影画像作成部は、前記自車形状と前記自車方向と前記光源位置を用いて、前記影画像を作成する、
ことを特徴とする請求項１２記載の立体物検出装置。 Furthermore, a vehicle shape storage unit for storing the vehicle shape,
A vehicle direction detector for detecting the vehicle direction;
A light source position calculator for calculating the position of the light source;
With
The shadow image creation unit creates the shadow image using the vehicle shape, the vehicle direction, and the light source position.
The three-dimensional object detection device according to claim 12. 更に、太陽軌道を記憶する太陽軌道記憶部と、
自車位置を検出する自車位置検出部と、
を備え、
前記光源位置算出部は、前記太陽軌道と前記自車位置を用いて太陽位置を光源位置として算出する、
ことを特徴とする請求項１５記載の立体物検出装置。 Furthermore, a solar orbit storage unit that stores the solar orbit,
A vehicle position detection unit for detecting the vehicle position;
With
The light source position calculation unit calculates a solar position as a light source position using the solar orbit and the vehicle position.
The three-dimensional object detection device according to claim 15. 更に、前記自車の任意の場所に、太陽光源を撮影するカメラを備え、
前記光源位置検出部は、該カメラが撮影した画像を用いて太陽位置を前記光源位置として算出する、
ことを特徴とする請求項１５記載の立体物検出装置。 Furthermore, a camera for photographing a solar light source is provided at an arbitrary place of the own vehicle,
The light source position detection unit calculates a sun position as the light source position using an image captured by the camera.
The three-dimensional object detection device according to claim 15. 自動車に取り付けた単眼カメラによる立体物検出装置において、
車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を生成する影画像生成部と、
任意の時刻ｔ１に前記カメラにより撮影した第１の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ１における前記影画像を合成して第１の合成画像を発生する第１合成画像発生部と、
任意の時刻ｔ１より所定時間経過した時刻ｔ２に前記カメラにより撮影した第２の撮影画像を視線変換して得られる視線変換画像と該時刻ｔ２における前記影画像を合成して第２の合成画像を発生する第２合成画像発生部と、
前記第１の合成画像と前記第２の合成画像のいずれか一方を、該時刻ｔ１から該時刻ｔ２の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、
前記第１の差分画像と前記第２の差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、
該シフト画像とシフトしていない合成画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、
前記時刻ｔ１あるいは前記時刻ｔ２における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成するシフト影画像生成部と、
該シフト影画像とシフトしない影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、
該第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。 In a three-dimensional object detection device with a monocular camera attached to an automobile,
A shadow image generation unit that generates a shadow image in which the region on the vehicle body side from the tip position of the own vehicle shadow calculated based on the vehicle height and the sun position is a vehicle shadow region;
First composite image generation for generating a first composite image by combining a line-of-sight conversion image obtained by line-of-sight conversion of a first captured image captured by the camera at an arbitrary time t1 and the shadow image at the time t1 And
A second synthesized image is obtained by synthesizing the line-of-sight converted image obtained by line-of-sight conversion of the second photographed image taken by the camera at a time t2 after a predetermined time from the arbitrary time t1 and the shadow image at the time t2. A generated second composite image generating unit;
A shift image generating unit that generates a shift image obtained by shifting one of the first composite image and the second composite image based on the amount of movement of the host vehicle from time t1 to time t2. When,
A third difference image generator for calculating a difference between the first difference image and the second difference image to generate a third difference image;
A first difference image generator for calculating a difference between the shifted image and the unshifted composite image to generate a first difference image;
A shift shadow image generation unit that generates a shifted shadow image obtained by shifting the shadow image at the time t1 or the time t2 based on the amount of movement of the host vehicle;
A second difference image generation unit that calculates a difference between the shifted shadow image and a non-shifted shadow image to generate a second difference image;
A three-dimensional object determination unit that determines whether or not there is a residual difference in the third difference image, determines that a three-dimensional object exists if it exists, and determines that a three-dimensional object does not exist if it does not exist;
A three-dimensional object detection device comprising: 自動車に取り付けた単眼カメラによる立体物検出装置において、
任意の時刻ｔ１と該時刻ｔ１より所定時間Ｔ経過した時刻ｔ２の間に、自車が移動した移動量を算出する移動量算出部と、
前記時刻ｔ１に前記カメラにより撮影した第１の撮影画像と、前記時刻ｔ１より所定時間Δｔ（Ｔ＞Δｔ）経過した時刻に前記カメラにより撮影した第２の撮影画像との差を算出して第１の差分画像を発生する第１差分画像発生部と、
前記時刻ｔ２に前記カメラにより撮影した第３の撮影画像と、前記時刻ｔ２より所定時間Δｔ経過した時刻に前記カメラにより撮影した第４の撮影画像との差を算出して第２の差分画像を発生する第２差分画像発生部と、
前記第１の差分画像と前記第２の差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生するシフト差分画像発生部と、
前記シフト差分画像とシフトしていない差分画像との差を算出して第３の差分画像を発生する第３差分画像発生部と、
前記第３の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。 In a three-dimensional object detection device with a monocular camera attached to an automobile,
A movement amount calculation unit for calculating a movement amount of the host vehicle between an arbitrary time t1 and a time t2 when a predetermined time T has elapsed from the time t1;
A difference between the first captured image captured by the camera at the time t1 and the second captured image captured by the camera at a time after a predetermined time Δt (T> Δt) from the time t1 is calculated. A first difference image generator for generating one difference image;
The difference between the third photographed image taken by the camera at the time t2 and the fourth photographed image taken by the camera at the time when a predetermined time Δt has elapsed from the time t2 is calculated to obtain the second difference image. A generated second difference image generation unit;
A shift difference image generating unit that generates a shift difference image obtained by shifting one of the first difference image and the second difference image based on the movement amount;
A third difference image generating unit that calculates a difference between the shifted difference image and the unshifted difference image to generate a third difference image;
A three-dimensional object determination unit that checks whether a residual difference exists in the third difference image, determines that a three-dimensional object exists if it exists, and determines that a three-dimensional object does not exist if it does not exist;
A three-dimensional object detection device comprising: 更に、前記第１の差分画像と前記第２の差分画像を視線変換して、第１の視線変換差分画像と第２の視線変換差分画像を発生する視線変換発生部を備え、
前記シフト差分画像発生部は、前記第１の視線変換差分画像と前記第２の視線変換差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生し、
前記第３差分画像発生部は、該シフト差分画像とシフトしていない視線変換差分画像との差を算出して前記第３の差分画像を発生する、
ことを特徴とする請求項１９記載の立体物検出装置。 And a line-of-sight conversion generating unit that performs line-of-sight conversion on the first difference image and the second difference image to generate the first line-of-sight conversion difference image and the second line-of-sight conversion difference image,
The shift difference image generation unit generates a shift difference image obtained by shifting one of the first line-of-sight conversion difference image and the second line-of-sight conversion difference image based on the movement amount,
The third difference image generation unit calculates the difference between the shifted difference image and the unshifted line-of-sight conversion difference image to generate the third difference image;
The three-dimensional object detection apparatus according to claim 19. 更に、前記自車の移動方向を検出する移動方向検出部と、
前記自車の車速を検出する車速検出部と、
を備え、
前記移動量検出部は、前記時刻ｔ１と前記時刻ｔ２の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
を特徴とする請求項１９記載の立体物検出装置。 Furthermore, a moving direction detector that detects the moving direction of the host vehicle,
A vehicle speed detector for detecting the vehicle speed of the host vehicle;
With
The movement amount detection unit calculates the movement amount using a time difference between the time t1 and the time t2, the movement direction, and the vehicle speed.
The three-dimensional object detection device according to claim 19. 更に、前記第１の差分画像および前記第２の差分画像を画像幅に関して閾値判断する閾値判断部、
を備えたことを特徴とする請求項１９記載の立体物検出装置。 Further, a threshold determination unit that determines a threshold for the image width with respect to the first difference image and the second difference image,
The three-dimensional object detection device according to claim 19, further comprising:
JP2008174515A 2008-07-03 2008-07-03 Three-dimensional object detection apparatus and method Expired - Fee Related JP5137717B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008174515A JP5137717B2 (en) 2008-07-03 2008-07-03 Three-dimensional object detection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008174515A JP5137717B2 (en) 2008-07-03 2008-07-03 Three-dimensional object detection apparatus and method

Publications (2)

Publication Number Publication Date
JP2010015367A true JP2010015367A (en) 2010-01-21
JP5137717B2 JP5137717B2 (en) 2013-02-06

Family

ID=41701434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008174515A Expired - Fee Related JP5137717B2 (en) 2008-07-03 2008-07-03 Three-dimensional object detection apparatus and method

Country Status (1)

Country Link
JP (1) JP5137717B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259034A (en) * 2010-06-04 2011-12-22 Hitachi Systems Ltd System for detecting and reporting abnormality in network camera
JP2014157394A (en) * 2013-02-14 2014-08-28 Fuji Heavy Ind Ltd Outside-vehicle environment recognition device and outside-vehicle environment recognition method
EP2927869A2 (en) 2014-04-04 2015-10-07 Fujitsu Limited Movement amount estimation device, movement amount estimation method, and movement amount estimation program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001187553A (en) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd Parking support system
JP2006268076A (en) * 2005-03-22 2006-10-05 Sanyo Electric Co Ltd Driving assistance system
JP2007265281A (en) * 2006-03-29 2007-10-11 Denso It Laboratory Inc Self-shadow determining method
JP2007300559A (en) * 2006-05-02 2007-11-15 Alpine Electronics Inc Vehicle peripheral image providing device and shadow correcting method in vehicle peripheral image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001187553A (en) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd Parking support system
JP2006268076A (en) * 2005-03-22 2006-10-05 Sanyo Electric Co Ltd Driving assistance system
JP2007265281A (en) * 2006-03-29 2007-10-11 Denso It Laboratory Inc Self-shadow determining method
JP2007300559A (en) * 2006-05-02 2007-11-15 Alpine Electronics Inc Vehicle peripheral image providing device and shadow correcting method in vehicle peripheral image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259034A (en) * 2010-06-04 2011-12-22 Hitachi Systems Ltd System for detecting and reporting abnormality in network camera
JP2014157394A (en) * 2013-02-14 2014-08-28 Fuji Heavy Ind Ltd Outside-vehicle environment recognition device and outside-vehicle environment recognition method
EP2927869A2 (en) 2014-04-04 2015-10-07 Fujitsu Limited Movement amount estimation device, movement amount estimation method, and movement amount estimation program
US9569674B2 (en) 2014-04-04 2017-02-14 Fujitsu Limited Movement amount estimation device, movement amount estimation method, and computer-readable recording medium storing movement amount estimation program

Also Published As

Publication number Publication date
JP5137717B2 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
US11657604B2 (en) Systems and methods for estimating future paths
US20200385116A1 (en) System and Method of Operating a Vehicular Computing Device to Selectively Deploy a Tethered Vehicular Drone for Capturing Video
JP4556742B2 (en) Vehicle direct image display control apparatus and vehicle direct image display control program
US10956751B2 (en) Vessel monitoring apparatus
JP2016013793A5 (en)
KR101979276B1 (en) User interface apparatus for vehicle and Vehicle
KR101888960B1 (en) Apparatus and method for measuring the flatness of the road
JP4601505B2 (en) Top-view image generation apparatus and top-view image display method
KR101575954B1 (en) Apparatus for augmented reality using 3d reconstruction and mehhod thereof
JP2008176550A (en) Road traffic information receiving device with drive recorder
JP5137717B2 (en) Three-dimensional object detection apparatus and method
JPWO2019123795A1 (en) Image processing equipment and image processing methods and programs
US8666655B2 (en) Systems and methods for navigation
JP4857159B2 (en) Vehicle driving support device
JP5039605B2 (en) Parking assistance device
JP2010237798A (en) Image processor and image processing program
KR101295618B1 (en) Apparatus and method for displaying blind spot
CN202703402U (en) Auxiliary device for automobile driving
JP2012029033A5 (en)
KR20170065395A (en) Navigation inducing ensure a safe distance of a car
KR20220072008A (en) Vehicle rear detection device and method
KR20070000381U (en) Photo storage Navigation device of mobile
WO2017199487A1 (en) Control apparatus, control method, and program
KR101511567B1 (en) System for monitoring image and thereof method
JP7255257B2 (en) RECORDING/PLAYBACK CONTROL DEVICE, RECORDING/PLAYBACK CONTROL METHOD, AND PROGRAM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121113

R150 Certificate of patent or registration of utility model

Ref document number: 5137717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees