JP2010015367A - Three-dimensional object detection device and its method - Google Patents
Three-dimensional object detection device and its method Download PDFInfo
- Publication number
- JP2010015367A JP2010015367A JP2008174515A JP2008174515A JP2010015367A JP 2010015367 A JP2010015367 A JP 2010015367A JP 2008174515 A JP2008174515 A JP 2008174515A JP 2008174515 A JP2008174515 A JP 2008174515A JP 2010015367 A JP2010015367 A JP 2010015367A
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- time
- vehicle
- dimensional object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、立体物検出装置およびその方法に係り、特に自動車に取り付けた単眼カメラによる立体物検出装置およびその方法に関する。 The present invention relates to a three-dimensional object detection apparatus and method, and more particularly to a three-dimensional object detection apparatus and method using a monocular camera attached to an automobile.
車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には不注意により周囲の物体、特に後方の物体や子供と接触して車両を破損したり、人身事故を発生することがある。 When putting a vehicle in a narrow garage or parking lot, the driver needs to be very careful, sometimes inadvertently touching surrounding objects, especially objects behind them and children, damaging the vehicle or causing personal injury. There is.
そこで、車両に広角カメラ等を搭載して車両進行方向の立体物を検出するために、任意の時刻t1と該時刻t1より所定時間経過した時刻t2において進行方向の風景を撮影する。そして、該撮影された二つの画像の一方を該時刻t1とt2の間に自車が移動した移動量に基づいてシフト補正を行い、補正していない画像と該補正した画像との差分を算出し、差分画像内に残存差分が存在する場合には立体物が存在し、残存差分が存在しない場合には立体物が存在しないと判断する技術(特許文献1)がある。 Therefore, in order to mount a wide-angle camera or the like on the vehicle to detect a three-dimensional object in the vehicle traveling direction, a landscape in the traveling direction is photographed at an arbitrary time t1 and a time t2 after a predetermined time has elapsed from the time t1. Then, one of the two captured images is shift-corrected based on the amount of movement of the vehicle between the times t1 and t2, and the difference between the uncorrected image and the corrected image is calculated. However, there is a technique (Patent Document 1) that determines that there is a three-dimensional object when there is a residual difference in the difference image, and that there is no three-dimensional object when there is no residual difference.
すなわち、図18に示すように、自車181の後方に設置されているカメラ182により任意の時刻t1における撮影画像を車両の車高よりも高い所定の高さの地点(例えば車両中央の真上)から撮影した俯瞰画像に変換した図18(B)の(a)に示すような俯瞰画像G1と該時刻t1より所定時間経過した時刻t2における撮影画像を同様に俯瞰画像に変換した図8(B)の(b)に示すような俯瞰画像G2をそれぞれ取得する。尚、撮影領域183上には立体物184と、例えば路面に描かれた標示といった平面図形185が存在しているとする。ついで、撮影画像G2を、該時刻t1からt2の間に移動した移動量に基づいてシフトした(c)に示すようなシフト画像G2’を取得する。しかる後、シフト画像G2’とシフトしていない撮影画像G1との差分画像Gsを取得し、差分画像Gs内に残存差分187が存在する場合には立体物が存在し、残存差分187が存在しない場合には立体物が存在しないと判断する。これにより、単眼カメラにより立体物が存在することを認識でき、運転者へ警告することができ、接触事故や人身事故を防止することができる。
しかし、上記従来技術は、図18(A)に示すように自車の影が発生しない場合には有効であるが、図19(A)に示すように太陽187により自車影188が発生する場合には問題がある。すなわち、かかる場合には任意の時刻t1と該時刻t1より所定時間経過した時刻t2においてカメラ182が撮影し、俯瞰変換した俯瞰画像G1、G2には図19(B)の(a)、(b)に示すようにほぼ同一形状の自車影188が存在する。このため該時刻t1とt2の間に移動した移動量に応じた分撮影画像G2をシフトして、シフト画像G2’を算出すると、自車影188もシフトされる。この結果、平面図形を消去するためにG1とG2’の差分画像Gsを算出すると立体物184による残存差分186と本来存在しない自車影188の残存差分189が発生する。これにより、影が存在する位置に立体物があると誤認識してしまうという問題点がある。
However, the above prior art is effective when the shadow of the own vehicle does not occur as shown in FIG. 18 (A), but the
以上より、本発明の目的は単眼カメラによる撮影画像に影が存在する場合においても、影を立体物と誤認識せず、立体物を正確に検出できるようにし、接触事故や人身事故を防止することである。 As described above, the object of the present invention is to make it possible to accurately detect a three-dimensional object without erroneously recognizing the shadow as a three-dimensional object even when a shadow is present in an image taken by a monocular camera, and to prevent a contact accident or personal injury. It is.
本発明は、自動車に取り付けた単眼カメラによる立体物検出装置およびその方法である。 The present invention is a three-dimensional object detection apparatus and method using a monocular camera attached to an automobile.
・ 立体物検出方法
本発明の立体物検出方法は、任意の時刻t1に前記カメラにより撮影した第1の撮影画像を視線変換した第1の視線変換画像を発生し、前記時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換した第2の視線変換画像を発生し、前記第1の視線変換画像もしくは前記第2の視線変換画像を、前記時刻t1から時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、該シフト画像とシフトしていない視線変換画像との差を算出して第1の差分画像を発生し、前記時刻t1と前記時刻t2における自車の影画像をそれぞれ作成し、一方の影画像を前記移動量に基づいてシフトしたシフト影画像を作成し、該シフト影画像とシフトしていない影画像との差を算出して第2の差分画像を発生し、前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生し、該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。
Solid Object Detection Method The solid object detection method of the present invention generates a first line-of-sight converted image obtained by line-of-sight conversion of a first captured image captured by the camera at an arbitrary time t1, and a predetermined time has elapsed from the time t1. A second line-of-sight conversion image is generated by line-of-sight conversion of the second image captured by the camera at time t2, and the first line-of-sight conversion image or the second line-of-sight conversion image is generated from time t1 to time t2. generating a shifted image that is shifted based on the amount of movement of the vehicle during t2, calculating a difference between the shifted image and a line-of-sight converted image that is not shifted, and generating a first difference image, A shadow image of the vehicle at time t1 and time t2 is created, a shift shadow image is created by shifting one of the shadow images based on the amount of movement, and the shifted shadow image and the unshifted shadow image are The difference A second difference image is generated, a difference between the first difference image and the second difference image is calculated to generate a third difference image, and a residual difference is generated in the third difference image. If it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that a three-dimensional object does not exist.
本発明の別の立体物検出方法は、車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を作成し、任意の時刻t1に前記カメラに撮影した第1の撮影画像を視線変換して得られる視線変換画像と該時刻t1における前記影画像を合成して第1の合成画像を発生し、任意の時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換して得られる視線変換画像と該時刻t2における前記影画像を合成して第2の合成画像を発生し、前記第1の合成画像と第2の合成画像のいずれか一方を、前記時刻t1から前記時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、該シフト画像とシフトしていない合成画像との差を算出して第1の差分画像を発生し、前記時刻t1あるいは前記時刻t2における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成し、該シフト影画像とシフトしない影画像との差を算出して第2の差分画像を発生し、前期第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生し、該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。 Another three-dimensional object detection method of the present invention creates a shadow image in which a region on the vehicle body side from the tip position of the vehicle shadow calculated based on the vehicle height and the sun position is a vehicle shadow region, and at an arbitrary time t1. A line-of-sight conversion image obtained by line-of-sight conversion of the first captured image captured by the camera and the shadow image at time t1 are combined to generate a first combined image, and a predetermined time has elapsed from an arbitrary time t1. A line-of-sight converted image obtained by line-of-sight conversion of the second captured image captured by the camera at time t2 and the shadow image at time t2 are combined to generate a second combined image, and the first combined image And a second synthesized image, a shifted image is generated by shifting the vehicle based on the amount of movement of the host vehicle between the time t1 and the time t2, and the shifted image and the shifted image are not shifted. The first difference by calculating the difference between Generating an image, generating a shifted shadow image obtained by shifting the shadow image at the time t1 or the time t2 based on the movement amount of the own vehicle, and calculating a difference between the shifted shadow image and the shadow image not shifted A second difference image is generated, a difference between the first difference image and the second difference image is calculated to generate a third difference image, and a residual difference exists in the third difference image. If it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that a three-dimensional object does not exist.
本発明の別の立体物検出方法は、任意の時刻t1に前記カメラにより撮影した第1の撮影画像と、該時刻t1より所定時間Δt経過した時刻に前記カメラにより撮影した第2の撮影画像との差を算出して第1の差分画像を発生し、前記時刻t1より所定時間T(T>Δt)経過した時刻t2に前記カメラにより撮影した第3の撮影画像と、該時刻t2より前記所定時間Δt経過した時刻に前記カメラにより撮影した第4の撮影画像との差を算出して第2の差分画像を発生し、前記第1の差分画像と前記第2の差分画像のいずれか一方を、前記時刻t1から前記時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト差分画像を発生し、該シフト差分画像とシフトしていない差分画像との差を算出して第3の差分画像を発生し、該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する。 Another three-dimensional object detection method of the present invention includes a first captured image captured by the camera at an arbitrary time t1, and a second captured image captured by the camera at a time after a predetermined time Δt has elapsed from the time t1. To generate a first difference image, and a third captured image captured by the camera at a time t2 when a predetermined time T (T> Δt) has elapsed from the time t1, and the predetermined image from the time t2. A difference from the fourth photographed image photographed by the camera at the time when the time Δt has elapsed is calculated to generate a second difference image, and either the first difference image or the second difference image is obtained. A shift difference image that is shifted based on the amount of movement of the host vehicle from the time t1 to the time t2 is generated, and a difference between the shift difference image and the non-shifted difference image is calculated to obtain a third value. Difference image is generated and the third Check for remaining difference in the difference image is present, determines that the three-dimensional object is present, if any, it is determined that there is no three-dimensional object in the absence.
・ 立体物検出装置
本発明の立体物検出装置は、任意の時刻t1と該時刻t1より所定時間経過した時刻t2の間に、自車が移動した移動量を算出する移動量算出部と、前記時刻t1と前記時刻t2に前記カメラによりそれぞれ撮影した第1の撮影画像と第2の撮影画像とをそれぞれ視線変換して第1の視線変換画像と第2の視線変換画像とを発生する視線変換部と、前記第1の視線変換画像もしくは前記第2の視線変換画像を、前記移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、前記シフトした視線変換画像とシフトしていない視線変換画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、前記時刻t1と前記時刻t2における自車の影画像をそれぞれ作成する影画像作成部と、前記影画像の一方を前記移動量に基づいてシフトしたシフト影画像を発生するシフト影画像発生部と、前記シフト影画像とシフトしていない影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、前記第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。
-Solid object detection apparatus The solid object detection apparatus of the present invention includes a movement amount calculation unit that calculates a movement amount of the vehicle between an arbitrary time t1 and a time t2 after a predetermined time has elapsed from the time t1, The line-of-sight conversion for generating the first line-of-sight converted image and the second line-of-sight converted image by converting the line of sight of the first captured image and the second captured image respectively captured by the camera at time t1 and time t2. A shift image generation unit that generates a shift image obtained by shifting the first line-of-sight conversion image or the second line-of-sight conversion image based on the movement amount, and the shifted line-of-sight conversion image is not shifted. A first difference image generation unit that calculates a difference from the line-of-sight conversion image and generates a first difference image; a shadow image generation unit that generates a shadow image of the vehicle at the time t1 and the time t2, respectively; Shadow image A shift shadow image generation unit that generates a shifted shadow image that is shifted based on the amount of movement and a difference between the shifted shadow image and a non-shifted shadow image are generated to generate a second difference image. A second difference image generation unit; a third difference image generation unit that calculates a difference between the first difference image and the second difference image to generate a third difference image; and A three-dimensional object determining unit that determines whether a three-dimensional object is present if it exists, and determines that a three-dimensional object does not exist if it does not exist.
本発明の別の立体物検出装置は、車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を生成する影画像生成部と、任意の時刻t1に前記カメラに撮影した第1の撮影画像を視線変換して得られる視線変換画像と該時刻t1における前記影画像を合成して第1の合成画像を発生する第1合成画像発生部と、任意の時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換して得られる視線変換画像と該時刻t2における前記影画像を合成して第2の合成画像を発生する第2合成画像発生部と、前記第1の合成画像と前記第2の合成画像のいずれか一方を、該時刻t1から該時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、該シフト画像とシフトしていない合成画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、前記時刻t1あるいは前記時刻t2における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成するシフト影画像生成部と、該シフト影画像とシフトしない影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。 Another three-dimensional object detection device of the present invention includes a shadow image generation unit that generates a shadow image in which the region on the vehicle body side is the vehicle shadow region from the tip position of the vehicle shadow calculated based on the vehicle height and the sun position; First composite image generation for generating a first composite image by combining a line-of-sight conversion image obtained by line-of-sight conversion of a first captured image captured by the camera at an arbitrary time t1 and the shadow image at the time t1 And a line-of-sight converted image obtained by line-of-sight conversion of the second captured image captured by the camera at a time t2 after a predetermined time from an arbitrary time t1 and the shadow image at the time t2 are combined to generate a second The second composite image generating unit that generates a composite image, and either the first composite image or the second composite image are moved to the amount of movement of the host vehicle from time t1 to time t2. Shift that generates a shifted image based on An image generation unit, a first difference image generation unit that calculates a difference between the shifted image and a non-shifted composite image to generate a first difference image, and a shadow image at the time t1 or the time t2 A shifted shadow image generation unit that generates a shifted shadow image based on the amount of movement of the vehicle, and a second difference that generates a second difference image by calculating a difference between the shifted shadow image and a shadow image that is not shifted An image generation unit; a third difference image generation unit that calculates a difference between the first difference image and the second difference image to generate a third difference image; and a residual image in the third difference image. A three-dimensional object determination unit that checks whether a difference exists, determines that a three-dimensional object exists if it exists, and determines that a three-dimensional object does not exist if it does not exist;
本発明の別の立体物検出装置は、任意の時刻t1と該時刻t1より所定時間T経過した時刻t2の間に、自車が移動した移動量を算出する移動量算出部と、前記時刻t1に前記カメラにより撮影した第1の撮影画像と、前記時刻t1より所定時間Δt(T>Δt)経過した時刻に前記カメラにより撮影した第2の撮影画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、前記時刻t2に前記カメラにより撮影した第3の撮影画像と、前記時刻t2より所定時間Δt経過した時刻に前記カメラにより撮影した第4の撮影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、前記第1の差分画像と前記第2の差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生するシフト差分画像発生部と、前記シフト差分画像とシフトしていない差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、前記第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、を備えている。 Another three-dimensional object detection device according to the present invention includes a movement amount calculation unit that calculates a movement amount of the own vehicle between an arbitrary time t1 and a time t2 after a predetermined time T has elapsed from the time t1, and the time t1. The first difference is calculated by calculating the difference between the first captured image captured by the camera and the second captured image captured by the camera at a time when a predetermined time Δt (T> Δt) has elapsed from the time t1. A first difference image generation unit for generating an image, a third captured image captured by the camera at the time t2, and a fourth captured image captured by the camera at a time after a predetermined time Δt from the time t2. A second difference image generation unit that calculates a difference between them and generates a second difference image; and a shift difference obtained by shifting one of the first difference image and the second difference image based on the movement amount Shift difference image that generates images A difference between the generation unit, the difference image between the shift difference image and the non-shifted difference image to generate a third difference image, and a residual difference exists in the third difference image A three-dimensional object determination unit that determines that a three-dimensional object exists when it exists and determines that a three-dimensional object does not exist when it does not exist.
本発明によれば、時刻t1、t2に撮影した2つの撮影画像の差分画像より自車影像を除去するように構成したので、自車の影に影響されずに正確に立体物を検出することができる。 According to the present invention, since the vehicle image is removed from the difference image between the two captured images taken at the times t1 and t2, the three-dimensional object can be accurately detected without being affected by the shadow of the vehicle. Can do.
本発明によれば、前記カメラにより前記時刻t1とt2に撮影した第1の撮影画像と第2の撮影画像を視線変換して第1の視線変換画像と第2の視線変換画像とを発生し、該第1の視線変換画像と該第2の視線変換画像との差である第1の差分画像から、前記時刻t1とt2における影画像の差である第2の差分画像を差し引いて作成した第3の差分画像内に残存差分が存在するか調べ、該残存差分より立体物が存在するか判断するようにしたので、自車の進行方向に自車影が存在している場合でも、正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。 According to the present invention, the first line-of-sight conversion image and the second line-of-sight conversion image are generated by line-of-sight conversion of the first captured image and the second captured image captured at the times t1 and t2 by the camera. The first difference image that is the difference between the first line-of-sight conversion image and the second line-of-sight conversion image is created by subtracting the second difference image that is the difference between the shadow images at the times t1 and t2. Since it is determined whether there is a residual difference in the third difference image and it is determined whether there is a three-dimensional object based on the residual difference, it is accurate even if the vehicle shadow exists in the traveling direction of the vehicle. A three-dimensional object can be detected and the distance to the three-dimensional object can be clearly indicated to the driver, thereby preventing a contact accident or a personal injury.
本発明によれば、更に、前記カメラにより前記時刻t1前後の複数枚の撮影画像と前記時刻t2前後の複数枚の撮影画像をそれぞれ平均化し、それぞれ前記第1の撮影画像、第2の撮影画像とするようにしたので、正確な撮影画像を取得し正確に立体物を検出することができる。 According to the present invention, the camera further averages the plurality of photographed images before and after the time t1 and the plurality of photographed images before and after the time t2, respectively, and the first photographed image and the second photographed image, respectively. Thus, it is possible to acquire an accurate captured image and accurately detect a three-dimensional object.
本発明によれば、更に、自車形状を記憶すると共に、自車方向を取得し、かつ光源位置を算出し、該光源位置と前記自車形状と前記自車方向を用いて前記影画像を作成するようにしたので、前記光源位置が変化しても正確に影画像を作成し、正確に立体物を検出することができる。 According to the present invention, the vehicle shape is further stored, the vehicle direction is acquired, the light source position is calculated, and the shadow image is calculated using the light source position, the vehicle shape, and the vehicle direction. Since it is created, it is possible to accurately create a shadow image and accurately detect a three-dimensional object even if the light source position changes.
本発明によれば、更に、太陽軌道を記憶すると共に、自車位置を取得し、前記光源位置を前記太陽軌道と前記自車位置を用いて算出するようにしたので、前記光源位置すなわち太陽位置が変化す場合でも正確に影画像を作成し、正確に立体物を検出することができる。 According to the present invention, the solar trajectory is further stored, the own vehicle position is acquired, and the light source position is calculated using the solar trajectory and the own vehicle position. Even when the angle changes, it is possible to accurately create a shadow image and accurately detect a three-dimensional object.
本発明によれば、更に、任意の場所に設置されたカメラにより光源を撮影し、前記光源位置を撮影画像より算出するようにしたので、光源が存在する全ての場所で影画像を作成し正確に立体物を検出することができる。 Further, according to the present invention, the light source is photographed by the camera installed at an arbitrary place, and the light source position is calculated from the photographed image. A three-dimensional object can be detected.
本発明によれば、自車の車高と前記時刻t1とt2における太陽の位置より算出されるそれぞれの自車影の先端位置より車体側領域を車影領域とする影画像を作成するようにしたので、簡単に影画像を生成することができる。 According to the present invention, a shadow image having the vehicle body side region as the vehicle shadow region is created from the vehicle height of the vehicle and the tip position of each vehicle shadow calculated from the sun position at the times t1 and t2. Therefore, a shadow image can be easily generated.
本発明によれば、時刻t1、t2において撮影した撮影画像より自車影像を除去するようにし、2つの撮影画像の差分画像より自車影を除去するように構成したので、自車影に影響されずに正確に立体物を検出することができる。 According to the present invention, the vehicle shadow image is removed from the captured images taken at the times t1 and t2, and the vehicle shadow is removed from the difference image between the two captured images. The three-dimensional object can be accurately detected without being.
本発明によれば、前記カメラにより近接した2つの時刻に撮影した第1の撮影画像と第2の撮影画像の差分を算出することにより影を除去するようにしたので、簡単な処理で時刻t1、t2の撮影画像の差分画像より自車影を除去でき、該差分画像内に残存差分が存在するか調べ、該残存差分より立体物が存在するか判断するようにしたので、自車の進行方向に自車影が存在している場合でも、正確に立体物を検出することができ、接触事故や人身事故を防止することができる。 According to the present invention, the shadow is removed by calculating the difference between the first captured image and the second captured image captured at two times close to the camera. The vehicle shadow can be removed from the difference image of the photographed image at t2, and it is determined whether there is a residual difference in the difference image, and it is determined whether there is a three-dimensional object from the residual difference. Even when the vehicle shadow is present in the direction, a three-dimensional object can be accurately detected, and contact accidents and personal injury can be prevented.
本発明によれば、更に、視線変換してから差分画像を発生するようにしたので、自車方向に自車影が存在している場合でも正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。 According to the present invention, since the difference image is generated after the line-of-sight conversion is performed, even if the vehicle shadow is present in the vehicle direction, the three-dimensional object can be accurately detected and the driving is performed. The distance to the three-dimensional object can be clearly shown to the person, and contact accidents and personal injury can be prevented.
本発明によれば、更に、画像の幅に関し閾値判断して、該差分画像を作成するようにしたので、正確な前記第1、第2の差分画像を作成して、正確に立体物を検出することができ、接触事故や人身事故を防止することができる。 Further, according to the present invention, since the threshold image is determined with respect to the width of the image and the difference image is generated, the first and second difference images are accurately generated and the three-dimensional object is accurately detected. Can prevent contact accidents and personal injury.
(A)本発明の概要
図1、図2、図3は本発明の第1〜第3実施例の概略説明図である。1は自車影、2は立体物、3は平面図形、4は自車影の残存差分、5は立体物の残存差分、6は計算で算出した自車影、7は自車影6の残存差分、8(図2)は計算で算出した自車影、9は自車影8より算出した矩形領域、10は矩形領域9を影とした影画像、11は自車影領域の残存差分、12は立体物の残存差分、13は影画像の残存差分、TPは影の先端の位置、14(図3)は移動前の立体物の残存差分、15は移動後の立体物の残存差分、16は立体物の残存差分である。
(A) Outline of the Present Invention FIGS. 1, 2 and 3 are schematic explanatory views of first to third embodiments of the present invention. 1 is a vehicle shadow, 2 is a solid object, 3 is a plane figure, 4 is a residual difference of the vehicle shadow, 5 is a residual difference of the solid object, 6 is a vehicle shadow calculated by calculation, and 7 is a vehicle shadow 6 Remaining difference, 8 (FIG. 2) is the own vehicle shadow calculated by calculation, 9 is a rectangular area calculated from the
(A1)第1実施例の概要
図示しないカメラにより、任意の時刻t1と該時刻t1より所定時間経過した時刻t2において自車の後方を撮影し、得られた第1、第2の撮影画像を俯瞰変換し、図1(A)の(a)、(b)に示すように自車影1、立体物2、平面図形3が存在する俯瞰画像G1、G2をそれぞれ取得する。ついで、自車の移動量に基づいて、図1(A)の(c)に示すような俯瞰画像G2を移動方向と逆方向にシフトした俯瞰画像G2’を算出する。しかる後、俯瞰画像G1より俯瞰画像G2’を差し引いて、図1(A)の(d)に示すように自車影の残存差分4と立体物の残存差分5を含む差分画像Gsを算出する。一方、自車の3次元形状と、時刻t1と時刻t2におけるそれぞれの光源(太陽)の位置と、自車方向とにより各時刻において、算出した図1(B)の(a)、(b)に示すように自車影6を含む影画像K1、K2を作成する。その後、自車の移動量に基づいて、図1(B)の(c)に示す影画像K2を移動方向と逆方向にシフトした自車影画像K2’を算出し、影画像K1から影画像K2’を差し引き、図1(B)の(d)に示すように影の残存差分7を含む影差分画像Ksを生成する。最後に、差分画像Gsから影差分画像Ksを差し引いて、図1(C)に示すように立体物の残存差分5だけを含む差分画像Gs’を算出する。以後、差分画像Gs’内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。
(A1) Outline of the first embodiment Using a camera (not shown), the rear of the vehicle is photographed at an arbitrary time t1 and a time t2 when a predetermined time has elapsed from the time t1, and the obtained first and second photographed images are obtained. The bird's-eye view conversion is performed, and the bird's-eye view images G1 and G2 in which the
(A2)第2実施例の概要
任意の時刻t1に図示しないカメラにより撮影した撮影画像を俯瞰変換し、図2(A)の(a)に示すように自車影1、立体物2、平面図形3が存在する俯瞰画像G1を取得する。また、図2(B)の(a)、(b)に示すように、該時刻t1における光源の位置、自車方向より算出した自車影8の影が存在する矩形領域9を算出し、領域9全体を影領域10とする影画像Kを作成する。ついで、図2(A)の(b)に示すように、図2(A)の(a)と図2(B)の(b)を合成した俯瞰画像G1’を取得する。同様にして、該時刻t1より所定時間経過した時刻t2において図示しないカメラにより撮影した撮影画像を俯瞰変換し、図2(A)の(c)に示すように俯瞰画像G2を取得し、ついで、図2(A)の(d)に示すように俯瞰画像G2と影画像Kを合成した俯瞰画像G2’を取得する。しかる後、図2(A)の(e)と図2(B)の(c)に示すように、自車の移動量に基づいて俯瞰画像G2’と影画像Kを移動方向と逆方向にシフトした俯瞰画像G2”と影画像K’を算出する。シフト後、俯瞰画像G1’より俯瞰画像G2”を差し引いて図2(A)の(f)に示すような影の残存差分11と立体物の残存差分12を含む差分画像Gsを算出し、かつ影画像Kより影画像K’を差し引いて図2(B)の(d)に示すような影の残存差分13を含む差分画像Ksを算出する。最後に、差分画像Gsより差分画像Ksを差し引いて、図2(C)に示すような立体物の残存差分12を含む差分画像Gs’を算出する。以後、差分画像Gs’内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。
(A2) Outline of Second Embodiment A captured image photographed by a camera (not shown) at an arbitrary time t1 is converted into a bird's-eye view, and as shown in FIG. An overhead image G1 in which the figure 3 exists is acquired. Also, as shown in (a) and (b) of FIG. 2 (B), a
(A3)第3実施例の概要
図3(A)の(a)に示すように、任意の時刻t1に図示しないカメラにより撮影した撮影画像P1より、図3(A)の(b)に示すように、該時刻t1より所定時間Δt経過した時刻(t1+Δt)に該カメラにより撮影した撮影画像P1’を差し引いて、図3(A)の(c)に示すように自車影のない立体物の残存差分14を含む差分画像P1”を算出し、該差分画像P1”を俯瞰画像に変換し、図示しない俯瞰画像Gt1を算出する。同様にして、図3(B)の(a)に示すように、該時刻t1より所定時間T(T>Δt)経過した時刻t2に撮影した撮影画像P2より、図3(B)の(b)に示すように、該時刻t2より所定時間Δt経過した時刻(t2+Δt)に撮影した撮影画像P2’を差し引いて、図3(B)の(c)に示すように自車影のない立体物の残存差分15を含む差分画像P2”を算出し、該差分画像P2”を俯瞰変換し、図示しない俯瞰画像Gt2を算出する。しかる後、自車の移動量に基づいて、図3(B)の(d)に示すような俯瞰画像Gt2を移動方向と逆方向にシフトした俯瞰画像Gt2’を算出し、俯瞰画像Gt1より俯瞰画像Gt2’を差し引いて、図3(C)に示すような立体物の残存差分16を含む差分画像Gtsを算出する。以後、差分画像Gts内に残存差分が存在するか調べることにより、単眼カメラで進行方向に立体物が存在するかの判断を行うことができる。
(A3) Outline of Third Embodiment As shown in (a) of FIG. 3 (A), it is shown in (b) of FIG. 3 (A) from an image P1 taken by a camera (not shown) at an arbitrary time t1. As shown in FIG. 3 (A) (c), a three-dimensional object having no own vehicle shadow is obtained by subtracting the photographed image P1 ′ photographed by the camera at a time (t1 + Δt) at which a predetermined time Δt has elapsed from the time t1. The difference image P1 ″ including the remaining
従来技術では、自車影が存在する場合には影を立体物と誤認識していたが、本発明によれば、自車影に影響されず、立体物を正確に検出することが可能であり、これにより接触事故や人身事故を防止することが可能である。 In the prior art, when a vehicle shadow is present, the shadow is misrecognized as a three-dimensional object. However, according to the present invention, a three-dimensional object can be accurately detected without being affected by the vehicle shadow. Yes, it is possible to prevent contact accidents and personal injury.
(B)第1実施例
図4は本発明の立体物検出装置を搭載した車載器の構成図である。
(B) 1st Example FIG. 4: is a block diagram of the onboard equipment carrying the solid-object detection apparatus of this invention.
ナビゲーションユニット19と立体物検出装置20が車内ネットワークCNWを介して接続されている。
ナビゲーションユニット19において、GPS受信部21はGPS衛星から送られてくる位置情報を受信して車両の絶対現在位置を測定する。車速検出部22は一定走行距離毎にパルスを発生する距離センサを備えている。ナビゲーション部23はGPS受信部21と車速検出部22と車両回転角度を検出するジャイロセンサ(図示せず)から出力される信号を用いて、現在の車両位置を推定できるようになっている。
The
In the
立体物検出装置20において、カメラ24は自車の後方を撮影できるように所定の位置(例えば、リアのナンバープレートの上方)に取り付けられており、画像トリミング部25は時刻t1と該時刻より所定時間経過後の時刻t2における撮影画像から俯瞰変換を行うための画像を切り出す。地面への投影処理部26はカメラ24により撮影した各画像を車両の車高よりも高い所定の高さの地点(例えば、車両中央の真上)から撮影した俯瞰画像に変換する。画像バッファ27は、投影処理部26が作成した時刻t1の画像の俯瞰画像を記憶する。
In the three-dimensional
ステアリング検出部28は自車のステアリング情報を検出する。車両移動量計算部29は車速検出部22とステアリング検出部28がそれぞれ検出した車速情報とステアリング情報を取得し、該車速情報とステアリング情報を基に自車の経度方向および緯度方向の移動量を算出する。
The
画像シフト部30は投影処理部26が作成した時刻t2の画像の俯瞰画像を前記移動量に基づいて、自車が移動した方向と逆方向にシフトする。差分演算部31は画像バッファ27が記憶している時刻t1の俯瞰画像より前記シフトした時刻t2の俯瞰画像を差し引いて、差分画像を作成する。
The
太陽運動軌道記憶部32は光源である太陽の運動軌道情報を記憶している。太陽位置算出部33はGPS受信部21が受信したGPS情報(位置および時刻情報)と、太陽運動軌道記憶部32が記憶している太陽の運動軌道情報を基に車両位置を基準とした現在の太陽の位置を算出する。自車3次元形状記憶部34は自車形状を3次元のデータとして記憶している。自車影計算部35は、図示しないジャイロセンサから取得した自車方向情報と、太陽位置計算部33から取得した光源である太陽の位置情報と、自車3次元形状記憶部34から取得した自車形状の3次元データとを用いて時刻t1と該時刻より所定時間後の時刻t2における自車影を計算し、影画像として発生する。影画像バッファ36は自車影計算部35が発生した時刻t1の影画像を記憶する。影画像オフセット部37は自車影計算部35が発生した時刻t2の影画像を前記移動量に基づいて、自車が移動した方向と逆方向にシフトする。自車影差分演算部38は、影画像バッファ36が記憶している時刻t1の影画像より前記シフトした時刻t2の影画像を差し引き、差分マスク作成部39は自車影差分演算部38により発生した差分影画像より差分マスクを作成する。
The solar motion
差分マスク部40は、差分演算部31が発生した差分画像より差分マスク作成部39が作成した差分マスクを差し引いて影が除去された差分画像を作成し、警告発生部41は、該差分画像内に残存差分が存在するかを調べ、残存差分が存在する場合には立体物が存在すると判断し、残存差分が存在しない場合には立体物が存在しないと判断する。尚、差分マスク部40が立体物が存在すると判断した場合、警告発生部41は警告を発生し、表示部42とスピーカ43は該警告を運転者に明示する。
The
図5は第1実施例の立体物検出の処理フローであり、図6は第1実施例のマスク画像発生の処理フローである。以下、図5、図6の処理フローに沿って説明を行う。 FIG. 5 is a processing flow for detecting a three-dimensional object according to the first embodiment, and FIG. 6 is a processing flow for generating a mask image according to the first embodiment. Hereinafter, description will be made along the processing flow of FIGS. 5 and 6.
ギアポジション検出部(図示せず)はギアがバックに入ったかの監視を行い(ステップS501)、ギアがバックに入ったと判断した場合には、S502に進む。
ステップS501において、ギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ24は時刻t1において車両進行方向の撮影画像P1を撮影し(ステップS502)、画像トリミング部25は撮影画像P1から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図1(A)の(a)に示すような自車影1、立体物2、平面図形3を含む俯瞰画像G1を取得し(ステップS503)、画像バッファ27は該俯瞰画像G1を記憶する。
A gear position detection unit (not shown) monitors whether the gear has entered the back (step S501). If it is determined that the gear has entered the back, the process proceeds to S502.
In step S501, when the gear position detection unit determines that the gear is in the back, the
ついで、立体検出装置20の制御部(図示せず)は所定時間(例えば、1秒)経過したかの判断を行い(ステップS504)、所定時間経過した場合S505に進む。
ステップS504において、所定時間経過した場合には、カメラ24は時刻t2における車両進行方向の撮影画像P2を撮影し(ステップS505)、画像トリミング部25は撮影画像P2から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図1(A)の(b)に示すような俯瞰画像G2を取得する(ステップS506)。
Next, the control unit (not shown) of the three-
In step S504, when the predetermined time has elapsed, the
しかる後、車両移動量計算部29は車速検出部22より車速情報を取得し、かつステアリング検出部28よりステアリング情報を取得し、該車速情報と該ステアリング情報より自車の移動量を算出し(ステップS507)、画像オシフト部30は該移動量に基づいて移動した方向と逆方向に俯瞰画像G2をシフトし、図1(A)の(c)に示すように俯瞰画像G2全体を移動量分だけ補正した俯瞰画像G2’を算出する(ステップS508)。
次に、差分演算部31は画像バッファ27が記憶している俯瞰画像G1より画像シフト部30が補正した俯瞰画像G2’を差し引いて、図1(A)の(d)に示すように影の残存差分4と立体物の残存差分5が存在する差分画像Gsを算出する(ステップS509)。
Thereafter, the vehicle movement
Next, the
ついで、後述するマスク画像Ks発生処理を行い、図1(B)の(d)に示すように自車影の残存差分7を含むマスク画像Ksを発生し(ステップS510)、差分マスク部40は差分画像Gsよりマスク画像Ksを差し引いて図1(C)に示すような差分画像Gs’算出し(ステップS511)、警告発生部41は差分画像Gs’内に残存差分が存在するか判断し(ステップS512)、残存差分5が存在する場合にはS513に進み、残存差分が存在しない場合にはS514に進む。
Next, a mask image Ks generation process, which will be described later, is performed to generate a mask image Ks including the residual difference 7 of the own vehicle shadow as shown in (d) of FIG. 1B (step S510). A difference image Gs ′ as shown in FIG. 1C is calculated by subtracting the mask image Ks from the difference image Gs (step S511), and the
ステップS512において、残存差分5が存在する場合には警告発生部41は進行方向に立体物が存在すると判断して警告発生し(ステップS513)、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する(ステップS514)。
In step S512, if the remaining
次にマスク画像Ksの発生処理について説明する。図6はマスク画像発生の処理フローである。 Next, generation processing of the mask image Ks will be described. FIG. 6 is a processing flow of mask image generation.
太陽位置算出部33は、GPS受信部21より撮影画像P1撮影時(時刻t1)のGPS情報(位置および時刻情報)を取得し、かつ太陽運動軌道記憶部32が記憶している太陽運動軌道情報を取得し、該GPS情報と該太陽運動軌道情報より自車位置を基準にした撮影画像P1撮影時の太陽の位置を算出する(ステップS611)。
ついで、自車影計算部35は、自車3次元形状記憶部34が記憶している自車形状と、算出した太陽の位置とジャイロセンサから取得した自車方向情報とを用いて、図1(B)の(a)に示すような計算で算出した影画像6を含む撮影画像P1撮影時の自車影画像K1を算出する(ステップS613)。
The solar
Next, the own vehicle
しかる後、同様に太陽位置算出部33は、GPS受信部21より撮影画像P2撮影時(時刻t2)のGPS情報を取得し、該GPS情報と該太陽軌道運動情報より撮影画像P2撮影時の太陽の位置を算出し(ステップS614)、自車影計算部35は自車方向情報と該太陽の位置情報と該自車形状とを用いて、図1(B)の(b)に示すように計算で算出した影画像6を含む撮影画像P2撮影時の自車影画像K2を算出する(ステップS615)。尚、時刻t1と時刻t2の時間差は、例えば1秒であるため、これらの時刻における太陽位置はほぼ同じであるので、時刻t2の自車影画像K2を時刻t1の自車影画像K1とみなすこともできる。
Thereafter, similarly, the sun
次に、影画像シフト部37は車両移動計算部29が算出した移動量を取得し(ステップS616)、影画像K2を該移動量に基づいて移動した方向と逆方向にシフトし、図1(B)の(c)に示すように移動量補正した影画像K2’を算出する(ステップS617)。
最後に自車影差分演算部38は影画像K1より移動量補正した影画像K2’を差し引き、差分マスク作成部39は図1(B)の(d)に示すような差分画像Ksを算出する(ステップS618)。この差分画像Ksを前述したS511以降において使用する。
Next, the shadow
Finally, the own vehicle shadow
以上、本実施例によれば、時刻t1、t2に撮影した2つの撮影画像の差分画像(図1(C))より自車方向、太陽の位置情報、自車形状を用いて作成した自車影画像を用いて、自車影像を除去するように構成したので、自車影に影響されずに正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。 As described above, according to the present embodiment, the own vehicle created using the own vehicle direction, the sun position information, and the own vehicle shape from the difference image (FIG. 1C) of the two photographed images taken at times t1 and t2. Since the vehicle image is removed using the shadow image, the three-dimensional object can be accurately detected without being affected by the vehicle shadow, and the distance to the three-dimensional object is clearly indicated to the driver. Can prevent contact accidents and personal injury.
(C)第1実施例の第1変形例
図7は本発明の第1実施例の第1変形例の構成図である。図4と同一の部分には同一の符号を付している。異なる点は、平均撮影画像発生部71を設置した点である。
画像トリミング部25は、任意の時刻t1前後にカメラ24が撮影した所定枚数(少なくとも2枚)の撮影画像から俯瞰変換を行うために画像を切り出し、投影処理部26は該切り出した撮影画像をそれぞれ俯瞰画像に変換し、平均撮影画像発生部71は該所定枚数の俯瞰画像を平均化して1枚の俯瞰画像を算出する。しかる後、該俯瞰画像を画像バッファ27は記憶する。該時刻t1より所定時間経過した時刻t2においても同様の処理を行って1枚の俯瞰画像を算出し、平均撮影画像発生部71は該俯瞰画像を画像シフト部30に入力する。
(C) First Modification of First Embodiment FIG. 7 is a configuration diagram of a first modification of the first embodiment of the present invention. The same parts as those in FIG. 4 are denoted by the same reference numerals. The difference is that an average photographed
The
以上、本変形例によれば、第1実施例と同様の効果を得ることができ、かつ所定枚数(少なくとも2枚)の撮影画像より俯瞰画像を算出するので、雑音の影響による立体物検出の精度の低下を防ぐことができる。 As described above, according to the present modification, the same effect as that of the first embodiment can be obtained, and the overhead image is calculated from a predetermined number (at least two) of captured images. A reduction in accuracy can be prevented.
(D)第1実施例の第2変形例
図8は本発明の第1実施例の第2変形例の構成図、図9はカメラによる光源位置検出の概要図である。図9において、81はカメラ、91は光源である太陽、92は自車両、θはカメラ81の視野角である。
図8の第2変形例の構成図において、図4の第1実施例の構成図と同一の部分には同一の符号を付している。異なる点は、太陽の位置を求めるための太陽運動軌道記憶部32と太陽位置算出部33とを除去し、代わりにカメラ81と太陽位置検出部82とを設けた点である。
(D) Second Modification of First Embodiment FIG. 8 is a configuration diagram of a second modification of the first embodiment of the present invention, and FIG. 9 is a schematic diagram of light source position detection by a camera. In FIG. 9, 81 is a camera, 91 is the sun as a light source, 92 is the host vehicle, and θ is a viewing angle of the
In the configuration diagram of the second modified example of FIG. 8, the same components as those in the configuration diagram of the first embodiment of FIG. A different point is that the solar motion
カメラ81は広角カメラ等で構成されており、例えば図9に示すように視野角θを持っており自車両92の屋根の中央に配置されて任意の時刻に太陽91を撮影する。太陽位置算出部82は、該周囲撮影画像より太陽の位置および太陽に対する自車方向を算出する。
The
次に、処理フローについて説明を行う。図10は第2変形例の処理フローであり、以下図10に沿って処理の説明を行う。 Next, the processing flow will be described. FIG. 10 is a processing flow of the second modified example, and the processing will be described with reference to FIG.
ギアポジション検出部(図示せず)はギアがバックに入ったかの監視を行い(ステップS1001)、ギアがバックに入ったと判断した場合には、S1002に進む。
ステップS1001において、ギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ24は時刻t1において車両進行方向の撮影画像P1を撮影すると共に、カメラ81は周囲を撮影し、太陽位置検出部82は該周囲撮影画像より太陽の位置および太陽に対する自車方向を検出して保存する(ステップS1002)。
A gear position detection unit (not shown) monitors whether the gear has entered the back (step S1001). If it is determined that the gear has entered the back, the process proceeds to S1002.
In step S1001, when the gear position detection unit determines that the gear is in the back, the
次に、画像トリミング部25は撮影画像P1から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図1(A)の(a)に示すような自車影1、立体物2、平面図形3を含む俯瞰画像G1を取得し(ステップS1003)、画像バッファ27は該俯瞰画像G1を記憶する。
Next, the
ついで、立体検出装置20の制御部(図示せず)は所定時間(例えば、1秒)経過したかの判断を行い(ステップS1004)、所定時間経過した場合S1005に進む。
ステップS1004において、所定時間経過した場合には、カメラ24は時刻t2における車両進行方向の撮影画像P2を撮影すると共に、カメラ81は周囲を撮影し、太陽位置検出部82は該周囲撮影画像より太陽の位置および太陽に対する自車方向を検出して保存する(ステップS1005)。
Next, the control unit (not shown) of the
In step S1004, when a predetermined time has elapsed, the
しかる後、画像トリミング部25は撮影画像P2から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図1(A)の(b)に示すような俯瞰画像G2を取得する(ステップS1006)。
Thereafter, the
その後、車両移動量計算部29は車速検出部22より車速情報を取得し、かつステアリング検出部28よりステアリング情報を取得し、該車速情報と該ステアリング情報より自車の移動量を算出し(ステップS1007)、画像シフト部30は該移動量に基づいて移動した方向と逆方向に俯瞰画像G2をシフトし、図1(A)の(c)に示すように俯瞰画像G2全体を移動量分だけ補正した俯瞰画像G2’を算出する(ステップS1008)。
Thereafter, the vehicle movement
次に、差分演算部31は画像バッファ27が記憶している俯瞰画像G1より画像シフト部30が補正した俯瞰画像G2’を差し引いて、図1(A)の(d)に示すように影の残存差分4と立体物の残存差分5が存在する差分画像Gsを算出する(ステップS1009)。
Next, the
ついで、後述するマスク画像Ksの発生処理により、図1(B)の(d)に示すように自車影の残存差分7を含むマスク画像Ksを発生し(ステップS1010)、差分マスク部40は差分画像Gsよりマスク画像Ksを差し引いて図1(C)に示すような差分画像Gs’を算出し(ステップS1011)、警告発生部41は差分画像Gs’内に残存差分が存在するか判断し(ステップS1012)、残存差分5が存在する場合にはS1013に進み、残存差分が存在しない場合にはS1014に進む。
Next, as shown in (d) of FIG. 1B, a mask image Ks including the residual difference 7 of the own vehicle shadow is generated by the generation process of the mask image Ks described later (step S1010), and the difference mask unit 40 A difference image Gs ′ as shown in FIG. 1C is calculated by subtracting the mask image Ks from the difference image Gs (step S1011), and the
ステップS1012において、残存差分5が存在する場合には警告発生部41は進行方向に立体物が存在すると判断して警告発生し(ステップS1013)、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する(ステップS1014)。
In step S1012, if the remaining
次にマスク画像Ksの発生処理について説明する。図11はマスク画像発生の処理フローである。 Next, generation processing of the mask image Ks will be described. FIG. 11 is a processing flow of mask image generation.
自車影計算部35は、自車3次元形状記憶部34が記憶している自車形状と、時刻t1において算出した太陽の位置と自車方向情報とを取得し(ステップS1111)、該自車形状と該太陽の位置と該自車方向情報を用いて、図1(B)の(a)に示すような時刻t1(撮影画像P1撮影時)の自車影画像K1を算出する(ステップS1112)。
The own vehicle
しかる後、同様に自車影計算部35は、時刻t2において算出した太陽の位置と自車方向情報とを取得し(ステップS1113)、該自車形状と該太陽の位置情報と該自車方向情報とを用いて、図1(B)の(b)に示すように(撮影画像P2撮影時)の自車影画像K2を算出する(ステップS1114)。尚、時刻t1と時刻t2の時間差は、例えば1秒であるため、これらの時刻における太陽位置はほぼ同じであるので、時刻t2の自車影画像K2を時刻t1の自車影画像K1とみなすこともできる。
Thereafter, the own vehicle
次に、影画像シフト部37は車両移動計算部29が算出した移動量を取得し(ステップS1115)、影画像K2を該移動量に基づいて移動した方向と逆方向にシフトし、図1(B)の(c)に示すように移動量補正した影画像K2’を算出する(ステップS1116)。
Next, the shadow
最後に自車影差分演算部38は影画像K1より移動量補正した影画像K2’を差し引き、差分マスク作成部39は図1(B)の(d)に示すような差分画像Ksを算出する(ステップS1117)。この差分画像Ksを前述したS1011以降において使用する。尚、第1変形例と第2変形例とを組み合わせることも可能である。
Finally, the own vehicle shadow
以上、本変形例によれば、第1実施例と同様の効果を得ることができ、かつ太陽に限らず光源が存在する全ての場所で影画像を作成し正確に立体物を検出することができる。 As described above, according to the present modification, it is possible to obtain the same effect as that of the first embodiment, and to accurately detect a three-dimensional object by creating a shadow image not only in the sun but in all places where a light source exists. it can.
(E)第2実施例
図12は本発明の第2実施例の構成図であり、図4の第1実施例の構成図と同一の部分には同一符号を付しており、図4と異なる点は画像合成部121を設けた点である。
画像合成部121は自車影計算部35が算出した影画像K(自車影領域)と投影処理部26が作成した俯瞰画像との合成を行う。
(E) Second Embodiment FIG. 12 is a block diagram of a second embodiment of the present invention. The same parts as those in the first embodiment shown in FIG. The difference is that an
The
図13は本発明の第2実施例の処理フローである。以下、処理フローにしたがって、説明を行う。
ギアポジション検出部(図示せず)はギアがバックに入ったかの監視を行い(ステップS1301)、ギアがバックに入ったと判断した場合には、S1302に進む。
ステップS1301でギアポジション検出部がギアがバックに入ったと判断した場合には、カメラ24は時刻t1において車両進行方向の撮影画像P1を撮影し(ステップS1302)、画像トリミング部25は撮影画像P1から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図2(A)の(a)に示すような自車影1、立体物2、平面図形3を含む俯瞰画像G1を取得し(ステップS1303)、内蔵のメモリに該俯瞰画像G1を記憶する。
FIG. 13 is a processing flow of the second embodiment of the present invention. Hereinafter, description will be given according to the processing flow.
A gear position detection unit (not shown) monitors whether the gear has entered the back (step S1301). If it is determined that the gear has entered the back, the process proceeds to S1302.
If the gear position detection unit determines that the gear is in the back in step S1301, the
ついで、後述する影領域算出処理を行い、自車影計算画像K(図2(B)の(b))を算出し(ステップS1304)、画像合成部121は俯瞰画像G1と影画像Kとを合成し、図2(A)の(b)に示すような立体物2、平面図形3、影画像10を含む俯瞰画像G1’を生成して画像バッファ27に保存する(ステップS1305)。立体検出装置20の制御部(図示せず)は所定時間(例えば、1秒)経過したかの判断を行い(ステップS1306)、所定時間経過した場合S1307に進む。
ステップS1306において、所定時間経過した場合には、カメラ24は時刻t2における車両進行方向の撮影画像P2を撮影し(ステップS1307)、画像トリミング部25は撮影画像P2から俯瞰変換を行うための撮影画像を切り出し、投影処理部26は切り出した撮影画像を俯瞰変換し、図2(A)の(c)に示すような俯瞰画像G2を取得する(ステップS1308)。
Next, a shadow area calculation process to be described later is performed to calculate the vehicle shadow calculation image K ((b) in FIG. 2B) (step S1304), and the
In step S1306, when the predetermined time has elapsed, the
次に、画像合成部121は俯瞰画像G2と影画像Kとを合成し、図2(A)の(d)に示すような俯瞰画像G2’を発生し(ステップS1309)、車両移動量計算部29は車速検出部22より車速情報を取得し、かつステアリング検出部28よりステアリング情報を取得し、該車速情報と該ステアリング情報より自車の移動量を算出し(ステップS1310)、画像シフト部30は該移動量に基づいて移動した方向と逆方向に俯瞰画像G2’をシフトし、図2(A)の(e)に示すように俯瞰画像G2’全体を移動量分だけ補正した俯瞰画像G2”を算出する(ステップS1311)。
Next, the
しかる後、差分演算部31は画像バッファ27が記憶している俯瞰画像G1’より画像シフト部30が補正した俯瞰画像G2”を差し引いて、図2(A)の(f)に示すように影の残存差分11と立体物の残存差分12が存在する差分画像Gsを算出する(ステップS1312)。
ついで、後述するマスク画像Ks発生処理を行い、図2(B)の(d)に示すように自車影の残存差分13を含むマスク画像Ksを発生し(ステップS1313)、差分マスク部40は差分画像Gsよりマスク画像Ksを差し引いて図2(C)に示すような差分画像Gs’を算出し(ステップS1314)、警告発生部41は差分画像Gs’内に残存差分が存在するか判断し(ステップS1315)、残存差分5が存在する場合にはS1316に進み、残存差分が存在しない場合にはS1317に進む。
Thereafter, the
Next, a mask image Ks generation process, which will be described later, is performed to generate a mask image Ks including a
ステップS1315において、残存差分12が存在する場合には警告発生部41は進行方向に立体物が存在すると判断して警告発生し(ステップS1316)、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する(ステップS1317)。
In step S1315, if the remaining
次に影画像Kの算出処理について説明する。図14は影画像算出の処理フローである。 Next, the calculation process of the shadow image K will be described. FIG. 14 is a processing flow of shadow image calculation.
太陽位置算出部33は、GPS受信部21より撮影画像P1撮影時(時刻t1)のGPS情報(位置および時刻情報)を取得し、かつ太陽運動軌道記憶部32が記憶している太陽運動軌道情報を取得し、該GPS情報と該太陽運動軌道情報より自車位置を基準にした撮影画像P1撮影時の太陽の位置を算出する(ステップS1405)。
ついで、自車影計算部35は、自車3次元形状記憶部34が記憶している自車形状(車高)と、算出した太陽の位置とジャイロセンサから取得した自車方向情報を取得する(ステップS1406)。
The solar
Next, the own vehicle
しかる後、該取得した情報を用いて図2(B)の(a)に示すような自車影8の先端TPの位置を算出し、該先端TPを通る点線で特定される矩形領域9により自車影を近似し(ステップS1407)、図2(B)の(b)に示すように自車影10の画像Kを発生し(ステップS1408)、該影画像Kを画像合成部121と影画像バッファ36と影画像オフセット部37とにそれぞれ入力する。
Thereafter, the position of the front end TP of the
次にマスク画像Ksの発生処理について説明する。図15はマスク画像発生の処理フローである。 Next, generation processing of the mask image Ks will be described. FIG. 15 is a processing flow of mask image generation.
影画像シフト部37は、自車影計算部35が算出した影画像Kを取得し(ステップ1514)、該影画像シフト部37は車両移動計算部29が算出した移動量を取得し(ステップS1515)、影画像Kを該移動量に基づいて移動した方向と逆方向にシフトし、図2(B)の(c)に示すように移動量補正した影画像K’を算出する(ステップS1516)。
The shadow
最後に、自車影差分演算部38は影画像Kより移動量補正した影画像K’を差し引き、差分マスク作成部39は図2(B)の(d)に示すような差分画像Ksを発生する(ステップS1517)。この差分画像Ksが前述したS1314以降において使用される。
Finally, the own vehicle shadow
以上、本実施例によれば、自車方向、太陽の位置情報、車高を用いて近似的に自車影を算出し、該自車影領域を影画像とする自車影画像を用いて、撮影画像より自車影像を除去するように構成したので、自車影に影響されずに正確に立体物を検出することができ、かつ運転者に該立体物までの距離も明示することができ、接触事故や人身事故を防止することができる。また、自車影画像を簡単に生成して削除することができる。 As described above, according to the present embodiment, the own vehicle shadow is approximately calculated using the own vehicle direction, the sun position information, and the vehicle height, and the own vehicle shadow image is used with the own vehicle shadow region as a shadow image. Since the vehicle image is removed from the captured image, the three-dimensional object can be accurately detected without being affected by the vehicle shadow, and the distance to the three-dimensional object can be clearly indicated to the driver. It is possible to prevent contact accidents and personal injury. In addition, the vehicle shadow image can be easily generated and deleted.
(F)第3実施例
図16は本発明の第3実施例の構成図である。
カメラ161は、自車の後方を撮影できるように所定の位置(例えば、車両のナンバープレートの上方)に取り付けられており、時刻t1と所定時間Δt経過した時刻(t1+Δt)、および該時刻t1より所定時間T(T>Δt)経過した時刻t2と所定時間Δt経過した時刻(t2+Δt)にそれぞれの自車後方を撮影する。
(F) Third Embodiment FIG. 16 is a block diagram of a third embodiment of the present invention.
The camera 161 is attached at a predetermined position (for example, above the license plate of the vehicle) so that the rear of the host vehicle can be photographed. From the time t1, the time (t1 + Δt) after a predetermined time Δt, and the time t1 The rear of each vehicle is photographed at a time t2 when a predetermined time T (T> Δt) has passed and a time (t2 + Δt) when a predetermined time Δt has passed.
カメラDSP(Digital Signal Processor)162は時刻t1、時刻(t1+Δt)、時刻t2および時刻(t2+Δt)における各撮影画像から俯瞰変換を行うための画像の切り出しを行う。フレーム遅延制御部163は自車速度に応じてΔtを変化させる。すなわち、カメラ161が、例えば1/60秒で1フレームを撮影するように設定されているとすると、車速が遅い(例えば時速1km)ときにはΔtを10フレーム分の時間に設定し、車速が早い(例えば時速2km)ときにはΔtを5フレーム分の時間に設定する。
A camera DSP (Digital Signal Processor) 162 cuts out an image for performing overhead conversion from each captured image at time t1, time (t1 + Δt), time t2, and time (t2 + Δt). The frame
差分演算部164は、時刻t1における撮影画像より時刻(t1+Δt)における撮影画像を差し引いて自車影を除去した差分画像を作成し、および時刻t2の撮影画像より時刻(t2+Δt)における撮影画像を差し引いて同様に自車影を除去した差分画像を作成する。閾値判定部165は、該差分画像内に自車影の残存差分が存在する場合に閾値幅を設けて除去するものである。すなわち、残存差分の幅が閾値幅以下であれば、自車影とみなし該残存差分を除去した差分画像を発生する。例えば、自車の移動距離が5cm、撮影画像内に存在する残存差分の移動方向の幅d(単位はcm)とすると、d<2cmの残存差分は自車影であると判断し、該残存差分を除去する。尚、閾値判定部165を設ける理由は、例えば1/60秒で1フレームを撮影するように設定されているとすると、10フレームの時間をΔtとした場合、該Δtは1/6秒となり、自車影の細い差分画像が発生する可能性があるためである。
The
画像メモリ166は、任意の時刻t1、t2の各撮影画像と該任意の時間より所定時間Δtそれぞれ経過した撮影画像との差分画像を記憶する。視線変換部167は、各差分画像を俯瞰画像に変換する。車両移動測定部168は、図示しない車速検出部とステアリング検出部から取得した車速情報とステアリング情報より自車の経度方向および緯度方向の移動量を算出する。移動補正処理部169は、視線変換部167が作成した該時刻t2の画像の俯瞰画像を前記移動量に基づいて、自車が移動した方向と逆方向にシフトし、シフト画像を発生する。
The
差分画像演算部170は、該時刻t1における差分画像の俯瞰画像より前記シフト画像を差し引いて差分画像を発生する。立体物判断部171は、該差分画像内に残存差分が存在するか判断し、残存差分が存在する場合には立体物が存在すると判断して図示しないスピーカおよび表示部により立体物の存在を運転者に明示して、残存差分が存在しない場合には立体物が存在しないと判断する。
The difference
図17は本発明の第3実施例の処理フローである。以下、処理フローにしたがって、説明を行う。
図示しないギアポジション検出部はギアがバックに入ったかの監視を行い(ステップS1701)、ギアがバックに入ったと判断した場合には、S1702に進む。
FIG. 17 is a processing flow of the third embodiment of the present invention. Hereinafter, description will be given according to the processing flow.
A gear position detection unit (not shown) monitors whether the gear has entered the back (step S1701), and if it is determined that the gear has entered the back, the process proceeds to S1702.
ステップS1701において、該ギアポジション検出がギアがバックに入ったと判断した場合には、カメラ161は時刻t1において車両進行方向を撮影し、カメラDSP162は該撮影画像を切り取り、図3(A)の(a)に示すような自車影1、立体物2を含む撮影画像P1を取得する(ステップS1702)。
ついで、Δt経過すると、カメラ161は時刻(t1+Δt)において車両進行方向を撮影し、カメラDSP162は該撮影画像を切り取り図3(A)の(b)に示すような撮影画像P1’を取得し(ステップS1703)、差分演算部164は撮影画像P1より撮影画像P1’を差し引いて、図3(A)の(c)に示すような立体物の残存差分14を含む差分画像P1”を算出する(ステップS1704)。
If it is determined in step S1701 that the gear position detection has entered the back, the camera 161 captures the traveling direction of the vehicle at time t1, and the
Next, when Δt has elapsed, the camera 161 captures the vehicle traveling direction at time (t1 + Δt), and the
その後、閾値判定部165は差分画像P1”内に存在する残存差分の移動方向の幅が閾値以下かの判断を行い(ステップS1705)、該幅が該閾値以下の場合にはS1706に進み、該幅が閾値以上の場合にはS1707に進む。
ステップS1705において、閾値判定部165が該幅が該閾値内であると判断した場合には閾値判定部165は該残存差分を自車影の残存差分とみなして消去し(ステップS1706)、画像メモリ166は該差分画像を記憶する。
Thereafter, the
In step S1705, when the threshold
ステップ1705において、閾値判定部165が該幅が該閾値以上である判断した場合、もしくはステップS1706の処理を行った後、立体検出装置の制御部(図示せず)は所定時間(例えば、1秒)経過したかの判断を行い(ステップS1707)、所定時間経過した場合にはS1708に進む。
ステップS1707において、所定時間経過した場合には、カメラ161は時刻t2において車両進行方向を撮影し、カメラDSP162は該撮影画像を切り取り、図3(B)の(a)に示すような自車影1、立体物2を含む撮影画像P2を取得する(ステップS1708)。
In step 1705, when the
In step S1707, when a predetermined time has elapsed, the camera 161 captures the vehicle traveling direction at time t2, and the
しかる後、Δt経過すると、カメラ161は時刻(t2+Δt)において車両進行方向を撮影し、カメラDSP162は該撮影画像を切り取り図3(B)の(b)に示すような撮影画像P2’を取得し(ステップS1709)、差分演算部164は撮影画像P2より撮影画像P2’を差し引いて、図3(B)の(c)に示すような立体物の残存差分15とを含む差分画像P2”を算出し(ステップS1710)、閾値判定部165は差分画像P2”内に存在する残存差分の移動方向の幅が閾値以下かの判断を行い(ステップS1711)、該幅が該閾値以下の場合にはS1712に進み、該幅が閾値以下ではない場合にはS1713に進む。
Thereafter, when Δt elapses, the camera 161 captures the vehicle traveling direction at time (t2 + Δt), and the
ステップS1711において、閾値判定部165が該幅が該閾値以下であると判断した場合には閾値判定部165は該残存差分を消去し(ステップS1712)、画像メモリ166は該差分画像を記憶する。
ステップ1711において、閾値判定部165が該幅が該閾値以上であると判断した場合、もしくはステップS1712の処理を行った後、視線変換部167は差分画像P1”および差分画像P2”を俯瞰変換し、図示しない俯瞰画像Gt1(差分画像P1”の俯瞰画像)と俯瞰画像Gt2(差分画像P2”の俯瞰画像)を算出する(ステップS1713)。
In step S1711, when the
In
次に、車両移動測定部168は図示しない車速検出部とステアリング検出部からそれぞれ取得した車速情報とステアリング情報より自車の経度方向および緯度方向の移動量を算出し(ステップS1714)、移動補正処理部169は該移動量に基づいて移動した方向と逆方向に俯瞰画像Gt2をシフトし、図3(B)の(d)に示すように俯瞰画像Gt2全体を移動量分だけ補正した俯瞰画像Gt2”を算出する(ステップS1715)。
Next, the vehicle
ついで、差分演算部170は差分画像Gt1より差分画像Gt2’を差し引いて、図3(C)に示すような差分画像Gtsを算出し(ステップS1716)、立体物判断部171は差分画像Gts内に残存差分が存在するか判断し(ステップS1717)、残存差分16が存在する場合にはS1718に進み、残存差分が存在しない場合にはS1719に進む。
Next, the
ステップS1717において、残存差分16が存在する場合には立体物検出部171は進行方向に立体物が存在すると判断し(ステップS1718)、図示しない警告発生部により運転者に警告を行い、残存差分が存在しない場合には進行方向には立体物が存在しないと判断する(ステップS1719)。
In step S1717, when the
以上、本実施例によれば、単眼カメラにより近接した2つの時刻に撮影した第1の撮影画像と第2の撮影画像の差分を算出することにより自車影を除去するようにしたので、簡単な処理で時刻t1、t2の撮影画像の差分画像より自車影を除去でき、自車の進行方向に自車影が存在している場合でも、正確に立体物を検出することができ、接触事故や人身事故を防止することができる。 As described above, according to this embodiment, the vehicle shadow is removed by calculating the difference between the first captured image and the second captured image captured at two times close to each other by the monocular camera. With this process, the vehicle shadow can be removed from the difference image of the captured images at times t1 and t2, and even when the vehicle shadow is present in the traveling direction of the vehicle, a three-dimensional object can be accurately detected, Accidents and personal injury can be prevented.
1 自車影
2 立体物
3 平面図形
4 自車影の残存差分
6 計算で算出した自車影
7 自車影6の残存差分
8 計算で算出した残存差分
9 自車影8より算出した自車影領域
10 自車影領域9を影とした影画像
11 自車影領域の残存差分
13 影画像の残存差分
14 移動前の立体物の残存差分
15 移動後の立体物の残存差分
16 立体物の残存差分
32 太陽運動軌道記憶部
33 太陽位置算出部
34 自車3次元形状記憶部
35 自車影計算部
36 影画像バッファ
37 影画像オフセット部
38 自車影差分演算部
39 差分マスク作成部
40 差分マスク部
71 背景画像作成部
81 カメラ
82 太陽位置検出部
121 画像合成部
163 フレーム遅延制御部
165 閾値判定部
CNW 車内ネットワーク
TP 影の先端の位置
DESCRIPTION OF
Claims (22)
任意の時刻t1に前記カメラにより撮影した第1の撮影画像を視線変換した第1の視線変換画像を発生し、
前記時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換した第2の視線変換画像を発生し、
前記第1の視線変換画像もしくは前記第2の視線変換画像を、前記時刻t1から時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、
該シフト画像とシフトしていない視線変換画像との差を算出して第1の差分画像を発生し、
前記時刻t1と前記時刻t2における自車の影画像をそれぞれ作成し、一方の影画像を前記移動量に基づいてシフトしたシフト影画像を作成し、
該シフト影画像とシフトしていない影画像との差を算出して第2の差分画像を発生し、
前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生し、
該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。 In the method of detecting a three-dimensional object with a monocular camera attached to a car,
Generating a first line-of-sight converted image obtained by line-of-sight conversion of a first captured image captured by the camera at an arbitrary time t1,
Generating a second line-of-sight converted image obtained by line-of-sight conversion of a second captured image captured by the camera at a time t2 after a predetermined time from the time t1;
Generating a shift image obtained by shifting the first line-of-sight conversion image or the second line-of-sight conversion image based on the amount of movement of the vehicle between time t1 and time t2,
Calculating a difference between the shifted image and the unshifted line-of-sight converted image to generate a first difference image;
Create a shadow image of the vehicle at the time t1 and the time t2, respectively, create a shifted shadow image obtained by shifting one of the shadow images based on the amount of movement,
Calculating a difference between the shifted shadow image and the unshifted shadow image to generate a second difference image;
Calculating a difference between the first difference image and the second difference image to generate a third difference image;
It is determined whether or not there is a residual difference in the third difference image, and if it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that a three-dimensional object does not exist.
A three-dimensional object detection method characterized by that.
前記時刻t2前後の複数枚撮影画像を取得し平均化し、前記第2の撮影画像とする、
ことを特徴とする請求項1記載の立体物検出方法。 Further, a plurality of photographed images before and after the time t1 are acquired and averaged to obtain the first photographed image,
A plurality of photographed images before and after time t2 are acquired and averaged to obtain the second photographed image.
The three-dimensional object detection method according to claim 1.
前記時刻t1と前記時刻t2の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
ことを特徴とする請求項1記載の立体物検出方法。 Furthermore, it detects the direction and speed of the vehicle,
The movement amount is calculated using the time difference between the time t1 and the time t2, the movement direction, and the vehicle speed.
The three-dimensional object detection method according to claim 1.
該光源位置と前記自車形状と前記自車方向を用いて、前記影画像を作成する、
ことを特徴とする請求項1記載の立体物検出方法。 Further, the vehicle shape is stored, the vehicle direction is acquired, and the light source position is calculated.
The shadow image is created using the light source position, the vehicle shape, and the vehicle direction.
The three-dimensional object detection method according to claim 1.
前記光源位置を、前記太陽軌道と前記自車位置を用いて算出する、
ことを特徴とする請求項4記載の立体物検出方法。 Furthermore, while memorizing the sun's orbit, the vehicle position is acquired,
Calculating the light source position using the solar orbit and the vehicle position;
The three-dimensional object detection method according to claim 4.
ことを特徴とする請求項4記載の立体物検出方法。 Furthermore, a light source is photographed by a camera installed at an arbitrary place, and the light source position is calculated from the photographed image.
The three-dimensional object detection method according to claim 4.
車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を作成し、
任意の時刻t1に前記カメラにより撮影した第1の撮影画像を視線変換して得られる視線変換画像と該時刻t1における前記影画像を合成して第1の合成画像を発生し、
任意の時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換して得られる視線変換画像と該時刻t2における前記影画像を合成して第2の合成画像を発生し、
前記第1の合成画像と前記第2の合成画像のいずれか一方を、該時刻t1から該時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生し、
該シフト画像とシフトしていない合成画像との差を算出して第1の差分画像を発生し、
前記時刻t1あるいは前記時刻t2における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成し、
該シフト影画像とシフトしない影画像との差を算出して第2の差分画像を発生し、
前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生し、
該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。 In the method of detecting a three-dimensional object with a monocular camera attached to a car,
Create a shadow image with the area on the vehicle body side from the tip position of the vehicle shadow calculated based on the vehicle height and the sun position,
Generating a first composite image by combining the line-of-sight conversion image obtained by line-of-sight conversion of the first captured image captured by the camera at an arbitrary time t1 and the shadow image at the time t1;
A second synthesized image is obtained by synthesizing the line-of-sight converted image obtained by line-of-sight conversion of the second photographed image taken by the camera at a time t2 after a predetermined time from the arbitrary time t1 and the shadow image at the time t2. Occur,
A shift image is generated by shifting one of the first composite image and the second composite image based on the amount of movement of the host vehicle from the time t1 to the time t2,
Calculating a difference between the shifted image and the unshifted composite image to generate a first difference image;
Generating a shift shadow image obtained by shifting the shadow image at the time t1 or the time t2 based on the movement amount of the own vehicle;
Calculating a difference between the shifted shadow image and a non-shifted shadow image to generate a second difference image;
Calculating a difference between the first difference image and the second difference image to generate a third difference image;
It is determined whether or not there is a residual difference in the third difference image, and if it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that a three-dimensional object does not exist.
A three-dimensional object detection method characterized by that.
任意の時刻t1に前記カメラにより撮影した第1の撮影画像と、該時刻t1より所定時間Δt経過した時刻に前記カメラにより撮影した第2の撮影画像との差を算出して第1の差分画像を発生し、
前記時刻t1より所定時間T(T>Δt)経過した時刻t2に前記カメラにより撮影した第3の撮影画像と、該時刻t2より前記所定時間Δt経過した時刻に前記カメラにより撮影した第4の撮影画像との差を算出して第2の差分画像を発生し、
前記第1の差分画像と前記第2の差分画像のいずれか一方を、前記時刻t1から前記時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト差分画像を発生し、
該シフト差分画像とシフトしていない差分画像との差を算出して第3の差分画像を発生し、
該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する、
ことを特徴とする立体物検出方法。 In the method of detecting a three-dimensional object with a monocular camera attached to a car,
A first difference image is calculated by calculating a difference between a first photographed image taken by the camera at an arbitrary time t1 and a second photographed image taken by the camera at a time after a predetermined time Δt from the time t1. Occur and
A third photographed image taken by the camera at a time t2 when a predetermined time T (T> Δt) has elapsed from the time t1, and a fourth photograph taken by the camera at a time after the predetermined time Δt has elapsed from the time t2. Calculating a difference from the image to generate a second difference image;
A shift difference image is generated by shifting either one of the first difference image and the second difference image based on the amount of movement of the host vehicle from the time t1 to the time t2.
Calculating a difference between the shifted difference image and an unshifted difference image to generate a third difference image;
It is determined whether or not there is a residual difference in the third difference image, and if it exists, it is determined that a three-dimensional object exists, and if it does not exist, it is determined that there is no three-dimensional object.
A three-dimensional object detection method characterized by that.
該第1の視線変換差分画像と該第2の視線変換差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生し、
該シフト差分画像とシフトしていない視線変換差分画像との差を算出して前記第3の差分画像を発生する、
ことを特徴とする請求項8記載の立体物検出方法。 Line-of-sight conversion of the first difference image and the second difference image to generate a first line-of-sight conversion difference image and a second line-of-sight conversion difference image;
Generating a shift difference image obtained by shifting one of the first line-of-sight conversion difference image and the second line-of-sight conversion difference image based on the movement amount;
Calculating the difference between the shift difference image and the unshifted line-of-sight conversion difference image to generate the third difference image;
The three-dimensional object detection method according to claim 8.
前記時刻t1と前記時刻t2の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
ことを特徴とする請求項8記載の立体物検出方法。 In addition, it detects the direction and speed of the vehicle,
The movement amount is calculated using the time difference between the time t1 and the time t2, the movement direction, and the vehicle speed.
The three-dimensional object detection method according to claim 8.
ことを特徴とする請求項8記載の立体物検出方法。 Further, when creating the first difference image or the second difference image, the threshold value is determined with respect to the width of the image, and the first and second difference images are created.
The three-dimensional object detection method according to claim 8.
任意の時刻t1と該時刻t1より所定時間経過した時刻t2の間に、自車が移動した移動量を算出する移動量算出部と、
前記時刻t1と前記時刻t2に前記カメラによりそれぞれ撮影した第1の撮影画像と第2の撮影画像とをそれぞれ視線変換して第1の視線変換画像と第2の視線変換画像とを発生する視線変換部と、
前記第1の視線変換画像もしくは前記第2の視線変換画像を、前記移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、
前記シフトした視線変換画像とシフトしていない視線変換画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、
前記時刻t1と前記時刻t2における自車の影画像をそれぞれ作成する影画像作成部と、
前記影画像の一方を前記移動量に基づいてシフトしたシフト影画像を発生するシフト影画像発生部と、
前記シフト影画像とシフトしていない影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、
前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、
前記第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。 In a three-dimensional object detection device with a monocular camera attached to an automobile,
A movement amount calculation unit for calculating a movement amount of the host vehicle between an arbitrary time t1 and a time t2 after a predetermined time has elapsed from the time t1;
A line of sight that generates a first line-of-sight converted image and a second line-of-sight converted image by converting the line of sight of the first captured image and the second captured image respectively captured by the camera at the time t1 and the time t2. A conversion unit;
A shift image generating unit that generates a shift image obtained by shifting the first line-of-sight conversion image or the second line-of-sight conversion image based on the movement amount;
A first difference image generator that calculates a difference between the shifted line-of-sight converted image and an unshifted line-of-sight converted image to generate a first difference image;
A shadow image creation unit for creating shadow images of the vehicle at the time t1 and the time t2, respectively;
A shifted shadow image generator that generates a shifted shadow image obtained by shifting one of the shadow images based on the amount of movement;
A second difference image generator for calculating a difference between the shifted shadow image and the unshifted shadow image to generate a second difference image;
A third difference image generator for calculating a difference between the first difference image and the second difference image to generate a third difference image;
A three-dimensional object determination unit that checks whether a residual difference exists in the third difference image, determines that a three-dimensional object exists if it exists, and determines that a three-dimensional object does not exist if it does not exist;
A three-dimensional object detection device comprising:
該平均撮影画像発生部が発生した撮影画像を前記第1の撮影画像および前記第2の撮影画像とする、
ことを特徴とする請求項12記載の立体物検出装置。 Furthermore, an average captured image generation unit that generates a plurality of captured images and generates an averaged captured image,
The captured image generated by the average captured image generation unit is the first captured image and the second captured image.
The three-dimensional object detection device according to claim 12.
前記自車の車速を検出する車速検出部と、
を備え、
前記移動量検出部は、前記時刻t1と前記時刻t2の時間差と前記移動方向検出部が検出した移動方向と前記車速検出部が検出した車速を用いて、前記移動量を算出する、
ことを特徴とする請求項12記載の立体物検出装置。 Furthermore, a moving direction detector that detects the moving direction of the host vehicle,
A vehicle speed detector for detecting the vehicle speed of the host vehicle;
With
The movement amount detection unit calculates the movement amount using a time difference between the time t1 and the time t2, a movement direction detected by the movement direction detection unit, and a vehicle speed detected by the vehicle speed detection unit.
The three-dimensional object detection device according to claim 12.
自車方向を検出する自車方向検出部と、
光源の位置を算出する光源位置算出部と、
を備え、
前記影画像作成部は、前記自車形状と前記自車方向と前記光源位置を用いて、前記影画像を作成する、
ことを特徴とする請求項12記載の立体物検出装置。 Furthermore, a vehicle shape storage unit for storing the vehicle shape,
A vehicle direction detector for detecting the vehicle direction;
A light source position calculator for calculating the position of the light source;
With
The shadow image creation unit creates the shadow image using the vehicle shape, the vehicle direction, and the light source position.
The three-dimensional object detection device according to claim 12.
自車位置を検出する自車位置検出部と、
を備え、
前記光源位置算出部は、前記太陽軌道と前記自車位置を用いて太陽位置を光源位置として算出する、
ことを特徴とする請求項15記載の立体物検出装置。 Furthermore, a solar orbit storage unit that stores the solar orbit,
A vehicle position detection unit for detecting the vehicle position;
With
The light source position calculation unit calculates a solar position as a light source position using the solar orbit and the vehicle position.
The three-dimensional object detection device according to claim 15.
前記光源位置検出部は、該カメラが撮影した画像を用いて太陽位置を前記光源位置として算出する、
ことを特徴とする請求項15記載の立体物検出装置。 Furthermore, a camera for photographing a solar light source is provided at an arbitrary place of the own vehicle,
The light source position detection unit calculates a sun position as the light source position using an image captured by the camera.
The three-dimensional object detection device according to claim 15.
車高と太陽位置に基づいて算出される自車影の先端位置より車体側の領域を車影領域とする影画像を生成する影画像生成部と、
任意の時刻t1に前記カメラにより撮影した第1の撮影画像を視線変換して得られる視線変換画像と該時刻t1における前記影画像を合成して第1の合成画像を発生する第1合成画像発生部と、
任意の時刻t1より所定時間経過した時刻t2に前記カメラにより撮影した第2の撮影画像を視線変換して得られる視線変換画像と該時刻t2における前記影画像を合成して第2の合成画像を発生する第2合成画像発生部と、
前記第1の合成画像と前記第2の合成画像のいずれか一方を、該時刻t1から該時刻t2の間に自車が移動した移動量に基づいてシフトしたシフト画像を発生するシフト画像発生部と、
前記第1の差分画像と前記第2の差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、
該シフト画像とシフトしていない合成画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、
前記時刻t1あるいは前記時刻t2における影画像を自車の前記移動量に基づいてシフトしたシフト影画像を生成するシフト影画像生成部と、
該シフト影画像とシフトしない影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、
該第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。 In a three-dimensional object detection device with a monocular camera attached to an automobile,
A shadow image generation unit that generates a shadow image in which the region on the vehicle body side from the tip position of the own vehicle shadow calculated based on the vehicle height and the sun position is a vehicle shadow region;
First composite image generation for generating a first composite image by combining a line-of-sight conversion image obtained by line-of-sight conversion of a first captured image captured by the camera at an arbitrary time t1 and the shadow image at the time t1 And
A second synthesized image is obtained by synthesizing the line-of-sight converted image obtained by line-of-sight conversion of the second photographed image taken by the camera at a time t2 after a predetermined time from the arbitrary time t1 and the shadow image at the time t2. A generated second composite image generating unit;
A shift image generating unit that generates a shift image obtained by shifting one of the first composite image and the second composite image based on the amount of movement of the host vehicle from time t1 to time t2. When,
A third difference image generator for calculating a difference between the first difference image and the second difference image to generate a third difference image;
A first difference image generator for calculating a difference between the shifted image and the unshifted composite image to generate a first difference image;
A shift shadow image generation unit that generates a shifted shadow image obtained by shifting the shadow image at the time t1 or the time t2 based on the amount of movement of the host vehicle;
A second difference image generation unit that calculates a difference between the shifted shadow image and a non-shifted shadow image to generate a second difference image;
A three-dimensional object determination unit that determines whether or not there is a residual difference in the third difference image, determines that a three-dimensional object exists if it exists, and determines that a three-dimensional object does not exist if it does not exist;
A three-dimensional object detection device comprising:
任意の時刻t1と該時刻t1より所定時間T経過した時刻t2の間に、自車が移動した移動量を算出する移動量算出部と、
前記時刻t1に前記カメラにより撮影した第1の撮影画像と、前記時刻t1より所定時間Δt(T>Δt)経過した時刻に前記カメラにより撮影した第2の撮影画像との差を算出して第1の差分画像を発生する第1差分画像発生部と、
前記時刻t2に前記カメラにより撮影した第3の撮影画像と、前記時刻t2より所定時間Δt経過した時刻に前記カメラにより撮影した第4の撮影画像との差を算出して第2の差分画像を発生する第2差分画像発生部と、
前記第1の差分画像と前記第2の差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生するシフト差分画像発生部と、
前記シフト差分画像とシフトしていない差分画像との差を算出して第3の差分画像を発生する第3差分画像発生部と、
前記第3の差分画像内に残存差分が存在するか調べ、存在する場合には立体物が存在すると判断し、存在しない場合には立体物が存在しないと判断する立体物判断部と、
を備えたことを特徴とする立体物検出装置。 In a three-dimensional object detection device with a monocular camera attached to an automobile,
A movement amount calculation unit for calculating a movement amount of the host vehicle between an arbitrary time t1 and a time t2 when a predetermined time T has elapsed from the time t1;
A difference between the first captured image captured by the camera at the time t1 and the second captured image captured by the camera at a time after a predetermined time Δt (T> Δt) from the time t1 is calculated. A first difference image generator for generating one difference image;
The difference between the third photographed image taken by the camera at the time t2 and the fourth photographed image taken by the camera at the time when a predetermined time Δt has elapsed from the time t2 is calculated to obtain the second difference image. A generated second difference image generation unit;
A shift difference image generating unit that generates a shift difference image obtained by shifting one of the first difference image and the second difference image based on the movement amount;
A third difference image generating unit that calculates a difference between the shifted difference image and the unshifted difference image to generate a third difference image;
A three-dimensional object determination unit that checks whether a residual difference exists in the third difference image, determines that a three-dimensional object exists if it exists, and determines that a three-dimensional object does not exist if it does not exist;
A three-dimensional object detection device comprising:
前記シフト差分画像発生部は、前記第1の視線変換差分画像と前記第2の視線変換差分画像のいずれか一方を前記移動量に基づいてシフトしたシフト差分画像を発生し、
前記第3差分画像発生部は、該シフト差分画像とシフトしていない視線変換差分画像との差を算出して前記第3の差分画像を発生する、
ことを特徴とする請求項19記載の立体物検出装置。 And a line-of-sight conversion generating unit that performs line-of-sight conversion on the first difference image and the second difference image to generate the first line-of-sight conversion difference image and the second line-of-sight conversion difference image,
The shift difference image generation unit generates a shift difference image obtained by shifting one of the first line-of-sight conversion difference image and the second line-of-sight conversion difference image based on the movement amount,
The third difference image generation unit calculates the difference between the shifted difference image and the unshifted line-of-sight conversion difference image to generate the third difference image;
The three-dimensional object detection apparatus according to claim 19.
前記自車の車速を検出する車速検出部と、
を備え、
前記移動量検出部は、前記時刻t1と前記時刻t2の時間差と前記移動方向と前記車速を用いて、前記移動量を算出する、
を特徴とする請求項19記載の立体物検出装置。 Furthermore, a moving direction detector that detects the moving direction of the host vehicle,
A vehicle speed detector for detecting the vehicle speed of the host vehicle;
With
The movement amount detection unit calculates the movement amount using a time difference between the time t1 and the time t2, the movement direction, and the vehicle speed.
The three-dimensional object detection device according to claim 19.
を備えたことを特徴とする請求項19記載の立体物検出装置。 Further, a threshold determination unit that determines a threshold for the image width with respect to the first difference image and the second difference image,
The three-dimensional object detection device according to claim 19, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174515A JP5137717B2 (en) | 2008-07-03 | 2008-07-03 | Three-dimensional object detection apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174515A JP5137717B2 (en) | 2008-07-03 | 2008-07-03 | Three-dimensional object detection apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010015367A true JP2010015367A (en) | 2010-01-21 |
JP5137717B2 JP5137717B2 (en) | 2013-02-06 |
Family
ID=41701434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008174515A Expired - Fee Related JP5137717B2 (en) | 2008-07-03 | 2008-07-03 | Three-dimensional object detection apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5137717B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259034A (en) * | 2010-06-04 | 2011-12-22 | Hitachi Systems Ltd | System for detecting and reporting abnormality in network camera |
JP2014157394A (en) * | 2013-02-14 | 2014-08-28 | Fuji Heavy Ind Ltd | Outside-vehicle environment recognition device and outside-vehicle environment recognition method |
EP2927869A2 (en) | 2014-04-04 | 2015-10-07 | Fujitsu Limited | Movement amount estimation device, movement amount estimation method, and movement amount estimation program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001187553A (en) * | 1999-10-21 | 2001-07-10 | Matsushita Electric Ind Co Ltd | Parking support system |
JP2006268076A (en) * | 2005-03-22 | 2006-10-05 | Sanyo Electric Co Ltd | Driving assistance system |
JP2007265281A (en) * | 2006-03-29 | 2007-10-11 | Denso It Laboratory Inc | Self-shadow determining method |
JP2007300559A (en) * | 2006-05-02 | 2007-11-15 | Alpine Electronics Inc | Vehicle peripheral image providing device and shadow correcting method in vehicle peripheral image |
-
2008
- 2008-07-03 JP JP2008174515A patent/JP5137717B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001187553A (en) * | 1999-10-21 | 2001-07-10 | Matsushita Electric Ind Co Ltd | Parking support system |
JP2006268076A (en) * | 2005-03-22 | 2006-10-05 | Sanyo Electric Co Ltd | Driving assistance system |
JP2007265281A (en) * | 2006-03-29 | 2007-10-11 | Denso It Laboratory Inc | Self-shadow determining method |
JP2007300559A (en) * | 2006-05-02 | 2007-11-15 | Alpine Electronics Inc | Vehicle peripheral image providing device and shadow correcting method in vehicle peripheral image |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259034A (en) * | 2010-06-04 | 2011-12-22 | Hitachi Systems Ltd | System for detecting and reporting abnormality in network camera |
JP2014157394A (en) * | 2013-02-14 | 2014-08-28 | Fuji Heavy Ind Ltd | Outside-vehicle environment recognition device and outside-vehicle environment recognition method |
EP2927869A2 (en) | 2014-04-04 | 2015-10-07 | Fujitsu Limited | Movement amount estimation device, movement amount estimation method, and movement amount estimation program |
US9569674B2 (en) | 2014-04-04 | 2017-02-14 | Fujitsu Limited | Movement amount estimation device, movement amount estimation method, and computer-readable recording medium storing movement amount estimation program |
Also Published As
Publication number | Publication date |
---|---|
JP5137717B2 (en) | 2013-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11657604B2 (en) | Systems and methods for estimating future paths | |
US20200385116A1 (en) | System and Method of Operating a Vehicular Computing Device to Selectively Deploy a Tethered Vehicular Drone for Capturing Video | |
JP4556742B2 (en) | Vehicle direct image display control apparatus and vehicle direct image display control program | |
US10956751B2 (en) | Vessel monitoring apparatus | |
JP2016013793A5 (en) | ||
KR101979276B1 (en) | User interface apparatus for vehicle and Vehicle | |
KR101888960B1 (en) | Apparatus and method for measuring the flatness of the road | |
JP4601505B2 (en) | Top-view image generation apparatus and top-view image display method | |
KR101575954B1 (en) | Apparatus for augmented reality using 3d reconstruction and mehhod thereof | |
JP2008176550A (en) | Road traffic information receiving device with drive recorder | |
JP5137717B2 (en) | Three-dimensional object detection apparatus and method | |
JPWO2019123795A1 (en) | Image processing equipment and image processing methods and programs | |
US8666655B2 (en) | Systems and methods for navigation | |
JP4857159B2 (en) | Vehicle driving support device | |
JP5039605B2 (en) | Parking assistance device | |
JP2010237798A (en) | Image processor and image processing program | |
KR101295618B1 (en) | Apparatus and method for displaying blind spot | |
CN202703402U (en) | Auxiliary device for automobile driving | |
JP2012029033A5 (en) | ||
KR20170065395A (en) | Navigation inducing ensure a safe distance of a car | |
KR20220072008A (en) | Vehicle rear detection device and method | |
KR20070000381U (en) | Photo storage Navigation device of mobile | |
WO2017199487A1 (en) | Control apparatus, control method, and program | |
KR101511567B1 (en) | System for monitoring image and thereof method | |
JP7255257B2 (en) | RECORDING/PLAYBACK CONTROL DEVICE, RECORDING/PLAYBACK CONTROL METHOD, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5137717 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151122 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |