JP4114647B2 - Obstacle detection device - Google Patents
Obstacle detection device Download PDFInfo
- Publication number
- JP4114647B2 JP4114647B2 JP2004200340A JP2004200340A JP4114647B2 JP 4114647 B2 JP4114647 B2 JP 4114647B2 JP 2004200340 A JP2004200340 A JP 2004200340A JP 2004200340 A JP2004200340 A JP 2004200340A JP 4114647 B2 JP4114647 B2 JP 4114647B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- pseudo
- pseudo image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、自車両周辺の障害物を検出する障害物検出装置に関する。 The present invention relates to an obstacle detection device that detects an obstacle around a host vehicle.
車両の前方、後方、右側後方、および左側後方を撮像するカメラを搭載し、各カメラで撮像した画像から障害物を検出し,当該障害物の速度と自車両からの距離とに基づいて、自車両との接触の可能性を判断する車載用走行監視システムが特許文献1によって知られている。 A camera that captures the front, rear, right rear, and left rear of the vehicle is installed, obstacles are detected from images captured by the cameras, and the vehicle is detected based on the speed of the obstacles and the distance from the vehicle. An on-vehicle travel monitoring system that determines the possibility of contact with a vehicle is known from Patent Document 1.
しかしながら、従来の車載用走行監視システムにおいては、自車両と障害物との距離が離れている場合、実際の距離と検出距離との間に誤差が発生するため、前方、後方、右側後方、および左側後方の各カメラで撮像した障害物の位置関係が把握できず、各カメラで撮像した障害物が同一のものか、異なるものかを判定できないという問題が生じていた。 However, in the conventional in-vehicle travel monitoring system, when the distance between the host vehicle and the obstacle is large, an error occurs between the actual distance and the detection distance. There has been a problem that the positional relationship of the obstacles imaged by the left rear cameras cannot be grasped and it cannot be determined whether the obstacles imaged by the cameras are the same or different.
請求項1に記載の障害物検出装置は、像可能範囲の少なくとも一部を共有し、車両周辺を撮像する第1および第2の撮像手段と、第1の撮像手段により共有の撮像可能範囲内で撮像した物体の擬似画像を生成する擬似画像生成手段と、擬似画像生成手段で生成した物体の擬似画像を第2の撮像手段から見た物体の擬似画像に視点変換する画像変換手段と、画像変換手段で変換した物体の擬似画像と第2の撮像手段により共有の撮像可能範囲内で撮像した物体の像とを比較し、二つの像のずれ量が所定値未満か否かを判定する判定手段とを備え、判定手段により二つの像のずれ量が所定値未満と判定された場合に、第1の撮像手段と第2の撮像手段とにより共有の撮像可能範囲内で撮像した物体は同一物体であるとすることを特徴とする。 The obstacle detection device according to claim 1 shares at least a part of an imageable range, and within a shared imageable range by the first and second imaging means for imaging the periphery of the vehicle, and the first imaging means. A pseudo image generating means for generating a pseudo image of the object imaged by the image capturing means; an image converting means for converting the pseudo image of the object generated by the pseudo image generating means to a pseudo image of the object viewed from the second imaging means; Judgment that compares the pseudo image of the object converted by the conversion means and the image of the object imaged within the common imageable range by the second imaging means, and determines whether or not the deviation amount of the two images is less than a predetermined value And the object picked up within the common image pickup range by the first image pickup means and the second image pickup means is the same when the determination means determines that the shift amount between the two images is less than a predetermined value. It is characterized by being an object.
本発明によれば、共有の撮像可能範囲内で撮像された物体が同一の物体であるか否かを正確に判断することができる。 ADVANTAGE OF THE INVENTION According to this invention, it can be judged correctly whether the object imaged within the common imaging possible range is the same object.
図1は、本実施の形態における障害物検出装置の一実施の形態の構成を示すブロック図である。障害物検出装置100は自動車に搭載され、前方カメラ101−aと、後方カメラ101−bと、右側後方カメラ101−cと、左側後方カメラ101−dと、画像メモリ102と、マイクロコンピュータ103と、モニタ104とを備えている。
FIG. 1 is a block diagram showing a configuration of an embodiment of an obstacle detection apparatus according to the present embodiment. The
前方カメラ101−a、後方カメラ101−b、右側後方カメラ101−c、および左側後方カメラ101−d(以下、「カメラ」と呼ぶ)は、例えばCCDカメラであり、自動車の図2に示す各位置に設置され、それぞれ自動車の前方、後方、右側後方、左側後方を個別に撮像する。画像メモリ102は各カメラによって撮像され、デジタル信号に変換された画像データを格納する。マイクロコンピュータ103は、画像メモリ102に格納された画像データに障害物(物体)が含まれていた場合、当該障害物の形状とあらかじめ登録してある車両形状のパターンとをマッチング処理することによって、撮像された障害物が自車両の周囲を走行する他車両であるか否かを判定する。そして、自車両の周囲に他車両が存在すると判定したときのみ、後述する処理により他車両の擬似画像(擬似画像パターン)を生成して、各カメラで個別に撮像された他車両が同一の車両であるか否かを判定する。モニタ104は、カメラにより撮像されマイクロコンピュータで処理された結果、検出された他車両を運転者に表示する。
The front camera 101-a, the rear camera 101-b, the right rear camera 101-c, and the left rear camera 101-d (hereinafter referred to as “camera”) are, for example, CCD cameras, and are shown in FIG. It is installed at the position, and images the front, rear, right rear, and left rear of the car individually. The
図3にマイクロコンピュータ103による他車両の擬似画像パターン生成方法の具体例を示す。図3(a)は、横方向の撮像素子サイズCx,縦方向の撮像素子サイズCy,焦点距離fの性能を持つカメラを、道路から高さCHの場所に道路と水平に設置し,カメラ視軸より横方向にWずれた位置,かつカメラから距離L離れた位置にある他車両を撮像する状況を横方向から見た図である。また、図3(b)は、図3(a)と同一の条件で他車両を撮像する状況を上方から見た図である。
FIG. 3 shows a specific example of a pseudo image pattern generation method for another vehicle by the
図3(a)、および図3(b)において、他車両上の任意の点2を焦点Aから見た垂直方向の角度θy,および焦点Aから見た水平方向の角度θxは、次式(1)、(2)で算出できる。
θy=tan-1((CH−H)/L)・・・(1)
θx=tan-1(W/L)・・・(2)
3A and 3B, the vertical angle θy when the arbitrary point 2 on the other vehicle is viewed from the focal point A and the horizontal angle θx when viewed from the focal point A are expressed by the following equations ( It can be calculated by 1) and (2).
θy = tan −1 ((CH−H) / L) (1)
θx = tan −1 (W / L) (2)
また,カメラによって撮像される画像の横方向のサイズをPx,縦方向の画像をPyとすると,上記他車両上の任意の点2の画像座標位置(Ox,Oy)は、次式(3)、(4)で算出できる。
Ox=Px/2+Px・θx/(2・tan(Cx/(2・f)))・・・(3)
Oy=Py/2+Py・θy/(2・tan(Cy/(2・f)))・・・(4)
Further, assuming that the horizontal size of the image captured by the camera is Px and the vertical image is Py, the image coordinate position (Ox, Oy) of the arbitrary point 2 on the other vehicle is expressed by the following equation (3). , (4).
Ox = Px / 2 + Px · θx / (2 · tan (Cx / (2 · f))) (3)
Oy = Py / 2 + Py · θy / (2 · tan (Cy / (2 · f))) (4)
式(1)〜(4)によって、他車両の全点について画像座標位置(Ox,Oy)を求め図示することで,図4に示す他車両の擬似画像パターンを生成することができる。すなわち,カメラの撮像素子サイズと焦点距離などのカメラ性能、カメラの設置位置,カメラから障害物の距離,および他車両の形状に基づいて擬似画像パターンを生成することができる。本実施の形態では、取得画像から推測して定める他車両の3次元位置情報から、3次元モデル画像を作成し、当該3次元モデルから上記手法にて擬似画像パターンを生成し、入力画像とのマッチング処理に用いている。 The pseudo image pattern of the other vehicle shown in FIG. 4 can be generated by obtaining and illustrating the image coordinate position (Ox, Oy) for all the points of the other vehicle using the equations (1) to (4). In other words, the pseudo image pattern can be generated based on the camera performance such as the image sensor size and focal length of the camera, the installation position of the camera, the distance from the camera to the obstacle, and the shape of the other vehicle. In the present embodiment, a three-dimensional model image is created from the three-dimensional position information of another vehicle that is estimated and determined from the acquired image, a pseudo image pattern is generated from the three-dimensional model by the above method, and the input image Used for matching processing.
次に、図5、および図6に各カメラで個別に撮像された他車両が同一車両であるか否かを判定する方法の具体例を示す。図5において、自車両の周囲には他車両5aおよび5bが走行している。すなわち、他車両5aは自車両の後方を自車両に追従して走行しており、他車両5bは自車両の右隣の車線を自車両と同方向に走行している。
Next, FIG. 5 and FIG. 6 show specific examples of a method for determining whether or not other vehicles individually captured by each camera are the same vehicle. In FIG. 5,
図6(a)は、右側後方カメラ101−cによって撮像される撮像画像を示す図である。右側後方カメラ101−cによっては、他車両5bはその全体が撮像されるが、他車両5aは自車両の影に隠れ撮像されない。よって、右側後方カメラ101−cによって撮像された画像からは他車両5bの検出が可能である。図6(b)は、後方カメラ101−bによって撮像される撮像画像を示す図である。後方カメラ101−bによっては、他車両5aはその全体が撮像され、他車両5bは他車両5aの陰に隠れるためその一部が撮像される。この場合、後方カメラ101−bによって撮像された画像からは、一部しか写っていない他車両5bは検出されず、全体が写っている他車両5aのみの検出が可能である。すなわち、他車両5bは後方カメラ101−b、および右側後方カメラ101−cの2台のカメラの撮像可能範囲に存在しているにもかかわらず、実際には右側後方カメラ101−cによる撮像画像からしか検出されない。以上より、右側後方カメラ101−c、および後方カメラ101−bはそれぞれ1台ずつの異なる他車両を検出する。
FIG. 6A is a diagram illustrating a captured image captured by the right rear camera 101-c. Depending on the right rear camera 101-c, the entire
一方、仮に他車両5aが存在せず、他車両5bのみが自車両の右隣の車線を自車両と同方向に走行している場合には、右側後方カメラ101−cは図6(c)に示すように他車両5bのみを検出し、後方カメラ101−bは図6(d)に示すように他車両5bのみを検出する。すなわち、それぞれ1台ずつの同一の他車両5bを検出する。したがって、他車両5aが存在するか否かに関わらず、どちらも右側後方カメラ101−cと後方カメラ101−bは1台ずつの他車両を検出することになる。
On the other hand, if there is no
このように、右側後方カメラ101−cと後方カメラ101−bとがそれぞれ1台ずつの他車両を検出した場合、その他車両が図6(a)および(b)に示す状況にあるのか、あるいは図6(c)および(d)に示す状況にあるのかを判断する必要がある。すなわち、2台のカメラで検出した他車両のうち少なくとも一方が2台のカメラに共通する撮像可能範囲内に検出された場合には、検出された他車両が同一車両である可能性を有しているため、これらが同一車両であるか、異なる車両であるかを判断する必要がある。この場合、それぞれのカメラが検出した他車両の位置関係が把握できれば、これらが異なる車両であるか同一車両であるかを判断できる。 In this way, when the right rear camera 101-c and the rear camera 101-b each detect one other vehicle, whether the other vehicle is in the situation shown in FIGS. 6A and 6B, or It is necessary to determine whether the situation shown in FIGS. 6 (c) and 6 (d) is present. That is, when at least one of the other vehicles detected by the two cameras is detected within the image pickup possible range common to the two cameras, there is a possibility that the detected other vehicles are the same vehicle. Therefore, it is necessary to determine whether these are the same vehicle or different vehicles. In this case, if the positional relationship of other vehicles detected by the respective cameras can be grasped, it can be determined whether they are different vehicles or the same vehicle.
図6(a)および(b)に示す状況においては、カメラから他車両5aと他車両5bまでの距離を正確に算出できれば、その距離の違いから2台の他車両が異なる車両であることの判断は可能である。しかし、走行中の車両に搭載したカメラで撮像した画像に基づいて対象物までの距離を算出する場合、一般に車両の前後方向に存在する対象物までの距離算出精度は悪く、さらに自車両から対象物までの距離が離れるほどその精度は悪化する。よって、後方カメラ101−bで撮像した他車両5aを他車両5bと同一車両であると誤検出してしまい、自車両の周囲には他車両5bのみしか存在しないと判断してしまう可能性がある。
In the situation shown in FIGS. 6A and 6B, if the distance from the camera to the
このような誤検出を防ぐため、本実施の形態における障害物検出装置では、以下に説明するようにカメラと他車両との間の正確な距離を算出し、別々のカメラで検出された2台の他車両が同一車両であるか否かを判断する。まず、他車両を検出したカメラのうち任意の1台を基準カメラとして設定する。本実施の形態においては、右側後方カメラ101−cを基準カメラとする。そして、基準カメラにより撮像された図6(a)に示す他車両5bの撮像画像に基づいて、上述した式(1)〜(4)により他車両5bの擬似画像パターンを生成する。
In order to prevent such an erroneous detection, the obstacle detection device according to the present embodiment calculates an accurate distance between the camera and another vehicle as described below, and detects two units detected by separate cameras. It is determined whether the other vehicle is the same vehicle. First, any one of the cameras that have detected other vehicles is set as a reference camera. In the present embodiment, the right rear camera 101-c is a reference camera. Then, based on the captured image of the
他車両5bの擬似画像パターンを生成するために必要な基準カメラから他車両までの距離Lは、撮像した画像に基づいて予測される。すなわち、撮像画像内における他車両の大きさに基づいて、おおよその基準カメラから他車両までの距離Lを予測する。そして予測した距離L、例えば5mの地点に存在する他車両の擬似画像パターンを生成する。そして、このとき生成された擬似画像パターンと、右側後方カメラ101−cによって実際に撮像された他車両5bの撮像画像とをマッチング処理(比較)することにより、両方の画像が一致するか否かを判断する。画像が一致しない場合は、予測した距離Lが誤っていると判断できることから、距離Lを任意の間隔、例えば10cm間隔で変化させて同様に擬似画像パターンを生成する。
The distance L from the reference camera necessary for generating the pseudo image pattern of the
このとき、例えばL=5mと予測して生成した擬似画像パターンと実際の撮像画像をマッチング処理したとき、他車両5bの擬似画像パターンが実際の撮像画像よりも大きい場合には、他車両5aは予測した距離Lよりも遠くに存在する。よってこの場合、距離Lの値は現在の予測値(L=5m)に任意の間隔足した距離、例えば5m10cmとして擬似画像パターンを生成する。一方、他車両5bの擬似画像パターンが実際の撮像画像よりも小さい場合には、他車両5bは設定した距離Lよりも近くに存在することから、距離Lの現在の予測値(L=5m)から任意の間隔を引いた距離、例えば4m90cmとして擬似画像パターンを生成する。
At this time, for example, when the pseudo image pattern generated by predicting L = 5 m and the actual captured image are matched, if the pseudo image pattern of the
このように、距離Lの値を変化させながら他車両5bの擬似画像パターンの生成し、擬似画像パターンと実際の他車両5bの撮像画像とをマッチングする処理を、マッチング処理結果が一致するまで繰り返す。そして、両方の画像が一致した時点の距離Lの値を、画像撮像時点における右側後方カメラ101−cと他車両5bとの実際の距離として算出する。これによって、右側後方カメラ101−cによって撮像された他車両5bまでの正確な距離Lを算出することができる。
As described above, the process of generating the pseudo image pattern of the
次に、上述した右側後方カメラ101−cと他車両5bとの正確な距離Lによって生成した右側後方カメラ101−cによる他車両5bの擬似画像パターンを、後方カメラ101−bで撮像した画像の擬似画像パターンとなるように視点変換処理を行う。すなわち、右側後方カメラ101−cと後方カメラ101−bとの設置位置の違いを考慮して、生成した右側後方カメラ101−cによる他車両5bの擬似画像パターンを、後方カメラ101−bから見た場合の他車両5bの擬似画像パターンに変換する。これによって、後方カメラ101−bで撮像した図6(b)の撮像画像では他車両5aに隠れて一部しか写っておらず、検出することができなかった他車両5bの擬似画像パターンを生成することができる。
Next, the pseudo image pattern of the
当該視点変換して得た後方カメラ101−bから見た他車両5bの擬似画像パターンと、図6(b)に示す後方カメラ101−bによる撮像画像により検出した他車両5aとをマッチング処理(比較)することによって、他車両5aと他車両5bとのずれ量が所定値未満であるか否かを判断する。他車両5aと他車両5bとのずれ量が所定値未満である場合はこれらは同一車両であると判断し、所定値以上の場合は異なる車両であると判断する。本実施の形態においては、他車両5aと他車両5bとは実際には異なる車線を走行中の異なる他車両であるため、双方のずれ量は所定値以上となる。これにより右側後方カメラ101−cおよび後方カメラ101−bによってそれぞれ検出された2台の他車両は異なる車両であると判断でき、同一車両であると誤検出することを防ぐことができる。
Matching processing of the pseudo image pattern of the
なお、図6(c)および(d)に示す状況においては、同様の処理を実行することによって、右側後方カメラ101−cおよび後方カメラ101−bによってそれぞれ検出された2台の他車両は同一車両5bであると判断でき、異なる車両であると誤検出することを防ぐことができる。
In the situation shown in FIGS. 6C and 6D, two other vehicles detected by the right rear camera 101-c and the rear camera 101-b are the same by executing the same process. It can be determined that the
図7は、本実施の形態の障害物検出装置100の動作を示すフローチャートである。カメラによって撮像され、画像メモリ102に格納された撮像画像データに基づいて、自車両の周囲に他車両が存在すると判断されると、障害物検出装置100は図7に示す処理を開始する。ステップS10において、2台のカメラで検出した他車両のうち少なくとも一方が2台のカメラに共通する撮像可能範囲内で検出されと判断された場合は、これらの他車両は同一車両である可能性を有しているためステップS20へ進む。ステップS20において、他車両を検出した2台のカメラのうちいずれか一方を基準カメラとして設定する。
FIG. 7 is a flowchart showing the operation of the
ステップS30では、基準カメラで撮像した他車両の擬似画像パターンを生成するために、基準カメラから他車両までの距離Lを予測する。その後ステップS40で、式(1)〜(4)に基づいて、あらかじめ用意した車両3次元モデルから他車両の擬似画像パターンを生成する。ステップS50において、基準カメラによる撮像画像と生成した擬似画像パターンとにおける他車両の形状をマッチング処理した結果が一致するか否かを判断する。 In step S30, a distance L from the reference camera to the other vehicle is predicted in order to generate a pseudo image pattern of the other vehicle imaged by the reference camera. Thereafter, in step S40, a pseudo image pattern of another vehicle is generated from a three-dimensional vehicle model prepared in advance based on the equations (1) to (4). In step S50, it is determined whether or not the result of the matching processing of the shape of the other vehicle in the image captured by the reference camera matches the generated pseudo image pattern.
マッチング処理の結果が一致しないと判断した場合は、ステップS60へ進み距離Lの値を変更する。すなわち、マッチング処理の結果に基づいて距離Lを増減させる。その後、ステップS40へ戻り、変更後の距離Lに基づいて他車両の擬似画像パターンを生成し、マッチング処理の結果が一致するまで処理を繰り返す。マッチング処理の結果が一致した場合は、ステップS70へ進む。 If it is determined that the results of the matching process do not match, the process proceeds to step S60 and the value of the distance L is changed. That is, the distance L is increased or decreased based on the result of the matching process. Thereafter, the process returns to step S40, a pseudo image pattern of another vehicle is generated based on the changed distance L, and the process is repeated until the matching process results match. If the results of the matching process match, the process proceeds to step S70.
ステップS70において、基準カメラの撮像画像に基づいて生成した擬似画像パターンを視点変換処理して、基準カメラでない方のカメラから見た擬似画像パターンへ変換する。ステップS80において、視点変換して得た他車両の擬似画像パターンと、基準カメラでない方のカメラで撮像した撮像画像の他車両の形状をマッチング処理し、双方のずれ量を判定する。ずれ量が所定値未満である場合はステップS90へ進み、同一車両である可能性を有している他車両は同一車両であると判断する。一方、ずれ量が所定値以上である場合にはステップS100へ進み、同一車両である可能性を有している他車両は異なる車両であると判断する。 In step S70, the pseudo image pattern generated based on the captured image of the reference camera is subjected to viewpoint conversion processing, and converted into a pseudo image pattern viewed from a camera that is not the reference camera. In step S80, matching processing is performed on the pseudo image pattern of the other vehicle obtained by the viewpoint conversion and the shape of the other vehicle in the captured image captured by the camera that is not the reference camera, and the amount of deviation between both is determined. When the amount of deviation is less than the predetermined value, the process proceeds to step S90, and it is determined that the other vehicles having the possibility of being the same vehicle are the same vehicle. On the other hand, if the deviation amount is equal to or greater than the predetermined value, the process proceeds to step S100, and it is determined that the other vehicles having the possibility of being the same vehicle are different vehicles.
ステップS110では、各カメラで撮像した自車両の周囲に存在する他車両を、運転者が自車両との位置関係が把握しやすい表示方法で、例えば鳥瞰図に変換してモニタ104に表示した後、処理を終了する。
In step S110, after the other vehicle existing around the own vehicle imaged by each camera is displayed on the
以上、本実施の形態によれば、次のような作用効果が得られる。
(1)基準カメラで撮像された他車両の擬似画像パターンを生成するに当たって、生成した擬似画像パターンと実際に撮像した撮像画像とのマッチング結果が一致するまで、距離Lを変えながら擬似画像パターンの生成を繰り返すことにした。これによって、擬似画像パターンと撮像画像のマッチング結果が一致した時点の距離Lを基準カメラと他車両との間の正確な距離として算出することができる。
(2)基準カメラで撮像された他車両の擬似画像パターンを視点変換することによって、もう一方のカメラから見た擬似画像パターンに変換し、当該擬似画像パターンと実際にもう一方のカメラで撮像した撮像画像とを比較することによって、検出した他車両が同一車両か否かを判断することにした。これによって、2台のカメラでそれぞれ検出した他車両が同一車両であるか否かを的確に判断することができ、誤検出を防止することが可能となる。
As described above, according to the present embodiment, the following operational effects can be obtained.
(1) In generating the pseudo image pattern of the other vehicle imaged by the reference camera, the pseudo image pattern is changed while changing the distance L until the matching result between the generated pseudo image pattern and the actually captured image matches. I decided to repeat the generation. Thus, the distance L at the time when the matching result between the pseudo image pattern and the captured image matches can be calculated as an accurate distance between the reference camera and the other vehicle.
(2) By converting the viewpoint of the pseudo image pattern of the other vehicle imaged by the reference camera, it is converted to the pseudo image pattern seen from the other camera, and the pseudo image pattern and the other camera are actually captured by the other camera. By comparing the captured image with each other, it is determined whether or not the detected other vehicle is the same vehicle. As a result, it is possible to accurately determine whether the other vehicles detected by the two cameras are the same vehicle, thereby preventing erroneous detection.
なお、上述した本実施の形態では、右側後方カメラ101−cと後方カメラ101−bに共通する撮像可能範囲に存在する他車両5bと、後方カメラ101−bの撮像可能範囲に存在する他車両5aについて、両車両が同一か否かを判定する例を説明した。しかし、その他のカメラで検出したその他の車両についても上述した処理を実行することによって、同様の効果を得ることができる。
In the present embodiment described above, the
また、右側後方カメラ101−cを基準カメラに設定して処理する例について説明したが、後方カメラ101−bを基準カメラに設定しても、同様の処理により他車両5aと他車両5bとが同一車両であるか否かの判定は可能である。
Moreover, although the example which sets and processes the right side rear camera 101-c as a reference camera was demonstrated, even if the rear camera 101-b is set as a reference camera, the
上述した実施の形態においては、他車両5aと5bとを対象として、2台が同一車両か否かを判定したが、自車両の周囲に存在する2台以上の車両に対してもそれぞれ上述した処理を行うことにより、各他車両同士が同一車両か否かを判定することが可能である。
In the above-described embodiment, it is determined whether or not the two vehicles are the same vehicle for the
また、上述した実施の形態においては、カメラで撮像した他車両を検出して処理を行ったが、撮像された車両以外のその他の物体についても同様に処理することができる。 In the above-described embodiment, the processing is performed by detecting the other vehicle imaged by the camera. However, other objects other than the imaged vehicle can be similarly processed.
上述した実施の形態においては、他車両を撮像するために車両にCCDカメラを搭載したが、これに限定されずその他のイメージセンサを搭載してもよい。 In the embodiment described above, the CCD camera is mounted on the vehicle in order to take an image of the other vehicle. However, the present invention is not limited to this, and other image sensors may be mounted.
上述した実施の形態においては、検出した自車両の周囲に存在する他車両を鳥瞰図に変換してモニタ104に表示することにしたが、これに限定されず、例えば平面図などその他の表示形式に変換して表示してもよい。
In the above-described embodiment, the other vehicles existing around the detected own vehicle are converted into a bird's eye view and displayed on the
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。前方カメラ101−a、後方カメラ101−b、右側後方カメラ101−c、および左側後方カメラ101−dは撮像手段に相当する。マイクロコンピュータ103は擬似画像生成手段、画像変換手段、判定手段、距離推定手段、仮の擬似画像生成手段、および比較手段に相当する。なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
The correspondence between the constituent elements of the claims and the embodiment will be described. The front camera 101-a, the rear camera 101-b, the right rear camera 101-c, and the left rear camera 101-d correspond to an imaging unit. The
100 障害物検出装置
101−a 前方カメラ
101−b 後方カメラ
101−c 右側後方カメラ
101−d 左側後方カメラ
102 画像メモリ
103 マイクロコンピュータ
104 モニタ
100 Obstacle detection device 101-a Front camera 101-b Rear camera 101-c Right rear camera 101-d Left
Claims (2)
前記第1の撮像手段により前記共有の撮像可能範囲内で撮像した物体の擬似画像を生成する擬似画像生成手段と、
前記擬似画像生成手段で生成した物体の擬似画像を前記第2の撮像手段から見た物体の擬似画像に視点変換する画像変換手段と、
前記画像変換手段で変換した物体の擬似画像と前記第2の撮像手段により前記共有の撮像可能範囲内で撮像した物体の像とを比較し、二つの像のずれ量が所定値未満か否かを判定する判定手段とを備え、
前記判定手段により二つの像のずれ量が所定値未満と判定された場合に、前記第1の撮像手段と前記第2の撮像手段とにより前記共有の撮像可能範囲内で撮像した物体は同一物体であるとすることを特徴とする障害物検出装置。 First and second imaging means for sharing at least part of the imageable range and imaging the periphery of the vehicle;
Pseudo image generation means for generating a pseudo image of an object imaged within the shared imageable range by the first imaging means;
Image conversion means for converting the viewpoint of the pseudo image of the object generated by the pseudo image generation means to the pseudo image of the object viewed from the second imaging means;
The pseudo image of the object converted by the image conversion means and the image of the object imaged within the shared imageable range by the second imaging means are compared, and whether or not the shift amount between the two images is less than a predetermined value Determining means for determining
When the determination unit determines that the shift amount between the two images is less than a predetermined value, the objects captured by the first imaging unit and the second imaging unit within the shared imageable range are the same object An obstacle detection device characterized by that.
前記擬似画像生成手段は、前記第1の撮像手段の撮像画像に基づいて前記共有の撮像可能範囲内で撮像した物体までの距離を推定する距離推定手段と、
前記推定距離に前記物体が存在するものとして前記物体の仮の擬似画像を生成する仮の擬似画像生成手段と、
前記物体の仮の擬似画像を前記第1の撮像手段により前記共有の撮像可能範囲内で撮像した実際の物体の像と比較する比較手段とを有し、
前記推定距離を変更しながら前記物体の仮の擬似画像を生成し、前記物体の仮の擬似画像と前記実際の物体の像との比較結果が一致したときの前記物体の仮の擬似画像を最終的な前記物体の擬似画像とすることを特徴とする障害物検出装置。 The obstacle detection device according to claim 1,
The pseudo image generation means is a distance estimation means for estimating a distance to an object imaged within the shared imageable range based on a captured image of the first imaging means;
A temporary pseudo-image generating means for generating a temporary pseudo-image of the object assuming that the object exists at the estimated distance;
Comparison means for comparing a temporary pseudo image of the object with an image of an actual object imaged within the shared imageable range by the first imaging means;
A temporary pseudo image of the object is generated while the estimated distance is changed, and the temporary pseudo image of the object when the comparison result between the temporary pseudo image of the object and the image of the actual object matches is finalized. An obstacle detection apparatus characterized by using a pseudo image of the object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004200340A JP4114647B2 (en) | 2004-07-07 | 2004-07-07 | Obstacle detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004200340A JP4114647B2 (en) | 2004-07-07 | 2004-07-07 | Obstacle detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006025086A JP2006025086A (en) | 2006-01-26 |
JP4114647B2 true JP4114647B2 (en) | 2008-07-09 |
Family
ID=35798059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004200340A Expired - Fee Related JP4114647B2 (en) | 2004-07-07 | 2004-07-07 | Obstacle detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4114647B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3487172A4 (en) * | 2016-07-13 | 2019-07-10 | Sony Corporation | Image generation device, image generation method, and program |
CN109163707B (en) * | 2018-09-06 | 2019-11-26 | 百度在线网络技术(北京)有限公司 | Method for barrier perception, system, computer equipment, computer storage medium |
-
2004
- 2004-07-07 JP JP2004200340A patent/JP4114647B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006025086A (en) | 2006-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4714104B2 (en) | Object tilt detection device | |
JP5234894B2 (en) | Stereo image processing device | |
JP4856611B2 (en) | Object detection device | |
US10520309B2 (en) | Object recognition device, object recognition method, equipment control system, and distance image generation device | |
JP4631096B2 (en) | Vehicle periphery monitoring device | |
JP4697101B2 (en) | Vehicle detection device and light control device | |
JP4943034B2 (en) | Stereo image processing device | |
JP2005300315A (en) | Object detection device | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
WO2019021876A1 (en) | In-vehicle camera calibration device and method | |
JP6455164B2 (en) | Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program | |
JP4695566B2 (en) | Lane departure judging device and lane departure avoidance system | |
JP6564127B2 (en) | VISUAL SYSTEM FOR AUTOMOBILE AND METHOD FOR CONTROLLING VISUAL SYSTEM | |
EP2913999A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium | |
JP2009239485A (en) | Vehicle environment recognition apparatus and preceding-vehicle follow-up control system | |
JP5097681B2 (en) | Feature position recognition device | |
JP2013244852A (en) | Device, method and program of parking support | |
JP3925285B2 (en) | Road environment detection device | |
JP5832850B2 (en) | Lane monitoring system and lane monitoring method | |
JP2007018451A (en) | Road boundary line detecting device | |
JP4114647B2 (en) | Obstacle detection device | |
JP4768499B2 (en) | In-vehicle peripheral other vehicle detection device | |
JP7269130B2 (en) | Image processing device | |
CN112470456B (en) | Camera system for railway vehicle | |
EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080407 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |