JP2009163506A - Vehicle surroundings monitoring apparatus, vehicle, and vehicle surroundings monitoring program - Google Patents

Vehicle surroundings monitoring apparatus, vehicle, and vehicle surroundings monitoring program Download PDF

Info

Publication number
JP2009163506A
JP2009163506A JP2008000601A JP2008000601A JP2009163506A JP 2009163506 A JP2009163506 A JP 2009163506A JP 2008000601 A JP2008000601 A JP 2008000601A JP 2008000601 A JP2008000601 A JP 2008000601A JP 2009163506 A JP2009163506 A JP 2009163506A
Authority
JP
Japan
Prior art keywords
vehicle
real space
space position
relative speed
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008000601A
Other languages
Japanese (ja)
Other versions
JP4470070B2 (en
Inventor
Shinji Nagaoka
伸治 長岡
Hideki Hashimoto
英樹 橋本
Izumi Takatsudo
泉 高津戸
Makoto Aimura
誠 相村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2008000601A priority Critical patent/JP4470070B2/en
Publication of JP2009163506A publication Critical patent/JP2009163506A/en
Application granted granted Critical
Publication of JP4470070B2 publication Critical patent/JP4470070B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle surroundings monitoring apparatus for preventing monitoring of a target around a vehicle based on images taken by a camera from becoming insufficient and performing calibration of an image sensor. <P>SOLUTION: The vehicle surroundings monitoring apparatus includes: a real space position calculation means for starting calculation of the real space position Z of a target M at time t<SB>1</SB>, and when calibration is performed in ΔT2 overlapped to the execution timing of calibration during a period from the start of calculation up to the lapse of prescribed time ΔT1, extending a period for acquiring images only by the ΔT2 in which images around the vehicle cannot be input due to the calibration, and acquiring images at time t<SB>7</SB>, t<SB>8</SB>, t<SB>9</SB>to calculate the real space position Z of the target M; and a relative speed calculation means for calculating a relative speed between the target and the vehicle by a change in the real space position of the target which is detected from six images around the vehicle which are acquired at time t1, t2, t3, t7, t8, t9 in a period of ΔT1+ΔT2. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周辺に所在する監視対象物を検出して車両周辺を監視する車両周辺監視装置、車両、及び車両周辺監視用プログラムに関する。   The present invention relates to a vehicle periphery monitoring device, a vehicle, and a vehicle periphery monitoring program for detecting a monitoring target located around a vehicle from a captured image around the vehicle by a camera mounted on the vehicle and monitoring the vehicle periphery.

従来より、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周囲の対象物を検出し、実空間における該対象物と車両との相対位置と相対速度を算出して、所定時間内における車両と対象物との接触可能性を判断する車両周辺監視装置が知られている（例えば、特許文献１参照）。   Conventionally, an object around the vehicle is detected from a captured image around the vehicle by a camera mounted on the vehicle, and the relative position and relative speed between the object and the vehicle in real space are calculated, and within a predetermined time A vehicle periphery monitoring device that determines the possibility of contact between a vehicle and an object is known (see, for example, Patent Document 1).

また、カメラの撮像素子は温度等により感度特性が変化するため、例えば、赤外線カメラにおいて、定期的に撮像素子の感度を再設定するキャリブレーションを行なうことが知られている（例えば、特許文献２参照）。キャリブレーションは、カメラのシャッターを閉じて撮像素子への入光が遮断された状態とし、この状態での撮像素子による撮像画像の輝度が一定となるように撮像素子の感度を設定して行なわれる。
特開２００１−６０９６号公報 米国特許第６９２９４１０Ｂ２号公報 Further, since the sensitivity characteristics of the image sensor of the camera change depending on the temperature or the like, for example, it is known to perform calibration for periodically resetting the sensitivity of the image sensor in an infrared camera (for example, Patent Document 2). reference). Calibration is performed by closing the camera shutter and blocking the light incident on the image sensor, and setting the sensitivity of the image sensor so that the brightness of the image captured by the image sensor in this state is constant. .
JP 2001-6096 A US Pat. No. 6,929,410B2

撮像素子のキャリブレーションを定期的に行なうことは、カメラの撮像画像による対象物の検出精度を高めるために必要となる。しかし、上述したように、撮像素子のキャリブレーションはカメラのシャッターを閉じて行なわれ、シャッターが閉じられている間は車両周囲の画像を撮像することができない。そのため、キャリブレーションを実行するタイミングによっては、カメラの撮像画像による車両周囲の対象物の監視が不十分となるおそれがある。   It is necessary to periodically calibrate the image sensor in order to increase the accuracy of detection of the object from the captured image of the camera. However, as described above, the calibration of the image sensor is performed with the camera shutter closed, and an image around the vehicle cannot be captured while the shutter is closed. For this reason, depending on the timing at which calibration is performed, there is a risk that monitoring of objects around the vehicle using images captured by the camera may be insufficient.

そこで、本発明は、カメラの撮像画像による車両周囲の対象物の監視が不十分となることを防止して、撮像素子のキャリブレーションを実行する車両周囲監視装置を提供することを目的とする。   In view of the above, an object of the present invention is to provide a vehicle surroundings monitoring device that prevents the monitoring of objects around the vehicle using a captured image of a camera from being insufficient and performs calibration of the imaging device.

本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置に関する。   The present invention has been made to achieve the above object, and the vehicle periphery monitoring device of the present invention is mounted on a vehicle and is an object around the vehicle from an image captured by a camera with a shutter that images the periphery of the vehicle. Object detection means for detecting the object, real space position calculation means for calculating the real space position of the object detected by the object detection means, and real space position of the object calculated by the real space position calculation means Relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the predetermined time of the vehicle, and based on the relative speed of the object with respect to the vehicle calculated by the relative speed calculation means, The present invention relates to a vehicle periphery monitoring device for monitoring the vehicle.

そして、本発明の車両周辺監視装置の第１の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。   And the 1st aspect of the vehicle periphery monitoring apparatus of this invention is the camera calibration means which performs the calibration which closes the shutter of the said camera and adjusts the sensitivity of the image pick-up element of the said camera, whenever predetermined conditions are satisfied, When the relative speed calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the camera calibration means Calibration time determination means for determining whether or not calibration is performed, and the relative speed calculation means is based on a change in the real space position of the object at the predetermined time by the calibration time determination means. When it is determined that the calibration is executed when calculating the relative speed of the object with respect to the vehicle Based on the change in the real space position of the object calculated by the real space position calculation means, the target is obtained by extending the predetermined time by a time during which the camera cannot image the vehicle periphery by the calibration. The relative speed of the object with respect to the vehicle is calculated.

かかる本発明によれば、前記キャリブレーション時期判断手段により、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて該対象物の相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記相対速度算出手段は、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出する。これにより、前記相対速度算出手段は、前記キャリブレーションが実行された場合であっても、前記所定時間分の対象物の実空間位置の変化に基いて対象物の車両に対する相対速度を精度良く算出することができる。そのため、キャリブレーションの実行により対象物の車両に対する相対速度の算出精度が低下して、車両周囲の監視が不十分となることを防止することができる。   According to the present invention, when the relative speed calculation means calculates the relative speed of the object based on a change in the real space position of the object at the predetermined time by the calibration time determination means, When it is determined that calibration is to be performed, the relative speed calculation means calculates the real space position at a time obtained by extending the predetermined time by a time during which the camera cannot image the vehicle periphery by the calibration. Based on the change in the real space position of the object calculated by the means, the relative speed of the object with respect to the vehicle is calculated. Thereby, the relative speed calculation means accurately calculates the relative speed of the object with respect to the vehicle based on the change in the real space position of the object for the predetermined time even when the calibration is executed. can do. For this reason, it is possible to prevent the accuracy of calculating the relative speed of the object with respect to the vehicle from being reduced due to the execution of calibration, and monitoring the surroundings of the vehicle from becoming insufficient.

なお、車両が停止している場合（車両の速度がゼロ）には、対象物が車両方向に移動する速度が、上述した対象物の車両に対する相対速度となる。   When the vehicle is stopped (the vehicle speed is zero), the speed at which the object moves in the vehicle direction is the relative speed of the object to the vehicle described above.

また、本発明の車両周辺監視装置の第２の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、前記カメラ校正手段は、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。   According to a second aspect of the vehicle periphery monitoring device of the present invention, camera calibration means for performing calibration for adjusting the sensitivity of the image sensor of the camera by closing the shutter of the camera each time a predetermined condition is satisfied, Contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle, and the camera calibration means is configured to detect the object by the contact determination means when the predetermined condition is satisfied. When it is determined that the real space position is within a predetermined distance from the vehicle, the calibration is not performed.

かかる本発明によれば、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から前記所定距離以内であると判定されたときには、前記カメラ校正手段は前記キャリブレーションを行なわない。これにより、対象物が車両に接近した状態で、前記キャリブレーションの実行により車両周辺の画像の取得が中断されて、車両周辺の監視が不十分となることを防止することができる。   According to the present invention, when the predetermined condition is satisfied, when the contact determination unit determines that the real space position of the object is within the predetermined distance from the vehicle, the camera calibration unit is configured to perform the calibration. Do not perform Accordingly, it is possible to prevent the monitoring of the vehicle periphery from being insufficient due to the acquisition of the image of the vehicle periphery being interrupted by the execution of the calibration while the object is close to the vehicle.

次に、本発明の車両は、周囲を撮像するシャッター付きのカメラと、該カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両に関する。   Next, a vehicle according to the present invention includes a camera with a shutter that images the surroundings, an object detection unit that detects an object around the vehicle from an image captured by the camera, and an object detected by the object detection unit. A real space position calculating means for calculating the real space position of the object, and a relative speed of the object relative to the vehicle based on a change in the real space position of the object calculated by the real space position calculating means in a predetermined time. The present invention relates to a vehicle including a relative speed calculation unit and a vehicle periphery monitoring unit that monitors the periphery of the vehicle based on the relative speed of the object calculated by the relative speed calculation unit with respect to the vehicle.

そして、本発明の車両の第１の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。   And the 1st aspect of the vehicle of this invention is a camera calibration means which performs the calibration which closes the shutter of the said camera and adjusts the sensitivity of the image pick-up element of the said camera each time predetermined conditions are satisfied, and the said relative speed When the calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the calibration by the camera calibration means is performed. Calibration time determination means for determining whether or not to be performed, and the relative speed calculation means uses the calibration time determination means based on a change in the real space position of the object during the predetermined time. When it is determined that the calibration is executed when calculating the relative speed of the object to the vehicle, Based on the change in the real space position of the object calculated by the real space position calculation means in the time extended by the time that the camera cannot image the vehicle periphery by the calibration. The relative speed with respect to is calculated.

かかる本発明によれば、上述した本発明の車両周辺監視装置の第１の態様と同様に、前記キャリブレーション時期判断手段により、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて該対象物の相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記相対速度算出手段は、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出する。これにより、前記相対速度算出手段は、前記キャリブレーションが実行された場合であっても、前記所定時間分の対象物の実空間位置の変化に基いて対象物の車両に対する相対速度を精度良く算出することができる。そのため、キャリブレーションの実行により対象物の車両に対する相対速度の算出精度が低下して、車両周辺の監視が不十分となることを防止することができる。   According to the present invention, as in the first aspect of the vehicle periphery monitoring apparatus of the present invention described above, the calibration time determination means causes the relative speed calculation means to determine the real space position of the object at the predetermined time. When the relative speed of the object is calculated based on the change of the object, if it is determined that the calibration is executed, the relative speed calculation means determines that the predetermined time is the vehicle periphery by the camera. The relative speed of the object with respect to the vehicle is calculated based on the change in the actual space position of the object calculated by the actual space position calculation means during the time extended by the time when the imaging becomes impossible. Thereby, the relative speed calculation means accurately calculates the relative speed of the object with respect to the vehicle based on the change in the real space position of the object for the predetermined time even when the calibration is executed. can do. Therefore, it is possible to prevent the accuracy of calculation of the relative speed of the object with respect to the vehicle from being reduced due to the execution of calibration, and monitoring the surroundings of the vehicle to be insufficient.

また、本発明の車両の第２の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。   According to a second aspect of the vehicle of the present invention, there is provided a camera calibration means for performing calibration for adjusting the sensitivity of the image sensor of the camera by closing the shutter of the camera each time a predetermined condition is satisfied; Contact determination means for determining whether or not the real space position is within a predetermined distance from the vehicle, and the camera calibration means uses the contact determination means to detect the actual object when the calibration time comes. The calibration is not performed when it is determined that the spatial position is within a predetermined distance from the vehicle.

かかる本発明によれば、上述した本発明の車両周辺監視装置の第２の態様と同様に、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から前記所定距離以内であると判定されたときには、前記カメラ校正手段は前記キャリブレーションを行なわない。これにより、対象物が車両に接近した状態で、前記キャリブレーションの実行により車両周辺の画像の取得が中断されて、車両周辺の監視が不十分となることを防止することができる。   According to the present invention, similar to the second aspect of the vehicle periphery monitoring device of the present invention described above, when the predetermined condition is satisfied, the contact determination means causes the real space position of the object to be detected from the vehicle. When it is determined that the distance is within the predetermined distance, the camera calibration unit does not perform the calibration. Accordingly, it is possible to prevent the monitoring of the vehicle periphery from being insufficient due to the acquisition of the image of the vehicle periphery being interrupted by the execution of the calibration while the object is close to the vehicle.

次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段として機能させるプログラムに関する。   Next, the vehicle periphery monitoring program according to the present invention includes a computer having means for accessing data of an image captured by a camera with a shutter that is mounted on a vehicle and images the periphery of the vehicle. A program for realizing a function of monitoring a target object of the vehicle, wherein the computer detects a target object around the vehicle from an image captured by the camera, and a target object detected by the target object detection means A real space position calculating means for calculating the real space position of the object, and a relative speed of the object relative to the vehicle based on a change in the real space position of the object calculated by the real space position calculating means in a predetermined time. Relative speed calculation means and vehicle periphery monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object calculated by the relative speed calculation means with respect to the vehicle A program to work with.

そして、本発明の車両周辺監視用プログラムの第１の態様は、前記コンピュータを、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段として機能させ、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。   In the first aspect of the vehicle periphery monitoring program of the present invention, the computer performs calibration for adjusting the sensitivity of the image sensor of the camera by closing the shutter of the camera each time a predetermined condition is satisfied. When the camera calibration means and the relative speed calculation means calculate the relative speed of the object with respect to the vehicle based on a change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the It functions as a calibration time determination means for determining whether or not the calibration is performed by the camera calibration means, and the relative speed calculation means is configured to detect the real space position of the object at the predetermined time by the calibration time determination means. When calculating the relative speed of the object with respect to the vehicle based on the change in Is determined to be executed, the actual time of the object calculated by the real space position calculating means is extended at a time that the predetermined time is extended by the time when the camera cannot image the vehicle periphery. A relative speed of the object with respect to the vehicle is calculated based on a change in a spatial position.

かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置の第１の態様及び本発明の車両の第１の態様における、前記対象物検出手段と、前記実空間位置算出手段と、前記相対速度算出手段と、前記カメラ校正手段と、前記キャリブレーション時期判断手段とを構成することができる。   By causing the computer to execute the vehicle periphery monitoring program of the present invention, the object detection means in the first aspect of the vehicle periphery monitoring device of the present invention and the first aspect of the vehicle of the present invention described above The real space position calculation means, the relative speed calculation means, the camera calibration means, and the calibration time determination means can be configured.

また、本発明の車両周辺監視用プログラムの第２の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段として機能させ、前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。   According to a second aspect of the vehicle periphery monitoring program of the present invention, there is provided a camera calibration means for performing calibration for adjusting the sensitivity of the image pickup device of the camera by closing the shutter of the camera each time a predetermined condition is satisfied. , Function as contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle, the camera calibration means, when the calibration time comes, by the contact determination means, The calibration is not performed when it is determined that the real space position of the object is within a predetermined distance from the vehicle.

かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置の第１の態様及び本発明の車両の第２の態様における、前記対象物検出手段と、前記実空間位置算出手段と、前記相対速度算出手段と、前記カメラ校正手段と、前記接触判定手段とを構成することができる。   By causing the computer to execute the vehicle periphery monitoring program of the present invention, the object detection means in the first aspect of the vehicle periphery monitoring apparatus of the present invention and the second aspect of the vehicle of the present invention described above The real space position calculation means, the relative speed calculation means, the camera calibration means, and the contact determination means can be configured.

本発明の実施の形態について、図１〜図４を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）２Ｒ，２Ｌと、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、ブレーキペダルの操作状態を検出するプレーキセンサ５と、音声により警報を行うためのスピーカ６と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。   Embodiments of the present invention will be described with reference to FIGS. FIG. 1 is a configuration diagram of a vehicle surrounding monitoring apparatus according to the present invention. The vehicle surrounding monitoring apparatus according to the present invention includes an image processing unit 1 and an infrared camera (corresponding to the camera according to the present invention) 2R capable of detecting far infrared rays. 2L, a yaw rate sensor 3 for detecting the yaw rate of the vehicle, a vehicle speed sensor 4 for detecting the traveling speed of the vehicle, a brake sensor 5 for detecting the operation state of the brake pedal, and a speaker 6 for performing an alarm by voice, A head-up display (hereinafter referred to as “HUD”) 7 for displaying the monitored object to the driver is provided.

赤外線カメラ２Ｒ，２Ｌは、車両（図示しない）の前部に、車両の横方向の中心軸に対して対象な位置に配置されており、赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして設けられている。赤外線カメラ１Ｒ，１Ｌは、撮像する対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増大する）特性を有している。また、赤外線カメラ２Ｒには、撮像素子への入光を遮断するためのシャッター２０Ｒが設けられており、同様に、赤外線カメラ２Ｌにはシャッター２０Ｌが設けられている。   The infrared cameras 2R and 2L are arranged at target positions with respect to the center axis in the lateral direction of the vehicle at the front part of the vehicle (not shown), and the infrared cameras 2R and 2L are parallel to each other. The cameras 2R and 2L are provided with the same height from the road surface. The infrared cameras 1R and 1L have a characteristic that the output signal level becomes higher (the luminance increases) as the temperature of the object to be imaged is higher. The infrared camera 2R is provided with a shutter 20R for blocking light entering the image sensor, and similarly, the infrared camera 2L is provided with a shutter 20L.

画像処理ユニット２は、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル変換した画像データを保持する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備えている。   The image processing unit 2 includes an A / D conversion circuit that converts analog video signals output from the infrared cameras 2R and 2L into digital signals, an image memory that holds digitally converted image data, and a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), and the like.

そして、ＣＰＵがＲＯＭに保持された制御用プログラムを実行することによって、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌにより得られる画像から対象物を検出する対象物検出手段１０、該対象物の実空間位置を算出する実空間位置算出手段１１、該対象物と車両間の相対速度を算出する相対速度算出手段１２、該対象物と車両の接触可能性を判定する接触判定手段１３（本発明の車両周辺監視手段の機能を含む）、対象物の相対速度の算出中に赤外線カメラ２Ｒ，２Ｌの撮像素子のキャリブレーション時期が重なるか否かを判断するキャリブレーション時期判断手段１４、及び赤外線カメラ２Ｒ，２Ｌの撮像素子のキャリブレーションを行なうカメラ校正手段１５として機能する。   Then, when the CPU executes the control program stored in the ROM, the image processing unit 1 detects the object from the images obtained by the infrared cameras 2R and 2L. Real space position calculating means 11 for calculating the spatial position, relative speed calculating means 12 for calculating the relative speed between the object and the vehicle, and contact determining means 13 for determining the possibility of contact between the object and the vehicle (of the present invention) Including the function of the vehicle periphery monitoring means), the calibration time judgment means 14 for judging whether or not the calibration times of the imaging elements of the infrared cameras 2R and 2L overlap during the calculation of the relative speed of the object, and the infrared camera 2R , 2L functions as camera calibration means 15 for calibrating the image sensor.

次に、図２〜３に示したフローチャートに従って、画像処理ユニット１による車両周辺の対象物の監視処理と、赤外線カメラ２Ｒ，２Ｌの撮像素子のキャリブレーション（以下、単にキャリブレーションという）について説明する。画像処理ユニット１は、図２，図３のフローチャートを繰り返し実行して、車両周辺の対象物の監視処理を行うと共に、所定のキャリブレーション実行条件が成立したときにキャリブレーションを行なう。   Next, according to the flowcharts shown in FIGS. 2 to 3, the monitoring processing of the object around the vehicle by the image processing unit 1 and the calibration of the imaging devices of the infrared cameras 2R and 2L (hereinafter simply referred to as calibration) will be described. . The image processing unit 1 repeatedly executes the flowcharts of FIGS. 2 and 3 to perform monitoring processing of objects around the vehicle and to perform calibration when a predetermined calibration execution condition is satisfied.

ここで、キャリブレーションは、赤外線カメラ２Ｒ，２Ｌの撮像素子の感度特性の変化を補償するために、適宜行なう必要がある。キャリブレーションを実行する条件（本発明の所定条件に相当する）として、本実施の形態では、所定周期毎にキャリブレーションを行うことが設定されている。   Here, calibration needs to be performed as appropriate in order to compensate for changes in sensitivity characteristics of the image sensors of the infrared cameras 2R and 2L. As a condition for executing calibration (corresponding to the predetermined condition of the present invention), in the present embodiment, it is set to perform calibration every predetermined period.

図２のＳＴＥＰ１で、画像処理ユニット１はカウンタ変数ｃｔをゼロとする。そして、キャリブレーション時期判断手段１４は、図２のＳＴＥＰ２〜ＳＴＥＰ７のループにより、車両周囲の対象物の実空間位置が検出されているときに、ＳＴＥＰ２でキャリブレーションの実行タイミングとなっているか否かを判断する。そして、キャリブレーションの実行タイミングとなっているときにはＳＴＥＰ２０に分岐し、キャリブレーションの実行タイミングとなっていないときにはＳＴＥＰ３に進む。   In STEP1 of FIG. 2, the image processing unit 1 sets the counter variable ct to zero. Then, the calibration time determination means 14 determines whether or not the calibration execution timing is in STEP2 when the real space position of the object around the vehicle is detected by the loop of STEP2 to STEP7 in FIG. Judging. When the calibration execution timing is reached, the process branches to STEP 20, and when the calibration execution timing is not reached, the process proceeds to STEP3.

ＳＴＥＰ３で、対象物検出手段１０が、赤外線カメラ２Ｒ，２Ｌの撮像画像から車両周辺の対象物を検出し、続くＳＴＥＰ４で、実空間位置算出手段１１が、該対象物の実空間位置（実空間における車両から対象物までの距離）Ｚを算出する。そして、ＳＴＥＰ５でカウンタ変数ｃｔがカウントアップされ（ｃｔ←ｃｔ＋１）、ＳＴＥＰ６で対象物の実空間位置Ｚの算出値が配列変数Ｌ［ct］（ｃｔ＝１〜６）に保持される。   In STEP 3, the object detection means 10 detects the object around the vehicle from the images captured by the infrared cameras 2R and 2L. In subsequent STEP 4, the real space position calculation means 11 detects the real space position (real space of the object). The distance Z from the vehicle to the object is calculated. Then, in STEP5, the counter variable ct is counted up (ct ← ct + 1), and in STEP6, the calculated value of the real space position Z of the object is held in the array variable L [ct] (ct = 1 to 6).

そして、ＳＴＥＰ７でカウント変数ｃｔが６になったときにＳＴＥＰ８に進み、相対速度算出手段１２が、配列変数Ｌ[１]〜Ｌ[６]に保持された対象物の６個の実空間距離Ｚのデータから、対象物と車両間の相対速度Ｖsを算出する。   Then, when the count variable ct becomes 6 in STEP 7, the process proceeds to STEP 8, where the relative speed calculation means 12 has the six real space distances Z of the objects held in the array variables L [1] to L [6]. From the data, the relative speed Vs between the object and the vehicle is calculated.

また、次のＳＴＥＰ９で、接触判定手段１３が、対象物と車両が所定時間（例えば２〜５秒程度に設定される）以内に接触する可能性があるか否かを判定する。そして、接触判定手段１３は、対象物と車両が所定時間以内に接触する可能性があると判定したときは、ＨＵＤ７に警報表示を行なうと共に、スピーカ６から警報音声を出力して、運転者に注意を促す。   Further, in the next STEP 9, the contact determination means 13 determines whether or not there is a possibility that the object and the vehicle are in contact within a predetermined time (for example, set to about 2 to 5 seconds). When the contact determination means 13 determines that there is a possibility that the object and the vehicle are in contact with each other within a predetermined time, the contact determination means 13 displays an alarm on the HUD 7 and outputs an alarm sound from the speaker 6 to the driver. Call attention.

なお、ＳＴＥＰ４における対象物の実空間位置Ｚの算出処理、ＳＴＥＰ８における対象物と車両間の相対速度Ｖsの算出処理、及びＳＴＥＰ９における対象物と車両との接触可能性の判定処理については、上述した特開２００１−６０９６号公報等に記載された従来の技術により実行可能であるため、ここでは説明を省略する。   Note that the processing for calculating the actual space position Z of the object in STEP 4, the processing for calculating the relative speed Vs between the object and the vehicle in STEP 8, and the processing for determining the possibility of contact between the object and the vehicle in STEP 9 are described above. Since it can be executed by the conventional technique described in Japanese Patent Application Laid-Open No. 2001-6096, the description thereof is omitted here.

次に、図４を参照して、対象物の実空間位置（実空間における車両から対象物までの距離）Ｚの算出とキャリブレーションの実行タイミングの調整について説明する。図４は、縦軸を対象物の実空間位置Ｚとし、横軸を画像入力のタイミングｔとした説明図である。   Next, the calculation of the real space position (distance from the vehicle to the target object in the real space) Z and adjustment of the calibration execution timing will be described with reference to FIG. FIG. 4 is an explanatory diagram in which the vertical axis is the real space position Z of the object and the horizontal axis is the image input timing t.

画像処理ユニット１は、図２のＳＴＥＰ２〜ＳＴＥＰ７のループによる制御周期ΔＴ3毎にカメラ２Ｒ，２Ｌにより車両周辺の画像を取り込んで対象物の実空間位置Ｚを算出し、６個分の対象物の実空間位置Ｚ（Ｌ[1]，Ｌ[2]，・・・，Ｌ[6]）を算出したときに、ＳＴＥＰ８で、対象物と車両間の相対速度Ｖsを算出している。そして、このように制御周期ΔＴ3の６周期分の期間ΔＴ1（＝６×ΔＴ3、本発明の所定時間に相当する）における対象物の実空間位置Ｚの変化に基いて、対象物と車両間の相対速度Ｖsを算出することにより、相対速度Ｖsの算出精度を高めている。   The image processing unit 1 calculates the real space position Z of the object by capturing the image around the vehicle with the cameras 2R and 2L at every control period ΔT3 by the loop of STEP2 to STEP7 in FIG. When the real space position Z (L [1], L [2],..., L [6]) is calculated, the relative speed Vs between the object and the vehicle is calculated in STEP8. Then, based on the change of the real space position Z of the object in the period ΔT1 (= 6 × ΔT3, which corresponds to the predetermined time of the present invention) corresponding to the six control periods ΔT3, the distance between the object and the vehicle is as described above. By calculating the relative speed Vs, the calculation accuracy of the relative speed Vs is increased.

一方、キャブレーションは、基本的には、所定周期（例えば２分）が経過する毎に実行されるが、キャリブレーションはカメラ２Ｒ，２Ｌのシャッター２０Ｒ，２０Ｌを閉じて行うため、キャリブレーションの実行中（図中ΔＴ2の間）は、車両周辺の画像を取得することができない。   On the other hand, the calibration is basically executed every time a predetermined period (for example, 2 minutes) elapses, but the calibration is performed by closing the shutters 20R and 20L of the cameras 2R and 2L. During the middle (between ΔT2 in the figure), an image around the vehicle cannot be acquired.

図４では、ｔ1でＳＴＥＰ２〜ＳＴＥＰ７のループが開始され、ｔ1，ｔ2，ｔ3で対象物Ｍの実空間位置Ｚが取得されている。そして、ｔ4でキャリブレーションの実行タイミングとなって、ｔ4〜ｔ5の間（ΔＴ2）キャリブレーションが実行されている。この場合、ｔ1からΔＴ1の期間で対象物と車両間の相対速度Ｖsを算出すると、ｔ1，ｔ2，ｔ3における３個分の対象物Ｍの実空間位置Ｚから相対速度Ｖsを算出することになり、相対速度Ｖsの算出精度が低下する。 In Figure 4, the loop is started at t 1 STEP2~STEP7, t 1, t 2, t 3 in the real space position Z of the object M is acquired. Then, a initiation timing of the calibration at t 4, between t 4 ~t 5 (ΔT2) calibration is performed. In this case, when the relative speed Vs between the object and the vehicle is calculated in the period from t 1 to ΔT 1 , the relative speed Vs is calculated from the real space positions Z of the three objects M at t 1 , t 2 , and t 3 . As a result, the calculation accuracy of the relative speed Vs decreases.

そこで、図２のＳＴＥＰ２〜ＳＴＥＰ７のループでは、ＳＴＥＰ７でカウンタ変数ｃｔが６になったとき、すなわち、６個分の対象物の実空間位置Ｚが算出されたときに、ＳＴＥＰ８に進んで、６個分の対象物Ｍの実空間位置の算出値（Ｌ[1]，Ｌ[2]，・・・，Ｌ[6]）から対象物と車両間の相対速度Ｖsを算出している。そして、これにより、対象物と車両間の相対速度Ｖsの算出精度の低下を防止している。   Therefore, in the loop of STEP2 to STEP7 in FIG. 2, when the counter variable ct becomes 6 in STEP7, that is, when the real space positions Z of the six objects are calculated, the process proceeds to STEP8. The relative speed Vs between the object and the vehicle is calculated from the calculated values (L [1], L [2],..., L [6]) of the real space positions of the objects M. This prevents a decrease in the calculation accuracy of the relative speed Vs between the object and the vehicle.

図４の例では、ｔ1，ｔ2，ｔ3，ｔ7，ｔ8，ｔ9で取得された車両周囲の画像から検出された対象物の実空間位置Ｚの変化により、対象物と車両間の相対速度Ｖsを算出している。この場合、ΔＴ1からキャリブレーションの実行時間ΔＴ2分延長された期間（ΔＴ1＋ΔＴ2）における対象物Ｍの実空間位置Ｚの変化によって、対象物と車両間の相対速度Ｖsが算出される。 In the example of FIG. 4, the object and the vehicle are caused by the change in the real space position Z of the object detected from the images around the vehicle acquired at t 1 , t 2 , t 3 , t 7 , t 8 , and t 9. The relative speed Vs is calculated. In this case, the relative speed Vs between the object and the vehicle is calculated by the change in the real space position Z of the object M in the period (ΔT1 + ΔT2) extended from ΔT1 by the calibration execution time ΔT2.

また、対象物Ｍが車両に接近して、対象物Ｍの実空間位置Ｚが警報予測限界Ｚl内に入ったときには、キャリブレーションを禁止して、接近した対象物Ｍとの接触可能性の判定を優先することが有効である。そこで、接触判定手段１３は、図３に示したフローチャートを実行し、ＳＴＥＰ５０で警報予測対象物がある（対象物Ｍが車両に接近して警報予測限界Ｚl内に入っている）と判断したときは、ＳＴＥＰ６０に分岐して警報予測フラグＡL_Ｆをセット（ＡL_Ｆ＝１）する。また、警報予測対象物がない（対象物Ｍが車両から警報予測限界Ｚlよりも離れている）ときにはＳＴＥＰ５１に進み、接触判定手段１３は、警報予測フラグＡL_Ｆをリセット（ＡL_Ｆ＝０）する。   Further, when the object M approaches the vehicle and the real space position Z of the object M falls within the warning prediction limit Zl, the calibration is prohibited, and the possibility of contact with the approaching object M is determined. It is effective to prioritize. Therefore, when the contact determination means 13 executes the flowchart shown in FIG. 3 and determines in STEP 50 that there is an alarm prediction target (the target M is close to the vehicle and falls within the alarm prediction limit Zl). Branches to STEP 60 and sets the alarm prediction flag AL_F (AL_F = 1). Further, when there is no warning prediction target (the target M is away from the warning prediction limit Z1) from the vehicle, the process proceeds to STEP 51, and the contact determination means 13 resets the warning prediction flag AL_F (AL_F = 0).

そして、これにより、図２のＳＴＥＰ２でキャリブレーションの実行条件が成立してＳＴＥＰ２０に分岐し、ＳＴＥＰ２０で警報予測フラグＡL_Ｆがセット（ＡL_Ｆ＝１）されていたときにはＳＴＥＰ３に進むようにして、キャリブレーションを禁止している。   As a result, the execution condition of the calibration is established in STEP2 of FIG. 2 and the process branches to STEP20. When the alarm prediction flag AL_F is set (AL_F = 1) in STEP20, the process proceeds to STEP3 and the calibration is prohibited. is doing.

例えば、図４のｔ10から図２のＳＴＥＰ２〜ＳＴＥＰ７のループを開始した場合に、ｔ11でキャリブレーションを実行すると、ＳＴＥＰ２〜ＳＴＥＰ７のループにより６個分の対象物の実空間位置Ｚを算出して、対象物と車両間の相対速度を算出するタイミングが、対象物が警報予測限界以内に接近した時になる。そのため、この場合には、接触判定手段１３により警報予測フラグＡL_Ｆがセット（ＡL_Ｆ＝１）され、カメラ校正手段１５によるキャリブレーションの実行が禁止される。 For example, calculated when you start STEP2~STEP7 loop of Figure 2 from t 10 in FIG. 4, when the calibration is performed at t 11, the real space position Z of 6 pieces of the object by loop STEP2~STEP7 The timing for calculating the relative speed between the object and the vehicle is when the object approaches within the warning prediction limit. Therefore, in this case, the alarm prediction flag AL_F is set by the contact determination unit 13 (AL_F = 1), and the execution of calibration by the camera calibration unit 15 is prohibited.

また、ＳＴＥＰ２０で警報予測フラグＡL_Ｆがリセット（ＡL_Ｆ＝０）されていたときはＳＴＥＰ３０に分岐し、カメラ校正手段１５は、キャリブレーションを実行する。カメラ校正手段１５は、カメラ２Ｒのシャッター２０Ｒとカメラ２Ｌのシャッター２０Ｌを閉じて、カメラ２Ｒとカメラ２Ｌの撮像素子に入光されない状態とし、この状態における撮像画像の輝度が一定となるように赤外線撮像素子の感度を設定して、キャリブレーションを行なう。   If the alarm prediction flag AL_F is reset (AL_F = 0) in STEP 20, the process branches to STEP 30, and the camera calibration unit 15 performs calibration. The camera calibration unit 15 closes the shutter 20R of the camera 2R and the shutter 20L of the camera 2L so that the light is not incident on the imaging elements of the camera 2R and the camera 2L, and the infrared rays so that the brightness of the captured image in this state is constant. Calibration is performed by setting the sensitivity of the image sensor.

なお、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のカメラを用いる場合であっても、本発明の適用が可能である。   In this embodiment, the infrared camera 2 is used as the imaging means of the present invention. However, the present invention can be applied even when a normal camera capable of detecting only visible light is used.

また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。   Further, in the present embodiment, the configuration in which the front of the vehicle is imaged is shown, but it is also possible to determine the possibility of contact with the monitoring object by imaging other directions such as the rear and side of the vehicle. Good.

本発明の車両周囲監視装置の構成図。The block diagram of the vehicle periphery monitoring apparatus of this invention. 図１に示した車両周囲監視装置による車両周囲の対象物と車両との接触可能性の判定処理及びキャリブレーションのフローチャート。FIG. 3 is a flowchart of determination processing and calibration of the possibility of contact between an object around the vehicle and the vehicle by the vehicle surrounding monitoring apparatus shown in FIG. 1. FIG. キャリブレーションの許可と禁止を設定する処理のフローチャート。The flowchart of the process which sets permission and prohibition of calibration. 対象物と車両間の相対速度の算出とキャリブレーションの実行タイミングの調整態様の説明図。Explanatory drawing of the adjustment aspect of the calculation timing of the calculation of the relative speed between a target object and a vehicle, and calibration.

符号の説明Explanation of symbols

１…画像処理ユニット、２…赤外線カメラ（カメラ）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、１０…対象物検出手段、１１…実空間位置算出手段、１２…相対速度算出手段、１３…接触判定手段、１４…キャリブレーション時期判断手段、１５…カメラ校正手段   DESCRIPTION OF SYMBOLS 1 ... Image processing unit, 2 ... Infrared camera (camera), 3 ... Yaw rate sensor, 4 ... Vehicle speed sensor, 5 ... Brake sensor, 6 ... Speaker, 7 ... HUD, 10 ... Object detection means, 11 ... Real space position calculation Means 12 ... Relative speed calculation means 13 ... Contact judgment means 14 ... Calibration time judgment means 15 ... Camera calibration means

Claims (6)

車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両周辺監視装置。 An object detection means for detecting an object around the vehicle from an image captured by a camera with a shutter mounted on the vehicle and imaging the periphery of the vehicle;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
A vehicle periphery monitoring device that monitors the periphery of the vehicle based on the relative speed of the object calculated by the relative speed calculation means,
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
When the relative speed calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the camera calibration means Calibration time determination means for determining whether or not calibration is performed,
The relative speed calculation means performs the calibration when the calibration time determination means calculates the relative speed of the object with respect to the vehicle based on a change in the real space position of the object during the predetermined time. When it is determined that the real space position of the object calculated by the real space position calculation means is extended by a time when the predetermined time is extended by the time when the camera cannot image the periphery of the vehicle. A vehicle periphery monitoring device that calculates a relative speed of the object with respect to the vehicle based on the change of the vehicle. 車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、
前記カメラ校正手段は、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両周辺監視装置。 An object detection means for detecting an object around the vehicle from an image captured by a camera with a shutter mounted on the vehicle and imaging the periphery of the vehicle;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
A vehicle periphery monitoring device that monitors the periphery of the vehicle based on the relative speed of the object calculated by the relative speed calculation means,
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
Contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle,
The camera calibration unit does not perform the calibration when the predetermined condition is satisfied and the contact determination unit determines that the real space position of the object is within a predetermined distance from the vehicle. A vehicle periphery monitoring device. 周囲を撮像するシャッター付きのカメラと、
該カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両。 A camera with a shutter that captures the surroundings,
Object detection means for detecting an object around the vehicle from an image captured by the camera;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
Vehicle surrounding monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object to the vehicle calculated by the relative speed calculating means,
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
When the relative speed calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the camera calibration means Calibration time determination means for determining whether or not calibration is performed,
The relative speed calculation means performs the calibration when the calibration time determination means calculates the relative speed of the object with respect to the vehicle based on a change in the real space position of the object during the predetermined time. When it is determined that the real space position of the object calculated by the real space position calculation means is extended by a time when the predetermined time is extended by the time when the camera cannot image the periphery of the vehicle. A vehicle characterized in that a relative speed of the object with respect to the vehicle is calculated on the basis of the change in. 周囲を撮像するシャッター付きのカメラと、
該カメラによる撮像画像から周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、
前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両。 A camera with a shutter that captures the surroundings,
Object detection means for detecting a surrounding object from an image captured by the camera;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
Vehicle surrounding monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object to the vehicle calculated by the relative speed calculating means,
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
Contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle,
The camera calibration means does not perform the calibration when the contact determination means determines that the real space position of the object is within a predetermined distance from the vehicle at the calibration time. Characteristic vehicle. 車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段と、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段として機能させ、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両周辺監視用プログラム。 A program for realizing a function of monitoring a target object around the vehicle from the captured image on a computer mounted on the vehicle and having means for accessing data of the captured image by a camera with a shutter that captures the surroundings of the vehicle The computer
An object detection means for detecting an object around the vehicle from an image captured by the camera;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
Vehicle periphery monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object to the vehicle calculated by the relative speed calculation means;
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
When the relative speed calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the camera calibration means Function as a calibration time determination means for determining whether or not calibration is performed,
The relative speed calculation means performs the calibration when the calibration time determination means calculates the relative speed of the object with respect to the vehicle based on a change in the real space position of the object during the predetermined time. When it is determined that the real space position of the object calculated by the real space position calculation means is extended by a time when the predetermined time is extended by the time when the camera cannot image the periphery of the vehicle. A vehicle periphery monitoring program that calculates a relative speed of the object with respect to the vehicle based on the change of the vehicle. 車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、
前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段と、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段として機能させ、
前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両周辺監視用プログラム。 A program for realizing a function of monitoring a target object around the vehicle from the captured image on a computer mounted on the vehicle and having means for accessing data of the captured image by a camera with a shutter that captures the surroundings of the vehicle The computer
An object detection means for detecting an object around the vehicle from an image captured by the camera;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
Vehicle periphery monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object to the vehicle calculated by the relative speed calculation means;
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
Function as contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle;
The camera calibration means does not perform the calibration when the contact determination means determines that the real space position of the object is within a predetermined distance from the vehicle at the calibration time. A vehicle periphery monitoring program.
JP2008000601A 2008-01-07 2008-01-07 Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program Expired - Fee Related JP4470070B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008000601A JP4470070B2 (en) 2008-01-07 2008-01-07 Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008000601A JP4470070B2 (en) 2008-01-07 2008-01-07 Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program

Publications (2)

Publication Number Publication Date
JP2009163506A true JP2009163506A (en) 2009-07-23
JP4470070B2 JP4470070B2 (en) 2010-06-02

Family

ID=40966055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008000601A Expired - Fee Related JP4470070B2 (en) 2008-01-07 2008-01-07 Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program

Country Status (1)

Country Link
JP (1) JP4470070B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018125639A (en) * 2017-01-31 2018-08-09 株式会社Ｊｖｃケンウッド Thermal image processing apparatus, infrared imaging apparatus, thermal image processing method, and thermal image processing program
US10708510B2 (en) 2017-07-31 2020-07-07 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
WO2023199465A1 (en) * 2022-04-14 2023-10-19 日立Astemo株式会社 Vehicle-mounted image processing device and calibration method therefor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104442569B (en) * 2014-11-14 2016-11-02 东风汽车有限公司 Automobile monitoring image generation method and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292262A (en) * 1995-04-24 1996-11-05 Opt:Kk Electronic distance meter
JP2005096752A (en) * 1999-01-14 2005-04-14 Matsushita Electric Ind Co Ltd Infrared ray image pickup device, and vehicle with the device mounted thereon
JP2006185434A (en) * 2004-11-30 2006-07-13 Honda Motor Co Ltd Vehicle circumference monitoring device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292262A (en) * 1995-04-24 1996-11-05 Opt:Kk Electronic distance meter
JP2005096752A (en) * 1999-01-14 2005-04-14 Matsushita Electric Ind Co Ltd Infrared ray image pickup device, and vehicle with the device mounted thereon
JP2006185434A (en) * 2004-11-30 2006-07-13 Honda Motor Co Ltd Vehicle circumference monitoring device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018125639A (en) * 2017-01-31 2018-08-09 株式会社Ｊｖｃケンウッド Thermal image processing apparatus, infrared imaging apparatus, thermal image processing method, and thermal image processing program
WO2018142687A1 (en) * 2017-01-31 2018-08-09 株式会社Ｊｖｃケンウッド Thermal image processing device, infrared imaging device, thermal image processing method, and thermal image processing program
CN109644237A (en) * 2017-01-31 2019-04-16 Jvc 建伍株式会社 Thermal image processing device, infrared ray filming apparatus, thermal image processing method and thermal image processing program
US10769816B2 (en) 2017-01-31 2020-09-08 Jvckenwood Corporation Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program
CN109644237B (en) * 2017-01-31 2020-09-29 Jvc 建伍株式会社 Thermal image processing apparatus and method, infrared imaging apparatus, and storage medium
US10708510B2 (en) 2017-07-31 2020-07-07 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
US11272114B2 (en) 2017-07-31 2022-03-08 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
US11792528B2 (en) 2017-07-31 2023-10-17 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
WO2023199465A1 (en) * 2022-04-14 2023-10-19 日立Astemo株式会社 Vehicle-mounted image processing device and calibration method therefor

Also Published As

Publication number Publication date
JP4470070B2 (en) 2010-06-02

Similar Documents

Publication Publication Date Title
JP5503730B2 (en) Vehicle periphery monitoring device
US10769816B2 (en) Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program
US20110304746A1 (en) Image capturing device, operator monitoring device, method for measuring distance to face, and program
JP2010103975A5 (en) Imaging device, imaging method, program
JP2010139563A5 (en)
JP2010139666A5 (en) Imaging apparatus and control method thereof
JP4470070B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program
US20180061075A1 (en) Distance measurement device and image capturing control device
JP4757932B2 (en) Exposure control device and exposure control method for vehicle imaging device
JP2013115449A5 (en)
JP2018004918A5 (en)
JP2015094899A5 (en)
JP2010250156A5 (en)
JP2014187496A (en) Fault detection device
JPWO2017042998A1 (en) In-vehicle stereo camera device and correction method thereof
JP2020091355A5 (en) Control device, image pickup device, lens device and control method
JP4760100B2 (en) Image processing apparatus and vehicle driving support apparatus using the same
JP2013205723A5 (en)
JP2013054399A (en) Vehicle periphery monitoring device
JP2007174113A (en) Obstacle detection system and obstacle detection method
JP2007174112A (en) Far-infrared imaging apparatus and output value correction method
JP2015095857A5 (en) Image processing apparatus and image processing method
JP2010016650A5 (en)
JP2009294974A (en) Intruder detection device by image processing
JP2009150841A (en) Lens abnormality self-diagnosis method, imaging device, lens abnormality self-diagnosis system, and vehicle

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees