JP2009163506A - Vehicle surroundings monitoring apparatus, vehicle, and vehicle surroundings monitoring program - Google Patents
Vehicle surroundings monitoring apparatus, vehicle, and vehicle surroundings monitoring program Download PDFInfo
- Publication number
- JP2009163506A JP2009163506A JP2008000601A JP2008000601A JP2009163506A JP 2009163506 A JP2009163506 A JP 2009163506A JP 2008000601 A JP2008000601 A JP 2008000601A JP 2008000601 A JP2008000601 A JP 2008000601A JP 2009163506 A JP2009163506 A JP 2009163506A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- real space
- space position
- relative speed
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周辺に所在する監視対象物を検出して車両周辺を監視する車両周辺監視装置、車両、及び車両周辺監視用プログラムに関する。 The present invention relates to a vehicle periphery monitoring device, a vehicle, and a vehicle periphery monitoring program for detecting a monitoring target located around a vehicle from a captured image around the vehicle by a camera mounted on the vehicle and monitoring the vehicle periphery.
従来より、車両に搭載されたカメラによる車両周囲の撮像画像から、車両周囲の対象物を検出し、実空間における該対象物と車両との相対位置と相対速度を算出して、所定時間内における車両と対象物との接触可能性を判断する車両周辺監視装置が知られている(例えば、特許文献1参照)。 Conventionally, an object around the vehicle is detected from a captured image around the vehicle by a camera mounted on the vehicle, and the relative position and relative speed between the object and the vehicle in real space are calculated, and within a predetermined time A vehicle periphery monitoring device that determines the possibility of contact between a vehicle and an object is known (see, for example, Patent Document 1).
また、カメラの撮像素子は温度等により感度特性が変化するため、例えば、赤外線カメラにおいて、定期的に撮像素子の感度を再設定するキャリブレーションを行なうことが知られている(例えば、特許文献2参照)。キャリブレーションは、カメラのシャッターを閉じて撮像素子への入光が遮断された状態とし、この状態での撮像素子による撮像画像の輝度が一定となるように撮像素子の感度を設定して行なわれる。
撮像素子のキャリブレーションを定期的に行なうことは、カメラの撮像画像による対象物の検出精度を高めるために必要となる。しかし、上述したように、撮像素子のキャリブレーションはカメラのシャッターを閉じて行なわれ、シャッターが閉じられている間は車両周囲の画像を撮像することができない。そのため、キャリブレーションを実行するタイミングによっては、カメラの撮像画像による車両周囲の対象物の監視が不十分となるおそれがある。 It is necessary to periodically calibrate the image sensor in order to increase the accuracy of detection of the object from the captured image of the camera. However, as described above, the calibration of the image sensor is performed with the camera shutter closed, and an image around the vehicle cannot be captured while the shutter is closed. For this reason, depending on the timing at which calibration is performed, there is a risk that monitoring of objects around the vehicle using images captured by the camera may be insufficient.
そこで、本発明は、カメラの撮像画像による車両周囲の対象物の監視が不十分となることを防止して、撮像素子のキャリブレーションを実行する車両周囲監視装置を提供することを目的とする。 In view of the above, an object of the present invention is to provide a vehicle surroundings monitoring device that prevents the monitoring of objects around the vehicle using a captured image of a camera from being insufficient and performs calibration of the imaging device.
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置に関する。 The present invention has been made to achieve the above object, and the vehicle periphery monitoring device of the present invention is mounted on a vehicle and is an object around the vehicle from an image captured by a camera with a shutter that images the periphery of the vehicle. Object detection means for detecting the object, real space position calculation means for calculating the real space position of the object detected by the object detection means, and real space position of the object calculated by the real space position calculation means Relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the predetermined time of the vehicle, and based on the relative speed of the object with respect to the vehicle calculated by the relative speed calculation means, The present invention relates to a vehicle periphery monitoring device for monitoring the vehicle.
そして、本発明の車両周辺監視装置の第1の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。 And the 1st aspect of the vehicle periphery monitoring apparatus of this invention is the camera calibration means which performs the calibration which closes the shutter of the said camera and adjusts the sensitivity of the image pick-up element of the said camera, whenever predetermined conditions are satisfied, When the relative speed calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the camera calibration means Calibration time determination means for determining whether or not calibration is performed, and the relative speed calculation means is based on a change in the real space position of the object at the predetermined time by the calibration time determination means. When it is determined that the calibration is executed when calculating the relative speed of the object with respect to the vehicle Based on the change in the real space position of the object calculated by the real space position calculation means, the target is obtained by extending the predetermined time by a time during which the camera cannot image the vehicle periphery by the calibration. The relative speed of the object with respect to the vehicle is calculated.
かかる本発明によれば、前記キャリブレーション時期判断手段により、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて該対象物の相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記相対速度算出手段は、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出する。これにより、前記相対速度算出手段は、前記キャリブレーションが実行された場合であっても、前記所定時間分の対象物の実空間位置の変化に基いて対象物の車両に対する相対速度を精度良く算出することができる。そのため、キャリブレーションの実行により対象物の車両に対する相対速度の算出精度が低下して、車両周囲の監視が不十分となることを防止することができる。 According to the present invention, when the relative speed calculation means calculates the relative speed of the object based on a change in the real space position of the object at the predetermined time by the calibration time determination means, When it is determined that calibration is to be performed, the relative speed calculation means calculates the real space position at a time obtained by extending the predetermined time by a time during which the camera cannot image the vehicle periphery by the calibration. Based on the change in the real space position of the object calculated by the means, the relative speed of the object with respect to the vehicle is calculated. Thereby, the relative speed calculation means accurately calculates the relative speed of the object with respect to the vehicle based on the change in the real space position of the object for the predetermined time even when the calibration is executed. can do. For this reason, it is possible to prevent the accuracy of calculating the relative speed of the object with respect to the vehicle from being reduced due to the execution of calibration, and monitoring the surroundings of the vehicle from becoming insufficient.
なお、車両が停止している場合(車両の速度がゼロ)には、対象物が車両方向に移動する速度が、上述した対象物の車両に対する相対速度となる。 When the vehicle is stopped (the vehicle speed is zero), the speed at which the object moves in the vehicle direction is the relative speed of the object to the vehicle described above.
また、本発明の車両周辺監視装置の第2の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、前記カメラ校正手段は、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。 According to a second aspect of the vehicle periphery monitoring device of the present invention, camera calibration means for performing calibration for adjusting the sensitivity of the image sensor of the camera by closing the shutter of the camera each time a predetermined condition is satisfied, Contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle, and the camera calibration means is configured to detect the object by the contact determination means when the predetermined condition is satisfied. When it is determined that the real space position is within a predetermined distance from the vehicle, the calibration is not performed.
かかる本発明によれば、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から前記所定距離以内であると判定されたときには、前記カメラ校正手段は前記キャリブレーションを行なわない。これにより、対象物が車両に接近した状態で、前記キャリブレーションの実行により車両周辺の画像の取得が中断されて、車両周辺の監視が不十分となることを防止することができる。 According to the present invention, when the predetermined condition is satisfied, when the contact determination unit determines that the real space position of the object is within the predetermined distance from the vehicle, the camera calibration unit is configured to perform the calibration. Do not perform Accordingly, it is possible to prevent the monitoring of the vehicle periphery from being insufficient due to the acquisition of the image of the vehicle periphery being interrupted by the execution of the calibration while the object is close to the vehicle.
次に、本発明の車両は、周囲を撮像するシャッター付きのカメラと、該カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両に関する。 Next, a vehicle according to the present invention includes a camera with a shutter that images the surroundings, an object detection unit that detects an object around the vehicle from an image captured by the camera, and an object detected by the object detection unit. A real space position calculating means for calculating the real space position of the object, and a relative speed of the object relative to the vehicle based on a change in the real space position of the object calculated by the real space position calculating means in a predetermined time. The present invention relates to a vehicle including a relative speed calculation unit and a vehicle periphery monitoring unit that monitors the periphery of the vehicle based on the relative speed of the object calculated by the relative speed calculation unit with respect to the vehicle.
そして、本発明の車両の第1の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。 And the 1st aspect of the vehicle of this invention is a camera calibration means which performs the calibration which closes the shutter of the said camera and adjusts the sensitivity of the image pick-up element of the said camera each time predetermined conditions are satisfied, and the said relative speed When the calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the calibration by the camera calibration means is performed. Calibration time determination means for determining whether or not to be performed, and the relative speed calculation means uses the calibration time determination means based on a change in the real space position of the object during the predetermined time. When it is determined that the calibration is executed when calculating the relative speed of the object to the vehicle, Based on the change in the real space position of the object calculated by the real space position calculation means in the time extended by the time that the camera cannot image the vehicle periphery by the calibration. The relative speed with respect to is calculated.
かかる本発明によれば、上述した本発明の車両周辺監視装置の第1の態様と同様に、前記キャリブレーション時期判断手段により、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて該対象物の相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記相対速度算出手段は、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出する。これにより、前記相対速度算出手段は、前記キャリブレーションが実行された場合であっても、前記所定時間分の対象物の実空間位置の変化に基いて対象物の車両に対する相対速度を精度良く算出することができる。そのため、キャリブレーションの実行により対象物の車両に対する相対速度の算出精度が低下して、車両周辺の監視が不十分となることを防止することができる。 According to the present invention, as in the first aspect of the vehicle periphery monitoring apparatus of the present invention described above, the calibration time determination means causes the relative speed calculation means to determine the real space position of the object at the predetermined time. When the relative speed of the object is calculated based on the change of the object, if it is determined that the calibration is executed, the relative speed calculation means determines that the predetermined time is the vehicle periphery by the camera. The relative speed of the object with respect to the vehicle is calculated based on the change in the actual space position of the object calculated by the actual space position calculation means during the time extended by the time when the imaging becomes impossible. Thereby, the relative speed calculation means accurately calculates the relative speed of the object with respect to the vehicle based on the change in the real space position of the object for the predetermined time even when the calibration is executed. can do. Therefore, it is possible to prevent the accuracy of calculation of the relative speed of the object with respect to the vehicle from being reduced due to the execution of calibration, and monitoring the surroundings of the vehicle to be insufficient.
また、本発明の車両の第2の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。 According to a second aspect of the vehicle of the present invention, there is provided a camera calibration means for performing calibration for adjusting the sensitivity of the image sensor of the camera by closing the shutter of the camera each time a predetermined condition is satisfied; Contact determination means for determining whether or not the real space position is within a predetermined distance from the vehicle, and the camera calibration means uses the contact determination means to detect the actual object when the calibration time comes. The calibration is not performed when it is determined that the spatial position is within a predetermined distance from the vehicle.
かかる本発明によれば、上述した本発明の車両周辺監視装置の第2の態様と同様に、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から前記所定距離以内であると判定されたときには、前記カメラ校正手段は前記キャリブレーションを行なわない。これにより、対象物が車両に接近した状態で、前記キャリブレーションの実行により車両周辺の画像の取得が中断されて、車両周辺の監視が不十分となることを防止することができる。 According to the present invention, similar to the second aspect of the vehicle periphery monitoring device of the present invention described above, when the predetermined condition is satisfied, the contact determination means causes the real space position of the object to be detected from the vehicle. When it is determined that the distance is within the predetermined distance, the camera calibration unit does not perform the calibration. Accordingly, it is possible to prevent the monitoring of the vehicle periphery from being insufficient due to the acquisition of the image of the vehicle periphery being interrupted by the execution of the calibration while the object is close to the vehicle.
次に、本発明の車両周辺監視用プログラムは、車両に搭載されて該車両の周囲を撮像するシャッター付きのカメラによる撮像画像のデータにアクセスする手段を有するコンピュータに、該撮像画像から該車両周辺の対象物を監視する機能を実現するプログラムであって、該コンピュータを、前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段として機能させるプログラムに関する。 Next, the vehicle periphery monitoring program according to the present invention includes a computer having means for accessing data of an image captured by a camera with a shutter that is mounted on a vehicle and images the periphery of the vehicle. A program for realizing a function of monitoring a target object of the vehicle, wherein the computer detects a target object around the vehicle from an image captured by the camera, and a target object detected by the target object detection means A real space position calculating means for calculating the real space position of the object, and a relative speed of the object relative to the vehicle based on a change in the real space position of the object calculated by the real space position calculating means in a predetermined time. Relative speed calculation means and vehicle periphery monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object calculated by the relative speed calculation means with respect to the vehicle A program to work with.
そして、本発明の車両周辺監視用プログラムの第1の態様は、前記コンピュータを、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段として機能させ、前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする。 In the first aspect of the vehicle periphery monitoring program of the present invention, the computer performs calibration for adjusting the sensitivity of the image sensor of the camera by closing the shutter of the camera each time a predetermined condition is satisfied. When the camera calibration means and the relative speed calculation means calculate the relative speed of the object with respect to the vehicle based on a change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the It functions as a calibration time determination means for determining whether or not the calibration is performed by the camera calibration means, and the relative speed calculation means is configured to detect the real space position of the object at the predetermined time by the calibration time determination means. When calculating the relative speed of the object with respect to the vehicle based on the change in Is determined to be executed, the actual time of the object calculated by the real space position calculating means is extended at a time that the predetermined time is extended by the time when the camera cannot image the vehicle periphery. A relative speed of the object with respect to the vehicle is calculated based on a change in a spatial position.
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置の第1の態様及び本発明の車両の第1の態様における、前記対象物検出手段と、前記実空間位置算出手段と、前記相対速度算出手段と、前記カメラ校正手段と、前記キャリブレーション時期判断手段とを構成することができる。 By causing the computer to execute the vehicle periphery monitoring program of the present invention, the object detection means in the first aspect of the vehicle periphery monitoring device of the present invention and the first aspect of the vehicle of the present invention described above The real space position calculation means, the relative speed calculation means, the camera calibration means, and the calibration time determination means can be configured.
また、本発明の車両周辺監視用プログラムの第2の態様は、所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段として機能させ、前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする。 According to a second aspect of the vehicle periphery monitoring program of the present invention, there is provided a camera calibration means for performing calibration for adjusting the sensitivity of the image pickup device of the camera by closing the shutter of the camera each time a predetermined condition is satisfied. , Function as contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle, the camera calibration means, when the calibration time comes, by the contact determination means, The calibration is not performed when it is determined that the real space position of the object is within a predetermined distance from the vehicle.
かかる本発明の車両周辺監視用プログラムを前記コンピュータに実行させることによって、上述した本発明の車両周辺監視装置の第1の態様及び本発明の車両の第2の態様における、前記対象物検出手段と、前記実空間位置算出手段と、前記相対速度算出手段と、前記カメラ校正手段と、前記接触判定手段とを構成することができる。 By causing the computer to execute the vehicle periphery monitoring program of the present invention, the object detection means in the first aspect of the vehicle periphery monitoring apparatus of the present invention and the second aspect of the vehicle of the present invention described above The real space position calculation means, the relative speed calculation means, the camera calibration means, and the contact determination means can be configured.
本発明の実施の形態について、図1〜図4を参照して説明する。図1は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は、画像処理ユニット1と、遠赤外線を検出可能な赤外線カメラ(本発明のカメラに相当する)2R,2Lと、車両のヨーレートを検出するヨーレートセンサ3と、車両の走行速度を検出する車速センサ4と、ブレーキペダルの操作状態を検出するプレーキセンサ5と、音声により警報を行うためのスピーカ6と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ(以下、HUDという)7とを備えている。
Embodiments of the present invention will be described with reference to FIGS. FIG. 1 is a configuration diagram of a vehicle surrounding monitoring apparatus according to the present invention. The vehicle surrounding monitoring apparatus according to the present invention includes an
赤外線カメラ2R,2Lは、車両(図示しない)の前部に、車両の横方向の中心軸に対して対象な位置に配置されており、赤外線カメラ2R,2Lの光軸を互いに平行とし、赤外線カメラ2R,2Lの路面からの高さを等しくして設けられている。赤外線カメラ1R,1Lは、撮像する対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増大する)特性を有している。また、赤外線カメラ2Rには、撮像素子への入光を遮断するためのシャッター20Rが設けられており、同様に、赤外線カメラ2Lにはシャッター20Lが設けられている。
The
画像処理ユニット2は、赤外線カメラ2R,2Lから出力されるアナログの映像信号をディジタル信号に変換するA/D変換回路、ディジタル変換した画像データを保持する画像メモリ、各種演算処理を行うCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備えている。
The image processing unit 2 includes an A / D conversion circuit that converts analog video signals output from the
そして、CPUがROMに保持された制御用プログラムを実行することによって、画像処理ユニット1は、赤外線カメラ2R,2Lにより得られる画像から対象物を検出する対象物検出手段10、該対象物の実空間位置を算出する実空間位置算出手段11、該対象物と車両間の相対速度を算出する相対速度算出手段12、該対象物と車両の接触可能性を判定する接触判定手段13(本発明の車両周辺監視手段の機能を含む)、対象物の相対速度の算出中に赤外線カメラ2R,2Lの撮像素子のキャリブレーション時期が重なるか否かを判断するキャリブレーション時期判断手段14、及び赤外線カメラ2R,2Lの撮像素子のキャリブレーションを行なうカメラ校正手段15として機能する。
Then, when the CPU executes the control program stored in the ROM, the
次に、図2〜3に示したフローチャートに従って、画像処理ユニット1による車両周辺の対象物の監視処理と、赤外線カメラ2R,2Lの撮像素子のキャリブレーション(以下、単にキャリブレーションという)について説明する。画像処理ユニット1は、図2,図3のフローチャートを繰り返し実行して、車両周辺の対象物の監視処理を行うと共に、所定のキャリブレーション実行条件が成立したときにキャリブレーションを行なう。
Next, according to the flowcharts shown in FIGS. 2 to 3, the monitoring processing of the object around the vehicle by the
ここで、キャリブレーションは、赤外線カメラ2R,2Lの撮像素子の感度特性の変化を補償するために、適宜行なう必要がある。キャリブレーションを実行する条件(本発明の所定条件に相当する)として、本実施の形態では、所定周期毎にキャリブレーションを行うことが設定されている。
Here, calibration needs to be performed as appropriate in order to compensate for changes in sensitivity characteristics of the image sensors of the
図2のSTEP1で、画像処理ユニット1はカウンタ変数ctをゼロとする。そして、キャリブレーション時期判断手段14は、図2のSTEP2〜STEP7のループにより、車両周囲の対象物の実空間位置が検出されているときに、STEP2でキャリブレーションの実行タイミングとなっているか否かを判断する。そして、キャリブレーションの実行タイミングとなっているときにはSTEP20に分岐し、キャリブレーションの実行タイミングとなっていないときにはSTEP3に進む。
In STEP1 of FIG. 2, the
STEP3で、対象物検出手段10が、赤外線カメラ2R,2Lの撮像画像から車両周辺の対象物を検出し、続くSTEP4で、実空間位置算出手段11が、該対象物の実空間位置(実空間における車両から対象物までの距離)Zを算出する。そして、STEP5でカウンタ変数ctがカウントアップされ(ct←ct+1)、STEP6で対象物の実空間位置Zの算出値が配列変数L[ct](ct=1〜6)に保持される。
In
そして、STEP7でカウント変数ctが6になったときにSTEP8に進み、相対速度算出手段12が、配列変数L[1]〜L[6]に保持された対象物の6個の実空間距離Zのデータから、対象物と車両間の相対速度Vsを算出する。 Then, when the count variable ct becomes 6 in STEP 7, the process proceeds to STEP 8, where the relative speed calculation means 12 has the six real space distances Z of the objects held in the array variables L [1] to L [6]. From the data, the relative speed Vs between the object and the vehicle is calculated.
また、次のSTEP9で、接触判定手段13が、対象物と車両が所定時間(例えば2〜5秒程度に設定される)以内に接触する可能性があるか否かを判定する。そして、接触判定手段13は、対象物と車両が所定時間以内に接触する可能性があると判定したときは、HUD7に警報表示を行なうと共に、スピーカ6から警報音声を出力して、運転者に注意を促す。
Further, in the next STEP 9, the contact determination means 13 determines whether or not there is a possibility that the object and the vehicle are in contact within a predetermined time (for example, set to about 2 to 5 seconds). When the contact determination means 13 determines that there is a possibility that the object and the vehicle are in contact with each other within a predetermined time, the contact determination means 13 displays an alarm on the HUD 7 and outputs an alarm sound from the
なお、STEP4における対象物の実空間位置Zの算出処理、STEP8における対象物と車両間の相対速度Vsの算出処理、及びSTEP9における対象物と車両との接触可能性の判定処理については、上述した特開2001−6096号公報等に記載された従来の技術により実行可能であるため、ここでは説明を省略する。 Note that the processing for calculating the actual space position Z of the object in STEP 4, the processing for calculating the relative speed Vs between the object and the vehicle in STEP 8, and the processing for determining the possibility of contact between the object and the vehicle in STEP 9 are described above. Since it can be executed by the conventional technique described in Japanese Patent Application Laid-Open No. 2001-6096, the description thereof is omitted here.
次に、図4を参照して、対象物の実空間位置(実空間における車両から対象物までの距離)Zの算出とキャリブレーションの実行タイミングの調整について説明する。図4は、縦軸を対象物の実空間位置Zとし、横軸を画像入力のタイミングtとした説明図である。 Next, the calculation of the real space position (distance from the vehicle to the target object in the real space) Z and adjustment of the calibration execution timing will be described with reference to FIG. FIG. 4 is an explanatory diagram in which the vertical axis is the real space position Z of the object and the horizontal axis is the image input timing t.
画像処理ユニット1は、図2のSTEP2〜STEP7のループによる制御周期ΔT3毎にカメラ2R,2Lにより車両周辺の画像を取り込んで対象物の実空間位置Zを算出し、6個分の対象物の実空間位置Z(L[1],L[2],・・・,L[6])を算出したときに、STEP8で、対象物と車両間の相対速度Vsを算出している。そして、このように制御周期ΔT3の6周期分の期間ΔT1(=6×ΔT3、本発明の所定時間に相当する)における対象物の実空間位置Zの変化に基いて、対象物と車両間の相対速度Vsを算出することにより、相対速度Vsの算出精度を高めている。
The
一方、キャブレーションは、基本的には、所定周期(例えば2分)が経過する毎に実行されるが、キャリブレーションはカメラ2R,2Lのシャッター20R,20Lを閉じて行うため、キャリブレーションの実行中(図中ΔT2の間)は、車両周辺の画像を取得することができない。
On the other hand, the calibration is basically executed every time a predetermined period (for example, 2 minutes) elapses, but the calibration is performed by closing the
図4では、t1でSTEP2〜STEP7のループが開始され、t1,t2,t3で対象物Mの実空間位置Zが取得されている。そして、t4でキャリブレーションの実行タイミングとなって、t4〜t5の間(ΔT2)キャリブレーションが実行されている。この場合、t1からΔT1の期間で対象物と車両間の相対速度Vsを算出すると、t1,t2,t3における3個分の対象物Mの実空間位置Zから相対速度Vsを算出することになり、相対速度Vsの算出精度が低下する。
In Figure 4, the loop is started at t 1 STEP2~STEP7, t 1, t 2,
そこで、図2のSTEP2〜STEP7のループでは、STEP7でカウンタ変数ctが6になったとき、すなわち、6個分の対象物の実空間位置Zが算出されたときに、STEP8に進んで、6個分の対象物Mの実空間位置の算出値(L[1],L[2],・・・,L[6])から対象物と車両間の相対速度Vsを算出している。そして、これにより、対象物と車両間の相対速度Vsの算出精度の低下を防止している。 Therefore, in the loop of STEP2 to STEP7 in FIG. 2, when the counter variable ct becomes 6 in STEP7, that is, when the real space positions Z of the six objects are calculated, the process proceeds to STEP8. The relative speed Vs between the object and the vehicle is calculated from the calculated values (L [1], L [2],..., L [6]) of the real space positions of the objects M. This prevents a decrease in the calculation accuracy of the relative speed Vs between the object and the vehicle.
図4の例では、t1,t2,t3,t7,t8,t9で取得された車両周囲の画像から検出された対象物の実空間位置Zの変化により、対象物と車両間の相対速度Vsを算出している。この場合、ΔT1からキャリブレーションの実行時間ΔT2分延長された期間(ΔT1+ΔT2)における対象物Mの実空間位置Zの変化によって、対象物と車両間の相対速度Vsが算出される。 In the example of FIG. 4, the object and the vehicle are caused by the change in the real space position Z of the object detected from the images around the vehicle acquired at t 1 , t 2 , t 3 , t 7 , t 8 , and t 9. The relative speed Vs is calculated. In this case, the relative speed Vs between the object and the vehicle is calculated by the change in the real space position Z of the object M in the period (ΔT1 + ΔT2) extended from ΔT1 by the calibration execution time ΔT2.
また、対象物Mが車両に接近して、対象物Mの実空間位置Zが警報予測限界Zl内に入ったときには、キャリブレーションを禁止して、接近した対象物Mとの接触可能性の判定を優先することが有効である。そこで、接触判定手段13は、図3に示したフローチャートを実行し、STEP50で警報予測対象物がある(対象物Mが車両に接近して警報予測限界Zl内に入っている)と判断したときは、STEP60に分岐して警報予測フラグAL_Fをセット(AL_F=1)する。また、警報予測対象物がない(対象物Mが車両から警報予測限界Zlよりも離れている)ときにはSTEP51に進み、接触判定手段13は、警報予測フラグAL_Fをリセット(AL_F=0)する。 Further, when the object M approaches the vehicle and the real space position Z of the object M falls within the warning prediction limit Zl, the calibration is prohibited, and the possibility of contact with the approaching object M is determined. It is effective to prioritize. Therefore, when the contact determination means 13 executes the flowchart shown in FIG. 3 and determines in STEP 50 that there is an alarm prediction target (the target M is close to the vehicle and falls within the alarm prediction limit Zl). Branches to STEP 60 and sets the alarm prediction flag AL_F (AL_F = 1). Further, when there is no warning prediction target (the target M is away from the warning prediction limit Z1) from the vehicle, the process proceeds to STEP 51, and the contact determination means 13 resets the warning prediction flag AL_F (AL_F = 0).
そして、これにより、図2のSTEP2でキャリブレーションの実行条件が成立してSTEP20に分岐し、STEP20で警報予測フラグAL_Fがセット(AL_F=1)されていたときにはSTEP3に進むようにして、キャリブレーションを禁止している。 As a result, the execution condition of the calibration is established in STEP2 of FIG. 2 and the process branches to STEP20. When the alarm prediction flag AL_F is set (AL_F = 1) in STEP20, the process proceeds to STEP3 and the calibration is prohibited. is doing.
例えば、図4のt10から図2のSTEP2〜STEP7のループを開始した場合に、t11でキャリブレーションを実行すると、STEP2〜STEP7のループにより6個分の対象物の実空間位置Zを算出して、対象物と車両間の相対速度を算出するタイミングが、対象物が警報予測限界以内に接近した時になる。そのため、この場合には、接触判定手段13により警報予測フラグAL_Fがセット(AL_F=1)され、カメラ校正手段15によるキャリブレーションの実行が禁止される。
For example, calculated when you start STEP2~STEP7 loop of Figure 2 from t 10 in FIG. 4, when the calibration is performed at t 11, the real space position Z of 6 pieces of the object by loop STEP2~STEP7 The timing for calculating the relative speed between the object and the vehicle is when the object approaches within the warning prediction limit. Therefore, in this case, the alarm prediction flag AL_F is set by the contact determination unit 13 (AL_F = 1), and the execution of calibration by the
また、STEP20で警報予測フラグAL_Fがリセット(AL_F=0)されていたときはSTEP30に分岐し、カメラ校正手段15は、キャリブレーションを実行する。カメラ校正手段15は、カメラ2Rのシャッター20Rとカメラ2Lのシャッター20Lを閉じて、カメラ2Rとカメラ2Lの撮像素子に入光されない状態とし、この状態における撮像画像の輝度が一定となるように赤外線撮像素子の感度を設定して、キャリブレーションを行なう。
If the alarm prediction flag AL_F is reset (AL_F = 0) in STEP 20, the process branches to STEP 30, and the
なお、本実施の形態においては、本発明の撮像手段として赤外線カメラ2を用いたが、可視光のみを検出可能な通常のカメラを用いる場合であっても、本発明の適用が可能である。 In this embodiment, the infrared camera 2 is used as the imaging means of the present invention. However, the present invention can be applied even when a normal camera capable of detecting only visible light is used.
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。 Further, in the present embodiment, the configuration in which the front of the vehicle is imaged is shown, but it is also possible to determine the possibility of contact with the monitoring object by imaging other directions such as the rear and side of the vehicle. Good.
1…画像処理ユニット、2…赤外線カメラ(カメラ)、3…ヨーレートセンサ、4…車速センサ、5…ブレーキセンサ、6…スピーカ、7…HUD、10…対象物検出手段、11…実空間位置算出手段、12…相対速度算出手段、13…接触判定手段、14…キャリブレーション時期判断手段、15…カメラ校正手段
DESCRIPTION OF
Claims (6)
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両周辺監視装置。 An object detection means for detecting an object around the vehicle from an image captured by a camera with a shutter mounted on the vehicle and imaging the periphery of the vehicle;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
A vehicle periphery monitoring device that monitors the periphery of the vehicle based on the relative speed of the object calculated by the relative speed calculation means,
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
When the relative speed calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the camera calibration means Calibration time determination means for determining whether or not calibration is performed,
The relative speed calculation means performs the calibration when the calibration time determination means calculates the relative speed of the object with respect to the vehicle based on a change in the real space position of the object during the predetermined time. When it is determined that the real space position of the object calculated by the real space position calculation means is extended by a time when the predetermined time is extended by the time when the camera cannot image the periphery of the vehicle. A vehicle periphery monitoring device that calculates a relative speed of the object with respect to the vehicle based on the change of the vehicle.
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段とを備え、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視装置であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、
前記カメラ校正手段は、前記所定条件が成立したときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両周辺監視装置。 An object detection means for detecting an object around the vehicle from an image captured by a camera with a shutter mounted on the vehicle and imaging the periphery of the vehicle;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
A vehicle periphery monitoring device that monitors the periphery of the vehicle based on the relative speed of the object calculated by the relative speed calculation means,
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
Contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle,
The camera calibration unit does not perform the calibration when the predetermined condition is satisfied and the contact determination unit determines that the real space position of the object is within a predetermined distance from the vehicle. A vehicle periphery monitoring device.
該カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段とを備え、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両。 A camera with a shutter that captures the surroundings,
Object detection means for detecting an object around the vehicle from an image captured by the camera;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
Vehicle surrounding monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object to the vehicle calculated by the relative speed calculating means,
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
When the relative speed calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the camera calibration means Calibration time determination means for determining whether or not calibration is performed,
The relative speed calculation means performs the calibration when the calibration time determination means calculates the relative speed of the object with respect to the vehicle based on a change in the real space position of the object during the predetermined time. When it is determined that the real space position of the object calculated by the real space position calculation means is extended by a time when the predetermined time is extended by the time when the camera cannot image the periphery of the vehicle. A vehicle characterized in that a relative speed of the object with respect to the vehicle is calculated on the basis of the change in.
該カメラによる撮像画像から周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段とを備えた車両であって、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段とを備え、
前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両。 A camera with a shutter that captures the surroundings,
Object detection means for detecting a surrounding object from an image captured by the camera;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
Vehicle surrounding monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object to the vehicle calculated by the relative speed calculating means,
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
Contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle,
The camera calibration means does not perform the calibration when the contact determination means determines that the real space position of the object is within a predetermined distance from the vehicle at the calibration time. Characteristic vehicle.
前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段と、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
前記相対速度算出手段が、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記所定条件が成立して前記カメラ校正手段による前記キャリブレーションが行なわれるか否かを判断するキャリブレーション時期判断手段として機能させ、
前記相対速度算出手段は、前記キャリブレーション時期判断手段により、前記所定時間における対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出するときに、前記キャリブレーションが実行されると判断されたときには、前記所定時間を該キャリブレーションにより前記カメラによる車両周辺の撮像が不能となる時間分延長した時間において、前記実空間位置算出手段により算出された対象物の実空間位置の変化に基いて、該対象物の車両に対する相対速度を算出することを特徴とする車両周辺監視用プログラム。 A program for realizing a function of monitoring a target object around the vehicle from the captured image on a computer mounted on the vehicle and having means for accessing data of the captured image by a camera with a shutter that captures the surroundings of the vehicle The computer
An object detection means for detecting an object around the vehicle from an image captured by the camera;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
Vehicle periphery monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object to the vehicle calculated by the relative speed calculation means;
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
When the relative speed calculation means calculates the relative speed of the object relative to the vehicle based on the change in the real space position of the object during the predetermined time, the predetermined condition is satisfied and the camera calibration means Function as a calibration time determination means for determining whether or not calibration is performed,
The relative speed calculation means performs the calibration when the calibration time determination means calculates the relative speed of the object with respect to the vehicle based on a change in the real space position of the object during the predetermined time. When it is determined that the real space position of the object calculated by the real space position calculation means is extended by a time when the predetermined time is extended by the time when the camera cannot image the periphery of the vehicle. A vehicle periphery monitoring program that calculates a relative speed of the object with respect to the vehicle based on the change of the vehicle.
前記カメラによる撮像画像から車両周囲の対象物を検出する対象物検出手段と、
該対象物検出手段により検出された対象物の実空間位置を算出する実空間位置算出手段と、
該実空間位置算出手段により算出された対象物の実空間位置の所定時間における変化に基いて、該対象物の車両に対する相対速度を算出する相対速度算出手段と、
該相対速度算出手段により算出された対象物の車両に対する相対速度に基いて、車両周辺を監視する車両周辺監視手段と、
所定条件が成立する毎に、前記カメラのシャッターを閉じて前記カメラの撮像素子の感度を調節するキャリブレーションを行なうカメラ校正手段と、
対象物の実空間位置が車両から所定距離以内であるか否かを判定する接触判定手段として機能させ、
前記カメラ校正手段は、前記キャリブレーション時期となったときに、前記接触判定手段により、対象物の実空間位置が車両から所定距離以内であると判定されたときには、前記キャリブレーションを行なわないことを特徴とする車両周辺監視用プログラム。 A program for realizing a function of monitoring a target object around the vehicle from the captured image on a computer mounted on the vehicle and having means for accessing data of the captured image by a camera with a shutter that captures the surroundings of the vehicle The computer
An object detection means for detecting an object around the vehicle from an image captured by the camera;
Real space position calculating means for calculating the real space position of the object detected by the object detecting means;
A relative speed calculation means for calculating a relative speed of the object with respect to the vehicle based on a change in the real space position of the object calculated by the real space position calculation means in a predetermined time;
Vehicle periphery monitoring means for monitoring the periphery of the vehicle based on the relative speed of the object to the vehicle calculated by the relative speed calculation means;
Camera calibration means for performing calibration for closing the camera shutter and adjusting the sensitivity of the image sensor of the camera each time a predetermined condition is satisfied;
Function as contact determination means for determining whether the real space position of the object is within a predetermined distance from the vehicle;
The camera calibration means does not perform the calibration when the contact determination means determines that the real space position of the object is within a predetermined distance from the vehicle at the calibration time. A vehicle periphery monitoring program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008000601A JP4470070B2 (en) | 2008-01-07 | 2008-01-07 | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008000601A JP4470070B2 (en) | 2008-01-07 | 2008-01-07 | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009163506A true JP2009163506A (en) | 2009-07-23 |
JP4470070B2 JP4470070B2 (en) | 2010-06-02 |
Family
ID=40966055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008000601A Expired - Fee Related JP4470070B2 (en) | 2008-01-07 | 2008-01-07 | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4470070B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018125639A (en) * | 2017-01-31 | 2018-08-09 | 株式会社Jvcケンウッド | Thermal image processing apparatus, infrared imaging apparatus, thermal image processing method, and thermal image processing program |
US10708510B2 (en) | 2017-07-31 | 2020-07-07 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
WO2023199465A1 (en) * | 2022-04-14 | 2023-10-19 | 日立Astemo株式会社 | Vehicle-mounted image processing device and calibration method therefor |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104442569B (en) * | 2014-11-14 | 2016-11-02 | 东风汽车有限公司 | Automobile monitoring image generation method and system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08292262A (en) * | 1995-04-24 | 1996-11-05 | Opt:Kk | Electronic distance meter |
JP2005096752A (en) * | 1999-01-14 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Infrared ray image pickup device, and vehicle with the device mounted thereon |
JP2006185434A (en) * | 2004-11-30 | 2006-07-13 | Honda Motor Co Ltd | Vehicle circumference monitoring device |
-
2008
- 2008-01-07 JP JP2008000601A patent/JP4470070B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08292262A (en) * | 1995-04-24 | 1996-11-05 | Opt:Kk | Electronic distance meter |
JP2005096752A (en) * | 1999-01-14 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Infrared ray image pickup device, and vehicle with the device mounted thereon |
JP2006185434A (en) * | 2004-11-30 | 2006-07-13 | Honda Motor Co Ltd | Vehicle circumference monitoring device |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018125639A (en) * | 2017-01-31 | 2018-08-09 | 株式会社Jvcケンウッド | Thermal image processing apparatus, infrared imaging apparatus, thermal image processing method, and thermal image processing program |
WO2018142687A1 (en) * | 2017-01-31 | 2018-08-09 | 株式会社Jvcケンウッド | Thermal image processing device, infrared imaging device, thermal image processing method, and thermal image processing program |
CN109644237A (en) * | 2017-01-31 | 2019-04-16 | Jvc 建伍株式会社 | Thermal image processing device, infrared ray filming apparatus, thermal image processing method and thermal image processing program |
US10769816B2 (en) | 2017-01-31 | 2020-09-08 | Jvckenwood Corporation | Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program |
CN109644237B (en) * | 2017-01-31 | 2020-09-29 | Jvc 建伍株式会社 | Thermal image processing apparatus and method, infrared imaging apparatus, and storage medium |
US10708510B2 (en) | 2017-07-31 | 2020-07-07 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
US11272114B2 (en) | 2017-07-31 | 2022-03-08 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
US11792528B2 (en) | 2017-07-31 | 2023-10-17 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
WO2023199465A1 (en) * | 2022-04-14 | 2023-10-19 | 日立Astemo株式会社 | Vehicle-mounted image processing device and calibration method therefor |
Also Published As
Publication number | Publication date |
---|---|
JP4470070B2 (en) | 2010-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5503730B2 (en) | Vehicle periphery monitoring device | |
US10769816B2 (en) | Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program | |
US20110304746A1 (en) | Image capturing device, operator monitoring device, method for measuring distance to face, and program | |
JP2010103975A5 (en) | Imaging device, imaging method, program | |
JP2010139563A5 (en) | ||
JP2010139666A5 (en) | Imaging apparatus and control method thereof | |
JP4470070B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program | |
US20180061075A1 (en) | Distance measurement device and image capturing control device | |
JP4757932B2 (en) | Exposure control device and exposure control method for vehicle imaging device | |
JP2013115449A5 (en) | ||
JP2018004918A5 (en) | ||
JP2015094899A5 (en) | ||
JP2010250156A5 (en) | ||
JP2014187496A (en) | Fault detection device | |
JPWO2017042998A1 (en) | In-vehicle stereo camera device and correction method thereof | |
JP2020091355A5 (en) | Control device, image pickup device, lens device and control method | |
JP4760100B2 (en) | Image processing apparatus and vehicle driving support apparatus using the same | |
JP2013205723A5 (en) | ||
JP2013054399A (en) | Vehicle periphery monitoring device | |
JP2007174113A (en) | Obstacle detection system and obstacle detection method | |
JP2007174112A (en) | Far-infrared imaging apparatus and output value correction method | |
JP2015095857A5 (en) | Image processing apparatus and image processing method | |
JP2010016650A5 (en) | ||
JP2009294974A (en) | Intruder detection device by image processing | |
JP2009150841A (en) | Lens abnormality self-diagnosis method, imaging device, lens abnormality self-diagnosis system, and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |