JP2007336288A - Obstacle detection system and obstacle detection method - Google Patents
Obstacle detection system and obstacle detection method Download PDFInfo
- Publication number
- JP2007336288A JP2007336288A JP2006166298A JP2006166298A JP2007336288A JP 2007336288 A JP2007336288 A JP 2007336288A JP 2006166298 A JP2006166298 A JP 2006166298A JP 2006166298 A JP2006166298 A JP 2006166298A JP 2007336288 A JP2007336288 A JP 2007336288A
- Authority
- JP
- Japan
- Prior art keywords
- far
- infrared imaging
- correction value
- imaging device
- offset correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、外部を撮像する遠赤外線撮像装置の出力輝度値を補正することにより、視差画像間の輝度値を調整して障害物の検出精度を高く維持する障害物検出システム及び障害物検出方法に関する。 The present invention relates to an obstacle detection system and an obstacle detection method in which the brightness value between parallax images is adjusted to maintain high obstacle detection accuracy by correcting the output brightness value of a far-infrared imaging device that images the outside. About.
自動車等の車両の走行の安全を確保すべく、ナイトビジョン等の遠赤外線撮像装置により歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。通常、車両前方の所定の位置に、左右2基の遠赤外線撮像装置を設置し、ステレオ視により検出した障害物までの距離を算出している。 In order to ensure the safety of traveling of vehicles such as automobiles, many obstacle detection systems that detect the presence of obstacles such as pedestrians and bicycles using far-infrared imaging devices such as night vision have been developed. Usually, two far-infrared imaging devices are installed at a predetermined position in front of the vehicle, and the distance to the obstacle detected by stereo vision is calculated.
例えば左右の遠赤外線撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を検出し、ステレオ視により該領域までの距離を算出し、所定の距離内である場合に運転者へ通知することにより、車両走行の安全を確保している。 For example, from an image captured by the left and right far-infrared imaging devices, an area where an obstacle, for example, a human being is present is detected by pattern matching with a predetermined reference pattern, and a distance to the area is calculated by stereo vision. Vehicle safety is ensured by notifying the driver when the distance is within a predetermined distance.
遠赤外線撮像装置は、複数の撮像素子で構成されており、撮像素子で出力された輝度値をA/D変換して、デジタル信号として出力する。左右別個に配置された遠赤外線撮像装置で撮像する場合、対象物が同一であっても検出する熱量が相違し、出力値が相違する。したがって、ステレオ視により検出した障害物までの距離を正確に算出するためには、同一の対象物であることを確実に検出することができるよう、同一の対象物の撮像データの輝度値が同一となるよう遠赤外線撮像装置の出力値を補正する必要がある。 The far-infrared imaging device is composed of a plurality of imaging elements, A / D-converts luminance values output from the imaging elements, and outputs them as digital signals. When images are taken by far-infrared imaging devices arranged separately on the left and right, even if the target is the same, the amount of heat to be detected is different and the output value is different. Therefore, in order to accurately calculate the distance to the obstacle detected by stereo vision, the luminance values of the imaging data of the same object are the same so that the same object can be reliably detected. It is necessary to correct the output value of the far-infrared imaging device so that
例えば非特許文献1では、撮像素子ごとに相違している感度の非均一性を補正する方法の代表例であるNUC(Non-Uniformity Correction)について開示されており、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、遠赤外線撮像装置からの出力値を補正している。
しかし、従来の撮像装置の出力値の補正方法では、絶対温度を正確に把握してオフセット補正値を算出していないことから、同一の物体を撮像した場合であっても、周囲の環境に応じて出力値が異なり、障害物を示す領域である場合もあれば、障害物を示す領域ではない場合もある。したがって、車両の左右に配置されている撮像装置で同一の障害物を撮像した場合であっても、同一の物体であると判断されないおそれがあり、障害物の検出漏れ、又は誤検出のおそれがあるという問題点があった。 However, in the conventional correction method of the output value of the imaging device, the absolute temperature is accurately grasped and the offset correction value is not calculated. Therefore, even when the same object is imaged, it depends on the surrounding environment. The output values may be different and may be an area indicating an obstacle or may not be an area indicating an obstacle. Therefore, even when the same obstacle is imaged by the imaging devices arranged on the left and right sides of the vehicle, it may not be determined that the object is the same, and there is a risk of detection omission of an obstacle or erroneous detection. There was a problem that there was.
また、車両の左右に遠赤外線撮像装置が設置されている場合、一方の遠赤外線撮像装置でNUCを行っている間は、該遠赤外線撮像装置で撮像することはできない。したがって、左右の遠赤外線撮像装置で同時にNUCを行った場合には、撮像されるべき画像が存在せず、障害物の検出漏れが生じるおそれがあった。 Further, when far-infrared imaging devices are installed on the left and right sides of the vehicle, it is impossible to capture an image with the far-infrared imaging device while NUC is performed with one far-infrared imaging device. Therefore, when NUC is performed simultaneously with the left and right far-infrared imaging devices, there is a possibility that an image to be captured does not exist and an obstacle detection failure occurs.
本発明は、斯かる事情に鑑みてなされたものであり、NUCを行うタイミングを調整することにより、障害物の検出漏れを未然に防止することができる障害物検出システム及び障害物検出方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and provides an obstacle detection system and an obstacle detection method capable of preventing an obstacle from being detected in advance by adjusting the timing of performing NUC. The purpose is to do.
上記目的を達成するために第1発明に係る障害物検出システムは、車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出システムにおいて、前記遠赤外線撮像装置は、マトリックス状に配列された複数の撮像素子と、該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶する手段と、撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する手段とを備え、一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始するようにしてあることを特徴とする。 In order to achieve the above object, an obstacle detection system according to a first aspect of the present invention acquires parallax images captured by a plurality of far-infrared imaging devices that image the periphery of a vehicle in time series, and detects obstacles in the image. In the obstacle detection system for detecting presence, the far-infrared imaging device includes a plurality of imaging elements arranged in a matrix, an offset correction value for correcting an output value for a predetermined temperature for each imaging element, and each imaging element. A means for storing a gain correction value for correcting a difference in output value with respect to a predetermined rate of temperature change, and an image data stored based on image data obtained by imaging the surface of a shutter that opens and closes an opening for entering the image sensor. Means for updating the offset correction value for each element, and one far infrared imaging device updates the offset correction value after the other far infrared imaging device has updated the offset correction value. If older than a time corresponding to the over arm, characterized in that you have to start updating of the offset correction value.
また、第2発明に係る障害物検出システムは、第1発明において、一の遠赤外線撮像装置が、オフセット補正値を更新している場合、他の遠赤外線撮像装置は、撮像された画像データから、前記一の遠赤外線撮像装置がオフセット補正値の更新を開始する前に検出された障害物を抽出し、抽出された障害物の位置の変化を時系列的に記憶するようにしてあることを特徴とする。 In the obstacle detection system according to the second invention, in the first invention, when one far infrared imaging device updates the offset correction value, the other far infrared imaging device uses the captured image data. The one far-infrared imaging device extracts an obstacle detected before starting to update the offset correction value, and stores a change in the position of the extracted obstacle in time series. Features.
また、第3発明に係る障害物検出方法は、車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出方法において、前記遠赤外線撮像装置にて、マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶し、撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新し、一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始することを特徴とする。 The obstacle detection method according to the third aspect of the present invention is an obstacle detection method that acquires parallax images captured by a plurality of far-infrared imaging devices that image the periphery of a vehicle in time series and detects the presence of an obstacle in the image. In the object detection method, in the far-infrared imaging device, an offset correction value for correcting an output value for a predetermined temperature for each of a plurality of imaging elements arranged in a matrix and an output value for a predetermined temperature change rate for each imaging element The gain correction value for correcting the difference between the image pickup devices is stored, and the stored offset correction value for each image pickup device is updated based on the image data obtained by picking up the surface of the shutter that opens and closes the opening that enters the image pickup device. This far-infrared imaging device updates the offset correction value when a time corresponding to one frame of image data has elapsed after another far-infrared imaging device has updated the offset correction value. Characterized in that it starts to.
第1発明、及び第3発明では、車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する。遠赤外線撮像装置は、マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶しておき、撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する。一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始する。このようにすることで、一方の遠赤外線撮像装置にてオフセット補正値を更新してから、少なくとも1フレーム分の画像データを複数の遠赤外線撮像装置から取得することができ、ステレオ視による障害物までの測距が可能となる。また、一方の遠赤外線撮像装置にてオフセット補正値を更新中であっても、他方の遠赤外線撮像装置で撮像された画像を取得することができ、撮像された画像が途切れる状態が発生することを未然に回避することができ、安全な障害物検出システムを実現することが可能となる。 In the first invention and the third invention, parallax images captured by a plurality of far-infrared imaging devices that image the periphery of the vehicle in time series are acquired, and the presence of an obstacle in the image is detected. The far-infrared imaging device includes an offset correction value for correcting an output value for a predetermined temperature for each of a plurality of image sensors arranged in a matrix and a gain correction for correcting a difference between output values for a predetermined temperature change rate for each image sensor. The value is stored, and the stored offset correction value for each image sensor is updated based on the image data obtained by imaging the surface of the shutter that opens and closes the opening that enters the image sensor. One far-infrared imaging device starts updating the offset correction value when a time corresponding to one frame of image data has elapsed after the other far-infrared imaging device has updated the offset correction value. In this way, after updating the offset correction value in one far-infrared imaging device, it is possible to acquire image data for at least one frame from a plurality of far-infrared imaging devices. Ranging up to is possible. In addition, even when the offset correction value is being updated by one far-infrared imaging device, the image captured by the other far-infrared imaging device can be acquired, and the captured image is interrupted. Can be avoided and a safe obstacle detection system can be realized.
第2発明では、一の遠赤外線撮像装置が、オフセット補正値を更新している場合、他の遠赤外線撮像装置は、撮像された画像データから、一の遠赤外線撮像装置がオフセット補正値の更新を開始する前に検出された障害物を抽出し、抽出された障害物の位置の変化を時系列的に記憶する。NUCを実行している場合であっても少なくとも一方の遠赤外線撮像装置の画像を取得することができ、前の画像データに基づいて既に検出されている障害物の移動位置を追尾(トラッキング)することにより、一方の遠赤外線撮像装置にてオフセット補正値を更新中であっても検出された障害物を監視することができ、より安全な障害物検出システムを実現することが可能となる。 In the second invention, when one far-infrared imaging device updates the offset correction value, the other far-infrared imaging device updates the offset correction value from the captured image data. The obstacle detected before starting is extracted, and the change of the position of the extracted obstacle is stored in time series. Even when NUC is executed, an image of at least one far-infrared imaging device can be acquired, and the movement position of an obstacle that has already been detected is tracked (tracked) based on the previous image data. Thus, the detected obstacle can be monitored even when the offset correction value is being updated by one of the far-infrared imaging devices, and a safer obstacle detection system can be realized.
本発明によれば、一方の遠赤外線撮像装置にてオフセット補正値を更新してから、少なくとも1フレーム分の画像データを複数の遠赤外線撮像装置から取得することができ、ステレオ視による障害物までの測距が可能となる。また、一方の遠赤外線撮像装置にてオフセット補正値を更新中であっても、他方の遠赤外線撮像装置で撮像された画像を取得することができ、撮像された画像が途切れる状態が発生することを未然に回避することができ、安全な障害物検出システムを実現することが可能となる。 According to the present invention, after updating the offset correction value in one far-infrared imaging device, it is possible to acquire image data for at least one frame from a plurality of far-infrared imaging devices, up to an obstacle by stereo vision. Ranging is possible. In addition, even when the offset correction value is being updated by one far-infrared imaging device, the image captured by the other far-infrared imaging device can be acquired, and the captured image is interrupted. Can be avoided and a safe obstacle detection system can be realized.
図1は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方の障害物、例えば歩行者、自転車等の存在を検出する場合を例として説明する。なお、遠赤外線撮像装置は、波長が7〜14マイクロメートルの赤外光を用いた撮像装置である。 FIG. 1 is a schematic diagram showing a configuration of an obstacle detection system according to an embodiment of the present invention. In the present embodiment, a case will be described as an example in which the presence of an obstacle in front of the vehicle, such as a pedestrian or a bicycle, is detected based on an image captured by a far-infrared imaging device during traveling. The far infrared imaging device is an imaging device using infrared light having a wavelength of 7 to 14 micrometers.
図1において、1、2は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外線撮像装置である。遠赤外線撮像装置1、2は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。遠赤外線撮像装置1、2で撮像された画像データは、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して接続してある検出装置3へ送信される。
In FIG. 1,
検出装置3は、遠赤外線撮像装置1、2の他、操作部を備えた表示装置4とは、NTSC、VGA、DVI等の映像方式に対応したケーブル8を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置5等の出力装置とは、CANに準拠した車載LANケーブル6を介して接続されている。
In addition to the far-
図2は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置1(2)の構成を示すブロック図である。画像撮像部11は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング(micromachining)技術を用いた酸化バナジウムのボロメータ型、BST(Barium−Strontium−Titanium)の焦電型等の赤外線センサを用いている。画像撮像部11は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部12へ送信する。
FIG. 2 is a block diagram showing a configuration of the far-infrared imaging device 1 (2) of the obstacle detection system according to the embodiment of the present invention. The image pickup unit 11 includes image pickup elements that convert optical signals into electric signals in a matrix. As an imaging device for infrared light, an infrared sensor such as a vanadium oxide bolometer type using a micromachining technique or a BST (Barium-Strontium-Titanium) pyroelectric type sensor is used. The image capturing unit 11 reads an infrared light image around the vehicle as a luminance signal, and transmits the read luminance signal to the
信号処理部12は、LSIであり、画像撮像部11から受信した輝度信号をRGB信号等のデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ13へ記憶する。
The
画像撮像部11は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、LSI基板である信号処理部12へ送信する。図3は、本発明の実施の形態に係る遠赤外線撮像装置1(2)の信号処理部12の構成を示すブロック図である。信号処理部12は、LSI16が動作を制御するA/D変換部121、NUC(Non-Uniformity Correction)処理部122、BPR(Bad-Pixel Replacement)処理部123、及びフラッシュメモリ等の不揮発性メモリであるRAM125で構成されている。
The image capturing unit 11 reads an infrared light image around the vehicle as a luminance signal, and transmits the read luminance signal to the
信号処理部12は、画像撮像部11から受信した輝度信号をA/D変換部121でデジタル信号に変換し、NUC(Non-Uniformity Correction)処理部122で撮像素子ごとに出力された輝度信号を補正する。
The
NUC処理部122では、キャリブレーションによる補正係数として、撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値、及び必要に応じて撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、輝度信号を補正する。例えばi行j列のマトリックス状に配列された撮像素子ごとの出力輝度値をVijとした場合、NUC処理部では(数1)に示す演算を行うことにより撮像素子ごとの輝度値をV’ijへ補正する。なお、本実施の形態で「キャリブレーション」とは、黒体炉等の温度分布が略均一で有る対象物を撮像することにより、撮像素子からの出力輝度値のばらつきを補正する処理を意味する。
In the
(数1)において、Gijはゲイン補正値を、Oijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの出力輝度値に基づいて算出した値である。 In (Equation 1), G ij indicates a gain correction value, and O ij indicates an offset correction value. For example, an output for each image sensor when an object having a uniform temperature distribution such as a black body furnace or a shutter is imaged. This is a value calculated based on the luminance value.
本実施の形態では、表面の温度分布が略均一である板状のシャッター72を対物レンズ71と画像撮像部11との間に開閉することが可能に設けてあり、シャッター72が閉じられた状態で撮像した場合の撮像素子ごとの出力輝度値に基づいて、オフセット補正値を随時補正する。なお、図2では、機械式のプレーンシャッターを例に挙げているが、表面の温度分布が均一であれば、どのような構成のシャッターであっても良い。
In the present embodiment, a plate-
2つの遠赤外線撮像装置1、2の信号処理部12のLSI16は、検出装置3を介して、又は直接通信線を別途接続することにより、互いにデータ通信を行い、2つの遠赤外線撮像装置1、2でシャッター72、72を撮像した場合に出力される輝度値の平均値を両者で一致させる。例えば、遠赤外線撮像装置1を、オフセット補正値を更新する基準となるマスター装置とし、遠赤外線撮像装置2をマスター装置に依存してオフセット補正値を更新するスレーブ装置とした場合、遠赤外線撮像装置2のLSI16は、キャリブレーション実行時にシャッター72を閉じ、遠赤外線撮像装置2で撮像された輝度値の平均値を、遠赤外線撮像装置1で撮像された輝度値の平均値と一致させるようオフセット補正値を更新し、遠赤外線撮像装置2のRAM125に記憶させる。
The
なお、シャッター72、72の表面温度を検出するべく、シャッター72、72の画像撮像部11側の表面に、表面温度を検出する手段、例えば熱電対、サーモパイル、ダイオード型温度センサ等のセンサを取り付け、表面温度の絶対値を揃えるようオフセット補正値及びゲイン補正値を算出しても良い。
In order to detect the surface temperature of the
信号処理部12のNUC処理部122は、記憶してあるオフセット補正値及びゲイン補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。なお、撮像素子には所定の割合で欠陥が生じている撮像素子が含まれる。したがって、LSI16は、BPR(Bad-Pixel Replacement)処理部123にて、欠陥が生じている撮像素子の出力値を、周囲の撮像素子の出力値を代表する値、例えば欠陥が生じている撮像素子の出力値を除外した周囲の撮像素子の出力値の平均値へ補正する。
The
通信インタフェース部14は、LSIであり、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して検出装置3に映像データを出力する。なお、画像データを画像メモリ13へ一時記憶することは必須ではなく、通信インタフェース部14を介して直接検出装置3へ送信しても良いことは言うまでもない。
The
図4は、本発明の実施の形態に係る障害物検出システムの検出装置3の構成を示すブロック図である。撮像装置インタフェース部31aは、遠赤外線撮像装置1、2から映像信号の入力を行うとともに、キャリブレーション実行時にはシャッター72を撮像した画像の出力輝度値の平均値を遠赤外線撮像装置1、2間で転送する。なお、画像データがデジタル化された状態である場合にはデジタル対応の映像ケーブル7を介して転送され、アナログデータである場合には、別途通信線を接続して転送する。撮像装置インタフェース部31aは、遠赤外線撮像装置1、2から入力された画像データを、1フレーム単位に同期させて画像メモリ32に記憶する。また、映像出力部31bは、映像ケーブル8を介して液晶ディスプレイ等の表示装置4に対して画像データを出力し、通信インタフェース部31cは車載LANケーブル6を介してブザー、スピーカ等の警報装置5に対して合成音等の出力信号を送信する。
FIG. 4 is a block diagram showing the configuration of the
画像メモリ32は、SRAM、フラッシュメモリ、SDRAM等であり、撮像装置インタフェース部31aを介して遠赤外線撮像装置1から入力された画像データを記憶する。
The
画像処理を行うLSI33は、画像メモリ32に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置1から取得した画像データに基づいて、障害物候補領域を特定する。LSI33は、障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。なお、RAM331は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。
The
以下、遠赤外線撮像装置1、2でのキャリブレーション処理のタイミング制御について説明する。図5は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置1(マスター装置)の信号処理部12のLSI16の処理の手順を示すフローチャートである。
Hereinafter, timing control of calibration processing in the far-
遠赤外線撮像装置1(マスター装置)の信号処理部12のLSI16は、キャリブレーションの実行指示を発行、又は検出装置3から取得し(ステップS501)、前回のキャリブレーションの開始時から所定時間T1が経過したか否かを判断する(ステップS502)。所定時間T1は、遠赤外線撮像装置1でキャリブレーションを開始してから、キャリブレーションに要する時間ΔTに、少なくとも画像データ1フレーム分に相当する時間αを加えた時間T2の倍以上の時間として設定する。
The
図6は、遠赤外線撮像装置1(マスター装置)での待ち時間(所定時間)T1及び後述する遠赤外線撮像装置2(スレーブ装置)での待ち時間T2を模式的に示す図である。図6の(1)、(2)は、それぞれ遠赤外線撮像装置1、2の処理の時間軸を示しており、ハッチング部分がキャリブレーションの実行時間帯を示している。マスター装置である遠赤外線撮像装置1でキャリブレーションの実行が開始されてから、キャリブレーションに要する時間ΔT及び1フレーム分に相当する時間αが経過するまでは、スレーブ装置である遠赤外線撮像装置2でのキャリブレーションを実行しないよう、遠赤外線撮像装置2のLSI16が制御する。
FIG. 6 is a diagram schematically showing a waiting time (predetermined time) T1 in the far-infrared imaging device 1 (master device) and a waiting time T2 in the far-infrared imaging device 2 (slave device) described later. (1) and (2) in FIG. 6 show the time axes of the processing of the far-
すなわち、左右の遠赤外線撮像装置1、2で同時にキャリブレーションを実行する場合、シャッター72、72が閉じられることから、周辺の画像が途切れる。したがって、検出装置3による障害物の検出処理も中断することから、キャリブレーション実行時の安全を担保することができない。
In other words, when the calibration is executed simultaneously by the left and right far-
そこで、本実施の形態では、交互にキャリブレーションを実行すると共に、遠赤外線撮像装置1でのキャリブレーション終了時から遠赤外線撮像装置2でのキャリブレーション開始時までに少なくとも画像データ1フレーム分の時間間隔を空ける。このようにすることで、検出装置3は、常時いずれか一方の画像データを取得することができる。
Therefore, in the present embodiment, calibration is executed alternately, and at least the time corresponding to one frame of image data from the end of calibration in the far
また、検出装置3は、一方の画像データのみを取得している期間には、既に検出された障害物の動向を追尾する、いわゆるトラッキング処理のみを実行することができる。したがって、検出装置3は、トラッキング処理に入る直前に必ず障害物の検出処理を実行しておく必要がある。そこで、本実施の形態では、遠赤外線撮像装置1でのキャリブレーション終了時から遠赤外線撮像装置2でのキャリブレーション開始時までに少なくとも画像データ1フレーム分の時間間隔を空けるよう制御することにより、検出装置3は、キャリブレーションを実行していない期間に必ず1フレーム分以上の画像データを取得することができ、障害物の検出処理を実行することが可能となる。
In addition, the
同様に、遠赤外線撮像装置2でのキャリブレーション終了時から遠赤外線撮像装置1でのキャリブレーション開始時までにも、少なくとも画像データ1フレーム分の時間間隔を空けることにより、検出装置3は、キャリブレーションを実行していない期間に必ず1フレーム分以上の画像データを取得することができ、障害物の検出処理を実行することができる。したがって、遠赤外線撮像装置1では、一度キャリブレーションを実行してから再度キャリブレーションを実行するまでには、キャリブレーションに要する時間ΔTに、少なくとも画像データ1フレーム分に相当する時間αを加えた時間T2の倍以上の時間間隔を設けることにより、キャリブレーションを交互に実行した場合であっても、検出装置3は、障害物の検出を続行することが可能となる。
Similarly, the
LSI16は、前回のキャリブレーションの開始時から所定時間T1が経過するまで待ち状態となり(ステップS502:NO)、LSI16が、所定時間T1が経過したと判断した場合(ステップS502:YES)、LSI16は、内蔵するタイマ等の計時手段をリセットして計時を開始する(ステップS503)。LSI16は、遠赤外線撮像装置2(スレーブ装置)へ、キャリブレーションを開始した旨を示す情報を送信する(ステップS504)。
The
LSI16は、シャッター72の動作を制御するアクチュエータ(図示せず)に対して、シャッター72の閉止指示を送出する(ステップS505)。閉止指示を受け付けたアクチュエータは、シャッター72を閉止する。
The
LSI16は、シャッター72を閉止した状態で、シャッター72の表面を撮像した画像データを取得し(ステップS506)、平均輝度値を算出する(ステップS507)。LSI16は、算出された平均輝度値に基づいて、撮像素子ごとのバラツキを均一化するオフセット補正値を算出して、RAM125に記憶する(ステップS508)。
The
LSI16は、RAM125に記憶したオフセット補正値を遠赤外線撮像装置2(スレーブ装置)へ送信して(ステップS509)、シャッター72の動作を制御するアクチュエータ(図示せず)に対して、シャッター72の開放指示を送出する(ステップS510)。開放指示を受け付けたアクチュエータは、シャッター72を開放する。
The
図7は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置2(スレーブ装置)の信号処理部12のLSI16の処理の手順を示すフローチャートである。遠赤外線撮像装置2(スレーブ装置)の信号処理部12のLSI16は、キャリブレーションの実行指示を発行、又は検出装置3から取得し(ステップS701)、遠赤外線撮像装置1(マスター装置)からのキャリブレーションを開始した旨を示す情報を受信したか否かを判断する(ステップS702)。LSI16は、キャリブレーションを開始した旨を示す情報を受信するまで待ち状態となり(ステップS702:NO)、LSI16が、キャリブレーションを開始した旨を示す情報を受信したと判断した場合(ステップS702:YES)、LSI16は、内蔵するタイマ等の計時手段をリセットして計時を開始する(ステップS703)。
FIG. 7 is a flowchart showing a processing procedure of the
LSI16は、所定時間T2が経過したか否かを判断し(ステップS704)、LSI16は、所定時間T2が経過するまで待ち状態となる(ステップS704:NO)。LSI16が、所定時間T2が経過したと判断した場合(ステップS704:YES)、LSI16は、シャッター72の動作を制御するアクチュエータ(図示せず)に対して、シャッター72の閉止指示を送出する(ステップS705)。閉止指示を受け付けたアクチュエータは、シャッター72を閉止する。
The
LSI16は、シャッター72を閉止した状態で、シャッター72の表面を撮像した画像データを取得し(ステップS706)、平均輝度値を算出する(ステップS707)。LSI16は、算出された平均輝度値に基づいて、撮像素子ごとのバラツキを均一化するオフセット補正値を算出する(ステップS708)。
The
LSI16は、遠赤外線撮像装置1(マスター装置)で算出されたオフセット補正値を受信し(ステップS709)、受信したオフセット補正値と、算出されたオフセット補正値とが略一致するか否かを判断する(ステップS710)。LSI16が、両者が一致しないと判断した場合(ステップS710:NO)、LSI16は、遠赤外線撮像装置1(マスター装置)から受信したオフセット補正値をRAM125に記憶する(ステップS711)。これにより、遠赤外線撮像装置1と遠赤外線撮像装置2とで出力される輝度値を略一致させることが可能となる。
The
LSI16が、両者が略一致すると判断した場合(ステップS710:YES)、LSI16は、算出したオフセット補正値をRAM125に記憶する(ステップS712)。LSI16は、シャッター72の動作を制御するアクチュエータ(図示せず)に対して、シャッター72の開放指示を送出する(ステップS713)。開放指示を受け付けたアクチュエータは、シャッター72を開放する。
When the
なお、遠赤外線撮像装置1、2のオフセット補正値を更新するタイミングは、一定時間間隔であっても良いし、周辺環境の温度変化が所定範囲を超えたことを検出装置3が温度センサ(図示せず)等を介して認識した場合に指示を送信するものであっても良い。
The timing for updating the offset correction values of the far-
以上のように本実施の形態によれば、遠赤外線撮像装置1(マスター装置)にてオフセット補正値を更新してから、少なくとも1フレーム分の画像データを左右の遠赤外線撮像装置1、2から取得することができ、ステレオ視による障害物までの測距を含めて障害物の検出を行うことが可能となる。また、遠赤外線撮像装置1(マスター装置)又は遠赤外線撮像装置2(スレーブ装置)にてオフセット補正値を更新中であっても、他方の遠赤外線撮像装置で撮像された画像は確実に取得することができ、撮像された画像が途切れる状態が発生することを未然に回避することができ、安全な障害物検出システムを実現することが可能となる。
As described above, according to the present embodiment, after updating the offset correction value in the far-infrared imaging device 1 (master device), image data for at least one frame is transferred from the left and right far-
なお、上述した実施の形態では、遠赤外線撮像装置1、2の信号処理部12のLSI16がオフセット補正値の算出処理を行っているが、特にこれに限定されるものではなく、例えば検出装置3のLSI33が算出処理を行っても良いことは言うまでも無い。
In the above-described embodiment, the
1 遠赤外線撮像装置(マスター装置)
2 遠赤外線撮像装置(スレーブ装置)
3 検出装置
4 表示装置
5 警報装置
11 画像撮像部
12 信号処理部
13 画像メモリ
14 通信インタフェース部
15 内部バス
16 LSI
121 A/D変換部
122 NUC処理部
123 BPR処理部
125 RAM
1 Far-infrared imaging device (master device)
2 Far-infrared imaging device (slave device)
DESCRIPTION OF
121 A /
Claims (3)
前記遠赤外線撮像装置は、
マトリックス状に配列された複数の撮像素子と、
該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶する手段と、
撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する手段と
を備え、
一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始するようにしてあることを特徴とする障害物検出システム。 In an obstacle detection system that acquires parallax images captured by a plurality of far-infrared imaging devices that image the periphery of a vehicle in time series, and detects the presence of an obstacle in the image,
The far-infrared imaging device is:
A plurality of imaging devices arranged in a matrix;
Means for storing an offset correction value for correcting an output value for a predetermined temperature for each image sensor and a gain correction value for correcting a difference in output value for a predetermined temperature change rate for each image sensor;
Means for updating an offset correction value for each stored image sensor based on image data obtained by imaging the surface of a shutter that opens and closes an opening for entering the image sensor; and
One far-infrared imaging device starts updating the offset correction value when a time corresponding to one frame of image data has elapsed after the other far-infrared imaging device has updated the offset correction value. Obstacle detection system characterized by
前記遠赤外線撮像装置にて、
マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶し、
撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新し、
一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ1フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始することを特徴とする障害物検出方法。 In the obstacle detection method for acquiring parallax images captured by a plurality of far-infrared imaging devices that image the periphery of a vehicle in time series, and detecting the presence of an obstacle in the image,
In the far infrared imaging device,
Storing an offset correction value for correcting an output value for a predetermined temperature for each of a plurality of image sensors arranged in a matrix and a gain correction value for correcting a difference in output value for a predetermined temperature change rate for each image sensor;
Based on the image data obtained by imaging the surface of the shutter that opens and closes the opening for entering the image sensor, the stored offset correction value for each image sensor is updated.
One far-infrared imaging device starts updating an offset correction value when another far-infrared imaging device has updated an offset correction value and a time corresponding to one frame of image data has elapsed. Obstacle detection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006166298A JP4807152B2 (en) | 2006-06-15 | 2006-06-15 | Obstacle detection system and obstacle detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006166298A JP4807152B2 (en) | 2006-06-15 | 2006-06-15 | Obstacle detection system and obstacle detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007336288A true JP2007336288A (en) | 2007-12-27 |
JP4807152B2 JP4807152B2 (en) | 2011-11-02 |
Family
ID=38935329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006166298A Expired - Fee Related JP4807152B2 (en) | 2006-06-15 | 2006-06-15 | Obstacle detection system and obstacle detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4807152B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010108182A (en) * | 2008-10-29 | 2010-05-13 | Honda Motor Co Ltd | Vehicle driving support apparatus |
WO2011114624A1 (en) * | 2010-03-17 | 2011-09-22 | 本田技研工業株式会社 | Vehicle surroundings monitoring device |
WO2017073348A1 (en) * | 2015-10-27 | 2017-05-04 | 富士フイルム株式会社 | Infrared imaging device, control method for same, and vehicle |
US9819925B2 (en) | 2014-04-18 | 2017-11-14 | Cnh Industrial America Llc | Stereo vision for sensing vehicles operating environment |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04225191A (en) * | 1990-12-27 | 1992-08-14 | Omron Corp | Human organism detector |
JPH11211469A (en) * | 1998-01-29 | 1999-08-06 | Fuji Heavy Ind Ltd | Stereo image processing system |
WO2000042399A1 (en) * | 1999-01-14 | 2000-07-20 | Matsushita Electric Industrial Co., Ltd. | Infrared imaging device, vehicle with the same, and infrared image adjusting device |
JP2000341719A (en) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | Stereoscopic camera |
JP2005096752A (en) * | 1999-01-14 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Infrared ray image pickup device, and vehicle with the device mounted thereon |
WO2006028180A1 (en) * | 2004-09-10 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | Camera and camera device |
-
2006
- 2006-06-15 JP JP2006166298A patent/JP4807152B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04225191A (en) * | 1990-12-27 | 1992-08-14 | Omron Corp | Human organism detector |
JPH11211469A (en) * | 1998-01-29 | 1999-08-06 | Fuji Heavy Ind Ltd | Stereo image processing system |
WO2000042399A1 (en) * | 1999-01-14 | 2000-07-20 | Matsushita Electric Industrial Co., Ltd. | Infrared imaging device, vehicle with the same, and infrared image adjusting device |
JP2005096752A (en) * | 1999-01-14 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Infrared ray image pickup device, and vehicle with the device mounted thereon |
JP2000341719A (en) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | Stereoscopic camera |
WO2006028180A1 (en) * | 2004-09-10 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | Camera and camera device |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010108182A (en) * | 2008-10-29 | 2010-05-13 | Honda Motor Co Ltd | Vehicle driving support apparatus |
WO2011114624A1 (en) * | 2010-03-17 | 2011-09-22 | 本田技研工業株式会社 | Vehicle surroundings monitoring device |
CN103098110A (en) * | 2010-03-17 | 2013-05-08 | 本田技研工业株式会社 | Vehicle surroundings monitoring device |
JPWO2011114624A1 (en) * | 2010-03-17 | 2013-06-27 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
US9123247B2 (en) | 2010-03-17 | 2015-09-01 | Honda Motor Co., Ltd. | Surrounding area monitoring apparatus for vehicle |
US9819925B2 (en) | 2014-04-18 | 2017-11-14 | Cnh Industrial America Llc | Stereo vision for sensing vehicles operating environment |
WO2017073348A1 (en) * | 2015-10-27 | 2017-05-04 | 富士フイルム株式会社 | Infrared imaging device, control method for same, and vehicle |
JPWO2017073348A1 (en) * | 2015-10-27 | 2018-10-04 | 富士フイルム株式会社 | Infrared imaging device, control method therefor, and vehicle |
US10511789B2 (en) | 2015-10-27 | 2019-12-17 | Fujifilm Corporation | Infrared imaging device, control method thereof, and vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP4807152B2 (en) | 2011-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102021999B1 (en) | Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner | |
US9123247B2 (en) | Surrounding area monitoring apparatus for vehicle | |
JP4910529B2 (en) | Obstacle detection system and obstacle detection method | |
KR101314259B1 (en) | Image synthesis system and image synthesis method | |
JP4242334B2 (en) | Vehicle periphery monitoring device | |
US20190221004A1 (en) | Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program | |
JP4807152B2 (en) | Obstacle detection system and obstacle detection method | |
WO2014148161A1 (en) | Fault detection device | |
JP4742883B2 (en) | Far-infrared imaging device and output value correction method | |
JP6970568B2 (en) | Vehicle peripheral monitoring device and peripheral monitoring method | |
US20190005625A1 (en) | Techniques for scene-based nonuniformity correction in shutterless fir cameras | |
JP2008026998A (en) | Obstacle location calculation system and method | |
JP2010124028A (en) | Monitoring apparatus | |
JP2007174113A (en) | Obstacle detection system and obstacle detection method | |
KR102347226B1 (en) | Fusion sensor data visualization device and method | |
JP2007045336A (en) | System and method for detecting obstacle | |
JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
JP2007174112A (en) | Far-infrared imaging apparatus and output value correction method | |
JP4816308B2 (en) | Far infrared imaging system and far infrared imaging method | |
JP2007325120A (en) | Far infrared imaging system and far infrared imaging method | |
JP2008042759A (en) | Image processing apparatus | |
JP2009080003A (en) | Imaging apparatus and lens failure diagnosis system | |
JP2009163506A (en) | Vehicle surroundings monitoring apparatus, vehicle, and vehicle surroundings monitoring program | |
JP2006197034A (en) | Image recognition system, imaging apparatus, and image recognition method | |
JP2006197015A (en) | Night vision imaging apparatus for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110801 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |