JP4222364B2 - Infrared light imaging apparatus and infrared light imaging method - Google Patents
Infrared light imaging apparatus and infrared light imaging method Download PDFInfo
- Publication number
- JP4222364B2 JP4222364B2 JP2005349876A JP2005349876A JP4222364B2 JP 4222364 B2 JP4222364 B2 JP 4222364B2 JP 2005349876 A JP2005349876 A JP 2005349876A JP 2005349876 A JP2005349876 A JP 2005349876A JP 4222364 B2 JP4222364 B2 JP 4222364B2
- Authority
- JP
- Japan
- Prior art keywords
- correction information
- luminance
- image
- value
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Studio Devices (AREA)
Description
本発明は、外部を撮像する赤外光撮像装置の出力値を、画像の品質を高めるための補正情報と共に外部へ送信することができる赤外光撮像装置、及び赤外光撮像方法に関する。 The present invention, the output value of the infrared imaging device for imaging an external, infrared imaging device capable of transmitting to the outside together with correction information to improve the quality of the image, related 及 Beauty infrared light imaging method.
自動車等の車両の安全を確保すべく、撮像装置により撮像された画像に基づいて歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。例えば車両前方のバンパー部分に可視光撮像装置を設置し、前方に存在する歩行者、自転車等の障害物を、撮像された画像から検出することにより、運転者に警告を発して安全を確保するための行動を促していた。 In order to ensure the safety of vehicles such as automobiles, many obstacle detection systems that detect the presence of obstacles such as pedestrians and bicycles based on images taken by an imaging device have been developed. For example, a visible light imaging device is installed in the bumper part in front of the vehicle, and obstacles such as pedestrians and bicycles existing in the front are detected from the captured image, thereby warning the driver and ensuring safety. To encourage action.
ここで、可視光撮像装置で対象物を撮像した場合、撮像装置ごとにレンズ、撮像素子が相違していることから、同一の対象物を撮像した場合であっても撮像装置ごとに撮像素子単位の出力輝度値が相違している。また、レンズの周縁部へ近づくにつれて、撮像された画像は歪曲しており、画像に対して適切な補正を行わない場合、障害物の誤検出又は障害物の検出漏れが生じるおそれもあった。 Here, when an object is imaged by a visible light imaging device, the lens and the imaging device are different for each imaging device, so even if the same object is imaged, the imaging device unit for each imaging device Output brightness values are different. In addition, as the image approaches the peripheral edge of the lens, the captured image is distorted, and if appropriate correction is not performed on the image, there is a risk of erroneous detection of an obstacle or omission of detection of the obstacle.
撮像された画像に基づいて歩行者、自転車等の障害物を精度良く検出するために、従来は、例えば単一色（白、黒等）を有するターゲット板を準備し、一定の距離離した状態で撮像していた。これにより、本来はすべての撮像素子が同一の出力輝度値を出力すべきところ、実際には撮像素子ごとに出力輝度値の相違が存在することから、斯かる相違を補正する補正パラメータを抽出することにより、撮像素子ごとの出力値のバラツキを補正していた。 In order to accurately detect obstacles such as pedestrians and bicycles based on the captured images, conventionally, for example, a target plate having a single color (white, black, etc.) is prepared, and in a state separated by a certain distance. I was shooting. As a result, all the image sensors should output the same output luminance value, but since there are actually differences in output luminance values for each image sensor, a correction parameter for correcting such differences is extracted. As a result, variations in the output value of each image sensor are corrected.
また、例えば碁盤の目状の格子模様を表面に印刷してあるターゲット板を一定の距離、例えば１０ｍ、２０ｍ、・・・、８０ｍ離した状態で撮像し、撮像された画像に基づいて、実際の空間座標値と画像内の座標値との対応関係を算出し、対応関係を例えばＬＵＴ（ルックアップテーブル）として記憶装置へ記憶していた。これにより、本来は格子模様が正確に撮像されるべきところ、実際にはレンズの外縁部に近づくにつれて歪曲している画像をＬＵＴにより正しい格子模様へ補正することにより、撮像装置で撮像された画像の歪曲を補正していた。 Further, for example, a target plate having a grid-like grid pattern printed on the surface is imaged at a certain distance, for example, 10 m, 20 m,..., 80 m away, and based on the captured image, The correspondence relationship between the spatial coordinate value and the coordinate value in the image is calculated, and the correspondence relationship is stored in the storage device as an LUT (lookup table), for example. As a result, the lattice pattern is supposed to be accurately imaged, but the image that is actually distorted as it approaches the outer edge of the lens is corrected to the correct lattice pattern by the LUT, whereby the image captured by the imaging device The distortion of was corrected.
撮像装置ごと上述したような補正処理を実行することにより、障害物を検出する撮像素子の出力輝度分布を均一に補正し、該撮像装置で撮像された画像の歪曲を補正することができ、より精度良く障害物を検出することができる。 By executing the correction process as described above for each imaging device, it is possible to uniformly correct the output luminance distribution of the imaging device that detects the obstacle, and to correct distortion of the image captured by the imaging device. Obstacles can be detected with high accuracy.
上述した撮像装置で撮像された画像の補正方法では、可視光で撮像する場合には撮像された画像を適切に補正することができる。しかし、夜間に撮像可能な赤外光撮像装置を用いる場合、上述した補正方法では効果的な画像補正を行うことが困難であるという問題点があった。 In the above-described method for correcting an image picked up by the image pickup apparatus, when picking up an image with visible light, the picked-up image can be corrected appropriately. However, when using an infrared imaging device capable of imaging at night, there is a problem that it is difficult to perform effective image correction by the above-described correction method.
例えば単一色（白、黒等）を有するターゲット板を準備し、一定の距離離した状態で撮像した場合、撮像素子間の出力輝度値の差異が生じにくく、出力輝度値の適切な補正を行うことは困難である。代わりに温度分布が均一なターゲット板を準備し、一定の距離離した状態で撮像することにより、同様の補正を行うことが可能である。しかし、設備的に大掛かりな設備となり、撮像装置の製造工場等では可能であっても、出荷先等では容易に補正をすることができないという問題点もあった。 For example, when a target plate having a single color (white, black, etc.) is prepared and images are taken at a certain distance, differences in output luminance values between image sensors are unlikely to occur, and appropriate correction of output luminance values is performed. It is difficult. Instead, it is possible to perform the same correction by preparing a target plate having a uniform temperature distribution and capturing images in a state where they are separated by a certain distance. However, there is a problem that the facility is large in terms of facilities and cannot be easily corrected at the shipping destination even if it is possible at the manufacturing factory of the imaging device.
また、例えば碁盤の目状の格子模様を表面に印刷してあるターゲット板を一定の距離離した状態で撮像した場合、赤外光撮像装置では格子模様自体が撮像されず、補正することができないという問題点が生じる。もちろん、格子状に熱源を配し、熱源上の温度が均一になるよう調整されたターゲット板を準備することにより、同様の補正を行うことは可能である。しかし、設備的に大掛かりとなり、撮像装置の製造工場等では可能であっても、出荷先等では容易に補正をすることができない。 In addition, for example, when an image is captured in a state where a target plate printed with a grid pattern on a surface is separated by a certain distance, the infrared light imaging device does not capture the lattice pattern itself and cannot correct it. The problem arises. Of course, it is possible to perform the same correction by arranging a heat source in a grid and preparing a target plate adjusted so that the temperature on the heat source is uniform. However, it becomes large in terms of equipment, and even if it is possible at the imaging device manufacturing factory or the like, it cannot be easily corrected at the shipping destination or the like.
さらに、撮像素子ごとの出力値を補正するためには、上述のように相応の広さを有するテスト画像撮像空間が必要であり、工場から出荷した後では補正することが困難である。しかし、実際には撮像装置の取り付け誤差、周囲温度・湿度等の環境の相違に基づくレンズ膨張・収縮等に起因する検出誤差等が後発的に発生する。これら後発的な誤差に対する補正パラメータは、撮像装置の出荷時に設定されている補正パラメータを用いて補正された後の出力輝度値から算出することは困難であり、補正される前の撮像素子ごとの出力値に基づいて算出することが望ましい。 Furthermore, in order to correct the output value for each image sensor, a test image imaging space having an appropriate area as described above is required, and it is difficult to correct after shipping from the factory. However, in reality, detection errors due to lens expansion / contraction due to differences in the environment such as the mounting error of the image pickup apparatus and the ambient temperature / humidity occur later. It is difficult to calculate the correction parameter for these subsequent errors from the output luminance value after correction using the correction parameter set at the time of shipment of the imaging apparatus. It is desirable to calculate based on the output value.
本発明は、斯かる事情に鑑みてなされたものであり、撮像装置が夜間でも撮像することが可能な赤外光撮像装置である場合であっても、複数の撮像素子の出力値を適切に補正することが可能な補正パラメータを算出することができる赤外光撮像装置、及び赤外光撮像方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and even when the imaging device is an infrared imaging device capable of imaging even at night, the output values of a plurality of imaging elements are appropriately set. infrared imaging device capable of calculating a correction parameter can be corrected, and to provide a 及 beauty-infrared light imaging method.
上記目的を達成するために第１発明に係る赤外光撮像装置は、複数の撮像素子と、該複数の撮像素子から受信した赤外光に対応するアナログの輝度信号をデジタル信号へ変換し、外部の車両安全確保システムへ送信する信号処理部とを備えた赤外光撮像装置において、前記信号処理部は、デジタル信号へ変換した後の輝度信号が示す輝度値を記憶する輝度信号記憶手段と、前記複数の撮像素子ごとに予め特定した前記輝度値に対する補正情報を記憶する補正情報記憶手段と、前記輝度信号記憶手段に記憶した複数の撮像素子ごとの輝度値を示す輝度信号、及び前記補正情報記憶手段に記憶してある撮像素子ごとの輝度値に対する補正情報を外部へ送信する送信手段とを備えることを特徴とする。 In order to achieve the above object, an infrared light imaging apparatus according to a first invention converts a plurality of imaging elements and an analog luminance signal corresponding to infrared light received from the plurality of imaging elements into a digital signal, In an infrared imaging apparatus including a signal processing unit that transmits to an external vehicle safety ensuring system , the signal processing unit includes a luminance signal storage unit that stores a luminance value indicated by a luminance signal after conversion into a digital signal a correction information storing means for storing compensation information for the luminance value specified in advance for each of the plurality of imaging devices, the luminance signal indicating the luminance value of each of the plurality of image pickup devices stored in the luminance signal storage means, and said Transmission means for transmitting correction information for the luminance value of each image sensor stored in the correction information storage means to the outside.
また、第２発明に係る赤外光撮像装置は、第１発明において、前記複数の撮像素子はマトリックス状に配列されており、前記補正情報記憶手段は、前記複数の撮像素子ごとに複数の異なる補正情報を記憶するようにしてあり、更に、前記複数の補正情報は夫々、前記複数の撮像素子からの輝度信号で形成される画像内の位置を示す座標値に対応づけられており、前記送信手段は、補正情報を外部へ送信するに際し、前記複数の補正情報を、対応づけられている前記座標値と共に送信するようにしてあることを特徴とする。 In the infrared imaging device according to the second invention, in the first invention, the plurality of imaging elements are arranged in a matrix, and the correction information storage means is different for each of the plurality of imaging elements. Correction information is stored, and each of the plurality of correction information is associated with a coordinate value indicating a position in an image formed by luminance signals from the plurality of imaging elements, and the transmission The means is characterized in that, when the correction information is transmitted to the outside, the plurality of correction information are transmitted together with the coordinate values associated therewith.
また、第３発明に係る赤外光撮像装置は、第２発明において、前記複数の補正情報の内のいずれかは、輝度値に対応する前記画像内の位置を変換するための座標変換情報であることを特徴とする。 Moreover, in the infrared light imaging device according to the third invention, in the second invention, any one of the plurality of correction information is coordinate conversion information for converting a position in the image corresponding to a luminance value. It is characterized by being.
また、第４発明に係る赤外光撮像装置は、第２又は第３発明において、前記複数の補正情報の内のいずれかは、前記撮像素子ごとに所定の温度に対する輝度値を補正する第１の補正値、及び前記撮像素子ごとに所定の温度変化率に対する輝度値の差異を補正する第２の補正値であることを特徴とする。 In the infrared imaging device according to a fourth aspect of the present invention, in the second or third aspect , any one of the plurality of correction information is a first correction for a luminance value with respect to a predetermined temperature for each imaging element. And a second correction value for correcting a difference in luminance value with respect to a predetermined temperature change rate for each of the image sensors .
また、第５発明に係る赤外光撮像装置は、第２乃至第４発明において、前記複数の補正情報の内のいずれかは、温度分布が均一な対象物を撮像した場合の前記複数の撮像素子ごとの輝度値であることを特徴とする。 In the infrared imaging device according to a fifth aspect of the present invention, in any one of the second to fourth aspects, any one of the plurality of correction information is the plurality of imaging when an object having a uniform temperature distribution is imaged. It is a luminance value for each element .
また、第６発明に係る赤外光撮像装置は、第２乃至第５発明において、前記複数の補正情報の内のいずれかは、デジタル信号へ変換した後の輝度信号が示す輝度値に基づいて予め、前記複数の撮像素子の内、各々からの輝度値と、隣接する周囲の撮像素子からの輝度値の平均値との差異が所定値より大きいか否かによって欠陥が生じていると判断された撮像素子からの輝度値が対応する画像内の位置を示す座標値であることを特徴とする。 In the infrared imaging device according to a sixth aspect of the present invention, in any one of the second to fifth aspects, any one of the plurality of correction information is based on a luminance value indicated by a luminance signal after being converted into a digital signal. It is determined in advance that a defect has occurred depending on whether or not the difference between the luminance value from each of the plurality of image pickup devices and the average value of the luminance values from adjacent surrounding image pickup devices is greater than a predetermined value. The brightness value from the image sensor is a coordinate value indicating the position in the corresponding image .
また、第７発明に係る赤外光撮像方法は、複数の撮像素子から受信した赤外光に対応するアナログの輝度信号をデジタル信号に変換し、外部の車両安全確保システムへ送信する赤外光撮像方法において、デジタル信号に変換した後の輝度信号が示す輝度値を記憶し、前記輝度値を補正するために前記複数の撮像素子ごとに予め特定した補正情報を記憶しておき、補正することなしに記憶した前記複数の撮像素子ごとの輝度値を示す輝度信号、及び記憶してある撮像素子ごとの輝度値に対する補正情報を外部へ送信することを特徴とする。 An infrared light imaging method according to a seventh aspect of the invention is an infrared light that converts an analog luminance signal corresponding to infrared light received from a plurality of image sensors into a digital signal and transmits the digital signal to an external vehicle safety ensuring system . in the imaging method, and stores the luminance value indicated by the luminance signal after converting into a digital signal, is stored in advance correction information specific to each of the plurality of image pickup elements in order to correct the luminance value, to correct A brightness signal indicating a brightness value for each of the plurality of image sensors stored without being transmitted and correction information for the stored brightness value for each image sensor are transmitted to the outside.
第１発明、及び第７発明では、複数の撮像素子ごとに赤外光に対応するアナログの輝度信号はデジタル信号へ変換され、デジタル変換後の輝度信号が示す輝度値を補正するための補正情報を予め特定しておき、特定した補正情報を赤外光撮像装置内に記憶する。複数の撮像素子ごとのデジタル変換後の輝度信号、及び記憶してある撮像素子ごとの輝度値に対する補正情報を外部のマイクロコンピュータ等へ送信する。これにより、赤外光撮像装置の出荷時に工場内でキャリブレーションを実行して特定した画像の補正情報を赤外光撮像装置内の記憶装置へ記憶しておくことにより、出荷先で赤外光撮像装置を交換した場合であっても補正情報を取得するためのキャリブレーションを実行する必要が無く、出荷先で大掛かりな設備を準備しておく必要が無い。したがって、赤外光撮像装置の交換、メンテナンス等も容易となり、赤外光撮像装置を用いた障害物検出システム、衝突判定システム等の設計の自由度が高まる。 First invention, in 及 beauty seventh invention, analog luminance signal corresponding to the infrared light for each of a plurality of image pickup elements is converted into a digital signal, the correction for correcting the luminance value indicated by the luminance signal after the digital conversion Information is specified in advance, and the specified correction information is stored in the infrared imaging device. The luminance signal after digital conversion for each of the plurality of image sensors and the correction information for the stored luminance value for each image sensor are transmitted to an external microcomputer or the like. As a result, the correction information of the image specified by performing calibration in the factory at the time of shipment of the infrared light imaging device is stored in the storage device in the infrared light imaging device. Even when the imaging device is replaced, it is not necessary to execute calibration for acquiring correction information, and it is not necessary to prepare a large facility at the shipping destination. Therefore, the infrared light imaging device can be easily replaced and maintained, and the degree of freedom in designing an obstacle detection system, a collision determination system, and the like using the infrared light imaging device is increased.
また、撮像素子の特性、レンズの特性、回路の特性等に応じた補正情報だけでは十分に補正することができない後発的に発生する誤差については、撮像素子ごとの補正前の輝度信号に応じて外部で算出することができ、画像認識に用いるのに十分な精度を確保した補正輝度値を取得することが可能となる。
更に第２発明では、複数の撮像素子ごとに複数の異なる補正情報が記憶される。なお複数の補正情報には、各撮像素子に対応する画像内での位置を示す座標値が対応付けられ、ともに送信されるので、撮像素子ごとに座標値で対応づけられる複数の補正情報の内のいずれかを任意に利用することが可能となる。
In addition, regarding errors that occur later that cannot be sufficiently corrected only with correction information according to the characteristics of the image sensor, the characteristics of the lens, the characteristics of the circuit, etc., according to the luminance signal before correction for each image sensor. It is possible to obtain a corrected luminance value that can be calculated externally and ensures sufficient accuracy for use in image recognition .
In the second invention, a plurality of different correction information is stored for each of a plurality of image sensors. The plurality of correction information is associated with a coordinate value indicating the position in the image corresponding to each image sensor and is transmitted together. Therefore, among the plurality of correction information associated with each image sensor by the coordinate value, Any of the above can be used arbitrarily.
第３発明では、補正情報は、複数の撮像素子からの出力で形成される画像内の位置を変換するための座標値を変換する座標変換情報である。これにより、例えば撮像された画像が歪曲している場合、画像内の座標値を変換することで歪曲している画像を矩形画像へ正しく変換することができ、赤外光撮像装置を交換した場合であっても、赤外光撮像装置内に記憶してある補正情報に応じて画像の歪曲を確実に補正することが可能となる。 In the third invention, the correction information is coordinate conversion information for converting a coordinate value for converting a position in an image formed by outputs from a plurality of image sensors. Thereby, for example, when the captured image is distorted, the distorted image can be correctly converted to a rectangular image by converting the coordinate value in the image, and the infrared imaging device is replaced Even so, it is possible to reliably correct the distortion of the image in accordance with the correction information stored in the infrared light imaging apparatus.
第４発明では、撮像素子ごとに所定の温度に対する輝度値を補正するいわゆるオフセット補正値を算出し、撮像素子ごとに所定の温度変化率に対する輝度値の差異を補正するいわゆるゲイン補正値を算出し、補正情報として赤外光撮像装置内の記憶装置へ記憶しておく。これにより、例えば撮像素子ごとに相違している感度の非均一性を補正する場合、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する輝度値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する輝度値の差異を補正するゲイン補正値を算出して、撮像素子ごとの温度検知感度を均一化することができ、赤外光撮像装置を交換した場合であっても、赤外光撮像装置内に記憶してある補正情報に応じて撮像素子ごとの温度検知感度を均一化することができることから、画像認識精度を高く維持することが可能となる。 In the fourth aspect of the invention, a so-called offset correction value for correcting a luminance value for a predetermined temperature is calculated for each image sensor, and a so-called gain correction value for correcting a difference in luminance value for a predetermined temperature change rate is calculated for each image sensor. Then, it is stored as correction information in a storage device in the infrared imaging device. Thus, for example, when correcting non-uniformity of sensitivity that differs for each image sensor, an offset that corrects the luminance value for a predetermined temperature for each image sensor, assuming that the response characteristics of the image sensor are linear. A correction value and a gain correction value for correcting a difference in luminance value with respect to a predetermined temperature change rate for each image sensor can be calculated, temperature detection sensitivity for each image sensor can be made uniform, and the infrared light imaging device can be Even in the case of replacement, it is possible to equalize the temperature detection sensitivity for each image sensor according to the correction information stored in the infrared imaging device, so that it is possible to maintain high image recognition accuracy. It becomes.
第５発明では、補正情報は、温度分布が均一な対象物を撮像した場合の複数の撮像素子ごとの輝度値である。これにより、同一の温度を検知した場合に同一の輝度値を出力するよう撮像素子の輝度値を補正することができ、赤外光撮像装置を交換した場合であっても、赤外光撮像装置内に記憶してある補正情報に応じて撮像素子ごとの出力輝度値のバラツキを抑制して、画像認識精度を高く維持することが可能となる。 In the fifth invention, the correction information is a luminance value for each of a plurality of image sensors when an object having a uniform temperature distribution is imaged. Thus, the luminance value of the imaging device to output the same Luminance values when detecting the same temperature can be corrected, even when replacing the infrared imaging apparatus, infrared light imaging It is possible to maintain high image recognition accuracy by suppressing variations in output luminance value for each image sensor in accordance with correction information stored in the apparatus.
第６発明では、隣接する周囲の撮像素子からの輝度値の平均値との差異が大きい輝度値を出力する撮像素子からの輝度値が対応する画像内の座標値を補正情報として記憶する。これにより、例えば欠陥が生じている撮像素子の座標値を特定することができ、画像認識時に斯かる撮像素子の輝度値を無視する等することにより、画像認識精度を高く維持することが可能となる。 In the sixth aspect of the invention, the coordinate value in the image corresponding to the luminance value from the imaging element that outputs a luminance value having a large difference from the average value of the luminance values from adjacent surrounding imaging elements is stored as correction information. Thereby, for example, it is possible to specify the coordinate value of the image pickup device in which a defect has occurred, and to ignore the luminance value of the image pickup device at the time of image recognition, and to maintain high image recognition accuracy. Become.
第１発明、及び第７発明によれば、赤外光撮像装置の出荷時に工場内でキャリブレーションを実行して特定した画像の補正情報を赤外光撮像装置内の記憶装置へ記憶しておくことにより、出荷先で赤外光撮像装置を交換した場合であっても補正情報を取得するためのキャリブレーションを実行する必要が無く、出荷先で大掛かりな設備を準備しておく必要が無い。したがって、赤外光撮像装置の交換、メンテナンス等も容易となり、赤外光撮像装置を用いた障害物検出システム、衝突判定システム等の設計の自由度が高まる。 The first invention according to the seventh invention 及 beauty, and stores the correction information of the image specified by executing the calibration in the factory at the time of shipment of the infrared imaging device to a storage device of the infrared light imaging in the apparatus Therefore, even if the infrared imaging device is replaced at the shipping destination, there is no need to execute calibration for acquiring correction information, and it is not necessary to prepare a large facility at the shipping destination. . Therefore, the infrared light imaging device can be easily replaced and maintained, and the degree of freedom in designing an obstacle detection system, a collision determination system, and the like using the infrared light imaging device is increased.
また、撮像素子の特性、レンズの特性、回路の特性等に応じた補正情報だけでは十分に補正することができない後発的に発生する誤差については、撮像素子ごとの補正前の輝度信号が示す輝度値に応じて外部で算出することができ、画像認識に用いるのに十分な精度を確保した補正輝度値を取得することが可能となる。
第２発明によれば、撮像素子の特性、レンズの特性、回路の特性等の複数の条件に応じた複数の異なる補正情報が外部にて得られるので、後発的に発生した状況などもふくめ、各状況に応じていずれかの補正情報を任意に利用して輝度値を補正することが可能である。
In addition, regarding errors that occur later that cannot be corrected sufficiently with only correction information according to the characteristics of the image sensor, lens characteristics, circuit characteristics, etc., the brightness indicated by the brightness signal before correction for each image sensor Depending on the value , it can be calculated externally, and it is possible to obtain a corrected luminance value that ensures sufficient accuracy for use in image recognition .
According to the second invention, a plurality of different correction information corresponding to a plurality of conditions such as the characteristics of the imaging device, the characteristics of the lens, the characteristics of the circuit, etc. can be obtained externally. It is possible to correct the luminance value by arbitrarily using any correction information according to each situation.
第３発明によれば、例えば撮像された画像が歪曲している場合、画像内の座標値を変換することで歪曲している画像を矩形画像へ正しく変換することができ、赤外光撮像装置を交換した場合であっても、外部にて赤外光撮像装置内に記憶してある補正情報に応じて画像の歪曲を確実に補正することが可能となる。 According to the third invention, for example, when the captured image is distorted, the distorted image can be correctly converted into a rectangular image by converting the coordinate value in the image, and the infrared light imaging apparatus Even when the camera is exchanged, it is possible to reliably correct the distortion of the image according to the correction information stored in the infrared light imaging apparatus externally .
第４発明によれば、例えば撮像素子ごとに相違している感度の非均一性を補正する場合、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する輝度値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する輝度値の差異を補正するゲイン補正値を算出して、撮像素子ごとの温度検知感度を均一化することができ、赤外光撮像装置を交換した場合であっても、赤外光撮像装置内に記憶してある補正情報に応じて撮像素子ごとの温度検知感度を均一化することができることから、画像認識精度を高く維持することが可能となる。 According to the fourth aspect of the invention, for example, when correcting non-uniformity of sensitivity that differs for each image sensor, the luminance value for a predetermined temperature for each image sensor is assumed on the assumption that the response characteristic of the image sensor is linear. By calculating the offset correction value for correcting the image and the gain correction value for correcting the difference in luminance value with respect to a predetermined temperature change rate for each image sensor, the temperature detection sensitivity for each image sensor can be made uniform, and infrared Even when the optical imaging device is replaced, the temperature detection sensitivity for each imaging device can be made uniform according to the correction information stored in the infrared imaging device, so that the image recognition accuracy is kept high. It becomes possible to do.
第５発明によれば、同一の温度を検知した場合に同一の輝度値を出力するよう撮像素子の輝度値を補正することができ、赤外光撮像装置を交換した場合であっても、赤外光撮像装置内に記憶してある補正情報に応じて撮像素子ごとの輝度値のバラツキを抑制して、画像認識精度を高く維持することが可能となる。 According to the fifth aspect of the present invention, the luminance value of the imaging device to output the same Luminance values when detecting the same temperature can be corrected, even when replacing the infrared imaging device, by suppressing the variation of Luminance value for each image pickup element according to the correction information stored in the infrared imaging device, it is possible to maintain a high image recognition accuracy.
第６発明によれば、例えば欠陥が生じている撮像素子の座標値を特定することができ、画像認識時に斯かる撮像素子の輝度値を無視する等することにより、画像認識精度を高く維持することが可能となる。 According to the sixth aspect of the invention, for example, the coordinate value of the image sensor having a defect can be specified, and the image recognition accuracy is maintained high by ignoring the luminance value of the image sensor at the time of image recognition. It becomes possible.
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の実施の形態に係る赤外光撮像装置１の構成を示すブロック図である。なお、本実施の形態に係る赤外光撮像装置１は、波長が７〜１４マイクロメートルの遠赤外光を用いた撮像装置である。もちろん、より撮像対象物の輪郭情報が豊富な近赤外光を用いた撮像装置であっても良い。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an
図１において、画像撮像部１１は、光学信号を電気信号に変換する複数の撮像素子をマトリックス状に備えている。遠赤外用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。 In FIG. 1, the image pickup unit 11 includes a plurality of image pickup elements that convert optical signals into electric signals in a matrix. As the far-infrared imaging device, an infrared sensor such as a vanadium oxide bolometer type using a micromachining technique or a BST (Barium-Strontium-Titanium) pyroelectric type sensor is used.
画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、信号処理部３へ渡す。信号処理部３は、撮像信号インタフェース１７で受け付けた輝度信号をデジタル信号に変換してから、ＬＳＩ基板である演算処理部１２へ送信する。演算処理部１２は、受信した輝度信号を画像メモリ１３へそのまま記憶させる。画像メモリ１３に記憶されている輝度信号は、補正情報記憶部１４に記憶されている補正情報とともに、通信インタフェース部１５を介して外部へ送信される。なお、演算処理部１２は、ＬＳＩ基板に限定されるものではなく、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等、演算処理を実行することが可能であれば何でも良い。
The image capturing unit 11 reads an infrared light image around the vehicle as a luminance signal, and passes the read luminance signal to the
レンズ３１は、ＺｎＳの粉体を材料とし、焼結させて製造したＺｎＳレンズを用いる。ＺｎＳレンズは、安価であり、しかも加工が容易である。レンズ３１の材料はＺｎＳ粉体に限定されるものではなく、ゲルマニウムを材料として加工したレンズであっても良い。
The
補正情報記憶部１４に記憶されている補正情報は、画像撮像部１１に用いる撮像素子の特性、レンズ３１の特性、演算処理部１２の特性等に基づいてキャリブレーションを行って特定した補正情報である。したがって、補正情報記憶部１４に記憶されている補正情報は、赤外光撮像装置１の出荷時に設定された情報と同一であり、赤外光撮像装置１の使用状態、使用環境等により変動しない情報である。なお、キャリブレーションは、赤外光撮像装置１と格子模様に熱源が配線されたターゲット板とを一定距離、例えば１０ｍ、２０ｍ、・・・、８０ｍ離して配置しておき、ターゲット板の表面を撮像することにより実行する。
The correction information stored in the correction
補正情報記憶部１４に記憶されている補正情報の例について説明する。図２は、補正情報が赤外光撮像装置１で撮像された画像の歪曲を補正する情報である場合のデータ構成の例示図である。図２の例では、図２（ａ）に示すように、ｎ個（ｎは自然数）の格子点について元座標値（ｘ０、ｙ０）を変更座標値（ｘ１、ｙ１）へ変換するルックアップテーブルを記憶している。これにより、例えば図２（ｂ）のように撮像された画像が歪曲している場合であっても、図２（ａ）に示すルックアップテーブルに従って画像内の座標値を変換することにより、矩形画像へと正しく変換することが可能となる。なお、格子点以外の座標値については、ルックアップテーブルに基づいて線形補間することにより返還後の座標値を算出する。
An example of correction information stored in the correction
キャリブレーションは、以下のような手順で行う。格子状に配置された熱源を有するターゲット板を準備し、赤外光撮像装置１から所定の距離、例えば約２０ｍ離して配置する。ターゲット板に通電し、格子状に配置された熱源が発熱している状態で、ターゲット板の表面を撮像する。撮像した画像の所定のサンプリング時間における画像と、理論上撮像されるべき矩形画像とを対比し、撮像された画像内の格子点を元座標値（ｘ０、ｙ０）、対応する矩形画像の格子点を変更座標値（ｘ１、ｙ１）としてルックアップテーブルに記憶する。これにより、赤外光撮像装置１の出荷時における画像歪曲補正用のルックアップテーブルを作成することができる。
Calibration is performed according to the following procedure. A target plate having a heat source arranged in a grid is prepared, and is arranged at a predetermined distance, for example, about 20 m away from the infrared
上述のキャリブレーションにて、熱源が格子状に配置されているのではなく、表面温度が略均一となるよう熱源を配置してあるターゲット板を準備し、赤外光撮像装置１から所定の距離、例えば約２０ｍ離して配置することにより、例えば撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値（第１の補正値）、及び撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値（第２の補正値）を算出することもできる。例えばｉ行ｊ列のマトリックス状に配列された撮像素子ごとの出力輝度値をＶijとした場合、（数１）に示す演算を行うことにより撮像素子ごとの輝度値をＶ’ijへ補正する。
In the calibration described above, the heat source is not arranged in a grid pattern, but a target plate on which the heat source is arranged so that the surface temperature is substantially uniform is prepared, and a predetermined distance from the
（数１）において、Ｇijはゲイン補正値を、Ｏijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの出力輝度値に基づいて算出した値である。 In (Expression 1), G ij represents a gain correction value, and O ij represents an offset correction value. For example, an output for each image sensor when an object having a uniform temperature distribution such as a black body furnace or a shutter is imaged. This is a value calculated based on the luminance value.
図３は、補正情報がオフセット補正値及びゲイン補正値である場合のデータ構成の例示図である。図３に示すように、画像内のｎ個（ｎは自然数）の格子点の座標値（ｉ、ｊ）に対応付けて、ゲイン補正値Ｇij及びオフセット補正値Ｏijを記憶している。これにより、撮像対象物の温度差又は温度変化率の相違を正しく検出することができるよう、画像を補整することが可能となる。 FIG. 3 is an exemplary diagram of a data configuration when the correction information is an offset correction value and a gain correction value. As shown in FIG. 3, a gain correction value G ij and an offset correction value O ij are stored in association with coordinate values (i, j) of n (n is a natural number) lattice points in the image. This makes it possible to correct the image so that the difference in temperature or the rate of change in temperature of the imaging object can be detected correctly.
キャリブレーションを、表面温度が略均一となるよう熱源を配置してあるターゲット板に対して行う場合、単純にすべての撮像素子の出力値が同一となるよう補正するものであっても良い。この場合、ターゲット板を赤外光撮像装置１から所定の距離、例えば約２０ｍ離して配置して撮像された画像に基づいて、各撮像素子の出力値を画像内座標値に対応付けて記憶すれば良い。
When the calibration is performed on the target plate on which the heat source is arranged so that the surface temperature is substantially uniform, it may be simply corrected so that the output values of all the image sensors become the same. In this case, the output value of each image sensor is stored in association with the coordinate value in the image based on the image captured by arranging the target plate at a predetermined distance, for example, about 20 m from the infrared
図４は、補正情報が所定の温度に対して同一の出力輝度値を出力するよう補正する情報である場合のデータ構成の例示図である。図４の例では、画像内のｎ個（ｎは自然数）の格子点の座標値（ｉ、ｊ）に対応付けて、撮像素子の出力輝度値を記憶している。これにより、例えば基準となる所定の輝度値との差異を算出して、算出した差異分だけ出力輝度値を増減することにより、ある温度を検出した場合には同一の出力輝度値となるよう補正することができる。 FIG. 4 is an exemplary diagram of a data configuration when the correction information is information for correcting to output the same output luminance value for a predetermined temperature. In the example of FIG. 4, the output luminance value of the image sensor is stored in association with the coordinate values (i, j) of n (n is a natural number) lattice points in the image. In this way, for example, by calculating the difference from the reference predetermined luminance value and increasing / decreasing the output luminance value by the calculated difference, when a certain temperature is detected, the same output luminance value is corrected. can do.
また、撮像素子には、一定の割合で欠陥が生じているものも存在する。欠陥が生じている撮像素子の出力値を画像認識処理に用いることは、正確な障害物の認識を阻害する。そこで、演算処理部１２は、撮像素子ごとに、隣接する周囲の撮像素子の出力値の平均値を算出し、算出した平均値と該撮像素子の出力値との差異を算出する。演算処理部１２は、算出した差異が所定値より大きいか否かを撮像素子ごとに判断し、所定値よりも差異が大きい撮像素子には欠陥が生じているものと判断し、該撮像素子の出力値の画像内の座標値を抽出して記憶する。
Some image sensors have defects at a certain rate. Using the output value of the imaging device in which the defect has occurred in the image recognition processing hinders accurate obstacle recognition. Therefore, the
図５は、補正情報が欠陥の生じている撮像素子の位置情報である場合のデータ構成の例示図である。図５の例では、欠陥が生じている撮像素子の出力値に対応する、画像内の座標値（ｉ、ｊ）を記憶している。これにより、例えば欠陥が生じている撮像素子の出力値は補正してから演算処理に用いる、演算処理の対象から除外する等により、より正確な障害物認識を行うことが可能となる。 FIG. 5 is an exemplary diagram of a data configuration in a case where the correction information is position information of an image sensor in which a defect has occurred. In the example of FIG. 5, the coordinate value (i, j) in the image corresponding to the output value of the image sensor in which the defect has occurred is stored. As a result, for example, by correcting the output value of the imaging element in which a defect has occurred and using it in the arithmetic processing, or excluding it from the target of the arithmetic processing, it becomes possible to perform more accurate obstacle recognition.
図６は、本発明の実施の形態に係る赤外光撮像装置１の信号処理部３の処理手順を示すフローチャートである。信号処理部３は、画像撮像部１１からの撮像素子ごとの輝度信号を受信し（ステップＳ６０１）、画像信号インタフェース部１７でデジタル信号Ｖijへ変換する（ステップＳ６０２）。
FIG. 6 is a flowchart showing a processing procedure of the
信号処理部３の演算処理部１２は、キャリブレーションの実行により事前に記憶してある上述した補正情報を補正情報記憶部１４から読み出し（ステップＳ６０３）、読み出した補正情報及びデジタル信号Ｖijを、通信インタフェース部１５を介して外部へ送信する（ステップＳ６０４）。
The
補正情報及びデジタル信号Ｖijを受信した外部のコンピュータは、補正情報に基づいて受信したデジタル信号Ｖijを補正する。例えば補正情報が、赤外光撮像装置１で撮像された画像の歪曲を補正する情報である場合、デジタル信号Ｖijの画像内座標値を変換することにより、画像の歪曲を補正する。補正情報が、オフセット補正値及びゲイン補正値である場合、同一の温度に対しては同一の輝度値となるようデジタル信号Ｖijを補正する。
The external computer that has received the correction information and the digital signal Vij corrects the received digital signal Vij based on the correction information. For example, when the correction information is information for correcting distortion of an image captured by the infrared
また、補正情報が、所定の温度に対して同一の出力輝度値を出力するよう補正する情報である場合、ある温度を検出した場合には同一の輝度値となるようデジタル信号Ｖijを補正する。補正情報が、欠陥の生じている撮像素子の位置情報である場合には、欠陥の生じている撮像素子の撮像素子のデジタル信号Ｖijが隣接する周囲の撮像素子の出力値の平均値となるよう補正する、又は該デジタル信号Ｖijを除外する。 Further, when the correction information is information for correcting to output the same output luminance value for a predetermined temperature, the digital signal Vij is corrected so that the same luminance value is obtained when a certain temperature is detected. When the correction information is position information of an image sensor having a defect, the digital signal Vij of the image sensor of the image sensor having the defect is an average value of output values of neighboring image sensors. Correct or exclude the digital signal Vij.
以上のように本実施の形態によれば、赤外光撮像装置の出荷時に工場内でキャリブレーションを実行して算出した画像の補正情報を赤外光撮像装置１内の補正情報記憶部１４へ記憶しておくことにより、出荷先で赤外光撮像装置１を交換した場合であっても補正情報を取得するためのキャリブレーションを改めて交換現場で実行する必要が無く、出荷先で大掛かりな設備を準備しておく必要が無い。したがって、赤外光撮像装置１の交換、メンテナンス等も容易となり、赤外光撮像装置１を用いた障害物検出システム、衝突判定システム等の設計の自由度が高まる。
As described above, according to the present embodiment, the correction information of the image calculated by executing calibration in the factory at the time of shipment of the infrared light imaging device is transferred to the correction
また、撮像素子の特性、レンズの特性、回路の特性等に応じた補正情報だけでは十分に補正することができない後発的に発生する誤差については、撮像素子ごとの補正前の出力値に応じて外部で算出することができ、画像認識に用いるのに十分な精度を確保した補正出力値を取得することが可能となる。 In addition, regarding errors that occur later that cannot be sufficiently corrected only with correction information according to the characteristics of the image sensor, the characteristics of the lens, the characteristics of the circuit, etc., according to the output value before correction for each image sensor It is possible to obtain a corrected output value that can be calculated externally and ensures sufficient accuracy for use in image recognition.
１ 遠赤外撮像装置
２ 通信線
３ 信号処理部
１１ 画像撮像部
１２ 演算処理部
１３ 画像メモリ
１４ 補正情報記憶部
１５ 通信インタフェース部
１６ 内部バス
１７ 撮像信号インタフェース
３１ レンズ
DESCRIPTION OF
Claims (7)
前記信号処理部は、
デジタル信号へ変換した後の輝度信号が示す輝度値を記憶する輝度信号記憶手段と、
前記複数の撮像素子ごとに予め特定した前記輝度値に対する補正情報を記憶する補正情報記憶手段と、
前記輝度信号記憶手段に記憶した複数の撮像素子ごとの輝度値を示す輝度信号、及び前記補正情報記憶手段に記憶してある撮像素子ごとの輝度値に対する補正情報を外部へ送信する送信手段と
を備えることを特徴とする赤外光撮像装置。 Infrared light comprising a plurality of image sensors and a signal processing unit that converts analog luminance signals corresponding to infrared light received from the plurality of image sensors into digital signals and transmits them to an external vehicle safety ensuring system In the imaging device,
The signal processing unit
Luminance signal storage means for storing a luminance value indicated by the luminance signal after conversion into a digital signal;
Correction information storage means for storing correction information for the luminance value specified in advance for each of the plurality of image sensors ;
A luminance signal indicating a luminance value for each of a plurality of imaging elements stored in the luminance signal storage means , and a transmission means for transmitting correction information for the luminance value for each imaging element stored in the correction information storage means to the outside. An infrared light imaging apparatus comprising:
前記補正情報記憶手段は、前記複数の撮像素子ごとに複数の異なる補正情報を記憶するようにしてあり、The correction information storage means stores a plurality of different correction information for each of the plurality of image sensors,
更に、前記複数の補正情報は夫々、前記複数の撮像素子からの輝度信号で形成される画像内の位置を示す座標値に対応づけられており、Further, each of the plurality of correction information is associated with a coordinate value indicating a position in an image formed by luminance signals from the plurality of imaging elements,
前記送信手段は、補正情報を外部へ送信するに際し、前記複数の補正情報を、対応づけられている前記座標値と共に送信するようにしてあることThe transmitting means is configured to transmit the plurality of correction information together with the coordinate values associated with the correction information when transmitting the correction information to the outside.
を特徴とする請求項１記載の赤外光撮像装置。The infrared light imaging apparatus according to claim 1.
を特徴とする請求項２又は３記載の赤外光撮像装置。 Any of the plurality of correction information, a first correction value for correcting the luminance values for a given temperature for each of the imaging device, and corrects the difference of the luminance values for a given temperature change rate for each of the imaging device infrared imaging apparatus according to claim 2 or 3, wherein the a second correction value.
デジタル信号へ変換した後の輝度信号が示す輝度値に基づいて予め、前記複数の撮像素子の内、各々からの輝度値と、隣接する周囲の撮像素子からの輝度値の平均値との差異が所定値より大きいか否かによって欠陥が生じていると判断された撮像素子からの輝度値が対応する画像内の位置を示す座標値であることを特徴とする請求項２乃至５のいずれかに記載の赤外光撮像装置。 One of the plurality of correction information is
Based on the luminance value indicated by the luminance signal after conversion into a digital signal, the difference between the luminance value from each of the plurality of imaging elements and the average value of the luminance values from adjacent surrounding imaging elements is in any one of claims 2 to 5, wherein the luminance value from the image sensor it is determined that the defect is caused by whether greater than the predetermined value is a coordinate value indicating a position of the corresponding image The infrared light imaging apparatus described.
デジタル信号に変換した後の輝度信号が示す輝度値を記憶し、
前記輝度値を補正するために前記複数の撮像素子ごとに予め特定した補正情報を記憶しておき、
補正することなしに記憶した前記複数の撮像素子ごとの輝度値を示す輝度信号、及び記憶してある撮像素子ごとの輝度値に対する補正情報
を外部へ送信することを特徴とする赤外光撮像方法。 In an infrared light imaging method for converting an analog luminance signal corresponding to infrared light received from a plurality of image sensors into a digital signal and transmitting it to an external vehicle safety ensuring system ,
Stores the luminance value indicated by the luminance signal after conversion into a digital signal,
The stores in advance correction information specific to each of the plurality of image pickup elements in order to correct luminance value,
An infrared light imaging method comprising: transmitting a brightness signal indicating a brightness value for each of the plurality of image sensors stored without correction , and correction information for the stored brightness value for each image sensor to the outside .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005349876A JP4222364B2 (en) | 2005-12-02 | 2005-12-02 | Infrared light imaging apparatus and infrared light imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005349876A JP4222364B2 (en) | 2005-12-02 | 2005-12-02 | Infrared light imaging apparatus and infrared light imaging method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007158627A JP2007158627A (en) | 2007-06-21 |
| JP4222364B2 true JP4222364B2 (en) | 2009-02-12 |
Family
ID=38242424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005349876A Expired - Fee Related JP4222364B2 (en) | 2005-12-02 | 2005-12-02 | Infrared light imaging apparatus and infrared light imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4222364B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007174112A (en) * | 2005-12-20 | 2007-07-05 | Sumitomo Electric Ind Ltd | Far-infrared imaging apparatus and output value correction method |
| JP6284276B2 (en) * | 2012-03-12 | 2018-02-28 | 富士機械製造株式会社 | Component mounter and camera unit |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2605448B2 (en) * | 1990-04-17 | 1997-04-30 | 三菱電機株式会社 | Defect and sensitivity correction device for two-dimensional array type infrared video camera |
| JP4016022B2 (en) * | 1999-01-14 | 2007-12-05 | 松下電器産業株式会社 | Infrared imaging device and vehicle equipped with the same |
| JP3995511B2 (en) * | 2002-04-05 | 2007-10-24 | 三菱電機株式会社 | Flashing defect detection method, image correction method, and solid-state imaging device |
| JP2004289305A (en) * | 2003-03-19 | 2004-10-14 | Sumitomo Electric Ind Ltd | Vehicle-mounted imaging system and imaging apparatus |
-
2005
- 2005-12-02 JP JP2005349876A patent/JP4222364B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007158627A (en) | 2007-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10701341B2 (en) | Calibration method, calibration device, and computer program product | |
| JP6975003B2 (en) | Peripheral monitoring device and its calibration method | |
| TWI600324B (en) | Infrared Focal Plane Array Module Performance Parameters Measurement Method and Detection of Dead pixels | |
| JP4861034B2 (en) | Car camera calibration system | |
| WO2017135081A1 (en) | Vehicle-mounted camera calibration system | |
| JP6618965B2 (en) | Method and system for determining misalignment of imaging device and non-transitory computer readable medium | |
| WO2017042998A1 (en) | In-vehicle stereo camera device and method for correcting same | |
| JP6970568B2 (en) | Vehicle peripheral monitoring device and peripheral monitoring method | |
| JP4222364B2 (en) | Infrared light imaging apparatus and infrared light imaging method | |
| JP5487946B2 (en) | Camera image correction method, camera apparatus, and coordinate transformation parameter determination apparatus | |
| WO2010055809A1 (en) | Method for adjusting imaging device, and imaging device | |
| JP4742883B2 (en) | Far-infrared imaging device and output value correction method | |
| JP2006300890A (en) | Device and method for inspecting image processing | |
| JP2018074479A (en) | Imaging apparatus and mobile object system | |
| JP2007174112A (en) | Far-infrared imaging apparatus and output value correction method | |
| JP4807152B2 (en) | Obstacle detection system and obstacle detection method | |
| JP2007174113A (en) | Obstacle detection system and obstacle detection method | |
| JP2019066327A (en) | Vehicle periphery monitoring device, and periphery monitoring method | |
| JP4816308B2 (en) | Far infrared imaging system and far infrared imaging method | |
| JPWO2017042995A1 (en) | In-vehicle stereo camera device and correction method thereof | |
| JP2007325120A (en) | Far infrared imaging system and far infrared imaging method | |
| JP2018170666A (en) | Camera system and camera calibration method | |
| WO2021106322A1 (en) | Infrared processing system, infrared sensor system, infrared processing method, and program | |
| JP4305142B2 (en) | Image correction method and imaging apparatus | |
| JP7193359B2 (en) | Image processing system and camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081028 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081110 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |