JP2009225119A - Image imaging apparatus - Google Patents
Image imaging apparatus Download PDFInfo
- Publication number
- JP2009225119A JP2009225119A JP2008067535A JP2008067535A JP2009225119A JP 2009225119 A JP2009225119 A JP 2009225119A JP 2008067535 A JP2008067535 A JP 2008067535A JP 2008067535 A JP2008067535 A JP 2008067535A JP 2009225119 A JP2009225119 A JP 2009225119A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- temperature
- correction
- distortion aberration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像撮像装置に係り、特に広画角の光学系を有する車載カメラ装置などに好適な画像撮像装置に関する。 The present invention relates to an image pickup apparatus, and more particularly to an image pickup apparatus suitable for an in-vehicle camera apparatus having an optical system with a wide angle of view.
近年、自動車のバックモニタ装置などの用途に向け、小型で広画角のレンズ系を有する画像撮像装置の需要が増大している。このような画像撮像装置には、複数枚のレンズで構成される超広角レンズが用いられている（例えば、特許文献１参照）。
ところで、上記のような超広角レンズを有する画像撮像装置を自動車のバックモニタ装置に適用した場合には、温度変化の大きい環境下で使用されることが多く、温度が変化すると、レンズの屈折率変化や熱膨張によるレンズパワーの変化により、光学像が膨張、収縮して歪曲収差等が生じて、出力画像の画像品質が低下する。このため、温度が変化しても歪曲収差等が生じないようにするには、高価なレンズ材料を用いたり、温度補償用のレンズを入れる必要があり、レンズのコスト高を招いていた。 By the way, when an image pickup device having an ultra-wide-angle lens as described above is applied to a back monitor device of an automobile, it is often used in an environment with a large temperature change, and when the temperature changes, the refractive index of the lens An optical image expands and contracts due to a change in lens power due to a change or thermal expansion, causing distortion and the like, and the image quality of the output image is degraded. For this reason, in order to prevent distortion from occurring even when the temperature changes, it is necessary to use an expensive lens material or to insert a lens for temperature compensation, resulting in an increase in the cost of the lens.
そこで、本発明は、高価なレンズを用いることなく温度変化による歪曲収差を良好に補正して高品質な画像を得ることができる画像撮像装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image pickup apparatus capable of obtaining a high quality image by satisfactorily correcting distortion due to a temperature change without using an expensive lens.
前記目的を達成するために請求項１に記載の発明は、光学系と、前記光学系を通して入射される被写体像を複数の画素を有する受光面に受光して画像データに変換する撮像素子と、前記画像データを取り込み、少なくとも前記光学系で発生する歪曲収差を補正する歪曲収差補正処理を行う歪曲収差補正処理手段とを備えた画像撮像装置において、温度を測定する温度測定手段を有し、前記温度測定手段により測定された温度データに基づいて、前記歪曲収差補正処理手段による歪曲収差補正処理の補正量を変化させることを特徴としている。
In order to achieve the above object, an invention according to
請求項２に記載の発明は、前記歪曲収差補正処理手段での歪曲収差補正用の座標変換式が温度による関数であることを特徴としている。
The invention according to
請求項３に記載の発明は、前記歪曲収差補正処理手段は、異なる温度範囲の温度データに応じて複数設けられており前記温度測定手段により測定された温度データに基づいて、選択した歪曲収差補正処理手段による歪曲収差補正処理の補正量を変化させることを特徴としている。 According to a third aspect of the present invention, a plurality of the distortion aberration correction processing means are provided according to temperature data in different temperature ranges, and the selected distortion aberration correction is performed based on the temperature data measured by the temperature measurement means. The correction amount of the distortion aberration correction processing by the processing means is changed.
請求項４に記載の発明は、前記温度測定手段は、前記光学系近傍に設置されていることを特徴としている。
The invention according to
本発明によれば、温度測定手段で測定する温度データに基づいて、歪曲収差補正手段での歪曲収差補正の補正量を変化させて歪曲収差を補正することにより、温度が変化した場合においても高品質な画像を得ることができる。また、温度変化によって屈折率変化や熱膨張が変化するプラスチックレンズを光学系に用いても、温度変化に応じた歪曲収差を補正することができるので、光学系に安価なプラスチックレンズを使用することができる。 According to the present invention, based on the temperature data measured by the temperature measuring means, the distortion aberration is corrected by changing the correction amount of the distortion aberration correcting means by the distortion aberration correcting means, so that even when the temperature changes A quality image can be obtained. Even if a plastic lens whose refractive index changes or thermal expansion changes with temperature changes can be used to correct distortion aberration according to temperature changes, use inexpensive plastic lenses for the optical system. Can do.
以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態１〉
Hereinafter, the present invention will be described based on the illustrated embodiments.
<
図１は、本発明の実施形態１に係る画像撮像装置の構成を示す図である。本画像撮像装置は、例えば、自動車に搭載されるバックモニタ装置等の車載カメラ装置などに好適に用いることができる。
FIG. 1 is a diagram illustrating a configuration of an image capturing apparatus according to
図１に示すように、本実施形態に係る画像撮像装置１は、広角カメラユニット２と、広角カメラユニット２から出力される画像信号を処理する画像処理部３と、画像処理部３から出力される映像信号を入力し広角カメラユニット３で撮像された画像を表示する液晶モニタ（ＬＣＤ）等のモニタ４を備えている。
As shown in FIG. 1, the
広角カメラユニット２は、広画角の広角レンズ系５と、広角レンズ系５を通して入射される被写体像が受光面に結像される固体撮像素子としてのＣＣＤイメージセンサ（以下、「ＣＣＤ」という」６と、広角カメラユニット２近傍の温度を測定する温度センサ７とを備えている。
The wide-
広角レンズ系５は、例えば、図２に示すように、約１９０度の画角を有する超広角レンズであり、第１レンズ１０、第２レンズ１１、第３レンズ１２、第４レンズ１３の４枚のレンズを物体側（図の左側）から順に配し、第３レンズ１２と第４レンズ１３との間に絞り１４が設けられている。また、ＣＣＤ６の受光面上には、平行平面状のカバーガラス１５が設けられている。第１レンズ１０、第２レンズ１１は負のパワー（負の焦点距離）を有し、第３レンズ１２、第４レンズ１３は正のパワー（正の焦点距離）を有する。なお、第２レンズ１１の像面側（図の右側）の凹面は非球面状に形成されている。
The wide-
図３（ａ），（ｂ）は、図２に示した広角レンズ系５のレンズデータを示す図である。なお、図３（ａ）において、面１、２は、第１レンズ１０の物体側（図の左側）の面、第１レンズ１０の像面側（図の右側）であり、面３、４は、第２レンズ１１の物体側の面、第２レンズ１１の像面側であり、面５、６は、第３レンズ１２の物体側の面、第３レンズ１２の像面側であり、面８、９は、第４レンズ１３の物体側の面、第４レンズ１３の像面側であり、面１０は、カバーガラス１５の物体側の面、カバーガラス１５の像面側である。また、図３（ｂ）は、第２レンズ１１の結像側の面における非球面データである。
3A and 3B are diagrams showing lens data of the wide-
図４は、前記広角レンズ系５に対して、波長５３２ｎｍの光を入射させてＣＣＤ６の受光面に結像させたときの、温度変化に伴う歪曲収差による結像位置（像高）の変化（ずれ）の測定結果を示した図である。なお、図４の画角（度）は、広角レンズ系５の光軸に対する画角である。このように、温度変化により結像位置（像高）が変化（ずれ）する。このため、例えば、ＣＣＤ６の画素ピッチが０．００６ｍｍであると、温度が２０℃から１００℃に変化した場合には、最大２画素分程度の画素ずれが生じる。
FIG. 4 shows a change in image formation position (image height) due to distortion due to a temperature change when light having a wavelength of 532 nm is incident on the wide-
ＣＣＤ６は、受光面の各画素上にベイヤー配列の色フィルタ（本実施形態では、ＲＧＢ原色フィルタ）が配置されており、ベイヤー配列のＲＧＢ画像信号が、後述する画像処理部３の制御部２７（図５参照）から与えられる制御信号（クロック、水平／垂直同期信号等）に基づいて、プログレッシブに順次出力される。
The
図５は、本画像撮像装置の画像処理部の構成を示すブロック図である。画像処理部３は、ＡＧＣ回路２０、Ａ／Ｄ回路２１、ベイヤー補完部２２、倍率色収差補正部２３、ＭＴＦ補正部２４、歪曲収差補正部２５、ガンマ補正部２６、及び制御部２７を備えている。
FIG. 5 is a block diagram illustrating a configuration of an image processing unit of the image capturing apparatus. The
ＡＧＣ回路２０は、ＣＣＤ６から出力されたアナログ信号の画像信号を所定の値に増幅する。一般にＡＧＣ回路２０のゲイン量は画面の要求明度とノイズとのトレードオフにより適した値に決定される。
The
Ａ／Ｄ変換器２１は、ＡＧＣ回路２０で増幅されたアナログ信号としてのベイヤー配列のＲＧＢ画像信号をデジタル信号（画像データ）に変換してベイヤー補完部２２に送出する。画像データは、例えばＲＧＢそれぞれ８ビットで構成される。
The A /
ベイヤー補完部２２は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色ごとに全座標位置の画像データを線形補完によって生成し、倍率色収差補正部２３に送出する。
The Bayer
図６に、ベイヤー配列のカラーフィルタを示す。ここで、図６（ａ）におけるＧ0は、下記の式（１）により求める。
Ｇ0＝（Ｇ2＋Ｇ4＋Ｇ6＋Ｇ8）/４ …式（１）
FIG. 6 shows a color filter with a Bayer array. Here, G 0 in FIG. 6A is obtained by the following equation (1).
G 0 = (G 2 + G 4 + G 6 + G 8 ) / 4 (1)
また、図６（ｂ）におけるＲ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0は、下記の式（２）〜式（６）により求める。
Ｒ2＝（Ｒ1＋Ｒ3）／２ …式（２）
Ｒ4＝（Ｒ3＋Ｒ5）／２ …式（３）
Ｒ6＝（Ｒ5＋Ｒ7）／２ …式（４）
Ｒ8＝（Ｒ1＋Ｒ7）／２ …式（５）
Ｒ0＝（Ｒ1＋Ｒ3＋Ｒ5＋Ｒ7）/４ …式（６）
なお、図６（ｃ）におけるＢ2，Ｂ4，Ｂ6，Ｂ8，Ｂ0は、上記Ｒ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0の場合と同じであるので省略する。
In addition, R 2 , R 4 , R 6 , R 8 , and R 0 in FIG. 6B are obtained by the following formulas (2) to (6).
R 2 = (R 1 + R 3 ) / 2 Formula (2)
R 4 = (R 3 + R 5 ) / 2 Formula (3)
R 6 = (R 5 + R 7 ) / 2 Formula (4)
R 8 = (R 1 + R 7 ) / 2 Formula (5)
R 0 = (R 1 + R 3 + R 5 + R 7 ) / 4 (6)
Note that B 2 , B 4 , B 6 , B 8 , and B 0 in FIG. 6C are the same as those for R 2 , R 4 , R 6 , R 8 , and R 0 , and are omitted.
なお、本実施形態ではベイヤー配列の色フィルタを持つＣＣＤ（撮像素子）について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子でも同様に適用することができる。特に、このように４色（ＣＭＹＧ）の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要であり、効果は高い。 In the present embodiment, a CCD (imaging device) having a Bayer color filter has been described. Of course, the same applies to image sensors having other color filter arrangements such as other CMYG arrangements and RGB + Ir (infrared) arrangements. can do. In particular, an image sensor having such a four-color (CMYG) color filter array requires a memory with a lower latency or a four-port RAM in correcting chromatic aberration of magnification compared to the three-color type such as RGB. And the effect is high.
倍率色収差補正部２３は、ベイヤー補完されたＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する（詳細については後述する）。倍率色収差は各色成分毎に異なるが、大きさは小さい。このため、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。
されている。
The lateral chromatic
Has been.
ＭＴＦ補正部２４は、倍率色収差補正されたＲＧＢ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画像データを出力する。
The
図７に、ＭＴＦ補正部２４の概略構成を示す。ＭＴＦ補正部２４は、変換部３０、ＦＩＲフィルタ３１、逆変換部３２を備えている。変換部３０は、下記の式（７）〜式（９）によりＲＧＢ画像データをＹＣｂＣｒ画素データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ …式（７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ …式（８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ …式（９）
FIG. 7 shows a schematic configuration of the
Y = 0.299R + 0.587G + 0.114B (7)
Cr = 0.500R−0.419G−0.081B (8)
Cb = −0.169R−0.332G + 0.500B (9)
ＦＩＲフィルタ（５×５フィルタ）３１では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。図８に、ＦＩＲフィルタの一例を示す。 The FIR filter (5 × 5 filter) 31 performs only a predetermined MTF correction by inputting only the luminance signal Y of YCbCr. FIG. 8 shows an example of the FIR filter.
Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、後述の歪曲収差補正後にＭＴＦ補正を行う場合には、歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施形態のようにＭＴＦ補正は倍率色収差補正の後段で、かつ歪曲収差補正の前段に設置することが望ましい。 By performing filtering of only the Y signal (MTF correction), it is possible to obtain a high-quality image with suppressed color noise amplification. Since the Y signal is filtered, the MTF correction needs to be performed after the color magnification correction. However, when MTF correction is performed after distortion aberration correction, which will be described later, in the distortion aberration correction, a conversion distance for coordinate conversion is large and an operation error tends to occur. In order to avoid the error being amplified by the MTF correction and adversely affecting the image quality, it is desirable that the MTF correction be installed after the magnification chromatic aberration correction and before the distortion aberration correction as in this embodiment.
逆変換部３２は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、下記の式（１０）〜式（１２）により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ …式（１０）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ …式（１１）
Ｂ＝Ｙ＋１.７７２Ｃｂ …式（１２）
The
R = Y + 1.402Cr Formula (10)
G = Y−0.714Cr−0.344Cb (11)
B = Y + 1.772 Cb (12)
歪曲収差補正部２５は、ＭＴＦ補正部２４からのＭＴＦ補正されたＲＧＢ画像データあるいは倍率色収差補正部２３からのＭＴＦ補正無しのＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画像データを出力する（詳細については後述する）。歪曲収差は倍色率色収差に比べて大きいが、ＲＧＢ各色成分で一様である。このため、歪曲収差補正での座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートでよいため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。
The distortion
ガンマ補正部２６は、歪曲収差補正部２５から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データは画像表示出力制御部（不図示）により所定の動画フォーマットの画像に生成され、モニタ４に出力する。
The
制御部２７は、画像処理部３の前記した各部、広角カメラユニット２のＣＣＤ５等に必要な制御信号を出力して、それぞれの動作を制御する。また、制御部２７は、温度センサ６で測定された温度情報を入力し、入力した温度情報に基づいて、歪曲収差補正部２５での歪曲収差補正処理の補正量を変化させるように制御する（詳細は後述する）。
The
次に、前記した倍率色収差補正部２３による倍率色収差補正動作と、歪曲収差補正部２５による歪曲収差補正動作について詳細に説明する。
Next, the magnification chromatic aberration correction operation by the magnification chromatic
先ず、倍率色収差補正と歪曲収差補正の原理について説明する。図９に模式的に示すように、倍率色収差と歪曲収差を有するレンズ系を用いて撮像した場合、ベイヤー配列の色フィルタを持つＣＣＤ（撮像素子）の受光面に対応した画面右上の１で示す位置（ピクセル）の画素データは、この本来の位置から歪曲収差によりずれる。更に、倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、ＣＣＤ（撮像素子）で実際に撮像される位置は、ＲＧＢそれぞれ、２（Ｒ）、３（Ｇ）、４（Ｂ）の位置となる。 First, the principle of correcting the lateral chromatic aberration and correcting the distortion will be described. As schematically shown in FIG. 9, when imaging is performed using a lens system having chromatic aberration of magnification and distortion, 1 is shown at the upper right of the screen corresponding to the light receiving surface of a CCD (imaging device) having a Bayer array color filter. The pixel data at the position (pixel) deviates from this original position due to distortion. Further, the RGB color components are shifted differently due to the chromatic aberration of magnification, and the positions actually captured by the CCD (imaging device) are the positions 2 (R), 3 (G), and 4 (B) for RGB, respectively. .
倍率色収差と歪曲収差の補正は、この２（Ｒ）、３（Ｇ）、４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画素データを本来の位置である１の位置（ピクセル）にコピーする、即ち、座標変換することで可能である。ここで、前記２（Ｒ）、３（Ｇ）、４（Ｂ）の位置が座標変換元の座標、前記１の位置が座標変換先の座標となる。
To correct lateral chromatic aberration and distortion, the RGB color component pixel data at positions (pixels) 2 (R), 3 (G), and 4 (B) are copied to the original position 1 (pixel). That is, it is possible by converting the coordinates. Here, the positions 2 (R), 3 (G), and 4 (B) are the coordinates of the coordinate conversion source, and the
図１０（ａ），（ｂ）は、温度補正しない場合での倍率色収差と歪曲収差とを独立に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、先ず、ＲＧＢ各色成分の画素データをそれぞれ座標変換して（本実施形態では、ＲＢの色成分を座標変換して、Ｇ成分の位置にコピーする）、倍率色収差を補正し、その後、この倍率色収差補正されたＲＧＢ画素データをまとめて座標変換することで、歪曲収差を補正する。 FIGS. 10A and 10B schematically show a method of independently correcting the lateral chromatic aberration and distortion without temperature correction. The lateral chromatic aberration is different for each color component, but the shift is small. On the other hand, the distortion aberration is large, but the same for each color component. Focusing on this, first, the pixel data of each RGB color component is coordinate-converted (in this embodiment, the RB color component is coordinate-converted and copied to the position of the G component), and the lateral chromatic aberration is corrected, Thereafter, the RGB pixel data corrected for the chromatic aberration of magnification is collectively coordinate-converted to correct distortion.
図１０（ａ）は、温度補正しない場合での倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画素データについて座標変換を行って、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。図１０（ｂ）は、温度補正しない場合での歪曲収差補正を模式的に示したもので、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画素データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。 FIG. 10 (a) schematically shows magnification chromatic aberration correction without temperature correction, and coordinate conversion is performed on pixel data of RB color components at positions (pixels) 2 (R) and 4 (B). Go and copy to 3 (G) position (pixel) of G component. By this operation, the lateral chromatic aberration is corrected. FIG. 10B schematically shows distortion correction without temperature correction, and coordinate conversion is collectively performed on pixel data of RGB color components at 3 positions (pixels) after correction of chromatic aberration of magnification. To copy to the original position 1 (pixel). This operation corrects distortion.
倍率色収差補正部２３は、下記の式（１４）、式（１５）に示す座標変換式により、座標変換先である座標データ（ｘ，ｙ）を入力として、ＲＧＢそれぞれについて倍率色収差補正の変換座標を演算することにより、ＲＧＢそれぞれの座標変換元である座標データ（Ｘ，Ｙ）を算出する。
The chromatic aberration correction unit for
Ｘ＝ｘ＋ａｘ …式（１４）
Ｙ＝ｙ＋ｂｙ …式（１５）
ここで、Ｘ、Ｙは座標変換元の座標、ｘ，ｙは画面中心を原点とした場合の座標変換先の座標（本来の座標）、ａ，ｂは座標変換係数である。
X = x + ax (14)
Y = y + by Formula (15)
Here, X and Y are the coordinates of the coordinate conversion source, x and y are the coordinates of the coordinate conversion destination (original coordinates) when the center of the screen is the origin, and a and b are the coordinate conversion coefficients.
また、歪曲収差補正部２５は、下記の式（１６）、式（１７）に示す座標変換式により、座標変換先である座標データ（ｘ，ｙ）を入力として、ＲＧＢそれぞれについて歪曲収差補正の変換座標を演算することにより、ＲＧＢそれぞれの座標変換元である座標データ（Ｘ，Ｙ）を算出する。
In addition, the distortion
Ｘ＝ｘ＋（ａ＋ｂｙ２）ｘ …式（１６）
Ｙ＝ｙ …式（１７）
ここで、Ｘ、Ｙは座標変換元の座標、ｘ，ｙは画面中心を原点とした場合の座標変換先の座標（本来の座標）、ａ，ｂは座標変換係数である。
X = x + (a + by 2 ) x Equation (16)
Y = y Formula (17)
Here, X and Y are the coordinates of the coordinate conversion source, x and y are the coordinates of the coordinate conversion destination (original coordinates) when the center of the screen is the origin, and a and b are the coordinate conversion coefficients.
前記した倍率色収差補正と歪曲収差補正は、温度補正していない場合であったが、前記したように温度変化に伴って前記広角レンズ系４のレンズの屈折率変化や熱膨張による面形状変化により、倍率色収差と歪曲収差によって結像位置に変化（ずれ）が生じる。以下、温度変化が生じた場合での倍率色収差補正と歪曲収差補正について説明する。
The magnification chromatic aberration correction and the distortion aberration correction described above were cases where the temperature was not corrected, but as described above, due to a change in the refractive index of the lens of the wide-
ところで、前記したように温度変化（温度上昇）に伴って前記広角レンズ系５のレンズの屈折率変化や熱膨張による面形状変化により、倍率色収差と歪曲収差によって結像位置に変化（ずれ）が生じる。
By the way, as described above, due to the temperature change (temperature increase), the refractive index change of the lens of the wide-
この場合においても、例えば、図１１（ａ）に示すように、先ず、前記同様にして倍率色収差補正を行う。図１１（ａ）は、温度変化（温度上昇）が生じた場合での倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画素データについて座標変換を行い、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。 Also in this case, for example, as shown in FIG. 11A, first, the lateral chromatic aberration correction is performed in the same manner as described above. FIG. 11A schematically shows the correction of the chromatic aberration of magnification when a temperature change (temperature rise) occurs. The RB color components at the positions (pixels) 2 (R) and 4 (B) are shown in FIG. Coordinate conversion is performed on the pixel data, and the data is copied to the 3 (G) position (pixel) of the G component. By this operation, the lateral chromatic aberration is corrected.
そして、制御部２７は、温度センサ６で測定した温度情報を入力し、入力した温度情報（温度変化情報）に基づいて、歪曲収差補正部２５での歪曲収差補正の補正量を変化させる。これにより、図１１（ｂ）に示すように、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画素データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。
And the
前記のような温度補正を行う場合においては、歪曲収差補正部２５は、下記の式（１８）、式（１９）に示す座標変換式により、座標変換先である座標データ（ｘ，ｙ）を入力として、ＲＧＢそれぞれについて歪曲収差補正の変換座標を演算することにより、ＲＧＢそれぞれの座標変換元である座標データ（Ｘ，Ｙ）を算出する。
In the case of performing the temperature correction as described above, the
Ｘ＝ｘ＋（ａ(ｔ)＋ｂ(ｔ)ｙ２）ｘ …式（１８）
Ｙ＝ｙ …式（１９）
ここで、Ｘ、Ｙは座標変換元の座標、ｘ，ｙは画面中心を原点とした場合の座標変換先の座標（本来の座標）、ａ(ｔ)，ｂ(ｔ)は温度ｔの関数になっている座標変換係数である。
X = x + (a (t) + b (t) y 2 ) x Equation (18)
Y = y Formula (19)
Here, X and Y are the coordinates of the coordinate conversion source, x and y are the coordinates of the coordinate conversion destination when the center of the screen is the origin (original coordinates), and a (t) and b (t) are functions of the temperature t. This is the coordinate conversion coefficient.
このように、本実施形態の画像撮像装置１によれば、温度センサ７で測定する温度情報（温度変化情報）に基づいて、歪曲収差補正部２５での歪曲収差補正の補正量を変化させて歪曲収差を補正することにより、温度が変化した場合においても高品質な画像を得ることができる。また、温度変化によって屈折率変化や熱膨張が変化するプラスチックレンズを広角レンズ系４に用いても、温度変化に応じた歪曲収差を補正することができるので、広角レンズ系４に安価なプラスチックレンズを使用することができる。
As described above, according to the
〈実施形態２〉
図１２は、本発明の実施形態２に係る画像撮像装置の画像処理部の構成を示すブロック図である。なお、図５に示した実施形態１の画像処理部と同一部分には同一符号を付し、重複する説明は省略する。
<
FIG. 12 is a block diagram illustrating a configuration of an image processing unit of the image capturing apparatus according to the second embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same part as the image processing part of
図１２に示すように、本実施形態の画像処理部３ａは、第１歪曲収差補正部２５ａと第２歪曲収差補正部２５ｂを有し、制御部２７内の歪曲収差補正切替え部２７ａからの信号が入力されるスイッチ回路３３のスイッチ切り替えにより、第１歪曲収差補正部２５ａもしくは第２歪曲収差補正部２５ｂのいずれかを選択する構成である。
As shown in FIG. 12, the
第１歪曲収差補正部２５ａと第２歪曲収差補正部２５ｂは、それぞれ異なる温度変化範囲に対して適切な歪曲収差補正が行えるように構成されている。
The first
第１歪曲収差補正部２５ａは、下記の式（２０）、式（２１）に示す座標変換式、第２歪曲収差補正部２５ｂは、下記の式（２２）、式（２３）に示す座標変換式により、座標変換先である座標データ（ｘ，ｙ）を入力として、ＲＧＢそれぞれについて歪曲収差補正の変換座標を演算することにより、ＲＧＢそれぞれの座標変換元である座標データ（Ｘ，Ｙ）を算出する。
The first
Ｘ＝ｘ＋（ｃ(ｔ)＋ｄ(ｔ)ｙ２）ｘ …式（２０）
Ｙ＝ｙ …式（２１）
Ｘ＝ｘ＋（ｅ(ｔ)＋ｆ(ｔ)ｙ２）ｘ …式（２２）
Ｙ＝ｙ …式（２３）
ここで、Ｘ、Ｙは座標変換元の座標、ｘ，ｙは画面中心を原点とした場合の座標変換先の座標（本来の座標）、ｃ(ｔ)，ｄ(ｔ)、ｅ(ｔ)，ｆ(ｔ)は温度ｔの関数になっている座標変換係数である。
X = x + (c (t) + d (t) y 2 ) x Equation (20)
Y = y Formula (21)
X = x + (e (t) + f (t) y 2 ) x Equation (22)
Y = y Formula (23)
Here, X and Y are the coordinates of the coordinate transformation source, x and y are the coordinates of the coordinate transformation destination when the center of the screen is the origin (original coordinates), c (t), d (t), e (t) , F (t) is a coordinate conversion coefficient which is a function of the temperature t.
本実施形態では、制御部２７は、温度センサ７で測定した温度情報を入力し、入力した温度情報（温度変化情報）に基づいて、例えば、温度変化が０℃〜５０℃の範囲内あれば、歪曲収差補正切替え部２７ａから第１歪曲収差補正部２５ａを選択するような信号をスイッチ回路３４に出力し、スイッチ回路３４を第１歪曲収差補正部２５ａ側に切り替える。これにより、温度センサ６で測定する温度情報（０℃〜５０℃の範囲の温度変化情報）に基づいて、歪曲収差補正部２５での歪曲収差補正の補正量を変化させて歪曲収差を補正する。
In the present embodiment, the
また、制御部２７は、温度センサ７で測定した温度情報を入力し、入力した温度情報（温度変化情報）に基づいて、例えば、温度変化が５０℃〜１００℃の範囲内あれば、歪曲収差補正切替え部２７ａから第２歪曲収差補正部２５ｂを選択するような信号をスイッチ回路３４に出力し、スイッチ回路３４を第２歪曲収差補正部２５ｂ側に切替える。これにより、温度センサ７で測定する温度情報（５０℃〜１００℃の範囲の温度変化情報）に基づいて、歪曲収差補正部２５での歪曲収差補正の補正量を変化させて歪曲収差を補正する。
Further, the
このように、本実施形態によれば、温度センサ７で測定された温度変化範囲に応じて第１歪曲収差補正部２５ａと第２歪曲収差補正部２５ｂのいずれか一方側に切り替えることにより、歪曲収差補正の補正量をより適切に変化させて歪曲収差を補正することができる。
Thus, according to the present embodiment, the distortion is caused by switching to one of the first
１ 画像撮像装置
２ 広角カメラユニット
３、３ａ 画像処理部
４ モニタ
５ 広角レンズ系（光学系）
６ ＣＣＤ（撮像素子）
７ 温度センサ（温度測定手段）
２０ ＡＧＣ回路
２１ Ａ／Ｄ変換器
２２ ベイヤー補完部
２３ 倍率色収差補正部
２４ ＭＴＦ補正部
２５、２５ａ，２５ｂ 歪曲収差補正部（歪曲収差補正手段）
２６ ガンマ補正部
３４ スイッチ回路
DESCRIPTION OF
6 CCD (imaging device)
7 Temperature sensor (temperature measurement means)
DESCRIPTION OF
26 Gamma Correction Unit 34 Switch Circuit
Claims (4)
温度を測定する温度測定手段を有し、
前記温度測定手段により測定された温度データに基づいて、前記歪曲収差補正処理手段による歪曲収差補正処理の補正量を変化させる、
ことを特徴とする画像撮像装置。 An optical system, an image sensor that receives a subject image incident through the optical system on a light-receiving surface having a plurality of pixels and converts the image data into image data, and takes in the image data, and at least distortion aberration generated in the optical system. In an image pickup apparatus comprising distortion aberration correction processing means for performing distortion correction processing to correct,
Having a temperature measuring means for measuring the temperature;
Based on the temperature data measured by the temperature measuring means, the correction amount of the distortion correction processing by the distortion correction processing means is changed,
An image pickup apparatus characterized by that.
ことを特徴とする請求項１に記載の画像撮像装置。 The coordinate transformation formula for distortion correction in the distortion correction processing means is a function of temperature,
The image capturing apparatus according to claim 1, wherein
ことを特徴とする請求項１又は請求項２に記載の画像撮像装置。 A plurality of the distortion aberration correction processing means are provided according to the temperature data of different temperature ranges, and the distortion aberration correction processing correction by the selected distortion aberration correction processing means is performed based on the temperature data measured by the temperature measurement means. Change the amount,
The image capturing apparatus according to claim 1, wherein the image capturing apparatus is an image capturing apparatus.
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像撮像装置。 The temperature measuring means is installed in the vicinity of the optical system,
The image capturing apparatus according to claim 1, wherein the image capturing apparatus is a first image capturing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008067535A JP2009225119A (en) | 2008-03-17 | 2008-03-17 | Image imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008067535A JP2009225119A (en) | 2008-03-17 | 2008-03-17 | Image imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009225119A true JP2009225119A (en) | 2009-10-01 |
Family
ID=41241449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008067535A Pending JP2009225119A (en) | 2008-03-17 | 2008-03-17 | Image imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009225119A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010015007A (en) * | 2008-07-04 | 2010-01-21 | Fujinon Corp | Imaging lens and imaging apparatus using the same |
| JP2010054646A (en) * | 2008-08-27 | 2010-03-11 | Kyocera Corp | Wide-angle lens and imaging module |
| JP2013251798A (en) * | 2012-06-01 | 2013-12-12 | Canon Inc | Image projection apparatus |
| JP2016103169A (en) * | 2014-11-28 | 2016-06-02 | 株式会社リコー | Image processing apparatus, image processing method, and electronic apparatus |
| JP2017027001A (en) * | 2015-07-27 | 2017-02-02 | 京セラ株式会社 | Imaging lens and imaging apparatus |
| JP2017203972A (en) * | 2016-10-19 | 2017-11-16 | 株式会社タムロン | Observation optical system, observation imaging apparatus, observation imaging system, image-formation lens system and adjustment method of observation optical system |
| US10506206B2 (en) | 2015-05-06 | 2019-12-10 | Dolby Laboratories Licensing Corporation | Thermal compensation in image projection |
| WO2020193959A1 (en) * | 2019-03-22 | 2020-10-01 | E.V. Offshore Limited | Downhole imaging |
| WO2024042995A1 (en) * | 2022-08-24 | 2024-02-29 | ソニーセミコンダクタソリューションズ株式会社 | Light detection device and light detection system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0896118A (en) * | 1994-09-28 | 1996-04-12 | Nissan Motor Co Ltd | Circumferential state display device for vehicle |
| JP2002135765A (en) * | 1998-07-31 | 2002-05-10 | Matsushita Electric Ind Co Ltd | Camera calibration instruction device and camera calibration device |
-
2008
- 2008-03-17 JP JP2008067535A patent/JP2009225119A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0896118A (en) * | 1994-09-28 | 1996-04-12 | Nissan Motor Co Ltd | Circumferential state display device for vehicle |
| JP2002135765A (en) * | 1998-07-31 | 2002-05-10 | Matsushita Electric Ind Co Ltd | Camera calibration instruction device and camera calibration device |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010015007A (en) * | 2008-07-04 | 2010-01-21 | Fujinon Corp | Imaging lens and imaging apparatus using the same |
| JP2010054646A (en) * | 2008-08-27 | 2010-03-11 | Kyocera Corp | Wide-angle lens and imaging module |
| JP2013251798A (en) * | 2012-06-01 | 2013-12-12 | Canon Inc | Image projection apparatus |
| JP2016103169A (en) * | 2014-11-28 | 2016-06-02 | 株式会社リコー | Image processing apparatus, image processing method, and electronic apparatus |
| US10506206B2 (en) | 2015-05-06 | 2019-12-10 | Dolby Laboratories Licensing Corporation | Thermal compensation in image projection |
| US11323669B2 (en) | 2015-05-06 | 2022-05-03 | Dolby Laboratories Licensing Corporation | Thermal compensation in image projection |
| US11889233B2 (en) | 2015-05-06 | 2024-01-30 | Dolby Laboratories Licensing Corporation | Thermal compensation in image projection |
| JP2017027001A (en) * | 2015-07-27 | 2017-02-02 | 京セラ株式会社 | Imaging lens and imaging apparatus |
| JP2017203972A (en) * | 2016-10-19 | 2017-11-16 | 株式会社タムロン | Observation optical system, observation imaging apparatus, observation imaging system, image-formation lens system and adjustment method of observation optical system |
| WO2020193959A1 (en) * | 2019-03-22 | 2020-10-01 | E.V. Offshore Limited | Downhole imaging |
| GB2582561B (en) * | 2019-03-22 | 2023-05-24 | Ev Offshore Ltd | Downhole imaging |
| WO2024042995A1 (en) * | 2022-08-24 | 2024-02-29 | ソニーセミコンダクタソリューションズ株式会社 | Light detection device and light detection system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009225119A (en) | Image imaging apparatus | |
| US8035068B2 (en) | Imaging device and imaging apparatus | |
| JP4911628B2 (en) | Image processing method, image processing apparatus, and image pickup apparatus | |
| JP5008578B2 (en) | Image processing method, image processing apparatus, and image pickup apparatus | |
| JP5740465B2 (en) | Imaging apparatus and defective pixel correction method | |
| JP4966894B2 (en) | Imaging device | |
| JP5078148B2 (en) | Image processing apparatus and image pickup apparatus | |
| JP5080305B2 (en) | Image processing method and apparatus, and image pickup apparatus | |
| JP5010533B2 (en) | Imaging device | |
| JP5008139B2 (en) | Imaging device | |
| JP5062846B2 (en) | Imaging device | |
| JP2012156775A (en) | Camera module | |
| JP2012204856A (en) | Image processing method and camera module | |
| JP5187602B2 (en) | Image distortion correction method and image processing apparatus | |
| JP5268533B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP2009157733A (en) | Image distortion correction method, image distortion correction device, and image forming apparatus | |
| JP2009055442A (en) | Image correcting device | |
| JP5278421B2 (en) | Imaging device | |
| JP5333163B2 (en) | Imaging device | |
| JP2009159404A (en) | Image processing method, image processing device, and image formation device | |
| JP2011015155A (en) | Imaging apparatus, and lens unit | |
| JP2007195114A (en) | Imaging apparatus | |
| JP2011176584A (en) | Imaging apparatus | |
| JP2007208383A (en) | Chromatic aberration correcting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120403 |