JP5363872B2 - 画像補正装置及びそのプログラム - Google Patents

Description

本発明は、ズーム値を出力可能な共用ズームレンズを介して可視光波長領域で撮影した可視光画像と、共用ズームレンズを介して不可視光波長領域で撮影した不可視光画像とのずれを補正する画像補正装置及びそのプログラムに関する。

従来から、カラーカメラ、白黒カメラ等の可視光カメラが撮影した可視光画像と、赤外線カメラ、紫外線カメラ等の不可視光カメラが撮影した不可視光画像とを合成することが行われている。このとき、可視光画像と不可視光画像との間にずれが生じることがある。具体的には、例えば、可視光画像と不可視光画像との位置が単純にずれる場合、可視光画像及び不可視光画像が回転してずれる場合、可視光画像及び不可視光画像の部分毎に複雑にずれる場合がある。

ここで、ずれを補正するものとして、例えば、非特許文献１に記載の技術が提案されている。この非特許文献１に記載の技術では、被写体の位置と、撮影した画像上での位置と、カメラの位置との関係を補正することが可能である。

"A Flexible New Technique for Camera Calibration",Zhengyou Zhang,December 2,1998,Technical Report MSR-TR-98-71,Microsoft Corporation

しかし、従来技術は、非常に高い精度（ずれが非常に小さい）で可視光画像と不可視光画像とを合成させる必要があるテレビ番組の制作等の分野には、その適用が困難である。具体的には、従来技術は、可視光カメラと不可視光カメラとを光学的に共役な位置関係に配置すること、及び、レンズの取り付け精度を確保することが困難である。また、従来技術は、テレビ番組の制作で多用されるズームによってレンズ歪が変化するため、ズームレンズに適用が困難である。

また、可視光カメラで可視光画像を撮影し、不可視光カメラで不可視光画像を撮影し、これら画像に対して非特許文献１に記載の技術を適用すれば、それぞれの画像毎に、被写体の位置と画像上での位置との関係を補正することは可能である。しかし、この場合でも、可視光カメラと不可視光カメラとの位置を考慮した補正を行うことができず、テレビ番組の制作等の分野で要求される精度を確保することが困難である。

そこで、本発明は、ズームレンズに適用可能で、運用が容易な画像補正装置及びそのプログラムを提供することを目的とする。

本願発明者らは、補正係数がズーム値に応じて徐々に変化することに着目し、この補正係数をズーム値に応じた２次関数の数式で近似できることを見出し、本願発明を完成させた。具体的には、本願第１発明に係る画像補正装置は、ズーム値を出力可能な共用ズームレンズを介して可視光波長領域で撮影した可視光画像と、共用ズームレンズを介して不可視光波長領域で撮影した不可視光画像とのずれを補正する画像補正装置において、補正係数算出手段と、補正手段と、を備えることを特徴とする。

かかる構成によれば、画像補正装置は、補正係数算出手段によって、所定のパターンを撮影した可視光画像及び不可視光画像と、パターンを撮影したときのズーム値とが入力され、画像中心の位置ずれをズーム値に応じて示す補正係数と、画像の回転ずれを示す補正係数とを算出する。ここで、画像補正装置は、補正係数算出手段によって、パターンを撮影した可視光画像及び不可視光画像から特徴点を検出し、特徴点距離の和が最小となるように、画像の回転ずれを示す補正係数と、画像中心の位置ずれをズーム値に応じて示す補正係数とを、共用ズームレンズのレンズ歪をモデル化した関数により算出することを特徴とする。

また、画像補正装置は、補正手段によって、被写体を撮影したときのズーム値が入力され、補正係数算出手段が算出した画像中心の位置ずれをズーム値に応じて示す補正係数と、画像の回転ずれを示す補正係数とを用いて、被写体を撮影した可視光画像と不可視光画像との位置関係を求めて補正する。このとき、画像補正装置は、補正手段によって、被写体を撮影したときのズーム値と、補正係数算出手段が算出した画像中心の位置ずれをズーム値に応じて示す補正係数と、補正係数算出手段が算出した画像の回転ずれを示す補正係数とを関数に代入して、可視光画像と不可視光画像との位置関係を求める。

これによって、画像補正装置は、補正係数算出手段によって、画像中心の位置ずれをズーム値に応じて示す補正係数を簡易に演算できる。
また、例えば、可視光カメラと不可視光カメラとを新たな場所に配置してテレビ番組の撮影を行う場合、画像補正装置は、その場所で撮影した不可視光画像と不可視光画像とを用いて補正係数を算出すれば良い。このため、画像補正装置は、共用ズームレンズの高い取り付け精度が要求されない。
さらに、画像補正装置は、補正手段によって、補正係数を関数に代入するだけの簡易な演算で、可視光画像と不可視光画像との位置関係を求めることができる。

また、本願第２発明に係る画像補正装置は、補正係数算出手段が、後記する式（５）で表される特徴点距離ｌの和が最小となるように、画像の回転ずれを示す補正係数θと、画像中心の位置ずれをズーム値Ｚに応じて示す補正係数ａ_１，ｂ_１，ｃ_１，ａ_２，ｂ_２，ｃ_２，ａ_３，ｂ_３，ｃ_３とを、モデル化した関数を示す式（１）〜式（４）で算出することを特徴とする。

また、本願第３発明に係る画像補正プログラムは、ズーム値を出力可能な共用ズームレンズを介して可視光波長領域で撮影した可視光画像と、共用ズームレンズを介して不可視光波長領域で撮影した不可視光画像とのずれを補正する画像補正プログラムにおいて、補正係数算出手段と、補正手段と、を備えることを特徴とする。

かかる構成によれば、画像補正プログラムは、補正係数算出手段によって、所定のパターンを撮影した可視光画像及び不可視光画像と、パターンを撮影したときのズーム値とが入力され、画像中心の位置ずれをズーム値に応じて示す補正係数と、画像の回転ずれを示す補正係数とを算出する。ここで、画像補正プログラムは、補正係数算出手段によって、パターンを撮影した可視光画像及び不可視光画像から特徴点を検出し、特徴点距離の和が最小となるように、画像の回転ずれを示す補正係数と、画像中心の位置ずれをズーム値に応じて示す補正係数とを、共用ズームレンズのレンズ歪をモデル化した関数により算出することを特徴とする。

また、画像補正プログラムは、補正手段によって、被写体を撮影したときのズーム値が入力され、補正係数算出手段が算出した画像中心の位置ずれをズーム値に応じて示す補正係数と、画像の回転ずれを示す補正係数とを用いて、被写体を撮影した可視光画像と不可視光画像との位置関係を求めて補正する。このとき、画像補正プログラムは、補正手段によって、被写体を撮影したときのズーム値と、補正係数算出手段が算出した画像中心の位置ずれをズーム値に応じて示す補正係数と、補正係数算出手段が算出した画像の回転ずれを示す補正係数とを関数に代入して、可視光画像と不可視光画像との位置関係を求める。

これによって、画像補正プログラムは、補正係数算出手段によって、画像中心の位置ずれをズーム値に応じて示す補正係数を簡易に演算できる。
また、例えば、可視光カメラと不可視光カメラとを新たな場所に配置してテレビ番組の撮影を行う場合、画像補正プログラムは、その場所で撮影した不可視光画像と不可視光画像とを用いて補正係数を算出すれば良い。このため、画像補正プログラムは、共用ズームレンズの高い取り付け精度が要求されない。

本発明によれば、以下のような優れた効果を奏する。
本願第１，３発明によれば、画像中心の位置ずれをズーム値に応じて示す補正係数を簡易に演算するので、共用ズームレンズに適用可能である。また、本願第１，３発明によれば、共用ズームレンズの高い取り付け精度が要求されず、運用が容易である。
また、本願第１，３発明によれば、簡易な演算で可視光画像と不可視光画像との位置関係を求めることができ、補正処理を高速化できる。

本発明の本実施形態に係る画像補正装置の構成を示すブロック図である。 本発明の本実施形態における、被写体の撮影を説明する図である。 図１の画像合成システムが合成する画像を説明する図である。 本発明の本実施形態における、パターン画像の第一例を示す図である。 本発明の本実施形態における、パターン画像の第二例を示す図である。 図１の画像補正装置４による、補正係数算出処理を示すフローチャートである。 図１の画像補正装置４による、補正処理を示すフローチャートである。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

［画像合成システムの概略］
図１を参照して、本発明の本実施形態における、画像合成システム１の概略について説明する。ここで、画像合成システム１は、例えば、テレビ番組の制作に用いる画像（動画）を合成するものであり、撮影カメラ装置２と、撮影カメラ制御装置３と、画像補正装置４と、ＣＧ画像生成装置５と、画像合成装置６とを備える。まず、画像合成システム１は、所定のパターンをカラーカメラ２３と赤外線カメラ２５とでそれぞれ撮影する（図４，図５参照）。そして、画像合成システム１は、画像補正装置４が、パターンを撮影したカラー画像（可視光画像）と赤外線画像（不可視光画像）とを用いて補正係数を算出する。なお、補正係数の詳細は、後記する。また、図１では、パターンを撮影したカラー画像と赤外線画像との入出力を、破線矢印で図示した。

次に、画像合成システム１は、被写体Ｏｂ（図２参照）をカラーカメラ２３と赤外線カメラ２５とでそれぞれ撮影する。ここで、画像合成システム１では、図２に示すように、被写体Ｏｂの背後に暗色のスクリーンＳｃを配置し、撮影カメラ装置２の近傍に配置した赤外線ライトＬで被写体Ｏｂを照らしながら撮影を行う。このスクリーンＳｃは、入射光を赤外線ライトＬの方向に反射、言い換えると、赤外線ライトＬが照射した赤外線を撮影カメラ装置２に反射する（再帰性反射材）。このため、カラーカメラ２３は、図３（ａ）に示すように、スクリーンＳｃが背景（図３（ａ）の点打ち部分）となり、被写体Ｏｂを写したカラー画像を出力する。一方、赤外線カメラ２５は、図３（ｂ）に示すように、スクリーンＳｃが赤外線を反射するため、スクリーンＳｃ部分の輝度が高く、かつ、被写体Ｏｂの輝度が低くなるような、被写体Ｏｂのシルエットを示す赤外線画像を出力する。

また、画像合成システム１は、画像補正装置４が、算出した補正係数を用いて、被写体Ｏｂを撮影したカラー画像に対する、被写体Ｏｂを撮影した赤外線画像のずれを補正する。そして、画像合成システム１は、ＣＧ画像生成装置５で、例えば、月や星のＣＧ画像を生成しておく。さらに、画像合成システム１は、画像合成装置６が、図３（ｂ）の赤外線画像のうちの輝度が高い部分、つまり、スクリーンＳｃ部分を検出して、この部分にＣＧ画像を合成する。一方、画像合成システム１は、画像合成装置６が、図３（ｂ）の赤外線画像のうちの輝度が低い部分、つまり、被写体Ｏｂを含む部分には、図３（ａ）の被写体Ｏｂを写したカラー画像を合成する。従って、画像合成システム１は、画像合成装置６が、図３（ｃ）に示すように、月や星の背景と被写体Ｏｂとを合成したＣＧ合成画像を出力する。このとき、画像合成システム１は、図３（ａ）のカラー画像と、図３（ｂ）の赤外線映像とにずれがないため、共用ズームレンズ２１を用いる場合であってもＣＧ合成を容易に行うことができる。

なお、ＣＧ合成で用いられるクロマキー処理は、青色、緑色等の単色のスクリーンを配置し、このスクリーンに均一に照明光を照射する必要がある。このため、クロマキー処理では、照明光の拘束条件が発生することや、スクリーンに照射した照明光が被写体に反射されて被写体がスクリーンの色（例えば、青色又は緑色）に着色されて、テレビ番組の制作者が意図する画像をＣＧ合成できないことがある。このような場合、画像合成システム１を用いてＣＧ合成を行うと良い。

以下、画像合成システム１を構成する各装置について簡単に説明する。
図１の撮影カメラ装置２は、被写体Ｏｂ及びパターンを、カラーカメラ２３と赤外線カメラ２５とで撮影するものであり、共用ズームレンズ２１と、カラーカメラ２３と、赤外線カメラ２５と、ホットミラー２７とを備える。

共用ズームレンズ２１は、可視光波長領域及び赤外線波長領域での撮影が可能なズームレンズである。ここで、共用ズームレンズ２１は、ズーム値、フォーカス量及びアイリス量をロータリエンコーダ（不図示）で測定し、レンズデータとして出力する。また、共用ズームレンズ２１は、撮影カメラ制御装置３からのレンズ制御信号に基づいてレンズ駆動モータ（不図示）を駆動して、ズーム値、フォーカス量及びアイリス量を制御できる。

なお、可視光波長領域とは、一般的な放送用カメラが感度を有する波長領域（例えば、波長が４００ｎｍ〜７００ｎｍ）である。また、不可視光波長領域とは、この放送用カメラが感度を有さない波長領域であり、例えば、赤外線波長領域及び紫外線波長領域を含む。ここで、赤外線画像を用いた画像合成手法では、軸上色収差の影響を少なくするため、可視光波長領域に近い７６０ｎｍ程度の赤外線を多用する。従って、赤外線波長領域は、例えば、この７６０ｎｍの波長を含む、７００ｎｍ〜１０００μｍの波長領域である。また、この紫外線波長領域は、例えば、１０ｎｍ〜４００ｎｍの波長領域である。

カラーカメラ２３は、共用ズームレンズ２１を介して、可視光波長領域で被写体Ｏｂ及びパターンを撮影するビデオカメラ、ＣＣＤカメラ又はＣＭＯＳカメラである。ここで、カラーカメラ２３は、パターンを撮影したカラー画像を撮影カメラ制御装置３に出力する。また、被写体Ｏｂを撮影したカラー画像を画像補正装置４に出力する。なお、撮影カメラ装置２は、カラーカメラ２３の代わりに、モノクロ画像を撮影するモノクロカメラ（不図示）を備えても良い。

赤外線カメラ２５は、共用ズームレンズ２１を介して、赤外線波長領域で被写体Ｏｂ及びパターンを撮影するカメラである。また、赤外線カメラ２５は、赤外線波長領域で撮影した画像を、例えば、赤外線の波長が短い側を白色、及び、赤外線の波長が長い側を黒色といったように肉眼で認識できる画像に変換する。ここで、赤外線カメラ２５は、パターンを撮影した赤外線画像を撮影カメラ制御装置３に出力する。また、被写体Ｏｂを撮影した赤外線画像を画像補正装置４に出力する。なお、撮影カメラ装置２は、赤外線カメラ２５の代わりに、紫外線画像を撮影する紫外線カメラ（不図示）を備えても良い。

ホットミラー２７は、赤外線を赤外線カメラ２５に反射すると共に、可視光をカラーカメラ２３に透過させる光学素子である。このような光学素子としては、ホットミラー２７の他、ハーフミラー又はプリズムがある。

撮影カメラ制御装置３は、レバー、ボタン等の操作手段（不図示）を備え、カメラマンの操作に応じてレンズ制御信号を生成し、撮影カメラ装置２に出力するものである。また、撮影カメラ制御装置３は、撮影カメラ装置２からのレンズデータに含まれるズーム値と、パターンを撮影したカラー画像と赤外線画像とを、画像補正装置４に出力する。

画像補正装置４は、被写体Ｏｂを撮影したカラー画像を基準として、被写体Ｏｂを撮影した赤外線画像のずれを補正するものである。ここで、画像補正装置４は、被写体Ｏｂを撮影したカラー画像と、ずれを補正した赤外線画像とを画像合成装置６に出力する。なお、画像補正装置４の詳細は、後記する。

ＣＧ画像生成装置５は、例えば、オペレータの指令によって、月や星のＣＧ画像を生成するコンピュータである。また、ＣＧ画像生成装置５は、生成したＣＧ画像を画像合成装置６に出力する。

画像合成装置６は、被写体Ｏｂを撮影したカラー画像と、ずれを補正した赤外線画像と、ＣＧ画像生成装置５が生成したＣＧ画像とをＣＧ合成するものである。なお、ＣＧ合成の詳細は、前記したとおりなので省略する。

（第一実施形態）
［画像補正装置の構成］
以下、図１を参照して、本発明の本実施形態に係る画像補正装置４の構成について説明する。図１に示すように、画像補正装置４は、補正係数算出手段４１と、記憶手段４２と、補正手段４３と、遅延手段４４とを備える。

補正係数算出手段４１は、パターンを撮影したカラー画像及び赤外線画像と、パターンを撮影したときのズーム値とが撮影カメラ制御装置３から入力され、画像中心の位置ずれをズーム値に応じて示す補正係数ａ_１〜ｃ_３と、画像の回転ずれを示す補正係数θとを算出するものである。

ここで、予め、撮影カメラ装置２は、共用ズームレンズ２１のズームを所定間隔で変えながらパターンを撮影しておく。このとき、撮影カメラ装置２は、ずれが大きくなるズーム値近傍では、このズーム間隔を短くしてパターンを撮影することが好ましい。つまり、補正係数算出手段４１は、パターンを撮影したカラー画像と赤外線画像との対が、この対同士のズーム値が異なるように複数入力される。

また、補正係数算出手段４１は、パターンを撮影したカラー画像と赤外線画像とから、それぞれ、特徴点を検出する。以下、特徴点の検出について、第一例及び第二例をあげて説明する。

＜特徴点の検出：第一例＞
この第一例は、図４に示すように、パターンが市松模様をパターンとしたパターン画像Ｐｔから特徴点を検出する手法である。このとき、補正係数算出手段４１は、市松模様のパターン画像Ｐｔに、Ｍｏｒａｖｅｃコーナー検出、Ｈａｒｒｉｓ−Ｓｔｅｐｈｅｎｓコーナー検出等のコーナー検出を適用し、特徴点を検出する。ここでは、補正係数算出手段４１は、図４の市松模様から、各四角形の４隅を特徴点として検出する。

このようなコーナー検出を用いると、補正係数算出手段４１は、特徴点を検出する演算量を低減できるという利点がある。一方、共用ズームレンズ２１をズームしたとき（拡大撮影したとき）、又は、カラーカメラ２３や赤外線カメラ２５の解像度によっては、図４に示すように、パターン画像Ｐｔにおいて、黒色四角形の４隅がつぶれてしまい、特徴点を検出できないことがある（図４拡大部分）。このような場合、以下の第二例を用いる。

＜特徴点の検出：第二例＞
この第二例は、図５に示すように、白地に黒丸同士が重ならないように配置した水玉模様をパターンとしたパターン画像Ｐｔから特徴点を検出する手法である。このとき、補正係数算出手段４１は、水玉模様のパターン画像Ｐｔから、黒丸領域（黒色領域）を抽出し、黒丸領域毎の重心位置を特徴点として検出する。この第二例の検出手法は、特徴点の検出精度が高いという利点がある。

なお、第一例及び第二例において、補正係数算出手段４１は、パターンを撮影したカラー画像（パターン画像Ｐｔ）と、パターンを撮影した赤外線画像（パターン画像Ｐｔ）との両方から、特徴点を検出することは言うまでもない。

なお、前記した第一例及び第二例の何れを用いても、カラー画像と赤外線画像とのずれ（つまり、算出する補正係数）は、同じになる。従って、画像補正装置４は、例えば、オペレータからの指令に応じて、第一例又は第二例の何れか一方の手法を選択し、特徴点を検出すれば良い。

図１に戻り、画像補正装置４の構成について説明を続ける。
また、補正係数算出手段４１は、下記式（５）で表される特徴点距離ｌの和が最小となるように、補正係数θと、補正係数ａ_１〜ｃ_３とを下記式（１）〜下記式（４）で算出する。ここで、特徴点距離ｌは、パターンを撮影したカラー画像と赤外線画像とで対応する特徴点、つまり、同一位置から検出された検出点の対の距離（座標のずれ）である。

但し、式（１）〜式（５）では、ａ_１，ｂ_１，ｃ_１，ａ_２，ｂ_２，ｃ_２，ａ_３，ｂ_３，ｃ_３は画像中心の位置ずれをズーム値に応じて示す補正係数であり、θは画像の回転ずれを示す補正係数であり、Ｓはスケール値であり、Ｚはズーム値であり、Ｃ_ｘは画像中心の水平方向のずれであり、Ｃ_ｙは画像中心の垂直方向のずれであり、Ｖ_ｘは可視光画像の水平方向の位置（座標）であり、Ｖ_ｙは可視光画像の垂直方向の位置（座標）であり、Ｉ_ｘは不可視光画像の水平方向の位置（座標）であり、Ｉ_ｙは不可視光画像の垂直方向の位置（座標）である。

また、式（５）では、ｉ_ｘは式（１）にＶ_ｘを代入して算出した不可視光画像の水平方向の位置であり、ｉ_ｙは式（１）にＶ_ｙを代入して算出した不可視光画像の垂直方向の位置である。

ここで、式（５）で表される特徴点距離ｌは、ズーム値Ｚ毎に算出するものである。従って、補正係数算出手段４１は、ズーム値毎の特徴点距離ｌの総和が最小となる補正係数ａ_１〜ｃ_３を算出すれば良い。例えば、補正係数算出手段４１は、レーベンバーグ−マーカート法、ガウス−ニュートン法等の最適化手法を用いて、ズーム値Ｚ毎の特徴点距離ｌの総和が最小となる補正係数θと補正係数ａ_１〜ｃ_３とを算出する。そして、補正係数算出手段４１は、ズーム値Ｚに対応付けて、補正係数ａ_１〜ｃ_３と補正係数θとを、記憶手段４２に書き込む。

記憶手段４２は、補正係数ａ_１〜ｃ_３と補正係数θとをズーム値Ｚに対応付けて記憶するハードディスク、メモリ等の記憶手段である。なお、本実施例では、記憶手段４２を備えることとして説明したが、画像補正装置４は、記憶手段４２を備えなくとも良い。この場合、補正係数算出手段４１は、ズーム値Ｚに対応付けた補正係数ａ_１〜ｃ_３と補正係数θとを、補正手段４３に出力する。

補正手段４３は、撮影カメラ制御装置３から被写体Ｏｂを撮影したときのズーム値Ｚ´が入力され、補正係数算出手段４１が算出した補正係数ａ_１〜ｃ_３と補正係数θとを用いて、被写体Ｏｂを撮影したカラー画像と赤外線画像との位置関係を求めるものである。まず、補正手段４３は、記憶手段４２を参照し、ズーム値Ｚ´と同一のズーム値Ｚに対応した補正係数ａ_１〜ｃ_３と補正係数θとを読み出す。ここで、このズーム値Ｚに対応する補正係数ａ_１〜ｃ_３と補正係数θとが記憶手段４２に記憶されていない場合、補正手段４３は、ズーム値Ｚ´に最も近いズーム値Ｚに対応した補正係数ａ_１〜ｃ_３と補正係数θとを読み出す。

また、補正手段４３は、ズーム値Ｚ´をズーム値Ｚとして式（３）〜式（４）に代入し、補正係数ａ_１〜ｃ_３と補正係数θとを式（２）〜式（４）に代入し、スケール値Ｓと画像中心の位置ずれＣ_ｘ，Ｃ_ｙとを算出する。そして、補正手段４３は、算出したスケール値Ｓと、算出した画像中心の位置ずれＣ_ｘ，Ｃ_ｙと、補正係数算出手段４１が算出した示す補正係数θとを式（１）に代入して、被写体Ｏｂを撮影したカラー画像と赤外線画像とのずれを算出する。言い換えると、式（１）は、被写体Ｏｂを撮影したカラー画像と赤外線画像との位置関係（つまり、座標の変換式）を示す。

また、補正手段４３は、式（１）より、被写体Ｏｂを撮影したカラー画像と赤外線画像との位置関係が判ったため、撮影カメラ装置２から入力された赤外線画像のずれを補正する。このとき、補正手段４３は、赤外線画像においてずれを補正したい画素の座標ＩＣ_ｘ，ＩＣ_ｙを、式（１）のＶ_ｘ，Ｖ_ｙにそれぞれ代入する。さらに、補正手段４３は、被写体Ｏｂを撮影した赤外線画像において、式（１）に、スケール値Ｓと画像中心の位置ずれＣ_ｘ，Ｃ_ｙと補正係数θと代入して算出したＩ_ｘ，Ｉ_ｙが示す画素の画素値を取得する。その後、補正手段４３は、座標Ｉ_ｘ，Ｉ_ｙにおける画素値を、画素ＩＣ_ｘ，ＩＣ_ｙの画素値とする。

このとき、補正手段４３は、例えば、３タップのランチョス（Lanczos）法によって、カラー画像に対して赤外線画像のずれをなくすために、赤外線画像に対して拡大、縮小等の画像処理を施す。この他、補正手段４３は、バイリニア法、ニアレストネイバー法又はバイキュービック法を用いても良い。そして、補正手段４３は、補正した赤外線画像を画像合成装置６に出力する。

なお、一般的には、各画素が格子状に配列され、各画素の座標が整数で表現される。一方、式（１）左辺の座標Ｉ_ｘ，Ｉ_ｙは、常に画像のサンプリング位置になるとは限らず、小数を含めて表現される。この場合、補正手段４３は、画素の内挿処理を行っても良い。

遅延手段４４は、被写体Ｏｂを撮影したカラー画像が入力され、このカラー画像を蓄積するフレームメモリである。また、遅延手段４４は、補正手段４３の補正処理の時間だけ遅延させて、蓄積したカラー画像を画像合成装置６に出力する。

［共用ズームレンズのレンズ歪のモデル化］
以下、本発明における、共用ズームレンズのレンズ歪のモデル化について説明する。
本発明のように、カラーカメラ２３（可視光カメラ）と赤外線カメラ２５（不可視光カメラ）とで、共用ズームレンズ２１を用いる場合、以下の理由でカラー画像と赤外線画像との間にずれが生じる。この第一の理由は、共用ズームレンズ２１、ホットミラー２７等の取り付け精度に起因する。また、第二の理由は、共用ズームレンズ２１の波長特性から、倍率色収差が生じるためである。

まず、これらを理由とする画像の変位量は、カラー画像と赤外線画像との画像中心の位置ずれＣ_ｘ，Ｃ_ｙと、共用ズームレンズ２１の光軸に対する垂直方向の回転ずれθとおく。ここで、本願発明者らの実験により、例えば、可視光を基準に設計した共用レンズであれば、可視光波長領域に対して、赤外線波長領域や紫外線波長領域での倍率色収差が、単純なスケール値に対応することが判った。このことから、式（１）が成立する。なお、式（１）は、極度の広角レンズには当てはまらない場合がある。

さらに、本願発明者らの実験により、共用ズームレンズ２１の場合、撮影面に対して共用ズームレンズ２１の光軸が正確に垂直になっていないことから、前記した補正係数ａ_１〜ｃ_３が、ズーム値Ｚに応じて、徐々に変化することも判った。様々な共用ズームレンズ２１を用いて実験した結果、前記した補正係数ａ_１〜ｃ_３が、ズーム値Ｚに応じた２次関数の数式で近似できることを見出した。このことから、式（２）〜式（４）が成立する。なお、式（１）〜式（４）が、請求項に記載の共用ズームレンズのレンズ歪をモデル化した関数である。

［画像補正装置の動作：補正係数算出処理］
以下、図６を参照し、図１の画像補正装置４による補正係数算出処理について説明する（適宜図１参照）。まず、画像補正装置４は、補正係数算出手段４１に、パターンを撮影したカラー画像（パターン画像Ｐｔ）と、パターンを撮影した赤外線画像（パターン画像Ｐｔ）とを入力する（ステップＳ１）。そして、画像補正装置４は、補正係数算出手段４１に、このパターンを撮影したときのズーム値Ｚを入力する（ステップＳ２）。

ステップＳ２の処理に続いて、画像補正装置４は、補正係数算出手段４１によって、ステップＳ１で入力されたカラー画像と、パターンを撮影した赤外線画像とのそれぞれから、例えば、コーナー検出により特徴点を検出する（ステップＳ３）。

ステップＳ３の処理に続いて、画像補正装置４は、補正係数算出手段４１によって、式（５）で表される特徴点距離ｌの和が最小となるように、補正係数θと、補正係数ａ_１〜ｃ_３とを式（１）〜式（４）で算出する。ここで、画像補正装置４は、補正係数算出手段４１によって、例えば、レーベンバーグ−マーカート法、ガウス−ニュートン法等の最適化手法を用いて、特徴点距離ｌの総和が最小となる補正係数θと補正係数ａ_１〜ｃ_３とを算出する（ステップＳ４）。

ステップＳ４の処理に続いて、画像補正装置４は、補正係数算出手段４１によって、ステップＳ４で算出した補正係数θと補正係数ａ_１〜ｃ_３とを、ステップＳ２で入力されたズーム値Ｚに対応付けて記憶手段４２に書き込む（ステップＳ５）。

ここで、例えば、画像補正装置４は、補正係数算出手段４１によって、ステップＳ１〜Ｓ５の動作を繰り返し行い、異なるズーム値Ｚで撮影されたパターンを撮影したカラー画像と赤外線画像とから、補正係数を算出する。このとき、画像補正装置４は、補正係数算出手段４１によって、ずれが大きくなるズーム値近傍、及び、撮影時に多用するズーム値近傍で、補正係数を算出しておくことが好ましい。これによって、画像補正装置４は、ズームによる共用ズームレンズ２１のレンズ歪の変化を補正係数により正確に反映でき、ずれの補正精度が向上する。

［画像補正装置の動作：補正処理］
以下、図７を参照し、図１の画像補正装置４による補正処理について説明する（適宜図１参照）。まず、画像補正装置４は、補正手段４３に、被写体Ｏｂを撮影したカラー画像と、被写体Ｏｂを撮影した赤外線画像とを入力する（ステップＳ１１）。また、画像補正装置４は、補正手段４３に、被写体Ｏｂを撮影したときのズーム値Ｚ´を入力する（ステップＳ１２）。

ステップＳ１２の処理に続いて、画像補正装置４は、補正手段４３によって、記憶手段４２から、ズーム値Ｚ´に対応する補正係数ａ_１〜ｃ_３と補正係数θと読み出す（ステップＳ１３）。

ステップＳ１３の処理に続いて、画像補正装置４は、補正手段４３によって、ズーム値Ｚ´をズーム値Ｚとして式（３）〜式（４）に代入し、補正係数ａ_１〜ｃ_３と補正係数θとを式（２）〜式（４）に代入し、スケール値Ｓと画像中心の位置ずれＣ_ｘ，Ｃ_ｙとを算出する（ステップＳ１４）。

ステップＳ１４の処理に続いて、画像補正装置４は、補正手段４３によって、ステップＳ１４で算出したスケール値Ｓと画像中心の位置ずれＣ_ｘ，Ｃ_ｙと、ステップＳ１３で読み出した補正係数θとを式（１）に代入して、被写体Ｏｂを撮影したカラー画像と赤外線画像との位置関係を求める（ステップＳ１５）。

以上のように、本発明の本実施形態に係る画像補正装置４は、画像中心の位置ずれをズーム値に応じて示す補正係数ａ_１〜ｃ_３を、式（１）〜式（５）を用いて簡易に演算できるので、ズームレンズに適用可能である。また、本発明の本実施形態に係る画像補正装置４は、撮影カメラ装置２を新たな場所に配置してテレビ番組の撮影を行う場合、その場所で撮影したカラー画像と赤外線画像とを用いて補正係数ａ_１〜ｃ_３と補正係数θとを算出すれば良い。このため、本発明の本実施形態に係る画像補正装置４は、ズームレンズの高い取り付け精度が要求されない。さらに、本発明の本実施形態に係る画像補正装置４は、撮影中にズームを行った場合でも、カラー画像と赤外線画像とのずれを画素単位の精度で補正することができ、テレビ番組の制作等の非常に高い精度が要求される分野でも実用に十分耐えられる。

また、本発明の本実施形態に係る画像補正装置４は、その用途が制限されないが、特に、クロマキー処理が難しい場合、図２のスクリーンＳｃのような再帰性反射材を用いる場合、又は、カラー画像に含まれる被写体に関する情報を不可視光だけに反応するマーカで取得する場合に有効である。

また、例えば、本発明に係る画像補正装置４は、赤外線サーモグラフィカメラで人物を撮影したサーモグラフィ画像と、カラー画像とのずれを補正する。そして、画像合成装置６が、カラー画像の背景部分とサーモグラフィ画像とを合成しても良い。このように、本発明に係る画像補正装置４は、カラーの実写背景に被写体の体温表示が合成された画像を生成する場合にも用いることができる。

本発明の本実施形態では、画像補正装置４を独立した装置として説明したが、これに限定されない。本発明では、一般的なコンピュータの演算装置、記憶装置等のハードウェア資源を、前記した各手段として協調動作させるプログラムで実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

１ 画像合成システム
２ 撮影カメラ装置
２１ 共用ズームレンズ
２３ カラーカメラ
２５ 赤外線カメラ
２７ ホットミラー
３ 撮影カメラ制御装置
４ 画像補正装置
４１ 補正係数算出手段
４２ 記憶手段
４３ 補正手段
４４ 遅延手段
５ ＣＧ画像生成装置
６ 画像合成装置

Claims (3)

1. ズーム値を出力可能な共用ズームレンズを介して可視光波長領域で撮影した可視光画像と、当該共用ズームレンズを介して不可視光波長領域で撮影した不可視光画像とのずれを補正する画像補正装置において、
   所定のパターンを撮影した前記可視光画像及び前記不可視光画像と、前記パターンを撮影したときの前記ズーム値とが入力され、画像中心の位置ずれを前記ズーム値に応じて示す補正係数と、画像の回転ずれを示す補正係数とを算出する補正係数算出手段と、
   被写体を撮影したときの前記ズーム値が入力され、前記補正係数算出手段が算出した前記画像中心の位置ずれをズーム値に応じて示す補正係数と、前記画像の回転ずれを示す補正係数とを用いて、被写体を撮影した前記可視光画像と前記不可視光画像との位置関係を求めて補正する補正手段と、を備え、
   前記補正係数算出手段は、前記パターンを撮影した前記可視光画像及び前記不可視光画像から特徴点を検出し、当該特徴点距離の和が最小となるように、前記画像の回転ずれを示す補正係数と、前記画像中心の位置ずれをズーム値に応じて示す補正係数とを、前記共用ズームレンズのレンズ歪をモデル化した関数により算出し、
   前記補正手段は、前記被写体を撮影したときの前記ズーム値と、前記補正係数算出手段が算出した前記画像中心の位置ずれをズーム値に応じて示す補正係数と、前記補正係数算出手段が算出した前記画像の回転ずれを示す補正係数とを前記関数に代入して、前記可視光画像と前記不可視光画像との位置関係を求めることを特徴とする画像補正装置。
2. 前記補正係数算出手段は、式（５）で表される特徴点距離ｌの和が最小となるように、前記画像の回転ずれを示す補正係数θと、前記画像中心の位置ずれをズーム値Ｚに応じて示す補正係数ａ_１，ｂ_１，ｃ_１，ａ_２，ｂ_２，ｃ_２，ａ_３，ｂ_３，ｃ_３とを、前記モデル化した関数を示す式（１）〜式（４）で算出することを特徴とする請求項１に記載の画像補正装置。
   但し、式（１）〜式（５）では、Ｓはスケール値であり、Ｃ_ｘは画像中心の水平方向のずれであり、Ｃ_ｙは画像中心の垂直方向のずれであり、Ｖ_ｘは前記可視光画像の水平方向の位置であり、Ｖ_ｙは前記可視光画像の垂直方向の位置であり、Ｉ_ｘは前記不可視光画像の水平方向の位置であり、Ｉ_ｙは前記不可視光画像の垂直方向の位置であり、ｉ_ｘは式（１）にＶ_ｘを代入して算出した前記不可視光画像の水平方向の位置であり、ｉ_ｙは式（１）にＶ_ｙを代入して算出した前記不可視光画像の垂直方向の位置である。
   

   
3. ズーム値を出力可能な共用ズームレンズを介して可視光波長領域で撮影した可視光画像と、当該共用ズームレンズを介して不可視光波長領域で撮影した不可視光画像とのずれを補正するために、コンピュータを、
   所定のパターンを撮影した前記可視光画像及び前記不可視光画像と、前記パターンを撮影したときの前記ズーム値とが入力され、画像中心の位置ずれを前記ズーム値に応じて示す補正係数と、画像の回転ずれを示す補正係数とを算出する補正係数算出手段、
   被写体を撮影したときの前記ズーム値が入力され、前記補正係数算出手段が算出した前記画像中心の位置ずれをズーム値に応じて示す補正係数と、前記画像の回転ずれを示す補正係数とを用いて、被写体を撮影した前記可視光画像と前記不可視光画像との位置関係を求めて補正する補正手段、として機能させ、
   前記補正係数算出手段は、前記パターンを撮影した前記可視光画像及び前記不可視光画像から特徴点を検出し、当該特徴点距離の和が最小となるように、前記画像の回転ずれを示す補正係数と、前記画像中心の位置ずれをズーム値に応じて示す補正係数とを、前記共用ズームレンズのレンズ歪をモデル化した関数により算出し、
   前記補正手段は、前記被写体を撮影したときの前記ズーム値と、前記補正係数算出手段が算出した前記画像中心の位置ずれをズーム値に応じて示す補正係数と、前記補正係数算出手段が算出した前記画像の回転ずれを示す補正係数とを前記関数に代入して、前記可視光画像と前記不可視光画像との位置関係を求めるための画像補正プログラム。

Images