JP4309345B2 - 画像フィールドデータを修正する技法 - Google Patents

Description

本発明は、一般にビデオ信号データを処理する技法に関し、特に、例えば、カメラ等のレンズ、センサ感度の変動およびハウジング内反射によって生じるシェーディング効果を補正するなどの結像された光学場の両端にわたる変動を補正するビデオバイナリデータを処理する技法に関する。

レンズシェーディングは、レンズの画像フィールドの両端にわたる均等でない光の反応である。すなわち、レンズの両端にわたって均等な光度を持つ場面表示に用いるシンプルなレンズは、一般に著しく均等でない光度を有する当該場面の画像を生むことになる。光度は一般に画像の中央部分で最も高くなり、画像の端縁部上で６０％程度またはそれ以上に下がる。このようなレンズは、このシェーディング効果を補正しなければほとんどの光学用アプリケーションに適していないことは明らかである。レンズの両端にわたる強度の変動を伴うことなく場面を結像するレンズの複雑なアセンブリを利用することにより補正を行うことができる。

電子カメラは、電荷結合素子（ＣＣＤ）、相補形金属酸化膜半導体（ＣＭＯＳ）素子あるいは別のタイプの光センサなどの２次元センサ上へ場面を結像する。これらの素子は、狭い２次元表面の両端にわたって配設された多数の（通常２００〜４００万またはそれ以上の）光検出素子を備え、これらの光検出素子は、エレメントに当たる光またはその他の光線（可視光波長に隣接するスペクトルの赤外線および紫外線領域を含む）の強度に比例して個々に信号を生成する。画像の画素を形成するこれらのエレメントは、通常ラスタパターンで走査され、当該エレメントが走査されるにつれて、次々にセンサ素子に当たる放射強度の連続的なデータストリームが生成される。カラーデータは、最も一般的には、センサの両端にわたって交互に分配された（赤、緑、青などの）別個のカラー成分の各々のカラー成分に感応する光検出素子を用いて取得されることになる。対象場面をセンサ上へ結像するレンズのシェーディング効果に起因して、光センサの両端にわたって光の均一でない分布が生じ、このためセンサからのビデオ信号には、センサ上にスーパーインポーズされる望ましくない強度の変動データが含まれる。

複雑な（かつ高価な）レンズを使用することによりレンズシェーディング効果を除去する代わりに、光センサからの信号を処理してこの効果による影響を補正することができることが提案されている。個々の光検出素子のエレメントからの信号に印加される補正量は、光センサの表面の両端にわたるエレメントの位置に依存する。

本発明の電子信号処理技術は、マルチエレメントセンサの両端にわたる予測可能な画像上への光学的変動をスーパーインポーズするセンサ感度の変動およびカメラの内部表面からの反射などのレンズシェーディングおよび／または別の同様の現象の補正を可能にするものである。これらの処理技術は、デジタルカメラおよび別のタイプのビデオ装置に対して特に適用できるものではあるが、このような用途のみに限定されるものではない。これらの技術は低価格で実現可能であり、実際には携帯用デバイス内に貴重なスペースを必要とせず、修正済みビデオデータを光センサから得るのと同じレートで作動するものであり、それによって、ビデオシステムのパフォーマンスが不利な影響を受けるものではない。

レンズシェーディングによる補正の一例では、画像の光心からの画素の半径の関数である量の分だけ個々の画像画素データの補正を行うことによって、ビデオデータに対する球面強度の補正は行われる。ラスタまたは別の線形走査パターンのｘ−ｙ座標位置から半径方向の距離まで個々の画素位置がまず変換され、次いで、当該半径方向の距離を利用して、少量の補正情報から画素用の補正値が生成される。この補正情報によって、個々の画素用の補正データを保持する必要を避けることが可能となり、それによって、このようなデータを格納するための大きなメモリを備える必要を省くことが可能となる。これらの処理を実行する専用回路を利用することにより、非常に高速の高価なデジタル信号プロセッサを用いる必要なく、光センサがビデオデータを出力するのと同じレートでこのような処理を実行することが可能となる。特定のアプリケーションでは、画素の半径方向の位置は、加算器回路によって走査位置から計算される。

一例では、均一な強度の場面を光センサ上へ結像することにより、個々のカメラあるいは別の光学系の較正を行い、次いで、この結果得られた光センサの両端にわたる球面強度あるいは別の変動データを単一の半径に沿って計算する。補正データの格納に必要なメモリ量を最小化するために、比較的少数のデータポイントだけを好ましくは格納し、格納された値間の値の計算は、ある形の補間によって画像の修正処理中に取得される。像強度における顕著な不連続部分を避けるために、これら少数のデータポイントは、補正対象画像の両端にわたる強度変動に一致するように選ばれた平滑化曲線にフィットさせるようにすることが望ましい。レンズシェーディングの補正に加えて、これら技術は、光センサおよび／または光センサの入射画像光との相互の影響に起因して生じる強度の変動も補正するものである。

本発明の追加の目的、利点および特徴は、添付の図面と関連して説明される例示の実施形態についての以下の説明に含まれる。

カメラや別のビデオ取得装置における本発明の技術の実施構成について説明するが、この実施構成では、カメラの光学系、光センサおよびカメラの内部表面からの反射によって画像の両端にわたりスーパーインポーズされる強度修正の補正を行うために、画像のデジタルデータのリアルタイムでの修正が行われる。図１に、ケース１１、結像用光学系１３、制御信号１７を生成するユーザ制御回路１５、内部電気接続部２１を持つビデオ入出力差込み口１９、不揮発性メモリカード２７が取り外し可能に挿入される内部電気接続部２５を持つカードスロット２３を備えるようなカメラが概略的に示されている。メモリカード２７上にまたは内部不揮発性メモリ（図示せず）上にカメラがキャプチャした画像のデータを格納することができる。画像データは差込み口１９を介して別のビデオ装置へ出力してもよい。メモリカード２７は、カメラによるビデオデータのプログラムが可能な市販の半導体フラッシュ形の電気的に消去可能でプログラム可能なリードオンリメモリ（ＥＥＰＲＯＭ）、小形の取り外し可能な回転磁気ディスクあるいは別の不揮発性メモリであってもよい。これとは別に、特にカメラが毎秒３０枚の画像フレームからなる映画等を撮っているとき、磁気テープや書き込み可能な光ディスクなどのさらに大きな容量の格納媒体を代わりに使用してもよい。

図に示すように、光学系１３は単一のレンズであってもよいが、通常一組のレンズであり得る。場面３１の画像２９は、画像センサ３５の２次元表面上へシャッタ３３を介して可視光線で形成される。センサの電気的出力３７は、画像２９を投影するセンサ３５の表面の個々の光検出素子の走査の結果生じるアナログ信号を運ぶ。センサ３５には、通常２次元配列の行列の形で配設された多数の個々の光検出素子が含まれ、これら光検出素子によって画像２９の個々の画素が検出される。光検出素子を通常ラスタパターンで走査することにより、タイムシーケンスの出力信号３７の形で個々の光検出素子に当たる光の強度に比例する信号が取得され、そこで光検出素子の行を最上行から始まり左から右へ一度に１回走査して、ビデオデータフレームが生成され、このビデオデータフレームから画像２９を再構成することも可能である。アナログ信号３７がアナログデジタル変換器回路チップ３９に印加され、この回路チップによって画像２９の回路４１の中にデジタルデータが生成される。一般に、回路４１内の信号は、センサ３５の個々の光検出素子に当たる光の強度を表わす一連の個々のブロックのデジタルデータである。

この実施形態では、回路４１におけるビデオデータの処理およびカメラ操作の制御は、単一の集積回路チップ４３により行われる。回路１７、２１、２５、４１との接続に加えて、回路チップ４３は制御および状態ライン４５と接続される。次いで、ライン４５は、シャッタ３３、センサ２９、アナログデジタル変換器３９およびその他のカメラ部品と接続されて、これら部品の同期処理が行われる。別個の揮発性ランダムアクセスメモリ回路チップ４７も、仮にデータ格納装置用プロセッサチップ４３と接続される。また、別個の不揮発性の再プログラム可能なメモリチップ４９が、プロセッサ・プログラム、較正データ等の格納用としてプロセッサチップ４３と接続される。通常のクロック回路５１が、回路チップおよびその他の部品へのクロック信号用としてカメラ内に設けられる。別々の部品としてではなく、プロセッサチップ４３上にシステム用クロック回路が代わりに含まれるようにしてもよい。

プロセッサチップ４３の機能ブロック図を図２に示す。デジタル信号プロセッサ（ＤＳＰ）５５は、カメラのチップ４３とその他の部品との双方の処理を制御する重要な部品である。しかし、ＤＳＰ５５は、後述するようにビデオデータの広範な処理を行わないため、相対的にシンプルで安価なプロセッサとなることができる。メモリ管理ユニット５７は、ＤＳＰ５５を外部メモリチップ４７および４９とインターフェースし、また、それぞれの回路２１と２５とを介して入出力コネクタ１９およびカードスロット２３（図１）と接続される出力インターフェース回路５９とＤＳＰ５５とのインターフェースを行う。

次に、アナログデジタル変換器３９（図１）から図２のブロック図の中を通って流れるビデオデータのフローについて一般的に説明する。ライン３７内の入力データはブロック６１で前処理が施され、次いで、１つの入力信号として乗算器６３へ出力される。乗算器６３への別の入力信号６５が着信ビデオデータを修正するデータを運び、この修正済みビデオデータは乗算器６３の出力部６７に現れる。この例では、画像の両端にわたってカメラエレメントが受けるレンズシェーディングおよび強度の変動の影響がライン６５の修正データによって補正される。適当なさらなる画像処理６９を行った後、メモリ管理ユニット５７の中を通って、出力インターフェース回路５９へビデオデータが送られ、次いで、カメラのライン２１の中を通って入出力差込み口１９、あるいはライン２５の中を通ってメモリカードスロット２３（図１）のいずれかへ、あるいはこれら両方を経由して、ビデオデータの表示および／または格納が行われる。

ライン６５内の補正データは専用の処理回路ブロック７１により生成される。ブロック７１は、ビデオデータを取得した対象画像の中心から得られる個々の画像画素の半径方向の位置に関連する量をこのような取得順に計算する回路７３を備える。この具体例では、この量は半径（ｒ_i ² ）の２乗となる。この半径は、個々の画素について、当該画素のビデオ信号を生成する光検出素子のｘ−ｙ座標で、また、センサからビデオデータを受信するのと同じレートで線形位置から計算される。画像の両端にわたる半径の関数として画像データの修正値が変動することに起因して、半径方向の位置へのこの線形変換が行われる。次いで、計算回路７５により当該計算済みの半径関数を利用して、乗算器６３に印加する修正係数が生成される。ビデオデータに対して行われる半径に依存する修正を表わす方程式を回路７５によって毎回解くことも可能ではあるが、この実施形態ではその代わりに使用するルックアップテーブルがメモリ７７によって格納される。しかし、メモリ７７のサイズを小さくするために、補正データを示す数個の点のみを格納し、格納されている点間の点の値は回路７５によって計算される。一組のレジスタ７９によって、計算回路７３と７５の双方により使用されるパラメータが格納される。

計算回路７３と７５は、ＤＳＰ５５とは独立に作動する。おそらく、ＤＳＰを用いて代わりにこれら計算を行うことも可能であろうが、それは非常に高速のプロセッサを必要とすることになり、十分なスピードが利用可能であったとしても、コストがかかり、また、チップ４３上に相当のさらに多くのスペースをとることになる。回路７３と７５は、ＤＳＰ５５による参加を伴わずに必要な反復計算を行うための極めて簡単な構造の専用回路であり、チップ４３上でほとんどスペースをとらず、ＤＳＰ５５の空き容量を増やして別の機能の実行を可能にするものである。

画像修正データとパラメータとを格納する単数または複数のメモリ７７と７９とを、別のプロセッサ回路を備えた揮発性ランダムアクセスタイプのメモリにして、アクセススピードと処理上の互換性を図り、費用対効果の良い単一チップ上にすべてを含むことができるようにすることが望ましい。個々のカメラの製造の最終段階でそのカメラについてこの画像修正データとパラメータとが一回生成され、次いで、不揮発性メモリ４９に永久に格納される。次いで、制御および状態ライン８３を介して作動するＤＳＰ５５に制御されてシステムが初期化される度に、これらデータはライン８１を介してメモリ７７と７９の中へロードされる。

図３Ａを参照しながら、センサ３５（図１）が個々の画像画素用の単一の光検出素子を備える図２のシステムの処理の１つの態様について説明する。センサのデジタル化された出力４１は、１列のセンサ３５の隣接する光検出素子から得られるデータからなる連続ブロック８７、８９、９１などを備える。単一の光検出素子のエレメントが検知する画像２９の１つの画素の強度を定量化する１０、１２またはそれ以上のビットを含む各データブロックは、制御用カウンタ８５（図２）を介してシステムクロック５１により制御されるレートで回路４１内に現れる。例えば、データブロック８７、８９、９１などのうちの１つのデータブロックがクロック信号の個々のサイクル中に現れる場合もある。

同じレートで、また、画像データ８７、８９、９１などと同期して、データブロック９３、９５、９７などが修正用処理回路７１（図２）により生成される。すなわち、修正データ９３が生成されて、画像データ８７と同時に乗算器６３で現れるなどである。光検出素子の走査パターンが既知であるため、計算用回路７３は、当該光検出素子から画像データが読み出されるのと同じ順で、かつ、同じレートでセンサ３５の表面の両端にわたる光検出素子の位置の半径を生成する。次いで、特定の画像画素用として生成された修正係数データが当該画素の強度のデータと組み合わされる。同じ画素用の生成済み修正データ９３と画像データ８７とを乗算器６３で組み合わせた結果として、修正済みデータ９８が得られる。修正済みデータブロック９９と１００とが、データ８９と９５、および９１と９７のそれぞれの組み合わせによって同じ様に得られる。

通常のビデオシステムでは、画像の複数の別個のカラー成分の個々のカラー成分に対応するデータが処理される。一般的な市販のセンサには、赤、緑、青のフィルタでカバーされる行に沿って光検出素子が交互に配置されている。いくつかの異なる配置構成の市販で入手可能なカラー感応形光検出素子が存在する。このような１つの配置構成では、１行の中に、交互に配置された赤と緑に感応する光検出素子が含まれ、一方、次の行には交互に配置された青と緑に感応する光検出素子が含まれ、これらの光検出素子も行に沿って配置されて、列の形で交互に配置されたカラー感度が得られる。別の標準的な配置構成では、別の組み合わせの２つの交互に配置されたカラーが用いられる。図３Ｂに示すように、このような１つのセンサのライン４１内の出力信号には、連続するピースの赤、緑、青のデータが含まれる。ブロック１０１、１０３、１０５などは、交互に配置された赤と緑に感応する光検出素子の別々のデータを表し、連続するクロックサイクルの各クロックサイクル中に１つのブロックが出力される。

検出される個別のカラーのすべてについて一組の補正データしか存在しない場合、カラーに関係なく、当該組のデータから画像修正係数が個々の画像画素について生成される。これは、信号修正により除去される画像の両端にわたる変動が同レベルまたはほとんど同レベルまですべてのカラーに影響を与える場合では極めて十分な処理である。しかし、変動が著しくカラーに依存するものである場合、個々のカラー成分について別々の補正係数が用いられる。図３Ｂにカラー依存修正の使用例を示し、この場合、連続する修正係数１１３、１１５、１１７などは画像データ１０１、１０３、１０５、などの個々の連続ブロックと組み合わされる。その結果は修正済みデータブロック１２０、１２２、１２４などとなる。修正係数１１３、１１７、１２１などは赤の補正データからとられ、一方、修正係数１１５、１１９、１２３などは緑の補正データから生じる。

市販で入手可能な１つの特定タイプの光センサでは、複数の光検出素子が個々の光サイトあるいは画素に積み重ねられる。最上部の検出器は、赤と緑のカラーを通し、このカラーをフィルタして取り除きながら、例えば青に感応する。この最上部の検出器のすぐ下にある検出器は、緑色を通し、このカラーをフィルタして取り除き、この例では赤に感応する。次いで、最下部のセンサは緑色に感応する。図３Ｃは、このタイプのセンサを用いる図２のシステムの処理を示す。データブロック１２５、１２７、１２９、１３１などが、１つの画素のすべてのカラーについて３つのデータブロックを出力し、次の隣接する画素について別の３つのデータブロックを出力するなどである。すべてのカラーについて１組の補正データのみが保持されている場合、カラー・データブロック１２５、１２７、１２９を生成するサイト用の修正係数１３３などのように、同じ修正係数が個々の光サイトから得られる３つのデータブロックと組み合わされる。個々のカラーについて別々の補正データが保持されている場合、修正係数は異なるものであってもよいが、画像センサの両端にわたる単一の半径方向の位置について３つのすべてのデータブロックが計算される。乗算器６３で組み合わされる場合、連続する修正済みデータブロック１３７、１３８、１３９などが結果として得られる。

本願明細書に記載の技術によって別のタイプのカラーシステムの補正を行うことも可能である。例えば、２つのカラー成分のみを用いる市販のカラーシステムが存在した。また、広いスペクトル領域を持つ別々の検出器を利用して“白黒”情報を取得する４カラーシステムも存在する。

レンズシェーディング補正関数１４１の一例を図４Ａに示す。本発明を例示するために、隔離レンズシェーディング補正関数を示してはいるが、本発明は、一般に、多数の原因から生じる多種多様のシェーディングの不均等を補正するのに適用可能であることに留意されたい。シェーディングの不均等性は、２つだけ挙げれば、均等でないセンサ感度と、カメラの内部表面からの反射とに帰することができる。レンズ特性によって引き起こされる変動と組み合わせて、これら原因によって引き起こされた変動を補正する場合、実際の補正関数は異なるものとなるが、一般的アプローチは同じである。

図４Ａから理解できるように、センサ３５（図１）の光検出素子アレイの両端にわたる画像２９の光心において、補正値は相対値０である。この光心は、画像の両端にわたる均一な強度を有する対象場面の画像の点であって、検出される像強度が最大となる点であることが望ましい。次いで、検出画像の強度は当該中心から離れる半径方向の距離ｒ_i の関数として低下する。この結果、検出された画像信号に印加される強度補正の量は、曲線１４１により示されるように、半径ｒ_i ² の関数として増加する。像強度が増加する量は、画像の端縁部で急速に上昇する。このレンズシェーディング効果は円形に左右対称になることが知られている。すなわち、曲線１４１により示される所望の補正は、検出画像の光心から検出画像の両端にわたって延在する任意の半径方向のラインに沿ってほぼ同じである。

一般的な場合において、曲線１４１は半径の２乗の指数関数に近似することが知られている。すなわち、任意の画像画素に対する強度補正値は光心からのその半径方向の距離の２乗の関数ｆ（ｒ_i ² ）となる。したがって、個々のカメラあるいは別の光学系について数式を書き、個々の画素用のＤＳＰ５５または専用回路によってこの式を解いて、当該画素に対する補正量を決定することが可能となるが、画像処理中に検索する曲線１４１の値のテーブルを保持するほうがさらに効率的であることが知られている。図４Ｂは、曲線１４１の一部の拡大図を示し、連続する点１４３〜１４７の値をとってこの曲線が表わされている。カメラ補正のある特定の場合では、曲線１４１に沿って半径の等しい増分値でとられた６４個の値だけが格納されて、曲線が表わされる。これらの点間の半径に対する補正量を計算するために、計算機７５（図２）は何らかの補間アルゴリズムを利用することも可能であるが、個々の連続する対の点１４３〜１４７間の直線勾配値を格納し、次いで、この直線勾配値が計算機７５により利用されることが望ましいことも知られている。

シェーディングテーブル７７（図２）の一例が図５に例示されている。この場合では、３つの別々の補正曲線データが、三原色の赤、緑、青のそれぞれについて１つずつ保持される。例えば、別の同様の曲線１４２が図４Ａに示されている。６４個の間隔のそれぞれについて、ｒ_i ² のベース値、並びに当該ベース値から次のベース値までの直線勾配値が格納される。計算回路７５へのｒ_i ² の個々の入力値に関連して、これら回路はタイムシーケンスで検出画像の赤、緑、青の成分に対する補正係数値を出力し、その後、これらの補正係数値は、図３Ｂを参照して前述したように着信ビデオデータの補正に利用される。言うまでもなく、個々のカラー成分が図３Ａに例示のものと同じ補正係数を受信した場合、図５のテーブルは１組の基数と勾配数のみを保持する必要がある。いずれの場合にせよ、テーブル７７に格納されるデータ量が少なくなるため、データを格納するためにチップ４３上に設ける必要があるメモリサイズを小さく保つことが可能となる。

計算回路７５へ入力するｒ_i ² 値の計算用回路７３（図２）によって実行される技術例が図６に例示されている。この計算は、ｘ−ｙ座標系での個々のセンサ光検出素子の位置を知り、次いで、円形座標系で当該位置の測定値を、ｘ−ｙ座標系でのセンサ光検出素子の光心からの半径の値に変換することから行われる。この計算は、すべての光検出素子の出力信号を受信して、ビデオデータの完全なフレームを取得してしまうまで、ラスタパターンで一方の端部から他方の端部へ一度に１行ずつセンサ３５の両端にわたって光検出素子が線形走査されるという事実を利用して単純化される。

図６では、個々の光サイトまたは画素が黒いドットにより示されている。１、２、３またはそれ以上の光検出素子が、使用されるセンサのタイプに応じて個々の画素に配置され、これらの光検出素子の例については前述した。典型的な矩形アレイには、各々の側に数百個または数千個の画素が含まれているが、図６のアレイは、計算処理の説明の便宜のために２０×２０のサイズの画素をとるものと想定されている。画素１５１は、Ｘ₀ Ｙ₀ として指定される位置を持つアレイの最も左上の画素である。というのは、画素１５１が画素アレイの第１行と第１列にあるからである。画素１５１は、ビデオデータのフレーム取得時に走査する第１の画素である。次いで、最上位行にある他の画素の信号出力を得るために、最上位行にある他の画素がその順序で走査され、最上位から第２の行の画素の走査が標準的なビデオラスタ走査パターンで、一番左側の画素から右方向へ後続する。画素１５３は、光検出素子アレイ上へ場面を結像するためにレンズのシェーディングパターンの中心になるように選択され、その位置はＸ_C Ｙ_C と記録される。シェーディングパターンの中心画素１５３のアドレスは（０，０）と指定される。この画素がアレイの中心画素でもある場合、この説明を簡略にするために想定されているように、画素１５１は、考察中の小さな例示のアレイで、（１０，１０）のアドレスを運ぶことになる。右側の次の画素は（９，１０）のアドレスを有し、第２行の第１の画素は（１０，９）のアドレスを有するなどである。中心Ｘ_C Ｙ_C からの第１の画素１５１の半径はＲ₀ と指定され、一般化した画素ｘ_i ｙ_i の半径はｒ_i と指定される。

量ｒ_i ² は、個々の画素について、その直角座標（ｘ_i ，ｙ_i ）から回路７３（図２）によって計算される。この計算を実行する回路を大幅に単純化するために、回路７３により実行されるアルゴリズムは、乗算、除算、平方根あるいはその他の複雑な算術演算のうちのいずれも必要としない算術加算に依拠することが望ましい。個々の画素の半径の２乗は加算器を使用して計算される。次にこのアルゴリズムについて説明することができる。

画素の指定行の走査開始時に、所定行の第１の画素（最も左の画素）に対する中心からの初期半径Ｒ_INITは、以下のように計算される。
Ｒ_INIT ² ＝｜Ｒ₀ ²−２Ｙ₀ Ｈ_Y ＋（１＋２ｎ_Y ）Ｈ_Y ² ｜ （１）
但し、Ｙ₀ は最上位行のｙ座標を意味し、Ｒ₀ は中心（Ｘ_C ，Ｙ_C ）から最も左上の画素（Ｘ₀ ，Ｙ₀ ）までの半径である。このアルゴリズムは、画素または画素行の若干を省く走査パターンの調整も行うものである。量Ｈ_Y は、個々のステップにおける行数を表わす。個々の行を走査する場合、Ｈ_Y ＝１となり、１つおきの行を走査する場合、Ｈ_Y ＝２などとなる。量ｎ_Y は、最上部からカウントしながら実際に走査される行の数であり（行がスキップされた場合、ｎ_Y はそのまま０、１、２などをカウントする）、第２の行についてはｎ_Y ＝０となり、第３の行についてはｎ_Y ＝１などとなる。

半径計算を単純化するために、頻繁に参照される量のいくつかは工場での較正中に一度計算され、次いで、不揮発性メモリ４９（図２）に永久に格納され、図７に示すようにシステム初期化中にレジスタ７９（図２）へ転送される。例えば、前記式で用いる量Ｙ₀ とＲ₀ もそのように格納される。量Ｈ_Y ² もやはりレジスタ７９に格納されるが、この量は、制御装置１５（図１）を通じて、走査特性が、カメラやその他のシステムのユーザが選択する機能に起因して変わるとき、ＤＳＰ５５により再び書き込むことができる。走査対象の第１の画素１５１の半径関数Ｒ₀ ²が既知であるため、回路７３はレジスタ７９から当該値を読み出して、計算用回路７５へこの値を印加するだけで十分である。しかし、回路７３は次の画素（９，１０）の半径関数とフレームの残りの画素とを計算する必要がある。

この指定画素行に沿う個々の画素の場合、中心（０，０）から個々の所定画素までの半径ｒ_i ² は、以下のように順に計算される。
ｒ_i ² ＝｜Ｒ_INIT ² −２Ｘ₀ Ｈ_X ＋（１＋２ｎ_X ）Ｈ_X ² ｜ （２）
但し、Ｒ_INIT ² は、前記数式（１）により計算される行の第１の画素の半径であり、Ｘ₀ は行の初期画素のｘ座標を意味し、Ｈ_X は個々のステップにおける画素数であり、ｎ_X は、左からカウントしながら実際に使用される画素の数であり（画素がスキップされた場合、ｎ_X はそのまま０、１、２などをカウントする）、第２の画素についてはｎ_X ＝０であり、第３の画素についてはｎ_X ＝１などである。Ｘ₀ の値は工場での較正中に不揮発性メモリ４９に格納され、システム初期化中にレジスタ７９（図７）へ転送され、Ｈ_X ² は、行われる走査のタイプに対応してＤＳＰ５５により格納される。レジスタ７９は、シェーディング補正を省くべきかを示すために、ＤＳＰ５５により設定される少なくとも１ビットの格納も行う。

１つの行の両端にわたって走査パターンが画素毎に移動すること、そして、別の行に関しても同じ移動が行われることが分かっているため、数式（１）と（２）の計算を個々の画素について行う必要はなく、代わりに、このプロセスを著しく単純化することが可能となる。第１の画素１５１の半径関数Ｒ₀ ²が既知であるため、第１の画素の半径関数Ｒ₀ ²に基づいて画素同士の半径関数の計算を行う。行の両端にわたる走査を行うとき、直前の画素の半径値に以下の値を加えることにより第１の画素以外の画素のｒ_i ² を計算する。
（１＋２ｍ_X ）Ｈ_X ² （３）
但し、ｍ_X は画素行の初期画素から渡されたＨ_X のステップ数である。同様に、第１の行の後の各行のＲ_INIT ² は、直前の行のＲ_INIT ² に以下の値を加えることにより計算される。
（１＋２ｍ_Y ）Ｈ_Y ² （４）
但し、ｍ_Y は最上位行から渡されたＨ_Y のステップ数である。数式（１）と（２）に比べて数式（３）と（４）の計算のほうがずっと計算し易いため、回路７３（図２）を簡単な構成にすることが可能となり、個々の新たな画素についての半径関数の計算が可能となる。１列の連続する画素に関連する数式（２）の半径関数の差分をとることにより、単純化された数式（３）が導き出される。同様に、連続する画素行に関連する数式（１）の半径関数の差分をとることにより、単純化された数式（４）が導き出される。

個々のカメラの光学系、センサあるいは物理的構成は、画像処理上並びにその他の点で異なる特徴を有する可能性があるため、製造工程の一部として個々のユニットの較正を行い、さらに、当該較正の結果生じるパラメータを不揮発性メモリ４９（図２）に格納して、システム初期化中にレジスタ７９（図２と図７）へ転送することが望ましい。均一な白さの２次元場面３１（図１）がセンサ３５上へ結像される。次いで、センサ３５が走査され、画像データは、レンズシェーディング補正やその他の同様の修正をいずれも伴うことなく、メモリ管理ユニット５７を介してメモリ４７に直接格納される。しかし、レンズシェーディング効果に起因して、格納済みビデオデータはフレームの両端にわたって均一な強度を有していない。次いで、この格納済みのイメージフレームデータはＤＳＰ５５により処理されて、光学系の中心画素１５３（図６）の座標（Ｘ_C ，Ｙ_C ）が決定され、この座標は、通常、画像２９の両端にわたって均一な強度を持つ場面３１の画像２９（図１）の最大強度を示す点となる。センサ３５の光検出素子アレイ上に画像フレームの端縁部を規定することにより、左上コーナーの画素座標（Ｘ₀ ，Ｙ₀ ）が決定される。中心座標とコーナー座標とが決定された後、最大半径値Ｒ₀ ²が計算される。

このプロセスによって、光学系１３、センサ２９（図１）あるいは内部カメラ表面からの反射などのその他のカメラの内部変動により生じるいずれの強度シェーディングも補正される。しかし、センサ２９が補正を必要としない場合、行われる補正はレンズ系１３のみに対する補正となる。同様に、レンズ系１３が、レンズ系１３の両端にわたって強度の変動を与えることなく画像２９を形成するようにつくられている場合、行われる補正はセンサ２９のみに対する補正となる。

ある実施形態を参照して本発明について説明してきたが、本発明は添付の特許請求の範囲の最大の範囲内においてその権利が保護されるべきであることは理解されよう。

本発明の技術を利用できる電子ビデオ装置を概略的に示す。 図１の装置の電子処理システムの一部を示すブロック図である。 図２のシステムによる３つの異なるタイプのビデオデータの修正を例示する。 図２のシステムによる３つの異なるタイプのビデオデータの修正を例示する。 図２のシステムによる３つの異なるタイプのビデオデータの修正を例示する。 画像の半径の両端にわたるサンプル強度の補正関数曲線である。 図２のメモリに格納された少ないデータ量を用いて図４Ａの曲線を表わす１つの方法を示す。 図２のメモリに格納された図４Ａの曲線を表すデータ形式の一例を示す。 図２の処理システムによる画像画素の線形走査位置から画像画素の半径方向の位置を計算する１つの方法を示す。 図２のレジスタに格納されたデータを示す。

Claims (12)

1. 実行可能なデータを含む読み出し可能なプロセッサの格納媒体であって、光学系により画像センサ上へ結像された光学場の両端にわたる強度の変動に対して前記画像センサからのデジタルビデオ信号を補正するための種々の機能をデータの実行により可能にし、前記画像センサが、ラスタパターンで走査される光検出素子として前記ビデオ信号を生成する２次元配列の個々の前記光検出素子を備えた格納媒体において、前記種々の機能とは、
   前記結像された光学場の前記ビデオ信号の球面補正を可能にするように前記結像された光学場の中心からの半径の関数として、前記光学場の少なくとも２つのカラー成分の個々のカラー成分に対する画像補正データを保持する機能と、
   現在の画素と、半径が前に計算されたものであるか、既知のものである前の画素との間の前記走査用ラスタパターンに沿った直線距離から、個々の現在の光検出素子の新たな半径を計算する機能と、
   前記新たに計算した半径を利用して、前記保持された組の強度補正データから、現在の光検出素子の前記少なくとも２つのカラー成分のうちの一方のカラー成分に対する強度補正値にアクセスする機能と、
   前記現在の光検出素子に対する強度補正値を前記現在の光検出素子に対する画像センサビデオ信号とを組み合わせることによって、前記デジタルビデオ信号を補正する機能と、
   を含む格納媒体。
2. 請求項１記載の格納媒体において、
   走査される画素の前記一連の出力値が、前記画像センサから出力された前記ビデオ信号の中に現れるのと少なくとも同程度に高速に、走査される前記個々の画素に対する前記計算する機能および合成する機能を実行する格納媒体。
3. 請求項１記載の格納媒体において、
   保持される前記画像補正データが、前記センサ上に前記光学場を結像する光学系によって、前記センサ自身によって、あるいは前記光学系とセンサとを収納する容器の内壁面からの光反射によって生じる前記光学場の両端にわたる強度の変動に対する補正値を前記個々の画素の出力の中に含む格納媒体。
4. 請求項１記載の格納媒体において、
   前記画像補正データを保持する機能が、走査される前記個々の画素に対する複数組の画像補正データを保持する機能を含み、前記光学場の複数のカラー成分の個々のカラー成分に対して一組のデータの保持が行われる格納媒体。
5. 請求項１記載の格納媒体において、
   前記保持する機能および計算する機能が、単一の集積回路チップ上ですべて達成される格納媒体。
6. 請求項１記載の格納媒体において、
   前記保持する機能および計算する機能が、当該機能を実行する専用の電子回路によりすべて実行される格納媒体。
7. 請求項１記載の格納媒体において、
   画像補正データを保持する機能が、前記結像された光学場の中心から、前記光学場の両端にわたって半径に沿って延在する連続曲線の点と、前記点間の勾配の値とを格納する機能を含み、球面強度補正データ点が存在する前記連続曲線が前記半径値の指数により規定される格納媒体。
8. 請求項７記載の格納媒体において、
   画像フィールドの両端にわたって均一な強度を有する画像フィールドを表示する前記装置の光学系によって、前記光センサを介して前記格納済みの点の値を測定し、次いで、この値を前記連続曲線にぴったり合わせる格納媒体。
9. 実行可能なデータを含む読み出し可能なプロセッサの格納媒体であって、結像された光学場を画素上に設けた２次元配列の個々の画素を有する画像センサから出力されたデジタルビデオ信号を補正するための種々の機能をデータの実行により可能にする格納媒体において、前記種々の機能とは、
   前記画像センサ上へ前記結像された光学場の中心からの半径に沿ったメモリ内の前記光学場の強度補正データを保持する機能と、
   ラスタパターンで２次元配列の個々の画素を走査することにより、前記個々の画像センサ画素からビデオ信号のデータを順番に一度に１つずつキャプチャする機能と、
   現在の画素の信号データをキャプチャする機能と同時に、現在の画素と、半径が前に計算されたものであるか、既知のものである前の画素との間の前記走査用ラスタパターンに沿った直線距離から、電子デジタル加算器回路で現在の画素に対する新たな半径を計算する機能と、
   半径を利用して、前記保持された強度補正データから、現在の画素に対する強度補正データにアクセスする機能と、
   前記現在の画素に対する強度補正値を前記現在の画素に対する画像センサビデオ信号とを組み合わせることによって、前記画像センサからデータをキャプチャする機能の遅延を伴うことなく前記デジタルビデオ信号を補正する機能と、
   を含む格納媒体。
10. 請求項９記載の格納媒体において、
    保持される前記強度補正データが、前記センサ上に前記光学場を結像する光学系によって、前記センサ自身によって、あるいは前記光学系とセンサとを収納する容器の内壁面からの光反射によって生じる前記光学場の両端にわたる強度の変動に対する補正値を前記個々の光検出素子の出力の中に含む格納媒体。
11. 請求項９記載の格納媒体において、
    前記保持する機能、計算する機能およびキャプチャする機能が、単一の集積回路チップ上ですべて達成される格納媒体。
12. 請求項９記載の格納媒体において、
    前記保持する機能、計算する機能およびキャプチャする機能が、当該機能を実行する専用の電子回路によりすべて実行される格納媒体。

Images