JP5188205B2 - カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法 - Google Patents

Description

本発明は、包括的には画像処理に関し、より詳細には、動いている物体から取得された画像において動きぶれの影響を除去することに関する。

解像度
デジタルカメラは、消費者及び専門家のどちらにとっても有用である。一般的に、デジタルカメラは、物体又はシーンのデジタル画像を取得することができる。取得された画像は、その後、数ある行為の中で、レンダリングのためにコンピュータシステムに転送されたり、グラフィックオブジェクトとして電子文書に挿入されたり、記憶デバイスに格納されたり、又は印刷デバイスに出力されたりする。さらに、例えば写真を走査することにより、デジタル画像を生成する他の手段もある。

種々のカメラ機能を利用することができる。デジタルカメラのコストに大きな影響を及ぼす可能性がある１つの重要なカメラの性能は、その解像度であり、それは典型的にはピクセル単位で測定される。カメラ解像度は、数千ピクセルから数百万ピクセルに及ぶことがある。画像解像度は、画像内の細部のレベル(level of detail：精細さ)を決定する。したがって、カメラの解像度が高くなるほど、典型的には、画像がより精細に(enhanced)見えるようになる。また、一般的には、解像度が高くなるほど、結果としてコストが高くなる。それにもかかわらず、数多くのユーザが、低価格で、より精細な外観を提供するカメラ又は他のデジタル画像取得デバイスを見つけたいと望んでいる。

動きぶれ
図１Ｃは、本発明の実施の形態による、除去されるべき動きぶれの影響を示す。動きぶれは、画像内の動いている物体に起因する明らかなストリーキングである。たとえば、画像内の静止している物体が１０×２０ピクセルによって表され、その物体が水平方向に動いている場合には、ぶれのある画像１９２内にある、その動いている物体は、１０×４０ピクセルになることがあり、動きの方向においてピクセルが増加している。動きぶれは画質を劣化させるおそれがあり、コンピュータビジョン用途にとって厄介な事象であると考えられる。動きぶれは、画像を取得している間の積分、すなわち「露出時間」中にカメラとシーンとの間の相対的な動きの結果である。その動きが、少なくとも局所的にはシフト不変性であり、且つぶれを引き起こした、点像分布関数(ＰＳＦ)としても知られているぶれ関数がわかっている場合には、動きぶれがある画像は、画像の逆畳み込みによって、失われた空間周波数まで復元することができる。すなわち、従来のぶれ補正は、せいぜい、比較的無理のない程度に見える１０×２０の物体を再現できるだけである。

本発明の１つの目的は、高い解像度、たとえば１０×４０ピクセルにおいて、より精細に見える物体を再現することである。

ぶれを補正し、解像度を高めるためのいくつかの方法が知られている。

超解像
超解像(ＳＲ)は、低解像度のカメラセンサによって取得される画像の解像度を高めるための画像処理方法を指している。典型的には、超解像は、画像全体を処理し、画像内の特定の物体を処理しない。従来技術、たとえば、H. Ur及びD. Gross著「Improved resolution from sub-pixel shifted pictures」(CVGIP: Graphical Models and Image Processing, volume 54, pages 181-186, 1992)において、多数の低解像度の画像を合成して１つの高解像度の画像にする数多くの方法が記述されている。

それらの方法では、カメラとシーンとの間の相対的な動きが推定される。その際、全ての画像が参照画像に記録される。それらの画像が合成され、高解像度の画像が得られる。しかしながら、個々の画像内の動きぶれは、超解像の質を大きく劣化させる。本発明の目標は、画質を劣化させることなく、ぶれのある物体の解像度を高めることである。

別の方法はジッタカメラ(jitter camera)を使用する。そのカメラでは、センサを変更して、サブピクセル検出器のシフトを制御しながら、４つの画像が得られた。M. Ben-Ezra、A. Zomet及びS. Nayar著「Video super-resolution using controlled subpixel detector shifts」(IEEE Trans. Pattern Anal. Machine Intell., 27: 977-987, June 2005)を参照されたい。

一次元特徴を高解像度で再現することが、F. Champagnat、G. Le Besnerais及びC. Kulcsar著「Continuous super-resolution for recovery of 1-D image features: Algorithm and performance modeling」(Proc. Conf. Computer Vision and Pattern Recognition, volume 1, pages 916-926, 2006)によって記述された。しかしながら、その方法は、低解像度の画像内のピクセルの各行又は各列が、異なるシフトを有する同じ信号のサンプリングから生じるものと仮定するので、制限される。

単一画像のＳＲは制約不足(under-constrained)問題である。これまでの仕事の大部分は以下の方法に分類することができる。(ａ)再構成を基にする方法であり、ダウンサンプリング後に、高解像度の画像が低解像度の入力画像にできる限り近くなるような、高解像度の画像が望ましい。(ｂ)トレーニングデータセット及び先行する画像を用いる、学習を基にするベイズ法。(ｃ)結果として画像内の不連続な箇所においてぶれを生じる関数による補間。

単一画像のＳＲのための隣接物埋込及びテンソル投票が記述されている。H. Chang、D.-Y. Yeung及びY. Xiong著「Super-resolution through neighbor embedding」(Proc. Conf. Computer Vision and Pattern Recognition, volume 1, pages 275-282, 2004)並びにY.-W. Tai、W.-S. Tong及びC.-K. Tang著「Perceptually-inspired and edge-directed color image super-resolution」(Proc. Conf. Computer Vision and Pattern Recognition, volume 2, pages 1948-1955, 2006)を参照されたい。

多数の画像から動きのぶれを補正すること、及び解像度を高めることはいずれも、従来のカメラによって取得される画像に対する不良設定問題(ill-posed problems)である。

動きぶれ補正
画像のぶれ補正及び逆畳み込みが既知である。未知画像の逆畳み込み(blind image deconvolution：ブラインドデコンボリューション)は、ＰＳＦに適用される種々の仮定に基づいて、所与の画像からの鮮明な画像及びＰＳＦを同時に推測しようと試みる。

ベイズ法は、天体画像のための既知のリチャードソン‐ルーシー法又は消費者写真撮影のための自然画像統計の場合のように、ポアソン分布のような、特定の画像の先験的確率を仮定する。

Ben-Ezra他はハイブリッドカメラを記述しており、そのカメラでは、低解像度のビデオカメラを用いて、ＰＳＦが推定された。その後、ＰＳＦを用いて、デジタルスチルカメラからの高解像度の画像のぶれが補正された。M. Ben-Ezra及びS. Nayar著「Motion-based Motion Deblurring」(IEEE Trans. on Pattern Analysis and Machine Intelligence, 26(6): 689-698, Jun 2004)を参照されたい。

符号化サンプリング
後に再構成するために空間周波数を保持するための方法は、ピンホールカメラの限界を克服するために天文学において頻繁に用いられる、符号化開口結像法を含む。その場合、巡回畳み込み及び逆畳み込みを用いて、遠方にある星の光分布を符号化及び復号化するために、修正均一冗長アレイ(Modified Uniformly Redundant Array)(ＭＵＲＡ)が用いられる。

広帯域符号が、スペクトル拡散技術及び符号分割多重化において用いられる。広帯域系列は、時間分散性のチャネルにわたる通信システム内のチャネル推定のためのトレーニング系列として用いられる。

コーデッド・エキスポージャ・カメラ(coded exposure camera)は、動きぶれのある画像内の高い空間周波数を保持することができ、ぶれ補正の過程を良設定(well-posed)にする。２００６年５月５日にRaskar他によって出願され、参照により本明細書に援用される「Method for Deblurring Images using Optimized Temporal Coding Patterns」と題する米国特許出願第１１／４２９，６９４号を参照されたい。

動きぶれのある画像において動いている物体の解像度を高めることが望ましい。

本発明の実施の形態は、動きぶれのある画像において動いている物体の解像度を高めるための方法を提供する。本方法は、いかなるトレーニング画像も必要とすることなく、動きぶれのある画像内の情報を利用する。ぶれサイズを大きくすると、動いている物体の解像度をより大きな倍率で高めることができる。

従来、動きぶれ補正及び超解像は不良設定問題であった。ぶれのある画像内の高い空間周波数を保持するコーデッド・エキスポージャ・カメラを用いて、本発明は、ぶれ補正と解像度を高めることとが組み合わさった問題のための線形方法を提供し、結果として生成される線形システムの反転可能性(可逆性：invertibility)を解析する。

また、本発明の実施の形態は、動きぶれが小さいことに起因して、画像内の動いている物体全体の解像度を高めることができないときに、高周波数の特徴部の狭い領域の解像度を選択的に高めるための方法を示す。ぶれサイズが十分に大きいとき、動きぶれからの情報を利用することによって、動いている物体の解像度を高めることができる。

実際には、解像度を高めることは不良設定であり、雑音が存在する中で無意味な再構成を生み出す。コーデッド・エキスポージャ・カメラを用いることによって、解像度を高めることの反転可能性が改善される。

本発明は、動きぶれを用いて、単一画像からの動いている物体の解像度を高めることができることを示す。解像度を高めることは、従来のカメラを用いて取得される画像にとっては不良設定問題である。コーデッド・エキスポージャ・カメラが、結果として生成されるシステムの反転可能性を改善する。

符号化パターン長と、ぶれのサイズと、ＲＥＦとの間の関係の理論的な解析は、本発明の実施の形態が、或る範囲のぶれ値及び超解像係数(resolution enhancement factor)を取り扱うことができることを示す。結果として、解像度を４倍まで高めることができる。選択的に高める場合には、さらに高い超解像係数を達成することができる。

図１Ａ及び図１Ｂに示されるように、本発明の実施の形態は、シーン１０１から取得される入力画像内の物体(タクシー)１０２の解像度を高めるためのカメラ１００及び方法２００を提供する。物体解像度は、画像内の物体を表すピクセルの数を意味する。本発明では、画像自体の全体的な解像度を高めることなく、この物体に関連するピクセルの数を増やすことができる。さらに、本発明では、物体解像度を高めて、そのままではぶれのある物体を、より精細に見えるようにする。

物体にぶれが生じるのは、物体１０２とカメラ１００との間に相対的に動きがある結果である。図１Ｃを参照されたい。カメラ１００は、従来のレンズ１１０と、従来の絞り１１５と、従来のセンサ１２０とを備える。そのレンズは、光学収差、コマ収差及び歪曲収差を補正するために、複合レンズと同様に、複数の素子を備えることができる。スキャナは、３つのＲＧＢ色チャネルを有するＣＣＤラインスキャナとすることができる。また、そのカメラはシャッタ１１６も備えており、そのシャッタは、シャッタコントローラ１８２によって、本明細書において説明されるように動作する。

そのカメラは、本明細書において説明される方法を実施し、シャッタ１１６を動作させるために用いることができるマイクロプロセッサ(μＰ)１４０も備える。基本的に、マイクロプロセッサは、シーン１０１の画像を符号化するセンサ１２０から、二次元のぶれのある入力画像１０３を受信し、より精細な出力画像１０４を生成することができる。

図１Ｂは、入力画像内の動いている物体のピクセル解像度を高めるための方法２００を示す。動きぶれのある物体１０２を含むと思われる符号化された入力画像１０３を生成するために、シーン１０１の画像が、符号化パターン過程６００によって定義されるオン／オフ符号化パターン１８３を用いて、シャッタコントローラ１８２によって変調され、符号化される(１８１)。符号化された画像１０３は、より精細に見えるぶれ補正された物体１８７を含む出力画像１０４を生成するために復号化される(３００)。

画像のぶれ補正方法における符号化パターン及びその使用法は、２００６年５月８日にRaskar他によって出願され、参照により本明細書に援用される、「Method for Deblurring Image using Optimized Temporal Coding Patterns」と題する米国特許出願第１１／４２９，６９４号に記述されている。

前提及び用語
本発明では、動きのあるシーン１０１の単一の入力画像１０３が取得される。本発明では、高解像度のセンサが用いられる場合に、レンズの光学的なぶれは１ピクセルよりも小さいものと仮定する。また、本発明では、物体１０２はイメージセンサ１２０と概ね同一平面上を動くものと仮定する。

この説明を簡単にするために、本発明の実施の形態は、焦点面(plane of focus)において物体１０２が一次元の直線的な動きについて実施されるが、本発明の実施の形態は、さらに複雑な物体の動き及びカメラの動きに拡張することができる。したがって、本発明では、動きの方向に沿ってピクセルの数が増える。本発明は、動きぶれに対して既知の点像分布関数(ＰＳＦ)を使用する。別の方法では、一次元の直線的な動きについての動きの方向及び大きさを記述することによって、ＰＳＦを指定することができる。実際に画像を精細にするために、本発明では、露出時間中の物体１０２の全体的な見え方、たとえば、形状及びテクスチャが不変のままであるものと仮定する。

本発明では、下付き文字ｓを用いて、センサによって取得される量を記述する。センサ１２０を用いて静止したシーンから取得される画像はｕ_ｓである。その際、動きぶれのある画像ｂ１０３は、以下のようにモデル化することができる。

ただし、＊は畳み込みを表し、ｘ_ｓは、より精細に見える出力画像１０４を表し、ηは結像過程における雑音を表し、ｈ_ｌｅｎｓ、ｈ_{ｍｏｔｉｏｎ}及びｈ_{ｓｅｎｓｏｒ}は、レンズ、動き及びセンサのＰＳＦを表す。

本発明では、センサ１２０のピクセルは正方形であり、それゆえ、センサはピクセルサイズに関連付けられる正方ＰＳＦを有するものと仮定する。動きｈ_{ｍｏｔｉｏｎ}は、入力画像１０３を取得するために用いられる露出時間に依存する。

本明細書において定義されるように、物体解像度が高くなるのは、ｈ_{ｓｅｎｓｏｒ}とｈ_{ｍｏｔｉｏｎ}とを組み合わせた影響を反転するための過程の結果である。本発明では、高解像度のセンサでは、レンズＰＳＦは、１ピクセルよりも小さいものと仮定する。別の方法では、解像度は、レンズのＰＳＦまでしか高めることができない。

したがって、動いている物体１０２の、本発明による望ましい、より精細に見える出力画像１０４は以下のとおりである。

さらに、本発明では、露出時間中に、物体は一定の速さで直線的に動き、結果として、ＰＳＦの動きは空間的に不変であるものと仮定する。

従来のぶれ補正変換
図２は、従来の動きぶれを示す。図３は、本発明による符号化された動きぶれを示す。図２では、行列Ａ２０１が、ｋ個のピクセルから成るぶれのための「スメア」行列である。出力画像はｘ２０２であり、ぶれのある入力画像はｂ２０３であり、動きは矢印２０４によって指示され、それゆえ、以下の式が成り立つ。

従来のぶれ補正は、同じ解像度において動きｈ_{ｍｏｔｉｏｎ}の影響を反転することができるだけである。

超解像による補正
対照的に、本発明は、高められた解像度で、動きぶれの影響を反転する。図３は、本発明の一実施の形態による方法を示しており、当該方法は、ぶれが生じる過程をモデル化することによって、ｈ_{ｍｏｔｉｏｎ}とｈ_{ｓｅｎｓｏｒ}とを組み合わせた影響を反転する。図３には、デシメーティング行列Ｄ_ｓ３１１、スメア行列３１２、出力画像３１３、及び入力画像３１４がある。行列３１２内にある、後にさらに詳細に説明される符号化パターンに注目されたい(図２と比較されたい)。

ｓが超解像係数(ＲＥＦ)を表すものとする。センサ出力画像１０３内のぶれ２５０のサイズはｋ個のピクセルである。図３に示される例のために、矢印３０４は、物体１０２の動きの方向を示す。

静止している物体の高さはｎである。ぶれのある画像では、その高さは、垂直方向への動きぶれに起因して、ｎ_ｓ＝ｎ＊ｓまで増加する。物体の幅はｗである。その際、動きのある物体の場合に、入力画像ｂの各列が垂直方向においてぶれており、線形畳み込みに起因して、ｔ＝ｋ＋ｎ−１個のピクセルを有する。

本明細書において定義されるように、打切り(discretizing)によって、以下に示されるように、物体解像度を高めた、より精細な出力画像ｘ_ｓを、ぶれのある入力画像ｂに関連付ける。

センサグリッド内の動きぶれを表すスメアリング行列はＡ_ｓであり、ｈ_{ｓｅｎｓｏｒ}に起因するデシメーション行列はＤ_ｓである。デシメーション行列Ｄ_ｓの各行は、ＲＥＦｓの１だけを有し、各列は、多くて、ただ１つの１だけを有する。スメアリング行列Ａ_ｓの各列は、線形畳み込みを表す、出力画像ｘ_ｓ内の解像度を高めた物体のサイズまでゼロパディングされた、長さｓ＊ｋの循環シフトされたＰＳＦベクトルに対応する。ぶれ補正及びデシメーション行列を組み合わせたものは、Ｋ_ｓ＝Ｄ_ｓ＊Ａ_ｓである。式(２)は、線形システムである。

従来技術とは対照的に、本発明の実施の形態は、高められた解像度において動きぶれ過程をモデル化し、続いてデシメーション処理することによって、動きｈ_{ｍｏｔｉｏｎ}とセンサｈ_{ｓｅｎｓｏｒ}とが組み合わされた影響を反転する。式(２)は以下のように書くこともできる。

ただし、ｂ_ｓは動きぶれのある画像である。

簡単なカウント引数が、低解像度の動きぶれのある画像内の観測数ｔが、解像度を高めた場合の未知のｎ_ｓの数よりも大きくなるべきであることを示す。したがって、以下の式が成り立つ。

したがって、動きぶれｋは十分に大きくなければならない。本明細書において定義されるように、動きぶれｋが十分に大きいことは、ｓ倍だけ解像度を高めるために、動きぶれｋが、ｓ−１倍だけ、動きの方向における物体のサイズよりも大きいことを意味する。たとえば、ＲＥＦｓ＝４である場合には、そのシーン内の物体は、その動き方向において物体のサイズよりも３倍以上動くはずである。

超解像の反転可能性
実際には、式(２)の線形システムは不良設定される。ぶれ補正及び超解像は不良設定問題である。Baker他は、画像が完全に記録されるものと仮定して、複数の画像からの超解像への理論的限界を解析した(S. Baker及びT. Kanade著「Limits on super - resolution and how to break them」(IEEE Trans. Pattern Anal. Machine Intell., 24: 1167-1183, Sept. 2002))。その文献によれば、正方ＰＳＦの場合に、再構成の制約は反転可能ではなく、条件数は、１よりも大きな整数の倍率の場合に、無限であることがわかる。動きぶれ及び低解像度に起因して、センサ出力において高い周波数が失われ、結果としてＰＳＦの周波数スペクトルにおいて０が生じるので、線形システムは反転可能ではない。個々の画像内に動きぶれがあることは、複数の画像を用いる超解像にとって好ましくない。

コーデッド・エクスポージャ・イメージング
本発明の実施の形態は、コーデッド・エキスポージャ・カメラ１００を用いて、動きぶれのある画像１０３内の高い空間周波数を保持する。コーデッド・エキスポージャ・カメラは、ただ１つの実効的な露出時間の中で光を積分することに関して、従来のカメラを変更したものである。

露出時間全体にわたってシャッタを開いておく代わりに、コーデッド・エキスポージャ・カメラは、単一画像内の選択された擬似ランダム２値符号化パターン１８３に従って「切り替えて」、シャッタを開閉させる。言い換えると、本発明は、時間的な符号化パターン１８３に従って、シーン１０１から取得される画像を時間的に変調している。その変調の結果が、シーン１０１の時間的に符号化された画像１０３であり、それは、符号化されたぶれのある物体１０２を含む。そのシーンの静止した部分の場合には、この結果として、実効的な露出時間が減少するだけである。しかしながら、動いている物体、たとえば、物体１０２の場合、図２及び図３のスメアリング行列を比較すると、結果として生成される、動きぶれのある画像は、従来のカメラの場合の連続したぶれとは対照的に、符号化されたぶれを示す。

ぶれのある入力画像１０３は、静止した画像と、露出を変調するために用いられる時間的に符号化されたパターンとの畳み込みである。実効的には、動きＰＳＦは、ローパスボックスフィルタから広帯域フィルタに変更される。この広帯域フィルタの周波数応答は、シャッタを切り替えるために用いられる２値符号による。結果として生成される動きＰＳＦは広帯域になり、周波数スペクトル内に０を有しないので、本発明の実施の形態による超解像は、良設定反転可能問題(well-posed invertible problem)になる。

図３は、高められた解像度で、ぶれのある物体を解像するための過程３００を示す。式(２)の線形システムを解くために、以下に記述されるように、露出が符号化されるときに、行列Ａ_ｓ３１２が変更される。従来のカメラの場合、動きＰＳＦは、行列Ａ_ｓの各列内が全ての１として表されるボックスフィルタである。本発明の実施の形態に従って露出を符号化することによって、行列Ａ_ｓが、２値符号を反映するように変更される。

本発明の一実施の形態では、露出を符号化することによって、式(２)のシステムを解く。図４を参照されたい。本発明では、ぶれのある入力画像ｂ内に雑音が存在する中で、推定された出力画像ｘ_ｓを比較する。本発明では、図示されるように、入力画像ｂに、０平均ガウス雑音(σ＝０．１)が加えられる。図４は、従来のカメラを用いて推定される出力画像ｘ_ｓと、式(２)の線形システムを解くことによる本発明のコーデッド・エキスポージャ・カメラとを比較する。

従来のカメラの場合の行列Ｋ_ｓの条件数は、概ね１０^１８であることに留意されたい。対照的に、コーデッド・エキスポージャ・カメラ１００を用いる行列Ｋ_ｓの条件数はわずか１４９．２である。したがって、雑音の量が少ない場合であっても、式(２)の線形システムは、従来のカメラの場合には反転可能ではないが、コーデッド・エキスポージャ・カメラ１００を用いるときには反転可能になる。

理論的解析
カメラのシャッタが一度の露出時間内で開閉されるために従う符号化パターンの長さｍを考える。本発明では、長さｍと、ぶれサイズｋと、ＲＥＦｓとの間の関係を記述する。本発明では、推定された高解像度画像ｘ_ｓの雑音共分散に関して、式(２)を解析する。線形システムＡｘ＝ｂの場合に、ぶれのある画像ｂにおいて、平均０及び分散σ^２の独立同一分布(ＩＩＤ)のガウス雑音を仮定すると、推定された出力画像

の共分散行列はσ^２Σによって与えられる。ただし、以下の式が成り立つ。

推定された出力画像

の平均二乗誤差(ＭＳＥ)は、以下のとおりである。

したがって、信号対雑音比(ＳＮＲ)は以下のように定義される。

迅速な広帯域符号化パターン探索
一実施の形態では、符号化パターン１８３を定義するための過程６００は、動きＰＳＦの周波数スペクトルが、その周波数スペクトル内に０を有しないように、ゼロパディング符号の高速フーリエ変換(ＦＦＴ)の最小値を最大にすることに基づく。符号化パターン長が短いとき、線形探索を用いて、概ね最適な符号を見つけることができる。

しかしながら、解像度を高めたぶれ補正の場合に、長い符号化パターンに直面する。符号化パターン長ｍが長くなる(たとえばｍ≧１００)程、線形探索の計算負荷が重くなり、探索空間が指数関数的に拡大する。本発明では、ランダムな探索が提供され、符号化パターンの長さｍがランダムに生成され、現在の符号化パターンが先行する符号化パターンよりも良好である場合には格納される。こうして、本発明では、現時点で最も良好な符号化パターンだけが格納される。所与の長さｍの場合に、符号化パターン探索が一度だけ実行される。しかしながら、システム仕様がわかっており、たとえば、近似的なぶれサイズｋ及びＲＥＦｓがわかっている場合には、本発明では、後に記述するように、符号化パターンを探索する際に、信号対雑音比ＳＮＲを最大にする。

ＲＥＦｓ＝１の場合のぶれサイズ及び符号化パターン長
最初に、従来のぶれ補正(ｓ＝１)の場合のぶれサイズｋと符号化パターン長ｍとの間の関係を説明する。図６Ａは、種々の符号長ｍを用いるコーデッド・エキスポージャ・カメラによる、一定の物体サイズ(ｎ＝２５ピクセル)の場合のＳＮＲ(ｄＢ)対相対的なぶれサイズｋ／ｍのグラフを示す。上記のように、ｍ毎に、最良の符号化パターンが見つけられた。各グラフについて、ｋがｍに等しくなる(ｌｏｇ(ｋ／ｍ)＝０)まで、ＳＮＲが高いままであることに留意されたい。したがって、長さｍの符号化パターンは、ぶれサイズｋが長さｍに等しいときに、最も実効的(効果的)である。

図６Ｂは、従来のカメラの場合のＳＮＲプロットと共に、図６Ａに示されるのと同じグラフを示す。従来のカメラと公平に比較するために、ｘ軸は、ぶれサイズｋに変更される。ぶれが小さい(ｋ＝約１０ピクセル)場合、コーデッド・エキスポージャ・カメラは、従来のカメラと同じように動作する。ぶれサイズが大きくなると、コーデッド・エキスポージャ・カメラの性能は大幅に改善される。留意すべきことは、ｋ≦５２の場合、ｍ＝５２でＳＮＲが最も高く、５０＜ｋ≦１００の場合、ｍ＝１００でＳＮＲが最も高いことであり、長さｍはぶれサイズｋに近くすべきであることを強調しておきたい。

ＲＥＦｓ＝２の場合のぶれサイズ及び符号化パターン長
図６Ｃは、図６Ｂに類似であるが、ＲＥＦｓ＝２の場合のＳＮＲのグラフを示す。従来のカメラの場合のＳＮＲは、動きぶれが小さい場合であっても、急激に劣化するので、解像度を高めるのに実用的ではない。それと比較して、コーデッド・エキスポージャ・カメラ１００は、式(２)の線形システムを、さらに安定させる。長さｍの場合に、ｋ＝約ｍにおいて対応する曲線がピークに達する。

ＳＮＲ及びＲＥＦ
図６Ｄは、ぶれサイズｋ＝１００のピクセル、低解像度における物体の高さｎ＝２５のピクセル、及び符号化パターン長ｍ＝４００の場合のＳＮＲ対超解像係数ｓのグラフを示す。再び、従来のカメラの性能は、ＲＥＦｓ値が小さい場合であっても、急激に劣化する。ＳＮＲ値は、ＲＥＦが整数値である場合に低い。ＲＥＦが増加すると、コーデッド・エキスポージャ・カメラ１００の場合であっても、ＳＮＲは減少する。したがって、超解像を進めていく結果として、推定される画像内の雑音が増加する。

選択的な超解像
本発明の他の実施の形態は、ぶれサイズｋが十分に大きくないとき、別の言い方をすると、不十分に大きい事例を取り扱う。本明細書において定義されるように、その動きぶれサイズｋが不十分に大きいことは、ｓ倍だけ超解像を達成したいときに、動きぶれサイズｋが、動きの方向における物体のサイズをｓ−１倍した値よりも小さいことを意味する。

本発明では、物体そのものの全体ではなく、物体上の小さなパッチ、たとえばロゴ又は文字の解像度を高めることに関心がある。本発明の実施の形態では、そのような事例を取り扱うために、１つの画像内の物体パッチの解像度が選択的に高められる。その主たる概念は、動きぶれが物体のサイズと比較して小さいことがあるが、物体パッチの解像度を高めるのを容易にするために、物体上の対象となる個々のパッチ又は領域のサイズと比較して十分に大きいことがあるということである。

物体の動きぶれが小さいときに、物体上の狭いパッチＰの解像度が選択的に高められる。これを果たすために、本発明では、パッチＰ上の未知の部分が多く、周囲の領域上の未知の部分が少ないものと仮定できるように、式(２)の線形システムを編成し直す。

高さｎ^ｐのパッチＰが、それぞれ高さｎ^ｌ及びｎ^ｒの高さのパッチＬ及びＲによって包囲されるものと仮定すると、以下の式が成り立つ。

ただし、ｎは、低解像度画像内の物体の高さである。

式(５)において、観測数ｔがｓ＊ｎよりも小さい場合には、物体全体の解像度は、ＲＥＦｓによって高めることはできない。言い換えると、観測よりも多くの未知の部分が存在する。図５に示されるように、最初に、物体全体のための行列Ｋ_ｓ５１０を形成する。その後、行列Ｋ_ｓ５１０の行をリサンプリングして(５３０)、未知の部分の数を減らし、新たな行列

５２０を求め、その後、その行列を式(２)において用いる。

本発明では、２ステップの過程が用いられる。最初に、画像のぶれを補正して、低解像度における出力画像ｘが得られる。その後、パッチＬ、Ｐ及びＲが特定される。一実施の形態では、このステップは手動で行われる。パッチＰの解像度をｓだけ高める場合には、パッチＬ及びＲのために利用可能なサンプルは、ｔ−ｓ＊ｎ^ｐである。サンプルの数を、たとえばＬとＲとの間で等しく分割するとき、パッチＬ及びＲのそれぞれに利用可能なサンプルは、ｑ＝(ｔ−ｓ＊ｎ^ｐ)／２である。

別の実施の形態では、パッチＲ及びＬの相対的なサイズに応じて、サンプルが分配される。行列Ｋ_ｓ５１０がリサンプリングされる。ただし、行毎に、以下のことが成り立つ。
ａ．パッチＬに対応する最初のｓ＊ｎ^ｌ個のエントリが、長さｑにリサンプリングされる。
ｂ．パッチＰに対応する次のｓ＊ｎ^ｐ個のエントリがそのまま保持される。
ｃ．パッチＲに対応する最後のｓ＊ｎ^ｒ個のエントリが長さｑにリサンプリングされる。

本発明は、好ましい実施の形態の例として説明されてきたが、本発明の精神及び範囲内で種々の他の改変及び変更を行うことができることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の精神及び範囲内に入るような、全ての変形及び変更を包含することである。

本発明の実施の形態によるコーデッド・エキスポージャ・カメラの概略図である。 本発明の一実施の形態による物体の解像度を高めるための方法の流れ図である。 本発明の実施の形態に従って除去される動きぶれの影響の図である。 従来の動きぶれ補正方法のブロック図である。 本発明の一実施の形態による物体の解像度を高めるための過程のブロック図である。 従来のカメラを用いる場合と本発明の一実施の形態によるコーデッド・エキスポージャ・カメラを用いる場合との高解像度で画像を解像するための方法の違いを示す概略図である。 本発明の一実施の形態による選択的に解像度を高めるための方法のブロック図である。 符号化パターン長、ぶれサイズ及びＲＥＦの間の関係を示すグラフである。 符号化パターン長、ぶれサイズ及びＲＥＦの間の関係を示すグラフである。 符号化パターン長、ぶれサイズ及びＲＥＦの間の関係を示すグラフである。 符号化パターン長、ぶれサイズ及びＲＥＦの間の関係を示すグラフである。

Claims (13)

1. カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法であって、
   カメラセンサに前記画像を取り込み、ぶれのある入力画像を生成しながら、動いている物体を含むシーンから取得される画像を、時間的に符号化するパターンに従って時間的に変調するステップと、
   前記時間的に符号化するパターンに従って、前記ぶれのある入力画像を解像するステップであって、それによって、前記物体のピクセルの数を増やすことにより前記物体が高められた解像度を有する、より精細で、ぶれを補正された出力画像を生成する解像するステップと
   を含む、カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法。
2. 前記出力画像の解像度は、前記入力画像の解像度の関数である請求項１に記載の方法。
   
3. 前記物体は、前記物体とカメラとの間の相対的な動きの結果としてぶれる請求項１に記載の方法。
4. 前記物体は、焦点面内で動いている請求項１に記載の方法。
5. 前記物体は、イメージセンサと同一平面上を動いている請求項１に記載の方法。
6. 点像分布関数がわかっている請求項１に記載の方法。
7. 前記高められた解像度は、センサ及び動きの点像分布関数の組み合わされた影響を反転するための過程の結果である請求項１に記載の方法。
8. 前記動きの前記点像分布関数は広帯域フィルタである請求項７に記載の方法。
9. 前記ぶれのある物体のぶれのサイズは相対的に大きい請求項３に記載の方法。
10. 前記解像するステップは、
    線形システムＤ_ｓ＊Ａ_ｓ＊ｘ_ｓ＝ｂの解を見つけるステップをさらに含み、＊は畳み込みを表し、Ｄ_ｓはセンサに起因するデシメーション行列であり、Ａ_ｓは動きに起因するスメアリング行列であり、ｘ_ｓは出力画像であり、ｂは入力画像であり、該スメアリング行列が前記符号化パターンに従って符号化される請求項１に記載の方法。
11. 前記符号化パターンは、動きＰＳＦの周波数スペクトルが、周波数スペクトル内に０を有しないように、ゼロパディング符号の高速フーリエ変換の最小値を最大化することに基づく請求項１に記載の方法。
12. 前記物体はより大きな物体上のパッチであり、前記物体は前記ぶれが相対的に大きなサイズになるようにぶれる請求項１に記載の方法。
13. 前記より大きな物体は、前記ぶれが相対的には小さい大きなサイズになるようにぶれる請求項１２に記載の方法。

Images