JP2010218271A - パラメータ制御処理装置及び画像処理装置 - Google Patents
パラメータ制御処理装置及び画像処理装置 Download PDFInfo
- Publication number
- JP2010218271A JP2010218271A JP2009064921A JP2009064921A JP2010218271A JP 2010218271 A JP2010218271 A JP 2010218271A JP 2009064921 A JP2009064921 A JP 2009064921A JP 2009064921 A JP2009064921 A JP 2009064921A JP 2010218271 A JP2010218271 A JP 2010218271A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel density
- resolution
- pixel
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 claims abstract description 28
- 238000001739 density measurement Methods 0.000 claims abstract description 19
- 230000003252 repetitive effect Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 110
- 230000001629 suppression Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 6
- 238000007476 Maximum Likelihood Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
【課題】再構成型超解像処理方法に基づく繰り返し再構成処理により、位置ずれを有する複数枚の低解像度画像から高画質の高解像度画像を効率良く生成できる画像処理装置を提供する。
【解決手段】複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する位置合わせ処理部と、その位置ずれ情報に基づき、複数の低解像度画像を高解像度画像空間上に位置合わせすることにより中間画像を生成する中間画像生成部と、中間画像に基づいて全ての画素が定義画素である初期画像を生成する初期画像生成部と、中間画像の画素密度を測定する画素密度測定部と、測定された中間画像の画素密度に応じて、繰り返し再構成処理に係るパラメータを適応的に制御するパラメータ制御部と、初期画像に対して、繰り返し再構成処理をパラメータに基づいて行うことにより、高解像度画像を生成する繰り返し再構成処理部とを備える。
【選択図】図1
【解決手段】複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する位置合わせ処理部と、その位置ずれ情報に基づき、複数の低解像度画像を高解像度画像空間上に位置合わせすることにより中間画像を生成する中間画像生成部と、中間画像に基づいて全ての画素が定義画素である初期画像を生成する初期画像生成部と、中間画像の画素密度を測定する画素密度測定部と、測定された中間画像の画素密度に応じて、繰り返し再構成処理に係るパラメータを適応的に制御するパラメータ制御部と、初期画像に対して、繰り返し再構成処理をパラメータに基づいて行うことにより、高解像度画像を生成する繰り返し再構成処理部とを備える。
【選択図】図1
Description
本発明は、電子撮像機器や画像システムで使用されるデジタル画像処理技術に関し、特に、複数枚の低解像度画像から高画質の高解像度画像を効率良く生成するために使用されるパラメータ制御処理技術及び、当該パラメータ制御処理技術を利用する画像処理技術に関する。
位置ずれを有する複数枚の低解像度画像から一枚の高解像度画像を再構成する画像処理技術は、超解像処理と呼ばれており(非特許文献1参照)、従来から多くの技術が開発されてきた。
例えば、非特許文献2に記載されたように、ML(Maximum-likelihood)法やMAP(Maximum A Posterior)法、POCS(Projection On to Convex Sets)法などの代表的な超解像処理方法が提案されている。
ML法とは、仮定されている高解像度画像からの推定画素値と実際に観測された画素値の二乗誤差を評価関数とし、その評価関数を最小化するような高解像度画像を推定画像とする方法で、つまり、最尤推定の原理に基づく超解像処理方法である。
また、MAP法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法で、つまり、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。
そして、POCS法とは、高解像度画像と低解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。
上述したいずれの超解像処理方法では、まず、高解像度画像(初期高解像度画像)を仮定し、そして仮定した高解像度画像からカメラモデルから得られる点広がり関数(PSF関数)に基づき、全ての低解像度画像の画素毎に、その画素値を推定し、その推定値と観測された画素値(観測値)の差が小さくなるような高解像度画像を探索するという共通の特徴を有しており、これらの超解像処理方法は、再構成型超解像処理方法と呼ばれている。
デービット ケープル(David Capel)著,「イメージ モザイキング アンド スーパーレゾルーション(Image Mosaicing and Super-resolution)」,スプリンガー(Springer),2004年
エス. シー. パーク(S.C.Park)、エム. ケイ. パーク(M.K.Park)、エム. ジィー.カン(M.G.Kang)共著,「スーパーレゾルーション イメージ リコンストラクション: ア テクニカル オーバービュー(Super-Resolution Image Reconstruction: A Technical Overview)」,IEEE シグナル プロセシング マガジン(IEEE Signal Processing Magazine),2003年,第20巻,第3号,p.21-36
上述した再構成型超解像処理方法では、いずれも初期高解像度画像(初期画像)を必要とする超解像処理(繰り返し再構成処理)により、高解像度画像を再構成するようにしている。
ところで、複数枚の低解像度画像間の位置ずれをもとに、高解像度画像空間上にこれら複数枚の低解像度画像を位置合わせして得られた画像データ(中間画像)は、被写体の動き、低解像度画像の使用枚数、位置ずれ検出処理や信頼性のある画素の選択処理などの影響により、その画素密度が不均一になる。つまり、高解像度画像空間上におけるその画像データの画素密度は、画素位置によって異なる。
このような不均一な画素密度を有する画像データ(中間画像)を元に生成された画像を再構成型超解像処理方法の初期画像として用いた場合に、既存の再構成型超解像処理方法による超解像処理(繰り返し再構成処理)では、初期画像の元となった中間画像の画素密度が不均一であることを考慮せずに、繰り返し再構成処理に係る拘束条件の重み係数も、繰り返し再構成処理の終了条件も、画素密度によらず一定の値を利用している。
その為、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた画像データ(中間画像)の画素密度が高い領域に対応する初期画像の領域に対して超解像処理(繰り返し再構成処理)を行うことで、その領域は逆にぼけてしまい、単純な補間処理により得られた補間画像よりも、その領域の画質が劣化してしまう問題が生じてしまう。
また、必要以上に繰り返し再構成処理を行うことになり、高解像度画像を再構成するための計算コストが大きくなり、高解像度画像を効率良く生成できないという問題もある。
本発明は、上述のような事情よりなされたものであり、本発明の目的は、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた画像データ(中間画像)の画素密度に応じて、画像処理に係るパラメータを適応的に制御するようにしたパラメータ制御処理装置を提供することにある。
また、本発明のもう一つの目的は、再構成型超解像処理方法に基づく超解像処理(繰り返し再構成処理)により、複数枚の低解像度画像から一枚の高解像度画像を生成する際に、本発明のパラメータ制御処理装置により繰り返し再構成処理に係るパラメータを適応的に制御し、制御されたパラメータに基づいて繰り返し再構成処理を行うことで、高画質の高解像度画像を効率良く生成できるようにした、画像処理装置を提供することにある。
本発明は、位置ずれを有する複数の低解像度画像に基づいて所定の画像処理を行う画像処理装置に使用されるパラメータ制御処理装置に関し、本発明の上記目的は、前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理部と、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成部と、生成された中間画像の画素密度を測定する、画素密度測定部と、測定された中間画像の画素密度に応じて、前記所定の画像処理に係るパラメータを適応的に制御する、パラメータ制御部とを備えることにより、或いは、前記中間画像は、高解像度画像空間上に未定義画素を含む平均画像及び重み画像であることによって効果的に達成される。
また、本発明は、再構成型超解像処理方法に基づく繰り返し再構成処理により、位置ずれを有する複数の低解像度画像から高解像度画像を生成する画像処理装置に関し、本発明の上記目的は、前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理部と、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成部と、前記中間画像に基づいて、全ての画素が定義画素である初期画像を生成する、初期画像生成部と、生成された中間画像の画素密度を測定する、画素密度測定部と、測定された中間画像の画素密度に応じて、前記繰り返し再構成処理に係るパラメータを適応的に制御する、パラメータ制御部と、前記初期画像に対して、前記繰り返し再構成処理を前記パラメータに基づいて行うことにより、前記高解像度画像を生成する、繰り返し再構成処理部とを備えることによって効果的に達成される。
更に、本発明の上記目的は、前記中間画像生成部は、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像の各画素とそれに係る重みを、前記高解像度画像空間上にそれぞれ配置することにより、前記高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成し、生成された平均画像及び重み画像が前記中間画像であることにより、或いは、前記パラメータは、前記繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数であり、前記パラメータ制御部は、前記画素密度に応じて、前記拘束条件の重み係数を変化させることにより、或いは、前記パラメータは、前記繰り返し再構成処理の終了条件パラメータであり、前記パラメータ制御部は、前記画素密度に応じて、前記終了条件パラメータを変化させることにより、或いは、前記終了条件パラメータは、前記繰り返し再構成処理の繰り返し回数であることにより、或いは、前記終了条件パラメータは、前記繰り返し再構成処理の収束条件の閾値であることにより、或いは、前記画素密度測定部は、前記中間画像の全画素分をそれぞれ注目画素とし、各注目画素に対する画素密度を測定することにより、或いは、前記画素密度測定部は、前記中間画像を複数の注目領域とし、各注目領域に対する画素密度を測定することによってより効果的に達成される。
本発明では、再構成型超解像処理方法に基づく超解像処理(繰り返し再構成処理)により、複数枚の低解像度画像から一枚の高解像度画像を生成する際に、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた中間画像の画素密度に応じて、繰り返し再構成処理に係るパラメータ(例えば、エッジの滑らかさと偽色抑制の拘束条件の重み係数、繰り返し再構成処理の繰り返し回数、又は繰り返し再構成処理の収束条件の閾値)を適応的に制御し、適応的に制御されたパラメータに基づいて繰り返し再構成処理を行うようにしているので、本発明によれば、高画質の(エッジが先鋭で且つ偽色の少ない)高解像度画像を効率良く(少ない計算コストで)生成できるという優れた効果を奏する。
本発明は、位置ずれを有する複数枚の低解像度画像から一枚の高画質の高解像度画像を効率良く生成するために使用されるパラメータ制御処理技術及び、当該パラメータ制御処理技術を利用する画像処理技術に関する。
具体的に、本発明は、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた画像データ(中間画像)の画素密度に応じて、画像処理に係るパラメータを適応的に制御するようにしたパラメータ制御処理装置、及びパラメータ制御処理方法に関する。
また、本発明は、再構成型超解像処理方法に基づく超解像処理(繰り返し再構成処理)により、複数枚の低解像度画像から一枚の高解像度画像を生成する際に、本発明のパラメータ制御処理装置により繰り返し再構成処理に係るパラメータを適応的に制御し、制御されたパラメータに基づいて繰り返し再構成処理を行うことで、高画質の高解像度画像を効率良く生成できるようにした、画像処理装置及び画像処理方法に関する。
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
図1は、本発明に係る画像処理装置の実施形態(以下、単に、「本発明の画像処理装置」、又は「画像処理装置1」とも言う。)を示すブロック構成図である。また、図2は、図1に示す本発明の画像処理装置の処理流れを示すフロー図である。以下、図1及び図2を用いて、本発明の画像処理装置(画像処理装置1)を詳細に説明する。
図1に示すように、画像処理装置1は、位置合わせ処理部100と、中間画像生成部110と、初期画像生成部120と、画素密度測定部130と、パラメータ制御部140と、繰り返し再構成処理部150と、記憶部160とから構成され、位置ずれを有する複数枚の低解像度画像から、一枚の高画質の高解像度画像を効率良く生成するものである。
画像処理装置1の記憶部160は、画像データ(画像)を格納するためのものであり、記憶部160に、本発明で使用され、又は、本発明により生成される各種画像(例えば、低解像度画像、中間画像、初期画像、高解像度画像などの画像)を格納することができる。なお、記憶部160として、例えば、半導体メモリなどの記録媒体を用いることができる。
本発明では、予め複数枚の低解像度画像を記憶部160に格納しており、そして、記憶部160に格納されている複数枚の低解像度画像から選択された1枚の画像を、位置合わせ処理の基準となる基準画像とし、また、基準画像を除いて残りの全ての低解像度画像を参照画像とする。
図1に示すように、画像処理装置1では、まず、位置合わせ処理部100が、記憶部160から複数の低解像度画像(基準画像及び複数の参照画像)を読み出して、そして、読み出した基準画像及び複数の参照画像に対して、基準画像と各参照画像との間の位置ずれを検出し(図2のステップS100を参照)、検出した基準画像と各参照画像間の位置ずれに基づいて、複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する。また、位置合わせ処理部100で算出された高解像度画像空間上における位置ずれ情報は、中間画像生成部110へ入力される。
本発明では、複数の低解像度画像を高解像度画像空間上に位置合わせするためには、基準画像と各参照画像間のサブピクセル単位での位置ずれを検出する必要がある。
そこで、位置合わせ処理部100で行われる位置ずれ検出処理の一具体例として、例えば、予め、基準画像と各参照画像を補間処理(例えば、バイキュービック法による補間処理)で拡大させておき、そして、ブロックマッチング法により拡大された基準画像と各参照画像間のサブピクセル単位での位置ずれを検出する。
また、位置ずれ検出処理のもう1つの具体例として、例えば、特許文献1に開示された画像のサブピクセルマッチング技術を用いることにより、基準画像と各参照画像間のサブピクセル単位での位置ずれを検出する。
勿論、位置合わせ処理部100では、上述した2つの具体例により検出された基準画像と各参照画像間のサブピクセル単位での位置ずれを、高解像度画像空間上における位置ずれ情報に変換する必要があることは、言うまでも無い。
次に、中間画像生成部110が、記憶部160から複数の低解像度画像を読み出して、そして、入力された高解像度画像空間上における位置ずれ情報に基づき、読み出した複数の低解像度画像を高解像度画像空間上に位置合わせすることにより、つまり、複数の低解像度画像の各画素とそれに係る重みを、高解像度画像空間上にそれぞれ配置することにより、高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成する(図2のステップS110を参照)。
以下、高解像度画像空間上に未定義画素を含む平均画像及び重み画像を区別することなく、単に中間画像とも言う。また、中間画像生成部110で生成された2枚の中間画像(つまり、高解像度画像空間上に未定義画素を含む平均画像及び重み画像)は、記憶部160に格納される。
ここで、未定義画素を含む平均画像及び重み画像を生成する中間画像生成処理(図2のステップS110を参照)について説明する。
中間画像生成処理では、まず、高解像度画像空間上における位置ずれ情報に基づき、複数の低解像度画像の各画素を高解像度画像空間上に配置して得られた画像(画像データ)を平均画像とする。平均画像の画素数が高解像度画像空間の画素数と等しい。
その際、複数の低解像度画像の各画素に対して重み付けをし、各画素に係る重みも同様にして、高解像度画像空間上に配置する。複数の低解像度画像の各画素に係る重みを高解像度画像空間上に配置して得られた画像(画像データ)を重み画像とする。重み画像の画素数が高解像度画像空間の画素数と等しい。
低解像度画像の各画素に対する重み付けについては、画素毎に、位置ずれ検出処理により検出された位置ずれをもとに、対応する画素同士の相関性を再度評価することにより、位置ずれの信頼度を判定し、判定された信頼度に応じて、0〜1の重みを設定するようにしても良く、また、位置合わせ処理の基準となる基準画像からの撮影時間に応じて重み付けをしても良い。
本発明において、平均画像と重み画像を生成する中間画像生成処理において、低解像度画像のある画素又は当該画素に係る重みを高解像度画像空間上にそれぞれ配置する際に、同じ高解像度画像空間上の位置(画素位置)に、既に別の画素又は当該別の画素に係る重みが配置されていた場合は、それらの画素の画素値又はそれらの画素に係る重みを累積加算するようにしている。
よって、本発明の中間画像生成処理により生成された平均画像と重み画像は、使用する低解像度画像の枚数、位置合わせする高解像度画像空間の画素数、低解像度画像の各画素に係る重み、被写体の動きなどの関係から、画素値が決定された定義画素と画素値が決定されていない未定義画素の混ざった不均一な画像となる。
次に、初期画像生成部120が、記憶部160から未定義画素を含む平均画像及び重み画像を読み出して、そして、読み出した未定義画素を含む平均画像及び重み画像に基づいて、平均画像における未定義画素の画素値を当該未定義画素の周辺に存在する定義画素の画素値から補間することにより推定し、全ての画素が定義画素となった平均画像を初期画像として生成する(図2のステップS120を参照)。つまり、初期画像生成部120で生成された初期画像は、未定義画素の無い平均画像である。また、初期画像生成部120で生成された初期画像は、記憶部160に格納される。
次に、画素密度測定部130が、記憶部160から未定義画素を含む平均画像及び重み画像を読み出して、そして、読み出した未定義画素を含む平均画像及び重み画像から、定義画素も未定義画素も全て含む全画素分、つまり、中間画像の全画素分(図2のステップS125とステップS145を参照)をそれぞれ注目画素とし、各注目画素に対する画素密度を測定する(図2のステップS130を参照)。また、画素密度測定部130で測定された中間画像の全画素分の画素密度(以下、単に、中間画像の画素密度とも言う。)は、パラメータ制御部140へ入力される。
次に、パラメータ制御部140が、入力された中間画像の全画素分の画素密度に基づき、各注目画素の画素密度に応じて、繰り返し再構成処理部150で行われる繰り返し再構成処理に係るパラメータを適応的に制御する。つまり、パラメータ制御部140が、測定された各注目画素の画素密度に応じて、その注目画素に対して行われる繰り返し再構成処理に係るパラメータを設定する(図2のステップS140を参照)。また、パラメータ制御部140で設定された全画素分のパラメータは、繰り返し再構成処理部150へ入力される。
最後に、繰り返し再構成処理部150が、記憶部160から初期画像を読み出して、そして、読み出した初期画像に対して、ぼけを回復しつつ、エッジを先鋭に且つ偽色を抑制するように、繰り返し再構成処理(図2のステップS150を参照)を入力された全画素分のパラメータに基づいて行うことにより、エッジ部のアーティファクトが無い先鋭化された高解像度画像を生成する。また、繰り返し再構成処理部150で生成された高解像度画像は、記憶部160に格納される。
なお、繰り返し再構成処理部150で生成された高解像度画像を記憶部160に格納せず、必要に応じて外部に出力するようにしても良いことは、言うまでも無い。
上記のように、本発明に係る画像処理装置の実施形態について詳細に説明した。上述した本発明の実施形態では、画素密度測定部130が、注目画素毎に画素密度を測定するようにしており、また、パラメータ制御部140が、注目画素毎に測定された画素密度に応じて、その注目画素に対する繰り返し再構成処理に係るパラメータを適応的に制御するようにしている。
しかし、本発明は、上述した実施形態に限られることはなく、例えば、上述した実施形態で用いられる「注目画素」の代わりに、「複数の画素からなる注目領域」を用いることができる。つまり、上述した実施形態では、中間画像の全画素分をそれぞれ注目画素とするのに対して、本発明の別の実施形態として、中間画像を複数の注目領域とすることができる。
要するに、本発明の別の実施形態において、画素密度測定部130では、各注目領域に対する画素密度を測定する。また、パラメータ制御部140では、注目領域毎に測定された画素密度に応じて、その注目領域に対する繰り返し再構成処理に係るパラメータを適応的に制御するようにする。
以下に、図3と図4を参照しながら、本発明における画素密度の測定方法について説明する。
図3は、本発明の画像処理装置に利用される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合の中間画像及び画素密度の測定方法を説明するための模式図である。
本発明の画像処理装置に利用される複数枚の低解像度画像として、三板方式の固体カラー撮像装置で取得された複数枚の低解像度画像を用いる場合の一例を図3(A)に示す。例えば、フレーム1を基準画像とし、それ以外のフレーム(フレーム2,フレーム3,…)を参照画像としている。
図3(A)に示すように、まず、位置ずれ検出処理(図2のステップS100を参照)により、基準画像と各参照画像との間の位置ずれを検出し、検出した位置ずれに基づいて、高解像度画像空間上における位置ずれ情報を算出する。次に、算出した位置ずれ情報に基づき、複数枚の低解像度画像を高解像度画像空間上に位置合わせする中間画像生成処理(図2のステップS110を参照)により、高解像度画像空間上に未定義画素を含む平均画像と重み画像を生成する。
図3(A)に示されるように、生成された平均画像は、R成分画像(平均画像(R))、G成分画像(平均画像(G))、B成分画像(平均画像(B))と分けられる。また、生成された重み画像は、R成分画像(重み画像(R))、G成分画像(重み画像(G))、B成分画像(重み画像(B))と分けられる。
生成された平均画像と重み画像から、初期画像生成処理(図2のステップS120を参照)により、全ての画素が定義画素となるような初期画像が生成される。その初期画像に対して、測定された画素密度に応じて設定されたパラメータに基づいて、繰り返し再構成処理(図2のステップS150を参照)を行い、高解像度画像を生成する。
図3(B)と図3(C)に、繰り返し再構成処理での注目画素の座標位置と同じ座標位置における平均画像内の小領域と重み画像内の小領域におけるデータ構造の例を示しており、この例では、三板方式の固体カラー撮像装置で取得された複数枚の低解像度画像を利用しているので、平均画像と重み画像における定義画素の位置が、R成分画像と、G成分画像と、B成分画像で同じになっている。
図4は、本発明の画像処理装置に利用される複数枚の低解像度画像が単板方式の固体カラー撮像装置で取得された画像である場合の中間画像及び画素密度の測定方法を説明するための模式図である。
本発明の画像処理装置に利用される複数枚の低解像度画像として、単板方式の固体カラー撮像装置で取得された複数枚の低解像度画像を用いる場合の一例を図4(A)に示す。例えば、フレーム1を基準画像とし、それ以外のフレーム(フレーム2,フレーム3,…)を参照画像としている。
図4(A)に示すように、まず、位置ずれ検出処理により、基準画像と各参照画像との間の位置ずれを検出し、検出した位置ずれに基づいて、高解像度画像空間上における位置ずれ情報を算出する。次に、算出した位置ずれ情報に基づき、複数枚の低解像度画像を高解像度画像空間上に位置合わせする中間画像生成処理により、高解像度画像空間上に未定義画素を含む平均画像と重み画像を生成する。
図4(A)に示されるように、生成された平均画像は、R成分画像(平均画像(R))、G成分画像(平均画像(G))、B成分画像(平均画像(B))と分けられる。また、生成された重み画像は、R成分画像(重み画像(R))、G成分画像(重み画像(G))、B成分画像(重み画像(B))と分けられる。
生成された平均画像と重み画像から、初期画像生成処理により、全ての画素が定義画素となるような初期画像が生成される。その初期画像に対して、測定された画素密度に応じて設定されたパラメータに基づいて、繰り返し再構成処理を行い、高解像度画像を生成する。
図4(B)と図4(C)に、繰り返し再構成処理での注目画素の座標位置と同じ座標位置における平均画像内の小領域と重み画像内の小領域におけるデータ構造の例を示しており、この例では、単板方式の固体カラー撮像装置で取得された複数枚の低解像度画像を利用しているので、平均画像と重み画像における定義画素の位置が、R成分画像と、G成分画像と、B成分画像で異なっている。
本発明では、複数枚の低解像度画像が、三板方式の固体カラー撮像装置で取得された画像でも、単板方式の固体カラー撮像装置で取得された画像でも、同じ画素密度の測定方法を利用することができる。
以下、本発明において、ある注目画素に対する画素密度を測定する画素密度測定方法を具体的に説明する。
{画素密度測定方法A}
ある注目画素に対する画素密度を、平均画像の定義画素の個数で測定する。
{画素密度測定方法A−1}
ある注目画素に対する画素密度を、当該注目画素で測定する。その一具体例として、図3(B)に示すように、
注目画素のR成分の画素密度=1
注目画素のG成分の画素密度=1
注目画素のB成分の画素密度=1
注目画素のRGB成分の画素密度=3
もう一つの具体例として、図4(B)に示すように、
注目画素のR成分の画素密度=1
注目画素のG成分の画素密度=0
注目画素のB成分の画素密度=1
注目画素のRGB成分の画素密度=2
{画素密度測定方法A−2}
ある注目画素に対する画素密度を、当該注目画素を含む小領域で測定する。その一具体例(但し、当該注目画素を含む小領域は5×5ピクセル)として、図3(B)に示すように、
注目画素のR成分の画素密度=12
注目画素のG成分の画素密度=12
注目画素のB成分の画素密度=12
注目画素のRGB成分の画素密度=36
もう一つの具体例として、図4(B)に示すように、
注目画素のR成分の画素密度=5
注目画素のG成分の画素密度=4
注目画素のB成分の画素密度=2
注目画素のRGB成分の画素密度=11
{画素密度測定方法B}
ある注目画素に対する画素密度を、重み画像の重みの合計値で測定する。
{画素密度測定方法B−1}
ある注目画素に対する画素密度を、当該注目画素で測定する。その一具体例として、図3(C)に示すように、
注目画素のR成分の画素密度=2
注目画素のG成分の画素密度=2
注目画素のB成分の画素密度=2
注目画素のRGB成分の画素密度=6
もう一つの具体例として、図4(C)に示すように、
注目画素のR成分の画素密度=1
注目画素のG成分の画素密度=0
注目画素のB成分の画素密度=1
注目画素のRGB成分の画素密度=2
{画素密度測定方法B−2}
ある注目画素に対する画素密度を、当該注目画素を含む小領域で測定する。その一具体例(但し、当該注目画素を含む小領域は5×5ピクセル)として、図3(C)に示すように、
注目画素のR成分の画素密度=28
注目画素のG成分の画素密度=28
注目画素のB成分の画素密度=28
注目画素のRGB成分の画素密度=84
もう一つの具体例として、図4(C)に示すように、
注目画素のR成分の画素密度=5
注目画素のG成分の画素密度=6
注目画素のB成分の画素密度=2
注目画素のRGB成分の画素密度=13
上記では、注目画素の色成分毎(R成分、又はG成分、又はB成分)の画素密度や、色成分を特に区別しない(RGB成分)注目画素の画素密度の具体例を示したが、本発明では、注目画素の画素密度測定方法がそれらに限定されることは無く、例えば、ある注目画素に対する画素密度を、当該注目画素又は当該注目画素を含む小領域で、画素の色成分の組合せによる画素密度を測定するようにしても良い。
以下、本発明において、ある注目画素に対する画素密度を測定する画素密度測定方法を具体的に説明する。
{画素密度測定方法A}
ある注目画素に対する画素密度を、平均画像の定義画素の個数で測定する。
{画素密度測定方法A−1}
ある注目画素に対する画素密度を、当該注目画素で測定する。その一具体例として、図3(B)に示すように、
注目画素のR成分の画素密度=1
注目画素のG成分の画素密度=1
注目画素のB成分の画素密度=1
注目画素のRGB成分の画素密度=3
もう一つの具体例として、図4(B)に示すように、
注目画素のR成分の画素密度=1
注目画素のG成分の画素密度=0
注目画素のB成分の画素密度=1
注目画素のRGB成分の画素密度=2
{画素密度測定方法A−2}
ある注目画素に対する画素密度を、当該注目画素を含む小領域で測定する。その一具体例(但し、当該注目画素を含む小領域は5×5ピクセル)として、図3(B)に示すように、
注目画素のR成分の画素密度=12
注目画素のG成分の画素密度=12
注目画素のB成分の画素密度=12
注目画素のRGB成分の画素密度=36
もう一つの具体例として、図4(B)に示すように、
注目画素のR成分の画素密度=5
注目画素のG成分の画素密度=4
注目画素のB成分の画素密度=2
注目画素のRGB成分の画素密度=11
{画素密度測定方法B}
ある注目画素に対する画素密度を、重み画像の重みの合計値で測定する。
{画素密度測定方法B−1}
ある注目画素に対する画素密度を、当該注目画素で測定する。その一具体例として、図3(C)に示すように、
注目画素のR成分の画素密度=2
注目画素のG成分の画素密度=2
注目画素のB成分の画素密度=2
注目画素のRGB成分の画素密度=6
もう一つの具体例として、図4(C)に示すように、
注目画素のR成分の画素密度=1
注目画素のG成分の画素密度=0
注目画素のB成分の画素密度=1
注目画素のRGB成分の画素密度=2
{画素密度測定方法B−2}
ある注目画素に対する画素密度を、当該注目画素を含む小領域で測定する。その一具体例(但し、当該注目画素を含む小領域は5×5ピクセル)として、図3(C)に示すように、
注目画素のR成分の画素密度=28
注目画素のG成分の画素密度=28
注目画素のB成分の画素密度=28
注目画素のRGB成分の画素密度=84
もう一つの具体例として、図4(C)に示すように、
注目画素のR成分の画素密度=5
注目画素のG成分の画素密度=6
注目画素のB成分の画素密度=2
注目画素のRGB成分の画素密度=13
上記では、注目画素の色成分毎(R成分、又はG成分、又はB成分)の画素密度や、色成分を特に区別しない(RGB成分)注目画素の画素密度の具体例を示したが、本発明では、注目画素の画素密度測定方法がそれらに限定されることは無く、例えば、ある注目画素に対する画素密度を、当該注目画素又は当該注目画素を含む小領域で、画素の色成分の組合せによる画素密度を測定するようにしても良い。
一具体例として、ある座標位置で、R成分とG成分とB成分の3つの値が定義画素である場合に、画素密度として加算し、一方、ある座標位置で、R成分とG成分の2つの値は定義画素であるが、B成分の値は未定義画素である場合に、画素密度として加算しないようにして、注目画素に対する画素密度を測定する。
勿論、RGB成分を有する画素の場合に、画素の色成分の組合せによる画素密度を測定する方法として、下記のようなパターンで測定することができる。
パターン1:
同じ座標位置で、R成分とG成分とB成分の3つの値が定義画素である場合に、画素密度として測定される。
パターン2:
同じ座標位置で、R成分とG成分の2つの値が定義画素である場合に、画素密度として測定される。
パターン3:
同じ座標位置で、G成分とB成分の2つの値が定義画素である場合に、画素密度として測定される。
パターン4:
同じ座標位置で、R成分とB成分の2つの値が定義画素である場合に、画素密度として測定される。
以下、本発明の画像処理装置におけるパラメータ制御部140の実施例について説明する。図5は、本発明の画像処理装置におけるパラメータ制御部の実施例1(画素密度に応じて拘束条件の重み係数を変化させる実施例)を説明するための模式図である。
勿論、RGB成分を有する画素の場合に、画素の色成分の組合せによる画素密度を測定する方法として、下記のようなパターンで測定することができる。
パターン1:
同じ座標位置で、R成分とG成分とB成分の3つの値が定義画素である場合に、画素密度として測定される。
パターン2:
同じ座標位置で、R成分とG成分の2つの値が定義画素である場合に、画素密度として測定される。
パターン3:
同じ座標位置で、G成分とB成分の2つの値が定義画素である場合に、画素密度として測定される。
パターン4:
同じ座標位置で、R成分とB成分の2つの値が定義画素である場合に、画素密度として測定される。
以下、本発明の画像処理装置におけるパラメータ制御部140の実施例について説明する。図5は、本発明の画像処理装置におけるパラメータ制御部の実施例1(画素密度に応じて拘束条件の重み係数を変化させる実施例)を説明するための模式図である。
図5に示すように、パラメータ制御部140が、測定された各注目画素の画素密度に応じて、その注目画素に対する繰り返し再構成処理に係る拘束条件の重み係数(エッジの滑らかさ及び偽色抑制の拘束条件の重み係数)を、適応的に制御する。
つまり、パラメータ制御部140の実施例1では、図5(A)、(B)及び(C)に示す3つの例のように、注目画素の画素密度が低い場合は、拘束条件の重み係数を大きくするように設定し、また、注目画素の画素密度が高い場合は、拘束条件の重み係数を小さくするように設定する。
ところで、画素密度が低いということは、平均画像に未定義画素が多く含まれていることを意味し、初期画像生成部120の初期画像生成処理(図2のステップS120を参照)により、その未定義画素を周辺の定義画素を用いて補間処理により生成することから、初期画像のエッジ部でギザギザのアーティファクトや偽色が発生する可能性が高い。
その為、本発明のパラメータ制御部140の実施例1では、画素密度が低い場合に、繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数を大きくするように制御する。
一方、画素密度が高いということは、平均画像に定義画素が多く含まれていることを意味し、初期画像生成処理(図2のステップS120を参照)で生成された初期画像にエッジ部のアーティファクトが少ない。
その為、本発明のパラメータ制御部140の実施例1では、画素密度が高い場合に、繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数を小さくするように制御することにより、繰り返し再構成処理によって初期画像がぼけないようにする。
上述したパラメータ制御部140の実施例1では、拘束条件の重み係数の制御が、エッジの滑らかさ及び偽色抑制の拘束条件の重み係数の制御となっているが、本発明はそれらに限定されることは無い。
勿論、拘束条件の重み係数の制御は、エッジの滑らかさの拘束条件の重み係数と偽色抑制の拘束条件の重み係数を別々に制御しても良い。その一例として、例えば、輝度に大きく影響する色情報(G成分など)の画素密度に応じて、エッジの滑らかさの拘束条件の重み係数を制御し、色差に大きく影響する色情報(R成分とB成分など)の画素密度に応じて、偽色抑制の拘束条件の重み係数を制御するようにしても良い。
上述したパラメータ制御部の実施例1では、画素密度に応じて、繰り返し再構成処理に係る拘束条件の重み係数を適応的に制御するようにしている。
上述したパラメータ制御部の実施例1では、画素密度に応じて、繰り返し再構成処理に係る拘束条件の重み係数を適応的に制御するようにしている。
一方、後述するパラメータ制御部の実施例2及び実施例3では、画素密度に応じて、繰り返し再構成処理の終了条件パラメータを適応的に制御するようにする。つまり、パラメータ制御部の実施例2では、繰り返し再構成処理の終了条件パラメータとして、繰り返し再構成処理の繰り返し回数を用いる。また、パラメータ制御部の実施例3では、繰り返し再構成処理の終了条件パラメータとして、繰り返し再構成処理の収束条件の閾値を用いる。
図6は、本発明の画像処理装置におけるパラメータ制御部の実施例2(画素密度に応じて繰り返し再構成処理の繰り返し回数を変化させる実施例)を説明するための模式図である。
図6は、本発明の画像処理装置におけるパラメータ制御部の実施例2(画素密度に応じて繰り返し再構成処理の繰り返し回数を変化させる実施例)を説明するための模式図である。
図6に示すように、パラメータ制御部140が、測定された各注目画素の画素密度に応じて、その注目画素に対する繰り返し再構成処理の繰り返し回数を、適応的に制御する。
つまり、パラメータ制御部140の実施例2では、図6(A)、(B)及び(C)に示す3つの例のように、注目画素の画素密度が低い場合は、繰り返し再構成処理の繰り返し回数を多くするように設定し、また、注目画素の画素密度が高い場合は、繰り返し再構成処理の繰り返し回数を少なくするように設定する。
前述したように、画素密度が低いということは、生成された初期画像のエッジ部でギザギザのアーティファクトや偽色が発生する可能性が高いことを意味する。
その為、本発明のパラメータ制御部140の実施例2では、画素密度が低い場合に、繰り返し再構成処理の繰り返し回数を多くするように制御する。
また、前述したように、画素密度が高いということは、生成された初期画像にエッジ部のアーティファクトが少ないことを意味する。
その為、本発明のパラメータ制御部140の実施例2では、画素密度が高い場合に、繰り返し再構成処理の繰り返し回数を少なくするように制御することにより、繰り返し再構成処理によって初期画像がぼけないようにする。
図7は、本発明の画像処理装置におけるパラメータ制御部の実施例3(画素密度に応じて繰り返し再構成処理の収束条件の閾値を変化させる実施例)を説明するための模式図である。
図7は、本発明の画像処理装置におけるパラメータ制御部の実施例3(画素密度に応じて繰り返し再構成処理の収束条件の閾値を変化させる実施例)を説明するための模式図である。
図7に示すように、パラメータ制御部140が、測定された各注目画素の画素密度に応じて、その注目画素に対する繰り返し再構成処理の収束条件の閾値を、適応的に制御する。
つまり、パラメータ制御部140の実施例3では、図7(A)、(B)及び(C)に示す3つの例のように、注目画素の画素密度が低い場合は、繰り返し再構成処理の収束条件の閾値(一例として、繰り返し再構成処理の変化量)を厳しく(繰り返し再構成処理の変化量が小さく)するように設定し、また、注目画素の画素密度が高い場合は、繰り返し再構成処理の収束条件の閾値を甘く(繰り返し再構成処理の変化量が大きく)するように設定する。
以下、本発明の画像処理装置における繰り返し再構成処理部150の実施例について説明する。なお、後述する繰り返し再構成処理部150の実施例1及び実施例2において、使用される繰り返し再構成処理に係るパラメータは、パラメータ制御部140の実施例2によって設定されることを前提とする。
以下、本発明の画像処理装置における繰り返し再構成処理部150の実施例について説明する。なお、後述する繰り返し再構成処理部150の実施例1及び実施例2において、使用される繰り返し再構成処理に係るパラメータは、パラメータ制御部140の実施例2によって設定されることを前提とする。
つまり、後述する繰り返し再構成処理部150の実施例1及び実施例2において、使用される繰り返し再構成処理に係るパラメータは、画素密度に応じて設定された繰り返し再構成処理の繰り返し回数である。
図8は、本発明の画像処理装置における繰り返し再構成処理部150の実施例1を説明するための模式図である。
図8に示すように、繰り返し再構成処理部150の実施例1では、記憶部160から初期画像を読み出して、そして、読み出した初期画像に対して、注目画素又は注目領域毎にパラメータ制御部140で設定された繰り返し回数で、別々に繰り返し再構成処理を行い、それぞれの繰り返し再構成処理によって得られた結果画像を合成することにより、高解像度画像を生成する。
図9は、本発明の画像処理装置における繰り返し再構成処理部150の実施例2を説明するための模式図である。なお、繰り返し再構成処理部150の実施例2では、記憶部160は多くの画像を格納できる容量を有することを前提としている。
図9に示すように、繰り返し再構成処理部150により高解像度画像を生成する前に、予め初期画像全体でのパラメータ制御部140で設定できる繰り返し回数の繰り返し再構成処理を行うことによって生成された画像(つまり、所定の繰り返し回数の繰り返し再構成処理後の画像)を一旦記憶部160に格納しておく。
そして、繰り返し再構成処理部150の実施例2では、注目画素又は注目領域毎にパラメータ制御部140で設定された繰り返し回数に基づいて、記憶部160に格納している各繰り返し再構成処理後の画像を読み出して、各注目画素又は注目領域に対応する各繰り返し再構成処理後の画像を合成することにより、高解像度画像を生成する。
以上のように、本発明に係る画像処理装置の実施形態について詳細に説明した。以下。本発明に係るパラメータ制御処理装置について説明する。
以上のように、本発明に係る画像処理装置の実施形態について詳細に説明した。以下。本発明に係るパラメータ制御処理装置について説明する。
図1に示す本発明の画像処理装置から、初期画像生成部120と繰り返し再構成処理部150を除くことにより、本発明に係るパラメータ制御処理装置の実施形態になる。
つまり、本発明に係るパラメータ制御処理装置は、図1に示す位置合わせ処理部100と、中間画像生成部110と、画素密度測定部130と、パラメータ制御部140と、記憶部160とから構成され、複数枚の低解像度画像を高解像度画像空間上に位置合わせして得られた画像データ(中間画像)の画素密度に応じて、画像処理に係るパラメータを適応的に制御するものである。
本発明に係るパラメータ制御処理装置における位置合わせ処理部100と、中間画像生成部110と、画素密度測定部130と、パラメータ制御部140と、記憶部160については、本発明の画像処理装置のそれらに対応するために、説明は省略する。
ここで、本発明に係るパラメータ制御処理装置における処理の全体流れについて説明する。
本発明のパラメータ制御処理装置は、まず、位置合わせ処理部100により、複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する。また、位置合わせ処理部100で算出された高解像度画像空間上における位置ずれ情報は、中間画像生成部110へ入力される。
次に、中間画像生成部110が、記憶部160から複数の低解像度画像を読み出して、そして、入力された高解像度画像空間上における位置ずれ情報に基づき、読み出した複数の低解像度画像を高解像度画像空間上に位置合わせすることにより、高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成する。また、中間画像生成部110で生成された2枚の中間画像(高解像度画像空間上に未定義画素を含む平均画像及び重み画像)は、記憶部160に格納される。
次に、画素密度測定部130が、記憶部160から未定義画素を含む平均画像及び重み画像を読み出して、そして、読み出した未定義画素を含む平均画像及び重み画像から、全画素分をそれぞれ注目画素とし、各注目画素に対する画素密度を測定する。また、画素密度測定部130で測定された中間画像の全画素分の画素密度は、パラメータ制御部140へ入力される。
最後に、パラメータ制御部140が、入力された中間画像の全画素分の画素密度に基づき、各注目画素の画素密度に応じて、所定の画像処理に係るパラメータを適応的に制御する。
以上のように、本発明に係るパラメータ制御処理装置における処理の全体流れについて説明した。なお、本発明に係るパラメータ制御処理装置におけるパラメータ制御部140で制御された(設定された)全画素分のパラメータは、所定の画像処理(一例として、例えば、超解像処理などの画質改善処理)で利用される。
なお、本発明に係るパラメータ制御処理装置及び画像処理装置を、電子撮像機器(例えば、単板方式の固体カラー撮像装置や三板方式の固体カラー撮像装置などのデジタル撮像装置)や画像システムに実装することができる。
また、本発明に係るパラメータ制御処理装置及び画像処理装置は、コンピュータシステムを利用し、ソフトウェア(コンピュータプログラム)により実装されることができ、そして、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)やFPGA(Field Programmable Gate Array)などのハードウェアにより実装されることも勿論できる。
1 画像処理装置
100 位置合わせ処理部
110 中間画像生成部
120 初期画像生成部
130 画素密度測定部
140 パラメータ制御部
150 繰り返し再構成処理部
160 記憶部
100 位置合わせ処理部
110 中間画像生成部
120 初期画像生成部
130 画素密度測定部
140 パラメータ制御部
150 繰り返し再構成処理部
160 記憶部
Claims (22)
- 位置ずれを有する複数の低解像度画像に基づいて所定の画像処理を行う画像処理装置に使用されるパラメータ制御処理装置であって、
前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理部と、
算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成部と、
生成された中間画像の画素密度を測定する、画素密度測定部と、
測定された中間画像の画素密度に応じて、前記所定の画像処理に係るパラメータを適応的に制御する、パラメータ制御部とを備えることを特徴とするパラメータ制御処理装置。 - 前記中間画像は、高解像度画像空間上に未定義画素を含む平均画像及び重み画像である請求項1に記載のパラメータ制御処理装置。
- 位置ずれを有する複数の低解像度画像に基づいて所定の画像処理を行う画像処理装置に使用されるパラメータ制御処理方法であって、
前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理ステップと、
算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成ステップと、
生成された中間画像の画素密度を測定する、画素密度測定ステップと、
測定された中間画像の画素密度に応じて、前記所定の画像処理に係るパラメータを適応的に制御する、パラメータ制御ステップとを有することを特徴とするパラメータ制御処理方法。 - 前記中間画像は、高解像度画像空間上に未定義画素を含む平均画像及び重み画像である請求項3に記載のパラメータ制御処理方法。
- 再構成型超解像処理方法に基づく繰り返し再構成処理により、位置ずれを有する複数の低解像度画像から高解像度画像を生成する画像処理装置であって、
前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理部と、
算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成部と、
前記中間画像に基づいて、全ての画素が定義画素である初期画像を生成する、初期画像生成部と、
生成された中間画像の画素密度を測定する、画素密度測定部と、
測定された中間画像の画素密度に応じて、前記繰り返し再構成処理に係るパラメータを適応的に制御する、パラメータ制御部と、
前記初期画像に対して、前記繰り返し再構成処理を前記パラメータに基づいて行うことにより、前記高解像度画像を生成する、繰り返し再構成処理部とを備えることを特徴とする画像処理装置。 - 前記中間画像生成部は、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像の各画素とそれに係る重みを、前記高解像度画像空間上にそれぞれ配置することにより、前記高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成し、生成された平均画像及び重み画像が前記中間画像である請求項5に記載の画像処理装置。
- 前記パラメータは、前記繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数であり、
前記パラメータ制御部は、前記画素密度に応じて、前記拘束条件の重み係数を変化させる請求項6に記載の画像処理装置。 - 前記パラメータは、前記繰り返し再構成処理の終了条件パラメータであり、
前記パラメータ制御部は、前記画素密度に応じて、前記終了条件パラメータを変化させる請求項6に記載の画像処理装置。 - 前記終了条件パラメータは、前記繰り返し再構成処理の繰り返し回数である請求項8に記載の画像処理装置。
- 前記終了条件パラメータは、前記繰り返し再構成処理の収束条件の閾値である請求項8に記載の画像処理装置。
- 前記画素密度測定部は、前記中間画像の全画素分をそれぞれ注目画素とし、各注目画素に対する画素密度を測定する請求項6乃至請求項10のいずれかに記載の画像処理装置。
- 前記画素密度測定部は、ある注目画素に対する画素密度を、当該注目画素における前記平均画像の定義画素の個数で測定する請求項11に記載の画像処理装置。
- 前記画素密度測定部は、ある注目画素に対する画素密度を、当該注目画素を含む小領域における前記平均画像の定義画素の個数で測定する請求項11に記載の画像処理装置。
- 前記画素密度測定部は、ある注目画素に対する画素密度を、当該注目画素における前記重み画像の重みの合計値で測定する請求項11に記載の画像処理装置。
- 前記画素密度測定部は、ある注目画素に対する画素密度を、当該注目画素を含む小領域における前記重み画像の重みの合計値で測定する請求項11に記載の画像処理装置。
- 前記画素密度測定部は、前記中間画像を複数の注目領域とし、各注目領域に対する画素密度を測定する請求項6乃至請求項10のいずれかに記載の画像処理装置。
- 再構成型超解像処理方法に基づく繰り返し再構成処理により、位置ずれを有する複数の低解像度画像から高解像度画像を生成する画像処理方法であって、
前記複数の低解像度画像を高解像度画像空間上に位置合わせするための高解像度画像空間上における位置ずれ情報を算出する、位置合わせ処理ステップと、
算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像を前記高解像度画像空間上に位置合わせすることにより中間画像を生成する、中間画像生成ステップと、
前記中間画像に基づいて、全ての画素が定義画素である初期画像を生成する、初期画像生成ステップと、
生成された中間画像の画素密度を測定する、画素密度測定ステップと、
測定された中間画像の画素密度に応じて、前記繰り返し再構成処理に係るパラメータを適応的に制御する、パラメータ制御ステップと、
前記初期画像に対して、前記繰り返し再構成処理を前記パラメータに基づいて行うことにより、前記高解像度画像を生成する、繰り返し再構成処理ステップとを有することを特徴とする画像処理方法。 - 前記中間画像生成ステップでは、算出された高解像度画像空間上における位置ずれ情報に基づき、前記複数の低解像度画像の各画素とそれに係る重みを、前記高解像度画像空間上にそれぞれ配置することにより、前記高解像度画像空間上に未定義画素を含む平均画像及び重み画像を生成し、生成された平均画像及び重み画像が前記中間画像である請求項17に記載の画像処理方法。
- 前記パラメータは、前記繰り返し再構成処理に係るエッジの滑らかさ及び偽色抑制の拘束条件の重み係数であり、
前記パラメータ制御ステップでは、前記画素密度に応じて、前記拘束条件の重み係数を変化させる請求項18に記載の画像処理方法。 - 前記パラメータは、前記繰り返し再構成処理の終了条件パラメータであり、
前記パラメータ制御ステップでは、前記画素密度に応じて、前記終了条件パラメータを変化させる請求項18に記載の画像処理方法。 - 前記終了条件パラメータは、前記繰り返し再構成処理の繰り返し回数である請求項20に記載の画像処理方法。
- 前記終了条件パラメータは、前記繰り返し再構成処理の収束条件の閾値である請求項20に記載の画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009064921A JP2010218271A (ja) | 2009-03-17 | 2009-03-17 | パラメータ制御処理装置及び画像処理装置 |
US12/700,952 US8340471B2 (en) | 2009-03-17 | 2010-02-05 | Parameter control processing apparatus and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009064921A JP2010218271A (ja) | 2009-03-17 | 2009-03-17 | パラメータ制御処理装置及び画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010218271A true JP2010218271A (ja) | 2010-09-30 |
Family
ID=42737676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009064921A Pending JP2010218271A (ja) | 2009-03-17 | 2009-03-17 | パラメータ制御処理装置及び画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8340471B2 (ja) |
JP (1) | JP2010218271A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012100129A (ja) * | 2010-11-04 | 2012-05-24 | Jvc Kenwood Corp | 画像処理方法及び画像処理装置 |
JP2012151751A (ja) * | 2011-01-20 | 2012-08-09 | Nippon Hoso Kyokai <Nhk> | 画像縮小装置、画像拡大装置、及びこれらのプログラム |
JP2012257120A (ja) * | 2011-06-09 | 2012-12-27 | Nippon Hoso Kyokai <Nhk> | 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム |
US9460489B2 (en) | 2012-03-12 | 2016-10-04 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method for performing pixel alignment |
US10049432B2 (en) | 2014-09-10 | 2018-08-14 | Mitsubishi Electric Corporation | Image processing apparatus, image processing method, program and recording medium |
JP2019057225A (ja) * | 2017-09-22 | 2019-04-11 | 日本放送協会 | 階調補完装置及びプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080212895A1 (en) * | 2007-01-09 | 2008-09-04 | Lockheed Martin Corporation | Image data processing techniques for highly undersampled images |
JP5313037B2 (ja) * | 2009-05-11 | 2013-10-09 | パナソニック株式会社 | 電子カメラ、画像処理装置および画像処理方法 |
JP5419749B2 (ja) * | 2009-06-03 | 2014-02-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN102651127A (zh) * | 2012-04-01 | 2012-08-29 | 深圳市万兴软件有限公司 | 一种超分辨率重建的图像处理方法及*** |
KR101767927B1 (ko) * | 2012-11-01 | 2017-08-17 | 한화테크윈 주식회사 | 실시간 움직임 검출 방법 및 시스템 |
CA3013926A1 (en) | 2016-02-08 | 2017-08-17 | Imago Systems, Inc. | System and method for the visualization and characterization of objects in images |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6529613B1 (en) * | 1996-11-27 | 2003-03-04 | Princeton Video Image, Inc. | Motion tracking using image-texture templates |
AU2003280610A1 (en) | 2003-01-14 | 2004-08-10 | The Circle For The Promotion Of Science And Engineering | Multi-parameter highly-accurate simultaneous estimation method in image sub-pixel matching and multi-parameter highly-accurate simultaneous estimation program |
US7702821B2 (en) * | 2005-09-15 | 2010-04-20 | Eye-Fi, Inc. | Content-aware digital media storage device and methods of using the same |
US7999873B2 (en) * | 2005-11-22 | 2011-08-16 | Panasonic Corporation | Imaging device with plural lenses and imaging regions |
US7792598B2 (en) * | 2007-04-13 | 2010-09-07 | Raytheon Company | Sparse sampling planner for sensor resource management |
-
2009
- 2009-03-17 JP JP2009064921A patent/JP2010218271A/ja active Pending
-
2010
- 2010-02-05 US US12/700,952 patent/US8340471B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012100129A (ja) * | 2010-11-04 | 2012-05-24 | Jvc Kenwood Corp | 画像処理方法及び画像処理装置 |
JP2012151751A (ja) * | 2011-01-20 | 2012-08-09 | Nippon Hoso Kyokai <Nhk> | 画像縮小装置、画像拡大装置、及びこれらのプログラム |
JP2012257120A (ja) * | 2011-06-09 | 2012-12-27 | Nippon Hoso Kyokai <Nhk> | 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム |
US9460489B2 (en) | 2012-03-12 | 2016-10-04 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method for performing pixel alignment |
US10049432B2 (en) | 2014-09-10 | 2018-08-14 | Mitsubishi Electric Corporation | Image processing apparatus, image processing method, program and recording medium |
JP2019057225A (ja) * | 2017-09-22 | 2019-04-11 | 日本放送協会 | 階調補完装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US8340471B2 (en) | 2012-12-25 |
US20100239184A1 (en) | 2010-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010218271A (ja) | パラメータ制御処理装置及び画像処理装置 | |
US8233745B2 (en) | Image processing apparatus and image processing method | |
US9294654B2 (en) | High-resolution image generation method | |
US8873889B2 (en) | Image processing apparatus | |
US9245316B2 (en) | Image processing device, image processing method and non-transitory computer readable medium | |
JP5166156B2 (ja) | 解像度変換装置、方法およびプログラム | |
US11146746B2 (en) | Image processing device, image capturing device, image processing method, and storage medium | |
US11445109B2 (en) | Image processing device, image capturing device, image processing method, and storage medium | |
JP2009212969A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US20100040304A1 (en) | Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program | |
JP2007226656A (ja) | 画像の高解像度化方法及び装置 | |
US9979908B2 (en) | Image processing devices and image processing methods with interpolation for improving image resolution | |
Bätz et al. | Multi-image super-resolution using a locally adaptive denoising-based refinement | |
JP2009237650A (ja) | 画像処理装置及び撮像装置 | |
Karch et al. | Robust super-resolution by fusion of interpolated frames for color and grayscale images | |
CN107155096B (zh) | 一种基于半误差反向投影的超分辨率重建方法及装置 | |
JP2017022597A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP4602860B2 (ja) | 画像処理装置 | |
JP2013126123A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2009225253A (ja) | 画像処理装置及びその方法 | |
JP2009065283A (ja) | 画像ぶれ補正装置 | |
JP4827137B2 (ja) | 解像度変換処理方法、画像処理装置、画像表示装置及びプログラム | |
JP5267445B2 (ja) | 画像処理プログラムおよび撮像装置 | |
Džaja et al. | Solving a two-colour problem by applying probabilistic approach to a full-colour multi-frame image super-resolution | |
KR101509254B1 (ko) | 고해상도 영상 재구성 방법 |