JP4818053B2 - 高解像度化装置および方法 - Google Patents
高解像度化装置および方法 Download PDFInfo
- Publication number
- JP4818053B2 JP4818053B2 JP2006276128A JP2006276128A JP4818053B2 JP 4818053 B2 JP4818053 B2 JP 4818053B2 JP 2006276128 A JP2006276128 A JP 2006276128A JP 2006276128 A JP2006276128 A JP 2006276128A JP 4818053 B2 JP4818053 B2 JP 4818053B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- error
- search
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 51
- 239000013598 vector Substances 0.000 claims description 190
- 238000004364 calculation method Methods 0.000 claims description 103
- 238000013213 extrapolation Methods 0.000 claims description 26
- 238000005304 joining Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、高解像度化装置および方法に関する。
画素数が多い、つまり高解像度のテレビやディスプレイが普及してきている。テレビやディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する。特に、画素数を増やす高解像度化の変換において、線形内挿法よりも鮮鋭な画像が得られる方法として、複数フレーム劣化逆変換法が知られている（例えば、特許文献１、非特許文献１参照）。
複数フレーム劣化逆変換法は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。
特開２０００−１８８６８０公報
S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36
複数フレーム劣化逆変換法では、十分な数の標本値を得るには、多数の低解像度画像が必要でありメモリ量が多くなる。また、多数の対応点の関係をブロックマッチングによる探索処理で算出する必要があり演算量が多くなるという問題がある。
本発明は、上述した事情を考慮してなされたものであり、少ないメモリ量及び演算量で鮮鋭な高解像度画像を得る高解像度化装置及び方法を提供することを目的とする。
上述の目的を達成するために、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出し、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出し、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出し、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出し、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出し、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出し、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出し、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出し、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出し、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出し、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出し、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出し、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出し、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出し、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出し、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出し、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
被写体の一部をとりだして、その輝度値の変化パターンを見ると、その近くに同じパターンが存在するという点に新たに着目したものである。本発明では、同じ輝度値変化パターンが一つのフレームに複数あり、それらの位置を、ベクトルを用いて検出し、高解像度化に用いることで 少ないメモリ量、処理量で鮮鋭な高解像度画像を得ることができる。
以下、図面を参照しながら本発明の実施形態に係る高解像度化装置および方法について詳細に説明する。
なお、本発明は、以下の実施形態に限定されるものではなく種々選択、工夫して用いることができる。
図１は、本発明の実施形態に関わる高解像度化装置のブロック図である。
図１に示すように、この高解像度化装置は、メモリ１０１、候補指定部１０２、マッチング誤差算出部１０３、誤差比較部１０４、メモリ１０５、高解像度画素値算出部１０６、パラボラフィッティング部１０７、メモリ１０８、自己合同位置予測部１０９を備えている。ここで自己合同とは、同じフレーム内で、画素の輝度変化パターンが似ていることを意味している。自己合同位置とは自己合同となる位置をベクトルで表現したものである。
メモリ１０１は、低解像度画像データを取得し格納する。低解像度画像データは、動画像でも静止画像でも構わないが、画面内に複数の画素を配置し、画素の輝度を画素値として表した画像データである。ここでは、低解像度画像データは、画像ソース、すなわち、カメラ、テレビ等の画像データ生成部（図示せず）から取得する。より具体的には、低解像度画像データは、例えば、カメラが撮影した画像データやテレビが受信した画像データである。
候補指定部１０２は、低解像度画像データの複数の画素のうち少なくとも１つを注目画素とし、注目画素と注目画素の周辺の画素とを含む領域を注目画素領域とし、注目画素領域に含まれる画素の画素値の変化パターンを画面内で複数探索するための探索領域を設定する。
そして、候補指定部１０２は、注目画素と注目領域と探索領域を示す信号を生成し、これらの信号をメモリ１０１とメモリ１０５に出力する。
メモリ１０１は、これら注目画素と注目画素領域と探索領域を示す信号に基づいて、低解像度画像データから対象となる注目画素を含む注目画素領域の画像データと、探索領域の画像データをマッチング誤差算出部１０３に出力する。また、メモリ１０１は、高解像度画素値算出部１０６に低解像度画像データを供給する。この際、メモリ１０１は、高解像度画素値算出部１０６に、１画像ずつ供給する。
マッチング誤差算出部１０３は、注目画素領域に含まれる画素の画素値の変化パターンと探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出する。
ここでは、マッチング誤差算出部１０３は、変化パターンとして、注目画素領域の画像データと、探索範囲の画像データとの間にある誤差を計算する。誤差は、例えば、各画素値の差分絶対値和や差分２乗和により計算される。注目画素領域の画像データは、例えば、注目ブロックのデータを用いることができる。そしてマッチング誤差算出部１０３は、探索範囲の中で誤差を計算する画像部分を順次変更して、注目画素領域の誤差を計算する画像部分の画像データとの誤差を順次求める。
誤差比較部１０４は、マッチング誤差算出部１０３で算出された探索範囲内の複数の誤差について、最小となる画素位置を算出する。
メモリ１０５は、候補指定部１０２から位置情報を取得し、誤差比較部１０４で算出された誤差最小となる画素位置とマッチング誤差、誤差最小となる画素位置の周辺の画素位置とそれら位置におけるマッチング誤差を格納する。
パラボラフィッティング部１０７は、メモリ１０５で格納された誤差最小となる画素位置とマッチング誤差、誤差最小となる画素位置の周辺の画素位置とそれら位置におけるマッチング誤差を基にして、対称関数当てはめを行い、マッチング誤差が最小となる位置を小数精度で算出し、自己合同位置として決定する。この自己合同位置を一つの注目画素について１つ以上求める。パラボラフィッティング部１０７の詳細は後述する。
自己合同位置予測部１０９は、パラボラフィッティング部１０７で算出された自己合同位置の変化量に基づいて、１つ以上の自己合同位置を予測して算出する。
メモリ１０８は、パラボラフィッティング部１０７、自己合同位置予測部１０９で求められた自己合同位置の情報を格納する。
高解像度画素値算出部１０６は、低解像度画像の所定の画素について自己合同位置が求まった後、メモリ１０１から低解像度画像の画素データと、メモリ１０８から自己合同位置とを取得し、低解像度画像の画素データごとに、自己合同位置を用いてその条件式を連立し、解を求めることで高解像度画像の画素値を決定し、その画素値データを出力する。
次に、パラボラフィッティング法を使用せずオーバーサンプリング法を使用する場合の高解像度化装置について図２を参照して説明する。
図２の高解像度化装置は、図１で、パラボラフィッティング部１０７を取り去り、新たに、オーバーサンプリング部１１０、メモリ１１１を備えている。
候補指定部１０２は、画面内に複数の画素を配し、画素の輝度を画素値として表した画像データに含まれる複数の画素のうち少なくとも１つを注目画素とし、注目画素と注目画素の周辺の画素とを含む領域を注目画素領域とし、注目画素領域に含まれる画素の画素値の変化パターンを画面内で複数探索するための探索領域を設定する。
オーバーサンプリング部１１０は、注目画素領域及び探索領域が設定された画像データの画素の間に別の画素を内挿して内挿画像データを生成する。すなわちオーバーサンプリング部１１０は、誤差を計算する間隔に依存して低解像度データのデータ量を多くする。
メモリ１１１は、オーバーサンプリング部１１０でサンプリングされたデータを一時的に格納し、マッチング誤差算出部１０３にこのデータを供給する。
マッチング誤差算出部１０３は、内挿画像データにおいて、注目画素領域に含まれる画素の画素値の変化パターンと探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出する。
誤差比較部１０４は、マッチング誤差算出部１０３で算出された探索範囲内の複数の誤差について、最小となる画素位置を算出する。
メモリ１０５は、誤差比較部１０４で算出されたマッチング誤差最小となる画素位置について、候補指定部１０２から位置情報を取得し、注目画素を始点及びマッチング誤差最小となる画素を終点とする整数精度ベクトルを格納する。
自己合同位置予測部１０９は、マッチング誤差算出部１０３で算出された誤差と、メモリ１０５で算出された整数精度ベクトルの変化量に基づいて、１つ以上の自己合同位置を予測して算出する。
メモリ１０８は、自己合同位置予測部１０９で求められた自己合同位置の情報を格納する。
高解像度画素値算出部１０６は、低解像度画像の所定の画素について自己合同位置が求まった後、メモリ１０１から低解像度画像の画素データと、メモリ１０８から自己合同位置とを取得し、低解像度画像の画素データごとに、自己合同位置を用いてその条件式を連立し、解を求めることで高解像度画像の画素値を決定し、その画素値データを出力する。
次に、図３を用いて、図１にて説明した高解像度化装置の動作の一例について説明する。なお、以下で画像のことをフレームと呼ぶこともある。
先ず、図３に示すように、ステップＳ２０１では、候補指定部１０２が、注目画素として、低解像度画像データの画素を所定の順序で設定する。順序は、静止画像の場合、例えば、画面の左上の画素から右向き、上の行から下向きといういわゆるラスタ順序とする。
次に、ステップＳ２０２では、マッチング誤差算出部１０３、誤差比較部１０４、パラボラフィッティング部１０７が注目画素に対応する点（自己合同位置）を低解像度画像データの画面空間内で検出する。
次に、ステップＳ２０３では、自己合同位置予測部１０９が、パラボラフィッティング部１０７で算出された自己合同位置の変化量に基づいて、新たな自己合同位置を予測して生成する。
次に、ステップＳ２０４では、マッチング誤差算出部１０３が、高解像度化に用いる低解像度画像データの画素について、それぞれ自己合同位置が求まったかどうかを判定し、ＮｏであればステップＳ２０１に戻って次の画素について処理を行い、ＹｅｓであればステップＳ２０５に進む。
次に、ステップＳ２０５では、高解像度画素値算出部１０６が、低解像度画像データの画素値と検出した自己合同位置を用いて、低解像度画像データに対応する高解像度画像データの画素値を算出して処理を終了する。高解像度画像データの画素値の算出については後に図１６を参照して説明する。
次に、図４に、低解像度画像の画面３０１と画素３０２の位置関係を示す。
画像は元来、画面空間において輝度が連続に分布しているものである。しかし、ここで扱うデジタル画像データの場合は画面空間に離散的な標本点として画素を配し、その輝度だけでその周囲の輝度を代表させる。
図４は、画面を横６個、縦４行の２４個の正方形に分割しその中心を標本点３０２として２４個の画素３０１を配した様子である。
次に、図５に、図４で示した画面を横２倍、縦２倍に高解像度化した様子を示す。高解像度画像データでの画素の標本点４０１を白丸で表す。このように画素の標本点４０１の間隔は低解像度画像データの１／２になる。
次に、図６に、元の低解像度画像データの画素を高解像度画像データと同じ間隔で図示したものを示す。この場合、低解像度画像データの大きさは高解像度画像データの大きさよりも小さくなる。
このように低解像度画像データは、その高解像度画像データと画面の大きさを合わせると画素の標本点の間隔が広がり、画素の標本点の間隔を合わせると画面の大きさが小さくなる。しかし、これらは同じことを表しており、以下、本明細書では説明しやすいように、適宜、低解像度画像を図４のように表したり、図６のように表したりする。
図７は、低解像度画像データの画素の標本点を黒丸で、高解像度画像データの画素の標本点を白丸で示した図である。高解像度化の処理は、この黒丸の標本点に与えられた輝度値を元にして白丸の標本点の輝度値を求めることである。
次に、図８乃至図１１を用いて、図３で説明したステップＳ２０２について具体例を挙げて詳細に説明する。
従来の複数フレーム劣化逆変換法では、複数フレーム間の対応する同一点をサブピクセル精度で算出することで、低解像度画像データの標本点を増やして高解像度化を行っていた。言い換えると、複数フレーム間で、輝度変化が同じ部分を異なる位相で標本化した画素値が多く必要でありメモリを多く必要とした。
図８に、実際の写真のデータを示す。
横軸が画素の横座標、縦軸が輝度である。５行のデータをそれぞれ別の曲線で示した。このように同じフレーム内の異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような画像の性質をここでは、局所パターンに自己合同性があるといい、ある注目画素の回りに存在する自己合同な位置を自己合同位置と呼ぶ。
本発明では、被写体のフレーム内の自己合同性を用いて高解像度化を行うため、複数の低解像度画像データをメモリで保持する必要が無く、少ないメモリ量で高解像度化を行うことができる。
図９は、図１、２で説明した候補指定部１０２が、注目画素と注目領域を設定した様子を示す概念図である。
図９に示すように、候補指定部１０２が、注目画素８０１を中心にフレーム８０２から数画素四方、例えば、５×５画素や３×３画素の矩形のブロック８０３を注目画像領域として取り出す。
図１０は、図１、２で説明した候補指定部１０２が探索範囲９０１を設定した様子を示す概念図である。ここでは、ｙ座標を固定してｘ方向に６画素、探索範囲を設定した例を示している。この探索領域９０１に含まれるそれぞれの画素について、マッチング誤差算出部１０３が、図９に示した注目画像領域８０３と画素値の変化パターンが近い部分を探索する。
マッチング誤差算出部１０３にて算出する各画像領域間のマッチング誤差としては、画像領域内の各画素値の差の２乗和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）や、差の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）を用いることができる。
ここでｙ座標を固定して、ｘ方向に探索範囲を設定しているが、このようにしてサブピクセル推定を求めるのは、低解像度画像データの輝度が横方向に変化する場合に特に有効である。
また、図示しないが、ｘ座標を固定して、ｙ方向に探索範囲を設定し、サブピクセル推定を求めるのは、低解像度画像データの輝度が縦方向に変化する場合に有効である。
したがって、候補指定部１０２が、予めエッジの向きが縦向きであればそれと垂直方向である横向きに一つ以上の探索範囲を設定し、エッジの向きが横なら縦向きに一つ以上の探索範囲を設定する方法が有効である。すなわち注目画素の画素値の勾配方向を検出し、勾配方向で自己合同位置を探索すればよい。
候補指定部１０２から画素の位置情報を呼び出し、マッチング誤差算出部１０３にて算出されたマッチング誤差を比較して最小となる画素位置を算出し、誤差最小となる画素位置とマッチング誤差、誤差最小となる画素位置の周辺の画素位置とそれら位置におけるマッチング誤差をメモリに格納する。
次に、設定された探索範囲内でのサブピクセル（小数精度）推定について説明する。このサブピクセル推定のための一手法がパラボラフィッティング法（例えば、上記の、清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」参照）である。
パラボラフィッティング法は、画素に対して整数精度で、注目画素領域と、設定された探索領域内の画素を中心とした候補画像領域との間のマッチング誤差から小数精度のマッチング誤差最小位置を算出する。
探索領域での候補画像領域の位置を整数精度でずらしてマッチング誤差を算出し、探索領域空間での、整数精度のマッチング誤差マップを算出する。
図１１は、パラボラフィッティング法のマッチング方法を示すグラフであり、横軸は画素、縦軸はマッチング誤差を示す。
図１１に示すように、最もマッチング誤差の小さい整数精度の位置ずれ量（x=m）の周りで、放物線（もしくは、対称な連続関数）を当てはめることで、サブピクセル精度での位置ずれ量が、整数精度の離散的なマッチング誤差マップに当てはめた放物線（もしくは、対称な連続関数）の頂点の位置として算出される。
図１２は、パラボラフィッティング法を用いた小数精度ベクトルを算出する様子を説明する図である。
図１２に示すように、探索領域９０１の各画素で算出されたマッチング誤差をもとに、探索領域９０１のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び注目画素８０１を始点とする小数精度ベクトル１１０１を算出している。
なお、パラボラフィッティング法以外でも、上記の、清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」にあるような、等角フィッティングを用いてもよい。
なお、図２で説明したオーバーサンプリング部１１０を用いた方法では、低解像度画像データを、線形内挿や三次畳み込み法など拡大法によって、例えば２倍に拡大する。この状態で画素精度の探索を行えば、元の低解像度画像データにおける０．５画素精度のずれ量を算出することと等しくなる。このように、オーバーサンプリング法では、精度（誤差を計算する間隔）を１／２にするにはデータを２倍に、１／４にするには４倍にする必要がある。
次に、図１３乃至図１５を用いて、図３のステップＳ２０３で行う予測による自己合同位置の生成について説明する。
ステップＳ２０２で行う自己合同位置算出は、求めたい自己合同位置の数だけ、探索領域において画像領域同士のマッチング誤差の算出を行う必要があり処理量が多い。そこで、ステップＳ２０３では、ステップＳ２０２で算出された自己合同位置に基づいて、外挿予測、内挿予測、複製により、新たな自己合同位置を少ない処理量で生成する。
ここで外挿予測とは、マッチングによって算出した一つ以上の自己合同位置を基に、これらの外側に位置する探索領域から新たな自己合同位置を予測するものである。
また、内挿予測とは、マッチングによって算出した二つ以上の自己合同位置を基に、これらの内側に位置する探索領域から新たな自己合同位置を予測するものである。
また、複製予測とは、マッチングによって算出したある注目画素の自己合同位置を、近傍の注目画素の自己合同位置として予測するものである。
図１３は、外挿予測によって、自己合同位置を生成していることを説明するための図である。
図１３に示すように、注目画素１２０１の１ライン上における自己合同位置１２０２が、図３のステップＳ２０２によって算出されている。２ライン上における自己合同位置は、注目画素１２０１から１ライン上の自己合同位置１２０２までの変化量の２倍として外挿予測できる。外挿予測した２ライン上における自己合同位置が１２０３である。
外挿予測は、一つの自己合同位置から一つを予測するだけでなく、複数の自己合同位置を予測しても良い。また、変化量の整数倍だけでなく、変化量の小数倍の位置を新たな自己合同位置として予測しても良い。
すなわち図１におけるパラボラフィッティング部１０７にて探索領域のなかで誤差が最小となる位置を小数精度で算出され、この位置を終点及び注目画素を始点とする小数精度ベクトル１２０２を用いて、或いは図２のオーバーサンプリング部１１０で注目画素領域及び探索領域が設定された画像データの画素の間に別の画素を内挿して内挿画像データが生成されたあと誤差が最小となる位置を算出された整数精度ベクトル１２０２を用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトル１２０３を算出することになる。
図１４は、内挿予測によって、自己合同位置を生成していることを説明するための図である。
図１４に示すように、注目画素１３０１の１ライン上における自己合同位置１３０２と、３ライン上における自己合同位置１３０３が、図３のステップＳ２０２によって算出されている。２ライン上における自己合同位置１３０４は、注目画素位置１３０１から１ライン上の自己合同位置１３０２までの変化量と、注目画素位置１３０１から３ライン上の自己合同位置１３０３までの変化量の内分点として内挿予測できる。
内挿予測は、二つの自己合同位置１３０２、１３０３から一つの自己合同位置１３０４を予測するだけでなく、例えば、n等分に内分するような複数の自己合同位置を予測しても良い。
すなわち図１におけるパラボラフィッティング部１０７にて探索領域のなかで誤差が最小となる位置を小数精度で算出され、この位置を終点及び注目画素を始点とする小数精度ベクトル１２０２を用いて、或いは図２のオーバーサンプリング部１１０で注目画素領域及び探索領域が設定された画像データの画素の間に別の画素を内挿して内挿画像データが生成されたあと誤差が最小となる位置を算出された整数精度ベクトル１３０２、１３０３を用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの内挿ベクトル１３０４を算出することになる。
図１５は、複製によって、自己合同位置を生成していることを説明するための図である。
図１５に示すように、注目画素１４０１の１ライン上における自己合同位置１４０２が、図３のステップＳ２０２によって算出されている。この注目画素位置１４０１から自己合同位置１４０２までの変化量をコピーすることで、注目画素１４０１の１ライン上における自己合同位置１４０４、及び、注目画素１４０１の１ライン下における自己合同位置１４０６を生成できる。
すなわち図１におけるパラボラフィッティング部１０７にて探索領域のなかで誤差が最小となる位置を小数精度で算出され、この位置を終点及び注目画素を始点とする小数精度ベクトル１２０２を用いて、或いは図２のオーバーサンプリング部１１０で注目画素領域及び探索領域が設定された画像データの画素の間に別の画素を内挿して内挿画像データが生成されたあと誤差が最小となる位置を算出された整数精度ベクトル１４０２を用いて、 探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの合同ベクトルを算出することになる。
以上のように、図３のステップＳ２０３によって、自己合同位置を予測することで、処理量が少なく、自己合同位置を算出することができる。また、自己合同位置を水増しすることができて高画質化できる。また、例えば、１ライン上の自己合同位置から、０．５ライン上と１．５ライン上の自己合同位置を生成するというように、より注目画素に近い位置での自己合同位置を算出することもでき、高画質化できる。
次に、図１６を用いて、図３のステップＳ２０５で行う高解像度画像データの画素値の算出について説明する。
図３のステップＳ２０４の処理終了時点で、例えば、図１６に×印で表したように自己合同位置が求まる。このように非一様に分布した標本点から格子状に配置された画素の値を求める手法は様々あるが、例えば、重ねあわせ法（例えば、nonuniform interpolationがある。例えば、上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２５参照）を用いる場合、高解像度画像データの画素値を求めるときに、その近くの標本値などを調べ、高解像度画像データの画素に最も近い位置にある標本値を見つけ、その標本値を高解像度画像データの画素値とする。あるいは、高解像度画像データの画素からの距離に応じて、近いものほど重みを増やして、それらの標本値を加重平均した値を高解像度画像データの画素値とする。あるいは、一定の距離以下にある標本値の平均を高解像度画像データの画素値とする。
次に、図１７を用いて、重ねあわせ法で高解像度画像データの画素値を求めるフローチャートを説明する。
図１７に示すように、ステップＳ１６０１では、高解像度画像データの画素ごとに、各標本点までの距離を求める。
次に、ステップＳ１６０２では、標本点の加重平均として、各画素値を求める。その際、各画素から距離が近い標本値ほど重みを増すようにする。
また、重ねあわせ法ではなく、ＰＯＣＳ法（例えば、上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９参照）を用いると処理は複雑になるが、さらに鮮鋭な画像が得られる。
ＰＯＣＳ法では、先ず、高解像度画像データの各画素に双一次内挿法や３次畳込み内挿法などで初期推定高解像度画像を与えておく。そして、各標本値の位置における、その高解像度画像データの初期推定高解像度画像の画素値を使ったときの推定高解像度画像を計算する。
図１８を用いて、ここで仮標本値の計算方法について説明する。
図１８に示すように、画面１７０１を複数の矩形１７０２に分割する。各矩形の輝度の分布を代表するのが、その中央におく画素値１７０３である。矩形の大きさは画素の密度によって決まり、例えば解像度が縦横１／２になるのであれば、矩形は縦横２倍になる。
図１８には白丸で高解像度画像データの画素を、黒丸で解像度が１／２の低解像度画像データに相当する標本点を示す。
高解像度画像データの画素に初期推定高解像度画像の画素値が与えられているとき、標本点１７０４における初期推定高解像度画像の標本値は、画素１７０５〜１７０８の画素値の平均値として計算する。これは、標本点１７０４がちょうど、その周囲の高解像度画像データの画素の中心にある場合である。
標本点１７０９のようにその位置がずれている場合、標本点が代表する矩形１７１０が重なる部分の加重平均をその初期推定高解像度画像の標本値とする。例えば、画素１７１１に対する重みは斜線１７１２の部分の面積を重みにする。矩形１７１０が重なる９個の矩形について、その重なる面積に比例するように重みをつけ、それら９個の画素値から加重平均値を求めて初期推定高解像度画像の標本値とする。
標本点１７０９のようにその位置がずれている場合、標本点が代表する矩形１７１０が重なる部分の加重平均をその初期推定高解像度画像の標本値とする。例えば、画素１７１１に対する重みは斜線１７１２の部分の面積を重みにする。矩形１７１０が重なる９個の矩形について、その重なる面積に比例するように重みをつけ、それら９個の画素値から加重平均値を求めて初期推定高解像度画像の標本値とする。
このときの高解像度画像データが正確なものであれば、低解像度画像データとして撮影されたものである標本値と初期推定高解像度画像の標本値は一致するはずである。
しかし、通常は一致しない。そこで、これが一致するように、初期推定高解像度画像の画素値を更新する。標本値と仮標本値の差分を求め、その差分をなくすように初期推定高解像度画像の画素値に加減算する。画素値は複数あるので、差分を標本化で用いた重みで分け、それぞれの画素値に加減算する。これで、そのとき計算した標本点については標本値と初期高解像度画像の標本値が一致する。しかし、別の標本点における更新処理で同じ高解像度画像画素データが更新されることがある。そこで、この更新処理は、標本点全部に対して数回繰り返す。この反復により次第に、高解像度画像データは正確なものに近づくので、予め決めた回数反復して得られた画像を高解像度画像データとして出力する。
このように、高解像度画像データの画素値を未知数とし、それから得られる推定高解像度画像の標本値と、実際に撮影された低解像度画像データの画素値による標本値が等しいという条件式を解くことで高解像度画像データの画素値を求めるひとつの方法がＰＯＣＳ法であり、これらの条件式を解く別の方法として、Iterative Back-Projection法（例えば、S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．３１参照）、ＭＡＰ法（例えば、S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２８参照）などを用いても良い。
図１９に、このように条件式を立てて高解像度化するフローチャートを示す。
図１９に示すように、ステップＳ１８０１では、前述した条件式を低解像度画像データの画素つまり標本値ごとに立てる。
次に、ステップＳ１８０２では、条件式を連立した方程式として解くことで高解像度画像データの画素値を求める。
図２０に、ある静止画像に対して、従来から用いられている３次畳込み法と本実施形態で高解像度化した画像のあるラインの輝度値の様子を示す。横軸は画素、縦軸にその輝度値を示す。これは大きな濃淡画像の白い線の部分を拡大したものである。
図２０に示すように、ｙ座標が６３３の暗部ではより暗さが強調され、６３７の明部ではより明るさが強調されていることが分かる。
１０１、１０５、１０８、１１１・・・メモリ
１０２・・・候補指定部
１０３・・・マッチング誤差算出部
１０４・・・誤差比較部
１０６・・・高解像度画素値算出部
１０７・・・パラボラフィッティング部
１０９・・・自己合同位置予測部
１１０・・・オーバーサンプリング部
３０１、８０２、１７０１・・・画面
３０２、４０１、１７０５、１７０６、１７０７、１７０８、１７１１・・・画素
８０１、１２０１、１３０１、１４０１、１４０３、１４０５・・・注目画素
８０３・・・注目画像領域
９０１・・・探索領域
１１０１、１２０２、１３０２、１３０３、１４０２・・・マッチングにより算出された自己合同位置
１２０３、１３０４、１４０４、１４０６・・・予測して生成された自己合同位置
１７０２・・・矩形
１７０３・・・画素値
１７０４、１７０９・・・標本点
１７１２・・・斜線
１０２・・・候補指定部
１０３・・・マッチング誤差算出部
１０４・・・誤差比較部
１０６・・・高解像度画素値算出部
１０７・・・パラボラフィッティング部
１０９・・・自己合同位置予測部
１１０・・・オーバーサンプリング部
３０１、８０２、１７０１・・・画面
３０２、４０１、１７０５、１７０６、１７０７、１７０８、１７１１・・・画素
８０１、１２０１、１３０１、１４０１、１４０３、１４０５・・・注目画素
８０３・・・注目画像領域
９０１・・・探索領域
１１０１、１２０２、１３０２、１３０３、１４０２・・・マッチングにより算出された自己合同位置
１２０３、１３０４、１４０４、１４０６・・・予測して生成された自己合同位置
１７０２・・・矩形
１７０３・・・画素値
１７０４、１７０９・・・標本点
１７１２・・・斜線
Claims (12)
- 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出し、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出し、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出し、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出し、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出し、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出し、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出し、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。 - 画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出し、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006276128A JP4818053B2 (ja) | 2006-10-10 | 2006-10-10 | 高解像度化装置および方法 |
| US11/828,397 US8014632B2 (en) | 2006-10-10 | 2007-07-26 | Super-resolution device and method |
| EP07019712A EP1912171A3 (en) | 2006-10-10 | 2007-10-09 | Super-resolution device and method |
| CN2007101819015A CN101163224B (zh) | 2006-10-10 | 2007-10-10 | 超分辨率装置和方法 |
| US13/178,290 US8170376B2 (en) | 2006-10-10 | 2011-07-07 | Super-resolution device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006276128A JP4818053B2 (ja) | 2006-10-10 | 2006-10-10 | 高解像度化装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008098803A JP2008098803A (ja) | 2008-04-24 |
| JP4818053B2 true JP4818053B2 (ja) | 2011-11-16 |
Family
ID=38982703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006276128A Expired - Fee Related JP4818053B2 (ja) | 2006-10-10 | 2006-10-10 | 高解像度化装置および方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US8014632B2 (ja) |
| EP (1) | EP1912171A3 (ja) |
| JP (1) | JP4818053B2 (ja) |
| CN (1) | CN101163224B (ja) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4818053B2 (ja) * | 2006-10-10 | 2011-11-16 | 株式会社東芝 | 高解像度化装置および方法 |
| JP4886583B2 (ja) * | 2007-04-26 | 2012-02-29 | 株式会社東芝 | 画像拡大装置および方法 |
| JP4490987B2 (ja) * | 2007-04-26 | 2010-06-30 | 株式会社東芝 | 高解像度化装置および方法 |
| JP4461165B2 (ja) * | 2007-09-26 | 2010-05-12 | 株式会社東芝 | 画像処理装置、方法およびプログラム |
| JP5238220B2 (ja) * | 2007-10-29 | 2013-07-17 | 株式会社東芝 | 解像度変換装置、方法およびプログラム |
| US8098962B2 (en) * | 2007-11-20 | 2012-01-17 | Kabushiki Kaisha Toshiba | Signal processing method, apparatus, and program |
| JP4987688B2 (ja) * | 2007-12-25 | 2012-07-25 | 株式会社東芝 | 画像高解像度化方法および装置 |
| JP2009212969A (ja) * | 2008-03-05 | 2009-09-17 | Toshiba Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP4565016B2 (ja) * | 2008-05-16 | 2010-10-20 | キヤノン株式会社 | 画像処理装置、画像処理方法及びそのプログラムならびにこのプログラムを記憶させたコンピュータ読み取り可能な記憶媒体 |
| US8538201B2 (en) * | 2008-05-21 | 2013-09-17 | Tp Vision Holding B.V. | Image resolution enhancement |
| JP5072736B2 (ja) * | 2008-06-30 | 2012-11-14 | 株式会社東芝 | 遠隔目視検査支援システムおよび遠隔目視検査支援コンピュータプログラム |
| JP5166156B2 (ja) | 2008-07-25 | 2013-03-21 | 株式会社東芝 | 解像度変換装置、方法およびプログラム |
| US8581906B2 (en) | 2008-08-04 | 2013-11-12 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| JP2010041336A (ja) | 2008-08-04 | 2010-02-18 | Toshiba Corp | 画像処理装置、および画像処理方法 |
| JP4427592B2 (ja) | 2008-08-04 | 2010-03-10 | 株式会社東芝 | 画像処理装置、および画像処理方法 |
| JP4444354B2 (ja) | 2008-08-04 | 2010-03-31 | 株式会社東芝 | 画像処理装置、および画像処理方法 |
| US8270773B2 (en) | 2008-08-04 | 2012-09-18 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| JP2010063088A (ja) * | 2008-08-08 | 2010-03-18 | Sanyo Electric Co Ltd | 撮像装置 |
| US20100053166A1 (en) * | 2008-08-29 | 2010-03-04 | Kabushiki Kaisha Toshiba | Information processing apparatus, and super-resolution achievement method and program |
| JP4435251B2 (ja) * | 2008-08-29 | 2010-03-17 | 株式会社東芝 | 映像表示装置、映像再生装置、映像表示方法および映像再生方法 |
| US20100061638A1 (en) * | 2008-08-29 | 2010-03-11 | Yasuyuki Tanaka | Information processing apparatus, information processing method, and computer-readable storage medium |
| JP2010072901A (ja) * | 2008-09-18 | 2010-04-02 | Toshiba Corp | 画像処理装置およびその方法 |
| JP2010087620A (ja) * | 2008-09-29 | 2010-04-15 | Toshiba Corp | 映像処理装置及び映像処理方法 |
| KR102100331B1 (ko) | 2008-12-19 | 2020-04-13 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 전자기기의 구동방법 |
| US20100177162A1 (en) * | 2009-01-15 | 2010-07-15 | Charles Macfarlane | Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream |
| EP2394263B1 (en) | 2009-02-06 | 2021-05-05 | Semiconductor Energy Laboratory Co, Ltd. | Method for driving display device |
| CN101556690B (zh) * | 2009-05-14 | 2015-01-07 | 复旦大学 | 基于词典学习和稀疏表示的超分辨率算法 |
| CN101551902B (zh) * | 2009-05-15 | 2011-07-27 | 武汉大学 | 基于学习的压缩视频超分辨率的特征匹配方法 |
| US8872910B1 (en) * | 2009-06-04 | 2014-10-28 | Masoud Vaziri | Method and apparatus for a compact and high resolution eye-view recorder |
| JP5279654B2 (ja) * | 2009-08-06 | 2013-09-04 | キヤノン株式会社 | 画像追尾装置、画像追尾方法、及びコンピュータプログラム |
| JP4908559B2 (ja) * | 2009-08-28 | 2012-04-04 | 株式会社東芝 | 高解像度化装置 |
| TWI399703B (zh) * | 2009-12-02 | 2013-06-21 | Micro Star Int Co Ltd | 往返縮放之影像放大方法 |
| US8730268B2 (en) * | 2010-02-05 | 2014-05-20 | Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behalf Of Arizona State University | Image processing systems and methods |
| JP2013031163A (ja) * | 2011-06-24 | 2013-02-07 | Panasonic Corp | 超解像処理装置及び超解像処理方法 |
| EP2594224A1 (en) | 2011-11-15 | 2013-05-22 | A.B. Dental Devices Ltd. | Dental platform |
| JP2013142775A (ja) * | 2012-01-11 | 2013-07-22 | Sony Corp | 表示装置、電子機器、表示方法、並びにプログラム |
| US9009361B2 (en) | 2013-06-25 | 2015-04-14 | Kabushiki Kaisha Toshiba | Video processing system, video output apparatus, video display apparatus and video processing method |
| CN105450924B (zh) * | 2014-09-30 | 2019-04-12 | 北京智谷技术服务有限公司 | 超分辨率图像的获取方法和装置 |
| CN104835440B (zh) | 2015-05-22 | 2017-08-29 | 京东方科技集团股份有限公司 | 图像的显示方法、显示装置 |
| CN107563978A (zh) * | 2017-08-31 | 2018-01-09 | 苏州科达科技股份有限公司 | 人脸去模糊方法及装置 |
| TWI757015B (zh) * | 2020-12-29 | 2022-03-01 | 財團法人工業技術研究院 | 取像方法 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CH643959A5 (de) * | 1978-04-14 | 1984-06-29 | Siemens Ag | Verfahren und vorrichtung zur automatischen lageerkennung von halbleiterchips. |
| JP2893293B2 (ja) * | 1990-09-07 | 1999-05-17 | コニカ株式会社 | フィルム搬送装置 |
| US5987172A (en) * | 1995-12-06 | 1999-11-16 | Cognex Corp. | Edge peak contour tracker |
| US6057855A (en) * | 1997-07-02 | 2000-05-02 | Hewlett-Packard Company | Method and apparatus for providing polygon pixel sub-sample information using incremental means |
| US6133957A (en) * | 1997-10-14 | 2000-10-17 | Faroudja Laboratories, Inc. | Adaptive diagonal interpolation for image resolution enhancement |
| US6697660B1 (en) * | 1998-01-23 | 2004-02-24 | Ctf Systems, Inc. | Method for functional brain imaging from magnetoencephalographic data by estimation of source signal-to-noise ratio |
| US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
| US6285804B1 (en) | 1998-12-21 | 2001-09-04 | Sharp Laboratories Of America, Inc. | Resolution improvement from multiple images of a scene containing motion at fractional pixel values |
| US6650704B1 (en) * | 1999-10-25 | 2003-11-18 | Irvine Sensors Corporation | Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter |
| DE10047211B4 (de) * | 2000-09-23 | 2007-03-22 | Leica Microsystems Semiconductor Gmbh | Verfahren und Vorrichtung zur Positionsbestimmung einer Kante eines Strukturelementes auf einem Substrat |
| JP3764364B2 (ja) * | 2000-10-31 | 2006-04-05 | 株式会社東芝 | 画像特徴点検出方法、画像処理方法、及びプログラム |
| US6766067B2 (en) * | 2001-04-20 | 2004-07-20 | Mitsubishi Electric Research Laboratories, Inc. | One-pass super-resolution images |
| CN1614654A (zh) * | 2003-11-07 | 2005-05-11 | 南京理工大学 | 基于像素重组的彩色阵列超分辨率显示方法 |
| US7536052B2 (en) * | 2003-12-15 | 2009-05-19 | Xerox Corporation | Corner sharpening of text and line art in a super resolution anti-aliasing image path |
| US20050219642A1 (en) * | 2004-03-30 | 2005-10-06 | Masahiko Yachida | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system |
| US20060222266A1 (en) * | 2004-09-30 | 2006-10-05 | Lauze Francois B | Method of and apparatus for forming a final image sequence |
| JP2006174415A (ja) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 |
| US7613363B2 (en) * | 2005-06-23 | 2009-11-03 | Microsoft Corp. | Image superresolution through edge extraction and contrast enhancement |
| US7715658B2 (en) * | 2005-08-03 | 2010-05-11 | Samsung Electronics Co., Ltd. | Apparatus and method for super-resolution enhancement processing |
| JP4282645B2 (ja) * | 2005-08-31 | 2009-06-24 | 株式会社東芝 | 撮像装置 |
| CN100413316C (zh) * | 2006-02-14 | 2008-08-20 | 华为技术有限公司 | 一种视频图像超分辨率重构方法 |
| EP2160037A3 (en) * | 2006-06-23 | 2010-11-17 | Imax Corporation | Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition |
| US7729531B2 (en) * | 2006-09-19 | 2010-06-01 | Microsoft Corporation | Identifying repeated-structure elements in images |
| JP4818053B2 (ja) * | 2006-10-10 | 2011-11-16 | 株式会社東芝 | 高解像度化装置および方法 |
| JP4490987B2 (ja) * | 2007-04-26 | 2010-06-30 | 株式会社東芝 | 高解像度化装置および方法 |
-
2006
- 2006-10-10 JP JP2006276128A patent/JP4818053B2/ja not_active Expired - Fee Related
-
2007
- 2007-07-26 US US11/828,397 patent/US8014632B2/en not_active Expired - Fee Related
- 2007-10-09 EP EP07019712A patent/EP1912171A3/en not_active Withdrawn
- 2007-10-10 CN CN2007101819015A patent/CN101163224B/zh not_active Expired - Fee Related
-
2011
- 2011-07-07 US US13/178,290 patent/US8170376B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008098803A (ja) | 2008-04-24 |
| EP1912171A2 (en) | 2008-04-16 |
| CN101163224B (zh) | 2012-12-05 |
| US20080107356A1 (en) | 2008-05-08 |
| EP1912171A3 (en) | 2010-11-10 |
| US8170376B2 (en) | 2012-05-01 |
| CN101163224A (zh) | 2008-04-16 |
| US20110268370A1 (en) | 2011-11-03 |
| US8014632B2 (en) | 2011-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4818053B2 (ja) | 高解像度化装置および方法 | |
| JP4116649B2 (ja) | 高解像度化装置および方法 | |
| JP4886583B2 (ja) | 画像拡大装置および方法 | |
| KR101130060B1 (ko) | 일시적 움직임 벡터 필터링 | |
| US8233745B2 (en) | Image processing apparatus and image processing method | |
| JP5385969B2 (ja) | 画像の超解像のための方法及び装置 | |
| JP3915563B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP5238220B2 (ja) | 解像度変換装置、方法およびプログラム | |
| JP6236259B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2000188680A (ja) | 高解像度画像の生成方法及びシステム | |
| JP5166156B2 (ja) | 解像度変換装置、方法およびプログラム | |
| JP4714038B2 (ja) | 画像の高解像度化方法及び装置 | |
| JP2009100407A (ja) | 画像処理装置及びその方法 | |
| JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
| JP4686388B2 (ja) | 画像拡大装置及び画像拡大方法 | |
| JP2009060464A (ja) | 映像高解像度化装置及び方法 | |
| JP2013126123A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP5400655B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器 | |
| JP2009064193A (ja) | 解像度変換装置及び方法 | |
| JP6059899B2 (ja) | フレーム補間装置及びプログラム | |
| JP4767313B2 (ja) | 画像処理装置、方法およびプログラム | |
| JP2015069272A (ja) | 画像変形装置および画像変形方法 | |
| JP2010055487A (ja) | 画像処理方法、装置、およびプログラム | |
| JP2009129073A (ja) | 高解像度化装置及び方法 | |
| JP2010226502A (ja) | 画像処理装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090831 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110805 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110830 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4818053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |