JP4250237B2 - 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents
画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP4250237B2 JP4250237B2 JP31920498A JP31920498A JP4250237B2 JP 4250237 B2 JP4250237 B2 JP 4250237B2 JP 31920498 A JP31920498 A JP 31920498A JP 31920498 A JP31920498 A JP 31920498A JP 4250237 B2 JP4250237 B2 JP 4250237B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- frame
- orthogonal transform
- motion vector
- transform coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
- Storing Facsimile Image Data (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、特に入力した画像情報を拡大変倍して出力するプリンタ等の画像出力装置や、解像度の異なる機種通信で、低解像情報から高解像情報に解像度変換する画像処理装置、方法及びそれらに用いるコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
従来より、入力した低解像情報を高解像情報に解像度変換する方法として、様々な方法が提案されている。提案されている従来方法は、対象となる画像の種類（例えば、各画素ごとに階調情報の持つ多値画像、擬似中間調により２値化された２値画像、固定閾値により２値化された２値画像、文字画像等）によって、その変換処理方法が異なっている。
【０００３】
従来の内挿方法としては、図１２に示すような、内挿点Ｅに最も近い同じ画素値を配列する最近接内挿方法、図１３に示すような、内挿点Ｅを囲む４点（４点の画素値をＡ、Ｂ、Ｃ、Ｄとする）の距離により、以下の演算によって画素値Ｅを決定する共１次内挿法等が一般的に用いられている。
Ｅ＝（１−ｉ）（１−ｊ）Ａ＋ｉ−（１−ｊ）Ｂ＋ｊ・
（１−ｉ）Ｃ＋ｉｊＤ ………（１）
（但し、画素間距離を１とした場合に、Ａから横方向にｉ、縦方向にｊの距離があるとする。（ｉ≦１、ｊ≦１））
【０００４】
また、古くからサンプリング定理で表されているように、サンプリングされた離散信号を連続信号に変換する手段として、ＳＩＮＣ関数で表現できる理想低域ろ波器を通過することによって再現することができる。ＳＩＮＣ関数を演算するのは処理時間がかかることなどから、ＳＩＮＣ関数で表現される補間関数を近似して、簡単な積和演算のみで補間値を算出する方法がある。
【０００５】
「画像解析ハンドブック：高本幹雄、下田陽久監修 東京大学出版会」によると、３次たたみ込み内挿法（Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎ ｉｎｔｅｒｐｏｌａｎｔｉｏｎ）において、補間関数の近似が実現できる。内挿したい点の周囲の観測点１６点の画像データを用いて、求める画像データを次の式で示される３次たたみ込み関数を用いて内挿する。
【０００６】
【数１】
【０００７】
【数２】
【０００８】
【数３】
【０００９】
Ｐ１１〜Ｐ４４は周辺画素値を示し、図１４に配置を示す。
しかし、上述した３種の従来例では、いずれも補間時に補間によるボケ、及び入力低解像に依存したブロック状のジャギーの発生が生じ、高画質の高解像情報が作成できなかった。
【００１０】
そこで、本出願人は、低解像情報から高解像情報の作成において、補間処理による補間ぼけもなく、また、ジャギーが発生することなく解像度変換ができる方法を、特開平７−９３５３１号公報、特開平７−１０７２６８号公報、特開平７−１０５３５９号公報により提案した。
【００１１】
この提案の基本的な考え方は、入力した原情報から解像度依存成分を除去し、除去した状態で、画素数を出力解像度相当まで増加させ、増加させた状態の中で新たな解像度に見合う情報を推測し作成する方法である。入力解像度の依存性を取り除く手段としては、ＬＰＦによる平滑化、画素数の増加は線形補間により実現可能である。高解像情報の推測は補間後の情報を単純２値化して、“１”に分類された画素とをそれぞれ異なる処理を行うことにより、出力する画素値を算出する。
【００１２】
また、特開平９−２５２４００号公報で提案したように、画素値の連続性が保たれた良好なエッジを作成する方法もある。この公報では、低解像度注目画素の周辺画素よりｍ点（ｍ≧１）の画素（ただし、ｍ点中の観測点ｎにおける画素値をＰ（ｎ）とする）を検出し、注目画素を複数画素分に補間した各補間点ｋにおける前記補間値Ｃ（ｋ）を基に、出力値ｈ（ｋ）を以下の式により演算している。
【００１３】
【数４】
【００１４】
【発明が解決しようとする課題】
しかしながら、上記従来例では以下に述べるような欠点があった。即ち、いくら高解像情報の作成を行っても、高画質化には限度があるという点である。当然、サンプリング定理より明らかなように、入力解像度のナイキスト限界以上の情報は入力画像には存在しないため、ナイキスト周波数以上の情報作成は全て推測によるものになる。そのため、あまり複雑ではないＣＧ画像、イラスト画像、アニメーション画像の様な平坦な人工的画像をジャギーレスに変換することは容易であるが、自然画像のナイキスト限界以上の情報推測による高画質化は難しい。即ち、いかなる方法を用いたとしても、低解像情報を入力して高解像に変換した画像は、もともと高解像情報を入力した画像と比較すると明らかに画質は低くなる。
【００１５】
一方、近年、デジタルビデオカメラ等の普及により、撮影した動画像を連続した１フレーム単位にコンピュータに入力できる手段が増えてきている。ただ、プリンタの出力解像度は年々増加しているが、撮像系の入力解像度は増加傾向にあるとはいっても、プリンタ解像度に比べるとまだまだ低いのが現状である。
【００１６】
そこで、従来の技術で述べたような、１枚の低解像静止画から１枚の高解像静止画を作成するのではなく、動画から取り込んだ連続した複数の低解像静止画から、１枚の高解像静止画を作成する技術が新たに提案されている。
複数の静止画から、より広範囲のパノラマ画像を作成するには「動画像のパニングを考慮した背景画像の合成：吉沢、花村、富永、信学春季全大予稿集７−５」（１９９０）」、及び「分割撮像によるパノラマ画像の生成法：中村、金子、林、信学春季全大予稿集７−１６５（１９９１）」等による提案がある。しかし、１枚の静止画よりも撮像範囲を拡大したパノラマ画像の作成の技術ではなく、撮像範囲は同一でかつ複数の静止画の情報を合成して内挿により画像の解像度を向上させる技術の提案は数少ない。
【００１７】
このような低解像の動画から高解像の静止画作成の技術は、特開平５−２６０２６４号公報に提案がある。この提案は、連続した画像同士を比較して、２種類の差異からアフィン変換、及び平行移動のパラメータを検出して、２種画像を合成するものである。上記公報の第２の実施例には合成を補間に利用する例について述べられている。
【００１８】
しかし、この提案では以下の問題点がある。
即ち、上記第２の実施例に記載された方法は、前述した図１２から図１４に示した補間方法により拡大した連続画像同士を比較することにより、前述したパラメータを算出して補間位置を決定し、合成していくものである。補間演算自体が新たな高解像情報を作成するものではないため、合成する座標の正確な決定も困難である。補間するということは、画素間を内挿するということである。前記方法では、連続画像同士を比較する時に入力解像度の画素間の情報がない。簡単に言い換えると、２種の画像を画像Ａ、画像Ｂと仮定すると、画像Ａの画素間のどの位置に画像Ｂの画素を内挿するかという決定が、単なる拡大画像間の比較では困難である。
【００１９】
これは、動きベクトルのベクトル量の最小単位が画素単位であり、画素間距離よりも細かい分解能がないという点が起因している。即ち、ベクトルの分解能が画素間以下の精度を持たなければ、複数の静止画を用いて補間する効果は薄れ、従来例に記載した１枚の低解像静止画から１枚の高解像静止画への作成と、画質的にほとんど変わりなくなる。
【００２０】
本発明は、上記課題を解決するために成されたもので、画素間距離も細かい分解能を持つことにより、複数の低解像静止画から１枚の高解像静止画へ変換できるようにすることを目的とする。
【００２１】
【課題を解決するための手段】
上記目的を達成するために、本発明による画像処理装置においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレーム間の直交変換係数同士を比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手段とを設けた画像処理装置であって、上記動きベクトル演算手段は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手段と、上記第１のブロック及び上記第２のブロックを直交変換する直交変換手段と、上記直交変換手段からそれぞれ得られる直交変換係数に基づいて上記第２のブロックから第１のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第１の評価手段と、上記第１のブロックの直交変換係数と、上記第１の評価手段によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手段と、を有することを特徴とする。
また、本発明による画像処理装置においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレームを比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手段とを設けた画像処理装置であって、上記動きベクトル演算手段は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手段と、上記ブロック化手段から出力される上記第２のブロックから第１のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第１の評価手段と、上記第１の評価手段によって選択された上記類似ブロックと、該第１のブロックとを直交変換する直交変換手段と、上記第１のブロックの直交変換係数と、上記直交変換手段によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手段と、を有することを特徴とする。
【００２２】
また、本発明による画像処理方法においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレーム間の直交変換係数同士を比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手順とを設けた画像処理方法であって、上記動きベクトル演算手順は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手順と、上記第１のブロック及び上記第２のブロックを直交変換する直交変換手順と、上記直交変換手順からそれぞれ得られる直交変換係数に基づいて上記第２のブロックから第１のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第１の評価手順と、上記第１のブロックの直交変換係数と、上記第１の評価手順によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手順と、を有することを特徴とする。
また、本発明による画像処理方法においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレームを比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手順とを設けた画像処理方法であって、上記動きベクトル演算手順は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手順と、上記ブロック化手順から出力される上記第２のブロックから第１のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第１の評価手順と、上記第１の評価手順によって選択された上記類似ブロックと、該第１のブロックとを直交変換する直交変換手順と、上記第１のブロックの直交変換係数と、上記直交変換手順によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手順と、を有することを特徴とする画像処理方法。
【００２３】
また、本発明による記憶媒体においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレーム間の直交変換係数同士を比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、上記動きベクトル演算処理は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化処理と、上記第１のブロック及び上記第２のブロックを直交変換する直交変換処理と、上記直交変換処理からそれぞれ得られる直交変換係数に基づいて上記第２のブロックから第１のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第１の評価処理と、上記第１のブロックの直交変換係数と、上記第１の評価処理によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価処理と、を有することを特徴とする。
また、本発明による記憶媒体においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレームを比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、上記動きベクトル演算処理は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化処理と、上記ブロック化処理から出力される上記第２のブロックから第１のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第１の評価処理と、上記第１の評価処理によって選択された上記類似ブロックと、該第１のブロックとを直交変換する直交変換処理と、上記第１のブロックの直交変換係数と、上記直交変換処理によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価処理と、を有することを特徴とする記憶媒体。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。尚、本実施の形態における画像処理装置は、主として、動画像を撮像するアナログビデオカメラやデジタルビデオカメラの内部、もしくはビデオカメラと直接あるいはコンピュータを介して接続されるプリンタやビデオプリンタ等の画像出力装置内部に具備することが効果的であるが、ビデオカメラとプリンタとの接続で中間アダプタとなる画像処理装置、またはホストコンピュータ内のアプリケーションソフト、またプリンタに出力するためのプリンタドライバソフトとして内蔵することも可能である。
【００２５】
図１のブロック図に沿って第１の実施の形態の構成及び動作手順を説明する。
図中１００はビデオカメラで撮像された動画像が入力される入力端子を示している。本実施の形態では、デジタルビデオカメラで撮像した画像をコンピュータに送信して、コンピュータ内のアプリケーションソフトによりプリンタ相当の解像度まで変換する例について述べる。
【００２６】
デジタルビデオで撮影した動画像を記録媒体から再生して、ユーザは自分の欲するシーンで画像の取り込み命令を送る。この取り込み命令に同期して、コンピュータ内の格納手段１０１に取り込み命令直後の連続した複数フレームの画像情報を格納する。１０２は動きベクトル演算手段を示し、連続した２種画像の差異を基に、部分的に移動した移動量をベクトルとして計測する手段である。
【００２７】
１０３は配置手段Ａを示し、撮像した画像をメモリ内に配置させる手段である。また、１０４は配置手段Ｂを示し、動きベクトル演算手段１０２で算出したベクトル量に応じて同一メモリ内に配置させる手段である。１０５は合成手段であり、配置した両者の画像を合成させる。１０６は合成した画像がまだ、所望の解像度までの内挿点の情報が埋まっていない場合に、埋まっていない内挿点の情報を補間演算により算出する補間手段である。１０７は出力端子を示し、高解像度化した画像情報がプリンタ等に送信される。
【００２８】
次に、本発明の特徴である動きベクトル演算手段１０２について説明する。動きベクトルを算出する方法は古くから様々な方法が提案されているが、従来方法では画素間距離以下のベクトルの分解能がないために、合成、補間を施して低解像の動画を高解像度の静止画に変換する用途には適さない。
【００２９】
本実施の形態の動きベクトル演算手段１０２の詳細ブロックを図２に示す。図１の格納手段１０１から動きベクトル演算手段１０２に送信される２種の画像は、１種は、ユーザが取り込み命令をかけた直後の画像（時刻ｍフレーム）、またもう１種は、時刻ｍフレーム目から１フレーム後の画像（（ｍ＋１）フレームとする）とする。
【００３０】
図２において、２０１はｍフレーム目の画像をＮ×Ｎ画素単位にブロック化するブロック化手段である。Ｎの値は様々考えられるが、例としてＮ＝８を想定する。いま、この作成した８×８画素の注目ブロックを仮にブロックＡと称する。次に、直交変換手段２０２において、ブロックＡの直交変換を演算する。直交変換の種類は限定しないが、容易に高速で演算できるアダマール変換、及びＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｆｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）で採用されているＤＣＴ（離散コサイン変換）等が一般的である。
【００３１】
いま、ＤＣＴを例にすると、Ｎ×Ｎ画素の二次元ＤＣＴの変換係数は、
【００３２】
【数５】
【００３３】
で求められる。
【００３４】
一方、（ｍ＋１）フレーム目はブロック化手段２０３により、Ｍ×Ｍ′画素単位にブロック化される。この時、Ｍ×Ｍ′画素単位にブロックは、（ｍ＋１）フレーム目内の、ブロックＡと同一座標のＮ×Ｎ画素のブロックを包括し、大小関係は、Ｍ≧Ｎ、かつ、Ｍ′≧Ｎ（但し、Ｍ＝Ｍ′＝Ｎの場合を除く）になる。いま、Ｍ＝Ｍ′＝２０と仮定する。すなわち、ブロックＡと同一座標を含む２０×２０のブロックを（ｍ＋１）フレーム目内に用意することになる。
【００３５】
次にブロック化手段２０４により２０×２０画素のブロック内で、ｍフレーム目と同サイズのＮ×Ｎ画素のブロックを作成する。ブロックの作成は、ブロックＡの同一座標からスタートしても良いし、また、Ｍ×Ｍ′ブロックの端から順に初めても構わない。いま、（ｍ＋１）フレーム目内で作成したＮ×Ｎ画素のブロックを仮にブロックＢと称する。
【００３６】
２０５は、作成したブロックＢをブロックＡと同様に直交変換する直交変換手段である。当然、直交変換手段２０２、２０５の直交変換は同一の変換手段でなくてはならない。２０６は、ブロックＡ、ブロックＢの直交変換係数を基に、その変換係数の類似性を評価する変換係数評価手段である。類似性の評価は、ブロックのＤＣ（直流）成分と、ＡＣ（交流）成分の主に低周波域の成分とを基に、それぞれの係数の差分に、成分に応じた重み付け係数を乗じた値の和で評価する。
【００３７】
いま、説明を容易にするために、ブロックの座標をブロックを形成する左上の画素の座標で管理することにする（以下、この画素の座標をブロックの管理座標と称する）。即ち、図３に示したように、ブロックＢの管理座標を（ａ，ｂ）とすると、ブロックＡとブロックＢとの類似性の評価関数は、
【００３８】
【数６】
【００３９】
で算出する。
【００４０】
高周波域になるほど、隣接ブロック間の変換係数の相関が低くなるため、高周波域ほど重み付け係数Ｗ（ｕ，ｖ）の値を小さく設定する。座標が空間的に近いブロック同士の低周波域の変換係数は非常に相関が高いため、式（７）では、ブロック同士の空間的な位置関係を変換係数の類似性に置き換えて評価している。また、式（７）では絶対値に用いているが、差分の二乗でも同様の評価は可能である。
【００４１】
２０７は、ブロック制御手段を示し、ブロックＢの管理座標（ａ，ｂ）を１画素移動して、新たにブロックを作成し、同様の処理を繰り返す制御を行う。即ち、Ｎ＝８、Ｍ＝Ｍ′＝２０を例にすると、８×８画素のブロックは２０×２０画素のブロック中に１３×１３個作成できるので、そのブロック数分に対して繰り返し類似性を演算することになる。
【００４２】
（ｍ＋１）フレーム目内において、全てブロックＢの走査を終了すると、前述の評価関数であるＲ（ａ，ｂ）が最小になる座標（ａ′，ｂ′）を判定する。即ち、類似性Ｒ（ａ，ｂ）はブロックＡＢ間の誤差成分と見なせるので、Ｒ（ａ，ｂ）が最小値をとる時のブロックＢ（この時のブロックをブロックＢ′と称す。）が空間的にもブロックＡと最も近いブロックと見なし、ブロックＡの移動した先に判断する。ただ、これだけでは従来例と同様、動きベクトルの分解能は１画素単位であり、画素間距離以下のベクトルが判定できない。
【００４３】
そこで本実施の形態では、画素間距離よりも短い分解能で動きベクトルを推測する。以下にベクトルの推測方法を説明する。
前述の方法において、ｍフレーム目の注目ブロックであるブロックＡの管理座標を（ａ０，ｂ０）とし、また、前述したＲ（ａ，ｂ）の最小値をとる（ｍ＋１）フレーム目のブロックＢ′の管理座標を（ａ′，ｂ′）とする。変換係数評価手段２０６において、ブロックＢ′の検索は大まかな画素単位の検索であったが、今度はブロックＢ′周辺に絞った細かい距離の推測をする。即ち、変換係数評価手段２０６では、まず、空間的に最も近いと思われるブロックＢ′の検索、次に、求めたブロックＢ′からの微小なずれ量の推測という、２段階の構成の異なる評価を実施することになる。
【００４４】
図４に２段階目の推測の動作手順を示すフローチャートを示す。
Ｓ４０１では、ブロックＢ′の１画素左に作成したブロックと１画素右に作成したブロックとの式（７）による評価関数結果をそれぞれ比較する。即ち、ブロックＢ′の管理座標は（ａ′，ｂ′）であるため、Ｒ（ａ′＋１，ｂ′）とＲ（ａ′−１，ｂ′）との大小を評価する。このＲ（ａ′＋１，ｂ′）、Ｒ（ａ′−１，ｂ′）については、第１段階の類似性評価に際に算出しているので、演算結果を記憶、保持しておくのが好ましい。
【００４５】
次に、Ｓ４０１においても、もし、Ｒ（ａ′＋１，ｂ′）が小さいと評価されるとＳ４０２に、また否と評価されるとＳ４０３に移動する。Ｓ４０２では管理座標（ａ′＋１，ｂ′）より構成されるブロックをブロックＣと設定し、また、Ｓ４０３では管理座標（ａ′−１，ｂ′）より構成されるブロックをブロックＣと設定する。それと同時に、Ｓ４０２では変数ｃをｃ＝１と設定し、また、Ｓ４０３ではｃ＝−１と設定する。
【００４６】
次にＳ４０４において、今度はブロックＢ′の１画素上に作成したブロックと１画素下に作成したブロックとの式（７）による評価関数結果をそれぞれ比較する。即ち、ブロックＢ′の管理座標は（ａ′，ｂ′）であるので、Ｒ（ａ′，ｂ′＋１）とＲ（ａ′，ｂ′−１）との大小を評価する。この類似性の評価関数に関しても、第１段階の類似性評価に際に算出しているので、演算結果を記憶、保持しておくのが好ましい。
【００４７】
Ｓ４０４において、もし、Ｒ（ａ′ｂ′＋１）が小さいと評価されるとＳ４０５に、また否と評価されるとＳ４０６に移動する。Ｓ４０５では、管理座標（ａ′，ｂ′＋１）より構成されるブロックをブロックＤと設定し、また、Ｓ４０６では管理座標（ａ′，ｂ′−１）より構成されるブロックをブロックＤと設定する。それと同時に、Ｓ４０５では変数ｄをｄ＝１と設定し、また、Ｓ４０６ではｄ＝−１と設定する。
【００４８】
次にＳ４０７では、ブロックＡの直交変換係数中の横方向のＡＣ基本波成分であるＦA （１，０）と、ブロックＢ′及びブロックＣの直交変換係数中の横方向のＡＣ基本波成分であるＦB （１，０）、ＦC （１，０）の３種の値の大小関係を評価する。即ち、ＦA （１，０）の値が、ＦB ′（１，０）の値とＦC （１，）の値との間に存在するか否かを判断する。もし、存在していれば、Ｓ４０８へ、否ならＳ４０９へ移動する。Ｓ４０８では、変数ｘが以下の式で算出される。
ｘ＝｛ＦA （１，０）−ＦB ′（１，０）｝／｛ＦC （１，０）−ＦB ′（１，０）｝ ………（８）
また、Ｓ４０９では、変数ｘはｘ＝０と設定される。
【００４９】
同様に、Ｓ４１０では、ブロックＡの直交変換係数中の縦方向のＡＣ基本波成分であるＦA （１，０）と、ブロックＢ′及びブロックＤの直交変換係数中の横方向のＡＣ基本波成分であるＦB （０，１）、ＦD （０，１）の３種の値の大小関係を評価する。即ち、ＦA （０，１）の値が、ＦB ′（０，１）の値とＦD （０，１）の値との間に存在するか否かを判断する。もし、存在していれば、Ｓ４１１へ、否ならＳ４１２へ移動する。Ｓ４１１では、変数ｙが以下の式で算出される。
ｙ＝｛ＦA （０，１）−ＦB ′（０，１）｝／｛ＦD （０，１）−ＦB ′（０，１）｝ ………（９）
また、Ｓ４１２では、変数ｙはｙ＝０と設定される。
【００５０】
Ｓ４１３では式（８）、式（９）により算出したｘ，ｙを基に、ブロックＡから真に移動したと判断されるブロック（ブロックＢ′′と称す。）への動きベクトルを以下のように設定して終了する。
【００５１】
【数７】
【００５２】
即ち、ブロックＡからブロックＢ′への動きベクトルは、
【００５３】
【数８】
【００５４】
となるので、式（１０）のｃ×ｘ、及びｄ×ｙの項が画素間距離よりも分解能の高いベクトル成分となっている。
【００５５】
以上のフローについて、図５から図１０を基にしてさらに詳細を説明する。
図５はブロックＡとブロックＢ′との相対関係を示した図である。ブロックＡの管理座標が（ａ０，ｂ０）、ブロックＢ′の管理座標が（ａ′，ｂ′）であることは前述したとおりである。いま、第１段階の類似性評価によりブロックＡからブロックＢ′への大まかなベクトルが算出されている。
【００５６】
図６はブロックＢ′とブロックＢ′周辺に作成したブロックとの相対関係を示した図である。図６（ａ）は横方向の周辺ブロックを示し、管理座標が（ａ′，ｂ′）であるブロックＢ′を中心に、１画素づつ左右に管理座標をずらした２種のブロックを示している。但し、図６（ａ）では、各ブロックを若干縦方向にずらしているが、これはブロックの相対関係をわかりやすく表現するためであり、実際には縦方向にはずれていない。図中、斜線で示した画素が各々の管理座標の画素になる。前述したように、これらのいずれかのブロックが、ブロックＣと設定される。
【００５７】
同様に、図６（ｂ）では、縦方向の周辺ブロックを示し、管理座標が（ａ′，ｂ′）であるブロックＢ′を中心に、１画素づつ上下に管理座標をずらした２種のブロックを示している。但し、図６（ｂ）では、各ブロックを若干横方向にずらしているが、これはブロックの相対関係をわかりやすく表現するためであり、実際には横方向にはずれていない。同様に、これらのいずれかのブロックが、ブロックＤと設定される。ブロックＣ、及びブロックＤの設定は前述したように、どのブロックがブロックＡとの直交変換係数の類似性が高いかという判断によって行う。
【００５８】
図７、図８、図９は、それぞれ実際の自然画像中のブロックＡ、ブロックＢ′、ブロックＣの画素値、及び式（６）で算出したＤＣＴ変換係数の様子を示したものである。
図７の７０１はｍフレーム中の注目ブロックであるブロックＡの画像データである。今、ブロックサイズを８×８画素とする。７０２はブロックＡのＤＣＴ変換係数を示す。この変換係数７０２を基に、（ｍ＋１）フレーム中のブロックＢ′の検索を行う。
【００５９】
図８の８０１は、検索した結果、最も類似性が高いと評価されたブロックＢ′の画素値を示す。８０２は、検索に使用されたブロックＢ′のＤＣＴ変換係数である。７０２、８０２から明らかなように、類似性が高いことがわかる。
【００６０】
図９の９０１はブロックＢ′の管理座標が１画素右方向に移動したブロックＣを示す。これは、管理座標が１画素左方向に移動したブロックよりも類似性が高いと評価されて選択されたものである。９０２はブロックＣのＤＣＴ変換係数を示している。当然、ブロックＣ（９０２）とブロックＡ（７０２）との類似性は、ブロックＢ′（８０２）とブロックＡ（７０２）との類似性よりも低い（誤差が大きい）。
【００６１】
ここで、ブロックＢ′と１画素ずれたブロックＣとの画素間空間にブロックＡを合成させるために、画素間距離以内での配置位置を決定しなくてはならない。そこで、図４のフローで述べたように、７０２、８０２、９０２のＤＣＴ変換係数の横方向ＡＣ基本波成分に着目する。いま、７０２の横方向ＡＣ基本波成分は“３６．３７”、８０２では、“３５．５０”、９０２では“４１．４６”であるので、これらの相互比較によって位置を推測する。即ち、空間的な距離に比例して基本波成分が線形に推移するものと仮定するわけである。
【００６２】
ここで実際の値を式（８）に当てはめて、ブロックＢ′から横方向の距離を算出すると、
ｘ＝（３６．３７−３５．５０）／（４１．４６−３５．５０）≒０．１５
になる。即ち、ブロックＢ′の管理座標よりもブロックＢ′′の管理座標は、０．１５画素分右方向に位置するものと判断する。
【００６３】
ただ、図４でのフローにて述べたように、ブロックＢ′、ブロックＡ、ブロックＣの横方向基本波成分が単調増加、もしくは単調減少になっていない場合には、横方向に関してはブロックＢ′の座標と同位置であると判断する。
同様に縦方向に関しても、縦方向基本波成分の変化比率に線形的に配置されるものとしてブロックＢ′からの縦方向の距離ｙを演算する。
【００６４】
図１０にブロックＢ′の管理座標からのｘ，ｙの位置関係の例を示す。ｘ，ｙともに１画素以内の距離になる。図１０ではブロックＢ′よりも右方向、及び下方向に位置している例である。●印は（ｍ＋１）フレームの画素位置を示している。前述したフローによって、ｘ，ｙの値が算出されると、（ａ′，ｂ′）の位置から横方向にｘ、縦方向にｙだけ移動した×印の位置がブロックＡの合成する管理座標の位置になる。
ブロックＡから真の移動位置であるブロックＢ′′への動きベクトルは式（１０）で示した通りになる。
【００６５】
以上、画素間距離以内の分解能を有す動きベクトルの推測について述べてきたが、連続したフレーム毎に前述した動きベクトルの推測を繰り返すことにより、合成するフレーム数が増加して、より高解像の静止画像を作成できる。その際、所望の内挿点に合成情報が位置しないときには、補間手段により内挿点の画素値を補間する。この際の補間手段は図１２から図１４に示した方法で十分である。
【００６６】
また、本実施の形態では、ブロックＣ及びブロックＤの設定を類似性評価によって行ったが、これに限るものではなく、ブロックＣ及びブロックＤの設定も単独の変換係数の比較でも良い。
【００６７】
図１１は本発明の第２の実施の形態を示すブロック図である。これは、図１の動きベクトル演算手段１０２の内容が図２と異なっているだけであり、全体のブロック構成は図１と同一である。
図１１において、図２と同一部分には同一番号を付して説明する。
２０１は図２と同様、ｍフレーム目の画像情報をＮ×Ｎ画素単位にブロック化するブロック手段である。２０３は（ｍ＋１）フレーム目の画像情報をＭ×Ｍ′画素単位にブロック化するブロック手段、２０４はＭ×Ｍ′画素単位のブロック内でＮ×Ｎ画素単位にブロック化するブロック手段である。この時、Ｎ、Ｍ、Ｍ′の関係は全て図２の場合と同一である。
【００６８】
図２の場合は、ｍフレーム目のＮ×Ｎ画素のブロック、及び（ｍ＋１）フレーム目のＮ×Ｎ画素のブロックの、各々の直交変換係数の比較によりブロックの類似性を評価していた。しかし、直交変換係数を比較するとなると、各ブロックにおいて直交変換の処理が必要になり、処理時間がかかってしまう。
【００６９】
そこで、本実施の形態では、実空間での検索と直交変換係数での比較とを混在して使用することに特徴がある。即ち、ブロックＢ′を決定するまでは実空間での画素値の演算で評価し、画素間距離内での微小なずれ量の推定を直交変換係数に基づいて実行するものである。
【００７０】
図１１において、１１０１は差分評価手段を示し、ブロックＢの管理座標を（ａ，ｂ）とすると、
【００７１】
【数９】
【００７２】
の演算が行われる。
【００７３】
ブロック制御手段１１０２は、図２のブロック制御手段２０７と同様、Ｍ×Ｍ′画素のブロック内を１画素単位で走査し、新たにブロックを作成して差分を評価するという一連の動作を繰り返す。そして、全て走査が終了した時に前述のＲ（ａ，ｂ）の値が最小となるブロックＢをブロックＢ′として決定する。
【００７４】
この実空間での動きベクトルの検出法は、一般的にテンプレートマッチングと呼ばれているものである。「画像解析ハンドブック：高木幹雄、下田陽久監修 東京大学出版会」には、テンプレートマッチングの中の残差逐次検定法（ＳＳＤＡ法）について紹介されているが、ＳＳＤＡ法のように、誤差の発生が多いブロックでは、ブロック途中で演算を打ち切る方法も、処理速度向上には有効である。
【００７５】
ブロックＢ′の決定が実空間上で終了すると、今度はブロックＢ′の周囲での微小なずれ量の推定である。２０２は直交変換手段を示し、ブロックＡの直交変換を施す手段である。また、２０５も同様に直交変換手段を示し、ブロックＢ′及びブロックＢ′の管理座標から１画素分左右、上下にずれた各ブロックの直交変換手段を施す手段である。変換係数評価手段１１０３では、上記の各ブロックの変換係数を基に図４のフローチャートにより画素間距離内での動きベクトルを算出する。
【００７６】
前述したように、本実施の形態では、２段階必要な動きベクトルの推定のうち、第１段階を実空間により推測し、第２段階を直交変換係数にて推測することにより高速化が実現できる。
【００７７】
以上説明した直交変換を用いた動きベクトルの演算について、本発明では低解像の動画から高解像の静止画作成について述べたが、当然この技術を動き補償に用いることも可能である。
【００７８】
また、画素間距離ｘ，ｙの推定を、基本波成分の比率のみで算出した例を示したが、これに限るものではない。当然、他のＡＣ成分を用いて複合的に距離を判断しても良いし、ＤＣ成分を用いることも可能である。
【００７９】
また、前述した各実施の形態では、全てｍフレームと（ｍ＋１）フレームの連続画像について説明してきたが、連続、非連続は限定しない。当然、ｍフレームと（ｍ＋ｎ）フレーム（但し、ｎ≧１）間の動きベクトルを本発明の技術を用いて合成することも可能である。
さらに、本発明は、複数の機器から構成されるシステムに適用しても１つの機器から成る装置に適用しても良い。
【００８０】
尚、図１、図２、図１１の各機能ブロックによるシステムは、ハード的に構成してもよく、また、ＣＰＵやメモリ等から成るコンピュータシステムに構成してもよい。コンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。この記憶媒体には、図４のフローチャート等について前述した動作を制御するための処理手順を実行するためのプログラムが記憶される。
【００８１】
また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気媒体、磁気カード、不揮発性メモリカード等に構成して用いてよい。
【００８２】
従って、この記憶媒体を図１、図２、図１１に示したシステム以外の他のシステムあるいは装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、前述した各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００８３】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００８４】
【発明の効果】
以上説明したように、フレーム間の対象となるブロック間の直交変換係数を比較することにより、連続フレームの動きベクトル量の分解能を１画素単位よりも細かく設定することができる。１画素よりも細かい分解能で複数フレームを合成することにより、高解像情報の作成が可能になる。
また、実空間上でマッチング処理と組み合わせることにより、処理速度の向上が見込まれ、高速で処理が実行できる。
【００８５】
従来提案されていた、１枚の低解像静止画からの高解像静止画作成の内挿、補間技術に比べて格段に高画質化した画像情報が作成できる。
さらに、ビデオカメラにて撮影した低解像静止画像から１枚の高解像静止画情報が容易に作成できるため、入出力の解像度の異なる機種間通信や、拡大変倍して高画質な画像を出力するビデオカメラ、プリンタ等が提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】図１の動きベクトル演算手段を示すブロック図である。
【図３】動きベクトルを説明する構成図である。
【図４】変換係数評価手段の動作手順を示すフローチャートである。
【図５】動きベクトルを説明する構成図である。
【図６】動きベクトルを説明する構成図である。
【図７】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図８】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図９】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図１０】動きベクトルを説明する構成図である。
【図１１】本発明の第２の実施の形態の動きベクトル演算手段を示すブロック図である。
【図１２】従来例である最接近内挿法を説明する構成図である。
【図１３】従来例である共１次内挿法を説明する構成図である。
【図１４】従来例である３次たたみ込み内挿法を説明する構成図である。
【符号の説明】
１０２ 動きベクトル演算手段
１０３ 配置手段Ａ
１０４ 配置手段Ｂ
１０５ 合成手段
２０１、２０３、２０４、ブロック化手段
２０２、２０５ 直交変換手段
２０６ 変換係数評価手段
２０７ ブロック制御手段
１１０２ 差分評価手段
【発明の属する技術分野】
本発明は、特に入力した画像情報を拡大変倍して出力するプリンタ等の画像出力装置や、解像度の異なる機種通信で、低解像情報から高解像情報に解像度変換する画像処理装置、方法及びそれらに用いるコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
従来より、入力した低解像情報を高解像情報に解像度変換する方法として、様々な方法が提案されている。提案されている従来方法は、対象となる画像の種類（例えば、各画素ごとに階調情報の持つ多値画像、擬似中間調により２値化された２値画像、固定閾値により２値化された２値画像、文字画像等）によって、その変換処理方法が異なっている。
【０００３】
従来の内挿方法としては、図１２に示すような、内挿点Ｅに最も近い同じ画素値を配列する最近接内挿方法、図１３に示すような、内挿点Ｅを囲む４点（４点の画素値をＡ、Ｂ、Ｃ、Ｄとする）の距離により、以下の演算によって画素値Ｅを決定する共１次内挿法等が一般的に用いられている。
Ｅ＝（１−ｉ）（１−ｊ）Ａ＋ｉ−（１−ｊ）Ｂ＋ｊ・
（１−ｉ）Ｃ＋ｉｊＤ ………（１）
（但し、画素間距離を１とした場合に、Ａから横方向にｉ、縦方向にｊの距離があるとする。（ｉ≦１、ｊ≦１））
【０００４】
また、古くからサンプリング定理で表されているように、サンプリングされた離散信号を連続信号に変換する手段として、ＳＩＮＣ関数で表現できる理想低域ろ波器を通過することによって再現することができる。ＳＩＮＣ関数を演算するのは処理時間がかかることなどから、ＳＩＮＣ関数で表現される補間関数を近似して、簡単な積和演算のみで補間値を算出する方法がある。
【０００５】
「画像解析ハンドブック：高本幹雄、下田陽久監修 東京大学出版会」によると、３次たたみ込み内挿法（Ｃｕｂｉｃ Ｃｏｎｖｏｌｕｔｉｏｎ ｉｎｔｅｒｐｏｌａｎｔｉｏｎ）において、補間関数の近似が実現できる。内挿したい点の周囲の観測点１６点の画像データを用いて、求める画像データを次の式で示される３次たたみ込み関数を用いて内挿する。
【０００６】
【数１】
【数２】
【数３】
Ｐ１１〜Ｐ４４は周辺画素値を示し、図１４に配置を示す。
しかし、上述した３種の従来例では、いずれも補間時に補間によるボケ、及び入力低解像に依存したブロック状のジャギーの発生が生じ、高画質の高解像情報が作成できなかった。
【００１０】
そこで、本出願人は、低解像情報から高解像情報の作成において、補間処理による補間ぼけもなく、また、ジャギーが発生することなく解像度変換ができる方法を、特開平７−９３５３１号公報、特開平７−１０７２６８号公報、特開平７−１０５３５９号公報により提案した。
【００１１】
この提案の基本的な考え方は、入力した原情報から解像度依存成分を除去し、除去した状態で、画素数を出力解像度相当まで増加させ、増加させた状態の中で新たな解像度に見合う情報を推測し作成する方法である。入力解像度の依存性を取り除く手段としては、ＬＰＦによる平滑化、画素数の増加は線形補間により実現可能である。高解像情報の推測は補間後の情報を単純２値化して、“１”に分類された画素とをそれぞれ異なる処理を行うことにより、出力する画素値を算出する。
【００１２】
また、特開平９−２５２４００号公報で提案したように、画素値の連続性が保たれた良好なエッジを作成する方法もある。この公報では、低解像度注目画素の周辺画素よりｍ点（ｍ≧１）の画素（ただし、ｍ点中の観測点ｎにおける画素値をＰ（ｎ）とする）を検出し、注目画素を複数画素分に補間した各補間点ｋにおける前記補間値Ｃ（ｋ）を基に、出力値ｈ（ｋ）を以下の式により演算している。
【００１３】
【数４】
【発明が解決しようとする課題】
しかしながら、上記従来例では以下に述べるような欠点があった。即ち、いくら高解像情報の作成を行っても、高画質化には限度があるという点である。当然、サンプリング定理より明らかなように、入力解像度のナイキスト限界以上の情報は入力画像には存在しないため、ナイキスト周波数以上の情報作成は全て推測によるものになる。そのため、あまり複雑ではないＣＧ画像、イラスト画像、アニメーション画像の様な平坦な人工的画像をジャギーレスに変換することは容易であるが、自然画像のナイキスト限界以上の情報推測による高画質化は難しい。即ち、いかなる方法を用いたとしても、低解像情報を入力して高解像に変換した画像は、もともと高解像情報を入力した画像と比較すると明らかに画質は低くなる。
【００１５】
一方、近年、デジタルビデオカメラ等の普及により、撮影した動画像を連続した１フレーム単位にコンピュータに入力できる手段が増えてきている。ただ、プリンタの出力解像度は年々増加しているが、撮像系の入力解像度は増加傾向にあるとはいっても、プリンタ解像度に比べるとまだまだ低いのが現状である。
【００１６】
そこで、従来の技術で述べたような、１枚の低解像静止画から１枚の高解像静止画を作成するのではなく、動画から取り込んだ連続した複数の低解像静止画から、１枚の高解像静止画を作成する技術が新たに提案されている。
複数の静止画から、より広範囲のパノラマ画像を作成するには「動画像のパニングを考慮した背景画像の合成：吉沢、花村、富永、信学春季全大予稿集７−５」（１９９０）」、及び「分割撮像によるパノラマ画像の生成法：中村、金子、林、信学春季全大予稿集７−１６５（１９９１）」等による提案がある。しかし、１枚の静止画よりも撮像範囲を拡大したパノラマ画像の作成の技術ではなく、撮像範囲は同一でかつ複数の静止画の情報を合成して内挿により画像の解像度を向上させる技術の提案は数少ない。
【００１７】
このような低解像の動画から高解像の静止画作成の技術は、特開平５−２６０２６４号公報に提案がある。この提案は、連続した画像同士を比較して、２種類の差異からアフィン変換、及び平行移動のパラメータを検出して、２種画像を合成するものである。上記公報の第２の実施例には合成を補間に利用する例について述べられている。
【００１８】
しかし、この提案では以下の問題点がある。
即ち、上記第２の実施例に記載された方法は、前述した図１２から図１４に示した補間方法により拡大した連続画像同士を比較することにより、前述したパラメータを算出して補間位置を決定し、合成していくものである。補間演算自体が新たな高解像情報を作成するものではないため、合成する座標の正確な決定も困難である。補間するということは、画素間を内挿するということである。前記方法では、連続画像同士を比較する時に入力解像度の画素間の情報がない。簡単に言い換えると、２種の画像を画像Ａ、画像Ｂと仮定すると、画像Ａの画素間のどの位置に画像Ｂの画素を内挿するかという決定が、単なる拡大画像間の比較では困難である。
【００１９】
これは、動きベクトルのベクトル量の最小単位が画素単位であり、画素間距離よりも細かい分解能がないという点が起因している。即ち、ベクトルの分解能が画素間以下の精度を持たなければ、複数の静止画を用いて補間する効果は薄れ、従来例に記載した１枚の低解像静止画から１枚の高解像静止画への作成と、画質的にほとんど変わりなくなる。
【００２０】
本発明は、上記課題を解決するために成されたもので、画素間距離も細かい分解能を持つことにより、複数の低解像静止画から１枚の高解像静止画へ変換できるようにすることを目的とする。
【００２１】
【課題を解決するための手段】
上記目的を達成するために、本発明による画像処理装置においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレーム間の直交変換係数同士を比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手段とを設けた画像処理装置であって、上記動きベクトル演算手段は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手段と、上記第１のブロック及び上記第２のブロックを直交変換する直交変換手段と、上記直交変換手段からそれぞれ得られる直交変換係数に基づいて上記第２のブロックから第１のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第１の評価手段と、上記第１のブロックの直交変換係数と、上記第１の評価手段によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手段と、を有することを特徴とする。
また、本発明による画像処理装置においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレームを比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手段とを設けた画像処理装置であって、上記動きベクトル演算手段は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手段と、上記ブロック化手段から出力される上記第２のブロックから第１のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第１の評価手段と、上記第１の評価手段によって選択された上記類似ブロックと、該第１のブロックとを直交変換する直交変換手段と、上記第１のブロックの直交変換係数と、上記直交変換手段によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手段と、を有することを特徴とする。
【００２２】
また、本発明による画像処理方法においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレーム間の直交変換係数同士を比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手順とを設けた画像処理方法であって、上記動きベクトル演算手順は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手順と、上記第１のブロック及び上記第２のブロックを直交変換する直交変換手順と、上記直交変換手順からそれぞれ得られる直交変換係数に基づいて上記第２のブロックから第１のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第１の評価手順と、上記第１のブロックの直交変換係数と、上記第１の評価手順によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手順と、を有することを特徴とする。
また、本発明による画像処理方法においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレームを比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手順とを設けた画像処理方法であって、上記動きベクトル演算手順は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手順と、上記ブロック化手順から出力される上記第２のブロックから第１のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第１の評価手順と、上記第１の評価手順によって選択された上記類似ブロックと、該第１のブロックとを直交変換する直交変換手順と、上記第１のブロックの直交変換係数と、上記直交変換手順によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手順と、を有することを特徴とする画像処理方法。
【００２３】
また、本発明による記憶媒体においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレーム間の直交変換係数同士を比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、上記動きベクトル演算処理は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化処理と、上記第１のブロック及び上記第２のブロックを直交変換する直交変換処理と、上記直交変換処理からそれぞれ得られる直交変換係数に基づいて上記第２のブロックから第１のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第１の評価処理と、上記第１のブロックの直交変換係数と、上記第１の評価処理によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価処理と、を有することを特徴とする。
また、本発明による記憶媒体においては、連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレームを比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、上記動きベクトル演算処理は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化処理と、上記ブロック化処理から出力される上記第２のブロックから第１のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第１の評価処理と、上記第１の評価処理によって選択された上記類似ブロックと、該第１のブロックとを直交変換する直交変換処理と、上記第１のブロックの直交変換係数と、上記直交変換処理によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価処理と、を有することを特徴とする記憶媒体。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。尚、本実施の形態における画像処理装置は、主として、動画像を撮像するアナログビデオカメラやデジタルビデオカメラの内部、もしくはビデオカメラと直接あるいはコンピュータを介して接続されるプリンタやビデオプリンタ等の画像出力装置内部に具備することが効果的であるが、ビデオカメラとプリンタとの接続で中間アダプタとなる画像処理装置、またはホストコンピュータ内のアプリケーションソフト、またプリンタに出力するためのプリンタドライバソフトとして内蔵することも可能である。
【００２５】
図１のブロック図に沿って第１の実施の形態の構成及び動作手順を説明する。
図中１００はビデオカメラで撮像された動画像が入力される入力端子を示している。本実施の形態では、デジタルビデオカメラで撮像した画像をコンピュータに送信して、コンピュータ内のアプリケーションソフトによりプリンタ相当の解像度まで変換する例について述べる。
【００２６】
デジタルビデオで撮影した動画像を記録媒体から再生して、ユーザは自分の欲するシーンで画像の取り込み命令を送る。この取り込み命令に同期して、コンピュータ内の格納手段１０１に取り込み命令直後の連続した複数フレームの画像情報を格納する。１０２は動きベクトル演算手段を示し、連続した２種画像の差異を基に、部分的に移動した移動量をベクトルとして計測する手段である。
【００２７】
１０３は配置手段Ａを示し、撮像した画像をメモリ内に配置させる手段である。また、１０４は配置手段Ｂを示し、動きベクトル演算手段１０２で算出したベクトル量に応じて同一メモリ内に配置させる手段である。１０５は合成手段であり、配置した両者の画像を合成させる。１０６は合成した画像がまだ、所望の解像度までの内挿点の情報が埋まっていない場合に、埋まっていない内挿点の情報を補間演算により算出する補間手段である。１０７は出力端子を示し、高解像度化した画像情報がプリンタ等に送信される。
【００２８】
次に、本発明の特徴である動きベクトル演算手段１０２について説明する。動きベクトルを算出する方法は古くから様々な方法が提案されているが、従来方法では画素間距離以下のベクトルの分解能がないために、合成、補間を施して低解像の動画を高解像度の静止画に変換する用途には適さない。
【００２９】
本実施の形態の動きベクトル演算手段１０２の詳細ブロックを図２に示す。図１の格納手段１０１から動きベクトル演算手段１０２に送信される２種の画像は、１種は、ユーザが取り込み命令をかけた直後の画像（時刻ｍフレーム）、またもう１種は、時刻ｍフレーム目から１フレーム後の画像（（ｍ＋１）フレームとする）とする。
【００３０】
図２において、２０１はｍフレーム目の画像をＮ×Ｎ画素単位にブロック化するブロック化手段である。Ｎの値は様々考えられるが、例としてＮ＝８を想定する。いま、この作成した８×８画素の注目ブロックを仮にブロックＡと称する。次に、直交変換手段２０２において、ブロックＡの直交変換を演算する。直交変換の種類は限定しないが、容易に高速で演算できるアダマール変換、及びＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｆｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）で採用されているＤＣＴ（離散コサイン変換）等が一般的である。
【００３１】
いま、ＤＣＴを例にすると、Ｎ×Ｎ画素の二次元ＤＣＴの変換係数は、
【００３２】
【数５】
で求められる。
【００３４】
一方、（ｍ＋１）フレーム目はブロック化手段２０３により、Ｍ×Ｍ′画素単位にブロック化される。この時、Ｍ×Ｍ′画素単位にブロックは、（ｍ＋１）フレーム目内の、ブロックＡと同一座標のＮ×Ｎ画素のブロックを包括し、大小関係は、Ｍ≧Ｎ、かつ、Ｍ′≧Ｎ（但し、Ｍ＝Ｍ′＝Ｎの場合を除く）になる。いま、Ｍ＝Ｍ′＝２０と仮定する。すなわち、ブロックＡと同一座標を含む２０×２０のブロックを（ｍ＋１）フレーム目内に用意することになる。
【００３５】
次にブロック化手段２０４により２０×２０画素のブロック内で、ｍフレーム目と同サイズのＮ×Ｎ画素のブロックを作成する。ブロックの作成は、ブロックＡの同一座標からスタートしても良いし、また、Ｍ×Ｍ′ブロックの端から順に初めても構わない。いま、（ｍ＋１）フレーム目内で作成したＮ×Ｎ画素のブロックを仮にブロックＢと称する。
【００３６】
２０５は、作成したブロックＢをブロックＡと同様に直交変換する直交変換手段である。当然、直交変換手段２０２、２０５の直交変換は同一の変換手段でなくてはならない。２０６は、ブロックＡ、ブロックＢの直交変換係数を基に、その変換係数の類似性を評価する変換係数評価手段である。類似性の評価は、ブロックのＤＣ（直流）成分と、ＡＣ（交流）成分の主に低周波域の成分とを基に、それぞれの係数の差分に、成分に応じた重み付け係数を乗じた値の和で評価する。
【００３７】
いま、説明を容易にするために、ブロックの座標をブロックを形成する左上の画素の座標で管理することにする（以下、この画素の座標をブロックの管理座標と称する）。即ち、図３に示したように、ブロックＢの管理座標を（ａ，ｂ）とすると、ブロックＡとブロックＢとの類似性の評価関数は、
【００３８】
【数６】
で算出する。
【００４０】
高周波域になるほど、隣接ブロック間の変換係数の相関が低くなるため、高周波域ほど重み付け係数Ｗ（ｕ，ｖ）の値を小さく設定する。座標が空間的に近いブロック同士の低周波域の変換係数は非常に相関が高いため、式（７）では、ブロック同士の空間的な位置関係を変換係数の類似性に置き換えて評価している。また、式（７）では絶対値に用いているが、差分の二乗でも同様の評価は可能である。
【００４１】
２０７は、ブロック制御手段を示し、ブロックＢの管理座標（ａ，ｂ）を１画素移動して、新たにブロックを作成し、同様の処理を繰り返す制御を行う。即ち、Ｎ＝８、Ｍ＝Ｍ′＝２０を例にすると、８×８画素のブロックは２０×２０画素のブロック中に１３×１３個作成できるので、そのブロック数分に対して繰り返し類似性を演算することになる。
【００４２】
（ｍ＋１）フレーム目内において、全てブロックＢの走査を終了すると、前述の評価関数であるＲ（ａ，ｂ）が最小になる座標（ａ′，ｂ′）を判定する。即ち、類似性Ｒ（ａ，ｂ）はブロックＡＢ間の誤差成分と見なせるので、Ｒ（ａ，ｂ）が最小値をとる時のブロックＢ（この時のブロックをブロックＢ′と称す。）が空間的にもブロックＡと最も近いブロックと見なし、ブロックＡの移動した先に判断する。ただ、これだけでは従来例と同様、動きベクトルの分解能は１画素単位であり、画素間距離以下のベクトルが判定できない。
【００４３】
そこで本実施の形態では、画素間距離よりも短い分解能で動きベクトルを推測する。以下にベクトルの推測方法を説明する。
前述の方法において、ｍフレーム目の注目ブロックであるブロックＡの管理座標を（ａ０，ｂ０）とし、また、前述したＲ（ａ，ｂ）の最小値をとる（ｍ＋１）フレーム目のブロックＢ′の管理座標を（ａ′，ｂ′）とする。変換係数評価手段２０６において、ブロックＢ′の検索は大まかな画素単位の検索であったが、今度はブロックＢ′周辺に絞った細かい距離の推測をする。即ち、変換係数評価手段２０６では、まず、空間的に最も近いと思われるブロックＢ′の検索、次に、求めたブロックＢ′からの微小なずれ量の推測という、２段階の構成の異なる評価を実施することになる。
【００４４】
図４に２段階目の推測の動作手順を示すフローチャートを示す。
Ｓ４０１では、ブロックＢ′の１画素左に作成したブロックと１画素右に作成したブロックとの式（７）による評価関数結果をそれぞれ比較する。即ち、ブロックＢ′の管理座標は（ａ′，ｂ′）であるため、Ｒ（ａ′＋１，ｂ′）とＲ（ａ′−１，ｂ′）との大小を評価する。このＲ（ａ′＋１，ｂ′）、Ｒ（ａ′−１，ｂ′）については、第１段階の類似性評価に際に算出しているので、演算結果を記憶、保持しておくのが好ましい。
【００４５】
次に、Ｓ４０１においても、もし、Ｒ（ａ′＋１，ｂ′）が小さいと評価されるとＳ４０２に、また否と評価されるとＳ４０３に移動する。Ｓ４０２では管理座標（ａ′＋１，ｂ′）より構成されるブロックをブロックＣと設定し、また、Ｓ４０３では管理座標（ａ′−１，ｂ′）より構成されるブロックをブロックＣと設定する。それと同時に、Ｓ４０２では変数ｃをｃ＝１と設定し、また、Ｓ４０３ではｃ＝−１と設定する。
【００４６】
次にＳ４０４において、今度はブロックＢ′の１画素上に作成したブロックと１画素下に作成したブロックとの式（７）による評価関数結果をそれぞれ比較する。即ち、ブロックＢ′の管理座標は（ａ′，ｂ′）であるので、Ｒ（ａ′，ｂ′＋１）とＲ（ａ′，ｂ′−１）との大小を評価する。この類似性の評価関数に関しても、第１段階の類似性評価に際に算出しているので、演算結果を記憶、保持しておくのが好ましい。
【００４７】
Ｓ４０４において、もし、Ｒ（ａ′ｂ′＋１）が小さいと評価されるとＳ４０５に、また否と評価されるとＳ４０６に移動する。Ｓ４０５では、管理座標（ａ′，ｂ′＋１）より構成されるブロックをブロックＤと設定し、また、Ｓ４０６では管理座標（ａ′，ｂ′−１）より構成されるブロックをブロックＤと設定する。それと同時に、Ｓ４０５では変数ｄをｄ＝１と設定し、また、Ｓ４０６ではｄ＝−１と設定する。
【００４８】
次にＳ４０７では、ブロックＡの直交変換係数中の横方向のＡＣ基本波成分であるＦA （１，０）と、ブロックＢ′及びブロックＣの直交変換係数中の横方向のＡＣ基本波成分であるＦB （１，０）、ＦC （１，０）の３種の値の大小関係を評価する。即ち、ＦA （１，０）の値が、ＦB ′（１，０）の値とＦC （１，）の値との間に存在するか否かを判断する。もし、存在していれば、Ｓ４０８へ、否ならＳ４０９へ移動する。Ｓ４０８では、変数ｘが以下の式で算出される。
ｘ＝｛ＦA （１，０）−ＦB ′（１，０）｝／｛ＦC （１，０）−ＦB ′（１，０）｝ ………（８）
また、Ｓ４０９では、変数ｘはｘ＝０と設定される。
【００４９】
同様に、Ｓ４１０では、ブロックＡの直交変換係数中の縦方向のＡＣ基本波成分であるＦA （１，０）と、ブロックＢ′及びブロックＤの直交変換係数中の横方向のＡＣ基本波成分であるＦB （０，１）、ＦD （０，１）の３種の値の大小関係を評価する。即ち、ＦA （０，１）の値が、ＦB ′（０，１）の値とＦD （０，１）の値との間に存在するか否かを判断する。もし、存在していれば、Ｓ４１１へ、否ならＳ４１２へ移動する。Ｓ４１１では、変数ｙが以下の式で算出される。
ｙ＝｛ＦA （０，１）−ＦB ′（０，１）｝／｛ＦD （０，１）−ＦB ′（０，１）｝ ………（９）
また、Ｓ４１２では、変数ｙはｙ＝０と設定される。
【００５０】
Ｓ４１３では式（８）、式（９）により算出したｘ，ｙを基に、ブロックＡから真に移動したと判断されるブロック（ブロックＢ′′と称す。）への動きベクトルを以下のように設定して終了する。
【００５１】
【数７】
即ち、ブロックＡからブロックＢ′への動きベクトルは、
【００５３】
【数８】
となるので、式（１０）のｃ×ｘ、及びｄ×ｙの項が画素間距離よりも分解能の高いベクトル成分となっている。
【００５５】
以上のフローについて、図５から図１０を基にしてさらに詳細を説明する。
図５はブロックＡとブロックＢ′との相対関係を示した図である。ブロックＡの管理座標が（ａ０，ｂ０）、ブロックＢ′の管理座標が（ａ′，ｂ′）であることは前述したとおりである。いま、第１段階の類似性評価によりブロックＡからブロックＢ′への大まかなベクトルが算出されている。
【００５６】
図６はブロックＢ′とブロックＢ′周辺に作成したブロックとの相対関係を示した図である。図６（ａ）は横方向の周辺ブロックを示し、管理座標が（ａ′，ｂ′）であるブロックＢ′を中心に、１画素づつ左右に管理座標をずらした２種のブロックを示している。但し、図６（ａ）では、各ブロックを若干縦方向にずらしているが、これはブロックの相対関係をわかりやすく表現するためであり、実際には縦方向にはずれていない。図中、斜線で示した画素が各々の管理座標の画素になる。前述したように、これらのいずれかのブロックが、ブロックＣと設定される。
【００５７】
同様に、図６（ｂ）では、縦方向の周辺ブロックを示し、管理座標が（ａ′，ｂ′）であるブロックＢ′を中心に、１画素づつ上下に管理座標をずらした２種のブロックを示している。但し、図６（ｂ）では、各ブロックを若干横方向にずらしているが、これはブロックの相対関係をわかりやすく表現するためであり、実際には横方向にはずれていない。同様に、これらのいずれかのブロックが、ブロックＤと設定される。ブロックＣ、及びブロックＤの設定は前述したように、どのブロックがブロックＡとの直交変換係数の類似性が高いかという判断によって行う。
【００５８】
図７、図８、図９は、それぞれ実際の自然画像中のブロックＡ、ブロックＢ′、ブロックＣの画素値、及び式（６）で算出したＤＣＴ変換係数の様子を示したものである。
図７の７０１はｍフレーム中の注目ブロックであるブロックＡの画像データである。今、ブロックサイズを８×８画素とする。７０２はブロックＡのＤＣＴ変換係数を示す。この変換係数７０２を基に、（ｍ＋１）フレーム中のブロックＢ′の検索を行う。
【００５９】
図８の８０１は、検索した結果、最も類似性が高いと評価されたブロックＢ′の画素値を示す。８０２は、検索に使用されたブロックＢ′のＤＣＴ変換係数である。７０２、８０２から明らかなように、類似性が高いことがわかる。
【００６０】
図９の９０１はブロックＢ′の管理座標が１画素右方向に移動したブロックＣを示す。これは、管理座標が１画素左方向に移動したブロックよりも類似性が高いと評価されて選択されたものである。９０２はブロックＣのＤＣＴ変換係数を示している。当然、ブロックＣ（９０２）とブロックＡ（７０２）との類似性は、ブロックＢ′（８０２）とブロックＡ（７０２）との類似性よりも低い（誤差が大きい）。
【００６１】
ここで、ブロックＢ′と１画素ずれたブロックＣとの画素間空間にブロックＡを合成させるために、画素間距離以内での配置位置を決定しなくてはならない。そこで、図４のフローで述べたように、７０２、８０２、９０２のＤＣＴ変換係数の横方向ＡＣ基本波成分に着目する。いま、７０２の横方向ＡＣ基本波成分は“３６．３７”、８０２では、“３５．５０”、９０２では“４１．４６”であるので、これらの相互比較によって位置を推測する。即ち、空間的な距離に比例して基本波成分が線形に推移するものと仮定するわけである。
【００６２】
ここで実際の値を式（８）に当てはめて、ブロックＢ′から横方向の距離を算出すると、
ｘ＝（３６．３７−３５．５０）／（４１．４６−３５．５０）≒０．１５
になる。即ち、ブロックＢ′の管理座標よりもブロックＢ′′の管理座標は、０．１５画素分右方向に位置するものと判断する。
【００６３】
ただ、図４でのフローにて述べたように、ブロックＢ′、ブロックＡ、ブロックＣの横方向基本波成分が単調増加、もしくは単調減少になっていない場合には、横方向に関してはブロックＢ′の座標と同位置であると判断する。
同様に縦方向に関しても、縦方向基本波成分の変化比率に線形的に配置されるものとしてブロックＢ′からの縦方向の距離ｙを演算する。
【００６４】
図１０にブロックＢ′の管理座標からのｘ，ｙの位置関係の例を示す。ｘ，ｙともに１画素以内の距離になる。図１０ではブロックＢ′よりも右方向、及び下方向に位置している例である。●印は（ｍ＋１）フレームの画素位置を示している。前述したフローによって、ｘ，ｙの値が算出されると、（ａ′，ｂ′）の位置から横方向にｘ、縦方向にｙだけ移動した×印の位置がブロックＡの合成する管理座標の位置になる。
ブロックＡから真の移動位置であるブロックＢ′′への動きベクトルは式（１０）で示した通りになる。
【００６５】
以上、画素間距離以内の分解能を有す動きベクトルの推測について述べてきたが、連続したフレーム毎に前述した動きベクトルの推測を繰り返すことにより、合成するフレーム数が増加して、より高解像の静止画像を作成できる。その際、所望の内挿点に合成情報が位置しないときには、補間手段により内挿点の画素値を補間する。この際の補間手段は図１２から図１４に示した方法で十分である。
【００６６】
また、本実施の形態では、ブロックＣ及びブロックＤの設定を類似性評価によって行ったが、これに限るものではなく、ブロックＣ及びブロックＤの設定も単独の変換係数の比較でも良い。
【００６７】
図１１は本発明の第２の実施の形態を示すブロック図である。これは、図１の動きベクトル演算手段１０２の内容が図２と異なっているだけであり、全体のブロック構成は図１と同一である。
図１１において、図２と同一部分には同一番号を付して説明する。
２０１は図２と同様、ｍフレーム目の画像情報をＮ×Ｎ画素単位にブロック化するブロック手段である。２０３は（ｍ＋１）フレーム目の画像情報をＭ×Ｍ′画素単位にブロック化するブロック手段、２０４はＭ×Ｍ′画素単位のブロック内でＮ×Ｎ画素単位にブロック化するブロック手段である。この時、Ｎ、Ｍ、Ｍ′の関係は全て図２の場合と同一である。
【００６８】
図２の場合は、ｍフレーム目のＮ×Ｎ画素のブロック、及び（ｍ＋１）フレーム目のＮ×Ｎ画素のブロックの、各々の直交変換係数の比較によりブロックの類似性を評価していた。しかし、直交変換係数を比較するとなると、各ブロックにおいて直交変換の処理が必要になり、処理時間がかかってしまう。
【００６９】
そこで、本実施の形態では、実空間での検索と直交変換係数での比較とを混在して使用することに特徴がある。即ち、ブロックＢ′を決定するまでは実空間での画素値の演算で評価し、画素間距離内での微小なずれ量の推定を直交変換係数に基づいて実行するものである。
【００７０】
図１１において、１１０１は差分評価手段を示し、ブロックＢの管理座標を（ａ，ｂ）とすると、
【００７１】
【数９】
の演算が行われる。
【００７３】
ブロック制御手段１１０２は、図２のブロック制御手段２０７と同様、Ｍ×Ｍ′画素のブロック内を１画素単位で走査し、新たにブロックを作成して差分を評価するという一連の動作を繰り返す。そして、全て走査が終了した時に前述のＲ（ａ，ｂ）の値が最小となるブロックＢをブロックＢ′として決定する。
【００７４】
この実空間での動きベクトルの検出法は、一般的にテンプレートマッチングと呼ばれているものである。「画像解析ハンドブック：高木幹雄、下田陽久監修 東京大学出版会」には、テンプレートマッチングの中の残差逐次検定法（ＳＳＤＡ法）について紹介されているが、ＳＳＤＡ法のように、誤差の発生が多いブロックでは、ブロック途中で演算を打ち切る方法も、処理速度向上には有効である。
【００７５】
ブロックＢ′の決定が実空間上で終了すると、今度はブロックＢ′の周囲での微小なずれ量の推定である。２０２は直交変換手段を示し、ブロックＡの直交変換を施す手段である。また、２０５も同様に直交変換手段を示し、ブロックＢ′及びブロックＢ′の管理座標から１画素分左右、上下にずれた各ブロックの直交変換手段を施す手段である。変換係数評価手段１１０３では、上記の各ブロックの変換係数を基に図４のフローチャートにより画素間距離内での動きベクトルを算出する。
【００７６】
前述したように、本実施の形態では、２段階必要な動きベクトルの推定のうち、第１段階を実空間により推測し、第２段階を直交変換係数にて推測することにより高速化が実現できる。
【００７７】
以上説明した直交変換を用いた動きベクトルの演算について、本発明では低解像の動画から高解像の静止画作成について述べたが、当然この技術を動き補償に用いることも可能である。
【００７８】
また、画素間距離ｘ，ｙの推定を、基本波成分の比率のみで算出した例を示したが、これに限るものではない。当然、他のＡＣ成分を用いて複合的に距離を判断しても良いし、ＤＣ成分を用いることも可能である。
【００７９】
また、前述した各実施の形態では、全てｍフレームと（ｍ＋１）フレームの連続画像について説明してきたが、連続、非連続は限定しない。当然、ｍフレームと（ｍ＋ｎ）フレーム（但し、ｎ≧１）間の動きベクトルを本発明の技術を用いて合成することも可能である。
さらに、本発明は、複数の機器から構成されるシステムに適用しても１つの機器から成る装置に適用しても良い。
【００８０】
尚、図１、図２、図１１の各機能ブロックによるシステムは、ハード的に構成してもよく、また、ＣＰＵやメモリ等から成るコンピュータシステムに構成してもよい。コンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。この記憶媒体には、図４のフローチャート等について前述した動作を制御するための処理手順を実行するためのプログラムが記憶される。
【００８１】
また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気媒体、磁気カード、不揮発性メモリカード等に構成して用いてよい。
【００８２】
従って、この記憶媒体を図１、図２、図１１に示したシステム以外の他のシステムあるいは装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、前述した各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００８３】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００８４】
【発明の効果】
以上説明したように、フレーム間の対象となるブロック間の直交変換係数を比較することにより、連続フレームの動きベクトル量の分解能を１画素単位よりも細かく設定することができる。１画素よりも細かい分解能で複数フレームを合成することにより、高解像情報の作成が可能になる。
また、実空間上でマッチング処理と組み合わせることにより、処理速度の向上が見込まれ、高速で処理が実行できる。
【００８５】
従来提案されていた、１枚の低解像静止画からの高解像静止画作成の内挿、補間技術に比べて格段に高画質化した画像情報が作成できる。
さらに、ビデオカメラにて撮影した低解像静止画像から１枚の高解像静止画情報が容易に作成できるため、入出力の解像度の異なる機種間通信や、拡大変倍して高画質な画像を出力するビデオカメラ、プリンタ等が提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】図１の動きベクトル演算手段を示すブロック図である。
【図３】動きベクトルを説明する構成図である。
【図４】変換係数評価手段の動作手順を示すフローチャートである。
【図５】動きベクトルを説明する構成図である。
【図６】動きベクトルを説明する構成図である。
【図７】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図８】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図９】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図１０】動きベクトルを説明する構成図である。
【図１１】本発明の第２の実施の形態の動きベクトル演算手段を示すブロック図である。
【図１２】従来例である最接近内挿法を説明する構成図である。
【図１３】従来例である共１次内挿法を説明する構成図である。
【図１４】従来例である３次たたみ込み内挿法を説明する構成図である。
【符号の説明】
１０２ 動きベクトル演算手段
１０３ 配置手段Ａ
１０４ 配置手段Ｂ
１０５ 合成手段
２０１、２０３、２０４、ブロック化手段
２０２、２０５ 直交変換手段
２０６ 変換係数評価手段
２０７ ブロック制御手段
１１０２ 差分評価手段
Claims (10)
- 連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレーム間の直交変換係数同士を比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、
上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手段とを設けた画像処理装置であって、
上記動きベクトル演算手段は、
上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手段と、
上記第１のブロック及び上記第２のブロックを直交変換する直交変換手段と、
上記直交変換手段からそれぞれ得られる直交変換係数に基づいて上記第２のブロックから第１のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第１の評価手段と、
上記第１のブロックの直交変換係数と、上記第１の評価手段によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手段と、
を有することを特徴とする画像処理装置。 - 連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレームを比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、
上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手段とを設けた画像処理装置であって、
上記動きベクトル演算手段は、
上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手段と、
上記ブロック化手段から出力される上記第２のブロックから第１のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第１の評価手段と、
上記第１の評価手段によって選択された上記類似ブロックと、該第１のブロックとを直交変換する直交変換手段と、
上記第１のブロックの直交変換係数と、上記直交変換手段によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手段と、
を有することを特徴とする画像処理装置。 - 上記評価手段は、上記第１、第２のブロックの各直交変換係数の差分に基づいて評価を行うことを特徴とする請求項１又は請求項２記載の画像処理装置。
- 上記合成手段は、上記第１のブロックの画素値を上記メモリ上の上記比率に応じた座標に配置することを特徴とする請求項１又は請求項２記載の画像処理装置。
- 上記ＡＣ基本波成分は、上記隣接ブロックが縦方向の場合には、縦方向のＡＣ基本波成分であることを特徴とする請求項１又は請求項２記載の画像処理装置。
- 上記ＡＣ基本波成分は、上記隣接ブロックが横方向の場合には、横方向のＡＣ基本波成分であることを特徴とする請求項１又は請求項２記載の画像処理装置。
- 連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレーム間の直交変換係数同士を比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、
上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手順とを設けた画像処理方法であって、
上記動きベクトル演算手順は、
上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手順と、
上記第１のブロック及び上記第２のブロックを直交変換する直交変換手順と、
上記直交変換手順からそれぞれ得られる直交変換係数に基づいて上記第２のブロックから第１のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第１の評価手順と、
上記第１のブロックの直交変換係数と、上記第１の評価手順によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手順と、
を有することを特徴とする画像処理方法。 - 連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレームを比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、
上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成手順とを設けた画像処理方法であって、
上記動きベクトル演算手順は、
上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化手順と、
上記ブロック化手順から出力される上記第２のブロックから第１のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第１の評価手順と、
上記第１の評価手順によって選択された上記類似ブロックと、該第１のブロックとを直交変換する直交変換手順と、
上記第１のブロックの直交変換係数と、上記直交変換手順によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価手順と、
を有することを特徴とする画像処理方法。 - 連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレーム間の直交変換係数同士を比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、
上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
上記動きベクトル演算処理は、
上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化処理と、
上記第１のブロック及び上記第２のブロックを直交変換する直交変換処理と、
上記直交変換処理からそれぞれ得られる直交変換係数に基づいて上記第２のブロックから第１のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第１の評価処理と、
上記第１のブロックの直交変換係数と、上記第１の評価処理によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価処理と、
を有することを特徴とする記憶媒体。 - 連続する画像信号におけるｍフレーム目とｍ＋ｎフレーム目との２つのフレームを比較することにより、上記２つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、
上記ｍフレーム目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記２つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
上記動きベクトル演算処理は、
上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロック化して第１のブロックを出力し、上記ｍ＋ｎフレーム目内をＮ×Ｎ画素単位にブロック化して第２のブロックを出力するブロック化処理と、
上記ブロック化処理から出力される上記第２のブロックから第１のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第１の評価処理と、
上記第１の評価処理によって選択された上記類似ブロックと、該第１のブロックとを直交変換する直交変換処理と、
上記第１のブロックの直交変換係数と、上記直交変換処理によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのＡＣ基本波成分をそれぞれ比較し、該ＡＣ基本波成分の変化比率を算出することにより相対位置を特定する第２の評価処理と、
を有することを特徴とする記憶媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31920498A JP4250237B2 (ja) | 1998-11-10 | 1998-11-10 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
| CA002289053A CA2289053C (en) | 1998-11-10 | 1999-11-08 | Image processing method and apparatus |
| US09/434,378 US6804419B1 (en) | 1998-11-10 | 1999-11-08 | Image processing method and apparatus |
| AU58374/99A AU777493B2 (en) | 1998-11-10 | 1999-11-09 | Image processing method and apparatus |
| EP19990308897 EP1001374A3 (en) | 1998-11-10 | 1999-11-09 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31920498A JP4250237B2 (ja) | 1998-11-10 | 1998-11-10 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000152250A JP2000152250A (ja) | 2000-05-30 |
| JP4250237B2 true JP4250237B2 (ja) | 2009-04-08 |
Family
ID=18107580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31920498A Expired - Fee Related JP4250237B2 (ja) | 1998-11-10 | 1998-11-10 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4250237B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4120677B2 (ja) | 2003-04-17 | 2008-07-16 | セイコーエプソン株式会社 | 複数のフレーム画像からの静止画像の生成 |
| CN100440944C (zh) | 2003-11-11 | 2008-12-03 | 精工爱普生株式会社 | 图像处理装置以及图像处理方法 |
| JP4513357B2 (ja) * | 2004-03-02 | 2010-07-28 | セイコーエプソン株式会社 | 画像の出力に用いる出力装置に適した画像データの生成 |
| CN1777287A (zh) * | 2004-11-19 | 2006-05-24 | 株式会社Ntt都科摩 | 图像解码装置、程序、方法、及图像编码装置、程序、方法 |
| US8913833B2 (en) | 2006-05-08 | 2014-12-16 | Fuji Xerox Co., Ltd. | Image processing apparatus, image enlarging apparatus, image coding apparatus, image decoding apparatus, image processing system and medium storing program |
| JP5041141B2 (ja) * | 2006-05-08 | 2012-10-03 | 富士ゼロックス株式会社 | 画像処理装置、画像拡大装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム |
| JP4518043B2 (ja) * | 2006-05-31 | 2010-08-04 | 株式会社日立製作所 | 画像信号処理装置、及び画像信号を高解像度化するための方法、及びそれを実行するためのプログラム |
| JP4826817B2 (ja) * | 2007-07-12 | 2011-11-30 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び印刷装置 |
| JP5305883B2 (ja) * | 2007-12-28 | 2013-10-02 | キヤノン株式会社 | 画像処理装置及び画像処理方法並びに画像処理方法を実行するプログラム |
| JP4725679B2 (ja) * | 2010-04-05 | 2011-07-13 | セイコーエプソン株式会社 | 画像の出力に用いる出力装置に適した画像データの生成 |
-
1998
- 1998-11-10 JP JP31920498A patent/JP4250237B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000152250A (ja) | 2000-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4371457B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| Jiji et al. | Single‐frame image super‐resolution using learned wavelet coefficients | |
| US6804419B1 (en) | Image processing method and apparatus | |
| US7447382B2 (en) | Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation | |
| JP5861949B2 (ja) | オプティカルフローの決定のためのデジタル処理方法およびシステム | |
| US8306121B2 (en) | Method and apparatus for super-resolution of images | |
| JP5555706B2 (ja) | 高解像度映像獲得装置およびその方法 | |
| US6658059B1 (en) | Motion field modeling and estimation using motion transform | |
| EP2661071B1 (en) | Image signal processor and image signal processing method | |
| US20150104116A1 (en) | Method and apparatus for performing super-resolution | |
| US20090079876A1 (en) | Image processing apparatus, method, and program | |
| JP2003018398A (ja) | ピクセル画像から超解像度画像を生成する方法 | |
| US20110037894A1 (en) | Enhanced image and video super-resolution processing | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| JP2008512767A (ja) | 一般的な２次元空間変換の表現システム及び方法 | |
| JP4250237B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
| JP4095204B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| Koo et al. | An image resolution enhancing technique using adaptive sub-pixel interpolation for digital still camera system | |
| JP2002319020A (ja) | 画像処理装置および画像処理方法 | |
| JP2000194845A (ja) | 画像処理装置及びその方法、及び画像処理システム | |
| Jini et al. | Image Inpainting Using Image Interpolation-An Analysis | |
| KR100570630B1 (ko) | 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법 | |
| JP5181345B2 (ja) | 画像処理装置及び画像処理方法 | |
| Shukla et al. | Unsteady camera zoom stabilization using slope estimation over interest warping vectors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |