JP4250237B2 - 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents
画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP4250237B2 JP4250237B2 JP31920498A JP31920498A JP4250237B2 JP 4250237 B2 JP4250237 B2 JP 4250237B2 JP 31920498 A JP31920498 A JP 31920498A JP 31920498 A JP31920498 A JP 31920498A JP 4250237 B2 JP4250237 B2 JP 4250237B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- frame
- orthogonal transform
- motion vector
- transform coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
- Storing Facsimile Image Data (AREA)
Description
【発明の属する技術分野】
本発明は、特に入力した画像情報を拡大変倍して出力するプリンタ等の画像出力装置や、解像度の異なる機種通信で、低解像情報から高解像情報に解像度変換する画像処理装置、方法及びそれらに用いるコンピュータ読み取り可能な記憶媒体に関する。
【0002】
【従来の技術】
従来より、入力した低解像情報を高解像情報に解像度変換する方法として、様々な方法が提案されている。提案されている従来方法は、対象となる画像の種類(例えば、各画素ごとに階調情報の持つ多値画像、擬似中間調により2値化された2値画像、固定閾値により2値化された2値画像、文字画像等)によって、その変換処理方法が異なっている。
【0003】
従来の内挿方法としては、図12に示すような、内挿点Eに最も近い同じ画素値を配列する最近接内挿方法、図13に示すような、内挿点Eを囲む4点(4点の画素値をA、B、C、Dとする)の距離により、以下の演算によって画素値Eを決定する共1次内挿法等が一般的に用いられている。
E=(1−i)(1−j)A+i−(1−j)B+j・
(1−i)C+ijD ………(1)
(但し、画素間距離を1とした場合に、Aから横方向にi、縦方向にjの距離があるとする。(i≦1、j≦1))
【0004】
また、古くからサンプリング定理で表されているように、サンプリングされた離散信号を連続信号に変換する手段として、SINC関数で表現できる理想低域ろ波器を通過することによって再現することができる。SINC関数を演算するのは処理時間がかかることなどから、SINC関数で表現される補間関数を近似して、簡単な積和演算のみで補間値を算出する方法がある。
【0005】
「画像解析ハンドブック:高本幹雄、下田陽久監修 東京大学出版会」によると、3次たたみ込み内挿法(Cubic Convolution interpolantion)において、補間関数の近似が実現できる。内挿したい点の周囲の観測点16点の画像データを用いて、求める画像データを次の式で示される3次たたみ込み関数を用いて内挿する。
【0006】
【数1】
【0007】
【数2】
【0008】
【数3】
【0009】
P11〜P44は周辺画素値を示し、図14に配置を示す。
しかし、上述した3種の従来例では、いずれも補間時に補間によるボケ、及び入力低解像に依存したブロック状のジャギーの発生が生じ、高画質の高解像情報が作成できなかった。
【0010】
そこで、本出願人は、低解像情報から高解像情報の作成において、補間処理による補間ぼけもなく、また、ジャギーが発生することなく解像度変換ができる方法を、特開平7−93531号公報、特開平7−107268号公報、特開平7−105359号公報により提案した。
【0011】
この提案の基本的な考え方は、入力した原情報から解像度依存成分を除去し、除去した状態で、画素数を出力解像度相当まで増加させ、増加させた状態の中で新たな解像度に見合う情報を推測し作成する方法である。入力解像度の依存性を取り除く手段としては、LPFによる平滑化、画素数の増加は線形補間により実現可能である。高解像情報の推測は補間後の情報を単純2値化して、“1”に分類された画素とをそれぞれ異なる処理を行うことにより、出力する画素値を算出する。
【0012】
また、特開平9−252400号公報で提案したように、画素値の連続性が保たれた良好なエッジを作成する方法もある。この公報では、低解像度注目画素の周辺画素よりm点(m≧1)の画素(ただし、m点中の観測点nにおける画素値をP(n)とする)を検出し、注目画素を複数画素分に補間した各補間点kにおける前記補間値C(k)を基に、出力値h(k)を以下の式により演算している。
【0013】
【数4】
【0014】
【発明が解決しようとする課題】
しかしながら、上記従来例では以下に述べるような欠点があった。即ち、いくら高解像情報の作成を行っても、高画質化には限度があるという点である。当然、サンプリング定理より明らかなように、入力解像度のナイキスト限界以上の情報は入力画像には存在しないため、ナイキスト周波数以上の情報作成は全て推測によるものになる。そのため、あまり複雑ではないCG画像、イラスト画像、アニメーション画像の様な平坦な人工的画像をジャギーレスに変換することは容易であるが、自然画像のナイキスト限界以上の情報推測による高画質化は難しい。即ち、いかなる方法を用いたとしても、低解像情報を入力して高解像に変換した画像は、もともと高解像情報を入力した画像と比較すると明らかに画質は低くなる。
【0015】
一方、近年、デジタルビデオカメラ等の普及により、撮影した動画像を連続した1フレーム単位にコンピュータに入力できる手段が増えてきている。ただ、プリンタの出力解像度は年々増加しているが、撮像系の入力解像度は増加傾向にあるとはいっても、プリンタ解像度に比べるとまだまだ低いのが現状である。
【0016】
そこで、従来の技術で述べたような、1枚の低解像静止画から1枚の高解像静止画を作成するのではなく、動画から取り込んだ連続した複数の低解像静止画から、1枚の高解像静止画を作成する技術が新たに提案されている。
複数の静止画から、より広範囲のパノラマ画像を作成するには「動画像のパニングを考慮した背景画像の合成:吉沢、花村、富永、信学春季全大予稿集7−5」(1990)」、及び「分割撮像によるパノラマ画像の生成法:中村、金子、林、信学春季全大予稿集7−165(1991)」等による提案がある。しかし、1枚の静止画よりも撮像範囲を拡大したパノラマ画像の作成の技術ではなく、撮像範囲は同一でかつ複数の静止画の情報を合成して内挿により画像の解像度を向上させる技術の提案は数少ない。
【0017】
このような低解像の動画から高解像の静止画作成の技術は、特開平5−260264号公報に提案がある。この提案は、連続した画像同士を比較して、2種類の差異からアフィン変換、及び平行移動のパラメータを検出して、2種画像を合成するものである。上記公報の第2の実施例には合成を補間に利用する例について述べられている。
【0018】
しかし、この提案では以下の問題点がある。
即ち、上記第2の実施例に記載された方法は、前述した図12から図14に示した補間方法により拡大した連続画像同士を比較することにより、前述したパラメータを算出して補間位置を決定し、合成していくものである。補間演算自体が新たな高解像情報を作成するものではないため、合成する座標の正確な決定も困難である。補間するということは、画素間を内挿するということである。前記方法では、連続画像同士を比較する時に入力解像度の画素間の情報がない。簡単に言い換えると、2種の画像を画像A、画像Bと仮定すると、画像Aの画素間のどの位置に画像Bの画素を内挿するかという決定が、単なる拡大画像間の比較では困難である。
【0019】
これは、動きベクトルのベクトル量の最小単位が画素単位であり、画素間距離よりも細かい分解能がないという点が起因している。即ち、ベクトルの分解能が画素間以下の精度を持たなければ、複数の静止画を用いて補間する効果は薄れ、従来例に記載した1枚の低解像静止画から1枚の高解像静止画への作成と、画質的にほとんど変わりなくなる。
【0020】
本発明は、上記課題を解決するために成されたもので、画素間距離も細かい分解能を持つことにより、複数の低解像静止画から1枚の高解像静止画へ変換できるようにすることを目的とする。
【0021】
【課題を解決するための手段】
上記目的を達成するために、本発明による画像処理装置においては、連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレーム間の直交変換係数同士を比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成手段とを設けた画像処理装置であって、上記動きベクトル演算手段は、上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化手段と、上記第1のブロック及び上記第2のブロックを直交変換する直交変換手段と、上記直交変換手段からそれぞれ得られる直交変換係数に基づいて上記第2のブロックから第1のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第1の評価手段と、上記第1のブロックの直交変換係数と、上記第1の評価手段によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価手段と、を有することを特徴とする。
また、本発明による画像処理装置においては、連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレームを比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成手段とを設けた画像処理装置であって、上記動きベクトル演算手段は、上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化手段と、上記ブロック化手段から出力される上記第2のブロックから第1のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第1の評価手段と、上記第1の評価手段によって選択された上記類似ブロックと、該第1のブロックとを直交変換する直交変換手段と、上記第1のブロックの直交変換係数と、上記直交変換手段によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価手段と、を有することを特徴とする。
【0022】
また、本発明による画像処理方法においては、連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレーム間の直交変換係数同士を比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成手順とを設けた画像処理方法であって、上記動きベクトル演算手順は、上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化手順と、上記第1のブロック及び上記第2のブロックを直交変換する直交変換手順と、上記直交変換手順からそれぞれ得られる直交変換係数に基づいて上記第2のブロックから第1のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第1の評価手順と、上記第1のブロックの直交変換係数と、上記第1の評価手順によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価手順と、を有することを特徴とする。
また、本発明による画像処理方法においては、連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレームを比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成手順とを設けた画像処理方法であって、上記動きベクトル演算手順は、上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化手順と、上記ブロック化手順から出力される上記第2のブロックから第1のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第1の評価手順と、上記第1の評価手順によって選択された上記類似ブロックと、該第1のブロックとを直交変換する直交変換手順と、上記第1のブロックの直交変換係数と、上記直交変換手順によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価手順と、を有することを特徴とする画像処理方法。
【0023】
また、本発明による記憶媒体においては、連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレーム間の直交変換係数同士を比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、上記動きベクトル演算処理は、上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化処理と、上記第1のブロック及び上記第2のブロックを直交変換する直交変換処理と、上記直交変換処理からそれぞれ得られる直交変換係数に基づいて上記第2のブロックから第1のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第1の評価処理と、上記第1のブロックの直交変換係数と、上記第1の評価処理によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価処理と、を有することを特徴とする。
また、本発明による記憶媒体においては、連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレームを比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、上記動きベクトル演算処理は、上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化処理と、上記ブロック化処理から出力される上記第2のブロックから第1のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第1の評価処理と、上記第1の評価処理によって選択された上記類似ブロックと、該第1のブロックとを直交変換する直交変換処理と、上記第1のブロックの直交変換係数と、上記直交変換処理によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価処理と、を有することを特徴とする記憶媒体。
【0024】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。尚、本実施の形態における画像処理装置は、主として、動画像を撮像するアナログビデオカメラやデジタルビデオカメラの内部、もしくはビデオカメラと直接あるいはコンピュータを介して接続されるプリンタやビデオプリンタ等の画像出力装置内部に具備することが効果的であるが、ビデオカメラとプリンタとの接続で中間アダプタとなる画像処理装置、またはホストコンピュータ内のアプリケーションソフト、またプリンタに出力するためのプリンタドライバソフトとして内蔵することも可能である。
【0025】
図1のブロック図に沿って第1の実施の形態の構成及び動作手順を説明する。
図中100はビデオカメラで撮像された動画像が入力される入力端子を示している。本実施の形態では、デジタルビデオカメラで撮像した画像をコンピュータに送信して、コンピュータ内のアプリケーションソフトによりプリンタ相当の解像度まで変換する例について述べる。
【0026】
デジタルビデオで撮影した動画像を記録媒体から再生して、ユーザは自分の欲するシーンで画像の取り込み命令を送る。この取り込み命令に同期して、コンピュータ内の格納手段101に取り込み命令直後の連続した複数フレームの画像情報を格納する。102は動きベクトル演算手段を示し、連続した2種画像の差異を基に、部分的に移動した移動量をベクトルとして計測する手段である。
【0027】
103は配置手段Aを示し、撮像した画像をメモリ内に配置させる手段である。また、104は配置手段Bを示し、動きベクトル演算手段102で算出したベクトル量に応じて同一メモリ内に配置させる手段である。105は合成手段であり、配置した両者の画像を合成させる。106は合成した画像がまだ、所望の解像度までの内挿点の情報が埋まっていない場合に、埋まっていない内挿点の情報を補間演算により算出する補間手段である。107は出力端子を示し、高解像度化した画像情報がプリンタ等に送信される。
【0028】
次に、本発明の特徴である動きベクトル演算手段102について説明する。動きベクトルを算出する方法は古くから様々な方法が提案されているが、従来方法では画素間距離以下のベクトルの分解能がないために、合成、補間を施して低解像の動画を高解像度の静止画に変換する用途には適さない。
【0029】
本実施の形態の動きベクトル演算手段102の詳細ブロックを図2に示す。図1の格納手段101から動きベクトル演算手段102に送信される2種の画像は、1種は、ユーザが取り込み命令をかけた直後の画像(時刻mフレーム)、またもう1種は、時刻mフレーム目から1フレーム後の画像((m+1)フレームとする)とする。
【0030】
図2において、201はmフレーム目の画像をN×N画素単位にブロック化するブロック化手段である。Nの値は様々考えられるが、例としてN=8を想定する。いま、この作成した8×8画素の注目ブロックを仮にブロックAと称する。次に、直交変換手段202において、ブロックAの直交変換を演算する。直交変換の種類は限定しないが、容易に高速で演算できるアダマール変換、及びJPEG(Joint Photografic Expert Group)で採用されているDCT(離散コサイン変換)等が一般的である。
【0031】
いま、DCTを例にすると、N×N画素の二次元DCTの変換係数は、
【0032】
【数5】
【0033】
で求められる。
【0034】
一方、(m+1)フレーム目はブロック化手段203により、M×M′画素単位にブロック化される。この時、M×M′画素単位にブロックは、(m+1)フレーム目内の、ブロックAと同一座標のN×N画素のブロックを包括し、大小関係は、M≧N、かつ、M′≧N(但し、M=M′=Nの場合を除く)になる。いま、M=M′=20と仮定する。すなわち、ブロックAと同一座標を含む20×20のブロックを(m+1)フレーム目内に用意することになる。
【0035】
次にブロック化手段204により20×20画素のブロック内で、mフレーム目と同サイズのN×N画素のブロックを作成する。ブロックの作成は、ブロックAの同一座標からスタートしても良いし、また、M×M′ブロックの端から順に初めても構わない。いま、(m+1)フレーム目内で作成したN×N画素のブロックを仮にブロックBと称する。
【0036】
205は、作成したブロックBをブロックAと同様に直交変換する直交変換手段である。当然、直交変換手段202、205の直交変換は同一の変換手段でなくてはならない。206は、ブロックA、ブロックBの直交変換係数を基に、その変換係数の類似性を評価する変換係数評価手段である。類似性の評価は、ブロックのDC(直流)成分と、AC(交流)成分の主に低周波域の成分とを基に、それぞれの係数の差分に、成分に応じた重み付け係数を乗じた値の和で評価する。
【0037】
いま、説明を容易にするために、ブロックの座標をブロックを形成する左上の画素の座標で管理することにする(以下、この画素の座標をブロックの管理座標と称する)。即ち、図3に示したように、ブロックBの管理座標を(a,b)とすると、ブロックAとブロックBとの類似性の評価関数は、
【0038】
【数6】
【0039】
で算出する。
【0040】
高周波域になるほど、隣接ブロック間の変換係数の相関が低くなるため、高周波域ほど重み付け係数W(u,v)の値を小さく設定する。座標が空間的に近いブロック同士の低周波域の変換係数は非常に相関が高いため、式(7)では、ブロック同士の空間的な位置関係を変換係数の類似性に置き換えて評価している。また、式(7)では絶対値に用いているが、差分の二乗でも同様の評価は可能である。
【0041】
207は、ブロック制御手段を示し、ブロックBの管理座標(a,b)を1画素移動して、新たにブロックを作成し、同様の処理を繰り返す制御を行う。即ち、N=8、M=M′=20を例にすると、8×8画素のブロックは20×20画素のブロック中に13×13個作成できるので、そのブロック数分に対して繰り返し類似性を演算することになる。
【0042】
(m+1)フレーム目内において、全てブロックBの走査を終了すると、前述の評価関数であるR(a,b)が最小になる座標(a′,b′)を判定する。即ち、類似性R(a,b)はブロックAB間の誤差成分と見なせるので、R(a,b)が最小値をとる時のブロックB(この時のブロックをブロックB′と称す。)が空間的にもブロックAと最も近いブロックと見なし、ブロックAの移動した先に判断する。ただ、これだけでは従来例と同様、動きベクトルの分解能は1画素単位であり、画素間距離以下のベクトルが判定できない。
【0043】
そこで本実施の形態では、画素間距離よりも短い分解能で動きベクトルを推測する。以下にベクトルの推測方法を説明する。
前述の方法において、mフレーム目の注目ブロックであるブロックAの管理座標を(a0,b0)とし、また、前述したR(a,b)の最小値をとる(m+1)フレーム目のブロックB′の管理座標を(a′,b′)とする。変換係数評価手段206において、ブロックB′の検索は大まかな画素単位の検索であったが、今度はブロックB′周辺に絞った細かい距離の推測をする。即ち、変換係数評価手段206では、まず、空間的に最も近いと思われるブロックB′の検索、次に、求めたブロックB′からの微小なずれ量の推測という、2段階の構成の異なる評価を実施することになる。
【0044】
図4に2段階目の推測の動作手順を示すフローチャートを示す。
S401では、ブロックB′の1画素左に作成したブロックと1画素右に作成したブロックとの式(7)による評価関数結果をそれぞれ比較する。即ち、ブロックB′の管理座標は(a′,b′)であるため、R(a′+1,b′)とR(a′−1,b′)との大小を評価する。このR(a′+1,b′)、R(a′−1,b′)については、第1段階の類似性評価に際に算出しているので、演算結果を記憶、保持しておくのが好ましい。
【0045】
次に、S401においても、もし、R(a′+1,b′)が小さいと評価されるとS402に、また否と評価されるとS403に移動する。S402では管理座標(a′+1,b′)より構成されるブロックをブロックCと設定し、また、S403では管理座標(a′−1,b′)より構成されるブロックをブロックCと設定する。それと同時に、S402では変数cをc=1と設定し、また、S403ではc=−1と設定する。
【0046】
次にS404において、今度はブロックB′の1画素上に作成したブロックと1画素下に作成したブロックとの式(7)による評価関数結果をそれぞれ比較する。即ち、ブロックB′の管理座標は(a′,b′)であるので、R(a′,b′+1)とR(a′,b′−1)との大小を評価する。この類似性の評価関数に関しても、第1段階の類似性評価に際に算出しているので、演算結果を記憶、保持しておくのが好ましい。
【0047】
S404において、もし、R(a′b′+1)が小さいと評価されるとS405に、また否と評価されるとS406に移動する。S405では、管理座標(a′,b′+1)より構成されるブロックをブロックDと設定し、また、S406では管理座標(a′,b′−1)より構成されるブロックをブロックDと設定する。それと同時に、S405では変数dをd=1と設定し、また、S406ではd=−1と設定する。
【0048】
次にS407では、ブロックAの直交変換係数中の横方向のAC基本波成分であるFA (1,0)と、ブロックB′及びブロックCの直交変換係数中の横方向のAC基本波成分であるFB (1,0)、FC (1,0)の3種の値の大小関係を評価する。即ち、FA (1,0)の値が、FB ′(1,0)の値とFC (1,)の値との間に存在するか否かを判断する。もし、存在していれば、S408へ、否ならS409へ移動する。S408では、変数xが以下の式で算出される。
x={FA (1,0)−FB ′(1,0)}/{FC (1,0)−FB ′(1,0)} ………(8)
また、S409では、変数xはx=0と設定される。
【0049】
同様に、S410では、ブロックAの直交変換係数中の縦方向のAC基本波成分であるFA (1,0)と、ブロックB′及びブロックDの直交変換係数中の横方向のAC基本波成分であるFB (0,1)、FD (0,1)の3種の値の大小関係を評価する。即ち、FA (0,1)の値が、FB ′(0,1)の値とFD (0,1)の値との間に存在するか否かを判断する。もし、存在していれば、S411へ、否ならS412へ移動する。S411では、変数yが以下の式で算出される。
y={FA (0,1)−FB ′(0,1)}/{FD (0,1)−FB ′(0,1)} ………(9)
また、S412では、変数yはy=0と設定される。
【0050】
S413では式(8)、式(9)により算出したx,yを基に、ブロックAから真に移動したと判断されるブロック(ブロックB′′と称す。)への動きベクトルを以下のように設定して終了する。
【0051】
【数7】
【0052】
即ち、ブロックAからブロックB′への動きベクトルは、
【0053】
【数8】
【0054】
となるので、式(10)のc×x、及びd×yの項が画素間距離よりも分解能の高いベクトル成分となっている。
【0055】
以上のフローについて、図5から図10を基にしてさらに詳細を説明する。
図5はブロックAとブロックB′との相対関係を示した図である。ブロックAの管理座標が(a0,b0)、ブロックB′の管理座標が(a′,b′)であることは前述したとおりである。いま、第1段階の類似性評価によりブロックAからブロックB′への大まかなベクトルが算出されている。
【0056】
図6はブロックB′とブロックB′周辺に作成したブロックとの相対関係を示した図である。図6(a)は横方向の周辺ブロックを示し、管理座標が(a′,b′)であるブロックB′を中心に、1画素づつ左右に管理座標をずらした2種のブロックを示している。但し、図6(a)では、各ブロックを若干縦方向にずらしているが、これはブロックの相対関係をわかりやすく表現するためであり、実際には縦方向にはずれていない。図中、斜線で示した画素が各々の管理座標の画素になる。前述したように、これらのいずれかのブロックが、ブロックCと設定される。
【0057】
同様に、図6(b)では、縦方向の周辺ブロックを示し、管理座標が(a′,b′)であるブロックB′を中心に、1画素づつ上下に管理座標をずらした2種のブロックを示している。但し、図6(b)では、各ブロックを若干横方向にずらしているが、これはブロックの相対関係をわかりやすく表現するためであり、実際には横方向にはずれていない。同様に、これらのいずれかのブロックが、ブロックDと設定される。ブロックC、及びブロックDの設定は前述したように、どのブロックがブロックAとの直交変換係数の類似性が高いかという判断によって行う。
【0058】
図7、図8、図9は、それぞれ実際の自然画像中のブロックA、ブロックB′、ブロックCの画素値、及び式(6)で算出したDCT変換係数の様子を示したものである。
図7の701はmフレーム中の注目ブロックであるブロックAの画像データである。今、ブロックサイズを8×8画素とする。702はブロックAのDCT変換係数を示す。この変換係数702を基に、(m+1)フレーム中のブロックB′の検索を行う。
【0059】
図8の801は、検索した結果、最も類似性が高いと評価されたブロックB′の画素値を示す。802は、検索に使用されたブロックB′のDCT変換係数である。702、802から明らかなように、類似性が高いことがわかる。
【0060】
図9の901はブロックB′の管理座標が1画素右方向に移動したブロックCを示す。これは、管理座標が1画素左方向に移動したブロックよりも類似性が高いと評価されて選択されたものである。902はブロックCのDCT変換係数を示している。当然、ブロックC(902)とブロックA(702)との類似性は、ブロックB′(802)とブロックA(702)との類似性よりも低い(誤差が大きい)。
【0061】
ここで、ブロックB′と1画素ずれたブロックCとの画素間空間にブロックAを合成させるために、画素間距離以内での配置位置を決定しなくてはならない。そこで、図4のフローで述べたように、702、802、902のDCT変換係数の横方向AC基本波成分に着目する。いま、702の横方向AC基本波成分は“36.37”、802では、“35.50”、902では“41.46”であるので、これらの相互比較によって位置を推測する。即ち、空間的な距離に比例して基本波成分が線形に推移するものと仮定するわけである。
【0062】
ここで実際の値を式(8)に当てはめて、ブロックB′から横方向の距離を算出すると、
x=(36.37−35.50)/(41.46−35.50)≒0.15
になる。即ち、ブロックB′の管理座標よりもブロックB′′の管理座標は、0.15画素分右方向に位置するものと判断する。
【0063】
ただ、図4でのフローにて述べたように、ブロックB′、ブロックA、ブロックCの横方向基本波成分が単調増加、もしくは単調減少になっていない場合には、横方向に関してはブロックB′の座標と同位置であると判断する。
同様に縦方向に関しても、縦方向基本波成分の変化比率に線形的に配置されるものとしてブロックB′からの縦方向の距離yを演算する。
【0064】
図10にブロックB′の管理座標からのx,yの位置関係の例を示す。x,yともに1画素以内の距離になる。図10ではブロックB′よりも右方向、及び下方向に位置している例である。●印は(m+1)フレームの画素位置を示している。前述したフローによって、x,yの値が算出されると、(a′,b′)の位置から横方向にx、縦方向にyだけ移動した×印の位置がブロックAの合成する管理座標の位置になる。
ブロックAから真の移動位置であるブロックB′′への動きベクトルは式(10)で示した通りになる。
【0065】
以上、画素間距離以内の分解能を有す動きベクトルの推測について述べてきたが、連続したフレーム毎に前述した動きベクトルの推測を繰り返すことにより、合成するフレーム数が増加して、より高解像の静止画像を作成できる。その際、所望の内挿点に合成情報が位置しないときには、補間手段により内挿点の画素値を補間する。この際の補間手段は図12から図14に示した方法で十分である。
【0066】
また、本実施の形態では、ブロックC及びブロックDの設定を類似性評価によって行ったが、これに限るものではなく、ブロックC及びブロックDの設定も単独の変換係数の比較でも良い。
【0067】
図11は本発明の第2の実施の形態を示すブロック図である。これは、図1の動きベクトル演算手段102の内容が図2と異なっているだけであり、全体のブロック構成は図1と同一である。
図11において、図2と同一部分には同一番号を付して説明する。
201は図2と同様、mフレーム目の画像情報をN×N画素単位にブロック化するブロック手段である。203は(m+1)フレーム目の画像情報をM×M′画素単位にブロック化するブロック手段、204はM×M′画素単位のブロック内でN×N画素単位にブロック化するブロック手段である。この時、N、M、M′の関係は全て図2の場合と同一である。
【0068】
図2の場合は、mフレーム目のN×N画素のブロック、及び(m+1)フレーム目のN×N画素のブロックの、各々の直交変換係数の比較によりブロックの類似性を評価していた。しかし、直交変換係数を比較するとなると、各ブロックにおいて直交変換の処理が必要になり、処理時間がかかってしまう。
【0069】
そこで、本実施の形態では、実空間での検索と直交変換係数での比較とを混在して使用することに特徴がある。即ち、ブロックB′を決定するまでは実空間での画素値の演算で評価し、画素間距離内での微小なずれ量の推定を直交変換係数に基づいて実行するものである。
【0070】
図11において、1101は差分評価手段を示し、ブロックBの管理座標を(a,b)とすると、
【0071】
【数9】
【0072】
の演算が行われる。
【0073】
ブロック制御手段1102は、図2のブロック制御手段207と同様、M×M′画素のブロック内を1画素単位で走査し、新たにブロックを作成して差分を評価するという一連の動作を繰り返す。そして、全て走査が終了した時に前述のR(a,b)の値が最小となるブロックBをブロックB′として決定する。
【0074】
この実空間での動きベクトルの検出法は、一般的にテンプレートマッチングと呼ばれているものである。「画像解析ハンドブック:高木幹雄、下田陽久監修 東京大学出版会」には、テンプレートマッチングの中の残差逐次検定法(SSDA法)について紹介されているが、SSDA法のように、誤差の発生が多いブロックでは、ブロック途中で演算を打ち切る方法も、処理速度向上には有効である。
【0075】
ブロックB′の決定が実空間上で終了すると、今度はブロックB′の周囲での微小なずれ量の推定である。202は直交変換手段を示し、ブロックAの直交変換を施す手段である。また、205も同様に直交変換手段を示し、ブロックB′及びブロックB′の管理座標から1画素分左右、上下にずれた各ブロックの直交変換手段を施す手段である。変換係数評価手段1103では、上記の各ブロックの変換係数を基に図4のフローチャートにより画素間距離内での動きベクトルを算出する。
【0076】
前述したように、本実施の形態では、2段階必要な動きベクトルの推定のうち、第1段階を実空間により推測し、第2段階を直交変換係数にて推測することにより高速化が実現できる。
【0077】
以上説明した直交変換を用いた動きベクトルの演算について、本発明では低解像の動画から高解像の静止画作成について述べたが、当然この技術を動き補償に用いることも可能である。
【0078】
また、画素間距離x,yの推定を、基本波成分の比率のみで算出した例を示したが、これに限るものではない。当然、他のAC成分を用いて複合的に距離を判断しても良いし、DC成分を用いることも可能である。
【0079】
また、前述した各実施の形態では、全てmフレームと(m+1)フレームの連続画像について説明してきたが、連続、非連続は限定しない。当然、mフレームと(m+n)フレーム(但し、n≧1)間の動きベクトルを本発明の技術を用いて合成することも可能である。
さらに、本発明は、複数の機器から構成されるシステムに適用しても1つの機器から成る装置に適用しても良い。
【0080】
尚、図1、図2、図11の各機能ブロックによるシステムは、ハード的に構成してもよく、また、CPUやメモリ等から成るコンピュータシステムに構成してもよい。コンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。この記憶媒体には、図4のフローチャート等について前述した動作を制御するための処理手順を実行するためのプログラムが記憶される。
【0081】
また、この記憶媒体としては、ROM、RAM等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをCD−ROM、フロッピィディスク、磁気媒体、磁気カード、不揮発性メモリカード等に構成して用いてよい。
【0082】
従って、この記憶媒体を図1、図2、図11に示したシステム以外の他のシステムあるいは装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、前述した各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【0083】
また、コンピュータ上で稼働しているOS等が処理の一部又は全部を行う場合、あるいは、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるCPU等が処理の一部又は全部を行う場合にも、各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【0084】
【発明の効果】
以上説明したように、フレーム間の対象となるブロック間の直交変換係数を比較することにより、連続フレームの動きベクトル量の分解能を1画素単位よりも細かく設定することができる。1画素よりも細かい分解能で複数フレームを合成することにより、高解像情報の作成が可能になる。
また、実空間上でマッチング処理と組み合わせることにより、処理速度の向上が見込まれ、高速で処理が実行できる。
【0085】
従来提案されていた、1枚の低解像静止画からの高解像静止画作成の内挿、補間技術に比べて格段に高画質化した画像情報が作成できる。
さらに、ビデオカメラにて撮影した低解像静止画像から1枚の高解像静止画情報が容易に作成できるため、入出力の解像度の異なる機種間通信や、拡大変倍して高画質な画像を出力するビデオカメラ、プリンタ等が提供できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示すブロック図である。
【図2】図1の動きベクトル演算手段を示すブロック図である。
【図3】動きベクトルを説明する構成図である。
【図4】変換係数評価手段の動作手順を示すフローチャートである。
【図5】動きベクトルを説明する構成図である。
【図6】動きベクトルを説明する構成図である。
【図7】ブロック化された画素値とDCT変換係数の例を示す構成図である。
【図8】ブロック化された画素値とDCT変換係数の例を示す構成図である。
【図9】ブロック化された画素値とDCT変換係数の例を示す構成図である。
【図10】動きベクトルを説明する構成図である。
【図11】本発明の第2の実施の形態の動きベクトル演算手段を示すブロック図である。
【図12】従来例である最接近内挿法を説明する構成図である。
【図13】従来例である共1次内挿法を説明する構成図である。
【図14】従来例である3次たたみ込み内挿法を説明する構成図である。
【符号の説明】
102 動きベクトル演算手段
103 配置手段A
104 配置手段B
105 合成手段
201、203、204、ブロック化手段
202、205 直交変換手段
206 変換係数評価手段
207 ブロック制御手段
1102 差分評価手段
Claims (10)
- 連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレーム間の直交変換係数同士を比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、
上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成手段とを設けた画像処理装置であって、
上記動きベクトル演算手段は、
上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化手段と、
上記第1のブロック及び上記第2のブロックを直交変換する直交変換手段と、
上記直交変換手段からそれぞれ得られる直交変換係数に基づいて上記第2のブロックから第1のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第1の評価手段と、
上記第1のブロックの直交変換係数と、上記第1の評価手段によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価手段と、
を有することを特徴とする画像処理装置。 - 連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレームを比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算手段と、
上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成手段とを設けた画像処理装置であって、
上記動きベクトル演算手段は、
上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化手段と、
上記ブロック化手段から出力される上記第2のブロックから第1のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第1の評価手段と、
上記第1の評価手段によって選択された上記類似ブロックと、該第1のブロックとを直交変換する直交変換手段と、
上記第1のブロックの直交変換係数と、上記直交変換手段によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価手段と、
を有することを特徴とする画像処理装置。 - 上記評価手段は、上記第1、第2のブロックの各直交変換係数の差分に基づいて評価を行うことを特徴とする請求項1又は請求項2記載の画像処理装置。
- 上記合成手段は、上記第1のブロックの画素値を上記メモリ上の上記比率に応じた座標に配置することを特徴とする請求項1又は請求項2記載の画像処理装置。
- 上記AC基本波成分は、上記隣接ブロックが縦方向の場合には、縦方向のAC基本波成分であることを特徴とする請求項1又は請求項2記載の画像処理装置。
- 上記AC基本波成分は、上記隣接ブロックが横方向の場合には、横方向のAC基本波成分であることを特徴とする請求項1又は請求項2記載の画像処理装置。
- 連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレーム間の直交変換係数同士を比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、
上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成手順とを設けた画像処理方法であって、
上記動きベクトル演算手順は、
上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化手順と、
上記第1のブロック及び上記第2のブロックを直交変換する直交変換手順と、
上記直交変換手順からそれぞれ得られる直交変換係数に基づいて上記第2のブロックから第1のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第1の評価手順と、
上記第1のブロックの直交変換係数と、上記第1の評価手順によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価手順と、
を有することを特徴とする画像処理方法。 - 連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレームを比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算手順と、
上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成手順とを設けた画像処理方法であって、
上記動きベクトル演算手順は、
上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化手順と、
上記ブロック化手順から出力される上記第2のブロックから第1のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第1の評価手順と、
上記第1の評価手順によって選択された上記類似ブロックと、該第1のブロックとを直交変換する直交変換手順と、
上記第1のブロックの直交変換係数と、上記直交変換手順によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価手順と、
を有することを特徴とする画像処理方法。 - 連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレーム間の直交変換係数同士を比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、
上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
上記動きベクトル演算処理は、
上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化処理と、
上記第1のブロック及び上記第2のブロックを直交変換する直交変換処理と、
上記直交変換処理からそれぞれ得られる直交変換係数に基づいて上記第2のブロックから第1のブロックと最も類似性が高いブロックをブロック単位で評価し選択する第1の評価処理と、
上記第1のブロックの直交変換係数と、上記第1の評価処理によって選択されたブロックの直交変換係数と、該選択されたブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価処理と、
を有することを特徴とする記憶媒体。 - 連続する画像信号におけるmフレーム目とm+nフレーム目との2つのフレームを比較することにより、上記2つのフレーム間の動きベクトルを算出する動きベクトル演算処理と、
上記mフレーム目の画像信号をメモリ上に配置すると共に、上記m+nフレーム目の画像信号を上記算出された動きベクトルに応じて上記メモリ上に配置することにより上記2つの画像信号を合成する合成処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
上記動きベクトル演算処理は、
上記mフレーム目内をN×N画素単位(N≧2)にブロック化して第1のブロックを出力し、上記m+nフレーム目内をN×N画素単位にブロック化して第2のブロックを出力するブロック化処理と、
上記ブロック化処理から出力される上記第2のブロックから第1のブロックと最も類似性が高いブロックを類似ブロックとして評価し選択する第1の評価処理と、
上記第1の評価処理によって選択された上記類似ブロックと、該第1のブロックとを直交変換する直交変換処理と、
上記第1のブロックの直交変換係数と、上記直交変換処理によって直交変換された上記類似ブロックの直交変換係数と、該類似ブロックの直交変換係数から水平若しくは垂直方向に一画素ずらした隣接ブロックの直交変換係数とのAC基本波成分をそれぞれ比較し、該AC基本波成分の変化比率を算出することにより相対位置を特定する第2の評価処理と、
を有することを特徴とする記憶媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31920498A JP4250237B2 (ja) | 1998-11-10 | 1998-11-10 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
CA002289053A CA2289053C (en) | 1998-11-10 | 1999-11-08 | Image processing method and apparatus |
US09/434,378 US6804419B1 (en) | 1998-11-10 | 1999-11-08 | Image processing method and apparatus |
AU58374/99A AU777493B2 (en) | 1998-11-10 | 1999-11-09 | Image processing method and apparatus |
EP19990308897 EP1001374A3 (en) | 1998-11-10 | 1999-11-09 | Image processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31920498A JP4250237B2 (ja) | 1998-11-10 | 1998-11-10 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000152250A JP2000152250A (ja) | 2000-05-30 |
JP4250237B2 true JP4250237B2 (ja) | 2009-04-08 |
Family
ID=18107580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31920498A Expired - Fee Related JP4250237B2 (ja) | 1998-11-10 | 1998-11-10 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4250237B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4120677B2 (ja) | 2003-04-17 | 2008-07-16 | セイコーエプソン株式会社 | 複数のフレーム画像からの静止画像の生成 |
CN100440944C (zh) | 2003-11-11 | 2008-12-03 | 精工爱普生株式会社 | 图像处理装置以及图像处理方法 |
JP4513357B2 (ja) * | 2004-03-02 | 2010-07-28 | セイコーエプソン株式会社 | 画像の出力に用いる出力装置に適した画像データの生成 |
CN1777287A (zh) * | 2004-11-19 | 2006-05-24 | 株式会社Ntt都科摩 | 图像解码装置、程序、方法、及图像编码装置、程序、方法 |
US8913833B2 (en) | 2006-05-08 | 2014-12-16 | Fuji Xerox Co., Ltd. | Image processing apparatus, image enlarging apparatus, image coding apparatus, image decoding apparatus, image processing system and medium storing program |
JP5041141B2 (ja) * | 2006-05-08 | 2012-10-03 | 富士ゼロックス株式会社 | 画像処理装置、画像拡大装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム |
JP4518043B2 (ja) * | 2006-05-31 | 2010-08-04 | 株式会社日立製作所 | 画像信号処理装置、及び画像信号を高解像度化するための方法、及びそれを実行するためのプログラム |
JP4826817B2 (ja) * | 2007-07-12 | 2011-11-30 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び印刷装置 |
JP5305883B2 (ja) * | 2007-12-28 | 2013-10-02 | キヤノン株式会社 | 画像処理装置及び画像処理方法並びに画像処理方法を実行するプログラム |
JP4725679B2 (ja) * | 2010-04-05 | 2011-07-13 | セイコーエプソン株式会社 | 画像の出力に用いる出力装置に適した画像データの生成 |
-
1998
- 1998-11-10 JP JP31920498A patent/JP4250237B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000152250A (ja) | 2000-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4371457B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
Jiji et al. | Single‐frame image super‐resolution using learned wavelet coefficients | |
US6804419B1 (en) | Image processing method and apparatus | |
US7447382B2 (en) | Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation | |
JP5861949B2 (ja) | オプティカルフローの決定のためのデジタル処理方法およびシステム | |
US8306121B2 (en) | Method and apparatus for super-resolution of images | |
JP5555706B2 (ja) | 高解像度映像獲得装置およびその方法 | |
US6658059B1 (en) | Motion field modeling and estimation using motion transform | |
EP2661071B1 (en) | Image signal processor and image signal processing method | |
US20150104116A1 (en) | Method and apparatus for performing super-resolution | |
US20090079876A1 (en) | Image processing apparatus, method, and program | |
JP2003018398A (ja) | ピクセル画像から超解像度画像を生成する方法 | |
US20110037894A1 (en) | Enhanced image and video super-resolution processing | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
JP2008512767A (ja) | 一般的な2次元空間変換の表現システム及び方法 | |
JP4250237B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP4095204B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
Koo et al. | An image resolution enhancing technique using adaptive sub-pixel interpolation for digital still camera system | |
JP2002319020A (ja) | 画像処理装置および画像処理方法 | |
JP2000194845A (ja) | 画像処理装置及びその方法、及び画像処理システム | |
Jini et al. | Image Inpainting Using Image Interpolation-An Analysis | |
KR100570630B1 (ko) | 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법 | |
JP5181345B2 (ja) | 画像処理装置及び画像処理方法 | |
Shukla et al. | Unsteady camera zoom stabilization using slope estimation over interest warping vectors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |