JP2008091979A - 画像高画質化装置、及びその方法、並びに画像表示装置 - Google Patents
画像高画質化装置、及びその方法、並びに画像表示装置 Download PDFInfo
- Publication number
- JP2008091979A JP2008091979A JP2006267054A JP2006267054A JP2008091979A JP 2008091979 A JP2008091979 A JP 2008091979A JP 2006267054 A JP2006267054 A JP 2006267054A JP 2006267054 A JP2006267054 A JP 2006267054A JP 2008091979 A JP2008091979 A JP 2008091979A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- image
- resolution image
- motion vector
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 22
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
【課題】様々な画像の動きに対応して、低解像度の画像から高画質な高解像度の画像を得るのに好適な技術を提供する。
【解決手段】画像表示装置10は、低解像度の画像を入力する入力部11、12と、入力部で入力された低解像度度画像を用いて、高解像度の画像を生成する解像度変換部15とを備えている。この解像度変換部は、入力された低解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部151と、この取得された動きベクトル情報に基づいて高解像度の画像を生成するために用いられる係数を演算し、該係数を用いて高解像度画像を生成する演算部154とを含んで構成される。
【選択図】図6
【解決手段】画像表示装置10は、低解像度の画像を入力する入力部11、12と、入力部で入力された低解像度度画像を用いて、高解像度の画像を生成する解像度変換部15とを備えている。この解像度変換部は、入力された低解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部151と、この取得された動きベクトル情報に基づいて高解像度の画像を生成するために用いられる係数を演算し、該係数を用いて高解像度画像を生成する演算部154とを含んで構成される。
【選択図】図6
Description
本発明は、画像を高解像度化するための技術に関し、特に複数枚(フレーム)の低解像度の画像から高解像度の画像を得るための技術に関する。
近年のテレビジョン受像機は大画面化が進んでおり、放送、通信、及び/または蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増加させて表示する場合がある。このとき、一般的に知られているSinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは、解像度を上げることはできない。
画像の画素数を増加させるとともに解像度を高くするための技術が、例えば下記非特許文献1及び非特許文献2に記載のものが知られている。下記非特許文献1及び2には、複数の第1解像度画像(低解像度画像、以下、LR(Low Resolution)と略記))を用いて第2解像度画像(高解像度画像、以下、HR(High Resolution)と略記)を生成する際に、入力された複数LRの各画像データを用いて各画像データのサンプリング位相(標本化位置)の差を推定し、このサンプリング位相差に応じてLRをサンプリングすることで、折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元することを開示する。
青木伸:"複数のデジタル画像データによる超解像処理", Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998.
David Capel: "Image Mosaicing and Super resolution", PP.218, Springer, 2004.
上記非特許文献1及び2においては、被写体の動きが例えば回転や拡大・縮小などの動きを伴う場合であっても、局所的な平行移動に近似することによって、上記サンプリング位相差を推定するようにしている。それは、隣接するフレーム間では時間間隔が微小であるため、被写体の回転や拡大・縮小などの動きが微小となり、平行移動に近似可能であるためである。
しかしながら、放送映像などの動きが複雑なコンテンツの場合、画像の動きを平行移動に近似した場合、HRの画質は大きく向上することは困難となる。これについて以下に説明する。
図2は、LR画像上の注目画素と周辺画素の関係が、復元されたHR上でどのように変化するかを説明するものである。
LR103には、復元先となるHR200を一次変換A(例えばアフィン変換)して低解像化した台形の画像領域201が含まれるものとする。一般にカメラなどで映像を撮像する場合、観測できる画素値はカメラ撮像系で起きる光学現象によりボケが生ずる。この時のボケの形は2次元のガウス分布に近似できることが知られており、この形状は点広がり関数(PSF: Point Spread Function)400と呼ばれる。
HRの画素値が低解像化される際には、符号500に示すような円形の範囲にわたって符号400のような重みで周辺の画素値の影響を受けてボケが生ずる。領域201上の画素値300も低解像化される際に、元々のHR201上での周辺画素から円領域501の形状に従って影響を受ける(画素値が畳み込まれる)。
しかしながら、LR103上の高解像画像領域201は一次変換Aによって変形された領域であるため、復元結果となる高解像画像200上では、円領域501は逆変換A-1された領域502のような楕円形状となる。このように、高解像を復元する際に考慮すべき領域範囲は、入力となるLRの各画素がどのように変換を受けているかによって大きく変わる。よって、画像の動きを単に平行移動に近似すると、誤った領域を畳み込むことになるため、高画質な(すなわち高周波成分が良好に復元された)HRを得ることが困難となる。なお、ここでは点広がり関数での平行移動近似による影響について説明したが、画素を補間する場合にSinc関数を用いて周辺領域の画素値を畳み込む場合も、同様の問題が生じる。
従って、LRからより高画質なHRを得ようとする場合には、LRとHRとの間における画素単位の幾何学的関係(一次変換係数)を簡便かつ正確に推定する必要がある。すなわち、画素単位の画像の動きを、単純な平行移動のみならず、平行移動以外の動き(つまり、回転、縮小、拡大などの動き)の情報も考慮して一次変換係数を求めることが好ましい。
本発明は、上記課題に鑑みて為されたものであり、その目的は、様々な画像の動きに対応して、低解像度の画像から高画質な高解像度の画像を得るのに好適な技術を提供することにある。
上記目的を達成するために、本発明は、入力された第1解像度画像(低解像度画像)から画素単位で動きベクトル情報を取得し、この動きベクトル情報に基づいて、第2解像度画像(高解像度画像)を生成するために用いられる係数(例えば一次変換の係数)を演算し、この係数を用いて第2解像度画像を生成することを特徴とするものである。
そして本発明の構成によれば、動きベクトルを用いて例えば一次変換の係数を求めているので、正確な変換写像の推定と領域分離を行うことができ、画素値生成時の畳み込み演算の際に本来関係ない画素が混入することを防ぐことが可能となる。よって、本発明の構成によれば、より高画質な画像生成が可能になる。
本発明によれば、より高画質な高解像度の画像を得ることができる。
以下、本発明の実施形態について、図面を参照しつつ説明する。図1は、高解像画像復元方式の処理手順の概要を示したものである。まず、入力された複数のLR100〜102について、小数画素精度で位置合わせを行う。ここで、小数画素精度とは、例えば時間的に連続する2つのフレーム間である画素が移動する場合、その画素の動きの大きさを小数点以下で求めることを言うものとする。例えば、前フレームの注目画素の座標が(100,200)である場合、後フレームにおいて当該注目画素が(110.5,205.3)に動いたと検出する。
LR100を基準位置としてLR101,102を位置あわせした結果を図1の中央に示す。このように、位置合わせは、回転や拡大・縮小などの動きも考慮する。こうして標本化位置が整数画素位置からずれた1枚の合成画像を生成した後、目的とする解像度で再度サンプリングしなおして高解像画像200を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数(サンプリング点)を補間して増やす方法、あるいは、前述した点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定する。
次に、本実施形態に係る高解像画像処理の一例について説明する。まず、図6を用いて本実施形態に係る高画質化装置の構成の一例について説明する。本実施形態に係る高画質化装置は、図6に示されるように、例えばテレビジョン受像機などの画像表示装置に適用される。当然、DVDプレーヤ、HDDプレーヤ、動画ストリームを受信可能なパーソナルコンピュータ、ビデオカメラ、デジタルカメラ等にも適用可能である。
図6において、画像表示装置10は、チューナ部11を備えており、このチューナにより選局されたチャンネルの例えばデジタルテレビジョン放送を受信し入力する。また画像表示装置10は、インターネット30と接続可能なネットワークI/F12を有しており、要求された動画ストリーム等がインターネット30を介して受信され入力される。ここで、チューナ部11及びネットワークI/F12に入力される画像は、例えばVGA(640×480)相当のLRであり、かつ例えばMPEG等により圧縮符号化されているものとする。
チューナ部11、ネットワークI/F12に入力された画像、およびHDD上の画像は、デコーダ13に供給される。デコーダ13は、入力された符号化画像を復号し、複数のフレーム列から構成されるLRのデータを解像度変換部15に出力する。解像度変換部15は、演算部155を有しており、上述した位置推定処理、広帯域補間処理、畳み込み演算等の加重和処理を行う。複合化されたLRは、メモリ部152に接続される動きベクトル取得部151にも供給され、ここでメモリ部152を用いながら画素単位で小数精度の動きベクトル情報を取得する。例えば、メモリ部152に複数フレームのLRを記憶し、これら複数フレーム相互間の画素毎の差分からLRの画素毎に小数精度の動きベクトル情報を求める。
この動きベクトル取得部151にて取得された動きベクトル情報は、演算部154に入力される。演算部154は、動きベクトル情報を用いて、入力されたLRの各画素がHR上のどこに位置するのかを演算する。そして、LRの画素とHRの画素との関係から一次変換(アフィン変換)の係数を演算する。更に、この一次変換の係数を用いてHRの画素毎に重み係数を演算し、この画素毎に得られた重み係数を畳み込み演算してHRを生成する。
また、この動きベクトル取得部151にて取得された動きベクトル情報は、有効範囲算出部153にも入力され、ここで、演算部154における上記畳み込み演算に使用するHR上の画素の範囲を算出する。この画素の範囲をここでは有効範囲と呼ぶこととする。演算部154では、有効範囲算出部153で算出された有効範囲内のHRの画素について、上記の畳み込み演算を行う。これら演算処理の詳細については後述する。
演算部154で生成されたHRは、画質調整部17及び録画部であるHDD16に供給される。HDD16は、演算部154からのHRを圧縮符号化して記録し、例えばユーザからの支持に応答して、記録されたHRのデータを複合化して再生する。このHDD17から再生されたHRも画質調整部17へ供給される。画質調整部17では、供給された画像データに対し例えば色補正、コントラスト補正、輪郭補正等の画質調整処理を施し、例えばPDPまたはLCDで構成される表示部18に供給する。これにより表示部18では、LRからHRに解像度が変換された高解像度の画像が表示される。
尚、デコーダ13からの復号信号を解像度変換部15で高精細化せずに、LRのまま直接HDD16に記録させるようにしてもよい。そして、HDD16からLRを再生し、複合化して解像度変換部15に供給し、上記のように高精細化して画質調整部17、表示部18に供給するようにしてもよい。このようにすれば、HDD16へ記録される画像はLRであってもHRで表示することが可能となるので、記録されるデータ量の増加を抑えつつ高精細な画像を表示することが可能となる。
また制御回路(CPU)14は、チューナ部11、ネットワークI/F12、デコーダ13、解像度変換部15、HDD16、画質調整部17の各部を、例えばユーザからの指示もしくは入力される画像の情報に応じて制御する。
次に、演算部154の処理の詳細について説明する。まず、動きベクトルを用いた一次変換係数の求め方について、図3を参照しつつ説明する。前提として、入力となる低解像画像100上の全ての画素について、HR上への動きベクトルが小数精度で得られているとする。
まず、任意の注目画素P(310)と復元された高解像画像HR上の写像点Q(320)を、注目画素P(310)に対応する動きベクトル情報から決定する。同様にして、注目画素Pの左に隣接する画素311、下に隣接する画素312、右に隣接する画素313、上に隣接する画素314のそれぞれについて、各隣接画素に対応する動きベクトル情報を用いて、同様にHR上の対応点321、322、323、324を求める。本例では、LRの点311が左上方向に、点312が左下方向に、点313が右下方向に、点314が若干右下方向に移動していることを示している。すなわち、図3の例は、注目点310を中心とする小領域が、時計回りに回転しながら拡大する動きを示している。このように、本実施例では、画素毎に求められた動きベクトルを用いることで、着目する小領域の写像が単なる平行移動のみならず、回転、拡大、縮小等の動きを把握することが可能となる。よって、画像の動きを微小な平行移動に近似する従来技術に比べ、HR上の画像の動きをより正確に得ることができる。
次に、これら5点が同一の写像(一次変換)であるかどうかを判別する。この判定は、「直線」は一次変換されても直線性を保つという性質を利用する。具体的には、注目点Pに対応する点Qと点321、及び点323の3点が同一直線上にあるかどうかを判別する。ここの判別は、これら3点が下記の数1の関係を満足するか否かを調べればよい。同様に点Qと点322、及び点324の3点についても同一直線上にあるかどうかを調べる。
ここで、点Q、点321及び点323が同一直線上に位置し、かつ点Q、点322及び点324が同一直線上に位置すれば、HR上の点321〜324は同一の楕円上に位置するとみなすものとする。そして、HR上の点321〜324は同一の楕円上に位置する場合は、LR上の点310〜314とHR上の点320〜324との間には、一次変換による幾何学的な関係が成立しているものとして扱う。尚、本例では、一次変換としてアフィン変換を用いるものとする(以下の処理は、3×3の行列で穂表現される射影変換であっても同様である)。すなわち、かかる場合においては、LR上の点310〜314とHR上の点320〜324との間に下記数2の一次変換による連立方程式で表される関係が成立しており、この連立方程式を解くことによって、一次変換の係数であるA11、A12、A21、A22、A31、A32を求めることができる。これらの係数のうちシフト係数であるA31、A32を点Pと点Qとの差分からまず求め、その後、残る4つの係数A11、A12、A21、A22について、数2の連立方程式を解いて算出する。
尚、上記数2の左辺は、上から順に、それぞれLR上の点310、311、312、313、314に対応する。また、右辺の係数A11、A12、A21、A22の行列に乗算される項は、上から順に、それぞれHR上の点320、321、322、323、324に対応する。
以上の手順により、画素単位の平行移動情報(シフト係数A31、A32)から、回転、拡大、縮小等の複雑な動きに対応した領域動き(一次変換)を求めることが可能となる。このように、本実施例は、LR上の注目画素とそれに上下左右に隣接する4画素について、各画素の動きベクトルを用いてHR上のどの画素に移動したかを算出し、そのHR上の画素が特定の条件、すなわち数1の条件を満たす場合に、LR上の5点とHR上の5点とが互いに一次変換による幾何学的な関係を有しているとして、数2に示す一次変換の連立方程式を適用する。そして、画素単位の平行移動情報を参照してかかる連立方程式を解くことによって、一次変換の係数を得るようにしているものである。上記数2を用いた一次変換の係数の算出は、LRの全ての画素について行い、該全画素についての一次変換の係数を算出する。
次に、上記一次変換の係数を用いてHRを生成するための重み係数を算出するための処理の詳細について説明する。
ここで、重み係数は、非特許文献2に示されるように正規分布(ガウス分布)に従うものとする。すなわち、LR上の注目画素がHR上のある領域の画素に対して影響を及ぼすものとしたとき、その影響の度合いは、おおよそガウス分布に従っている。つまり、LR上の注目画素に対応するHR上の画素が当該LR上の注目画素の影響を大きく受け、その注目画素に対応する画素から空間的に離れるに従い、その影響の度合いはガウス分布を示す確率密度関数に従い減少する。この影響の度合いを示すものが重み係数(f(x、y))であり、二次元の確率密度関数に従い、下記数3によって求められる。
そして、上記数2から得られた係数A11、A12、A21、A22、A31、A32を用いて、上記数3のx、yを数4のように置き換える。
このように、本実施例は、HRを生成に用いられる重み係数を得るための二次元ガウス分布の形状を、LRの画素毎の動きベクトルを用いて算出されたHR上の画素位置と、その画素位置から得られた一次変換の係数によって変形するものである。そして本実施例によれば、このような構成によって、LRの各画素に対応するHR上での各画素の正確な位置と、その位置に対応した高精度な重み付け関数を得ることができ、より高画質なHRを生成することができる。
尚、上記の説明では、点Qの上下左右ともそれぞれ同一直線上にある場合を想定したが、どちらか一方しか直線上にない、あるいは、上下左右いずれも直線上にない場合の処理については後述のフローチャート部分で説明する。
上記ガウス分布は無限の広がりを持つため、有限の範囲を設定し、これを有効範囲として当該有効範囲内の画素について畳み込み演算する必要がある。この有効範囲の設定について図4及び図5を参照しつつ説明する。
図4は動き(一次変換)推定アルゴリズムのフローチャートを示したものである。まず、一次変換推定を行うLRを選択・入力とする(ステップ1001)。次に、LR上の全画素について動きベクトルを求める(ステップ1002)。次に、LR上の未だ探索していない画素を選び注目画素Pとする(ステップ1003)。注目画素Pと上下左右の隣接画素について、ステップ1002にて算出した画素毎の動きベクトル情報からHR上の写像点Qとそれぞれの対応点を求める(ステップ1004)。
このHR上の5つの点から、図3で説明した方法に従って、注目点Qと残る2対の点がそれぞれ同一直線上にあるかどうかを判定する(ステップ1005)。いずれかが直線上にある場合、P→Qによって得られるシフト係数のみを算出し、残る2次正方行列(すなわちA11、A12、A21、A22)の係数を直線上に乗る2点から算出する。残る2点が同一の一次変換を満たすかどうかは、次のようにして判別できる(ステップ1006)。すなわち、得られた一次変換係数を数2に代入した方程式に、LR上での座標値とHR上での座標値を代入して、方程式が成り立つかどうかを確認する。その結果、いずれも直線上にない場合、一次変換は平行移動のみとしてP→Qによって得られるシフト係数のみを算出する。残る2次正方行列については、これを単位行列とするとともに、注目点Pによる影響範囲、すなわち有効領域をQと写像点との中点までと決定する(ステップ1007)。
最後にLR上の全画素を調べたか判定し、調べ終わっていなければステップ1003に戻る。すべて終了していれば処理を終了する(ステップ1008,1009)。
続いて、図5を参照して、同一の一次変換を有する領域を探索/統合する方法の一例について説明する。高解像画像HR 200上の領域502は、図3、4で説明した手順に従って算出された、注目画素P310の影響領域である。LR上の点313の一画素外側にある点315がHR上で写像される点325が作る領域を503とする。領域502に隣接する領域503が同一の一次変換となるかどうかを判別するには、図3で述べたのと同様に、点Q320、323、325の3点が同一の直線上にのるかどうかを判定することによって決定できる。この処理を繰り返すことで領域を統合拡大できる。
なお、LR上の近傍画素として上下左右に隣接する4つの画素を用いたが、これに、左上、左下、右上、右下の4つの斜め方向に位置する4つの画素を加えた8つの画素を用いてもよい。この場合も、上述したものと同様の手順で処理が可能である。8画素を用いれば、より高精度な変換行列と領域の推定が可能となる。
以上の説明のように、本実施例は、次のような処理を実行するものである。
(1)複数のLRの画像を入力する;
(2)複数のLR画像から画素単位で小数精度の動きベクトル情報を取得する;
(3)低解像画像(LR)の注目画素Pとその上下左右に隣接する画素の小数精度動きベクトルから、同一の一次変換となるかどうかを判別する;
(4)同一の一次変換と判定された画素の組み合わせから一次変換の係数を求める;
(5)同一一次変換を持つHR上の隣接小領域を探索/統合する;
(6) 上記統合処理により得られた有効領域内の画素を用いて、HR画像の生成に使用される重み係数を算出するための畳み込み演算を行う。
(2)複数のLR画像から画素単位で小数精度の動きベクトル情報を取得する;
(3)低解像画像(LR)の注目画素Pとその上下左右に隣接する画素の小数精度動きベクトルから、同一の一次変換となるかどうかを判別する;
(4)同一の一次変換と判定された画素の組み合わせから一次変換の係数を求める;
(5)同一一次変換を持つHR上の隣接小領域を探索/統合する;
(6) 上記統合処理により得られた有効領域内の画素を用いて、HR画像の生成に使用される重み係数を算出するための畳み込み演算を行う。
以上の説明のように、本実施例によれば、高解像映像の生成に必要となる、画素単位の一次変換とその影響範囲の推定を簡便かつ正確に行うことができる。
10…画像表示装置、11…チューナ部、12…ネットワークI/F、13…デコーダ、14…制御回路、15…解像度変換部、16…HDD、17…画質調整部、18…表示部、20…アンテナ、30…ネットワーク、151…動きベクトル取得部、152…メモリ部、153…有効範囲算出部、154…演算部。
Claims (11)
- 画像高画質化装置において、
前記第1解像度の画像を入力する入力部と、
前記入力部で入力された第1解像度画像を用いて、該第1解像度画像よりも解像度が高い第2解像度画像を生成する解像度変換部と、を備え、
前記解像度変換部は、
前記入力された第1解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部と、
前記動きベクトル取得部で取得された動きベクトル情報に基づいて前記第2解像度画像を生成するために用いられる係数を演算し、該係数を用いて前記第2解像度画像を生成する演算部と、
を含むことを特徴とする画像高画質化装置。 - 請求項1に記載の画像高画質化装置において、前記係数は、前記第1解像度画像上の画素が前記第2解像度画像のどこに位置するのかを求めるための一次変換の係数であることを特徴とする画像高画質化装置。
- 請求項2に記載の画像高画質化装置において、前記一次変換は、アフィン変換であることを特徴とする画像高画質化装置。
- 請求項1に記載の画像高画質化装置において、前記動きベクトル取得部で取得される前記動きベクトル情報は、少数精度の動きベクトル情報であることを特徴とする画像高画質化装置。
- 請求項1に記載の画像高画質化装置において、前記演算部は、更に、前記第1解像度画像の注目画素と、該注目画素と上下左右に隣接する4つの画素の動きベクトル情報とにより前記有効範囲を算出することを特徴とする画像高画質化装置。
- 画像高画質化装置において、
前記第1解像度の画像を入力する入力部と、
前記入力部で入力された第1解像度画像を用いて、該第1解像度画像よりも解像度が高い第2解像度画像を生成する解像度変換部と、を備え、
前記解像度変換部は、
前記入力された複数の第1解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部と、
入力された第1解像度画像の注目画素とその上下左右に隣接画素について、対応する小数精度動きベクトルから、同一の一次変換となるかどうかを判別するとともに、前記同一の一次変換と判定された画素位置の組み合わせから一次変換係数を求める演算部と、
前記同一の一次変換を持つ第2解像度画像上の領域に基づき前記一次変換の有効範囲を求める有効範囲算出部と、を含み、
前記演算部は、前記有効範囲算出部で算出された有効範囲内の画素を用いて畳み込み演算の範囲を行うことを特徴とする画像高画質装置。 - 請求項6に記載の画像高画質装置おいて、前記注目画素の上下左右の隣接画素以外に、斜め方向を加えた8画素近傍にて画素ごとの動きを一次変換として推定することを特徴とする画像高画質装置。
- 請求項6記載の画像高画質化装置おいて、前記第1解像度画像上の注目画素とその上下隣接画素あるいはその左右隣接画素が、前記第2解像度画像上につくる対応点において、それら3点が同一直線上に位置するかどうかを判別することにより、同一の一次変換となるかどうかを判別することを特徴とする画像高画質化方式及び装置。
- 請求項2記載の画像高画質化装置において、前期有効範囲算出手段は、前記第1解像度画像上の注目画素とその上下隣接画素あるいはその左右隣接画素の、前記第2解像度画像上の対応点において、追加する領域上の点が同一の直線上に位置するかを判別することにより前記有効範囲を算出することを特徴とする画像高画質化方式及び装置。
- 画像高画質化方法において、
前記第1解像度の画像を入力する入力ステップと、
前記入力部で入力された第1解像度画像を用いて、該第1解像度画像よりも解像度が高い第2解像度画像を生成する解像度変換部ステップと、を備え、
前記解像度変換ステップは、
前記入力された複数の第1解像度の画像から、画素単位で動きベクトル情報を取得するステップと、
前記取得された動きベクトル情報に基づいて前記第2解像度画像を生成するために用いられる係数を演算するステップと、
該演算された係数を用いて畳み込み演算を行って前記第2解像度画像を生成するステップと、
を含むことを特徴とする画像高画質化方法。 - 画像表示装置において、
前記第1解像度の画像を入力する入力部と、
前記入力部で入力された第1解像度画像を用いて、該第1解像度画像よりも解像度が高い第2解像度画像を生成する解像度変換部と、
前記解像度変換部で得られた前記第2解像度画像を表示するための表示部と、を備え、
前記解像度変換部は、
前記入力された第1解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部と、
前記動きベクトル取得部で取得された動きベクトル情報に基づいて前記第2解像度画像を生成するために用いられる係数を演算し、該係数を用いて前記第2解像度画像を生成する演算部と、
を含むことを特徴とする画像高画質化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006267054A JP2008091979A (ja) | 2006-09-29 | 2006-09-29 | 画像高画質化装置、及びその方法、並びに画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006267054A JP2008091979A (ja) | 2006-09-29 | 2006-09-29 | 画像高画質化装置、及びその方法、並びに画像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008091979A true JP2008091979A (ja) | 2008-04-17 |
Family
ID=39375707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006267054A Pending JP2008091979A (ja) | 2006-09-29 | 2006-09-29 | 画像高画質化装置、及びその方法、並びに画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008091979A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010034696A (ja) * | 2008-07-25 | 2010-02-12 | Toshiba Corp | 解像度変換装置、方法およびプログラム |
JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010133718A (ja) * | 2008-12-02 | 2010-06-17 | Seiko Epson Corp | 作業対象物の位置検出方法および位置検出装置 |
JP2012003233A (ja) * | 2010-05-17 | 2012-01-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
JP2012049747A (ja) * | 2010-08-25 | 2012-03-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム |
WO2012090434A1 (ja) * | 2010-12-27 | 2012-07-05 | パナソニック株式会社 | 映像信号処理装置及び映像信号処理方法 |
US8498498B2 (en) | 2008-09-30 | 2013-07-30 | Samsung Electronics Co., Ltd. | Apparatus and method of obtaining high resolution image |
KR101481008B1 (ko) | 2012-12-17 | 2015-01-14 | 한국과학기술원 | 기울기 검사 기반 영상 특징 검출방법 |
JP2015053614A (ja) * | 2013-09-06 | 2015-03-19 | 株式会社東芝 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP6138371B1 (ja) * | 2015-12-17 | 2017-05-31 | 三菱電機株式会社 | 物体検出装置 |
CN112884646A (zh) * | 2014-11-13 | 2021-06-01 | 瑞穗研究及技术株式会社 | 图像处理***、图像处理方法以及介质 |
-
2006
- 2006-09-29 JP JP2006267054A patent/JP2008091979A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010034696A (ja) * | 2008-07-25 | 2010-02-12 | Toshiba Corp | 解像度変換装置、方法およびプログラム |
JP2010073035A (ja) * | 2008-09-19 | 2010-04-02 | Sharp Corp | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US8498498B2 (en) | 2008-09-30 | 2013-07-30 | Samsung Electronics Co., Ltd. | Apparatus and method of obtaining high resolution image |
JP2010133718A (ja) * | 2008-12-02 | 2010-06-17 | Seiko Epson Corp | 作業対象物の位置検出方法および位置検出装置 |
JP2012003233A (ja) * | 2010-05-17 | 2012-01-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
JP2012049747A (ja) * | 2010-08-25 | 2012-03-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム |
JP2012138771A (ja) * | 2010-12-27 | 2012-07-19 | Panasonic Corp | 映像信号処理装置及び映像信号処理方法 |
WO2012090434A1 (ja) * | 2010-12-27 | 2012-07-05 | パナソニック株式会社 | 映像信号処理装置及び映像信号処理方法 |
EP2661071A1 (en) * | 2010-12-27 | 2013-11-06 | Panasonic Corporation | Image signal processor and image signal processing method |
EP2661071A4 (en) * | 2010-12-27 | 2015-01-21 | Panasonic Corp | PICTURE SIGNAL PROCESSOR AND PICTURE SIGNAL PROCESSING METHOD |
US9609181B2 (en) | 2010-12-27 | 2017-03-28 | Panasonic Intellectual Property Management Co., Ltd. | Image signal processor and method for synthesizing super-resolution images from non-linear distorted images |
KR101481008B1 (ko) | 2012-12-17 | 2015-01-14 | 한국과학기술원 | 기울기 검사 기반 영상 특징 검출방법 |
JP2015053614A (ja) * | 2013-09-06 | 2015-03-19 | 株式会社東芝 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN112884646A (zh) * | 2014-11-13 | 2021-06-01 | 瑞穗研究及技术株式会社 | 图像处理***、图像处理方法以及介质 |
JP6138371B1 (ja) * | 2015-12-17 | 2017-05-31 | 三菱電機株式会社 | 物体検出装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008091979A (ja) | 画像高画質化装置、及びその方法、並びに画像表示装置 | |
JP5385969B2 (ja) | 画像の超解像のための方法及び装置 | |
KR101573974B1 (ko) | 비디오의 노이즈 감소를 위한 방법 및 장치 | |
JP5534299B2 (ja) | 動き補償において周期的構造に対処する方法および装置 | |
WO2012132183A1 (ja) | 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体 | |
US20100067818A1 (en) | System and method for high quality image and video upscaling | |
JP2009105533A (ja) | 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法 | |
JP2012513719A (ja) | 画像スケーリング曲線の生成 | |
US20150071567A1 (en) | Image processing device, image processing method and non-transitory computer readable medium | |
JP2013031163A (ja) | 超解像処理装置及び超解像処理方法 | |
TWI459325B (zh) | 數位影像處理裝置及其處理方法 | |
Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
US20100040304A1 (en) | Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP2009100407A (ja) | 画像処理装置及びその方法 | |
JP5289540B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP4930304B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP2005094614A (ja) | 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体 | |
JP2008293388A (ja) | 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP2007527139A (ja) | 動き補償画像信号の補間 | |
JP2011142400A (ja) | 動きベクトル検出装置および方法、映像表示装置、映像記録装置、映像再生装置、プログラムおよび記録媒体 | |
JP2014027405A (ja) | フレーム補間装置及びプログラム | |
JP5085762B2 (ja) | 画像処理装置および画像処理方法 | |
JP4714062B2 (ja) | 高解像度画像を生成する画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111025 |