JP2012109656A - 画像処理装置及び方法、並びに画像表示装置及び方法 - Google Patents
画像処理装置及び方法、並びに画像表示装置及び方法 Download PDFInfo
- Publication number
- JP2012109656A JP2012109656A JP2010254753A JP2010254753A JP2012109656A JP 2012109656 A JP2012109656 A JP 2012109656A JP 2010254753 A JP2010254753 A JP 2010254753A JP 2010254753 A JP2010254753 A JP 2010254753A JP 2012109656 A JP2012109656 A JP 2012109656A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- motion vector
- frame
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Systems (AREA)
- Picture Signal Circuits (AREA)
Abstract
【課題】入力された映像信号に含まれる動きぼやけ幅を低減し、フレーム補間された動画の画質をさらに向上させる。
【解決手段】映像信号(D2)における動きベクトルを検出する動きベクトル検出部(5)で検出された動きベクトルに基づいて、動きぼやけの方向及び大きさを推定し(32)、推定された動きぼやけの方向及び大きさに対応したフィルタ係数を用いて映像信号(D2)に対するフィルタリングを行い(34)と、フィルタリングの結果(FL1(i,j))に基づいて、利得(GAIN)を求め(39)、求められた利得(GAIN)を、映像信号(D2(i,j))に乗算することで、補正を行い(30)、補正された映像信号(E(i,j))を用いてフレーム補間を行う。
【選択図】図1
【解決手段】映像信号(D2)における動きベクトルを検出する動きベクトル検出部(5)で検出された動きベクトルに基づいて、動きぼやけの方向及び大きさを推定し(32)、推定された動きぼやけの方向及び大きさに対応したフィルタ係数を用いて映像信号(D2)に対するフィルタリングを行い(34)と、フィルタリングの結果(FL1(i,j))に基づいて、利得(GAIN)を求め(39)、求められた利得(GAIN)を、映像信号(D2(i,j))に乗算することで、補正を行い(30)、補正された映像信号(E(i,j))を用いてフレーム補間を行う。
【選択図】図1
Description
本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。
液晶ディスプレイなどのホールド型ディスプレイは、1フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が1フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者(フィルム映像とテレビ信号)のフレーム周波数の違いから、2フレーム又は3フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
同様に、コンピュータ処理された映像がテレビ信号に変換された素材についても、2フレームが同じフレームから作られた画像信号であり、そのまま表示すると、先述と同様に動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
これらの問題の解決のため、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。
これらの問題の解決のため、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。
従来の画像処理装置及び方法として、補間フレームに対して1フレーム前のフレームと同じ画像で補間する零次ホールド法や、補間フレームに対して1フレーム前の画像と1フレーム後の画像の平均画像で補間する平均値補間法などが知られている。しかし、零次ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が2重像になる問題がある。
この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある(例えば、特許文献1参照)。この方法によれば、例えば前フレームから後フレームにかけて移動するオブジェクトが映像中に存在する場合、前フレームと後フレームの間に生成された補間フレームでは、前フレームのオブジェクトの位置と後フレームのオブジェクトの位置のちょうど中間に移動するオブジェクトが補間されるため、滑らかな映像ストリームを表示することが可能となる。しかし、適切にフレーム補間がなされ、例えばフレームレートを2倍とすることができたとしても、動きによるぼやけ(以下、動きぼやけと呼ぶこともある)で劣化した移動オブジェクトが含まれるフレームにおいては、撮像時に生じた動きによるぼやけは依然として低減できておらず、ぼやけた映像ストリームしか表示されない。
一方で、特許文献2では、動きベクトル検出を用いた、ぼやけ関数のデコンボリューションによる手法によって、動きによるぼやけで劣化した移動オブジェクトが含まれるフレームについて、動きによりぼやけた領域を補正する手法が開示されている。
表示装置が受信する映像信号は、カメラの受光部がフレーム蓄積時間(例えば1/60秒)の間に被写体から受ける受光総量を量子化し、規格によって決められた画素順に並べて送られてくるものである。カメラの受光部と被写体が相対的に動く場合、被写体の輪郭部にはフレーム蓄積時間と、カメラと被写体の相対速度によって決まるぼやけが発生する。これに対し、特許文献2の手法は、画像に数学的モデルを当てはめ、数学的モデルに含まれるぼやけ関数の逆関数でフィルタリングする。しかしながら、前述のように、液晶ディスプレイなどのホールド型ディスプレイは、1フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合、物体の移動が1フレーム単位の不連続な移動を行っているために、依然エッジ部分がぼやけて表示される問題がある。
従来のフレーム補間処理は、上記の様に構成されており、適切に補間フレームを生成しても、映像中を移動するオブジェクトの動きによるぼやけが軽減できない問題がある。また、1フレーム内において、動きによってぼやけた移動するオブジェクトを、デコンボリューションによる逆フィルタリングで動きによるぼやけを軽減しても、移動するオブジェクトが1フレーム単位で不連続な移動を行っているために、エッジ部分がぼやけて見えてしまう。
本発明の一つの態様の画像処理装置は、
第1の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号における動きぼやけを軽減する画像補正部と、
前記動きぼやけを軽減した互いに異なる2枚の補正画像間に位置するフレームを補間により生成するフレーム生成部と
を備えることを特徴とする。
本発明の他の態様の画像処理方法は、
第1の映像信号における動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号における動きぼやけを軽減する画像補正ステップと、
前記動きぼやけを軽減した互いに異なる2枚の補正画像間に位置するフレームを補間により生成するフレーム生成ステップと
を備えることを特徴とする。
第1の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号における動きぼやけを軽減する画像補正部と、
前記動きぼやけを軽減した互いに異なる2枚の補正画像間に位置するフレームを補間により生成するフレーム生成部と
を備えることを特徴とする。
本発明の他の態様の画像処理方法は、
第1の映像信号における動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号における動きぼやけを軽減する画像補正ステップと、
前記動きぼやけを軽減した互いに異なる2枚の補正画像間に位置するフレームを補間により生成するフレーム生成ステップと
を備えることを特徴とする。
本発明によれば、
動きベクトルを参照することで現フレームの動きぼやけを補正し、時間的に連続する動きぼやけを補正した2枚のフレームと動きベクトルを参照することで、それらのフレームの間に位置するフレームを補間により生成するので、動画表示時の画質を向上させることが可能となる。
動きベクトルを参照することで現フレームの動きぼやけを補正し、時間的に連続する動きぼやけを補正した2枚のフレームと動きベクトルを参照することで、それらのフレームの間に位置するフレームを補間により生成するので、動画表示時の画質を向上させることが可能となる。
実施の形態1.
図1は、本発明に係る画像処理装置を備えた画像表示装置の構成を示すブロック図である。図示の画像表示装置1は、画像処理装置2と、画像表示部3とを備え、
画像処理装置2は、画像遅延部4と、動きベクトル検出部5と、画像補正部6と、フレーム生成部7を備える。
図1は、本発明に係る画像処理装置を備えた画像表示装置の構成を示すブロック図である。図示の画像表示装置1は、画像処理装置2と、画像表示部3とを備え、
画像処理装置2は、画像遅延部4と、動きベクトル検出部5と、画像補正部6と、フレーム生成部7を備える。
画像処理装置2は、入力された映像信号D0を受けて、動きぼやけ補正とフレーム補間を行うものである。映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2は、複数の画素を順に補正対象画素(注目画素)として動きぼやけ補正処理を行い、動きぼやけ補正処理後の映像信号E1およびE2(補正された画素値を持つ信号の列から成る)に対し、その間に含まれるフレームHFを補間により生成し、映像信号E1、E2及びHFを含む、補間された映像信号(画像信号列)HVを出力する。
画像処理装置2に入力された映像信号D0は、画像遅延部4に供給される。画像遅延部4はフレームメモリを用いて、入力された映像信号D0のフレーム遅延を行い、2枚の互いに異なるフレームの映像信号D2、D1を動きベクトル検出部5に出力する。
動きベクトル検出部5は、画像遅延部4から出力された2枚の異なるフレームの映像信号D2、D1を用い、映像信号D2に含まれる動きベクトルVを検出し、動きベクトルVを画像補正部6に出力する。
また、動きベクトルVを1フレーム期間遅延させ、フレーム生成部7へ動きベクトルVdとして出力する。
また、動きベクトルVを1フレーム期間遅延させ、フレーム生成部7へ動きベクトルVdとして出力する。
画像補正部6は、動きベクトル検出部5から出力された動きベクトルVを入力とし、画像遅延部4から出力された映像信号D2において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを補正し、補正された映像信号Eを画像遅延部4に出力し、画像遅延部4は、補正された映像信号Eのフレーム遅延を行い、2枚の互いに異なるフレームの映像信号E1及びE2を出力する。
フレーム生成部7は、画像遅延部4から出力された2枚の異なるフレームの映像信号E1、E2と、動きベクトル検出部5から入力する動きベクトルVdを用い、映像信号E1とE2の間にフレームを補間し、補間フレームの映像信号HFを含む補間された映像信号HVとして画像表示部3へ出力する。補間された映像信号HVにおいては、フレーム生成部7からは、映像信号E1、補間フレーム映像信号HF、映像信号E2の順に出力される。
画像表示部3は動きぼやけが補正され、さらにフレーム補間された映像信号HVに基づく画像の表示を行なう。ここで、ユーザが調整パラメータPRを入力することにより、動きぼやけ補正の度合いの調整や、補正画質の調整を可能とする。
以下の説明では、画像サイズを垂直方向M画素、水平方向N画素とする。このとき、変数iとjをそれぞれ1≦i≦M、1≦j≦Nと定義して、画素の位置を示す座標を(i,j)で示し、当該座標で表される位置の画素をP(i,j)で表す。即ち、変数iは垂直方向位置、変数jは水平方向位置を表す。画像の左上隅の画素の位置においては、i=1、j=1であり、下方に1画素ピッチ進むごとにiが1ずつ増加し、右方に1画素ピッチ進むごとにjが1ずつ増加する。
図2は、画像遅延部4の構成例を示す。図示の画像遅延部4は、フレームメモリ11と、フレームメモリ制御部12とを備えている。フレームメモリ11は入力された映像信号D0を少なくとも2フレーム分記憶するとともに、補正された映像信号Eを2フレーム分記憶することが可能な容量を有している。なお、映像信号D0、Eの各々に対して、2フレーム分記憶可能とせず、1フレーム分のみ記憶可能な構成とすることもできる。
フレームメモリ制御部12は、入力された映像信号D0に含まれる同期信号を元に生成したメモリアドレスに従い、入力映像信号の書込みと、蓄積された映像信号D0の読み出しとを行い、連続する2フレームの映像信号D1、D2を生成する。
映像信号D1は、入力映像信号D0に対して遅延が無いものであり、現フレーム映像信号とも呼ばれる。
映像信号D2は、映像信号D1に対して1フレーム遅延することにより得られた、時間的に1フレーム期間前の信号であり、1フレーム遅延映像信号とも呼ばれる。
映像信号D1は、入力映像信号D0に対して遅延が無いものであり、現フレーム映像信号とも呼ばれる。
映像信号D2は、映像信号D1に対して1フレーム遅延することにより得られた、時間的に1フレーム期間前の信号であり、1フレーム遅延映像信号とも呼ばれる。
また、以下に説明するように、映像信号D2を対象として処理を行うので、映像信号D2を注目フレーム映像信号と呼び、映像信号D1を後フレーム映像信号と呼ぶこともある。映像信号D1、D2は、上記のように、画像を構成する複数の画素の信号の列から成り、座標(i,j)の位置にある画素P(i,j)の画素値はD1(i,j)、D2(i,j)と表される。
フレームメモリ制御部12はまた、補正された映像信号Eの書込みと、蓄積された映像信号Eの読み出しとを行い、映像信号Eと同じ自フレーム期間に映像信号E1を出力し、
1フレーム期間後に、映像信号E2を出力する。
1フレーム期間後に、映像信号E2を出力する。
図3は動きベクトル検出部5の構成例を示す。図示の動きベクトル検出部5は、注目フレームブロック切り出し部21と、後フレームブロック切り出し部22と、動きベクトル決定部23と、メモリ24と、メモリ制御部25を備える。
注目フレームブロック切り出し部21は、画像遅延部4から出力される注目フレーム映像信号D2から、図4(a)に示されるように、注目画素P(i,j)の周辺領域、例えば注目画素を中心とし、高さ(垂直方向サイズ)が(2*BM+1)、幅(水平方向サイズ)が(2*BN+1)の矩形領域(ブロック)D2B(i,j)を切り出し、当該矩形領域D2Bが、後フレーム映像信号D1のどの領域に動いたかを推定し、推定された領域D1Bの、矩形領域D2B(i,j)に対する相対位置を、注目画素P(i、j)についての動きベクトルV(他の画素についての動きベクトルとの区別のため「V(i,j)と表すこともある)として出力する。
注目フレームブロック切り出し部21は、画像遅延部4から出力される注目フレーム映像信号D2から、図4(a)に示されるように、注目画素P(i,j)の周辺領域、例えば注目画素を中心とし、高さ(垂直方向サイズ)が(2*BM+1)、幅(水平方向サイズ)が(2*BN+1)の矩形領域(ブロック)D2B(i,j)を切り出し、当該矩形領域D2Bが、後フレーム映像信号D1のどの領域に動いたかを推定し、推定された領域D1Bの、矩形領域D2B(i,j)に対する相対位置を、注目画素P(i、j)についての動きベクトルV(他の画素についての動きベクトルとの区別のため「V(i,j)と表すこともある)として出力する。
後フレームブロック切り出し部22は、画像遅延部4より入力される映像信号D1に対し、前記注目画素P(i、j)毎に定義される座標の集合
S(i,j)={(i+k,j+l)} (1)
(ただし、−SV≦k≦SV、−SH≦l≦SH
また、SV、SHは所定の値である。)
に含まれる位置(i+k,j+l)を中心として、矩形領域D2Bと同じサイズの矩形領域D1B(i+k,j+l)を切り出す(図4(b))。ここで、S(i,j)は、注目画素P(i、j)についての動きベクトルの探索範囲とも呼ばれる。このように定義される探索範囲は、横方向が2SH+1、縦方向が2SV+1の矩形の領域である。
S(i,j)={(i+k,j+l)} (1)
(ただし、−SV≦k≦SV、−SH≦l≦SH
また、SV、SHは所定の値である。)
に含まれる位置(i+k,j+l)を中心として、矩形領域D2Bと同じサイズの矩形領域D1B(i+k,j+l)を切り出す(図4(b))。ここで、S(i,j)は、注目画素P(i、j)についての動きベクトルの探索範囲とも呼ばれる。このように定義される探索範囲は、横方向が2SH+1、縦方向が2SV+1の矩形の領域である。
動きベクトル決定部23は、注目フレームブロック切り出し部21から入力される矩形領域D2B(i,j)と、後フレームブロック切り出し部22から入力されるブロックD1B(i+k,j+l)との間で、それぞれのブロック内のすべての画素、即ち(2*BM+1)*(2*BN+1)個の、互いに対応する位置の画素同士の差分の絶対値の総和(差分絶対値和)SAD(i+k,j+l)を求める。該差分絶対値和SAD(i+k,j+l)は下記の式(2)で表される。
後述のように、(2*SV+1)*(2*SH+1)個の矩形領域D1B(i+k,j+l)に対応して(2*SV+1)*(2*SH+1)個の差分絶対値和SAD(i+k,j+l)が得られ、その中で値が最小となるものを生じさせた矩形領域D1B(i+km,j+lm)を特定し、該矩形領域の、矩形領域D2Bに対する相対位置(km,lm)を動きベクトルV=(Vy,Vx)=(km,lm)として、画像補正部6へ出力する。
また、連続した2枚のフレームから、それらの間にフレームを補間するため、動きベクトルVをメモリ24に蓄えて遅延させ、メモリ制御部25により動きベクトルVdとしてフレーム生成部7へ出力する。
また、連続した2枚のフレームから、それらの間にフレームを補間するため、動きベクトルVをメモリ24に蓄えて遅延させ、メモリ制御部25により動きベクトルVdとしてフレーム生成部7へ出力する。
上記のような動きベクトル検出を、画像遅延部4から出力される映像信号D2の全画素に対して行い、各画素について動きベクトルを検出し、このようにして得られた動きベクトルを動きぼやけの軽減と2枚の連続したフレーム間に位置するフレームの補間に利用する。
なお、動きベクトル検出部5における動きベクトル検出に当たり、画像の上端、下端、左端、右端の外側の画素が、上記の矩形領域D2B、D1Bの一部となり、それらの画素値が必要とされる場合は、例えば、上端、下端、左端、右端の外側の画素が、それぞれ上端、下端、左端、右端の画素と同じ値を持つものとして処理をすれば良い。後述のフィルタリング部34、平均値算出部37などにおける演算においても同様である。
また、動きベクトル検出部5の動きベクトル検出方法は、上記方法に限定されるものでは無く、注目フレームの映像信号、及び注目フレームよりも時間的に後のフレームの映像信号のほかに、注目フレームよりも時間的に前のフレームの映像信号をも用いる方法や、注目フレームよりも時間的に後のフレームの映像信号を用いずに、注目フレーム映像信号と、注目フレームよりも時間的に前のフレームの映像信号を用いる方法を採用しても良く、さらに、注目フレームの映像信号と注目フレームよりも時間的に後のフレームの映像信号とを用い、位相相関関数を用いて求める方法を採用しても良い。また、注目フレームとその前後のフレームとの時間間隔は1フレーム期間に限らず、2以上のフレーム期間であっても良い。
図5は、画像補正部6の構成例を示す。図示の画像補正部6は、補正処理部30と、操作信号処理部31と、動きぼやけ推定部32と、フィルタ係数保存部33と、フィルタリング部34と、平均値算出部37と、補正強度調整部38と、利得計算部39とを備える。
補正処理部30は、映像信号D2を受け、後述の利得GAINにより、画素毎に補正処理を行い、補正後の映像信号Eを画像遅延部4へ出力する。
操作信号処理部31は、ユーザより図示しないインターフェースを用いて入力された信号PRを解析し、解析結果として得られたパラメータを出力する。
操作信号処理部31から出力されるパラメータには、調整パラメータADJ、補正強度パラメータBST0、閾値TH1、TH2、TH3が含まれる。
操作信号処理部31から出力されるパラメータには、調整パラメータADJ、補正強度パラメータBST0、閾値TH1、TH2、TH3が含まれる。
調整パラメータADJは、動きベクトルから動きぼやけ量を算出するためのものであり、動きぼやけ推定部32へ供給される。
閾値TH1は、フィルタリング部34の特性を調整するためのものであり、フィルタリング部34へ供給される。
補正強度パラメータBST0は、補正強度を決定するものであり、閾値TH2は、画像の特徴の判別に用いられるものであり、これらは補正強度調整部38へ供給される。
閾値TH1は、フィルタリング部34の特性を調整するためのものであり、フィルタリング部34へ供給される。
補正強度パラメータBST0は、補正強度を決定するものであり、閾値TH2は、画像の特徴の判別に用いられるものであり、これらは補正強度調整部38へ供給される。
動きぼやけ推定部32は、動きベクトル検出部5で検出した動きベクトルV(垂直方向成分Vy(=km),水平方向成分Vx(=lm))を入力とし、該動きベクトルを極座標で表したときの成分(大きさ及び角度)を算出する。具体的には、動きベクトルの向きが水平方向右向きとなる場合を0度として、動きベクトルの方向A(度)と大きさLM(画素)を次式にて算出する。
動きぼやけ推定部32ではさらに、動きベクトルに対応する角度及び動きぼやけの大きさ(動きの方向のぼやけ幅)を求める。例えば、動きぼやけの角度は、動きベクトルの角度Aと同じとし、一方、動きぼやけの大きさLBは、動きベクトルの大きさLMに調整パラメータADJ(0<ADJ≦1)を乗算した値に等しいとし、下記の式(5)により、動きぼやけの大きさLBを求める。
LB=LM*ADJ (5)
LB=LM*ADJ (5)
調整パラメータADJは、図6に示すように、フレーム期間の長さTfに対する、撮像期間の長さTs、例えば電荷蓄積時間の比(Ts/Tf)に相当する値を持つものであり、各フレームにおける実際の撮像期間の長さTsに応じて変更しても良いが、本発明が対象としている条件下での撮像期間の典型的な値、平均値、あるいは中間値に基づいて定めても良い。例えば中間値を用いる場合、撮像期間がフレーム期間のEXS倍からEXL倍(EXS、EXLともに1より小さい)の範囲内であれば、その中間値(EXS+EXL)/2をADJと定めることとする。
このように調整パラメータADJを掛けるのは、動きベクトルVはフレーム間で検出され、従って、フレーム期間当たりの動きの量を反映したものであるのに対して、動きぼやけは、撮像期間中の被写体の動きに起因するものであるためである。
このように調整パラメータADJを掛けるのは、動きベクトルVはフレーム間で検出され、従って、フレーム期間当たりの動きの量を反映したものであるのに対して、動きぼやけは、撮像期間中の被写体の動きに起因するものであるためである。
フィルタ係数保存部33は、予め複数の動きぼやけの方向及び大きさの組合せに対応付けて複数のローパスフィルタ係数(2次元FIRフィルタ係数)をテーブル形式で記憶している。このフィルタ係数は、特定の方向及び大きさの動きぼやけを含む映像信号から、動きぼやけの成分を低減するためのものである。
動きぼやけ推定部32は、上記のようにして算出した動きぼやけの方向A及び大きさLBの組合せに対応したフィルタ係数をテーブルから読み出すため、動きぼやけの方向A及び大きさLBからテーブルへのポインタINDを算出して、フィルタ係数保存部33へ入力する。
フィルタ係数保存部33は、入力されたポインタINDに対応して記憶されているフィルタ係数CF(p,q)を読み出し、フィルタリング部34へ出力する。
動きぼやけ推定部32は、上記のようにして算出した動きぼやけの方向A及び大きさLBの組合せに対応したフィルタ係数をテーブルから読み出すため、動きぼやけの方向A及び大きさLBからテーブルへのポインタINDを算出して、フィルタ係数保存部33へ入力する。
フィルタ係数保存部33は、入力されたポインタINDに対応して記憶されているフィルタ係数CF(p,q)を読み出し、フィルタリング部34へ出力する。
フィルタリング部34は、フィルタ係数保存部33から読み出されるフィルタ係数CF(p,q)(但し、−P≦p≦P、−Q≦q≦Q)を用いて、映像信号D2の各注目画素D2(i,j)の周辺領域内の画素の画素値を用いて、フィルタリングを行い、フィルタリングの結果FL1(i,j)を出力するものであり、非線形処理部35と、ローパスフィルタ36とを有する。
非線形処理部35は、注目画素の画素値D2(i,j)と、その周辺領域内の画素の画素値D2(i−p,j−q)との差分と、操作信号処理部31より入力される閾値TH1とに基づいて下記の式(6a)〜(6f)で示される非線形処理を行う。
(A) D2(i−p,j−q)−D2(i,j)>TH1のとき
D2b(i−p,j−q)−D2(i,j)=TH1 (6a)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)+TH1 (6b)
により、
(B) D2(i,j)−D2(i−p,j−q)<−TH1のとき
D2b(i−p,j−q)−D2(i,j)=−TH1 (6c)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)−TH1 (6d)
により、
(C) 上記(A)、(B)以外のとき
D2b(i−p,j−q)−D2(i,j)
=D2(i−p,j−q)−D2(i,j) (6e)
となるように、即ち、
D2b(i−p,j−q)=D2(i−p,j−q) (6f)
により、それぞれD2b(i−p,j−q)を定める。
D2b(i−p,j−q)−D2(i,j)=TH1 (6a)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)+TH1 (6b)
により、
(B) D2(i,j)−D2(i−p,j−q)<−TH1のとき
D2b(i−p,j−q)−D2(i,j)=−TH1 (6c)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)−TH1 (6d)
により、
(C) 上記(A)、(B)以外のとき
D2b(i−p,j−q)−D2(i,j)
=D2(i−p,j−q)−D2(i,j) (6e)
となるように、即ち、
D2b(i−p,j−q)=D2(i−p,j−q) (6f)
により、それぞれD2b(i−p,j−q)を定める。
ローパスフィルタ36は、各注目画素D2(i,j)の周辺領域、即ち、(2P+1)*(2Q+1)個の画素から成る範囲で、上記の非線形処理の結果として得られる値D2b(i−p,j−p)に対して、対応するフィルタ係数CF(p,q)を乗算し、乗算結果の総和をフィルタリング結果FL1(i,j)として求める。
ローパスフィルタ36で用いられるフィルタ係数CF(p,q)について以下に説明する。
フィルタ係数は注目画素を中心として、−P≦p≦P、−Q≦q≦Qの領域内の画素について定義される。
先にも述べたように、フィルタ係数CF(p,q)は、動きぼやけの角度A及び大きさLBに基づいて決められる。
図7〜図9は、フィルタ係数が定義される領域のうち、動きぼやけの幾つかの例に対して、フィルタ係数が0以外の値に定義される領域を示す。以下では、このフィルタ係数が0以外の値となる領域を有効フィルタリング領域EFAと言う。有効フィルタリング領域EFA内の画素位置におけるフィルタ係数の総和は1である。
フィルタ係数は注目画素を中心として、−P≦p≦P、−Q≦q≦Qの領域内の画素について定義される。
先にも述べたように、フィルタ係数CF(p,q)は、動きぼやけの角度A及び大きさLBに基づいて決められる。
図7〜図9は、フィルタ係数が定義される領域のうち、動きぼやけの幾つかの例に対して、フィルタ係数が0以外の値に定義される領域を示す。以下では、このフィルタ係数が0以外の値となる領域を有効フィルタリング領域EFAと言う。有効フィルタリング領域EFA内の画素位置におけるフィルタ係数の総和は1である。
動きぼやけの大きさLB及びその角度Aに応じた帯状の領域が、有効フィルタリング領域EFAとされる。そして、有効フィルタリング領域EFAに完全に又は部分的に含まれる画素に対して、その有効フィルタリング領域EFAに含まれる割合に応じた重み付け係数を与える。例えば、有効フィルタリング領域EFAに部分的に含まれる画素に対しては、有効フィルタリング領域EFAに完全に(その全体が)含まれる画素よりも重み付け係数の値を小さくし、各画素についての重み付け係数の値は、該画素が有効フィルタリング領域EFAに含まれる割合に比例した値とする。
この帯状の領域は、動きぼやけの方向に延在するものであり、その長さは、動きぼやけの大きさLBの所定数倍、例えば2倍であり、動きぼやけの始端及び終端からその前後に所定量、例えば、動きぼやけの大きさLBの0.5倍ずつ延長した長さを有する。帯状の領域の幅は、1画素のサイズに相当するものとする。図7〜図9に示す例は、1画素のサイズが水平方向と垂直方向とで同じであるものとして示してある。図7〜図9ではまた、動きぼやけの始点が座標(i,j)で示される位置にあるものとしている。
図7に示される例では、動きぼやけが水平方向右向きでその大きさLBが4画素分である。この場合、動ききぼやけは、動きぼやけの始点の画素Ps(座標(i,j)の画素)の中心から終点の画素Pe(座標(i、j+4)の中心まで延びていると見て、その前後に2画素(0.5×4画素)の長さを加える。即ち、始点の画素Psの中心から後方(図7で左方)へ2画素分後退した(図で左方に移動した)位置、即ち、座標(i,j−2)の画素の中心から、終点の画素Peの中心から前方(図7で右方)へ2画素分前進した位置(図で右方に移動した)位置、即ち、座標(i,j+6)の画素の中心までの範囲を有効範囲とする。これらの画素に対して、その有効フィルタリング領域EFAに含まれる割合に応じた重み付け係数を与える。即ち、座標(i,j−1)の画素から、座標(i,j+5)までの画素に対しては同じ値の係数を与え、座標(i,j−2)の画素、座標(i,j+6)の画素は、各々半分のみが有効フィルタリング領域EFAに含まれるので、他の画素(座標(i,j−1)から座標(i,j+5)までの画素)の係数の1/2の値を与える。
図7の例では、有効フィルタリング領域EFA内に半分のみ含まれる画素の数が2であり、有効フィルタリング領域EFAに完全に含まれる画素の数が6であるので、有効フィルタリング領域EFAに完全に含まれる画素に対しては1/7の重み付け係数が与えられ、有効フィルタリング領域EFAに半分だけ含まれる画素に対しては1/14の重み付け係数が与えられる。
図8に示される例では、動きぼやけが水平方向右向きでその大きさLBが3画素分である。この場合、動ききぼやけは、動きぼやけの始点の画素Ps(座標(i,j)の画素)の中心から終点の画素Pe(座標(i、j+3)の中心まで延びていると見て、その前後に1.5画素(0.5×3画素)の長さを加える。即ち、始点の画素Psの中心から後方(図8で左方)へ1.5画素分後退した位置、即ち、座標(i,j−1)の画素の左端から、終点の画素Peの中心から前方(図8で右方)へ1.5画素分前進した位置、即ち、座標(i,j+4)の画素の右端までの範囲を有効範囲とする。そして、図8の例では、有効フィルタリング領域EFAに部分的に含まれる画素は存在せず、有効フィルタリング領域EFAに完全に含まれる画素の数が6であるので、これらの画素の各々についての係数を1/6と定める。
図9に示される例では、動きぼやけの大きさLBは3画素分であり、図8の場合と同じであり、有効フィルタリング領域EFAの長さ及び幅は、図8の場合と同じであるが、動きぼやけの角度が30度であり、その結果、部分的にのみ有効フィルタリング領域EFAに含まれる画素の数が多く存在する。具体的には、座標(i−3,j+4)、座標(i−2,j+2)、座標(i−2,j+3)、座標(i−2,j+4)、座標(i−1,j)、座標(i−1,j+1)、座標(i−1,j+2)、座標(i−1,j+3)、座標(i,j−1)、座標(i,j)、座標(i,j+1)、座標(i,j+2)座標(i+,j−1)、座標(i+,j)の画素がそれぞれ部分的に有効フィルタリング領域EFAに含まれている。そこで、これらの14個の画素に対して有効フィルタリング領域EFAに含まれる割合に応じて重み付け係数を与える。
動きぼやけの大きさLB、角度Aの他の値についても同様に各画素についての重み付け係数を求める。但し、動きぼやけの大きさLB、角度Aが取り得る値のすべてについて重み付け係数を求めるのではなく、大きさLB、角度Aの各々について、互いに所定の範囲ごとの代表値LR、ARに対して重み付け係数を求め、フィルタ係数としてフィルタ係数保存部33に保存しておき、それぞれの範囲内の大きさLB、角度Aに対しては、代表値LR、ARに対して求められ、保存されているフィルタ係数を用いる。代表値LR、AR(またはこれに対応する値)は、後述のポインタINDの生成に用いられる。これらの点については後にさらに詳しく説明する。
なお、上記の例では、有効フィルタリング領域EFAが、動きぼやけを、その始端及び終端から前後に動きぼやけの大きさLBの0.5倍ずつ延長した長さを有することとしているが、該延長量を動きぼやけの大きさLBに関係しない所定値としてもよく、例えば、該延長量を0.5画素分としても良い。また、該延長量をゼロとしても良い。
また、有効フィルタリング領域EFAに含まれる画素について、有効フィルタリング領域EFAに含まれる割合に応じた重み付けを行う一方、注目画素からの距離に応じた重み付けを行わない構成を持つ移動平均フィルタを用いているが、注目画素からの距離に応じた重み付けを行う構成であっても良い。そのようなフィルタの例としてガウスフィルタがある。
先にも述べた通り、ローパスフィルタ36は、各注目画素D2(i,j)の周辺領域の画素についての非線形処理の結果として得られる値D2b(i−p,j−p)に対して、フィルタリング係数保存部33から読み出された、対応するフィルタ係数CF(p,q)を乗算し、乗算結果の総和をフィルタリング結果FL1(i,j)として求める。このフィルタリングは下記の式で表される。
また、有効フィルタリング領域EFAに含まれる画素について、有効フィルタリング領域EFAに含まれる割合に応じた重み付けを行う一方、注目画素からの距離に応じた重み付けを行わない構成を持つ移動平均フィルタを用いているが、注目画素からの距離に応じた重み付けを行う構成であっても良い。そのようなフィルタの例としてガウスフィルタがある。
先にも述べた通り、ローパスフィルタ36は、各注目画素D2(i,j)の周辺領域の画素についての非線形処理の結果として得られる値D2b(i−p,j−p)に対して、フィルタリング係数保存部33から読み出された、対応するフィルタ係数CF(p,q)を乗算し、乗算結果の総和をフィルタリング結果FL1(i,j)として求める。このフィルタリングは下記の式で表される。
式(7)によるフィルタ結果FL1(i,j)は、利得計算部39へ出力される。
平均値算出部37は、映像信号D2の各注目画素D2(i,j)の周辺領域内の画素の画素値の平均値FL2(i,j)を出力する。
ここで言う周辺領域は、例えば、(2P+1)*(2Q+1)個の画素から成る範囲であり、平均値算出部37は、該範囲内の画素値D2(i−p,j−q)の平均値FL2(i,j)、即ち、下記の式(8)で表される値を計算し、補正強度調整部38へ出力する。
平均値算出部37は、映像信号D2の各注目画素D2(i,j)の周辺領域内の画素の画素値の平均値FL2(i,j)を出力する。
ここで言う周辺領域は、例えば、(2P+1)*(2Q+1)個の画素から成る範囲であり、平均値算出部37は、該範囲内の画素値D2(i−p,j−q)の平均値FL2(i,j)、即ち、下記の式(8)で表される値を計算し、補正強度調整部38へ出力する。
補正強度調整部38は、操作信号処理部31から入力される補正強度パラメータBST0に基づいて、調整後の補正強度パラメータBST1を出力するものであり、画像遅延部4から入力された映像信号D2の注目画素の画素値D2(i,j)と、平均値算出部37からの平均値FL2(i,j)との差分の絶対値が、操作信号処理部31から入力される閾値TH2より小さい場合は、操作信号処理部31から入力される補正強度パラメータBST0より小さい調整後の補正強度パラメータBST1(i,j)を生成して、利得計算部39へ出力する。調整後の補正強度パラメータBST1(i,j)としては、例えばBST0×β(β<1)で与えられるものを用いることができる。調整後の補正強度パラメータBST1(i,j)を補正強度パラメータBST0に対してどの程度小さくするか(例えば、βの値)は、ユーザが決定可能としても良い。例えば、β=1/2としても良く、β=0としても良い。
画素値D2(i,j)と平均値FL2(i,j)の差分の絶対値が、閾値TH2よりも小さくないときは、補正強度パラメータBST0をそのまま調整後の補正強度パラメータBST1(i,j)として出力する。従って、(D2(i,j)−FL2(i,j))と、調整後の補正強度パラメータBST1との関係は、図10に示されるごとくである。
利得計算部39は、フィルタリング部34から得られるフィルタ結果FL1(i,j)と、補正強度調整部38から出力される調整後の補正強度パラメータBST1(i,j)と、画像遅延部4から入力される映像信号D2の注目画素の画素値D2(i,j)を参照し、補正処理で用いられる乗算係数乃至利得GAIN(i,j)を次式に基づき計算する。
GAIN(i,j)
=1+BST1(i,j)−BST1(i,j)*FL1(i,j)/D2(i,j)
(9)
=1+BST1(i,j)−BST1(i,j)*FL1(i,j)/D2(i,j)
(9)
ただし、D2(i,j)=0の場合は、便宜的にD2(i,j)=1として計算する。また、式(9)を計算した結果、GAIN<0となる場合は、GAIN(i,j)=0とする。そして、得られた利得GAIN(i,j)を補正処理部30へ出力する。
補正処理部30は、画像遅延部4から入力される映像信号D2の注目画素の画素値D2(i,j)に対し、次式に基づく計算により画素値E(i,j)を求め、補正後の映像信号の画素P(i,j)の画素値として画像遅延部4へ出力する。
E(i,j)=GAIN(i,j)*D2(i,j) (10)
E(i,j)=GAIN(i,j)*D2(i,j) (10)
本発明においては、画像遅延部4、動きベクトル検出部5、及び画像補正部6において、輝度信号(Y)のみを処理することで、被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを補正することができる。しかしながら、輝度信号(Y)だけでなく、赤色信号(R)、青色信号(G)、緑色信号(B)を個別に処理してもよい。またR、G、Bの和を表す信号で、式(9)の利得GAIN(i,j)を求め、画像補正部6の式(10)ではR、G、B個別に処理をしても良い。また、輝度信号(Y)と色差信号(Cb、Cr)を個別に処理してもよい。輝度信号(Y)で利得GAIN(i,j)を求め、求めた利得GAIN(i,j)を用いて、輝度信号(Y)と色差信号(Cb、Cr)の各々に対して、式(10)の演算により個別に処理しても良い。他の色表現フォーマットでも同様な処理が行える。
また、実施の形態1ではローパスフィルタを用いた手法について説明しているが、古くから研究されている画像修復問題の解法を適用しても良い。
次に、画像遅延部4から2枚の連続した補正画像E1およびE2を、動きベクトル検出部5からは補正画像E2に対応した動きベクトルVdをフレーム生成部7に入力し、E1とE2の間にフレームを補間する。実施の形態1では、画像遅延部1に入力される映像信号のフレームレートを2倍にするフレーム生成処理について説明するが、3倍以上のフレーム生成や、位相をずらしたフレーム生成についても、同様の考え方でフレームを生成することができる。
E2を注目フレームの補正画像、E1を後フレームの補正画像と呼ぶことにし、これらの間にフレームを補間する場合、注目フレームの動きベクトルVdを参照する。補間されるフレーム(以後、補間フレームと呼ぶ)Hにおける動きベクトルは注目フレームの動きベクトルVdを参照することで求めることができる。具体的には、フレームレートを2倍にする場合、注目フレームの動きベクトルの1/2を用いてフレームの補正画像での移動先を求め、注目フレームの動きベクトルの1/2をその位置での動きベクトルとすれば良い。補間フレームHの動きベクトルが求まれば、注目フレームの補正画像E2および後フレームの補正画像E1との対応関係が求まるため、補間フレームHを生成することができる。補間フレームの生成についての詳細は後述する。
以下、画像処理装置2の各構成要素の動作についてさらに詳しく説明する。
画像処理装置2に入力された映像信号D0は画像遅延部4に入力される。
図11(a)〜(j)は、画像処理装置2内の各部における信号のタイミングを示す。図11(a)に示される入力垂直同期信号SYIに同期して、図11(b)に示すように、フレームF0、F1、F2、F3、F4の入力映像信号D0が順次入力される。
画像処理装置2に入力された映像信号D0は画像遅延部4に入力される。
図11(a)〜(j)は、画像処理装置2内の各部における信号のタイミングを示す。図11(a)に示される入力垂直同期信号SYIに同期して、図11(b)に示すように、フレームF0、F1、F2、F3、F4の入力映像信号D0が順次入力される。
フレームメモリ制御部12は入力垂直同期信号SYIを元にフレームメモリ書込みアドレスを生成し、入力映像信号D0をフレームメモリ11に記憶させると共に、図11(c)に示す出力垂直同期信号SYO(入力垂直同期信号SYIに対して遅れがないものとして示してある)に同期して、図11(d)に示すように、入力映像信号D0に対してフレーム遅延のない映像信号D1(フレームF0、F1、F2、F3、F4の映像信号)を出力する。
フレームメモリ制御部12はまた、出力垂直同期信号SYOを元にフレームメモリ読み出しアドレスを生成し、フレームメモリ11に蓄えられた、1フレーム遅延映像信号D2(図11(e))を読み出して出力する。
この結果、画像遅延部4からは、連続する2フレームの映像信号D1、D2が同時に出力される。即ち、フレームF1の映像信号が映像信号D0として入力されるタイミング(フレーム期間)に、フレームF1、F0の映像信号が映像信号D1、D2として出力され、フレームF2の映像信号が映像信号D0として入力されるタイミング(フレーム期間)に、フレームF2、F1の映像信号が映像信号D1、D2として出力される。
画像遅延部4から出力された、連続する2フレームの映像信号D1、D2は、動きベクトル検出部5へ供給され、映像信号D2は画像補正部6へも供給される。
映像信号D1、D2に基づいて、動きベクトル検出部5で動きベクトルVが生成される。この動きベクトルVは、各フレームの映像信号D2から次のフレームの映像信号D1への動きベクトルであり、従って、フレームF0からフレームF1への動きベクトル(図11(f)では、「F0→F1」で示す)は、フレームF0、F1の映像信号D2、D1が動きベクトル検出部5に入力されるタイミングで出力される。
映像信号D2、及びこれに利得GAINを掛けることで生成される映像信号Eは、映像信号D2と同じフレーム期間に出力される(図11(h))。
映像信号Eと同じフレーム期間に映像信号E1が出力され(図11(i))、1フレーム期間後に映像信号E2が出力される(図11(j))。
動きベクトルVは1フレーム期間遅延され、フレームF0について映像信号E2と、フレームF1についての映像信号E1が出力されるタイミングで、フレームF0からフレームF1への動きベクトルVd(図11(g)では、「F0→F1」で示す)が出力される。
映像信号Eと同じフレーム期間に映像信号E1が出力され(図11(i))、1フレーム期間後に映像信号E2が出力される(図11(j))。
動きベクトルVは1フレーム期間遅延され、フレームF0について映像信号E2と、フレームF1についての映像信号E1が出力されるタイミングで、フレームF0からフレームF1への動きベクトルVd(図11(g)では、「F0→F1」で示す)が出力される。
動きベクトル検出部5では、映像符号化でよく用いられる差分絶対値和SADを用いた動きベクトルの検出を行う。本発明では、動きぼやけが生じている画素の動きぼやけを軽減することが目的であるため、画素毎に差分絶対値和SADを計算し、その最小値から動きベクトルを求める。
しかし、差分絶対値和SADを求める演算を全画素について実行すれば、演算量が莫大となってしまうため、映像符号化と同様に動きベクトルを検出するためのブロックが、隣り合うもの同士で重ならないように処理し、動きベクトルを検出しない画素に対しては、周辺で検出された動きベクトルより補間することとしても良い。
しかし、差分絶対値和SADを求める演算を全画素について実行すれば、演算量が莫大となってしまうため、映像符号化と同様に動きベクトルを検出するためのブロックが、隣り合うもの同士で重ならないように処理し、動きベクトルを検出しない画素に対しては、周辺で検出された動きベクトルより補間することとしても良い。
また、上記においては、動きベクトル検出部5で用いるブロックサイズを、注目画素P(i,j)を中心に上下及び左右が同じサイズの矩形の領域とし、矩形領域の高さ及び幅をそれぞれ(2*BM+1)、(2*BN+1)で表される奇数とした。しかしながら、矩形領域の高さ及び幅は、奇数でなくても良く、注目画素の矩形領域内の位置は正確に中心でなくても、若干ずれた位置であっても良い。
さらには、式(1)のように、探索範囲を−SV≦k≦SV、−SH≦l≦SHと定義し、該範囲に含まれる全てのkおよびlに対して差分絶対値和SADを計算するものとした。しかし、演算量を削減する目的でkおよびlを適度に間引き差分絶対値和SADを計算しても良い。この場合、間引かれた(間引きにより除去された)位置(i+k,j+l)については、その周辺の位置についての、差分絶対値和SAD(i+k,j+l)から補間をして用いても良い。また、動きベクトルの精度を検討し、精度に問題が無ければ間引いて得られた差分絶対値和SADを用いても良い。
画像補正部6に入力された動きベクトルVは、まず動きぼやけ推定部32へ入力される。動きぼやけ推定部32へ入力される動きベクトルVは、図12のように垂直方向の成分Vy(i,j)と水平方向の成分Vx(i,j)とで表されているので、式(3)より動きベクトルの方向A(度)を算出し、式(4)より動きベクトルの大きさLM(画素)を算出する。
ここで、カメラを静止し、等速直線運動をしている物体を撮影した場合を考える。この時撮像される連続した3フレームの映像信号で表される画像の要素の動きの一例を図13(a)、(b)に示す。図示の例では、1フレーム目(図13(a))と2フレーム目(図13(b))との間で、画像の要素ESが、水平方向に4画素移動し、垂直方向には移動していない(Vx=4、Vy=0)。従って、すなわち1フレーム目(図13(a))における動きベクトルは、図13(a)の矢印のように水平方向4画素、垂直方向0画素として検出される。
仮に、図13(a)、図13(b)に示される画像の撮像期間Tsが1フレーム期間Tfと等しければ、動きぼやけの大きさLBも水平方向に4画素、垂直方向に0画素となる。
しかし、実際には撮像期間Tsは、図6に示すように、1フレーム期間Tfよりも短いため、図14(a)、(b)に示すように、動きぼやけの大きさLBは、動きベクトルの大きさLMによりも小さく、その割合は、1フレーム期間Tfに対する、撮像期間Tsの長さの比(Ts/Tf)に相当する。
しかし、実際には撮像期間Tsは、図6に示すように、1フレーム期間Tfよりも短いため、図14(a)、(b)に示すように、動きぼやけの大きさLBは、動きベクトルの大きさLMによりも小さく、その割合は、1フレーム期間Tfに対する、撮像期間Tsの長さの比(Ts/Tf)に相当する。
このことを考慮し、動きベクトルの大きさLMに、1よりも小さい調整パラメータADJを掛けた値を、動きぼやけの大きさLBと推定する。調整パラメータADJは、先に述べたように、各フレームの実際の撮像期間の長さTsに基づいて決めても良く、経験的に決定することとしても良く、ユーザにより設定可能としても良い。
次に、フィルタ係数保存部33のテーブルからフィルタ係数を読み出すためのポインタINDの算出方法を説明する。
例えば、フィルタ係数保存部33に保存されているフィルタ係数が、角度(単位が「度」であるとする)の代表値としての、0度から165度までの15度毎の角度、大きさの代表値としての、1から21までの奇数に対して定義されているとする。
このとき、式(5)で得られたLBを四捨五入し、四捨五入の結果が偶数であれば1を加算して奇数にし(LB=LB+1)、このような処理の結果が「21」よりも大きければ、「21」にクリッピングし、このような処理をした結果を、動きぼやけの大きさの代表値LRとして出力する。動きぼやけの大きさLBの値が代表値LRを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの大きさLBは代表値LRに変換される。
例えば、フィルタ係数保存部33に保存されているフィルタ係数が、角度(単位が「度」であるとする)の代表値としての、0度から165度までの15度毎の角度、大きさの代表値としての、1から21までの奇数に対して定義されているとする。
このとき、式(5)で得られたLBを四捨五入し、四捨五入の結果が偶数であれば1を加算して奇数にし(LB=LB+1)、このような処理の結果が「21」よりも大きければ、「21」にクリッピングし、このような処理をした結果を、動きぼやけの大きさの代表値LRとして出力する。動きぼやけの大きさLBの値が代表値LRを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの大きさLBは代表値LRに変換される。
一方、角度Aについては、式(3)で求められたAが0より小さければ、180度を加算し(A=A+180)、15度単位で四捨五入(R丸め)するためA2=(A+7.5)/15を小数点以下切り捨て、その結果が12以上であれば(A2≧12)、A2=0とする。このような処理の結果を、動きぼやけの角度の代表値ARに対応する値AR2として出力する。ARとAR2との間には次の関係がある。
AR=15×AR2
AR=15×AR2
動きぼやけの角度Aの値が代表値ARを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの角度Aは代表値ARに対応する値AR2に変換される。
動きぼやけの大きさの代表値LR、及び角度の代表値ARに対応する値AR2を用いて、次式のような計算により、テーブルからの読み出しのためのポインタINDとすることができる。
IND=12*((LR−1)/2−1)+AR2 (11)
動きぼやけの大きさの代表値LR、及び角度の代表値ARに対応する値AR2を用いて、次式のような計算により、テーブルからの読み出しのためのポインタINDとすることができる。
IND=12*((LR−1)/2−1)+AR2 (11)
式(11)に基づいてAR2およびLRからポインタINDを求めるテーブルの具体例を図15に示す。
フィルタ係数保存部33は、動きぼやけ推定部32よりポインタINDが入力されると、入力されたポインタINDに対応するフィルタ係数CF(p,q)をローパスフィルタ36に供給する。フィルタ係数保存部33に保存されるフィルタ係数は、ユーザが自由に設計することができる。フィルタ係数はローパスフィルタを実現するものであればよく、比較的設計しやすいことも本発明の特徴である。
次に、ローパスフィルタ36を備えるフィルタリング部34について詳細に説明する。本発明は、被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを、適切に軽減することを目的としており、次式に示すローパスフィルタを用いた手法をベースとしている。
E(i,j)
=D2(i,j)+BST1(i,j)*(D2(i,j)−FL1(i,j))
(12)
E(i,j)
=D2(i,j)+BST1(i,j)*(D2(i,j)−FL1(i,j))
(12)
式(12)を変形すると式(9)、式(10)が得られる。式(12)の考え方に基づいて処理を行うこととすれば、例えば緑色信号(G)を用いて式(9)による計算を行って、利得GAIN(i,j)を求め、補正処理部30において、同じ画素の複数の色信号に対して同じ利得GAIN(i,j)を用いて式(10)の演算を行うことで演算量を削減できる利点がある。しかしながら、式(12)を用いる手法には以下の欠点もあり、そのため以下のような処理を行うこととしている。
式(12)による手法は、フィルタ係数保存部33より出力されたフィルタ係数CF(p,q)を用い、画像補正部6に入力された映像信号D2に対しローパスフィルタリングを行い、フィルタ結果FL1(i,j)を利得計算部39へ出力する。しかし、式(12)に基づくローパスフィルタリングによる動きぼやけ補正処理は、補正画像において強いエッジ部にオーバーシュートが生じる弊害が起きやすい。
そこで、ローパスフィルタ36の前段に非線形処理部35を挿入して、強いエッジ部でオーバーシュートが抑制できるような非線形処理を行う。例えば、操作信号処理部31より入力される閾値TH1を用いて非線形処理を行い、オーバーシュートの抑制を行うこととする。具体的には、図16に示すように、注目画素の画素値D2(i,j)と、その周辺領域内の画素の画素値D2(i−p,j−q)との差分値DIF(i−p,j−q)=D2(i,j)−D2(i−p,j−q)を閾値TH1によりクリッピングする。これにより、仮に抑制を行わないとすれば、差分値DIF(i−p,j−q)が大きく、利得計算部39で算出される利得GAIN(i,j)が大きくなる画像のエッジ部において、利得を適切に制御することができる。
次に、補正強度調整部38における処理について詳細を述べる。
補正強度調整部38は、動きぼやけ補正処理後、ノイズ増幅効果で動きぼやけ補正画像の品質が下がることを抑制するためのものであり、操作信号処理部31より入力される補正強度パラメータBST0を、画像の特徴に応じて小さくしもしくは0として、調整後の補正強度パラメータBST1とし、利得計算部39へ出力する。
補正強度調整部38は、動きぼやけ補正処理後、ノイズ増幅効果で動きぼやけ補正画像の品質が下がることを抑制するためのものであり、操作信号処理部31より入力される補正強度パラメータBST0を、画像の特徴に応じて小さくしもしくは0として、調整後の補正強度パラメータBST1とし、利得計算部39へ出力する。
具体的には、映像信号D2を入力し、注目画素の周辺領域内の画素の画素値(例えば輝度値)の変化を検出し、該変化の大きさに応じて調整後の補正強度パラメータBST1の値を決める。上記画素値の変化を表す指標としては、注目画素の画素値D2(i,j)と平均値算出部37から出力される平均値FL2(i,j)との差分値の絶対値を用いる。そして、例えば、該絶対値が操作信号処理部31より入力される閾値TH2より小さければ、注目画素の周辺領域内の画素値の変化が少ないと判断し、例えば調整後の補正強度パラメータBST1を調整前の補正強度パラメータBST0の1/2とし、上記の絶対値が閾値TH2より大きければ画素値の変化が大きいと判断し、調整前の補正強度パラメータBST0をそのまま調整後の補正強度パラメータBST1とする。そして、このようにして定められた調整後の補正強度パラメータBST1を利得計算部39へ出力する。
以下、上記の処理を行う意義についてさらに詳しく説明する。
被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを軽減するための処理は、必然的に映像信号中のノイズを増幅してしまうこととなる。特に、画素値の変化、例えば輝度の変化の少ない平坦な領域は、動きぼやけが生じていてもその影響は視覚的に小さく、補正処理が弱くても済む。仮にこのような領域で、補正強度パラメータ値BST0をそのまま用いて補正を行うと、ノイズを大きく増幅し、動きぼやけ補正結果の品質が低下することになる。そこで、平坦な領域を検出し、そのような領域では補正強度パラメータBST0の代りにより小さい値を用いる適応処理を行う。このとき、平坦な領域か否かを判定するには、前述のように注目画素の画素値D2(i,j)とその周辺領域内の画素の画素値の平均FL2との差分を取り、閾値との大小で判定することとしている。
また、このような理由から、前述のように平均値算出部37で算出された−P≦p≦P、−Q≦q≦Qの領域内のすべての画素の画素値の単純平均値を用いている。
被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを軽減するための処理は、必然的に映像信号中のノイズを増幅してしまうこととなる。特に、画素値の変化、例えば輝度の変化の少ない平坦な領域は、動きぼやけが生じていてもその影響は視覚的に小さく、補正処理が弱くても済む。仮にこのような領域で、補正強度パラメータ値BST0をそのまま用いて補正を行うと、ノイズを大きく増幅し、動きぼやけ補正結果の品質が低下することになる。そこで、平坦な領域を検出し、そのような領域では補正強度パラメータBST0の代りにより小さい値を用いる適応処理を行う。このとき、平坦な領域か否かを判定するには、前述のように注目画素の画素値D2(i,j)とその周辺領域内の画素の画素値の平均FL2との差分を取り、閾値との大小で判定することとしている。
また、このような理由から、前述のように平均値算出部37で算出された−P≦p≦P、−Q≦q≦Qの領域内のすべての画素の画素値の単純平均値を用いている。
利得計算部39は、フィルタリング部34の出力FL1(i,j)、補正強度調整部38から出力される調整後の補正強度パラメータBST1(i,j)、映像信号D2の注目画素の画素値D2(i,j)を用いて上記の式(9)に基づき利得GAIN(i,j)を計算し、算出した利得GAIN(i,j)を補正処理部30へ供給する。
ただし、式(9)に示される演算において、注目画素の画素値D2(i,j)で除算する必要から、D2(i,j)=0の場合にはD2(i,j)=1として計算を行う。また、GAIN(i,j)<0となった場合は、GAIN(i,j)=0とクリッピングする。以上の計算により得られた利得GAIN(i,j)を補正処理部30へ出力する。
補正処理部30では、供給された利得GAIN(i,j)を画素値D2(i,j)に乗算することで、動きぼやけ補正を行う。乗算結果は、動きぼやけ補正を受けた画素値E(i,j)として出力され、画像遅延部4に供給される。
ただし、式(9)に示される演算において、注目画素の画素値D2(i,j)で除算する必要から、D2(i,j)=0の場合にはD2(i,j)=1として計算を行う。また、GAIN(i,j)<0となった場合は、GAIN(i,j)=0とクリッピングする。以上の計算により得られた利得GAIN(i,j)を補正処理部30へ出力する。
補正処理部30では、供給された利得GAIN(i,j)を画素値D2(i,j)に乗算することで、動きぼやけ補正を行う。乗算結果は、動きぼやけ補正を受けた画素値E(i,j)として出力され、画像遅延部4に供給される。
次に、フレーム生成部7の処理について詳細に説明する。注目フレームの補正画像E2、後フレームの補正画像E1の間にフレームを補間するため、画像遅延部4からこれらの映像信号を、動きベクトル検出部5からは注目フレームの動きベクトルVdを、フレーム生成部7へ入力する。位置(i,j)の動きベクトルVdを、垂直方向Vdx(i,j)、水平方向Vdy(i,j)と表現すると、補間フレームHの位置(i,j)における動きベクトルは、次のように求めることができる。
Vhx(i+si,j+sj)=Vdx(i,j)/2 (13a)
Vhy(i+si,j+sj)=Vdy(i,j)/2 (13b)
ただし、
si=round[Vdx(i,j)/2]
sj=round[Vdy(i,j)/2]
round[*]は*の四捨五入
である。
つまり、注目フレームの補正画像E2と後フレームの補正画像E1の中間に位置するフレームを生成するため、注目フレームの動きベクトルVdを2で割り四捨五入することで算出された位置(i+si,j+sj)に、注目フレームの動きベクトルVdを2で割った値が格納される。また、次の処理で差分絶対値和を用いるため、補間フレームにおける差分絶対値和SADhをも算出する。
SADh(i+si,j+sj)=mv_sad(i,j) (13c)
(si、sjは、上記の式(13a)、(13b)について説明したのと同じものである。)
式(13c)で、(si,sj)が映像として定義された位置の範囲を超えた位置を指定した場合、処理をしない。ここで、式(13a)及び式(13b)で計算された補間フレームにおける動きベクトルは、全ての位置(i,j)に対して得られないことに注意を要する。このため、動きベクトル値の修正乃至補間処理(以下単に修正処理と言う)が必要となる。動きベクトルの修正処理は、様々なアルゴリズムが提案されているが、ここでは代表的な処理を記載することとする。
Vhx(i+si,j+sj)=Vdx(i,j)/2 (13a)
Vhy(i+si,j+sj)=Vdy(i,j)/2 (13b)
ただし、
si=round[Vdx(i,j)/2]
sj=round[Vdy(i,j)/2]
round[*]は*の四捨五入
である。
つまり、注目フレームの補正画像E2と後フレームの補正画像E1の中間に位置するフレームを生成するため、注目フレームの動きベクトルVdを2で割り四捨五入することで算出された位置(i+si,j+sj)に、注目フレームの動きベクトルVdを2で割った値が格納される。また、次の処理で差分絶対値和を用いるため、補間フレームにおける差分絶対値和SADhをも算出する。
SADh(i+si,j+sj)=mv_sad(i,j) (13c)
(si、sjは、上記の式(13a)、(13b)について説明したのと同じものである。)
式(13c)で、(si,sj)が映像として定義された位置の範囲を超えた位置を指定した場合、処理をしない。ここで、式(13a)及び式(13b)で計算された補間フレームにおける動きベクトルは、全ての位置(i,j)に対して得られないことに注意を要する。このため、動きベクトル値の修正乃至補間処理(以下単に修正処理と言う)が必要となる。動きベクトルの修正処理は、様々なアルゴリズムが提案されているが、ここでは代表的な処理を記載することとする。
動きベクトルの修正は、補間フレームHFの全画素における動きベクトルに対して3×3の範囲でSADの最小値を探索することと、3×3の範囲に動きベクトルが存在しなければ動きベクトルを新たに設定する2つの処理で構成されている。
位置(i,j)を中心とした3×3の範囲でSADの最小値とその位置を探索し、探索の結果、最小値と判断された位置(ci、cj)の動きベクトル(Vhx(ci、cj)、Vhy(ci、cj))を、位置(i,j)の動きベクトルの修正値
Vcx(i、j)=Vhx(ci、cj)
Vcy(i、j)=Vhy(ci、cj) (14)
とする。このとき、(ci、cj)は、
と表現される。
Vcx(i、j)=Vhx(ci、cj)
Vcy(i、j)=Vhy(ci、cj) (14)
とする。このとき、(ci、cj)は、
また、3×3の範囲に動きベクトルが存在しなければ、Vcx(i、j)=Vcy(i、j)=0を動きベクトルの修正値として設定する。
以上により、補間フレームにおける動きベクトルVcx(i、j)、Vcy(i、j)が求まったので、これらを用いて注目フレームの補正画像E2と後フレームの補正画像E1の値を参照し、補間フレームHFを求める。補間フレームの注目画素(i,j)に対応する注目フレームの補正画像E2と後フレームの補正画像E1の位置をそれぞれ(bi、bj)、(ai,aj)とすると、補間フレームHFの各画素の画素値HF(i,j)は、
HF(i,j)={E2(bi,bj)+E1(ai,aj)}/2 (16)
として求めることができる。ここで、
bi=iーround[Vcx(i,j)]
bj=j−round[Vcy(i,j)]
ai=i+fix[Vcx(i,j)]
aj=j+fix[Vcy(i,j)]
である。ただし、fix[*]は*の0方向への切捨てを示す。
HF(i,j)={E2(bi,bj)+E1(ai,aj)}/2 (16)
として求めることができる。ここで、
bi=iーround[Vcx(i,j)]
bj=j−round[Vcy(i,j)]
ai=i+fix[Vcx(i,j)]
aj=j+fix[Vcy(i,j)]
である。ただし、fix[*]は*の0方向への切捨てを示す。
以上説明したように、入力された画像信号のフレーム間における動きベクトルを画素毎に検出することで、映像中に含まれる動きぼやけの発生している領域を検出し、検出された動きぼやけの方向、大きさに合わせて利得を定めることにより、動きぼやけにより劣化した映像信号を補正することができる。さらに、補正された連続する2枚の映像信号を用いることで、それらの間に存在すると考えられる映像信号を補間すれば、元の映像信号から補間する場合よりも、または、フレーム内の動きぼやけを補正するだけの場合よりも、動画表示時の画質を向上させることが可能となる。
実施の形態2.
図17は、実施の形態2で用いられる画像補正部6を示す。
図示の画像補正部6は、図5の画像補正部と概して同じであるが、操作信号処理部31から出力されるパラメータに閾値TH3が含まれ、該閾値TH3が、補正処理部30に供給され、補正処理部30では、閾値TH3に基づいて処理を行う点で異なる。閾値TH3は、画素値の補正が過補正とならないように、補正の度合いを抑制するためのものである。
図17は、実施の形態2で用いられる画像補正部6を示す。
図示の画像補正部6は、図5の画像補正部と概して同じであるが、操作信号処理部31から出力されるパラメータに閾値TH3が含まれ、該閾値TH3が、補正処理部30に供給され、補正処理部30では、閾値TH3に基づいて処理を行う点で異なる。閾値TH3は、画素値の補正が過補正とならないように、補正の度合いを抑制するためのものである。
補正処理部30では、利得計算部39から供給された利得GAINを用いて、動きぼやけ補正画像を得る。しかしながら、実施の形態1の方法で、フィルタリング部34でオーバーシュートの抑制処理を行っても、動きぼやけ補正処理の結果、オーバーシュートが発生することがある。これは、補正強度パラメータBST0の設定を高くし補正した場合に多い。
そこで、本実施の形態2では、動きぼやけ補正処理の結果に対して、クリッピング処理を行うことでオーバーシュートを回避する。具体的には、操作信号処理部31より閾値TH3を入力し、フィルタリング部34における非線形処理と同様に、補正前の注目画素の画素値D2(i,j)と該画素値D2(i,j)に利得GAIN(i,j)を乗算した値との差分値の絶対値が閾値TH3を超えるときは、|E(i,j)−D2(i、j)|=TH3となるようにし、補正前の注目画素の画素値D2(i,j)と該画素値D2(i,j)に利得GAIN(i,j)を乗算した値との差分値の絶対値が閾値TH3以下であれば、E(i,j)=GAIN(i,j)*D2(i、j)となるような処理を行う。
即ち、
(A) GAIN(i,j)*D2(i,j)−D2(i、j)>TH3であれば、
E(i,j)−D2(i,j)=TH3 (17a)
となるように、即ち、
E(i,j)=D2(i,j)+TH3 (17b)
により、
(B) GAIN(i,j)*D2(i,j)−D2(i、j)<−TH3であれば、
E(i,j)−D2(i,j)=−TH3 (17c)
となるように、即ち、
E(i,j)=D2(i,j)−TH3 (17d)
により、
(C) (A)、(B)のいずれでもなければ、
E(i,j)−D2(i、j)
=GAIN(i,j)*D2(i,j)−D2(i、j) (17e)
となるように、即ち、
E(i,j)=GAIN(i,j)*D2(i,j) (17f)
により、E(i,j)を定める。
即ち、
(A) GAIN(i,j)*D2(i,j)−D2(i、j)>TH3であれば、
E(i,j)−D2(i,j)=TH3 (17a)
となるように、即ち、
E(i,j)=D2(i,j)+TH3 (17b)
により、
(B) GAIN(i,j)*D2(i,j)−D2(i、j)<−TH3であれば、
E(i,j)−D2(i,j)=−TH3 (17c)
となるように、即ち、
E(i,j)=D2(i,j)−TH3 (17d)
により、
(C) (A)、(B)のいずれでもなければ、
E(i,j)−D2(i、j)
=GAIN(i,j)*D2(i,j)−D2(i、j) (17e)
となるように、即ち、
E(i,j)=GAIN(i,j)*D2(i,j) (17f)
により、E(i,j)を定める。
以上説明したように、入力された画像信号のフレーム間における動きベクトルを画素毎に検出することで、映像中に含まれる動きぼやけの発生している領域を検出し、検出された動きぼやけの方向、大きさに合わせて利得を構成することにより、動きぼやけにより劣化した映像信号を補正することができる。さらに、補正された連続する2枚の映像信号を用いることで、それらの間に存在すると考えられる映像信号を補間すれば、元の映像信号から補間する場合よりも、または、フレーム内の動きぼやけを補正するだけの場合よりも、動画表示時の画質を向上させることが可能となる。
以上本発明を画像処理装置及び画像表示装置として説明したが、これらの装置で実行される画像処理方法及び画像表示方法も本発明の一部を成す。本発明はさらに、上記の画像処理装置または画像処理方法における手順乃至各ステップの処理を実行するプログラムとしても成立し、該プログラムを記録したコンピュータで読み取り可能な記録媒体としても成立する。
1 画像表示装置、 2 画像処理装置、 3 画像表示部、 4 画像遅延部、 5 動きベクトル検出部、 6 画像補正部、 7 フレーム生成部、 11 フレームメモリ、 12 フレームメモリ制御部、 21 注目フレームブロック切り出し部、 22 後フレームブロック切り出し部、 23 動きベクトル決定部、 24 メモリ、 25 メモリ制御部、 30 補正処理部、 31 操作信号処理部、 32 動きぼやけ推定部、 33 フィルタ係数保存部、 34 フィルタリング部、 35 非線形処理部、 36 ローパスフィルタ、 37 平均値算出部、 38 補正強度調整部、 39 利得計算部。
Claims (10)
- 第1の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号における動きぼやけを軽減する画像補正部と、
前記動きぼやけを軽減した互いに異なる2枚の補正画像間に位置するフレームを補間により生成するフレーム生成部と
を備える画像処理装置。 - 前記動きベクトル検出部は、前記第1の映像信号と、前記第1の映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて、前記第1の映像信号における動きベクトルを検出する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記画像補正部が、
前記動きベクトルに基づいて、動きぼやけの方向及び大きさを推定する動きぼやけ推定部と、
前記推定された動きぼやけの方向及び大きさに対応したフィルタ係数を用いて前記第1の映像信号に対するフィルタリングを行うフィルタリング部と
を備えたことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記補正処理部は、
前記フィルタリング部におけるフィルタリングの結果に基づいて、利得を求める利得計算部と、
前記利得計算部で算出された前記利得を、前記第1の映像信号に乗算することで、前記第1の映像信号に対する補正を行う補正処理部と
をさらに備えたことを特徴とする請求項3に記載の画像処理装置。 - 請求項1から4のいずれかの画像処理装置と、前記画像処理装置で生成された画像を表示する画像表示部とを備えた画像表示装置。
- 第1の映像信号における動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号における動きぼやけを軽減する画像補正ステップと、
前記動きぼやけを軽減した互いに異なる2枚の補正画像間に位置するフレームを補間により生成するフレーム生成ステップと
を備える画像処理方法。 - 前記動きベクトル検出ステップは、前記第1の映像信号と、前記第1の映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて、前記第1の映像信号における動きベクトルを検出する
ことを特徴とする請求項6に記載の画像処理方法。 - 前記画像補正ステップが、
前記動きベクトルに基づいて、動きぼやけの方向及び大きさを推定する動きぼやけ推定ステップと、
前記推定された動きぼやけの方向及び大きさに対応したフィルタ係数を用いて前記第1の映像信号に対するフィルタリングを行うフィルタリングステップと
を備えたことを特徴とする請求項6又は7に記載の画像処理方法。 - 前記補正処理ステップは、
前記フィルタリングステップにおけるフィルタリングの結果に基づいて、利得を求める利得計算ステップと、
前記利得計算ステップで算出された前記利得を、前記第1の映像信号に乗算することで、前記第1の映像信号に対する補正を行う補正処理ステップと
をさらに備えたことを特徴とする請求項8に記載の画像処理方法。 - 請求項6から9のいずれかの画像処理方法と、前記画像処理方法で生成された画像を表示する画像表示ステップとを備えた画像表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010254753A JP2012109656A (ja) | 2010-11-15 | 2010-11-15 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
CN201110359416.9A CN102572222B (zh) | 2010-11-15 | 2011-11-14 | 图像处理装置和方法以及图像显示装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010254753A JP2012109656A (ja) | 2010-11-15 | 2010-11-15 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012109656A true JP2012109656A (ja) | 2012-06-07 |
Family
ID=46416613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010254753A Withdrawn JP2012109656A (ja) | 2010-11-15 | 2010-11-15 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2012109656A (ja) |
CN (1) | CN102572222B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5775977B2 (ja) * | 2012-12-11 | 2015-09-09 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム |
CN108476319A (zh) * | 2016-01-11 | 2018-08-31 | 三星电子株式会社 | 图像编码方法和设备以及图像解码方法和设备 |
JP7139858B2 (ja) * | 2018-10-12 | 2022-09-21 | 株式会社Jvcケンウッド | 補間フレーム生成装置及び方法 |
US11874679B2 (en) * | 2019-01-09 | 2024-01-16 | Mitsubishi Electric Corporation | Using an imaging device to correct positioning errors |
CN110084765B (zh) * | 2019-05-05 | 2021-08-06 | Oppo广东移动通信有限公司 | 一种图像处理方法、图像处理装置及终端设备 |
CN111698427B (zh) * | 2020-06-23 | 2021-12-24 | 联想(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7728909B2 (en) * | 2005-06-13 | 2010-06-01 | Seiko Epson Corporation | Method and system for estimating motion and compensating for perceived motion blur in digital video |
US8559751B2 (en) * | 2005-07-12 | 2013-10-15 | Nxp B.V. | Method and device for removing motion blur effects |
CN101272488B (zh) * | 2007-03-23 | 2010-12-22 | 展讯通信(上海)有限公司 | 降低lcd显示运动模糊的视频解码方法和装置 |
JP4586052B2 (ja) * | 2007-08-08 | 2010-11-24 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
-
2010
- 2010-11-15 JP JP2010254753A patent/JP2012109656A/ja not_active Withdrawn
-
2011
- 2011-11-14 CN CN201110359416.9A patent/CN102572222B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102572222A (zh) | 2012-07-11 |
CN102572222B (zh) | 2014-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8243150B2 (en) | Noise reduction in an image processing method and image processing apparatus | |
JP4666012B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
KR100973100B1 (ko) | 화상 처리 장치 및 제어 방법 | |
US8369649B2 (en) | Image processing apparatus, image processing method, and computer program for performing super-resolution process | |
US8233062B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
US7991196B2 (en) | Continuous extended range image processing | |
JP5045674B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US10200649B2 (en) | Image processing device, image processing method and recording medium for reducing noise in image | |
US20060222077A1 (en) | Method, apparatus and computer program product for generating interpolation frame | |
US20090273717A1 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP2012109656A (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
JP2006081150A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
KR101125977B1 (ko) | 화상 처리 장치 및 방법, 기록 매체 | |
JP2007288595A (ja) | フレーム巡回型ノイズ低減装置 | |
JP2014021928A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2015007816A (ja) | 画像補正装置、撮像装置及び画像補正用コンピュータプログラム | |
JP2009081574A (ja) | 画像処理装置、方法およびプログラム | |
US8345163B2 (en) | Image processing device and method and image display device | |
JP2018061130A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4930541B2 (ja) | 画像処理方法および画像処理装置 | |
JP4872508B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2008021163A (ja) | 画像処理装置 | |
KR101517233B1 (ko) | 움직임 추정을 이용한 잡음 제거장치 | |
JP2013106151A (ja) | 画像処理装置及び画像処理方法 | |
JP5550794B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140204 |