JP5550794B2 - 画像処理装置及び方法、並びに画像表示装置及び方法 - Google Patents
画像処理装置及び方法、並びに画像表示装置及び方法 Download PDFInfo
- Publication number
- JP5550794B2 JP5550794B2 JP2013544249A JP2013544249A JP5550794B2 JP 5550794 B2 JP5550794 B2 JP 5550794B2 JP 2013544249 A JP2013544249 A JP 2013544249A JP 2013544249 A JP2013544249 A JP 2013544249A JP 5550794 B2 JP5550794 B2 JP 5550794B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- image
- frame
- motion vector
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 271
- 238000000034 method Methods 0.000 title claims description 68
- 239000013598 vector Substances 0.000 claims description 323
- 238000001514 detection method Methods 0.000 claims description 191
- 238000012937 correction Methods 0.000 claims description 164
- 238000003702 image correction Methods 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 51
- 238000003672 processing method Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 description 49
- 238000004364 calculation method Methods 0.000 description 46
- 230000003111 delayed effect Effects 0.000 description 24
- 102100029824 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase 2 Human genes 0.000 description 21
- 101000794082 Homo sapiens ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase 2 Proteins 0.000 description 21
- 101001099051 Homo sapiens GPI inositol-deacylase Proteins 0.000 description 21
- 229910052454 barium strontium titanate Inorganic materials 0.000 description 15
- 230000008859 change Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 102220047090 rs6152 Human genes 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
本発明は、動きベクトルを参照することで映像の画質向上処理を行う画像処理装置及び方法、並びに画像表示装置及び方法に関する。
映像の画質向上を目的として、様々は画像補正処理が提案されている。その中には、映像の動きベクトルを検出して、検出した動きベクトルに基づいて画像補正処理を行なうものがある。例えば、検出した動きベクトルに基づいて動きぼやけを補正するものがある(特許文献1)。また、検出した動きベクトルを用いてフレーム補間を行うものもある。
しかしながら、動きベクトルの検出に誤りが多く含まれる場合には、検出された動きベクトルを用いて行なわれた画像補正処理の結果得られた映像は、元の映像よりも画質が劣化したものとなると言う問題がある。
本発明は、上記に鑑みてなされたものであり、検出された動きベクトルに誤りが多く含まれる場合に、画質の劣化を防止することを目的とする。
本発明に係る画像処理装置は、
入力映像信号をフレーム遅延することで得られた第1の映像信号と、前記第1の映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて、前記第1の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う画像補正処理部と、
前記動きベクトル検出部で検出された動きベクトルを用い、高周波成分を検出する高周波成分検出部と、
前記高周波成分検出部で検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定部と、
前記判定部において動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択部と
を備え、
前記高周波成分検出部は、各画素についての高周波成分が第1の閾値以上であるかどうかの判定を行い、
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、第2の閾値以上であれば、動きベクトルが誤検出されたものと判断する
ことを特徴とする。
入力映像信号をフレーム遅延することで得られた第1の映像信号と、前記第1の映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて、前記第1の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う画像補正処理部と、
前記動きベクトル検出部で検出された動きベクトルを用い、高周波成分を検出する高周波成分検出部と、
前記高周波成分検出部で検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定部と、
前記判定部において動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択部と
を備え、
前記高周波成分検出部は、各画素についての高周波成分が第1の閾値以上であるかどうかの判定を行い、
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、第2の閾値以上であれば、動きベクトルが誤検出されたものと判断する
ことを特徴とする。
本発明によれば、動きベクトルの検出に誤りが多い場合には、画像補正処理後の映像信号を用いずに元の映像信号を出力することとしているので、元の映像信号よりも劣化した信号を出力することを防ぐことができる。
実施の形態1.
図1は、本発明の実施の形態1に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2と、画像表示部3とを備え、画像処理装置2は、入力画像遅延部4と、動きベクトル検出部5と、画像補正処理部6と、処理画像遅延部7と、高周波成分検出部8と、判定部9と、画像選択部10とを備える。
図1は、本発明の実施の形態1に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2と、画像表示部3とを備え、画像処理装置2は、入力画像遅延部4と、動きベクトル検出部5と、画像補正処理部6と、処理画像遅延部7と、高周波成分検出部8と、判定部9と、画像選択部10とを備える。
画像処理装置2は、入力された映像信号D0を受けて、動きぼやけ補正処理を行うものである。
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2は、各フレームの複数の画素を順に補正対象画素(注目画素)としてぼやけ補正処理を行って、補正処理後の映像信号E0(補正された画素値を持つ信号の列から成る)を生成し、該補正処理後の映像信号E0を1フレーム遅延した映像信号E1と、入力映像信号D0を2フレーム遅延した映像信号D3のどちらかを選択して最終出力映像信号Fとして出力する。
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2は、各フレームの複数の画素を順に補正対象画素(注目画素)としてぼやけ補正処理を行って、補正処理後の映像信号E0(補正された画素値を持つ信号の列から成る)を生成し、該補正処理後の映像信号E0を1フレーム遅延した映像信号E1と、入力映像信号D0を2フレーム遅延した映像信号D3のどちらかを選択して最終出力映像信号Fとして出力する。
画像処理装置2に入力された映像信号D0(図2(b))は、入力画像遅延部4に供給される。入力画像遅延部4はフレームメモリを用いて、入力された信号のフレーム遅延を行い、3枚の互いに異なるフレームの映像信号D1、D2、D3(図2(d)、(e)、(f))を生成する。図2(a)〜(l)において、符号T0、T1、T2、…は各フレーム期間を表す。そのうち、映像信号D1は、映像信号D0に対して遅延がなく、映像信号D2は映像信号D0に対して1フレームの遅延があり、映像信号D3は、映像信号D0に対して2フレームの遅延がある。
映像信号D2およびD1は動きベクトル検出部5に出力され、映像信号D2は画像補正処理部6に出力され、映像信号D3は画像選択部10に出力される。
映像信号D2およびD1は動きベクトル検出部5に出力され、映像信号D2は画像補正処理部6に出力され、映像信号D3は画像選択部10に出力される。
動きベクトル検出部5は、入力画像遅延部4から出力された2枚の異なるフレームの映像信号D2、D1を用い、映像信号D2に含まれる動きベクトルV(図2(i))を検出する。
検出された動きベクトルVは画像補正処理部6及び高周波成分検出部8に出力される。
検出された動きベクトルVは画像補正処理部6及び高周波成分検出部8に出力される。
画像補正処理部6は、動きベクトル検出部5から出力された動きベクトルVを入力とし、入力画像遅延部4から出力された映像信号D2において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減し、補正された映像信号E0(図2(g)のF0c、F1c、F2c、…)を処理画像遅延部7へ出力する。
処理画像遅延部7は、画像補正処理部6から出力された補正された映像信号E0を1フレーム分遅延させて出力する。処理画像遅延部7の出力は、補正され、遅延された映像信号E1(図2(h)のF0c、F1c、F2c、…)として画像選択部10へ供給される。
高周波成分検出部8は動きベクトル検出部5から出力された動きベクトルV(図2(i))を入力し、ハイパスフィルタ(高域通過型フィルタ)で各画素について動きベクトルの高周波成分を抽出し、抽出した高周波成分の値を、外部から入力した閾値C1と比較し、比較結果を、当該画素についての高周波成分検出結果Hとして出力する。この高周波成分検出結果Hは、高周波成分の値が閾値C1よりも小さい場合には、値「0」を取り、高周波成分の値が閾値C1以上の場合には、値「1」を取る。各画素についての高周波数成分は、各画素についての動きベクトル、並びの周辺の画素の動きベクトルに対してハイパスフィルタを掛けることで、得られる。
各画素についての動きベクトルVの高周波成分の値が大きいほど、当該動きベクトルVが誤検出されたものである可能性が高い。本実施の形態では、高周波成分の値が閾値C1以上の場合には、当該画素についての動きベクトルVは誤検出されたものと推定して処理する。
閾値C1は、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。
閾値C1は、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。
判定部9は、高周波成分検出部8から出力された高周波成分検出結果Hを入力し、値「1」を取る高周波成分検出結果Hの数を1フレームに亘り計数する。そして、計数結果Nhf(1フレーム中における、値「1」を取る高周波成分検出結果Hの発生回数)を外部から入力した閾値C2と比較し、比較結果を選択制御信号Rとして画像選択部10に出力する。具体的には、計数結果Nfhが閾値C2よりも小さい場合は選択制御信号Rの値を「0」とし、閾値C2以上の場合は選択制御信号Rの値を「1」とする(図2(j))。
閾値C2も、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。
画像選択部10は、選択制御信号Rが「0」の場合は処理画像遅延部7から出力される補正された映像信号E1を選択して、最終出力映像信号Fとして出力し(図2(k))、選択制御信号Rが「1」の場合は入力画像遅延部4から出力される映像信号D3を選択して最終出力映像信号Fとして出力する(図2(l))。
上記の計数結果Nhf(各フレームについて値「1」を取る高周波成分検出結果Hの数)が多いほど、当該フレームには動きベクトルVの誤検出が多い可能性が高く、信頼性が低いと推定できる。本実施の形態では、計数結果Nhfが閾値C2以上の場合には、当該フレームについて、動きベクトルVの誤検出が多く、従って、動きベクトルVの検出結果は信頼性が低いものとして処理する。即ち、画像選択部10において、動きベクトルVを用いて行なわれた画像補正処理の結果得られた映像信号E1を選択せずに、元の映像信号(画像補正処理を受けていない映像信号)D3を選択して出力する。
各フレーム期間Tn(nは0、1、2、…のいずれか)において、動きベクトル検出部5から出力される動きベクトルVは、1フレーム遅延映像信号D2の各画素についてのものであり、動きベクトルVの高周波成分検出結果Hの各フレームにわたる集計が終わり、選択制御信号Rの値が決まるのは、当該フレーム期間の終わる時点に略一致する。そこで、各フレームの映像信号D2の動きベクトルVに基づいて生成された選択制御信号Rの値は、2フレーム遅延映像信号D3及び1フレーム遅延した補正処理後の映像信号E1が画像選択部10に供給される、次のフレーム期間T(n+1)における画像選択部10における選択に用いられる。
例えば、フレーム期間T1に入力画像遅延部4から出力され動きベクトル検出部5に入力される、フレームF0の映像信号D2に基づく選択制御信号R(F0)は、フレームF0の映像信号D3及び対応する補正処理後の映像信号E1(F0c)が、画像選択部10に入力される次のフレーム期間T2に、画像選択部10に供給され、画像選択部10では、この選択制御信号R(F0)に基づいて、フレーム期間T2における、映像信号D3(F0)又は映像信号E1(F0c)の選択を行う。
画像表示部3は、画像選択部10から出力された映像信号Fに基づく画像の表示を行なう。
ここで、ユーザは閾値C1を変更することにより、高周波成分検出部8における判定の厳しさ(高周波成分の値がどの程度のときに、誤検出と推定するか)を調整することができる。また、閾値C2を変更することにより、判定部9における判定の厳しさ(各フレーム中において動きベクトルが誤検出されたと推定される画素の数Nhfに基づく、当該フレームについての動きベクトルの検出結果の信頼性に対する判定の基準、即ち各フレーム中において動きベクトルが誤検出されたと推定される画素の数Nhfがどの程度のときに、当該フレームについての動きベクトルの検出結果の信頼性が低く、画像補正処理を受けた映像信号を選択しないとの決定をするか)を調整することができる。
以下の説明では、画像サイズを垂直方向M画素、水平方向N画素とする。このとき、変数iとjをそれぞれ1≦i≦M、1≦j≦Nと定義して、画素の位置を示す座標を(i,j)で示し、当該座標で表される位置の画素をP(i,j)で表す。即ち、変数iは垂直方向位置、変数jは水平方向位置を表す。画像の左上隅の画素の位置においては、i=1、j=1であり、下方に1画素ピッチ進むごとにiが1ずつ増加し、右方に1画素ピッチ進むごとにjが1ずつ増加する。
図3は、入力画像遅延部4の構成例を示す。図示の入力画像遅延部4は、フレームメモリ11と、フレームメモリ制御部12とを備えている。フレームメモリ11は入力された映像信号を少なくとも2フレーム分記憶可能な容量を有している。
フレームメモリ制御部12は、入力された映像信号D0に含まれる同期信号を元に生成したメモリアドレスに従い、入力映像信号の書込みと、蓄積された映像信号の読み出しとを行い、連続する3フレームの映像信号D1、D2、D3を生成する。
映像信号D1は、入力映像信号D0に対してフレーム遅延が無いものであり、現フレーム映像信号とも呼ばれる。
映像信号D2は、映像信号D1に対して1フレーム遅延することにより得られた、時間的に1フレーム期間前の信号であり、1フレーム遅延映像信号とも呼ばれる。
映像信号D3は、映像信号D1に対して2フレーム遅延することにより得られた、時間的に2フレーム期間前の信号であり、2フレーム遅延映像信号とも呼ばれる。
映像信号D1は、入力映像信号D0に対してフレーム遅延が無いものであり、現フレーム映像信号とも呼ばれる。
映像信号D2は、映像信号D1に対して1フレーム遅延することにより得られた、時間的に1フレーム期間前の信号であり、1フレーム遅延映像信号とも呼ばれる。
映像信号D3は、映像信号D1に対して2フレーム遅延することにより得られた、時間的に2フレーム期間前の信号であり、2フレーム遅延映像信号とも呼ばれる。
また、以下に説明するように、映像信号D2を対象として動きベクトル検出処理を行うので、映像信号D2を注目フレーム映像信号と呼び、映像信号D1を後フレーム映像信号と呼ぶこともある。
映像信号D1、D2、D3は、上記のように、画像を構成する複数の画素の信号の列から成り、座標(i,j)の位置にある画素P(i,j)の画素値はD1(i,j)、D2(i,j)、D3(i,j)と表される。
映像信号D1、D2、D3は、上記のように、画像を構成する複数の画素の信号の列から成り、座標(i,j)の位置にある画素P(i,j)の画素値はD1(i,j)、D2(i,j)、D3(i,j)と表される。
図4は動きベクトル検出部5の構成例を示す。図示の動きベクトル検出部5は、その外部から入力される第1の映像信号(D2)およびその外部から入力され第1の映像信号(D2)に対し1フレーム以上時間的に前又は後の第2の映像信号(D1)に基づいて、前記第1の映像信号(D2)における動きベクトルを検出するものであり、図示の動きベクトル検出部5は、注目フレームブロック切り出し部21と、後フレームブロック切り出し部22と、動きベクトル決定部23を備える。
注目フレームブロック切り出し部21は、注目フレーム映像信号D2から、図5(a)に示されるように、注目画素P(i,j)の周辺領域、例えば注目画素を中心とし、高さ(垂直方向サイズ)が(2*BM+1)、幅(水平方向サイズ)が(2*BN+1)の矩形領域(ブロック)D2B(i,j)を切り出す。
後フレームブロック切り出し部22は、映像信号D1に対し、前記注目画素P(i、j)毎に定義される座標の集合、
S(i,j)={(i+k,j+l)} (1)
(ただし、−SV≦k≦SV、−SH≦l≦SH
また、SV、SHは所定の値である。)
に含まれる位置(i+k,j+l)を中心として、矩形領域D2B(i,j)と同じサイズの矩形領域D1B(i+k,j+l)を切り出す(図5(b))。ここで、S(i,j)は、注目画素P(i、j)についての動きベクトルの探索範囲とも呼ばれる。このように定義される探索範囲は、横方向が2*H+1、縦方向が2*V+1の矩形の領域である。
S(i,j)={(i+k,j+l)} (1)
(ただし、−SV≦k≦SV、−SH≦l≦SH
また、SV、SHは所定の値である。)
に含まれる位置(i+k,j+l)を中心として、矩形領域D2B(i,j)と同じサイズの矩形領域D1B(i+k,j+l)を切り出す(図5(b))。ここで、S(i,j)は、注目画素P(i、j)についての動きベクトルの探索範囲とも呼ばれる。このように定義される探索範囲は、横方向が2*H+1、縦方向が2*V+1の矩形の領域である。
動きベクトル決定部23は、注目フレームブロック切り出し部21から入力される矩形領域D2B(i,j)と、後フレームブロック切り出し部22から入力されるブロックD1B(i+k,j+l)との間で、それぞれのブロック内のすべての画素、即ち(2*BM+1)*(2*BN+1)個の、互いに対応する位置の画素同士の差分の絶対値の総和(差分絶対値和)SAD(i+k,j+l)を求める。該差分絶対値和SAD(i+k,j+l)は下記の式(2)で表される。
後述のように、(2*SV+1)*(2*SH+1)個の矩形領域D1B(i+k,j+l)に対応して(2*SV+1)*(2*SH+1)個の差分絶対値和SAD(i+k,j+l)が得られ、その中で値が最小となるものを生じさせた矩形領域D1B(i+km,j+lm)を特定し、該矩形領域の、矩形領域D2B(i,j)に対する相対位置(km,lm)を動きベクトルV=(Vy,Vx)=(km,lm)として、画像補正処理部6へ出力する。
以上の処理により、動きベクトル決定部23は、注目フレーム映像信号D2の矩形領域D2B(i,j)が、後フレーム映像信号D1のどの領域に動いたかを推定し、推定された領域D1Bの、矩形領域D2B(i,j)に対する相対位置を、注目画素P(i、j)についての動きベクトルV(他の画素についての動きベクトルとの区別のため「V(i,j)」と表すこともある)として出力する。
上記のような動きベクトル検出を、入力画像遅延部4から出力される映像信号D2の全画素に対して行い、各画素について動きベクトルを検出し、このようにして得られた動きベクトルを動きぼやけの軽減に利用する。
なお、動きベクトル検出部5における動きベクトル検出に当たり、画像の上端、下端、左端、右端の外側の画素が、上記の矩形領域D2B(i,j)、D1B(i+k,j+l)の一部となり、それらの画素値が必要とされる場合は、例えば、上端、下端、左端、右端の外側の画素が、それぞれ上端、下端、左端、右端の画素と同じ値を持つものとして処理をすれば良い。後述のフィルタリング部34、平均値算出部37などにおける演算においても同様である。
また、本発明における動きベクトル検出部5の処理方法は、上記方法に限定されるものでは無く、注目フレーム映像信号、後フレーム映像信号のほかに、注目フレーム映像信号より1フレーム前の映像信号をも用いる手法や、後フレーム映像信号を用いずに、注目フレーム映像信号と、注目フレーム映像信号より1フレーム前の映像信号をも用いる手法や、注目フレーム映像信号と後フレーム映像信号とを用い、位相相関関数を用いて求める手法などを採用しても良い。
図6は、画像補正処理部6の構成例を示す。図示の画像補正処理部6は、補正演算部30と、操作信号処理部31と、動きぼやけ推定部32と、フィルタ係数保存部33と、フィルタリング部34と、平均値算出部37と、補正強度調整部38と、利得計算部39とを備える。
補正演算部30は、映像信号D2を受け、後述の利得GAINにより、画素毎に補正処理を行い、補正後の映像信号Eを画像選択部10へ出力する。
操作信号処理部31は、ユーザより図示しないインターフェースを用いて入力された信号PRを解析し、解析結果として得られたパラメータを出力する。
操作信号処理部31から出力されるパラメータには、調整パラメータADJ、補正強度パラメータBST0、閾値TH1、TH2が含まれる。
操作信号処理部31から出力されるパラメータには、調整パラメータADJ、補正強度パラメータBST0、閾値TH1、TH2が含まれる。
調整パラメータADJは、動きベクトルから動きぼやけ量を算出するためのものであり、動きぼやけ推定部32へ供給される。
閾値TH1は、フィルタリング部34の特性を調整するためのものであり、フィルタリング部34へ供給される。
補正強度パラメータBST0は、補正強度を決定するものであり、閾値TH2は、画像の特徴の判別に用いられるものであり、これらは補正強度調整部38へ供給される。
閾値TH1は、フィルタリング部34の特性を調整するためのものであり、フィルタリング部34へ供給される。
補正強度パラメータBST0は、補正強度を決定するものであり、閾値TH2は、画像の特徴の判別に用いられるものであり、これらは補正強度調整部38へ供給される。
動きぼやけ推定部32は、動きベクトル検出部5で検出した動きベクトルV(垂直方向成分Vy(=km),水平方向成分Vx(=lm))を入力とし、該動きベクトルを極座標で表したときの成分(大きさ及び角度)を算出する。具体的には、動きベクトルの向きが水平方向右向きとなる場合を0度として、動きベクトルの方向A(度)と大きさLM(画素)を次式にて算出する。
動きぼやけ推定部32ではさらに、動きベクトルに対応する角度及び動きぼやけの大きさ(動きの方向のぼやけ幅)を求める。例えば、動きぼやけの角度は、動きベクトルの角度Aと同じとし、一方、動きぼやけの大きさLBは、動きベクトルの大きさLMに調整パラメータADJ(0<ADJ≦1)を乗算した値に等しいとし、下記の式(5)により、動きぼやけの大きさLBを求める。
LB=LM*ADJ (5)
LB=LM*ADJ (5)
調整パラメータADJは、図7に示すように、フレーム期間の長さTfに対する、撮像期間の長さTs、例えば電荷蓄積時間の比(Ts/Tf)に相当する値を持つものであり、各フレームにおける実際の撮像期間の長さTsに応じて変更しても良いが、本実施の形態が対象としている条件下での撮像期間の典型的な値、平均値、あるいは中間値に基づいて定めても良い。例えば中間値を用いる場合、撮像期間がフレーム期間のEXS倍からEXL倍(EXS、EXLともに1より小さい)の範囲内であれば、その中間値(EXS+EXL)/2をADJと定めることとする。
このように調整パラメータADJを掛けるのは、動きベクトルVはフレーム間で検出され、従って、フレーム期間当たりの動きの量を反映したものであるのに対して、動きぼやけは、撮像期間中の被写体の動きに起因するものであるためである。
このように調整パラメータADJを掛けるのは、動きベクトルVはフレーム間で検出され、従って、フレーム期間当たりの動きの量を反映したものであるのに対して、動きぼやけは、撮像期間中の被写体の動きに起因するものであるためである。
フィルタ係数保存部33は、予め複数の動きぼやけの方向及び大きさの組合せに対応付けて複数のローパスフィルタ係数(2次元FIRフィルタ係数)をテーブル形式で記憶している。このフィルタ係数は、特定の方向及び大きさの動きぼやけを含む映像信号から、動きぼやけの成分を低減するためのものである。
動きぼやけ推定部32は、上記のようにして算出した動きぼやけの方向A及び大きさLBの組合せに対応したフィルタ係数をテーブルから読み出すため、動きぼやけの方向A及び大きさLBからテーブルへのポインタINDを算出して、フィルタ係数保存部33へ入力する。
フィルタ係数保存部33は、入力されたポインタINDに対応して記憶されているフィルタ係数CF(p,q)を読み出し、フィルタリング部34へ出力する。
このように、動きぼやけ推定部32は、ポインタINDをフィルタ係数保存部33に供給することで、フィルタ係数保存部33に保存されたフィルタ係数の中から、推定された動きぼやけの方向A及び大きさLBに対応したフィルタ係数CF(p,q)を選択する。
動きぼやけ推定部32は、上記のようにして算出した動きぼやけの方向A及び大きさLBの組合せに対応したフィルタ係数をテーブルから読み出すため、動きぼやけの方向A及び大きさLBからテーブルへのポインタINDを算出して、フィルタ係数保存部33へ入力する。
フィルタ係数保存部33は、入力されたポインタINDに対応して記憶されているフィルタ係数CF(p,q)を読み出し、フィルタリング部34へ出力する。
このように、動きぼやけ推定部32は、ポインタINDをフィルタ係数保存部33に供給することで、フィルタ係数保存部33に保存されたフィルタ係数の中から、推定された動きぼやけの方向A及び大きさLBに対応したフィルタ係数CF(p,q)を選択する。
フィルタリング部34は、動きぼやけ推定部32により選択されたフィルタ係数CF(p,q)を用いてフィルタリングを行う。即ち、フィルタリング部34は、上記のようにしてフィルタ係数保存部33から読み出されるフィルタ係数CF(p,q)(但し、−P≦p≦P、−Q≦q≦Q)を用いて、映像信号D2の各注目画素P(i,j)の周辺領域内の画素の画素値を用いて、フィルタリングを行い、フィルタリングの結果FL1(i,j)を出力するものであり、非線形処理部35と、ローパスフィルタ36とを有する。
非線形処理部35は、注目画素の画素値D2(i,j)と、その周辺領域内の画素の画素値D2(i−p,j−q)との差分と、操作信号処理部31より入力される閾値TH1とに基づいて下記の式(6a)〜(6f)で示される非線形処理を行う。
(A) D2(i−p,j−q)−D2(i,j)>TH1のとき
D2b(i−p,j−q)−D2(i,j)=TH1 (6a)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)+TH1 (6b)
により、
(B) D2(i−p,j−q)−D2(i,j)≦−TH1のとき
D2b(i−p,j−q)−D2(i,j)=−TH1 (6c)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)−TH1 (6d)
により、
(C) 上記(A)、(B)以外のとき
D2b(i−p,j−q)−D2(i,j)
=D2(i−p,j−q)−D2(i,j) (6e)
となるように、即ち、
D2b(i−p,j−q)=D2(i−p,j−q) (6f)
により、D2b(i−p,j−q)を定める。
D2b(i−p,j−q)−D2(i,j)=TH1 (6a)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)+TH1 (6b)
により、
(B) D2(i−p,j−q)−D2(i,j)≦−TH1のとき
D2b(i−p,j−q)−D2(i,j)=−TH1 (6c)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)−TH1 (6d)
により、
(C) 上記(A)、(B)以外のとき
D2b(i−p,j−q)−D2(i,j)
=D2(i−p,j−q)−D2(i,j) (6e)
となるように、即ち、
D2b(i−p,j−q)=D2(i−p,j−q) (6f)
により、D2b(i−p,j−q)を定める。
ローパスフィルタ36は、各注目画素D2(i,j)の周辺領域、即ち、(2P+1)*(2Q+1)個の画素から成る範囲で、上記の非線形処理の結果として得られる値D2b(i−p,j−p)に対して、対応するフィルタ係数CF(p,q)を乗算し、乗算結果の総和をフィルタリング結果FL1(i,j)として求める。
ローパスフィルタ36で用いられるフィルタ係数CF(p,q)について以下に説明する。
フィルタ係数は注目画素を中心として、−P≦p≦P、−Q≦q≦Qの領域内の画素について定義される。
先にも述べたように、フィルタ係数CF(p,q)は、動きぼやけの角度A及び大きさLBに基づいて決められる。
図8〜図10は、フィルタ係数が定義される領域のうち、動きぼやけの幾つかの例に対して、フィルタ係数が0以外の値に定義される領域を示す。以下では、このフィルタ係数が0以外の値となる領域を有効フィルタリング領域EFAと言う。有効フィルタリング領域EFA内の画素位置におけるフィルタ係数の総和は1である。
フィルタ係数は注目画素を中心として、−P≦p≦P、−Q≦q≦Qの領域内の画素について定義される。
先にも述べたように、フィルタ係数CF(p,q)は、動きぼやけの角度A及び大きさLBに基づいて決められる。
図8〜図10は、フィルタ係数が定義される領域のうち、動きぼやけの幾つかの例に対して、フィルタ係数が0以外の値に定義される領域を示す。以下では、このフィルタ係数が0以外の値となる領域を有効フィルタリング領域EFAと言う。有効フィルタリング領域EFA内の画素位置におけるフィルタ係数の総和は1である。
動きぼやけの大きさLB及びその角度Aに応じた帯状の領域が、有効フィルタリング領域EFAとされる。そして、有効フィルタリング領域EFAに完全に又は部分的に含まれる画素に対して、その有効フィルタリング領域EFAに含まれる割合に応じた重み付け係数を与える。例えば、有効フィルタリング領域EFAに部分的に含まれる画素に対しては、有効フィルタリング領域EFAに完全に(その全体が)含まれる画素よりも重み付け係数の値を小さくし、各画素についての重み付け係数の値は、該画素が有効フィルタリング領域EFAに含まれる割合に比例した値とする。
この帯状の領域は、動きぼやけの方向に延在するものであり、その長さは、動きぼやけの大きさLBの所定数倍、例えば2倍であり、動きぼやけの始端及び終端からその前後に所定量、例えば、動きぼやけの大きさLBの0.5倍ずつ延長した長さを有する。帯状の領域の幅は、1画素のサイズに相当するものとする。図8〜図10に示す例は、1画素のサイズが垂直方向と水平方向とで同じであるものとして示してある。図8〜図10ではまた、動きぼやけの始点が座標(i,j)で示される位置にあるものとしている。
図8に示される例では、動きぼやけが水平方向右向きでその大きさLBが4画素分である。この場合、動ききぼやけは、動きぼやけの始点の画素Ps(座標(i,j)の画素)の中心から終点の画素Pe(座標(i,j+4)の中心まで延びていると見て、その前後に2画素(0.5×4画素)の長さを加える。即ち、始点の画素Psの中心から後方(図8で左方)へ2画素分後退した(図で左方に移動した)位置、即ち、座標(i,j−2)の画素の中心から、終点の画素Peの中心から前方(図8で右方)へ2画素分前進した(図で右方に移動した)位置、即ち、座標(i,j+6)の画素の中心までの範囲を有効範囲とする。これらの画素に対して、その有効フィルタリング領域EFAに含まれる割合に応じた重み付け係数を与える。即ち、座標(i,j−1)の画素から、座標(i,j+5)までの画素に対しては同じ値の係数を与え、座標(i,j−2)の画素、座標(i,j+6)の画素は、各々半分のみが有効フィルタリング領域EFAに含まれるので、他の画素(座標(i,j−1)から座標(i,j+5)までの画素)の係数の1/2の値を与える。
図8の例では、有効フィルタリング領域EFA内に半分のみ含まれる画素の数が2であり、有効フィルタリング領域EFAに完全に含まれる画素の数が6であるので、有効フィルタリング領域EFAに完全に含まれる画素に対しては1/7の重み付け係数が与えられ、有効フィルタリング領域EFAに半分だけ含まれる画素に対しては1/14の重み付け係数が与えられる。
図9に示される例では、動きぼやけが水平方向右向きでその大きさLBが3画素分である。この場合、動きぼやけは、動きぼやけの始点の画素Ps(座標(i,j)の画素)の中心から終点の画素Pe(座標(i,j+3)の中心まで延びていると見て、その前後に1.5画素(0.5×3画素)の長さを加える。即ち、始点の画素Psの中心から後方(図9で左方)へ1.5画素分後退した位置、即ち、座標(i,j−1)の画素の左端から、終点の画素Peの中心から前方(図9で右方)へ1.5画素分前進した位置、即ち、座標(i,j+4)の画素の右端までの範囲を有効範囲とする。そして、図9の例では、有効フィルタリング領域EFAに部分的に含まれる画素は存在せず、有効フィルタリング領域EFAに完全に含まれる画素の数が6であるので、これらの画素の各々についての係数を1/6と定める。
図10に示される例では、動きぼやけの大きさLBは3画素分であり、図9の場合と同じであり、有効フィルタリング領域EFAの長さ及び幅は、図9の場合と同じであるが、動きぼやけの角度が30度であり、その結果、部分的にのみ有効フィルタリング領域EFAに含まれる画素の数が多く存在する。具体的には、座標(i−3,j+4)、座標(i−2,j+2)、座標(i−2,j+3)、座標(i−2,j+4)、座標(i−1,j)、座標(i−1,j+1)、座標(i−1,j+2)、座標(i−1,j+3)、座標(i,j−1)、座標(i,j)、座標(i,j+1)、座標(i,j+2)、座標(i+1,j−1)、座標(i+1,j)の画素がそれぞれ部分的に有効フィルタリング領域EFAに含まれている。そこで、これらの14個の画素に対して有効フィルタリング領域EFAに含まれる割合に応じて重み付け係数を与える。
動きぼやけの大きさLB、角度Aの他の値についても同様に各画素についての重み付け係数を求める。但し、動きぼやけの大きさLB、角度Aが取り得る値のすべてについて重み付け係数を求めるのではなく、大きさLB、角度Aの各々について、互いに所定の範囲ごとの代表値LR、ARに対して重み付け係数を求め、フィルタ係数としてフィルタ係数保存部33に保存しておき、それぞれの範囲内の大きさLB、角度Aに対しては、代表値LR、ARに対して求められ、保存されているフィルタ係数を用いる。代表値LR、AR(またはこれに対応する値)は、後述のポインタINDの生成に用いられる。これらの点については後にさらに詳しく説明する。
なお、上記の例では、有効フィルタリング領域EFAが、動きぼやけを、その始端及び終端から前後に動きぼやけの大きさLBの0.5倍ずつ延長した長さを有することとしているが、該延長量を動きぼやけの大きさLBに関係しない所定値としてもよく、例えば、該延長量を0.5画素分としても良い。また、該延長量をゼロとしても良い。
また、有効フィルタリング領域EFAに含まれる画素について、有効フィルタリング領域EFAに含まれる割合に応じた重み付けを行う一方、注目画素からの距離に応じた重み付けを行わない構成を持つ移動平均フィルタを用いているが、注目画素からの距離に応じた重み付けを行う構成であっても良い。そのようなフィルタの例としてガウスフィルタがある。
先にも述べた通り、ローパスフィルタ36は、各注目画素D2(i,j)の周辺領域の画素についての非線形処理の結果として得られる値D2b(i−p,j−p)に対して、フィルタ係数保存部33から読み出された、対応するフィルタ係数CF(p,q)を乗算し、乗算結果の総和をフィルタリング結果FL1(i,j)として求める。このフィルタリングは下記の式で表される。
また、有効フィルタリング領域EFAに含まれる画素について、有効フィルタリング領域EFAに含まれる割合に応じた重み付けを行う一方、注目画素からの距離に応じた重み付けを行わない構成を持つ移動平均フィルタを用いているが、注目画素からの距離に応じた重み付けを行う構成であっても良い。そのようなフィルタの例としてガウスフィルタがある。
先にも述べた通り、ローパスフィルタ36は、各注目画素D2(i,j)の周辺領域の画素についての非線形処理の結果として得られる値D2b(i−p,j−p)に対して、フィルタ係数保存部33から読み出された、対応するフィルタ係数CF(p,q)を乗算し、乗算結果の総和をフィルタリング結果FL1(i,j)として求める。このフィルタリングは下記の式で表される。
式(7)によるフィルタ結果FL1(i,j)は、利得計算部39へ出力される。
平均値算出部37は、映像信号D2の各注目画素D2(i,j)の周辺領域内の画素の画素値の平均値FL2(i,j)を出力する。
ここで言う周辺領域は、例えば、(2P+1)*(2Q+1)個の画素から成る範囲であり、平均値算出部37は、該範囲内の画素値D2(i−p,j−q)の平均値FL2(i,j)、即ち、下記の式(8)で表される値を計算し、補正強度調整部38へ出力する。
平均値算出部37は、映像信号D2の各注目画素D2(i,j)の周辺領域内の画素の画素値の平均値FL2(i,j)を出力する。
ここで言う周辺領域は、例えば、(2P+1)*(2Q+1)個の画素から成る範囲であり、平均値算出部37は、該範囲内の画素値D2(i−p,j−q)の平均値FL2(i,j)、即ち、下記の式(8)で表される値を計算し、補正強度調整部38へ出力する。
補正強度調整部38は、注目画素の近傍における画素値の変化の度合い乃至大きさ、例えば、注目画素の画素値D2(i,j)と周辺領域内の画素の画素値の平均値FL2(i,j)との差に応じて、注目画素に対する補正強度を調整する。補正強度の調整は以下に説明するように補正強度パラメータBST1(i,j)の調整により行われる。
具体的には、補正強度調整部38は、操作信号処理部31から入力される補正強度パラメータBST0に基づいて、調整後の補正強度パラメータBST1を出力するものであり、入力画像遅延部4から入力された映像信号D2の注目画素の画素値D2(i,j)と、平均値算出部37からの平均値FL2(i,j)との差分の絶対値が、操作信号処理部31から入力される閾値TH2より小さい場合は、操作信号処理部31から入力される補正強度パラメータBST0より小さい調整後の補正強度パラメータBST1(i,j)を生成して、利得計算部39へ出力する。調整後の補正強度パラメータBST(i,j)としては、例えばBST0×β(β<1)で与えられるものを用いることができる。調整後の補正強度パラメータBST1(i,j)を補正強度パラメータBST0に対してどの程度小さくするか(例えば、βの値)は、ユーザが決定可能としても良い。例えば、β=1/2としても良く、β=0としても良い。
具体的には、補正強度調整部38は、操作信号処理部31から入力される補正強度パラメータBST0に基づいて、調整後の補正強度パラメータBST1を出力するものであり、入力画像遅延部4から入力された映像信号D2の注目画素の画素値D2(i,j)と、平均値算出部37からの平均値FL2(i,j)との差分の絶対値が、操作信号処理部31から入力される閾値TH2より小さい場合は、操作信号処理部31から入力される補正強度パラメータBST0より小さい調整後の補正強度パラメータBST1(i,j)を生成して、利得計算部39へ出力する。調整後の補正強度パラメータBST(i,j)としては、例えばBST0×β(β<1)で与えられるものを用いることができる。調整後の補正強度パラメータBST1(i,j)を補正強度パラメータBST0に対してどの程度小さくするか(例えば、βの値)は、ユーザが決定可能としても良い。例えば、β=1/2としても良く、β=0としても良い。
画素値D2(i,j)と平均値FL2(i,j)の差分の絶対値が、閾値TH2よりも小さくないときは、補正強度パラメータBST0をそのまま調整後の補正強度パラメータBST1(i,j)として出力する。従って、(D2(i,j)−FL2(i,j))と、調整後の補正強度パラメータBST1との関係は、図11に示されるごとくである。
利得計算部39は、フィルタリング部34から得られるフィルタ結果FL1(i,j)と、補正強度調整部38から出力される調整後の補正強度パラメータBST1(i,j)と、入力画像遅延部4から入力される映像信号D2の注目画素の画素値D2(i,j)を参照し、補正処理で用いられる乗算係数乃至利得GAIN(i,j)を次式に基づき計算する。
GAIN(i,j)
=1+BST1(i,j)−BST1(i,j)*FL1(i,j)/D2(i,j)
(9)
=1+BST1(i,j)−BST1(i,j)*FL1(i,j)/D2(i,j)
(9)
ただし、D2(i,j)=0の場合は、便宜的にD2(i,j)=1として計算する。また、式(9)を計算した結果、GAIN<0となる場合は、GAIN(i,j)=0とする。そして、得られた利得GAIN(i,j)を補正演算部30へ出力する。
補正演算部30は、入力画像遅延部4から入力される映像信号D2の注目画素の画素値D2(i,j)に対し、次式に基づく計算により画素値E(i,j)を求め、補正後の映像信号の画素P(i,j)の画素値として画像選択部10へ出力する。
E(i,j)=GAIN(i,j)*D2(i,j) (10)
E(i,j)=GAIN(i,j)*D2(i,j) (10)
図12は、処理画像遅延部7の構成例を示す。図示の処理画像遅延部7は、フレームメモリ41と、フレームメモリ制御部42とを備えている。フレームメモリ41は入力された映像信号E0を少なくとも1フレーム分記憶可能な容量を有している。
フレームメモリ制御部42は、入力された映像信号E0に含まれる同期信号を元に生成したメモリアドレスに従い、入力された映像信号E0の書込みと、蓄積された映像信号の読み出しとを行う。具体的には、入力された映像信号E0を1フレーム分遅延させ、映像信号E1として出力する。
次に、動きベクトルVの検出に誤りが少ないかどうか、従って、信頼性が十分に高いかどうかの判定を行うアルゴリズムについて述べる。この判定は、高周波成分検出部8及び判定部9で行われものであり、各フレーム中の各画素についての動きベクトルは、その周囲の画素についての動きベクトルに対して大きく異なることは少ないとことに基づくものである。
即ち、動きベクトルの検出は、動きベクトル検出部5により行われるが、注目画素(i,j)における動きベクトルV(Vy(i,j),Vx(i,j))は、その周辺画素における動きベクトルVから大きく変化することがある。しかしながら、多くの場合映像信号は相関の強い画素が一定領域において2次元で並んでいると考えられ、意味のある2次元情報を構成していると考えられる。1フレーム内において検出された動きベクトルの変化が多い場合、動きベクトルの検出に誤りが多く、信頼性が低いと推定することができる。そこで、動きベクトル検出部5により検出された動きベクトルの高周波成分を検出し、上記のような変化を捉えることを考える。
即ち、動きベクトルの検出は、動きベクトル検出部5により行われるが、注目画素(i,j)における動きベクトルV(Vy(i,j),Vx(i,j))は、その周辺画素における動きベクトルVから大きく変化することがある。しかしながら、多くの場合映像信号は相関の強い画素が一定領域において2次元で並んでいると考えられ、意味のある2次元情報を構成していると考えられる。1フレーム内において検出された動きベクトルの変化が多い場合、動きベクトルの検出に誤りが多く、信頼性が低いと推定することができる。そこで、動きベクトル検出部5により検出された動きベクトルの高周波成分を検出し、上記のような変化を捉えることを考える。
例えば、高周波成分検出部8は、次式のような2次元の2階差分を垂直方向の動きベクトルと水平方向の動きベクトル(動きベクトル検出部5から出力される)に対して演算し、それぞれの絶対値を加算することで、注目画素(i,j)の高周波成分L(i,j)として出力する。
L(i,j)
=|Vy(i−1,j)+Vy(i+1,j)+Vy(i,j−1)+Vy(i,j+1)−4Vy(i,j)|
+|Vx(i−1,j)+Vx(i+1,j)+Vx(i,j−1)+Vx(i,j+1)−4Vx(i,j)|
(14)
=|Vy(i−1,j)+Vy(i+1,j)+Vy(i,j−1)+Vy(i,j+1)−4Vy(i,j)|
+|Vx(i−1,j)+Vx(i+1,j)+Vx(i,j−1)+Vx(i,j+1)−4Vx(i,j)|
(14)
高周波成分L(i,j)を閾値C1と比較し、比較結果としての高周波成分検出結果Hを次のように得る。
(A) L(i,j)<C1であれば、H(i,j)=0 (15a)
(B) L(i,j)≧C1であれば、H(i,j)=1 (15b)
(B) L(i,j)≧C1であれば、H(i,j)=1 (15b)
式(15a)、式(15b)による判定結果でH(i,j)=1となった場合、各画素について検出された動きベクトルが誤検出されたものである推定して処理する。
次に判定部9では、高周波成分検出部8から出力された高周波成分検出結果Hを1フレーム分計数乃至積算する。つまり、高周波成分検出結果Hの1フレーム分の合計Tを下記の式(16)によって得る。
そして、上式(16)で得た合計Nhfと閾値C2との比較により、判定結果Rを次のように得る。
(A) Nhf<C2であれば、R=0 (17a)
(B) Nhf≧C2であれば、R=1 (17b)
(A) Nhf<C2であれば、R=0 (17a)
(B) Nhf≧C2であれば、R=1 (17b)
R=1の場合には、当該フレームには動きベクトルの検出に誤りが多く、信頼性が低いと判断する。
一方、R=0の場合には、当該フレームにおける動きベクトルの検出には誤りが少なく、信頼性が十分に高いと判断する。
一方、R=0の場合には、当該フレームにおける動きベクトルの検出には誤りが少なく、信頼性が十分に高いと判断する。
判定部9から出力された判定結果Rは画像選択部10へ入力され、画像選択部10は、選択制御信号Rが「0」の場合は処理画像遅延部7から出力される補正された映像信号E1(図2(h))を選択して最終出力映像信号Fとして出力し(図2(k))、選択制御信号Rが「1」の場合は入力画像遅延部4から出力される映像信号D3(図2(f))を選択して最終出力映像信号Fとして出力する(図2(l))。
画像選択部10から出力された最終出力映像信号Fは、画像表示部3にて表示される。
なお、図1の構成において、入力画像遅延部4、動きベクトル検出部5、及び画像補正処理部6において、輝度信号(Y)のみを処理することで、被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減することができる。しかしながら、輝度信号(Y)だけでなく、赤色信号(R)、青色信号(G)、緑色信号(B)を個別に処理してもよい。またR、G、Bの和を表す信号で、式(9)の利得GAIN(i,j)を求め、画像補正処理部6の動作に関し、式(10)ではR、G、B個別に処理をしても良い。また、輝度信号(Y)と色差信号(Cb、Cr)を個別に処理してもよい。輝度信号(Y)で利得GAIN(i,j)を求め、求めた利得GAIN(i,j)を用いて、輝度信号(Y)と色差信号(Cb、Cr)の各々に対して、式(10)の演算により個別に処理しても良い。他の色表現フォーマットでも同様な処理が行える。
以下、画像処理装置2の各構成要素の動作についてさらに詳しく説明する。
画像処理装置2に入力された映像信号D0は入力画像遅延部4に入力される。
図2(a)〜(l)は、入力画像遅延部4に入力される映像信号D0と、入力画像遅延部4から出力される映像信号D1、D2、D3の関係を説明する図である。図2(a)に示される入力垂直同期信号SYIに同期して、図2(b)に示すように、フレームF0、F1、F2、F3、F4の入力映像信号D0が順次入力される。
画像処理装置2に入力された映像信号D0は入力画像遅延部4に入力される。
図2(a)〜(l)は、入力画像遅延部4に入力される映像信号D0と、入力画像遅延部4から出力される映像信号D1、D2、D3の関係を説明する図である。図2(a)に示される入力垂直同期信号SYIに同期して、図2(b)に示すように、フレームF0、F1、F2、F3、F4の入力映像信号D0が順次入力される。
フレームメモリ制御部12は入力垂直同期信号SYIを元にフレームメモリ書込みアドレスを生成し、入力映像信号D0をフレームメモリ11に記憶させると共に、図2(c)に示す出力垂直同期信号SYO(入力垂直同期信号SYIに対して遅れがないものとして示してある)に同期して、図2(d)に示すように、入力映像信号D0に対してフレーム遅延のない映像信号D1(フレームF0、F1、F2、F3、F4の映像信号)を出力する。
フレームメモリ制御部12はまた、出力垂直同期信号SYOを元にフレームメモリ読み出しアドレスを生成し、フレームメモリ11に蓄えられた、1フレーム遅延映像信号D2(図2(e))、2フレーム遅延映像信号D3(図2(f))を読み出して出力する。
この結果、入力画像遅延部4からは、連続する3フレームの映像信号D1、D2、D3が同時に出力される。即ち、フレームF2の映像信号が映像信号D0として入力されるタイミング(フレーム期間)に、フレームF2、F1、F0の映像信号が映像信号D1、D2、D3として出力され、フレームF3の映像信号が映像信号D0として入力されるタイミング(フレーム期間)に、フレームF3、F2、F1の映像信号が映像信号D1、D2、D3として出力される。
入力画像遅延部4から出力された、連続する2フレームの映像信号D1、D2は、動きベクトル検出部5へ供給され、映像信号D2は画像補正処理部6へも供給され、映像信号D3は画像選択部10へ供給される。
動きベクトル検出部5に入力された映像信号D1、D2は、それぞれ後フレームブロック切り出し部22、注目フレームブロック切り出し部21へ入力される。
動きベクトル検出部5に入力された映像信号D1、D2は、それぞれ後フレームブロック切り出し部22、注目フレームブロック切り出し部21へ入力される。
動きベクトル検出部5では、例えば、映像符号化でよく用いられる差分絶対値和SADを用いた動きベクトルの検出を行い、検出した動きベクトルの値V(図2(i))を出力する。本実施の形態では、動きぼやけが生じている画素の動きぼやけを軽減することが目的であるため、画素毎に差分絶対値和SADを計算し、その最小値から動きベクトルを求める。
しかし、差分絶対値和SADを求める演算を全画素について実行すれば、演算量が莫大となってしまうため、映像符号化と同様に動きベクトルを検出するためのブロックが、隣り合うもの同士で重ならないように処理し、動きベクトルを検出しない画素に対しては、周辺で検出された動きベクトルより補間することとしても良い。
しかし、差分絶対値和SADを求める演算を全画素について実行すれば、演算量が莫大となってしまうため、映像符号化と同様に動きベクトルを検出するためのブロックが、隣り合うもの同士で重ならないように処理し、動きベクトルを検出しない画素に対しては、周辺で検出された動きベクトルより補間することとしても良い。
また、上記においては、動きベクトル検出部5で用いるブロックサイズを、注目画素P(i,j)を中心に上下及び左右が同じサイズの矩形の領域とし、矩形領域の高さ及び幅をそれぞれ(2*BM+1)、(2*BN+1)で表される奇数とした。しかしながら、矩形領域の高さ及び幅は、奇数でなくても良く、注目画素の矩形領域内の位置は正確に中心でなくても、若干ずれた位置であっても良い。
さらには、式(1)のように、探索範囲を−SV≦k≦SV、−SH≦l≦SHと定義し、本範囲に含まれる全てのkおよびlに対して差分絶対値和SADを計算するものとした。しかし、演算量を削減する目的でkおよびlを適度に間引き差分絶対値和SADを計算しても良い。この場合、間引かれた(間引きにより除去された)位置(i+k,j+l)については、その周辺の位置についての、差分絶対値和SAD(i+k,j+l)から補間をして用いても良い。また、動きベクトルの精度を検討し、精度に問題が無ければ間引いて得られた差分絶対値和SADを用いても良い。
画像補正処理部6では、映像信号D2(図2(e))に対して補正処理を加え、補正処理後の映像信号E0を出力する(図2(g))を出力する。
画像補正処理部6に入力された動きベクトルVは、まず動きぼやけ推定部32へ入力される。動きぼやけ推定部32へ入力される動きベクトルVは、図13のように垂直方向の成分Vy(i,j)と水平方向の成分Vx(i,j)とで表されているので、式(3)より動きベクトルの方向A(度)を算出し、式(4)より動きベクトルの大きさLM(画素)を算出する。
ここで、カメラを静止し、等速直線運動をしている物体を撮影した場合を考える。この時撮像される連続した3フレームの映像信号で表される画像の要素の動きの一例を図14(a)、(b)に示す。図示の例では、1フレーム目と2フレーム目の間(図14(a))と2フレーム目と3フレーム目との間(図14(b))の各々において、画像の要素ESが、水平方向に4画素移動し、垂直方向には移動していない(Vy=0、Vx=4)。従って、1フレーム目と2フレーム目の間、及び2フレーム目と3フレーム目の間における動きベクトルは、図14(a)、図14(b)の矢印のように水平方向4画素、垂直方向0画素として検出される。
仮に、図14(a)、図14(b)に示される画像の撮像期間Tsが1フレーム期間Tfと等しければ、動きぼやけの大きさLBも水平方向に4画素、垂直方向に0画素となる。
しかし、実際には撮像期間Tsは、図7に示すように、1フレーム期間Tfよりも短いため、図15(a)、(b)に示すように、動きぼやけの大きさLBは、動きベクトルの大きさLMによりも小さく、その割合は、1フレーム期間Tfに対する、撮像期間Tsの長さの比(Ts/Tf)に相当する。
しかし、実際には撮像期間Tsは、図7に示すように、1フレーム期間Tfよりも短いため、図15(a)、(b)に示すように、動きぼやけの大きさLBは、動きベクトルの大きさLMによりも小さく、その割合は、1フレーム期間Tfに対する、撮像期間Tsの長さの比(Ts/Tf)に相当する。
このことを考慮し、動きベクトルの大きさLMに、1よりも小さい調整パラメータADJを掛けた値を、動きぼやけの大きさLBと推定する。調整パラメータADJは、先に述べたように、各フレームの実際の撮像期間の長さTsに基づいて決めても良く、経験的に決定することとしても良く、ユーザにより設定可能としても良い。
次に、フィルタ係数保存部33のテーブルからフィルタ係数を読み出すためのポインタINDの算出方法を説明する。
例えば、フィルタ係数保存部33に保存されているフィルタ係数が、角度(単位が「度」であるとする)の代表値としての、0度から165度までの15度毎の角度、大きさの代表値としての、1から21までの奇数に対して定義されているとする。
このとき、式(5)で得られたLBを四捨五入し、四捨五入の結果が偶数であれば1を加算して奇数にし(LB=LB+1)、このような処理の結果が「21」よりも大きければ、「21」にクリッピングし、このような処理をした結果を、動きぼやけの大きさの代表値LRとして出力する。動きぼやけの大きさLBの値が代表値LRを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの大きさLBは代表値LRに変換される。
例えば、フィルタ係数保存部33に保存されているフィルタ係数が、角度(単位が「度」であるとする)の代表値としての、0度から165度までの15度毎の角度、大きさの代表値としての、1から21までの奇数に対して定義されているとする。
このとき、式(5)で得られたLBを四捨五入し、四捨五入の結果が偶数であれば1を加算して奇数にし(LB=LB+1)、このような処理の結果が「21」よりも大きければ、「21」にクリッピングし、このような処理をした結果を、動きぼやけの大きさの代表値LRとして出力する。動きぼやけの大きさLBの値が代表値LRを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの大きさLBは代表値LRに変換される。
一方、角度Aについては、式(3)で求められたAが0より小さければ、180度を加算し(A=A+180)、15度単位で四捨五入(R丸め)するためA2=(A+7.5)/15を小数点以下切り捨て、その結果が12以上であれば(A2≧12)、A2=0とする。このような処理の結果を、動きぼやけの角度の代表値ARに対応する値AR2として出力する。ARとAR2との間には次の関係がある。
AR=15×AR2
AR=15×AR2
動きぼやけの角度Aの値が代表値ARを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの角度Aは代表値ARに対応する値AR2に変換される。
動きぼやけの大きさの代表値LR、及び角度の代表値ARに対応する値AR2を用いて、次式のような計算により、テーブルからの読み出しのためのポインタINDとすることができる。
IND=12*((LR−1)/2−1)+AR2 (11)
動きぼやけの大きさの代表値LR、及び角度の代表値ARに対応する値AR2を用いて、次式のような計算により、テーブルからの読み出しのためのポインタINDとすることができる。
IND=12*((LR−1)/2−1)+AR2 (11)
式(11)に基づいてAR2およびLRからポインタINDを求めるテーブルの具体例を図16に示す。図16には示していないが、LR=1の場合のフィルタ係数CF(p,q)は、i=0、j=0の場合には、例えば、CF(i,j)=1、それ以外の場合には、CF(i,j)=0と定められる。
フィルタ係数保存部33は、動きぼやけ推定部32よりポインタINDが入力されると、入力されたポインタINDに対応するフィルタ係数CF(p,q)をローパスフィルタ36に供給する。フィルタ係数保存部33に保存されるフィルタ係数は、ユーザが自由に設計することができる。フィルタ係数はローパスフィルタを実現するものであればよく、比較的設計しやすいことも本実施の形態の特徴である。
次に、ローパスフィルタ36を備えるフィルタリング部34について詳細に説明する。本実施の形態は、被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを、適切に軽減することを目的としており、次式に示すローパスフィルタを用いた手法をベースとしている。
E(i,j)
=D2(i,j)+BST1(i,j)*(D2(i,j)−FL1(i,j))
(12)
E(i,j)
=D2(i,j)+BST1(i,j)*(D2(i,j)−FL1(i,j))
(12)
式(12)を変形すると式(9)、式(10)が得られる。式(12)の考え方に基づいて処理を行うこととすれば、例えば緑色信号(G)を用いて式(9)による計算を行って、利得GAIN(i,j)を求め、補正演算部30において、同じ画素の複数の色信号に対して同じ利得GAIN(i,j)を用いて式(10)の演算を行うことで演算量を削減できる利点がある。しかしながら、式(12)を用いる手法には以下の欠点もあり、そのため以下のような処理を行うこととしている。
式(12)による手法は、フィルタ係数保存部33より出力されたフィルタ係数CF(p,q)を用い、画像補正処理部6に入力された映像信号D2に対しローパスフィルタリングを行い、フィルタ結果FL1(i,j)を利得計算部39へ出力する。しかし、式(12)に基づくローパスフィルタリングによる動きぼやけ補正処理は、補正画像において強いエッジ部にオーバーシュートが生じる弊害が起きやすい。
そこで、ローパスフィルタ36の前段に非線形処理部35を挿入して、強いエッジ部でオーバーシュートが抑制できるような非線形処理を行う。例えば、操作信号処理部31より入力される閾値TH1を用いて非線形処理を行い、オーバーシュートの抑制を行うこととする。具体的には、図17に示すように、注目画素の画素値D2(i,j)と、その周辺領域内の画素の画素値D2(i−p,j−q)との差分値DIF(i−p,j−q)=D2(i,j)−D2(i−p,j−q)を閾値TH1によりクリッピングする。即ち、フィルタリング部34は、注目画素の画素値D2(i,j)とその周辺領域内の画素の各々の画素値D2(i−p,j−q)との差DIF(i−p,j−q)の絶対値が、予め定められた閾値TH1を超えないように、周辺領域内の画素の各々の画素値画素値D2(i−p,j−q)に対してクリッピング処理を行い、クリッピング処理後の画素値D2b(i−p,j−q)を用いて、周辺領域内の画素に対して、ローパスフィルタリングを行う。これにより、仮に抑制を行わないとすれば、差分値DIF(i−p,j−q)が大きく、利得計算部39で算出される利得GAIN(i,j)が大きくなる画像のエッジ部において、利得を適切に制御することができる。
次に、補正強度調整部38における処理について詳細を述べる。
補正強度調整部38は、動きぼやけ補正処理後、ノイズ増幅効果で動きぼやけ補正画像の品質が下がることを抑制するためのものであり、操作信号処理部31より入力される補正強度パラメータBST0を、画像の特徴、例えば平坦さに応じて小さくしもしくは0として、調整後の補正強度パラメータBST1とし、利得計算部39へ出力する。
補正強度調整部38は、動きぼやけ補正処理後、ノイズ増幅効果で動きぼやけ補正画像の品質が下がることを抑制するためのものであり、操作信号処理部31より入力される補正強度パラメータBST0を、画像の特徴、例えば平坦さに応じて小さくしもしくは0として、調整後の補正強度パラメータBST1とし、利得計算部39へ出力する。
具体的には、映像信号D2を入力し、注目画素の周辺領域内の画素の画素値(例えば輝度値)の変化を検出し、該変化の大きさに応じて調整後の補正強度パラメータBST1の値を決める。上記画素値の変化を表す指標としては、注目画素の画素値D2(i,j)と平均値算出部37から出力される平均値FL2(i,j)との差分値の絶対値を用いる。そして、例えば、該絶対値が操作信号処理部31より入力される閾値TH2より小さければ、注目画素の周辺領域内の画素値の変化が少ないと判断し、例えば調整後の補正強度パラメータBST1を調整前の補正強度パラメータBST0の1/2とし、上記の絶対値が閾値TH2より大きければ画素値の変化が大きいと判断し、調整前の補正強度パラメータBST0をそのまま調整後の補正強度パラメータBST1とする。そして、このようにして定められた調整後の補正強度パラメータBST1を利得計算部39へ出力する。
以下、上記の処理を行う意義についてさらに詳しく説明する。
被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを軽減するための処理は、これに付随的に映像信号中のノイズを増幅してしまうこととなる。特に、画素値の変化、例えば輝度の変化の少ない平坦な領域は、動きぼやけが生じていてもその影響は視覚的に小さく、補正処理が弱くても済む。仮にこのような領域で、補正強度パラメータ値BST0をそのまま用いて補正を行うと、ノイズを大きく増幅し、動きぼやけ補正結果の品質が低下することになる。そこで、平坦な領域を検出し、そのような領域では補正強度パラメータBST0の代りにより小さい値を用いる適応処理を行う。このとき、平坦な領域か否かを判定するには、前述のように注目画素の画素値D2(i,j)とその周辺領域内の画素の画素値の平均FL2との差分を取り、閾値との大小で判定することとしている。
また、このような理由から、前述のように平均値算出部37で算出された−P≦p≦P、−Q≦q≦Qの領域内のすべての画素の画素値の単純平均値を用いている。
被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを軽減するための処理は、これに付随的に映像信号中のノイズを増幅してしまうこととなる。特に、画素値の変化、例えば輝度の変化の少ない平坦な領域は、動きぼやけが生じていてもその影響は視覚的に小さく、補正処理が弱くても済む。仮にこのような領域で、補正強度パラメータ値BST0をそのまま用いて補正を行うと、ノイズを大きく増幅し、動きぼやけ補正結果の品質が低下することになる。そこで、平坦な領域を検出し、そのような領域では補正強度パラメータBST0の代りにより小さい値を用いる適応処理を行う。このとき、平坦な領域か否かを判定するには、前述のように注目画素の画素値D2(i,j)とその周辺領域内の画素の画素値の平均FL2との差分を取り、閾値との大小で判定することとしている。
また、このような理由から、前述のように平均値算出部37で算出された−P≦p≦P、−Q≦q≦Qの領域内のすべての画素の画素値の単純平均値を用いている。
利得計算部39は、フィルタリング部34の出力FL1(i,j)、補正強度調整部38から出力される調整後の補正強度パラメータBST1(i,j)、映像信号D2の注目画素の画素値D2(i,j)を用いて上記の式(9)に基づき利得GAIN(i,j)を計算し、算出した利得GAIN(i,j)を補正演算部30へ供給する。
ただし、式(9)に示される演算において、注目画素の画素値D2(i,j)で除算する必要から、D2(i,j)=0の場合にはD2(i,j)=1として計算を行う。また、GAIN(i,j)<0となった場合は、GAIN(i,j)=0とクリッピングする。以上の計算により得られた利得GAIN(i,j)を補正演算部30へ出力する。
補正演算部30では、供給された利得GAIN(i,j)を画素値D2(i,j)に乗算することで、動きぼやけ補正を行う。乗算結果は、動きぼやけ補正を受けた画素値E(i,j)として出力され、画像選択部10に供給される。
ただし、式(9)に示される演算において、注目画素の画素値D2(i,j)で除算する必要から、D2(i,j)=0の場合にはD2(i,j)=1として計算を行う。また、GAIN(i,j)<0となった場合は、GAIN(i,j)=0とクリッピングする。以上の計算により得られた利得GAIN(i,j)を補正演算部30へ出力する。
補正演算部30では、供給された利得GAIN(i,j)を画素値D2(i,j)に乗算することで、動きぼやけ補正を行う。乗算結果は、動きぼやけ補正を受けた画素値E(i,j)として出力され、画像選択部10に供給される。
高周波成分検出部8及び判定部9は、動きベクトル検出部5から出力される動きベクトルVを受け、各フレーム内において動きベクトルの検出誤りが少ないかどうか、即ち動きベクトルの検出結果は信頼性が十分に高いものであるかどうかの判定を行う。この判定は以下の考えによるものである。
注目画素(i,j)における動きベクトルV(Vy(i,j)、Vx(i,j))は、その周辺画素における動きベクトルVから大きく変化する場合には、誤検出されたものである可能性が高い。また局所的に動きベクトルの変化が大きい箇所があるとしても、フレーム全体に及ぶことはまれである。従って、フレーム全体に亘り、動きベクトルの変化が多い場合には、動きベクトルの検出に誤りが多く、信頼性が低いと判定する。
例えば、カメラが静止しており、背景の中を速く動く移動物体を撮影した場合、背景と移動物体との境界領域に存在する画素の動きベクトルは、動きベクトルが0となる画素と一定方向に大きな値を取る画素とが隣り合わせで存在している。しかしながら、境界領域以外では、隣接する画素間での動きベクトルの違いは大きくない。即ち、多くの映像信号は相関の強い画素が一定領域において2次元で並んでおり、意味のある2次元情報を構成していると考えられる。
従って、1フレーム内に上記のような動きベクトルの変化が多数発生している場合は、動きベクトルの検出に誤りが多いと判定することができる。
そこで、各画素についての動きベクトルに対して高周波成分を検出することで上記のような変化を捉え、閾値C1との比較により、各画素についての動きベクトルが誤検出されたものであるどうかを高周波成分検出部8で推定し、判定部9で、各フレーム内において、動きベクトルが誤検出されたと推定された画素の数が閾値C2よりも多い場合には、当該フレームについての動きベクトルの検出は誤りが多く、信頼性が低いと判断する。
注目画素(i,j)における動きベクトルV(Vy(i,j)、Vx(i,j))は、その周辺画素における動きベクトルVから大きく変化する場合には、誤検出されたものである可能性が高い。また局所的に動きベクトルの変化が大きい箇所があるとしても、フレーム全体に及ぶことはまれである。従って、フレーム全体に亘り、動きベクトルの変化が多い場合には、動きベクトルの検出に誤りが多く、信頼性が低いと判定する。
例えば、カメラが静止しており、背景の中を速く動く移動物体を撮影した場合、背景と移動物体との境界領域に存在する画素の動きベクトルは、動きベクトルが0となる画素と一定方向に大きな値を取る画素とが隣り合わせで存在している。しかしながら、境界領域以外では、隣接する画素間での動きベクトルの違いは大きくない。即ち、多くの映像信号は相関の強い画素が一定領域において2次元で並んでおり、意味のある2次元情報を構成していると考えられる。
従って、1フレーム内に上記のような動きベクトルの変化が多数発生している場合は、動きベクトルの検出に誤りが多いと判定することができる。
そこで、各画素についての動きベクトルに対して高周波成分を検出することで上記のような変化を捉え、閾値C1との比較により、各画素についての動きベクトルが誤検出されたものであるどうかを高周波成分検出部8で推定し、判定部9で、各フレーム内において、動きベクトルが誤検出されたと推定された画素の数が閾値C2よりも多い場合には、当該フレームについての動きベクトルの検出は誤りが多く、信頼性が低いと判断する。
即ち、判定部9では、高周波成分検出部8から出力された高周波成分検出結果Hの1フレーム分の合計Tを計算する。つまり、各フレームの全体において、動きベクトルが誤検出されたと推定される画素の数を求めている。
なお、映像の中心部に重要なコンテンツを配置して撮影がなされることも多いことから、演算量の削減のため映像の中心領域のみ高周波成分の検出及び高周波成分検出結果Hの合計を求める演算に用いても良い。
なお、映像の中心部に重要なコンテンツを配置して撮影がなされることも多いことから、演算量の削減のため映像の中心領域のみ高周波成分の検出及び高周波成分検出結果Hの合計を求める演算に用いても良い。
最終的には、閾値C2と、各フレーム内において動きベクトルが誤検出されたと推定された画素の数との比較により、判定結果Rを得ているが、入力される映像信号の性質を予め利用することができる場合、閾値C2として予め設定した値を用いても良い。
なお、上記の例では、高周波成分検出部8における高周波成分の検出方法としての垂直方向の動きベクトルと水平方向の動きベクトルそれぞれに対し2階差分を算出し、それぞれの絶対値を足し合わせたが、入力される映像信号の性質を予め利用することができる場合、適切なカットオフ周波数を用いたハイパスフィルタリングを適用しても良い。
また、高周波成分を検出する際は、ユーザが外部から入力する閾値C1との比較に基づいているが、カットオフ周波数を明確に設定できる場合は、閾値C1として予め設定した値を用いても良い。
また、高周波成分を検出する際は、ユーザが外部から入力する閾値C1との比較に基づいているが、カットオフ周波数を明確に設定できる場合は、閾値C1として予め設定した値を用いても良い。
画像選択部10は、判定部9から出力された判定結果Rに基づき、選択制御信号Rが「0」の場合は処理画像遅延部7から出力される補正された映像信号E1を選択して最終出力映像信号Fとして出力し、選択制御信号Rが「1」の場合は入力画像遅延部4から出力される映像信号D3を選択して最終出力映像信号Fとして出力する。
以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いて動きぼやけ補正処理を行うと共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、補正処理された映像信号と、元の映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補正処理を受けた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補正処理された映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補正処理された映像を用いることで動きぼやけに対する補正により動きぼやけの低減した映像を表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補正処理を受けた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補正処理された映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補正処理された映像を用いることで動きぼやけに対する補正により動きぼやけの低減した映像を表示することができる。
実施の形態2.
図18は、本発明の実施の形態2に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2bと、画像表示部3とを備え、画像処理装置2bは、図1の画像処理装置2と同様の、入力画像遅延部4、動きベクトル検出部5、高周波成分検出部8、判定部9、及び画像選択部10を備えるとともに、フレームレート変換部15、画像補正処理部16、及び画像合成部17を備える。
図18は、本発明の実施の形態2に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2bと、画像表示部3とを備え、画像処理装置2bは、図1の画像処理装置2と同様の、入力画像遅延部4、動きベクトル検出部5、高周波成分検出部8、判定部9、及び画像選択部10を備えるとともに、フレームレート変換部15、画像補正処理部16、及び画像合成部17を備える。
実施の形態2の画像処理装置2bは、入力された映像信号D0を受けて、フレームレートを高くした映像信号を生成するもので、そのために、入力映像信号のフレーム間に新たなフレーム(補間フレーム)の映像信号を補間により生成する。
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2bは、入力映像信号の相前後するフレーム間に補間フレームの映像信号を生成し、補間により生成された映像信号J0(補間により生成された画素値を持つ信号の列から成る)を1フレーム遅延した映像信号J1を、入力された映像信号D0を2フレーム遅延した映像信号D2の間に配置したフレーム列で構成される映像信号Kと、入力された映像信号D0を2フレーム遅延し、さらに、フレームレートを変換した映像信号Iのどちらかを選択して最終出力映像信号Fとして出力する。
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2bは、入力映像信号の相前後するフレーム間に補間フレームの映像信号を生成し、補間により生成された映像信号J0(補間により生成された画素値を持つ信号の列から成る)を1フレーム遅延した映像信号J1を、入力された映像信号D0を2フレーム遅延した映像信号D2の間に配置したフレーム列で構成される映像信号Kと、入力された映像信号D0を2フレーム遅延し、さらに、フレームレートを変換した映像信号Iのどちらかを選択して最終出力映像信号Fとして出力する。
画像処理装置2bに入力された映像信号D0(図19(a))は、入力画像遅延部4に供給される。入力画像遅延部4はフレームメモリを用いて、入力された信号のフレーム遅延を行い、3枚の互いに異なるフレームの映像信号D1、D2、D3(図19(b)、(c)、(d))を生成する。図19(a)〜(l)において、符号T0、T1、T2、…は、入力映像信号の各フレーム期間を表す。そのうち、映像信号D1は、映像信号D0に対して遅延がなく、映像信号D2は映像信号D0に対して1フレームの遅延があり、映像信号D3は、映像信号D0に対して2フレームの遅延がある。
映像信号D2およびD1は動きベクトル検出部5及び画像補正処理部16に出力され、
映像信号D3はフレームレート変換部15に出力される。
映像信号D3はフレームレート変換部15に出力される。
フレームレート変換部15は、映像信号D3のフレーム周波数を2倍にした映像信号Iを出力する(図19(i))。この映像信号Iは、映像信号D3の各フレームを、再生時間を1/2に短縮して2回ずつ繰り返すものである。
動きベクトル検出部5は、実施の形態1について説明したように、入力画像遅延部4から出力された2枚の異なるフレームの映像信号D2、D1を用い、映像信号D2に含まれる動きベクトルV(図19(e))を検出する。検出された動きベクトルVは画像補正処理部16及び高周波成分検出部8に出力される。
実施の形態1に関し説明したように、動きベクトルVは、注目フレームのブロックと後フレームのブロックとの間で、式(2)で表される差分絶対値和が最小となるブロック間の相対位置(km,lm)に対応するものであり、本実施の形態では、検出された動きベクトルV=(Vy,Vx)=(km,lm)とともに、当該最小の差分絶対値和SAD(i+km,j+lm)が、当該動きベクトルVに対応する差分絶対値和mv_sad(i,j)として画像補正処理部16へ出力される。
実施の形態1に関し説明したように、動きベクトルVは、注目フレームのブロックと後フレームのブロックとの間で、式(2)で表される差分絶対値和が最小となるブロック間の相対位置(km,lm)に対応するものであり、本実施の形態では、検出された動きベクトルV=(Vy,Vx)=(km,lm)とともに、当該最小の差分絶対値和SAD(i+km,j+lm)が、当該動きベクトルVに対応する差分絶対値和mv_sad(i,j)として画像補正処理部16へ出力される。
画像補正処理部16は、動きベクトル検出部5から出力された動きベクトルV及び差分絶対値和mv_sad(i,j)を入力とし、入力画像遅延部4から出力された各フレームの映像信号D2と次のフレームの映像信号D1の間の、時間的に中間の位置に存在すると推定される1つのフレームを補間により生成し、これにより、生成された補間フレームの列から成る映像信号J0を生成する。映像信号J0の各フレームを図19(f)に符号F0h、F1h、F2h、…で示す。生成された映像信号J0は、,画像合成部17に出力される。
また、画像補正処理部16は、入力された映像信号D2をそのまま映像信号G0(D2と同内容のデータであり、図19(c)に示される)として画像合成部17へ出力する。
また、画像補正処理部16は、入力された映像信号D2をそのまま映像信号G0(D2と同内容のデータであり、図19(c)に示される)として画像合成部17へ出力する。
画像合成部17は、画像補正処理部16から出力された映像信号G0及びJ0をそれぞれ1フレーム分遅延させて映像信号G1(D3と同内容のデータであり、図19(d)に示される)、J1(図19(g)のF0h、F1h、F2h、…)を生成し、映像信号G1、J1の順に交互に配置して、映像信号D0のフレーム周波数の2倍の周波数の映像信号Kとして画像選択部10へ出力する(図19(h)のF0、F0h、F1、F1h、F2、F2h、…)。
これにあわせて、フレームレート変換部15により、映像信号D3を2倍のフレーム周波数に変換した映像信号Iが画像選択部10に入力される。この映像信号Iは、映像信号D3の各フレームを、再生時間を1/2に短縮して2回ずつ繰り返すものである(図19(i)のF0、F0、F1、F1,F2、F2、…)。
これにあわせて、フレームレート変換部15により、映像信号D3を2倍のフレーム周波数に変換した映像信号Iが画像選択部10に入力される。この映像信号Iは、映像信号D3の各フレームを、再生時間を1/2に短縮して2回ずつ繰り返すものである(図19(i)のF0、F0、F1、F1,F2、F2、…)。
高周波成分検出部8は動きベクトル検出部5から出力された動きベクトルV(図19(e))を入力し、ハイパスフィルタ(高域通過型フィルタ)で各画素についての高周波成分を抽出し、抽出した高周波成分の値を、外部から入力した閾値C1と比較し、比較結果を、当該画素についての高周波成分検出結果Hとして出力する。この高周波成分検出結果Hは、高周波成分の値が閾値C1よりも小さい場合には、値「0」を取り、高周波成分の値が閾値C1以上の場合には、値「1」を取る。
各画素についての動きベクトルVの高周波成分の値が大きいほど、当該動きベクトルVが誤検出されたものである可能性が高い。本実施の形態では、高周波成分の値が閾値C1以上の場合には、当該画素についての動きベクトルVは誤検出されたもの推定して処理する。
各画素についての動きベクトルVの高周波成分の値が大きいほど、当該動きベクトルVが誤検出されたものである可能性が高い。本実施の形態では、高周波成分の値が閾値C1以上の場合には、当該画素についての動きベクトルVは誤検出されたもの推定して処理する。
判定部9は、高周波成分検出部8から出力された高周波成分検出結果Hを入力し、値「1」を取る高周波成分検出結果Hの数を1フレームに亘り計数する。そして、1フレーム中における、値「1」を取る高周波成分検出結果Hの発生回数を、外部から入力した閾値C2と比較し、比較結果を選択制御信号Rとして画像選択部10に出力する。具体的には、1フレーム中における、値「1」を取る高周波成分検出結果Hの数が閾値C2よりも小さい場合は選択制御信号Rの値を「0」とし、閾値C2以上の場合は選択制御信号Rの値を「1」とする(図19(j))。
画像選択部10は、選択制御信号Rが「0」の場合は画像合成部17から出力される映像信号K(図19(h))を選択して最終出力映像信号Fとして出力し(図19(k))、選択制御信号Rが「1」の場合はフレームレート変換部15から出力される映像信号I(図19(i))を選択して最終出力映像信号Fとして出力する(図19(l))。
各フレームについて値「1」を取る高周波成分検出結果Hが多いほど、当該フレームには動きベクトルVの誤検出が多い可能性が高く、信頼性が低いと推定できる。本実施の形態では、値「1」を取る高周波成分検出結果Hの数Nhfが閾値C2以上の場合には、当該フレームについて、動きベクトルVの誤検出が多く、従って、動きベクトルVの検出結果は信頼性が低いものとして処理する。即ち、画像選択部10において、動きベクトルVを用いて行なわれた画像補正処理の結果得られた映像信号Kを選択せずに、元の映像信号(画像補正処理を受けていない映像信号)Iを選択して出力する。
各フレーム期間Tn(nは0、1、2、…のいずれか)において、動きベクトル検出部5から出力される動きベクトルVは、1フレーム遅延映像信号D2の各画素についてのものであり、動きベクトルVの高周波成分検出結果Hの各フレームにわたる集計が終わり、選択制御信号Rの値が決まるのは、当該フレーム期間の終わる時点に略一致する。そこで、各フレームの映像信号D2の動きベクトルVに基づいて生成された選択制御信号Rの値は、2フレーム遅延映像信号D3に対応するフレームレート変換信号I及び1フレーム遅延した映像信号G1及び対応する補間映像信号J1を組合せて形成された映像信号Kが画像選択部10に供給される、次のフレーム期間T(n+1)における画像選択部10における選択に用いられる。
例えば、フレーム期間T1に入力画像遅延部4から出力され動きベクトル検出部5に入力される、フレームF0の映像信号D2に基づく選択制御信号R(F0)は、フレームF0の映像信号D3に対応するフレームレート変換信号I(F0、F0)及び対応する映像信号G1(F0)と対応する補間映像信号J1(F0h)を組合せた映像信号K(F0、F0h)が、画像選択部10に入力される次のフレーム期間T2に、画像選択部10に供給され、画像選択部10では、この選択制御信号R(F0)に基づいて、フレーム期間T2における、映像信号I(F0、F0)又は映像信号K(F0、F0h)の選択を行う。
画像表示部3は、画像選択部10から出力された映像信号Fに基づく画像の表示を行なう。
ここで、ユーザは閾値C1を変更することにより、高周波成分検出部8における判定の厳しさ(高周波成分の値がどの程度のときに、誤検出と推定するか)を調整することができる。また、閾値C2を変更することにより、判定部9における判定の厳しさ(各フレーム中における動きベクトルが誤検出されたと推定される画素の数がどの程度のときに、当該フレームについての動きベクトルの検出結果の信頼性が低く、画像補正処理を受けた映像信号を選択しないとの決定をする)を調整することができる。
実施の形態2で用いられる入力画像遅延部4は、図3の入力画像遅延部4と同じ構成のものであるが、図3の入力画像遅延部4とは異なり、画像補正処理部16へ、入力映像信号D0に対してフレーム遅延が無い映像信号D1と、映像信号D1に対して1フレーム遅延した映像信号D2を出力する。
これは、画像補正処理部16において、2フレーム間に映像信号J0を補間により生成するためである。
これは、画像補正処理部16において、2フレーム間に映像信号J0を補間により生成するためである。
図20は、画像合成部17の構成例を示す。図20の画像合成部17は、図12の処理画像遅延部7と同様であるが、図12の処理画像遅延部7と異なり、映像信号G0及びJ0をそれぞれ1フレーム遅延させて、映像信号G1、J1を出力するものであり、このため、2フレーム分のフレームメモリを要する。
映像信号J0は、画像補正処理部16において補間により生成された映像信号(補間フレームの映像信号)である。
映像信号G0は、画像補正処理部16が、入力映像信号D2をスルー出力(そのまま出力)したものである。
なお、画像補正処理部16では2フレーム間に複数枚の映像信号を補間することもできるが、その場合には、補間されるフレーム数+1フレーム分のメモリを用意すれば良い。
映像信号J0は、画像補正処理部16において補間により生成された映像信号(補間フレームの映像信号)である。
映像信号G0は、画像補正処理部16が、入力映像信号D2をスルー出力(そのまま出力)したものである。
なお、画像補正処理部16では2フレーム間に複数枚の映像信号を補間することもできるが、その場合には、補間されるフレーム数+1フレーム分のメモリを用意すれば良い。
以下、画像補正処理部16の処理について詳細に説明する。
画像補正処理部16は、上記のように、動きベクトル検出部5から出力された動きベクトルVを入力とし、入力画像遅延部4から出力された注目フレームの映像信号D2および後フレームの映像信号D1の間に映像信号J0を補間により生成するものであり、画像補正処理部16へは、入力画像遅延部4からの映像信号D2、D1が入力され、動きベクトル検出部5から注目フレームの動きベクトルV(Vy,Vx)及び差分絶対値和SADが入力される。
画像補正処理部16では、注目フレームD2の動きベクトルV(Vy,Vx)及び差分絶対値和SADを受けて、補間フレームJ0上の動きベクトル(Vhy,Vhx)及び対応する差分絶対値和SADhを求める。
画像補正処理部16は、上記のように、動きベクトル検出部5から出力された動きベクトルVを入力とし、入力画像遅延部4から出力された注目フレームの映像信号D2および後フレームの映像信号D1の間に映像信号J0を補間により生成するものであり、画像補正処理部16へは、入力画像遅延部4からの映像信号D2、D1が入力され、動きベクトル検出部5から注目フレームの動きベクトルV(Vy,Vx)及び差分絶対値和SADが入力される。
画像補正処理部16では、注目フレームD2の動きベクトルV(Vy,Vx)及び差分絶対値和SADを受けて、補間フレームJ0上の動きベクトル(Vhy,Vhx)及び対応する差分絶対値和SADhを求める。
注目フレームD2の位置(i,j)の動きベクトルVを、垂直方向Vy(i,j)、水平方向Vx(i,j)と表現すると、補間フレームJ0の位置(i+si,j+sj)における動きベクトルVhy、Vhx及び差分絶対値和SADhは、次のように求めることができる。
Vhy(i+si,j+sj)=Vy(i,j)/2 (18a)
Vhx(i+si,j+sj)=Vx(i,j)/2 (18b)
SADh(i+si,j+sj)=mv_sad(i,j) (18c)
ただし、
si=round[Vy(i,j)/2]
sj=round[Vx(i,j)/2]
(round[*]は*の四捨五入)
である。
Vhy(i+si,j+sj)=Vy(i,j)/2 (18a)
Vhx(i+si,j+sj)=Vx(i,j)/2 (18b)
SADh(i+si,j+sj)=mv_sad(i,j) (18c)
ただし、
si=round[Vy(i,j)/2]
sj=round[Vx(i,j)/2]
(round[*]は*の四捨五入)
である。
つまり、注目フレームの映像信号D2と後フレームの映像信号D1の中間に位置するフレームJ0を生成するため、注目フレームD2の動きベクトルVを2で割り四捨五入することで算出された位置(i+si,j+sj)に、注目フレームD2の動きベクトルVを2で割った値の動きベクトルがあるものと推定される。なお、位置(i+si,j+sj)が映像として定義された範囲の外の位置を指定した場合、式(18a)、式(18b)、式(18c)の処理をしない。
ここで、式(18a)、式(18b)及び式(18c)で計算された補間フレームにおける動きベクトルVhy、Vhx及び差分絶対値和SADhは、補間フレーム上の全ての位置(i,j)に対して得られるとは限らない。このため、動きベクトルVhy、Vhxが得られなかった画素位置について動きベクトル値Vhy、Vhx及び差分絶対値和SADhの修正乃至補間処理(以下単に修正処理と言う)が必要となる。動きベクトルVhy、Vhx及び差分絶対値和SADhの修正処理としては、様々なアルゴリズムが提案されているが、ここでは代表的な処理を記載することとする。
動きベクトルVhy、Vhxの修正は、補間フレームJ0の画素についてその周囲の所定の範囲、例えば3×3の範囲内の各画素位置について既に求められている動きベクトルに対応する差分絶対値和のうちで最小のものを見つける処理と、3×3の範囲に動きベクトルが存在しないと判断される場合に動きベクトルを新たに設定する処理で構成されている。
このような処理は、式(18a)、式(18b)及び式(18c)による計算で動きベクトルVhy、Vhxが求められた画素及び求められなかった画素についてのみ、行っても良く、式(18a)、式(18b)及び式(18c)による計算で動きベクトルVhy、Vhxが求められた画素を含め、すべての画素について行うこととしても良い。
このような処理は、式(18a)、式(18b)及び式(18c)による計算で動きベクトルVhy、Vhxが求められた画素及び求められなかった画素についてのみ、行っても良く、式(18a)、式(18b)及び式(18c)による計算で動きベクトルVhy、Vhxが求められた画素を含め、すべての画素について行うこととしても良い。
補間フレーム上の位置(i,j)を中心とした、その周囲の3×3の範囲の各画素位置についてすでに求められている動きベクトルに対応する差分絶対値和SADhのうちの最小のものを見つけ、該最小の差分絶対値に対応する動きベクトルを、当該各画素位置についての動きベクトルの修正値として採用する。即ち、差分絶対値和が最小と判断された位置の動きベクトル(Vhy(i+ci、j+cj),Vhx(i+ci、j+cj))を、位置(i,j)の動きベクトルの修正値Vcy(i,j),Vcx(i,j)とする。この処理は下記の式で表される。
Vcy(i、j)=Vhy(i+ci、j+cj)
Vcx(i、j)=Vhx(i+ci、j+cj)
(19)
とする。このとき、(ci、cj)は、
Vcy(i、j)=Vhy(i+ci、j+cj)
Vcx(i、j)=Vhx(i+ci、j+cj)
(19)
とする。このとき、(ci、cj)は、
また、3×3の範囲のいずれの画素についても式(18a)、式(18b)による処理で動きベクトルVhy、Vhxが求められていなければ、
Vcy(i、j)=Vcx(i、j)=0
を動きベクトルの修正値として設定する。
Vcy(i、j)=Vcx(i、j)=0
を動きベクトルの修正値として設定する。
以上により、補間フレームにおける動きベクトルVcy(i、j)、Vcx(i、j)が求まったので、これらを用いて注目フレームの映像信号D2と後フレームの映像信号D1の値を参照し、補間フレームJ0を求める。補間フレームの注目画素(i,j)に対応する注目フレームの映像信号D2と後フレームの映像信号D1の位置をそれぞれ(bi、bj)、(ai,aj)とすると、補間フレームJ0の各画素の画素値J0(i,j)は、
J0(i,j)={D2(bi,bj)+D1(ai,aj)}/2
(21)
として求めることができる。ここで、
bi=i−round[Vcy(i,j)]
bj=j−round[Vcx(i,j)]
ai=i+fix[Vcy(i,j)]
aj=j+fix[Vcx(i,j)]
である。ただし、fix[*]は*の0方向への切捨てを示す。
J0(i,j)={D2(bi,bj)+D1(ai,aj)}/2
(21)
として求めることができる。ここで、
bi=i−round[Vcy(i,j)]
bj=j−round[Vcx(i,j)]
ai=i+fix[Vcy(i,j)]
aj=j+fix[Vcx(i,j)]
である。ただし、fix[*]は*の0方向への切捨てを示す。
以上説明したように、入力された2フレームの映像信号D1及びD2間の動きベクトルを画素毎に検出し、検出した動きベクトルを参照することで2つのフレームの間に補間フレームの映像信号J0を生成し、生成した補間フレームの映像信号J0を、映像信号G0と共に画像合成部17へ出力する。
以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いてフレーム補間を行うと共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、補間処理により得られた映像信号と、元の映像信号のフレームレートを高くしただけの映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補間処理で得られた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補間処理で得られた映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補間処理で得られた映像を用いることでギクシャクとした動きの低減した映像(滑らかに変化する映像)を表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補間処理で得られた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補間処理で得られた映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補間処理で得られた映像を用いることでギクシャクとした動きの低減した映像(滑らかに変化する映像)を表示することができる。
実施の形態3.
図21は、本発明の実施の形態3に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2cと、画像表示部3とを備え、画像処理装置2cは、図1の画像処理装置2と同様の、入力画像遅延部4、動きベクトル検出部5、及び高周波成分検出部8を備えるとともに、画像補正処理部6b、処理画像遅延部7b、判定部59、及び画像選択部60を備える。画像補正処理部6bは第1の補正処理部51及び第2の補正処理部52を備える。処理画像遅延部7bは、第1の画像遅延部53及び第2の画像遅延部54を備える。
入力画像遅延部4、動きベクトル検出部5、及び高周波成分検出部8は、図1に示すものと同様のものである。
図21は、本発明の実施の形態3に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2cと、画像表示部3とを備え、画像処理装置2cは、図1の画像処理装置2と同様の、入力画像遅延部4、動きベクトル検出部5、及び高周波成分検出部8を備えるとともに、画像補正処理部6b、処理画像遅延部7b、判定部59、及び画像選択部60を備える。画像補正処理部6bは第1の補正処理部51及び第2の補正処理部52を備える。処理画像遅延部7bは、第1の画像遅延部53及び第2の画像遅延部54を備える。
入力画像遅延部4、動きベクトル検出部5、及び高周波成分検出部8は、図1に示すものと同様のものである。
実施の形態3の画像処理装置2cは、実施の形態1と同様に、入力された映像信号D0を受けて、動きぼやけ補正処理を行うものである。
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2cは、各フレームの複数の画素を順に補正対象画素(注目画素)としてぼやけ処理を行い、補正処理後の映像信号Ea0及びEb0(補正された画素値を持つ信号の列から成る)を生成し、該補正処理後の映像信号Ea0及びEb0をそれぞれ1フレーム遅延した映像信号Ea1及びEa1と、入力映像信号D0を2フレーム遅延した映像信号D3の中からいずれかを選択して最終出力映像信号Fとして出力する。
実施の形態1について説明したのと同様に、画像処理装置2cに入力された映像信号D0は(図22(b))、入力画像遅延部4に供給される。入力画像遅延部4はフレームメモリを用いて、入力された信号のフレーム遅延を行い、3枚の互いに異なるフレームの映像信号D1、D2、D3(図22(d)、(e)、(f))を生成する。
映像信号D1及びD2は、動きベクトル検出部5に出力され、映像信号D2は第1及び第2の補正処理部51、52に出力され、映像信号D3は画像選択部60に出力される。
映像信号D1及びD2は、動きベクトル検出部5に出力され、映像信号D2は第1及び第2の補正処理部51、52に出力され、映像信号D3は画像選択部60に出力される。
動きベクトル検出部5は、実施の形態1と同様に、入力画像遅延部4から出力された2枚の異なるフレームの映像信号D2、D1を用い、映像信号D2に含まれる動きベクトルV(図22(k))を検出する。検出された動きベクトルVは第1及び第2の補正処理部51、52、並びに高周波成分検出部8に出力される。
第1及び第2の補正処理部51、52の各々は、実施の形態1の画像補正処理部6と同様に動作を行って画像の補正を行う。
但し、画像補正処理部6に入力される信号PRの代わりに、第1の補正処理部51には入力される信号PR1が入力され、第2の補正処理部52には信号PR2が入力される。
但し、画像補正処理部6に入力される信号PRの代わりに、第1の補正処理部51には入力される信号PR1が入力され、第2の補正処理部52には信号PR2が入力される。
第1の補正処理部51は、動きベクトル検出部5から出力された動きベクトルVを入力とし、入力画像遅延部4から出力された映像信号D2において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減し、補正された映像信号Ea0(図22(g)のF0a、F1a、F2a、…)を第1の画像遅延部53へ出力する。
第2の補正処理部52は、動きベクトル検出部5から出力された動きベクトルVを入力とし、入力画像遅延部4から出力された映像信号D2において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減し、補正された映像信号Eb0(図22(i)のF0b、F1b、F2b、…)を第2の画像遅延部54へ出力する。
第2の補正処理部52は、第1の補正処理部51と比べて、補正の強度が小さい(即ち、映像の動きぼやけを軽減する量がより少ない)。
第1の補正処理部51と第2の補正処理部52で補正の強度を変えるには、第1の補正処理部51に入力される信号PR1で表されるパラメータと、第2の補正処理部52に入力される信号PR2で表されるパラメータとで、値を異なるものを用いることとすれば良い。即ち信号PR1、PR2で表されるパラメータBST0、TH2の一部又は全部として互いに値の異なるものを用いることとすれば良い。
パラメータBST0は、係数βと乗算されてパラメータBST1となり、式(9)に示されるように、パラメータBST1が大きいほど、補正演算部30で映像信号D2に乗算される利得GAINが大きくなる。従って、パラメータBST0が大きいほど、補正の強度が大きくなる。同じ理由で、係数βが大きいほど、補正の強度が大きくなる。
閾値TH2は、画像の特徴の判別に用いられるものであり、映像信号D2の注目画素の画素値D2(i,j)と、その周辺の画素の画素値の平均値FL2(i,j)との差分の絶対値が閾値TH2より小さい場合は、パラメータBST0に対して1より小さい係数βを掛けて調整後のパラメータBST1を求め、そうでなければパラメータBST0をそのままパラメータBST1としているので、閾値TH2が大きいほど、パラメータBST1が大きくなり、補正の強度が大きくなる。
またパラメータADJを大きくすると、動きぼやけをより大きく評価することになり(式(5))、従って動きぼやけに対してより強い補正が加えられる。
閾値TH2は、画像の特徴の判別に用いられるものであり、映像信号D2の注目画素の画素値D2(i,j)と、その周辺の画素の画素値の平均値FL2(i,j)との差分の絶対値が閾値TH2より小さい場合は、パラメータBST0に対して1より小さい係数βを掛けて調整後のパラメータBST1を求め、そうでなければパラメータBST0をそのままパラメータBST1としているので、閾値TH2が大きいほど、パラメータBST1が大きくなり、補正の強度が大きくなる。
またパラメータADJを大きくすると、動きぼやけをより大きく評価することになり(式(5))、従って動きぼやけに対してより強い補正が加えられる。
第1の画像遅延部53は、第1の補正処理部51から出力された補正された映像信号Ea0を1フレーム分遅延させて出力する。第1の画像遅延部53の出力は、補正され、遅延された映像信号Ea1(図22(h)のF0a、F1a、F2a、…)として画像選択部60へ供給される。
第2の画像遅延部54は、第2の補正処理部52から出力された補正された映像信号Eb0を1フレーム分遅延させて出力する。第2の画像遅延部54の出力は、補正され、遅延された映像信号Eb1(図22(j)のF0b、F1b、F2b、…)として画像選択部60へ供給される。
高周波成分検出部8は、実施の形態1で説明したのと同様に、動きベクトル検出部5から出力された動きベクトルV(図22(k))を入力し、ハイパスフィルタ(高域通過型フィルタ)で各画素についての高周波数成分を抽出し、抽出した高周波成分の値を外部から入力した閾値C1と比較し、比較結果を各画素についての高周波数成分検出結果として出力する。この高周波成分検出結果Hは、高周波成分の値が閾値C1よりも小さい場合には、値「0」を取り、高周波成分の値が閾値C1以上の場合には、値「1」を取る。
実施の形態1で述べたのと同様、閾値C1は、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。
実施の形態1で述べたのと同様、閾値C1は、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。
判定部59は、高周波成分検出部8から出力された高周波成分検出結果Hを入力し、値「1」を取る高周波成分検出結果Hの数を1フレームに亘り計数する。そして、計数結果Nhf(1フレーム中における、値「1」を取る高周波成分検出結果Hの発生回数)を外部から入力した閾値C2A及びC2B(C2B>C2A)と比較し、比較結果を選択制御信号Rとして画像選択部60に出力する。
具体的には、計数結果Nhfが閾値C2Aよりも小さい場合は選択制御信号Rの値を「0」とし、閾値C2A以上でかつ閾値C2Bよりも小さい場合は選択制御信号Rの値を「1」とし、閾値C2B以上の場合は選択制御信号Rの値を「2」とする(図22(l))。
具体的には、計数結果Nhfが閾値C2Aよりも小さい場合は選択制御信号Rの値を「0」とし、閾値C2A以上でかつ閾値C2Bよりも小さい場合は選択制御信号Rの値を「1」とし、閾値C2B以上の場合は選択制御信号Rの値を「2」とする(図22(l))。
即ち、判定部59におけるRの値の決定は以下のようにして行われる。
Nhf<C2Aであれば、R=0 (22a)
Nhf≧C2A且つNhf<C2Bであれば、R=1 (22b)
Nhf≧2Bであれば、R=2 (22c)
Nhf<C2Aであれば、R=0 (22a)
Nhf≧C2A且つNhf<C2Bであれば、R=1 (22b)
Nhf≧2Bであれば、R=2 (22c)
閾値C2A及びC2Bも、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。
画像選択部60は、選択制御信号Rが「0」の場合は第1の画像遅延部53から出力される補正された映像信号Ea1(図22(h))を最終出力映像信号Fとして出力し、選択制御信号Rが「1」の場合は第2の画像遅延部54から出力される補正された映像信号Eb1(図22(j))を最終出力映像信号Fとして出力し、選択制御信号Rが「2」の場合は入力画像遅延部4から出力される映像信号D3(図22(f))を最終出力映像信号Fとして出力する。
上記の計数結果Nhf(各フレームについて値「1」を取る高周波成分検出結果H)が多いほど、当該フレームには動きベクトルVの誤検出が多い可能性が高く、信頼性が低いと推定できる。本実施の形態では、計数結果Nhfが大きい場合には、画像補正処理を受けていない映像信号D3を選択し、計数結果Nhfが小さいほど、より強い画像補正処理を受けた映像信号を選択する。即ち、計数結果Nhfが閾値C2B以上の場合には、補正処理を受けていない映像信号D3を選択し、計数結果Nhfが閾値C2Aよりも小さい場合には、補正処理を受けた映像信号(Ea1又はEb1)を選択するが、計数結果Nhfが閾値C2B以上か否かによってより強い補正処理を受けた映像信号Ea1と、より弱い補正処理を受けた映像信号Eb1との間の選択を行う。
実施の形態1について述べたのと同様に、各フレーム期間Tn(nは0、1、2、…のいずれか)において、動きベクトル検出部5から出力される動きベクトルVは、1フレーム遅延映像信号D2の各画素についてのものであり、動きベクトルVの高周波成分検出結果Hの各フレームにわたる集計が終わり、選択制御信号Rの値が決まるのは、当該フレーム期間の終わる時点に略一致する。そこで、各フレームの映像信号D2の動きベクトルVに基づいて生成された選択制御信号Rの値は、2フレーム遅延映像信号D3及び1フレーム遅延した補正処理後の映像信号Ea1、Eb1が画像選択部60に供給される、次のフレーム期間T(n+1)における画像選択部60における選択に用いられる。
画像表示部3は、画像選択部60から出力された映像信号Fに基づく画像の表示を行なう。
ここで、ユーザは閾値C1を変更することにより、高周波成分検出部8における判定の厳しさ(高周波成分の値がどの程度のときに、誤検出と推定するか)を調整することができる。また、閾値C2A、C2Bを変更することにより、判定部59における判定の厳しさ(各フレーム中において動きベクトルが誤検出されたと推定される画素の数Nhfに基づく、当該フレームについての動きベクトルの検出結果の信頼性に対する判定の基準)を調整することができる。
なお、図21の構成において、入力画像遅延部4、動きベクトル検出部5、第1の補正処理部51、及び第2の補正処理部52において、輝度信号(Y)のみを処理することで、被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減することができる。しかしながら、輝度信号(Y)だけでなく、赤色信号(R)、青色信号(G)、緑色信号(B)を個別に処理してもよい。またR、G、Bの和を表す信号で、式(9)の利得GAIN(i,j)を求め、第1の補正処理部51及び第2の補正処理部52の動作において、式(10)ではR、G、B個別に処理をしても良い。また、輝度信号(Y)と色差信号(Cb、Cr)を個別に処理してもよい。輝度信号(Y)で利得GAIN(i,j)を求め、求めた利得GAIN(i,j)を用いて、輝度信号(Y)と色差信号(Cb、Cr)の各々に対して、式(10)の演算により個別に処理しても良い。他の色表現フォーマットでも同様な処理が行える。
以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いて動きぼやけ補正処理を行うと共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、
さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、強く補正処理された映像信号と、弱く補正処理された映像信号と、元の映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補正処理を受けた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補正処理された映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補正処理された映像を用いることで動きぼやけに対する補正により動きぼやけの低減した映像を表示し、動きベクトルの検出が中程度の場合には、弱めに補正処理された映像を用いることで、画質劣化を抑制するとともに、弱めの補正処理により動きぼやけの低減の効果もある程度得ることができる。
また、映像信号を切り替える場合にも、段階的切替えが可能であり、例えば補正処理を受けていない映像信号から強い補正処理を受けた映像信号に直接的に切り替えることを避け、一旦弱い補正処理を受けた映像信号に切り替えた後に、強い補正処理を受けた映像信号に切り替えることで、映像の質の急変を避けることができる。
さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、強く補正処理された映像信号と、弱く補正処理された映像信号と、元の映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補正処理を受けた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補正処理された映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補正処理された映像を用いることで動きぼやけに対する補正により動きぼやけの低減した映像を表示し、動きベクトルの検出が中程度の場合には、弱めに補正処理された映像を用いることで、画質劣化を抑制するとともに、弱めの補正処理により動きぼやけの低減の効果もある程度得ることができる。
また、映像信号を切り替える場合にも、段階的切替えが可能であり、例えば補正処理を受けていない映像信号から強い補正処理を受けた映像信号に直接的に切り替えることを避け、一旦弱い補正処理を受けた映像信号に切り替えた後に、強い補正処理を受けた映像信号に切り替えることで、映像の質の急変を避けることができる。
実施の形態4.
図23は、本発明の実施の形態4に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2dと、画像表示部3とを備え、画像処理装置2dは、図21の画像処理装置と同様の、入力画像遅延部4、動きベクトル検出部5、高周波成分検出部8、判定部59、及び画像選択部60を備えるとともに、画像補正処理部16b、画像合成部17b、及びフレームレート変換部70を備える。画像補正処理部16bは、第1の補正処理部71及び第2の補正処理部72を備える。画像合成部17bは、第1の合成部73及び第2の合成部74を備える。
図23は、本発明の実施の形態4に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2dと、画像表示部3とを備え、画像処理装置2dは、図21の画像処理装置と同様の、入力画像遅延部4、動きベクトル検出部5、高周波成分検出部8、判定部59、及び画像選択部60を備えるとともに、画像補正処理部16b、画像合成部17b、及びフレームレート変換部70を備える。画像補正処理部16bは、第1の補正処理部71及び第2の補正処理部72を備える。画像合成部17bは、第1の合成部73及び第2の合成部74を備える。
実施の形態4の画像処理装置2dは、実施の形態2と同様に、入力された映像信号D0を受けて、フレームレートを高くした映像信号を生成するもので、そのために、入力映像信号のフレーム間に1又は2以上のフレーム(補間フレーム)を補間により生成する。以下では、フレームレートを5倍にする場合を例に挙げて説明する。
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2dは、入力映像信号D0の相前後するフレーム間に、複数の、例えば第1及び第2の補間方法で、それぞれ1又は2以上の補間フレームを生成し、生成した補間フレームを含む映像信号Ja0、Jb0の各々を入力映像信号と組み合わせることで(入力映像信号のフレームと補間フレームを所定の順序で出力させることで)、フレームレートを高くした複数の映像信号Ka、Kbを生成するとともに、入力映像信号の各フレームを複数回繰り返すことでフレームレートを高くした映像信号Ifを生成し、これらの映像信号Ka、Kb、Ifのうちのいずれかを、判定部59における判定の結果に基づいて選択して最終出力映像信号Fとして出力する。
画像処理装置2dに入力された映像信号D0(図24(a))は、入力画像遅延部4に供給される。入力画像遅延部4はフレームメモリを用いて、入力された信号のフレーム遅延を行い、3枚の互いに異なるフレームの映像信号D1、D2、D3(図24(b)、(c)、(d))を生成する。図24(a)〜(l)において、符号T0、T1、T2、…は、入力映像信号の各フレーム期間を表す。そのうち、映像信号D1は、映像信号D0に対して遅延がなく、映像信号D2は映像信号D0に対して1フレームの遅延があり、映像信号D3は、映像信号D0に対して2フレームの遅延がある。
映像信号D2およびD1は動きベクトル検出部5及び第1及び第2の補正処理部71、72に出力され、
映像信号D3はフレームレート変換部70に出力される。
映像信号D3はフレームレート変換部70に出力される。
フレームレート変換部70は、映像信号D3のフレーム周波数を5倍にした映像信号Ifを出力する(図24(k))。この映像信号Ifは、映像信号D3の各フレームを、再生時間を1/5に短縮して5回ずつ繰り返すものであり、その詳細を図25(d)に示す。
動きベクトル検出部5は、実施の形態1について説明したように、入力画像遅延部4から出力された2枚の異なるフレームの映像信号D2、D1を用い、映像信号D2に含まれる動きベクトルV(図24(f))を検出する。検出された動きベクトルVは第1及び第2の補正処理部71、72及び高周波成分検出部8に出力される。
実施の形態1に関し説明したように、動きベクトルVは、注目フレームのブロックと後フレームのブロックとの間で、式(2)で表される差分絶対値和が最小となるブロック間の相対位置(km,lm)に対応するものであり、本実施の形態では、実施の形態2と同様に、検出された動きベクトルV=(Vy,Vx)=(km,lm)とともに、当該最小の差分絶対値和SAD(i+km,j+lm)が、当該動きベクトルVに対応する差分絶対値和mv_sad(i,j)として第1及び第2の補正処理部71、72へ出力される。
第1の補正処理部71は、動きベクトル検出部5から出力された動きベクトルV及び差分絶対値和mv_sad(i,j)を入力とし、入力画像遅延部4から出力された各フレームの映像信号D2と次のフレームの映像信号D1の間の、それぞれ時間的に均等に分離された位置(4つの位相)に存在すると推定される4つのフレームを補間により生成し、これにより、各位相の補間フレームの列から成る4つの映像信号を生成する。補間により生成される4つの映像信号をまとめて符号Ja0で表す。これら4つ映像信号の、それぞれのフレームを図24(g)に符号F0ia〜F0id、F1ia〜F1id、F2ia〜F2id、…で示す。
生成された映像信号Ja0は、第1の合成部73に出力される。
また、第1の補正処理部71は、入力された映像信号D2をそのまま映像信号G0(D2と同内容のデータであり、図24(c)にF0、F1、F2、…として示される)として第1の合成部73へ出力する。
生成された映像信号Ja0は、第1の合成部73に出力される。
また、第1の補正処理部71は、入力された映像信号D2をそのまま映像信号G0(D2と同内容のデータであり、図24(c)にF0、F1、F2、…として示される)として第1の合成部73へ出力する。
第2の補正処理部72は、動きベクトル検出部5から出力された動きベクトルV及び差分絶対値和mv_sad(i,j)を入力とし、入力画像遅延部4から出力された各フレームの映像信号D2と次のフレームの映像信号D1の間の、時間的に中間の位置に存在すると推定される1つのフレームを補間により生成し、これにより、生成された補間フレームの列から成る映像信号Jb0を生成する。映像信号Jb0の各フレームを図24(i)に符号F0h、F1h、F2h、…で示す。生成された映像信号Jb0は、第2の合成部74に出力される。
また、第2の補正処理部72は、入力された映像信号D2をそのまま映像信号G0(D2と同内容のデータであり、図24(c)にF0、F1、F2、…として示される)として第2の合成部74へ出力する。
また、第2の補正処理部72は、入力された映像信号D2をそのまま映像信号G0(D2と同内容のデータであり、図24(c)にF0、F1、F2、…として示される)として第2の合成部74へ出力する。
第1の合成部73は、第1の補正処理部71から出力された各フレームの映像信号G0及び補間により生成された映像信号Ja0を基にして、これらを所定の時間順序で配列することにより、フレームレートが5倍の映像信号Ka(図24(h)、図25(e))を生成する。
第2の合成部74は、第2の補正処理部72から出力された各フレームの映像信号G0及び補間により生成された映像信号Jb0を基にして、これらを所定の時間順序で配列することにより、フレームレートが5倍の映像信号Kb(図24(j)、図25(f))を生成する。
以下、フレームレート変換部70、第1及び第2の補正処理部71及び72、並びに第1及び第2の合成部73及び74の処理を図25(d)、(e)、(f)を参照して説明する。図25(d)、(e)、(f)は、図24(k)、(h)、(j)に示される映像信号の各フレームの時間的位置関係をより詳しく示す。
図示の例では、入力映像信号D0のフレーム周波数は24fps、出力映像信号Fのフレーム周波数は120fpsであり、入力映像信号D0のそれぞれのフレームの開始時刻が図25(a)に、符号U、U+1、U+2で示され、出力映像信号Fのそれぞれのフレームの開始時刻が図25(c)に符号u、u+1/5、u+2/5、…で示されている。図25(b)は、図24(e)と同様に、合成部73、74に入力される映像信号G0(図24(c))を1フレーム期間遅延させ、さらに再生時間を1/5に短縮した映像信号G1を示す。
図示の例では、入力映像信号D0のフレーム周波数は24fps、出力映像信号Fのフレーム周波数は120fpsであり、入力映像信号D0のそれぞれのフレームの開始時刻が図25(a)に、符号U、U+1、U+2で示され、出力映像信号Fのそれぞれのフレームの開始時刻が図25(c)に符号u、u+1/5、u+2/5、…で示されている。図25(b)は、図24(e)と同様に、合成部73、74に入力される映像信号G0(図24(c))を1フレーム期間遅延させ、さらに再生時間を1/5に短縮した映像信号G1を示す。
まず、フレームレート変換部70について説明する。
図25(d)に示される例では、フレームレート変換部70から映像信号Ifとして、元の映像信号D3の各フレームが、再生時間を1/5に短縮されて5回ずつ繰り返して出力される。例えばフレーム期間T2内において、元の映像信号のフレームF0が5回繰り返して出力され、次のフレーム期間T3内において、フレームF1が5回繰り返して出力される。
図25(d)に示される例では、フレームレート変換部70から映像信号Ifとして、元の映像信号D3の各フレームが、再生時間を1/5に短縮されて5回ずつ繰り返して出力される。例えばフレーム期間T2内において、元の映像信号のフレームF0が5回繰り返して出力され、次のフレーム期間T3内において、フレームF1が5回繰り返して出力される。
次に第1の補正処理部71及び第1の合成部73について説明する。
図25(e)に示される例では、第1の合成部73から映像信号Kaとして、例えばフレーム期間T2においては、元の映像信号G0のフレームF0に続いて4つの補間フレームF0ia、F0ib、F0ic、F0idが順に出力され、次のフレーム期間T3においては、元の映像信号G0のフレームF1に続いて4つの補間フレームF1ia、F1ib、F1ic、F1idが順に出力される。
図25(e)に示される例では、第1の合成部73から映像信号Kaとして、例えばフレーム期間T2においては、元の映像信号G0のフレームF0に続いて4つの補間フレームF0ia、F0ib、F0ic、F0idが順に出力され、次のフレーム期間T3においては、元の映像信号G0のフレームF1に続いて4つの補間フレームF1ia、F1ib、F1ic、F1idが順に出力される。
各フレームの再生時間(出力時間)は、入力映像信号の1フレーム期間の1/5であり、補間フレームF0ia、F0ib、F0ic、F0idは元の映像信号のフレームF0に対して1/5、2/5、3/5、4/5フレーム期間遅れたタイミングで出力される。
このようなタイミングで出力される補間フレームの生成のため、第1の補正処理部71では、以下のようにして補間フレームの画素の画素値を求める。即ち、第1の補正処理部71は、上記のように、入力画像遅延部4から出力された注目フレームの映像信号D2および後フレームの映像信号D1の間の複数の時間的位置(位相)に映像信号を補間により生成する。第1の補正処理部71へは、入力画像遅延部4からの映像信号D2、D1のほか、動きベクトル検出部5から注目フレームの動きベクトルV(Vy,Vx)及び差分絶対値和mv_sad(i,j)が入力される。
以下では、注目フレームと後フレームの間に生成される複数の補間フレームの一つ(符号Jnで表す)に着目して説明する。この補間フレームは、注目フレームから、注目フレームと後フレームの時間間隔のα倍の位置にあるものとする。即ち、注目フレームと後フレームの時間間隔に対する注目フレームと補間フレームの時間間隔の比がαである。図40(e)に示すように、入力映像信号のフレーム(例えばF0)に対して1/5フレーム期間後の補間フレーム(F0ia)を生成する場合にはα=1/5となる。同様に、2/5フレーム期間、3/5フレーム期間、4/5フレーム期間後の補間フレーム(F0ib、F0ic、F0id)を生成する場合には、それぞれα=2/5、α=3/5、α=4/5となる。
第1の補正処理部71では、注目フレームD2の動きベクトルV(Vy,Vx)及び差分絶対値和mv_sad(i,j)を受けて、補間フレームJn上の動きベクトル(Vhy,Vhx)を求める。
注目フレームD2の位置(i,j)の動きベクトルVの垂直方向成分をVy(i,j)、水平方向成分をVx(i,j)と表現すると、補間フレームJnの位置(i+si,j+sj)における動きベクトルVhy、Vhxは、次のように求めることができる。
Vhy(i+si,j+sj)=Vy(i,j)×α (23a)
Vhx(i+si,j+sj)=Vx(i,j)×α (23b)
ただし、
si=round[Vy(i,j)×α]
sj=round[Vx(i,j)×α]
(round[*]は*の四捨五入)
である。
Vhy(i+si,j+sj)=Vy(i,j)×α (23a)
Vhx(i+si,j+sj)=Vx(i,j)×α (23b)
ただし、
si=round[Vy(i,j)×α]
sj=round[Vx(i,j)×α]
(round[*]は*の四捨五入)
である。
つまり、注目フレームD2の動きベクトルVにαを掛けて四捨五入することで算出された位置(i+si,j+sj)に、注目フレームと補間フレームとの間には、注目フレームD2の動きベクトルVにαを掛けた値の動きベクトルがあるものと推定される。なお、位置(i+si,j+sj)が映像として定義された範囲の外の位置を指定した場合、式(23a)、式(23b)、式(23c)の処理をしない。
ここで、式(23a)、式(23b)及び式(23c)で計算された補間フレームにおける動きベクトルVhy、Vhxは、補間フレーム上の全ての位置(i,j)に対して得られるとは限らない。このため、動きベクトルVhy、Vhxが得られなかった画素位置について動きベクトル値Vhy、Vhxの修正乃至補間処理(以下単に修正処理と言う)が必要となる。動きベクトルVhy、Vhxの修正処理は、実施の形態2について説明したのと同様に行い得る。
動きベクトルVhy、Vhxを修正することで得られる値をそれぞれ、符号Vcy、Vcxで表す。
動きベクトルVhy、Vhxを修正することで得られる値をそれぞれ、符号Vcy、Vcxで表す。
次に修正後の動きベクトルVcy(i、j)、Vcx(i、j)を用いて注目フレームの映像信号D2と後フレームの映像信号D1の値を参照し、補間フレームJnを求める。補間フレームの注目画素(i,j)に対応する注目フレームの映像信号D2と後フレームの映像信号D1の位置をそれぞれ(bi、bj)、(ai,aj)とすると、補間フレームJnの各画素の画素値Jn(i,j)は、
Jn(i,j)=D2(bi,bj)×(1−α)+D1(ai,aj)×α
(24)
として求めることができる。ここで、
bi=i−round[Vcy(i,j)]
bj=j−round[Vcx(i,j)]
ai=i+fix[Vcy(i,j)]
aj=j+fix[Vcx(i,j)]
である。ただし、fix[*]は*の0方向への切捨てを示す。
Jn(i,j)=D2(bi,bj)×(1−α)+D1(ai,aj)×α
(24)
として求めることができる。ここで、
bi=i−round[Vcy(i,j)]
bj=j−round[Vcx(i,j)]
ai=i+fix[Vcy(i,j)]
aj=j+fix[Vcx(i,j)]
である。ただし、fix[*]は*の0方向への切捨てを示す。
次に第2の補正処理部72及び第2の合成部74について説明する。
図25(f)に示される例では、第2の合成部74から映像信号Kbとして、例えばフレーム期間T1の終期からフレーム期間T2の初期に掛けて、元の映像信号G0のフレームF0が3回繰り返して出力された後、フレーム期間T2内で補間フレームF0hが2回繰り返して出力され、フレーム期間T2の終期からフレーム期間T3の初期に掛けて元の映像信号G0のフレームF1が3回繰り返して出力された後、フレーム期間T3内で補間フレームF1hが2回繰り返して出力される。
図25(f)に示される例では、第2の合成部74から映像信号Kbとして、例えばフレーム期間T1の終期からフレーム期間T2の初期に掛けて、元の映像信号G0のフレームF0が3回繰り返して出力された後、フレーム期間T2内で補間フレームF0hが2回繰り返して出力され、フレーム期間T2の終期からフレーム期間T3の初期に掛けて元の映像信号G0のフレームF1が3回繰り返して出力された後、フレーム期間T3内で補間フレームF1hが2回繰り返して出力される。
各フレームの再生時間は、入力映像信号の1フレーム期間の1/5であり、補間フレームF0hは3回繰り返される元の映像信号のフレームF0のうちの2番目のものに対して2/5、3/5フレーム期間遅れたタイミングで出力される。
補間フレームの各画素の画素値は、補間フレームが相前後する元の映像信号のフレームの時間的中間位置にあるものと仮定して第2の補正処理部72で求められた値である。第2の補正処理部72は、実施の形態2の画像補正処理部16が補間フレームの映像信号J0を求めるのと同様にして、補間フレームの映像信号Jb0を求める。
高周波成分検出部8及び判定部59の動作は実施の形態3と同様である。
画像選択部60は、実施の形態3と同様に、選択制御信号Rの値に応じて、3つの入力のうちのいずれかを選択して出力する。
即ち、画像選択部60は、選択制御信号Rが「0」の場合は第1の合成部73から出力された、補間後の映像信号Ka(図24(h))を最終出力映像信号Fとして出力し、選択制御信号Rが「1」の場合は第2の合成部74から出力された、補間後の映像信号Kb(図24(j))を最終出力映像信号Fとして出力し、選択制御信号Rが「2」の場合はフレームレート変換部70から出力された映像信号lf(図24(k))を最終出力映像信号Fとして出力する。
即ち、画像選択部60は、選択制御信号Rが「0」の場合は第1の合成部73から出力された、補間後の映像信号Ka(図24(h))を最終出力映像信号Fとして出力し、選択制御信号Rが「1」の場合は第2の合成部74から出力された、補間後の映像信号Kb(図24(j))を最終出力映像信号Fとして出力し、選択制御信号Rが「2」の場合はフレームレート変換部70から出力された映像信号lf(図24(k))を最終出力映像信号Fとして出力する。
画像表示部3は、画像選択部60から出力された映像信号Fに基づく画像の表示を行なう。
このような処理をする結果、上記の計数結果Nhf(1フレーム中における、値「1」を取る高周波成分検出結果Hの発生回数)が閾値C2B以上のとき、即ち、動きベクトルVの検出に誤りが多いときは、補間処理によって得られた映像信号を用いずに、入力映像信号を繰り返すことで得られた映像信号(補間処理乃至補正処理を受けていない映像信号)Ifを選択して表示し、計数結果Nhfが閾値C2A未満のとき、即ち、動きベクトルVの検出に誤りが少ないときは、細かな補間処理により得られた(元のフレーム周期の1/5の周期毎に別々の補間演算を行うことで得られた)映像信号Ja0を入力映像信号と組み合わせた映像信号、即ち比較的強い補正処理を受けた映像信号Kaを選択して表示し、計数結果Nhfが閾値C2A以上で閾値C2B未満のとき、即ち、動きベクトルVの検出に誤りが中程度のときは、粗い補間処理により得られた(元の映像信号の相前後するフレームの中間に補間フレームが位置するものと仮定して補間演算を行うことで得られた)映像信号Jb0を入力映像信号と組み合わせた映像信号、即ち比較的弱い補正処理を受けた映像信号Kbを選択して表示する。
即ち、計数結果Nhfが多い場合(具体的には閾値C2B以上の場合)には、補間処理、即ち補正処理を受けていない映像信号Ifを選択し、計数結果Nhfが多くない場合(閾値C2Bよりも小さい場合)には、補間処理、即ち補正処理を受けた映像信号(Ka又はKb)選択するが、計数結果Nhfが比較的少ない場合には、より細かな補間処理、即ちより強い補正処理を受けた映像信号Kaを選択し、計数結果Nhfが比較的多い場合には、より粗い補間処理、即ちより弱い補正処理を受けた映像信号Kbを選択する。
一般化して言えば、計数結果が少ないほど、より細かな補間処理、即ちより強い補正処理を受けた映像信号を選択する。
即ち、計数結果Nhfが多い場合(具体的には閾値C2B以上の場合)には、補間処理、即ち補正処理を受けていない映像信号Ifを選択し、計数結果Nhfが多くない場合(閾値C2Bよりも小さい場合)には、補間処理、即ち補正処理を受けた映像信号(Ka又はKb)選択するが、計数結果Nhfが比較的少ない場合には、より細かな補間処理、即ちより強い補正処理を受けた映像信号Kaを選択し、計数結果Nhfが比較的多い場合には、より粗い補間処理、即ちより弱い補正処理を受けた映像信号Kbを選択する。
一般化して言えば、計数結果が少ないほど、より細かな補間処理、即ちより強い補正処理を受けた映像信号を選択する。
実施の形態3と同様に、ユーザは閾値C1を変更することにより、高周波成分検出部8における判定の厳しさ(高周波成分の値がどの程度のときに、誤検出と推定するか)を調整することができる。また、閾値C2A、C2Bを変更することにより、判定部59における判定の厳しさ(各フレーム中において動きベクトルが誤検出されたと推定される画素の数Nhfに基づく、当該フレームについての動きベクトルの検出結果の信頼性に対する判定の基準)を調整することができる。
以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いて補間フレームを生成すると共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、細かい補間処理により得られた映像信号と、粗い補間処理により得られた映像信号と、元の映像信号のフレームレートを高くしただけの映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補間処理で得られた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補間処理で得られた映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補間処理で得られた映像を用いることでギクシャクした動きの低減した映像(滑らかに変化する映像)を表示し、動きベクトルの検出が中程度の場合には、粗い補間処理で得られた映像を用いることで、画質劣化を抑制するとともに、粗い補間処理により、動きが幾分滑らかになった映像を表示することができる。
また、映像信号を切り替える場合にも、段階的切替えが可能であり、例えば補間処理処理により得られた映像を用いていない映像信号から、細かな補間処理で得られた映像信号に直接的に切り替えることを避け、一旦粗い補間処理で得られた映像信号に切り替えた後に、細かな補間処理で得られた映像信号に切り替えることで、映像の質の急変を避けることができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補間処理で得られた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補間処理で得られた映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補間処理で得られた映像を用いることでギクシャクした動きの低減した映像(滑らかに変化する映像)を表示し、動きベクトルの検出が中程度の場合には、粗い補間処理で得られた映像を用いることで、画質劣化を抑制するとともに、粗い補間処理により、動きが幾分滑らかになった映像を表示することができる。
また、映像信号を切り替える場合にも、段階的切替えが可能であり、例えば補間処理処理により得られた映像を用いていない映像信号から、細かな補間処理で得られた映像信号に直接的に切り替えることを避け、一旦粗い補間処理で得られた映像信号に切り替えた後に、細かな補間処理で得られた映像信号に切り替えることで、映像の質の急変を避けることができる。
実施の形態1乃至4において、各画素についての高周波成分を閾値C1と比較して、比較の結果得られる高周波成分検出結果Hのうち値が「1」のものを各フレームに亘り計数しているが、各画素についての高周波成分を各フレームに亘り積算し、積算値を閾値と比較し、積算値が閾値よりも大きければ、当該フレームについて動きベクトルの検出に誤りが多く、信頼性が低いと判断することとしても良い。この場合にも、画像の特定の部分、例えば中央部分のみを、高周波成分の検出及び高周波成分の積算の対象としても良い。
以上本発明を画像処理装置及び画像表示装置として説明したが、これらの装置で実行される画像処理方法及び画像表示方法も本発明の一部を成す。本発明はさらに、上記の画像処理装置または画像処理方法における手順乃至各ステップの処理を実行するプログラムとしても成立し、該プログラムを記録したコンピュータで読み取り可能な記録媒体としても成立する。
1 画像表示装置、 2 画像処理装置、 3 画像表示部、 4,14 入力画像遅延部、 5 動きベクトル検出部、 6、6b 画像補正処理部、 7、7b 処理画像遅延部、 8 高周波成分検出部、 9 判定部、 10 画像選択部、 11 フレームメモリ、 12 フレームメモリ制御部、 15 フレームレート変換部、 16、16b 画像補正処理部、 17、17b 画像合成部、 21 注目フレームブロック切り出し部、 22 後フレームブロック切り出し部、 23 動きベクトル決定部、30 補正演算部、 31 操作信号処理部、 32 動きぼやけ推定部、 33 フィルタ係数保存部、 34 フィルタリング部、 35 非線形処理部、 36 ローパスフィルタ、 37 平均値算出部、 38 補正強度調整部、 39 利得計算部、 41 フレームメモリ、 42 フレームメモリ制御部、 51 第1の補正処理部、 52 第2の補正処理部、 53 第1の画像遅延部、 54 第2の画像遅延部、 70 フレームレート変換部、 71 第1の補正処理部、 72 第2の補正処理部、 73 第1の合成部、 74 第2の合成部。
Claims (20)
- 入力映像信号をフレーム遅延することで得られた第1の映像信号と、前記第1の映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて、前記第1の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う画像補正処理部と、
前記動きベクトル検出部で検出された動きベクトルを用い、高周波成分を検出する高周波成分検出部と、
前記高周波成分検出部で検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定部と、
前記判定部において動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択部と
を備え、
前記高周波成分検出部は、各画素についての高周波成分が第1の閾値以上であるかどうかの判定を行い、
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、第2の閾値以上であれば、動きベクトルが誤検出されたものと判断する
ことを特徴とする画像処理装置。 - 前記判定部は、前記高周波成分が多いほど、前記動きベクトルの検出結果の信頼性を低く評価することを特徴とする請求項1に記載の画像処理装置。
- 前記第1の閾値が、外部から入力されたものであることを特徴とする請求項1に記載の画像処理装置。
- 前記第2の閾値は、外部から入力したものであることを特徴とする請求項1に記載の画像処理装置。
- 前記高周波成分検出部は、前記動きベクトルの2階差分値を前記高周波成分として検出することを特徴とする請求項1から4までのいずれか1項に記載の画像処理装置。
- 前記画像補正処理部は、前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号における動きぼやけを軽減する画像補正処理を行うことを特徴とする請求項1から5までのいずれか1項に記載の画像処理装置。
- 前記画像補正処理部が、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う第1の補正処理部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号に対して第1の補正処理部よりも補正強度が小さい画像補正処理を行う第2の補正処理部とを備え、
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値よりも小さい第3の閾値以上であるか否かの判定をも行い、
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値未満であると判断されたときは、前記画像選択部は、前記第1の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値以上でかつ前記第2の閾値未満であると判断されたときは、前記画像選択部は、前記第2の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値以上であると判断されたときは、前記画像選択部は、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する
ことを特徴とする請求項6に記載の画像処理装置。 - 前記画像補正処理部は、前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に映像信号を補間する画像補正処理を行なうことを特徴とする請求項1から5までのいずれか1項に記載の画像処理装置。
- 前記画像補正処理部は、
前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に第1の数のフレームの映像信号を補間する画像補正処理を行なう第1の補正処理部と、
前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に前記第1の数よりも少ない第2の数のフレームの映像信号を補間する画像補正処理を行なう第2の補正処理部とを備え、
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値よりも小さい第3の閾値以上であるか否かの判定をも行い、
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値未満であると判断されたときは、前記画像選択部は、前記第1の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値以上でかつ前記第2の閾値未満であると判断されたときは、前記画像選択部は、前記第2の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値以上であると判断されたときは、前記画像選択部は、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する
ことを特徴とする請求項8に記載の画像処理装置。 - 請求項1から9までのいずれか1項に記載の画像処理装置と、前記画像処理装置で生成された画像を表示する画像表示部とを備えた画像表示装置。
- 入力映像信号をフレーム遅延することで得られた第1の映像信号と、前記第1の映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて、前記第1の映像信号における動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う画像補正処理ステップと、
前記動きベクトル検出ステップで検出された動きベクトルを用い、高周波成分を検出する高周波成分検出ステップと、
前記高周波成分検出ステップで検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定ステップと、
前記判定ステップにおいて動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択ステップと
を備え、
前記高周波成分検出ステップは、各画素についての高周波成分が第1の閾値以上であるかどうかの判定を行い、
前記判定ステップは、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、第2の閾値以上であれば、動きベクトルが誤検出されたものと判断する
ことを特徴とする画像処理方法。 - 前記判定ステップは、前記高周波成分が多いほど、前記動きベクトルの検出結果の信頼性を低く評価することを特徴とする請求項11に記載の画像処理方法。
- 前記第1の閾値が、画像処理方法の実施に用いられる装置の外部から入力されたものであることを特徴とする請求項11に記載の画像処理方法。
- 前記第2の閾値は、画像処理方法の実施に用いられる装置の外部から入力したものであることを特徴とする請求項11に記載の画像処理方法。
- 前記高周波成分検出ステップは、前記動きベクトルの2階差分値を前記高周波成分として検出することを特徴とする請求項11から14までのいずれか1項に記載の画像処理方法。
- 前記画像補正処理ステップは、前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号における動きぼやけを軽減する画像補正処理を行うことを特徴とする請求項11から15までのいずれか1項に記載の画像処理方法。
- 前記画像補正処理ステップが、
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う第1の補正処理ステップと、
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号に対して第1の補正処理ステップよりも補正強度が小さい画像補正処理を行う第2の補正処理ステップとを備え、
前記判定ステップは、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値よりも小さい第3の閾値以上であるか否かの判定をも行い、
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値未満であると判断されたときは、前記画像選択ステップは、前記第1の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値以上でかつ前記第2の閾値未満であると判断されたときは、前記画像選択ステップは、前記第2の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値以上であると判断されたときは、前記画像選択ステップは、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号のいずれかを選択して出力する
ことを特徴とする請求項16に記載の画像処理方法。 - 前記画像補正処理ステップは、前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に映像信号を補間する画像補正処理を行なうことを特徴とする請求項11から15までのいずれか1項に記載の画像処理方法。
- 前記画像補正処理ステップは、
前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に第1の数のフレームの映像信号を補間する画像補正処理を行なう第1の補正処理ステップと、
前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に前記第1の数よりも少ない第2の数のフレームの映像信号を補間する画像補正処理を行なう第2の補正処理ステップとを備え、
前記判定ステップは、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値よりも小さい第3の閾値以上であるか否かの判定をも行い、
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値未満であると判断されたときは、前記画像選択ステップは、前記第1の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値以上でかつ前記第2の閾値未満であると判断されたときは、前記画像選択ステップは、前記第2の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値以上であると判断されたときは、前記画像選択ステップは、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する
ことを特徴とする請求項18に記載の画像処理方法。 - 請求項11から19までのいずれか1項に記載の画像処理方法と、前記画像処理方法で生成された画像を表示する画像表示ステップとを備えた画像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013544249A JP5550794B2 (ja) | 2011-11-18 | 2012-11-09 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011252547 | 2011-11-18 | ||
JP2011252547 | 2011-11-18 | ||
JP2013544249A JP5550794B2 (ja) | 2011-11-18 | 2012-11-09 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
PCT/JP2012/079139 WO2013073476A1 (ja) | 2011-11-18 | 2012-11-09 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5550794B2 true JP5550794B2 (ja) | 2014-07-16 |
JPWO2013073476A1 JPWO2013073476A1 (ja) | 2015-04-02 |
Family
ID=48429536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013544249A Expired - Fee Related JP5550794B2 (ja) | 2011-11-18 | 2012-11-09 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP5550794B2 (ja) |
CN (1) | CN103947181A (ja) |
WO (1) | WO2013073476A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10819978B2 (en) | 2016-01-11 | 2020-10-27 | Samsung Electronics Co., Ltd. | Image encoding method and apparatus, and image decoding method and apparatus |
CN111491204B (zh) * | 2020-04-17 | 2022-07-12 | Oppo广东移动通信有限公司 | 视频修复方法、装置、电子设备和计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05344346A (ja) * | 1992-06-08 | 1993-12-24 | Casio Comput Co Ltd | 画像圧縮装置 |
JP2753024B2 (ja) * | 1989-03-14 | 1998-05-18 | 松下電器産業株式会社 | 画像の動きベクトル予測装置および検出装置 |
JP2008244686A (ja) * | 2007-03-27 | 2008-10-09 | Hitachi Ltd | 映像処理装置及び映像処理方法 |
JP2011130128A (ja) * | 2009-12-16 | 2011-06-30 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5047850A (en) * | 1989-03-03 | 1991-09-10 | Matsushita Electric Industrial Co., Ltd. | Detector for detecting vector indicating motion of image |
KR100477647B1 (ko) * | 2002-06-01 | 2005-03-23 | 삼성전자주식회사 | 영상의 움직임 보정 장치 및 방법 |
JP3960258B2 (ja) * | 2003-04-28 | 2007-08-15 | ソニー株式会社 | 信号処理装置および信号処理方法 |
-
2012
- 2012-11-09 CN CN201280056204.6A patent/CN103947181A/zh active Pending
- 2012-11-09 JP JP2013544249A patent/JP5550794B2/ja not_active Expired - Fee Related
- 2012-11-09 WO PCT/JP2012/079139 patent/WO2013073476A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2753024B2 (ja) * | 1989-03-14 | 1998-05-18 | 松下電器産業株式会社 | 画像の動きベクトル予測装置および検出装置 |
JPH05344346A (ja) * | 1992-06-08 | 1993-12-24 | Casio Comput Co Ltd | 画像圧縮装置 |
JP2008244686A (ja) * | 2007-03-27 | 2008-10-09 | Hitachi Ltd | 映像処理装置及び映像処理方法 |
JP2011130128A (ja) * | 2009-12-16 | 2011-06-30 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2013073476A1 (ja) | 2013-05-23 |
CN103947181A (zh) | 2014-07-23 |
JPWO2013073476A1 (ja) | 2015-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7406208B2 (en) | Edge enhancement process and system | |
JP4646146B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US8369649B2 (en) | Image processing apparatus, image processing method, and computer program for performing super-resolution process | |
US7912323B2 (en) | Image processing apparatus, image processing method, and image display apparatus | |
CA2702165C (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
JP4578566B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
CN110418065B (zh) | 高动态范围图像运动补偿方法、装置及电子设备 | |
US9002129B2 (en) | Method and device for reducing temporal noise for image | |
US8731328B2 (en) | Image processing apparatus, method and recording medium for generating a composite image | |
JP2008518318A (ja) | ボケた画像部分の画質を向上する方法 | |
EP3438923B1 (en) | Image processing apparatus and image processing method | |
US8213736B2 (en) | Image processing device and image processing method | |
JP2012109656A (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
JP5550794B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
JP3786925B2 (ja) | 輪郭補正方法及びこれに適した装置 | |
US8908965B2 (en) | Image processor, image processing method, image processing program, and chip circuit | |
JP2012032739A (ja) | 画像処理装置及び方法、並びに画像表示装置 | |
US9007494B2 (en) | Image processing apparatus, method for controlling the same and storage medium | |
JP2007179211A (ja) | 画像処理装置、画像処理方法、およびそのプログラム | |
JP5933690B2 (ja) | 画像処理装置及び方法、並びに画像処理プログラム | |
JP6128878B2 (ja) | 映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラム | |
JP5024300B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2011033675A1 (ja) | 画像処理装置および画像表示装置 | |
JP2020057242A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101758688B1 (ko) | 신호 처리 장치 및 신호 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5550794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |