JP5550794B2 - Image processing apparatus and method, and image display apparatus and method - Google Patents
Image processing apparatus and method, and image display apparatus and method Download PDFInfo
- Publication number
- JP5550794B2 JP5550794B2 JP2013544249A JP2013544249A JP5550794B2 JP 5550794 B2 JP5550794 B2 JP 5550794B2 JP 2013544249 A JP2013544249 A JP 2013544249A JP 2013544249 A JP2013544249 A JP 2013544249A JP 5550794 B2 JP5550794 B2 JP 5550794B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- image
- frame
- motion vector
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 271
- 238000000034 method Methods 0.000 title claims description 68
- 239000013598 vector Substances 0.000 claims description 323
- 238000001514 detection method Methods 0.000 claims description 191
- 238000012937 correction Methods 0.000 claims description 164
- 238000003702 image correction Methods 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 51
- 238000003672 processing method Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 description 49
- 238000004364 calculation method Methods 0.000 description 46
- 230000003111 delayed effect Effects 0.000 description 24
- 102100029824 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase 2 Human genes 0.000 description 21
- 101000794082 Homo sapiens ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase 2 Proteins 0.000 description 21
- 101001099051 Homo sapiens GPI inositol-deacylase Proteins 0.000 description 21
- 229910052454 barium strontium titanate Inorganic materials 0.000 description 15
- 230000008859 change Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 102220047090 rs6152 Human genes 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
本発明は、動きベクトルを参照することで映像の画質向上処理を行う画像処理装置及び方法、並びに画像表示装置及び方法に関する。 The present invention relates to an image processing apparatus and method, and an image display apparatus and method for performing image quality improvement processing by referring to a motion vector.
映像の画質向上を目的として、様々は画像補正処理が提案されている。その中には、映像の動きベクトルを検出して、検出した動きベクトルに基づいて画像補正処理を行なうものがある。例えば、検出した動きベクトルに基づいて動きぼやけを補正するものがある(特許文献1)。また、検出した動きベクトルを用いてフレーム補間を行うものもある。 Various image correction processes have been proposed for the purpose of improving image quality. Some of them detect a motion vector of a video and perform image correction processing based on the detected motion vector. For example, there is one that corrects motion blur based on a detected motion vector (Patent Document 1). There is also a technique that performs frame interpolation using a detected motion vector.
しかしながら、動きベクトルの検出に誤りが多く含まれる場合には、検出された動きベクトルを用いて行なわれた画像補正処理の結果得られた映像は、元の映像よりも画質が劣化したものとなると言う問題がある。 However, when the motion vector detection includes a lot of errors, the video obtained as a result of the image correction processing performed using the detected motion vector is deteriorated in image quality than the original video. There is a problem to say.
本発明は、上記に鑑みてなされたものであり、検出された動きベクトルに誤りが多く含まれる場合に、画質の劣化を防止することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to prevent deterioration in image quality when many errors are included in detected motion vectors.
本発明に係る画像処理装置は、
入力映像信号をフレーム遅延することで得られた第1の映像信号と、前記第1の映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて、前記第1の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う画像補正処理部と、
前記動きベクトル検出部で検出された動きベクトルを用い、高周波成分を検出する高周波成分検出部と、
前記高周波成分検出部で検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定部と、
前記判定部において動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択部と
を備え、
前記高周波成分検出部は、各画素についての高周波成分が第1の閾値以上であるかどうかの判定を行い、
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、第2の閾値以上であれば、動きベクトルが誤検出されたものと判断する
ことを特徴とする。
An image processing apparatus according to the present invention includes:
The first video signal based on a first video signal obtained by delaying an input video signal and a video signal that is temporally before or after one frame from the first video signal. A motion vector detection unit for detecting a motion vector in
An image correction processing unit that performs image correction processing on the first video signal using the motion vector detected by the motion vector detection unit;
A high frequency component detection unit that detects a high frequency component using the motion vector detected by the motion vector detection unit;
A determination unit configured to determine the reliability of the detection result of the motion vector in each frame based on the high-frequency component detected by the high-frequency component detection unit;
An image selection unit that selects and outputs the input video signal or a video signal obtained by delaying the input video signal when the determination unit determines that a motion vector is erroneously detected ;
The high-frequency component detection unit determines whether the high-frequency component for each pixel is greater than or equal to a first threshold,
The determination unit detects a motion vector erroneously in each frame if the number of pixels determined by the high frequency component detection unit to be equal to or higher than the first threshold is greater than or equal to the second threshold. It is judged that it was done.
本発明によれば、動きベクトルの検出に誤りが多い場合には、画像補正処理後の映像信号を用いずに元の映像信号を出力することとしているので、元の映像信号よりも劣化した信号を出力することを防ぐことができる。 According to the present invention, when there are a lot of errors in motion vector detection, the original video signal is output without using the video signal after the image correction processing, so that the signal deteriorated from the original video signal. Can be prevented from being output.
実施の形態1.
図1は、本発明の実施の形態1に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2と、画像表示部3とを備え、画像処理装置2は、入力画像遅延部4と、動きベクトル検出部5と、画像補正処理部6と、処理画像遅延部7と、高周波成分検出部8と、判定部9と、画像選択部10とを備える。
FIG. 1 shows a configuration of an image display apparatus including an image processing apparatus according to
画像処理装置2は、入力された映像信号D0を受けて、動きぼやけ補正処理を行うものである。
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2は、各フレームの複数の画素を順に補正対象画素(注目画素)としてぼやけ補正処理を行って、補正処理後の映像信号E0(補正された画素値を持つ信号の列から成る)を生成し、該補正処理後の映像信号E0を1フレーム遅延した映像信号E1と、入力映像信号D0を2フレーム遅延した映像信号D3のどちらかを選択して最終出力映像信号Fとして出力する。The
The video signal D0 is composed of a sequence of signals representing pixel values of a plurality of pixels constituting an image, and the
画像処理装置2に入力された映像信号D0(図2(b))は、入力画像遅延部4に供給される。入力画像遅延部4はフレームメモリを用いて、入力された信号のフレーム遅延を行い、3枚の互いに異なるフレームの映像信号D1、D2、D3(図2(d)、(e)、(f))を生成する。図2(a)〜(l)において、符号T0、T1、T2、…は各フレーム期間を表す。そのうち、映像信号D1は、映像信号D0に対して遅延がなく、映像信号D2は映像信号D0に対して1フレームの遅延があり、映像信号D3は、映像信号D0に対して2フレームの遅延がある。
映像信号D2およびD1は動きベクトル検出部5に出力され、映像信号D2は画像補正処理部6に出力され、映像信号D3は画像選択部10に出力される。The video signal D0 (FIG. 2B) input to the
The video signals D2 and D1 are output to the motion
動きベクトル検出部5は、入力画像遅延部4から出力された2枚の異なるフレームの映像信号D2、D1を用い、映像信号D2に含まれる動きベクトルV(図2(i))を検出する。
検出された動きベクトルVは画像補正処理部6及び高周波成分検出部8に出力される。The motion
The detected motion vector V is output to the image
画像補正処理部6は、動きベクトル検出部5から出力された動きベクトルVを入力とし、入力画像遅延部4から出力された映像信号D2において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減し、補正された映像信号E0(図2(g)のF0c、F1c、F2c、…)を処理画像遅延部7へ出力する。
The image
処理画像遅延部7は、画像補正処理部6から出力された補正された映像信号E0を1フレーム分遅延させて出力する。処理画像遅延部7の出力は、補正され、遅延された映像信号E1(図2(h)のF0c、F1c、F2c、…)として画像選択部10へ供給される。
The processed
高周波成分検出部8は動きベクトル検出部5から出力された動きベクトルV(図2(i))を入力し、ハイパスフィルタ(高域通過型フィルタ)で各画素について動きベクトルの高周波成分を抽出し、抽出した高周波成分の値を、外部から入力した閾値C1と比較し、比較結果を、当該画素についての高周波成分検出結果Hとして出力する。この高周波成分検出結果Hは、高周波成分の値が閾値C1よりも小さい場合には、値「0」を取り、高周波成分の値が閾値C1以上の場合には、値「1」を取る。各画素についての高周波数成分は、各画素についての動きベクトル、並びの周辺の画素の動きベクトルに対してハイパスフィルタを掛けることで、得られる。
The high
各画素についての動きベクトルVの高周波成分の値が大きいほど、当該動きベクトルVが誤検出されたものである可能性が高い。本実施の形態では、高周波成分の値が閾値C1以上の場合には、当該画素についての動きベクトルVは誤検出されたものと推定して処理する。
閾値C1は、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。The greater the value of the high-frequency component of the motion vector V for each pixel, the higher the possibility that the motion vector V is erroneously detected. In the present embodiment, when the value of the high frequency component is equal to or greater than the threshold C1, the motion vector V for the pixel is estimated and processed as being erroneously detected.
The threshold value C1 can be set and changed from the outside of the image processing apparatus by, for example, a user using an operation key (not shown).
判定部9は、高周波成分検出部8から出力された高周波成分検出結果Hを入力し、値「1」を取る高周波成分検出結果Hの数を1フレームに亘り計数する。そして、計数結果Nhf(1フレーム中における、値「1」を取る高周波成分検出結果Hの発生回数)を外部から入力した閾値C2と比較し、比較結果を選択制御信号Rとして画像選択部10に出力する。具体的には、計数結果Nfhが閾値C2よりも小さい場合は選択制御信号Rの値を「0」とし、閾値C2以上の場合は選択制御信号Rの値を「1」とする(図2(j))。
The
閾値C2も、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。 The threshold C2 can also be set and changed from the outside of the image processing apparatus by, for example, a user inputting it using an operation key (not shown).
画像選択部10は、選択制御信号Rが「0」の場合は処理画像遅延部7から出力される補正された映像信号E1を選択して、最終出力映像信号Fとして出力し(図2(k))、選択制御信号Rが「1」の場合は入力画像遅延部4から出力される映像信号D3を選択して最終出力映像信号Fとして出力する(図2(l))。
When the selection control signal R is “0”, the
上記の計数結果Nhf(各フレームについて値「1」を取る高周波成分検出結果Hの数)が多いほど、当該フレームには動きベクトルVの誤検出が多い可能性が高く、信頼性が低いと推定できる。本実施の形態では、計数結果Nhfが閾値C2以上の場合には、当該フレームについて、動きベクトルVの誤検出が多く、従って、動きベクトルVの検出結果は信頼性が低いものとして処理する。即ち、画像選択部10において、動きベクトルVを用いて行なわれた画像補正処理の結果得られた映像信号E1を選択せずに、元の映像信号(画像補正処理を受けていない映像信号)D3を選択して出力する。
As the count result Nhf (the number of high-frequency component detection results H that take the value “1” for each frame) increases, it is more likely that the motion vector V is erroneously detected in the frame and the reliability is lower. it can. In the present embodiment, when the counting result Nhf is equal to or greater than the threshold value C2, there are many erroneous detections of the motion vector V for the frame, and accordingly, the detection result of the motion vector V is processed with low reliability. In other words, the
各フレーム期間Tn(nは0、1、2、…のいずれか)において、動きベクトル検出部5から出力される動きベクトルVは、1フレーム遅延映像信号D2の各画素についてのものであり、動きベクトルVの高周波成分検出結果Hの各フレームにわたる集計が終わり、選択制御信号Rの値が決まるのは、当該フレーム期間の終わる時点に略一致する。そこで、各フレームの映像信号D2の動きベクトルVに基づいて生成された選択制御信号Rの値は、2フレーム遅延映像信号D3及び1フレーム遅延した補正処理後の映像信号E1が画像選択部10に供給される、次のフレーム期間T(n+1)における画像選択部10における選択に用いられる。
In each frame period Tn (n is 0, 1, 2,...), The motion vector V output from the motion
例えば、フレーム期間T1に入力画像遅延部4から出力され動きベクトル検出部5に入力される、フレームF0の映像信号D2に基づく選択制御信号R(F0)は、フレームF0の映像信号D3及び対応する補正処理後の映像信号E1(F0c)が、画像選択部10に入力される次のフレーム期間T2に、画像選択部10に供給され、画像選択部10では、この選択制御信号R(F0)に基づいて、フレーム期間T2における、映像信号D3(F0)又は映像信号E1(F0c)の選択を行う。
For example, the selection control signal R (F0) based on the video signal D2 of the frame F0 output from the input
画像表示部3は、画像選択部10から出力された映像信号Fに基づく画像の表示を行なう。
The
ここで、ユーザは閾値C1を変更することにより、高周波成分検出部8における判定の厳しさ(高周波成分の値がどの程度のときに、誤検出と推定するか)を調整することができる。また、閾値C2を変更することにより、判定部9における判定の厳しさ(各フレーム中において動きベクトルが誤検出されたと推定される画素の数Nhfに基づく、当該フレームについての動きベクトルの検出結果の信頼性に対する判定の基準、即ち各フレーム中において動きベクトルが誤検出されたと推定される画素の数Nhfがどの程度のときに、当該フレームについての動きベクトルの検出結果の信頼性が低く、画像補正処理を受けた映像信号を選択しないとの決定をするか)を調整することができる。 Here, the user can adjust the severity of determination in the high frequency component detection unit 8 (how much the value of the high frequency component is estimated as erroneous detection) by changing the threshold value C1. Also, by changing the threshold value C2, the severity of determination in the determination unit 9 (based on the number Nhf of pixels estimated to have erroneously detected a motion vector in each frame, the detection result of the motion vector for that frame) Criteria for determining reliability, that is, the number of pixels Nhf that is estimated to have been erroneously detected in each frame is low, the reliability of the motion vector detection result for the frame is low, and image correction Whether to decide not to select the processed video signal) can be adjusted.
以下の説明では、画像サイズを垂直方向M画素、水平方向N画素とする。このとき、変数iとjをそれぞれ1≦i≦M、1≦j≦Nと定義して、画素の位置を示す座標を(i,j)で示し、当該座標で表される位置の画素をP(i,j)で表す。即ち、変数iは垂直方向位置、変数jは水平方向位置を表す。画像の左上隅の画素の位置においては、i=1、j=1であり、下方に1画素ピッチ進むごとにiが1ずつ増加し、右方に1画素ピッチ進むごとにjが1ずつ増加する。 In the following description, the image size is assumed to be M pixels in the vertical direction and N pixels in the horizontal direction. At this time, the variables i and j are defined as 1 ≦ i ≦ M and 1 ≦ j ≦ N, respectively, the coordinates indicating the position of the pixel are indicated by (i, j), and the pixel at the position represented by the coordinates is defined as P (i, j). That is, the variable i represents the vertical position, and the variable j represents the horizontal position. At the pixel position at the upper left corner of the image, i = 1 and j = 1, i increases by 1 as the pixel pitch advances downward, and j increases by 1 as the pixel pitch advances to the right. To do.
図3は、入力画像遅延部4の構成例を示す。図示の入力画像遅延部4は、フレームメモリ11と、フレームメモリ制御部12とを備えている。フレームメモリ11は入力された映像信号を少なくとも2フレーム分記憶可能な容量を有している。
FIG. 3 shows a configuration example of the input
フレームメモリ制御部12は、入力された映像信号D0に含まれる同期信号を元に生成したメモリアドレスに従い、入力映像信号の書込みと、蓄積された映像信号の読み出しとを行い、連続する3フレームの映像信号D1、D2、D3を生成する。
映像信号D1は、入力映像信号D0に対してフレーム遅延が無いものであり、現フレーム映像信号とも呼ばれる。
映像信号D2は、映像信号D1に対して1フレーム遅延することにより得られた、時間的に1フレーム期間前の信号であり、1フレーム遅延映像信号とも呼ばれる。
映像信号D3は、映像信号D1に対して2フレーム遅延することにより得られた、時間的に2フレーム期間前の信号であり、2フレーム遅延映像信号とも呼ばれる。The frame
The video signal D1 has no frame delay with respect to the input video signal D0, and is also called a current frame video signal.
The video signal D2 is a signal temporally one frame period obtained by delaying one frame from the video signal D1, and is also called a one-frame delayed video signal.
The video signal D3 is a signal two frames before in time obtained by delaying the video signal D1 by two frames, and is also called a two-frame delayed video signal.
また、以下に説明するように、映像信号D2を対象として動きベクトル検出処理を行うので、映像信号D2を注目フレーム映像信号と呼び、映像信号D1を後フレーム映像信号と呼ぶこともある。
映像信号D1、D2、D3は、上記のように、画像を構成する複数の画素の信号の列から成り、座標(i,j)の位置にある画素P(i,j)の画素値はD1(i,j)、D2(i,j)、D3(i,j)と表される。As will be described below, since the motion vector detection process is performed on the video signal D2, the video signal D2 may be referred to as a focused frame video signal and the video signal D1 may be referred to as a post-frame video signal.
As described above, the video signals D1, D2, and D3 are composed of a sequence of signals of a plurality of pixels constituting an image, and the pixel value of the pixel P (i, j) at the position of the coordinates (i, j) is D1. (I, j), D2 (i, j), and D3 (i, j).
図4は動きベクトル検出部5の構成例を示す。図示の動きベクトル検出部5は、その外部から入力される第1の映像信号(D2)およびその外部から入力され第1の映像信号(D2)に対し1フレーム以上時間的に前又は後の第2の映像信号(D1)に基づいて、前記第1の映像信号(D2)における動きベクトルを検出するものであり、図示の動きベクトル検出部5は、注目フレームブロック切り出し部21と、後フレームブロック切り出し部22と、動きベクトル決定部23を備える。
FIG. 4 shows a configuration example of the motion
注目フレームブロック切り出し部21は、注目フレーム映像信号D2から、図5(a)に示されるように、注目画素P(i,j)の周辺領域、例えば注目画素を中心とし、高さ(垂直方向サイズ)が(2*BM+1)、幅(水平方向サイズ)が(2*BN+1)の矩形領域(ブロック)D2B(i,j)を切り出す。
As shown in FIG. 5A, the target frame
後フレームブロック切り出し部22は、映像信号D1に対し、前記注目画素P(i、j)毎に定義される座標の集合、
S(i,j)={(i+k,j+l)} (1)
(ただし、−SV≦k≦SV、−SH≦l≦SH
また、SV、SHは所定の値である。)
に含まれる位置(i+k,j+l)を中心として、矩形領域D2B(i,j)と同じサイズの矩形領域D1B(i+k,j+l)を切り出す(図5(b))。ここで、S(i,j)は、注目画素P(i、j)についての動きベクトルの探索範囲とも呼ばれる。このように定義される探索範囲は、横方向が2*H+1、縦方向が2*V+1の矩形の領域である。The rear frame
S (i, j) = {(i + k, j + l)} (1)
(However, -SV≤k≤SV, -SH≤l≤SH
SV and SH are predetermined values. )
A rectangular area D1B (i + k, j + l) having the same size as the rectangular area D2B (i, j) is cut out with the position (i + k, j + l) included in the center (FIG. 5B). Here, S (i, j) is also referred to as a motion vector search range for the pixel of interest P (i, j). The search range defined in this way is a rectangular area with 2 * H + 1 in the horizontal direction and 2 * V + 1 in the vertical direction.
動きベクトル決定部23は、注目フレームブロック切り出し部21から入力される矩形領域D2B(i,j)と、後フレームブロック切り出し部22から入力されるブロックD1B(i+k,j+l)との間で、それぞれのブロック内のすべての画素、即ち(2*BM+1)*(2*BN+1)個の、互いに対応する位置の画素同士の差分の絶対値の総和(差分絶対値和)SAD(i+k,j+l)を求める。該差分絶対値和SAD(i+k,j+l)は下記の式(2)で表される。
The motion
後述のように、(2*SV+1)*(2*SH+1)個の矩形領域D1B(i+k,j+l)に対応して(2*SV+1)*(2*SH+1)個の差分絶対値和SAD(i+k,j+l)が得られ、その中で値が最小となるものを生じさせた矩形領域D1B(i+km,j+lm)を特定し、該矩形領域の、矩形領域D2B(i,j)に対する相対位置(km,lm)を動きベクトルV=(Vy,Vx)=(km,lm)として、画像補正処理部6へ出力する。
As will be described later, (2 * SV + 1) * (2 * SH + 1) absolute difference sums SAD (i + k) corresponding to (2 * SV + 1) * (2 * SH + 1) rectangular areas D1B (i + k, j + l). , J + l) is obtained, and the rectangular region D1B (i + km, j + lm) in which the smallest value is generated is specified, and the relative position (km) of the rectangular region with respect to the rectangular region D2B (i, j) , Lm) as a motion vector V = (Vy, Vx) = (km, lm) and output to the image
以上の処理により、動きベクトル決定部23は、注目フレーム映像信号D2の矩形領域D2B(i,j)が、後フレーム映像信号D1のどの領域に動いたかを推定し、推定された領域D1Bの、矩形領域D2B(i,j)に対する相対位置を、注目画素P(i、j)についての動きベクトルV(他の画素についての動きベクトルとの区別のため「V(i,j)」と表すこともある)として出力する。
Through the above processing, the motion
上記のような動きベクトル検出を、入力画像遅延部4から出力される映像信号D2の全画素に対して行い、各画素について動きベクトルを検出し、このようにして得られた動きベクトルを動きぼやけの軽減に利用する。
The motion vector detection as described above is performed on all the pixels of the video signal D2 output from the input
なお、動きベクトル検出部5における動きベクトル検出に当たり、画像の上端、下端、左端、右端の外側の画素が、上記の矩形領域D2B(i,j)、D1B(i+k,j+l)の一部となり、それらの画素値が必要とされる場合は、例えば、上端、下端、左端、右端の外側の画素が、それぞれ上端、下端、左端、右端の画素と同じ値を持つものとして処理をすれば良い。後述のフィルタリング部34、平均値算出部37などにおける演算においても同様である。
In addition, when detecting the motion vector in the motion
また、本発明における動きベクトル検出部5の処理方法は、上記方法に限定されるものでは無く、注目フレーム映像信号、後フレーム映像信号のほかに、注目フレーム映像信号より1フレーム前の映像信号をも用いる手法や、後フレーム映像信号を用いずに、注目フレーム映像信号と、注目フレーム映像信号より1フレーム前の映像信号をも用いる手法や、注目フレーム映像信号と後フレーム映像信号とを用い、位相相関関数を用いて求める手法などを採用しても良い。
In addition, the processing method of the motion
図6は、画像補正処理部6の構成例を示す。図示の画像補正処理部6は、補正演算部30と、操作信号処理部31と、動きぼやけ推定部32と、フィルタ係数保存部33と、フィルタリング部34と、平均値算出部37と、補正強度調整部38と、利得計算部39とを備える。
FIG. 6 shows a configuration example of the image
補正演算部30は、映像信号D2を受け、後述の利得GAINにより、画素毎に補正処理を行い、補正後の映像信号Eを画像選択部10へ出力する。
The
操作信号処理部31は、ユーザより図示しないインターフェースを用いて入力された信号PRを解析し、解析結果として得られたパラメータを出力する。
操作信号処理部31から出力されるパラメータには、調整パラメータADJ、補正強度パラメータBST0、閾値TH1、TH2が含まれる。The operation
The parameters output from the operation
調整パラメータADJは、動きベクトルから動きぼやけ量を算出するためのものであり、動きぼやけ推定部32へ供給される。
閾値TH1は、フィルタリング部34の特性を調整するためのものであり、フィルタリング部34へ供給される。
補正強度パラメータBST0は、補正強度を決定するものであり、閾値TH2は、画像の特徴の判別に用いられるものであり、これらは補正強度調整部38へ供給される。The adjustment parameter ADJ is for calculating the motion blur amount from the motion vector, and is supplied to the motion
The threshold value TH1 is for adjusting the characteristics of the
The correction strength parameter BST0 determines the correction strength, and the threshold value TH2 is used for discrimination of image characteristics, and these are supplied to the correction
動きぼやけ推定部32は、動きベクトル検出部5で検出した動きベクトルV(垂直方向成分Vy(=km),水平方向成分Vx(=lm))を入力とし、該動きベクトルを極座標で表したときの成分(大きさ及び角度)を算出する。具体的には、動きベクトルの向きが水平方向右向きとなる場合を0度として、動きベクトルの方向A(度)と大きさLM(画素)を次式にて算出する。
The motion
動きぼやけ推定部32ではさらに、動きベクトルに対応する角度及び動きぼやけの大きさ(動きの方向のぼやけ幅)を求める。例えば、動きぼやけの角度は、動きベクトルの角度Aと同じとし、一方、動きぼやけの大きさLBは、動きベクトルの大きさLMに調整パラメータADJ(0<ADJ≦1)を乗算した値に等しいとし、下記の式(5)により、動きぼやけの大きさLBを求める。
LB=LM*ADJ (5)The motion
LB = LM * ADJ (5)
調整パラメータADJは、図7に示すように、フレーム期間の長さTfに対する、撮像期間の長さTs、例えば電荷蓄積時間の比(Ts/Tf)に相当する値を持つものであり、各フレームにおける実際の撮像期間の長さTsに応じて変更しても良いが、本実施の形態が対象としている条件下での撮像期間の典型的な値、平均値、あるいは中間値に基づいて定めても良い。例えば中間値を用いる場合、撮像期間がフレーム期間のEXS倍からEXL倍(EXS、EXLともに1より小さい)の範囲内であれば、その中間値(EXS+EXL)/2をADJと定めることとする。
このように調整パラメータADJを掛けるのは、動きベクトルVはフレーム間で検出され、従って、フレーム期間当たりの動きの量を反映したものであるのに対して、動きぼやけは、撮像期間中の被写体の動きに起因するものであるためである。As shown in FIG. 7, the adjustment parameter ADJ has a value corresponding to the length Ts of the imaging period, for example, the ratio (Ts / Tf) of the charge accumulation time to the length Tf of the frame period. Although it may be changed according to the actual imaging period length Ts in, it is determined based on the typical value, average value, or intermediate value of the imaging period under the conditions targeted by this embodiment. Also good. For example, when an intermediate value is used, if the imaging period is in the range of EXS times to EXL times (both EXS and EXL are less than 1) the frame period, the intermediate value (EXS + EXL) / 2 is determined as ADJ.
Multiplying the adjustment parameter ADJ in this way is that the motion vector V is detected between frames and thus reflects the amount of motion per frame period, whereas motion blur is the subject during the imaging period. This is because it is caused by the movement of.
フィルタ係数保存部33は、予め複数の動きぼやけの方向及び大きさの組合せに対応付けて複数のローパスフィルタ係数(2次元FIRフィルタ係数)をテーブル形式で記憶している。このフィルタ係数は、特定の方向及び大きさの動きぼやけを含む映像信号から、動きぼやけの成分を低減するためのものである。
動きぼやけ推定部32は、上記のようにして算出した動きぼやけの方向A及び大きさLBの組合せに対応したフィルタ係数をテーブルから読み出すため、動きぼやけの方向A及び大きさLBからテーブルへのポインタINDを算出して、フィルタ係数保存部33へ入力する。
フィルタ係数保存部33は、入力されたポインタINDに対応して記憶されているフィルタ係数CF(p,q)を読み出し、フィルタリング部34へ出力する。
このように、動きぼやけ推定部32は、ポインタINDをフィルタ係数保存部33に供給することで、フィルタ係数保存部33に保存されたフィルタ係数の中から、推定された動きぼやけの方向A及び大きさLBに対応したフィルタ係数CF(p,q)を選択する。The filter
The motion
The filter
As described above, the motion
フィルタリング部34は、動きぼやけ推定部32により選択されたフィルタ係数CF(p,q)を用いてフィルタリングを行う。即ち、フィルタリング部34は、上記のようにしてフィルタ係数保存部33から読み出されるフィルタ係数CF(p,q)(但し、−P≦p≦P、−Q≦q≦Q)を用いて、映像信号D2の各注目画素P(i,j)の周辺領域内の画素の画素値を用いて、フィルタリングを行い、フィルタリングの結果FL1(i,j)を出力するものであり、非線形処理部35と、ローパスフィルタ36とを有する。
The
非線形処理部35は、注目画素の画素値D2(i,j)と、その周辺領域内の画素の画素値D2(i−p,j−q)との差分と、操作信号処理部31より入力される閾値TH1とに基づいて下記の式(6a)〜(6f)で示される非線形処理を行う。
The
(A) D2(i−p,j−q)−D2(i,j)>TH1のとき
D2b(i−p,j−q)−D2(i,j)=TH1 (6a)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)+TH1 (6b)
により、
(B) D2(i−p,j−q)−D2(i,j)≦−TH1のとき
D2b(i−p,j−q)−D2(i,j)=−TH1 (6c)
となるように、即ち、
D2b(i−p,j−q)=D2(i,j)−TH1 (6d)
により、
(C) 上記(A)、(B)以外のとき
D2b(i−p,j−q)−D2(i,j)
=D2(i−p,j−q)−D2(i,j) (6e)
となるように、即ち、
D2b(i−p,j−q)=D2(i−p,j−q) (6f)
により、D2b(i−p,j−q)を定める。(A) When D2 (ip, jq) -D2 (i, j)> TH1, D2b (ip, jq) -D2 (i, j) = TH1 (6a)
That is,
D2b (ip, jq) = D2 (i, j) + TH1 (6b)
By
(B) When D2 (ip, jq) −D2 (i, j) ≦ −TH1, D2b (ip, jq) −D2 (i, j) = − TH1 (6c)
That is,
D2b (ip, jq) = D2 (i, j) -TH1 (6d)
By
(C) When other than (A) and (B) above D2b (ip, jq) -D2 (i, j)
= D2 (ip, jq) -D2 (i, j) (6e)
That is,
D2b (ip, jq) = D2 (ip, jq) (6f)
To determine D2b (ip, jq).
ローパスフィルタ36は、各注目画素D2(i,j)の周辺領域、即ち、(2P+1)*(2Q+1)個の画素から成る範囲で、上記の非線形処理の結果として得られる値D2b(i−p,j−p)に対して、対応するフィルタ係数CF(p,q)を乗算し、乗算結果の総和をフィルタリング結果FL1(i,j)として求める。
The low-
ローパスフィルタ36で用いられるフィルタ係数CF(p,q)について以下に説明する。
フィルタ係数は注目画素を中心として、−P≦p≦P、−Q≦q≦Qの領域内の画素について定義される。
先にも述べたように、フィルタ係数CF(p,q)は、動きぼやけの角度A及び大きさLBに基づいて決められる。
図8〜図10は、フィルタ係数が定義される領域のうち、動きぼやけの幾つかの例に対して、フィルタ係数が0以外の値に定義される領域を示す。以下では、このフィルタ係数が0以外の値となる領域を有効フィルタリング領域EFAと言う。有効フィルタリング領域EFA内の画素位置におけるフィルタ係数の総和は1である。The filter coefficient CF (p, q) used in the low-
The filter coefficient is defined for pixels in the region of −P ≦ p ≦ P and −Q ≦ q ≦ Q with the pixel of interest at the center.
As described above, the filter coefficient CF (p, q) is determined based on the motion blur angle A and the magnitude LB.
FIGS. 8 to 10 show regions where the filter coefficient is defined to a value other than 0 for some examples of motion blur among the regions where the filter coefficient is defined. Hereinafter, an area where the filter coefficient is a value other than 0 is referred to as an effective filtering area EFA. The sum of filter coefficients at pixel positions in the effective filtering area EFA is 1.
動きぼやけの大きさLB及びその角度Aに応じた帯状の領域が、有効フィルタリング領域EFAとされる。そして、有効フィルタリング領域EFAに完全に又は部分的に含まれる画素に対して、その有効フィルタリング領域EFAに含まれる割合に応じた重み付け係数を与える。例えば、有効フィルタリング領域EFAに部分的に含まれる画素に対しては、有効フィルタリング領域EFAに完全に(その全体が)含まれる画素よりも重み付け係数の値を小さくし、各画素についての重み付け係数の値は、該画素が有効フィルタリング領域EFAに含まれる割合に比例した値とする。 A band-shaped area corresponding to the magnitude LB of motion blur and the angle A is set as an effective filtering area EFA. And the weighting coefficient according to the ratio contained in the effective filtering area | region EFA is given with respect to the pixel included in the effective filtering area | region EFA completely or partially. For example, for the pixels partially included in the effective filtering area EFA, the weighting coefficient value is made smaller than the pixels that are completely (entirely) included in the effective filtering area EFA, and the weighting coefficient for each pixel is reduced. The value is a value proportional to the proportion of the pixel included in the effective filtering area EFA.
この帯状の領域は、動きぼやけの方向に延在するものであり、その長さは、動きぼやけの大きさLBの所定数倍、例えば2倍であり、動きぼやけの始端及び終端からその前後に所定量、例えば、動きぼやけの大きさLBの0.5倍ずつ延長した長さを有する。帯状の領域の幅は、1画素のサイズに相当するものとする。図8〜図10に示す例は、1画素のサイズが垂直方向と水平方向とで同じであるものとして示してある。図8〜図10ではまた、動きぼやけの始点が座標(i,j)で示される位置にあるものとしている。 This band-like region extends in the direction of motion blur, and the length thereof is a predetermined number of times, for example, twice the size LB of motion blur, and from the start and end of motion blur to the front and back thereof. The length is extended by a predetermined amount, for example, by 0.5 times the magnitude LB of motion blur. The width of the band-like region is equivalent to the size of one pixel. The examples shown in FIGS. 8 to 10 are shown assuming that the size of one pixel is the same in the vertical direction and the horizontal direction. 8 to 10, it is assumed that the start point of motion blur is at a position indicated by coordinates (i, j).
図8に示される例では、動きぼやけが水平方向右向きでその大きさLBが4画素分である。この場合、動ききぼやけは、動きぼやけの始点の画素Ps(座標(i,j)の画素)の中心から終点の画素Pe(座標(i,j+4)の中心まで延びていると見て、その前後に2画素(0.5×4画素)の長さを加える。即ち、始点の画素Psの中心から後方(図8で左方)へ2画素分後退した(図で左方に移動した)位置、即ち、座標(i,j−2)の画素の中心から、終点の画素Peの中心から前方(図8で右方)へ2画素分前進した(図で右方に移動した)位置、即ち、座標(i,j+6)の画素の中心までの範囲を有効範囲とする。これらの画素に対して、その有効フィルタリング領域EFAに含まれる割合に応じた重み付け係数を与える。即ち、座標(i,j−1)の画素から、座標(i,j+5)までの画素に対しては同じ値の係数を与え、座標(i,j−2)の画素、座標(i,j+6)の画素は、各々半分のみが有効フィルタリング領域EFAに含まれるので、他の画素(座標(i,j−1)から座標(i,j+5)までの画素)の係数の1/2の値を与える。 In the example shown in FIG. 8, the motion blur is rightward in the horizontal direction, and the size LB is 4 pixels. In this case, the motion blur is regarded as extending from the center of the pixel Ps (coordinate (i, j)) at the start point of the motion blur to the center of the end pixel Pe (coordinate (i, j + 4)). Two pixels (0.5 × 4 pixels) in length are added to the front and rear, that is, backward from the center of the starting pixel Ps by two pixels (leftward in FIG. 8) (moved leftward in the figure). A position, that is, a position advanced from the center of the pixel at the coordinates (i, j-2) by two pixels forward (to the right in FIG. 8) from the center of the end-point pixel Pe (moved to the right in the figure), That is, the effective range is the range of the coordinates (i, j + 6) to the center of the pixel, and a weighting coefficient corresponding to the ratio included in the effective filtering area EFA is given to these pixels. , J−1) to the pixel from coordinates (i, j + 5) to the same value Since only half of the pixel at coordinates (i, j-2) and the pixel at coordinates (i, j + 6) are included in the effective filtering area EFA, the other pixels (coordinates (i, j-1)) To 1/2 of the coefficient of the pixel from the coordinates (i, j + 5)).
図8の例では、有効フィルタリング領域EFA内に半分のみ含まれる画素の数が2であり、有効フィルタリング領域EFAに完全に含まれる画素の数が6であるので、有効フィルタリング領域EFAに完全に含まれる画素に対しては1/7の重み付け係数が与えられ、有効フィルタリング領域EFAに半分だけ含まれる画素に対しては1/14の重み付け係数が与えられる。 In the example of FIG. 8, the number of pixels included only in half in the effective filtering area EFA is 2, and the number of pixels completely included in the effective filtering area EFA is 6, so that it is completely included in the effective filtering area EFA. A 1/7 weighting coefficient is given to the pixels to be assigned, and a 1/14 weighting coefficient is given to the pixels that are only half of the effective filtering area EFA.
図9に示される例では、動きぼやけが水平方向右向きでその大きさLBが3画素分である。この場合、動きぼやけは、動きぼやけの始点の画素Ps(座標(i,j)の画素)の中心から終点の画素Pe(座標(i,j+3)の中心まで延びていると見て、その前後に1.5画素(0.5×3画素)の長さを加える。即ち、始点の画素Psの中心から後方(図9で左方)へ1.5画素分後退した位置、即ち、座標(i,j−1)の画素の左端から、終点の画素Peの中心から前方(図9で右方)へ1.5画素分前進した位置、即ち、座標(i,j+4)の画素の右端までの範囲を有効範囲とする。そして、図9の例では、有効フィルタリング領域EFAに部分的に含まれる画素は存在せず、有効フィルタリング領域EFAに完全に含まれる画素の数が6であるので、これらの画素の各々についての係数を1/6と定める。 In the example shown in FIG. 9, the motion blur is rightward in the horizontal direction and the size LB is 3 pixels. In this case, the motion blur is assumed to extend from the center of the start pixel Ps (pixel of coordinates (i, j)) to the center of the end pixel Pe (coordinates (i, j + 3)). In other words, a length of 1.5 pixels (0.5 × 3 pixels) is added, that is, a position retracted by 1.5 pixels backward (leftward in FIG. 9) from the center of the starting point pixel Ps, that is, coordinates ( From the left end of the pixel at i, j-1) to the position advanced by 1.5 pixels forward (rightward in FIG. 9) from the center of the end point pixel Pe, that is, to the right end of the pixel at coordinate (i, j + 4) 9, the pixel partially included in the effective filtering area EFA does not exist, and the number of pixels completely included in the effective filtering area EFA is 6. The coefficient for each of these pixels is defined as 1/6.
図10に示される例では、動きぼやけの大きさLBは3画素分であり、図9の場合と同じであり、有効フィルタリング領域EFAの長さ及び幅は、図9の場合と同じであるが、動きぼやけの角度が30度であり、その結果、部分的にのみ有効フィルタリング領域EFAに含まれる画素の数が多く存在する。具体的には、座標(i−3,j+4)、座標(i−2,j+2)、座標(i−2,j+3)、座標(i−2,j+4)、座標(i−1,j)、座標(i−1,j+1)、座標(i−1,j+2)、座標(i−1,j+3)、座標(i,j−1)、座標(i,j)、座標(i,j+1)、座標(i,j+2)、座標(i+1,j−1)、座標(i+1,j)の画素がそれぞれ部分的に有効フィルタリング領域EFAに含まれている。そこで、これらの14個の画素に対して有効フィルタリング領域EFAに含まれる割合に応じて重み付け係数を与える。 In the example shown in FIG. 10, the magnitude LB of motion blur is 3 pixels, which is the same as in FIG. 9, and the effective filtering area EFA has the same length and width as in FIG. The angle of motion blur is 30 degrees, and as a result, there are a large number of pixels that are only partially included in the effective filtering area EFA. Specifically, coordinates (i−3, j + 4), coordinates (i−2, j + 2), coordinates (i−2, j + 3), coordinates (i−2, j + 4), coordinates (i−1, j), Coordinates (i-1, j + 1), coordinates (i-1, j + 2), coordinates (i-1, j + 3), coordinates (i, j-1), coordinates (i, j), coordinates (i, j + 1), Pixels at coordinates (i, j + 2), coordinates (i + 1, j−1), and coordinates (i + 1, j) are partially included in the effective filtering area EFA. Therefore, a weighting coefficient is given to these 14 pixels according to the ratio included in the effective filtering area EFA.
動きぼやけの大きさLB、角度Aの他の値についても同様に各画素についての重み付け係数を求める。但し、動きぼやけの大きさLB、角度Aが取り得る値のすべてについて重み付け係数を求めるのではなく、大きさLB、角度Aの各々について、互いに所定の範囲ごとの代表値LR、ARに対して重み付け係数を求め、フィルタ係数としてフィルタ係数保存部33に保存しておき、それぞれの範囲内の大きさLB、角度Aに対しては、代表値LR、ARに対して求められ、保存されているフィルタ係数を用いる。代表値LR、AR(またはこれに対応する値)は、後述のポインタINDの生成に用いられる。これらの点については後にさらに詳しく説明する。
For other values of motion blur magnitude LB and angle A, the weighting coefficient for each pixel is obtained in the same manner. However, the weighting coefficient is not calculated for all the values that the magnitude LB and the angle A of the motion blur can take, but for each of the magnitude LB and the angle A, the representative values LR and AR for each predetermined range. Weighting coefficients are obtained and stored in the filter
なお、上記の例では、有効フィルタリング領域EFAが、動きぼやけを、その始端及び終端から前後に動きぼやけの大きさLBの0.5倍ずつ延長した長さを有することとしているが、該延長量を動きぼやけの大きさLBに関係しない所定値としてもよく、例えば、該延長量を0.5画素分としても良い。また、該延長量をゼロとしても良い。
また、有効フィルタリング領域EFAに含まれる画素について、有効フィルタリング領域EFAに含まれる割合に応じた重み付けを行う一方、注目画素からの距離に応じた重み付けを行わない構成を持つ移動平均フィルタを用いているが、注目画素からの距離に応じた重み付けを行う構成であっても良い。そのようなフィルタの例としてガウスフィルタがある。
先にも述べた通り、ローパスフィルタ36は、各注目画素D2(i,j)の周辺領域の画素についての非線形処理の結果として得られる値D2b(i−p,j−p)に対して、フィルタ係数保存部33から読み出された、対応するフィルタ係数CF(p,q)を乗算し、乗算結果の総和をフィルタリング結果FL1(i,j)として求める。このフィルタリングは下記の式で表される。In the above example, the effective filtering area EFA has a length obtained by extending the motion blur from the start end and the end of the effective filtering area EFA by 0.5 times the motion blur magnitude LB. May be a predetermined value not related to the magnitude LB of motion blur, for example, the extension amount may be 0.5 pixels. Further, the extension amount may be zero.
Also, a moving average filter having a configuration in which weighting according to the ratio included in the effective filtering area EFA is performed on the pixels included in the effective filtering area EFA while weighting according to the distance from the target pixel is not performed. However, a configuration in which weighting according to the distance from the target pixel may be performed. An example of such a filter is a Gaussian filter.
As described above, the low-
式(7)によるフィルタ結果FL1(i,j)は、利得計算部39へ出力される。
平均値算出部37は、映像信号D2の各注目画素D2(i,j)の周辺領域内の画素の画素値の平均値FL2(i,j)を出力する。
ここで言う周辺領域は、例えば、(2P+1)*(2Q+1)個の画素から成る範囲であり、平均値算出部37は、該範囲内の画素値D2(i−p,j−q)の平均値FL2(i,j)、即ち、下記の式(8)で表される値を計算し、補正強度調整部38へ出力する。The filter result FL1 (i, j) according to Expression (7) is output to the
The average
The peripheral region referred to here is, for example, a range including (2P + 1) * (2Q + 1) pixels, and the average
補正強度調整部38は、注目画素の近傍における画素値の変化の度合い乃至大きさ、例えば、注目画素の画素値D2(i,j)と周辺領域内の画素の画素値の平均値FL2(i,j)との差に応じて、注目画素に対する補正強度を調整する。補正強度の調整は以下に説明するように補正強度パラメータBST1(i,j)の調整により行われる。
具体的には、補正強度調整部38は、操作信号処理部31から入力される補正強度パラメータBST0に基づいて、調整後の補正強度パラメータBST1を出力するものであり、入力画像遅延部4から入力された映像信号D2の注目画素の画素値D2(i,j)と、平均値算出部37からの平均値FL2(i,j)との差分の絶対値が、操作信号処理部31から入力される閾値TH2より小さい場合は、操作信号処理部31から入力される補正強度パラメータBST0より小さい調整後の補正強度パラメータBST1(i,j)を生成して、利得計算部39へ出力する。調整後の補正強度パラメータBST(i,j)としては、例えばBST0×β(β<1)で与えられるものを用いることができる。調整後の補正強度パラメータBST1(i,j)を補正強度パラメータBST0に対してどの程度小さくするか(例えば、βの値)は、ユーザが決定可能としても良い。例えば、β=1/2としても良く、β=0としても良い。The correction
Specifically, the correction
画素値D2(i,j)と平均値FL2(i,j)の差分の絶対値が、閾値TH2よりも小さくないときは、補正強度パラメータBST0をそのまま調整後の補正強度パラメータBST1(i,j)として出力する。従って、(D2(i,j)−FL2(i,j))と、調整後の補正強度パラメータBST1との関係は、図11に示されるごとくである。 When the absolute value of the difference between the pixel value D2 (i, j) and the average value FL2 (i, j) is not smaller than the threshold value TH2, the corrected strength parameter BST1 (i, j) is adjusted as it is. ). Therefore, the relationship between (D2 (i, j) −FL2 (i, j)) and the corrected correction strength parameter BST1 is as shown in FIG.
利得計算部39は、フィルタリング部34から得られるフィルタ結果FL1(i,j)と、補正強度調整部38から出力される調整後の補正強度パラメータBST1(i,j)と、入力画像遅延部4から入力される映像信号D2の注目画素の画素値D2(i,j)を参照し、補正処理で用いられる乗算係数乃至利得GAIN(i,j)を次式に基づき計算する。
The
GAIN(i,j)
=1+BST1(i,j)−BST1(i,j)*FL1(i,j)/D2(i,j)
(9)GAIN (i, j)
= 1 + BST1 (i, j) -BST1 (i, j) * FL1 (i, j) / D2 (i, j)
(9)
ただし、D2(i,j)=0の場合は、便宜的にD2(i,j)=1として計算する。また、式(9)を計算した結果、GAIN<0となる場合は、GAIN(i,j)=0とする。そして、得られた利得GAIN(i,j)を補正演算部30へ出力する。
However, when D2 (i, j) = 0, it is calculated as D2 (i, j) = 1 for convenience. If GAIN <0 as a result of calculating Equation (9), GAIN (i, j) = 0 is set. Then, the obtained gain GAIN (i, j) is output to the
補正演算部30は、入力画像遅延部4から入力される映像信号D2の注目画素の画素値D2(i,j)に対し、次式に基づく計算により画素値E(i,j)を求め、補正後の映像信号の画素P(i,j)の画素値として画像選択部10へ出力する。
E(i,j)=GAIN(i,j)*D2(i,j) (10)The
E (i, j) = GAIN (i, j) * D2 (i, j) (10)
図12は、処理画像遅延部7の構成例を示す。図示の処理画像遅延部7は、フレームメモリ41と、フレームメモリ制御部42とを備えている。フレームメモリ41は入力された映像信号E0を少なくとも1フレーム分記憶可能な容量を有している。
FIG. 12 shows a configuration example of the processed
フレームメモリ制御部42は、入力された映像信号E0に含まれる同期信号を元に生成したメモリアドレスに従い、入力された映像信号E0の書込みと、蓄積された映像信号の読み出しとを行う。具体的には、入力された映像信号E0を1フレーム分遅延させ、映像信号E1として出力する。
The frame
次に、動きベクトルVの検出に誤りが少ないかどうか、従って、信頼性が十分に高いかどうかの判定を行うアルゴリズムについて述べる。この判定は、高周波成分検出部8及び判定部9で行われものであり、各フレーム中の各画素についての動きベクトルは、その周囲の画素についての動きベクトルに対して大きく異なることは少ないとことに基づくものである。
即ち、動きベクトルの検出は、動きベクトル検出部5により行われるが、注目画素(i,j)における動きベクトルV(Vy(i,j),Vx(i,j))は、その周辺画素における動きベクトルVから大きく変化することがある。しかしながら、多くの場合映像信号は相関の強い画素が一定領域において2次元で並んでいると考えられ、意味のある2次元情報を構成していると考えられる。1フレーム内において検出された動きベクトルの変化が多い場合、動きベクトルの検出に誤りが多く、信頼性が低いと推定することができる。そこで、動きベクトル検出部5により検出された動きベクトルの高周波成分を検出し、上記のような変化を捉えることを考える。Next, an algorithm for determining whether or not there are few errors in detecting the motion vector V and therefore whether or not the reliability is sufficiently high will be described. This determination is performed by the high-frequency
That is, although the motion vector is detected by the motion
例えば、高周波成分検出部8は、次式のような2次元の2階差分を垂直方向の動きベクトルと水平方向の動きベクトル(動きベクトル検出部5から出力される)に対して演算し、それぞれの絶対値を加算することで、注目画素(i,j)の高周波成分L(i,j)として出力する。
For example, the high-frequency
L(i,j)
=|Vy(i−1,j)+Vy(i+1,j)+Vy(i,j−1)+Vy(i,j+1)−4Vy(i,j)|
+|Vx(i−1,j)+Vx(i+1,j)+Vx(i,j−1)+Vx(i,j+1)−4Vx(i,j)|
(14)L (i, j)
= | Vy (i-1, j) + Vy (i + 1, j) + Vy (i, j-1) + Vy (i, j + 1) -4Vy (i, j) |
+ | Vx (i-1, j) + Vx (i + 1, j) + Vx (i, j-1) + Vx (i, j + 1) -4Vx (i, j) |
(14)
高周波成分L(i,j)を閾値C1と比較し、比較結果としての高周波成分検出結果Hを次のように得る。 The high frequency component L (i, j) is compared with the threshold value C1, and the high frequency component detection result H as a comparison result is obtained as follows.
(A) L(i,j)<C1であれば、H(i,j)=0 (15a)
(B) L(i,j)≧C1であれば、H(i,j)=1 (15b)(A) If L (i, j) <C1, H (i, j) = 0 (15a)
(B) If L (i, j) ≧ C1, H (i, j) = 1 (15b)
式(15a)、式(15b)による判定結果でH(i,j)=1となった場合、各画素について検出された動きベクトルが誤検出されたものである推定して処理する。 When H (i, j) = 1 is determined as a result of the determination based on Expression (15a) and Expression (15b), the motion vector detected for each pixel is estimated and processed.
次に判定部9では、高周波成分検出部8から出力された高周波成分検出結果Hを1フレーム分計数乃至積算する。つまり、高周波成分検出結果Hの1フレーム分の合計Tを下記の式(16)によって得る。
Next, the
そして、上式(16)で得た合計Nhfと閾値C2との比較により、判定結果Rを次のように得る。
(A) Nhf<C2であれば、R=0 (17a)
(B) Nhf≧C2であれば、R=1 (17b)Then, by comparing the total Nhf obtained by the above equation (16) with the threshold value C2, the determination result R is obtained as follows.
(A) If Nhf <C2, R = 0 (17a)
(B) If Nhf ≧ C2, R = 1 (17b)
R=1の場合には、当該フレームには動きベクトルの検出に誤りが多く、信頼性が低いと判断する。
一方、R=0の場合には、当該フレームにおける動きベクトルの検出には誤りが少なく、信頼性が十分に高いと判断する。In the case of R = 1, it is determined that there are many errors in motion vector detection in the frame and the reliability is low.
On the other hand, when R = 0, it is determined that there are few errors in detecting the motion vector in the frame and the reliability is sufficiently high.
判定部9から出力された判定結果Rは画像選択部10へ入力され、画像選択部10は、選択制御信号Rが「0」の場合は処理画像遅延部7から出力される補正された映像信号E1(図2(h))を選択して最終出力映像信号Fとして出力し(図2(k))、選択制御信号Rが「1」の場合は入力画像遅延部4から出力される映像信号D3(図2(f))を選択して最終出力映像信号Fとして出力する(図2(l))。
The determination result R output from the
画像選択部10から出力された最終出力映像信号Fは、画像表示部3にて表示される。
The final output video signal F output from the
なお、図1の構成において、入力画像遅延部4、動きベクトル検出部5、及び画像補正処理部6において、輝度信号(Y)のみを処理することで、被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減することができる。しかしながら、輝度信号(Y)だけでなく、赤色信号(R)、青色信号(G)、緑色信号(B)を個別に処理してもよい。またR、G、Bの和を表す信号で、式(9)の利得GAIN(i,j)を求め、画像補正処理部6の動作に関し、式(10)ではR、G、B個別に処理をしても良い。また、輝度信号(Y)と色差信号(Cb、Cr)を個別に処理してもよい。輝度信号(Y)で利得GAIN(i,j)を求め、求めた利得GAIN(i,j)を用いて、輝度信号(Y)と色差信号(Cb、Cr)の各々に対して、式(10)の演算により個別に処理しても良い。他の色表現フォーマットでも同様な処理が行える。
In the configuration of FIG. 1, the input
以下、画像処理装置2の各構成要素の動作についてさらに詳しく説明する。
画像処理装置2に入力された映像信号D0は入力画像遅延部4に入力される。
図2(a)〜(l)は、入力画像遅延部4に入力される映像信号D0と、入力画像遅延部4から出力される映像信号D1、D2、D3の関係を説明する図である。図2(a)に示される入力垂直同期信号SYIに同期して、図2(b)に示すように、フレームF0、F1、F2、F3、F4の入力映像信号D0が順次入力される。Hereinafter, the operation of each component of the
The video signal D0 input to the
2A to 2L are diagrams for explaining the relationship between the video signal D0 input to the input
フレームメモリ制御部12は入力垂直同期信号SYIを元にフレームメモリ書込みアドレスを生成し、入力映像信号D0をフレームメモリ11に記憶させると共に、図2(c)に示す出力垂直同期信号SYO(入力垂直同期信号SYIに対して遅れがないものとして示してある)に同期して、図2(d)に示すように、入力映像信号D0に対してフレーム遅延のない映像信号D1(フレームF0、F1、F2、F3、F4の映像信号)を出力する。
The frame
フレームメモリ制御部12はまた、出力垂直同期信号SYOを元にフレームメモリ読み出しアドレスを生成し、フレームメモリ11に蓄えられた、1フレーム遅延映像信号D2(図2(e))、2フレーム遅延映像信号D3(図2(f))を読み出して出力する。
The frame
この結果、入力画像遅延部4からは、連続する3フレームの映像信号D1、D2、D3が同時に出力される。即ち、フレームF2の映像信号が映像信号D0として入力されるタイミング(フレーム期間)に、フレームF2、F1、F0の映像信号が映像信号D1、D2、D3として出力され、フレームF3の映像信号が映像信号D0として入力されるタイミング(フレーム期間)に、フレームF3、F2、F1の映像信号が映像信号D1、D2、D3として出力される。
As a result, the input
入力画像遅延部4から出力された、連続する2フレームの映像信号D1、D2は、動きベクトル検出部5へ供給され、映像信号D2は画像補正処理部6へも供給され、映像信号D3は画像選択部10へ供給される。
動きベクトル検出部5に入力された映像信号D1、D2は、それぞれ後フレームブロック切り出し部22、注目フレームブロック切り出し部21へ入力される。Two consecutive frames of video signals D1 and D2 output from the input
The video signals D1 and D2 input to the motion
動きベクトル検出部5では、例えば、映像符号化でよく用いられる差分絶対値和SADを用いた動きベクトルの検出を行い、検出した動きベクトルの値V(図2(i))を出力する。本実施の形態では、動きぼやけが生じている画素の動きぼやけを軽減することが目的であるため、画素毎に差分絶対値和SADを計算し、その最小値から動きベクトルを求める。
しかし、差分絶対値和SADを求める演算を全画素について実行すれば、演算量が莫大となってしまうため、映像符号化と同様に動きベクトルを検出するためのブロックが、隣り合うもの同士で重ならないように処理し、動きベクトルを検出しない画素に対しては、周辺で検出された動きベクトルより補間することとしても良い。For example, the motion
However, if the calculation for obtaining the sum of absolute differences SAD is executed for all the pixels, the amount of calculation becomes enormous. Therefore, as in the case of video encoding, blocks for detecting a motion vector overlap with each other. For pixels that are processed so that no motion vector is detected, interpolation may be performed from motion vectors detected in the vicinity.
また、上記においては、動きベクトル検出部5で用いるブロックサイズを、注目画素P(i,j)を中心に上下及び左右が同じサイズの矩形の領域とし、矩形領域の高さ及び幅をそれぞれ(2*BM+1)、(2*BN+1)で表される奇数とした。しかしながら、矩形領域の高さ及び幅は、奇数でなくても良く、注目画素の矩形領域内の位置は正確に中心でなくても、若干ずれた位置であっても良い。
In the above description, the block size used in the motion
さらには、式(1)のように、探索範囲を−SV≦k≦SV、−SH≦l≦SHと定義し、本範囲に含まれる全てのkおよびlに対して差分絶対値和SADを計算するものとした。しかし、演算量を削減する目的でkおよびlを適度に間引き差分絶対値和SADを計算しても良い。この場合、間引かれた(間引きにより除去された)位置(i+k,j+l)については、その周辺の位置についての、差分絶対値和SAD(i+k,j+l)から補間をして用いても良い。また、動きベクトルの精度を検討し、精度に問題が無ければ間引いて得られた差分絶対値和SADを用いても良い。 Further, as in equation (1), the search range is defined as −SV ≦ k ≦ SV and −SH ≦ l ≦ SH, and the sum of absolute differences SAD is calculated for all k and l included in this range. Calculated. However, for the purpose of reducing the amount of calculation, k and l may be appropriately thinned and the absolute difference sum SAD may be calculated. In this case, the position (i + k, j + l) that has been thinned out (removed by thinning) may be used by interpolating from the sum of absolute differences SAD (i + k, j + l) for the surrounding positions. Further, the accuracy of the motion vector is examined, and if there is no problem in accuracy, the difference absolute value sum SAD obtained by thinning may be used.
画像補正処理部6では、映像信号D2(図2(e))に対して補正処理を加え、補正処理後の映像信号E0を出力する(図2(g))を出力する。
The image
画像補正処理部6に入力された動きベクトルVは、まず動きぼやけ推定部32へ入力される。動きぼやけ推定部32へ入力される動きベクトルVは、図13のように垂直方向の成分Vy(i,j)と水平方向の成分Vx(i,j)とで表されているので、式(3)より動きベクトルの方向A(度)を算出し、式(4)より動きベクトルの大きさLM(画素)を算出する。
The motion vector V input to the image
ここで、カメラを静止し、等速直線運動をしている物体を撮影した場合を考える。この時撮像される連続した3フレームの映像信号で表される画像の要素の動きの一例を図14(a)、(b)に示す。図示の例では、1フレーム目と2フレーム目の間(図14(a))と2フレーム目と3フレーム目との間(図14(b))の各々において、画像の要素ESが、水平方向に4画素移動し、垂直方向には移動していない(Vy=0、Vx=4)。従って、1フレーム目と2フレーム目の間、及び2フレーム目と3フレーム目の間における動きベクトルは、図14(a)、図14(b)の矢印のように水平方向4画素、垂直方向0画素として検出される。 Here, consider a case where the camera is stationary and an object that is moving in a uniform linear motion is photographed. FIGS. 14A and 14B show an example of the movement of the elements of the image represented by the continuous three frames of video signals imaged at this time. In the illustrated example, the element ES of the image is horizontal between the first frame and the second frame (FIG. 14A) and between the second frame and the third frame (FIG. 14B). It moves 4 pixels in the direction and not in the vertical direction (Vy = 0, Vx = 4). Therefore, the motion vector between the first frame and the second frame and between the second frame and the third frame is 4 pixels in the horizontal direction and the vertical direction as shown by arrows in FIGS. 14 (a) and 14 (b). It is detected as 0 pixel.
仮に、図14(a)、図14(b)に示される画像の撮像期間Tsが1フレーム期間Tfと等しければ、動きぼやけの大きさLBも水平方向に4画素、垂直方向に0画素となる。
しかし、実際には撮像期間Tsは、図7に示すように、1フレーム期間Tfよりも短いため、図15(a)、(b)に示すように、動きぼやけの大きさLBは、動きベクトルの大きさLMによりも小さく、その割合は、1フレーム期間Tfに対する、撮像期間Tsの長さの比(Ts/Tf)に相当する。If the image capturing period Ts shown in FIGS. 14A and 14B is equal to one frame period Tf, the magnitude LB of the motion blur is 4 pixels in the horizontal direction and 0 pixel in the vertical direction. .
However, since the imaging period Ts is actually shorter than one frame period Tf as shown in FIG. 7, the magnitude of motion blur LB is the motion vector as shown in FIGS. 15 (a) and 15 (b). The ratio is smaller than the size LM, and the ratio corresponds to the ratio (Ts / Tf) of the length of the imaging period Ts to the one frame period Tf.
このことを考慮し、動きベクトルの大きさLMに、1よりも小さい調整パラメータADJを掛けた値を、動きぼやけの大きさLBと推定する。調整パラメータADJは、先に述べたように、各フレームの実際の撮像期間の長さTsに基づいて決めても良く、経験的に決定することとしても良く、ユーザにより設定可能としても良い。 Considering this, a value obtained by multiplying the magnitude LM of the motion vector by the adjustment parameter ADJ smaller than 1 is estimated as the magnitude LB of motion blur. As described above, the adjustment parameter ADJ may be determined based on the actual imaging period length Ts of each frame, may be determined empirically, or may be set by the user.
次に、フィルタ係数保存部33のテーブルからフィルタ係数を読み出すためのポインタINDの算出方法を説明する。
例えば、フィルタ係数保存部33に保存されているフィルタ係数が、角度(単位が「度」であるとする)の代表値としての、0度から165度までの15度毎の角度、大きさの代表値としての、1から21までの奇数に対して定義されているとする。
このとき、式(5)で得られたLBを四捨五入し、四捨五入の結果が偶数であれば1を加算して奇数にし(LB=LB+1)、このような処理の結果が「21」よりも大きければ、「21」にクリッピングし、このような処理をした結果を、動きぼやけの大きさの代表値LRとして出力する。動きぼやけの大きさLBの値が代表値LRを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの大きさLBは代表値LRに変換される。Next, a method for calculating the pointer IND for reading the filter coefficient from the table of the filter
For example, the filter coefficient stored in the filter
At this time, the LB obtained by the equation (5) is rounded, and if the rounding result is an even number, 1 is added to make it an odd number (LB = LB + 1), and the result of such processing is larger than “21”. For example, clipping to “21” is performed, and the result of such processing is output as a representative value LR of the magnitude of motion blur. If the value of the motion blur magnitude LB is within a predetermined range including the representative value LR, the motion blur magnitude LB is converted into the representative value LR by performing the above processing.
一方、角度Aについては、式(3)で求められたAが0より小さければ、180度を加算し(A=A+180)、15度単位で四捨五入(R丸め)するためA2=(A+7.5)/15を小数点以下切り捨て、その結果が12以上であれば(A2≧12)、A2=0とする。このような処理の結果を、動きぼやけの角度の代表値ARに対応する値AR2として出力する。ARとAR2との間には次の関係がある。
AR=15×AR2On the other hand, with respect to the angle A, if A obtained by the expression (3) is smaller than 0, 180 degrees is added (A = A + 180), and rounded off to the nearest 15 degrees (R rounding), A2 = (A + 7.5 ) / 15 is rounded down, and if the result is 12 or more (A2 ≧ 12), A2 = 0. The result of such processing is output as a value AR2 corresponding to the representative value AR of the motion blur angle. There is the following relationship between AR and AR2.
AR = 15 × AR2
動きぼやけの角度Aの値が代表値ARを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの角度Aは代表値ARに対応する値AR2に変換される。
動きぼやけの大きさの代表値LR、及び角度の代表値ARに対応する値AR2を用いて、次式のような計算により、テーブルからの読み出しのためのポインタINDとすることができる。
IND=12*((LR−1)/2−1)+AR2 (11)If the value of the motion blur angle A is within a predetermined range including the representative value AR, the motion blur angle A is converted to a value AR2 corresponding to the representative value AR by performing the above processing.
By using the value AR2 corresponding to the representative value LR of the magnitude of motion blur and the representative value AR of the angle, the pointer IND for reading from the table can be obtained by the following calculation.
IND = 12 * ((LR-1) / 2-1) + AR2 (11)
式(11)に基づいてAR2およびLRからポインタINDを求めるテーブルの具体例を図16に示す。図16には示していないが、LR=1の場合のフィルタ係数CF(p,q)は、i=0、j=0の場合には、例えば、CF(i,j)=1、それ以外の場合には、CF(i,j)=0と定められる。 A specific example of a table for obtaining the pointer IND from AR2 and LR based on Expression (11) is shown in FIG. Although not shown in FIG. 16, the filter coefficient CF (p, q) when LR = 1 is, for example, CF (i, j) = 1 when i = 0 and j = 0, otherwise In this case, it is determined that CF (i, j) = 0.
フィルタ係数保存部33は、動きぼやけ推定部32よりポインタINDが入力されると、入力されたポインタINDに対応するフィルタ係数CF(p,q)をローパスフィルタ36に供給する。フィルタ係数保存部33に保存されるフィルタ係数は、ユーザが自由に設計することができる。フィルタ係数はローパスフィルタを実現するものであればよく、比較的設計しやすいことも本実施の形態の特徴である。
When the pointer IND is input from the motion
次に、ローパスフィルタ36を備えるフィルタリング部34について詳細に説明する。本実施の形態は、被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを、適切に軽減することを目的としており、次式に示すローパスフィルタを用いた手法をベースとしている。
E(i,j)
=D2(i,j)+BST1(i,j)*(D2(i,j)−FL1(i,j))
(12)Next, the
E (i, j)
= D2 (i, j) + BST1 (i, j) * (D2 (i, j) -FL1 (i, j))
(12)
式(12)を変形すると式(9)、式(10)が得られる。式(12)の考え方に基づいて処理を行うこととすれば、例えば緑色信号(G)を用いて式(9)による計算を行って、利得GAIN(i,j)を求め、補正演算部30において、同じ画素の複数の色信号に対して同じ利得GAIN(i,j)を用いて式(10)の演算を行うことで演算量を削減できる利点がある。しかしながら、式(12)を用いる手法には以下の欠点もあり、そのため以下のような処理を行うこととしている。
When Expression (12) is modified, Expression (9) and Expression (10) are obtained. If processing is performed based on the concept of Expression (12), for example, the calculation according to Expression (9) is performed using the green signal (G) to obtain the gain GAIN (i, j), and the
式(12)による手法は、フィルタ係数保存部33より出力されたフィルタ係数CF(p,q)を用い、画像補正処理部6に入力された映像信号D2に対しローパスフィルタリングを行い、フィルタ結果FL1(i,j)を利得計算部39へ出力する。しかし、式(12)に基づくローパスフィルタリングによる動きぼやけ補正処理は、補正画像において強いエッジ部にオーバーシュートが生じる弊害が起きやすい。
The method according to Expression (12) uses the filter coefficient CF (p, q) output from the filter
そこで、ローパスフィルタ36の前段に非線形処理部35を挿入して、強いエッジ部でオーバーシュートが抑制できるような非線形処理を行う。例えば、操作信号処理部31より入力される閾値TH1を用いて非線形処理を行い、オーバーシュートの抑制を行うこととする。具体的には、図17に示すように、注目画素の画素値D2(i,j)と、その周辺領域内の画素の画素値D2(i−p,j−q)との差分値DIF(i−p,j−q)=D2(i,j)−D2(i−p,j−q)を閾値TH1によりクリッピングする。即ち、フィルタリング部34は、注目画素の画素値D2(i,j)とその周辺領域内の画素の各々の画素値D2(i−p,j−q)との差DIF(i−p,j−q)の絶対値が、予め定められた閾値TH1を超えないように、周辺領域内の画素の各々の画素値画素値D2(i−p,j−q)に対してクリッピング処理を行い、クリッピング処理後の画素値D2b(i−p,j−q)を用いて、周辺領域内の画素に対して、ローパスフィルタリングを行う。これにより、仮に抑制を行わないとすれば、差分値DIF(i−p,j−q)が大きく、利得計算部39で算出される利得GAIN(i,j)が大きくなる画像のエッジ部において、利得を適切に制御することができる。
Therefore, a
次に、補正強度調整部38における処理について詳細を述べる。
補正強度調整部38は、動きぼやけ補正処理後、ノイズ増幅効果で動きぼやけ補正画像の品質が下がることを抑制するためのものであり、操作信号処理部31より入力される補正強度パラメータBST0を、画像の特徴、例えば平坦さに応じて小さくしもしくは0として、調整後の補正強度パラメータBST1とし、利得計算部39へ出力する。Next, details of the processing in the correction
The correction
具体的には、映像信号D2を入力し、注目画素の周辺領域内の画素の画素値(例えば輝度値)の変化を検出し、該変化の大きさに応じて調整後の補正強度パラメータBST1の値を決める。上記画素値の変化を表す指標としては、注目画素の画素値D2(i,j)と平均値算出部37から出力される平均値FL2(i,j)との差分値の絶対値を用いる。そして、例えば、該絶対値が操作信号処理部31より入力される閾値TH2より小さければ、注目画素の周辺領域内の画素値の変化が少ないと判断し、例えば調整後の補正強度パラメータBST1を調整前の補正強度パラメータBST0の1/2とし、上記の絶対値が閾値TH2より大きければ画素値の変化が大きいと判断し、調整前の補正強度パラメータBST0をそのまま調整後の補正強度パラメータBST1とする。そして、このようにして定められた調整後の補正強度パラメータBST1を利得計算部39へ出力する。
Specifically, the video signal D2 is input, a change in the pixel value (for example, luminance value) of the pixel in the peripheral region of the target pixel is detected, and the corrected correction intensity parameter BST1 is adjusted according to the magnitude of the change. Determine the value. As an index representing the change in the pixel value, an absolute value of a difference value between the pixel value D2 (i, j) of the target pixel and the average value FL2 (i, j) output from the average
以下、上記の処理を行う意義についてさらに詳しく説明する。
被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを軽減するための処理は、これに付随的に映像信号中のノイズを増幅してしまうこととなる。特に、画素値の変化、例えば輝度の変化の少ない平坦な領域は、動きぼやけが生じていてもその影響は視覚的に小さく、補正処理が弱くても済む。仮にこのような領域で、補正強度パラメータ値BST0をそのまま用いて補正を行うと、ノイズを大きく増幅し、動きぼやけ補正結果の品質が低下することになる。そこで、平坦な領域を検出し、そのような領域では補正強度パラメータBST0の代りにより小さい値を用いる適応処理を行う。このとき、平坦な領域か否かを判定するには、前述のように注目画素の画素値D2(i,j)とその周辺領域内の画素の画素値の平均FL2との差分を取り、閾値との大小で判定することとしている。
また、このような理由から、前述のように平均値算出部37で算出された−P≦p≦P、−Q≦q≦Qの領域内のすべての画素の画素値の単純平均値を用いている。Hereinafter, the significance of performing the above processing will be described in more detail.
The process for reducing the motion blur in the region where the motion blur is caused by the motion of the subject or the camera moves amplifies the noise in the video signal incidentally. In particular, in a flat area where there is little change in pixel value, for example, a change in luminance, even if motion blur occurs, the effect is visually small, and correction processing may be weak. If correction is performed using the correction intensity parameter value BST0 as it is in such a region, noise is greatly amplified, and the quality of the motion blur correction result is degraded. Therefore, a flat region is detected, and in such a region, adaptive processing is performed using a smaller value instead of the correction strength parameter BST0. At this time, in order to determine whether or not the region is a flat region, as described above, the difference between the pixel value D2 (i, j) of the pixel of interest and the average FL2 of the pixel values of the pixels in the surrounding region is taken, and a threshold value is obtained. Judgment is based on the size.
For this reason, the simple average value of the pixel values of all the pixels in the region of −P ≦ p ≦ P and −Q ≦ q ≦ Q calculated by the average
利得計算部39は、フィルタリング部34の出力FL1(i,j)、補正強度調整部38から出力される調整後の補正強度パラメータBST1(i,j)、映像信号D2の注目画素の画素値D2(i,j)を用いて上記の式(9)に基づき利得GAIN(i,j)を計算し、算出した利得GAIN(i,j)を補正演算部30へ供給する。
ただし、式(9)に示される演算において、注目画素の画素値D2(i,j)で除算する必要から、D2(i,j)=0の場合にはD2(i,j)=1として計算を行う。また、GAIN(i,j)<0となった場合は、GAIN(i,j)=0とクリッピングする。以上の計算により得られた利得GAIN(i,j)を補正演算部30へ出力する。
補正演算部30では、供給された利得GAIN(i,j)を画素値D2(i,j)に乗算することで、動きぼやけ補正を行う。乗算結果は、動きぼやけ補正を受けた画素値E(i,j)として出力され、画像選択部10に供給される。The
However, in the calculation shown in Expression (9), since it is necessary to divide by the pixel value D2 (i, j) of the target pixel, when D2 (i, j) = 0, D2 (i, j) = 1 is set. Perform the calculation. If GAIN (i, j) <0, clipping is performed with GAIN (i, j) = 0. The gain GAIN (i, j) obtained by the above calculation is output to the
The
高周波成分検出部8及び判定部9は、動きベクトル検出部5から出力される動きベクトルVを受け、各フレーム内において動きベクトルの検出誤りが少ないかどうか、即ち動きベクトルの検出結果は信頼性が十分に高いものであるかどうかの判定を行う。この判定は以下の考えによるものである。
注目画素(i,j)における動きベクトルV(Vy(i,j)、Vx(i,j))は、その周辺画素における動きベクトルVから大きく変化する場合には、誤検出されたものである可能性が高い。また局所的に動きベクトルの変化が大きい箇所があるとしても、フレーム全体に及ぶことはまれである。従って、フレーム全体に亘り、動きベクトルの変化が多い場合には、動きベクトルの検出に誤りが多く、信頼性が低いと判定する。
例えば、カメラが静止しており、背景の中を速く動く移動物体を撮影した場合、背景と移動物体との境界領域に存在する画素の動きベクトルは、動きベクトルが0となる画素と一定方向に大きな値を取る画素とが隣り合わせで存在している。しかしながら、境界領域以外では、隣接する画素間での動きベクトルの違いは大きくない。即ち、多くの映像信号は相関の強い画素が一定領域において2次元で並んでおり、意味のある2次元情報を構成していると考えられる。
従って、1フレーム内に上記のような動きベクトルの変化が多数発生している場合は、動きベクトルの検出に誤りが多いと判定することができる。
そこで、各画素についての動きベクトルに対して高周波成分を検出することで上記のような変化を捉え、閾値C1との比較により、各画素についての動きベクトルが誤検出されたものであるどうかを高周波成分検出部8で推定し、判定部9で、各フレーム内において、動きベクトルが誤検出されたと推定された画素の数が閾値C2よりも多い場合には、当該フレームについての動きベクトルの検出は誤りが多く、信頼性が低いと判断する。The high frequency
The motion vector V (Vy (i, j), Vx (i, j)) at the target pixel (i, j) is erroneously detected when it greatly changes from the motion vector V at the surrounding pixels. Probability is high. Even if there is a portion where the change of the motion vector is large locally, it rarely extends to the entire frame. Therefore, when there are many changes in the motion vector over the entire frame, it is determined that there are many errors in motion vector detection and the reliability is low.
For example, when the camera is stationary and a moving object moving fast in the background is photographed, the motion vector of the pixel existing in the boundary area between the background and the moving object is in a certain direction with the pixel having the motion vector of 0. Pixels having a large value are adjacent to each other. However, the difference in motion vector between adjacent pixels is not large except in the boundary region. That is, in many video signals, pixels with strong correlation are arranged two-dimensionally in a certain region, and it is considered that meaningful two-dimensional information is configured.
Therefore, when many motion vector changes as described above occur in one frame, it can be determined that there are many errors in motion vector detection.
Therefore, by detecting a high frequency component with respect to the motion vector for each pixel, the above change is captured, and it is determined whether the motion vector for each pixel is erroneously detected by comparison with the threshold C1. When the number of pixels estimated by the
即ち、判定部9では、高周波成分検出部8から出力された高周波成分検出結果Hの1フレーム分の合計Tを計算する。つまり、各フレームの全体において、動きベクトルが誤検出されたと推定される画素の数を求めている。
なお、映像の中心部に重要なコンテンツを配置して撮影がなされることも多いことから、演算量の削減のため映像の中心領域のみ高周波成分の検出及び高周波成分検出結果Hの合計を求める演算に用いても良い。That is, the
In addition, since important content is often placed at the center of the video and shot, the calculation for obtaining the high frequency component detection and the sum of the high frequency component detection results H only in the central region of the video is required to reduce the amount of calculation. You may use for.
最終的には、閾値C2と、各フレーム内において動きベクトルが誤検出されたと推定された画素の数との比較により、判定結果Rを得ているが、入力される映像信号の性質を予め利用することができる場合、閾値C2として予め設定した値を用いても良い。 Finally, a determination result R is obtained by comparing the threshold value C2 with the number of pixels estimated to have detected a motion vector in each frame, but the characteristics of the input video signal are used in advance. In the case where it is possible, a preset value may be used as the threshold C2.
なお、上記の例では、高周波成分検出部8における高周波成分の検出方法としての垂直方向の動きベクトルと水平方向の動きベクトルそれぞれに対し2階差分を算出し、それぞれの絶対値を足し合わせたが、入力される映像信号の性質を予め利用することができる場合、適切なカットオフ周波数を用いたハイパスフィルタリングを適用しても良い。
また、高周波成分を検出する際は、ユーザが外部から入力する閾値C1との比較に基づいているが、カットオフ周波数を明確に設定できる場合は、閾値C1として予め設定した値を用いても良い。In the above example, the second-order difference is calculated for each of the vertical direction motion vector and the horizontal direction motion vector as a method of detecting the high frequency component in the high frequency
Moreover, when detecting a high frequency component, it is based on the comparison with the threshold value C1 which a user inputs from the outside. However, when the cut-off frequency can be set clearly, a preset value may be used as the threshold value C1. .
画像選択部10は、判定部9から出力された判定結果Rに基づき、選択制御信号Rが「0」の場合は処理画像遅延部7から出力される補正された映像信号E1を選択して最終出力映像信号Fとして出力し、選択制御信号Rが「1」の場合は入力画像遅延部4から出力される映像信号D3を選択して最終出力映像信号Fとして出力する。
Based on the determination result R output from the
以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いて動きぼやけ補正処理を行うと共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、補正処理された映像信号と、元の映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補正処理を受けた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補正処理された映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補正処理された映像を用いることで動きぼやけに対する補正により動きぼやけの低減した映像を表示することができる。As described above, in the present embodiment, a motion vector in the video signal is detected and detected based on the video signal and a video signal that is temporally before or after one frame from the video signal. The motion blur correction process is performed using the motion vector, and a high frequency component of the detected motion vector is detected to estimate whether the motion vector is erroneously detected for each pixel. Further, in each frame, the motion vector is estimated. The degree of reliability is evaluated based on the number of pixels estimated to be erroneously detected, and based on the result of the evaluation, either the corrected video signal or the original video signal is selected and displayed. As a result, an optimal video can be selected and displayed according to the degree of motion vector detection error.
That is, when there are many errors in motion vector detection, image quality degradation occurs when using a video that has undergone correction processing based on motion vectors, but in this embodiment, when there are many errors in motion vector detection, By using the original video instead of the corrected video, image quality degradation is prevented, while when there are few errors in motion vector detection, the corrected video is used to correct motion blur. An image with reduced motion blur can be displayed.
実施の形態2.
図18は、本発明の実施の形態2に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2bと、画像表示部3とを備え、画像処理装置2bは、図1の画像処理装置2と同様の、入力画像遅延部4、動きベクトル検出部5、高周波成分検出部8、判定部9、及び画像選択部10を備えるとともに、フレームレート変換部15、画像補正処理部16、及び画像合成部17を備える。
FIG. 18 shows a configuration of an image display device including an image processing device according to
実施の形態2の画像処理装置2bは、入力された映像信号D0を受けて、フレームレートを高くした映像信号を生成するもので、そのために、入力映像信号のフレーム間に新たなフレーム(補間フレーム)の映像信号を補間により生成する。
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2bは、入力映像信号の相前後するフレーム間に補間フレームの映像信号を生成し、補間により生成された映像信号J0(補間により生成された画素値を持つ信号の列から成る)を1フレーム遅延した映像信号J1を、入力された映像信号D0を2フレーム遅延した映像信号D2の間に配置したフレーム列で構成される映像信号Kと、入力された映像信号D0を2フレーム遅延し、さらに、フレームレートを変換した映像信号Iのどちらかを選択して最終出力映像信号Fとして出力する。The
The video signal D0 is composed of a sequence of signals representing pixel values of a plurality of pixels constituting the image, and the
画像処理装置2bに入力された映像信号D0(図19(a))は、入力画像遅延部4に供給される。入力画像遅延部4はフレームメモリを用いて、入力された信号のフレーム遅延を行い、3枚の互いに異なるフレームの映像信号D1、D2、D3(図19(b)、(c)、(d))を生成する。図19(a)〜(l)において、符号T0、T1、T2、…は、入力映像信号の各フレーム期間を表す。そのうち、映像信号D1は、映像信号D0に対して遅延がなく、映像信号D2は映像信号D0に対して1フレームの遅延があり、映像信号D3は、映像信号D0に対して2フレームの遅延がある。
The video signal D0 (FIG. 19A) input to the
映像信号D2およびD1は動きベクトル検出部5及び画像補正処理部16に出力され、
映像信号D3はフレームレート変換部15に出力される。The video signals D2 and D1 are output to the motion
The video signal D3 is output to the frame
フレームレート変換部15は、映像信号D3のフレーム周波数を2倍にした映像信号Iを出力する(図19(i))。この映像信号Iは、映像信号D3の各フレームを、再生時間を1/2に短縮して2回ずつ繰り返すものである。
The frame
動きベクトル検出部5は、実施の形態1について説明したように、入力画像遅延部4から出力された2枚の異なるフレームの映像信号D2、D1を用い、映像信号D2に含まれる動きベクトルV(図19(e))を検出する。検出された動きベクトルVは画像補正処理部16及び高周波成分検出部8に出力される。
実施の形態1に関し説明したように、動きベクトルVは、注目フレームのブロックと後フレームのブロックとの間で、式(2)で表される差分絶対値和が最小となるブロック間の相対位置(km,lm)に対応するものであり、本実施の形態では、検出された動きベクトルV=(Vy,Vx)=(km,lm)とともに、当該最小の差分絶対値和SAD(i+km,j+lm)が、当該動きベクトルVに対応する差分絶対値和mv_sad(i,j)として画像補正処理部16へ出力される。As described in the first embodiment, the motion
As described with respect to the first embodiment, the motion vector V is a relative position between the block of the target frame and the block of the subsequent frame between the blocks at which the sum of absolute differences expressed by the equation (2) is minimized. In this embodiment, the detected motion vector V = (Vy, Vx) = (km, lm) and the minimum difference absolute value sum SAD (i + km, j + lm). ) Is output to the image
画像補正処理部16は、動きベクトル検出部5から出力された動きベクトルV及び差分絶対値和mv_sad(i,j)を入力とし、入力画像遅延部4から出力された各フレームの映像信号D2と次のフレームの映像信号D1の間の、時間的に中間の位置に存在すると推定される1つのフレームを補間により生成し、これにより、生成された補間フレームの列から成る映像信号J0を生成する。映像信号J0の各フレームを図19(f)に符号F0h、F1h、F2h、…で示す。生成された映像信号J0は、,画像合成部17に出力される。
また、画像補正処理部16は、入力された映像信号D2をそのまま映像信号G0(D2と同内容のデータであり、図19(c)に示される)として画像合成部17へ出力する。The image
The image
画像合成部17は、画像補正処理部16から出力された映像信号G0及びJ0をそれぞれ1フレーム分遅延させて映像信号G1(D3と同内容のデータであり、図19(d)に示される)、J1(図19(g)のF0h、F1h、F2h、…)を生成し、映像信号G1、J1の順に交互に配置して、映像信号D0のフレーム周波数の2倍の周波数の映像信号Kとして画像選択部10へ出力する(図19(h)のF0、F0h、F1、F1h、F2、F2h、…)。
これにあわせて、フレームレート変換部15により、映像信号D3を2倍のフレーム周波数に変換した映像信号Iが画像選択部10に入力される。この映像信号Iは、映像信号D3の各フレームを、再生時間を1/2に短縮して2回ずつ繰り返すものである(図19(i)のF0、F0、F1、F1,F2、F2、…)。The
In accordance with this, a video signal I obtained by converting the video signal D3 into a double frame frequency is input to the
高周波成分検出部8は動きベクトル検出部5から出力された動きベクトルV(図19(e))を入力し、ハイパスフィルタ(高域通過型フィルタ)で各画素についての高周波成分を抽出し、抽出した高周波成分の値を、外部から入力した閾値C1と比較し、比較結果を、当該画素についての高周波成分検出結果Hとして出力する。この高周波成分検出結果Hは、高周波成分の値が閾値C1よりも小さい場合には、値「0」を取り、高周波成分の値が閾値C1以上の場合には、値「1」を取る。
各画素についての動きベクトルVの高周波成分の値が大きいほど、当該動きベクトルVが誤検出されたものである可能性が高い。本実施の形態では、高周波成分の値が閾値C1以上の場合には、当該画素についての動きベクトルVは誤検出されたもの推定して処理する。The high frequency
The greater the value of the high-frequency component of the motion vector V for each pixel, the higher the possibility that the motion vector V is erroneously detected. In the present embodiment, when the value of the high frequency component is equal to or greater than the threshold value C1, the motion vector V for the pixel is estimated and processed as erroneously detected.
判定部9は、高周波成分検出部8から出力された高周波成分検出結果Hを入力し、値「1」を取る高周波成分検出結果Hの数を1フレームに亘り計数する。そして、1フレーム中における、値「1」を取る高周波成分検出結果Hの発生回数を、外部から入力した閾値C2と比較し、比較結果を選択制御信号Rとして画像選択部10に出力する。具体的には、1フレーム中における、値「1」を取る高周波成分検出結果Hの数が閾値C2よりも小さい場合は選択制御信号Rの値を「0」とし、閾値C2以上の場合は選択制御信号Rの値を「1」とする(図19(j))。
The
画像選択部10は、選択制御信号Rが「0」の場合は画像合成部17から出力される映像信号K(図19(h))を選択して最終出力映像信号Fとして出力し(図19(k))、選択制御信号Rが「1」の場合はフレームレート変換部15から出力される映像信号I(図19(i))を選択して最終出力映像信号Fとして出力する(図19(l))。
When the selection control signal R is “0”, the
各フレームについて値「1」を取る高周波成分検出結果Hが多いほど、当該フレームには動きベクトルVの誤検出が多い可能性が高く、信頼性が低いと推定できる。本実施の形態では、値「1」を取る高周波成分検出結果Hの数Nhfが閾値C2以上の場合には、当該フレームについて、動きベクトルVの誤検出が多く、従って、動きベクトルVの検出結果は信頼性が低いものとして処理する。即ち、画像選択部10において、動きベクトルVを用いて行なわれた画像補正処理の結果得られた映像信号Kを選択せずに、元の映像信号(画像補正処理を受けていない映像信号)Iを選択して出力する。
It can be estimated that the higher the high-frequency component detection result H that takes the value “1” for each frame, the higher the possibility of erroneous detection of the motion vector V in that frame, and the lower the reliability. In the present embodiment, when the number Nhf of the high-frequency component detection results H that takes the value “1” is equal to or greater than the threshold C2, there are many false detections of the motion vector V for the frame, and accordingly, the detection results of the motion vector V Are treated as having low reliability. In other words, the
各フレーム期間Tn(nは0、1、2、…のいずれか)において、動きベクトル検出部5から出力される動きベクトルVは、1フレーム遅延映像信号D2の各画素についてのものであり、動きベクトルVの高周波成分検出結果Hの各フレームにわたる集計が終わり、選択制御信号Rの値が決まるのは、当該フレーム期間の終わる時点に略一致する。そこで、各フレームの映像信号D2の動きベクトルVに基づいて生成された選択制御信号Rの値は、2フレーム遅延映像信号D3に対応するフレームレート変換信号I及び1フレーム遅延した映像信号G1及び対応する補間映像信号J1を組合せて形成された映像信号Kが画像選択部10に供給される、次のフレーム期間T(n+1)における画像選択部10における選択に用いられる。
In each frame period Tn (n is 0, 1, 2,...), The motion vector V output from the motion
例えば、フレーム期間T1に入力画像遅延部4から出力され動きベクトル検出部5に入力される、フレームF0の映像信号D2に基づく選択制御信号R(F0)は、フレームF0の映像信号D3に対応するフレームレート変換信号I(F0、F0)及び対応する映像信号G1(F0)と対応する補間映像信号J1(F0h)を組合せた映像信号K(F0、F0h)が、画像選択部10に入力される次のフレーム期間T2に、画像選択部10に供給され、画像選択部10では、この選択制御信号R(F0)に基づいて、フレーム期間T2における、映像信号I(F0、F0)又は映像信号K(F0、F0h)の選択を行う。
For example, the selection control signal R (F0) based on the video signal D2 of the frame F0 output from the input
画像表示部3は、画像選択部10から出力された映像信号Fに基づく画像の表示を行なう。
The
ここで、ユーザは閾値C1を変更することにより、高周波成分検出部8における判定の厳しさ(高周波成分の値がどの程度のときに、誤検出と推定するか)を調整することができる。また、閾値C2を変更することにより、判定部9における判定の厳しさ(各フレーム中における動きベクトルが誤検出されたと推定される画素の数がどの程度のときに、当該フレームについての動きベクトルの検出結果の信頼性が低く、画像補正処理を受けた映像信号を選択しないとの決定をする)を調整することができる。 Here, the user can adjust the severity of determination in the high frequency component detection unit 8 (how much the value of the high frequency component is estimated as erroneous detection) by changing the threshold value C1. Further, by changing the threshold value C2, the severity of determination in the determination unit 9 (when the number of pixels estimated to be erroneously detected as a motion vector in each frame is high, the motion vector of the frame is determined. The reliability of the detection result is low and it is determined that the video signal subjected to the image correction process is not selected).
実施の形態2で用いられる入力画像遅延部4は、図3の入力画像遅延部4と同じ構成のものであるが、図3の入力画像遅延部4とは異なり、画像補正処理部16へ、入力映像信号D0に対してフレーム遅延が無い映像信号D1と、映像信号D1に対して1フレーム遅延した映像信号D2を出力する。
これは、画像補正処理部16において、2フレーム間に映像信号J0を補間により生成するためである。The input
This is because the image
図20は、画像合成部17の構成例を示す。図20の画像合成部17は、図12の処理画像遅延部7と同様であるが、図12の処理画像遅延部7と異なり、映像信号G0及びJ0をそれぞれ1フレーム遅延させて、映像信号G1、J1を出力するものであり、このため、2フレーム分のフレームメモリを要する。
映像信号J0は、画像補正処理部16において補間により生成された映像信号(補間フレームの映像信号)である。
映像信号G0は、画像補正処理部16が、入力映像信号D2をスルー出力(そのまま出力)したものである。
なお、画像補正処理部16では2フレーム間に複数枚の映像信号を補間することもできるが、その場合には、補間されるフレーム数+1フレーム分のメモリを用意すれば良い。FIG. 20 shows a configuration example of the
The video signal J0 is a video signal (video signal of an interpolation frame) generated by interpolation in the image
The video signal G0 is obtained by the image
The image
以下、画像補正処理部16の処理について詳細に説明する。
画像補正処理部16は、上記のように、動きベクトル検出部5から出力された動きベクトルVを入力とし、入力画像遅延部4から出力された注目フレームの映像信号D2および後フレームの映像信号D1の間に映像信号J0を補間により生成するものであり、画像補正処理部16へは、入力画像遅延部4からの映像信号D2、D1が入力され、動きベクトル検出部5から注目フレームの動きベクトルV(Vy,Vx)及び差分絶対値和SADが入力される。
画像補正処理部16では、注目フレームD2の動きベクトルV(Vy,Vx)及び差分絶対値和SADを受けて、補間フレームJ0上の動きベクトル(Vhy,Vhx)及び対応する差分絶対値和SADhを求める。Hereinafter, the processing of the image
As described above, the image
The image
注目フレームD2の位置(i,j)の動きベクトルVを、垂直方向Vy(i,j)、水平方向Vx(i,j)と表現すると、補間フレームJ0の位置(i+si,j+sj)における動きベクトルVhy、Vhx及び差分絶対値和SADhは、次のように求めることができる。
Vhy(i+si,j+sj)=Vy(i,j)/2 (18a)
Vhx(i+si,j+sj)=Vx(i,j)/2 (18b)
SADh(i+si,j+sj)=mv_sad(i,j) (18c)
ただし、
si=round[Vy(i,j)/2]
sj=round[Vx(i,j)/2]
(round[*]は*の四捨五入)
である。When the motion vector V at the position (i, j) of the frame of interest D2 is expressed as the vertical direction Vy (i, j) and the horizontal direction Vx (i, j), the motion vector at the position (i + si, j + sj) of the interpolation frame J0. Vhy, Vhx, and the sum of absolute differences SADh can be obtained as follows.
Vhy (i + si, j + sj) = Vy (i, j) / 2 (18a)
Vhx (i + si, j + sj) = Vx (i, j) / 2 (18b)
SADh (i + si, j + sj) = mv_sad (i, j) (18c)
However,
si = round [Vy (i, j) / 2]
sj = round [Vx (i, j) / 2]
(Round [*] is rounded to *)
It is.
つまり、注目フレームの映像信号D2と後フレームの映像信号D1の中間に位置するフレームJ0を生成するため、注目フレームD2の動きベクトルVを2で割り四捨五入することで算出された位置(i+si,j+sj)に、注目フレームD2の動きベクトルVを2で割った値の動きベクトルがあるものと推定される。なお、位置(i+si,j+sj)が映像として定義された範囲の外の位置を指定した場合、式(18a)、式(18b)、式(18c)の処理をしない。 That is, in order to generate a frame J0 located between the video signal D2 of the target frame and the video signal D1 of the subsequent frame, the position (i + si, j + sj) calculated by dividing the motion vector V of the target frame D2 by 2 and rounding off. ) Is estimated to be a motion vector having a value obtained by dividing the motion vector V of the frame of interest D2 by 2. When the position (i + si, j + sj) designates a position outside the range defined as the video, the processing of Expression (18a), Expression (18b), and Expression (18c) is not performed.
ここで、式(18a)、式(18b)及び式(18c)で計算された補間フレームにおける動きベクトルVhy、Vhx及び差分絶対値和SADhは、補間フレーム上の全ての位置(i,j)に対して得られるとは限らない。このため、動きベクトルVhy、Vhxが得られなかった画素位置について動きベクトル値Vhy、Vhx及び差分絶対値和SADhの修正乃至補間処理(以下単に修正処理と言う)が必要となる。動きベクトルVhy、Vhx及び差分絶対値和SADhの修正処理としては、様々なアルゴリズムが提案されているが、ここでは代表的な処理を記載することとする。 Here, the motion vectors Vhy and Vhx and the sum of absolute differences SADh in the interpolation frame calculated by the equations (18a), (18b) and (18c) are at all positions (i, j) on the interpolation frame. It is not always obtained. For this reason, correction or interpolation processing (hereinafter simply referred to as correction processing) of the motion vector values Vhy, Vhx and the difference absolute value sum SADh is required for the pixel position from which the motion vectors Vhy, Vhx were not obtained. Various algorithms have been proposed for correcting the motion vectors Vhy and Vhx and the sum of absolute differences SADh. Here, representative processes are described.
動きベクトルVhy、Vhxの修正は、補間フレームJ0の画素についてその周囲の所定の範囲、例えば3×3の範囲内の各画素位置について既に求められている動きベクトルに対応する差分絶対値和のうちで最小のものを見つける処理と、3×3の範囲に動きベクトルが存在しないと判断される場合に動きベクトルを新たに設定する処理で構成されている。
このような処理は、式(18a)、式(18b)及び式(18c)による計算で動きベクトルVhy、Vhxが求められた画素及び求められなかった画素についてのみ、行っても良く、式(18a)、式(18b)及び式(18c)による計算で動きベクトルVhy、Vhxが求められた画素を含め、すべての画素について行うこととしても良い。The motion vectors Vhy and Vhx are corrected by calculating the difference absolute value sum corresponding to the motion vector already obtained for each pixel position within a predetermined range around the pixel of the interpolation frame J0, for example, 3 × 3. The process includes a process for finding the smallest one and a process for newly setting a motion vector when it is determined that no motion vector exists in the 3 × 3 range.
Such processing may be performed only for the pixels for which the motion vectors Vhy and Vhx have been obtained and the pixels for which the motion vectors Vhy and Vhx have not been obtained by the calculations according to the equations (18a), (18b), and (18c). ), The expression (18b) and the expression (18c), the calculation may be performed for all the pixels including the pixel for which the motion vectors Vhy and Vhx are obtained.
補間フレーム上の位置(i,j)を中心とした、その周囲の3×3の範囲の各画素位置についてすでに求められている動きベクトルに対応する差分絶対値和SADhのうちの最小のものを見つけ、該最小の差分絶対値に対応する動きベクトルを、当該各画素位置についての動きベクトルの修正値として採用する。即ち、差分絶対値和が最小と判断された位置の動きベクトル(Vhy(i+ci、j+cj),Vhx(i+ci、j+cj))を、位置(i,j)の動きベクトルの修正値Vcy(i,j),Vcx(i,j)とする。この処理は下記の式で表される。
Vcy(i、j)=Vhy(i+ci、j+cj)
Vcx(i、j)=Vhx(i+ci、j+cj)
(19)
とする。このとき、(ci、cj)は、The smallest one of the absolute difference sums SADh corresponding to the motion vectors already obtained for each pixel position in the 3 × 3 range around the position (i, j) on the interpolation frame The motion vector corresponding to the minimum difference absolute value is found and used as a motion vector correction value for each pixel position. That is, the motion vector (Vhy (i + ci, j + cj), Vhx (i + ci, j + cj)) at the position where the sum of absolute differences is determined to be the minimum is converted to the corrected value Vcy (i, j) of the motion vector at the position (i, j). ), Vcx (i, j). This process is represented by the following equation.
Vcy (i, j) = Vhy (i + ci, j + cj)
Vcx (i, j) = Vhx (i + ci, j + cj)
(19)
And At this time, (ci, cj) is
また、3×3の範囲のいずれの画素についても式(18a)、式(18b)による処理で動きベクトルVhy、Vhxが求められていなければ、
Vcy(i、j)=Vcx(i、j)=0
を動きベクトルの修正値として設定する。In addition, for any pixel in the 3 × 3 range, if the motion vectors Vhy and Vhx are not obtained by the processing according to the equations (18a) and (18b),
Vcy (i, j) = Vcx (i, j) = 0
Is set as the motion vector correction value.
以上により、補間フレームにおける動きベクトルVcy(i、j)、Vcx(i、j)が求まったので、これらを用いて注目フレームの映像信号D2と後フレームの映像信号D1の値を参照し、補間フレームJ0を求める。補間フレームの注目画素(i,j)に対応する注目フレームの映像信号D2と後フレームの映像信号D1の位置をそれぞれ(bi、bj)、(ai,aj)とすると、補間フレームJ0の各画素の画素値J0(i,j)は、
J0(i,j)={D2(bi,bj)+D1(ai,aj)}/2
(21)
として求めることができる。ここで、
bi=i−round[Vcy(i,j)]
bj=j−round[Vcx(i,j)]
ai=i+fix[Vcy(i,j)]
aj=j+fix[Vcx(i,j)]
である。ただし、fix[*]は*の0方向への切捨てを示す。As described above, the motion vectors Vcy (i, j) and Vcx (i, j) in the interpolated frame are obtained, and these values are used to refer to the values of the video signal D2 of the target frame and the video signal D1 of the subsequent frame, and perform interpolation. Find frame J0. If the positions of the video signal D2 of the target frame and the video signal D1 of the subsequent frame corresponding to the target pixel (i, j) of the interpolation frame are (bi, bj) and (ai, aj), each pixel of the interpolation frame J0 The pixel value J0 (i, j) of
J0 (i, j) = {D2 (bi, bj) + D1 (ai, aj)} / 2
(21)
Can be obtained as here,
bi = i-round [Vcy (i, j)]
bj = j-round [Vcx (i, j)]
ai = i + fix [Vcy (i, j)]
aj = j + fix [Vcx (i, j)]
It is. However, fix [*] indicates truncation of * in the 0 direction.
以上説明したように、入力された2フレームの映像信号D1及びD2間の動きベクトルを画素毎に検出し、検出した動きベクトルを参照することで2つのフレームの間に補間フレームの映像信号J0を生成し、生成した補間フレームの映像信号J0を、映像信号G0と共に画像合成部17へ出力する。
As described above, the motion vector between the input video signals D1 and D2 of the two frames is detected for each pixel, and the video signal J0 of the interpolated frame is detected between the two frames by referring to the detected motion vector. The generated interpolated frame video signal J0 is output to the
以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いてフレーム補間を行うと共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、補間処理により得られた映像信号と、元の映像信号のフレームレートを高くしただけの映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補間処理で得られた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補間処理で得られた映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補間処理で得られた映像を用いることでギクシャクとした動きの低減した映像(滑らかに変化する映像)を表示することができる。As described above, in the present embodiment, a motion vector in the video signal is detected and detected based on the video signal and a video signal that is temporally before or after one frame from the video signal. In addition to performing frame interpolation using the motion vector and detecting a high-frequency component of the detected motion vector, it is estimated whether or not a motion vector has been erroneously detected for each pixel. The degree of reliability is evaluated based on the number of pixels estimated to be detected, and based on the result of the evaluation, the video signal obtained by interpolation processing and the video with the frame rate of the original video signal increased. By selecting and displaying one of the signals, it is possible to select and display an optimal video according to the degree of motion vector detection error.
In other words, when there are many errors in motion vector detection, image quality degradation occurs when using an image obtained by interpolation processing based on motion vectors, but in this embodiment, when there are many errors in motion vector detection. By using the original video without using the video obtained by the interpolation process, image quality deterioration can be prevented. On the other hand, when there are few errors in motion vector detection, the video obtained by the interpolation process can be used. It is possible to display a jerky motion-reduced image (smoothly changing image).
実施の形態3.
図21は、本発明の実施の形態3に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2cと、画像表示部3とを備え、画像処理装置2cは、図1の画像処理装置2と同様の、入力画像遅延部4、動きベクトル検出部5、及び高周波成分検出部8を備えるとともに、画像補正処理部6b、処理画像遅延部7b、判定部59、及び画像選択部60を備える。画像補正処理部6bは第1の補正処理部51及び第2の補正処理部52を備える。処理画像遅延部7bは、第1の画像遅延部53及び第2の画像遅延部54を備える。
入力画像遅延部4、動きベクトル検出部5、及び高周波成分検出部8は、図1に示すものと同様のものである。
FIG. 21 shows a configuration of an image display device including an image processing device according to
The input
実施の形態3の画像処理装置2cは、実施の形態1と同様に、入力された映像信号D0を受けて、動きぼやけ補正処理を行うものである。
Similar to the first embodiment, the
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2cは、各フレームの複数の画素を順に補正対象画素(注目画素)としてぼやけ処理を行い、補正処理後の映像信号Ea0及びEb0(補正された画素値を持つ信号の列から成る)を生成し、該補正処理後の映像信号Ea0及びEb0をそれぞれ1フレーム遅延した映像信号Ea1及びEa1と、入力映像信号D0を2フレーム遅延した映像信号D3の中からいずれかを選択して最終出力映像信号Fとして出力する。
The video signal D0 is composed of a sequence of signals representing the pixel values of a plurality of pixels constituting the image, and the
実施の形態1について説明したのと同様に、画像処理装置2cに入力された映像信号D0は(図22(b))、入力画像遅延部4に供給される。入力画像遅延部4はフレームメモリを用いて、入力された信号のフレーム遅延を行い、3枚の互いに異なるフレームの映像信号D1、D2、D3(図22(d)、(e)、(f))を生成する。
映像信号D1及びD2は、動きベクトル検出部5に出力され、映像信号D2は第1及び第2の補正処理部51、52に出力され、映像信号D3は画像選択部60に出力される。As described in the first embodiment, the video signal D0 input to the
The video signals D1 and D2 are output to the motion
動きベクトル検出部5は、実施の形態1と同様に、入力画像遅延部4から出力された2枚の異なるフレームの映像信号D2、D1を用い、映像信号D2に含まれる動きベクトルV(図22(k))を検出する。検出された動きベクトルVは第1及び第2の補正処理部51、52、並びに高周波成分検出部8に出力される。
As in the first embodiment, the motion
第1及び第2の補正処理部51、52の各々は、実施の形態1の画像補正処理部6と同様に動作を行って画像の補正を行う。
但し、画像補正処理部6に入力される信号PRの代わりに、第1の補正処理部51には入力される信号PR1が入力され、第2の補正処理部52には信号PR2が入力される。Each of the first and second
However, instead of the signal PR input to the image
第1の補正処理部51は、動きベクトル検出部5から出力された動きベクトルVを入力とし、入力画像遅延部4から出力された映像信号D2において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減し、補正された映像信号Ea0(図22(g)のF0a、F1a、F2a、…)を第1の画像遅延部53へ出力する。
The first
第2の補正処理部52は、動きベクトル検出部5から出力された動きベクトルVを入力とし、入力画像遅延部4から出力された映像信号D2において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減し、補正された映像信号Eb0(図22(i)のF0b、F1b、F2b、…)を第2の画像遅延部54へ出力する。
The second
第2の補正処理部52は、第1の補正処理部51と比べて、補正の強度が小さい(即ち、映像の動きぼやけを軽減する量がより少ない)。
The second
第1の補正処理部51と第2の補正処理部52で補正の強度を変えるには、第1の補正処理部51に入力される信号PR1で表されるパラメータと、第2の補正処理部52に入力される信号PR2で表されるパラメータとで、値を異なるものを用いることとすれば良い。即ち信号PR1、PR2で表されるパラメータBST0、TH2の一部又は全部として互いに値の異なるものを用いることとすれば良い。
In order to change the intensity of correction between the first
パラメータBST0は、係数βと乗算されてパラメータBST1となり、式(9)に示されるように、パラメータBST1が大きいほど、補正演算部30で映像信号D2に乗算される利得GAINが大きくなる。従って、パラメータBST0が大きいほど、補正の強度が大きくなる。同じ理由で、係数βが大きいほど、補正の強度が大きくなる。
閾値TH2は、画像の特徴の判別に用いられるものであり、映像信号D2の注目画素の画素値D2(i,j)と、その周辺の画素の画素値の平均値FL2(i,j)との差分の絶対値が閾値TH2より小さい場合は、パラメータBST0に対して1より小さい係数βを掛けて調整後のパラメータBST1を求め、そうでなければパラメータBST0をそのままパラメータBST1としているので、閾値TH2が大きいほど、パラメータBST1が大きくなり、補正の強度が大きくなる。
またパラメータADJを大きくすると、動きぼやけをより大きく評価することになり(式(5))、従って動きぼやけに対してより強い補正が加えられる。The parameter BST0 is multiplied by the coefficient β to become the parameter BST1, and as shown in the equation (9), as the parameter BST1 increases, the gain GAIN multiplied by the video signal D2 by the
The threshold value TH2 is used for discriminating the characteristics of the image. The pixel value D2 (i, j) of the target pixel of the video signal D2 and the average value FL2 (i, j) of the pixel values of the surrounding pixels are used. Is smaller than the threshold value TH2, the parameter BST1 is multiplied by a coefficient β smaller than 1 to obtain an adjusted parameter BST1, otherwise the parameter BST0 is used as it is as the parameter BST1, so the threshold value TH2 Is larger, the parameter BST1 is larger, and the correction strength is larger.
Further, when the parameter ADJ is increased, motion blur is evaluated more greatly (Equation (5)), and thus stronger correction is applied to motion blur.
第1の画像遅延部53は、第1の補正処理部51から出力された補正された映像信号Ea0を1フレーム分遅延させて出力する。第1の画像遅延部53の出力は、補正され、遅延された映像信号Ea1(図22(h)のF0a、F1a、F2a、…)として画像選択部60へ供給される。
The first
第2の画像遅延部54は、第2の補正処理部52から出力された補正された映像信号Eb0を1フレーム分遅延させて出力する。第2の画像遅延部54の出力は、補正され、遅延された映像信号Eb1(図22(j)のF0b、F1b、F2b、…)として画像選択部60へ供給される。
The second
高周波成分検出部8は、実施の形態1で説明したのと同様に、動きベクトル検出部5から出力された動きベクトルV(図22(k))を入力し、ハイパスフィルタ(高域通過型フィルタ)で各画素についての高周波数成分を抽出し、抽出した高周波成分の値を外部から入力した閾値C1と比較し、比較結果を各画素についての高周波数成分検出結果として出力する。この高周波成分検出結果Hは、高周波成分の値が閾値C1よりも小さい場合には、値「0」を取り、高周波成分の値が閾値C1以上の場合には、値「1」を取る。
実施の形態1で述べたのと同様、閾値C1は、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。As described in the first embodiment, the high-frequency
As described in the first embodiment, the threshold value C1 can be set and changed from the outside of the image processing apparatus by, for example, a user using an operation key (not shown).
判定部59は、高周波成分検出部8から出力された高周波成分検出結果Hを入力し、値「1」を取る高周波成分検出結果Hの数を1フレームに亘り計数する。そして、計数結果Nhf(1フレーム中における、値「1」を取る高周波成分検出結果Hの発生回数)を外部から入力した閾値C2A及びC2B(C2B>C2A)と比較し、比較結果を選択制御信号Rとして画像選択部60に出力する。
具体的には、計数結果Nhfが閾値C2Aよりも小さい場合は選択制御信号Rの値を「0」とし、閾値C2A以上でかつ閾値C2Bよりも小さい場合は選択制御信号Rの値を「1」とし、閾値C2B以上の場合は選択制御信号Rの値を「2」とする(図22(l))。The
Specifically, when the counting result Nhf is smaller than the threshold C2A, the value of the selection control signal R is “0”, and when the counting result Nhf is equal to or larger than the threshold C2A and smaller than the threshold C2B, the value of the selection control signal R is “1”. If the value is equal to or greater than the threshold C2B, the value of the selection control signal R is set to “2” (FIG. 22 (l)).
即ち、判定部59におけるRの値の決定は以下のようにして行われる。
Nhf<C2Aであれば、R=0 (22a)
Nhf≧C2A且つNhf<C2Bであれば、R=1 (22b)
Nhf≧2Bであれば、R=2 (22c)
That is, the
If Nhf <C2 A , then R = 0 (22a)
If NHF ≧ C2A and Nhf <C 2B, R = 1 (22b)
If Nhf ≧ 2B, then R = 2 (22c)
閾値C2A及びC2Bも、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。 The thresholds C2A and C2B can also be set and changed from the outside of the image processing apparatus by, for example, a user using an operation key (not shown).
画像選択部60は、選択制御信号Rが「0」の場合は第1の画像遅延部53から出力される補正された映像信号Ea1(図22(h))を最終出力映像信号Fとして出力し、選択制御信号Rが「1」の場合は第2の画像遅延部54から出力される補正された映像信号Eb1(図22(j))を最終出力映像信号Fとして出力し、選択制御信号Rが「2」の場合は入力画像遅延部4から出力される映像信号D3(図22(f))を最終出力映像信号Fとして出力する。
When the selection control signal R is “0”, the
上記の計数結果Nhf(各フレームについて値「1」を取る高周波成分検出結果H)が多いほど、当該フレームには動きベクトルVの誤検出が多い可能性が高く、信頼性が低いと推定できる。本実施の形態では、計数結果Nhfが大きい場合には、画像補正処理を受けていない映像信号D3を選択し、計数結果Nhfが小さいほど、より強い画像補正処理を受けた映像信号を選択する。即ち、計数結果Nhfが閾値C2B以上の場合には、補正処理を受けていない映像信号D3を選択し、計数結果Nhfが閾値C2Aよりも小さい場合には、補正処理を受けた映像信号(Ea1又はEb1)を選択するが、計数結果Nhfが閾値C2B以上か否かによってより強い補正処理を受けた映像信号Ea1と、より弱い補正処理を受けた映像信号Eb1との間の選択を行う。 It can be estimated that the more the counting result Nhf (the high-frequency component detection result H that takes the value “1” for each frame) is, the more likely there is more false detection of the motion vector V in the frame, and the lower the reliability. In the present embodiment, when the count result Nhf is large, the video signal D3 that has not been subjected to image correction processing is selected, and the video signal that has been subjected to stronger image correction processing is selected as the count result Nhf is small. That is, when the count result Nhf is equal to or greater than the threshold value C2B, the video signal D3 that has not been subjected to the correction process is selected, and when the count result Nhf is smaller than the threshold value C2A, the video signal that has undergone the correction process (Ea1 or Eb1) is selected, and a selection is made between the video signal Ea1 that has undergone stronger correction processing and the video signal Eb1 that has undergone weaker correction processing depending on whether or not the counting result Nhf is greater than or equal to the threshold value C2B.
実施の形態1について述べたのと同様に、各フレーム期間Tn(nは0、1、2、…のいずれか)において、動きベクトル検出部5から出力される動きベクトルVは、1フレーム遅延映像信号D2の各画素についてのものであり、動きベクトルVの高周波成分検出結果Hの各フレームにわたる集計が終わり、選択制御信号Rの値が決まるのは、当該フレーム期間の終わる時点に略一致する。そこで、各フレームの映像信号D2の動きベクトルVに基づいて生成された選択制御信号Rの値は、2フレーム遅延映像信号D3及び1フレーム遅延した補正処理後の映像信号Ea1、Eb1が画像選択部60に供給される、次のフレーム期間T(n+1)における画像選択部60における選択に用いられる。
As described in the first embodiment, in each frame period Tn (n is 0, 1, 2,...), The motion vector V output from the motion
画像表示部3は、画像選択部60から出力された映像信号Fに基づく画像の表示を行なう。
The
ここで、ユーザは閾値C1を変更することにより、高周波成分検出部8における判定の厳しさ(高周波成分の値がどの程度のときに、誤検出と推定するか)を調整することができる。また、閾値C2A、C2Bを変更することにより、判定部59における判定の厳しさ(各フレーム中において動きベクトルが誤検出されたと推定される画素の数Nhfに基づく、当該フレームについての動きベクトルの検出結果の信頼性に対する判定の基準)を調整することができる。 Here, the user can adjust the severity of determination in the high frequency component detection unit 8 (how much the value of the high frequency component is estimated as erroneous detection) by changing the threshold value C1. The threshold C2A, by changing the C 2B, the severity of the judgment in the judging unit 59 (based on the number Nhf of pixels is estimated that the motion vector is erroneously detected during each frame, the motion vector for the frame It is possible to adjust the criteria for determination of the reliability of the detection result.
なお、図21の構成において、入力画像遅延部4、動きベクトル検出部5、第1の補正処理部51、及び第2の補正処理部52において、輝度信号(Y)のみを処理することで、被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減することができる。しかしながら、輝度信号(Y)だけでなく、赤色信号(R)、青色信号(G)、緑色信号(B)を個別に処理してもよい。またR、G、Bの和を表す信号で、式(9)の利得GAIN(i,j)を求め、第1の補正処理部51及び第2の補正処理部52の動作において、式(10)ではR、G、B個別に処理をしても良い。また、輝度信号(Y)と色差信号(Cb、Cr)を個別に処理してもよい。輝度信号(Y)で利得GAIN(i,j)を求め、求めた利得GAIN(i,j)を用いて、輝度信号(Y)と色差信号(Cb、Cr)の各々に対して、式(10)の演算により個別に処理しても良い。他の色表現フォーマットでも同様な処理が行える。
In the configuration of FIG. 21, the input
以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いて動きぼやけ補正処理を行うと共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、
さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、強く補正処理された映像信号と、弱く補正処理された映像信号と、元の映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補正処理を受けた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補正処理された映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補正処理された映像を用いることで動きぼやけに対する補正により動きぼやけの低減した映像を表示し、動きベクトルの検出が中程度の場合には、弱めに補正処理された映像を用いることで、画質劣化を抑制するとともに、弱めの補正処理により動きぼやけの低減の効果もある程度得ることができる。
また、映像信号を切り替える場合にも、段階的切替えが可能であり、例えば補正処理を受けていない映像信号から強い補正処理を受けた映像信号に直接的に切り替えることを避け、一旦弱い補正処理を受けた映像信号に切り替えた後に、強い補正処理を受けた映像信号に切り替えることで、映像の質の急変を避けることができる。As described above, in the present embodiment, a motion vector in the video signal is detected and detected based on the video signal and a video signal that is temporally before or after one frame from the video signal. While performing motion blur correction processing using the motion vector, it is estimated whether the motion vector is erroneously detected for each pixel by detecting the high frequency component of the detected motion vector,
Furthermore, in each frame, the degree of reliability is evaluated based on the number of pixels that are estimated to have detected a motion vector erroneously, and based on the result of the evaluation, a strongly corrected video signal and a weakly corrected signal are processed. By selecting and displaying either the video signal or the original video signal, it is possible to select and display the optimal video according to the degree of motion vector detection error.
That is, when there are many errors in motion vector detection, image quality degradation occurs when using a video that has undergone correction processing based on motion vectors, but in this embodiment, when there are many errors in motion vector detection, By using the original video instead of the corrected video, image quality degradation is prevented, while when there are few errors in motion vector detection, the corrected video is used to correct motion blur. When video with reduced motion blur is displayed and motion vector detection is moderate, using weakly corrected video suppresses image quality degradation and reduces motion blur with weaker correction processing. This effect can also be obtained to some extent.
In addition, when switching video signals, stepwise switching is possible, for example, avoiding switching directly from a video signal that has not undergone correction processing to a video signal that has undergone strong correction processing, and temporarily performing weak correction processing. By switching to the received video signal and then switching to the video signal subjected to strong correction processing, it is possible to avoid a sudden change in video quality.
実施の形態4.
図23は、本発明の実施の形態4に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置1は、画像処理装置2dと、画像表示部3とを備え、画像処理装置2dは、図21の画像処理装置と同様の、入力画像遅延部4、動きベクトル検出部5、高周波成分検出部8、判定部59、及び画像選択部60を備えるとともに、画像補正処理部16b、画像合成部17b、及びフレームレート変換部70を備える。画像補正処理部16bは、第1の補正処理部71及び第2の補正処理部72を備える。画像合成部17bは、第1の合成部73及び第2の合成部74を備える。
FIG. 23 shows a configuration of an image display device including an image processing device according to
実施の形態4の画像処理装置2dは、実施の形態2と同様に、入力された映像信号D0を受けて、フレームレートを高くした映像信号を生成するもので、そのために、入力映像信号のフレーム間に1又は2以上のフレーム(補間フレーム)を補間により生成する。以下では、フレームレートを5倍にする場合を例に挙げて説明する。
Similarly to the second embodiment, the
映像信号D0は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置2dは、入力映像信号D0の相前後するフレーム間に、複数の、例えば第1及び第2の補間方法で、それぞれ1又は2以上の補間フレームを生成し、生成した補間フレームを含む映像信号Ja0、Jb0の各々を入力映像信号と組み合わせることで(入力映像信号のフレームと補間フレームを所定の順序で出力させることで)、フレームレートを高くした複数の映像信号Ka、Kbを生成するとともに、入力映像信号の各フレームを複数回繰り返すことでフレームレートを高くした映像信号Ifを生成し、これらの映像信号Ka、Kb、Ifのうちのいずれかを、判定部59における判定の結果に基づいて選択して最終出力映像信号Fとして出力する。
The video signal D0 is composed of a sequence of signals representing the pixel values of a plurality of pixels constituting the image, and the
画像処理装置2dに入力された映像信号D0(図24(a))は、入力画像遅延部4に供給される。入力画像遅延部4はフレームメモリを用いて、入力された信号のフレーム遅延を行い、3枚の互いに異なるフレームの映像信号D1、D2、D3(図24(b)、(c)、(d))を生成する。図24(a)〜(l)において、符号T0、T1、T2、…は、入力映像信号の各フレーム期間を表す。そのうち、映像信号D1は、映像信号D0に対して遅延がなく、映像信号D2は映像信号D0に対して1フレームの遅延があり、映像信号D3は、映像信号D0に対して2フレームの遅延がある。
The video signal D0 (FIG. 24A) input to the
映像信号D2およびD1は動きベクトル検出部5及び第1及び第2の補正処理部71、72に出力され、
映像信号D3はフレームレート変換部70に出力される。The video signals D2 and D1 are output to the motion
The video signal D3 is output to the frame
フレームレート変換部70は、映像信号D3のフレーム周波数を5倍にした映像信号Ifを出力する(図24(k))。この映像信号Ifは、映像信号D3の各フレームを、再生時間を1/5に短縮して5回ずつ繰り返すものであり、その詳細を図25(d)に示す。
The frame
動きベクトル検出部5は、実施の形態1について説明したように、入力画像遅延部4から出力された2枚の異なるフレームの映像信号D2、D1を用い、映像信号D2に含まれる動きベクトルV(図24(f))を検出する。検出された動きベクトルVは第1及び第2の補正処理部71、72及び高周波成分検出部8に出力される。
As described in the first embodiment, the motion
実施の形態1に関し説明したように、動きベクトルVは、注目フレームのブロックと後フレームのブロックとの間で、式(2)で表される差分絶対値和が最小となるブロック間の相対位置(km,lm)に対応するものであり、本実施の形態では、実施の形態2と同様に、検出された動きベクトルV=(Vy,Vx)=(km,lm)とともに、当該最小の差分絶対値和SAD(i+km,j+lm)が、当該動きベクトルVに対応する差分絶対値和mv_sad(i,j)として第1及び第2の補正処理部71、72へ出力される。
As described with respect to the first embodiment, the motion vector V is a relative position between the block of the target frame and the block of the subsequent frame between the blocks at which the sum of absolute differences expressed by the equation (2) is minimized. This embodiment corresponds to (km, lm), and in the present embodiment, as in the second embodiment, the detected motion vector V = (Vy, Vx) = (km, lm) and the minimum difference. The absolute value sum SAD (i + km, j + lm) is output to the first and second
第1の補正処理部71は、動きベクトル検出部5から出力された動きベクトルV及び差分絶対値和mv_sad(i,j)を入力とし、入力画像遅延部4から出力された各フレームの映像信号D2と次のフレームの映像信号D1の間の、それぞれ時間的に均等に分離された位置(4つの位相)に存在すると推定される4つのフレームを補間により生成し、これにより、各位相の補間フレームの列から成る4つの映像信号を生成する。補間により生成される4つの映像信号をまとめて符号Ja0で表す。これら4つ映像信号の、それぞれのフレームを図24(g)に符号F0ia〜F0id、F1ia〜F1id、F2ia〜F2id、…で示す。
生成された映像信号Ja0は、第1の合成部73に出力される。
また、第1の補正処理部71は、入力された映像信号D2をそのまま映像信号G0(D2と同内容のデータであり、図24(c)にF0、F1、F2、…として示される)として第1の合成部73へ出力する。The first
The generated video signal Ja0 is output to the first combining
Further, the first
第2の補正処理部72は、動きベクトル検出部5から出力された動きベクトルV及び差分絶対値和mv_sad(i,j)を入力とし、入力画像遅延部4から出力された各フレームの映像信号D2と次のフレームの映像信号D1の間の、時間的に中間の位置に存在すると推定される1つのフレームを補間により生成し、これにより、生成された補間フレームの列から成る映像信号Jb0を生成する。映像信号Jb0の各フレームを図24(i)に符号F0h、F1h、F2h、…で示す。生成された映像信号Jb0は、第2の合成部74に出力される。
また、第2の補正処理部72は、入力された映像信号D2をそのまま映像信号G0(D2と同内容のデータであり、図24(c)にF0、F1、F2、…として示される)として第2の合成部74へ出力する。The second
Further, the second
第1の合成部73は、第1の補正処理部71から出力された各フレームの映像信号G0及び補間により生成された映像信号Ja0を基にして、これらを所定の時間順序で配列することにより、フレームレートが5倍の映像信号Ka(図24(h)、図25(e))を生成する。
Based on the video signal G0 of each frame output from the first
第2の合成部74は、第2の補正処理部72から出力された各フレームの映像信号G0及び補間により生成された映像信号Jb0を基にして、これらを所定の時間順序で配列することにより、フレームレートが5倍の映像信号Kb(図24(j)、図25(f))を生成する。
Based on the video signal G0 of each frame output from the second
以下、フレームレート変換部70、第1及び第2の補正処理部71及び72、並びに第1及び第2の合成部73及び74の処理を図25(d)、(e)、(f)を参照して説明する。図25(d)、(e)、(f)は、図24(k)、(h)、(j)に示される映像信号の各フレームの時間的位置関係をより詳しく示す。
図示の例では、入力映像信号D0のフレーム周波数は24fps、出力映像信号Fのフレーム周波数は120fpsであり、入力映像信号D0のそれぞれのフレームの開始時刻が図25(a)に、符号U、U+1、U+2で示され、出力映像信号Fのそれぞれのフレームの開始時刻が図25(c)に符号u、u+1/5、u+2/5、…で示されている。図25(b)は、図24(e)と同様に、合成部73、74に入力される映像信号G0(図24(c))を1フレーム期間遅延させ、さらに再生時間を1/5に短縮した映像信号G1を示す。Hereinafter, the processing of the frame
In the illustrated example, the frame frequency of the input video signal D0 is 24 fps, the frame frequency of the output video signal F is 120 fps, and the start time of each frame of the input video signal D0 is shown in FIG. , U + 2, and the start time of each frame of the output video signal F is indicated by reference numerals u, u + 1/5, u + 2/5,... In FIG. In FIG. 25 (b), as in FIG. 24 (e), the video signal G0 (FIG. 24 (c)) input to the
まず、フレームレート変換部70について説明する。
図25(d)に示される例では、フレームレート変換部70から映像信号Ifとして、元の映像信号D3の各フレームが、再生時間を1/5に短縮されて5回ずつ繰り返して出力される。例えばフレーム期間T2内において、元の映像信号のフレームF0が5回繰り返して出力され、次のフレーム期間T3内において、フレームF1が5回繰り返して出力される。First, the frame
In the example shown in FIG. 25 (d), each frame of the original video signal D3 is output as the video signal If from the frame
次に第1の補正処理部71及び第1の合成部73について説明する。
図25(e)に示される例では、第1の合成部73から映像信号Kaとして、例えばフレーム期間T2においては、元の映像信号G0のフレームF0に続いて4つの補間フレームF0ia、F0ib、F0ic、F0idが順に出力され、次のフレーム期間T3においては、元の映像信号G0のフレームF1に続いて4つの補間フレームF1ia、F1ib、F1ic、F1idが順に出力される。Next, the first
In the example shown in FIG. 25 (e), as the video signal Ka from the
各フレームの再生時間(出力時間)は、入力映像信号の1フレーム期間の1/5であり、補間フレームF0ia、F0ib、F0ic、F0idは元の映像信号のフレームF0に対して1/5、2/5、3/5、4/5フレーム期間遅れたタイミングで出力される。 The reproduction time (output time) of each frame is 1/5 of one frame period of the input video signal, and the interpolation frames F0ia, F0ib, F0ic, F0id are 1/5, 2 with respect to the frame F0 of the original video signal. / 5, 3/5, 4/5 The frame is output at a timing delayed.
このようなタイミングで出力される補間フレームの生成のため、第1の補正処理部71では、以下のようにして補間フレームの画素の画素値を求める。即ち、第1の補正処理部71は、上記のように、入力画像遅延部4から出力された注目フレームの映像信号D2および後フレームの映像信号D1の間の複数の時間的位置(位相)に映像信号を補間により生成する。第1の補正処理部71へは、入力画像遅延部4からの映像信号D2、D1のほか、動きベクトル検出部5から注目フレームの動きベクトルV(Vy,Vx)及び差分絶対値和mv_sad(i,j)が入力される。
In order to generate the interpolation frame output at such timing, the first
以下では、注目フレームと後フレームの間に生成される複数の補間フレームの一つ(符号Jnで表す)に着目して説明する。この補間フレームは、注目フレームから、注目フレームと後フレームの時間間隔のα倍の位置にあるものとする。即ち、注目フレームと後フレームの時間間隔に対する注目フレームと補間フレームの時間間隔の比がαである。図40(e)に示すように、入力映像信号のフレーム(例えばF0)に対して1/5フレーム期間後の補間フレーム(F0ia)を生成する場合にはα=1/5となる。同様に、2/5フレーム期間、3/5フレーム期間、4/5フレーム期間後の補間フレーム(F0ib、F0ic、F0id)を生成する場合には、それぞれα=2/5、α=3/5、α=4/5となる。 In the following, description will be given focusing on one of a plurality of interpolation frames (represented by the symbol Jn) generated between the frame of interest and the subsequent frame. This interpolated frame is located at a position α times the time interval between the target frame and the subsequent frame from the target frame. That is, the ratio of the time interval between the frame of interest and the interpolation frame to the time interval between the frame of interest and the subsequent frame is α. As shown in FIG. 40E, when an interpolation frame (F0ia) after a 5 frame period is generated with respect to a frame (for example, F0) of the input video signal, α = 1/5. Similarly, when generating interpolated frames (F0ib, F0ic, F0id) after the 2/5 frame period, the 3/5 frame period, and the 4/5 frame period, α = 2/5 and α = 3/5, respectively. , Α = 4/5.
第1の補正処理部71では、注目フレームD2の動きベクトルV(Vy,Vx)及び差分絶対値和mv_sad(i,j)を受けて、補間フレームJn上の動きベクトル(Vhy,Vhx)を求める。
The first
注目フレームD2の位置(i,j)の動きベクトルVの垂直方向成分をVy(i,j)、水平方向成分をVx(i,j)と表現すると、補間フレームJnの位置(i+si,j+sj)における動きベクトルVhy、Vhxは、次のように求めることができる。
Vhy(i+si,j+sj)=Vy(i,j)×α (23a)
Vhx(i+si,j+sj)=Vx(i,j)×α (23b)
ただし、
si=round[Vy(i,j)×α]
sj=round[Vx(i,j)×α]
(round[*]は*の四捨五入)
である。When the vertical component of the motion vector V at the position (i, j) of the frame of interest D2 is expressed as Vy (i, j) and the horizontal component is expressed as Vx (i, j), the position (i + si, j + sj) of the interpolation frame Jn. The motion vectors Vhy and Vhx at can be obtained as follows.
Vhy (i + si, j + sj) = Vy (i, j) × α (23a)
Vhx (i + si, j + sj) = Vx (i, j) × α (23b)
However,
si = round [Vy (i, j) × α]
sj = round [Vx (i, j) × α]
(Round [*] is rounded to *)
It is.
つまり、注目フレームD2の動きベクトルVにαを掛けて四捨五入することで算出された位置(i+si,j+sj)に、注目フレームと補間フレームとの間には、注目フレームD2の動きベクトルVにαを掛けた値の動きベクトルがあるものと推定される。なお、位置(i+si,j+sj)が映像として定義された範囲の外の位置を指定した場合、式(23a)、式(23b)、式(23c)の処理をしない。 That is, α is added to the motion vector V of the target frame D2 between the target frame and the interpolation frame at a position (i + si, j + sj) calculated by multiplying the motion vector V of the target frame D2 by α and rounding off. It is estimated that there is a motion vector of the multiplied value. When the position (i + si, j + sj) designates a position outside the range defined as the video, the processing of Expression (23a), Expression (23b), and Expression (23c) is not performed.
ここで、式(23a)、式(23b)及び式(23c)で計算された補間フレームにおける動きベクトルVhy、Vhxは、補間フレーム上の全ての位置(i,j)に対して得られるとは限らない。このため、動きベクトルVhy、Vhxが得られなかった画素位置について動きベクトル値Vhy、Vhxの修正乃至補間処理(以下単に修正処理と言う)が必要となる。動きベクトルVhy、Vhxの修正処理は、実施の形態2について説明したのと同様に行い得る。
動きベクトルVhy、Vhxを修正することで得られる値をそれぞれ、符号Vcy、Vcxで表す。Here, the motion vectors Vhy and Vhx in the interpolation frame calculated by the equations (23a), (23b) and (23c) are obtained for all positions (i, j) on the interpolation frame. Not exclusively. For this reason, correction or interpolation processing (hereinafter simply referred to as correction processing) of the motion vector values Vhy and Vhx is required for the pixel position where the motion vectors Vhy and Vhx were not obtained. The correction processing of the motion vectors Vhy and Vhx can be performed in the same manner as described in the second embodiment.
Values obtained by correcting the motion vectors Vhy and Vhx are represented by symbols Vcy and Vcx, respectively.
次に修正後の動きベクトルVcy(i、j)、Vcx(i、j)を用いて注目フレームの映像信号D2と後フレームの映像信号D1の値を参照し、補間フレームJnを求める。補間フレームの注目画素(i,j)に対応する注目フレームの映像信号D2と後フレームの映像信号D1の位置をそれぞれ(bi、bj)、(ai,aj)とすると、補間フレームJnの各画素の画素値Jn(i,j)は、
Jn(i,j)=D2(bi,bj)×(1−α)+D1(ai,aj)×α
(24)
として求めることができる。ここで、
bi=i−round[Vcy(i,j)]
bj=j−round[Vcx(i,j)]
ai=i+fix[Vcy(i,j)]
aj=j+fix[Vcx(i,j)]
である。ただし、fix[*]は*の0方向への切捨てを示す。Next, using the corrected motion vectors Vcy (i, j) and Vcx (i, j), the values of the video signal D2 of the target frame and the video signal D1 of the subsequent frame are referred to obtain an interpolation frame Jn. If the positions of the video signal D2 of the target frame and the video signal D1 of the subsequent frame corresponding to the target pixel (i, j) of the interpolation frame are (bi, bj) and (ai, aj), each pixel of the interpolation frame Jn The pixel value Jn (i, j) of
Jn (i, j) = D2 (bi, bj) × (1−α) + D1 (ai, aj) × α
(24)
Can be obtained as here,
bi = i-round [Vcy (i, j)]
bj = j-round [Vcx (i, j)]
ai = i + fix [Vcy (i, j)]
aj = j + fix [Vcx (i, j)]
It is. However, fix [*] indicates truncation of * in the 0 direction.
次に第2の補正処理部72及び第2の合成部74について説明する。
図25(f)に示される例では、第2の合成部74から映像信号Kbとして、例えばフレーム期間T1の終期からフレーム期間T2の初期に掛けて、元の映像信号G0のフレームF0が3回繰り返して出力された後、フレーム期間T2内で補間フレームF0hが2回繰り返して出力され、フレーム期間T2の終期からフレーム期間T3の初期に掛けて元の映像信号G0のフレームF1が3回繰り返して出力された後、フレーム期間T3内で補間フレームF1hが2回繰り返して出力される。Next, the second
In the example shown in FIG. 25 (f), as the video signal Kb from the
各フレームの再生時間は、入力映像信号の1フレーム期間の1/5であり、補間フレームF0hは3回繰り返される元の映像信号のフレームF0のうちの2番目のものに対して2/5、3/5フレーム期間遅れたタイミングで出力される。 The playback time of each frame is 1/5 of one frame period of the input video signal, and the interpolation frame F0h is 2/5 with respect to the second of the frames F0 of the original video signal repeated three times. It is output at a timing delayed by 3/5 frame period.
補間フレームの各画素の画素値は、補間フレームが相前後する元の映像信号のフレームの時間的中間位置にあるものと仮定して第2の補正処理部72で求められた値である。第2の補正処理部72は、実施の形態2の画像補正処理部16が補間フレームの映像信号J0を求めるのと同様にして、補間フレームの映像信号Jb0を求める。
The pixel value of each pixel of the interpolated frame is a value obtained by the second
高周波成分検出部8及び判定部59の動作は実施の形態3と同様である。
The operations of the high frequency
画像選択部60は、実施の形態3と同様に、選択制御信号Rの値に応じて、3つの入力のうちのいずれかを選択して出力する。
即ち、画像選択部60は、選択制御信号Rが「0」の場合は第1の合成部73から出力された、補間後の映像信号Ka(図24(h))を最終出力映像信号Fとして出力し、選択制御信号Rが「1」の場合は第2の合成部74から出力された、補間後の映像信号Kb(図24(j))を最終出力映像信号Fとして出力し、選択制御信号Rが「2」の場合はフレームレート変換部70から出力された映像信号lf(図24(k))を最終出力映像信号Fとして出力する。As in the third embodiment, the
That is, when the selection control signal R is “0”, the
画像表示部3は、画像選択部60から出力された映像信号Fに基づく画像の表示を行なう。
The
このような処理をする結果、上記の計数結果Nhf(1フレーム中における、値「1」を取る高周波成分検出結果Hの発生回数)が閾値C2B以上のとき、即ち、動きベクトルVの検出に誤りが多いときは、補間処理によって得られた映像信号を用いずに、入力映像信号を繰り返すことで得られた映像信号(補間処理乃至補正処理を受けていない映像信号)Ifを選択して表示し、計数結果Nhfが閾値C2A未満のとき、即ち、動きベクトルVの検出に誤りが少ないときは、細かな補間処理により得られた(元のフレーム周期の1/5の周期毎に別々の補間演算を行うことで得られた)映像信号Ja0を入力映像信号と組み合わせた映像信号、即ち比較的強い補正処理を受けた映像信号Kaを選択して表示し、計数結果Nhfが閾値C2A以上で閾値C2B未満のとき、即ち、動きベクトルVの検出に誤りが中程度のときは、粗い補間処理により得られた(元の映像信号の相前後するフレームの中間に補間フレームが位置するものと仮定して補間演算を行うことで得られた)映像信号Jb0を入力映像信号と組み合わせた映像信号、即ち比較的弱い補正処理を受けた映像信号Kbを選択して表示する。
即ち、計数結果Nhfが多い場合(具体的には閾値C2B以上の場合)には、補間処理、即ち補正処理を受けていない映像信号Ifを選択し、計数結果Nhfが多くない場合(閾値C2Bよりも小さい場合)には、補間処理、即ち補正処理を受けた映像信号(Ka又はKb)選択するが、計数結果Nhfが比較的少ない場合には、より細かな補間処理、即ちより強い補正処理を受けた映像信号Kaを選択し、計数結果Nhfが比較的多い場合には、より粗い補間処理、即ちより弱い補正処理を受けた映像信号Kbを選択する。
一般化して言えば、計数結果が少ないほど、より細かな補間処理、即ちより強い補正処理を受けた映像信号を選択する。
As a result of such processing, when the counting result Nhf (the number of occurrences of the high-frequency component detection result H that takes the value “1” in one frame) is equal to or greater than the threshold C2B, that is, the motion vector V is erroneously detected. If there is a large amount of video signals, the video signal obtained by repeating the input video signal (video signal not subjected to interpolation processing or correction processing) If is selected and displayed without using the video signal obtained by the interpolation processing. When the count result Nhf is less than the threshold value C2A , that is, when there are few errors in the detection of the motion vector V, it is obtained by fine interpolation processing (separate interpolation calculation for every 1/5 period of the original frame period). video signal obtained) video signal Ja0 in combination with the input video signal by performing, i.e. relatively strong correction process and displays the selected video signal Ka which has received the counting result Nhf threshold C2A When less than the threshold value C2B above, i.e., error in detection of the motion vector V when the medium, which is located the interpolation frame in the middle of the frame one behind the obtained (original video signal by a coarse interpolation A video signal obtained by combining the video signal Jb0 (obtained by performing an interpolation calculation assuming that) with the input video signal, that is, a video signal Kb subjected to relatively weak correction processing is selected and displayed.
That is, when the count result Nhf is large (specifically, when the threshold value C2B is equal to or greater than the threshold value C2B), the video signal If that has not undergone the interpolation process, that is, the correction process is selected. Is smaller), the video signal (Ka or Kb) subjected to the interpolation process, that is, the correction process is selected. However, if the counting result Nhf is relatively small, a finer interpolation process, that is, a stronger correction process is performed. When the received video signal Ka is selected and the counting result Nhf is relatively large, the video signal Kb subjected to coarser interpolation processing, that is, weaker correction processing is selected.
Generally speaking, the smaller the counting result, the more the video signal that has been subjected to finer interpolation processing, that is, stronger correction processing is selected.
実施の形態3と同様に、ユーザは閾値C1を変更することにより、高周波成分検出部8における判定の厳しさ(高周波成分の値がどの程度のときに、誤検出と推定するか)を調整することができる。また、閾値C2A、C2Bを変更することにより、判定部59における判定の厳しさ(各フレーム中において動きベクトルが誤検出されたと推定される画素の数Nhfに基づく、当該フレームについての動きベクトルの検出結果の信頼性に対する判定の基準)を調整することができる。 Similar to the third embodiment, the user adjusts the severity of determination in the high-frequency component detection unit 8 (when the value of the high-frequency component is estimated to be false detection) by changing the threshold value C1. be able to. The threshold C2A, by changing the C 2B, the severity of the judgment in the judging unit 59 (based on the number Nhf of pixels is estimated that the motion vector is erroneously detected during each frame, the motion vector for the frame It is possible to adjust the criteria for determination of the reliability of the detection result.
以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し1フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いて補間フレームを生成すると共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、細かい補間処理により得られた映像信号と、粗い補間処理により得られた映像信号と、元の映像信号のフレームレートを高くしただけの映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補間処理で得られた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補間処理で得られた映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補間処理で得られた映像を用いることでギクシャクした動きの低減した映像(滑らかに変化する映像)を表示し、動きベクトルの検出が中程度の場合には、粗い補間処理で得られた映像を用いることで、画質劣化を抑制するとともに、粗い補間処理により、動きが幾分滑らかになった映像を表示することができる。
また、映像信号を切り替える場合にも、段階的切替えが可能であり、例えば補間処理処理により得られた映像を用いていない映像信号から、細かな補間処理で得られた映像信号に直接的に切り替えることを避け、一旦粗い補間処理で得られた映像信号に切り替えた後に、細かな補間処理で得られた映像信号に切り替えることで、映像の質の急変を避けることができる。As described above, in the present embodiment, a motion vector in the video signal is detected and detected based on the video signal and a video signal that is temporally before or after one frame from the video signal. An interpolation frame is generated using the motion vector, and a high frequency component of the detected motion vector is detected to estimate whether or not a motion vector has been erroneously detected for each pixel. Evaluate the degree of reliability based on the number of pixels estimated to be erroneously detected, and based on the result of the evaluation, a video signal obtained by fine interpolation processing, a video signal obtained by coarse interpolation processing, By selecting and displaying one of the video signals with the frame rate of the original video signal increased, depending on the level of motion vector detection error It can be displayed by selecting the image of a suitable.
In other words, when there are many errors in motion vector detection, image quality degradation occurs when using an image obtained by interpolation processing based on motion vectors, but in this embodiment, when there are many errors in motion vector detection. By using the original video without using the video obtained by the interpolation process, image quality deterioration can be prevented. On the other hand, when there are few errors in motion vector detection, the video obtained by the interpolation process can be used. When video with reduced motion (smoothly changing video) is displayed and motion vector detection is moderate, by using video obtained by rough interpolation processing, image quality degradation is suppressed, By rough interpolation processing, it is possible to display an image with a somewhat smooth movement.
In addition, when switching video signals, stepwise switching is possible. For example, a video signal obtained by interpolation processing is directly switched from a video signal not using video obtained by interpolation processing to a video signal obtained by fine interpolation processing. By avoiding this and switching to the video signal obtained by the fine interpolation process after switching to the video signal once obtained by the coarse interpolation process, a sudden change in the quality of the video can be avoided.
実施の形態1乃至4において、各画素についての高周波成分を閾値C1と比較して、比較の結果得られる高周波成分検出結果Hのうち値が「1」のものを各フレームに亘り計数しているが、各画素についての高周波成分を各フレームに亘り積算し、積算値を閾値と比較し、積算値が閾値よりも大きければ、当該フレームについて動きベクトルの検出に誤りが多く、信頼性が低いと判断することとしても良い。この場合にも、画像の特定の部分、例えば中央部分のみを、高周波成分の検出及び高周波成分の積算の対象としても良い。 In the first to fourth embodiments, the high-frequency component for each pixel is compared with the threshold value C1, and the high-frequency component detection result H obtained as a result of comparison is counted over each frame. However, the high-frequency component for each pixel is integrated over each frame, the integrated value is compared with a threshold value, and if the integrated value is larger than the threshold value, there are many errors in motion vector detection for the frame, and the reliability is low. It may be judged. Also in this case, only a specific part of the image, for example, the central part may be a target for detection of high frequency components and integration of high frequency components.
以上本発明を画像処理装置及び画像表示装置として説明したが、これらの装置で実行される画像処理方法及び画像表示方法も本発明の一部を成す。本発明はさらに、上記の画像処理装置または画像処理方法における手順乃至各ステップの処理を実行するプログラムとしても成立し、該プログラムを記録したコンピュータで読み取り可能な記録媒体としても成立する。 Although the present invention has been described above as an image processing apparatus and an image display apparatus, an image processing method and an image display method executed by these apparatuses also form part of the present invention. The present invention is also realized as a program for executing the processing of the procedure or each step in the above-described image processing apparatus or image processing method, and is also realized as a computer-readable recording medium on which the program is recorded.
1 画像表示装置、 2 画像処理装置、 3 画像表示部、 4,14 入力画像遅延部、 5 動きベクトル検出部、 6、6b 画像補正処理部、 7、7b 処理画像遅延部、 8 高周波成分検出部、 9 判定部、 10 画像選択部、 11 フレームメモリ、 12 フレームメモリ制御部、 15 フレームレート変換部、 16、16b 画像補正処理部、 17、17b 画像合成部、 21 注目フレームブロック切り出し部、 22 後フレームブロック切り出し部、 23 動きベクトル決定部、30 補正演算部、 31 操作信号処理部、 32 動きぼやけ推定部、 33 フィルタ係数保存部、 34 フィルタリング部、 35 非線形処理部、 36 ローパスフィルタ、 37 平均値算出部、 38 補正強度調整部、 39 利得計算部、 41 フレームメモリ、 42 フレームメモリ制御部、 51 第1の補正処理部、 52 第2の補正処理部、 53 第1の画像遅延部、 54 第2の画像遅延部、 70 フレームレート変換部、 71 第1の補正処理部、 72 第2の補正処理部、 73 第1の合成部、 74 第2の合成部。
DESCRIPTION OF
Claims (20)
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う画像補正処理部と、
前記動きベクトル検出部で検出された動きベクトルを用い、高周波成分を検出する高周波成分検出部と、
前記高周波成分検出部で検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定部と、
前記判定部において動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択部と
を備え、
前記高周波成分検出部は、各画素についての高周波成分が第1の閾値以上であるかどうかの判定を行い、
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、第2の閾値以上であれば、動きベクトルが誤検出されたものと判断する
ことを特徴とする画像処理装置。 The first video signal based on a first video signal obtained by delaying an input video signal and a video signal that is temporally before or after one frame from the first video signal. A motion vector detection unit for detecting a motion vector in
An image correction processing unit that performs image correction processing on the first video signal using the motion vector detected by the motion vector detection unit;
A high frequency component detection unit that detects a high frequency component using the motion vector detected by the motion vector detection unit;
A determination unit configured to determine the reliability of the detection result of the motion vector in each frame based on the high-frequency component detected by the high-frequency component detection unit;
An image selection unit that selects and outputs the input video signal or a video signal obtained by delaying the input video signal when the determination unit determines that a motion vector is erroneously detected ;
The high-frequency component detection unit determines whether the high-frequency component for each pixel is greater than or equal to a first threshold,
The determination unit detects a motion vector erroneously in each frame if the number of pixels determined by the high frequency component detection unit to be equal to or higher than the first threshold is greater than or equal to the second threshold. Judge that it was done
The image processing apparatus you wherein a.
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う第1の補正処理部と、 A first correction processing unit that performs an image correction process on the first video signal using the motion vector detected by the motion vector detection unit;
前記動きベクトル検出部で検出された動きベクトルを用い、前記第1の映像信号に対して第1の補正処理部よりも補正強度が小さい画像補正処理を行う第2の補正処理部とを備え、 Using a motion vector detected by the motion vector detection unit, and a second correction processing unit that performs image correction processing with a correction intensity smaller than that of the first correction processing unit on the first video signal,
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値よりも小さい第3の閾値以上であるか否かの判定をも行い、 In each frame, the determination unit is configured such that the number of pixels determined by the high-frequency component detection unit to be equal to or higher than the first threshold is greater than or equal to a third threshold smaller than the second threshold. Also determine whether there is,
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値未満であると判断されたときは、前記画像選択部は、前記第1の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、 When it is determined by the determination unit that the number of pixels for which the value of the high frequency component is determined to be greater than or equal to the first threshold by the high frequency component detection unit is less than the third threshold in each frame. The image selection unit selects and outputs a video signal generated as a result of the image correction processing by the first correction processing unit;
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値以上でかつ前記第2の閾値未満であると判断されたときは、前記画像選択部は、前記第2の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、 In each frame, the number of pixels determined by the high-frequency component detection unit to be higher than or equal to the first threshold by the determination unit is greater than or equal to the third threshold and less than the second threshold. The image selection unit selects and outputs the video signal generated as a result of the image correction processing by the second correction processing unit,
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値以上であると判断されたときは、前記画像選択部は、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する When it is determined by the determination unit that the number of pixels for which the value of the high frequency component is determined to be greater than or equal to the first threshold in the frame is greater than or equal to the second threshold. The image selection unit selects and outputs the input video signal or a video signal obtained by delaying the input video signal.
ことを特徴とする請求項6に記載の画像処理装置。 The image processing apparatus according to claim 6.
前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に第1の数のフレームの映像信号を補間する画像補正処理を行なう第1の補正処理部と、 A first image correction process for interpolating a video signal of a first number of frames between the first video signal and a video signal that is one frame earlier than the first video signal. A correction processing unit;
前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に前記第1の数よりも少ない第2の数のフレームの映像信号を補間する画像補正処理を行なう第2の補正処理部とを備え、 A video signal of a second number smaller than the first number is interpolated between the first video signal and a video signal that is one frame earlier than the first video signal. A second correction processing unit that performs image correction processing;
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値よりも小さい第3の閾値以上であるか否かの判定をも行い、 In each frame, the determination unit is configured such that the number of pixels determined by the high-frequency component detection unit to be equal to or higher than the first threshold is greater than or equal to a third threshold smaller than the second threshold. Also determine whether there is,
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値未満であると判断されたときは、前記画像選択部は、前記第1の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、 When it is determined by the determination unit that the number of pixels for which the value of the high frequency component is determined to be greater than or equal to the first threshold by the high frequency component detection unit is less than the third threshold in each frame. The image selection unit selects and outputs a video signal generated as a result of the image correction processing by the first correction processing unit;
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値以上でかつ前記第2の閾値未満であると判断されたときは、前記画像選択部は、前記第2の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、 In each frame, the number of pixels determined by the high-frequency component detection unit to be higher than or equal to the first threshold by the determination unit is greater than or equal to the third threshold and less than the second threshold. The image selection unit selects and outputs the video signal generated as a result of the image correction processing by the second correction processing unit,
前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値以上であると判断されたときは、前記画像選択部は、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する When it is determined by the determination unit that the number of pixels for which the value of the high frequency component is determined to be greater than or equal to the first threshold in the frame is greater than or equal to the second threshold. The image selection unit selects and outputs the input video signal or a video signal obtained by delaying the input video signal.
ことを特徴とする請求項8に記載の画像処理装置。 The image processing apparatus according to claim 8.
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う画像補正処理ステップと、
前記動きベクトル検出ステップで検出された動きベクトルを用い、高周波成分を検出する高周波成分検出ステップと、
前記高周波成分検出ステップで検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定ステップと、
前記判定ステップにおいて動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択ステップと
を備え、
前記高周波成分検出ステップは、各画素についての高周波成分が第1の閾値以上であるかどうかの判定を行い、
前記判定ステップは、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、第2の閾値以上であれば、動きベクトルが誤検出されたものと判断する
ことを特徴とする画像処理方法。 The first video signal based on a first video signal obtained by delaying an input video signal and a video signal that is temporally before or after one frame from the first video signal. A motion vector detection step of detecting a motion vector in
An image correction processing step for performing an image correction process on the first video signal using the motion vector detected in the motion vector detection step;
A high frequency component detecting step for detecting a high frequency component using the motion vector detected in the motion vector detecting step;
A determination step for determining a reliability of a motion vector detection result in each frame based on the high-frequency component detected in the high-frequency component detection step;
An image selection step of selecting and outputting the input video signal or a video signal obtained by delaying the input video signal when it is determined that a motion vector is erroneously detected in the determination step ;
The high-frequency component detection step determines whether or not the high-frequency component for each pixel is greater than or equal to a first threshold,
In the determination step, if the number of pixels determined in the high frequency component detection step that the value of the high frequency component is equal to or greater than the first threshold is greater than or equal to the second threshold in each frame, a motion vector is erroneously detected. Judge that it was done
Image processing how to characterized in that.
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号に対して画像補正処理を行う第1の補正処理ステップと、 A first correction processing step for performing image correction processing on the first video signal using the motion vector detected in the motion vector detection step;
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第1の映像信号に対して第1の補正処理ステップよりも補正強度が小さい画像補正処理を行う第2の補正処理ステップとを備え、 Using a motion vector detected in the motion vector detection step, and a second correction processing step for performing an image correction process having a correction intensity smaller than that of the first correction processing step on the first video signal,
前記判定ステップは、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値よりも小さい第3の閾値以上であるか否かの判定をも行い、 In the determination step, in each frame, the number of pixels for which the value of the high frequency component is determined to be equal to or greater than the first threshold in the high frequency component detection step is equal to or greater than a third threshold smaller than the second threshold. Also determine whether there is,
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値未満であると判断されたときは、前記画像選択ステップは、前記第1の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、 When it is determined by the determination step that the number of pixels, in each frame, in which the value of the high frequency component is determined to be greater than or equal to the first threshold in the high frequency component detection step is less than the third threshold. The image selection step selects and outputs a video signal generated as a result of the image correction processing in the first correction processing step,
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値以上でかつ前記第2の閾値未満であると判断されたときは、前記画像選択ステップは、前記第2の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、 In each frame, the number of pixels in which the value of the high frequency component is determined to be greater than or equal to the first threshold in each frame is greater than or equal to the third threshold and less than the second threshold. The image selection step selects and outputs the video signal generated as a result of the image correction processing in the second correction processing step,
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値以上であると判断されたときは、前記画像選択ステップは、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号のいずれかを選択して出力する When it is determined by the determination step that the number of pixels in each frame in which the value of the high frequency component is determined to be greater than or equal to the first threshold in the frame is greater than or equal to the second threshold. The image selection step selects and outputs either the input video signal or a video signal obtained by delaying the input video signal.
ことを特徴とする請求項16に記載の画像処理方法。 The image processing method according to claim 16.
前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に第1の数のフレームの映像信号を補間する画像補正処理を行なう第1の補正処理ステップと、 A first image correction process for interpolating a video signal of a first number of frames between the first video signal and a video signal that is one frame earlier than the first video signal. Correction processing steps;
前記第1の映像信号と、該第1の映像信号に対して1フレーム時間的に前の映像信号との間に前記第1の数よりも少ない第2の数のフレームの映像信号を補間する画像補正処理を行なう第2の補正処理ステップとを備え、 A video signal of a second number smaller than the first number is interpolated between the first video signal and a video signal that is one frame earlier than the first video signal. A second correction processing step for performing image correction processing,
前記判定ステップは、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値よりも小さい第3の閾値以上であるか否かの判定をも行い、 In the determination step, in each frame, the number of pixels for which the value of the high frequency component is determined to be equal to or greater than the first threshold in the high frequency component detection step is equal to or greater than a third threshold smaller than the second threshold. Also determine whether there is,
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値未満であると判断されたときは、前記画像選択ステップは、前記第1の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、 When it is determined by the determination step that the number of pixels, in each frame, in which the value of the high frequency component is determined to be greater than or equal to the first threshold in the high frequency component detection step is less than the third threshold. The image selection step selects and outputs a video signal generated as a result of the image correction processing in the first correction processing step,
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第3の閾値以上でかつ前記第2の閾値未満であると判断されたときは、前記画像選択ステップは、前記第2の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、 In each frame, the number of pixels in which the value of the high frequency component is determined to be greater than or equal to the first threshold in each frame is greater than or equal to the third threshold and less than the second threshold. The image selection step selects and outputs the video signal generated as a result of the image correction processing in the second correction processing step,
前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第1の閾値以上と判定された画素の数が、前記第2の閾値以上であると判断されたときは、前記画像選択ステップは、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する When it is determined by the determination step that the number of pixels in each frame in which the value of the high frequency component is determined to be greater than or equal to the first threshold in the frame is greater than or equal to the second threshold. The image selection step selects and outputs the input video signal or a video signal obtained by delaying the input video signal.
ことを特徴とする請求項18に記載の画像処理方法。 The image processing method according to claim 18.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013544249A JP5550794B2 (en) | 2011-11-18 | 2012-11-09 | Image processing apparatus and method, and image display apparatus and method |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011252547 | 2011-11-18 | ||
JP2011252547 | 2011-11-18 | ||
PCT/JP2012/079139 WO2013073476A1 (en) | 2011-11-18 | 2012-11-09 | Image processing device and method, and image display device and method |
JP2013544249A JP5550794B2 (en) | 2011-11-18 | 2012-11-09 | Image processing apparatus and method, and image display apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5550794B2 true JP5550794B2 (en) | 2014-07-16 |
JPWO2013073476A1 JPWO2013073476A1 (en) | 2015-04-02 |
Family
ID=48429536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013544249A Expired - Fee Related JP5550794B2 (en) | 2011-11-18 | 2012-11-09 | Image processing apparatus and method, and image display apparatus and method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP5550794B2 (en) |
CN (1) | CN103947181A (en) |
WO (1) | WO2013073476A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10819978B2 (en) | 2016-01-11 | 2020-10-27 | Samsung Electronics Co., Ltd. | Image encoding method and apparatus, and image decoding method and apparatus |
CN111491204B (en) * | 2020-04-17 | 2022-07-12 | Oppo广东移动通信有限公司 | Video repair method, video repair device, electronic equipment and computer-readable storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05344346A (en) * | 1992-06-08 | 1993-12-24 | Casio Comput Co Ltd | Image compressor |
JP2753024B2 (en) * | 1989-03-14 | 1998-05-18 | 松下電器産業株式会社 | Image motion vector prediction device and detection device |
JP2008244686A (en) * | 2007-03-27 | 2008-10-09 | Hitachi Ltd | Video processing device and video processing method |
JP2011130128A (en) * | 2009-12-16 | 2011-06-30 | Canon Inc | Image processor, control method thereof, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5047850A (en) * | 1989-03-03 | 1991-09-10 | Matsushita Electric Industrial Co., Ltd. | Detector for detecting vector indicating motion of image |
KR100477647B1 (en) * | 2002-06-01 | 2005-03-23 | 삼성전자주식회사 | Motion correction apparatus for image and method thereof |
JP3960258B2 (en) * | 2003-04-28 | 2007-08-15 | ソニー株式会社 | Signal processing apparatus and signal processing method |
-
2012
- 2012-11-09 CN CN201280056204.6A patent/CN103947181A/en active Pending
- 2012-11-09 JP JP2013544249A patent/JP5550794B2/en not_active Expired - Fee Related
- 2012-11-09 WO PCT/JP2012/079139 patent/WO2013073476A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2753024B2 (en) * | 1989-03-14 | 1998-05-18 | 松下電器産業株式会社 | Image motion vector prediction device and detection device |
JPH05344346A (en) * | 1992-06-08 | 1993-12-24 | Casio Comput Co Ltd | Image compressor |
JP2008244686A (en) * | 2007-03-27 | 2008-10-09 | Hitachi Ltd | Video processing device and video processing method |
JP2011130128A (en) * | 2009-12-16 | 2011-06-30 | Canon Inc | Image processor, control method thereof, and program |
Also Published As
Publication number | Publication date |
---|---|
CN103947181A (en) | 2014-07-23 |
WO2013073476A1 (en) | 2013-05-23 |
JPWO2013073476A1 (en) | 2015-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7406208B2 (en) | Edge enhancement process and system | |
JP4646146B2 (en) | Image processing apparatus, image processing method, and program | |
US8369649B2 (en) | Image processing apparatus, image processing method, and computer program for performing super-resolution process | |
US7912323B2 (en) | Image processing apparatus, image processing method, and image display apparatus | |
CA2702165C (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
JP4578566B2 (en) | Image generating method, apparatus, program thereof, and recording medium recording program | |
CN110418065B (en) | High dynamic range image motion compensation method and device and electronic equipment | |
US9002129B2 (en) | Method and device for reducing temporal noise for image | |
US8731328B2 (en) | Image processing apparatus, method and recording medium for generating a composite image | |
JP2008518318A (en) | How to improve the image quality of blurred images | |
EP3438923B1 (en) | Image processing apparatus and image processing method | |
US8213736B2 (en) | Image processing device and image processing method | |
JP2012109656A (en) | Image processing apparatus and method, and image display unit and method | |
JP5550794B2 (en) | Image processing apparatus and method, and image display apparatus and method | |
JP3786925B2 (en) | Outline correction method and apparatus suitable for the same | |
US8908965B2 (en) | Image processor, image processing method, image processing program, and chip circuit | |
JP2012032739A (en) | Image processing device, method and image display device | |
US9007494B2 (en) | Image processing apparatus, method for controlling the same and storage medium | |
JP2007179211A (en) | Image processing device, image processing method, and program for it | |
JP5933690B2 (en) | Image processing apparatus and method, and image processing program | |
JP6128878B2 (en) | Video processing device, video processing method, broadcast receiving device, video photographing device, video storage device, and program | |
JP5024300B2 (en) | Image processing apparatus, image processing method, and program | |
WO2011033675A1 (en) | Image processing apparatus and image display apparatus | |
JP2020057242A (en) | Image processing system, image processing method, and program | |
KR101758688B1 (en) | Signal processing apparatus and signal processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5550794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |