JP2012109656A - Image processing apparatus and method, and image display unit and method - Google Patents
Image processing apparatus and method, and image display unit and method Download PDFInfo
- Publication number
- JP2012109656A JP2012109656A JP2010254753A JP2010254753A JP2012109656A JP 2012109656 A JP2012109656 A JP 2012109656A JP 2010254753 A JP2010254753 A JP 2010254753A JP 2010254753 A JP2010254753 A JP 2010254753A JP 2012109656 A JP2012109656 A JP 2012109656A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- motion vector
- frame
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Systems (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。 The present invention relates to an image processing apparatus and method, and an image display apparatus and method. The present invention particularly relates to a frame interpolation process for inserting a new interpolation frame between frames of an image.
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。 A hold-type display such as a liquid crystal display continues to display the same image for one frame period, and when the object in the image moves, the tracking of the human eye to the moving object moves continuously, There is a problem that the edge portion looks blurry because the object moves discontinuously in units of one frame.
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２フレーム又は３フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。 In addition, for a material in which a film image such as a movie is converted into a TV signal, two or three frames are image signals made from the same frame because of the difference in frame frequency between the two (film image and TV signal). However, if displayed as it is, there is a problem that the motion is blurred or judder with a jerky motion occurs.
同様に、コンピュータ処理された映像がテレビ信号に変換された素材についても、２フレームが同じフレームから作られた画像信号であり、そのまま表示すると、先述と同様に動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
これらの問題の解決のため、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。
Similarly, for the material in which computer-processed video is converted to a TV signal, the two frames are image signals made from the same frame, and when displayed as they are, the motion is blurred or the motion is jerky as described above. There is a problem that judder occurs.
In order to solve these problems, it is conceivable to increase the number of display frames by interpolating the frames to make the object move smoothly.
従来の画像処理装置及び方法として、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零次ホールド法や、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などが知られている。しかし、零次ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。 As a conventional image processing apparatus and method, a zero-order hold method in which interpolation is performed with the same image as the frame one frame before the interpolation frame, or an average image of the image one frame before and one frame after the interpolation frame An average value interpolation method that interpolates using the method is known. However, since the zero-order hold method does not move smoothly with respect to an image moving in a fixed direction, the problem of blurring of the hold-type display still cannot be solved. Further, the average value interpolation method has a problem that a moving image becomes a double image.
この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献１参照）。この方法によれば、例えば前フレームから後フレームにかけて移動するオブジェクトが映像中に存在する場合、前フレームと後フレームの間に生成された補間フレームでは、前フレームのオブジェクトの位置と後フレームのオブジェクトの位置のちょうど中間に移動するオブジェクトが補間されるため、滑らかな映像ストリームを表示することが可能となる。しかし、適切にフレーム補間がなされ、例えばフレームレートを２倍とすることができたとしても、動きによるぼやけ（以下、動きぼやけと呼ぶこともある）で劣化した移動オブジェクトが含まれるフレームにおいては、撮像時に生じた動きによるぼやけは依然として低減できておらず、ぼやけた映像ストリームしか表示されない。 As an improvement measure, interpolation is performed from the pixel having the highest correlation between the pixels on the temporally previous frame and the temporally subsequent frame that are in point symmetry with respect to the interpolated pixel of the interpolated frame. Some generate interpolated pixels of a frame (see, for example, Patent Document 1). According to this method, for example, when an object moving from the previous frame to the subsequent frame exists in the video, the interpolation frame generated between the previous frame and the subsequent frame uses the position of the object of the previous frame and the object of the subsequent frame. Since an object moving in the middle of the position is interpolated, a smooth video stream can be displayed. However, even if frame interpolation is appropriately performed and the frame rate can be doubled, for example, in a frame including a moving object deteriorated due to motion blur (hereinafter also referred to as motion blur), Blurring due to motion that occurred during imaging has not been reduced, and only a blurred video stream is displayed.
一方で、特許文献２では、動きベクトル検出を用いた、ぼやけ関数のデコンボリューションによる手法によって、動きによるぼやけで劣化した移動オブジェクトが含まれるフレームについて、動きによりぼやけた領域を補正する手法が開示されている。
On the other hand,
表示装置が受信する映像信号は、カメラの受光部がフレーム蓄積時間（例えば１／６０秒）の間に被写体から受ける受光総量を量子化し、規格によって決められた画素順に並べて送られてくるものである。カメラの受光部と被写体が相対的に動く場合、被写体の輪郭部にはフレーム蓄積時間と、カメラと被写体の相対速度によって決まるぼやけが発生する。これに対し、特許文献２の手法は、画像に数学的モデルを当てはめ、数学的モデルに含まれるぼやけ関数の逆関数でフィルタリングする。しかしながら、前述のように、液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合、物体の移動が１フレーム単位の不連続な移動を行っているために、依然エッジ部分がぼやけて表示される問題がある。
The video signal received by the display device is obtained by quantizing the total amount of light received from the subject during the frame accumulation time (for example, 1/60 seconds) by the light receiving unit of the camera, and arranging them in the pixel order determined by the standard. is there. When the light receiving unit of the camera and the subject move relatively, blurring determined by the frame accumulation time and the relative speed of the camera and the subject occurs in the contour portion of the subject. On the other hand, the method of
従来のフレーム補間処理は、上記の様に構成されており、適切に補間フレームを生成しても、映像中を移動するオブジェクトの動きによるぼやけが軽減できない問題がある。また、１フレーム内において、動きによってぼやけた移動するオブジェクトを、デコンボリューションによる逆フィルタリングで動きによるぼやけを軽減しても、移動するオブジェクトが１フレーム単位で不連続な移動を行っているために、エッジ部分がぼやけて見えてしまう。 The conventional frame interpolation process is configured as described above, and there is a problem that blurring due to the movement of an object moving in a video cannot be reduced even if an interpolation frame is appropriately generated. In addition, even if an object that is blurred due to movement within one frame is reduced in blurring due to movement by inverse filtering by deconvolution, the moving object is moving discontinuously in units of one frame. The edge portion appears blurred.
本発明の一つの態様の画像処理装置は、
第１の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第１の映像信号における動きぼやけを軽減する画像補正部と、
前記動きぼやけを軽減した互いに異なる２枚の補正画像間に位置するフレームを補間により生成するフレーム生成部と
を備えることを特徴とする。
本発明の他の態様の画像処理方法は、
第１の映像信号における動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第１の映像信号における動きぼやけを軽減する画像補正ステップと、
前記動きぼやけを軽減した互いに異なる２枚の補正画像間に位置するフレームを補間により生成するフレーム生成ステップと
を備えることを特徴とする。
An image processing apparatus according to one aspect of the present invention includes:
A motion vector detection unit for detecting a motion vector in the first video signal;
An image correction unit that reduces motion blur in the first video signal using the motion vector detected by the motion vector detection unit;
A frame generation unit configured to generate a frame located between two different corrected images with reduced motion blur by interpolation.
An image processing method according to another aspect of the present invention includes:
A motion vector detection step of detecting a motion vector in the first video signal;
An image correction step for reducing motion blur in the first video signal using the motion vector detected in the motion vector detection step;
A frame generation step of generating a frame located between two different corrected images with reduced motion blur by interpolation.
本発明によれば、
動きベクトルを参照することで現フレームの動きぼやけを補正し、時間的に連続する動きぼやけを補正した２枚のフレームと動きベクトルを参照することで、それらのフレームの間に位置するフレームを補間により生成するので、動画表示時の画質を向上させることが可能となる。
According to the present invention,
The motion blur of the current frame is corrected by referring to the motion vector, and the frames located between those frames are interpolated by referring to the two motion frames and the motion vector. Therefore, it is possible to improve the image quality when displaying a moving image.
実施の形態１．
図１は、本発明に係る画像処理装置を備えた画像表示装置の構成を示すブロック図である。図示の画像表示装置１は、画像処理装置２と、画像表示部３とを備え、
画像処理装置２は、画像遅延部４と、動きベクトル検出部５と、画像補正部６と、フレーム生成部７を備える。
FIG. 1 is a block diagram showing a configuration of an image display apparatus provided with an image processing apparatus according to the present invention. The illustrated
The
画像処理装置２は、入力された映像信号Ｄ０を受けて、動きぼやけ補正とフレーム補間を行うものである。映像信号Ｄ０は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置２は、複数の画素を順に補正対象画素（注目画素）として動きぼやけ補正処理を行い、動きぼやけ補正処理後の映像信号Ｅ１およびＥ２（補正された画素値を持つ信号の列から成る）に対し、その間に含まれるフレームＨＦを補間により生成し、映像信号Ｅ１、Ｅ２及びＨＦを含む、補間された映像信号（画像信号列）ＨＶを出力する。
The
画像処理装置２に入力された映像信号Ｄ０は、画像遅延部４に供給される。画像遅延部４はフレームメモリを用いて、入力された映像信号Ｄ０のフレーム遅延を行い、２枚の互いに異なるフレームの映像信号Ｄ２、Ｄ１を動きベクトル検出部５に出力する。
The video signal D0 input to the
動きベクトル検出部５は、画像遅延部４から出力された２枚の異なるフレームの映像信号Ｄ２、Ｄ１を用い、映像信号Ｄ２に含まれる動きベクトルＶを検出し、動きベクトルＶを画像補正部６に出力する。
また、動きベクトルＶを１フレーム期間遅延させ、フレーム生成部７へ動きベクトルＶｄとして出力する。
The motion
Further, the motion vector V is delayed by one frame period, and is output to the
画像補正部６は、動きベクトル検出部５から出力された動きベクトルＶを入力とし、画像遅延部４から出力された映像信号Ｄ２において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを補正し、補正された映像信号Ｅを画像遅延部４に出力し、画像遅延部４は、補正された映像信号Ｅのフレーム遅延を行い、２枚の互いに異なるフレームの映像信号Ｅ１及びＥ２を出力する。
The
フレーム生成部７は、画像遅延部４から出力された２枚の異なるフレームの映像信号Ｅ１、Ｅ２と、動きベクトル検出部５から入力する動きベクトルＶｄを用い、映像信号Ｅ１とＥ２の間にフレームを補間し、補間フレームの映像信号ＨＦを含む補間された映像信号ＨＶとして画像表示部３へ出力する。補間された映像信号ＨＶにおいては、フレーム生成部７からは、映像信号Ｅ１、補間フレーム映像信号ＨＦ、映像信号Ｅ２の順に出力される。
The
画像表示部３は動きぼやけが補正され、さらにフレーム補間された映像信号ＨＶに基づく画像の表示を行なう。ここで、ユーザが調整パラメータＰＲを入力することにより、動きぼやけ補正の度合いの調整や、補正画質の調整を可能とする。
The
以下の説明では、画像サイズを垂直方向Ｍ画素、水平方向Ｎ画素とする。このとき、変数ｉとｊをそれぞれ１≦ｉ≦Ｍ、１≦ｊ≦Ｎと定義して、画素の位置を示す座標を（ｉ，ｊ）で示し、当該座標で表される位置の画素をＰ（ｉ，ｊ）で表す。即ち、変数ｉは垂直方向位置、変数ｊは水平方向位置を表す。画像の左上隅の画素の位置においては、ｉ＝１、ｊ＝１であり、下方に１画素ピッチ進むごとにｉが１ずつ増加し、右方に１画素ピッチ進むごとにｊが１ずつ増加する。 In the following description, the image size is assumed to be M pixels in the vertical direction and N pixels in the horizontal direction. At this time, the variables i and j are defined as 1 ≦ i ≦ M and 1 ≦ j ≦ N, respectively, the coordinates indicating the position of the pixel are indicated by (i, j), and the pixel at the position represented by the coordinates is defined as P (i, j). That is, the variable i represents the vertical position, and the variable j represents the horizontal position. At the pixel position at the upper left corner of the image, i = 1 and j = 1, i increases by 1 as the pixel pitch advances downward, and j increases by 1 as the pixel pitch advances to the right. To do.
図２は、画像遅延部４の構成例を示す。図示の画像遅延部４は、フレームメモリ１１と、フレームメモリ制御部１２とを備えている。フレームメモリ１１は入力された映像信号Ｄ０を少なくとも２フレーム分記憶するとともに、補正された映像信号Ｅを２フレーム分記憶することが可能な容量を有している。なお、映像信号Ｄ０、Ｅの各々に対して、２フレーム分記憶可能とせず、１フレーム分のみ記憶可能な構成とすることもできる。
FIG. 2 shows a configuration example of the
フレームメモリ制御部１２は、入力された映像信号Ｄ０に含まれる同期信号を元に生成したメモリアドレスに従い、入力映像信号の書込みと、蓄積された映像信号Ｄ０の読み出しとを行い、連続する２フレームの映像信号Ｄ１、Ｄ２を生成する。
映像信号Ｄ１は、入力映像信号Ｄ０に対して遅延が無いものであり、現フレーム映像信号とも呼ばれる。
映像信号Ｄ２は、映像信号Ｄ１に対して１フレーム遅延することにより得られた、時間的に１フレーム期間前の信号であり、１フレーム遅延映像信号とも呼ばれる。
The frame
The video signal D1 has no delay with respect to the input video signal D0 and is also called a current frame video signal.
The video signal D2 is a signal temporally one frame period obtained by delaying one frame from the video signal D1, and is also called a one-frame delayed video signal.
また、以下に説明するように、映像信号Ｄ２を対象として処理を行うので、映像信号Ｄ２を注目フレーム映像信号と呼び、映像信号Ｄ１を後フレーム映像信号と呼ぶこともある。映像信号Ｄ１、Ｄ２は、上記のように、画像を構成する複数の画素の信号の列から成り、座標（ｉ，ｊ）の位置にある画素Ｐ（ｉ，ｊ）の画素値はＤ１（ｉ，ｊ）、Ｄ２（ｉ，ｊ）と表される。 Further, as will be described below, since the processing is performed on the video signal D2, the video signal D2 may be referred to as a frame-of-interest video signal and the video signal D1 may be referred to as a post-frame video signal. As described above, the video signals D1 and D2 are composed of a sequence of signals of a plurality of pixels constituting the image, and the pixel value of the pixel P (i, j) located at the coordinates (i, j) is D1 (i , J), D2 (i, j).
フレームメモリ制御部１２はまた、補正された映像信号Ｅの書込みと、蓄積された映像信号Ｅの読み出しとを行い、映像信号Ｅと同じ自フレーム期間に映像信号Ｅ１を出力し、
１フレーム期間後に、映像信号Ｅ２を出力する。
The frame
After one frame period, the video signal E2 is output.
図３は動きベクトル検出部５の構成例を示す。図示の動きベクトル検出部５は、注目フレームブロック切り出し部２１と、後フレームブロック切り出し部２２と、動きベクトル決定部２３と、メモリ２４と、メモリ制御部２５を備える。
注目フレームブロック切り出し部２１は、画像遅延部４から出力される注目フレーム映像信号Ｄ２から、図４（ａ）に示されるように、注目画素Ｐ（ｉ，ｊ）の周辺領域、例えば注目画素を中心とし、高さ（垂直方向サイズ）が（２＊ＢＭ＋１）、幅（水平方向サイズ）が（２＊ＢＮ＋１）の矩形領域（ブロック）Ｄ２Ｂ（ｉ，ｊ）を切り出し、当該矩形領域Ｄ２Ｂが、後フレーム映像信号Ｄ１のどの領域に動いたかを推定し、推定された領域Ｄ１Ｂの、矩形領域Ｄ２Ｂ（ｉ，ｊ）に対する相対位置を、注目画素Ｐ（ｉ、ｊ）についての動きベクトルＶ（他の画素についての動きベクトルとの区別のため「Ｖ（ｉ，ｊ）と表すこともある）として出力する。
FIG. 3 shows a configuration example of the motion
As shown in FIG. 4A, the target frame
後フレームブロック切り出し部２２は、画像遅延部４より入力される映像信号Ｄ１に対し、前記注目画素Ｐ（ｉ、ｊ）毎に定義される座標の集合
Ｓ（ｉ，ｊ）＝｛（ｉ＋ｋ，ｊ＋ｌ）｝ （１）
（ただし、−ＳＶ≦ｋ≦ＳＶ、−ＳＨ≦ｌ≦ＳＨ
また、ＳＶ、ＳＨは所定の値である。）
に含まれる位置（ｉ＋ｋ，ｊ＋ｌ）を中心として、矩形領域Ｄ２Ｂと同じサイズの矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）を切り出す（図４（ｂ））。ここで、Ｓ（ｉ，ｊ）は、注目画素Ｐ（ｉ、ｊ）についての動きベクトルの探索範囲とも呼ばれる。このように定義される探索範囲は、横方向が２ＳＨ＋１、縦方向が２ＳＶ＋１の矩形の領域である。
The rear frame
(However, -SV≤k≤SV, -SH≤l≤SH
SV and SH are predetermined values. )
A rectangular region D1B (i + k, j + l) having the same size as the rectangular region D2B is cut out with the position (i + k, j + l) included in the center (FIG. 4B). Here, S (i, j) is also referred to as a motion vector search range for the pixel of interest P (i, j). The search range defined in this way is a rectangular area with 2SH + 1 in the horizontal direction and 2SV + 1 in the vertical direction.
動きベクトル決定部２３は、注目フレームブロック切り出し部２１から入力される矩形領域Ｄ２Ｂ（ｉ,ｊ）と、後フレームブロック切り出し部２２から入力されるブロックＤ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）との間で、それぞれのブロック内のすべての画素、即ち（２＊ＢＭ＋１）＊（２＊ＢＮ＋１）個の、互いに対応する位置の画素同士の差分の絶対値の総和（差分絶対値和）ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）を求める。該差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）は下記の式（２）で表される。
The motion
後述のように、（２＊ＳＶ＋１）＊（２＊ＳＨ＋１）個の矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）に対応して（２＊ＳＶ＋１）＊（２＊ＳＨ＋１）個の差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）が得られ、その中で値が最小となるものを生じさせた矩形領域Ｄ１Ｂ（ｉ＋ｋｍ，ｊ＋ｌｍ）を特定し、該矩形領域の、矩形領域Ｄ２Ｂに対する相対位置（ｋｍ，ｌｍ）を動きベクトルＶ＝（Ｖｙ，Ｖｘ）＝（ｋｍ，ｌｍ）として、画像補正部６へ出力する。
また、連続した２枚のフレームから、それらの間にフレームを補間するため、動きベクトルＶをメモリ２４に蓄えて遅延させ、メモリ制御部２５により動きベクトルＶｄとしてフレーム生成部７へ出力する。
As will be described later, (2 * SV + 1) * (2 * SH + 1) absolute difference sums SAD (i + k) corresponding to (2 * SV + 1) * (2 * SH + 1) rectangular areas D1B (i + k, j + l). , j + l) is obtained, and the rectangular area D1B (i + km, j + lm) that produced the smallest value is specified, and the relative position (km, lm) of the rectangular area to the rectangular area D2B is moved. The vector V = (Vy, Vx) = (km, lm) is output to the
Further, in order to interpolate a frame between two consecutive frames, the motion vector V is accumulated in the
上記のような動きベクトル検出を、画像遅延部４から出力される映像信号Ｄ２の全画素に対して行い、各画素について動きベクトルを検出し、このようにして得られた動きベクトルを動きぼやけの軽減と２枚の連続したフレーム間に位置するフレームの補間に利用する。
The motion vector detection as described above is performed on all the pixels of the video signal D2 output from the
なお、動きベクトル検出部５における動きベクトル検出に当たり、画像の上端、下端、左端、右端の外側の画素が、上記の矩形領域Ｄ２Ｂ、Ｄ１Ｂの一部となり、それらの画素値が必要とされる場合は、例えば、上端、下端、左端、右端の外側の画素が、それぞれ上端、下端、左端、右端の画素と同じ値を持つものとして処理をすれば良い。後述のフィルタリング部３４、平均値算出部３７などにおける演算においても同様である。
When the motion vector is detected by the motion
また、動きベクトル検出部５の動きベクトル検出方法は、上記方法に限定されるものでは無く、注目フレームの映像信号、及び注目フレームよりも時間的に後のフレームの映像信号のほかに、注目フレームよりも時間的に前のフレームの映像信号をも用いる方法や、注目フレームよりも時間的に後のフレームの映像信号を用いずに、注目フレーム映像信号と、注目フレームよりも時間的に前のフレームの映像信号を用いる方法を採用しても良く、さらに、注目フレームの映像信号と注目フレームよりも時間的に後のフレームの映像信号とを用い、位相相関関数を用いて求める方法を採用しても良い。また、注目フレームとその前後のフレームとの時間間隔は１フレーム期間に限らず、２以上のフレーム期間であっても良い。
Further, the motion vector detection method of the motion
図５は、画像補正部６の構成例を示す。図示の画像補正部６は、補正処理部３０と、操作信号処理部３１と、動きぼやけ推定部３２と、フィルタ係数保存部３３と、フィルタリング部３４と、平均値算出部３７と、補正強度調整部３８と、利得計算部３９とを備える。
FIG. 5 shows a configuration example of the
補正処理部３０は、映像信号Ｄ２を受け、後述の利得ＧＡＩＮにより、画素毎に補正処理を行い、補正後の映像信号Ｅを画像遅延部４へ出力する。
The
操作信号処理部３１は、ユーザより図示しないインターフェースを用いて入力された信号ＰＲを解析し、解析結果として得られたパラメータを出力する。
操作信号処理部３１から出力されるパラメータには、調整パラメータＡＤＪ、補正強度パラメータＢＳＴ０、閾値ＴＨ１、ＴＨ２、ＴＨ３が含まれる。
The operation
The parameters output from the operation
調整パラメータＡＤＪは、動きベクトルから動きぼやけ量を算出するためのものであり、動きぼやけ推定部３２へ供給される。
閾値ＴＨ１は、フィルタリング部３４の特性を調整するためのものであり、フィルタリング部３４へ供給される。
補正強度パラメータＢＳＴ０は、補正強度を決定するものであり、閾値ＴＨ２は、画像の特徴の判別に用いられるものであり、これらは補正強度調整部３８へ供給される。
The adjustment parameter ADJ is for calculating the motion blur amount from the motion vector, and is supplied to the motion
The threshold value TH1 is for adjusting the characteristics of the
The correction strength parameter BST0 determines the correction strength, and the threshold value TH2 is used for discrimination of image characteristics, and these are supplied to the correction
動きぼやけ推定部３２は、動きベクトル検出部５で検出した動きベクトルＶ（垂直方向成分Ｖｙ(＝ｋｍ)，水平方向成分Ｖｘ(＝ｌｍ)）を入力とし、該動きベクトルを極座標で表したときの成分（大きさ及び角度）を算出する。具体的には、動きベクトルの向きが水平方向右向きとなる場合を０度として、動きベクトルの方向Ａ（度）と大きさＬＭ（画素）を次式にて算出する。
The motion
動きぼやけ推定部３２ではさらに、動きベクトルに対応する角度及び動きぼやけの大きさ（動きの方向のぼやけ幅）を求める。例えば、動きぼやけの角度は、動きベクトルの角度Ａと同じとし、一方、動きぼやけの大きさＬＢは、動きベクトルの大きさＬＭに調整パラメータＡＤＪ（０＜ＡＤＪ≦１）を乗算した値に等しいとし、下記の式（５）により、動きぼやけの大きさＬＢを求める。
ＬＢ＝ＬＭ＊ＡＤＪ （５）
The motion
LB = LM * ADJ (5)
調整パラメータＡＤＪは、図６に示すように、フレーム期間の長さＴｆに対する、撮像期間の長さＴｓ、例えば電荷蓄積時間の比（Ｔｓ／Ｔｆ）に相当する値を持つものであり、各フレームにおける実際の撮像期間の長さＴｓに応じて変更しても良いが、本発明が対象としている条件下での撮像期間の典型的な値、平均値、あるいは中間値に基づいて定めても良い。例えば中間値を用いる場合、撮像期間がフレーム期間のＥＸＳ倍からＥＸＬ倍（ＥＸＳ、ＥＸＬともに１より小さい）の範囲内であれば、その中間値（ＥＸＳ＋ＥＸＬ）／２をＡＤＪと定めることとする。
このように調整パラメータＡＤＪを掛けるのは、動きベクトルＶはフレーム間で検出され、従って、フレーム期間当たりの動きの量を反映したものであるのに対して、動きぼやけは、撮像期間中の被写体の動きに起因するものであるためである。
As shown in FIG. 6, the adjustment parameter ADJ has a value corresponding to the length Ts of the imaging period with respect to the length Tf of the frame period, for example, the ratio (Ts / Tf) of the charge accumulation time. However, it may be determined based on a typical value, average value, or intermediate value of the imaging period under the conditions targeted by the present invention. . For example, when an intermediate value is used, if the imaging period is in the range of EXS times to EXL times (both EXS and EXL are less than 1) the frame period, the intermediate value (EXS + EXL) / 2 is determined as ADJ.
Multiplying the adjustment parameter ADJ in this way is that the motion vector V is detected between frames and thus reflects the amount of motion per frame period, whereas motion blur is the subject during the imaging period. This is because it is caused by the movement of.
フィルタ係数保存部３３は、予め複数の動きぼやけの方向及び大きさの組合せに対応付けて複数のローパスフィルタ係数（２次元ＦＩＲフィルタ係数）をテーブル形式で記憶している。このフィルタ係数は、特定の方向及び大きさの動きぼやけを含む映像信号から、動きぼやけの成分を低減するためのものである。
動きぼやけ推定部３２は、上記のようにして算出した動きぼやけの方向Ａ及び大きさＬＢの組合せに対応したフィルタ係数をテーブルから読み出すため、動きぼやけの方向Ａ及び大きさＬＢからテーブルへのポインタＩＮＤを算出して、フィルタ係数保存部３３へ入力する。
フィルタ係数保存部３３は、入力されたポインタＩＮＤに対応して記憶されているフィルタ係数ＣＦ（ｐ,ｑ）を読み出し、フィルタリング部３４へ出力する。
The filter
The motion
The filter
フィルタリング部３４は、フィルタ係数保存部３３から読み出されるフィルタ係数ＣＦ（ｐ,ｑ）（但し、−Ｐ≦ｐ≦Ｐ、−Ｑ≦ｑ≦Ｑ）を用いて、映像信号Ｄ２の各注目画素Ｄ２（ｉ,ｊ）の周辺領域内の画素の画素値を用いて、フィルタリングを行い、フィルタリングの結果ＦＬ１（ｉ，ｊ）を出力するものであり、非線形処理部３５と、ローパスフィルタ３６とを有する。
The
非線形処理部３５は、注目画素の画素値Ｄ２（ｉ，ｊ）と、その周辺領域内の画素の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）との差分と、操作信号処理部３１より入力される閾値ＴＨ１とに基づいて下記の式（６ａ）〜（６ｆ）で示される非線形処理を行う。
The
（Ａ） Ｄ２（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）＞ＴＨ１のとき
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）＝ＴＨ１ （６ａ）
となるように、即ち、
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ，ｊ）＋ＴＨ１ （６ｂ）
により、
（Ｂ） Ｄ２（ｉ，ｊ）−Ｄ２（ｉ−ｐ，ｊ−ｑ）＜−ＴＨ１のとき
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）＝−ＴＨ１ （６ｃ）
となるように、即ち、
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ，ｊ）−ＴＨ１ （６ｄ）
により、
（Ｃ） 上記（Ａ）、（Ｂ）以外のとき
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）
＝Ｄ２（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ） （６ｅ）
となるように、即ち、
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ−ｐ，ｊ−ｑ） （６ｆ）
により、それぞれＤ２ｂ（ｉ−ｐ,ｊ−ｑ）を定める。
(A) When D2 (ip, jq) -D2 (i, j)> TH1, D2b (ip, jq) -D2 (i, j) = TH1 (6a)
That is,
D2b (ip, jq) = D2 (i, j) + TH1 (6b)
By
(B) When D2 (i, j) -D2 (ip, jq) <-TH1, D2b (ip, jq) -D2 (i, j) =-TH1 (6c)
That is,
D2b (ip, jq) = D2 (i, j) -TH1 (6d)
By
(C) When other than (A) and (B) above D2b (ip, jq) -D2 (i, j)
= D2 (ip, jq) -D2 (i, j) (6e)
That is,
D2b (ip, jq) = D2 (ip, jq) (6f)
Respectively, D2b (ip, jq) is determined.
ローパスフィルタ３６は、各注目画素Ｄ２（ｉ,ｊ）の周辺領域、即ち、（２Ｐ＋１）＊（２Ｑ＋１）個の画素から成る範囲で、上記の非線形処理の結果として得られる値Ｄ２ｂ（ｉ−ｐ，ｊ−ｐ）に対して、対応するフィルタ係数ＣＦ（ｐ，ｑ）を乗算し、乗算結果の総和をフィルタリング結果ＦＬ１（ｉ，ｊ）として求める。
The low-
ローパスフィルタ３６で用いられるフィルタ係数ＣＦ（ｐ,ｑ）について以下に説明する。
フィルタ係数は注目画素を中心として、−Ｐ≦ｐ≦Ｐ、−Ｑ≦ｑ≦Ｑの領域内の画素について定義される。
先にも述べたように、フィルタ係数ＣＦ（ｐ，ｑ）は、動きぼやけの角度Ａ及び大きさＬＢに基づいて決められる。
図７〜図９は、フィルタ係数が定義される領域のうち、動きぼやけの幾つかの例に対して、フィルタ係数が０以外の値に定義される領域を示す。以下では、このフィルタ係数が０以外の値となる領域を有効フィルタリング領域ＥＦＡと言う。有効フィルタリング領域ＥＦＡ内の画素位置におけるフィルタ係数の総和は１である。
The filter coefficient CF (p, q) used in the
The filter coefficient is defined for pixels in the region of −P ≦ p ≦ P and −Q ≦ q ≦ Q with the pixel of interest at the center.
As described above, the filter coefficient CF (p, q) is determined based on the motion blur angle A and the magnitude LB.
7 to 9 show regions in which the filter coefficient is defined to a value other than 0 for some examples of motion blur among the regions in which the filter coefficient is defined. Hereinafter, an area where the filter coefficient is a value other than 0 is referred to as an effective filtering area EFA. The sum of filter coefficients at pixel positions in the effective filtering area EFA is 1.
動きぼやけの大きさＬＢ及びその角度Ａに応じた帯状の領域が、有効フィルタリング領域ＥＦＡとされる。そして、有効フィルタリング領域ＥＦＡに完全に又は部分的に含まれる画素に対して、その有効フィルタリング領域ＥＦＡに含まれる割合に応じた重み付け係数を与える。例えば、有効フィルタリング領域ＥＦＡに部分的に含まれる画素に対しては、有効フィルタリング領域ＥＦＡに完全に（その全体が）含まれる画素よりも重み付け係数の値を小さくし、各画素についての重み付け係数の値は、該画素が有効フィルタリング領域ＥＦＡに含まれる割合に比例した値とする。 A band-shaped area corresponding to the magnitude LB of motion blur and the angle A is set as an effective filtering area EFA. And the weighting coefficient according to the ratio contained in the effective filtering area | region EFA is given with respect to the pixel included in the effective filtering area | region EFA completely or partially. For example, for the pixels partially included in the effective filtering area EFA, the weighting coefficient value is made smaller than the pixels that are completely (entirely) included in the effective filtering area EFA, and the weighting coefficient for each pixel is reduced. The value is a value proportional to the proportion of the pixel included in the effective filtering area EFA.
この帯状の領域は、動きぼやけの方向に延在するものであり、その長さは、動きぼやけの大きさＬＢの所定数倍、例えば２倍であり、動きぼやけの始端及び終端からその前後に所定量、例えば、動きぼやけの大きさＬＢの０．５倍ずつ延長した長さを有する。帯状の領域の幅は、１画素のサイズに相当するものとする。図７〜図９に示す例は、１画素のサイズが水平方向と垂直方向とで同じであるものとして示してある。図７〜図９ではまた、動きぼやけの始点が座標（ｉ,ｊ）で示される位置にあるものとしている。 This band-like region extends in the direction of motion blur, and the length thereof is a predetermined number of times, for example, twice the size LB of motion blur, and from the start and end of motion blur to the front and back thereof. The length is extended by a predetermined amount, for example, by 0.5 times the magnitude LB of motion blur. The width of the band-like region is equivalent to the size of one pixel. In the example shown in FIGS. 7 to 9, the size of one pixel is shown to be the same in the horizontal direction and the vertical direction. 7 to 9, it is assumed that the start point of motion blur is at a position indicated by coordinates (i, j).
図７に示される例では、動きぼやけが水平方向右向きでその大きさＬＢが４画素分である。この場合、動ききぼやけは、動きぼやけの始点の画素Ｐｓ（座標（ｉ,ｊ）の画素）の中心から終点の画素Ｐｅ（座標（ｉ、ｊ＋４）の中心まで延びていると見て、その前後に２画素（０．５×４画素）の長さを加える。即ち、始点の画素Ｐｓの中心から後方（図７で左方）へ２画素分後退した（図で左方に移動した）位置、即ち、座標（ｉ,ｊ−２）の画素の中心から、終点の画素Ｐｅの中心から前方（図７で右方）へ２画素分前進した位置（図で右方に移動した）位置、即ち、座標（ｉ,ｊ＋６）の画素の中心までの範囲を有効範囲とする。これらの画素に対して、その有効フィルタリング領域ＥＦＡに含まれる割合に応じた重み付け係数を与える。即ち、座標（ｉ,ｊ−１）の画素から、座標（ｉ,ｊ＋５）までの画素に対しては同じ値の係数を与え、座標（ｉ,ｊ−２）の画素、座標（ｉ,ｊ＋６）の画素は、各々半分のみが有効フィルタリング領域ＥＦＡに含まれるので、他の画素（座標（ｉ,ｊ−１）から座標（ｉ,ｊ＋５）までの画素）の係数の１／２の値を与える。 In the example shown in FIG. 7, the motion blur is directed rightward in the horizontal direction, and the size LB is 4 pixels. In this case, the motion blur is viewed as extending from the center of the start pixel Ps (pixel of coordinates (i, j)) to the center of the end pixel Pe (coordinates (i, j + 4)). A length of 2 pixels (0.5 × 4 pixels) is added to the front and back, that is, the pixel is moved backward by 2 pixels from the center of the starting pixel Ps (leftward in FIG. 7) (moved leftward in the figure). Position, that is, a position (moved to the right in the figure) that has moved forward by two pixels from the center of the pixel at the coordinates (i, j-2) to the front (right in FIG. 7) from the center of the end point pixel Pe In other words, the effective range is the range of the coordinates (i, j + 6) to the center of the pixel, and a weighting coefficient corresponding to the ratio included in the effective filtering area EFA is given to these pixels. Coefficients of the same value for pixels from i, j-1) to coordinates (i, j + 5) Since only half of the pixel at the coordinate (i, j-2) and the pixel at the coordinate (i, j + 6) are included in the effective filtering area EFA, from the other pixel (coordinate (i, j-1)) A value of ½ of the coefficient of the pixel (up to coordinates (i, j + 5)) is given.
図７の例では、有効フィルタリング領域ＥＦＡ内に半分のみ含まれる画素の数が２であり、有効フィルタリング領域ＥＦＡに完全に含まれる画素の数が６であるので、有効フィルタリング領域ＥＦＡに完全に含まれる画素に対しては１／７の重み付け係数が与えられ、有効フィルタリング領域ＥＦＡに半分だけ含まれる画素に対しては１／１４の重み付け係数が与えられる。 In the example of FIG. 7, the number of pixels included only in half in the effective filtering area EFA is 2, and the number of pixels completely included in the effective filtering area EFA is 6, so that it is completely included in the effective filtering area EFA. A 1/7 weighting coefficient is given to the pixels to be assigned, and a 1/14 weighting coefficient is given to the pixels that are only half of the effective filtering area EFA.
図８に示される例では、動きぼやけが水平方向右向きでその大きさＬＢが３画素分である。この場合、動ききぼやけは、動きぼやけの始点の画素Ｐｓ（座標（ｉ,ｊ）の画素）の中心から終点の画素Ｐｅ（座標（ｉ、ｊ＋３）の中心まで延びていると見て、その前後に１．５画素（０．５×３画素）の長さを加える。即ち、始点の画素Ｐｓの中心から後方（図８で左方）へ１．５画素分後退した位置、即ち、座標（ｉ,ｊ−１）の画素の左端から、終点の画素Ｐｅの中心から前方（図８で右方）へ１．５画素分前進した位置、即ち、座標（ｉ,ｊ＋４）の画素の右端までの範囲を有効範囲とする。そして、図８の例では、有効フィルタリング領域ＥＦＡに部分的に含まれる画素は存在せず、有効フィルタリング領域ＥＦＡに完全に含まれる画素の数が６であるので、これらの画素の各々についての係数を１／６と定める。 In the example shown in FIG. 8, the motion blur is directed rightward in the horizontal direction, and its size LB is three pixels. In this case, the motion blur is viewed as extending from the center of the pixel Ps (coordinate (i, j)) at the start point of the motion blur to the center of the end pixel Pe (coordinate (i, j + 3)). A length of 1.5 pixels (0.5 × 3 pixels) is added to the front and back, that is, a position retreated by 1.5 pixels from the center of the starting point pixel Ps backward (leftward in FIG. 8), that is, coordinates A position advanced by 1.5 pixels forward from the center of the end point pixel Pe from the left end of the pixel at (i, j−1), that is, the right end of the pixel at coordinates (i, j + 4) 8, the pixel partially included in the effective filtering area EFA does not exist and the number of pixels completely included in the effective filtering area EFA is six. The coefficient for each of these pixels is defined as 1/6.
図９に示される例では、動きぼやけの大きさＬＢは３画素分であり、図８の場合と同じであり、有効フィルタリング領域ＥＦＡの長さ及び幅は、図８の場合と同じであるが、動きぼやけの角度が３０度であり、その結果、部分的にのみ有効フィルタリング領域ＥＦＡに含まれる画素の数が多く存在する。具体的には、座標（ｉ−３,ｊ＋４）、座標（ｉ−２,ｊ＋２）、座標（ｉ−２,ｊ＋３）、座標（ｉ−２,ｊ＋４）、座標（ｉ−１,ｊ）、座標（ｉ−１,ｊ＋１）、座標（ｉ−１,ｊ＋２）、座標（ｉ−１,ｊ＋３）、座標（ｉ,ｊ−１）、座標（ｉ,ｊ）、座標（ｉ,ｊ＋１）、座標（ｉ,ｊ＋２）座標（ｉ＋,ｊ−１）、座標（ｉ＋,ｊ）の画素がそれぞれ部分的に有効フィルタリング領域ＥＦＡに含まれている。そこで、これらの１４個の画素に対して有効フィルタリング領域ＥＦＡに含まれる割合に応じて重み付け係数を与える。 In the example shown in FIG. 9, the magnitude LB of motion blur is 3 pixels, which is the same as in FIG. 8, and the length and width of the effective filtering area EFA are the same as in FIG. The angle of motion blur is 30 degrees, and as a result, there are a large number of pixels that are only partially included in the effective filtering area EFA. Specifically, coordinates (i−3, j + 4), coordinates (i−2, j + 2), coordinates (i−2, j + 3), coordinates (i−2, j + 4), coordinates (i−1, j), Coordinates (i-1, j + 1), coordinates (i-1, j + 2), coordinates (i-1, j + 3), coordinates (i, j-1), coordinates (i, j), coordinates (i, j + 1), Pixels with coordinates (i, j + 2) coordinates (i +, j-1) and coordinates (i +, j) are partially included in the effective filtering area EFA. Therefore, a weighting coefficient is given to these 14 pixels according to the ratio included in the effective filtering area EFA.
動きぼやけの大きさＬＢ、角度Ａの他の値についても同様に各画素についての重み付け係数を求める。但し、動きぼやけの大きさＬＢ、角度Ａが取り得る値のすべてについて重み付け係数を求めるのではなく、大きさＬＢ、角度Ａの各々について、互いに所定の範囲ごとの代表値ＬＲ、ＡＲに対して重み付け係数を求め、フィルタ係数としてフィルタ係数保存部３３に保存しておき、それぞれの範囲内の大きさＬＢ、角度Ａに対しては、代表値ＬＲ、ＡＲに対して求められ、保存されているフィルタ係数を用いる。代表値ＬＲ、ＡＲ（またはこれに対応する値）は、後述のポインタＩＮＤの生成に用いられる。これらの点については後にさらに詳しく説明する。
For other values of motion blur magnitude LB and angle A, the weighting coefficient for each pixel is obtained in the same manner. However, the weighting coefficient is not calculated for all the values that the magnitude LB and the angle A of the motion blur can take, but for each of the magnitude LB and the angle A, the representative values LR and AR for each predetermined range. Weighting coefficients are obtained and stored in the filter
なお、上記の例では、有効フィルタリング領域ＥＦＡが、動きぼやけを、その始端及び終端から前後に動きぼやけの大きさＬＢの０．５倍ずつ延長した長さを有することとしているが、該延長量を動きぼやけの大きさＬＢに関係しない所定値としてもよく、例えば、該延長量を０．５画素分としても良い。また、該延長量をゼロとしても良い。
また、有効フィルタリング領域ＥＦＡに含まれる画素について、有効フィルタリング領域ＥＦＡに含まれる割合に応じた重み付けを行う一方、注目画素からの距離に応じた重み付けを行わない構成を持つ移動平均フィルタを用いているが、注目画素からの距離に応じた重み付けを行う構成であっても良い。そのようなフィルタの例としてガウスフィルタがある。
先にも述べた通り、ローパスフィルタ３６は、各注目画素Ｄ２（ｉ,ｊ）の周辺領域の画素についての非線形処理の結果として得られる値Ｄ２ｂ（ｉ−ｐ，ｊ−ｐ）に対して、フィルタリング係数保存部３３から読み出された、対応するフィルタ係数ＣＦ（ｐ，ｑ）を乗算し、乗算結果の総和をフィルタリング結果ＦＬ１（ｉ，ｊ）として求める。このフィルタリングは下記の式で表される。
In the above example, the effective filtering area EFA has a length obtained by extending the motion blur from the start end and the end of the effective filtering area EFA by 0.5 times the motion blur magnitude LB. May be a predetermined value not related to the magnitude LB of motion blur, for example, the extension amount may be 0.5 pixels. Further, the extension amount may be zero.
Also, a moving average filter having a configuration in which weighting according to the ratio included in the effective filtering area EFA is performed on the pixels included in the effective filtering area EFA while weighting according to the distance from the target pixel is not performed. However, a configuration in which weighting according to the distance from the target pixel may be performed. An example of such a filter is a Gaussian filter.
As described above, the low-
式（７）によるフィルタ結果ＦＬ１（ｉ，ｊ）は、利得計算部３９へ出力される。
平均値算出部３７は、映像信号Ｄ２の各注目画素Ｄ２（ｉ,ｊ）の周辺領域内の画素の画素値の平均値ＦＬ２（ｉ，ｊ）を出力する。
ここで言う周辺領域は、例えば、（２Ｐ＋１）＊（２Ｑ＋１）個の画素から成る範囲であり、平均値算出部３７は、該範囲内の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）の平均値ＦＬ２（ｉ，ｊ）、即ち、下記の式（８）で表される値を計算し、補正強度調整部３８へ出力する。
The filter result FL1 (i, j) according to Expression (7) is output to the gain calculation unit 39.
The average
The peripheral region referred to here is, for example, a range including (2P + 1) * (2Q + 1) pixels, and the average
補正強度調整部３８は、操作信号処理部３１から入力される補正強度パラメータＢＳＴ０に基づいて、調整後の補正強度パラメータＢＳＴ１を出力するものであり、画像遅延部４から入力された映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）と、平均値算出部３７からの平均値ＦＬ２（ｉ，ｊ）との差分の絶対値が、操作信号処理部３１から入力される閾値ＴＨ２より小さい場合は、操作信号処理部３１から入力される補正強度パラメータＢＳＴ０より小さい調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）を生成して、利得計算部３９へ出力する。調整後の補正強度パラメータＢＳＴ１（ｉ,ｊ）としては、例えばＢＳＴ０×β（β＜１）で与えられるものを用いることができる。調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）を補正強度パラメータＢＳＴ０に対してどの程度小さくするか（例えば、βの値）は、ユーザが決定可能としても良い。例えば、β＝１／２としても良く、β＝０としても良い。
The correction
画素値Ｄ２（ｉ，ｊ）と平均値ＦＬ２（ｉ，ｊ）の差分の絶対値が、閾値ＴＨ２よりも小さくないときは、補正強度パラメータＢＳＴ０をそのまま調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）として出力する。従って、（Ｄ２（ｉ，ｊ）−ＦＬ２（ｉ，ｊ））と、調整後の補正強度パラメータＢＳＴ１との関係は、図１０に示されるごとくである。 When the absolute value of the difference between the pixel value D2 (i, j) and the average value FL2 (i, j) is not smaller than the threshold value TH2, the corrected strength parameter BST1 (i, j) is adjusted as it is. ). Therefore, the relationship between (D2 (i, j) −FL2 (i, j)) and the corrected correction strength parameter BST1 is as shown in FIG.
利得計算部３９は、フィルタリング部３４から得られるフィルタ結果ＦＬ１（ｉ，ｊ）と、補正強度調整部３８から出力される調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）と、画像遅延部４から入力される映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）を参照し、補正処理で用いられる乗算係数乃至利得ＧＡＩＮ（ｉ，ｊ）を次式に基づき計算する。
The gain calculation unit 39 receives the filter result FL1 (i, j) obtained from the
ＧＡＩＮ（ｉ，ｊ）
＝１＋ＢＳＴ１（ｉ，ｊ）−ＢＳＴ１（ｉ，ｊ）＊ＦＬ１（ｉ，ｊ）／Ｄ２（ｉ，ｊ）
（９）
GAIN (i, j)
= 1 + BST1 (i, j) -BST1 (i, j) * FL1 (i, j) / D2 (i, j)
(9)
ただし、Ｄ２（ｉ，ｊ）＝０の場合は、便宜的にＤ２（ｉ，ｊ）＝１として計算する。また、式（９）を計算した結果、ＧＡＩＮ＜０となる場合は、ＧＡＩＮ（ｉ，ｊ）＝０とする。そして、得られた利得ＧＡＩＮ（ｉ，ｊ）を補正処理部３０へ出力する。
However, when D2 (i, j) = 0, it is calculated as D2 (i, j) = 1 for convenience. If GAIN <0 as a result of calculating Equation (9), GAIN (i, j) = 0 is set. Then, the obtained gain GAIN (i, j) is output to the
補正処理部３０は、画像遅延部４から入力される映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）に対し、次式に基づく計算により画素値Ｅ（ｉ，ｊ）を求め、補正後の映像信号の画素Ｐ（ｉ,ｊ）の画素値として画像遅延部４へ出力する。
Ｅ（ｉ，ｊ）＝ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ） （１０）
The
E (i, j) = GAIN (i, j) * D2 (i, j) (10)
本発明においては、画像遅延部４、動きベクトル検出部５、及び画像補正部６において、輝度信号（Ｙ）のみを処理することで、被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを補正することができる。しかしながら、輝度信号（Ｙ）だけでなく、赤色信号（Ｒ）、青色信号（Ｇ）、緑色信号（Ｂ）を個別に処理してもよい。またＲ、Ｇ、Ｂの和を表す信号で、式（９）の利得ＧＡＩＮ（ｉ,ｊ）を求め、画像補正部６の式（１０）ではＲ、Ｇ、Ｂ個別に処理をしても良い。また、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）を個別に処理してもよい。輝度信号（Ｙ）で利得ＧＡＩＮ（ｉ，ｊ）を求め、求めた利得ＧＡＩＮ（ｉ，ｊ）を用いて、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）の各々に対して、式（１０）の演算により個別に処理しても良い。他の色表現フォーマットでも同様な処理が行える。
In the present invention, the
また、実施の形態１ではローパスフィルタを用いた手法について説明しているが、古くから研究されている画像修復問題の解法を適用しても良い。 In the first embodiment, a method using a low-pass filter is described. However, an image restoration problem solution that has been studied for a long time may be applied.
次に、画像遅延部４から２枚の連続した補正画像Ｅ１およびＥ２を、動きベクトル検出部５からは補正画像Ｅ２に対応した動きベクトルＶｄをフレーム生成部７に入力し、Ｅ１とＥ２の間にフレームを補間する。実施の形態１では、画像遅延部１に入力される映像信号のフレームレートを２倍にするフレーム生成処理について説明するが、３倍以上のフレーム生成や、位相をずらしたフレーム生成についても、同様の考え方でフレームを生成することができる。
Next, two consecutive corrected images E1 and E2 are input from the
Ｅ２を注目フレームの補正画像、Ｅ１を後フレームの補正画像と呼ぶことにし、これらの間にフレームを補間する場合、注目フレームの動きベクトルＶｄを参照する。補間されるフレーム（以後、補間フレームと呼ぶ）Ｈにおける動きベクトルは注目フレームの動きベクトルＶｄを参照することで求めることができる。具体的には、フレームレートを２倍にする場合、注目フレームの動きベクトルの１／２を用いてフレームの補正画像での移動先を求め、注目フレームの動きベクトルの１／２をその位置での動きベクトルとすれば良い。補間フレームＨの動きベクトルが求まれば、注目フレームの補正画像Ｅ２および後フレームの補正画像Ｅ１との対応関係が求まるため、補間フレームＨを生成することができる。補間フレームの生成についての詳細は後述する。 E2 is referred to as a corrected image of the target frame, and E1 is referred to as a corrected image of the subsequent frame. When a frame is interpolated between them, the motion vector Vd of the target frame is referred to. A motion vector in an interpolated frame (hereinafter referred to as an interpolated frame) H can be obtained by referring to the motion vector Vd of the frame of interest. Specifically, when doubling the frame rate, the movement destination in the corrected image of the frame is obtained using 1/2 of the motion vector of the frame of interest, and 1/2 of the motion vector of the frame of interest is calculated at that position. The motion vector may be used. If the motion vector of the interpolation frame H is obtained, the correspondence relationship between the corrected image E2 of the frame of interest and the corrected image E1 of the subsequent frame can be obtained, so that the interpolation frame H can be generated. Details of the generation of the interpolation frame will be described later.
以下、画像処理装置２の各構成要素の動作についてさらに詳しく説明する。
画像処理装置２に入力された映像信号Ｄ０は画像遅延部４に入力される。
図１１（ａ）〜（ｊ）は、画像処理装置２内の各部における信号のタイミングを示す。図１１（ａ）に示される入力垂直同期信号ＳＹＩに同期して、図１１（ｂ）に示すように、フレームＦ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４の入力映像信号Ｄ０が順次入力される。
Hereinafter, the operation of each component of the
The video signal D0 input to the
FIGS. 11A to 11J show signal timings in the respective units in the
フレームメモリ制御部１２は入力垂直同期信号ＳＹＩを元にフレームメモリ書込みアドレスを生成し、入力映像信号Ｄ０をフレームメモリ１１に記憶させると共に、図１１（ｃ）に示す出力垂直同期信号ＳＹＯ（入力垂直同期信号ＳＹＩに対して遅れがないものとして示してある）に同期して、図１１（ｄ）に示すように、入力映像信号Ｄ０に対してフレーム遅延のない映像信号Ｄ１（フレームＦ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４の映像信号）を出力する。
The frame
フレームメモリ制御部１２はまた、出力垂直同期信号ＳＹＯを元にフレームメモリ読み出しアドレスを生成し、フレームメモリ１１に蓄えられた、１フレーム遅延映像信号Ｄ２（図１１（ｅ））を読み出して出力する。
The frame
この結果、画像遅延部４からは、連続する２フレームの映像信号Ｄ１、Ｄ２が同時に出力される。即ち、フレームＦ１の映像信号が映像信号Ｄ０として入力されるタイミング（フレーム期間）に、フレームＦ１、Ｆ０の映像信号が映像信号Ｄ１、Ｄ２として出力され、フレームＦ２の映像信号が映像信号Ｄ０として入力されるタイミング（フレーム期間）に、フレームＦ２、Ｆ１の映像信号が映像信号Ｄ１、Ｄ２として出力される。
As a result, the
画像遅延部４から出力された、連続する２フレームの映像信号Ｄ１、Ｄ２は、動きベクトル検出部５へ供給され、映像信号Ｄ２は画像補正部６へも供給される。
The two consecutive frames of video signals D1 and D2 output from the
映像信号Ｄ１、Ｄ２に基づいて、動きベクトル検出部５で動きベクトルＶが生成される。この動きベクトルＶは、各フレームの映像信号Ｄ２から次のフレームの映像信号Ｄ１への動きベクトルであり、従って、フレームＦ０からフレームＦ１への動きベクトル（図１１（ｆ）では、「Ｆ０→Ｆ１」で示す）は、フレームＦ０、Ｆ１の映像信号Ｄ２、Ｄ１が動きベクトル検出部５に入力されるタイミングで出力される。
A motion vector V is generated by the
映像信号Ｄ２、及びこれに利得ＧＡＩＮを掛けることで生成される映像信号Ｅは、映像信号Ｄ２と同じフレーム期間に出力される（図１１（ｈ））。
映像信号Ｅと同じフレーム期間に映像信号Ｅ１が出力され（図１１（ｉ））、１フレーム期間後に映像信号Ｅ２が出力される（図１１（ｊ））。
動きベクトルＶは１フレーム期間遅延され、フレームＦ０について映像信号Ｅ２と、フレームＦ１についての映像信号Ｅ１が出力されるタイミングで、フレームＦ０からフレームＦ１への動きベクトルＶｄ（図１１（ｇ）では、「Ｆ０→Ｆ１」で示す）が出力される。
The video signal D2 and the video signal E generated by multiplying this by the gain GAIN are output in the same frame period as the video signal D2 (FIG. 11 (h)).
The video signal E1 is output during the same frame period as the video signal E (FIG. 11 (i)), and the video signal E2 is output after one frame period (FIG. 11 (j)).
The motion vector V is delayed by one frame period, and the motion vector Vd from the frame F0 to the frame F1 is output at the timing when the video signal E2 for the frame F0 and the video signal E1 for the frame F1 are output. “F0 → F1”) is output.
動きベクトル検出部５では、映像符号化でよく用いられる差分絶対値和ＳＡＤを用いた動きベクトルの検出を行う。本発明では、動きぼやけが生じている画素の動きぼやけを軽減することが目的であるため、画素毎に差分絶対値和ＳＡＤを計算し、その最小値から動きベクトルを求める。
しかし、差分絶対値和ＳＡＤを求める演算を全画素について実行すれば、演算量が莫大となってしまうため、映像符号化と同様に動きベクトルを検出するためのブロックが、隣り合うもの同士で重ならないように処理し、動きベクトルを検出しない画素に対しては、周辺で検出された動きベクトルより補間することとしても良い。
The motion
However, if the calculation for obtaining the sum of absolute differences SAD is executed for all the pixels, the amount of calculation becomes enormous. Therefore, as in the case of video encoding, blocks for detecting a motion vector overlap with each other. For pixels that are processed so that no motion vector is detected, interpolation may be performed from motion vectors detected in the vicinity.
また、上記においては、動きベクトル検出部５で用いるブロックサイズを、注目画素Ｐ（ｉ,ｊ）を中心に上下及び左右が同じサイズの矩形の領域とし、矩形領域の高さ及び幅をそれぞれ（２＊ＢＭ＋１）、（２＊ＢＮ＋１）で表される奇数とした。しかしながら、矩形領域の高さ及び幅は、奇数でなくても良く、注目画素の矩形領域内の位置は正確に中心でなくても、若干ずれた位置であっても良い。
In the above description, the block size used in the motion
さらには、式（１）のように、探索範囲を−ＳＶ≦ｋ≦ＳＶ、−ＳＨ≦ｌ≦ＳＨと定義し、該範囲に含まれる全てのｋおよびｌに対して差分絶対値和ＳＡＤを計算するものとした。しかし、演算量を削減する目的でｋおよびｌを適度に間引き差分絶対値和ＳＡＤを計算しても良い。この場合、間引かれた（間引きにより除去された）位置（ｉ＋ｋ,ｊ＋ｌ）については、その周辺の位置についての、差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）から補間をして用いても良い。また、動きベクトルの精度を検討し、精度に問題が無ければ間引いて得られた差分絶対値和ＳＡＤを用いても良い。 Further, as in equation (1), the search range is defined as −SV ≦ k ≦ SV and −SH ≦ l ≦ SH, and the sum of absolute differences SAD is calculated for all k and l included in the range. Calculated. However, for the purpose of reducing the amount of calculation, k and l may be appropriately thinned and the absolute difference sum SAD may be calculated. In this case, the position (i + k, j + l) that has been thinned out (removed by thinning) may be interpolated from the sum of absolute differences SAD (i + k, j + l) for the surrounding positions. Further, the accuracy of the motion vector is examined, and if there is no problem in accuracy, the difference absolute value sum SAD obtained by thinning may be used.
画像補正部６に入力された動きベクトルＶは、まず動きぼやけ推定部３２へ入力される。動きぼやけ推定部３２へ入力される動きベクトルＶは、図１２のように垂直方向の成分Ｖｙ（ｉ，ｊ）と水平方向の成分Ｖｘ（ｉ，ｊ）とで表されているので、式（３）より動きベクトルの方向Ａ（度）を算出し、式（４）より動きベクトルの大きさＬＭ（画素）を算出する。
The motion vector V input to the
ここで、カメラを静止し、等速直線運動をしている物体を撮影した場合を考える。この時撮像される連続した３フレームの映像信号で表される画像の要素の動きの一例を図１３（ａ）、（ｂ）に示す。図示の例では、１フレーム目（図１３（ａ））と２フレーム目（図１３（ｂ））との間で、画像の要素ＥＳが、水平方向に４画素移動し、垂直方向には移動していない（Ｖｘ＝４、Ｖｙ＝０）。従って、すなわち１フレーム目（図１３（ａ））における動きベクトルは、図１３（ａ）の矢印のように水平方向４画素、垂直方向０画素として検出される。 Here, consider a case where the camera is stationary and an object that is moving in a uniform linear motion is photographed. FIGS. 13A and 13B show an example of the movement of the elements of the image represented by the video signals of three consecutive frames picked up at this time. In the illustrated example, the image element ES moves by four pixels in the horizontal direction and moves in the vertical direction between the first frame (FIG. 13A) and the second frame (FIG. 13B). (Vx = 4, Vy = 0). Therefore, the motion vector in the first frame (FIG. 13A) is detected as 4 pixels in the horizontal direction and 0 pixel in the vertical direction as indicated by arrows in FIG.
仮に、図１３（ａ）、図１３（ｂ）に示される画像の撮像期間Ｔｓが１フレーム期間Ｔｆと等しければ、動きぼやけの大きさＬＢも水平方向に４画素、垂直方向に０画素となる。
しかし、実際には撮像期間Ｔｓは、図６に示すように、１フレーム期間Ｔｆよりも短いため、図１４（ａ）、（ｂ）に示すように、動きぼやけの大きさＬＢは、動きベクトルの大きさＬＭによりも小さく、その割合は、１フレーム期間Ｔｆに対する、撮像期間Ｔｓの長さの比（Ｔｓ／Ｔｆ）に相当する。
If the image capturing period Ts shown in FIGS. 13A and 13B is equal to one frame period Tf, the magnitude LB of the motion blur is 4 pixels in the horizontal direction and 0 pixel in the vertical direction. .
However, since the imaging period Ts is actually shorter than one frame period Tf as shown in FIG. 6, the magnitude of motion blur LB is the motion vector as shown in FIGS. 14 (a) and 14 (b). The ratio is smaller than the size LM, and the ratio corresponds to the ratio (Ts / Tf) of the length of the imaging period Ts to the one frame period Tf.
このことを考慮し、動きベクトルの大きさＬＭに、１よりも小さい調整パラメータＡＤＪを掛けた値を、動きぼやけの大きさＬＢと推定する。調整パラメータＡＤＪは、先に述べたように、各フレームの実際の撮像期間の長さＴｓに基づいて決めても良く、経験的に決定することとしても良く、ユーザにより設定可能としても良い。 Considering this, a value obtained by multiplying the magnitude LM of the motion vector by the adjustment parameter ADJ smaller than 1 is estimated as the magnitude LB of motion blur. As described above, the adjustment parameter ADJ may be determined based on the actual imaging period length Ts of each frame, may be determined empirically, or may be set by the user.
次に、フィルタ係数保存部３３のテーブルからフィルタ係数を読み出すためのポインタＩＮＤの算出方法を説明する。
例えば、フィルタ係数保存部３３に保存されているフィルタ係数が、角度（単位が「度」であるとする）の代表値としての、０度から１６５度までの１５度毎の角度、大きさの代表値としての、１から２１までの奇数に対して定義されているとする。
このとき、式（５）で得られたＬＢを四捨五入し、四捨五入の結果が偶数であれば１を加算して奇数にし（ＬＢ＝ＬＢ＋１）、このような処理の結果が「２１」よりも大きければ、「２１」にクリッピングし、このような処理をした結果を、動きぼやけの大きさの代表値ＬＲとして出力する。動きぼやけの大きさＬＢの値が代表値ＬＲを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの大きさＬＢは代表値ＬＲに変換される。
Next, a method for calculating the pointer IND for reading the filter coefficient from the table of the filter
For example, the filter coefficient stored in the filter
At this time, the LB obtained by the equation (5) is rounded, and if the rounding result is an even number, 1 is added to make it an odd number (LB = LB + 1), and the result of such processing is larger than “21”. For example, clipping to “21” is performed, and the result of such processing is output as a representative value LR of the magnitude of motion blur. If the value of the motion blur magnitude LB is within a predetermined range including the representative value LR, the motion blur magnitude LB is converted into the representative value LR by performing the above processing.
一方、角度Ａについては、式（３）で求められたＡが０より小さければ、１８０度を加算し（Ａ＝Ａ＋１８０）、１５度単位で四捨五入（Ｒ丸め）するためＡ２＝（Ａ＋７．５）／１５を小数点以下切り捨て、その結果が１２以上であれば（Ａ２≧１２）、Ａ２＝０とする。このような処理の結果を、動きぼやけの角度の代表値ＡＲに対応する値ＡＲ２として出力する。ＡＲとＡＲ２との間には次の関係がある。
ＡＲ＝１５×ＡＲ２
On the other hand, with respect to the angle A, if A obtained by the expression (3) is smaller than 0, 180 degrees is added (A = A + 180), and rounded off to the nearest 15 degrees (R rounding), A2 = (A + 7.5 ) / 15 is rounded down, and if the result is 12 or more (A2 ≧ 12), A2 = 0. The result of such processing is output as a value AR2 corresponding to the representative value AR of the motion blur angle. There is the following relationship between AR and AR2.
AR = 15 × AR2
動きぼやけの角度Ａの値が代表値ＡＲを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの角度Ａは代表値ＡＲに対応する値ＡＲ２に変換される。
動きぼやけの大きさの代表値ＬＲ、及び角度の代表値ＡＲに対応する値ＡＲ２を用いて、次式のような計算により、テーブルからの読み出しのためのポインタＩＮＤとすることができる。
ＩＮＤ＝１２＊（（ＬＲ−１）／２−１）＋ＡＲ２ （１１）
If the value of the motion blur angle A is within a predetermined range including the representative value AR, the motion blur angle A is converted to a value AR2 corresponding to the representative value AR by performing the above processing.
By using the value AR2 corresponding to the representative value LR of the magnitude of motion blur and the representative value AR of the angle, the pointer IND for reading from the table can be obtained by the following calculation.
IND = 12 * ((LR-1) / 2-1) + AR2 (11)
式（１１）に基づいてＡＲ２およびＬＲからポインタＩＮＤを求めるテーブルの具体例を図１５に示す。 A specific example of a table for obtaining the pointer IND from AR2 and LR based on Expression (11) is shown in FIG.
フィルタ係数保存部３３は、動きぼやけ推定部３２よりポインタＩＮＤが入力されると、入力されたポインタＩＮＤに対応するフィルタ係数ＣＦ（ｐ,ｑ）をローパスフィルタ３６に供給する。フィルタ係数保存部３３に保存されるフィルタ係数は、ユーザが自由に設計することができる。フィルタ係数はローパスフィルタを実現するものであればよく、比較的設計しやすいことも本発明の特徴である。
When the pointer IND is input from the motion
次に、ローパスフィルタ３６を備えるフィルタリング部３４について詳細に説明する。本発明は、被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを、適切に軽減することを目的としており、次式に示すローパスフィルタを用いた手法をベースとしている。
Ｅ（ｉ，ｊ）
＝Ｄ２（ｉ，ｊ）＋ＢＳＴ１（ｉ，ｊ）＊（Ｄ２（ｉ，ｊ）−ＦＬ１（ｉ，ｊ））
（１２）
Next, the
E (i, j)
= D2 (i, j) + BST1 (i, j) * (D2 (i, j) -FL1 (i, j))
(12)
式（１２）を変形すると式（９）、式（１０）が得られる。式（１２）の考え方に基づいて処理を行うこととすれば、例えば緑色信号（Ｇ）を用いて式（９）による計算を行って、利得ＧＡＩＮ（ｉ，ｊ）を求め、補正処理部３０において、同じ画素の複数の色信号に対して同じ利得ＧＡＩＮ（ｉ，ｊ）を用いて式（１０）の演算を行うことで演算量を削減できる利点がある。しかしながら、式（１２）を用いる手法には以下の欠点もあり、そのため以下のような処理を行うこととしている。
When Expression (12) is modified, Expression (9) and Expression (10) are obtained. If processing is performed based on the concept of Expression (12), for example, the calculation according to Expression (9) is performed using the green signal (G) to obtain the gain GAIN (i, j), and the
式（１２）による手法は、フィルタ係数保存部３３より出力されたフィルタ係数ＣＦ（ｐ,ｑ）を用い、画像補正部６に入力された映像信号Ｄ２に対しローパスフィルタリングを行い、フィルタ結果ＦＬ１（ｉ，ｊ）を利得計算部３９へ出力する。しかし、式（１２）に基づくローパスフィルタリングによる動きぼやけ補正処理は、補正画像において強いエッジ部にオーバーシュートが生じる弊害が起きやすい。
The method according to Expression (12) uses the filter coefficient CF (p, q) output from the filter
そこで、ローパスフィルタ３６の前段に非線形処理部３５を挿入して、強いエッジ部でオーバーシュートが抑制できるような非線形処理を行う。例えば、操作信号処理部３１より入力される閾値ＴＨ１を用いて非線形処理を行い、オーバーシュートの抑制を行うこととする。具体的には、図１６に示すように、注目画素の画素値Ｄ２（ｉ，ｊ）と、その周辺領域内の画素の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）との差分値ＤＩＦ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ，ｊ）−Ｄ２（ｉ−ｐ，ｊ−ｑ）を閾値ＴＨ１によりクリッピングする。これにより、仮に抑制を行わないとすれば、差分値ＤＩＦ（ｉ−ｐ，ｊ−ｑ）が大きく、利得計算部３９で算出される利得ＧＡＩＮ（ｉ，ｊ）が大きくなる画像のエッジ部において、利得を適切に制御することができる。
Therefore, a
次に、補正強度調整部３８における処理について詳細を述べる。
補正強度調整部３８は、動きぼやけ補正処理後、ノイズ増幅効果で動きぼやけ補正画像の品質が下がることを抑制するためのものであり、操作信号処理部３１より入力される補正強度パラメータＢＳＴ０を、画像の特徴に応じて小さくしもしくは０として、調整後の補正強度パラメータＢＳＴ１とし、利得計算部３９へ出力する。
Next, details of the processing in the correction
The correction
具体的には、映像信号Ｄ２を入力し、注目画素の周辺領域内の画素の画素値（例えば輝度値）の変化を検出し、該変化の大きさに応じて調整後の補正強度パラメータＢＳＴ１の値を決める。上記画素値の変化を表す指標としては、注目画素の画素値Ｄ２（ｉ，ｊ）と平均値算出部３７から出力される平均値ＦＬ２（ｉ，ｊ）との差分値の絶対値を用いる。そして、例えば、該絶対値が操作信号処理部３１より入力される閾値ＴＨ２より小さければ、注目画素の周辺領域内の画素値の変化が少ないと判断し、例えば調整後の補正強度パラメータＢＳＴ１を調整前の補正強度パラメータＢＳＴ０の１／２とし、上記の絶対値が閾値ＴＨ２より大きければ画素値の変化が大きいと判断し、調整前の補正強度パラメータＢＳＴ０をそのまま調整後の補正強度パラメータＢＳＴ１とする。そして、このようにして定められた調整後の補正強度パラメータＢＳＴ１を利得計算部３９へ出力する。
Specifically, the video signal D2 is input, a change in the pixel value (for example, luminance value) of the pixel in the peripheral region of the target pixel is detected, and the corrected correction intensity parameter BST1 is adjusted according to the magnitude of the change. Determine the value. As an index representing the change in the pixel value, an absolute value of a difference value between the pixel value D2 (i, j) of the target pixel and the average value FL2 (i, j) output from the average
以下、上記の処理を行う意義についてさらに詳しく説明する。
被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを軽減するための処理は、必然的に映像信号中のノイズを増幅してしまうこととなる。特に、画素値の変化、例えば輝度の変化の少ない平坦な領域は、動きぼやけが生じていてもその影響は視覚的に小さく、補正処理が弱くても済む。仮にこのような領域で、補正強度パラメータ値ＢＳＴ０をそのまま用いて補正を行うと、ノイズを大きく増幅し、動きぼやけ補正結果の品質が低下することになる。そこで、平坦な領域を検出し、そのような領域では補正強度パラメータＢＳＴ０の代りにより小さい値を用いる適応処理を行う。このとき、平坦な領域か否かを判定するには、前述のように注目画素の画素値Ｄ２（ｉ，ｊ）とその周辺領域内の画素の画素値の平均ＦＬ２との差分を取り、閾値との大小で判定することとしている。
また、このような理由から、前述のように平均値算出部３７で算出された−Ｐ≦ｐ≦Ｐ、−Ｑ≦ｑ≦Ｑの領域内のすべての画素の画素値の単純平均値を用いている。
Hereinafter, the significance of performing the above processing will be described in more detail.
Processing for reducing motion blur in a region where motion blur has occurred due to subject motion or camera motion inevitably amplifies noise in the video signal. In particular, in a flat area where there is little change in pixel value, for example, a change in luminance, even if motion blur occurs, the effect is visually small, and correction processing may be weak. If correction is performed using the correction intensity parameter value BST0 as it is in such a region, noise is greatly amplified, and the quality of the motion blur correction result is degraded. Therefore, a flat region is detected, and in such a region, adaptive processing is performed using a smaller value instead of the correction strength parameter BST0. At this time, in order to determine whether or not the region is a flat region, as described above, the difference between the pixel value D2 (i, j) of the pixel of interest and the average FL2 of the pixel values of the pixels in the surrounding region is taken, and the threshold value Judgment is based on the size.
For this reason, the simple average value of the pixel values of all the pixels in the region of −P ≦ p ≦ P and −Q ≦ q ≦ Q calculated by the average
利得計算部３９は、フィルタリング部３４の出力ＦＬ１（ｉ,ｊ）、補正強度調整部３８から出力される調整後の補正強度パラメータＢＳＴ１（ｉ,ｊ）、映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）を用いて上記の式（９）に基づき利得ＧＡＩＮ（ｉ，ｊ）を計算し、算出した利得ＧＡＩＮ（ｉ，ｊ）を補正処理部３０へ供給する。
ただし、式（９）に示される演算において、注目画素の画素値Ｄ２（ｉ，ｊ）で除算する必要から、Ｄ２（ｉ，ｊ）＝０の場合にはＤ２（ｉ，ｊ）＝１として計算を行う。また、ＧＡＩＮ（ｉ，ｊ）＜０となった場合は、ＧＡＩＮ（ｉ，ｊ）＝０とクリッピングする。以上の計算により得られた利得ＧＡＩＮ（ｉ，ｊ）を補正処理部３０へ出力する。
補正処理部３０では、供給された利得ＧＡＩＮ（ｉ，ｊ）を画素値Ｄ２（ｉ,ｊ）に乗算することで、動きぼやけ補正を行う。乗算結果は、動きぼやけ補正を受けた画素値Ｅ（ｉ，ｊ）として出力され、画像遅延部４に供給される。
The gain calculation unit 39 outputs the output FL1 (i, j) of the
However, in the calculation shown in Expression (9), since it is necessary to divide by the pixel value D2 (i, j) of the target pixel, when D2 (i, j) = 0, D2 (i, j) = 1 is set. Perform the calculation. If GAIN (i, j) <0, clipping is performed with GAIN (i, j) = 0. The gain GAIN (i, j) obtained by the above calculation is output to the
The
次に、フレーム生成部７の処理について詳細に説明する。注目フレームの補正画像Ｅ２、後フレームの補正画像Ｅ１の間にフレームを補間するため、画像遅延部４からこれらの映像信号を、動きベクトル検出部５からは注目フレームの動きベクトルＶｄを、フレーム生成部７へ入力する。位置（ｉ,ｊ）の動きベクトルＶｄを、垂直方向Ｖｄｘ（ｉ，ｊ）、水平方向Ｖｄｙ（ｉ，ｊ）と表現すると、補間フレームＨの位置（ｉ，ｊ）における動きベクトルは、次のように求めることができる。
Ｖｈｘ（ｉ＋ｓｉ，ｊ＋ｓｊ）＝Ｖｄｘ（ｉ，ｊ）／２ （１３ａ）
Ｖｈｙ（ｉ＋ｓｉ，ｊ＋ｓｊ）＝Ｖｄｙ（ｉ，ｊ）／２ （１３ｂ）
ただし、
ｓｉ＝ｒｏｕｎｄ［Ｖｄｘ（ｉ，ｊ）／２］
ｓｊ＝ｒｏｕｎｄ［Ｖｄｙ（ｉ，ｊ）／２］
ｒｏｕｎｄ［＊］は＊の四捨五入
である。
つまり、注目フレームの補正画像Ｅ２と後フレームの補正画像Ｅ１の中間に位置するフレームを生成するため、注目フレームの動きベクトルＶｄを２で割り四捨五入することで算出された位置（ｉ＋ｓｉ，ｊ＋ｓｊ）に、注目フレームの動きベクトルＶｄを２で割った値が格納される。また、次の処理で差分絶対値和を用いるため、補間フレームにおける差分絶対値和ＳＡＤｈをも算出する。
ＳＡＤｈ（ｉ＋ｓｉ，ｊ＋ｓｊ）＝ｍｖ＿ｓａｄ（ｉ，ｊ） （１３ｃ）
（ｓｉ、ｓｊは、上記の式（１３ａ）、（１３ｂ）について説明したのと同じものである。）
式（１３ｃ）で、（ｓｉ，ｓｊ）が映像として定義された位置の範囲を超えた位置を指定した場合、処理をしない。ここで、式（１３ａ）及び式（１３ｂ）で計算された補間フレームにおける動きベクトルは、全ての位置（ｉ，ｊ）に対して得られないことに注意を要する。このため、動きベクトル値の修正乃至補間処理（以下単に修正処理と言う）が必要となる。動きベクトルの修正処理は、様々なアルゴリズムが提案されているが、ここでは代表的な処理を記載することとする。
Next, the process of the
Vhx (i + si, j + sj) = Vdx (i, j) / 2 (13a)
Vhy (i + si, j + sj) = Vdy (i, j) / 2 (13b)
However,
si = round [Vdx (i, j) / 2]
sj = round [Vdy (i, j) / 2]
round [*] is the rounding of *.
That is, in order to generate a frame located between the corrected image E2 of the target frame and the corrected image E1 of the subsequent frame, the motion vector Vd of the target frame is divided by 2 and rounded to the position (i + si, j + sj). The value obtained by dividing the motion vector Vd of the frame of interest by 2 is stored. Further, since the difference absolute value sum is used in the next processing, the difference absolute value sum SADh in the interpolation frame is also calculated.
SADh (i + si, j + sj) = mv_sad (i, j) (13c)
(Si and sj are the same as those described for the equations (13a) and (13b) above.)
In the expression (13c), when (si, sj) designates a position exceeding the range of the position defined as a video, no processing is performed. Here, it should be noted that the motion vectors in the interpolation frame calculated by the equations (13a) and (13b) cannot be obtained for all positions (i, j). For this reason, motion vector value correction or interpolation processing (hereinafter simply referred to as correction processing) is required. Various algorithms for motion vector correction processing have been proposed, but here, representative processing will be described.
動きベクトルの修正は、補間フレームＨＦの全画素における動きベクトルに対して３×３の範囲でＳＡＤの最小値を探索することと、３×３の範囲に動きベクトルが存在しなければ動きベクトルを新たに設定する２つの処理で構成されている。 The motion vector is corrected by searching for the minimum value of SAD in the range of 3 × 3 with respect to the motion vector in all the pixels of the interpolation frame HF, and if there is no motion vector in the 3 × 3 range, the motion vector is determined. It consists of two newly set processes.
位置（ｉ，ｊ）を中心とした３×３の範囲でＳＡＤの最小値とその位置を探索し、探索の結果、最小値と判断された位置（ｃｉ、ｃｊ）の動きベクトル（Ｖｈｘ（ｃｉ、ｃｊ）、Ｖｈｙ（ｃｉ、ｃｊ））を、位置（ｉ，ｊ）の動きベクトルの修正値
Ｖｃｘ（ｉ、ｊ）＝Ｖｈｘ（ｃｉ、ｃｊ）
Ｖｃｙ（ｉ、ｊ）＝Ｖｈｙ（ｃｉ、ｃｊ） （１４）
とする。このとき、（ｃｉ、ｃｊ）は、
Vcy (i, j) = Vhy (ci, cj) (14)
And At this time, (ci, cj) is
また、３×３の範囲に動きベクトルが存在しなければ、Ｖｃｘ（ｉ、ｊ）＝Ｖｃｙ（ｉ、ｊ）＝０を動きベクトルの修正値として設定する。 If there is no motion vector in the 3 × 3 range, Vcx (i, j) = Vcy (i, j) = 0 is set as the motion vector correction value.
以上により、補間フレームにおける動きベクトルＶｃｘ（ｉ、ｊ）、Ｖｃｙ（ｉ、ｊ）が求まったので、これらを用いて注目フレームの補正画像Ｅ２と後フレームの補正画像Ｅ１の値を参照し、補間フレームＨＦを求める。補間フレームの注目画素（ｉ，ｊ）に対応する注目フレームの補正画像Ｅ２と後フレームの補正画像Ｅ１の位置をそれぞれ（ｂｉ、ｂｊ）、（ａｉ，ａｊ）とすると、補間フレームＨＦの各画素の画素値ＨＦ（ｉ，ｊ）は、
ＨＦ（ｉ，ｊ）＝｛Ｅ２（ｂｉ，ｂｊ）＋Ｅ１（ａｉ，ａｊ）｝／２ （１６）
として求めることができる。ここで、
ｂｉ＝ｉーｒｏｕｎｄ［Ｖｃｘ（ｉ，ｊ）］
ｂｊ＝ｊ−ｒｏｕｎｄ［Ｖｃｙ（ｉ，ｊ）］
ａｉ＝ｉ＋ｆｉｘ［Ｖｃｘ（ｉ，ｊ）］
ａｊ＝ｊ＋ｆｉｘ［Ｖｃｙ（ｉ，ｊ）］
である。ただし、ｆｉｘ［＊］は＊の０方向への切捨てを示す。
As described above, since the motion vectors Vcx (i, j) and Vcy (i, j) in the interpolated frame are obtained, the values of the corrected image E2 of the target frame and the corrected image E1 of the subsequent frame are referred to using these to perform interpolation. Find the frame HF. When the positions of the corrected image E2 of the target frame corresponding to the target pixel (i, j) of the interpolation frame and the corrected image E1 of the subsequent frame are (bi, bj) and (ai, aj), each pixel of the interpolation frame HF The pixel value HF (i, j) of
HF (i, j) = {E2 (bi, bj) + E1 (ai, aj)} / 2 (16)
Can be obtained as here,
bi = i-round [Vcx (i, j)]
bj = j-round [Vcy (i, j)]
ai = i + fix [Vcx (i, j)]
aj = j + fix [Vcy (i, j)]
It is. However, fix [*] indicates truncation of * in the 0 direction.
以上説明したように、入力された画像信号のフレーム間における動きベクトルを画素毎に検出することで、映像中に含まれる動きぼやけの発生している領域を検出し、検出された動きぼやけの方向、大きさに合わせて利得を定めることにより、動きぼやけにより劣化した映像信号を補正することができる。さらに、補正された連続する２枚の映像信号を用いることで、それらの間に存在すると考えられる映像信号を補間すれば、元の映像信号から補間する場合よりも、または、フレーム内の動きぼやけを補正するだけの場合よりも、動画表示時の画質を向上させることが可能となる。 As described above, by detecting a motion vector between frames of the input image signal for each pixel, a motion blur region included in the video is detected, and the detected motion blur direction is detected. By determining the gain according to the size, it is possible to correct the video signal deteriorated due to motion blur. Further, by using two corrected video signals in succession, if a video signal that is considered to exist between them is interpolated, the motion blur in the frame may be less than when interpolating from the original video signal. It is possible to improve the image quality at the time of displaying a moving image, compared with the case where only the correction is performed.
実施の形態２．
図１７は、実施の形態２で用いられる画像補正部６を示す。
図示の画像補正部６は、図５の画像補正部と概して同じであるが、操作信号処理部３１から出力されるパラメータに閾値ＴＨ３が含まれ、該閾値ＴＨ３が、補正処理部３０に供給され、補正処理部３０では、閾値ＴＨ３に基づいて処理を行う点で異なる。閾値ＴＨ３は、画素値の補正が過補正とならないように、補正の度合いを抑制するためのものである。
FIG. 17 shows the
The illustrated
補正処理部３０では、利得計算部３９から供給された利得ＧＡＩＮを用いて、動きぼやけ補正画像を得る。しかしながら、実施の形態１の方法で、フィルタリング部３４でオーバーシュートの抑制処理を行っても、動きぼやけ補正処理の結果、オーバーシュートが発生することがある。これは、補正強度パラメータＢＳＴ０の設定を高くし補正した場合に多い。
The
そこで、本実施の形態２では、動きぼやけ補正処理の結果に対して、クリッピング処理を行うことでオーバーシュートを回避する。具体的には、操作信号処理部３１より閾値ＴＨ３を入力し、フィルタリング部３４における非線形処理と同様に、補正前の注目画素の画素値Ｄ２（ｉ，ｊ）と該画素値Ｄ２（ｉ,ｊ）に利得ＧＡＩＮ（ｉ，ｊ）を乗算した値との差分値の絶対値が閾値ＴＨ３を超えるときは、｜Ｅ（ｉ，ｊ）−Ｄ２（ｉ、ｊ）｜＝ＴＨ３となるようにし、補正前の注目画素の画素値Ｄ２（ｉ，ｊ）と該画素値Ｄ２（ｉ,ｊ）に利得ＧＡＩＮ（ｉ，ｊ）を乗算した値との差分値の絶対値が閾値ＴＨ３以下であれば、Ｅ（ｉ，ｊ）＝ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ、ｊ）となるような処理を行う。
即ち、
（Ａ） ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ）−Ｄ２（ｉ、ｊ）＞ＴＨ３であれば、
Ｅ（ｉ，ｊ）−Ｄ２（ｉ，ｊ）＝ＴＨ３ （１７ａ）
となるように、即ち、
Ｅ（ｉ，ｊ）＝Ｄ２（ｉ，ｊ）＋ＴＨ３ （１７ｂ）
により、
（Ｂ） ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ）−Ｄ２（ｉ、ｊ）＜−ＴＨ３であれば、
Ｅ（ｉ，ｊ）−Ｄ２（ｉ，ｊ）＝−ＴＨ３ （１７ｃ）
となるように、即ち、
Ｅ（ｉ，ｊ）＝Ｄ２（ｉ，ｊ）−ＴＨ３ （１７ｄ）
により、
（Ｃ） (Ａ)、(Ｂ)のいずれでもなければ、
Ｅ（ｉ，ｊ）−Ｄ２（ｉ、ｊ）
＝ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ）−Ｄ２（ｉ、ｊ） （１７ｅ）
となるように、即ち、
Ｅ（ｉ，ｊ）＝ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ） （１７ｆ）
により、Ｅ（ｉ,ｊ）を定める。
Therefore, in the second embodiment, overshoot is avoided by performing clipping processing on the result of motion blur correction processing. Specifically, the threshold value TH3 is input from the operation
That is,
(A) GAIN (i, j) * D2 (i, j) −D2 (i, j)> TH3,
E (i, j) -D2 (i, j) = TH3 (17a)
That is,
E (i, j) = D2 (i, j) + TH3 (17b)
By
(B) If GAIN (i, j) * D2 (i, j) −D2 (i, j) <− TH3,
E (i, j) -D2 (i, j) =-TH3 (17c)
That is,
E (i, j) = D2 (i, j) -TH3 (17d)
By
(C) If neither (A) nor (B)
E (i, j) -D2 (i, j)
= GAIN (i, j) * D2 (i, j) -D2 (i, j) (17e)
That is,
E (i, j) = GAIN (i, j) * D2 (i, j) (17f)
To determine E (i, j).
以上説明したように、入力された画像信号のフレーム間における動きベクトルを画素毎に検出することで、映像中に含まれる動きぼやけの発生している領域を検出し、検出された動きぼやけの方向、大きさに合わせて利得を構成することにより、動きぼやけにより劣化した映像信号を補正することができる。さらに、補正された連続する２枚の映像信号を用いることで、それらの間に存在すると考えられる映像信号を補間すれば、元の映像信号から補間する場合よりも、または、フレーム内の動きぼやけを補正するだけの場合よりも、動画表示時の画質を向上させることが可能となる。 As described above, by detecting a motion vector between frames of the input image signal for each pixel, a motion blur region included in the video is detected, and the detected motion blur direction is detected. By configuring the gain according to the size, it is possible to correct the video signal deteriorated due to motion blur. Further, by using two corrected video signals in succession, if a video signal that is considered to exist between them is interpolated, the motion blur in the frame may be less than when interpolating from the original video signal. It is possible to improve the image quality at the time of displaying a moving image, compared with the case where only the correction is performed.
以上本発明を画像処理装置及び画像表示装置として説明したが、これらの装置で実行される画像処理方法及び画像表示方法も本発明の一部を成す。本発明はさらに、上記の画像処理装置または画像処理方法における手順乃至各ステップの処理を実行するプログラムとしても成立し、該プログラムを記録したコンピュータで読み取り可能な記録媒体としても成立する。 Although the present invention has been described above as an image processing apparatus and an image display apparatus, an image processing method and an image display method executed by these apparatuses also form part of the present invention. The present invention is also realized as a program for executing the processing of the procedure or each step in the above-described image processing apparatus or image processing method, and is also realized as a computer-readable recording medium on which the program is recorded.
１ 画像表示装置、 ２ 画像処理装置、 ３ 画像表示部、 ４ 画像遅延部、 ５ 動きベクトル検出部、 ６ 画像補正部、 ７ フレーム生成部、 １１ フレームメモリ、 １２ フレームメモリ制御部、 ２１ 注目フレームブロック切り出し部、 ２２ 後フレームブロック切り出し部、 ２３ 動きベクトル決定部、 ２４ メモリ、 ２５ メモリ制御部、 ３０ 補正処理部、 ３１ 操作信号処理部、 ３２ 動きぼやけ推定部、 ３３ フィルタ係数保存部、 ３４ フィルタリング部、 ３５ 非線形処理部、 ３６ ローパスフィルタ、 ３７ 平均値算出部、 ３８ 補正強度調整部、 ３９ 利得計算部。
DESCRIPTION OF
Claims (10)
前記動きベクトル検出部で検出された動きベクトルを用い、前記第１の映像信号における動きぼやけを軽減する画像補正部と、
前記動きぼやけを軽減した互いに異なる２枚の補正画像間に位置するフレームを補間により生成するフレーム生成部と
を備える画像処理装置。 A motion vector detection unit for detecting a motion vector in the first video signal;
An image correction unit that reduces motion blur in the first video signal using the motion vector detected by the motion vector detection unit;
An image processing apparatus comprising: a frame generation unit configured to generate a frame located between two different corrected images with reduced motion blur by interpolation.
ことを特徴とする請求項１に記載の画像処理装置。 The motion vector detection unit obtains a motion vector in the first video signal based on the first video signal and a video signal temporally preceding or following the first video signal by one frame or more. The image processing apparatus according to claim 1, wherein the image processing apparatus is detected.
前記動きベクトルに基づいて、動きぼやけの方向及び大きさを推定する動きぼやけ推定部と、
前記推定された動きぼやけの方向及び大きさに対応したフィルタ係数を用いて前記第１の映像信号に対するフィルタリングを行うフィルタリング部と
を備えたことを特徴とする請求項１又は２に記載の画像処理装置。 The image correction unit is
A motion blur estimation unit that estimates the direction and magnitude of motion blur based on the motion vector;
The image processing according to claim 1, further comprising: a filtering unit that performs filtering on the first video signal using a filter coefficient corresponding to the estimated direction and magnitude of motion blur. apparatus.
前記フィルタリング部におけるフィルタリングの結果に基づいて、利得を求める利得計算部と、
前記利得計算部で算出された前記利得を、前記第１の映像信号に乗算することで、前記第１の映像信号に対する補正を行う補正処理部と
をさらに備えたことを特徴とする請求項３に記載の画像処理装置。 The correction processing unit
A gain calculation unit for obtaining a gain based on a filtering result in the filtering unit;
The correction processing unit for correcting the first video signal by multiplying the first video signal by the gain calculated by the gain calculation unit. An image processing apparatus according to 1.
前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第１の映像信号における動きぼやけを軽減する画像補正ステップと、
前記動きぼやけを軽減した互いに異なる２枚の補正画像間に位置するフレームを補間により生成するフレーム生成ステップと
を備える画像処理方法。 A motion vector detection step of detecting a motion vector in the first video signal;
An image correction step for reducing motion blur in the first video signal using the motion vector detected in the motion vector detection step;
An image processing method comprising: a frame generation step of generating a frame located between two different corrected images with reduced motion blur by interpolation.
ことを特徴とする請求項６に記載の画像処理方法。 In the motion vector detection step, a motion vector in the first video signal is determined based on the first video signal and a video signal that is temporally before or after one frame from the first video signal. The image processing method according to claim 6, wherein detection is performed.
前記動きベクトルに基づいて、動きぼやけの方向及び大きさを推定する動きぼやけ推定ステップと、
前記推定された動きぼやけの方向及び大きさに対応したフィルタ係数を用いて前記第１の映像信号に対するフィルタリングを行うフィルタリングステップと
を備えたことを特徴とする請求項６又は７に記載の画像処理方法。 The image correction step includes
A motion blur estimation step for estimating the direction and magnitude of motion blur based on the motion vector;
The image processing according to claim 6, further comprising: a filtering step of performing filtering on the first video signal using a filter coefficient corresponding to the estimated direction and magnitude of motion blur. Method.
前記フィルタリングステップにおけるフィルタリングの結果に基づいて、利得を求める利得計算ステップと、
前記利得計算ステップで算出された前記利得を、前記第１の映像信号に乗算することで、前記第１の映像信号に対する補正を行う補正処理ステップと
をさらに備えたことを特徴とする請求項８に記載の画像処理方法。 The correction processing step includes
A gain calculating step for obtaining a gain based on a filtering result in the filtering step;
9. The correction processing step of correcting the first video signal by multiplying the first video signal by the gain calculated in the gain calculation step. An image processing method described in 1.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010254753A JP2012109656A (en) | 2010-11-15 | 2010-11-15 | Image processing apparatus and method, and image display unit and method |
| CN201110359416.9A CN102572222B (en) | 2010-11-15 | 2011-11-14 | Image processing apparatus and method, and image display apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010254753A JP2012109656A (en) | 2010-11-15 | 2010-11-15 | Image processing apparatus and method, and image display unit and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012109656A true JP2012109656A (en) | 2012-06-07 |
Family
ID=46416613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010254753A Withdrawn JP2012109656A (en) | 2010-11-15 | 2010-11-15 | Image processing apparatus and method, and image display unit and method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2012109656A (en) |
| CN (1) | CN102572222B (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014091854A1 (en) * | 2012-12-11 | 2014-06-19 | 富士フイルム株式会社 | Image processing device, image capture device, image processing method, and image processing program |
| WO2017122997A1 (en) * | 2016-01-11 | 2017-07-20 | 삼성전자 주식회사 | Image encoding method and apparatus, and image decoding method and apparatus |
| JP7139858B2 (en) * | 2018-10-12 | 2022-09-21 | 株式会社Ｊｖｃケンウッド | Interpolated frame generation device and method |
| KR102537029B1 (en) * | 2019-01-09 | 2023-05-26 | 미쓰비시덴키 가부시키가이샤 | Control device and control method |
| CN110084765B (en) * | 2019-05-05 | 2021-08-06 | Oppo广东移动通信有限公司 | Image processing method, image processing device and terminal equipment |
| CN111698427B (en) * | 2020-06-23 | 2021-12-24 | 联想(北京)有限公司 | Image processing method and device and electronic equipment |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7728909B2 (en) * | 2005-06-13 | 2010-06-01 | Seiko Epson Corporation | Method and system for estimating motion and compensating for perceived motion blur in digital video |
| EP1991957A2 (en) * | 2005-07-12 | 2008-11-19 | Nxp B.V. | Method and device for removing motion blur effects |
| CN101272488B (en) * | 2007-03-23 | 2010-12-22 | 展讯通信（上海）有限公司 | Video decoding method and device for reducing LCD display movement fuzz |
| JP4586052B2 (en) * | 2007-08-08 | 2010-11-24 | キヤノン株式会社 | Image processing apparatus and control method thereof |
-
2010
- 2010-11-15 JP JP2010254753A patent/JP2012109656A/en not_active Withdrawn
-
2011
- 2011-11-14 CN CN201110359416.9A patent/CN102572222B/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN102572222A (en) | 2012-07-11 |
| CN102572222B (en) | 2014-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8243150B2 (en) | Noise reduction in an image processing method and image processing apparatus | |
| JP4666012B2 (en) | Image processing apparatus, image processing method, and program | |
| KR100973100B1 (en) | Image processing apparatus and control method | |
| US8369649B2 (en) | Image processing apparatus, image processing method, and computer program for performing super-resolution process | |
| US8233062B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| RU2419243C1 (en) | Device and method to process images and device and method of images display | |
| US7991196B2 (en) | Continuous extended range image processing | |
| JP5045674B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US10200649B2 (en) | Image processing device, image processing method and recording medium for reducing noise in image | |
| US20060222077A1 (en) | Method, apparatus and computer program product for generating interpolation frame | |
| JP2012109656A (en) | Image processing apparatus and method, and image display unit and method | |
| US20090273717A1 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| JP2006081150A (en) | Image processing apparatus and method, recording medium, and program | |
| KR101125977B1 (en) | Image processing apparatus and method, recording medium | |
| JP2014021928A (en) | Image processor, image processing method and program | |
| JP2015007816A (en) | Image correction apparatus, imaging apparatus, and image correction computer program | |
| JP2009081574A (en) | Image processor, processing method and program | |
| US8345163B2 (en) | Image processing device and method and image display device | |
| JP4930541B2 (en) | Image processing method and image processing apparatus | |
| JP4872508B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2008021163A (en) | Image processor | |
| JP2018061130A (en) | Image processing device, image processing method, and program | |
| KR101517233B1 (en) | Apparatus for removing noise using moving estimation | |
| JP2013106151A (en) | Image processing apparatus and image processing method | |
| US20180332227A1 (en) | Image processing device, image processing method, image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140204 |