JP2010117524A - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP2010117524A
JP2010117524A JP2008290270A JP2008290270A JP2010117524A JP 2010117524 A JP2010117524 A JP 2010117524A JP 2008290270 A JP2008290270 A JP 2008290270A JP 2008290270 A JP2008290270 A JP 2008290270A JP 2010117524 A JP2010117524 A JP 2010117524A
Authority
JP
Japan
Prior art keywords
image data
variation
frame
region
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008290270A
Other languages
Japanese (ja)
Inventor
Takamichi Arai
隆道 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Microelectronics Inc
Original Assignee
Kawasaki Microelectronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Microelectronics Inc filed Critical Kawasaki Microelectronics Inc
Priority to JP2008290270A priority Critical patent/JP2010117524A/en
Publication of JP2010117524A publication Critical patent/JP2010117524A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent generation of motion blur at the display of a moving picture while restraining image quality deterioration and flickering. <P>SOLUTION: An interpolation frame produced by motion compensation interpolation is inserted between adjacent input frames. In the case the variation in motion vector is large in a certain region, since the image quality in the region may be deteriorated due to failure of the motion compensation interpolation, the region of the interpolation frame is made darker so as to make the deterioration less conspicuous. Then, the region of the former or later input frame is made brighter so as to make the brightness decline due to darkening of the region of the interpolation frame less conspicuous. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、ホールドタイプの画像表示装置において、動画表示時の動きボケの発生を防止する画像処理装置および画像処理方法に関するものである。   The present invention relates to an image processing apparatus and an image processing method for preventing occurrence of motion blur at the time of moving image display in a hold type image display apparatus.

液晶表示装置等のホールドタイプ（１フレーム期間中各画素の輝度がホールドされ続けるタイプ）では、動画を表示した場合、人間の視覚特性によって、動画ボケが目立つ。   In a hold type such as a liquid crystal display device (a type in which the brightness of each pixel is held during one frame period), when a moving image is displayed, moving image blur is conspicuous due to human visual characteristics.

そこで、従来では、時間的に隣り合う前後の入力フレームから動き補償補間によって補間フレームを生成し、この補間フレームを前後の入力フレームの中間に挿入させ、フレーム周波数を増大させ、動画ボケを減少させる手法が取られている。この場合、中間に１枚の補間フレームを挿入し、フレームレートを２倍にすることが多い。補間フレームの生成は、ブロックごとに動きベクトルを検出して行われる（特許文献１）。   Therefore, conventionally, an interpolation frame is generated from temporally adjacent input frames by motion compensation interpolation, and this interpolation frame is inserted between the previous and next input frames to increase the frame frequency and reduce the motion blur. The method is taken. In this case, it is often the case that one interpolated frame is inserted in the middle to double the frame rate. The interpolation frame is generated by detecting a motion vector for each block (Patent Document 1).

このような補間フレームを生成するとき、動きベクトルに誤検出が発生し、変換後の画像の一部が不適切な画像に置き換えられると、孤立的な劣化等が発生する。そこで、検出された動きベクトルが、隣接動きベクトルと比較して相関が低い特異ベクトルとなっていた場合に、妥当な動きベクトルに修正することが行われている（特許文献２）。ここでは、動きベクトル相互の差分成分の絶対値和が小さいほど相関が高いと定義することが行われるので、その絶対値和が大きいほど相関が低くなる。   When such an interpolated frame is generated, erroneous detection occurs in the motion vector, and if a part of the converted image is replaced with an inappropriate image, isolated deterioration or the like occurs. Therefore, when the detected motion vector is a singular vector having a lower correlation than the adjacent motion vector, correction is made to an appropriate motion vector (Patent Document 2). Here, since the correlation is defined to be higher as the absolute value sum of the difference components between the motion vectors is smaller, the correlation is lower as the absolute value sum is larger.

また、補間フレームの生成では、前後の入力フレームの各画像の画素値の中間値をとって画像データを作成した補間フレームについて、その画像の各画素値に１未満の係数を乗じて画素値のレベルを低下させて補間フレームを生成し、これを内挿する手法も提案されている（特許文献３）。この例では、補間フレームの挿入の代わりにバックライトをシャッタした（黒挿入）場合に比較して、画面のチラツキや画面全体の明るさの低下が抑制される。   Further, in the generation of the interpolation frame, for the interpolation frame in which the image data is created by taking the intermediate value of the pixel values of the images of the preceding and succeeding input frames, the pixel value of the pixel value is multiplied by a coefficient less than 1 There has also been proposed a technique of generating an interpolation frame at a reduced level and interpolating this (Patent Document 3). In this example, compared with the case where the backlight is shuttered instead of the interpolation frame insertion (black insertion), the flickering of the screen and the decrease in the brightness of the entire screen are suppressed.

さらに、１つの入力フレームを２枚連続で使用してフレーム周波数を２倍にし、片方のフレームの画像は原画フレームの画像より明るく補正し、他方のフレームの画像は原画フレームの画像より暗く補正して、交互に表示するものもある（特許文献４）。これは、時間積分して輝度が原画フレームの画像の輝度と同じになるように補正するものである。
特開平０６−１７８２７０号公報 特開２０００−１３４５８５号公報 特開２００５−２４１７８７号公報 特開２００６−３４３７０６号公報 Furthermore, one input frame is used in succession to double the frame frequency, one frame image is corrected brighter than the original frame image, and the other frame image is corrected darker than the original frame image. Some of them are alternately displayed (Patent Document 4). This is to correct the luminance so that the luminance becomes the same as the luminance of the image of the original image frame by time integration.
Japanese Patent Laid-Open No. 06-178270 JP 2000-134585 A JP 2005-241787 A JP 2006-343706 A

ところが、特許文献１に記載のものは、動きが単調な動画に対しては高い改善効果を得ることができるが、複雑な動きを含むような動画に対しては、正確な補間フレームの画像データを生成することができず、画質の劣化を招く。また、特許文献２に記載のものは、特異ベクトルの場合に別の動きベクトルに修正するので、処理が複雑になる。また、特許文献３に記載のものは、補間フレームの画像の画素値を、前後の入力フレームの画像の画素値の中間値として求め、さらにその中間値に１未満の係数を乗算して生成するので、画面全体が暗くなる。さらに、特許文献４に記載のものは、複雑さによらず改善効果を得ることができるが、１フレームごとに輝度を大きく変化させるために、フリッカが発生する問題がある。特に動きのない静止画を表示したときに、画面のチラツキとして目立ってしまう。   However, although the thing of patent document 1 can acquire the high improvement effect with respect to the moving image with a monotonous motion, with respect to the moving image containing a complicated motion, it is the image data of an accurate interpolation frame. Cannot be generated, resulting in degradation of image quality. Moreover, since the thing of patent document 2 corrects to another motion vector in the case of a singular vector, a process becomes complicated. Further, the device described in Patent Document 3 generates a pixel value of an image of an interpolation frame as an intermediate value of pixel values of images of preceding and succeeding input frames, and further multiplies the intermediate value by a coefficient less than 1. So the whole screen becomes dark. Furthermore, although the thing of patent document 4 can acquire the improvement effect irrespective of complexity, in order to change a brightness | luminance greatly for every flame | frame, there exists a problem which a flicker generate | occur | produces. This is particularly noticeable as flickering on the screen when a still image that does not move is displayed.

本発明の目的は、画質劣化やチラツキを抑えながら、動画表示時の動きボケの発生を効果的に防止する画像処理装置および画像処理方法を提供することである。   An object of the present invention is to provide an image processing apparatus and an image processing method that can effectively prevent the occurrence of motion blur at the time of moving image display while suppressing image quality deterioration and flicker.

上記目的を達成するため、請求項１にかかる発明の画像処理装置は、入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きベクトルを検出する動き予測器と、前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償器と、前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定器と、前記補間フレームの、前記ばらつき判定器が明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え器とを含み、前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする。
請求項２にかかる発明は、請求項１記載の画像処理装置において、前記ばらつき判定器が、前記動き予測器が前記動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする。
請求項３にかかる発明は、請求項１または２記載の画像処理装置において、前記明暗切り替え器は、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする。
請求項４にかかる発明の画像処理方法は、入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きべクトルを検出する動き予測処理と、前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償処理と、前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定処理と、前記補間フレームの、前記ばらつき判定処理で明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え処理とを含み、前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする。
請求項５にかかる発明は、請求項４記載の画像処理方法において、前記ばらつき判定処理において、前記動き予測処理で動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする。
請求項６にかかる発明は、請求項４または５記載の画像処理方法において、前記明暗切り替え処理において、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする。 In order to achieve the above object, an image processing apparatus according to a first aspect of the present invention receives input image data including image data for each input frame, and obtains an area within a frame from the image data of two adjacent input frames. A motion predictor for detecting a motion vector for each, a motion compensator for generating image data of an interpolated frame to be inserted between the two adjacent input frames using the detected motion vector, and the detected motion A variation determination unit that evaluates variation of the vector and detects a region where the variation is larger than a threshold value as a light / dark switching effective region, and image data of the region of the interpolation frame detected by the variation determination unit as a light / dark switching effective region The brightness is adjusted so that the brightness is reduced compared to the case where no detection is made, and corrected image data is generated. And a Toggles unit, and the image data for each of the input frame, and outputs the output image data comprising said modified image data of the interpolated frame.
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the variation determination unit evaluates variation in motion vectors in a variation evaluation region including a plurality of regions in which the motion predictor has detected the motion vector. When the variation is larger than the threshold value, the variation evaluation region is detected as the light / dark switching effective region.
According to a third aspect of the present invention, in the image processing apparatus according to the first or second aspect, the light / dark switching unit is a region of an interpolation frame detected as the light / dark switching effective region of at least one of the two adjacent input frames. The image data of the area corresponding to is corrected so that the luminance is higher than that in the case where the area of the interpolation frame is not detected as the bright / dark switching effective area.
An image processing method according to a fourth aspect of the present invention receives input image data including image data for each input frame, and detects a motion vector for each region in the frame from the image data of two adjacent input frames. And a motion compensation process for generating image data of an interpolated frame to be inserted between the two adjacent input frames using the detected motion vector, and evaluating a variation in the detected motion vector. When the variation determination processing for detecting the region where the variation is larger than the threshold as the light / dark switching effective region and the image data of the region detected as the light / dark switching effective region in the variation determination processing of the interpolation frame is not detected And brightness switching processing that generates corrected image data by correcting the brightness to be lower than See, and outputs the image data for each of the input frame, an output image data comprising said modified image data of the interpolated frame.
According to a fifth aspect of the present invention, in the image processing method according to the fourth aspect, in the variation determination processing, the variation in motion vectors in a variation evaluation region including a plurality of regions in which motion vectors are detected in the motion prediction processing is evaluated. When the variation is larger than the threshold value, the variation evaluation region is detected as the light / dark switching effective region.
The invention according to claim 6 is the image processing method according to claim 4 or 5, wherein in the light / dark switching process, an area of the interpolation frame detected as the light / dark switching effective area of at least one of the two adjacent input frames. The image data of the area corresponding to is corrected so that the luminance is higher than that in the case where the area of the interpolation frame is not detected as the bright / dark switching effective area.

一般的に、動きベクトルを使用して補間フレームを生成する手法では、動きが複雑な領域のある画像では、動き補償補間の失敗により補間フレームの画質が劣化する可能性があるが、本発明では、動きが複雑な領域がある画像の場合に、明暗切り替えにより補間フレームの画像の当該領域を暗くするので、劣化が見えにくくなる。動きが単調な画像又は静止画の場合は、明暗切り替えは行われないので、チラツキは発生しない。しかも、動き補償補間により高い動画改善効果が得られる。よって、どのような動きに対しても、画質の劣化や画面のチラツキを抑制しながら、高い動きボケの改善効果を得ることができる。   In general, in the method of generating an interpolation frame using a motion vector, the image quality of an interpolation frame may deteriorate due to a failure of motion compensation interpolation in an image having a complicated motion region. In the case of an image having a region where the motion is complicated, the region of the image of the interpolation frame is darkened by switching between light and dark, so that the deterioration becomes difficult to see. In the case of a monotonous image or a still image, flicker does not occur because bright / dark switching is not performed. Moreover, a high moving image improvement effect can be obtained by motion compensation interpolation. Therefore, it is possible to obtain a high motion blur improvement effect while suppressing deterioration of image quality and flickering of the screen for any movement.

本発明では、隣り合う入力フレームの間に、動き補償補間によって生成した補間フレームを挿入する。このとき、ある領域の動きベクトルのばらつきが大きい場合には、動き補償補間の失敗よって当該領域の画質の劣化が発生する可能性があるため、劣化が目立たないように、補間フレームの当該領域は暗くする。そして、補間フレームの当該領域を暗くしたことによる輝度の低下が目立たないように、その前又は後の入力フレームの当該領域を明るくする。   In the present invention, an interpolation frame generated by motion compensation interpolation is inserted between adjacent input frames. At this time, if the motion vector variation in a certain region is large, the image quality of the region may be deteriorated due to the failure of motion compensation interpolation, so that the region of the interpolation frame is not conspicuous. Darken. Then, the area of the input frame before or after that is brightened so that the decrease in luminance due to darkening the area of the interpolation frame is not noticeable.

図１は本発明の１つの実施例の画像処理装置の構成を示すブロック図である。１０はフレームメモリであり、入力画像データの１フレーム分を格納する。   FIG. 1 is a block diagram showing the configuration of an image processing apparatus according to one embodiment of the present invention. A frame memory 10 stores one frame of input image data.

２０は動き予測器であり、フレームメモリ１に格納された直前の入力フレームＦn-1の画像データと、現在の入力フレームＦnの画像データを入力し、各動きベクトル検出領域ごとの動きベクトルＭＶを、既知のブロックマッチング法等により検出する。動きベクトル検出領域は、フレームを一定の寸法に分割するように、予め定められた領域である。   Reference numeral 20 denotes a motion estimator, which inputs the image data of the previous input frame Fn-1 stored in the frame memory 1 and the image data of the current input frame Fn, and obtains a motion vector MV for each motion vector detection region. Detected by a known block matching method or the like. The motion vector detection area is a predetermined area so as to divide the frame into fixed dimensions.

３０は動き補償器であり、動き予測器２によって検出された動きベクトルＭＶと入力フレームＦnの画像データを利用して、隣り合う２つの入力フレームＦn、Ｆn-1の間に挿入する補間フレームＦn’の画像データを生成する。この動き補償器３０からは、入力フレームＦnと補間フレームＦn’の切り替えタイミングを示すＳＥＬ信号も出力する。   Reference numeral 30 denotes a motion compensator, which uses the motion vector MV detected by the motion predictor 2 and the image data of the input frame Fn to interpolate between two adjacent input frames Fn and Fn−1. Generate image data for '. The motion compensator 30 also outputs a SEL signal indicating the switching timing of the input frame Fn and the interpolation frame Fn ′.

４０はセレクタであり、ＳＥＬ信号によって、入力フレームＦnの画像データと補間フレームＦn’の画像データが交互に選択される。これにより、セレクタ４０から出力する各フレームは入力フレームのフレームレートの２倍となる。   Reference numeral 40 denotes a selector which alternately selects the image data of the input frame Fn and the image data of the interpolation frame Fn ′ by the SEL signal. As a result, each frame output from the selector 40 becomes twice the frame rate of the input frame.

５０はばらつき判定器であり、動き予測器２０で得られた動きベクトルＭＶのばらつきをばらつき評価領域ごとに評価し、そのばらつきの程度が予め設定した閾値を超える場合は、当該ばらつき評価領域を明暗切り替え有効領域として、当該領域につきＥＮＡＢＬＥ信号をアサートする。ばらつき評価領域は、動きベクトル検出領域をある決まった個数だけ含むように、予め定められた領域である。   Reference numeral 50 denotes a variation determiner. The variation of the motion vector MV obtained by the motion predictor 20 is evaluated for each variation evaluation region. If the degree of variation exceeds a preset threshold value, the variation evaluation region is determined to be bright or dark. As a switching effective area, the ENABLE signal is asserted for the area. The variation evaluation area is a predetermined area so as to include a certain number of motion vector detection areas.

６０は明暗切り替え器であり、ある領域がばらつき判定器５により明暗切り替え有効領域と判定されていれば、補間フレームＦn’の画像データについては当該領域を暗く補正し、入力フレームＦnの画像データについては当該領域を明るく補正する。図２に画像データの補正特性を示した。補間フレームＦn’の画像データを暗く補正したときは、その補正量とほぼ同等の補正量で、入力フレームＦｎの画像データを明るく補正する。   Reference numeral 60 denotes a light / dark switch. If a certain region is determined to be a light / dark switch effective region by the variation determiner 5, the image data of the interpolation frame Fn ′ is corrected to be dark and the image data of the input frame Fn is corrected. Corrects the area brightly. FIG. 2 shows image data correction characteristics. When the image data of the interpolation frame Fn ′ is corrected to dark, the image data of the input frame Fn is corrected brightly with a correction amount substantially equal to the correction amount.

ばらつき判定器５０では、フレームを予め定めた複数のばらつき評価領域７１に分け、各領域７１内に複数の動きベクトル検出領域７２が含まれるようにする。そして、図３(a)に示すように、領域７１内に存在する複数の動きベクトルＭＶが互いに相関が低い場合は、動きが複雑で正確に動きベクトルＭＶを検出できていない可能性があるので、そのばらつき評価領域７１については、明暗切り替え有効領域とする。   The variation determiner 50 divides the frame into a plurality of predetermined variation evaluation regions 71 so that each region 71 includes a plurality of motion vector detection regions 72. As shown in FIG. 3A, when a plurality of motion vectors MV existing in the region 71 have a low correlation with each other, there is a possibility that the motion is complex and the motion vector MV cannot be accurately detected. The variation evaluation area 71 is a light / dark switching effective area.

逆に、図３(b)に示すように、動きベクトルＭＶが同じ方向を向いている場合や、図３(c)に示すように、静止している（動きベクトルＭＶ＝０）場合は、当該領域７１内の動きベクトルＭＶの相関が高くなる。この場合は、動き補償補間によって高い改善効果を期待できるため、有効領域ではないと判定し、ＥＮＡＢＬＥ信号をネゲートする。これにより、チラツキを抑えることができる。   On the contrary, when the motion vector MV is directed in the same direction as shown in FIG. 3B, or when it is stationary (motion vector MV = 0) as shown in FIG. The correlation of the motion vector MV in the area 71 becomes high. In this case, since a high improvement effect can be expected by motion compensation interpolation, it is determined that the region is not an effective region, and the ENABLE signal is negated. Thereby, flicker can be suppressed.

ばらつきの評価には、標準偏差などを用い、得られた標準偏差の値が予め決めた閾値より大きければ、動きベクトルのばらつきが大きく誤動作可能性ありとして、明暗切り替え有効領域と判定する。   For the evaluation of the variation, standard deviation or the like is used. If the obtained standard deviation value is larger than a predetermined threshold value, it is determined that the variation in the motion vector is large and there is a possibility of malfunction, and the region is determined to be a light / dark switching effective region.

図４にこのばらつき判定器５０の内部構成を示す。まず、領域分割器５１において、動きベクトル検出領域７２ごとの動きベクトル（ＭＶｊ）がどの評価領域（Ｒｉ）にあるかを判定する。これにより評価領域７１ごとの動きベクトル（Ｒｉ．ＭＶｊ）が求められる。次に、領域毎標準偏差計算器５２において、各ばらつき評価領域７１ごとの動きベクトル（Ｒｉ．ＭＶｊ）の標準偏差（Ｒｉ，σ）が計算される。標準偏差（Ｒｉ，σ）は、具体的には、例えば、評価領域７１内の動きベクトルのｘ方向成分の標準偏差およびｙ方向成分の標準偏差である。次に、比較器５３において、標準偏差（Ｒｉ，σ）の値を予め設定した閾値と比較し、当該領域７１の比較結果（Ｒｉ．ＥＮＡＢＬＥ）を出力する。標準偏差（Ｒｉ，σ）が閾値より大きければ、動きベクトルのばらつきが大きいとして、比較結果（Ｒｉ．ＥＮＡＢＬＥ）はアサートされ、そうでなければネゲートされる。このようにして、ばらつき評価領域７１ごとの比較結果（Ｒｉ．ＥＮＡＢＬＥ）が出力する。   FIG. 4 shows the internal configuration of the variation determiner 50. First, the region divider 51 determines in which evaluation region (Ri) the motion vector (MVj) for each motion vector detection region 72 is located. Thereby, a motion vector (Ri.MVj) for each evaluation area 71 is obtained. Next, in each area standard deviation calculator 52, the standard deviation (Ri, σ) of the motion vector (Ri.MVj) for each variation evaluation area 71 is calculated. Specifically, the standard deviation (Ri, σ) is, for example, the standard deviation of the x direction component and the standard deviation of the y direction component of the motion vector in the evaluation region 71. Next, the comparator 53 compares the value of the standard deviation (Ri, σ) with a preset threshold value, and outputs a comparison result (Ri.ENABLE) for the area 71. If the standard deviation (Ri, σ) is larger than the threshold value, the comparison result (Ri.ENABLE) is asserted, assuming that the variation of the motion vector is large, otherwise it is negated. In this way, the comparison result (Ri.ENABLE) for each variation evaluation area 71 is output.

以上より、セレクタ４０からは、入力フレームＦnの画像データと補間フレームＦn’の画像データが交互に、入力フレームＦnの２倍のフレームレートで出力する。そして、フレームの各ばらつき評価領域７１のうち、動きベクトルのばらつきが大きい領域では、ばらつき判定器５０からのＥＮＡＢＬＥ信号がアサートされることで、明暗切り替え器６０において、補間フレームＦn’の当該領域７１の輝度が暗くなるような補正が行われる。このとき、入力フレームＦnの当該領域７１について、輝度が高くなるような補正が行われるので、入力フレームＦｎの画像データが優性となり、当該領域７１について、動き補償補間の失敗による画質劣化は目立たなくなる。   As described above, the selector 40 outputs the image data of the input frame Fn and the image data of the interpolation frame Fn ′ alternately at a frame rate twice that of the input frame Fn. In the variation evaluation region 71 of the frame, in the region where the motion vector variation is large, the ENABLE signal from the variation determination unit 50 is asserted, so that the region 71 of the interpolation frame Fn ′ is obtained in the light / darkness switcher 60. Correction is performed so that the brightness of the screen becomes darker. At this time, since the region 71 of the input frame Fn is corrected so as to increase the luminance, the image data of the input frame Fn becomes dominant, and the image quality deterioration due to the motion compensation interpolation failure becomes inconspicuous in the region 71. .

動きが単調な画像あるいは静止画については、補間フレームＦn’による動き補償補間で高い動画改善効果が得られるため、明暗切り替えは行われない（ＥＮＡＢＬＥ信号がネゲート）。   For an image or still image with a monotonous motion, a high-motion improvement effect can be obtained by motion compensation interpolation using the interpolation frame Fn ', and therefore, bright / dark switching is not performed (ENABLE signal is negated).

ここで、動きベクトルのばらつきが大きいと判断し、明暗切り替えを行う場合は、チラツキが発生する可能性はある。しかし、動きベクトルのばらつきが大きい、動きが複雑な領域の場合には、明暗の変化があっても、チラツキが目立ちにくい。しかも。明暗切り替えは、画面全体ではなく、動きベクトルのばらつきが大きいと判断した領域のみについて行う。これにより、特に、前または後のフレームの対応する領域を明るくした場合には、実用的に問題になるようなチラツキの発生を抑えることができる。   Here, when it is determined that the variation of the motion vector is large and the light / dark switching is performed, flicker may occur. However, in a region where the motion vector variation is large and the motion is complex, flicker is not noticeable even if there is a change in brightness. Moreover. Brightness / darkness switching is performed not only on the entire screen, but only on an area determined to have a large variation in motion vector. As a result, it is possible to suppress the occurrence of flicker that causes a practical problem, particularly when the corresponding region of the previous or subsequent frame is brightened.

以上から、どのような動きに対しても、画質の劣化や画面のチラツキを抑えながら、高い動きボケの改善効果を奏することができる。   From the above, it is possible to achieve an improvement effect of high motion blur while suppressing deterioration in image quality and flickering of the screen for any motion.

図５に入力フレーム、セレクタ４０から出力する倍速変換後のフレーム、明暗切り替え器６０から出力するフレームを示した。ここでは、入力フレームＦn-1，Ｆnの領域Ａ，Ｅ間での動きベクトルのばらつきが閾値を超え、補間フレームＦn’の領域ＡＥを暗く補正し、入力フレームＦnの領域Ｅを明るく補正している。   FIG. 5 shows an input frame, a frame after double speed conversion output from the selector 40, and a frame output from the light / dark switcher 60. Here, the motion vector variation between the areas A and E of the input frames Fn−1 and Fn exceeds the threshold value, the area AE of the interpolation frame Fn ′ is corrected darkly, and the area E of the input frame Fn is corrected brightly. Yes.

なお、当該領域７１の輝度を高く補正する入力フレームは、補間フレームＦn’の直後の入力フレームＦnに限られず、直前の入力フレームＦn-1であってもよい。また、バックライトを備えた画像表示装置では、実際の表示画面の輝度を、ＥＮＡＢＬＥ信号による画像データの輝度の制御に加えて、同じＥＮＡＢＬＥ信号によるバックライトの輝度の制御によって実現することも可能である。   Note that the input frame for correcting the luminance of the region 71 to be high is not limited to the input frame Fn immediately after the interpolation frame Fn ′, but may be the input frame Fn−1 immediately before. In an image display device having a backlight, the actual display screen brightness can be realized by controlling the brightness of the backlight using the same ENABLE signal in addition to controlling the brightness of the image data using the ENABLE signal. is there.

本発明の実施例の画像処理装置のブロック図である。1 is a block diagram of an image processing apparatus according to an embodiment of the present invention. 明暗切り替え器における画像データ補正の特性図である。It is a characteristic view of the image data correction in the light / dark switch. ばらつき評価領域での動きベクトルの説明図である。It is explanatory drawing of the motion vector in a dispersion | variation evaluation area | region. ばらつき判定器の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of a variation determination device. 各フレームの説明図である。It is explanatory drawing of each flame | frame.

符号の説明Explanation of symbols

１０：フレームメモリ、２０：動き予測器、３０：動き補償器、４０：セレクタ、５０：ばらつき判定器、６０：明暗切り替え器
５１：領域分割器、５２：領域毎標準偏差計算器、５３：比較器
７１：ばらつき評価領域、７２：動きベクトル検出領域 10: Frame memory, 20: Motion predictor, 30: Motion compensator, 40: Selector, 50: Variance determiner, 60: Brightness / darkness switcher 51: Area divider, 52: Standard deviation calculator for each area, 53: Comparison 71: Variation evaluation area 72: Motion vector detection area

Claims (6)

入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きベクトルを検出する動き予測器と、
前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償器と、
前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定器と、
前記補間フレームの、前記ばらつき判定器が明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え器とを含み、
前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする画像処理装置。 A motion predictor that receives input image data including image data for each input frame and detects a motion vector for each region in the frame from image data of two adjacent input frames;
Using the detected motion vector, a motion compensator that generates image data of an interpolated frame to be inserted between the two adjacent input frames;
A variation determination unit that evaluates variation of the detected motion vector and detects a region where the variation is larger than a threshold as a light-dark switching effective region;
The brightness / darkness in which the image data of the region detected by the variation determination unit of the interpolation frame as the light / dark switching effective region is corrected so as to be lower in luminance than when it is not detected to generate corrected image data. Including a switch,
An image processing apparatus that outputs output image data including image data for each input frame and the corrected image data of the interpolation frame. 前記ばらつき判定器が、前記動き予測器が前記動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする請求項１記載の画像処理装置。   The variation determining unit evaluates variation of motion vectors in a variation evaluation region including a plurality of regions in which the motion predictor has detected the motion vector, and when the variation is larger than the threshold, the variation evaluation region The image processing apparatus according to claim 1, wherein the image processing apparatus detects the light / dark switching effective area. 前記明暗切り替え器は、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする請求項１または２記載の画像処理装置。   The light / dark switching unit is configured to use at least one of the two adjacent input frames as image data of an area corresponding to the area of the interpolation frame detected as the light / dark switching effective area, and to set the area of the interpolation frame as the light / dark switching effective area. The image processing apparatus according to claim 1, wherein the correction is performed so that the luminance is higher than that in the case where the detection is not performed. 入力フレームごとの画像データを含む入力画像データの入力を受け、隣り合う２つの入力フレームの画像データから、フレーム内の領域ごとの動きべクトルを検出する動き予測処理と、
前記検出した動きベクトルを利用して、前記隣り合う２つの入力フレーム間に挿入する補間フレームの画像データを生成する動き補償処理と、
前記検出した動きベクトルのばらつきを評価し、該ばらつきが閾値よりも大きい領域を明暗切り替え有効領域として検出するばらつき判定処理と、
前記補間フレームの、前記ばらつき判定処理で明暗切り替え有効領域として検出した領域の画像データを、検出しなかった場合に比較して輝度が低くなるように修正して、修正済み画像データを生成する明暗切り替え処理とを含み、
前記入力フレームごとの画像データと、前記補間フレームの前記修正済み画像データとを含む出力画像データを出力することを特徴とする画像処理方法。 A motion prediction process for receiving input image data including image data for each input frame and detecting a motion vector for each region in the frame from image data of two adjacent input frames;
A motion compensation process for generating image data of an interpolation frame to be inserted between the two adjacent input frames using the detected motion vector;
A variation determination process for evaluating variation of the detected motion vector and detecting a region where the variation is larger than a threshold as a light / dark switching effective region;
The brightness / darkness in which the image data of the area detected as the light / dark switching effective area of the interpolation frame in the interpolated frame is corrected so as to have a lower brightness than that in the case where the brightness is not detected to generate corrected image data. Switching process,
Output image data including image data for each input frame and the corrected image data of the interpolated frame is output. 前記ばらつき判定処理において、前記動き予測処理で動きベクトルを検出した領域を複数含むばらつき評価領域内の動きベクトルのばらつきを評価し、該ばらつきが前記閾値よりも大きい場合に、該ばらつき評価領域を前記明暗切り替え有効領域として検出することを特徴とする請求項４記載の画像処理方法。   In the variation determination process, a variation in a motion vector in a variation evaluation region including a plurality of regions in which a motion vector is detected in the motion prediction process is evaluated, and when the variation is larger than the threshold, the variation evaluation region is The image processing method according to claim 4, wherein the image processing method is detected as a bright / dark switching effective area. 前記明暗切り替え処理において、前記隣り合う２つの入力フレームの少なくとも一方の、前記明暗切り替え有効領域として検出した補間フレームの領域に対応する領域の画像データを、該補間フレームの領域を明暗切り替え有効領域として検出しなかった場合に比較して、輝度が高くなるように修正することを特徴とする請求項４または５記載の画像処理方法。   In the light / dark switching process, image data of an area corresponding to the area of the interpolation frame detected as the light / dark switching effective area of at least one of the two adjacent input frames is used as the light / dark switching effective area. 6. The image processing method according to claim 4 or 5, wherein the correction is made so that the luminance is higher than in the case where no detection is made.
JP2008290270A 2008-11-12 2008-11-12 Image processing apparatus and image processing method Withdrawn JP2010117524A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008290270A JP2010117524A (en) 2008-11-12 2008-11-12 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008290270A JP2010117524A (en) 2008-11-12 2008-11-12 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
JP2010117524A true JP2010117524A (en) 2010-05-27

Family

ID=42305232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008290270A Withdrawn JP2010117524A (en) 2008-11-12 2008-11-12 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP2010117524A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164435A (en) * 2010-02-11 2011-08-25 Sharp Corp Liquid crystal display device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164435A (en) * 2010-02-11 2011-08-25 Sharp Corp Liquid crystal display device

Similar Documents

Publication Publication Date Title
JP4231071B2 (en) Image display device, image display method, and image display program
JP5212742B2 (en) Image display device, video signal processing device, and video signal processing method
US9454805B2 (en) Method and apparatus for reducing noise of image
RU2461979C2 (en) Video display device
US8902319B2 (en) Image signal processing apparatus, image signal processing method, image display apparatus, television receiver, and electronic device
US20120093231A1 (en) Image processing apparatus and image processing method
WO2017018261A1 (en) Display control device and display control method
JP2008067194A (en) Frame interpolation circuit, frame interpolation method, and display device
JP2011250394A (en) Image processing apparatus and control method thereof
JP5005260B2 (en) Image display device
US7471336B2 (en) Global motion adaptive system with motion values correction with respect to luminance level
JP2008011251A (en) Liquid crystal display device
JP4764065B2 (en) Image display control device, display device, and image display method
US20130033515A1 (en) Image Display Apparatus and Image Display Method
JP2010117524A (en) Image processing apparatus and image processing method
JP6582994B2 (en) Image processing apparatus, image processing method, and program
JP2008245135A (en) Interpolation frame generating method and interpolation frame generating device
JP2009182865A (en) Image display device and method, image processor, and image processing method
JP2008139828A (en) Image processing apparatus, image processing method, electro-optical device and electronic device
JP2006126627A (en) Liquid crystal display and liquid crystal display method
JP4956239B2 (en) Frame rate conversion device and video display device
KR101577703B1 (en) Video picture display method to reduce the effects of blurring and double contours and device implementing this method
JP2009258269A (en) Image display device
KR20090088689A (en) Method of motion estimation by using adaptive expanded block based on frame-difference
JP2002149121A (en) Video signal processor for liquid crystal display

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120207