JP5219771B2 - 映像処理装置および映像処理装置の制御方法 - Google Patents

Description

本発明は、映像内の動きぼやけを検出し抑制する映像処理装置および映像処理装置の制御方法に関する。

時間積分効果を有する撮影装置によって撮影された映像信号は露光時間の平均画像となる。そのため撮影対象の物体が動いていると、画像中にぼやけ（以下、動きぼやけ）が生じ、鮮明さが低下して画像が劣化してしまう。なお、この動きぼやけは、撮影対象の物体が固定されている状態で撮影装置が移動する場合にも発生する。また、物体と撮影装置が共に移動している場合（但し、物体と撮影装置が同一方向かつ同一速度で移動している場合を除く）にも発生する。つまり、物体と撮影装置とが相対的に移動する場合に生じるものである。

従来、このような動きぼやけの検出と画像の改善方法として以下のようなものがあった。まず、特開２００６−０８１１５０号公報（特許文献１）には、撮影装置からぼやけの特性を示す動きベクトル情報やシャッター速度情報のパラメータ値を取得してぼやけを検出し、それらの値に応じて改善処理を行う方法が記載されている。

また、特開２００５−２６０９２９号公報（特許文献２）には、動画において画像を前景領域と背景領域に分け、動きベクトル情報により前景領域と背景領域の混合比を予測して、画像劣化を改善する方法が記載されている。
特開２００６−０８１１５０号公報 特開２００５−２６０９２９号公報

しかしながら、上述した特許文献１の方法では、撮影装置からの情報が無ければ動きぼやけによる画像劣化を改善することができない。例えば、テレビのように放送局から映像信号を取得する映像処理装置においては、撮影装置からの情報を取得することができないために画像劣化を改善できない。

さらに、特許文献１の方法では、撮影後に合成されたテロップなどの動きぼやけのない領域についても動きぼやけがある領域と同様に処理が施されるため、テロップの輪郭が過剰に強調されてしまう。

また、特許文献２に記載の方法では、動きベクトル値から前景領域と背景領域の混合比を予測するため、動きぼやけによる画像劣化の有無の検出はできず、動きベクトル値に応じて一律に改善処理を行う。このため動きぼやけが無い動画に対して一律に改善処理を行うことになり、画像に違和感が生じてしまう。

本発明は上記実情に鑑みてなされたものであり、その目的とするところは次の通りである。すなわち、画素ごと又は任意領域ごとに動きぼやけの有無と動きぼやけによる画像の劣化度合いを検出し、動きぼやけのある領域に対して劣化度合いに応じた改善処理を施すことである。これにより、画質が向上した鮮明な映像を提供することである。

上記目的を達成するために、本発明の第一の発明では、以下の構成を採用する。すなわち、
撮影した映像に生じる動きぼやけを補正する映像処理装置であって、
補正する現フレームに含まれる画像を所定のサイズの検出単位に分割し、前記検出単位ごとに動きベクトルを検出する動きベクトル検出部と、
画像領域の周波数成分を求めるとともに、前記検出単位を含む画像領域の周波数成分と、前記検出した動きベクトルの始点を含む画像領域の、前のフレームでの周波数成分と、を求める空間周波数分割部と、
検出した動きベクトルと、現フレームと前のフレームの間の、動きベクトルの大きさの変化及び周波数成分の変化とに基づいて、少なくとも、前のフレームから現フレームにかけて、動きベクトルの大きさが増加しかつ周波数成分が低域に変化した場合か、動きベクトルの大きさが減少しかつ周波数成分が高域に変化した場合に、前記検出単位における動きぼやけの有りと判定する動きぼやけ検出部と、
前記動きぼやけ検出部が動きぼやけ有りと判定した場合に、前記動きベクトルの大きさの変化及び周波数成分の変化に基づいて、動きぼやけを補正する改善処理部と
を備えることを特徴とする映像処理装置である。

また、本発明の第二の発明では、以下の構成を採用する。すなわち、
撮影した映像に生じる動きぼやけを補正する映像処理装置の制御方法であって、
補正する現フレームに含まれる画像を所定のサイズの検出単位に分割し、前記検出単位ごとに動きベクトルを検出するステップと、
画像領域の周波数成分を求めるとともに、前記検出単位を含む画像領域の周波数成分と、前記検出した動きベクトルの始点を含む画像領域の、前のフレームでの周波数成分と、を求めるステップと、
検出した動きベクトルと、現フレームと前のフレームの間の、動きベクトルの大きさの変化及び周波数成分の変化とに基づいて、少なくとも、前のフレームから現フレームにかけて、動きベクトルの大きさが増加しかつ周波数成分が低域に変化した場合か、動きベクトルの大きさが減少しかつ周波数成分が高域に変化した場合に、前記検出単位における動きぼやけ有りと判定する動きぼやけ検出ステップと、
前記動きぼやけ検出ステップにおいて、動きぼやけ有りと判定された場合に、前記動きベクトルの大きさの変化及び周波数成分の変化に基づいて、動きぼやけを補正する改善処理ステップと
を有することを特徴とする映像処理装置の制御方法である。

本発明によれば、画素ごと又は任意領域ごとに動きぼやけの有無と動きぼやけによる画像の劣化度合いを検出し、動きぼやけのある領域に対して劣化度合いに応じた改善処理を施すことにより、画質が向上した鮮明な映像を提供することができる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜実施形態１＞
本実施形態では、注目画素の動きぼやけを検出するために、１つ前のフレームとの間の空間周波数の成分の変化と、動きベクトルの変化を利用する映像処理装置について説明する。

（映像処理装置の構成）
図１に示したブロック図を参照しつつ、本実施形態の映像処理装置の構成について説明する。映像処理装置は、フレームメモリ部１０２、動きベクトル検出部１０３、画素抽出部１０４、前フレーム空間周波数分割部１０５を備える。映像処理装置はまた、現フレーム空間周波数分割部１０６、周波数成分変化量算出部１０７、動きベクトルフレームメモリ部１０８、動きベクトル値抽出部１０９、動きベクトル変化量算出部１１０を備える。映像処理装置はさらに、注目画素ぼやけ判定部１１１、改善処理適応判定部１１２、改善処理値フレームメモリ部１１３、改善処理値抽出部１１４、改善処理部１１５を備える。

（処理の流れ）
以下、動きぼやけ検出と改善処理について説明する。まず、映像処理装置は、放送信号などから所定のフレームレートを持つ入力映像信号１０１を取得する。

フレームメモリ部１０２は、入力映像信号１０１のフレーム遅延信号を生成し格納する。本実施形態では１フレーム遅延信号とする。

動きベクトル検出部１０３は、入力映像信号１０１と、フレームメモリ部１０２に格納
された１フレーム遅延信号とから映像内の動きベクトル検出を行う。この際、フレームの画像を所定のサイズの検出単位に分割し、検出単位ごとに動きベクトルを検出する。検出単位の大きさ（画素数）は任意であり、複数の画素からなる領域を検出単位としても良いし、１つの画素であっても良い。本実施形態では１つの画素をもって１つの検出単位とする。また、動きベクトルの方向は水平方向とする。

図２の現フレームの注目画素を例にして、動きベクトルの検出方法を説明する。まず、この注目画素の画素値と、１フレーム前の注目画素から左右３０個ずつ（計６１個）の画素の画素値との差分を求める。その差分が最小値となる画素（以下、対応画素と記述）から注目画素へのベクトルが、動きベクトルである。例えば、図２のＡの矢印で示す差分が最小値の場合、注目画素の動きベクトルの向きは左方向であり、大きさは１である（以下、必要に応じて動きベクトルの大きさを「動きベクトル値」と記述する）。なお、検出単位が複数の画素からなる領域である場合は、検出単位に含まれる画素の平均画素値について上記の方法を用いたり、ブロックマッチングを行ったりすることで動きベクトルを検出できる。

ここで本実施形態では、図３に示したように丸い動体が左から右に移動しており、画素Ａについて方向は右、大きさはＮの動きベクトルが検出されたものとする。

画素抽出部１０４は、フレームメモリ部１０２に格納された１フレーム遅延信号から、動きベクトル検出部１０３が検出した動きベクトルの始点の近傍領域（以下、抽出領域と記述）を抽出する。本実施形態では右方向Ｎ画素の動きベクトルが検出されているので、図３に示したように画素Ａから左にＮ画素移動した点を中心としてＸ×Ｙ画素の領域を抽出する。抽出領域のサイズ（Ｘ×Ｙ）は空間周波数分割を行って動きぼやけを検出できる程度の広さに設定し、ここでは、９×９画素とする。

前フレーム空間周波数分割部１０５は、画素抽出部１０４が求めた前フレームの抽出領域から空間周波数分割情報を検出する。ここで、本実施形態では、図４のように画像領域の画素を低域成分から高域成分までｎ分割し、各帯域の成分量を検出する。本実施形態では９×９画素の抽出領域についてアダマール変換を行い、空間周波数分割情報を検出する。

現フレーム空間周波数分割部１０６は、入力映像信号の現フレームの注目画素を中心とした９×９画素の領域から、空間周波数分割情報を検出する。検出方法は１フレーム遅延信号について前フレーム空間周波数分割部１０５が行った方法と同様である。

周波数成分変化量算出部１０７は、前フレームと現フレームの空間周波数分割情報より、周波数成分の変化量を算出する。本実施形態では、図５に示したように空間周波数分割数ｎ＝８として、各帯域の成分量を比較する。ここで、前フレームの空間周波数分割情報は図５（ａ）、現フレームの空間周波数分割情報は図５（ｂ）である。したがって、図５（ａ）と図５（ｂ）で帯域毎に成分量の差分をとることにより、周波数成分変化量を算出することが出来る。図５（ａ）と図５（ｂ）を比較すると図５（ｂ）の方が高域成分の成分量が大きく、前フレームから現フレームにかけて、低域成分から高域成分に変化していることが分かる。

動きベクトルフレームメモリ部１０８は、動きベクトル検出部１０３が画素ごとに求めた動きベクトルを任意フレーム遅延させる。本実施形態では１フレーム遅延とする。

動きベクトル値抽出部１０９は、動きベクトル検出部１０３が求めた動きベクトルに応じて、動きベクトルフレームメモリ部１０８から動きベクトル値抽出を行う。ここで本実
施形態では図６に示したように、注目画素について、方向は右、大きさはＮ画素の動きベクトルが検出されている。そこで、動きベクトルの始点に位置する対応画素について、前フレームでの動きベクトル値を抽出する。

動きベクトル変化量算出部１１０は、抽出した前フレームでの対応画素の動きベクトルと、現フレームの注目画素の動きベクトルとから、動きベクトル変化量を算出する。動きベクトル変化量は２つの動きベクトル値の差分である。

比較結果は大きく分けて下記（ａ）〜（ｅ）の５つに分かれる。動きベクトル変化量算出部１１０はこの結果に基づいて動き量の傾向を判別する。現フレームの動きベクトル値をＶａ、前フレームの動きベクトル値をＶｂとすると、
（ａ）Ｖａ＞Ｖｂの場合、動き量が増加したと判別する。
（ｂ）Ｖａ＜Ｖｂの場合、動き量が減少したと判別する。
（ｃ）Ｖａ＝Ｖｂの場合、動き量に変化が無いと判別する。
（ｄ）Ｖａ＝０の場合、静止と判別する。
（ｅ）Ｖｂが抽出できない、すなわち動体が画面外から画面内に現れる場合は、動きベクトル変化量が検出できないと判別する。

注目画素ぼやけ判定部１１１は、現フレーム注目画素の動きベクトル値及び空間周波数分割情報に基づいて、注目画素ぼやけ判定を行う。まず、図７に示した横軸を動きベクトル値、縦軸を空間周波数の低域成分量としたグラフに、現フレームの動きベクトル値と低域成分量をプロットする。ここで低域成分量とは、図８のように注目画素の空間周波数分割情報の分割数を８分割とした場合、低域成分である０〜２の成分量を合計したものである。

続いて、図７においてプロットした部分が所定の傾きＡと所定の傾きＢの間に入っているか判定する。プロットした部分が傾きＡより上にある場合、動きベクトル値に対するぼやけが大きく、撮影による動きぼやけでは無いと判断出来る。一方、プロットした部分が傾きＢより下にある場合、ぼやけが小さい為、テロップなどの映像と認識し動きぼやけでは無いと判断出来る。本実施形態においては、図７に示したように、注目画素の動きベクトル値が３のときは低域成分量が傾きＡと傾きＢの間に入っている為、注目画素の動きぼやけは有りと判定できる。また、注目画素の動きベクトル値が４のときは低域成分量が傾きＡと傾きＢの間に入っていない為、注目画素の動きぼやけなしと判定できる。

改善処理適応判定部１１２は、画質の動きぼやけの有無を判定して、それに応じていかなる画質の改善処理をするべきか決める。このときの判定結果は４つに分かれる。
（１）静止画である。
（２）動きぼやけである。
（３）動きぼやけではない。
（４）判定できない。

判定方法を図９にまとめる。
（１）の判定は、動きベクトル変化量算出部１１０において現フレームの注目画素が静止と判定された場合である。このとき、周波数成分の変化量は問わない。

（２）は、動きぼやけであると判定した場合である。図９においては「動きベクトル変化量増かつ周波数成分変化量が低域に変化した場合」と「動きベクトル変化量減かつ周波数成分変化量が高域に変化した場合」が該当する。これは動体の動くスピードが速くなるとぼやけが大きくなり、反対に動くスピードが遅くなるとぼやけが小さくなるという動きぼやけの性質を利用したものである。

（３）は、動きぼやけでは無いと判定した場合である。図９においては「動きベクトル変化量増」または「動きベクトル変化量減」のうち、上記（２）以外の場合が該当する。さらに、動きベクトル変化量が変わらない場合は、周波数成分変化量を問わず該当する。

（４）の判定は、動きベクトル変化量算出部１１０により動きベクトル変化量が検出できない場合である。このとき、周波数成分の変化量は問わない。

改善処理値フレームメモリ部１１３は、後述する改善処理部１１５が出力する改善処理値を任意フレーム遅延させる。本実施形態では１フレーム遅延とする。

改善処理値抽出部１１４は、動きベクトル検出部１０３が検出した動きベクトルに応じて改善処理値フレームメモリ部１１３より改善処理値の抽出を行う。本実施形態においては方向は右、大きさはＮ画素の動きベクトルが検出されているので、図１０に示したように、ベクトルの始点である対応画素の、前フレームにおける改善処理値を抽出する。

改善処理部１１５は、改善処理適応判定部１１２と注目画素ぼやけ判定部１１１の判定結果に応じて動きぼやけの改善処理値を決定し、改善処理を行う。本実施形態では輪郭強調補正処理により改善を行うものとし、輪郭強調補正処理の強度が改善処理値である。改善処理値は本発明における補正量に当たる。また、改善処理部１１５は本発明における補正量決定部に当たる。

改善処理適応判定部１１２で（１）と判定された場合は、静止画に適した輪郭強調補正の強度を決定する。

改善処理適応判定部１１２で（２）と判定された場合、すなわち動きぼやけ有りの場合は、周波数成分変化量と動きベクトル変化量に応じてゲイン値を決定する。決定したゲイン値によって改善処理値抽出部１１４が抽出した前フレームの改善処理値を修正して、輪郭強調補正の強度を決定する。

例えば、図９にて「動きベクトル変化量増かつ空間周波数分割情報が低域に変化」が該当した場合、図１１のグラフより動きベクトル変化量に対するゲイン値Ａを、図１２のグラフより周波数成分変化量に対するゲイン値Ｂを、それぞれ求める。そして、図１３のグラフより、ゲイン値Ａとゲイン値Ｂの積に対応するゲイン値Ｃを求める。最後にゲイン値Ｃと前フレームの改善処理値を乗算することで、輪郭強調補正の強度を決定する。

このように、動きベクトル値の変化に基づいて改善処理値に修正を加えていくことにより、前フレームと現フレームの間の改善処理値が急激に変化することを防ぎ、違和感の少ない輪郭強調補正処理が可能になる。なお、本実施形態においては、ここで求めた周波数成分変化量が本発明における特徴量に当たる。

改善処理適応判定部１１２で（３）と判定された場合は、改善処理値抽出部１１４が抽出した前フレームの改善処理値をそのまま輪郭強調補正の強度として決定する。

改善処理適応判定部１１２で（４）と判定された場合は、動体が画面外から画面内に現れているため、前フレームの改善処理値を用いることができない。そこで、先に注目画素ぼやけ判定部１１１の判定結果に応じて輪郭強調補正の強度を決定する。注目画素ぼやけ判定は現フレームについての動きベクトルと空間周波数分割情報から求められるので、この場合であっても利用可能である。

改善処理適応判定部１１２で（４）と判定され、かつ、注目画素ぼやけ判定部１１１にて動きぼやけ有りと判定された場合、動きベクトル検出部１０３の注目画素の動きベクトル値より輪郭強調補正の強度を決定する。例えば図１４のグラフに示したように、注目画素の動きベクトル値に応じて輪郭強調補正の強度を決定する。

改善処理適応判定部１１２で（４）と判定され、かつ、注目画素ぼやけ判定部１１１にて動きぼやけなしと判定された場合、注目画素の動きぼやけは無いと判断し、静止画に適した輪郭強調補正の強度を決定する。

以上の一連の処理により、改善処理部１１５は、注目画素に対して適切な輪郭強調補正を行うことができる。この処理を各画素について施すことで、出力映像信号１１６が得られる。

（まとめ）
以上の技術の発明効果を図１５により説明を行う。図１５の前フレーム映像信号では物体Ａと物体Ｂともに静止しており、現フレーム映像信号では物体Ａと物体Ｂともに動体である。前フレームから現フレームにかけて物体Ａは動きぼやけが発生し、物体Ｂは動きぼやけが発生していないとする。具体的には物体Ａは、撮影装置により動きぼやけが発生しているオブジェクトであり、物体Ｂは撮影後に映像に多重化されたテクスチャーやテロップである。

本実施形態の映像処理装置を用いてこの映像を処理すると、図１５の注目画素１の動きベクトル変化量は増加し、かつ周波数成分変化量は低域に変化している為、動きぼやけであると検出することができる。そして、変化量に応じて適応的に動きぼやけを改善することができる。また、図１５の注目画素２の動きベクトル変化量は増加しているが周波数成分変化量の変化は無く、動きぼやけではないことが検出できる。このように本実施形態の映像処理装置によれば、動きぼやけを検出し、映像に違和感なく動きぼやけのある領域の画質を効果的に改善することができる。

＜実施形態２＞
本実施形態では、画素傾きを利用して動きぼやけ領域とぼやけ度合いを検出し、補正値を算出し、補正する映像処理装置とその制御方法について説明する。

動きぼやけについて、図１６により説明する。まず、左側の映像信号１は、露光時間が短いため動きぼやけが起こらない例である。Ａ、Ｂ、Ｃは連続するフレームであり、短い露光時間と長いインターバルで撮影されている。この場合、動く前景と静止している背景との境界において画素値の混合は無く、明確に分離されている。

次に、右側の映像信号２は、露光時間が長いため動きぼやけが起きている例である。Ｄ、Ｅは連続するフレームである。この場合、動く前景と静止している背景の境界は、前景と背景が混合された画素値となり、動きぼやけが生じることになる。ここでは、動きぼやけの領域を網掛けで示している。

このような動きぼやけによる鮮明さの低下は、フレームレートを上げるために中間フレームを生成した場合に一層顕著になる。図１７にフレームレート変換とぼやけの関係を示す。図中Ａは撮影画像をそのまま表示したフレームレート６０Ｈｚの映像であり、動きぼやけにより鮮明さが低下している。ただしこの場合、画素値１１ａと画素値１２ａで前景と背景が混合するぼやけ領域が重ならない。図中Ｂはフレームレート変換により中間フレームの画素値１３ｂが挿入されたフレームレート１２０Ｈｚの映像である。この場合、フレーム間での前景の動き量が小さいため、ぼやけ領域が重なり鮮明さが著しく低下する。
従って、図中Ｃに示すように、動きぼやけ領域を削減して重なりをなくし、画像の鮮明さを向上させることが望まれている。

（映像処理装置の構成）
図に示したブロック図を参照しつつ、映像処理装置の構成を説明する。図１８は、本発明を適応するシステムのブロック図である。図はフレームメモリ部２０２、動きベクトル検出部２０３、画素傾き検出部２０４、傾き正規化処理部２０５、動きぼやけ検出部２０６、改善処理値選択部２０７、改善処理部２０８で構成される。

以下、各ブロックの機能について説明する。フレームメモリ部２０２は、入力映像信号２０１のフレーム遅延信号を生成し格納する。本実施形態では１フレーム遅延信号とする。動きベクトル検出部２０３は、検出単位ごとに動きベクトルを検出する。

画素傾き検出部２０４は、微分回路で構成され、連続する画素の値の変化を検出する。ぼやけ領域は動きベクトル値に比例して広がるため、ぼやけ領域の画素傾きは動きベクトル値と反比例の関係にある。そこで、傾き正規化処理部２０５は、画素傾き検出部２０４で検出された傾きの値に動きベクトル検出部２０３で検出された動きベクトル値を乗算し、傾き値を正規化する。すなわち、本実施形態で言う正規化とは、傾きの値を動きベクトル値で重み付けし、評価値を得ることである。

動きぼやけ検出部２０６は、傾き正規化処理部２０５で演算された正規化された傾きと動きベクトル検出部２０３で検出された動きベクトルから、ぼやけ領域を検出する。ぼやけ領域を検出する方法の詳細は後述する。

改善処理値選択部２０７は、動きぼやけ検出部２０６で検出されたぼやけ領域に対し、動きベクトル検出部２０３で検出された動きベクトル値に応じた改善処理値を選択し出力する。改善処理部２０８は、改善処理値選択部２０７から出力される改善処理値に応じて、画像中の動きぼやけを改善する。

（動きベクトル検出・動きぼやけ改善方法）
以下、動きベクトルを検出し、画素傾きを検出して正規化し、動きぼやけ領域を検出し、動きぼやけ改善のためゲイン値を算出し、画像を改善する方法について説明する。

動きベクトル検出部２０３は、フレームの画像を所定のサイズに分割した検出単位ごとに動きベクトルを検出する。本実施形態においては１つの画素をもって１つの検出単位とするが、複数の画素で検出単位を構成しても良いのは実施形態１と同様である。

図１９に本実施形態の動作例を示すタイミングチャートを示す。図１９のａは入力映像信号２０１のあるフレーム内の２次元画像を、動きベクトル検出部２０３で検出された動きベクトルが通過する画素について、動きベクトルの方向に切り取った１次元の信号である。画素値が高く一定の領域は前景、低く一定の領域は背景、画素値が変化している領域は動きぼやけにより前景と背景が混じっている領域を表している。

注目画素の動きベクトルは、ブロックマッチング法を用いて、次のような方法で検出することができる。図２０に動きベクトル検出の様子を示す。ここで、図１９のｂは動きベクトル検出部２０３で検出された画素単位の動きベクトルを示している。動きベクトルは、前景領域とぼやけ領域には画素の動きに応じた動きベクトルが入力され、静止背景には静止ベクトルが入力される。図中では、前景が矢印で示すベクトルで動いているとする。

図２０において、フレーム１は入力映像信号２０１の画像、フレーム２はフレームメモ
リ部２０２から入力される画像を示す。それぞれの画像は動く前景（２１ａ、２１ｂ）と静止する背景（２２ａ、２２ｂ）とで構成され、フレーム２からフレーム１の間で前景が移動した様子を表している。ブロックマッチングは、フレーム１の注目画素（２４ａ）の周囲、例えば水平±８画素、垂直±８画素のブロック（２３ａ）を抽出し、フレーム２の画像の同形状ブロック（２３ｂ）と画素値の差を計算する。画素値の差の絶対値を計算し、ブロック全体にわたりその合計を算出する。注目画素の位置を中心として、周囲の領域を走査するようにこの合計値を計算し、合計値が最も値が小さくなった位置をブロックマッチングが良かったブロック（２３ｂ）と検出する。

フレーム２の検出ブロック（２３ｂ）の中心画素（２４ｂ）は、フレーム１の注目画素（２４ａ）に移動したと考えることができる。したがって、注目画素（２４ａ）の動きベクトルは、検出ブロック（２３ｂ）の中心画素（２４ｂ）から注目画素（２４ａ）に向かうベクトルとする。このような手法で、画像の全画素のベクトルが検出できる。図２０の場合では、フレーム１の動きベクトルは、前景領域（２１ｃ）に動きのあるベクトルが検出され、背景領域（２２ｃ）ではゼロベクトルが検出される。

画素傾き検出部２０４からは、図１９のｃに示す画素傾きが検出され出力される。なお、本実施形態においては、ここで求めた画素傾きが本発明における特徴量に当たる。

傾き正規化処理部２０５では、画素傾き検出値にその画素の動きベクトル大きさを乗算し、正規化した傾きの値を得る。

動きぼやけ検出部２０６では、正規化された傾きの値が所定の範囲内になる領域を、動きぼやけ領域として検出する。動きぼやけが生じている領域では傾きが一定値以下になっていると考えられるので傾きの上限閾値ｂを定め、一方ある程度以下の傾きはノイズと判断できるので傾きの下限閾値ａを定める。また、撮影時の時間積分時間が１フレームの時間とすると、動きベクトルが示す移動量と同じ画素数だけ動きぼやけが生じていると予測される。このことから、範囲の判定の条件は、レベルが閾値ａ以上で閾値ｂ以下となる画素がベクトルの大きさ以上連続する場合、または、レベルが閾値−ｂ以上で閾値−ａ以下となる画素がベクトルの大きさ以上連続する場合となる。

改善処理値選択部２０７は、動きぼやけ領域と検出された領域に、動きベクトル値に応じた改善処理値を出力する（図１９のｅ）。

改善処理部２０８は、改善処理値に応じて入力映像信号の動きぼやけ処理をし、図１９のｆで示す出力映像信号２０９を得る。改善処理部２０８は、例えば輪郭強調処理が利用でき、改善処理値に応じて強度を切り換えれば良い。

動きベクトルが大きいときは傾きも小さくなるが、傾き正規化処理部２０５で傾き値を動きベクトルで正規化するため、小さなベクトルから大きなベクトルまで処理が可能となる。

撮影後に合成されたテロップのような動きぼやけのない画像の動作例を図２１に示す。このような入力映像信号では、画素傾きが大きく検出され、正規化された傾きが閾値ｂ以上または閾値−ｂ以下となるため、動きぼやけ領域として検出されず、あやまって動きぼやけ改善処理を施すことがない。

（処理の流れ）
図２２に示したフローチャートを参照しつつ、本実施形態の映像処理フローについて説明する。

ステップＳ１において、動きベクトル検出部２０３は、画素毎の動きベクトルを検出する。

ステップＳ２において、画素傾き検出部２０４は、入力映像信号の画素傾きを算出する。

ステップＳ３において、傾き正規化処理部２０５は、ステップＳ２で算出した傾き値をステップＳ１で検出した動きベクトル値で正規化する。

ステップＳ４において、動きぼやけ検出部２０６は、Ｓ３で正規化した傾きの値が閾値ａと閾値ｂの間にあり、かつ、Ｓ１で検出した動きベクトルの方向にその大きさ以上連続しているかどうかを判定する。

判定結果がＹｅｓであれば、ステップＳ５において動きぼやけ領域として検出する。なお、正規化した画素傾きの値が負の場合は、その値が閾値-ａと閾値-ｂの間にあり、かつ、ベクトルの方向にその大きさ以上連続している領域を動きぼやけ領域として検出する。

ステップＳ６において、改善処理値選択部２０７は、動きぼやけ領域に、動きベクトル値に応じた改善処理値を選択し出力する。

ステップＳ７において、改善処理部２０８は、入力された改善処理値で動きぼやけを改善する。

ステップＳ８において、改善処理部２０８から、動きぼやけのある各画素値が補正された高フレームレート化された動画像が出力される。

（まとめ）
本実施形態によれば、このように動きぼやけ領域が検出でき、動きぼやけの生じている領域に適切な改善処理値で動きぼやけ改善処理ができ、高フレームレート変換した映像の鮮鋭感を向上できる。

＜実施形態３＞
実施形態２では動きぼやけ検出範囲を固定定数としている。そのため前景と背景のレベル差が大きくコントラストがある画像信号ではぼやけ領域を検出可能だが、レベル差が小さい場合に検出できない場合がある。そこで、本実施形態では、画像信号のコントラストに応じて検出範囲を切り換え、動きぼやけ領域検出の精度を向上する。

（映像処理装置の構成）
本実施形態のブロック図を図２３に示す。ここでは実施形態２の構成に検出閾値生成部２１０が追加されている。検出閾値生成部２１０は入力映像信号２０１のコントラストの大きさに応じてぼやけ領域の検出閾値を生成する。

（動きぼやけ検出方法）
映像処理の動作例を示すタイミングチャートを図２４に示す。図２４のｇは入力映像信号１０１にベクトルの大きさの倍の画素範囲にわたって最大値フィルタを施した信号を示し、ｈはベクトルの大きさの倍の画素範囲にわたって最小値フィルタを施した信号を示す。

図２５に最大値フィルタと最小値フィルタのタイミングチャートを示す。最大値フィル
タは画素値が参照画素範囲の中で最も大きい画素値を選択するフィルタである。例えば、図２４のｂの最大値フィルタ出力信号のｌ５の画素値は、参照画素範囲を５画素とすると、（ｉ３、ｉ４、ｉ５、ｉ６、ｉ７）の中で最大の画素値であるｉ７の画素値が選択される。同様に最小値フィルタは画素値が参照画素範囲の中で最も小さい画素値を選択するフィルタである。図２４のｉは信号ｇと信号ｈの差の信号であり、前景と背景のコントラストの大きさを示す信号なので、動きぼやけ検出の閾値に利用できる。

画像の撮影時の時間積分時間として予測される時間の上限は、フレーム周期と考えられる。このとき、動きぼやけ領域の画素傾きは、動きベクトル値の逆数に比例し、画素傾きと動きベクトル値の積はコントラストと等しくなる。一方、動きぼやけの改善が必要な撮影時の時間積分時間の下限は、フレームレート変換により変換したフレームレートの逆数となる。フレームレートを２倍にした場合には、撮影時の時間積分時間までを動きぼやけ改善対象をすればよく、このとき、動きぼやけ領域の画素傾きは、上記の上限時間での傾きの２倍に相当し、画素傾きと動きベクトル値の積はコントラストの２倍に等しくなる。

このように、動きぼやけ改善対象を決定したとき、動きぼやけ領域検出の閾値の上限をコントラストの２倍の値、下限をコントラストの値に設定すればよい。すなわち、図２４のフィルタ出力差分ｉの値とその２倍の値を閾値にすることで、処理対象となる動きぼやけを適切に検出することができる。

このように、動きぼやけ領域が検出されたとき、ベクトルの大きさに応じて改善処理値を選択することで、動きぼやけの生じている領域に、適切な改善処理値で動きぼやけ改善処理ができ、高フレームレート変換した映像の鮮鋭感を向上できる。

実施形態１の映像処理装置の構成を示すブロック図。 動きベクトル値の検出方法を示す図。 前フレームから抽出領域を求める方法を示す図。 空間周波数分割における成分量を示す図。 空間周波数分割における成分量の変化を示す図。 前フレームの対応画素の動きベクトル値抽出を示す図。 動きベクトル値に対する低域成分量を示す図。 ８分割した空間周波数分割における成分量を示す図。 改善処理の内容を決定する際に用いるテーブル。 前フレームの改善処理値の抽出を示す図。 動きベクトル変化量に対するゲイン値Ａを示す図。 周波数成分変化量に対するゲイン値Ｂを示す図。 動きベクトル変化量×周波数成分変化量に対するゲイン値Ｃを示す図。 注目画素の動きベクトル値に対する輪郭強調補正の強度を示す図。 実施形態１の効果を示す図。 動きぼやけの様子を示す図。 フレームレート変換と動きぼやけの影響を示す図。 実施形態２の映像処理装置の構成を示すブロック図。 実施形態２の映像処理装置の動作例を示すタイミングチャート１。 動前景と静止背景の動きベクトルを説明する図。 実施形態２の映像処理装置の動作例を示すタイミングチャート２。 映像処理装置の動作を示すフローチャート。 実施形態３の映像処理装置の構成を示すブロック図。 実施形態３の映像処理装置の動作例を示すタイミングチャート。 最大値フィルタと最小値フィルタのタイミングチャート。

符号の説明

１０３，２０３ 動きベクトル検出部
１０７ 周波数成分変化量算出部
１１０ 動きベクトル変化量算出部
１１５，２０８ 改善処理部
２０６ 動きぼやけ検出部

Claims (10)

1. 撮影した映像に生じる動きぼやけを補正する映像処理装置であって、
   補正する現フレームに含まれる画像を所定のサイズの検出単位に分割し、前記検出単位ごとに動きベクトルを検出する動きベクトル検出部と、
   画像領域の周波数成分を求めるとともに、前記検出単位を含む画像領域の周波数成分と、前記検出した動きベクトルの始点を含む画像領域の、前のフレームでの周波数成分と、を求める空間周波数分割部と、
   検出した動きベクトルと、現フレームと前のフレームの間の、動きベクトルの大きさの変化及び周波数成分の変化とに基づいて、少なくとも、前のフレームから現フレームにかけて、動きベクトルの大きさが増加しかつ周波数成分が低域に変化した場合か、動きベクトルの大きさが減少しかつ周波数成分が高域に変化した場合に、前記検出単位における動きぼやけ有りと判定する動きぼやけ検出部と、
   前記動きぼやけ検出部が動きぼやけ有りと判定した場合に、前記動きベクトルの大きさの変化及び周波数成分の変化に基づいて、動きぼやけを補正する改善処理部と、
   を備えることを特徴とする映像処理装置。
2. 前記改善処理部は、前のフレームでの動きぼやけの補正を、動きベクトルの大きさの変化及び周波数成分の変化に基づいて修正することにより、現フレームに対する動きぼやけの補正を行うことを特徴とする請求項１に記載の映像処理装置。
3. 前のフレームでの動きベクトルを検出できない場合、
   前記動きぼやけ検出部は、現フレームでの動きベクトルの大きさ及び周波数成分に基づいて、現フレームでの動きベクトルの大きさが、現フレームでの低域成分量が所定の範囲に入っているような動きベクトルの大きさである場合に、動きぼやけ有りと判定し、
   前記改善処理部は、現フレームでの動きベクトルの大きさに基づいて動きぼやけを補正することを特徴とする請求項１又は２に記載の映像処理装置。
4. 撮影した映像に生じる動きぼやけを補正する映像処理装置であって、
   補正する現フレームに含まれる画像を所定のサイズの検出単位に分割し、前記検出単位ごとに動きベクトルを検出する動きベクトル検出部と、
   前記検出単位を含む画像領域の連続する画素値の変化の度合いを表す画素傾きを検出する画素傾き検出部と、
   検出した動きベクトルの大きさ及び画素傾きに基づいて、画素傾きを動きベクトルの大きさで重み付けした値が所定の閾値の範囲にある場合に、前記検出単位における動きぼやけ有りと判定する動きぼやけ検出部と、
   前記動きぼやけ検出部が動きぼやけ有りと判定した場合に、前記動きベクトルの大きさに基づいて、動きぼやけを補正する改善処理部と、
   を備えることを特徴とする映像処理装置。
5. 前記動きぼやけ検出部は、画像のコントラストに応じて前記所定の閾値を変えることを特徴とする請求項４に記載の映像処理装置。
6. 撮影した映像に生じる動きぼやけを補正する映像処理装置の制御方法であって、
   補正する現フレームに含まれる画像を所定のサイズの検出単位に分割し、前記検出単位ごとに動きベクトルを検出するステップと、
   画像領域の周波数成分を求めるとともに、前記検出単位を含む画像領域の周波数成分と、前記検出した動きベクトルの始点を含む画像領域の、前のフレームでの周波数成分と、を求めるステップと、
   検出した動きベクトルと、現フレームと前のフレームの間の、動きベクトルの大きさの変化及び周波数成分の変化とに基づいて、少なくとも、前のフレームから現フレームにかけて、動きベクトルの大きさが増加しかつ周波数成分が低域に変化した場合か、動きベクトルの大きさが減少しかつ周波数成分が高域に変化した場合に、前記検出単位における動きぼやけ有りと判定する動きぼやけ検出ステップと、
   前記動きぼやけ検出ステップにおいて、動きぼやけ有りと判定された場合に、前記動きベクトルの大きさの変化及び周波数成分の変化に基づいて、動きぼやけを補正する改善処理ステップと
   を有することを特徴とする映像処理装置の制御方法。
7. 前記改善処理ステップでは、前のフレームでの動きぼやけの補正を、動きベクトルの大きさの変化及び周波数成分の変化に基づいて修正することにより、現フレームに対する動きぼやけの補正を行うことを特徴とする請求項６に記載の映像処理装置の制御方法。
8. 前のフレームでの動きベクトルを検出できない場合、
   前記動きぼやけ検出ステップでは、現フレームでの動きベクトルの大きさ及び周波数成分に基づいて、現フレームでの動きベクトルの大きさが、現フレームでの低域成分量が所定の範囲に入っているような動きベクトルの大きさである場合に、動きぼやけ有りと判定し、
   前記改善処理ステップでは、現フレームでの動きベクトルの大きさに基づいて動きぼやけを補正することを特徴とする請求項６又は７に記載の映像処理装置の制御方法。
9. 撮影した映像に生じる動きぼやけを補正する映像処理装置の制御方法であって、
   補正する現フレームに含まれる画像を所定のサイズの検出単位に分割し、前記検出単位ごとに動きベクトルを検出するステップと、
   前記検出単位を含む画像領域の連続する画素値の変化の度合いを表す画素傾きを検出する画素傾き検出ステップと、
   検出した動きベクトルの大きさ及び画素傾きに基づいて、画素傾きを動きベクトルの大きさで重み付けした値が所定の閾値の範囲にある場合に、前記検出単位における動きぼやけ有りと判定する動きぼやけ検出ステップと、
   前記動きぼやけ検出ステップにおいて、動きぼやけ有りと判定された場合に、前記動きベクトルの大きさに基づいて、動きぼやけを補正する改善処理ステップと、
   を有することを特徴とする映像処理装置の制御方法。
10. 前記動きぼやけ検出ステップでは、画像のコントラストに応じて前記所定の閾値を変えることを特徴とする請求項９に記載の映像処理装置の制御方法。

Images