JP5550794B2 - 画像処理装置及び方法、並びに画像表示装置及び方法 - Google Patents

Description

本発明は、動きベクトルを参照することで映像の画質向上処理を行う画像処理装置及び方法、並びに画像表示装置及び方法に関する。

映像の画質向上を目的として、様々は画像補正処理が提案されている。その中には、映像の動きベクトルを検出して、検出した動きベクトルに基づいて画像補正処理を行なうものがある。例えば、検出した動きベクトルに基づいて動きぼやけを補正するものがある（特許文献１）。また、検出した動きベクトルを用いてフレーム補間を行うものもある。

特開平７−６５１６３号公報

しかしながら、動きベクトルの検出に誤りが多く含まれる場合には、検出された動きベクトルを用いて行なわれた画像補正処理の結果得られた映像は、元の映像よりも画質が劣化したものとなると言う問題がある。

本発明は、上記に鑑みてなされたものであり、検出された動きベクトルに誤りが多く含まれる場合に、画質の劣化を防止することを目的とする。

本発明に係る画像処理装置は、
入力映像信号をフレーム遅延することで得られた第１の映像信号と、前記第１の映像信号に対し１フレーム以上時間的に前又は後の映像信号とに基づいて、前記第１の映像信号における動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルを用い、前記第１の映像信号に対して画像補正処理を行う画像補正処理部と、
前記動きベクトル検出部で検出された動きベクトルを用い、高周波成分を検出する高周波成分検出部と、
前記高周波成分検出部で検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定部と、
前記判定部において動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択部と
を備え、
前記高周波成分検出部は、各画素についての高周波成分が第１の閾値以上であるかどうかの判定を行い、
前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、第２の閾値以上であれば、動きベクトルが誤検出されたものと判断する
ことを特徴とする。

本発明によれば、動きベクトルの検出に誤りが多い場合には、画像補正処理後の映像信号を用いずに元の映像信号を出力することとしているので、元の映像信号よりも劣化した信号を出力することを防ぐことができる。

本発明の実施の形態１に係る画像表示装置を示すブロック図である。 （ａ）〜（ｌ）は、図１の画像処理装置の動作を説明するタイムチャートである。 図１の入力画像遅延部４の構成例を示すブロック図である。 図１の動きベクトル検出部５の構成例を示すブロック図である。 （ａ）及び（ｂ）は、連続した２フレームの映像信号において、動きベクトルの探索範囲の一例を示す図である。 図１の画像補正処理部６の構成例を示すブロック図である。 フレーム期間と撮像期間の関係を示す図である。 動きぼやけに対する有効フィルタリング領域ＥＦＡの一例を示す図である。 動きぼやけに対する有効フィルタリング領域ＥＦＡの他の例を示す図である。 動きぼやけに対する有効フィルタリング領域ＥＦＡの他の例を示す図である。 画素値と平均値の差と、調整後の補正強度パラメータとの関係の一例を示す図である。 図１の処理画像遅延部７の構成例を示すブロック図である。 動きベクトルの各成分を示す図である。 （ａ）及び（ｂ）は、２枚のフレームにおける動きベクトルと動きぼやけの一例を示す図である。 （ａ）及び（ｂ）は、２枚のフレームにおける動きベクトルと動きぼやけの他の例を示す図である。 動きベクトルの方向および大きさと、フィルタ係数テーブルへのポインタ（ＩＮＤ）の一例を示す図である。 閾値による非線形処理を示すグラフである。 本発明の実施の形態２に係る画像表示装置を示すブロック図である。 （ａ）〜（ｌ）は、図１８の画像入力装置の動作を説明するタイムチャートである。 図１８の画像合成部１７の構成例を示すブロック図である。 本発明の実施の形態３に係る画像表示装置を示すブロック図である。 （ａ）〜（ｌ）は、図２１の画像入力装置の動作を説明するタイムチャートである。 本発明の実施の形態４に係る画像表示装置を示すブロック図である。 （ａ）〜（ｌ）は、図２３の画像入力装置の動作を説明するタイムチャートである。 （ａ）〜（ｆ）は、図２３の画像入力装置の動作を説明するタイムチャートである。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置１は、画像処理装置２と、画像表示部３とを備え、画像処理装置２は、入力画像遅延部４と、動きベクトル検出部５と、画像補正処理部６と、処理画像遅延部７と、高周波成分検出部８と、判定部９と、画像選択部１０とを備える。

画像処理装置２は、入力された映像信号Ｄ０を受けて、動きぼやけ補正処理を行うものである。
映像信号Ｄ０は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置２は、各フレームの複数の画素を順に補正対象画素（注目画素）としてぼやけ補正処理を行って、補正処理後の映像信号Ｅ０（補正された画素値を持つ信号の列から成る）を生成し、該補正処理後の映像信号Ｅ０を１フレーム遅延した映像信号Ｅ１と、入力映像信号Ｄ０を２フレーム遅延した映像信号Ｄ３のどちらかを選択して最終出力映像信号Ｆとして出力する。

画像処理装置２に入力された映像信号Ｄ０（図２（ｂ））は、入力画像遅延部４に供給される。入力画像遅延部４はフレームメモリを用いて、入力された信号のフレーム遅延を行い、３枚の互いに異なるフレームの映像信号Ｄ１、Ｄ２、Ｄ３（図２（ｄ）、（ｅ）、（ｆ））を生成する。図２（ａ）〜（ｌ）において、符号Ｔ０、Ｔ１、Ｔ２、…は各フレーム期間を表す。そのうち、映像信号Ｄ１は、映像信号Ｄ０に対して遅延がなく、映像信号Ｄ２は映像信号Ｄ０に対して１フレームの遅延があり、映像信号Ｄ３は、映像信号Ｄ０に対して２フレームの遅延がある。
映像信号Ｄ２およびＤ１は動きベクトル検出部５に出力され、映像信号Ｄ２は画像補正処理部６に出力され、映像信号Ｄ３は画像選択部１０に出力される。

動きベクトル検出部５は、入力画像遅延部４から出力された２枚の異なるフレームの映像信号Ｄ２、Ｄ１を用い、映像信号Ｄ２に含まれる動きベクトルＶ（図２（ｉ））を検出する。
検出された動きベクトルＶは画像補正処理部６及び高周波成分検出部８に出力される。

画像補正処理部６は、動きベクトル検出部５から出力された動きベクトルＶを入力とし、入力画像遅延部４から出力された映像信号Ｄ２において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減し、補正された映像信号Ｅ０（図２（ｇ）のＦ０ｃ、Ｆ１ｃ、Ｆ２ｃ、…）を処理画像遅延部７へ出力する。

処理画像遅延部７は、画像補正処理部６から出力された補正された映像信号Ｅ０を１フレーム分遅延させて出力する。処理画像遅延部７の出力は、補正され、遅延された映像信号Ｅ１（図２（ｈ）のＦ０ｃ、Ｆ１ｃ、Ｆ２ｃ、…）として画像選択部１０へ供給される。

高周波成分検出部８は動きベクトル検出部５から出力された動きベクトルＶ（図２（ｉ））を入力し、ハイパスフィルタ（高域通過型フィルタ）で各画素について動きベクトルの高周波成分を抽出し、抽出した高周波成分の値を、外部から入力した閾値Ｃ１と比較し、比較結果を、当該画素についての高周波成分検出結果Ｈとして出力する。この高周波成分検出結果Ｈは、高周波成分の値が閾値Ｃ１よりも小さい場合には、値「０」を取り、高周波成分の値が閾値Ｃ１以上の場合には、値「１」を取る。各画素についての高周波数成分は、各画素についての動きベクトル、並びの周辺の画素の動きベクトルに対してハイパスフィルタを掛けることで、得られる。

各画素についての動きベクトルＶの高周波成分の値が大きいほど、当該動きベクトルＶが誤検出されたものである可能性が高い。本実施の形態では、高周波成分の値が閾値Ｃ１以上の場合には、当該画素についての動きベクトルＶは誤検出されたものと推定して処理する。
閾値Ｃ１は、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。

判定部９は、高周波成分検出部８から出力された高周波成分検出結果Ｈを入力し、値「１」を取る高周波成分検出結果Ｈの数を１フレームに亘り計数する。そして、計数結果Ｎｈｆ（１フレーム中における、値「１」を取る高周波成分検出結果Ｈの発生回数）を外部から入力した閾値Ｃ２と比較し、比較結果を選択制御信号Ｒとして画像選択部１０に出力する。具体的には、計数結果Ｎｆｈが閾値Ｃ２よりも小さい場合は選択制御信号Ｒの値を「０」とし、閾値Ｃ２以上の場合は選択制御信号Ｒの値を「１」とする（図２（ｊ））。

閾値Ｃ２も、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。

画像選択部１０は、選択制御信号Ｒが「０」の場合は処理画像遅延部７から出力される補正された映像信号Ｅ１を選択して、最終出力映像信号Ｆとして出力し（図２（ｋ））、選択制御信号Ｒが「１」の場合は入力画像遅延部４から出力される映像信号Ｄ３を選択して最終出力映像信号Ｆとして出力する（図２（ｌ））。

上記の計数結果Ｎｈｆ（各フレームについて値「１」を取る高周波成分検出結果Ｈの数）が多いほど、当該フレームには動きベクトルＶの誤検出が多い可能性が高く、信頼性が低いと推定できる。本実施の形態では、計数結果Ｎｈｆが閾値Ｃ２以上の場合には、当該フレームについて、動きベクトルＶの誤検出が多く、従って、動きベクトルＶの検出結果は信頼性が低いものとして処理する。即ち、画像選択部１０において、動きベクトルＶを用いて行なわれた画像補正処理の結果得られた映像信号Ｅ１を選択せずに、元の映像信号（画像補正処理を受けていない映像信号）Ｄ３を選択して出力する。

各フレーム期間Ｔｎ（ｎは０、１、２、…のいずれか）において、動きベクトル検出部５から出力される動きベクトルＶは、１フレーム遅延映像信号Ｄ２の各画素についてのものであり、動きベクトルＶの高周波成分検出結果Ｈの各フレームにわたる集計が終わり、選択制御信号Ｒの値が決まるのは、当該フレーム期間の終わる時点に略一致する。そこで、各フレームの映像信号Ｄ２の動きベクトルＶに基づいて生成された選択制御信号Ｒの値は、２フレーム遅延映像信号Ｄ３及び１フレーム遅延した補正処理後の映像信号Ｅ１が画像選択部１０に供給される、次のフレーム期間Ｔ（ｎ＋１）における画像選択部１０における選択に用いられる。

例えば、フレーム期間Ｔ１に入力画像遅延部４から出力され動きベクトル検出部５に入力される、フレームＦ０の映像信号Ｄ２に基づく選択制御信号Ｒ（Ｆ０）は、フレームＦ０の映像信号Ｄ３及び対応する補正処理後の映像信号Ｅ１（Ｆ０ｃ）が、画像選択部１０に入力される次のフレーム期間Ｔ２に、画像選択部１０に供給され、画像選択部１０では、この選択制御信号Ｒ（Ｆ０）に基づいて、フレーム期間Ｔ２における、映像信号Ｄ３（Ｆ０）又は映像信号Ｅ１（Ｆ０ｃ）の選択を行う。

画像表示部３は、画像選択部１０から出力された映像信号Ｆに基づく画像の表示を行なう。

ここで、ユーザは閾値Ｃ１を変更することにより、高周波成分検出部８における判定の厳しさ（高周波成分の値がどの程度のときに、誤検出と推定するか）を調整することができる。また、閾値Ｃ２を変更することにより、判定部９における判定の厳しさ（各フレーム中において動きベクトルが誤検出されたと推定される画素の数Ｎｈｆに基づく、当該フレームについての動きベクトルの検出結果の信頼性に対する判定の基準、即ち各フレーム中において動きベクトルが誤検出されたと推定される画素の数Ｎｈｆがどの程度のときに、当該フレームについての動きベクトルの検出結果の信頼性が低く、画像補正処理を受けた映像信号を選択しないとの決定をするか）を調整することができる。

以下の説明では、画像サイズを垂直方向Ｍ画素、水平方向Ｎ画素とする。このとき、変数ｉとｊをそれぞれ１≦ｉ≦Ｍ、１≦ｊ≦Ｎと定義して、画素の位置を示す座標を（ｉ，ｊ）で示し、当該座標で表される位置の画素をＰ（ｉ，ｊ）で表す。即ち、変数ｉは垂直方向位置、変数ｊは水平方向位置を表す。画像の左上隅の画素の位置においては、ｉ＝１、ｊ＝１であり、下方に１画素ピッチ進むごとにｉが１ずつ増加し、右方に１画素ピッチ進むごとにｊが１ずつ増加する。

図３は、入力画像遅延部４の構成例を示す。図示の入力画像遅延部４は、フレームメモリ１１と、フレームメモリ制御部１２とを備えている。フレームメモリ１１は入力された映像信号を少なくとも２フレーム分記憶可能な容量を有している。

フレームメモリ制御部１２は、入力された映像信号Ｄ０に含まれる同期信号を元に生成したメモリアドレスに従い、入力映像信号の書込みと、蓄積された映像信号の読み出しとを行い、連続する３フレームの映像信号Ｄ１、Ｄ２、Ｄ３を生成する。
映像信号Ｄ１は、入力映像信号Ｄ０に対してフレーム遅延が無いものであり、現フレーム映像信号とも呼ばれる。
映像信号Ｄ２は、映像信号Ｄ１に対して１フレーム遅延することにより得られた、時間的に１フレーム期間前の信号であり、１フレーム遅延映像信号とも呼ばれる。
映像信号Ｄ３は、映像信号Ｄ１に対して２フレーム遅延することにより得られた、時間的に２フレーム期間前の信号であり、２フレーム遅延映像信号とも呼ばれる。

また、以下に説明するように、映像信号Ｄ２を対象として動きベクトル検出処理を行うので、映像信号Ｄ２を注目フレーム映像信号と呼び、映像信号Ｄ１を後フレーム映像信号と呼ぶこともある。
映像信号Ｄ１、Ｄ２、Ｄ３は、上記のように、画像を構成する複数の画素の信号の列から成り、座標（ｉ，ｊ）の位置にある画素Ｐ（ｉ，ｊ）の画素値はＤ１（ｉ，ｊ）、Ｄ２（ｉ，ｊ）、Ｄ３（ｉ，ｊ）と表される。

図４は動きベクトル検出部５の構成例を示す。図示の動きベクトル検出部５は、その外部から入力される第１の映像信号（Ｄ２）およびその外部から入力され第１の映像信号（Ｄ２）に対し１フレーム以上時間的に前又は後の第２の映像信号（Ｄ１）に基づいて、前記第１の映像信号（Ｄ２）における動きベクトルを検出するものであり、図示の動きベクトル検出部５は、注目フレームブロック切り出し部２１と、後フレームブロック切り出し部２２と、動きベクトル決定部２３を備える。

注目フレームブロック切り出し部２１は、注目フレーム映像信号Ｄ２から、図５（ａ）に示されるように、注目画素Ｐ（ｉ，ｊ）の周辺領域、例えば注目画素を中心とし、高さ（垂直方向サイズ）が（２＊ＢＭ＋１）、幅（水平方向サイズ）が（２＊ＢＮ＋１）の矩形領域（ブロック）Ｄ２Ｂ（ｉ，ｊ）を切り出す。

後フレームブロック切り出し部２２は、映像信号Ｄ１に対し、前記注目画素Ｐ（ｉ、ｊ）毎に定義される座標の集合、
Ｓ（ｉ，ｊ）＝｛（ｉ＋ｋ，ｊ＋ｌ）｝ （１）
(ただし、−ＳＶ≦ｋ≦ＳＶ、−ＳＨ≦ｌ≦ＳＨ
また、ＳＶ、ＳＨは所定の値である。）
に含まれる位置（ｉ＋ｋ，ｊ＋ｌ）を中心として、矩形領域Ｄ２Ｂ（ｉ，ｊ）と同じサイズの矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）を切り出す（図５（ｂ））。ここで、Ｓ（ｉ，ｊ）は、注目画素Ｐ（ｉ、ｊ）についての動きベクトルの探索範囲とも呼ばれる。このように定義される探索範囲は、横方向が２＊Ｈ＋１、縦方向が２＊Ｖ＋１の矩形の領域である。

動きベクトル決定部２３は、注目フレームブロック切り出し部２１から入力される矩形領域Ｄ２Ｂ（ｉ,ｊ）と、後フレームブロック切り出し部２２から入力されるブロックＤ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）との間で、それぞれのブロック内のすべての画素、即ち（２＊ＢＭ＋１）＊（２＊ＢＮ＋１）個の、互いに対応する位置の画素同士の差分の絶対値の総和（差分絶対値和）ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）を求める。該差分絶対値和ＳＡＤ（ｉ＋ｋ,ｊ＋ｌ）は下記の式（２）で表される。

後述のように、（２＊ＳＶ＋１）＊（２＊ＳＨ＋１）個の矩形領域Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）に対応して（２＊ＳＶ＋１）＊（２＊ＳＨ＋１）個の差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）が得られ、その中で値が最小となるものを生じさせた矩形領域Ｄ１Ｂ（ｉ＋ｋｍ，ｊ＋ｌｍ）を特定し、該矩形領域の、矩形領域Ｄ２Ｂ（ｉ，ｊ）に対する相対位置（ｋｍ，ｌｍ）を動きベクトルＶ＝（Ｖｙ，Ｖｘ）＝（ｋｍ，ｌｍ）として、画像補正処理部６へ出力する。

以上の処理により、動きベクトル決定部２３は、注目フレーム映像信号Ｄ２の矩形領域Ｄ２Ｂ（ｉ，ｊ）が、後フレーム映像信号Ｄ１のどの領域に動いたかを推定し、推定された領域Ｄ１Ｂの、矩形領域Ｄ２Ｂ（ｉ，ｊ）に対する相対位置を、注目画素Ｐ（ｉ、ｊ）についての動きベクトルＶ（他の画素についての動きベクトルとの区別のため「Ｖ（ｉ，ｊ）」と表すこともある）として出力する。

上記のような動きベクトル検出を、入力画像遅延部４から出力される映像信号Ｄ２の全画素に対して行い、各画素について動きベクトルを検出し、このようにして得られた動きベクトルを動きぼやけの軽減に利用する。

なお、動きベクトル検出部５における動きベクトル検出に当たり、画像の上端、下端、左端、右端の外側の画素が、上記の矩形領域Ｄ２Ｂ（ｉ，ｊ）、Ｄ１Ｂ（ｉ＋ｋ，ｊ＋ｌ）の一部となり、それらの画素値が必要とされる場合は、例えば、上端、下端、左端、右端の外側の画素が、それぞれ上端、下端、左端、右端の画素と同じ値を持つものとして処理をすれば良い。後述のフィルタリング部３４、平均値算出部３７などにおける演算においても同様である。

また、本発明における動きベクトル検出部５の処理方法は、上記方法に限定されるものでは無く、注目フレーム映像信号、後フレーム映像信号のほかに、注目フレーム映像信号より１フレーム前の映像信号をも用いる手法や、後フレーム映像信号を用いずに、注目フレーム映像信号と、注目フレーム映像信号より１フレーム前の映像信号をも用いる手法や、注目フレーム映像信号と後フレーム映像信号とを用い、位相相関関数を用いて求める手法などを採用しても良い。

図６は、画像補正処理部６の構成例を示す。図示の画像補正処理部６は、補正演算部３０と、操作信号処理部３１と、動きぼやけ推定部３２と、フィルタ係数保存部３３と、フィルタリング部３４と、平均値算出部３７と、補正強度調整部３８と、利得計算部３９とを備える。

補正演算部３０は、映像信号Ｄ２を受け、後述の利得ＧＡＩＮにより、画素毎に補正処理を行い、補正後の映像信号Ｅを画像選択部１０へ出力する。

操作信号処理部３１は、ユーザより図示しないインターフェースを用いて入力された信号ＰＲを解析し、解析結果として得られたパラメータを出力する。
操作信号処理部３１から出力されるパラメータには、調整パラメータＡＤＪ、補正強度パラメータＢＳＴ０、閾値ＴＨ１、ＴＨ２が含まれる。

調整パラメータＡＤＪは、動きベクトルから動きぼやけ量を算出するためのものであり、動きぼやけ推定部３２へ供給される。
閾値ＴＨ１は、フィルタリング部３４の特性を調整するためのものであり、フィルタリング部３４へ供給される。
補正強度パラメータＢＳＴ０は、補正強度を決定するものであり、閾値ＴＨ２は、画像の特徴の判別に用いられるものであり、これらは補正強度調整部３８へ供給される。

動きぼやけ推定部３２は、動きベクトル検出部５で検出した動きベクトルＶ（垂直方向成分Ｖｙ(＝ｋｍ)，水平方向成分Ｖｘ(＝ｌｍ)）を入力とし、該動きベクトルを極座標で表したときの成分（大きさ及び角度）を算出する。具体的には、動きベクトルの向きが水平方向右向きとなる場合を０度として、動きベクトルの方向Ａ（度）と大きさＬＭ（画素）を次式にて算出する。

動きぼやけ推定部３２ではさらに、動きベクトルに対応する角度及び動きぼやけの大きさ（動きの方向のぼやけ幅）を求める。例えば、動きぼやけの角度は、動きベクトルの角度Ａと同じとし、一方、動きぼやけの大きさＬＢは、動きベクトルの大きさＬＭに調整パラメータＡＤＪ（０＜ＡＤＪ≦１）を乗算した値に等しいとし、下記の式（５）により、動きぼやけの大きさＬＢを求める。
ＬＢ＝ＬＭ＊ＡＤＪ （５）

調整パラメータＡＤＪは、図７に示すように、フレーム期間の長さＴｆに対する、撮像期間の長さＴｓ、例えば電荷蓄積時間の比（Ｔｓ／Ｔｆ）に相当する値を持つものであり、各フレームにおける実際の撮像期間の長さＴｓに応じて変更しても良いが、本実施の形態が対象としている条件下での撮像期間の典型的な値、平均値、あるいは中間値に基づいて定めても良い。例えば中間値を用いる場合、撮像期間がフレーム期間のＥＸＳ倍からＥＸＬ倍（ＥＸＳ、ＥＸＬともに１より小さい）の範囲内であれば、その中間値（ＥＸＳ＋ＥＸＬ）／２をＡＤＪと定めることとする。
このように調整パラメータＡＤＪを掛けるのは、動きベクトルＶはフレーム間で検出され、従って、フレーム期間当たりの動きの量を反映したものであるのに対して、動きぼやけは、撮像期間中の被写体の動きに起因するものであるためである。

フィルタ係数保存部３３は、予め複数の動きぼやけの方向及び大きさの組合せに対応付けて複数のローパスフィルタ係数（２次元ＦＩＲフィルタ係数）をテーブル形式で記憶している。このフィルタ係数は、特定の方向及び大きさの動きぼやけを含む映像信号から、動きぼやけの成分を低減するためのものである。
動きぼやけ推定部３２は、上記のようにして算出した動きぼやけの方向Ａ及び大きさＬＢの組合せに対応したフィルタ係数をテーブルから読み出すため、動きぼやけの方向Ａ及び大きさＬＢからテーブルへのポインタＩＮＤを算出して、フィルタ係数保存部３３へ入力する。
フィルタ係数保存部３３は、入力されたポインタＩＮＤに対応して記憶されているフィルタ係数ＣＦ（ｐ，ｑ）を読み出し、フィルタリング部３４へ出力する。
このように、動きぼやけ推定部３２は、ポインタＩＮＤをフィルタ係数保存部３３に供給することで、フィルタ係数保存部３３に保存されたフィルタ係数の中から、推定された動きぼやけの方向Ａ及び大きさＬＢに対応したフィルタ係数ＣＦ（ｐ，ｑ）を選択する。

フィルタリング部３４は、動きぼやけ推定部３２により選択されたフィルタ係数ＣＦ（ｐ，ｑ）を用いてフィルタリングを行う。即ち、フィルタリング部３４は、上記のようにしてフィルタ係数保存部３３から読み出されるフィルタ係数ＣＦ（ｐ，ｑ）（但し、−Ｐ≦ｐ≦Ｐ、−Ｑ≦ｑ≦Ｑ）を用いて、映像信号Ｄ２の各注目画素Ｐ（ｉ，ｊ）の周辺領域内の画素の画素値を用いて、フィルタリングを行い、フィルタリングの結果ＦＬ１（ｉ，ｊ）を出力するものであり、非線形処理部３５と、ローパスフィルタ３６とを有する。

非線形処理部３５は、注目画素の画素値Ｄ２（ｉ，ｊ）と、その周辺領域内の画素の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）との差分と、操作信号処理部３１より入力される閾値ＴＨ１とに基づいて下記の式（６ａ）〜（６ｆ）で示される非線形処理を行う。

（Ａ） Ｄ２（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）＞ＴＨ１のとき
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）＝ＴＨ１ （６ａ）
となるように、即ち、
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ，ｊ）＋ＴＨ１ （６ｂ）
により、
（Ｂ） Ｄ２（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）≦−ＴＨ１のとき
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）＝−ＴＨ１ （６ｃ）
となるように、即ち、
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ，ｊ）−ＴＨ１ （６ｄ）
により、
（Ｃ） 上記（Ａ）、（Ｂ）以外のとき
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ）
＝Ｄ２（ｉ−ｐ，ｊ−ｑ）−Ｄ２（ｉ，ｊ） （６ｅ）
となるように、即ち、
Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ−ｐ，ｊ−ｑ） （６ｆ）
により、Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）を定める。

ローパスフィルタ３６は、各注目画素Ｄ２（ｉ，ｊ）の周辺領域、即ち、（２Ｐ＋１）＊（２Ｑ＋１）個の画素から成る範囲で、上記の非線形処理の結果として得られる値Ｄ２ｂ（ｉ−ｐ，ｊ−ｐ）に対して、対応するフィルタ係数ＣＦ（ｐ，ｑ）を乗算し、乗算結果の総和をフィルタリング結果ＦＬ１（ｉ，ｊ）として求める。

ローパスフィルタ３６で用いられるフィルタ係数ＣＦ（ｐ，ｑ）について以下に説明する。
フィルタ係数は注目画素を中心として、−Ｐ≦ｐ≦Ｐ、−Ｑ≦ｑ≦Ｑの領域内の画素について定義される。
先にも述べたように、フィルタ係数ＣＦ（ｐ，ｑ）は、動きぼやけの角度Ａ及び大きさＬＢに基づいて決められる。
図８〜図１０は、フィルタ係数が定義される領域のうち、動きぼやけの幾つかの例に対して、フィルタ係数が０以外の値に定義される領域を示す。以下では、このフィルタ係数が０以外の値となる領域を有効フィルタリング領域ＥＦＡと言う。有効フィルタリング領域ＥＦＡ内の画素位置におけるフィルタ係数の総和は１である。

動きぼやけの大きさＬＢ及びその角度Ａに応じた帯状の領域が、有効フィルタリング領域ＥＦＡとされる。そして、有効フィルタリング領域ＥＦＡに完全に又は部分的に含まれる画素に対して、その有効フィルタリング領域ＥＦＡに含まれる割合に応じた重み付け係数を与える。例えば、有効フィルタリング領域ＥＦＡに部分的に含まれる画素に対しては、有効フィルタリング領域ＥＦＡに完全に（その全体が）含まれる画素よりも重み付け係数の値を小さくし、各画素についての重み付け係数の値は、該画素が有効フィルタリング領域ＥＦＡに含まれる割合に比例した値とする。

この帯状の領域は、動きぼやけの方向に延在するものであり、その長さは、動きぼやけの大きさＬＢの所定数倍、例えば２倍であり、動きぼやけの始端及び終端からその前後に所定量、例えば、動きぼやけの大きさＬＢの０．５倍ずつ延長した長さを有する。帯状の領域の幅は、１画素のサイズに相当するものとする。図８〜図１０に示す例は、１画素のサイズが垂直方向と水平方向とで同じであるものとして示してある。図８〜図１０ではまた、動きぼやけの始点が座標（ｉ，ｊ）で示される位置にあるものとしている。

図８に示される例では、動きぼやけが水平方向右向きでその大きさＬＢが４画素分である。この場合、動ききぼやけは、動きぼやけの始点の画素Ｐｓ（座標（ｉ，ｊ）の画素）の中心から終点の画素Ｐｅ（座標（ｉ，ｊ＋４）の中心まで延びていると見て、その前後に２画素（０．５×４画素）の長さを加える。即ち、始点の画素Ｐｓの中心から後方（図８で左方）へ２画素分後退した（図で左方に移動した）位置、即ち、座標（ｉ，ｊ−２）の画素の中心から、終点の画素Ｐｅの中心から前方（図８で右方）へ２画素分前進した（図で右方に移動した）位置、即ち、座標（ｉ，ｊ＋６）の画素の中心までの範囲を有効範囲とする。これらの画素に対して、その有効フィルタリング領域ＥＦＡに含まれる割合に応じた重み付け係数を与える。即ち、座標（ｉ，ｊ−１）の画素から、座標（ｉ，ｊ＋５）までの画素に対しては同じ値の係数を与え、座標（ｉ，ｊ−２）の画素、座標（ｉ，ｊ＋６）の画素は、各々半分のみが有効フィルタリング領域ＥＦＡに含まれるので、他の画素（座標（ｉ，ｊ−１）から座標（ｉ，ｊ＋５）までの画素）の係数の１／２の値を与える。

図８の例では、有効フィルタリング領域ＥＦＡ内に半分のみ含まれる画素の数が２であり、有効フィルタリング領域ＥＦＡに完全に含まれる画素の数が６であるので、有効フィルタリング領域ＥＦＡに完全に含まれる画素に対しては１／７の重み付け係数が与えられ、有効フィルタリング領域ＥＦＡに半分だけ含まれる画素に対しては１／１４の重み付け係数が与えられる。

図９に示される例では、動きぼやけが水平方向右向きでその大きさＬＢが３画素分である。この場合、動きぼやけは、動きぼやけの始点の画素Ｐｓ（座標（ｉ，ｊ）の画素）の中心から終点の画素Ｐｅ（座標（ｉ，ｊ＋３）の中心まで延びていると見て、その前後に１．５画素（０．５×３画素）の長さを加える。即ち、始点の画素Ｐｓの中心から後方（図９で左方）へ１．５画素分後退した位置、即ち、座標（ｉ，ｊ−１）の画素の左端から、終点の画素Ｐｅの中心から前方（図９で右方）へ１．５画素分前進した位置、即ち、座標（ｉ，ｊ＋４）の画素の右端までの範囲を有効範囲とする。そして、図９の例では、有効フィルタリング領域ＥＦＡに部分的に含まれる画素は存在せず、有効フィルタリング領域ＥＦＡに完全に含まれる画素の数が６であるので、これらの画素の各々についての係数を１／６と定める。

図１０に示される例では、動きぼやけの大きさＬＢは３画素分であり、図９の場合と同じであり、有効フィルタリング領域ＥＦＡの長さ及び幅は、図９の場合と同じであるが、動きぼやけの角度が３０度であり、その結果、部分的にのみ有効フィルタリング領域ＥＦＡに含まれる画素の数が多く存在する。具体的には、座標（ｉ−３，ｊ＋４）、座標（ｉ−２，ｊ＋２）、座標（ｉ−２，ｊ＋３）、座標（ｉ−２，ｊ＋４）、座標（ｉ−１，ｊ）、座標（ｉ−１，ｊ＋１）、座標（ｉ−１，ｊ＋２）、座標（ｉ−１，ｊ＋３）、座標（ｉ，ｊ−１）、座標（ｉ，ｊ）、座標（ｉ，ｊ＋１）、座標（ｉ，ｊ＋２）、座標（ｉ＋１，ｊ−１）、座標（ｉ＋１，ｊ）の画素がそれぞれ部分的に有効フィルタリング領域ＥＦＡに含まれている。そこで、これらの１４個の画素に対して有効フィルタリング領域ＥＦＡに含まれる割合に応じて重み付け係数を与える。

動きぼやけの大きさＬＢ、角度Ａの他の値についても同様に各画素についての重み付け係数を求める。但し、動きぼやけの大きさＬＢ、角度Ａが取り得る値のすべてについて重み付け係数を求めるのではなく、大きさＬＢ、角度Ａの各々について、互いに所定の範囲ごとの代表値ＬＲ、ＡＲに対して重み付け係数を求め、フィルタ係数としてフィルタ係数保存部３３に保存しておき、それぞれの範囲内の大きさＬＢ、角度Ａに対しては、代表値ＬＲ、ＡＲに対して求められ、保存されているフィルタ係数を用いる。代表値ＬＲ、ＡＲ（またはこれに対応する値）は、後述のポインタＩＮＤの生成に用いられる。これらの点については後にさらに詳しく説明する。

なお、上記の例では、有効フィルタリング領域ＥＦＡが、動きぼやけを、その始端及び終端から前後に動きぼやけの大きさＬＢの０．５倍ずつ延長した長さを有することとしているが、該延長量を動きぼやけの大きさＬＢに関係しない所定値としてもよく、例えば、該延長量を０．５画素分としても良い。また、該延長量をゼロとしても良い。
また、有効フィルタリング領域ＥＦＡに含まれる画素について、有効フィルタリング領域ＥＦＡに含まれる割合に応じた重み付けを行う一方、注目画素からの距離に応じた重み付けを行わない構成を持つ移動平均フィルタを用いているが、注目画素からの距離に応じた重み付けを行う構成であっても良い。そのようなフィルタの例としてガウスフィルタがある。
先にも述べた通り、ローパスフィルタ３６は、各注目画素Ｄ２（ｉ，ｊ）の周辺領域の画素についての非線形処理の結果として得られる値Ｄ２ｂ（ｉ−ｐ，ｊ−ｐ）に対して、フィルタ係数保存部３３から読み出された、対応するフィルタ係数ＣＦ（ｐ，ｑ）を乗算し、乗算結果の総和をフィルタリング結果ＦＬ１（ｉ，ｊ）として求める。このフィルタリングは下記の式で表される。

式（７）によるフィルタ結果ＦＬ１（ｉ，ｊ）は、利得計算部３９へ出力される。
平均値算出部３７は、映像信号Ｄ２の各注目画素Ｄ２（ｉ，ｊ）の周辺領域内の画素の画素値の平均値ＦＬ２（ｉ，ｊ）を出力する。
ここで言う周辺領域は、例えば、（２Ｐ＋１）＊（２Ｑ＋１）個の画素から成る範囲であり、平均値算出部３７は、該範囲内の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）の平均値ＦＬ２（ｉ，ｊ）、即ち、下記の式（８）で表される値を計算し、補正強度調整部３８へ出力する。

補正強度調整部３８は、注目画素の近傍における画素値の変化の度合い乃至大きさ、例えば、注目画素の画素値Ｄ２（ｉ，ｊ）と周辺領域内の画素の画素値の平均値ＦＬ２（ｉ，ｊ）との差に応じて、注目画素に対する補正強度を調整する。補正強度の調整は以下に説明するように補正強度パラメータＢＳＴ１（ｉ，ｊ）の調整により行われる。
具体的には、補正強度調整部３８は、操作信号処理部３１から入力される補正強度パラメータＢＳＴ０に基づいて、調整後の補正強度パラメータＢＳＴ１を出力するものであり、入力画像遅延部４から入力された映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）と、平均値算出部３７からの平均値ＦＬ２（ｉ，ｊ）との差分の絶対値が、操作信号処理部３１から入力される閾値ＴＨ２より小さい場合は、操作信号処理部３１から入力される補正強度パラメータＢＳＴ０より小さい調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）を生成して、利得計算部３９へ出力する。調整後の補正強度パラメータＢＳＴ（ｉ，ｊ）としては、例えばＢＳＴ０×β（β＜１）で与えられるものを用いることができる。調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）を補正強度パラメータＢＳＴ０に対してどの程度小さくするか（例えば、βの値）は、ユーザが決定可能としても良い。例えば、β＝１／２としても良く、β＝０としても良い。

画素値Ｄ２（ｉ，ｊ）と平均値ＦＬ２（ｉ，ｊ）の差分の絶対値が、閾値ＴＨ２よりも小さくないときは、補正強度パラメータＢＳＴ０をそのまま調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）として出力する。従って、（Ｄ２（ｉ，ｊ）−ＦＬ２（ｉ，ｊ））と、調整後の補正強度パラメータＢＳＴ１との関係は、図１１に示されるごとくである。

利得計算部３９は、フィルタリング部３４から得られるフィルタ結果ＦＬ１（ｉ，ｊ）と、補正強度調整部３８から出力される調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）と、入力画像遅延部４から入力される映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）を参照し、補正処理で用いられる乗算係数乃至利得ＧＡＩＮ（ｉ，ｊ）を次式に基づき計算する。

ＧＡＩＮ（ｉ，ｊ）
＝１＋ＢＳＴ１（ｉ，ｊ）−ＢＳＴ１（ｉ，ｊ）＊ＦＬ１（ｉ，ｊ）／Ｄ２（ｉ，ｊ）
（９）

ただし、Ｄ２（ｉ，ｊ）＝０の場合は、便宜的にＤ２（ｉ，ｊ）＝１として計算する。また、式（９）を計算した結果、ＧＡＩＮ＜０となる場合は、ＧＡＩＮ（ｉ，ｊ）＝０とする。そして、得られた利得ＧＡＩＮ（ｉ，ｊ）を補正演算部３０へ出力する。

補正演算部３０は、入力画像遅延部４から入力される映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）に対し、次式に基づく計算により画素値Ｅ（ｉ，ｊ）を求め、補正後の映像信号の画素Ｐ（ｉ，ｊ）の画素値として画像選択部１０へ出力する。
Ｅ（ｉ，ｊ）＝ＧＡＩＮ（ｉ，ｊ）＊Ｄ２（ｉ，ｊ） （１０）

図１２は、処理画像遅延部７の構成例を示す。図示の処理画像遅延部７は、フレームメモリ４１と、フレームメモリ制御部４２とを備えている。フレームメモリ４１は入力された映像信号Ｅ０を少なくとも１フレーム分記憶可能な容量を有している。

フレームメモリ制御部４２は、入力された映像信号Ｅ０に含まれる同期信号を元に生成したメモリアドレスに従い、入力された映像信号Ｅ０の書込みと、蓄積された映像信号の読み出しとを行う。具体的には、入力された映像信号Ｅ０を１フレーム分遅延させ、映像信号Ｅ１として出力する。

次に、動きベクトルＶの検出に誤りが少ないかどうか、従って、信頼性が十分に高いかどうかの判定を行うアルゴリズムについて述べる。この判定は、高周波成分検出部８及び判定部９で行われものであり、各フレーム中の各画素についての動きベクトルは、その周囲の画素についての動きベクトルに対して大きく異なることは少ないとことに基づくものである。
即ち、動きベクトルの検出は、動きベクトル検出部５により行われるが、注目画素（ｉ，ｊ）における動きベクトルＶ（Ｖｙ（ｉ，ｊ），Ｖｘ（ｉ，ｊ））は、その周辺画素における動きベクトルＶから大きく変化することがある。しかしながら、多くの場合映像信号は相関の強い画素が一定領域において２次元で並んでいると考えられ、意味のある２次元情報を構成していると考えられる。１フレーム内において検出された動きベクトルの変化が多い場合、動きベクトルの検出に誤りが多く、信頼性が低いと推定することができる。そこで、動きベクトル検出部５により検出された動きベクトルの高周波成分を検出し、上記のような変化を捉えることを考える。

例えば、高周波成分検出部８は、次式のような２次元の２階差分を垂直方向の動きベクトルと水平方向の動きベクトル（動きベクトル検出部５から出力される）に対して演算し、それぞれの絶対値を加算することで、注目画素（ｉ，ｊ）の高周波成分Ｌ（ｉ，ｊ）として出力する。

Ｌ（ｉ，ｊ）
＝｜Ｖｙ（ｉ−１，ｊ）＋Ｖｙ（ｉ＋１，ｊ）＋Ｖｙ（ｉ，ｊ−１）＋Ｖｙ（ｉ，ｊ＋１）−４Ｖｙ（ｉ，ｊ）｜
＋｜Ｖｘ（ｉ−１，ｊ）＋Ｖｘ（ｉ＋１，ｊ）＋Ｖｘ（ｉ，ｊ−１）＋Ｖｘ（ｉ，ｊ＋１）−４Ｖｘ（ｉ，ｊ）｜
（１４）

高周波成分Ｌ（ｉ，ｊ）を閾値Ｃ１と比較し、比較結果としての高周波成分検出結果Ｈを次のように得る。

（Ａ） Ｌ（ｉ，ｊ）＜Ｃ１であれば、Ｈ（ｉ，ｊ）＝０ （１５ａ）
（Ｂ） Ｌ（ｉ，ｊ）≧Ｃ１であれば、Ｈ（ｉ，ｊ）＝１ （１５ｂ）

式（１５ａ）、式（１５ｂ）による判定結果でＨ(ｉ，ｊ)＝１となった場合、各画素について検出された動きベクトルが誤検出されたものである推定して処理する。

次に判定部９では、高周波成分検出部８から出力された高周波成分検出結果Ｈを１フレーム分計数乃至積算する。つまり、高周波成分検出結果Ｈの１フレーム分の合計Ｔを下記の式（１６）によって得る。

（Ｍは画像の垂直方向サイズ（画素数）、Ｎは画像の水平方向サイズ（画素数）である。）

そして、上式（１６）で得た合計Ｎｈｆと閾値Ｃ２との比較により、判定結果Ｒを次のように得る。
（Ａ） Ｎｈｆ＜Ｃ２であれば、Ｒ＝０ （１７ａ）
（Ｂ） Ｎｈｆ≧Ｃ２であれば、Ｒ＝１ （１７ｂ）

Ｒ＝１の場合には、当該フレームには動きベクトルの検出に誤りが多く、信頼性が低いと判断する。
一方、Ｒ＝０の場合には、当該フレームにおける動きベクトルの検出には誤りが少なく、信頼性が十分に高いと判断する。

判定部９から出力された判定結果Ｒは画像選択部１０へ入力され、画像選択部１０は、選択制御信号Ｒが「０」の場合は処理画像遅延部７から出力される補正された映像信号Ｅ１（図２（ｈ））を選択して最終出力映像信号Ｆとして出力し（図２（ｋ））、選択制御信号Ｒが「１」の場合は入力画像遅延部４から出力される映像信号Ｄ３（図２（ｆ））を選択して最終出力映像信号Ｆとして出力する（図２（ｌ））。

画像選択部１０から出力された最終出力映像信号Ｆは、画像表示部３にて表示される。

なお、図１の構成において、入力画像遅延部４、動きベクトル検出部５、及び画像補正処理部６において、輝度信号（Ｙ）のみを処理することで、被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減することができる。しかしながら、輝度信号（Ｙ）だけでなく、赤色信号（Ｒ）、青色信号（Ｇ）、緑色信号（Ｂ）を個別に処理してもよい。またＲ、Ｇ、Ｂの和を表す信号で、式（９）の利得ＧＡＩＮ（ｉ，ｊ）を求め、画像補正処理部６の動作に関し、式（１０）ではＲ、Ｇ、Ｂ個別に処理をしても良い。また、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）を個別に処理してもよい。輝度信号（Ｙ）で利得ＧＡＩＮ（ｉ，ｊ）を求め、求めた利得ＧＡＩＮ（ｉ，ｊ）を用いて、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）の各々に対して、式（１０）の演算により個別に処理しても良い。他の色表現フォーマットでも同様な処理が行える。

以下、画像処理装置２の各構成要素の動作についてさらに詳しく説明する。
画像処理装置２に入力された映像信号Ｄ０は入力画像遅延部４に入力される。
図２（ａ）〜（ｌ）は、入力画像遅延部４に入力される映像信号Ｄ０と、入力画像遅延部４から出力される映像信号Ｄ１、Ｄ２、Ｄ３の関係を説明する図である。図２（ａ）に示される入力垂直同期信号ＳＹＩに同期して、図２（ｂ）に示すように、フレームＦ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４の入力映像信号Ｄ０が順次入力される。

フレームメモリ制御部１２は入力垂直同期信号ＳＹＩを元にフレームメモリ書込みアドレスを生成し、入力映像信号Ｄ０をフレームメモリ１１に記憶させると共に、図２（ｃ）に示す出力垂直同期信号ＳＹＯ（入力垂直同期信号ＳＹＩに対して遅れがないものとして示してある）に同期して、図２（ｄ）に示すように、入力映像信号Ｄ０に対してフレーム遅延のない映像信号Ｄ１（フレームＦ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４の映像信号）を出力する。

フレームメモリ制御部１２はまた、出力垂直同期信号ＳＹＯを元にフレームメモリ読み出しアドレスを生成し、フレームメモリ１１に蓄えられた、１フレーム遅延映像信号Ｄ２（図２（ｅ））、２フレーム遅延映像信号Ｄ３（図２（ｆ））を読み出して出力する。

この結果、入力画像遅延部４からは、連続する３フレームの映像信号Ｄ１、Ｄ２、Ｄ３が同時に出力される。即ち、フレームＦ２の映像信号が映像信号Ｄ０として入力されるタイミング（フレーム期間）に、フレームＦ２、Ｆ１、Ｆ０の映像信号が映像信号Ｄ１、Ｄ２、Ｄ３として出力され、フレームＦ３の映像信号が映像信号Ｄ０として入力されるタイミング（フレーム期間）に、フレームＦ３、Ｆ２、Ｆ１の映像信号が映像信号Ｄ１、Ｄ２、Ｄ３として出力される。

入力画像遅延部４から出力された、連続する２フレームの映像信号Ｄ１、Ｄ２は、動きベクトル検出部５へ供給され、映像信号Ｄ２は画像補正処理部６へも供給され、映像信号Ｄ３は画像選択部１０へ供給される。
動きベクトル検出部５に入力された映像信号Ｄ１、Ｄ２は、それぞれ後フレームブロック切り出し部２２、注目フレームブロック切り出し部２１へ入力される。

動きベクトル検出部５では、例えば、映像符号化でよく用いられる差分絶対値和ＳＡＤを用いた動きベクトルの検出を行い、検出した動きベクトルの値Ｖ（図２（ｉ））を出力する。本実施の形態では、動きぼやけが生じている画素の動きぼやけを軽減することが目的であるため、画素毎に差分絶対値和ＳＡＤを計算し、その最小値から動きベクトルを求める。
しかし、差分絶対値和ＳＡＤを求める演算を全画素について実行すれば、演算量が莫大となってしまうため、映像符号化と同様に動きベクトルを検出するためのブロックが、隣り合うもの同士で重ならないように処理し、動きベクトルを検出しない画素に対しては、周辺で検出された動きベクトルより補間することとしても良い。

また、上記においては、動きベクトル検出部５で用いるブロックサイズを、注目画素Ｐ（ｉ，ｊ）を中心に上下及び左右が同じサイズの矩形の領域とし、矩形領域の高さ及び幅をそれぞれ（２＊ＢＭ＋１）、（２＊ＢＮ＋１）で表される奇数とした。しかしながら、矩形領域の高さ及び幅は、奇数でなくても良く、注目画素の矩形領域内の位置は正確に中心でなくても、若干ずれた位置であっても良い。

さらには、式（１）のように、探索範囲を−ＳＶ≦ｋ≦ＳＶ、−ＳＨ≦ｌ≦ＳＨと定義し、本範囲に含まれる全てのｋおよびｌに対して差分絶対値和ＳＡＤを計算するものとした。しかし、演算量を削減する目的でｋおよびｌを適度に間引き差分絶対値和ＳＡＤを計算しても良い。この場合、間引かれた（間引きにより除去された）位置（ｉ＋ｋ，ｊ＋ｌ）については、その周辺の位置についての、差分絶対値和ＳＡＤ（ｉ＋ｋ，ｊ＋ｌ）から補間をして用いても良い。また、動きベクトルの精度を検討し、精度に問題が無ければ間引いて得られた差分絶対値和ＳＡＤを用いても良い。

画像補正処理部６では、映像信号Ｄ２（図２（ｅ））に対して補正処理を加え、補正処理後の映像信号Ｅ０を出力する（図２（ｇ））を出力する。

画像補正処理部６に入力された動きベクトルＶは、まず動きぼやけ推定部３２へ入力される。動きぼやけ推定部３２へ入力される動きベクトルＶは、図１３のように垂直方向の成分Ｖｙ（ｉ，ｊ）と水平方向の成分Ｖｘ（ｉ，ｊ）とで表されているので、式（３）より動きベクトルの方向Ａ（度）を算出し、式（４）より動きベクトルの大きさＬＭ（画素）を算出する。

ここで、カメラを静止し、等速直線運動をしている物体を撮影した場合を考える。この時撮像される連続した３フレームの映像信号で表される画像の要素の動きの一例を図１４（ａ）、（ｂ）に示す。図示の例では、１フレーム目と２フレーム目の間（図１４（ａ））と２フレーム目と３フレーム目との間（図１４（ｂ））の各々において、画像の要素ＥＳが、水平方向に４画素移動し、垂直方向には移動していない（Ｖｙ＝０、Ｖｘ＝４）。従って、１フレーム目と２フレーム目の間、及び２フレーム目と３フレーム目の間における動きベクトルは、図１４（ａ）、図１４（ｂ）の矢印のように水平方向４画素、垂直方向０画素として検出される。

仮に、図１４（ａ）、図１４（ｂ）に示される画像の撮像期間Ｔｓが１フレーム期間Ｔｆと等しければ、動きぼやけの大きさＬＢも水平方向に４画素、垂直方向に０画素となる。
しかし、実際には撮像期間Ｔｓは、図７に示すように、１フレーム期間Ｔｆよりも短いため、図１５（ａ）、（ｂ）に示すように、動きぼやけの大きさＬＢは、動きベクトルの大きさＬＭによりも小さく、その割合は、１フレーム期間Ｔｆに対する、撮像期間Ｔｓの長さの比（Ｔｓ／Ｔｆ）に相当する。

このことを考慮し、動きベクトルの大きさＬＭに、１よりも小さい調整パラメータＡＤＪを掛けた値を、動きぼやけの大きさＬＢと推定する。調整パラメータＡＤＪは、先に述べたように、各フレームの実際の撮像期間の長さＴｓに基づいて決めても良く、経験的に決定することとしても良く、ユーザにより設定可能としても良い。

次に、フィルタ係数保存部３３のテーブルからフィルタ係数を読み出すためのポインタＩＮＤの算出方法を説明する。
例えば、フィルタ係数保存部３３に保存されているフィルタ係数が、角度（単位が「度」であるとする）の代表値としての、０度から１６５度までの１５度毎の角度、大きさの代表値としての、１から２１までの奇数に対して定義されているとする。
このとき、式（５）で得られたＬＢを四捨五入し、四捨五入の結果が偶数であれば１を加算して奇数にし（ＬＢ＝ＬＢ＋１）、このような処理の結果が「２１」よりも大きければ、「２１」にクリッピングし、このような処理をした結果を、動きぼやけの大きさの代表値ＬＲとして出力する。動きぼやけの大きさＬＢの値が代表値ＬＲを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの大きさＬＢは代表値ＬＲに変換される。

一方、角度Ａについては、式（３）で求められたＡが０より小さければ、１８０度を加算し（Ａ＝Ａ＋１８０）、１５度単位で四捨五入（Ｒ丸め）するためＡ２＝（Ａ＋７．５）／１５を小数点以下切り捨て、その結果が１２以上であれば（Ａ２≧１２）、Ａ２＝０とする。このような処理の結果を、動きぼやけの角度の代表値ＡＲに対応する値ＡＲ２として出力する。ＡＲとＡＲ２との間には次の関係がある。
ＡＲ＝１５×ＡＲ２

動きぼやけの角度Ａの値が代表値ＡＲを含む所定の範囲内であれば、上記の処理をすることにより、動きぼやけの角度Ａは代表値ＡＲに対応する値ＡＲ２に変換される。
動きぼやけの大きさの代表値ＬＲ、及び角度の代表値ＡＲに対応する値ＡＲ２を用いて、次式のような計算により、テーブルからの読み出しのためのポインタＩＮＤとすることができる。
ＩＮＤ＝１２＊（（ＬＲ−１）／２−１）＋ＡＲ２ （１１）

式（１１）に基づいてＡＲ２およびＬＲからポインタＩＮＤを求めるテーブルの具体例を図１６に示す。図１６には示していないが、ＬＲ＝１の場合のフィルタ係数ＣＦ（ｐ，ｑ）は、ｉ＝０、ｊ＝０の場合には、例えば、ＣＦ（ｉ，ｊ）＝１、それ以外の場合には、ＣＦ（ｉ，ｊ）＝０と定められる。

フィルタ係数保存部３３は、動きぼやけ推定部３２よりポインタＩＮＤが入力されると、入力されたポインタＩＮＤに対応するフィルタ係数ＣＦ（ｐ，ｑ）をローパスフィルタ３６に供給する。フィルタ係数保存部３３に保存されるフィルタ係数は、ユーザが自由に設計することができる。フィルタ係数はローパスフィルタを実現するものであればよく、比較的設計しやすいことも本実施の形態の特徴である。

次に、ローパスフィルタ３６を備えるフィルタリング部３４について詳細に説明する。本実施の形態は、被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを、適切に軽減することを目的としており、次式に示すローパスフィルタを用いた手法をベースとしている。
Ｅ（ｉ，ｊ）
＝Ｄ２（ｉ，ｊ）＋ＢＳＴ１（ｉ，ｊ）＊（Ｄ２（ｉ，ｊ）−ＦＬ１（ｉ，ｊ））
（１２）

式（１２）を変形すると式（９）、式（１０）が得られる。式（１２）の考え方に基づいて処理を行うこととすれば、例えば緑色信号（Ｇ）を用いて式（９）による計算を行って、利得ＧＡＩＮ（ｉ，ｊ）を求め、補正演算部３０において、同じ画素の複数の色信号に対して同じ利得ＧＡＩＮ（ｉ，ｊ）を用いて式（１０）の演算を行うことで演算量を削減できる利点がある。しかしながら、式（１２）を用いる手法には以下の欠点もあり、そのため以下のような処理を行うこととしている。

式（１２）による手法は、フィルタ係数保存部３３より出力されたフィルタ係数ＣＦ（ｐ，ｑ）を用い、画像補正処理部６に入力された映像信号Ｄ２に対しローパスフィルタリングを行い、フィルタ結果ＦＬ１（ｉ，ｊ）を利得計算部３９へ出力する。しかし、式（１２）に基づくローパスフィルタリングによる動きぼやけ補正処理は、補正画像において強いエッジ部にオーバーシュートが生じる弊害が起きやすい。

そこで、ローパスフィルタ３６の前段に非線形処理部３５を挿入して、強いエッジ部でオーバーシュートが抑制できるような非線形処理を行う。例えば、操作信号処理部３１より入力される閾値ＴＨ１を用いて非線形処理を行い、オーバーシュートの抑制を行うこととする。具体的には、図１７に示すように、注目画素の画素値Ｄ２（ｉ，ｊ）と、その周辺領域内の画素の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）との差分値ＤＩＦ（ｉ−ｐ，ｊ−ｑ）＝Ｄ２（ｉ，ｊ）−Ｄ２（ｉ−ｐ，ｊ−ｑ）を閾値ＴＨ１によりクリッピングする。即ち、フィルタリング部３４は、注目画素の画素値Ｄ２（ｉ，ｊ）とその周辺領域内の画素の各々の画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）との差ＤＩＦ（ｉ−ｐ，ｊ−ｑ）の絶対値が、予め定められた閾値ＴＨ１を超えないように、周辺領域内の画素の各々の画素値画素値Ｄ２（ｉ−ｐ，ｊ−ｑ）に対してクリッピング処理を行い、クリッピング処理後の画素値Ｄ２ｂ（ｉ−ｐ，ｊ−ｑ）を用いて、周辺領域内の画素に対して、ローパスフィルタリングを行う。これにより、仮に抑制を行わないとすれば、差分値ＤＩＦ（ｉ−ｐ，ｊ−ｑ）が大きく、利得計算部３９で算出される利得ＧＡＩＮ（ｉ，ｊ）が大きくなる画像のエッジ部において、利得を適切に制御することができる。

次に、補正強度調整部３８における処理について詳細を述べる。
補正強度調整部３８は、動きぼやけ補正処理後、ノイズ増幅効果で動きぼやけ補正画像の品質が下がることを抑制するためのものであり、操作信号処理部３１より入力される補正強度パラメータＢＳＴ０を、画像の特徴、例えば平坦さに応じて小さくしもしくは０として、調整後の補正強度パラメータＢＳＴ１とし、利得計算部３９へ出力する。

具体的には、映像信号Ｄ２を入力し、注目画素の周辺領域内の画素の画素値（例えば輝度値）の変化を検出し、該変化の大きさに応じて調整後の補正強度パラメータＢＳＴ１の値を決める。上記画素値の変化を表す指標としては、注目画素の画素値Ｄ２（ｉ，ｊ）と平均値算出部３７から出力される平均値ＦＬ２（ｉ，ｊ）との差分値の絶対値を用いる。そして、例えば、該絶対値が操作信号処理部３１より入力される閾値ＴＨ２より小さければ、注目画素の周辺領域内の画素値の変化が少ないと判断し、例えば調整後の補正強度パラメータＢＳＴ１を調整前の補正強度パラメータＢＳＴ０の１／２とし、上記の絶対値が閾値ＴＨ２より大きければ画素値の変化が大きいと判断し、調整前の補正強度パラメータＢＳＴ０をそのまま調整後の補正強度パラメータＢＳＴ１とする。そして、このようにして定められた調整後の補正強度パラメータＢＳＴ１を利得計算部３９へ出力する。

以下、上記の処理を行う意義についてさらに詳しく説明する。
被写体の動きやカメラの動きにより動きぼやけが生じた領域の動きぼやけを軽減するための処理は、これに付随的に映像信号中のノイズを増幅してしまうこととなる。特に、画素値の変化、例えば輝度の変化の少ない平坦な領域は、動きぼやけが生じていてもその影響は視覚的に小さく、補正処理が弱くても済む。仮にこのような領域で、補正強度パラメータ値ＢＳＴ０をそのまま用いて補正を行うと、ノイズを大きく増幅し、動きぼやけ補正結果の品質が低下することになる。そこで、平坦な領域を検出し、そのような領域では補正強度パラメータＢＳＴ０の代りにより小さい値を用いる適応処理を行う。このとき、平坦な領域か否かを判定するには、前述のように注目画素の画素値Ｄ２（ｉ，ｊ）とその周辺領域内の画素の画素値の平均ＦＬ２との差分を取り、閾値との大小で判定することとしている。
また、このような理由から、前述のように平均値算出部３７で算出された−Ｐ≦ｐ≦Ｐ、−Ｑ≦ｑ≦Ｑの領域内のすべての画素の画素値の単純平均値を用いている。

利得計算部３９は、フィルタリング部３４の出力ＦＬ１（ｉ，ｊ）、補正強度調整部３８から出力される調整後の補正強度パラメータＢＳＴ１（ｉ，ｊ）、映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）を用いて上記の式（９）に基づき利得ＧＡＩＮ（ｉ，ｊ）を計算し、算出した利得ＧＡＩＮ（ｉ，ｊ）を補正演算部３０へ供給する。
ただし、式（９）に示される演算において、注目画素の画素値Ｄ２（ｉ，ｊ）で除算する必要から、Ｄ２（ｉ，ｊ）＝０の場合にはＤ２（ｉ，ｊ）＝１として計算を行う。また、ＧＡＩＮ（ｉ，ｊ）＜０となった場合は、ＧＡＩＮ（ｉ，ｊ）＝０とクリッピングする。以上の計算により得られた利得ＧＡＩＮ（ｉ，ｊ）を補正演算部３０へ出力する。
補正演算部３０では、供給された利得ＧＡＩＮ（ｉ，ｊ）を画素値Ｄ２（ｉ，ｊ）に乗算することで、動きぼやけ補正を行う。乗算結果は、動きぼやけ補正を受けた画素値Ｅ（ｉ，ｊ）として出力され、画像選択部１０に供給される。

高周波成分検出部８及び判定部９は、動きベクトル検出部５から出力される動きベクトルＶを受け、各フレーム内において動きベクトルの検出誤りが少ないかどうか、即ち動きベクトルの検出結果は信頼性が十分に高いものであるかどうかの判定を行う。この判定は以下の考えによるものである。
注目画素（ｉ，ｊ）における動きベクトルＶ（Ｖｙ（ｉ，ｊ）、Ｖｘ（ｉ，ｊ））は、その周辺画素における動きベクトルＶから大きく変化する場合には、誤検出されたものである可能性が高い。また局所的に動きベクトルの変化が大きい箇所があるとしても、フレーム全体に及ぶことはまれである。従って、フレーム全体に亘り、動きベクトルの変化が多い場合には、動きベクトルの検出に誤りが多く、信頼性が低いと判定する。
例えば、カメラが静止しており、背景の中を速く動く移動物体を撮影した場合、背景と移動物体との境界領域に存在する画素の動きベクトルは、動きベクトルが０となる画素と一定方向に大きな値を取る画素とが隣り合わせで存在している。しかしながら、境界領域以外では、隣接する画素間での動きベクトルの違いは大きくない。即ち、多くの映像信号は相関の強い画素が一定領域において２次元で並んでおり、意味のある２次元情報を構成していると考えられる。
従って、１フレーム内に上記のような動きベクトルの変化が多数発生している場合は、動きベクトルの検出に誤りが多いと判定することができる。
そこで、各画素についての動きベクトルに対して高周波成分を検出することで上記のような変化を捉え、閾値Ｃ１との比較により、各画素についての動きベクトルが誤検出されたものであるどうかを高周波成分検出部８で推定し、判定部９で、各フレーム内において、動きベクトルが誤検出されたと推定された画素の数が閾値Ｃ２よりも多い場合には、当該フレームについての動きベクトルの検出は誤りが多く、信頼性が低いと判断する。

即ち、判定部９では、高周波成分検出部８から出力された高周波成分検出結果Ｈの１フレーム分の合計Ｔを計算する。つまり、各フレームの全体において、動きベクトルが誤検出されたと推定される画素の数を求めている。
なお、映像の中心部に重要なコンテンツを配置して撮影がなされることも多いことから、演算量の削減のため映像の中心領域のみ高周波成分の検出及び高周波成分検出結果Ｈの合計を求める演算に用いても良い。

最終的には、閾値Ｃ２と、各フレーム内において動きベクトルが誤検出されたと推定された画素の数との比較により、判定結果Ｒを得ているが、入力される映像信号の性質を予め利用することができる場合、閾値Ｃ２として予め設定した値を用いても良い。

なお、上記の例では、高周波成分検出部８における高周波成分の検出方法としての垂直方向の動きベクトルと水平方向の動きベクトルそれぞれに対し２階差分を算出し、それぞれの絶対値を足し合わせたが、入力される映像信号の性質を予め利用することができる場合、適切なカットオフ周波数を用いたハイパスフィルタリングを適用しても良い。
また、高周波成分を検出する際は、ユーザが外部から入力する閾値Ｃ１との比較に基づいているが、カットオフ周波数を明確に設定できる場合は、閾値Ｃ１として予め設定した値を用いても良い。

画像選択部１０は、判定部９から出力された判定結果Ｒに基づき、選択制御信号Ｒが「０」の場合は処理画像遅延部７から出力される補正された映像信号Ｅ１を選択して最終出力映像信号Ｆとして出力し、選択制御信号Ｒが「１」の場合は入力画像遅延部４から出力される映像信号Ｄ３を選択して最終出力映像信号Ｆとして出力する。

以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し１フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いて動きぼやけ補正処理を行うと共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、補正処理された映像信号と、元の映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補正処理を受けた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補正処理された映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補正処理された映像を用いることで動きぼやけに対する補正により動きぼやけの低減した映像を表示することができる。

実施の形態２．
図１８は、本発明の実施の形態２に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置１は、画像処理装置２ｂと、画像表示部３とを備え、画像処理装置２ｂは、図１の画像処理装置２と同様の、入力画像遅延部４、動きベクトル検出部５、高周波成分検出部８、判定部９、及び画像選択部１０を備えるとともに、フレームレート変換部１５、画像補正処理部１６、及び画像合成部１７を備える。

実施の形態２の画像処理装置２ｂは、入力された映像信号Ｄ０を受けて、フレームレートを高くした映像信号を生成するもので、そのために、入力映像信号のフレーム間に新たなフレーム（補間フレーム）の映像信号を補間により生成する。
映像信号Ｄ０は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置２ｂは、入力映像信号の相前後するフレーム間に補間フレームの映像信号を生成し、補間により生成された映像信号Ｊ０（補間により生成された画素値を持つ信号の列から成る）を１フレーム遅延した映像信号Ｊ１を、入力された映像信号Ｄ０を２フレーム遅延した映像信号Ｄ２の間に配置したフレーム列で構成される映像信号Ｋと、入力された映像信号Ｄ０を２フレーム遅延し、さらに、フレームレートを変換した映像信号Ｉのどちらかを選択して最終出力映像信号Ｆとして出力する。

画像処理装置２ｂに入力された映像信号Ｄ０（図１９（ａ））は、入力画像遅延部４に供給される。入力画像遅延部４はフレームメモリを用いて、入力された信号のフレーム遅延を行い、３枚の互いに異なるフレームの映像信号Ｄ１、Ｄ２、Ｄ３（図１９（ｂ）、（ｃ）、（ｄ））を生成する。図１９（ａ）〜（ｌ）において、符号Ｔ０、Ｔ１、Ｔ２、…は、入力映像信号の各フレーム期間を表す。そのうち、映像信号Ｄ１は、映像信号Ｄ０に対して遅延がなく、映像信号Ｄ２は映像信号Ｄ０に対して１フレームの遅延があり、映像信号Ｄ３は、映像信号Ｄ０に対して２フレームの遅延がある。

映像信号Ｄ２およびＤ１は動きベクトル検出部５及び画像補正処理部１６に出力され、
映像信号Ｄ３はフレームレート変換部１５に出力される。

フレームレート変換部１５は、映像信号Ｄ３のフレーム周波数を２倍にした映像信号Ｉを出力する（図１９（ｉ））。この映像信号Ｉは、映像信号Ｄ３の各フレームを、再生時間を１／２に短縮して２回ずつ繰り返すものである。

動きベクトル検出部５は、実施の形態１について説明したように、入力画像遅延部４から出力された２枚の異なるフレームの映像信号Ｄ２、Ｄ１を用い、映像信号Ｄ２に含まれる動きベクトルＶ（図１９（ｅ））を検出する。検出された動きベクトルＶは画像補正処理部１６及び高周波成分検出部８に出力される。
実施の形態１に関し説明したように、動きベクトルＶは、注目フレームのブロックと後フレームのブロックとの間で、式（２）で表される差分絶対値和が最小となるブロック間の相対位置（ｋｍ，ｌｍ）に対応するものであり、本実施の形態では、検出された動きベクトルＶ＝（Ｖｙ，Ｖｘ）＝（ｋｍ，ｌｍ）とともに、当該最小の差分絶対値和ＳＡＤ(ｉ＋ｋｍ，ｊ＋ｌｍ)が、当該動きベクトルＶに対応する差分絶対値和ｍｖ＿ｓａｄ（ｉ，ｊ）として画像補正処理部１６へ出力される。

画像補正処理部１６は、動きベクトル検出部５から出力された動きベクトルＶ及び差分絶対値和ｍｖ＿ｓａｄ（ｉ，ｊ）を入力とし、入力画像遅延部４から出力された各フレームの映像信号Ｄ２と次のフレームの映像信号Ｄ１の間の、時間的に中間の位置に存在すると推定される１つのフレームを補間により生成し、これにより、生成された補間フレームの列から成る映像信号Ｊ０を生成する。映像信号Ｊ０の各フレームを図１９（ｆ）に符号Ｆ０ｈ、Ｆ１ｈ、Ｆ２ｈ、…で示す。生成された映像信号Ｊ０は、，画像合成部１７に出力される。
また、画像補正処理部１６は、入力された映像信号Ｄ２をそのまま映像信号Ｇ０（Ｄ２と同内容のデータであり、図１９（ｃ）に示される）として画像合成部１７へ出力する。

画像合成部１７は、画像補正処理部１６から出力された映像信号Ｇ０及びＪ０をそれぞれ１フレーム分遅延させて映像信号Ｇ１（Ｄ３と同内容のデータであり、図１９（ｄ）に示される）、Ｊ１（図１９（ｇ）のＦ０ｈ、Ｆ１ｈ、Ｆ２ｈ、…）を生成し、映像信号Ｇ１、Ｊ１の順に交互に配置して、映像信号Ｄ０のフレーム周波数の２倍の周波数の映像信号Ｋとして画像選択部１０へ出力する（図１９（ｈ）のＦ０、Ｆ０ｈ、Ｆ１、Ｆ１ｈ、Ｆ２、Ｆ２ｈ、…）。
これにあわせて、フレームレート変換部１５により、映像信号Ｄ３を２倍のフレーム周波数に変換した映像信号Ｉが画像選択部１０に入力される。この映像信号Ｉは、映像信号Ｄ３の各フレームを、再生時間を１／２に短縮して２回ずつ繰り返すものである（図１９（ｉ）のＦ０、Ｆ０、Ｆ１、Ｆ１，Ｆ２、Ｆ２、…）。

高周波成分検出部８は動きベクトル検出部５から出力された動きベクトルＶ（図１９（ｅ））を入力し、ハイパスフィルタ（高域通過型フィルタ）で各画素についての高周波成分を抽出し、抽出した高周波成分の値を、外部から入力した閾値Ｃ１と比較し、比較結果を、当該画素についての高周波成分検出結果Ｈとして出力する。この高周波成分検出結果Ｈは、高周波成分の値が閾値Ｃ１よりも小さい場合には、値「０」を取り、高周波成分の値が閾値Ｃ１以上の場合には、値「１」を取る。
各画素についての動きベクトルＶの高周波成分の値が大きいほど、当該動きベクトルＶが誤検出されたものである可能性が高い。本実施の形態では、高周波成分の値が閾値Ｃ１以上の場合には、当該画素についての動きベクトルＶは誤検出されたもの推定して処理する。

判定部９は、高周波成分検出部８から出力された高周波成分検出結果Ｈを入力し、値「１」を取る高周波成分検出結果Ｈの数を１フレームに亘り計数する。そして、１フレーム中における、値「１」を取る高周波成分検出結果Ｈの発生回数を、外部から入力した閾値Ｃ２と比較し、比較結果を選択制御信号Ｒとして画像選択部１０に出力する。具体的には、１フレーム中における、値「１」を取る高周波成分検出結果Ｈの数が閾値Ｃ２よりも小さい場合は選択制御信号Ｒの値を「０」とし、閾値Ｃ２以上の場合は選択制御信号Ｒの値を「１」とする（図１９（ｊ））。

画像選択部１０は、選択制御信号Ｒが「０」の場合は画像合成部１７から出力される映像信号Ｋ（図１９（ｈ））を選択して最終出力映像信号Ｆとして出力し（図１９（ｋ））、選択制御信号Ｒが「１」の場合はフレームレート変換部１５から出力される映像信号Ｉ（図１９（ｉ））を選択して最終出力映像信号Ｆとして出力する（図１９（ｌ））。

各フレームについて値「１」を取る高周波成分検出結果Ｈが多いほど、当該フレームには動きベクトルＶの誤検出が多い可能性が高く、信頼性が低いと推定できる。本実施の形態では、値「１」を取る高周波成分検出結果Ｈの数Ｎｈｆが閾値Ｃ２以上の場合には、当該フレームについて、動きベクトルＶの誤検出が多く、従って、動きベクトルＶの検出結果は信頼性が低いものとして処理する。即ち、画像選択部１０において、動きベクトルＶを用いて行なわれた画像補正処理の結果得られた映像信号Ｋを選択せずに、元の映像信号（画像補正処理を受けていない映像信号）Ｉを選択して出力する。

各フレーム期間Ｔｎ（ｎは０、１、２、…のいずれか）において、動きベクトル検出部５から出力される動きベクトルＶは、１フレーム遅延映像信号Ｄ２の各画素についてのものであり、動きベクトルＶの高周波成分検出結果Ｈの各フレームにわたる集計が終わり、選択制御信号Ｒの値が決まるのは、当該フレーム期間の終わる時点に略一致する。そこで、各フレームの映像信号Ｄ２の動きベクトルＶに基づいて生成された選択制御信号Ｒの値は、２フレーム遅延映像信号Ｄ３に対応するフレームレート変換信号Ｉ及び１フレーム遅延した映像信号Ｇ１及び対応する補間映像信号Ｊ１を組合せて形成された映像信号Ｋが画像選択部１０に供給される、次のフレーム期間Ｔ（ｎ＋１）における画像選択部１０における選択に用いられる。

例えば、フレーム期間Ｔ１に入力画像遅延部４から出力され動きベクトル検出部５に入力される、フレームＦ０の映像信号Ｄ２に基づく選択制御信号Ｒ（Ｆ０）は、フレームＦ０の映像信号Ｄ３に対応するフレームレート変換信号Ｉ（Ｆ０、Ｆ０）及び対応する映像信号Ｇ１（Ｆ０）と対応する補間映像信号Ｊ１（Ｆ０ｈ）を組合せた映像信号Ｋ（Ｆ０、Ｆ０ｈ）が、画像選択部１０に入力される次のフレーム期間Ｔ２に、画像選択部１０に供給され、画像選択部１０では、この選択制御信号Ｒ（Ｆ０）に基づいて、フレーム期間Ｔ２における、映像信号Ｉ（Ｆ０、Ｆ０）又は映像信号Ｋ（Ｆ０、Ｆ０ｈ）の選択を行う。

画像表示部３は、画像選択部１０から出力された映像信号Ｆに基づく画像の表示を行なう。

ここで、ユーザは閾値Ｃ１を変更することにより、高周波成分検出部８における判定の厳しさ（高周波成分の値がどの程度のときに、誤検出と推定するか）を調整することができる。また、閾値Ｃ２を変更することにより、判定部９における判定の厳しさ（各フレーム中における動きベクトルが誤検出されたと推定される画素の数がどの程度のときに、当該フレームについての動きベクトルの検出結果の信頼性が低く、画像補正処理を受けた映像信号を選択しないとの決定をする）を調整することができる。

実施の形態２で用いられる入力画像遅延部４は、図３の入力画像遅延部４と同じ構成のものであるが、図３の入力画像遅延部４とは異なり、画像補正処理部１６へ、入力映像信号Ｄ０に対してフレーム遅延が無い映像信号Ｄ１と、映像信号Ｄ１に対して１フレーム遅延した映像信号Ｄ２を出力する。
これは、画像補正処理部１６において、２フレーム間に映像信号Ｊ０を補間により生成するためである。

図２０は、画像合成部１７の構成例を示す。図２０の画像合成部１７は、図１２の処理画像遅延部７と同様であるが、図１２の処理画像遅延部７と異なり、映像信号Ｇ０及びＪ０をそれぞれ１フレーム遅延させて、映像信号Ｇ１、Ｊ１を出力するものであり、このため、２フレーム分のフレームメモリを要する。
映像信号Ｊ０は、画像補正処理部１６において補間により生成された映像信号（補間フレームの映像信号）である。
映像信号Ｇ０は、画像補正処理部１６が、入力映像信号Ｄ２をスルー出力（そのまま出力）したものである。
なお、画像補正処理部１６では２フレーム間に複数枚の映像信号を補間することもできるが、その場合には、補間されるフレーム数＋１フレーム分のメモリを用意すれば良い。

以下、画像補正処理部１６の処理について詳細に説明する。
画像補正処理部１６は、上記のように、動きベクトル検出部５から出力された動きベクトルＶを入力とし、入力画像遅延部４から出力された注目フレームの映像信号Ｄ２および後フレームの映像信号Ｄ１の間に映像信号Ｊ０を補間により生成するものであり、画像補正処理部１６へは、入力画像遅延部４からの映像信号Ｄ２、Ｄ１が入力され、動きベクトル検出部５から注目フレームの動きベクトルＶ（Ｖｙ，Ｖｘ）及び差分絶対値和ＳＡＤが入力される。
画像補正処理部１６では、注目フレームＤ２の動きベクトルＶ（Ｖｙ，Ｖｘ）及び差分絶対値和ＳＡＤを受けて、補間フレームＪ０上の動きベクトル（Ｖｈｙ，Ｖｈｘ）及び対応する差分絶対値和ＳＡＤｈを求める。

注目フレームＤ２の位置（ｉ，ｊ）の動きベクトルＶを、垂直方向Ｖｙ（ｉ，ｊ）、水平方向Ｖｘ（ｉ，ｊ）と表現すると、補間フレームＪ０の位置（ｉ＋ｓｉ，ｊ＋ｓｊ）における動きベクトルＶｈｙ、Ｖｈｘ及び差分絶対値和ＳＡＤｈは、次のように求めることができる。
Ｖｈｙ（ｉ＋ｓｉ，ｊ＋ｓｊ）＝Ｖｙ（ｉ，ｊ）／２ （１８ａ）
Ｖｈｘ（ｉ＋ｓｉ，ｊ＋ｓｊ）＝Ｖｘ（ｉ，ｊ）／２ （１８ｂ）
ＳＡＤｈ（ｉ＋ｓｉ，ｊ＋ｓｊ）＝ｍｖ＿ｓａｄ（ｉ，ｊ） （１８ｃ）
ただし、
ｓｉ＝ｒｏｕｎｄ［Ｖｙ（ｉ，ｊ）／２］
ｓｊ＝ｒｏｕｎｄ［Ｖｘ（ｉ，ｊ）／２］
（ｒｏｕｎｄ［＊］は＊の四捨五入）
である。

つまり、注目フレームの映像信号Ｄ２と後フレームの映像信号Ｄ１の中間に位置するフレームＪ０を生成するため、注目フレームＤ２の動きベクトルＶを２で割り四捨五入することで算出された位置（ｉ＋ｓｉ，ｊ＋ｓｊ）に、注目フレームＤ２の動きベクトルＶを２で割った値の動きベクトルがあるものと推定される。なお、位置（ｉ＋ｓｉ，ｊ＋ｓｊ）が映像として定義された範囲の外の位置を指定した場合、式（１８ａ）、式（１８ｂ）、式（１８ｃ）の処理をしない。

ここで、式（１８ａ）、式（１８ｂ）及び式（１８ｃ）で計算された補間フレームにおける動きベクトルＶｈｙ、Ｖｈｘ及び差分絶対値和ＳＡＤｈは、補間フレーム上の全ての位置（ｉ，ｊ）に対して得られるとは限らない。このため、動きベクトルＶｈｙ、Ｖｈｘが得られなかった画素位置について動きベクトル値Ｖｈｙ、Ｖｈｘ及び差分絶対値和ＳＡＤｈの修正乃至補間処理（以下単に修正処理と言う）が必要となる。動きベクトルＶｈｙ、Ｖｈｘ及び差分絶対値和ＳＡＤｈの修正処理としては、様々なアルゴリズムが提案されているが、ここでは代表的な処理を記載することとする。

動きベクトルＶｈｙ、Ｖｈｘの修正は、補間フレームＪ０の画素についてその周囲の所定の範囲、例えば３×３の範囲内の各画素位置について既に求められている動きベクトルに対応する差分絶対値和のうちで最小のものを見つける処理と、３×３の範囲に動きベクトルが存在しないと判断される場合に動きベクトルを新たに設定する処理で構成されている。
このような処理は、式（１８ａ）、式（１８ｂ）及び式（１８ｃ）による計算で動きベクトルＶｈｙ、Ｖｈｘが求められた画素及び求められなかった画素についてのみ、行っても良く、式（１８ａ）、式（１８ｂ）及び式（１８ｃ）による計算で動きベクトルＶｈｙ、Ｖｈｘが求められた画素を含め、すべての画素について行うこととしても良い。

補間フレーム上の位置（ｉ，ｊ）を中心とした、その周囲の３×３の範囲の各画素位置についてすでに求められている動きベクトルに対応する差分絶対値和ＳＡＤｈのうちの最小のものを見つけ、該最小の差分絶対値に対応する動きベクトルを、当該各画素位置についての動きベクトルの修正値として採用する。即ち、差分絶対値和が最小と判断された位置の動きベクトル（Ｖｈｙ（ｉ＋ｃｉ、ｊ＋ｃｊ），Ｖｈｘ（ｉ＋ｃｉ、ｊ＋ｃｊ））を、位置（ｉ，ｊ）の動きベクトルの修正値Ｖｃｙ（ｉ，ｊ），Ｖｃｘ（ｉ，ｊ）とする。この処理は下記の式で表される。
Ｖｃｙ（ｉ、ｊ）＝Ｖｈｙ（ｉ＋ｃｉ、ｊ＋ｃｊ）
Ｖｃｘ（ｉ、ｊ）＝Ｖｈｘ（ｉ＋ｃｉ、ｊ＋ｃｊ）
（１９）
とする。このとき、（ｃｉ、ｃｊ）は、

として得られる。

また、３×３の範囲のいずれの画素についても式（１８ａ）、式（１８ｂ）による処理で動きベクトルＶｈｙ、Ｖｈｘが求められていなければ、
Ｖｃｙ（ｉ、ｊ）＝Ｖｃｘ（ｉ、ｊ）＝０
を動きベクトルの修正値として設定する。

以上により、補間フレームにおける動きベクトルＶｃｙ（ｉ、ｊ）、Ｖｃｘ（ｉ、ｊ）が求まったので、これらを用いて注目フレームの映像信号Ｄ２と後フレームの映像信号Ｄ１の値を参照し、補間フレームＪ０を求める。補間フレームの注目画素（ｉ，ｊ）に対応する注目フレームの映像信号Ｄ２と後フレームの映像信号Ｄ１の位置をそれぞれ（ｂｉ、ｂｊ）、（ａｉ，ａｊ）とすると、補間フレームＪ０の各画素の画素値Ｊ０（ｉ，ｊ）は、
Ｊ０（ｉ，ｊ）＝｛Ｄ２（ｂｉ，ｂｊ）＋Ｄ１（ａｉ，ａｊ）｝／２
（２１）
として求めることができる。ここで、
ｂｉ＝ｉ−ｒｏｕｎｄ［Ｖｃｙ（ｉ，ｊ）］
ｂｊ＝ｊ−ｒｏｕｎｄ［Ｖｃｘ（ｉ，ｊ）］
ａｉ＝ｉ＋ｆｉｘ［Ｖｃｙ（ｉ，ｊ）］
ａｊ＝ｊ＋ｆｉｘ［Ｖｃｘ（ｉ，ｊ）］
である。ただし、ｆｉｘ［＊］は＊の０方向への切捨てを示す。

以上説明したように、入力された２フレームの映像信号Ｄ１及びＤ２間の動きベクトルを画素毎に検出し、検出した動きベクトルを参照することで２つのフレームの間に補間フレームの映像信号Ｊ０を生成し、生成した補間フレームの映像信号Ｊ０を、映像信号Ｇ０と共に画像合成部１７へ出力する。

以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し１フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いてフレーム補間を行うと共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、補間処理により得られた映像信号と、元の映像信号のフレームレートを高くしただけの映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補間処理で得られた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補間処理で得られた映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補間処理で得られた映像を用いることでギクシャクとした動きの低減した映像（滑らかに変化する映像）を表示することができる。

実施の形態３．
図２１は、本発明の実施の形態３に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置１は、画像処理装置２ｃと、画像表示部３とを備え、画像処理装置２ｃは、図１の画像処理装置２と同様の、入力画像遅延部４、動きベクトル検出部５、及び高周波成分検出部８を備えるとともに、画像補正処理部６ｂ、処理画像遅延部７ｂ、判定部５９、及び画像選択部６０を備える。画像補正処理部６ｂは第１の補正処理部５１及び第２の補正処理部５２を備える。処理画像遅延部７ｂは、第１の画像遅延部５３及び第２の画像遅延部５４を備える。
入力画像遅延部４、動きベクトル検出部５、及び高周波成分検出部８は、図１に示すものと同様のものである。

実施の形態３の画像処理装置２ｃは、実施の形態１と同様に、入力された映像信号Ｄ０を受けて、動きぼやけ補正処理を行うものである。

映像信号Ｄ０は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置２ｃは、各フレームの複数の画素を順に補正対象画素（注目画素）としてぼやけ処理を行い、補正処理後の映像信号Ｅａ０及びＥｂ０（補正された画素値を持つ信号の列から成る）を生成し、該補正処理後の映像信号Ｅａ０及びＥｂ０をそれぞれ１フレーム遅延した映像信号Ｅａ１及びＥａ１と、入力映像信号Ｄ０を２フレーム遅延した映像信号Ｄ３の中からいずれかを選択して最終出力映像信号Ｆとして出力する。

実施の形態１について説明したのと同様に、画像処理装置２ｃに入力された映像信号Ｄ０は（図２２（ｂ））、入力画像遅延部４に供給される。入力画像遅延部４はフレームメモリを用いて、入力された信号のフレーム遅延を行い、３枚の互いに異なるフレームの映像信号Ｄ１、Ｄ２、Ｄ３（図２２（ｄ）、（ｅ）、（ｆ））を生成する。
映像信号Ｄ１及びＤ２は、動きベクトル検出部５に出力され、映像信号Ｄ２は第１及び第２の補正処理部５１、５２に出力され、映像信号Ｄ３は画像選択部６０に出力される。

動きベクトル検出部５は、実施の形態１と同様に、入力画像遅延部４から出力された２枚の異なるフレームの映像信号Ｄ２、Ｄ１を用い、映像信号Ｄ２に含まれる動きベクトルＶ（図２２（ｋ））を検出する。検出された動きベクトルＶは第１及び第２の補正処理部５１、５２、並びに高周波成分検出部８に出力される。

第１及び第２の補正処理部５１、５２の各々は、実施の形態１の画像補正処理部６と同様に動作を行って画像の補正を行う。
但し、画像補正処理部６に入力される信号ＰＲの代わりに、第１の補正処理部５１には入力される信号ＰＲ１が入力され、第２の補正処理部５２には信号ＰＲ２が入力される。

第１の補正処理部５１は、動きベクトル検出部５から出力された動きベクトルＶを入力とし、入力画像遅延部４から出力された映像信号Ｄ２において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減し、補正された映像信号Ｅａ０（図２２（ｇ）のＦ０ａ、Ｆ１ａ、Ｆ２ａ、…）を第１の画像遅延部５３へ出力する。

第２の補正処理部５２は、動きベクトル検出部５から出力された動きベクトルＶを入力とし、入力画像遅延部４から出力された映像信号Ｄ２において被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減し、補正された映像信号Ｅｂ０（図２２（ｉ）のＦ０ｂ、Ｆ１ｂ、Ｆ２ｂ、…）を第２の画像遅延部５４へ出力する。

第２の補正処理部５２は、第１の補正処理部５１と比べて、補正の強度が小さい（即ち、映像の動きぼやけを軽減する量がより少ない）。

第１の補正処理部５１と第２の補正処理部５２で補正の強度を変えるには、第１の補正処理部５１に入力される信号ＰＲ１で表されるパラメータと、第２の補正処理部５２に入力される信号ＰＲ２で表されるパラメータとで、値を異なるものを用いることとすれば良い。即ち信号ＰＲ１、ＰＲ２で表されるパラメータＢＳＴ０、ＴＨ２の一部又は全部として互いに値の異なるものを用いることとすれば良い。

パラメータＢＳＴ０は、係数βと乗算されてパラメータＢＳＴ１となり、式（９）に示されるように、パラメータＢＳＴ１が大きいほど、補正演算部３０で映像信号Ｄ２に乗算される利得ＧＡＩＮが大きくなる。従って、パラメータＢＳＴ０が大きいほど、補正の強度が大きくなる。同じ理由で、係数βが大きいほど、補正の強度が大きくなる。
閾値ＴＨ２は、画像の特徴の判別に用いられるものであり、映像信号Ｄ２の注目画素の画素値Ｄ２（ｉ，ｊ）と、その周辺の画素の画素値の平均値ＦＬ２（ｉ，ｊ）との差分の絶対値が閾値ＴＨ２より小さい場合は、パラメータＢＳＴ０に対して１より小さい係数βを掛けて調整後のパラメータＢＳＴ１を求め、そうでなければパラメータＢＳＴ０をそのままパラメータＢＳＴ１としているので、閾値ＴＨ２が大きいほど、パラメータＢＳＴ１が大きくなり、補正の強度が大きくなる。
またパラメータＡＤＪを大きくすると、動きぼやけをより大きく評価することになり（式（５））、従って動きぼやけに対してより強い補正が加えられる。

第１の画像遅延部５３は、第１の補正処理部５１から出力された補正された映像信号Ｅａ０を１フレーム分遅延させて出力する。第１の画像遅延部５３の出力は、補正され、遅延された映像信号Ｅａ１（図２２（ｈ）のＦ０ａ、Ｆ１ａ、Ｆ２ａ、…）として画像選択部６０へ供給される。

第２の画像遅延部５４は、第２の補正処理部５２から出力された補正された映像信号Ｅｂ０を１フレーム分遅延させて出力する。第２の画像遅延部５４の出力は、補正され、遅延された映像信号Ｅｂ１（図２２（ｊ）のＦ０ｂ、Ｆ１ｂ、Ｆ２ｂ、…）として画像選択部６０へ供給される。

高周波成分検出部８は、実施の形態１で説明したのと同様に、動きベクトル検出部５から出力された動きベクトルＶ（図２２（ｋ））を入力し、ハイパスフィルタ（高域通過型フィルタ）で各画素についての高周波数成分を抽出し、抽出した高周波成分の値を外部から入力した閾値Ｃ１と比較し、比較結果を各画素についての高周波数成分検出結果として出力する。この高周波成分検出結果Ｈは、高周波成分の値が閾値Ｃ１よりも小さい場合には、値「０」を取り、高周波成分の値が閾値Ｃ１以上の場合には、値「１」を取る。
実施の形態１で述べたのと同様、閾値Ｃ１は、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。

判定部５９は、高周波成分検出部８から出力された高周波成分検出結果Ｈを入力し、値「１」を取る高周波成分検出結果Ｈの数を１フレームに亘り計数する。そして、計数結果Ｎｈｆ（１フレーム中における、値「１」を取る高周波成分検出結果Ｈの発生回数）を外部から入力した閾値Ｃ２Ａ及びＣ２Ｂ（Ｃ２Ｂ＞Ｃ２Ａ）と比較し、比較結果を選択制御信号Ｒとして画像選択部６０に出力する。
具体的には、計数結果Ｎｈｆが閾値Ｃ２Ａよりも小さい場合は選択制御信号Ｒの値を「０」とし、閾値Ｃ２Ａ以上でかつ閾値Ｃ２Ｂよりも小さい場合は選択制御信号Ｒの値を「１」とし、閾値Ｃ２Ｂ以上の場合は選択制御信号Ｒの値を「２」とする（図２２（ｌ））。

即ち、判定部５９におけるＲの値の決定は以下のようにして行われる。
Ｎｈｆ＜Ｃ２Ａであれば、Ｒ＝０ （２２ａ）
Ｎｈｆ≧Ｃ２Ａ且つＮｈｆ＜Ｃ２Ｂであれば、Ｒ＝１ （２２ｂ）
Ｎｈｆ≧２Ｂであれば、Ｒ＝２ （２２ｃ）

閾値Ｃ２Ａ及びＣ２Ｂも、画像処理装置の外部から、例えばユーザが図示しない操作キーを用いて入力することで、設定し、変更することができるものである。

画像選択部６０は、選択制御信号Ｒが「０」の場合は第１の画像遅延部５３から出力される補正された映像信号Ｅａ１（図２２（ｈ））を最終出力映像信号Ｆとして出力し、選択制御信号Ｒが「１」の場合は第２の画像遅延部５４から出力される補正された映像信号Ｅｂ１（図２２（ｊ））を最終出力映像信号Ｆとして出力し、選択制御信号Ｒが「２」の場合は入力画像遅延部４から出力される映像信号Ｄ３（図２２（ｆ））を最終出力映像信号Ｆとして出力する。

上記の計数結果Ｎｈｆ（各フレームについて値「１」を取る高周波成分検出結果Ｈ）が多いほど、当該フレームには動きベクトルＶの誤検出が多い可能性が高く、信頼性が低いと推定できる。本実施の形態では、計数結果Ｎｈｆが大きい場合には、画像補正処理を受けていない映像信号Ｄ３を選択し、計数結果Ｎｈｆが小さいほど、より強い画像補正処理を受けた映像信号を選択する。即ち、計数結果Ｎｈｆが閾値Ｃ２Ｂ以上の場合には、補正処理を受けていない映像信号Ｄ３を選択し、計数結果Ｎｈｆが閾値Ｃ２Ａよりも小さい場合には、補正処理を受けた映像信号（Ｅａ１又はＥｂ１）を選択するが、計数結果Ｎｈｆが閾値Ｃ２Ｂ以上か否かによってより強い補正処理を受けた映像信号Ｅａ１と、より弱い補正処理を受けた映像信号Ｅｂ１との間の選択を行う。

実施の形態１について述べたのと同様に、各フレーム期間Ｔｎ（ｎは０、１、２、…のいずれか）において、動きベクトル検出部５から出力される動きベクトルＶは、１フレーム遅延映像信号Ｄ２の各画素についてのものであり、動きベクトルＶの高周波成分検出結果Ｈの各フレームにわたる集計が終わり、選択制御信号Ｒの値が決まるのは、当該フレーム期間の終わる時点に略一致する。そこで、各フレームの映像信号Ｄ２の動きベクトルＶに基づいて生成された選択制御信号Ｒの値は、２フレーム遅延映像信号Ｄ３及び１フレーム遅延した補正処理後の映像信号Ｅａ１、Ｅｂ１が画像選択部６０に供給される、次のフレーム期間Ｔ（ｎ＋１）における画像選択部６０における選択に用いられる。

画像表示部３は、画像選択部６０から出力された映像信号Ｆに基づく画像の表示を行なう。

ここで、ユーザは閾値Ｃ１を変更することにより、高周波成分検出部８における判定の厳しさ（高周波成分の値がどの程度のときに、誤検出と推定するか）を調整することができる。また、閾値Ｃ２Ａ、Ｃ２Ｂを変更することにより、判定部５９における判定の厳しさ（各フレーム中において動きベクトルが誤検出されたと推定される画素の数Ｎｈｆに基づく、当該フレームについての動きベクトルの検出結果の信頼性に対する判定の基準）を調整することができる。

なお、図２１の構成において、入力画像遅延部４、動きベクトル検出部５、第１の補正処理部５１、及び第２の補正処理部５２において、輝度信号（Ｙ）のみを処理することで、被写体の動きやカメラの動きにより劣化が生じた映像の動きぼやけを軽減することができる。しかしながら、輝度信号（Ｙ）だけでなく、赤色信号（Ｒ）、青色信号（Ｇ）、緑色信号（Ｂ）を個別に処理してもよい。またＲ、Ｇ、Ｂの和を表す信号で、式（９）の利得ＧＡＩＮ（ｉ，ｊ）を求め、第１の補正処理部５１及び第２の補正処理部５２の動作において、式（１０）ではＲ、Ｇ、Ｂ個別に処理をしても良い。また、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）を個別に処理してもよい。輝度信号（Ｙ）で利得ＧＡＩＮ（ｉ，ｊ）を求め、求めた利得ＧＡＩＮ（ｉ，ｊ）を用いて、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）の各々に対して、式（１０）の演算により個別に処理しても良い。他の色表現フォーマットでも同様な処理が行える。

以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し１フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いて動きぼやけ補正処理を行うと共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、
さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、強く補正処理された映像信号と、弱く補正処理された映像信号と、元の映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補正処理を受けた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補正処理された映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補正処理された映像を用いることで動きぼやけに対する補正により動きぼやけの低減した映像を表示し、動きベクトルの検出が中程度の場合には、弱めに補正処理された映像を用いることで、画質劣化を抑制するとともに、弱めの補正処理により動きぼやけの低減の効果もある程度得ることができる。
また、映像信号を切り替える場合にも、段階的切替えが可能であり、例えば補正処理を受けていない映像信号から強い補正処理を受けた映像信号に直接的に切り替えることを避け、一旦弱い補正処理を受けた映像信号に切り替えた後に、強い補正処理を受けた映像信号に切り替えることで、映像の質の急変を避けることができる。

実施の形態４．
図２３は、本発明の実施の形態４に係る画像処理装置を備えた画像表示装置の構成を示す。図示の画像表示装置１は、画像処理装置２ｄと、画像表示部３とを備え、画像処理装置２ｄは、図２１の画像処理装置と同様の、入力画像遅延部４、動きベクトル検出部５、高周波成分検出部８、判定部５９、及び画像選択部６０を備えるとともに、画像補正処理部１６ｂ、画像合成部１７ｂ、及びフレームレート変換部７０を備える。画像補正処理部１６ｂは、第１の補正処理部７１及び第２の補正処理部７２を備える。画像合成部１７ｂは、第１の合成部７３及び第２の合成部７４を備える。

実施の形態４の画像処理装置２ｄは、実施の形態２と同様に、入力された映像信号Ｄ０を受けて、フレームレートを高くした映像信号を生成するもので、そのために、入力映像信号のフレーム間に１又は２以上のフレーム（補間フレーム）を補間により生成する。以下では、フレームレートを５倍にする場合を例に挙げて説明する。

映像信号Ｄ０は、画像を構成する複数の画素の画素値を表す信号の列から成り、画像処理装置２ｄは、入力映像信号Ｄ０の相前後するフレーム間に、複数の、例えば第１及び第２の補間方法で、それぞれ１又は２以上の補間フレームを生成し、生成した補間フレームを含む映像信号Ｊａ０、Ｊｂ０の各々を入力映像信号と組み合わせることで（入力映像信号のフレームと補間フレームを所定の順序で出力させることで）、フレームレートを高くした複数の映像信号Ｋａ、Ｋｂを生成するとともに、入力映像信号の各フレームを複数回繰り返すことでフレームレートを高くした映像信号Ｉｆを生成し、これらの映像信号Ｋａ、Ｋｂ、Ｉｆのうちのいずれかを、判定部５９における判定の結果に基づいて選択して最終出力映像信号Ｆとして出力する。

画像処理装置２ｄに入力された映像信号Ｄ０（図２４（ａ））は、入力画像遅延部４に供給される。入力画像遅延部４はフレームメモリを用いて、入力された信号のフレーム遅延を行い、３枚の互いに異なるフレームの映像信号Ｄ１、Ｄ２、Ｄ３（図２４（ｂ）、（ｃ）、（ｄ））を生成する。図２４（ａ）〜（ｌ）において、符号Ｔ０、Ｔ１、Ｔ２、…は、入力映像信号の各フレーム期間を表す。そのうち、映像信号Ｄ１は、映像信号Ｄ０に対して遅延がなく、映像信号Ｄ２は映像信号Ｄ０に対して１フレームの遅延があり、映像信号Ｄ３は、映像信号Ｄ０に対して２フレームの遅延がある。

映像信号Ｄ２およびＤ１は動きベクトル検出部５及び第１及び第２の補正処理部７１、７２に出力され、
映像信号Ｄ３はフレームレート変換部７０に出力される。

フレームレート変換部７０は、映像信号Ｄ３のフレーム周波数を５倍にした映像信号Ｉｆを出力する（図２４（ｋ））。この映像信号Ｉｆは、映像信号Ｄ３の各フレームを、再生時間を１／５に短縮して５回ずつ繰り返すものであり、その詳細を図２５（ｄ）に示す。

動きベクトル検出部５は、実施の形態１について説明したように、入力画像遅延部４から出力された２枚の異なるフレームの映像信号Ｄ２、Ｄ１を用い、映像信号Ｄ２に含まれる動きベクトルＶ（図２４（ｆ））を検出する。検出された動きベクトルＶは第１及び第２の補正処理部７１、７２及び高周波成分検出部８に出力される。

実施の形態１に関し説明したように、動きベクトルＶは、注目フレームのブロックと後フレームのブロックとの間で、式（２）で表される差分絶対値和が最小となるブロック間の相対位置（ｋｍ，ｌｍ）に対応するものであり、本実施の形態では、実施の形態２と同様に、検出された動きベクトルＶ＝（Ｖｙ，Ｖｘ）＝（ｋｍ，ｌｍ）とともに、当該最小の差分絶対値和ＳＡＤ（ｉ＋ｋｍ，ｊ＋ｌｍ）が、当該動きベクトルＶに対応する差分絶対値和ｍｖ＿ｓａｄ（ｉ，ｊ）として第１及び第２の補正処理部７１、７２へ出力される。

第１の補正処理部７１は、動きベクトル検出部５から出力された動きベクトルＶ及び差分絶対値和ｍｖ＿ｓａｄ（ｉ，ｊ）を入力とし、入力画像遅延部４から出力された各フレームの映像信号Ｄ２と次のフレームの映像信号Ｄ１の間の、それぞれ時間的に均等に分離された位置（４つの位相）に存在すると推定される４つのフレームを補間により生成し、これにより、各位相の補間フレームの列から成る４つの映像信号を生成する。補間により生成される４つの映像信号をまとめて符号Ｊａ０で表す。これら４つ映像信号の、それぞれのフレームを図２４（ｇ）に符号Ｆ０ｉａ〜Ｆ０ｉｄ、Ｆ１ｉａ〜Ｆ１ｉｄ、Ｆ２ｉａ〜Ｆ２ｉｄ、…で示す。
生成された映像信号Ｊａ０は、第１の合成部７３に出力される。
また、第１の補正処理部７１は、入力された映像信号Ｄ２をそのまま映像信号Ｇ０（Ｄ２と同内容のデータであり、図２４（ｃ）にＦ０、Ｆ１、Ｆ２、…として示される）として第１の合成部７３へ出力する。

第２の補正処理部７２は、動きベクトル検出部５から出力された動きベクトルＶ及び差分絶対値和ｍｖ＿ｓａｄ（ｉ，ｊ）を入力とし、入力画像遅延部４から出力された各フレームの映像信号Ｄ２と次のフレームの映像信号Ｄ１の間の、時間的に中間の位置に存在すると推定される１つのフレームを補間により生成し、これにより、生成された補間フレームの列から成る映像信号Ｊｂ０を生成する。映像信号Ｊｂ０の各フレームを図２４（ｉ）に符号Ｆ０ｈ、Ｆ１ｈ、Ｆ２ｈ、…で示す。生成された映像信号Ｊｂ０は、第２の合成部７４に出力される。
また、第２の補正処理部７２は、入力された映像信号Ｄ２をそのまま映像信号Ｇ０（Ｄ２と同内容のデータであり、図２４（ｃ）にＦ０、Ｆ１、Ｆ２、…として示される）として第２の合成部７４へ出力する。

第１の合成部７３は、第１の補正処理部７１から出力された各フレームの映像信号Ｇ０及び補間により生成された映像信号Ｊａ０を基にして、これらを所定の時間順序で配列することにより、フレームレートが５倍の映像信号Ｋａ（図２４（ｈ）、図２５（ｅ））を生成する。

第２の合成部７４は、第２の補正処理部７２から出力された各フレームの映像信号Ｇ０及び補間により生成された映像信号Ｊｂ０を基にして、これらを所定の時間順序で配列することにより、フレームレートが５倍の映像信号Ｋｂ（図２４（ｊ）、図２５（ｆ））を生成する。

以下、フレームレート変換部７０、第１及び第２の補正処理部７１及び７２、並びに第１及び第２の合成部７３及び７４の処理を図２５（ｄ）、（ｅ）、（ｆ）を参照して説明する。図２５（ｄ）、（ｅ）、（ｆ）は、図２４（ｋ）、（ｈ）、（ｊ）に示される映像信号の各フレームの時間的位置関係をより詳しく示す。
図示の例では、入力映像信号Ｄ０のフレーム周波数は２４ｆｐｓ、出力映像信号Ｆのフレーム周波数は１２０ｆｐｓであり、入力映像信号Ｄ０のそれぞれのフレームの開始時刻が図２５（ａ）に、符号Ｕ、Ｕ＋１、Ｕ＋２で示され、出力映像信号Ｆのそれぞれのフレームの開始時刻が図２５（ｃ）に符号ｕ、ｕ＋１／５、ｕ＋２／５、…で示されている。図２５（ｂ）は、図２４（ｅ）と同様に、合成部７３、７４に入力される映像信号Ｇ０（図２４（ｃ））を１フレーム期間遅延させ、さらに再生時間を１／５に短縮した映像信号Ｇ１を示す。

まず、フレームレート変換部７０について説明する。
図２５（ｄ）に示される例では、フレームレート変換部７０から映像信号Ｉｆとして、元の映像信号Ｄ３の各フレームが、再生時間を１／５に短縮されて５回ずつ繰り返して出力される。例えばフレーム期間Ｔ２内において、元の映像信号のフレームＦ０が５回繰り返して出力され、次のフレーム期間Ｔ３内において、フレームＦ１が５回繰り返して出力される。

次に第１の補正処理部７１及び第１の合成部７３について説明する。
図２５（ｅ）に示される例では、第１の合成部７３から映像信号Ｋａとして、例えばフレーム期間Ｔ２においては、元の映像信号Ｇ０のフレームＦ０に続いて４つの補間フレームＦ０ｉａ、Ｆ０ｉｂ、Ｆ０ｉｃ、Ｆ０ｉｄが順に出力され、次のフレーム期間Ｔ３においては、元の映像信号Ｇ０のフレームＦ１に続いて４つの補間フレームＦ１ｉａ、Ｆ１ｉｂ、Ｆ１ｉｃ、Ｆ１ｉｄが順に出力される。

各フレームの再生時間（出力時間）は、入力映像信号の１フレーム期間の１／５であり、補間フレームＦ０ｉａ、Ｆ０ｉｂ、Ｆ０ｉｃ、Ｆ０ｉｄは元の映像信号のフレームＦ０に対して１／５、２／５、３／５、４／５フレーム期間遅れたタイミングで出力される。

このようなタイミングで出力される補間フレームの生成のため、第１の補正処理部７１では、以下のようにして補間フレームの画素の画素値を求める。即ち、第１の補正処理部７１は、上記のように、入力画像遅延部４から出力された注目フレームの映像信号Ｄ２および後フレームの映像信号Ｄ１の間の複数の時間的位置（位相）に映像信号を補間により生成する。第１の補正処理部７１へは、入力画像遅延部４からの映像信号Ｄ２、Ｄ１のほか、動きベクトル検出部５から注目フレームの動きベクトルＶ（Ｖｙ，Ｖｘ）及び差分絶対値和ｍｖ＿ｓａｄ（ｉ，ｊ）が入力される。

以下では、注目フレームと後フレームの間に生成される複数の補間フレームの一つ（符号Ｊｎで表す）に着目して説明する。この補間フレームは、注目フレームから、注目フレームと後フレームの時間間隔のα倍の位置にあるものとする。即ち、注目フレームと後フレームの時間間隔に対する注目フレームと補間フレームの時間間隔の比がαである。図４０（ｅ）に示すように、入力映像信号のフレーム（例えばＦ０）に対して１／５フレーム期間後の補間フレーム（Ｆ０ｉａ）を生成する場合にはα＝１／５となる。同様に、２／５フレーム期間、３／５フレーム期間、４／５フレーム期間後の補間フレーム（Ｆ０ｉｂ、Ｆ０ｉｃ、Ｆ０ｉｄ）を生成する場合には、それぞれα＝２／５、α＝３／５、α＝４／５となる。

第１の補正処理部７１では、注目フレームＤ２の動きベクトルＶ（Ｖｙ，Ｖｘ）及び差分絶対値和ｍｖ＿ｓａｄ（ｉ，ｊ）を受けて、補間フレームＪｎ上の動きベクトル(Ｖｈｙ，Ｖｈｘ）を求める。

注目フレームＤ２の位置（ｉ，ｊ）の動きベクトルＶの垂直方向成分をＶｙ（ｉ，ｊ）、水平方向成分をＶｘ（ｉ，ｊ）と表現すると、補間フレームＪｎの位置（ｉ＋ｓｉ，ｊ＋ｓｊ）における動きベクトルＶｈｙ、Ｖｈｘは、次のように求めることができる。
Ｖｈｙ（ｉ＋ｓｉ，ｊ＋ｓｊ）＝Ｖｙ（ｉ，ｊ）×α （２３ａ）
Ｖｈｘ（ｉ＋ｓｉ，ｊ＋ｓｊ）＝Ｖｘ（ｉ，ｊ）×α （２３ｂ）
ただし、
ｓｉ＝ｒｏｕｎｄ［Ｖｙ（ｉ，ｊ）×α］
ｓｊ＝ｒｏｕｎｄ［Ｖｘ（ｉ，ｊ）×α］
（ｒｏｕｎｄ［＊］は＊の四捨五入）
である。

つまり、注目フレームＤ２の動きベクトルＶにαを掛けて四捨五入することで算出された位置（ｉ＋ｓｉ，ｊ＋ｓｊ）に、注目フレームと補間フレームとの間には、注目フレームＤ２の動きベクトルＶにαを掛けた値の動きベクトルがあるものと推定される。なお、位置（ｉ＋ｓｉ，ｊ＋ｓｊ）が映像として定義された範囲の外の位置を指定した場合、式（２３ａ）、式（２３ｂ）、式（２３ｃ）の処理をしない。

ここで、式（２３ａ）、式（２３ｂ）及び式（２３ｃ）で計算された補間フレームにおける動きベクトルＶｈｙ、Ｖｈｘは、補間フレーム上の全ての位置（ｉ，ｊ）に対して得られるとは限らない。このため、動きベクトルＶｈｙ、Ｖｈｘが得られなかった画素位置について動きベクトル値Ｖｈｙ、Ｖｈｘの修正乃至補間処理（以下単に修正処理と言う）が必要となる。動きベクトルＶｈｙ、Ｖｈｘの修正処理は、実施の形態２について説明したのと同様に行い得る。
動きベクトルＶｈｙ、Ｖｈｘを修正することで得られる値をそれぞれ、符号Ｖｃｙ、Ｖｃｘで表す。

次に修正後の動きベクトルＶｃｙ（ｉ、ｊ）、Ｖｃｘ（ｉ、ｊ）を用いて注目フレームの映像信号Ｄ２と後フレームの映像信号Ｄ１の値を参照し、補間フレームＪｎを求める。補間フレームの注目画素（ｉ，ｊ）に対応する注目フレームの映像信号Ｄ２と後フレームの映像信号Ｄ１の位置をそれぞれ（ｂｉ、ｂｊ）、（ａｉ，ａｊ）とすると、補間フレームＪｎの各画素の画素値Ｊｎ（ｉ，ｊ）は、
Ｊｎ（ｉ，ｊ）＝Ｄ２（ｂｉ，ｂｊ）×（１−α）＋Ｄ１（ａｉ，ａｊ）×α
（２４）
として求めることができる。ここで、
ｂｉ＝ｉ−ｒｏｕｎｄ［Ｖｃｙ（ｉ，ｊ）］
ｂｊ＝ｊ−ｒｏｕｎｄ［Ｖｃｘ（ｉ，ｊ）］
ａｉ＝ｉ＋ｆｉｘ［Ｖｃｙ（ｉ，ｊ）］
ａｊ＝ｊ＋ｆｉｘ［Ｖｃｘ（ｉ，ｊ）］
である。ただし、ｆｉｘ［＊］は＊の０方向への切捨てを示す。

次に第２の補正処理部７２及び第２の合成部７４について説明する。
図２５（ｆ）に示される例では、第２の合成部７４から映像信号Ｋｂとして、例えばフレーム期間Ｔ１の終期からフレーム期間Ｔ２の初期に掛けて、元の映像信号Ｇ０のフレームＦ０が３回繰り返して出力された後、フレーム期間Ｔ２内で補間フレームＦ０ｈが２回繰り返して出力され、フレーム期間Ｔ２の終期からフレーム期間Ｔ３の初期に掛けて元の映像信号Ｇ０のフレームＦ１が３回繰り返して出力された後、フレーム期間Ｔ３内で補間フレームＦ１ｈが２回繰り返して出力される。

各フレームの再生時間は、入力映像信号の１フレーム期間の１／５であり、補間フレームＦ０ｈは３回繰り返される元の映像信号のフレームＦ０のうちの２番目のものに対して２／５、３／５フレーム期間遅れたタイミングで出力される。

補間フレームの各画素の画素値は、補間フレームが相前後する元の映像信号のフレームの時間的中間位置にあるものと仮定して第２の補正処理部７２で求められた値である。第２の補正処理部７２は、実施の形態２の画像補正処理部１６が補間フレームの映像信号Ｊ０を求めるのと同様にして、補間フレームの映像信号Ｊｂ０を求める。

高周波成分検出部８及び判定部５９の動作は実施の形態３と同様である。

画像選択部６０は、実施の形態３と同様に、選択制御信号Ｒの値に応じて、３つの入力のうちのいずれかを選択して出力する。
即ち、画像選択部６０は、選択制御信号Ｒが「０」の場合は第１の合成部７３から出力された、補間後の映像信号Ｋａ（図２４（ｈ））を最終出力映像信号Ｆとして出力し、選択制御信号Ｒが「１」の場合は第２の合成部７４から出力された、補間後の映像信号Ｋｂ（図２４（ｊ））を最終出力映像信号Ｆとして出力し、選択制御信号Ｒが「２」の場合はフレームレート変換部７０から出力された映像信号ｌｆ（図２４（ｋ））を最終出力映像信号Ｆとして出力する。

画像表示部３は、画像選択部６０から出力された映像信号Ｆに基づく画像の表示を行なう。

このような処理をする結果、上記の計数結果Ｎｈｆ（１フレーム中における、値「１」を取る高周波成分検出結果Ｈの発生回数）が閾値Ｃ２Ｂ以上のとき、即ち、動きベクトルＶの検出に誤りが多いときは、補間処理によって得られた映像信号を用いずに、入力映像信号を繰り返すことで得られた映像信号（補間処理乃至補正処理を受けていない映像信号）Ｉｆを選択して表示し、計数結果Ｎｈｆが閾値Ｃ２Ａ未満のとき、即ち、動きベクトルＶの検出に誤りが少ないときは、細かな補間処理により得られた（元のフレーム周期の１／５の周期毎に別々の補間演算を行うことで得られた）映像信号Ｊａ０を入力映像信号と組み合わせた映像信号、即ち比較的強い補正処理を受けた映像信号Ｋａを選択して表示し、計数結果Ｎｈｆが閾値Ｃ２Ａ以上で閾値Ｃ２Ｂ未満のとき、即ち、動きベクトルＶの検出に誤りが中程度のときは、粗い補間処理により得られた（元の映像信号の相前後するフレームの中間に補間フレームが位置するものと仮定して補間演算を行うことで得られた）映像信号Ｊｂ０を入力映像信号と組み合わせた映像信号、即ち比較的弱い補正処理を受けた映像信号Ｋｂを選択して表示する。
即ち、計数結果Ｎｈｆが多い場合（具体的には閾値Ｃ２Ｂ以上の場合）には、補間処理、即ち補正処理を受けていない映像信号Ｉｆを選択し、計数結果Ｎｈｆが多くない場合（閾値Ｃ２Ｂよりも小さい場合）には、補間処理、即ち補正処理を受けた映像信号（Ｋａ又はＫｂ）選択するが、計数結果Ｎｈｆが比較的少ない場合には、より細かな補間処理、即ちより強い補正処理を受けた映像信号Ｋａを選択し、計数結果Ｎｈｆが比較的多い場合には、より粗い補間処理、即ちより弱い補正処理を受けた映像信号Ｋｂを選択する。
一般化して言えば、計数結果が少ないほど、より細かな補間処理、即ちより強い補正処理を受けた映像信号を選択する。

実施の形態３と同様に、ユーザは閾値Ｃ１を変更することにより、高周波成分検出部８における判定の厳しさ（高周波成分の値がどの程度のときに、誤検出と推定するか）を調整することができる。また、閾値Ｃ２Ａ、Ｃ２Ｂを変更することにより、判定部５９における判定の厳しさ（各フレーム中において動きベクトルが誤検出されたと推定される画素の数Ｎｈｆに基づく、当該フレームについての動きベクトルの検出結果の信頼性に対する判定の基準）を調整することができる。

以上説明したように、本実施の形態では、映像信号と、前記映像信号に対し１フレーム以上時間的に前又は後の映像信号とに基づいて前記映像信号における動きベクトルを検出し、検出された動きベクトルを用いて補間フレームを生成すると共に、検出された動きベクトルの高周波成分を検出することで各画素について動きベクトルが誤検出されたかどうかの推定を行い、さらに各フレーム内において、動きベクトルが誤検出されたと推定される画素の数に基づいて信頼性の程度を評価し、評価の結果に基づいて、細かい補間処理により得られた映像信号と、粗い補間処理により得られた映像信号と、元の映像信号のフレームレートを高くしただけの映像信号のいずれかを選択して表示することで、動きベクトルの検出の誤りの程度に応じて最適の映像を選択して表示することができる。
即ち、動きベクトルの検出に誤りが多い場合に、動きベクトルに基づく補間処理で得られた映像を用いると画質劣化が生じるが、本実施の形態では、動きベクトルの検出に誤りが多い場合には、補間処理で得られた映像を用いずに元の映像を用いることで、画質劣化を防ぎ、一方、動きベクトルの検出に誤りが少ない場合には、補間処理で得られた映像を用いることでギクシャクした動きの低減した映像（滑らかに変化する映像）を表示し、動きベクトルの検出が中程度の場合には、粗い補間処理で得られた映像を用いることで、画質劣化を抑制するとともに、粗い補間処理により、動きが幾分滑らかになった映像を表示することができる。
また、映像信号を切り替える場合にも、段階的切替えが可能であり、例えば補間処理処理により得られた映像を用いていない映像信号から、細かな補間処理で得られた映像信号に直接的に切り替えることを避け、一旦粗い補間処理で得られた映像信号に切り替えた後に、細かな補間処理で得られた映像信号に切り替えることで、映像の質の急変を避けることができる。

実施の形態１乃至４において、各画素についての高周波成分を閾値Ｃ１と比較して、比較の結果得られる高周波成分検出結果Ｈのうち値が「１」のものを各フレームに亘り計数しているが、各画素についての高周波成分を各フレームに亘り積算し、積算値を閾値と比較し、積算値が閾値よりも大きければ、当該フレームについて動きベクトルの検出に誤りが多く、信頼性が低いと判断することとしても良い。この場合にも、画像の特定の部分、例えば中央部分のみを、高周波成分の検出及び高周波成分の積算の対象としても良い。

以上本発明を画像処理装置及び画像表示装置として説明したが、これらの装置で実行される画像処理方法及び画像表示方法も本発明の一部を成す。本発明はさらに、上記の画像処理装置または画像処理方法における手順乃至各ステップの処理を実行するプログラムとしても成立し、該プログラムを記録したコンピュータで読み取り可能な記録媒体としても成立する。

１ 画像表示装置、 ２ 画像処理装置、 ３ 画像表示部、 ４，１４ 入力画像遅延部、 ５ 動きベクトル検出部、 ６、６ｂ 画像補正処理部、 ７、７ｂ 処理画像遅延部、 ８ 高周波成分検出部、 ９ 判定部、 １０ 画像選択部、 １１ フレームメモリ、 １２ フレームメモリ制御部、 １５ フレームレート変換部、 １６、１６ｂ 画像補正処理部、 １７、１７ｂ 画像合成部、 ２１ 注目フレームブロック切り出し部、 ２２ 後フレームブロック切り出し部、 ２３ 動きベクトル決定部、３０ 補正演算部、 ３１ 操作信号処理部、 ３２ 動きぼやけ推定部、 ３３ フィルタ係数保存部、 ３４ フィルタリング部、 ３５ 非線形処理部、 ３６ ローパスフィルタ、 ３７ 平均値算出部、 ３８ 補正強度調整部、 ３９ 利得計算部、 ４１ フレームメモリ、 ４２ フレームメモリ制御部、 ５１ 第１の補正処理部、 ５２ 第２の補正処理部、 ５３ 第１の画像遅延部、 ５４ 第２の画像遅延部、 ７０ フレームレート変換部、 ７１ 第１の補正処理部、 ７２ 第２の補正処理部、 ７３ 第１の合成部、 ７４ 第２の合成部。

Claims (20)

1. 入力映像信号をフレーム遅延することで得られた第１の映像信号と、前記第１の映像信号に対し１フレーム以上時間的に前又は後の映像信号とに基づいて、前記第１の映像信号における動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトル検出部で検出された動きベクトルを用い、前記第１の映像信号に対して画像補正処理を行う画像補正処理部と、
   前記動きベクトル検出部で検出された動きベクトルを用い、高周波成分を検出する高周波成分検出部と、
   前記高周波成分検出部で検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定部と、
   前記判定部において動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択部と
   を備え、
   前記高周波成分検出部は、各画素についての高周波成分が第１の閾値以上であるかどうかの判定を行い、
   前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、第２の閾値以上であれば、動きベクトルが誤検出されたものと判断する
   ことを特徴とする画像処理装置。
2. 前記判定部は、前記高周波成分が多いほど、前記動きベクトルの検出結果の信頼性を低く評価することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の閾値が、外部から入力されたものであることを特徴とする請求項１に記載の画像処理装置。
4. 前記第２の閾値は、外部から入力したものであることを特徴とする請求項１に記載の画像処理装置。
5. 前記高周波成分検出部は、前記動きベクトルの２階差分値を前記高周波成分として検出することを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
6. 前記画像補正処理部は、前記動きベクトル検出部で検出された動きベクトルを用い、前記第１の映像信号における動きぼやけを軽減する画像補正処理を行うことを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
7. 前記画像補正処理部が、
   前記動きベクトル検出部で検出された動きベクトルを用い、前記第１の映像信号に対して画像補正処理を行う第１の補正処理部と、
   前記動きベクトル検出部で検出された動きベクトルを用い、前記第１の映像信号に対して第１の補正処理部よりも補正強度が小さい画像補正処理を行う第２の補正処理部とを備え、
   前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第２の閾値よりも小さい第３の閾値以上であるか否かの判定をも行い、
   前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第３の閾値未満であると判断されたときは、前記画像選択部は、前記第１の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、
   前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第３の閾値以上でかつ前記第２の閾値未満であると判断されたときは、前記画像選択部は、前記第２の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、
   前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第２の閾値以上であると判断されたときは、前記画像選択部は、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記画像補正処理部は、前記第１の映像信号と、該第１の映像信号に対して１フレーム時間的に前の映像信号との間に映像信号を補間する画像補正処理を行なうことを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
9. 前記画像補正処理部は、
   前記第１の映像信号と、該第１の映像信号に対して１フレーム時間的に前の映像信号との間に第１の数のフレームの映像信号を補間する画像補正処理を行なう第１の補正処理部と、
   前記第１の映像信号と、該第１の映像信号に対して１フレーム時間的に前の映像信号との間に前記第１の数よりも少ない第２の数のフレームの映像信号を補間する画像補正処理を行なう第２の補正処理部とを備え、
   前記判定部は、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第２の閾値よりも小さい第３の閾値以上であるか否かの判定をも行い、
   前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第３の閾値未満であると判断されたときは、前記画像選択部は、前記第１の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、
   前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第３の閾値以上でかつ前記第２の閾値未満であると判断されたときは、前記画像選択部は、前記第２の補正処理部による画像補正処理の結果生成された映像信号を選択して出力し、
   前記判定部により、各フレーム内において、前記高周波成分検出部で高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第２の閾値以上であると判断されたときは、前記画像選択部は、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 請求項１から９までのいずれか１項に記載の画像処理装置と、前記画像処理装置で生成された画像を表示する画像表示部とを備えた画像表示装置。
11. 入力映像信号をフレーム遅延することで得られた第１の映像信号と、前記第１の映像信号に対し１フレーム以上時間的に前又は後の映像信号とに基づいて、前記第１の映像信号における動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第１の映像信号に対して画像補正処理を行う画像補正処理ステップと、
    前記動きベクトル検出ステップで検出された動きベクトルを用い、高周波成分を検出する高周波成分検出ステップと、
    前記高周波成分検出ステップで検出された高周波成分に基づいて、各フレーム内における動きベクトルの検出結果の信頼性についての判定を行う判定ステップと、
    前記判定ステップにおいて動きベクトルが誤検出されたものと判断した場合には、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する画像選択ステップと
    を備え、
    前記高周波成分検出ステップは、各画素についての高周波成分が第１の閾値以上であるかどうかの判定を行い、
    前記判定ステップは、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第１の閾値以上と判定された画素の数が、第２の閾値以上であれば、動きベクトルが誤検出されたものと判断する
    ことを特徴とする画像処理方法。
12. 前記判定ステップは、前記高周波成分が多いほど、前記動きベクトルの検出結果の信頼性を低く評価することを特徴とする請求項１１に記載の画像処理方法。
13. 前記第１の閾値が、画像処理方法の実施に用いられる装置の外部から入力されたものであることを特徴とする請求項１１に記載の画像処理方法。
14. 前記第２の閾値は、画像処理方法の実施に用いられる装置の外部から入力したものであることを特徴とする請求項１１に記載の画像処理方法。
15. 前記高周波成分検出ステップは、前記動きベクトルの２階差分値を前記高周波成分として検出することを特徴とする請求項１１から１４までのいずれか１項に記載の画像処理方法。
16. 前記画像補正処理ステップは、前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第１の映像信号における動きぼやけを軽減する画像補正処理を行うことを特徴とする請求項１１から１５までのいずれか１項に記載の画像処理方法。
17. 前記画像補正処理ステップが、
    前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第１の映像信号に対して画像補正処理を行う第１の補正処理ステップと、
    前記動きベクトル検出ステップで検出された動きベクトルを用い、前記第１の映像信号に対して第１の補正処理ステップよりも補正強度が小さい画像補正処理を行う第２の補正処理ステップとを備え、
    前記判定ステップは、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第２の閾値よりも小さい第３の閾値以上であるか否かの判定をも行い、
    前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第３の閾値未満であると判断されたときは、前記画像選択ステップは、前記第１の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、
    前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第３の閾値以上でかつ前記第２の閾値未満であると判断されたときは、前記画像選択ステップは、前記第２の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、
    前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第２の閾値以上であると判断されたときは、前記画像選択ステップは、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号のいずれかを選択して出力する
    ことを特徴とする請求項１６に記載の画像処理方法。
18. 前記画像補正処理ステップは、前記第１の映像信号と、該第１の映像信号に対して１フレーム時間的に前の映像信号との間に映像信号を補間する画像補正処理を行なうことを特徴とする請求項１１から１５までのいずれか１項に記載の画像処理方法。
19. 前記画像補正処理ステップは、
    前記第１の映像信号と、該第１の映像信号に対して１フレーム時間的に前の映像信号との間に第１の数のフレームの映像信号を補間する画像補正処理を行なう第１の補正処理ステップと、
    前記第１の映像信号と、該第１の映像信号に対して１フレーム時間的に前の映像信号との間に前記第１の数よりも少ない第２の数のフレームの映像信号を補間する画像補正処理を行なう第２の補正処理ステップとを備え、
    前記判定ステップは、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第２の閾値よりも小さい第３の閾値以上であるか否かの判定をも行い、
    前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第３の閾値未満であると判断されたときは、前記画像選択ステップは、前記第１の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、
    前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第３の閾値以上でかつ前記第２の閾値未満であると判断されたときは、前記画像選択ステップは、前記第２の補正処理ステップによる画像補正処理の結果生成された映像信号を選択して出力し、
    前記判定ステップにより、各フレーム内において、前記高周波成分検出ステップで高周波成分の値が前記第１の閾値以上と判定された画素の数が、前記第２の閾値以上であると判断されたときは、前記画像選択ステップは、前記入力映像信号又はこれをフレーム遅延することで得られた映像信号を選択して出力する
    ことを特徴とする請求項１８に記載の画像処理方法。
20. 請求項１１から１９までのいずれか１項に記載の画像処理方法と、前記画像処理方法で生成された画像を表示する画像表示ステップとを備えた画像表示方法。

Images