JP5300607B2 - 映像処理装置及びその制御方法 - Google Patents

Description

本発明は、映像処理装置及びその制御方法に関する。

インターレース映像の信号を補間によりプログレッシブ映像の信号に変換する装置として、一般的に、動き適応型ＩＰ（インターレース−プログレッシブ）変換装置と呼ばれるものが用いられている。これは、補間画素の生成位置での映像の動き（動き情報）を検出し、その動き情報に応じて、補間画素としてフィールド内補間画素を生成するか、フィールド間補間画素を生成するかを適応的に切り換えるものである。
また、映像の動きの検出方法としては、入力画像（インターレース映像の１フィールドの画像）と入力画像に対して１フレーム（２フィールド）前の画像との差分（フレーム間差分）から検出する方法がある。また、入力画像と入力画像の１フィールド前の画像との差分（フィールド間差分）から検出する方法がある。
特許文献１には、補間画素の生成位置が画像の垂直エッジ部分か否かに応じて、動き情報とする検出結果を切り換える方法が開示されている。具体的には、特許文献１に開示の技術では、補間画素の生成位置が垂直エッジ部分である場合にフィールド間差分による検出結果が動き情報とされ、垂直エッジ部分でない場合にフレーム間差分による検出結果が動き情報とされる。

このようなフレーム間差分による検出結果やフィールド間差分による検出結果は、動画像（動きのある領域）と静止画像（動きの無い領域）とで差が生じない場合がある。例えば、インターレース映像が図７（Ａ）に示すような動画像Ａである場合と、図７（Ｂ）に示すような静止画像Ｂである場合とでは、フレーム間差分による検出結果やフィールド間差分による検出結果に差が生じない。動画像Ａは文字などが画面の水平方向に移動（スクロール）する動画像であり、静止画像Ｂは輝度レベル０の画素が並んだラインと輝度レベル２５５の画素が並んだラインが垂直方向に交互に並んだ静止画像である。
具体的には、図７（Ａ）の文字部分と図７（Ｂ）の一部において、連続する３フィールドの画素配列はいずれも図７（Ｃ）のようになる。図中、白丸は輝度レベル２５５の値を持った画素（動画像Ａでは文字を構成する画素）であり、黒丸は輝度レベル０の値を持った画素（動画像Ａでは背景を構成する画素）である。このような画素配列では、フレーム間差分による検出結果は“動き無し（静止）”となり、フィールド間差分による検出結果は“動き有り”となる。
静止画像に対して動き情報を“動き有り”とすると、補間画素としてフィールド内補間画素が生成され、フリッカにより画質が劣化する。また、動画像に対して動き情報を“動き無し”とすると、補間画素としてフィールド間補間画素が生成され、コーミングノイズにより画質が劣化する。画質の劣化の無い良好な画像を得るためには、動画像Ａ（具体的には、動画像Ａの文字が通過する位置）に対しては動き情報を“動き有り”、静止画像Ｂに対しては動き情報を“動き無し”とする必要がある。

しかしながら、特許文献１に開示の技術では、図７（Ｃ）の位置１３０１のような垂直エッジ部分でない位置に対してフレーム間差分による検出結果“動き無し”が動き情報とされる。即ち、図７（Ａ）に示す動画像Ａにおいて動きのある位置（文字が通過する位置）に対して“動き無し”が動き情報とされてしまう（動き情報の誤決定）。そのため、補間画素としてフィールド間補間画素が生成されることとなる。具体的には、位置１３０１には文字を構成する画素を用いて補間画素を生成すべきところ、特許文献１に開示の技術では、画素１３０４（輝度レベル０の画素；文字とは無関係な画素）と同じ画素値を有する補間画素が生成されてしまう。その結果、生成されたプログレッシブ映像のフレームの
画像にコーミングノイズが生じてしまう。

特開平４−３２６２７６号公報

本発明は、補間画素の生成位置での映像の動き決定の精度を高め、インターレース映像の信号をプログレッシブ映像の信号に変換する際の画質の劣化を抑制することのできる映像処理装置及びその制御方法を提供することを目的とする。

本発明の映像処理装置は、インターレース映像の信号を補間によりプログレッシブ映像の信号に変換する映像処理装置であって、インターレース映像における１フレーム期間離れた２フィールドの画像の差分により、各画素位置での映像の動きに係るフレーム間動きを検出する第１検出手段と、インターレース映像における１フィールド期間離れた２フィールドの画像の差分により、各画素位置での映像の動きに係るフィールド間動きを検出する第２検出手段と、生成の対象とする補間画素の周辺領域における映像の動きの有無を、周辺領域内の複数の画素位置でのフレーム間動きの検出値に基づいて判定する周辺動き判定手段と、周辺動き判定手段判定結果に基づいて、補間画素の生成位置での映像の動き情報を決定する決定手段と、補間画素の生成位置での映像の動き情報に応じて、補間画素の生成に用いる補間方法を切り換える切換手段と、を有し、決定手段は、周辺動き判定手段で周辺領域における映像の動きが無いと判定された場合には、補間画素の生成位置でのフレーム間動きの検出値を、補間画素の生成位置での映像の動き情報とし、周辺動き判定手段で周辺領域における映像の動きがあると判定された場合には、補間画素の生成位置でのフレーム間動きの検出値とフィールド間動きの検出値とに基づいて、補間画素の生成位置での映像の動き情報を決定することを特徴とする。

また、本発明の映像処理装置の制御方法は、インターレース映像の信号を補間によりプ
ログレッシブ映像の信号に変換する映像処理装置の制御方法であって、インターレース映像における１フレーム期間離れた２フィールドの画像の差分により、各画素位置での映像の動きに係るフレーム間動きを検出する第１検出ステップと、インターレース映像における１フィールド期間離れた２フィールドの画像の差分により、各画素位置での映像の動きに係るフィールド間動きを検出する第２検出ステップと、生成の対象とする補間画素の周辺領域における映像の動きの有無を、周辺領域内の複数の画素位置でのフレーム間動きの検出値に基づいて判定する周辺動き判定ステップと、周辺動き判定ステップの判定結果に基づいて、補間画素の生成位置での映像の動き情報を決定する決定ステップと、補間画素の生成位置での映像の動き情報に応じて、補間画素の生成に用いる補間方法を切り換える切換ステップと、を有し、決定ステップでは、周辺動き判定ステップで周辺領域における映像の動きが無いと判定された場合には、補間画素の生成位置でのフレーム間動きの検出値が、補間画素の生成位置での映像の動き情報とされ、周辺動き判定ステップで周辺領域における映像の動きがあると判定された場合には、補間画素の生成位置でのフレーム間動きの検出値とフィールド間動きの検出値とに基づいて、補間画素の生成位置での映像の動き情報が決定されることを特徴とする。

本発明によれば、補間画素の生成位置での映像の動き決定の精度を高め、インターレース映像の信号をプログレッシブ映像の信号に変換する際の画質の劣化を抑制することのできる映像処理装置及びその制御方法を提供することができる。

本実施形態に係る映像処理装置の機能・構成を示すブロック図。 映像の動きの検出方法及び垂直エッジの検出方法の一例を示す図。 カウント部で参照される画素位置の一例を示す図。 補正部の構成を示す図。 フィールド内補間画素生成部の構成を示す図。 第３動き情報の一例を示す図。 インターレース映像の一例を示す図。

以下、本発明の実施形態に係る映像処理装置及びその制御方法について、図面を用いて説明する。本実施形態に係る映像処理装置は、インターレース映像の信号を補間によりプログレッシブ映像の信号に変換するＩＰ変換処理を行う。

（全体構成）
図１は、本実施形態に係る映像処理装置の機能・構成を示すブロック図である。
フィールドメモリ１００、１０１は、フィールド単位で装置に入力されるインターレース映像の信号を蓄積し、当該信号を１フィールド分だけ遅延させて出力する。即ち、映像処理装置にＮ番目のフィールド（Ｎフィールド）の画像を表す信号が入力されたときに、フィールドメモリ１００からはＮ−１番目のフィールド（Ｎ−１フィールド）の画像を表す信号が出力される。フィールドメモリ１０１からはＮ−２番目のフィールド（Ｎ−２フィールド）の画像を表す信号が出力される。本実施形態では、フィールドメモリ１００から出力された画像（Ｎ−１フィールドの画像）に対して補間画素が生成される。

動き決定部１２０は、補間画素の生成位置での映像の動き情報（補間画素動き情報）を決定する。本実施形態では、補間画素動き情報として、映像の動きがあることを表す“１（動き）”と映像の動きの無いことを表す“０（静止）”の２通りを考える。動き決定部１２０の詳しい構成については後述する。
フィールド内補間画素生成部１０９は、フィールド内補間による補間画素（フィールド内補間画素）を生成する。フィールド内補間画素は、映像の動きのある位置に生成するのに適した補間画素であって、補間画素の生成の対象となるフィールド（Ｎ−１フィールド）の画像内の画素を用いて生成される補間画素である。
フィールド内補間画素生成部１０９は、例えば、図５に示すような構成を有する。フィールド内補間画素生成部１０９にはＮ−１フィールドの信号が入力され、ラインメモリ４０に蓄積される。ラインメモリ４０では、入力された信号が１Ｈ（インターレース映像信号の１水平走査期間）だけ遅延され、出力される。そして、入力されたＮ−１フィールドの信号と１Ｈだけ遅延された信号とが加算器４１で加算され、乗算器４２で１／２倍される。これにより、Ｎ−１フィールドの画像において垂直方向に互いに隣接する２画素の画素値の平均値を得ることができる。この平均値が、それらの画素に挟まれる位置のフィールド内補間画素の画素値とされる。

補間データ生成部１１０は、動き決定部１２０によって決定された補間画素動き情報に応じて用いる補間方法を切り換え、補間画素を生成する（切換手段）。具体的には、補間画素の生成位置において、映像の動きが無い場合（補間画素動き情報が“０”である場合）には、補間画素としてフィールドメモリ１０１から出力される画素値を有する画素（フィールド間補間による補間画素；フィールド間補間画素）を生成する。映像の動きがある場合（補間画素動き情報が“１”である場合）には、補間画素としてフィールド内補間画素生成部１０９から出力される画素値を有する画素（フィールド内補間画素）を生成する。そして、生成された複数の補間画素からなる補間データを後述する倍速変換部１１１へ出力する。なお、フィールド間補間画素は、映像の動きの無い位置に生成するのに適した補間画素であって、Ｎ−２フィールドの画像内の画素（補間画素の生成位置と同じ位置の
画素）と同じ画素値を有する補間画素である。

倍速変換部１１１は、補間データ生成部１１０から出力される補間データと、フィールドメモリ１００から出力されるＮ−１フィールドの信号とを合成してプログレッシブ映像の信号（プログレッシブ映像の１フレームの信号）として出力する。
具体的には、倍速変換部１１１は、フィールドメモリ１００から出力されたフィールド（Ｎ−１フィールド）の信号と、補間データ生成部１１０から出力された補間データとを、インターレース映像の信号が入力される速度の２倍の速度で読み出す。これにより、Ｎ−１フィールドの画像を構成する画素と補間画素とが１ラインごとに繰り返されるプログレッシブ映像の信号が出力される。

（動き決定部１２０の構成）
動き決定部１２０の構成についてより詳細に説明する。
第１のフレーム間動き検出部１０２は、インターレース映像における１フレーム期間離れた２フィールドの画像の差分（フレーム間差分）により、各画素位置での映像の動きであるフレーム間動きを検出する。
具体的には、第１のフレーム間動き検出部１０２は、１フレーム期間離れた２フィールドの画像において同一位置に存在する２画素の画素値を比較する。例えば、図２（Ａ）に示すように、Ｎフィールドの画像内の画素Ａ１０とＮ−２フィールドの画像内の画素Ｃ１０の画素値を比較する。そして、それらの差分が所定の閾値ｔｈ１以上である場合には検出値（第１動き情報）として“１（動き）”を、閾値ｔｈ１未満である場合には“０（静止）”を出力する。図２（Ａ）において、画素Ａ１０と画素Ｃ１０との差分から得られた第１動き情報は、Ｎ−１フィールドの画像内における補間画素の生成位置（画素Ａ１０（画素Ｃ１０）と同じ位置）に対応付けられる。

フィールド間動き検出部１０３は、インターレース映像における１フィールド期間離れた２フィールドの画像の差分（フィールド間差分）により、各画素位置での映像の動きであるフィールド間動きを検出する（第２検出手段）。
具体的には、フィールド間動き検出部１０３は、所定のフィールドの画像において垂直方向に隣接する２画素の画素値を、それぞれ、そのフィールドの１つ後のフィールドの画像においてそれらの間に位置する画素の画素値と比較する。例えば、図２（Ｂ）に示すように、Ｎ−１フィールドの画像内の画素Ｂ１０，Ｂ１１の画素値が、それぞれ、Ｎフィールドの画像内の画素Ａ１０の画素値と比較される。そして、それらの差分（画素Ｂ１０の画素値と画素Ａ１０の画素値の差分１、画素Ｂ１１の画素値と画素Ａ１０の画素値の差分２）の少なくともいずれかが所定の閾値ｔｈ２以上である場合には検出値（第２動き情報）として“１（動き）”を出力する。いずれも閾値ｔｈ２未満である場合には“０（静止）”を出力する。図２（Ｂ）において、画素Ｂ１０及び画素Ｂ１１と画素Ａ１０との差分から得られた第２動き情報は、Ｎ−１フィールドの画像内における補間画素の生成位置（画素Ａ１０と同じ位置；画素Ｂ１０と画素Ｂ１１の間の位置）に対応付けられる。なお、インターレース映像の１水平走査期間を１Ｈとすると、画素Ａ１０は、画素Ｂ１０に対して０．５Ｈ分だけ下方向に位置し、画素Ｂ１１に対して０．５Ｈ分だけ上方向に位置する。
なお、閾値ｔｈ１と閾値ｔｈ２は、映像の動きの有無を判断することができればどのような値であってもよい。例えば、閾値ｔｈ１と閾値ｔｈ２は同じ値であってもよいし、フィールド間動き検出部１０３では第１のフレーム間動き検出部１０２に比べ時間的に近い２フィールドの画像が比較されることを考慮し、閾値ｔｈ２は閾値ｔｈ１より小さい値としてもよい。

エッジ判定部１０４は、各フィールドの画像から垂直方向に隣接する画素間の画素値に差がある部分（垂直エッジ）を検出し、補間画素の生成位置が垂直エッジ部分か否かを判
定する（エッジ判定手段）。
具体的には、図２（Ｃ）に示すように、エッジ判定部１０４は、インターレース映像の各フィールド（図２（Ｃ）の例ではＮ，Ｎ−１，Ｎ−２フィールド）の画像から、それぞれ、垂直エッジを検出する。本実施形態では、各フィールドの画像について、垂直方向に隣接する画素間の画素値の差分が所定の閾値ｔｈ３以上である場合に“垂直エッジあり”、差分が閾値ｔｈ３未満である場合に“垂直エッジ無し”と判断される。例えば、Ｎ−１フィールドの画像内の画素Ｂ２０（白丸：輝度レベル２５５の値を持った画素）と画素Ｂ２１（黒丸：輝度レベル０の値を持った画素）の差分ｃを閾値ｔｈ３と比較することにより、垂直エッジの有無を判断する。
ここで、閾値ｔｈ３＝４０とすると、差分ｃは閾値ｔｈ３＝４０以上であるため、画素Ｂ２０−画素Ｂ２１間に垂直エッジが存在すると判断され、垂直エッジの有無を表すエッジ情報ｃ’が設定（算出）される。なお、本実施例ではエッジ情報を「０」，「１」の２値とし、垂直エッジが存在する場合にはエッジ情報として「１」が、垂直エッジが存在しない場合には「０」が設定されるものとする。
同様に、画素Ａ２０−画素Ａ２１間、画素Ａ２１−画素Ａ２２間、画素Ｃ２０−画素Ｃ２１間、画素Ｃ２１−画素Ｃ２２間に対しても、それぞれ、垂直エッジの有無が判断され、エッジ情報ａ’、エッジ情報ｂ’、エッジ情報ｄ’、エッジ情報ｅ’が設定される。図２（Ｃ）の例では、エッジ情報ａ’＝０、エッジ情報ｂ’＝１、エッジ情報ｃ’＝１、エッジ情報ｄ’＝０、エッジ情報ｅ’＝１と設定される。
そして、これらのエッジ情報を用いて、補間画素の生成位置（図２（Ｃ）の例では符号Ｂ２２で示された位置）が垂直エッジ部分か否かが判定される。具体的には、「エッジ情報ａ’＝１且つエッジ情報ｄ’＝１」、「エッジ情報ｃ’＝１」、及び、「エッジ情報ｂ’＝１且つエッジ情報ｅ’＝１」の少なくともいずれかを満たすときに、補間画素の生成位置が垂直エッジ部分であると判定される。補間画素の生成位置が垂直エッジ部分である場合には、エッジ判定部１０４は、補間画素の生成位置が垂直エッジ部分であることを表すエッジ条件（“Ｈｉｇｈ”）と、そのエッジの大きさ（垂直方向に隣接する画素間の画素値の差）を表すエッジ度数を出力する。エッジ度数は、例えば、設定されたエッジ情報の最大値である。本実施形態ではエッジ情報を「０」，「１」の２値で表しているため「１」がエッジ度数とされる。補間画素の生成位置が垂直エッジ部分でない場合には、エッジ判定部１０４は、補間画素の生成位置が垂直エッジ部分でないことを表すエッジ条件（“Ｌｏｗ”）を出力する。

第２のフレーム間動き検出部１０５は、フレーム間差分により、各画素位置でのフレーム間動きを検出する。なお、第２のフレーム間動き検出部１０５の動作は第１のフレーム間動き検出部１０２の動作と同様であるが、第２のフレーム間動き検出部１０５と第１のフレーム間動き検出部１０２では、用いる閾値が異なる。具体的には、第２のフレーム間動き検出部１０５では、第１のフレーム間動き検出部１０２で用いられる閾値ｔｈ１よりも高い閾値ｔｈ４を用いることにより、検出値（第３動き情報）として“０（静止）”が出力され易くしている。図２（Ａ）において、画素Ａ１０と画素Ｃ１０との差分から得られた第３動き情報は、Ｎ−１フィールドの画像内における画素Ａ１０（画素Ｃ１０）と同じ位置に対応付けられるとともに、Ｎフィールドの画像内における画素Ａ１０の位置に対応付けられる。本実施形態では、第１のフレーム間動き検出部１０２と第２のフレーム間動き検出部１０５を併せたものが第１検出手段に相当する。

本実施形態では、カウント部１０６及び補正部１０７により、生成の対象とする補間画素（対象補間画素）の周辺の領域（周辺領域）における映像の動きの有無を、周辺領域内の複数の画素位置での第３動き情報に基づいて判定する（周辺動き判定手段）。そして、補正部１０７及び最大値選択部１０８により、周辺領域における映像の動きの有無に応じて、補間画素の生成位置での映像の動きを決定する（決定手段）。以下、詳しく説明する。

カウント部１０６は、周辺領域内の複数の画素位置での第３動き情報に基づいて、動きの無い画素位置（第３動き情報が“０”である位置；静止位置）の数をカウントする。
具体的には、図３（Ａ）に示すように、カウント部１０６は、対象補間画素１０の生成位置に対し、水平方向に隣接する３２個の画素位置（左右それぞれ１６個の補間画素（対象補間画素とは異なる補間画素）の生成位置）を参照する。そして、３２個の画素位置の内、第３動き情報が“０”である位置の数をカウントし、カウントされた値を水平方向のカウント値とする。位置１１は第３動き情報が“１”である画素位置を示し、位置１２は“０”である画素位置を示す。図３（Ａ）の例では、３２個の画素位置の内、２０個の画素位置が静止位置としてカウントされる。
また、図３（Ｂ）に示すように、カウント部１０６は、対象補間画素１０の生成位置に対し、垂直方向の４ライン（対象補間画素の上下それぞれ２ライン）上の複数の画素位置（インターレース映像のフィールドの画像を構成する画素の画素位置）を参照する。具体的には、垂直方向の４ライン上の画素位置であって、水平方向の位置が対象補間画素１０と等しい画素位置、及び、その画素位置の水平方向に隣接する２つの画素位置（左右それぞれ１つの画素位置）を参照する。そして、１２個の画素位置（３つの画素位置×４ライン）の内、第３動き情報が“０”である位置の数をカウントし、カウントされた値を垂直方向のカウント値とする。図３（Ｂ）の例では１２個の画素位置の内、６個の画素位置が静止位置としてカウントされる。
なお、図３（Ａ）、図３（Ｂ）において、実線がオリジナルライン（入力されたインターレース映像のライン）、点線が補間ライン（補間画素が生成されるライン）を表している。

補正部１０７は、補間画素の生成位置が垂直エッジ部分である場合に、フィールド間動きの検出値（第２動き情報）を小さくする補正を行う（補正手段）。本実施形態では、第２動き情報からエッジ度数を減算することにより第２動き情報を小さくする。
また、補正部１０７は、カウント部１０６の出力（カウント値）に応じた動き情報を後段へ出力する。

補正部１０７は、例えば、図４に示すような構成を有する。
フィールド間動き補正部３０は、補間画素の生成位置に対するエッジ条件が“Ｈｉｇｈ”である場合に、減算器３１により、その位置での第２動き情報から、エッジ度数を減算し、出力する（「減算した値＜０」の場合には“０”が出力される）。エッジ条件が“Ｌｏｗ”である場合には、その位置での第２動き情報をそのまま出力する。なお、第２動き情報をそのまま出力するか、第２動き情報からエッジ度数を減算して出力するかは、選択器３２により切り換えられる。本実施形態では、エッジ条件が“Ｈｉｇｈ”である場合にエッジ度数は“１”であるため、第２動き情報からエッジ度数を減算した値は“０”となる。
動き選択部３３は、カウント部１０６の出力（カウント値）を所定の閾値と比較し、周辺領域における映像の動きの有無を判定する。そして、判定結果に応じて、第１動き情報と選択器３２で選択された動き情報（第２動き情報または補正された第２動き情報）のいずれかを選択し、後段へ出力する。具体的には、動きの無い画素位置の数が所定の閾値以上（水平方向のカウント値が所定の閾値ｔｈ５以上、且つ、垂直方向のカウント値が所定の閾値ｔｈ６以上）である場合に、周辺領域における映像の動きが無いと判定され、第１動き情報が選択される。動きの無い画素位置の数が所定の閾値未満（水平方向のカウント値と垂直方向のカウント値の少なくともいずれかが所定の閾値未満）である場合には、周辺領域における映像の動きがあると判定され、選択器３２で選択された動き情報が選択される。閾値ｔｈ５，ｔｈ６は、周辺領域での映像の動きの有無を判断するための閾値であり、それぞれ、水平方向のカウント値との比較、垂直方向のカウント値との比較に用いられる。

最大値選択部１０８は、第１動き情報と補正部１０７の出力（第１動き情報、第２動き情報、または、補正された第２動き情報）のうち、より大きい値を補間画素動き情報として出力する。
周辺領域における映像の動きが無い場合には、補間画素の生成位置での映像の動きが無い可能性が高い。そのような場合には、フィールド間動きの検出値（第２動き情報）よりもフレーム間動きの検出値（第１動き情報）の方がより信頼できる（例えば、図７（Ｃ）に示す画素配列となる場合に、静止画像であっても第２動き情報は“１（動き）”となる（誤検出））。一方、周辺領域における映像の動きがある場合には、補間画素の生成位置での映像の動きがある可能性が高い。そのような状況では、補間画素の生成位置での映像の動き情報（補間画素動き情報）は、フィールド間動きの検出値とフレーム間動きの検出値とから総合的に判断することが望ましい。具体的には、いずれかの検出値が“１（動き）”である場合には、その値を補間画素動き情報とすることが望ましい。
本実施形態では、周辺領域における映像の動きが無い場合に、補間画素の生成位置でのフレーム間動きの検出値（第１動き情報）が、補間画素の生成位置での映像の動き情報（補間画素動き情報）とされる。周辺領域における映像の動きがある場合には、補間画素の生成位置での第１動き情報とフィールド間動きの検出値（第２動き情報）のうち、より大きい値が補間画素動き情報とされる。
そのため、補間画素の生成位置での映像の動き決定の精度を高めることができる。以下、図面を用いて本実施形態に係る画像処理装置の効果について具体的に説明する。

まず、インターレース映像として、文字などが画面の水平方向に移動する動画像Ａ（図７（Ａ））が入力された場合を想定する。動画像Ａの文字部分（文字が通過する領域）での画素配列は、例えば、図７（Ｃ）のようになる。補間画素の生成位置が動画像Ａの文字が通過する位置（例えば、図７（Ｃ）の位置１３０５）である場合には、補間画素動き情報は“１（動き）”とすべきである。なお、位置１３０５での第１動き情報は“０”、第２動き情報は“１”となる。本実施形態では、そのような位置での映像の動き（補間画素動き情報）を正確に決定することができる。

具体的には、動画像Ａの位置１３０５に補間画素（対象補間画素）を生成する場合に、周辺領域内の複数の画素位置での第３動き情報は、図３（Ａ），（Ｂ）のようになる。即ち、“１”とされた画素位置と“０”とされた画素位置が混在することになる。具体的には、動画像Ａでは文字が水平方向に動いているため、第２のフレーム間動き検出部１０５において、文字を構成する画素と背景を構成する画素が比較される場合がある。その場合には、第３動き情報は“１”とされる。また、文字を構成する２画素、または、背景を構成する２画素が比較される場合がある。その場合には、第３動き情報は“０”とされる。その結果、第３動き情報が“１”とされた画素位置と“０”とされた画素位置が混在することになる。

ここで、閾値ｔｈ５＝３０、閾値ｔｈ６＝１０とすると、水平方向のカウント値（＝２０（図３（Ａ）））は閾値ｔｈ５未満、垂直方向のカウント値（＝６（図３（Ｂ）））は閾値ｔｈ６未満となる。そのため、周辺領域における映像の動きがあると判定され（且つ、図３（Ｃ）のような画素配列の場合には、補間画素の生成位置は垂直エッジ部分ではないと判定されるため）、補正部１０７からは第２動き情報“１”が出力される。そして、最大値選択部１０８において、第１動き情報“０”と、補正部１０７の出力（第２動き情報“１”）とが比較される。その結果、より大きい値“１”を補間画素動き情報とすることができる。それにより、補間画素としてフィールド内補間画素が生成されるため、フィールド間補間画素を補間画素とすることによる画質の劣化（コーミングノイズの発生）を抑制することができる。

次に、インターレース映像として、輝度レベル０の画素が並んだラインと輝度レベル２５５の画素が並んだライン垂直方向に交互に並んだ静止画像Ｂ（図７（Ｂ））が入力された場合を想定する。静止画像Ｂでも、画素配列は図７（Ｃ）のようになる。このような静止画像Ｂに対しては、“０（静止）”を補間画素動き情報とすべきである。本実施形態では、そのような位置での映像の動き（補間画素動き情報）を正確に決定することができる。

具体的には、静止画像Ｂの位置１３０５に補間画素（対象補間画素）を生成する場合に、周辺領域内の複数の画素位置での第３動き情報は、図６（Ａ），（Ｂ）のようになる。即ち、周辺領域内の複数の画素位置での第３動き情報は全て“０”となる。これは、静止画像Ｂには動きが無いため、第２のフレーム間動き検出部１０５で比較される２画素が同じ画素値を有するからである。

ここで、閾値ｔｈ５＝３０、閾値ｔｈ６＝１０とすると、水平方向のカウント値（＝３２（図６（Ａ）））は閾値ｔｈ５以上、垂直方向のカウント値（＝１２（図６（Ｂ）））は閾値ｔｈ６以上となる。そのため、周辺領域における映像の動きは無いと判定され、補正部１０７からは第１動き情報“０”が出力される。そして、最大値選択部１０８において、第１動き情報“０”と補正部１０７の出力（第１動き情報“０”）とが比較される。その結果、（両者は同じ値であるため）“０”を補間画素動き情報とすることができる。それにより、補間画素としてフィールド間補間画素が生成されるため、フィールド内補間画素を補間画素とすることによる画質の劣化（フリッカの発生）を抑制することができる。

また、補間画素の生成位置が垂直エッジ部分である場合には、第１動き情報を補間画素動き情報とすることが望ましい。具体的には、補間画素の生成位置が動きのある垂直エッジ部分である場合には、動きを滑らかに表現するために、補間画素動き情報は“１”とする（補間画素としてフィールド内補間画素を生成する）ことが望ましい。一方、補間画素の生成位置が動きの無い垂直エッジ部分である場合には、エッジを鮮明に表現するために、補間画素動き情報は“０”とする（補間画素としてフィールド間補間画素を生成する）ことが望ましい。
例えば、図２（Ｃ）のように動きの無い垂直エッジ部分（位置Ｂ２２）での第１動き情報は、画素Ａ２１と画素Ｃ２１の画素値の差が０であるため、“０”となる。一方、位置Ｂ２２での第２動き情報は、画素Ａ２１と画素Ｂ２１の画素値の差が２５５であるため、“１”となる。そのような位置に対して第２動き情報を補間画素動き情報とすると（そのような位置にフィールド内補間画素を生成すると）、エッジがぼやけ、画質が大きく劣化してしまう。
補間画素の生成位置が垂直エッジ部分である場合に、第１動き情報を補間画素動き情報とすることにより、上述した値を補間画素動き情報とすることができる。
本実施形態では、補間画素の生成位置が垂直エッジ部分である場合に、補間部１０７により、第２動き情報を小さくする（第２動き情報を“０”にする）補正が行われる。そして、補間画素の生成位置が垂直エッジ部分であり、且つ、周辺領域に置ける映像の動きがある場合に、補間画素の生成位置での第１動き情報と補正された第２動き情報のうち、より大きい値が補間画素動き情報とされる。具体的には、補正された第２動き情報は“０”であるため、補間画素の生成位置が垂直エッジ部分である場合には、第１動き情報が補間画素動き情報として選択されることとなる。そのため、補間画素の生成位置がエッジ部分である場合に、（補間画素の生成位置での）映像の動きを正確に決定することができる。

以上述べたように、本実施形態に係る映像処理装置及びその制御方法によれば、周辺領域における映像の有無に応じて補間画素の生成位置での動き情報が決定される。それにより、補間画素の生成位置での映像の動き決定の精度を高めることができ、ひいては、イン
ターレース映像の信号をプログレッシブ映像の信号に変換する際の画質の劣化を抑制することができる。

なお、本実施形態では、動き情報、エッジ情報、エッジ度数を１ビット（０または１）とした場合について説明したが、これらの情報は複数ビット（２ビット、４ビットなど）で表されてもよい。
本実施形態では、動き情報が１ビットであるため、補間データ生成部１１０では補間画素動き情報に応じて、補間画素として、フィールド内補間画素とフィールド間補間画素のいずれかを生成する構成としている。しかし、動き情報が複数ビットの場合にはこのような構成に限らない。例えば、動き情報（検出値）が２ビット（０〜３）で表される場合には、動きの大きさ（例えば、フィールド間差分やフレーム間差分）が大きいほど大きな値が検出値として設定されればよい。そして、補間画素動き情報が“０”の場合に補間画素としてフィールド間補間画素を生成し、“３”の場合にフィールド内補間画素を生成すればよい。補間画素の生成位置での映像の動きが小さい場合には、フィールド間補間画素とフィールド内補間画素を重み付け合成して得られた画素を補間画素としてもよい。そのため、補間画素動き情報が“１”，“２”の場合には、フィールド間補間画素とフィールド内補間画素を重み付け合成して得られた画素を補間画素としてもよい。補間画素動き情報が“１”の場合に補間画素としてフィールド間補間画素を生成し、“２”の場合にフィールド内補間画素を生成してもよい。

エッジ情報が複数ビットで表される場合には、垂直エッジの大きさ（垂直方向に隣接する画素間の画素値の差）が大きいほど大きな値がエッジ情報として設定されればよい（エッジ度数についても同様である）。
また、エッジ度数を複数ビットで表すことにより、垂直エッジの大きさに応じて、第２動き情報を補正する（小さくする）ことができ、第１動き情報を補間画素動き情報として選択され易くすることができる。例えば、垂直エッジの大きさが大きいほど（視聴者にエッジとして認識され易いほど）第１動き情報を補間画素動き情報として選択され易くすることができる。

なお、本実施形態では映像処理装置が２つのフレーム間動き検出部を有する構成としたが、フレーム間動き検出部は１つであってもよい。具体的には、カウント部１０６では、第３動き情報ではなく、第１動き情報に基づいて静止位置の数をカウントしてもよい。但し、フレーム間差分は、映像の動きが巨視的な動きである場合に大きく、微視的な動き（巨視的には静止していると判断すべき動き）である場合に小さくなるものと考えられる。そのため、第２のフレーム間動き検出部１０５のように、より高い閾値を用いれば、巨視的な映像の動きを精度良く検出することができる。
なお、周辺領域における映像の動きの有無の判定方法は上述した方法に限らない。例えば、水平方向のカウント値と垂直方向のカウント値の少なくともいずれかが閾値以上の場合に周辺領域における映像の動きが無いと判定してもよい。水平方向のカウント値と垂直方向のカウント値の両方が閾値未満の場合にのみ周辺領域における映像の動きがあると判定してもよい。
なお、本実施形態では、周辺領域内の複数の画素位置として、水平方向及び垂直方向に隣接する画素位置を参照する構成としたが、水平方向と垂直方向のいずれかに隣接する画素位置を参照してもよい。対象補間画素とは異なる補間画素の生成位置とインターレース映像のフィールドの画像を構成する画素の画素位置のいずれかを参照してもよい。

１０２・・・第１のフレーム間動き検出部 １０３・・・フィールド間動き検出部 １０５・・・第２のフレーム間動き検出部 １０６・・・カウント部 １０７・・・補正部 １０８・・・最大値選択部 １１０・・・補間データ生成部

Claims (8)

1. インターレース映像の信号を補間によりプログレッシブ映像の信号に変換する映像処理装置であって、
   前記インターレース映像における１フレーム期間離れた２フィールドの画像の差分により、各画素位置での映像の動きに係るフレーム間動きを検出する第１検出手段と、
   前記インターレース映像における１フィールド期間離れた２フィールドの画像の差分により、各画素位置での映像の動きに係るフィールド間動きを検出する第２検出手段と、
   生成の対象とする補間画素の周辺領域における映像の動きの有無を、前記周辺領域内の複数の画素位置でのフレーム間動きの検出値に基づいて判定する周辺動き判定手段と、
   前記周辺動き判定手段の判定結果に基づいて、補間画素の生成位置での映像の動き情報を決定する決定手段と、
   前記補間画素の生成位置での映像の動き情報に応じて、前記補間画素の生成に用いる補間方法を切り換える切換手段と、
   を有し、
   前記決定手段は、
   前記周辺動き判定手段で前記周辺領域における映像の動きが無いと判定された場合には、前記補間画素の生成位置でのフレーム間動きの検出値を、前記補間画素の生成位置での映像の動き情報とし、
   前記周辺動き判定手段で前記周辺領域における映像の動きがあると判定された場合には、前記補間画素の生成位置でのフレーム間動きの検出値とフィールド間動きの検出値とに基づいて、前記補間画素の生成位置での映像の動き情報を決定する
   ことを特徴とする映像処理装置。
2. 前記決定手段は、前記周辺動き判定手段で前記周辺領域における映像の動きがあると判定された場合には、前記補間画素の生成位置でのフレーム間動きの検出値とフィールド間動きの検出値とのうち、より大きい値を前記補間画素の生成位置での映像の動き情報とする
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記周辺動き判定手段は、
   前記周辺領域内の複数の画素位置でのフレーム間動きの検出値に基づいて、動きの無い画素位置の数をカウントし、
   前記動きの無い画素位置の数が所定の閾値以上である場合に、前記周辺領域における映像の動きが無いと判定し、
   前記動きの無い画素位置の数が所定の閾値未満である場合に、前記周辺領域における映像の動きがあると判定する
   ことを特徴とする請求項１または２に記載の映像処理装置。
4. 前記補間画素の生成位置が垂直方向に隣接する画素間の画素値に差がある垂直エッジ部分か否かを判定するエッジ判定手段と、
   前記エッジ判定手段で前記補間画素の生成位置が垂直エッジ部分であると判定された場合に、前記フィールド間動きの検出値を小さくする補正を行う補正手段と、
   を更に備え、
   前記決定手段は、前記エッジ判定手段で前記補間画素の生成位置が垂直エッジ部分であると判定され、且つ、前記周辺動き判定手段で前記周辺領域における映像の動きがあると判定された場合には、前記補間画素の生成位置でのフレーム間動きの検出値と前記補正されたフィールド間動きの検出値とのうち、より大きい値を前記補間画素の生成位置での映像の動き情報とする
   ことを特徴とする請求項１〜３のいずれか１項に記載の映像処理装置。
5. インターレース映像の信号を補間によりプログレッシブ映像の信号に変換する映像処理装置の制御方法であって、
   前記インターレース映像における１フレーム期間離れた２フィールドの画像の差分により、各画素位置での映像の動きに係るフレーム間動きを検出する第１検出ステップと、
   前記インターレース映像における１フィールド期間離れた２フィールドの画像の差分により、各画素位置での映像の動きに係るフィールド間動きを検出する第２検出ステップと、
   生成の対象とする補間画素の周辺領域における映像の動きの有無を、前記周辺領域内の複数の画素位置でのフレーム間動きの検出値に基づいて判定する周辺動き判定ステップと、
   前記周辺動き判定ステップの判定結果に基づいて、補間画素の生成位置での映像の動き情報を決定する決定ステップと、
   前記補間画素の生成位置での映像の動き情報に応じて、前記補間画素の生成に用いる補間方法を切り換える切換ステップと、
   を有し、
   前記決定ステップでは、
   前記周辺動き判定ステップで前記周辺領域における映像の動きが無いと判定された場合には、前記補間画素の生成位置でのフレーム間動きの検出値が、前記補間画素の生成位置での映像の動き情報とされ、
   前記周辺動き判定ステップで前記周辺領域における映像の動きがあると判定された場合には、前記補間画素の生成位置でのフレーム間動きの検出値とフィールド間動きの検出値とに基づいて、前記補間画素の生成位置での映像の動き情報が決定される
   ことを特徴とする映像処理装置の制御方法。
6. 前記決定ステップでは、前記周辺動き判定ステップで前記周辺領域における映像の動きがあると判定された場合には、前記補間画素の生成位置でのフレーム間動きの検出値とフィールド間動きの検出値とのうち、より大きい値が前記補間画素の生成位置での映像の動き情報とされる
   ことを特徴とする請求項５に記載の映像処理装置の制御方法。
7. 前記周辺動き判定ステップでは、
   前記周辺領域内の複数の画素位置でのフレーム間動きの検出値に基づいて、動きの無い画素位置の数がカウントされ、
   前記動きの無い画素位置の数が所定の閾値以上である場合に、前記周辺領域における映像の動きが無いと判定され、
   前記動きの無い画素位置の数が所定の閾値未満である場合に、前記周辺領域における映像の動きがあると判定される
   ことを特徴とする請求項５または６に記載の映像処理装置の制御方法。
8. 前記補間画素の生成位置が垂直方向に隣接する画素間の画素値に差がある垂直エッジ部分か否かを判定するエッジ判定ステップと、
   前記エッジ判定ステップで前記補間画素の生成位置が垂直エッジ部分であると判定された場合に、前記フィールド間動きの検出値を小さくする補正を行う補正ステップと、
   を更に有し、
   前記決定ステップでは、前記エッジ判定ステップで前記補間画素の生成位置が垂直エッジ部分であると判定され、且つ、前記周辺動き判定ステップで前記周辺領域における映像の動きがあると判定された場合には、前記補間画素の生成位置でのフレーム間動きの検出値と前記補正されたフィールド間動きの検出値とのうち、より大きい値が前記補間画素の生成位置での映像の動き情報とされる
   ことを特徴とする請求項５〜７のいずれか１項に記載の映像処理装置の制御方法。

Images