JP2012249123A - 映像処理装置及び補間フレーム生成方法 - Google Patents

Abstract

【課題】画面端においても精度よく補間を行う。
【解決手段】映像処理装置は、入力信号を入力する入力部１０１と、入力信号をフレーム遅延させて遅延入力信号として出力するフレームメモリ１０２と、入力信号と遅延入力信号とに基づいてフレーム間の動きベクトルを検出する動きベクトル検出部１０３と、入力信号の画面端となる画素を検出する画面端検出部１０４と、動きベクトルと画面端の画素とに基づいて入力信号と遅延入力信号とより補間フレームを生成する補間フレーム生成部１０６，１０６’とを備え、補間フレーム生成部１０６，１０６’は、動きベクトルが画面端の画素より外側の画素を指す場合、画面端の画素または画面端の画素より内側の画素を用いて補間フレームを生成する。
【選択図】図１

Description

本発明は、入力映像のフレーム間の補間フレームを生成する映像処理装置及び補間フレーム生成方法に関する。

近年、テレビなどの映像処理装置では、入力映像のフレーム間に補間フレームを挿入して出力することが一般的になってきている。このように、入力されたフレームレートに対して高いフレームレートで出力することにより、滑らかでぼけの少ない動画を提供することができる。挿入する補間フレームは、入力映像の連続するフレーム間の差異からフレーム間の動きベクトルを推定し、その動きベクトルと前後のフレームから生成されるのが一般的である（例えば、特許文献１、２）。

特開２００８−２４５１３５号公報 特開２０１０−２７８７６０号公報

ところで、補間フレームの各画素を生成するためには、補間元のフレームに該当する画素が存在することが前提である。そのため、補間元のフレームに該当する画素が存在しない場合は、補間の精度が低くなるため、その映像の視聴者にとって違和感のあるフレームを生成してしまうこととなる。それが顕著に表れるのが画面端（画面の端部）である。

すなわち、画面端で物体が動いている場合、補間フレームの前後フレームの片方では物体がフェードインまたはフェードアウトして画面外に出てしまい、元画素が画面上に存在しなくなることがある。仮にそのまま画面外の画素を補間元に用いると、一般的に画面外には通常の映像データは存在しないため補間エラーを発生させてしまうことになる。

そこで、特許文献１では、画面外の画素を補間元に用いないようにするため、画面端においては前後フレームの片方の画素のみを補間元に用いる。すなわち、図９に示すように、破線で示す動きベクトルが画面外の画素を指す後フレーム１ｆの画素は用いず、画面内の画素を指す前フレーム０ｆの画素のみを用いる。この方法では、動きベクトルの検出精度が高くなかった場合、２フレームを用いて生成された補間画素と１フレームのみを用いて生成された補間画素との境界で急激な変化が生じるため、その映像の視聴者が違和感を生じるリスクが高くなる。

本発明はこのような課題を解決するためになされたものであり、その目的は、画面端においても精度よく補間を行うことのできる映像処理装置及び補間フレーム生成方法を提供することである。

前記課題を解決するために、本発明の実施形態に係る映像処理装置は、入力信号を入力する入力部（１０１）と、前記入力部（１０１）により入力された入力信号をフレーム遅延させて遅延入力信号として出力するフレームメモリ（１０２）と、前記入力部（１０１）により入力された入力信号と前記遅延入力信号とに基づいてフレーム間の動きベクトルを検出する動きベクトル検出部（１０３）と、前記入力部（１０１）により入力された入力信号の画面端となる画素を検出する画面端検出部（１０４）と、前記動きベクトル検出部（１０３）により検出された動きベクトルと前記画面端検出部（１０４）により検出された画面端の画素とに基づいて、前記入力部（１０１）により入力された入力信号と前記遅延入力信号とより補間フレームを生成する補間フレーム生成部（１０６，１０６’）とを備え、前記補間フレーム生成部（１０６，１０６’）は、前記動きベクトルが前記画面端の画素より外側の画素を指す場合、前記画面端の画素または前記画面端の画素より内側の画素を用いて前記補間フレームを生成することを特徴とする。

前記動きベクトル検出部（１０３）により検出された動きベクトルが前記画面端検出部（１０４）により検出された画面端より外側の画素を指す場合、前記動きベクトルが前記画面端の画素または前記画面端の画素より内側の画素を指すよう前記動きベクトルを制御する画面端ベクトル制御部（１０５）を備え、前記補間フレーム生成部（１０６，１０６’）は、前記画面端ベクトル制御部（１０５）により制御された動きベクトルに基づいて、前記画面端の画素または前記画面端の画素より内側の画素を用いて前記補間フレームを生成してもよい。

前記画面端検出部（１０４）は、前記入力信号の有効画素領域の上下及び左右端の画素、または前記入力信号の有効画素領域の上下及び左右端から任意の画素数だけ内側にシフトさせた画素を前記画面端の画素として検出してもよい。

更に、前記入力信号の有効画素領域内の黒領域を検出する黒領域検出部（１０８）を備え、前記画面端検出部（１０４）は、前記黒領域検出部（１０８）により検出された黒領域より内側の画素を前記画面端の画素として検出してもよい。

更に、前記動きベクトル検出部（１０３）により検出された動きベクトルと前記画面端検出部（１０４）により検出された画面端の画素とに基づいて、補間元のフレームの使用比率である補間比率を制御する補間比率制御部（１０９）を備えてもよい。

前記補間比率制御部（１０９）は、前記画面端検出部（１０４）により検出された画面端の画素と前記動きベクトルが指す画面外の画素との距離に基づいて前記補間比率を制御してもよい。

前記補間比率制御部（１０９）は、前記動きベクトルのベクトル量に基づいて前記補間比率を制御してもよい。

前記補間比率制御部（１０９）は、前記動きベクトルの検出における正確度または信用度に基づいて前記補間比率を制御してもよい。

前記課題を解決するために、本発明の実施形態に係る補間フレーム生成方法は、入力部（１０１）が入力信号を入力する入力ステップと、前記入力部（１０１）により入力された入力信号をフレーム遅延させて遅延入力信号として出力する遅延ステップと、前記入力部（１０１）により入力された入力信号と前記遅延入力信号とに基づいてフレーム間の動きベクトルを検出する動きベクトル検出ステップと、前記入力部（１０１）により入力された入力信号の画面端となる画素を検出する画面端検出ステップと、前記動きベクトル検出ステップで検出された動きベクトルと前記画面端検出ステップで検出された画面端の画素とに基づいて、前記入力部により入力された入力信号と前記遅延入力信号とより補間フレームを生成する補間フレーム生成ステップとを備え、前記補間フレーム生成ステップでは、前記動きベクトルが前記画面端の画素より外側の画素を指す場合、前記画面端の画素または前記画面端の画素より内側の画素を用いて前記補間フレームを生成することを特徴とする。

本発明によれば、動きベクトルが画面端より外側を指す場合、その動きベクトルが画面端を指すように制御するため、画面端においても精度よく補間を行うことのできる映像処理装置及び補間フレーム生成方法を提供することが可能である。

第一実施形態における映像処理装置の構成図である。 第一実施形態における補間フレームの生成処理を示す図である。 第一実施形態における画面端の画素と画面外の画素との相関を示す図である。 第ニ実施形態における映像処理装置の構成図である。 第三実施形態における映像処理装置の構成図である。 第三実施形態における黒領域を説明するための図である。 第四実施形態における映像処理装置の構成図である。 第四実施形態における補間フレームの生成処理を示す図である。 従来における補間フレームの生成処理を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。

（第一実施形態）
図１は、第一実施形態における映像処理装置の構成図である。この映像処理装置は、入力信号のフレーム間に補間フレームを挿入して出力するテレビなどであり、図１に示すように、入力部１０１と、フレームメモリ１０２と、動きベクトル検出部１０３と、画面端検出部１０４と、補間フレーム生成部１０６と、出力部１０７とを備えている。

入力部１０１は、映像などの入力信号を入力する。フレームメモリ１０２は、入力部１０１により入力された入力信号を１または複数フレーム遅延させて遅延入力信号として出力する。動きベクトル検出部１０３は、入力部１０１により入力された入力信号とフレームメモリ１０２によりフレーム遅延させた信号とに基づいてフレーム間の動きベクトルを検出する。画面端検出部１０４は、入力部１０１により入力された入力信号の画面端を検出する。補間フレーム生成部１０６は、動きベクトル検出部１０３により検出された動きベクトルと画面端検出部１０４により検出された画面端とに基づいてフレーム間の補間フレームを生成し、生成した補間フレームを入力信号の各フレーム間に適宜挿入する。出力部１０７は、入力信号を構成する各フレーム間に補間フレーム生成部１０６により生成された補間フレームが適宜挿入された出力信号を出力する。

ここで、画面端検出部１０４は、基本的には、入力信号の有効画素領域の上下及び左右端を画面端となる画素（または位置）として検出するものとする。ただし、入力信号によっては有効画素領域内であっても画面端の数画素に黒が入るものもある。このような入力信号に対応するため、有効画素領域の上下及び左右端の画素（有効画素領域端）から任意の画素数だけ内側（有効画素領域内）の画素を画面端として検出してもよい。すなわち、「画面端」とは画面の端部であって、具体的には、有効画素領域の上下及び左右端の画素、または、有効画素領域の上下及び左右端から任意の画素数だけ内側の画素を意味する。

以下、図２を用いて、本実施形態における補間フレーム生成部１０６の補間フレームの生成処理を具体的に説明する。図２では、フレームメモリ１０２にて遅延され、補間フレーム生成部１０６に入力された遅延入力信号を前フレーム０ｆとする。また、補間フレーム生成部１０６に入力された現入力信号を後フレーム１ｆとする。更に、補間フレーム生成部１０６が前フレーム０ｆと後フレーム１ｆとから生成する補間フレームを補間ｆとする。ここでは、画面端で物体が動いている場合を想定している。そして、補間フレーム（補間ｆ）の前フレーム０ｆと後フレーム１ｆのうち、後フレーム１ｆでは物体がフェードアウトして画面外に出てしまい、元画素が画面上に存在しない場合を示している。１つの矩形は１画素に対応している。

図２では、前フレーム０ｆと後フレーム１ｆとから検出した動きベクトルを破線で示している。前フレーム０ｆにおける画素Ｉ９は、後フレーム１ｆにおける画素Ｉ９の位置に移動している。補間ｆにおける補間画素Ｉ９’は、前フレーム０ｆにおける画素Ｉ９と後フレーム１ｆにおける画素Ｉ９とから生成され、前フレーム０ｆにおける画素Ｉ９の位置と後フレーム１ｆにおける画素Ｉ９の位置との中間に位置する。

前フレーム０ｆにおける画素Ｉ１０は、後フレーム１ｆにおける画素Ｉ１０の位置に移動している。図２に示す通り、後フレーム１ｆにおける画素Ｉ１０は画面外に位置する。この場合、補間ｆにおける画素Ｉ１０’を生成する際に、後フレーム１ｆにおける画素Ｉ１０が画面外画素であるため、用いる画素が存在しない問題が生じる。

図３は、動きベクトルが画面外を指す後フレーム１ｆにおいて、画面端の画素と、動きベクトルが指している画面外の画素との相関を示している。すなわち、後フレーム１ｆの画面内最外端の画素Ｉ９と画面外の４つの画素Ｉ１０〜Ｉ１３とは、互いの距離に応じて、相関が大から小になる。本実施形態では、動きベクトルが画面外の４つの画素Ｉ１０〜Ｉ１３を指す場合は、全て画面内最外端の画素Ｉ９を用いるように振り替える。このように、画面内最外端の画素Ｉ９を用いるように振り替えられた領域を「特別処理領域」と呼ぶ。また、振り替えのない通常処理が行われる領域を「通常処理領域」と呼ぶ。特別処理領域の補間画素の補間元となる画素は、画面端の画素（画面内最外端の画素）を用いてもよく、画面端の画素より内側の画素を用いてもよい。画面端の画素は、画面外の画素との相関が画面内の画素の中で最も高いため、補間元の画素として好ましい。

画面端一帯の動きベクトルが一定だった場合、図２に示すように前フレーム０ｆでは、補間ｆの特別処理領域の各画素Ｉ１０’〜Ｉ１３’の補間元となる画素Ｉ１０〜Ｉ１３の動きベクトルが補間ｆの画面内を指すので、通常処理と同様の方法で動きベクトルに基づく画素を補間元に採用する。一方、後フレーム１ｆでは、動きベクトルに基づく補間元となる画素Ｉ１０〜Ｉ１３が画面外に存在するため、画面端の画素またはその内側の画素（本実施形態では画素Ｉ９）をそれぞれ補間元に採用する。一般的には、画面外にある画素Ｉ１０〜Ｉ１３と画面端の画素Ｉ９が画面内の画素のうち最も相関が高いため、画面端の画素Ｉ９を補間元に採用することで通常処理領域と特別処理領域との境界で処理の違いは小さくなる。

補間ｆの画面端の画素Ｉ１３’に近づくにしたがって、徐々に各画素の本来の補間元がある画素と画面端の画素との距離が遠くなるため相関は小さくなる。しかし、この変化は段階的な変化であり急激な変化ではなく、かつ、補間元として用いる片方の前フレーム０ｆについては本来の動きベクトルに基づく画面内の補間画素を用いているため、通常処理領域と特別処理領域との境界で急激な変化が生じにくい。これにより、視聴者にとって違和感の少ない補間結果が得られる。

以上のように、第一実施形態における映像処理装置によれば、動きベクトルが画面端より外側を指す場合、画面端の画素または画面端の画素より内側の画素を補間元として用いるように制御するため、画面端においても精度よく補間を行うことができる。

（第ニ実施形態）
図４は、第ニ実施形態における映像処理装置の構成図である。この映像処理装置は、基本的には第一実施形態と同様であるが、動きベクトル検出部１０３により検出された動きベクトルを制御する画面端ベクトル制御部１０５を備える。

具体的には、画面端ベクトル制御部１０５は、動きベクトル検出部１０３により検出された動きベクトルが画面端検出部１０４により検出された画面端より外側を指す場合、その動きベクトルが画面端の画素または画面端の画素より内側の画素を指すように制御する。これにより、補間フレーム生成部１０６’は、画面端ベクトル制御部１０５により制御された動きベクトルに基づいて、画面端の画素または画面端の画素より内側の画素を用いて補間フレームを生成する。なお、画面端ベクトル制御部１０５は、動きベクトルが画面内の画素を指す場合は特に処理を行わない。

以上のように、第ニ実施形態における映像処理装置によれば、動きベクトルが画面端より外側を指す場合、その動きベクトルが画面端の画素または画面端の画素より内側の画素を指すように制御するため、画面端においても精度よく補間を行うことができる。

（第三実施形態）
図５は、第三実施形態における映像処理装置の構成図である。この映像処理装置は、基本的には第一実施形態と同様であるが、入力信号の有効画素領域内の黒領域（黒で占められる領域）を検出する黒領域検出部１０８を備える。また、画面端検出部１０４ｂは、黒領域検出部１０８により検出された黒領域を画面外として扱い、黒領域より内側の画素を画面端画素として検出する。

具体的には、図６に示すように、黒領域検出部１０８は、有効画素領域内の上下及び左右端に黒領域を検出すると、その黒領域を画面外として扱う。例えば、映画などの映像では画面の上下がカットされている場合がある。また、１６：９のアスペクトで表示されるディスプレイにおいて４：３のアスペクトで生成された映像を見る場合、その映像の左右がカットされているときがある。このような場合は、図６に示すように、カットされた領域に合わせて画面端Ｅ１を設定することができるようになっている。

以上のように、第三実施形態における映像処理装置では、入力信号の有効画素領域内の黒領域より内側を画面端として検出するため、この黒領域の画素を補間に使用しない。これにより、有効画素領域内に黒領域がある場合でも、画面端において精度よく補間を行うことができる。

（第四実施形態）
図７は、第四実施形態における映像処理装置の構成図である。この映像処理装置は、基本的には第一実施形態と同様であるが、図７に示すように、動きベクトル検出部１０３により検出された動きベクトルと画面端検出部１０４ｂにより検出された画面端とに基づいて補間比率を制御する補間比率制御部１０９を備える。補間比率とは、補間元のフレームの使用比率、言い換えると、補間画素を生成する際の２画素の使用比率である。補間フレーム生成部１０６’は、補間比率制御部１０９からの補間比率に基づいて補間フレームを生成する。

以下、本実施形態における補間フレームの生成処理を具体的に説明する。すなわち、相関が大きいほど補間の信頼度は高くなるため、相関の大きい画素は通常処理と同じくらいの比率で補間に採用し、相関の低い画素は比率を下げて補間に採用する。

具体例を図８に示す。ここでも、図３と同様、後フレーム１ｆの画面内最外端の画素Ｉ１５と画面外の４つの画素Ｉ１６〜Ｉ１９とは、互いの距離に応じて、相関が大から小になる。すなわち、画面端に近い画面外の画素（例えばＩ１６）を動きベクトルが指していた場合は、動きベクトルが指していた画面外の画素Ｉ１６と画面端の画素Ｉ１５との相関が大きい。そのため、この場合は、通常処理に近い比率で前フレーム０ｆと後フレーム１ｆとを使用して補間を行う。本実施形態では、通常処理の補間画素は、補間元となる前フレーム０ｆの画素と後フレーム１ｆの画素との混合比率が１対１で生成される。一方、画面端から遠い画面外の画素（例えばＩ１９）を動きベクトルが指していた場合は、動きベクトルが指していた画面外の画素Ｉ１９と画面端の画素Ｉ１５との相関が小さい。そのため、この場合は、動きベクトルが画面外を指していた後フレーム１ｆの比率を前フレーム０ｆの比率よりも下げて補間を行う。

このように、動きベクトルが本来指していた画面外の画素と画面端の画素との距離が遠ければ遠いほど相関が小さいとみなす。そして、相関が小さいとみなしたフレームの使用比率をもう一方のフレームの補間比率に対して下げるようになっている。

以上のように、第四実施形態における映像処理装置では、動きベクトルと画面端とに基づいて補間比率を制御するようにしている。このようにすれば、相関の高い画素の使用比率が高くなり、相関の低い画素の使用比率が低くなるため、信頼度の低い画素の使用を抑えつつ、段階的に変化させることが可能となる。

なお、ここでは、画面端の画素と動きベクトルが指す画面外の画素との距離に基づいて補間比率を制御することとしているが、補間比率の制御方法はこれに限定されるものではない。すなわち、補間比率制御部１０９は、動きベクトルのベクトル量に基づいて補間比率を制御するようにしてもよい。この場合、ベクトル量が大きければ大きいほど相関が小さいものとみなせば、前記と同様の効果を得ることができる。あるいは、動きベクトルの検出における正確度または信用度に基づいて補間比率を制御するようにしてもよい。この場合、正確度または信用度が低ければ低いほど相関が小さいものとみなせば、前記と同様の効果を得ることができる。

１０１ … 入力部
１０２ … フレームメモリ
１０３ … 動きベクトル検出部
１０４，１０４ｂ … 画面端検出部
１０５ … 画面端ベクトル制御部
１０６，１０６’ … 補間フレーム生成部
１０７ … 出力部
１０８ … 黒領域検出部
１０９ … 補間比率制御部

Claims (9)

1. 入力信号を入力する入力部と、
   前記入力部により入力された入力信号をフレーム遅延させて遅延入力信号として出力するフレームメモリと、
   前記入力部により入力された入力信号と前記遅延入力信号とに基づいてフレーム間の動きベクトルを検出する動きベクトル検出部と、
   前記入力部により入力された入力信号の画面端となる画素を検出する画面端検出部と、
   前記動きベクトル検出部により検出された動きベクトルと前記画面端検出部により検出された画面端の画素とに基づいて、前記入力部により入力された入力信号と前記遅延入力信号とより補間フレームを生成する補間フレーム生成部と、
   を備え、
   前記補間フレーム生成部は、前記動きベクトルが前記画面端の画素より外側の画素を指す場合、前記画面端の画素または前記画面端の画素より内側の画素を用いて前記補間フレームを生成することを特徴とする映像処理装置。
2. 前記動きベクトル検出部により検出された動きベクトルが前記画面端検出部により検出された画面端より外側の画素を指す場合、前記動きベクトルが前記画面端の画素または前記画面端の画素より内側の画素を指すよう前記動きベクトルを制御する画面端ベクトル制御部を備え、
   前記補間フレーム生成部は、前記画面端ベクトル制御部により制御された動きベクトルに基づいて、前記画面端の画素または前記画面端の画素より内側の画素を用いて前記補間フレームを生成することを特徴とする請求項１に記載の映像処理装置。
3. 前記画面端検出部は、前記入力信号の有効画素領域の上下及び左右端の画素、または前記入力信号の有効画素領域の上下及び左右端から任意の画素数だけ内側にシフトさせた画素を前記画面端の画素として検出することを特徴とする請求項１に記載の映像処理装置。
4. 更に、前記入力信号の有効画素領域内の黒領域を検出する黒領域検出部を備え、
   前記画面端検出部は、前記黒領域検出部により検出された黒領域より内側の画素を前記画面端の画素として検出することを特徴とする請求項１に記載の映像処理装置。
5. 更に、前記動きベクトル検出部により検出された動きベクトルと前記画面端検出部により検出された画面端の画素とに基づいて、補間元のフレームの使用比率である補間比率を制御する補間比率制御部を備えることを特徴とする請求項１に記載の映像処理装置。
6. 前記補間比率制御部は、前記画面端検出部により検出された画面端の画素と前記動きベクトルが指す画面外の画素との距離に基づいて前記補間比率を制御することを特徴とする請求項５に記載の映像処理装置。
7. 前記補間比率制御部は、前記動きベクトルのベクトル量に基づいて前記補間比率を制御することを特徴とする請求項５に記載の映像処理装置。
8. 前記補間比率制御部は、前記動きベクトルの検出における正確度または信用度に基づいて前記補間比率を制御することを特徴とする請求項５に記載の映像処理装置。
9. 入力部が入力信号を入力する入力ステップと、
   前記入力部により入力された入力信号をフレーム遅延させて遅延入力信号として出力する遅延ステップと、
   前記入力部により入力された入力信号と前記遅延入力信号とに基づいてフレーム間の動きベクトルを検出する動きベクトル検出ステップと、
   前記入力部により入力された入力信号の画面端となる画素を検出する画面端検出ステップと、
   前記動きベクトル検出ステップで検出された動きベクトルと前記画面端検出ステップで検出された画面端の画素とに基づいて、前記入力部により入力された入力信号と前記遅延入力信号とより補間フレームを生成する補間フレーム生成ステップと、
   を備え、
   前記補間フレーム生成ステップでは、前記動きベクトルが前記画面端の画素より外側の画素を指す場合、前記画面端の画素または前記画面端の画素より内側の画素を用いて前記補間フレームを生成することを特徴とする補間フレーム生成方法。

Images