JP2011087228A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】テロップの領域での画質の劣化が抑制されたフレームレート変換処理を行うことのできる画像処理装置及び画像処理方法を提供する。
【解決手段】本発明の画像処理装置は、入力映像からテロップの領域及び該テロップの動きを検出するテロップ検出手段と、入力映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出手段と、動きベクトルを用いて補間フレームを生成する補間フレーム生成手段と、を有し、補間フレーム生成手段は、テロップ検出手段でテロップの領域が検出された場合に、テロップの領域に対応するブロックの動きベクトルとして該テロップの動きに基づく動きベクトルを用いた第１の補間フレーム生成処理と、テロップの領域に対応するブロックの動きベクトルとして動きベクトル検出手段で検出された動きベクトルを用いた第２の補間フレーム生成処理とを交互に行う。
【選択図】図５

Description

本発明は、画像処理装置及び画像処理方法に関する。

入力された映像の時間的に連続する２つのフレーム間の動き情報（動きベクトル）を検出して、それらのフレーム間を補間する補間フレームを生成することで、入力映像のフレームレートを高める技術がある（フレームレート変換処理）。補間フレームを生成する場合には、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルが検出される。そして、検出された動きベクトルを用いて補間フレームが生成される。このような技術を用いれば、映像中の動きを滑らかに表現することができる。

また、映像にテロップが含まれる場合、視聴者はテロップに注目する可能性が高い。そのため、補間フレームを生成してテロップを滑らかに表示することにより、大きな効果が期待できる。特許文献１には、映像からテロップの領域を検出し、テロップの領域に対応するブロックの動きベクトルとして該テロップの動きに基づく動きベクトルを用いた補間フレームの生成（補間フレーム生成処理）を行う技術が開示されている。特許文献１に開示の技術によれば、テロップを滑らかに表示することができる。

しかしながら、テロップの領域に対応するブロックは、テロップとテロップではない映像（以後、背景と呼ぶ）とを含んでいる場合が多く、さらに、テロップと背景とでは動きが異なる場合が多い。そのため、そのようなブロックの動きベクトルとしてテロップの動きに基づく動きベクトルを用いると、背景がテロップの動きに引きずられてしまい、生成した補間フレームの画像において背景が乱れてしまう。また、背景の動きに基づく動きベクトルを用いるとテロップが乱れてしまう。即ち、テロップの領域に対応するブロックの動きベクトルとして、背景の動きに基づく動きベクトルとテロップの動きに基づく動きベクトルのどちらを用いたとしても画質が劣化してしまう。

特開２００８−１０７７５３号公報

そこで、本発明は、テロップの領域での画質の劣化が抑制されたフレームレート変換処理を行うことのできる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の画像処理装置は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、入力された映像からテロップの領域及び該テロップの動きを検出するテロップ検出手段と、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出手段と、動きベクトルを用いて補間フレームを生成する補間フレーム生成手段と、を有し、補間フレーム生成手段は、テロップ検出手段でテロップの領域が検出された場合に、テロップの領域に対応するブロックの動きベクトルとして該テロップの動きに基づく動きベクトルを用いた第１の補間フレーム生成処理と、テロップの領域に対応するブロックの動きベクトルとして動きベクトル検出手段で検出された動きベクトルを用いた第２の補間フレーム生成処理とを交互に行うことを特徴とする。

本発明の画像処理方法は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理方法であって、入力された映像からテロップの領域及び該テロップの動きを検出するテロップ検出ステップと、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出ステップと、動きベクトルを用いて補間フレームを生成する補間フレーム生成ステップと、を有し、補間フレーム生成ステップでは、テロップ検出ステップでテロップの領域が検出された場合に、テロップの領域に対応するブロックの動きベクトルとして該テロップの動きに基づく動きベクトルを用いた第１の補間フレーム生成処理と、テロップの領域に対応するブロックの動きベクトルとして動きベクトル検出ステップで検出された動きベクトルを用いた第２の補間フレーム生成処理とを交互に行うことを特徴とする。

本発明によれば、テロップの領域での画質の劣化が抑制されたフレームレート変換処理を行うことのできる画像処理装置及び画像処理方法を提供することができる。

本実施形態に係る画像処理装置の機能構成の一例を示すブロック図。 テロップの領域に対応するブロックの一例を示す図。 生成される補間フレーム画像の一例を示す図。 生成される補間フレーム画像の一例を示す図。 生成される補間フレーム画像の一例を示す図。 生成される補間フレーム画像の一例を示す図。

以下に図面を参照して、本発明の好適な実施の形態を例示的に説明する。本実施形態に係る画像処理装置は、入力された映像（入力映像）のフレーム間に補間フレームを挿入してフレームレートを変換する（フレームレート変換処理）。
＜実施例１＞
本実施例では、入力された映像のフレーム間を補間する１枚の補間フレームを生成し、フレームレートが６０ｆｐｓの映像（入力映像）を、フレームレートが１２０ｆｐｓの映像（出力映像）に変換する。

以下、本実施例に係る画像処理装置の構成について説明する。図１は本実施例に係る画像処理装置の機能構成を示すブロック図である。
図１において、フレーム遅延部１０１は、入力されたフレームを１フレーム期間分だけ遅延させて、動きベクトル検出部１０２に出力する。
動きベクトル検出部１０２は、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する。具体的には、入力されたフレームの画像（フレーム画像）とフレーム遅延部１０１より取得した該フレームの１フレーム前のフレームの画像とをマトリクス状のブロックに分割する。そして、ブロック毎にそれらのフレーム間の動きベクトルを、ブロックマッチング法などの既存の技術を用いて検出する。検出された動きベクトルは、テロップ検出部１０４、動きベクトル補正部１０５、および、動きベクトル切り替え部１０６に出力される。
補間フレーム生成部１０３は、動きベクトル切り替え部１０６より取得した動きベクトルを用いて補間フレームを生成し（補間フレーム生成処理）、出力する。

テロップ検出部１０４は、入力された映像からテロップの領域及び該テロップの動きを検出する。具体的には、動きベクトル検出部１０２より取得した動きベクトルの情報を統計的に解析することで、テロップの領域とその動きを検出する。そして、動きベクトル検
出部１０２において、動きベクトルとして該テロップの動きに基づく動きベクトルが検出されたブロックを検出し、その検出結果を動きベクトル補正部１０５へ出力する。
なお、本実施例では、動きベクトルの情報を統計的に解析することでテロップの領域とその動きを検出しているが、テロップの領域とその動きの検出方法はこれに限らない。例えば、入力されたフレーム画像の画素データ、フレーム間の差分データに関する特徴量、または、それらの両方などを用いて検出してもよい。

動きベクトル補正部１０５は、動きベクトル検出部１０２から取得した動きベクトルを、テロップ検出部１０４から取得したテロップの検出結果に基づいて補正し、動きベクトル切り替え部１０６に出力する。例えば、動きベクトル補正部１０５は、テロップ検出部１０４から動きベクトルとしてテロップの動きが検出されたブロックを示す情報を取得し、該ブロック及びその周囲のブロックをテロップの領域に対応するブロックとみなす。そして、それらのブロックの動きベクトル（動きベクトル検出部１０２から取得した動きベクトル）を、テロップ検出部１０４で検出されたテロップの動きに基づく動きベクトルに置き換える。テロップの領域に対応するブロック以外のブロックの動きベクトルはそのまま出力する。

動きベクトル切り替え部１０６は、各ブロックの動きベクトルを補間フレーム生成部１０３に出力する。具体的には、動きベクトル検出部１０２から取得した動きベクトルＶ１、または、動きベクトル補正部１０５から取得した動きベクトルＶ２を出力する。なお、動きベクトルＶ１と動きベクトルＶ２のどちらの動きベクトルを出力するかは切り替えタイミング制御部１０７によって制御される。
切り替えタイミング制御部１０７は、動きベクトル切り替え部１０６を制御する。具体的には、動きベクトルＶ１と動きベクトルＶ２が補間フレームの生成毎に交互に切り替えられて出力されるように動きベクトル切り替え部１０６を制御する。

以上の構成により、本実施例では、補間フレーム生成部１０３において、テロップ検出部１０４でテロップの領域が検出された場合に、第１の補間フレーム生成処理と第２の補間フレーム生成処理とが交互に行われる。第１の補間フレーム生成処理は、テロップの領域に対応するブロックの動きベクトルとして該テロップの動きに基づく動きベクトルを用いた補間フレーム生成処理である。第２の補間フレーム生成処理は、テロップの領域に対応するブロックの動きベクトルとして動きベクトル検出部１０２で検出された動きベクトルを用いた補間フレーム生成処理である。それにより、テロップの領域での画質の劣化が抑制されたフレームレート変換処理を行うことができる。

以下、上記作用効果について詳しく説明する。
図２は、テロップの領域に対応する９つのブロックを示す図であり、説明の便宜上、各ブロックにＡ〜Ｉのアルファベット（識別子）を付している。図３〜５は生成される補間フレームの画像（補間フレーム画像）の一例を示している。なお、図３〜５は、三角形の画像を含む背景上を、テロップ（文字「Ｒ」）が右から左へ移動するテロップ領域の画像の例である。また、図３〜５に示す９つのブロックは、それぞれ、図２のブロックＡ〜Ｉに対応する。

先ず、図３の例について説明する。
図３は、常に動きベクトル検出部１０２で検出された動きベクトルを用いた補間フレーム生成処理を行った場合の例である。入力映像のフレーム（原フレーム画像１，２）間に挿入される補間フレーム画像１のブロックＥ，Ｆに対しては、テロップの占める割合（画素数）が多いため、動きベクトルとしてテロップの動きに基づく動きベクトル（テロップの動きベクトル）が検出される。一方、他のブロック（ブロックＡ〜Ｄ，Ｇ〜Ｉ）では、背景の占める割合が多いため、背景の動きに基づく動きベクトル（背景の動きベクトル；
図３の例では静止）が検出される。同様に、補間フレーム画像２では、ブロックＤ，Ｅに対してのみ動きベクトルとしてテロップの動きベクトルが検出される。
このように、同一ブロック内に複数のオブジェクトが存在する場合には、動きベクトル検出部１０２においてどのオブジェクトの動きベクトル検出されるかは、各オブジェクトのブロック内に占める画素数や、画像の特徴量などの複雑な条件に依存して決まる。そのため、画質上好ましい検出結果が常に得られるとは限らない。その結果、このような方法では補間フレーム画像の画質が大きく劣化する場合がある。
図３の例では、全ての補間フレーム画像のテロップの領域において、背景の動きベクトルが検出されるブロックの方がテロップの動きベクトルが検出されるブロックよりも多いため、背景の乱れは小さいものの、テロップは崩れてしまう。

次に、図４の例について説明する。
図４は、テロップの領域及びその動きを検出し、テロップの領域に対応するブロックの動きベクトルとして常に該テロップの動きベクトルを用いた補間フレーム生成処理を行った場合の例である。具体的には、動きベクトルとしてテロップの動きベクトルが検出されたブロックを検出し、該ブロック及びその周囲のブロックをテロップの領域に対応するブロックとみなす。そして、それらのブロックの動きベクトルを、検出されたテロップの動きベクトルに置き換える。その結果、補間フレームを生成する際に、テロップの領域に対応するブロック（図４の例ではブロックＡ〜Ｉ）の動きベクトルとしてテロップの動きベクトルが用いられることとなり、テロップの乱れが抑制された補間フレームを生成することができる。しかしながら、テロップと背景とでは動きが異なる場合が多いため、このような方法では背景が乱れてしまう可能性が高い（図４の例では、背景は静止しているため乱れてしまう）。
また、動きベクトル検出部１０２で検出された動きベクトルを用いた場合に、必ずしも補間フレーム画像においてテロップの領域が大きく乱れるとは限らない。テロップの領域に大きな乱れが生じないにもかかわらず、テロップの領域に対応するブロックの動きベクトルとして該テロップの動きベクトルを用いた補間フレーム生成処理を行うと、テロップの乱れはあまり抑制されず、背景を大きく乱してしまうこととなる。
このように、補間フレーム画像においてテロップの画質と背景の画質との間にはトレードオフの関係がある。

そこで、本実施例では、補間フレーム生成部１０３において、テロップ検出部１０４でテロップの領域が検出された場合に、第１の補間フレーム生成処理と第２の補間フレーム生成処理とを交互に行う。
本実施例において生成される補間フレーム画像の例を図５に示す。図５の例では、図３，４と同様に、動きベクトル検出部１０２によって、補間フレーム画像１のブロックＥ，Ｆ、及び、補間フレーム画像２のブロックＤ，Ｅの動きベクトルとしてテロップの動きベクトルが検出されるものとする。また、他のブロックの動きベクトルとして背景の動きベクトルが検出されるものとする。

テロップ検出部１０４は、補間フレーム画像１のブロックＥ，Ｆ、及び、補間フレーム画像２のブロックＤ，Ｅの動きベクトルがテロップの動きベクトルであることを検出する。そして、動きベクトル補正部１０５は、補間フレーム画像１のブロックＥ，Ｆ、及び、補間フレーム画像２のブロックＤ，Ｅの周囲のブロックの動きベクトルを、テロップの動きベクトルに置き換える。そのため、補間フレーム画像１，２を生成する際に動きベクトル補正部１０５から出力されるブロックＡ〜Ｉの動きベクトルは、テロップの動きベクトルとなる。

本実施例では、補間フレーム画像１を生成する際に、動きベクトル補正部１０５から取得した動きベクトルが用いられる（第１の補間フレーム生成処理）。具体的には、そのよ
うな動きベクトルが補間フレーム生成部１０３に出力されるように、切り替えタイミング制御部１０７が動きベクトル切り替え部１０６を制御する。この場合、ブロックＡ〜Ｉの動きベクトルとしてテロップの動きベクトルが用いられるため、補間フレーム画像１として、図４の例のように、テロップは乱れていないが、背景が乱れた補間フレーム画像が生成されることとなる。

一方、補間フレーム画像２を生成する際には、動きベクトル検出部１０２から取得した動きベクトルが用いられる（第２の補間フレーム生成処理）。即ち、ブロックＤ，Ｅの動きベクトルとしてテロップの動きベクトルが用いられ、それ以外のブロックの動きベクトルとして背景の動きベクトルが用いられる。そのため、補間フレーム画像２として、図３の例のように、背景の乱れは抑制されているが、テロップが乱れた補間フレーム画像が生成されることとなる。

このように、本実施例では、第１の補間フレーム生成処理と第２の補間フレーム生成処理とが交互に行われ、入力映像のフレームレートがより高いフレームレートに変換される。具体的には、テロップの乱れが抑制された補間フレーム（背景が乱れた補間フレーム）と背景の乱れが抑制された補間フレーム（テロップが乱れた補間フレーム）とが入力映像のフレーム間に交互に挿入される。それにより、図３のように常に動きベクトル検出部１０２で検出された動きベクトルを用いた補間フレーム生成処理を行う場合に比べ、テロップが乱れる頻度を少なくすることができる。さらに、図４のように、テロップの領域に対応するブロックの動きベクトルとして常にテロップの動きベクトルを用いた補間フレーム生成処理行う場合に比べ、背景が乱れる頻度を少なくすることができる。そのため、上述したテロップの画質と背景の画質との間のトレードオフの問題を緩和することができる。また、それらの補間フレーム画像は高いフレームレートで表示されるため、補間フレーム画像のテロップや背景の乱れは平均化され、大きな画質劣化を防ぐことができる。

＜実施例２＞
本実施例では、フレームレートが６０ｆｐｓの入力映像を、該映像のフレーム間に２枚の補間フレームを挿入し、フレームレートが１８０ｆｐｓの出力映像に変換する。
なお、本実施例の機能構成は実施例１（図１）と同じであるため説明を省略し、以下では生成される補間フレーム画像の例について詳しく説明する。

本実施例において生成される補間フレーム画像の例を図６に示す。図６の例では、動きベクトル検出部１０２により、補間フレーム画像１，２のブロックＥ，Ｆの動きベクトルとして、テロップの動きベクトルが検出されるものとする。また、他のブロックの動きベクトルとして、背景の動きベクトルが検出されるものとする。
テロップ検出部１０４は、補間フレーム画像１，２のブロックＥ，Ｆの動きベクトルがテロップの動きベクトルであることを検出する。そして、動きベクトル補正部１０５は、補間フレーム画像１，２のブロックＥ，Ｆの周囲のブロックの動きベクトルを、テロップの動きベクトルに置き換える。そのため、補間フレーム画像１，２を生成する際に動きベクトル補正部１０５から出力されるブロックＡ〜Ｉの動きベクトルは、テロップの動きベクトルとなる。

本実施例では、補間フレーム画像１を生成する際に、動きベクトル補正部１０５から取得した動きベクトルが用いられる（第１の補間フレーム生成処理）。この場合、ブロックＡ〜Ｉの動きベクトルとしてテロップの動きベクトルが用いられるため、補間フレーム画像１として、図４の例のように、テロップは乱れていないが、背景が乱れた補間フレーム画像が生成されることとなる。

一方、補間フレーム画像２を生成する際には、動きベクトル検出部１０２から取得した
動きベクトルが用いられる（第２の補間フレーム生成処理）。即ち、ブロックＥ，Ｆの動きベクトルとしてテロップの動きベクトルが用いられ、それ以外のブロックの動きベクトルとして背景の動きベクトルが用いられる。そのため、補間フレーム画像２として、図３の例のように、背景の乱れは抑制されているが、テロップが乱れた補間フレーム画像が生成されることとなる。

このように、本実施例では、第１の補間フレーム生成処理と第２の補間フレーム生成処理とが交互に行われ、入力映像のフレームレートがより高いフレームレートに変換される。それにより、実施例１と同様に、上述したテロップの画質と背景の画質との間のトレードオフの問題を緩和することができ、補間フレーム画像のテロップや背景の乱れを平均化して、大きな画質劣化を防ぐことができる。

＜実施例３＞
本実施例では、実施例１と同様に、フレームレートが６０ｆｐｓの入力映像を、フレームレートが１２０ｆｐｓの出力映像に変換する。さらに、テロップの動きに応じて、補間フレームの生成方法を変更する。以下、図１を用いて本実施例に係る画像処理装置の構成について説明する。なお、実施例１と同様の機能構成については説明を省略する。

テロップ検出部１０４は、検出したテロップの領域とその動きの情報（例えば、テロップの動きベクトル及び該ベクトルが検出されたブロックの情報）を、動きベクトル補正部１０５と切り替えタイミング制御部１０７へ出力する。
切り替えタイミング制御部１０７は、テロップの動きに応じて動きベクトル切り替え部１０６を制御する。具体的には、テロップ検出部１０４で垂直方向に動くテロップの領域が検出された場合には、動きベクトルＶ１と動きベクトルＶ２とが交互に出力されるように動きベクトル切り替え部１０６を制御する。そして、それ以外の場合には、動きベクトルＶ１または動きベクトルＶ２を出力するように動きベクトル切り替え部１０６を制御する。それにより、テロップ検出部１０４で垂直方向に動くテロップの領域が検出された場合に、補間フレーム生成部１０３において第１の補間フレーム生成処理と第２の補間フレーム生成処理とが交互に行われることとなる。そして、それ以外の場合には、第１の補間フレーム生成処理または第２の補間フレーム生成処理が行われることとなる。その結果、従来の方法に比べ、垂直方向に動くテロップの領域について、テロップや背景の乱れを抑制することができる。なお、垂直方向以外の方向に動くテロップの領域について第１の補間フレーム生成処理と第２の補間フレーム生成処理のどちらを行うかは、目的（テロップと背景のどちらの乱れを小さくするか）に応じて選択すればよい。

以上述べたように、本実施形態に係る画像処理装置及び画像処理方法によれば、テロップの領域が検出された場合に、第１の補間フレーム生成処理と第２の補間フレーム生成処理とが交互に行われる。それにより、テロップの領域での画質の劣化が抑制されたフレームレート変換処理を行うことができる。

なお、上述した実施例１〜３では入力映像のフレームレートを２，３倍のフレームレートに変換する場合について説明したが、変換後のフレームレートはこれに限らない。補間フレームを挿入することによって入力映像のフレームレートが変換されればよく、例えば入力映像のフレームレートを５倍や８倍のフレームレートに変換する構成であってもよい。

なお、本実施形態では、動きベクトルＶ１と動きベクトルＶ２が補間フレームの生成毎に交互に切り替えられて出力される構成とした。即ち、第１の補間フレーム生成処理と第２の補間フレーム生成処理とが、補間フレームの生成毎の交互に切り替えられる構成とした。但し、本発明の構成はこれに限らない。例えば、動きベクトルＶ１または動きベクト
ルＶ２が複数回続けて出力されてもよい。即ち、第１の補間フレーム生成処理または第２の補間フレーム生成処理で複数枚の補間フレームが生成されてもよい。テロップの領域が検出された場合に、第１の補間フレーム生成処理と第２の補間フレーム生成処理とが交互に行われれば、上記効果を得ることができる。

１０２・・・動きベクトル検出部，１０３・・・補間フレーム生成部，１０４・・・テロップ検出部

Claims (3)

1. 入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、
   入力された映像からテロップの領域及び該テロップの動きを検出するテロップ検出手段と、
   入力された映像を複数のブロックに分割し、前記ブロック毎の動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルを用いて前記補間フレームを生成する補間フレーム生成手段と、
   を有し、
   前記補間フレーム生成手段は、前記テロップ検出手段でテロップの領域が検出された場合に、前記テロップの領域に対応するブロックの動きベクトルとして該テロップの動きに基づく動きベクトルを用いた第１の補間フレーム生成処理と、前記テロップの領域に対応するブロックの動きベクトルとして前記動きベクトル検出手段で検出された動きベクトルを用いた第２の補間フレーム生成処理とを交互に行う
   ことを特徴とする画像処理装置。
2. 前記補間フレーム生成手段は、前記テロップ検出手段で垂直方向に動くテロップの領域が検出された場合に、前記第１の補間フレーム生成処理と前記第２の補間フレーム生成処理とを交互に行い、それ以外の場合には、前記第１の補間フレーム生成処理または前記第２の補間フレーム生成処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理方法であって、
   入力された映像からテロップの領域及び該テロップの動きを検出するテロップ検出ステップと、
   入力された映像を複数のブロックに分割し、前記ブロック毎の動きベクトルを検出する動きベクトル検出ステップと、
   前記動きベクトルを用いて前記補間フレームを生成する補間フレーム生成ステップと、を有し、
   前記補間フレーム生成ステップでは、前記テロップ検出ステップでテロップの領域が検出された場合に、前記テロップの領域に対応するブロックの動きベクトルとして該テロップの動きに基づく動きベクトルを用いた第１の補間フレーム生成処理と、前記テロップの領域に対応するブロックの動きベクトルとして前記動きベクトル検出ステップで検出された動きベクトルを用いた第２の補間フレーム生成処理とを交互に行う
   ことを特徴とする画像処理方法。

Images