JP5371682B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP5371682B2 JP5371682B2 JP2009240333A JP2009240333A JP5371682B2 JP 5371682 B2 JP5371682 B2 JP 5371682B2 JP 2009240333 A JP2009240333 A JP 2009240333A JP 2009240333 A JP2009240333 A JP 2009240333A JP 5371682 B2 JP5371682 B2 JP 5371682B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- interpolation frame
- character
- detected
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
また、本発明の画像処理装置は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、入力された映像から文字の領域及び該文字の動きを検出する第1の検出手段と、入力された映像を複数のブロックに分割し、前記ブロック毎の動きベクトルを検出する第2の検出手段と、前記第2の検出手段により検出された前記動きベクトルを用いて前記補間フレームを生成する生成手段と、を有し、前記生成手段は、前記第1の検出手段により文字の領域が検出された場合に、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして該文字の動きに基づく動きベクトルを用いた第1の補間フレーム生成処理と、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして前記第2の検出手段で検出された動きベクトルを用いた第2の補間フレーム生成処理とを切り替えることを特徴とする。
を有し、生成ステップでは、第1の検出ステップにより文字の領域が検出された場合に、文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして該文字の動きに基づく動きベクトルを用いた第1の補間フレーム生成処理と、文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして第2の検出ステップで検出された動きベクトルを用いた第2の補間フレーム生成処理とを、一又は複数の補間フレームの生成毎に切り替えることを特徴とする。
また、本発明の画像処理方法は、入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置が行う画像処理方法であって、入力された映像から文字の領域及び該文字の動きを検出する第1の検出ステップと、入力された映像を複数のブロックに分割し、前記ブロック毎の動きベクトルを検出する第2の検出ステップと、前記第2の検出ステップで検出された前記動きベクトルを用いて前記補間フレームを生成する生成ステップと、を有し、前記生成ステップでは、前記第1の検出ステップにより文字の領域が検出された場合に、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして該文字の動きに基づく動きベクトルを用いた第1の補間フレーム生成処理と、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして前記第2の検出ステップで検出された動きベクトルを用いた第2の補間フレーム生成処理とを切り替えることを特徴とする。
<実施例1>
本実施例では、入力された映像のフレーム間を補間する1枚の補間フレームを生成し、フレームレートが60fpsの映像(入力映像)を、フレームレートが120fpsの映像(出力映像)に変換する。
図1において、フレーム遅延部101は、入力されたフレームを1フレーム期間分だけ遅延させて、動きベクトル検出部102に出力する。
動きベクトル検出部102は、入力された映像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する。具体的には、入力されたフレームの画像(フレーム画像)とフレーム遅延部101より取得した該フレームの1フレーム前のフレームの画像とをマトリクス状のブロックに分割する。そして、ブロック毎にそれらのフレーム間の動きベクトルを、ブロックマッチング法などの既存の技術を用いて検出する。検出された動きベクトルは、テロップ検出部104、動きベクトル補正部105、および、動きベクトル切り替え部106に出力される。
補間フレーム生成部103は、動きベクトル切り替え部106より取得した動きベクトルを用いて補間フレームを生成し(補間フレーム生成処理)、出力する。
出部102において、動きベクトルとして該テロップの動きに基づく動きベクトルが検出されたブロックを検出し、その検出結果を動きベクトル補正部105へ出力する。
なお、本実施例では、動きベクトルの情報を統計的に解析することでテロップの領域とその動きを検出しているが、テロップの領域とその動きの検出方法はこれに限らない。例えば、入力されたフレーム画像の画素データ、フレーム間の差分データに関する特徴量、または、それらの両方などを用いて検出してもよい。
切り替えタイミング制御部107は、動きベクトル切り替え部106を制御する。具体的には、動きベクトルV1と動きベクトルV2が補間フレームの生成毎に交互に切り替えられて出力されるように動きベクトル切り替え部106を制御する。
図2は、テロップの領域に対応する9つのブロックを示す図であり、説明の便宜上、各ブロックにA〜Iのアルファベット(識別子)を付している。図3〜5は生成される補間フレームの画像(補間フレーム画像)の一例を示している。なお、図3〜5は、三角形の画像を含む背景上を、テロップ(文字「R」)が右から左へ移動するテロップ領域の画像の例である。また、図3〜5に示す9つのブロックは、それぞれ、図2のブロックA〜Iに対応する。
図3は、常に動きベクトル検出部102で検出された動きベクトルを用いた補間フレーム生成処理を行った場合の例である。入力映像のフレーム(原フレーム画像1,2)間に挿入される補間フレーム画像1のブロックE,Fに対しては、テロップの占める割合(画素数)が多いため、動きベクトルとしてテロップの動きに基づく動きベクトル(テロップの動きベクトル)が検出される。一方、他のブロック(ブロックA〜D,G〜I)では、背景の占める割合が多いため、背景の動きに基づく動きベクトル(背景の動きベクトル;
図3の例では静止)が検出される。同様に、補間フレーム画像2では、ブロックD,Eに対してのみ動きベクトルとしてテロップの動きベクトルが検出される。
このように、同一ブロック内に複数のオブジェクトが存在する場合には、動きベクトル検出部102においてどのオブジェクトの動きベクトル検出されるかは、各オブジェクトのブロック内に占める画素数や、画像の特徴量などの複雑な条件に依存して決まる。そのため、画質上好ましい検出結果が常に得られるとは限らない。その結果、このような方法では補間フレーム画像の画質が大きく劣化する場合がある。
図3の例では、全ての補間フレーム画像のテロップの領域において、背景の動きベクトルが検出されるブロックの方がテロップの動きベクトルが検出されるブロックよりも多いため、背景の乱れは小さいものの、テロップは崩れてしまう。
図4は、テロップの領域及びその動きを検出し、テロップの領域に対応するブロックの動きベクトルとして常に該テロップの動きベクトルを用いた補間フレーム生成処理を行った場合の例である。具体的には、動きベクトルとしてテロップの動きベクトルが検出されたブロックを検出し、該ブロック及びその周囲のブロックをテロップの領域に対応するブロックとみなす。そして、それらのブロックの動きベクトルを、検出されたテロップの動きベクトルに置き換える。その結果、補間フレームを生成する際に、テロップの領域に対応するブロック(図4の例ではブロックA〜I)の動きベクトルとしてテロップの動きベクトルが用いられることとなり、テロップの乱れが抑制された補間フレームを生成することができる。しかしながら、テロップと背景とでは動きが異なる場合が多いため、このような方法では背景が乱れてしまう可能性が高い(図4の例では、背景は静止しているため乱れてしまう)。
また、動きベクトル検出部102で検出された動きベクトルを用いた場合に、必ずしも補間フレーム画像においてテロップの領域が大きく乱れるとは限らない。テロップの領域に大きな乱れが生じないにもかかわらず、テロップの領域に対応するブロックの動きベクトルとして該テロップの動きベクトルを用いた補間フレーム生成処理を行うと、テロップの乱れはあまり抑制されず、背景を大きく乱してしまうこととなる。
このように、補間フレーム画像においてテロップの画質と背景の画質との間にはトレードオフの関係がある。
本実施例において生成される補間フレーム画像の例を図5に示す。図5の例では、図3,4と同様に、動きベクトル検出部102によって、補間フレーム画像1のブロックE,F、及び、補間フレーム画像2のブロックD,Eの動きベクトルとしてテロップの動きベクトルが検出されるものとする。また、他のブロックの動きベクトルとして背景の動きベクトルが検出されるものとする。
うな動きベクトルが補間フレーム生成部103に出力されるように、切り替えタイミング制御部107が動きベクトル切り替え部106を制御する。この場合、ブロックA〜Iの動きベクトルとしてテロップの動きベクトルが用いられるため、補間フレーム画像1として、図4の例のように、テロップは乱れていないが、背景が乱れた補間フレーム画像が生成されることとなる。
本実施例では、フレームレートが60fpsの入力映像を、該映像のフレーム間に2枚の補間フレームを挿入し、フレームレートが180fpsの出力映像に変換する。
なお、本実施例の機能構成は実施例1(図1)と同じであるため説明を省略し、以下では生成される補間フレーム画像の例について詳しく説明する。
テロップ検出部104は、補間フレーム画像1,2のブロックE,Fの動きベクトルがテロップの動きベクトルであることを検出する。そして、動きベクトル補正部105は、補間フレーム画像1,2のブロックE,Fの周囲のブロックの動きベクトルを、テロップの動きベクトルに置き換える。そのため、補間フレーム画像1,2を生成する際に動きベクトル補正部105から出力されるブロックA〜Iの動きベクトルは、テロップの動きベクトルとなる。
動きベクトルが用いられる(第2の補間フレーム生成処理)。即ち、ブロックE,Fの動きベクトルとしてテロップの動きベクトルが用いられ、それ以外のブロックの動きベクトルとして背景の動きベクトルが用いられる。そのため、補間フレーム画像2として、図3の例のように、背景の乱れは抑制されているが、テロップが乱れた補間フレーム画像が生成されることとなる。
本実施例では、実施例1と同様に、フレームレートが60fpsの入力映像を、フレームレートが120fpsの出力映像に変換する。さらに、テロップの動きに応じて、補間フレームの生成方法を変更する。以下、図1を用いて本実施例に係る画像処理装置の構成について説明する。なお、実施例1と同様の機能構成については説明を省略する。
切り替えタイミング制御部107は、テロップの動きに応じて動きベクトル切り替え部106を制御する。具体的には、テロップ検出部104で垂直方向に動くテロップの領域が検出された場合には、動きベクトルV1と動きベクトルV2とが交互に出力されるように動きベクトル切り替え部106を制御する。そして、それ以外の場合には、動きベクトルV1または動きベクトルV2を出力するように動きベクトル切り替え部106を制御する。それにより、テロップ検出部104で垂直方向に動くテロップの領域が検出された場合に、補間フレーム生成部103において第1の補間フレーム生成処理と第2の補間フレーム生成処理とが交互に行われることとなる。そして、それ以外の場合には、第1の補間フレーム生成処理または第2の補間フレーム生成処理が行われることとなる。その結果、従来の方法に比べ、垂直方向に動くテロップの領域について、テロップや背景の乱れを抑制することができる。なお、垂直方向以外の方向に動くテロップの領域について第1の補間フレーム生成処理と第2の補間フレーム生成処理のどちらを行うかは、目的(テロップと背景のどちらの乱れを小さくするか)に応じて選択すればよい。
Claims (10)
- 入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、
入力された映像から文字の領域及び該文字の動きを検出する第1の検出手段と、
入力された映像を複数のブロックに分割し、前記ブロック毎の動きベクトルを検出する第2の検出手段と、
前記第2の検出手段により検出された前記動きベクトルを用いて前記補間フレームを生成する生成手段と、
を有し、
前記生成手段は、前記第1の検出手段により文字の領域が検出された場合に、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして該文字の動きに基づく動きベクトルを用いた第1の補間フレーム生成処理と、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして前記第2の検出手段で検出された動きベクトルを用いた第2の補間フレーム生成処理とを、一又は複数の補間フレームの生成毎に切り替える
ことを特徴とする画像処理装置。 - 前記生成手段は、前記第1の検出手段により検出された文字の動きに応じて、第1の補間フレーム生成処理と第2の補間フレーム生成処理との切り替えを制御する請求項1に記載の画像処理装置。
- 前記生成手段は、前記第1の検出手段により垂直方向に動く文字の領域が検出された場合に、前記第1の補間フレーム生成処理と前記第2の補間フレーム生成処理とを交互に行い、それ以外の場合には、前記第1の補間フレーム生成処理または前記第2の補間フレーム生成処理を行う
ことを特徴とする請求項2に記載の画像処理装置。 - 前記生成手段は、前記第1の検出手段により垂直方向以外の方向に動く文字の領域が検出された場合に、補間フレームにおける文字の乱れと背景の乱れとのどちらを小さくする
かに応じて、第1の補間フレーム生成処理と第2の補間フレーム生成処理とのどちらを行うかを選択する請求項3に記載の画像処理装置。 - 入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置が行う画像処理方法であって、
入力された映像から文字の領域及び該文字の動きを検出する第1の検出ステップと、
入力された映像を複数のブロックに分割し、前記ブロック毎の動きベクトルを検出する第2の検出ステップと、
前記第2の検出ステップで検出された前記動きベクトルを用いて前記補間フレームを生成する生成ステップと、を有し、
前記生成ステップでは、前記第1の検出ステップにより文字の領域が検出された場合に、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして該文字の動きに基づく動きベクトルを用いた第1の補間フレーム生成処理と、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして前記第2の検出ステップで検出された動きベクトルを用いた第2の補間フレーム生成処理とを、一又は複数の補間フレームの生成毎に切り替える
ことを特徴とする画像処理方法。 - 前記生成ステップでは、前記第1の検出ステップで検出された文字の動きに応じて、第1の補間フレーム生成処理と第2の補間フレーム生成処理との切り替えを制御する請求項5に記載の画像処理方法。
- 前記生成ステップでは、前記第1の検出ステップにより垂直方向に動く文字の領域が検出された場合に、前記第1の補間フレーム生成処理と前記第2の補間フレーム生成処理とを交互に行い、それ以外の場合には、前記第1の補間フレーム生成処理または前記第2の補間フレーム生成処理を行う
ことを特徴とする請求項6に記載の画像処理方法。 - 前記生成ステップでは、前記第1の検出ステップにより垂直方向以外の方向に動く文字の領域が検出された場合に、補間フレームにおける文字の乱れと背景の乱れとのどちらを小さくするかに応じて、第1の補間フレーム生成処理と第2の補間フレーム生成処理とのどちらを行うかを選択する請求項7に記載の画像処理方法。
- 入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、
入力された映像から文字の領域及び該文字の動きを検出する第1の検出手段と、
入力された映像を複数のブロックに分割し、前記ブロック毎の動きベクトルを検出する第2の検出手段と、
前記第2の検出手段により検出された前記動きベクトルを用いて前記補間フレームを生成する生成手段と、
を有し、
前記生成手段は、前記第1の検出手段により文字の領域が検出された場合に、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして該文字の動きに基づく動きベクトルを用いた第1の補間フレーム生成処理と、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして前記第2の検出手段で検出された動きベクトルを用いた第2の補間フレーム生成処理とを切り替える
ことを特徴とする画像処理装置。 - 入力された映像のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置が行う画像処理方法であって、
入力された映像から文字の領域及び該文字の動きを検出する第1の検出ステップと、
入力された映像を複数のブロックに分割し、前記ブロック毎の動きベクトルを検出する第2の検出ステップと、
前記第2の検出ステップで検出された前記動きベクトルを用いて前記補間フレームを生成する生成ステップと、を有し、
前記生成ステップでは、前記第1の検出ステップにより文字の領域が検出された場合に、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして該文字の動きに基づく動きベクトルを用いた第1の補間フレーム生成処理と、前記文字の動きが検出されたブロック及びその周囲のブロックの動きベクトルとして前記第2の検出ステップで検出された動きベクトルを用いた第2の補間フレーム生成処理とを切り替える
ことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009240333A JP5371682B2 (ja) | 2009-10-19 | 2009-10-19 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009240333A JP5371682B2 (ja) | 2009-10-19 | 2009-10-19 | 画像処理装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011087228A JP2011087228A (ja) | 2011-04-28 |
JP2011087228A5 JP2011087228A5 (ja) | 2012-11-22 |
JP5371682B2 true JP5371682B2 (ja) | 2013-12-18 |
Family
ID=44079840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009240333A Expired - Fee Related JP5371682B2 (ja) | 2009-10-19 | 2009-10-19 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5371682B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4940024B2 (ja) * | 2007-06-06 | 2012-05-30 | 株式会社東芝 | 情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラム |
JP5188272B2 (ja) * | 2008-06-05 | 2013-04-24 | 株式会社日立製作所 | 映像処理装置及び映像表示装置 |
-
2009
- 2009-10-19 JP JP2009240333A patent/JP5371682B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011087228A (ja) | 2011-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4513819B2 (ja) | 映像変換装置、映像表示装置、映像変換方法 | |
JP4438795B2 (ja) | 映像変換装置、映像表示装置、映像変換方法 | |
JP2007295469A (ja) | 映像信号の変換装置及び方法 | |
JP4431089B2 (ja) | 映像補間装置、フレームレート変換装置および映像表示装置 | |
JP4510874B2 (ja) | 合成映像検出装置 | |
JP2008011454A (ja) | 動画像フレームレート変換装置および動画像フレームレート変換方法 | |
JP5241632B2 (ja) | 画像処理回路および画像処理方法 | |
JP5371682B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3898546B2 (ja) | 画像走査変換方法及び装置 | |
JP2010055001A (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP5219646B2 (ja) | 映像処理装置及び映像処理装置の制御方法 | |
JP2007288483A (ja) | 画像変換装置 | |
JP4736456B2 (ja) | 走査線補間装置、映像表示装置、映像信号処理装置 | |
JP2007074439A (ja) | 映像処理装置 | |
JP2016048810A (ja) | フレームレート変換装置、及び、フレームレート変換方法 | |
JP5409281B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2010213287A (ja) | 映像処理装置及び映像表示装置 | |
JP5762006B2 (ja) | 画像処理装置および画像処理方法 | |
JP2006217486A (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 | |
WO2012169096A1 (ja) | 映像表示装置及び映像処理装置 | |
JP2011082899A (ja) | 画像処理装置及びその制御方法 | |
KR100757458B1 (ko) | 영상처리장치 | |
JP2008011439A (ja) | 補間画像生成装置 | |
JP2006310920A (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP2020061593A (ja) | 画像生成装置、投影装置、及びそれらの制御方法、投影システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121005 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130917 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5371682 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |