JP4374048B2 - 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置 - Google Patents

補間フレーム生成装置、補間フレーム生成方法及び放送受信装置 Download PDF

Info

Publication number
JP4374048B2
JP4374048B2 JP2007335349A JP2007335349A JP4374048B2 JP 4374048 B2 JP4374048 B2 JP 4374048B2 JP 2007335349 A JP2007335349 A JP 2007335349A JP 2007335349 A JP2007335349 A JP 2007335349A JP 4374048 B2 JP4374048 B2 JP 4374048B2
Authority
JP
Japan
Prior art keywords
pixel
block
unit
motion vector
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007335349A
Other languages
English (en)
Other versions
JP2009159333A (ja
Inventor
洋平 濱川
雅也 山崎
考 佐藤
桂子 平山
日美生 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007335349A priority Critical patent/JP4374048B2/ja
Priority to PCT/JP2008/071172 priority patent/WO2009081675A1/en
Publication of JP2009159333A publication Critical patent/JP2009159333A/ja
Application granted granted Critical
Publication of JP4374048B2 publication Critical patent/JP4374048B2/ja
Priority to US12/782,609 priority patent/US20100220239A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Description

この発明は、複数のフレーム画像のブロック単位及び画素単位の動きベクトルを検出しこれらに基づき補間処理を行なう補間フレーム生成装置、補間フレーム生成方法及び放送受信装置に関する。
周知のように、最近、平面ディスプレイをもつデジタルテレビジョン装置等が普及してきており、これらのデジタルテレビジョン装置の内部には、円滑な画像表示とするべく、映像信号に補間画像処理を施す補間処理装置が設けられている。このような補間処理装置では、ブロック単位や画素単位の動きベクトルを検出し、これに基づき、補間処理がなされる。
特許文献1は、注目画素が存在する注目ブロックの上下左右の4ブロックの動きベクトルを注目画素の動きベクトルの候補として使用し、注目画素において、第1フィールドと第2フィールドの画素値の差が最小となるような動きベクトルを画素動きベクトルと決定する。
特開2005−284486号公報
しかし、特許文献1の従来技術では、注目ブロックの周囲のブロックが示す動きベクトルを参照することで補間処理を進めていたが、動きベクトルの時間的な連続性を動きベクトル検出に十分利用していないという問題がある。
本発明は、フレーム画像の各ブロック内の画素単位ベクトルを正確に検出することができる補間フレーム生成装置、補間フレーム生成方法及び放送受信装置を提供することを目的とする。
課題を解決するための一実施形態は、
連続するフレーム画像に挿入する補間フレーム画像を生成する補間フレーム生成装置であって、
前記連続するフレーム画像の間で、前記フレーム画像を構成する複数のブロックの中の一つのブロックに関してブロックマッチング処理を行ない、ブロック単位の動きベクトルを決定するブロック単位検出部と、
前記複数のブロックの中の注目ブロックの中の各画素単位に関して、前記注目ブロックに隣接する少なくとも一つのブロックであり既に画素単位の動きベクトルの検出が完了しているブロックについてその中の既に決定された画素単位の動きベクトルの中で当該ブロック内の画素単位の動きベクトルとして最も多く適用された動きベクトルを候補ベクトルとし、この候補ベクトルを適用した場合の、前フレーム、後フレームの各画素間のペア画素輝度差分値を求め、また、前記候補ベクトルとは異なる候補ベクトルを適用した場合の、前フレーム、後フレームの各画素間のペア画素輝度差分値を求め、これら複数の候補ベクトルに応じた複数の画素輝度差分値を比較して最も小さいペア画素輝度差分値を与える候補ベクトルを前記注目ブロックの画素単位の動きベクトルとして採択する画素単位検出部と、
前記ブロック単位の動きベクトル及び前記採択された画素単位の動きベクトルに基づいて、補間フレーム画像を生成する生成部と、を具備することを特徴とする補間フレーム生成装置である。
動きベクトルを求めようとする注目ブロックの隣接ブロックの動きベクトルだけでなく、隣接ブロックの履歴情報である各画素単位での最多適用ベクトルを用いて画素単位の動きベクトルを正確に検出し、これに基づいて補間処理を行なうものである。
以下、この発明の実施の形態について図面を参照して詳細に説明する。
<本発明の一実施形態である補間フレーム生成装置の構成の一例>
初めに、本発明の一実施形態である補間フレーム生成装置の構成の一例を図面を用いて詳細に説明する。図1は、本発明の一実施形態に係る補間フレーム生成装置の構成の一例を示すブロック図である。図2は、同じく補間フレーム生成装置のブロックマッチング処理の一例を示す説明図である。
本発明の一実施形態に係る補間フレーム生成装置10は、図1に示すように、入力画像信号が与えられるフレームメモリ11と、同様に入力端及びフレームメモリ11から入力画像信号が与えられるブロック単位動きベクトル検出部12と、ブロック単位動きベクトル検出部12からブロック単位動きベクトル情報が供給され後述する履歴処理を伴う画素単位動きベクトル検出部13と、フレームメモリ11から入力画像信号が供給され、補間画像を生成する補間画像生成部14を有している。
本発明の一実施形態に係る補間フレーム生成装置10は、このような構成により、図2に示すように、前フレーム31と後フレーム33の間に補間フレーム32を生成し挿入することで、60F/sの入力信号を120F/sの入力信号とするものである。このとき、補間画像生成部14で生成される補間フレーム32は、ブロック単位動きベクトル検出部12で検出された動きベクトルに基づいて生成されたものである。
すなわち、ブロック単位動きベクトル検出部12は、前フレーム31と後フレーム33の間で図2に示される固定長ブロックに基づいてブロックマッチング処理を行なうことで、動きベクトルを検出する。以下、その詳細を図面を用いて説明する。
<本発明の一実施形態である補間フレーム生成装置の補間フレーム生成処理の一例>
上述した構成を有する補間フレーム生成装置において、補間フレーム生成処理の動作の概要を図3を用いて詳細に述べる。図3は、本発明の一実施形態に係る補間フレーム生成装置における全体の補間画像生成処理の一例を示すフローチャートである。図4は、同じく補間フレーム生成装置における、周辺ブロックの動きベクトルから注目ブロックの各画素単位動きベクトルを決定する処理の一例を説明する説明図である。
なお、以下の図2、図7及び図8のフローチャートの各ステップは、回路ブロックに置き換えることができ、従って、各フローチャートのステップは、全てブロックに定義しなおすことが可能である。
(補間フレーム生成処理の概要)
本発明の一実施形態である補間フレーム生成装置10は、図3のフローチャートが示すように、初めに、フレームメモリ11及びブロック単位動きベクトル検出部12には、60フレーム/秒の映像信号が供給される(ステップS11)。
次に、フレームメモリ11及びブロック単位動きベクトル検出部12は、ブロック単位動きベクトルを検出する(ステップS12)。これは、すなわち、図4に示すように、1フレームを複数のブロックに分割し、各ブロックについて、動きベクトルがそれぞれ検出されるものである。
更に、フレームメモリ11及び画素単位動きベクトル検出部13は、今度は、図4のブロックAの詳細図、更に、図5及び図6の説明図に示すように、一つの注目ブロック中の複数の画素単位動きベクトルを検出するものである(ステップS13)。この際の複数の画素単位の動きベクトルの検出の手法については、本発明の一実施形態の特徴部分であり、詳細に図面を用いて後述する。
その後、補間画像生成部14は、これら検出されたブロック単位動きベクトルと画素単位動きベクトルに基づいて補間画像を生成し、フレームメモリ11と共に、60フレーム/秒の映像信号へこの補間画像の適宜挿入処理を行なうことで、120フレーム/秒の映像信号を出力するものである。なお、入力映像信号が50フレーム/秒の映像信号であれば、出力映像信号は、100フレーム/秒の映像信号となる。
(画素単位動きベクトル検出処理の詳細)
・趣旨
次に、図3のフローチャートでのステップS13の画素単位動きベクトル検出処理の詳細な動作を図7及び図8のフローチャートを用いて、以下に詳細に説明する。
すなわち、画素単位動きベクトル検出部13が行なう画素単位動きベクトル検出処理は、一つの注目ブロックAについて行なわれるもので、注目ブロックA中の各画素に対して「動きベクトル候補」を適用する場合に指示される、前フレーム、後フレームの各画素間のペア画素輝度差分値を求め、最も小さいペア画素輝度差分を与える動きベクトルを、画素単位動きベクトルとして採択する。
この際に、本実施形態では、以下のように、『動きベクトル候補』を用意するものである。
1)注目ブロックAに対しステップS12で先に求めたブロック単位動きベクトル
2)注目ブロックAにブロック単位で隣接している周辺ブロック(上下左右の4ブロック)のブロック単位動きベクトル
3)注目ブロックAに隣接しているブロックにおいて、既に画素単位動きベクトルが決定された際の最多適用された画素単位動きベクトル(履歴情報)
画素単位動きベクトル検出部13は、注目ブロックA中の各画素に対して3種類の『動きベクトル候補』を適用した場合のペア画素輝度差分値を求め、最も小さいペア画素輝度差分を与える動きベクトルを、画素単位動きベクトルとして採択する。
ここで、3)の履歴情報である『最多適用ベクトル』を『動きベクトル候補』として処理する理由を以下に述べる。
すなわち、注目ブロックAの内の画素単位ベクトル候補として隣接ブロックのブロック単位動きベクトルを使う方法は、隣接ブロックのどれか一つは正しい動きベクトルを保持しているという前提のもとで正常動作が期待できる。
しかしながら、通常ブロックマッチングによるブロック単位動きベクトル検出処理においては、様々な要因により誤検出(間違ったベクトルが得られる)が起こることがある。注目ブロックの周りに誤検出を起こしたブロックが少数であれば、他の誤検出を起こしていない隣接ブロックから正しい動きベクトルが得られる可能性はある。
しかし、注目ブロックの周りに誤検出したブロックが連続して存在すると、画素単位動きベクトル候補として正しいものが推定できず、結果として間違った動きベクトルを適用してしまい、補間フレームの品質に悪影響を及ぼす可能性がある。
そこで周辺ブロックのブロック単位動きベクトルに加え、画素単位動きベクトル候補として、履歴情報である『最多適用ベクトル』も対象とすることで、検出の確度を向上させることができる。
この『最多適用ベクトル』の特徴を図5の例を参照しながら、以下説明する。
1.あるブロックA(n×m画素)の全ての画素単位動きベクトルが決定された後、ブロックA内で採用された画素位動きベクトルのうち、最も個数の多い(頻度の高い)動きベクトルをメモリに保持したものをブロックAの『最多適用ベクトル』と定義する。
2.ブロックAと別のブロックB、ブロックC〜ブロックFは、ブロック単位で連続した位置関係にあるものとする。
3.ブロックAで求められた『最多適用ベクトル』は、別のブロックB内の各画素の画素単位動きベクトル検出時に、ブロックBの周辺ブロックの動きベクトルとともに画素単位動きベクトルの候補として使用される。
4.ブロックBの各画素は、周辺ブロックに一致度の低い(正しくないと推定される)動きベクトルしかなかった場合、ブロックAの『最多適用ベクトル』を使用することで、少なくとも隣接した(相関の強い)ブロックAで最多勝利した尤もらしい動きベクトル(ブロックAの『最多適用ベクトル』)を用いることで、ブロックB内の特定の画素にとっても尤もらしい動きベクトルを適用できる可能性が高くなる。
5.もちろん、ブロックBにおいても『最多適用ベクトル』は計算され、ブロックBに隣接する別のブロックCではブロックBの『最多適用ベクトル』を候補として使うことができる。
6.ブロックBの『最多適用ベクトル』がブロックAの『最多適用ベクトル』に等しい場合、ブロックCの画素単位動きベクトル候補としてブロックAの『最多適用ベクトル』が伝播する現象が起こる。同様にブロックD,..と他の連続したブロックに伝播することもある。
なお、図5では垂直方向に連続するブロックを想定して説明しているが、これは通常の画像処理において画面の上方から下方に向かって順に処理を行うためである。つまり、画面上で下方にあるブロックより上方のブロックの画素単位動きベクトルが先に決定されるため、本実施形態のように、『最多適用ベクトル』を伝播させるためには、一般的に伝播方向は上から下へ向かうものが想定される。
ただし、この実施形態における『最多適用ベクトル』の伝播方向は上記に限らずどのようなものでもよく、例えば水平方向、すなわち、画面の左側から右側に向かって順に処理
でもよく、画面の右側から左側に向かって順に処理するものでもよい。又、図6のように、画面の下方から上方に向かって順に処理するものでもよい。
特筆すべきは、6.の特徴であり、一見、ブロックAとブロックDは空間的に相関性が低く、ブロックAで求められた『最多適用ベクトル』をブロックDで候補として用いるのは問題があるように捉えられるかもしれないが、必ずしもそうではない。
例えばブロックAとブロックDが実際に相関がない場合は、ブロックDでブロックAの『最多適用ベクトル』を使ってもやはり一致度は悪く、代わりにブロックDの周辺ブロックの動きベクトルを参照して本来の正しい動きベクトルを得ることができるため、通常問題が起こる可能性は低い。
一方、例えばブロックAからブロックEまで本来ブロック単位動きベクトルが連続しているにも関わらず、ブロックBからブロックDまで連続してブロック単位動きベクトルが間違っている場合(ブロックA〜ブロックEの正しい動きベクトルは同一であるべきだが、中間のB,C,Dが誤った動きベクトルを持つ場合)、6.の特徴の利点が最大に生かされる。
このとき、ブロックAの『最多適用ベクトル』を使ってブロックBの各画素は正しい画素単位動きベクトルを得ることができ(このときブロックBの『最多適用ベクトル』はブロックAの最多勝者動きベクトルになることが期待される)、さらに『最多適用ベクトル』がブロックC,Dまで伝播することで、ブロックB〜ブロックD全てにおいて正しい画素単位動きベクトルを得ることができる。
・フローチャートを用いた説明
以下に、図7及び図8のフローチャートを用いて、画素単位動きベクトル検出処理の詳細を説明する。
画素単位動きベクトル検出部13は、フレームメモリ11と共に、ブロックA(m×n画素)の処理ループを開始する(ステップS21)。すなわち、画素単位動きベクトル検出部13は、ステップS21の処理ループの開始と、ステップS27の処理ループの終了により、以下のステップS22乃至ステップS26の処理をブロックA(m×n画素)の全ての画素について繰り返し行なう。
すなわち、画素単位動きベクトル検出部13は、ブロックA内のある画素iに対し、ブロック単位動きベクトルを適用した場合に、ペア画素(ベクトルにより指示される前後フレーム上の画素の対)の輝度の差分値(ペア画素輝度差分値)を算出する(ステップS22)。
そして、画素単位動きベクトル検出部13は、算出したペア画素輝度差分値が、所定の閾値より小さければ、そのベクトルは妥当であると判定し(ステップS23)、この動きベクトルを画素iの画素単位動きベクトルとして採用する(ステップS29)。
しかし、画素単位動きベクトル検出部13は、算出したペア画素輝度差分値が所定の閾値より大きければ、そのベクトルは誤ったものであると判定し(ステップS23)、新たに周辺ブロック(通常、上下左右の4者)のブロック単位動きベクトルを候補として、それぞれに動きベクトルついてペア画素輝度差分値を求める(ステップS24)。
更に、画素単位動きベクトル検出部13(履歴処理)は、画素iに対し、ブロックAの隣接ブロックの履歴情報である『最多適用ベクトル』を適用した場合のペア画素輝度差分値を取得する(ステップS25)。
画素単位動きベクトル検出部13は、これらの複数のペア画素輝度差分値のうち、最も小さいものを画素iの画素単位動きベクトルとして採用する(ステップS26)。
このような処理をブロックA(m×n画素)の全ての画素について繰り返し行ない、ブロックAの全ての画素の画素単位動きベクトルが求まった後(ステップS27)、最も頻度の高い動きベクトルを算出し、ブロックAの『最多適用ベクトル』とする。また『最多適用ベクトル』をメモリに保持する(ステップS28)。
本実施形態では、ブロック内で最も一致する頻度の高かった画素単位動きベクトルを『最多適用ベクトル』として他の隣接ブロックをまたいで伝播させることができる。これにより、ブロックが連続して間違った動きベクトルを持っていた場合でも、正しい動きベクトルを適用できる可能性が高くなり、結果的に作成する補間フレームの品質を向上させることが可能となる。
なお、他の実施形態として、図8に示すように、『最多適用ベクトル』を求めるブロックを注目ブロックAの隣接するブロックにするのではなく、1フレーム前(またnフレーム前、nは整数)の注目ブロックAとすることが好適である。
以上、詳細に説明したように、本発明の一実施形態に係る補間フレーム生成装置は、動きベクトルを求めようとする注目ブロックの隣接ブロックの動きベクトルだけでなく、隣接ブロックの履歴情報である各画素単位での最多適用ベクトルを用いて画素単位の動きベクトルを正確に検出し、これに基づいて確実な補間処理を行なうものである。
<本発明の一実施形態に係る補間フレーム生成部が適用される放送受信装置の構成の一例>
次に、本発明の一実施形態に係る補間フレーム生成部を適用した放送受信装置の一例を図面を用いて説明する。図9は、本発明の一実施形態に係る補間フレーム生成部を利用した放送受信装置の構成の一例を示すブロック図である。
上述した補間フレーム生成部は、放送受信装置100においては、映像処理部119の中に補間フレーム生成部10として用いることが好適である。
(放送受信装置の構成と動作)
本発明の一実施形態に係る補間フレーム生成部を適用した放送受信装置の一実施形態であるデジタルテレビジョン装置等の放送受信装置の構成の一例を、以下に図面を用いて詳細に説明する。図9は、補間フレーム生成部を適用した放送受信装置の一実施形態であるデジタルテレビジョン装置等の放送受信装置の構成の一例を示すブロック図である。
放送受信装置100は、図9に示すように一例としてテレビジョン装置であり、制御部130は全体の動作を司るべくデータバスを介して各部に接続されている。放送受信装置100は、再生側を構成するMPEGデコーダ部116と、装置本体の動作を制御する制御部130とを主たる構成要素としている。放送受信装置100は、入力側のセレクタ部114と出力側のセレクタ部120とを有しており、入力側のセレクタ部114には、BS/CS/地上波デジタルチューナ部112と、BS/地上波アナログチューナ部113が接続される。また、LAN等やメール機能をもった通信部111がデータバスに接続されて設けられている。
放送受信装置100は、更に、BS/CS/地上波デジタルチューナ部112からの復調信号を一時格納するバッファ部115と、格納された復調信号であるパケットを種類別に分離する分離部117と、分離部117から供給された映像音声用のパケットにMPEGデコード処理を施し映像音声信号を出力するMPEGデコーダ部116と、操作情報等を重畳するための映像信号を生成し映像信号に重畳するOSD(On Screen Display)重畳部134を有している。放送受信装置100は、更に、MPEGデコーダ部116からの音声信号に増幅処理等を施す音声処理部118と、MPEGデコーダ部116から映像信号を受けて、所望の映像処理を施す映像処理部119と、上述した本発明の一実施形態に係る補間フレーム生成部10と、OSD重畳部134と、音声信号及び映像信号の出力先を選択するセレクタ部120と、音声処理部118からの音声信号に応じて音声を出力するスピーカ部121と、セレクタ部120に接続されて与えられた映像信号に応じた映像を液晶表示画面等に表示する表示部122と、外部装置との通信を行うインタフェース部123を有する。
放送受信装置100は、更に、BS/CS/地上波デジタルチューナ部112及びBS/地上波アナログチューナ部113からの映像情報等を適宜記録する記憶部135と、放送信号等から電子番組情報を取得して画面表示等を行なう電子番組情報処理部136を有しており、これらは、データバスを介して制御部130に接続されている。放送受信装置100は、更に、データバスを介して制御部130に接続されユーザの操作やリモコンRの操作を受ける操作部132及び操作信号を表示する表示部133を有している。ここで、リモコンRは、放送受信装置100の本体に設けられる操作部132とほぼ同等の操作を可能とするものであり、チューナの操作等、各種設定が可能である。
このような構成をもった放送受信装置100は、放送信号が受信アンテナからBS/CS/地上波デジタルチューナ部112等に入力され、ここで選局が行われる。選局され復調されたパケット形式の復調信号は、分離部117により、種類別のパケットに分離され、音声映像用パケットがMPEGデコーダ部116等でデコード処理されて映像音声信号となって、音声処理部118及び映像処理部119に供給される。
映像処理部119は、与えられた映像信号について、例えば、IP変換部141によりインターレース信号をプログレッシブに変換等の画像処理を行い、更に、上述した補間フレーム生成部10によれば、確実な動きベクトル検出に基づいて滑らかな動画再生が可能な補間された映像信号が、セレクタ部120に供給される。
セレクタ部120は、制御部130の制御信号に応じて例えば表示部122に映像信号を供給し、これにより映像信号に応じた映像が表示部122に表示される。また、音声処理部118からの音声信号に応じた音声がスピーカ部121から出力される。
また、OSD重畳部134で生成された各種の操作情報や字幕情報等が放送信号に応じた映像信号に重畳され、映像処理部119を経てこれに応じた映像が表示部122に表示される。
このように、上述した放送受信装置100では、一例として、補間フレーム生成部10において、確実な動きベクトルの検出に基づいて、破綻のない滑らかな動きを示す動画表示が可能となる。
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
本発明の一実施形態に係る補間フレーム生成装置における構成の一例を示すブロック図。 本発明の一実施形態に係る補間フレーム生成装置におけるブロックマッチング処理の一例を示す説明図。 本発明の一実施形態に係る補間フレーム生成装置における全体の補間画像生成処理の一例を示すフローチャート。 本発明の一実施形態に係る補間フレーム生成装置における、周辺ブロックの動きベクトルから注目ブロックの各画素単位動きベクトルを決定する処理の一例を説明する説明図。 本発明の一実施形態に係る補間フレーム生成装置における、周辺ブロックの最多適用ベクトルから注目ブロックの各画素単位動きベクトルを決定する処理の一例を説明する説明図。 本発明の一実施形態に係る補間フレーム生成装置における、周辺ブロックの最多適用ベクトルから注目ブロックの各画素単位動きベクトルを決定する処理の他の一例を説明する説明図。 本発明の一実施形態に係る補間フレーム生成装置における、周辺ブロックの最多適用ベクトルから注目ブロックの各画素単位動きベクトルを決定する処理の一例を示すフローチャート。 本発明の一実施形態に係る補間フレーム生成装置における、周辺ブロックの最多適用ベクトルから注目ブロックの各画素単位動きベクトルを決定する処理の他の一例を示すフローチャート。 本発明の一実施形態に係る補間フレーム生成装置を用いた放送受信装置の一例を示すブロック図。
符号の説明
10…補間フレーム生成装置、11…フレームメモリ、12…ブロック単位動きベクトル検出部、13…画素単位動きベクトル検出部(履歴処理)、14…補間画像作成部。

Claims (9)

  1. 連続するフレーム画像に挿入する補間フレーム画像を生成する補間フレーム生成装置であって、
    前記連続するフレーム画像の間で、前記フレーム画像を構成する複数のブロックの中の一つのブロックに関してブロックマッチング処理を行ない、ブロック単位の動きベクトルを決定するブロック単位検出部と、
    前記複数のブロックの中の注目ブロックの中の各画素単位に関して、前記注目ブロックに隣接する少なくとも一つのブロックであり既に画素単位の動きベクトルの検出が完了しているブロックについてその中の既に決定された画素単位の動きベクトルの中で当該ブロック内の画素単位の動きベクトルとして最も多く適用された動きベクトルを候補ベクトルとしこの候補ベクトルを適用した場合の、前フレーム、後フレームの各画素間のペア画素輝度差分値を求め、また、前記候補ベクトルとは異なる候補ベクトルを適用した場合の、前フレーム、後フレームの各画素間のペア画素輝度差分値を求め、これら複数の候補ベクトルに応じた複数の画素輝度差分値を比較して最も小さいペア画素輝度差分値を与える候補ベクトルを前記注目ブロックの画素単位の動きベクトルとして採択する画素単位検出部と、
    前記ブロック単位の動きベクトル及び前記採択された画素単位の動きベクトルに基づいて、補間フレーム画像を生成する生成部と、を具備することを特徴とする補間フレーム生成装置。
  2. 前記画素単位検出部は、前記注目ブロックの上下左右に隣接するブロックに関する前記ブロック単位検出部が検出した各動きベクトルを前記異なる候補ベクトルとすることを特徴とする請求項1記載の補間フレーム生成装置。
  3. 前記画素単位検出部は、前記注目ブロックに関する前記ブロック単位検出部が検出した動きベクトルを前記異なる候補ベクトルとすることを特徴とする請求項1記載の補間フレーム生成装置。
  4. 前記画素単位検出部は、前記複数のブロックの中の注目ブロックの中の各画素単位に関して、前記フレーム画像の1フレーム前のフレーム画像の前記注目ブロックであり既に画素単位の動きベクトルの検出が完了しているブロックについてその中の既に決定された画素単位の動きベクトルの中で当該ブロック内の画素単位の動きベクトルとして最も多く適用された動きベクトルを前記異なる候補ベクトルとすることを特徴とする請求項1記載の補間フレーム生成装置。
  5. 前記画素単位検出部は、前記複数のブロックの中の注目ブロックの中の各画素単位に関して、前記フレーム画像のn(nは整数)フレーム前のフレーム画像の前記注目ブロックであり既に画素単位の動きベクトルの検出が完了しているブロックについてその中の既に決定された画素単位の動きベクトルの中で当該ブロック内の画素単位の動きベクトルとして最も多く適用された動きベクトルを前記異なる候補ベクトルとすることを特徴とする請求項1記載の補間フレーム生成装置。
  6. 前記画素単位検出部は、一つのブロックの全ての画素単位の動きベクトルを検出すると、このブロック内の画素単位の動きベクトルとして最も多く適用された動きベクトルを最多適用ベクトルとして採択して記憶することを特徴とする請求項1記載の補間フレーム生成装置。
  7. 前記画素単位検出部は、前記複数のブロックの中の注目ブロックに関する画素単位の動きベクトル検出処理を、前記フレーム画像中において垂直方向または水平方向に順次処理していくことを特徴とする請求項1記載の補間フレーム生成装置。
  8. 連続するフレーム画像に挿入する補間フレーム画像を生成する補間フレーム生成方法であって、
    前記連続するフレーム画像の間で、前記フレーム画像を構成する複数のブロックの中の一つのブロックに関してブロックマッチング処理を行ない、ブロック単位の動きベクトルを決定し、
    前記複数のブロックの中の注目ブロックの中の各画素単位に関して、前記注目ブロックに隣接する少なくとも一つのブロックであり既に画素単位の動きベクトルの検出が完了しているブロックについてその中の既に決定された画素単位の動きベクトルの中で当該ブロック内の画素単位の動きベクトルとして最も多く適用された動きベクトルを候補ベクトルとし、
    この候補ベクトルを適用した場合の、前フレーム、後フレームの各画素間のペア画素輝度差分値を求め、また、前記候補ベクトルとは異なる候補ベクトルを適用した場合の、前フレーム、後フレームの各画素間のペア画素輝度差分値を求め、これら複数の候補ベクトルに応じた複数の画素輝度差分値を比較して最も小さいペア画素輝度差分値を与える候補ベクトルを前記注目ブロックの画素単位の動きベクトルとして採択し、
    前記ブロック単位の動きベクトル及び前記採択された画素単位の動きベクトルに基づいて、補間フレーム画像を生成することを特徴とする補間フレーム生成方法。
  9. 放送信号を受信して映像信号を出力するチューナ部と、
    前記チューナ部からの前記映像信号に含まれる連続するフレーム画像の間で、前記フレーム画像を構成する複数のブロックの中の一つのブロックに関してブロックマッチング処理を行ない、ブロック単位の動きベクトルを決定するブロック単位検出部と、
    前記複数のブロックの中の注目ブロックの中の各画素単位に関して、前記注目ブロックに隣接する少なくとも一つのブロックであり既に画素単位の動きベクトルの検出が完了しているブロックについてその中の既に決定された画素単位の動きベクトルの中で当該ブロック内の画素単位の動きベクトルとして最も多く適用された動きベクトルを候補ベクトルとし、この候補ベクトルを適用した場合の、前フレーム、後フレームの各画素間のペア画素輝度差分値を求め、また、前記候補ベクトルとは異なる候補ベクトルを適用した場合の、前フレーム、後フレームの各画素間のペア画素輝度差分値を求め、これら複数の候補ベクトルに応じた複数の画素輝度差分値を比較して最も小さいペア画素輝度差分値を与える候補ベクトルを前記注目ブロックの画素単位の動きベクトルとして採択する画素単位検出部と、
    前記ブロック単位の動きベクトル及び前記採択された画素単位の動きベクトルに基づいて、補間フレーム画像を生成して前記チューナ部からの映像信号に補間する生成部と、
    前記生成部により補間された映像信号に基づき、画面上に映像を表示する表示部と、
    を具備することを特徴とする放送受信装置。
JP2007335349A 2007-12-26 2007-12-26 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置 Expired - Fee Related JP4374048B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007335349A JP4374048B2 (ja) 2007-12-26 2007-12-26 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
PCT/JP2008/071172 WO2009081675A1 (en) 2007-12-26 2008-11-14 Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus
US12/782,609 US20100220239A1 (en) 2007-12-26 2010-05-18 Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007335349A JP4374048B2 (ja) 2007-12-26 2007-12-26 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置

Publications (2)

Publication Number Publication Date
JP2009159333A JP2009159333A (ja) 2009-07-16
JP4374048B2 true JP4374048B2 (ja) 2009-12-02

Family

ID=40800989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007335349A Expired - Fee Related JP4374048B2 (ja) 2007-12-26 2007-12-26 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置

Country Status (3)

Country Link
US (1) US20100220239A1 (ja)
JP (1) JP4374048B2 (ja)
WO (1) WO2009081675A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3022977B2 (ja) * 1990-05-09 2000-03-21 沖電気工業株式会社 テレビジョン信号内挿方式
FR2742902B1 (fr) * 1995-12-22 1998-01-23 Thomson Multimedia Sa Procede d'estimation de mouvement
JP2000201328A (ja) * 1999-01-08 2000-07-18 Hitachi Ltd 動きベクトルの検出方法および回路
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
KR100605746B1 (ko) * 2003-06-16 2006-07-31 삼성전자주식회사 블럭 기반의 움직임 보상 장치 및 방법
JP4419062B2 (ja) * 2004-03-29 2010-02-24 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US8218638B2 (en) * 2007-10-31 2012-07-10 Broadcom Corporation Method and system for optical flow based motion vector estimation for picture rate up-conversion

Also Published As

Publication number Publication date
US20100220239A1 (en) 2010-09-02
WO2009081675A1 (en) 2009-07-02
JP2009159333A (ja) 2009-07-16

Similar Documents

Publication Publication Date Title
JP4280614B2 (ja) ノイズ低減回路及び方法
JP4309453B2 (ja) 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
JP4534723B2 (ja) 画像表示装置、画像処理装置および画像処理方法
JP2007288462A (ja) 映像表示装置
JP2010041337A (ja) 画像処理装置、および画像処理方法
JP2008160591A (ja) テレビジョン受信機及びそのフレームレート変換方法
JP2008252591A (ja) 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
JP2008277967A (ja) 情報処理装置および情報処理方法、プログラム、並びに記録媒体
US8432495B2 (en) Video processor and video processing method
JP4374048B2 (ja) 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
US6542197B1 (en) Three-dimensional signal processor using motion information upon decoding image signal
JP2009159321A (ja) 補間処理装置、補間処理方法及び映像表示装置
US8704954B2 (en) Signal output device and signal output method
JP4679372B2 (ja) 映像ノイズ削減処理装置及び映像表示装置
JP2011078136A (ja) 映像ノイズ削減処理装置及び映像処理装置
US20100045857A1 (en) Image Processor and Image Processing Method
US7495706B2 (en) Video signal setting device for performing output setting to a display device
JP2010093856A (ja) 画像処理装置、および画像処理方法
JP2008061067A (ja) 映像表示システム、再生装置および表示装置
JP2008244686A (ja) 映像処理装置及び映像処理方法
KR101057999B1 (ko) 움직임 보상에 기반한 프레임 율 변환 장치, 및 그 방법과이를 구현하기 위한 프로그램이 기록된 기록 매체
JP2022049817A (ja) 受信装置およびプログラム
JP2011061709A (ja) 映像処理装置および映像処理方法
WO2009081626A1 (en) Interpolation processing apparatus, interpolation processing method, and picture display apparatus
JP2011128409A (ja) 液晶表示システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090904

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees