JP4847040B2 - ビデオシーケンスでのティッカー処理 - Google Patents

Description

本発明は、動き補償後の新たな画像データ生成の改良に関する。特に、本発明は、個別の画像領域を含む他の画像から生じた動き補償後のデータに基づいて画像データを生成する方法に関する。

動き補償は、特に、最新のテレビジョン受像機のデジタル信号処理等、多くの用途において用いられる。詳細に言えば、最新のテレビジョン受像機は、再生画像の画質を上げるために、フレームレート変換、特に動き補償後のアップコンバートを行う。動き補償後のアップコンバートは、例えば、６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、１００Ｈｚ等の５０Ｈｚ以上の周波数のフィールドまたはフレームレートを有するビデオシーケンスに対して行われる。５０Ｈｚの入力信号周波数は主に、ＰＡＬまたはＳＥＣＡＭ方式で放送されるテレビジョン信号に適用される。一方、ＮＴＳＣ方式のビデオ信号は６０Ｈｚのフィールドレートを有する。６０Ｈｚの入力ビデオ信号は、７２Ｈｚ、８０Ｈｚ、９０Ｈｚ、１２０Ｈｚ等のより高い周波数にアップコンバートされ得る。

フレームレート変換アルゴリズムは、例えば、５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスの時間位置とは異なる時間位置のビデオコンテンツを反映する中間画像の生成を必要とする。入力画像の画像データの補間時には、オブジェクトの動きによって生じる画像コンテンツの変化を適切に反映するために、移動するオブジェクトの動きを考慮に入れなければならない。

画像データの補間時に用いられる動きは、入力ビデオシーケンス内で最も近い２つの画像に基づいて決定される。一般に、動き検出はブロック単位で行われる。動き補償後の画像のブロック構造が見えることを回避するために、好ましくは、ブロック単位で決定された動きベクトルを個々のピクセルの各々に割り当て、その結果生じた動きベクトルのフィールドを、はっきりしたつなぎ目が目立たなくなるようにフィルター処理する。

特定の画像位置に割り当てられた動きベクトルに応じて、動き補償により動きベクトルで示される画像位置の画像データを移動させる。被参照画像の画像データの移動量は、受けとった動きベクトルの長さのみにより決まるのではなく、さらに、前後の画像間に生成される新たな画像の相対的な時間位置によっても決定される。

２つの画像、好ましくは、前後の画像から新たな画像データを生成する場合、動き補償アルゴリズムは、その前後の画像の画像データを参照する。前の画像の画像データが動きベクトル方向の前方に移動する一方、後の画像の画像データは後方に移動する。前方および後方への移動量は、参照画像に対する新たな画像の時間位置に応じて決定される。前方への移動が動きベクトルの長さのうちの算出された部分に応じて実行される一方、後方への移動は動きベクトルの相補的な負方向の部分に応じて行われる。各ピクセル位置の参照ピクセル値が補間される。この補間はまた、新たに生成された画像に対する時間位置に基づく参照画像の画像データの評価に基づいて行われ得る。

動き検出を行うための従来のアプローチを図１Ａに示す。入力シーケンス１０１〜１１３から、隣接する２つの画像の画像データを用いて、動き補償後の新たな画像データ１３０が生成される。この新たに生成された画像データ１３０は、その新たな画像データ１３０の時間位置に応じて、画像シーケンス内を移動するオブジェクト１００の時間位置を反映する。図１Ａから分かるように、新たな画像１３０内を移動するオブジェクト１００の位置は、動き補償に用いられた画像１０２、１０３の間に位置する。よって、画像１３０は、移動するオブジェクト１００の動きフェーズを正確に反映する。

入力画像シーケンス１０１〜１１３の各画像は、２つの個別の画像領域からなる。詳細には、ティッカーウインドウ１２３が背景画像１２２上に重なっている。このような個別の画像部分は、放送用テレビジョン信号においてますます一般的になりつつある。この重ねられたティッカーウインドウは、通常、ビデオ画像の下部領域に挿入されたテキストバナーの形態をしている。テキストバナーは、放送局から提供されるサービス情報を表示する。表示されたサービス情報は、表示された画像コンテンツ、関連番組情報、または株式相場等の特定のニュースサービスのいずれかに関するものであり得る。ティッカーウインドウのビデオ画像に対する個々の挿入位置は、放送局または放送局の国によって異なり得る。

図１Ａに示すように、ティッカーウインドウ１２３に表示されたテキストは、所定の速度で動く連続した文字がディスプレイ画面上を通過するように左方向に移動する。
個別の画像部分１２３および背景画像１２２は異なる画像コンテンツに関するものであるが、動き補償では、両方の画像部分について新たな画像データが正確に生成される。

入力ビデオ信号シーケンス１０１〜１１３内の場面変化１２０を検出するために、本発明の動き補償後の補間のための信号処理は場面変化検出を行う。場面変化検出回路が、新たな画像の生成に伴う画像間の急激な画像コンテンツの変化を検出する。画像場面検出の実現に関する詳細は、例えば、特許文献１により公知である。

場面変化１２０が２つの関連する画像１０３、１１１の間で検出されると、補間画像１４０内でのアーチファクトの発生を防ぐために、動き補償後の補間が抑制される。この目的のために、動き補償アルゴリズムが他のあらかじめ定義された補間アルゴリズムと置き換えられる。好ましくは、画像１４０は、動き補償によって参照されたであろう２つの画像１０３、１１１のうちの１つのみを参照することによって生成される。好ましくは、新たな画像データ１４０は、現在の画像１１１の一次補間に基づいて生成される。
欧州特許出願公開第０７８０７７６号明細書

図１Ｂに示す一次補間は、全ての画像領域１２２、１２３に対して１つの画像しか参照しないため、ティッカーウインドウ１４３内のテキストのスムーズな動きが妨げられ、見た目が滑らかでなくなる。

場面変化１２０が起きた後、動き補償後の補間は、図１Ｃに示すように継続される。画像全体について検出された場面変化１２０は、重ねられたティッカーウインドウ１２３には自動的に適用されない。一般に、背景画像１２２内の場面変化により、場面変化検出信号が生じる。しかしながら、画像全体の一部分のみを表すティッカーウインドウの見た目は変わらない。図１Ｂに示すアプローチによる場面の切れ目における動き補償後の補間の改良は、ティッカーウインドウ領域内の見た目の動きに悪影響を及ぼす。

本発明は、上記問題を克服し、新たな画像データを生成するための方法および信号プロセッサの改良を提供することを目的とする。

上記目的は、独立請求項の特徴によって達成される。
本発明の第１の局面において、ビデオシーケンス内の画像のビデオデータから画像データを生成する方法が提供される。上記方法は、異なる画像コンテンツに関する個別の画像領域を決定する。画像データを生成するために選択された２つの画像間の場面変化が検出される。場面変化が検出されなかった場合、動き補償に基づいて新たな画像データが生成される。場面変化が検出された場合、１つの画像の画像データの補間に基づいて新たな画像データが生成され、個別の画像領域の画像データは選択された両方の画像の画像データの動き補償に基づいて生成される。

本発明のさらなる局面において、ビデオシーケンス内の画像のビデオデータから画像データを生成する信号プロセッサが提供される。上記信号プロセッサは、検出部、場面変化検出回路、および出力算出回路を備える。検出部は、異なる画像コンテンツに関する個別の画像領域を決定する。場面変化検出回路は、新たな画像データを生成するために選択された２つの画像間の場面変化を検出する。出力算出回路は、場面変化が検出されなかった場合、動き補償に基づいて新たな画像データを生成する。場面変化が検出された場合、１つの画像の画像データの補間に基づいて新たな画像データが生成され、個別の画像領域の画像データは選択された両方の画像の画像データの動き補償に基づいて生成される。

場面変化の検出時に、ティッカー領域に異なる処理を行うことが本発明の特定的なアプローチである。ティッカー領域に対しては動き補償後の補間を維持し、背景画像データのみを１つの画像に基づいて補間することにより、ティッカー領域内の動きアーチファクトの発生を回避する。

好ましくは、個別の画像領域は、動きベクトル検出に基づいて決定される。従って、受信したビデオシーケンス内に個別の画像領域を特に示す必要はない。さらに、適用した動き補償において必要とされた動きベクトルのそれぞれを用いることにより、単純な方法で個別の画像領域の検出を実現することができる。個別の画像領域において実際に動き補償後の補間が中断したとしても、動きベクトルに基づく個別の画像領域の検出により、個別の処理を開始することができる。動きベクトルに基づく検出を用いることにより、移動し続ける画像コンテンツを確実に検出し、異なる処理を行うことができる。

好ましくは、動きベクトル検出は、新たな画像データを生成するために選択された２つの画像間で行われる。
好適な実施形態によると、行動きベクトルまたは列動きベクトルが個別の画像領域を検出するために決定される。このように、両側の画像境界に渡る画像領域内の連続する動きを単純な方法で検出することができる。

行動きベクトルまたは列動きベクトルは、好ましくは、画像の行または列全体について決定された動きベクトルに基づいて検出される。行または列のほぼ全体に共通する動きを決定することができると、それぞれの動きベクトルが算出される。

さらに、個別の画像領域を決定するためにさらなる条件が考慮される。このために、例えば、ビデオ画像の下側に近い特定の画像位置が解析される。さらに、個別の画像領域の検出は、複数の、好ましくは、所定数の後続する画像内の対応する動きベクトルを連続して検出することにより行われてもよい。
好ましくは、場面変化があった場合、１つの画像から新たな画像データを生成するために一次補間が適用される。

本発明においては、画面変化が起きた場合にも、ディッカーウィンドウ領域においてもテキストがなめらかな動きで表示される。

本発明は、デジタル信号処理に関し、特には、最新のテレビジョン受像機における信号処理に関する。最新のテレビジョン受像機は、再生画質を上げるために、アップコンバートアルゴリズムを用いる。この目的のために、中間画像が後続の２つの画像から生成される。中間画像を生成するためには、新たな画像内のオブジェクト位置が中間画像によって反映される時点に適切に合うように、移動するオブジェクトの動きを考慮にいれなければならない。

図１Ｂに関連して述べたように、場面変化の検出時に動き補償を停止する動き補償後の補間アルゴリズムは、ティッカーウインドウの画質を低下させる。図１から分かるように、ティッカーウインドウのテキストバナーは、常時２つの文字だけ画像間を移動する。入力ビデオシーケンスの画像１０１〜１１３間に中間画像を生成する場合、動き補償後のテキストバナーは、検出された動きおよび時間画像位置に応じて移動する。図示した例では、隣接する画像に対して１文字だけ移動している。

しかしながら、場面の切れ目１２０を検出すると、画像全体については動き補償が停止され、新たに生成された画像１４０のテキストバナー１４３は、現在の画像１１１のテキストバナーとは相違しない。よって、テキストバナーの動きがスムーズにならず、視聴者は、見た目が滑らかでないことに気づく。

この問題を克服するために、本発明では、テキストバナーおよび背景画像の画像データを個々に処理する。図２Ｂに示すように、背景画像については動き補償後の補間が行われず、背景画像２４２の画像部分には、一次補間２２０、２２４が適用される。対照的に、テキストバナー２４３の画像領域は、動き補償後の補間２２２に基づいて生成される。

アップコンバートのための異なる信号処理アルゴリズムをティッカーウインドウに適用することによって、動きアーチファクトを回避することができ、高画質の補間結果が得られる。

図２Ａ〜２Ｃに示すように、背景画像領域１２２の画像コンテンツおよびティッカー領域１２３の画像コンテンツは、場面変化１２０が生じない限り、動き補償後の補間に基づいて処理される。動き補償後の補間は、画像領域全体に適用され、補間された背景画像データ１３２、１５２およびティッカー画像データ１３３、１５３を含む中間画像１３０、１５０を生成する。

場面変化１２０を検出すると、分割信号処理するアプローチが適用される。背景画像領域２２０、２２４について、現在の画像データの一次補間が行われることにより、補間された背景画像データ２４２が生成され、補間時にテキストバナーの連続する動きを適切に考慮にいれるために、ティッカーウインドウ領域に動き補償２２２が行われる。

異なる処理が行われるティッカー領域は、好ましくは、行または横ベクトル検出回路に基づいて検出される。横ベクトル検出回路は、同じ横方向の動きベクトルを有する領域に印をつける。ティッカー領域は、前の入力フィールドと時間的な関係を有する。決定された対応する動き情報に基づいて、ティッカー領域に対して動き補償を行うことができる。異なる処理をティッカー領域に行うことにより、場面変化が生じた後もティッカーはスムーズかつ一定に動く。次に、ティッカー領域の検出のための行動きベクトルまたは列動きベクトルの決定について説明する。

各ビデオ画像の複数のブロックＢ（ｘ；ｙ）への分割を図３に示す。各ブロックは幅Ｘおよび高さＹを有し、ＸおよびＹは、それぞれ、行および列方向のピクセル数を表す。１行または１列ごとのブロック数は、以下の式を用いて算出することができる。
ｘ_max＝１行のピクセル数／Ｘ
ｙ_max＝１列のピクセル数／Ｙ

より大きな画像領域、すなわち、ティッカー領域の全てのブロックの一様な動きを正確に決定するために、一行または一列のブロック全体の動きが決定される。一行または一列において多数のブロックが動く場合、行動きベクトルまたは列ベクトルは、その行または列において最も大きなオブジェクトの動きに対応する。

現在の画像ｎ（フィールドまたはフレーム）についての動きベクトルの決定が終了するとすぐに、個々の行および列ベクトルの算出が開始される。算出された行および列ベクトルは、次のフィールドまたはフレームの動き検出時に用いられる。

まず、長さが短い動きベクトルは考慮に入れない。この目的のため、各ブロックの動きベクトルｖを所定の閾値ｖ_thrと比較する。その結果は、各ブロックに割り当てられた２進「ｖｅｃｔｈｒ」フラグに反映される。このフラグは、式（１）で示されるように算出される。

好ましくは、画像ｎの全てのブロックについて決められた動きベクトルの組については、所定の閾値ｖ_thrを超えない動きベクトルが０（０；０）に設定されるように変更される。この変更は式（２）によって反映される。

式（２）に従って、閾値弁別されたベクトルｖ_thresholdedが算出される。この閾値弁別されたベクトルは、前に算出されたフラグ（式（１）参照）が０であれば、０に設定される。その他の場合には、決定されたベクトルｖが、閾値弁別されたベクトルｖ_thresholdedに割り当てられる。

行動きベクトルまたは列ベクトルの算出のために、好ましくは、閾値弁別された０以外のベクトルの平均値が算出される。しかしながら、当業者は、行または列の複数の動きベクトルの個々に共通した動きベクトルを表す動きベクトルを決定するために、任意の他のアルゴリズムを適用できる。

行および列ベクトルの算出には、個々のブロック長、および閾値ｖ_thrを超えるブロック数が、以下の式（３）〜式（６）に示されるように累算される。

行および列ベクトルｖ_line，ｖ_columnは、以下の式（７）および式（８）に従って算出される。動きベクトルは、行または列の所定の閾値ｖ_thrを超えるブロック数が他の所定の閾値ｎｔｈｒ_line、ｎｔｈｒ_columnを超える場合にのみ算出される。

これらの算出された行および列ベクトルは、動き検出時に、次のフィールド／フレームにおいて、さらなる候補ベクトルとして用いられる。

上記閾値ｖ_thr、ｎｔｈｒ_line、ｎｔｈｒ_columnに関して、好ましくは、以下の値が用いられる。

なお、ｘ_maxおよびｙ_maxは、フィールドまたはフレーム全体の幅／高さを表す。これらの値は、好ましくは、８×８ピクセルのブロックサイズに用いられる。

上記説明では、行および列ベクトルが個々の行および列の各々について算出されるものとして仮定しているが、共通の動きベクトルがさらにまたは代わりに２つの行または２つの列の組み合わせについて算出されてもよい。２つの行または２つの列に対する動きベクトルは、２つの行または２つの列内の主要な動きを示すオブジェクトに対する動き精度をさらに向上できる。

複数の行または列の組み合わせによって生じるあらゆる重複を回避することにより、ハードウェアの複雑さが軽減され得る。

同様に、各サイズのオブジェクトについて精度が上がった動きベクトルを提供するために、２よりも多くの行または列、例えば、３、４、または５つの行または列が組み合わされ得る。

閾値ベクトルｖ_thrは、行および列ベクトルの算出のために一定に設定されると説明したが、行および列について異なる閾値を用いてもよい。さらに、閾値ベクトルｖ_thrは、横動きベクトル成分および縦動きベクトル成分について適用可能な２つの異なる閾値に分割され得る。

図４は、ティッカー領域４２０を含む画像４００の一例を示す。この背景画像４１０上に重ねられたティッカー領域４２０は、行ベクトル４３０に基づいて検出される。

本発明による信号プロセッサ５００の構成を図５に示す。信号プロセッサ５００は、次の画像位置ｎ、ｎ−１の２つの入力画像５０１、５０２を受け取る。信号プロセッサ５００に含まれる場面変化検出回路５１０は、両方の画像５０１、５０２の間に場面変化１２０が生じるか否かを決定する。場面変化が検出されたか否かは、出力信号ｃによって示される。

信号プロセッサ５００は、行ベクトルが検出されたか否かを決定する行または横ベクトル検出部５２０をさらに備える。この検出結果は出力信号ｒｖによって示される。

場面変化検出回路５１０の検出結果ｃおよび横ベクトル検出部５２０の検出結果ｒｖに従って、交換マトリクス５３０は、入力画像５０１、５０２の必要なデータを、必要な処理とともに信号処理部５４０に転送する。信号処理部５４０は、必要な動き補償後の補間または一次補間を行い、出力画像データ５５０を生成する。

受け取った場面変化および横ベクトル検出結果ｃ、ｒｖに従って、交換マトリクス５３０は、それぞれの入力フィールド５０１、５０２および応答されるべき処理を信号処理部５４０に渡す。検出結果に従って、以下の処理が信号処理部５４０に指示される。
１． ｃ＝場面変化未検出
ｒｖ＝未使用
ｎとｎ−１の間の動き補償
２ａ． ｃ＝場面変化検出
ｒｖ＝横ベクトルなし
横ベクトルが無い領域内のｎの一次補間
２ｂ． ｃ＝場面変化検出
ｒｖ＝横ベクトル
横ベクトルを含む領域内のｎとｎ−１の間の動き補償

上記説明は主に画像に関してなされたが、当業者は、これらの画像がフィールドまたはフレームのいずれであってもよいことを理解する。

簡潔に言えば、本発明は、特に、アップコンバート処理に用いるビデオシーケンス内の画像の動き補償後の補間の改良に関する。補間された画像シーケンス内のオブジェクトの動きをスムーズにするために、ビデオシーケンス内で画像が変化した場合には、個別の画像領域に異なる処理がされる。一方の画像領域について動き補償が停止される一方、他方の画像領域には動き補償後の補間が行われる。

テレビジョン受信機等でのデジタル信号処理に利用できる。

動き補償後の補間の改良を示す説明図 動き補償後の補間の改良を示す説明図 動き補償後の補間の改良を示す説明図 本発明による動き補償後の補間の改良を示す説明図 本発明による動き補償後の補間の改良を示す説明図 本発明による動き補償後の補間の改良を示す説明図 均等なサイズの複数のブロックへの画像の分割を示す説明図 ティッカーウインドウの存在を表す検出された動きベクトルを示す説明図 本発明による信号プロセッサの構成を示すブロック図

符号の説明

１００ オブジェクト
１０１〜１１３ 入力シーケンス
１２０ 場面変化
１２２、２４２、４１０ 背景画像
１２３、１４３ ティッカーウインドウ
１３０、１５０ 中間画像
１３３、１５３ ティッカー画像データ
１４０ 補間画像
１３２、１５２ 背景画像データ
２２０、２２４ 一次補間
２２２ 動き補償後の補間
２４３ テキストバナー
４００ 画像
４２０ ティッカー領域
４３０ 行ベクトル
５００ 信号プロセッサ
５０１、５０２ 画像
５１０ 場面変化検出回路
５２０ ベクトル検出部
５３０ 交換マトリクス
５４０ 信号処理部
５５０ 出力画像データ

Claims (4)

1. ビデオシーケンス内の画像から新たな画像を生成する方法であって、
   前記ビデオシーケンス内の隣接する２つの画像間に、場面変化が生じているか否かを検出するステップと、
   前記隣接する２つの画像間における行動きベクトルを検出することによって、画像のテ ィッカー領域を検出するステップと、
   前記場面変化が生じていない場合、前記隣接する２つの画像の全領域に対して動き補償処理を施すことによって、前記隣接する２つの画像の間に位置する新たな画像を生成するステップと、
   前記場面変化が生じている場合、前記ティッカー領域が検出されない領域においては、前記隣接する２つの画像のいずれか１つを参照することによって、前記隣接する２つの画像の間に位置する新たな画像を生成し、前記ティッカー領域が検出された領域においては 、前記隣接する２つの画像に対して動き補償処理を施すことによって、前記隣接する２つの画像の間に位置する新たな画像を生成するステップとを含む、方法。
2. 前記場面変化を検出するステップは、
   前記隣接する２つの画像間で決定された絶対画素差を積算し、
   前記積算された絶対画素差の合計と所定の閾値とを比較し、
   前記合計が前記所定の閾値を超える場合に前記場面変化が生じていると検出する、請求項１に記載の方法。
3. ビデオシーケンス内の画像から新たな画像を生成する信号プロセッサであって、
   前記ビデオシーケンス内の隣接する２つの画像間に、場面変化が生じているか否かを検出する場面変化検出部と、
   前記隣接する２つの画像間における行動きベクトルを検出することによって、画像のテ ィッカー領域を検出するベクトル検出部と、
   前記場面変化が生じていない場合、前記隣接する２つの画像の全領域に対して動き補償処理を施すことによって、前記隣接する２つの画像の間に位置する新たな画像を生成し、前記場面変化が生じている場合、前記ティッカー領域が検出されない領域においては、前記隣接する２つの画像のいずれか１つを参照することによって、前記隣接する２つの画像の間に位置する新たな画像を生成し、前記ティッカー領域が検出された領域においては、前記隣接する２つの画像に対して動き補償処理を施すことによって、前記隣接する２つの画像の間に位置する新たな画像を生成する信号処理部とを備える、信号プロセッサ。
4. 前記場面変化検出部は、
   前記隣接する２つの画像間で決定された絶対画素差を積算する手段と、
   前記積算された絶対画素差の合計と所定の閾値とを比較する手段と、
   前記合計が前記所定の閾値を超える場合に前記場面変化が生じていると検出する手段とを含む、請求項３に記載の信号プロセッサ。