JP2006101296A - 映像データ補正装置とその方法、映像出力装置とその方法、再生装置とその方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 エンコード装置の負担を軽減しながら、復号映像データに含まれるブロックノイズを低減することが可能な映像データ補正装置を提供する。
【解決手段】 キャプチャ部３ａ１は、デコード部２が出力した復号映像データを映像フレーム単位でキャプチャする。境界検出部３ａ２は、復号映像データの解像度情報と圧縮動画像データ１０のサイズ情報に基づいて、映像フレームを構成するブロックの境界を検出する。ブロックノイズ判定部３ａ３は、映像フレーム内の画素の中から境界を挟んで対向する対向画素を特定する。ブロックノイズ判定部３ａ３は、対向画素の位置およびその対向画素間の映像データの差に基づいて、境界の中でブロックノイズが発生しているブロックノイズ発生部分を特定する。補正部３ｂは、ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、映像フレームを補正する。
【選択図】 図１

Description

本発明は、映像データ補正装置、映像出力装置、再生装置、映像データ補正方法、映像出力方法、再生方法、プログラムおよび記録媒体に関し、特には、ブロックノイズを低減可能な映像データ補正装置、映像出力装置、再生装置、映像データ補正方法、映像出力方法、再生方法、プログラムおよび記録媒体に関する。

ＭＰＥＧ（Moving Picture Experts Group）等の映像ストリームは、マクロブロック単位に分割された映像データがそのマクロブロック単位で独立的に情報圧縮されて生成される。また、ＭＰＥＧ等の映像ストリームでは、情報圧縮の手法として、不可逆圧縮が用いられる。

ＭＰＥＧ等の映像ストリームでは、映像データが不可逆圧縮されても、マクロブロック内では色の相対性は、ある程度確保されている。しかしながら、各マクロブロックは独立的に情報圧縮されるため、異なるマクロブロック同士では色の相対性は考慮されていない。

このため、ＭＰＥＧ等の映像ストリームが復号されると、マクロブロックの境界線上で色の連続性が失われる現象、つまり、ブロックノイズが発生する可能性がある。

図９は、復号された映像データに発生するブロックノイズを説明するための説明図である。

図９において、映像フレーム１０１は、複数のマクロブロック１０２によって構成される。例えば、マクロブロック１０２ａとマクロブロック１０２ｂとの境界１０３で色の連続性が失われていると、境界１０３でブロックノイズが発生する。

従来、図９に示したようなブロックノイズを低減する方法が知られている。

例えば、デコード装置が、エンコード装置が生成したＭＰＥＧ等の映像ストリームを復号化して復号映像データを生成する。ノイズ検出器が、その復号映像データに含まれるブロックノイズを検出し、その検出結果をエンコード装置にフィードバックする。エンコード装置は、フィードバックされた検出結果に基づいて、エンコード条件（例えばビットレート）を調整して、ブロックノイズが発生しない映像ストリームを再生成する。

従来のブロックノイズ低減方法では、エンコード装置は、ブロックノイズを低減するために、圧縮動画像データ（映像ストリーム）を再生成しなければならなかった。

また、デコード装置は、ブロックノイズを包含する圧縮動画像データを受け取った場合、その圧縮動画像データが包含するブロックノイズを有する復号映像データを出力してしまう。

本発明の目的は、エンコード装置の負担を軽減しながら、復号映像データに含まれるブロックノイズを低減することが可能な映像データ補正装置、映像出力装置、再生装置、映像データ補正方法、映像出力方法、再生方法、プログラムおよび記録媒体を提供することである。

上記の目的を達成するために、本発明の映像データ補正装置は、複数のブロックから構成され、各ブロックのサイズを示すサイズ情報を含む圧縮動画像データを用いて生成された、解像度を示す解像度情報を含む復号映像データに補正を行う映像データ補正装置であって、前記復号映像データから前記解像度情報を取得し、その取得した解像度情報に基づいて前記復号映像データを映像フレーム単位でキャプチャするキャプチャ部と、前記復号映像データから前記解像度情報を、前記圧縮動画像データから前記サイズ情報をそれぞれ取得し、その取得した解像度情報およびサイズ情報に基づいて、前記映像フレームを構成するブロックの境界を検出する境界検出部と、前記キャプチャ部がキャプチャした映像フレームを受け付け、その受け付けた映像フレーム内の画素の中から、前記境界検出部が検出した境界を挟んで対向する対向画素を特定し、該対向画素の位置および該対向画素間の映像データの差に基づいて、該境界の中でブロックノイズが発生しているブロックノイズ発生部分を特定するブロックノイズ判定部と、前記ブロックノイズ判定部が特定したブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定部が受け付けた映像フレームを補正する補正部とを含む。

また、本発明の映像データ補正方法は、複数のブロックから構成され、各ブロックのサイズを示すサイズ情報を含む圧縮動画像データを用いて生成された、解像度を示す解像度情報を含む復号映像データに補正を行う映像データ補正装置が行う映像データ補正方法であって、前記復号映像データから前記解像度情報を取得し、その取得した解像度情報に基づいて前記復号映像データを映像フレーム単位でキャプチャするキャプチャステップと、前記復号映像データから前記解像度情報を、前記圧縮動画像データから前記サイズ情報をそれぞれ取得し、その取得した解像度情報およびサイズ情報に基づいて、前記映像フレームを構成するブロックの境界を検出する境界検出ステップと、前記キャプチャステップでキャプチャした映像フレームを受け付け、その受け付けた映像フレーム内の画素の中から、前記境界検出ステップで検出した境界を挟んで対向する対向画素を特定し、該対向画素の位置および該対向画素間の映像データの差に基づいて、該境界の中でブロックノイズが発生しているブロックノイズ発生部分を特定するブロックノイズ判定ステップと、前記ブロックノイズ判定ステップで特定したブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定ステップで受け付けた映像フレームを補正する補正ステップ部とを含む。

上記の発明によれば、ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、映像フレームが補正される。このため、エンコード装置の負担を軽減しながら、復号映像データに含まれるブロックノイズを低減することが可能になる。

また、ブロックノイズが発生する可能性のある境界が特定され、その特定された境界の中でブロックノイズが発生しているブロックノイズ発生部分が特定される。このため、ブロックノイズが発生する可能性のある場所に限定して、ブロックノイズ発生部分を検出することが可能となる。

また、任意の所定値を受け付け、前記対向画素間の映像データの差が前記任意の所定値よりも大きい場合に該対向画素間の境界でブロックノイズが発生していると判定することが望ましい。

上記の発明によれば、ブロックノイズか否かを判定するための所定値を任意の値に設定することが可能となる。このため、例えば、映像データのジャンルに応じて所定値を変えれば、ブロックノイズか否かの判定基準を変更することが可能となる。したがって、例えば、映像データのジャンルに応じて所定値を変えれば、映像データのジャンルに応じてブロックノイズ補正を制御することが可能となる。

また、隣接ブロック間の境界の長さに対する該境界中のブロックノイズ発生部分の長さの割合が所定の割合以上の場合、ブロックノイズ補正が必要であると判断し、前記ブロックノイズ補正が必要であると判断した場合に、前記ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記映像フレームを補正することが望ましい。

上記の発明によれば、隣接ブロック間の境界中でブロックノイズが多く発生した場合に、ブロックノイズ補正を実行することができる。したがって、よく目立つブロックノイズに対してのみ、ブロックノイズ補正を行うことが可能となる。

また、前記ブロックノイズ発生部分が、連続する映像フレームの同じ部分で発生した場合に、ブロックノイズ補正が必要であると判断し、前記ブロックノイズ補正が必要であると判断した場合に、前記ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記映像フレームを補正することが望ましい。

上記の発明によれば、時間的に連続して発生したブロックノイズに対して、ブロックノイズ補正を行うことが可能となる。

また、前記ブロックノイズ発生部分を挟んで対向する対向画素の映像データのそれぞれを、該対向画素の映像データの平均値に補正することが望ましい。

上記の発明によれば、簡単にブロックノイズを低減することが可能となる。

また、本発明の映像出力装置は、前記映像データ補正装置と、前記映像データ補正装置が補正した映像データに基づいて映像を出力する映像出力部とを含む。

また、本発明の映像出力方法は、前記映像データ補正方法が有する各ステップと、前記映像データ補正方法で補正した映像データに基づいて映像を出力する映像出力ステップと、を含む
上記の発明によれば、ブロックノイズが低減された映像を出力することが可能になる。

また、前記圧縮動画像データを前記復号映像データに復号化するデコード部をさらに含むことが望ましい。

上記の発明によれば、ブロック単位で圧縮された圧縮動画像データを受け付けた際に、ブロックノイズが低減された映像を出力することが可能になる。

また、本発明の再生装置は、上記映像データ補正装置と、前記圧縮動画像データを前記復号映像データに復号化するデコード部とを含む。

また、本発明の再生方法は、上記映像データ補正方法が有する各ステップと、前記圧縮動画像データを前記復号映像データに復号化するデコードステップとを含む。

上記の発明によれば、ブロック単位で圧縮された圧縮動画像データを受け付けた際に、ブロックノイズが低減された復号映像データを出力することが可能になる。

また、本発明のプログラムは、複数のブロックから構成され、各ブロックのサイズを示すサイズ情報を含む圧縮動画像データを用いて生成された、解像度を示す解像度情報を含む復号映像データに補正を行う映像データ補正処理をコンピュータに実行させるプログラムであって、前記復号映像データから前記解像度情報を取得し、その取得した解像度情報に基づいて前記復号映像データを映像フレーム単位でキャプチャするキャプチャ処理と、前記復号映像データから前記解像度情報を、前記圧縮動画像データから前記サイズ情報をそれぞれ取得し、その取得した解像度情報およびサイズ情報に基づいて、前記映像フレームを構成するブロックの境界を検出する境界検出処理と、前記キャプチャ処理でキャプチャした映像フレームを受け付け、その受け付けた映像フレーム内の画素の中から、前記境界検出処理で検出した境界を挟んで対向する対向画素を特定し、該対向画素の位置および該対向画素間の映像データの差に基づいて、該境界の中でブロックノイズが発生しているブロックノイズ発生部分を特定するブロックノイズ判定処理と、前記ブロックノイズ判定処理で特定したブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定処理で受け付けた映像フレームを補正する補正処理と、を含む映像データ補正処理をコンピュータに実行させる。

また、本発明の記録媒体は、上記プログラムが記録されたコンピュータによって読み取り可能な記録媒体である。

上記の発明によれば、上記映像データ補正方法をコンピュータに実行させることが可能となる。

本発明によれば、ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、映像フレームが補正される。このため、エンコーダ装置の負担を軽減しながら、復号映像データに含まれるブロックノイズを低減することが可能になる。

また、ブロックノイズが発生する可能性のある境界が特定され、その特定された境界の中でブロックノイズが発生しているブロックノイズ発生部分が特定される。このため、ブロックノイズが発生する可能性のある場所に限定して、ブロックノイズ発生部分を検出することが可能となる。

以下、本発明の実施例について図面を参照して説明する。

図１は、本発明の一実施例の映像出力装置を示したブロック図である。

図１において、映像出力装置は、入力端子１と、デコード部２と、映像データ補正装置３と、映像出力部４と、プログラム格納部５とを含む。なお、映像出力装置は、入力端子１およびデコード部２を含まず、映像データ補正装置３と映像出力部４とを含んでもよい。また、デコード部２と映像データ補正装置３とで、再生装置が構成される。

本発明の一実施例の映像データ補正装置３は、コンピュータであり、プログラム格納部５に記録されている動作プログラムを読み出し、その読み出した動作プログラムを実行する。

映像データ補正装置３は、その動作プログラムを実行することによって、種々の機能を実現する。図１では、映像データ補正装置３がその動作プログラムを実行することによって実現する機能を機能ブロックとして示している。

映像データ補正装置３は、ブロックノイズ検出部３ａと補正部３ｂとを含む。ブロックノイズ検出部３ａは、キャプチャ部３ａ１と、境界検出部３ａ２と、ブロックノイズ判定部３ａ３と、受付部３ａ４とを含む。キャプチャ部３ａ１は、取込部３ａ１１とメモリ３ａ１２とを含む。ブロックノイズ判定部３ａ３は、判定部３ａ３１とフレームバッファ３ａ３２とを含む。

なお、取込部３ａ１１と、境界検出部３ａ２と、判定部３ａ３１とは、プログラム格納部５に格納されている動作プログラムに基づいて実現されてもよいし、ハードウエアで実現されてもよい。

入力端子１は、圧縮動画像データ１０を受け付ける。圧縮動画像データ１０は、映像データを構成する映像フレームを複数のブロックに分割した後に、その映像データをブロック単位で圧縮して生成される。また、圧縮動画像データ１０は、ブロックのサイズを示すサイズ情報を含む。

圧縮動画像データ１０は、例えば、ＭＰＥＧ画像データ（映像ストリーム）である。ＭＰＥＧ画像データは、映像データを構成する映像フレームを複数のマクロブロックに分割した後に、その映像データをマクロブロック単位で圧縮（動き補償フレーム間予測）して生成される。ＭＰＥＧ画像データのヘッダ情報には、エンコードタイプが記載されている。このエンコードタイプは、マクロブロックのサイズを示すサイズ情報である。なお、ＭＰＥＧ画像データは、マクロブロックをさらに分割したブロックごとにＤＣＴ（Discrete Cosine Transform：離散コサイン変換）で圧縮されている。

デコード部２は、入力端子１が受け付けた圧縮動画像データ１０をブロック単位で復号化して復号映像データを生成する。例えば、デコード部２は、入力端子１がＭＰＥＧ画像データを受け付けた場合、ＭＰＥＧ画像データをマクロブロック単位で復号化して復号映像データを生成する。なお、デコード部２は、マクロブロックをさらに分割したブロックごとに逆ＤＣＴを行う。

デコード部２が生成する復号映像データは、例えば、ＲＧＢ信号、または、ＹＣｒＣｂ信号等の映像表示信号である。なお、ＲＧＢ信号は、Ｒ（赤）信号とＧ（緑）信号とＢ（青）信号とにより画素映像の色を表す信号であり、ＹＣｒＣｂ信号は、輝度信号Ｙと２つの色差信号Ｃｒ、Ｃｂとにより画素映像の色を表す信号である。ＲＧＢ信号およびＹＣｒＣｂ信号は、同期信号を含む。

デコード部２は、復号映像データの解像度を示す解像度情報も出力する。本実施例では、デコード部２は、解像度情報を重畳した復号映像データを生成する。

デコード部２は、解像度情報を重畳した復号映像データを、キャプチャ部３ａ１および境界検出部３ａ２に出力する。

キャプチャ部３ａ１は、デコード部２が出力した復号映像データから解像度情報を取得する。キャプチャ部３ａ１は、取得した解像度情報に基づいて、デコード部２が出力した復号映像データを映像フレーム単位で順番にキャプチャする。

具体的には、取込部３ａ１１が、復号映像データから解像度情報を取得し、その取得した解像度情報に基づいて、復号映像データを映像フレーム単位で順番に取り込み、その取り込んだ映像フレームをメモリ３ａ１２に順番に格納する。なお、メモリ３ａ１２は、複数の映像フレームを格納できる。取込部３ａ１１は、メモリ３ａ１２に格納した映像フレームを、取り込み順に所定の時間間隔でブロックノイズ判定部３ａ３に出力する。

境界検出部３ａ２は、デコード部２が出力した復号映像データから解像度情報を取得する。また、境界検出部３ａ２は、入力端子１が受け付けた圧縮動画像データ１０からサイズ情報を取得する。

境界検出部３ａ２は、取得した解像度情報およびサイズ情報に基づいて、映像フレームを構成するブロックの境界を検出する。

具体的には、境界検出部３ａ２は、解像度情報が示す横方向の画素サイズの中で、サイズ情報が示す横方向の画素サイズの倍数に対応する画素ラインごと（両端は除く）、および、解像度情報が示す縦方向の画素サイズの中で、サイズ情報が示す縦方向の画素サイズの倍数に対応する画素ラインごと（両端は除く）に境界を検出する。

図２は、境界検出部３ａ２が行う境界検出動作の一例を説明するための説明図である。具体的には、図２は、解像度情報が７２０×４８０画素で、サイズ情報が示すマクロブロックのサイズが１６×１６画素の例を示している。この場合、解像度情報で示された７２０画素中で１６の倍数に対応する画素ラインごと（両端は除く）、および、解像度情報で示された４８０画素中で１６の倍数に対応する画素ラインごと（両端は除く）に境界１１が存在する。

境界検出部３ａ２は、検出した境界（画素ライン情報）１１をブロックノイズ判定部３ａ３に出力する。

ブロックノイズ判定部３ａ３は、キャプチャ部３ａ１がキャプチャした映像フレームと、境界検出部３ａ２が検出した境界とを受け付ける。

ブロックノイズ判定部３ａ３は、キャプチャ部３ａ１がキャプチャした映像フレーム内の画素の中から、境界検出部３ａ２が検出した境界を挟んで対向する対向画素を特定する。ブロックノイズ判定部３ａ３は、対向画素の位置およびその対向画素間の映像データの差に基づいて、境界の中でブロックノイズが発生しているブロックノイズ発生部分を特定する。

本実施例では、判定部３ａ３１は、キャプチャ部３ａ１から供給された映像フレームを受け付けると、フレームバッファ３ａ３２に展開されている情報を削除し、その後、その受け付けた映像フレームをフレームバッファ３ａ３２に展開する。続いて、判定部３ａ３１は、フレームバッファ３ａ３２に展開した映像フレームを、境界検出部３ａ２から供給された境界に基づいてマクロブロックに分解する。

続いて、判定部３ａ３１は、フレームバッファ３ａ３２に展開された映像フレーム内の画素の中から、境界を挟んで対向する対向画素を特定する。

判定部３ａ３１は、対向画素の位置およびその対向画素間の映像データの差に基づいて、境界の中でブロックノイズが発生しているブロックノイズ発生部分を特定する。例えば、判定部３ａ３１は、対向画素間の映像データの差が、受付部３ａ４が受け付けた任意の所定値よりも大きい場合に、その対向画素間の境界部分でブロックノイズが発生していると判定する。

補正部３ｂは、ブロックノイズ判定部３ａ３が特定したブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、フレームバッファ３ａ３２に展開された映像フレームを補正する。なお、フレームバッファ３ａ３２に展開された映像フレームは、キャプチャ部３ａ１がキャプチャした映像フレームである。

補正部３ｂは、補正した映像フレームを映像出力部４に出力する。なお、補正部３ｂは、フレームバッファ３ａ３２に展開された映像フレームに対してブロックノイズ補正を行う必要がない場合、例えば、フレームバッファ３ａ３２に展開された映像フレームにブロックノイズが発生していない場合、フレームバッファ３ａ３２に展開された映像フレームを映像出力部４に出力する。

映像出力部４は、補正部３ｂの出力に基づいて映像を出力（例えば表示）する。

プログラム格納部５は、ＲＯＭ等のメモリであり、コンピュータ（映像データ補正装置３）によって読み取り可能な記録媒体である。プログラム格納部５には、映像データ補正装置３の動作を規定する動作プログラムが格納されている。

次に、図１を参照して動作を説明する。

入力端子１が圧縮動画像データ１０を受け付けると、デコード部２は、圧縮動画像データ１０を復号映像データに復号化する。このとき、デコード部２は、復号映像データの解像度を示す解像度情報を復号映像データに重畳する。

デコード部２は、解像度情報を重畳した復号映像データを、キャプチャ部３ａ１および境界検出部３ａ２に出力する。

キャプチャ部３ａ１の取込部３ａ１１は、デコード部２が出力した復号映像データを受け付けると、その受け付けた復号映像データから解像度情報を取得し、その取得した解像度情報に基づいて、デコード部２が出力した復号映像データを映像フレーム単位で順番に取り込む。取込部３ａ１１は、その取り込んだ映像フレームをメモリ３ａ１２に順番に格納する。

取込部３ａ１１は、メモリ３ａ１２に格納した映像フレームを、取り込み順に所定の時間間隔でブロックノイズ判定部３ａ３に出力する。

一方、境界検出部３ａ２は、デコード部２が出力した復号映像データを受け付けると、その受け付けた復号映像データから解像度情報を取得する。また、境界検出部３ａ２は、入力端子１が受け付けた圧縮動画像データ１０からサイズ情報を取得する。

境界検出部３ａ２は、取得した解像度情報およびサイズ情報に基づいて、映像フレームを構成するブロックの境界を検出する（図２参照）。

境界検出部３ａ２は、検出した境界をブロックノイズ判定部３ａ３に出力する。

ブロックノイズ判定部３ａ３の判定部３ａ３１は、取込部３ａ１１が出力した映像フレームを受け付けると、フレームバッファ３ａ３２に既に展開されている映像フレームを削除し、その後、その受け付けた映像フレームをフレームバッファ３ａ３２に展開する。

判定部３ａ３１は、境界検出部３ａ２が出力した境界を受け付けると、フレームバッファ３ａ３２に展開した映像フレームを、その受け付けた境界に基づいてマクロブロックに分解する。

図３は、フレームバッファ３ａ３２に展開された映像フレーム１２が、判定部３ａ３１によって、マクロブロック１３に分解された状態を示した説明図である。

なお、判定部３ａ３１は、境界検出部３ａ２から供給された境界１１と、映像フレームが有する同期信号とに基づいて、映像フレーム１２をマクロブロック１３に分解することが好ましい。

続いて、判定部３ａ３１は、フレームバッファ３ａ３２に展開された映像フレーム１２内の画素の中から、境界１１を挟んで対向する対向画素１２ａ、１２ｂを特定する。

図４は、判定部３ａ３１が特定した対向画素１２ａ、１２ｂの一例を示した説明図である。なお、図４では、説明の簡略化を図るために１対の対向画素しか示していないが、当然のことながら、対向画素は境界１１に沿って複数組存在する。また、図４では、各対向画素を２画素としたが、各対向画素は２画素に限らず、１画素でもよいし、３画素以上でもよい。

判定部３ａ３１は、対向画素１２ａ、１２ｂの位置およびその対向画素間の映像データの差に基づいて、境界１１の中でブロックノイズが発生しているブロックノイズ発生部分を特定する。

図５は、判定部３ａ３１が行うブロックノイズ判定動作の一例を説明するための説明図である。なお、図５では、対向画素１２ａ、１２ｂのそれぞれを１画素とし、対向画素１２ａの映像データを（Ｒ、Ｇ、Ｂ）とし、対向画素１２ｂの映像データを（Ｒ’、Ｇ’、Ｂ’）とする。

判定部３ａ３１は、対向画素１２ａ、１２ｂの映像データが、｜Ｒ−Ｒ’｜＞一定値、｜Ｇ−Ｇ’｜＞一定値または｜Ｂ−Ｂ’｜＞一定値の関係を満たしているか否か判断する。

なお、画像データと比較される一定値は、受付部３ａ４によって受け付けられることが望ましい。受付部３ａ４は、ユーザの入力を受け付ける入力部であり、画像データと比較される一定値（任意の所定値）を受け付ける。

判定部３ａ３１は、対向画素１２ａ、１２ｂの映像データが、｜Ｒ−Ｒ’｜＞一定値、｜Ｇ−Ｇ’｜＞一定値または｜Ｂ−Ｂ’｜＞一定値の関係を満たしている場合、対向画素１２ａ、１２ｂの境界でブロックノイズが発生していると判断する。判定部３ａ３１は、ブロックノイズが発生していると判断した境界をブロックノイズ発生部分（ブロックノイズ発生位置）として特定する。

一方、判定部３ａ３１は、対向画素１２ａ、１２ｂの映像データが、｜Ｒ−Ｒ’｜＞一定値、｜Ｇ−Ｇ’｜＞一定値および｜Ｂ−Ｂ’｜＞一定値の関係を満たしていない場合、対向画素１２ａ、１２ｂの境界でブロックノイズが発生していないと判断する。

判定部３ａ３１は、すべての対向画素の映像データについて、｜Ｒ−Ｒ’｜＞一定値、｜Ｇ−Ｇ’｜＞一定値または｜Ｂ−Ｂ’｜＞一定値の関係を満たしているか否か判断し、ブロックノイズ発生部分を特定していく。

判定部３ａ３１は、特定したブロックノイズ発生部分を補正部３ｂに出力する。

補正部３ｂは、判定部３ａ３１が出力したブロックノイズ発生部分を受け付けると、その受け付けたブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、フレームバッファ３ａ３２に展開された映像フレームを補正する。

図６は、補正部３ｂが行う補正の一例を説明するための説明図である。

補正部３ｂは、判定部３ａ３１が出力したブロックノイズ発生部分１４を受け付けると、その受け付けたブロックノイズ発生部分１４を挟んで対向する対向画素１２ａ、１２ｂの映像データ（Ｒ、Ｇ、Ｂ）、（Ｒ’、Ｇ’、Ｂ）（図６（ａ）参照）を、Ｒ＝Ｒ’＝（Ｒ＋Ｒ’）／２、Ｇ＝Ｇ’＝（Ｇ＋Ｇ’）／２、Ｂ＝Ｂ’＝（Ｂ＋Ｂ’）／２に補正する（図６（ｂ）参照）。この場合、簡単にブロックノイズを低減することが可能となる。

なお、補正部３ｂは、ブロックノイズ発生部分を挟んで対向する対向画素の映像データのそれぞれを、該対向画素の映像データの平均値に補正してもよい。この場合、簡単にブロックノイズを低減することが可能となる。

なお、図６に示した例では、ブロックノイズが発生している境界に接している対向画素のみを補正しているが、さらに周りの画素も視野に入れて、緩やかに色差を小さくするように補正してもよい。

補正部３ｂは、補正した映像フレームを映像出力部４に出力する。なお、補正部３ｂは、フレームバッファ３ａ３２に展開された映像フレームに対してブロックノイズ補正を行う必要がない場合、例えば、フレームバッファ３ａ３２に展開された映像フレームにブロックノイズが発生していない場合、フレームバッファ３ａ３２に展開された映像フレームを映像出力部４に出力する。

映像出力部４は、補正部３ｂに出力に基づいて映像を出力（例えば表示）する。

本実施例によれば、ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差（例えば、色差）が小さくなるように、映像フレームが補正される。このため、エンコード装置によるブロックノイズ補正を行わずに、復号映像データに含まれるブロックノイズを低減することが可能になる。

また、ブロックノイズが発生する可能性のある境界が特定され、その特定された境界の中でブロックノイズが発生しているブロックノイズ発生部分が特定される。このため、ブロックノイズが発生する可能性のある場所に限定して、ブロックノイズ発生部分を検出することが可能となる。

また、ブロックノイズか否かを判定するための一定値を任意の値に設定可能である。このため、例えば、映像データのジャンルまたは映像データの対象年齢に応じて一定値を変えれば、ブロックノイズか否かの判定基準を変更することが可能となる。したがって、例えば、映像データのジャンルまたは映像データの対象年齢に応じて一定値を変えれば、映像データのジャンルに応じてブロックノイズ補正を制御することが可能となる。

また、ブロックノイズが低減された映像を出力することが可能になる。

また、ブロック単位で圧縮された圧縮動画像データを受け付けた際に、ブロックノイズが低減された映像を出力することが可能になる。

また、ブロック単位で圧縮された圧縮動画像データを受け付けた際に、ブロックノイズが低減された復号映像データを出力することが可能になる。

次に、ブロックノイズ判定部３ａ３および補正部３ｂの変形例を説明する。

まず、第１の変形例を説明する。

判定部３ａ３１は、隣接ブロック間の境界の長さに対する、その境界中のブロックノイズ発生部分の長さの割合が所定の割合以上の場合に、ブロックノイズ補正が必要であると判断する。この場合、補正部３ｂは、判定部３ａ３１が、ブロックノイズ補正が必要であると判断した場合に、ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、フレームバッファ３ａ３２に展開された映像フレームを補正する。

次に、第１の変形例における判定部３ａ３１の動作の一例を説明する。

例えば、図７に示すように判定部３ａ３１がブロックノイズ発生部分を特定した場合、判定部３ａ３１は、ブロックノイズ発生部分１４の発生数が、隣接ブロック間の境界の長さに対応する画素数よりも小さい値ｎより大きい場合に、ブロックノイズ補正が必要であると判断する。また、判定部３ａ３１は、ブロックノイズ発生部分の発生数が値ｎ以下の場合に、ブロックノイズ補正が必要ないと判断する。

第１の変形例によれば、よく目立つブロックノイズに対してのみ、ブロックノイズ補正を行うことが可能となる。

次に、第２の変形例を説明する。第２の変形例は、判定部３ａ３１が、ブロックノイズ補正が必要か否かを、ブロックノイズ発生部分の継続状態に応じて判断する例である。

判定部３ａ３１は、ブロックノイズ発生部分が、連続する映像フレームの同じ部分で発生した場合（図８参照）に、ブロックノイズ補正が必要であると判断する。この場合、補正部３ｂは、判定部３ａ３１が、ブロックノイズ補正が必要であると判断した場合に、ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、フレームバッファ３ａ３２に展開された映像フレームを補正する。

次に、第２の変形例における判定部３ａ３１の動作の一例を説明する。

判定部３ａ３１は、映像フレームごとにブロックノイズ発生部分１４を記憶する。判定部３ａ３１は、記憶した映像フレームごとのブロックノイズ発生部分１４に基づいて、ブロックノイズ発生部分１４が、連続する映像フレームの同じ部分で発生した場合に、ブロックノイズ補正が必要であると判断する。

なお、ブロックノイズ発生部分１４が、連続する映像フレームの同じ場所で発生する原因としては、以下の２通りの場合が考えられる。
（１）元映像に激しい動きの映像が含まれている。
（２）元映像の色の境目がマクロブロックの境界と一致している。

上記（１）の場合、判定部３ａ３１はブロックノイズ補正が必要であると判断し、補正部３ｂは、ブロックノイズを低減する補正を行う。

また、上記（２）の場合、判定部３ａ３１はブロックノイズ補正が必要でないと判断し、補正部３ｂは、ブロックノイズを低減する補正を行わない。

なお、判定部３ａ３１は、ブロックノイズ発生部分１４の継続時間に基づいて、上記（１）と上記（２）の区別を行う。

例えば、判定部３ａ３１は、ブロックノイズ発生部分１４が一定時間（例えばｎ秒）同じ箇所で発生していれば、上記（２）の場合であると判断し、ブロックノイズ発生部分１４が一定時間（例えばｎ秒）未満で特定時間（例えばｎ−１秒）以上同じ箇所で発生していれば、上記（１）の場合と判断する。なお、特定時間は一定時間よりも短い時間である。

第２の変形例によれば、時間的に連続して発生したブロックノイズに対して、ブロックノイズ補正を行うことが可能となる。

以上説明した実施例において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。

例えば、デコード部２が復号映像データとしてＹＣｒＣｂ信号を出力している場合、エンコード判定部３ａ３１は、対向画素１２ａ、１２ｂ間のＹ、Ｃｒ、Ｃｂ信号を、Ｒ、Ｇ、Ｂ信号のように比較することが望ましい。

また、判定部３ａ３１の出力は、ブロックノイズ発生頻度を測定するための情報として使用することも可能である。

本発明の一実施例の映像出力装置を示したブロック図である。 本映像出力装置の動作を説明するための説明図である。 本映像出力装置の動作を説明するための説明図である。 本映像出力装置の動作を説明するための説明図である。 本映像出力装置の動作を説明するための説明図である。 本映像出力装置の動作を説明するための説明図である。 本映像出力装置の動作を説明するための説明図である。 本映像出力装置の動作を説明するための説明図である。 ブロックノイズを説明するための説明図である。

符号の説明

１ 入力端子
２ デコード部
３ 映像データ補正装置
３ａ ブロックノイズ検出部
３ａ１ キャプチャ部
３ａ１１ 取込部
３ａ１２ メモリ
３ａ２ 境界検出部
３ａ３ ブロックノイズ判定部
３ａ３１ 判定部
３ａ３２ フレームバッファ
３ａ４ 受付部
３ｂ 補正部
４ 映像出力部
５ プログラム格納部
１０ 圧縮動画像データ
１１ 映像フレーム
１２ａ 対向画素
１２ｂ 対向画素

Claims (18)

1. 複数のブロックから構成され、各ブロックのサイズを示すサイズ情報を含む圧縮動画像データを用いて生成された、解像度を示す解像度情報を含む復号映像データに補正を行う映像データ補正装置であって、
   前記復号映像データから前記解像度情報を取得し、その取得した解像度情報に基づいて前記復号映像データを映像フレーム単位でキャプチャするキャプチャ部と、
   前記復号映像データから前記解像度情報を、前記圧縮動画像データから前記サイズ情報をそれぞれ取得し、その取得した解像度情報およびサイズ情報に基づいて、前記映像フレームを構成するブロックの境界を検出する境界検出部と、
   前記キャプチャ部がキャプチャした映像フレームを受け付け、その受け付けた映像フレーム内の画素の中から、前記境界検出部が検出した境界を挟んで対向する対向画素を特定し、該対向画素の位置および該対向画素間の映像データの差に基づいて、該境界の中でブロックノイズが発生しているブロックノイズ発生部分を特定するブロックノイズ判定部と、
   前記ブロックノイズ判定部が特定したブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定部が受け付けた映像フレームを補正する補正部と、を含む映像データ補正装置。
2. 請求項１に記載の映像データ補正装置において、
   任意の所定値を受け付ける受付部をさらに含み、
   前記ブロックノイズ判定部は、前記対向画素間の映像データの差が前記任意の所定値よりも大きい場合に該対向画素間の境界部分でブロックノイズが発生していると判定する、映像データ補正装置。
3. 請求項１または２に記載の映像データ補正装置において、
   前記ブロックノイズ判定部は、隣接ブロック間の境界の長さに対する該境界中のブロックノイズ発生部分の長さの割合が所定の割合以上の場合、ブロックノイズ補正が必要であると判断し、
   前記補正部は、前記ブロックノイズ判定部が、前記ブロックノイズ補正が必要であると判断した場合に、前記ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定部が受け付けた映像フレームを補正する、映像データ補正装置。
4. 請求項１または２に記載の映像データ補正装置において、
   前記ブロックノイズ判定部は、前記ブロックノイズ発生部分が、連続する映像フレームの同じ部分で発生した場合に、ブロックノイズ補正が必要であると判断し、
   前記補正部は、前記ブロックノイズ判定部が、前記ブロックノイズ補正が必要であると判断した場合に、前記ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定部が受け付けた映像フレームを補正する、映像データ補正装置。
5. 請求項１ないし４のいずれか１項に記載の映像データ補正装置において、
   前記補正部は、前記ブロックノイズ発生部分を挟んで対向する対向画素の映像データのそれぞれを、該対向画素の映像データの平均値に補正する、映像データ補正装置。
6. 請求項１ないし５のいずれか１項に記載の映像データ補正装置と、
   前記映像データ補正装置が補正した映像データに基づいて映像を出力する映像出力部と、を含む映像出力装置。
7. 請求項６に記載の映像出力装置において、
   前記圧縮動画像データを前記復号映像データに復号化するデコード部をさらに含む、映像出力装置。
8. 請求項１ないし５のいずれか１項に記載の映像データ補正装置と、
   前記圧縮動画像データを前記復号映像データに復号化するデコード部と、を含む再生装置。
9. 複数のブロックから構成され、各ブロックのサイズを示すサイズ情報を含む圧縮動画像データを用いて生成された、解像度を示す解像度情報を含む復号映像データに補正を行う映像データ補正装置が行う映像データ補正方法であって、
   前記復号映像データから前記解像度情報を取得し、その取得した解像度情報に基づいて前記復号映像データを映像フレーム単位でキャプチャするキャプチャステップと、
   前記復号映像データから前記解像度情報を、前記圧縮動画像データから前記サイズ情報をそれぞれ取得し、その取得した解像度情報およびサイズ情報に基づいて、前記映像フレームを構成するブロックの境界を検出する境界検出ステップと、
   前記キャプチャステップでキャプチャした映像フレームを受け付け、その受け付けた映像フレーム内の画素の中から、前記境界検出ステップで検出した境界を挟んで対向する対向画素を特定し、該対向画素の位置および該対向画素間の映像データの差に基づいて、該境界の中でブロックノイズが発生しているブロックノイズ発生部分を特定するブロックノイズ判定ステップと、
   前記ブロックノイズ判定ステップで特定したブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定ステップで受け付けた映像フレームを補正する補正ステップと、を含む映像データ補正方法。
10. 請求項９に記載の映像データ補正方法において、
    任意の所定値を受け付ける受付ステップをさらに含み、
    前記ブロックノイズ判定ステップは、前記対向画素間の映像データの差が前記任意の所定値よりも大きい場合に該対向画素間の境界部分でブロックノイズが発生していると判定する、映像データ補正方法。
11. 請求項９または１０に記載の映像データ補正方法において、
    前記ブロックノイズ判定ステップは、隣接ブロック間の境界の長さに対する該境界中のブロックノイズ発生部分の長さの割合が所定の割合以上の場合、ブロックノイズ補正が必要であると判断し、
    前記補正ステップは、前記ブロックノイズ判定ステップで前記ブロックノイズ補正が必要であると判断した場合に、前記ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定ステップで受け付けた映像フレームを補正する、映像データ補正方法。
12. 請求項９または１０に記載の映像データ補正方法において、
    前記ブロックノイズ判定ステップは、前記ブロックノイズ発生部分が、連続する映像フレームの同じ部分で発生した場合に、ブロックノイズ補正が必要であると判断し、
    前記補正ステップは、前記ブロックノイズ判定ステップで前記ブロックノイズ補正が必要であると判断した場合に、前記ブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定ステップで受け付けた映像フレームを補正する、映像データ補正方法。
13. 請求項９ないし１２のいずれか１項に記載の映像データ補正方法において、
    前記補正ステップは、前記ブロックノイズ発生部分を挟んで対向する対向画素の映像データのそれぞれを、該対向画素の映像データの平均値に補正する、映像データ補正方法。
14. 請求項９ないし１３のいずれか１項に記載の映像データ補正方法が有する各ステップと、
    前記映像データ補正方法で補正した映像データに基づいて映像を出力する映像出力ステップと、を含む映像出力方法。
15. 請求項１４に記載の映像出力方法において、
    前記圧縮動画像データを前記復号映像データに復号化するデコードステップをさらに含む、映像出力方法。
16. 請求項９ないし１３のいずれか１項に記載の映像データ補正方法が有する各ステップと、
    前記圧縮動画像データを前記復号映像データに復号化するデコードステップと、を含む再生方法。
17. 複数のブロックから構成され、各ブロックのサイズを示すサイズ情報を含む圧縮動画像データを用いて生成された解像度を示す解像度情報を含む復号映像データに補正を行う映像データ補正処理をコンピュータに実行させるプログラムであって、
    前記復号映像データから前記解像度情報を取得し、その取得した解像度情報に基づいて前記復号映像データを映像フレーム単位でキャプチャするキャプチャ処理と、
    前記復号映像データから前記解像度情報を、前記圧縮動画像データから前記サイズ情報をそれぞれ取得し、その取得した解像度情報およびサイズ情報に基づいて、前記映像フレームを構成するブロックの境界を検出する境界検出処理と、
    前記キャプチャ処理でキャプチャした映像フレームを受け付け、その受け付けた映像フレーム内の画素の中から、前記境界検出処理で検出した境界を挟んで対向する対向画素を特定し、該対向画素の位置および該対向画素間の映像データの差に基づいて、該境界の中でブロックノイズが発生しているブロックノイズ発生部分を特定するブロックノイズ判定処理と、
    前記ブロックノイズ判定処理で特定したブロックノイズ発生部分を挟んで対向する対向画素間の映像データの差が小さくなるように、前記ブロックノイズ判定処理で受け付けた映像フレームを補正する補正処理と、を含む映像データ補正処理をコンピュータに実行させるプログラム。
18. 請求項１７に記載のプログラムが記録されたコンピュータによって読み取り可能な記録媒体。

Images