JP2007259022A

JP2007259022A - 画像復号化装置及び方法、並びにコンピュータプログラム

Info

Publication number: JP2007259022A
Application number: JP2006080263A
Authority: JP
Inventors: Taro Asakawa; 太郎浅川
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2006-03-23
Filing date: 2006-03-23
Publication date: 2007-10-04
Anticipated expiration: 2026-03-23
Also published as: JP4756594B2

Abstract

【課題】シーンチェンジを効率的に検出しながら補間処理を施す。
【解決手段】画像復号化装置１は、フレーム毎に符号化画像データを復号することで画像データを生成する生成手段１１と、位置及び輝度が少なくとも一定期間固定的である部分画像データが、前フレームに含まれているか否かを判定する第１判定手段１３と、前フレームにおける部分画像データと現フレームにおける部分画像データとの第１差分及び前フレームにおける部分画像データを除く画像データの一部と現フレームにおける部分画像データを除く画像データの一部との第２差分が、所定の閾値以上であるか否かを判定する第２判定手段１３と、判定結果に応じて、現フレームにおける画像データの全体に対して補間処理を施す、現フレームにおける部分画像データを除く画像データの一部に対して補間処理を施す、又は現フレームにおける画像データに対して補間処理を施さない補間手段１４とを備える。
【選択図】図１

Description

本発明は、フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置及び方法、並びに画像復号化装置を実現するためのコンピュータプログラムに関する。

画像データ（より具体的には、動画像データ）のデータサイズを圧縮するための技術の一つにＭＰＥＧ（Moving Picture coding Expert Group）技術がある。ＭＰＥＧ技術では、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）等を利用した画面内（空間的）相関関係を利用したデータ圧縮と、フレーム間予測を行う動き補償（ＭＣ：Motion Compensation）等を利用した画面間（時間的）相関関係を利用したデータ圧縮とを組み合わせることで、画質の劣化を抑制しつつも、画像データのデータサイズを圧縮することができる。

ここで、画像データを圧縮する符号化の際に、画像品質（特に、シーンチェンジが行われる画像以外の画像品質）を劣化させないために、特許文献１には、符号化する画像データのピクチャタイプを判定し、Ｉピクチャであるときは画像データの輝度差分合計値を算出し、記憶していた直前のＩピクチャ又はＰピクチャの輝度差分合計値と置き換え記憶し、Ｐピクチャであるときは画像データの輝度差分合計値を算出し、記憶していた直前のＩピクチャ又はＰピクチャの輝度差分合計値との差分からシーンチェンジを検出し、シーンチェンジ後最初に表示されるＰピクチャの符号化ビット割り当て量を増やす技術が開示されている。

特開２００１−３０９３８３号公報

他方、圧縮された画像データを復号する際に、シーンチェンジが検出された場合に補間処理を行うことで、画像データ中に含まれるエラーブロックについてのエラー補間処理を行う技術が、本願発明者等によって開発されている。

上述したシーンチェンジを検出する手法では、Ｐピクチャの全体の輝度差分値と、その一つ前にあるＩピクチャ又はＰピクチャ全体の輝度差分値とを比較している。ここで、画像データを復号する際には、圧縮された画像データが復号器に伝送される途中で、一部のデータ（例えば、一部のマクロブロック）が欠落してしまうおそれがある。この場合、一部のデータが欠落したＰピクチャの全体の輝度差分値と、その一つ前にあるＩピクチャ又はＰピクチャ全体の輝度差分値とが比較される。このため、欠落したデータの内容・サイズ等によっては、本来シーンチェンジではない場面で、シーンチェンジが誤検出されてしまいかねない。

同様に、画像データ中には、画面中における位置及びその輝度が一定期間（例えば、数秒間、数十秒間或いは数分間）固定されている部分画像が含まれていることがある。例えば、地上波デジタル放送であれば、画面の両端を黒く塗りつぶすための部分画像が含まれた画像データが放送されている。或いは、例えばニュース番組等において、文字スーパーの如く表示される時刻表示や番組名やロゴ等の部分映像が含まれた画像データが放送されている。この部分映像については、輝度が一定期間固定されているため、部分映像以外の映像がシーンチェンジしている場合であっても、Ｐピクチャの全体の輝度差分値と、その一つ前にあるＩピクチャ又はＰピクチャ全体の輝度差分値とが、大きく異ならない状況が発生し得る。このため、部分映像の内容・大きさ等によっては、本来シーンチェンジが発生している場面で、シーンチェンジが検出されない状況が発生し得る。

本発明は、例えば上述した従来の問題点に鑑みなされたものであり、例えばシーンチェンジを効率的に検出しながら補間処理を施す画像復号化装置及び方法、並びにコンピュータをこのような画像復号化装置として機能させるためのコンピュータプログラムを提供することを課題とする。

上記課題を解決するために、請求項１に記載の画像復号化装置は、フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間手段とを備える。

上記課題を解決するために、請求項９に記載の画像復号化方法は、フレーム毎に画像データが符号化された符号化画像データを復号する復号化方法であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成工程と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定工程と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定工程と、前記第１判定工程及び前記第２判定工程の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間工程とを備える。

上記課題を解決するために、請求項１０に記載のコンピュータプログラムによれば、フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間手段とを備える画像復号化装置に備えられたコンピュータを制御するコンピュータプログラムであって、前記コンピュータを、前記生成手段、前記第１判定手段、前記第２判定手段、前記補間手段及び前記制御手段のうち少なくとも一部として機能させる。

本発明の作用及び他の利得は、次に説明する実施の形態から明らかにされよう。

以下、発明を実施するための最良の形態として、本発明の画像復号化装置及び方法、並びにコンピュータプログラムに係る実施形態の説明を進める。

（画像復号化装置の実施形態）
本発明の画像復号化装置に係る実施形態は、フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間手段とを備える。

本発明の画像復号化装置に係る実施形態によれば、フレーム毎に画像データが符号化された符号化画像データが復号される。これにより、画像データをディスプレイ等に画像として表示することができる。

具体的には、生成手段の動作により、符号化画像データが復号される。この結果、画像データが生成される。

このとき、第１判定手段の動作により、画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かが判定される。部分画像データは、画像データの一部であって、画像データ中に含まれている。部分画像データは、部分画像データにより示される部分画像の、フレーム中における位置（具体的には、例えばディスプレイの表示面上における表示位置）や輝度が、少なくとも一定期間（例えば、数秒、数十秒、数分間或いはそれ以上）固定されている又は一定である。この部分画像データが、現在補間処理の対象となっている現フレームの一つ前に位置するフレームである前フレームに含まれているか否かが判定される。

加えて、第２判定手段の動作により、前フレームにおける部分画像データの輝度値と現フレームにおける部分画像データの輝度値との差分である第１差分が所定の閾値以上であるか否かが判定される。更に、第２判定手段の動作により、前フレームにおける部分画像データを除く画像データの一部の輝度値と現フレームにおける部分画像データを除く画像データの一部の輝度値との差分である第２差分が所定の閾値以上であるか否かが判定される。これにより、第１差分が所定の閾値以上であれば、部分画像データにシーンチェンジが生じていることを認識することができる。同様に、第２差分が所定の閾値以上であれば、部分画像データ以外の画像データの一部にシーンチェンジが生じていることを認識することができる。

そして、補間手段の動作により、第１判定手段及び第２判定手段の夫々の判定結果に応じて、現フレームにおける画像データの全体に対して、現フレームにおける画像データを用いて補間処理（つまり、フレーム内補間処理）が施されたり、現フレームにおける部分画像データを除く画像データの一部に対して、現フレームにおける部分画像データを除く画像データの一部を用いて補間処理（つまり、フレーム内補間処理）が施されたり、又は現フレームにおける画像データに対して補間処理が施されない。この結果、復号された画像データに対して補間処理が行われることで、画像データに含まれるエラーを補正することができる。

このように、本実施形態に係る画像復号化装置によれば、シーンチェンジが生じているか否かに応じて、補間処理を行う対象を変えることができる。

ここで、部分画像データが含まれている画像データの全体における輝度値の差分を算出した場合には、部分画像データの位置及び輝度が固定的であることに起因して、差分が本来の値よりも小さくなりかねない。これは、シーンチェンジの誤検出にもつながるため、好ましいとは言えない。しかるに、本実施形態に係る画像復号化装置によれば、画像データを、部分画像データとそれ以外の画像データの一部とに分離して、輝度値の差分を算出することができる。つまり、部分画像データ及び該部分画像データを除く画像データの一部のいずれにシーンチェンジが生じているかを好適に認識することができる。

そして、部分画像データとそれ以外の画像データの一部とに分離して輝度値の差分を算出しているため、差分の算出（言い換えれば、シーンチェンジの検出）に対する処理負荷を低減することができる。

本発明の画像復号化装置に係る実施形態の他の態様は、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して補間処理を施す。

この態様によれば、部分画像データにおけるシーンチェンジを検出することで、画像データの全体におけるシーンチェンジを検出することができる。つまり、本来位置や輝度が固定的である部分画像データにシーンチェンジが生じていれば、画像データの全体にもシーンチェンジが生じていると認識することができる。これにより、画像データの全体の輝度差分を算出することなく、画像データ全体のシーンチェンジを検出することができる。これにより、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。

本発明の画像復号化装置に係る実施形態の他の態様は、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して補間処理を施す。

この態様によれば、部分画像データにシーンチェンジが生じていない場合には、該部分画像データを除く画像データの一部における差分を算出することで、該部分画像データを除く画像データの一部におけるシーンチェンジを検出することができる。これにより、画像データの全体の輝度差分を算出することなく、画像データの一部のシーンチェンジを検出することができる。これにより、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。

この態様では、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データに対して、前記前フレームにおける前記部分画像データを用いて補間処理を施すように構成してもよい。

このように構成すれば、シーンチェンジが生じていない部分画像データに対してはフレーム間補間処理が行われる。これにより、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。

本発明の画像復号化装置に係る実施形態の他の態様は、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分及び前記第２差分の夫々が前記閾値以上でないと判定された場合、前記現フレームにおける前記画像データに対して補間処理を施さない。

この態様によれば、シーンチェンジが発生していない場合には補間処理を施さない。これにより、画像復号化装置に不必要な動作を行わせることがなくなる。

本発明の画像復号化装置に係る実施形態の他の態様は、前記第２判定手段は、前記前フレームにおける前記画像データの輝度値と前記現フレームにおける前記画像データの輝度値との差分である第３差分が、前記閾値以上であるか否かを更に判定し、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていないと判定され、且つ前記第２判定手段により前記第３差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して補間処理を施す。

この態様によれば、部分画像データを画像データが含んでいない場合には、画像データの全体における差分が算出される。従って、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。

本発明の画像復号化装置に係る実施形態の他の態様は、前記第２判定手段は、前記前フレームにおける前記画像データの輝度値と前記現フレームにおける前記画像データの輝度値との差分である第３差分が、前記閾値以上であるか否かを更に判定し、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていないと判定され、且つ前記第２判定手段により前記第３差分が前記閾値以上でないと判定された場合、前記現フレームにおける前記画像データに対して補間処理を施さない。

本発明の画像復号化装置に係る実施形態の他の態様は、前記部分画像データは、フレームの端部に位置する画像を示す。

この態様によれば、例えば後述するサイドパネルを示す部分画像データを含む画像データに対して、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。

（画像復号化方法の実施形態）
本発明の画像復号化方法に係る実施形態は、フレーム毎に画像データが符号化された符号化画像データを復号する復号化方法であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成工程と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定工程と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定工程と、前記第１判定工程及び前記第２判定工程の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間工程とを備える。

本発明の画像復号化方法に係る実施形態によれば、上述した本発明の画像復号化装置に係る実施形態が有する利益と同様の利益を享受することができる。

尚、上述した本発明の画像復号化装置に係る実施形態における各種態様に対応して、本発明の画像復号化方法に係る実施形態も各種態様を採ることが可能である。

（コンピュータプログラムの実施形態）
本発明のコンピュータプログラムに係る実施形態は、フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間手段とを備える画像復号化装置（即ち、上述した本発明の画像復号化装置に係る実施形態）に備えられたコンピュータを制御するコンピュータプログラムであって、前記コンピュータを、前記生成手段、前記第１判定手段、前記第２判定手段、前記補間手段及び前記制御手段のうち少なくとも一部として機能させる。

本発明のコンピュータプログラムに係る実施形態によれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の画像復号化装置に係る実施形態を比較的簡単に実現できる。

尚、上述した本発明の画像復号化装置に係る実施形態における各種態様に対応して、本発明のコンピュータプログラムに係る実施形態も各種態様を採ることが可能である。

本実施形態のこのような作用及び他の利得は次に説明する実施例から更に明らかにされよう。

以上説明したように、本発明の画像復号化装置に係る実施形態によれば、生成手段と、第１判定手段と、第２判定手段と、補間手段とを備える。本発明の画像復号化方法に係る実施形態によれば、生成工程と、第１判定工程と、第２判定工程と、補間工程とを備える。本発明のコンピュータプログラムに係る実施形態によれば、コンピュータを本発明の画像復号化装置に係る実施形態として機能させる。従って、シーンチェンジを効率的に検出しながら、補間処理を施すことができる。

以下、本発明の実施例を図面に基づいて説明する。

（１）基本構成
初めに、図１を参照して、本実施例に係る画像復号化装置１の基本構成について説明する。ここに、図１は、本実施例に係る画像復号化装置１の基本構成を概念的に示すブロック図である。

図１に示すように、本実施例に係る画像復号化装置１は、復号部１１と、エラー検出部１２と、判定部１３と、補間処理部１４と、画像データ出力選択部１５とを備えている。

復号部１１は、本発明における「生成手段」の一具体例を構成しており、例えば放送回線を介して、有線又は無線の各種通信回線を介して、或いは光ディスク等の情報記録媒体を介して画像復号化装置１に入力される符号化画像データの復号処理をフレーム毎に行う。画像データの符号化方式は、１フレームを複数のマクロブロックに分割して夫々のマクロブロック毎に符号化を行い、且つ時間的に近傍のフレーム間で動き補償予測をマクロブロック毎に行う符号化方式（例えば、ＭＰＥＧや、Ｈ．２６１や、ベクトル量子化等）が一具体例として挙げられる。

復号部１１は、復号された画像データを、判定部１３及び画像データ出力選択部１５の夫々へ出力する。また、復号部１１は、必要に応じて（具体的には、画像データに対して補間処理を行う必要がある場合には）、復号された画像データを、補間処理部１４へ出力する。

更に、復号部１１は、エラー解析用符号化データをエラー検出部１２へ出力する。エラー解析用符号化データは、符号化画像データのヘッダーデータであってもよいし、符号化画像データ自体であってもよい。

エラー検出部１２は、復号部１１から出力されるエラー解析用符号化データに基づいて、復号部１１において復号されているマクロブロックにエラーが生じているか否かを検出する。具体的には、例えば、規格書で規定されているシンタックスとの不一致が生じているか、或いは規定された可変長符号語には存在しない符号語が存在しているかに応じて、エラーが生じているか否かが検出される。エラーが検出された場合には、エラー検出部１２は、エラー信号を復号部１１及び判定部１３へ出力する。

判定部１３は、本発明における「第１判定手段」及び「第２判定手段」の一具体例を構成しており、画像データが示す画像に、該画像の一部として、サイドパネルが含まれているか否か（具体的には、画像データに、該画像データの一部として、サイドパネルを示す部分画像データが含まれているか否か）を判定する。加えて、判定部１３は、サイドパネルにシーンチェンジが生じているか否か及びサイドパネルを除く画像の一部にシーンチェンジが生じているか否か、更にはこれに加えて画像全体にシーンチェンジが生じているか否かを判定する。

シーンチェンジの判定は、前フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値（具体的には、輝度信号のＤＣ成分の平均値）と、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値との差分が、所定の閾値以上であるか否かによる。前フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値と、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値との差分が、所定の閾値以上であれば、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部にシーンチェンジが生じていると判定される。他方、前フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値と、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値との差分が、所定の閾値以上でなければ、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部にシーンチェンジが生じていないと判定される。

このため、シーンチェンジの判定の際に用いられる所定の閾値は、シーンチェンジを検出することができるように、好適な値が設定されることが好ましい。具体的には、この閾値の値は、例えばシーンチェンジの際に想定される差分に応じて、実験的、経験的、数学的又は理論的に、若しくはシミュレーション等を用いて個別具体的に、より適切な所定の値を指定することが好ましい。例えば、複数種類の動画から実際にシーンチェンジが生じている箇所を抽出すると共に、抽出された箇所における画像の輝度の変化をサンプリングし、該輝度の変化の平均値等を閾値として設定してもよい。

ここで、サイドパネルについて、図２を参照して説明する。ここに、図２は、画像データが示す画像の一部としてのサイドパネルを概念的に示す平面図である。

図２に示すように、例えば地上波デジタル放送では、実際の番組（例えば、ニュース番組や、ドラマ番組や、バラエティー番組等）に相当する画像の両端部分に、黒色の画像が表示される。この黒色の画像が、サイドパネルである。このサイドパネルは、画像データ中に、該当する画素に黒表示をするデータ（部分画像データ）が含まれることで、ディスプレイに表示される。言い換えれば、サイドパネルは、画像を表示するディスプレイの機能に関係なく、ディスプレイに入力される画像データに基づいてディスプレイに表示される。サイドパネルは、例えばＨＤ（High Definition）方式の画像であれば、図２の横方向に、夫々１６０画素程度の幅を有している。

再び図１において、補間処理部１４は、本発明における「補間手段」の一具体例を構成しており、フレーム毎に（或いは、フレームの一部のマクロブロック毎に）、画像データに対して補間処理を施す。より具体的には、補間処理の対象となっている現フレームを用いて現フレームの補間処理を行うフレーム内補間処理や、補間処理の対象となっている現フレームの一つ前にある前フレームを用いて現フレームの補間処理を行うフレーム間補間処理を施す。

尚、フレーム間補間処理は、必ずしも現フレームの一つ前にある前フレームを用いる必要はなく、例えば現フレームの複数個前にあるフレームを用いてもよいし、或いは現フレームの一つ後ろ又は複数個後ろにあるフレームを用いてもよい。

画像データ出力選択部１５は、復号部１１から出力される画像データを画像復号化装置１から外部に出力するか、又は補間処理部１４から出力される画像データ（つまり、補間処理が施された画像データ）を出力するかを適宜選択し、選択された画像データを画像復号化装置１の外部に出力する。

（２）動作原理
続いて、図３を参照して、本実施例に係る画像復号化装置１の動作原理について説明する。ここに、図３は、本実施例に係る画像復号化装置１におけるシーンチェンジ検出及び補間処理に関する動作の流れを概念的に示すフローチャートである。

尚、図３においては、判定部１３におけるシーンチェンジの検出及び補間処理部１４における補間処理に主眼をおいて説明している。このため、符号化画像データの復号等は、図１を参照して説明した態様で行われる。

図３に示すように、初めに、判定部１３の動作により、補間処理の対象となっている（言い換えれば、現在復号されている）現フレームの一つ前にある（言い換えれば、現フレームの前に復号された）前フレームにサイドパネルが含まれているか否かが判定される（ステップＳ１１）。

具体的には、例えば、前フレームの更に一つ前にある前々フレームと比較して、所定の領域の輝度が変化していないか及び該輝度が変化しない領域の位置が変化していないか否かに基づいて、前フレームにサイドパネルが含まれているか否かを判定してもよい。例えば、前フレームの更に一つ前にある前々フレームにサイドパネルが含まれている場合、該サイドパネルが占める領域の輝度が前フレームにおいても変化していなければ、前フレームにサイドパネルが含まれていると判定してもよい。他方、例えば、前フレームの更に一つ前にある前々フレームにサイドパネルが含まれている場合、該サイドパネルが占める領域の輝度が前フレームにおいても変化していれば、前フレームにサイドパネルが含まれていないと判定してもよい。

或いは、例えば、前フレームが現れるまでの一定時間（例えば、２から３秒間、５秒間、数秒間、数十秒間或いは数分間）、所定の領域の輝度が変化していないか及び該輝度が変化しない領域の位置が変化していないか否かに基づいて、前フレームにサイドパネルが含まれているか否かを判定してもよい。例えば、前フレームが現れるまでの一定時間に、フレーム中の所定の領域の輝度が変化しておらず、且つ輝度が変化しない領域の位置も変化しなければ、前フレームにサイドパネルが含まれていると判定してもよい。他方、例えば、前フレームが現れるまでの一定時間に、フレーム中の所定の領域の輝度が変化していれば、又は輝度が変化しない領域が含まれていたとしても該領域の位置が変化していれば、前フレームにサイドパネルが含まれていないと判定してもよい。

或いは、輝度や位置やフレーム中における大きさが一定時間変化しないサイドパネルの性質を考慮して、その位置における輝度が変化していないか否かに基づいて、前フレームにサイドパネルが含まれているか否かを判定してもよい。例えば、上述の如くサイドパネルはフレームの両端に夫々１６０画素の大きさを有していることから、フレーム両端の１６０画素の輝度が変化していなければ、前フレームにサイドパネルが含まれていると判定してもよい。他方、フレーム両端の１６０画素の輝度が変化していれば、前フレームにサイドパネルが含まれていないと判定してもよい。

ステップＳ１１における判定の結果、前フレームにサイドパネルが含まれていると判定された場合には（ステップＳ１１：Ｙｅｓ）、続いて、判定部１３の動作により、サイドパネルにシーンチェンジが生じているか否かが判定される（ステップＳ１２）。この判定は、上述したとおり、前フレームにおけるサイドパネルの輝度と現フレームにおけるサイドパネルの輝度（具体的には、前フレームにおいてサイドパネルが占める領域と同じ現フレーム中の領域の輝度）との差分が、所定の閾値以上であるか否かに基づいて行われる。

ステップＳ１２における判定の結果、サイドパネルにシーンチェンジが生じていると判定された場合には（ステップＳ１２：Ｙｅｓ）、サイドパネルの間に表示される画像にも当然シーンチェンジが生じていると判定される。言い換えれば、現フレームの全体にシーンチェンジが生じていると判定される。このため、補間処理部１４の動作により、現フレームにおける画像データが示す画像の全体に対して、フレーム内補間処理が施される（ステップＳ１３）。

その後、補間処理が施された画像データが、補間処理部１４から画像データ出力選択部１５へ出力され、画像データ出力選択部１５は、補間処理部１４から出力される画像データを、画像復号化装置１の外部に出力する。

他方、ステップＳ１２における判定の結果、サイドパネルにシーンチェンジが生じていないと判定された場合には（ステップＳ１２：Ｎｏ）、続いて、判定部１３の動作により、画像データが示す画像のうちサイドパネルを除く一部の画像にシーンチェンジが生じているか否かが判定される（ステップＳ１４）。この判定は、上述したとおり、前フレームにおける画像データが示す画像のうちサイドパネルを除く一部の画像の輝度と現フレームにおける画像データが示す画像のうちサイドパネルを除く一部の画像の輝度（具体的には、前フレームにおいてサイドパネルを除く一部の画像が占める領域と同じ現フレーム中の領域の輝度）との差分が、所定の閾値以上であるか否かに基づいて行われる。

ステップＳ１４における判定の結果、画像データが示す画像のうちサイドパネルを除く一部の画像にシーンチェンジが生じていると判定された場合には（ステップＳ１４：Ｙｅｓ）、補間処理部１４の動作により、現フレームにおける画像データが示す画像のうちサイドパネルを除く一部の画像に対して、フレーム内補間処理が施される（ステップＳ１５）。

この際、補間処理部１４の動作により、現フレームにおけるサイドパネルに対しては、フレーム間補間処理が施されることが好ましい。

他方、ステップＳ１４における判定の結果、画像データが示す画像のうちサイドパネルを除く一部の画像にシーンチェンジが生じていないと判定された場合には（ステップＳ１４：Ｎｏ）、現フレームにおける画像データが示す画像の全体には、シーンチェンジが生じていないと判定される。このため、現フレームにおける画像データが示す画像に対しては、補間処理が施されない。従って、この現フレームに関しては、復号部１１から出力される画像データが画像データ出力選択部１５へ出力され、画像データ出力選択部１５は、復号部１１から出力される画像データを、画像復号化装置１の外部に出力する。

他方、ステップＳ１１における判定の結果、前フレームにサイドパネルが含まれていないと判定された場合には（ステップＳ１１：Ｎｏ）、続いて、判定部１３の動作により、現フレームにおける画像データが示す画像の全体にシーンチェンジが生じているか否かが判定される（ステップＳ１６）。この判定は、上述したとおり、前フレームにおける画像データが示す画像の全体の輝度と現フレームにおける画像データが示す画像の全体の輝度（具体的には、前フレームにおいて画像データが示す画像が占める領域と同じ現フレームにおける領域の輝度）との差分が、所定の閾値以上であるか否かに基づいて行われる。

ステップＳ１６における判定の結果、現フレームにおける画像データが示す画像の全体にシーンチェンジが生じていると判定された場合には（ステップＳ１６：Ｙｅｓ）、補間処理部１４の動作により、現フレームにおける画像データが示す画像の全体に対して、フレーム内補間処理が施される（ステップＳ１７）。

他方、ステップＳ１６における判定の結果、現フレームにおける画像データが示す画像の全体にシーンチェンジが生じていないと判定された場合には（ステップＳ１６：Ｎｏ）、現フレームにおける画像データが示す画像に対しては、補間処理が施されない。従って、この現フレームに関しては、復号部１１から出力される画像データが画像データ出力選択部１５へ出力され、画像データ出力選択部１５は、復号部１１から出力される画像データを、画像復号化装置１の外部に出力する。

以上説明したように、本実施例に係る画像復号化装置１によれば、シーンチェンジが生じているか否かに応じて、補間処理を行う対象を変えることができる。

ここで、サイドパネルが含まれている画像の全体における輝度値の差分を算出した場合には、サイドパネルの位置及び輝度が固定的であることに起因して、差分が本来の値よりも小さくなりかねない。これは、シーンチェンジの誤検出にもつながるため、好ましいとは言えない。しかるに、本実施例に係る画像復号化装置１によれば、画像データが示す画像を、サイドパネルと該サイドパネルを除く画像の一部とに分離して、輝度値の差分を算出することができる。つまり、サイドパネル及び該サイドパネルを除く画像の一部のいずれにシーンチェンジが生じているかを好適に認識することができる。これにより、シーンチェンジの誤検出を極力減らすことができ、その結果、高い精度でのシーンチェンジ検出を実現することができる。

加えて、サイドパネルと該サイドパネルを除く画像の一部とに分離して輝度値の差分を算出しているため、差分の算出（言い換えれば、シーンチェンジの検出）に対する処理負荷を低減することができる。

尚、上述の説明では、一つのフレーム中の画像を、サイドパネルとサイトパネルを除く画像に分離する態様について説明を進めた。しかしながら、サイドパネル以外の所定の画像と該所定の画像を除く画像とに分離する態様であっても、上述した構成及び動作を採用することで、上述した各種利益を享受することができる。この態様について、図４を参照して説明する。ここに、図４は、画像データが示す画像の一部としての文字スーパーを概念的に示す平面図である。

図４に示すように、例えばニュース番組等で表示されるチャンネル画像や、番組名等の文字スーパーは、その位置及び輝度が一定である。従って、このような文字スーパーに対しても、上述したサイドパネルと同様の動作を行うことで、上述した各種利益を享受することができる。

また、文字スーパー以外であっても、輝度及び表示される位置が一定期間固定されている画像であれば、該画像に対して上述したサイドパネルと同様の動作を行うことで、上述した各種利益を享受することができる。

本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴なう画像復号化装置及び方法、並びにコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。

本実施例に係る画像復号化装置の基本構成を概念的に示すブロック図である。画像データが示す画像の一部としてのサイドパネルを概念的に示す平面図である。本実施例に係る画像復号化装置１におけるシーンチェンジ検出及び補間処理に関する動作の流れを概念的に示すフローチャートである。画像データが示す画像の一部としての文字スーパーを概念的に示す平面図である。

符号の説明

１画像復号化装置
１１復号部
１２エラー検出部
１３判定部
１４補間処理部
１５画像データ出力選択部

Claims

フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置であって、
フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、
前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、
前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、
前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間手段と
を備えることを特徴とする画像復号化装置。
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して補間処理を施すことを特徴とする請求項１に記載の画像復号化装置。
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して補間処理を施すことを特徴とする請求項１に記載の画像復号化装置。
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、前記前フレームにおける前記画像データを用いて補間処理を施すことを特徴とする請求項３に記載の画像復号化装置。
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分及び前記第２差分の夫々が前記閾値以上でないと判定された場合、前記現フレームにおける前記画像データに対して補間処理を施さないことを特徴とする請求項１に記載の画像復号化装置。
前記第２判定手段は、前記前フレームにおける前記画像データの輝度値と前記現フレームにおける前記画像データの輝度値との差分である第３差分が、前記閾値以上であるか否かを更に判定し、
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていないと判定され、且つ前記第２判定手段により前記第３差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して補間処理を施すことを特徴とする請求項１に記載の画像復号化装置。
前記第２判定手段は、前記前フレームにおける前記画像データの輝度値と前記現フレームにおける前記画像データの輝度値との差分である第３差分が、前記閾値以上であるか否かを更に判定し、
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていないと判定され、且つ前記第２判定手段により前記第３差分が前記閾値以上でないと判定された場合、前記現フレームにおける前記画像データに対して補間処理を施さないことを特徴とする請求項１に記載の画像復号化装置。
前記部分画像データは、フレームの端部に位置する画像を示すことを特徴とする請求項１に記載の画像復号化装置。
フレーム毎に画像データが符号化された符号化画像データを復号する復号化方法であって、
フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成工程と、
前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定工程と、
前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定工程と、
前記第１判定工程及び前記第２判定工程の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間工程と
を備えることを特徴とする画像復号化方法。
フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間手段とを備える画像復号化装置に備えられたコンピュータを制御するコンピュータプログラムであって、
前記コンピュータを、前記生成手段、前記第１判定手段、前記第２判定手段、前記補間手段及び前記制御手段のうち少なくとも一部として機能させることを特徴とするコンピュータプログラム。