JP2008252752A - 映像情報再生装置及び方法、映像情報再生システム、並びに映像情報再生システムの制御方法 - Google Patents

Abstract

【課題】例えば字幕等の副映像情報と、例えば本編コンテンツ等の主映像情報とを適切且つ迅速に再生することを可能とする。
【解決手段】映像情報再生装置（１００）は、主映像情報及び副映像情報を含む映像信号を復号化する復号化手段（２３０）と、復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報を取得する取得手段（２３０等）と、主映像情報又は副映像情報を再生する再生手段（２４等）と、取得された属性情報に基づいて、主映像情報又は副映像情報を再生するように再生手段を制御する制御手段（３３）と、を備える。
【選択図】図４

Description

本発明は、例えば映画コンテンツ等の映像情報が符号化された映像信号を復号化し再生する映像情報再生システムにおいて使用される映像情報再生装置及び方法、映像情報再生システム、並びに映像情報再生システムの制御方法の技術分野に属する。

一般的に、例えばＤＶＤプレーヤやＢＤ（Blu-ray Disc）プレーヤ等の映像情報記録再生装置に搭載された映像デコーダでは、映像信号（所謂、ビデオ信号）及び音声信号（所謂、オーディオ信号）が復号化され、ストリーム中にある再生時間の指定に対応して出力される。このストリ−ムの映像信号に含まれる画像情報は、各種の圧縮コーデック規格（MPEG2、MPEG4 AVC、SMPTE VC1等）に準拠して圧縮された信号のため、例えばＭＰＥＧ２方式に対応したＭＰＥＧデコーダによって復号される。例えばＭＰＥＧ２方式に対応したＭＰＥＧデコーダから出力される信号は、一般的に、一秒間に３０フレームのインターレース方式（interlace：NTSC方式等で採用されているテレビ走査の方式）の信号である。

一部の特別な映像情報記録再生装置は、このＭＰＥＧ２方式に対応したＭＰＥＧデコーダから出力される出力信号を、更に演算し、一秒間に６０フレームのプログレッシブ（progressive）の信号に変換して出力する、所謂、ＩＰ変換（interlace progressive変換）を行う機能を有している。詳細には、この特別な映像情報記録再生装置で、このＩＰ変換を行う場合、例えば、輝度等の画像の信号特性（又は、信号特徴）を検出又は抽出し、フレーム構造を判別するなどの各種の画像処理が行われる。

また、近年では、例えばＨＤＭＩ（High Definition Multimedia Interface）規格においては、上述した映像情報再生装置と、例えばディスプレイモニター等の表示装置との間で、例えば３６ビット（１２ビットの３系統）や４８ビット（１６ビットの３系統）等のより多くのデータ量の信号伝送が規格化されている。特に、上述したＩＰ変換を、例えばディスプレイモニター等の表示装置に実行させている映像情報再生システムも存在している。

しかしながら、上述したＩＰ変換の際の画像処理においては、例えば字幕等の副映像情報や、ピクチャインピクチャ等の他の副映像情報が存在する場合、画像の信号特性のレベルや度合いを検出する検出精度が顕著に低下してしまう。或いは、仮に、例えば字幕等の副映像情報が表示される領域、所謂、位置エリアを広めに想定し、想定される位置エリアを検出の例外処理扱いにした場合には、画像の信号特性のレベルや度合いを検出する際の対象となる画像の面積が相対的に狭くなるため、画像の信号特性のレベルや度合いを検出する検出精度が顕著に低下してしまう。

本発明は、上述した問題を鑑みなされたものであり、例えば字幕等の副映像情報と、例えば本編コンテンツ等の主映像情報とを適切且つ迅速に再生することが可能な映像情報再生システム、並びに、映像情報再生システムの制御方法を提供することを課題とする。

上記課題を解決するために、請求項１に記載の映像情報再生装置は、主映像情報及び前記主映像情報と種類の異なる副映像情報（例えば副映像や字幕）を含む映像信号を復号化する復号化手段と、前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性（例えば位置や再生位置や字幕言語）に関する属性情報（例えば位置情報やフラグ情報）を取得する取得手段と、前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生手段と、前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生手段を制御する制御手段と、を備える。

上記課題を解決するために、請求項１５に記載の映像情報再生システムは、主映像情報及び前記主映像情報と種類の異なる副映像情報を含む映像信号を復号化する復号化手段と、前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報を取得する取得手段と、前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生手段と、前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生手段を制御する制御手段と、前記再生された主映像情報及び副映像情報を表示する表示手段と、前記取得された属性情報に対応して、前記主映像情報に前記副映像情報を重ね合わせて表示するように前記表示手段を制御する表示制御手段と、を備える。

上記課題を解決するために、請求項１６に記載の映像情報再生方法は、主映像情報及び前記主映像情報と種類の異なる副映像情報を含む映像信号を復号化する復号化工程と、前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報を取得する取得工程と、前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生工程と、前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生工程を制御する制御工程と、を備える。

上記課題を解決するために、請求項１７に記載の映像情報再生システムの制御方法は、主映像情報及び前記主映像情報と種類の異なる副映像情報を含む映像信号を復号化する復号化工程と、前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報を取得する取得工程と、前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生工程と、前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生工程を制御する制御工程と、前記再生された主映像情報及び副映像情報を表示する表示工程と、前記取得された属性情報に対応して、前記主映像情報に前記副映像情報を重ね合わせて表示するように前記表示工程を制御する表示制御工程と、を備える。

本発明の作用及び他の利得は次に説明する実施の形態から明らかにされよう。

以下、発明を実施するための最良の形態としての本発明の実施形態に係る映像情報再生装置及び方法、映像情報再生システム、並びに、映像情報再生システムの制御方法について順に説明する。

（映像情報再生装置の実施形態）
以下、本発明の実施形態に係る映像情報再生装置について説明する。

本発明の映像情報再生装置に係る実施形態は、主映像情報及び前記主映像情報と種類の異なる副映像情報（例えば副映像や字幕）を含む映像信号を復号化する復号化手段と、前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性（例えば位置や再生位置や字幕言語）に関する属性情報（例えば位置情報やフラグ情報）を取得する取得手段と、前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生手段と、前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生手段を制御する制御手段と、を備える。

本発明の映像情報再生装置に係る実施形態によれば、復号化手段によって、主映像情報及び主映像情報と種類の異なる副映像情報を含む映像信号が復号化される。ここに、本発明に係る「主映像情報」とは、例えば映画コンテンツ等の主目的として再生される映像情報を意味する。また、本発明に係る「副映像情報」とは、例えばピクチャインピクチャや、字幕や、ユーザによる操作を行わせる操作メニュー情報などの、副次的に再生される映像情報を意味する。具体的には、BD規格におけるSecondary Video やInteractive Graphicsなどである。

次に、例えば映像デコーダ等の取得手段によって、復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報（例えば位置情報やフラグ情報）が取得される。ここに、本発明に係る「属性」とは、副映像情報の種類や、副映像情報が表示される位置や、副映像情報の表示の有無や、例えば字幕言語等の副映像情報の内容などの、副映像情報の各種の性質を意味する。また、再生手段は、復号化された映像信号に含まれる主映像情報及び副映像情報を再生する。

特に、本実施形態では、制御手段の制御下で、再生手段によって、取得された属性情報に基づいて、主映像情報に加えて又は代えて副映像情報が再生される。言い換えると、再生手段によって、この取得された属性情報に基づいて、主映像情報に加えて又は代えて副映像情報に対して、例えば、輝度等の画像の信号特性（又は、信号特徴）を検出又は抽出し、フレーム構造を判別するための画像処理が行われつつ、主映像情報に加えて又は代えて副映像情報が再生される。ここに、本願発明に係る「信号特性」（又は、「画像特徴」）とは、例えば、輝度、色、動き量、動きベクトル、複雑度、符号化処理のための情報量、符号化困難度等の映像信号を構成する画像の性質や、信号処理上の特性を意味する。

或いは、再生手段によって、この取得された属性情報に基づいて、副映像情報を視覚的に適切に表示するための画像処理が行われつつ、主映像情報に加えて又は代えて副映像情報が再生される。

仮に、例えば字幕が表示される位置を示す位置情報等の属性情報に基づくことなく、主映像情報に加えて又は代えて副映像情報が再生される場合、次のような技術的な問題点が生じてしまう。即ち、属性情報から副映像情報と主映像情報との相関関係が推定されることなく、副映像情報が主映像情報に付加された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われてしまう。よって、副映像情報が主映像情報に合成される位置などの副映像情報と主映像情報との相関関係が不明確であることに起因して、画面全体、又は、予め想定した画面の一部に対して、画一的又は冗長的に画像処理が行われてしまう。よって、主映像情報及び副映像情報によって構成される画像の信号特性のレベルや度合いを誤って検出又は抽出してしまい、ひいては、主映像情報又は副映像情報のフレーム構造を誤判別する可能性が生じてしまう。

加えて、次のような技術的な問題点も生じてしまう。即ち、属性情報から副映像情報と主映像情報との相関関係が推定されることなく、副映像情報を主映像情報に合成させて表示するための画像処理が行われつつ、副映像情報及び主映像情報が再生されてしまう。言い換えると、再生手段は、画面全体、又は、予め想定した画面の一部に対して、画一的又は一律的に画像処理を行うため、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した画像処理を行うことが技術的に困難となってしまい、ひいては、副映像情報及び主映像情報が表示される際に画質劣化が発生する可能性が生じてしまう。

より具体的には、例えば字幕等の副映像情報が想定される予め想定した位置に存在しないばかりでなく、この予め想定した位置に例えばピクチャインピクチャ等の他の副映像情報が存在する場合、画像の信号特性のレベルや度合いを検出する検出精度が顕著に低下してしまう。

これに対して、本実施形態では、制御手段の制御下で、再生手段によって、この取得された属性情報に基づいて、主映像情報に加えて又は代えて副映像情報に対して、フレーム構造を判別するための画像処理が行われつつ、主映像情報に加えて又は代えて副映像情報が再生される。

従って、制御手段の制御下で、再生手段によって、属性情報に基づいて、副映像情報と主映像情報との相関関係が推定されつつ、副映像情報が主映像情報に合成された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われる。従って、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、再生手段によって、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的なフレーム構造を判別するための画像処理が適切且つ迅速に行われる。又は、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、再生手段によって、副映像情報が主映像情報に合成された画像において、副映像情報の部分を除いて、信号特性を簡便且つ適切に検出又は抽出することが可能である。

この結果、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。

或いは、本実施形態では、制御手段の制御下で、再生手段によって、この取得された属性情報に基づいて、副映像情報を視覚的に適切に表示するための画像処理が行われつつ、主映像情報に加えて又は代えて副映像情報が再生される。従って、制御手段の制御下で、再生手段によって、属性情報に基づいて、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的な表示のための画像処理が適切に行われる。加えて、再生手段によって、属性情報に基づいて、副映像情報と主映像情報との相関関係が推定されつつ、副映像情報が主映像情報に適切に合成されるための画像処理が適切に行われる。

この結果、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的に画像処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。

本発明の映像情報再生装置に係る実施形態の一の態様では、前記属性情報は、前記主映像情報に加えて又は代えて前記副映像情報に所定周期（例えばフレーム又はフィールド）を単位として、同期している。

この態様によれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いを、例えばフレーム等の所定周期を単位として同期している属性情報によって、リアルタイムで検出することが可能である。従って、この検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。

また、この態様によれば、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が例えばフレーム等の所定周期を単位として同期している属性情報によって、リアルタイムで行われる。従って、画面全体に対して画一的又は一律的に画像処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。

この所定周期に係る態様では、前記所定周期は、前記映像信号のフレーム又はフィールドの周期であるようにしてよい。

このように構成すれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いを、フレーム又はフィールドを単位として同期している属性情報によって、リアルタイムで高精度に検出することが可能である。

また、このように構成すれば、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理がフレーム又はフィールドを単位として同期している属性情報によって、リアルタイムで高精度に実行可能である。

本発明の映像情報再生装置に係る実施形態の他の態様では、前記再生手段は、前記主映像情報及び前記副映像情報のフレーム構造を判別する画像処理を行いつつ、前記主映像情報及び前記副映像情報を再生する。

この態様によれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。

本発明の映像情報再生装置に係る実施形態の他の態様では、前記再生手段は、前記主映像情報と、前記副映像情報とを合成表示する画像処理を行いつつ、前記主映像情報及び前記副映像情報を再生する。

この態様によれば、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的に画像処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。

本発明の映像情報再生装置に係る実施形態の他の態様では、前記副映像情報は、（i）前記主映像情報に重ね合わせて再生されるピクチャインピクチャ情報、（ii）前記主映像情報に関する字幕情報、又は（iii）ユーザによる操作を行わせる操作メニュー情報である。

この態様によれば、主映像情報に加えて又は代えて、上述した複数種類の副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。

また、この態様によれば、上述した複数種類の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的に画像処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。

本発明の映像情報再生装置に係る実施形態の他の態様では、前記取得手段は、前記属性情報として、ユーザの操作に対応した前記副映像情報の再生の有無に関する一のフラグ情報を取得する。

この態様によれば、復号化手段と、再生手段とにおいて、ユーザによる指示に従って実行された動作に関する各種の属性情報として、上述の一のフラグ情報を共有することが可能である。この結果、再生手段自らが、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、再生手段において、各種の画像処理をより迅速且つ的確に行うことが可能である。

本発明の映像情報再生装置に係る実施形態の他の態様では、前記取得手段は、前記属性情報として、副映像情報の表示画面中の表示位置に関する位置情報を取得する。

この態様によれば、復号化手段と、再生手段とにおいて、ユーザによる指示に従って実行された動作に関する各種の属性情報として、上述の位置情報を共有することが可能である。この結果、再生手段自らが、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、再生手段において、各種の画像処理をより迅速且つ的確に行うことが可能である。

本発明の映像情報再生装置に係る実施形態の他の態様では、前記取得手段は、前記属性情報として、２−３プルダウンの繰り返し周期に関する周期情報に加えて又は代えて、前記２−３プルダウンの有無に関する他のフラグ情報を取得する。

この態様によれば、復号化手段と、再生手段とにおいて、ユーザによる指示に従って実行された動作に関する各種の属性情報として、上述の周期情報に加えて又は代えて、上述の他のフラグ情報を共有することが可能である。この結果、再生手段自らが、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、再生手段において、各種の画像処理をより迅速且つ的確に行うことが可能である。

本発明の映像情報再生装置に係る実施形態の他の態様では、前記取得手段は、前記属性情報として、ユーザが、前記主映像情報を構成する複数のフレームのうち同一のフレームを出力する前記主映像情報の再生の一時停止を行うことに加えて又は代えて前記副映像情報を構成する複数のフレームのうち同一のフレームを出力する前記副映像情報の再生の一時停止を行う指示を行っているか否かに関する一時停止フラグ情報を取得する。

この態様によれば、取得された一時停止フラグに対応して、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理を簡便にすることが可能である。

本発明の映像情報再生装置に係る実施形態の他の態様では、前記再生された主映像情報及び副映像情報を表示する表示手段と、前記取得された属性情報に対応して、前記主映像情報に前記副映像情報を重ね合わせて表示するように前記表示手段を制御する表示制御手段と、を更に備える。

この態様によれば、復号化手段と、再生手段と、表示手段と、表示制御手段とにおいて、ユーザによる指示に従って実行された動作に関する各種の属性情報を共有することが可能である。この結果、表示手段自らが、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、表示手段において、各種の画像処理をより迅速且つ的確に行うことが可能である。

この属性情報に係る態様では、（i）前記制御手段と前記表示制御手段とは、前記属性情報を直接的に入出力する、又は、（ii）前記制御手段と前記表示制御手段とは、前記属性情報を含む制御信号を介して前記属性情報を間接的に入出力するようにしてよい。

このように構成すれば、属性情報を共有する伝送形態を、各種の伝送規格に合致させることが可能である。

この属性情報に係る態様では、前記制御手段と前記表示制御手段とは、画素単位に規定された属性情報を含む制御信号を介して前記属性情報を入出力するようにしてよい。

このように構成すれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いを、主映像情報又は副映像情報における画素単位で規定された属性情報によって、リアルタイムで高精度に検出することが可能である。

この属性情報に係る態様では、前記制御手段と前記表示制御手段とは、所定のデータ量の前記属性情報を含む制御信号を介して前記属性情報を入出力するようにしてよい。

このように構成すれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いを、主映像情報又は副映像情報と比較して相対的に少ない所定のデータ量である属性情報によって、リアルタイムで高精度に検出することが可能である。ここに、本発明に係る所定のデータ量とは、例えば、１ビットから数ビット等の主映像情報又は副映像情報と比較して相対的に少ない、所望となる属性情報のデータ量に対応して決定されるデータ量を意味してよい。尚、属性情報の伝送は、例えば、主映像情報又は副映像情報を構成するデータフィールドにおいて下位に位置されるデータフィールドを使用して行なわれることが好ましい。

（映像情報再生システムの実施形態）
以下、本発明の実施形態に係る映像情報再生システムについて説明する。

本発明の映像情報再生システムに係る実施形態は、主映像情報及び前記主映像情報と種類の異なる副映像情報（例えば副映像や字幕）を含む映像信号を復号化する復号化手段と、前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性（例えば位置や再生位置や字幕言語）に関する属性情報（例えば位置情報やフラグ情報）を取得する取得手段と、前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生手段と、前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生手段を制御する制御手段と、前記再生された主映像情報及び副映像情報を表示する表示手段と、前記取得された属性情報に対応して、前記主映像情報に前記副映像情報を重ね合わせて表示するように前記表示手段を制御する表示制御手段と、を備える。

本発明の映像情報再生システムに係る実施形態によれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。

また、本実施形態によれば、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的に画像処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。

また、本実施形態によれば、復号化手段と、再生手段と、表示手段と、表示制御手段とにおいて、ユーザによる指示に従って実行された動作に関する各種の属性情報を共有することが可能である。この結果、表示手段自らが、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、表示手段において、各種の画像処理をより迅速且つ的確に行うことが可能である。

（映像情報再生方法の実施形態）
以下、本発明の実施形態に係る映像情報再生方法について説明する。

本発明の映像情報再生方法に係る実施形態は、主映像情報及び前記主映像情報と種類の異なる副映像情報（例えば副映像や字幕）を含む映像信号を復号化する復号化工程と、前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性（例えば位置や再生位置や字幕言語）に関する属性情報（例えば位置情報やフラグ情報）を取得する取得工程と、前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生工程と、前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生工程を制御する制御工程と、を備える。

本発明の映像情報再生方法に係る実施形態によれば、上述した本発明の映像情報再生装置に係る実施形態が有する各種利益を享受することが可能となる。

尚、上述した本発明の映像情報再生装置に係る実施形態が有する各種態様に対応して、本発明の映像情報再生方法に係る実施形態も各種態様を採ることが可能である。

（映像情報再生システムの制御方法の実施形態）
以下、本発明の実施形態に係る映像情報再生システムの制御方法について説明する。

本発明の映像情報再生システムの制御方法に係る実施形態は、主映像情報及び前記主映像情報と種類の異なる副映像情報（例えば副映像や字幕）を含む映像信号を復号化する復号化工程と、前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性（例えば位置や再生位置や字幕言語）に関する属性情報（例えば位置情報やフラグ情報）を取得する取得工程と、前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生工程と、前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生工程を制御する制御工程と、前記再生された主映像情報及び副映像情報を表示する表示工程と、前記取得された属性情報に対応して、前記主映像情報に前記副映像情報を重ね合わせて表示するように前記表示工程を制御する表示制御工程と、を備える。

本発明の映像情報再生システムの制御方法に係る実施形態によれば、上述した本発明の映像情報再生システムに係る実施形態が有する各種利益を享受することが可能となる。

尚、上述した本発明の映像情報再生システムに係る実施形態が有する各種態様に対応して、本発明の映像情報再生システムの制御方法に係る実施形態も各種態様を採ることが可能である。

本実施形態のこのような作用及び他の利得は次に説明する実施例から明らかにされる。

以上説明したように、本発明の映像情報再生装置及び方法に係る実施形態によれば、復号化手段及び工程、取得手段及び工程、再生手段及び工程、並びに、制御手段及び工程を備える。この結果、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。また、この結果、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的に画像処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。

以上説明したように、本発明の映像情報再生システム及び当該システムの制御方法に係る実施形態によれば、復号化手段及び工程、取得手段及び工程、再生手段及び工程、制御手段及び工程、表示手段及び工程、並びに、表示制御手段及び工程を備える。この結果、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。また、この結果、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的に画像処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。また、この結果、復号化手段と、再生手段と、表示手段と、表示制御手段とにおいて、ユーザによる指示に従って実行された動作に関する各種の属性情報を共有することが可能である。従って、表示手段自らが、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、表示手段において、各種の画像処理をより迅速且つ的確に行うことが可能である。

以下、図面を参照しながら、本発明の実施例について説明する。

（１）映像情報を保持する映像信号における符号化及び復号化の概要
先ず、図１を参照して、一般的な映像情報を保持する映像信号の概略について説明する。ここに、図１は、本実施例に係る映像情報を保持する映像信号における符号化及び復号化の概要を図式的に示した模式図である。

図１に示されるように、一般に、映像情報を保持する映像信号、所謂、ディジタルビデオ信号は情報量が極めて多い。このため当該ディジタルビデオ信号を小型で記憶情報量（記憶容量）の少ない記録媒体に長時間記録をしようとする場合、または、当該ディジタルビデオ信号を通信容量が限られた通信路の中で多くのチャネル数にて伝送しようとする場合には、このディジタルビデオ信号を高能率符号化して情報量を低減することが不可欠である。このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方式が提案されており、その一つとしていわゆるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式がある。このＭＰＥＧ方式は、先ずビデオ信号のフレーム間の差分を取ることにより時間軸方向の冗長度を落し、その後、離散コサイン変換（ＤＣＴ）等の直交変換手法を用いて空間軸方向の冗長度を落してビデオ信号を能率良く符号化する。

このＭＰＥＧ方式に基づく符号化処理においては、図１に示されるように、各種の符号化器によって、音声信号、例えば「人の画像」である副映像情報を保持する副映像信号、例えば「Blue Sky」の字幕等の文字信号、例えば「山や木の風景の画像」である、Ｉピクチャ，Ｐピクチャ又はＢピクチャの３種類の画像（ピクチャ）によって構成される主映像情報を保持する主映像信号、及び、画像シーンを構成するシーン構成信号が圧縮され符号化される。そして、これらの圧縮され符号化された音声信号、副映像信号、字幕等の文字信号、主映像信号、及び、シーン構成信号が多重化され、伝送される。

次に、伝送された、圧縮され符号化された音声信号、副映像信号、字幕等の文字信号、主映像信号、及び、シーン構成信号が分離され、各種の復号化器へ出力され、伸張され復号化される。

次に、伸張され復号化されたシーン構成信号に基づいて、伸張され復号化された音声信号、副映像信号、字幕等の文字信号、及び、主映像信号が合成され、例えばディスプレイモニター等の表示装置によって表示される。

（１−１）映像情報を保持する映像信号の周期
次に、図２を参照して、本発明の映像情報を保持する映像信号の周期の概略について説明する。ここに、図２は、本発明の映像情報を保持する映像信号の周期を決定する上で基準となる映画フィルムにおけるフレーム周期と、例えばＮＴＳＣ方式のビデオにおけるフレーム周期との比較を図式的に示した模式図である。

図２に示されるように、映画フィルムにおけるフレーム周期は、「１／２４」秒である。他方、ＮＴＳＣ方式のビデオにおけるフレーム周期は、「１／３０」秒である。従って、映画フィルムの４フレームの時間、即ち、「４／２４」秒（１／６秒）と、ＮＴＳＣ方式のビデオの５フレームの時間、即ち、「５／３０」秒（１／６秒）が等しい。

具体的には、フレーム周期が「１／２４」秒である映画フィルムを、フレーム周期が「１／３０」秒であるＮＴＳＣ方式のビデオで表示するためには、２−３プルダウン処理が行われる。即ち、映画フィルムにおける、１番目のフレームを２フィールドとして表示し、２番目のフレームを３フィールドとして表示する。この２−３プルダウン処理の結果、フレーム周期が「１／２４」秒である映画フィルムは、フレーム周期が「１／３０」秒であるＮＴＳＣ方式のビデオのフィールドに変換される。具体的には、映画フィルムにおいて、１秒間に、２４個あるフレームの半分の１２個が、２つのＮＴＳＣ方式のビデオのフィールドに分割され、もう半分の１２個のフレームが、３つのＮＴＳＣ方式のビデオのフィールドに分割されるので、次の式（１）より、１秒間に６０個のフィールドに分割されることになる。

（２×１２）＋（３×１２）＝６０ …… 式（１）
詳細には、ＭＰＥＧ方式に準拠した符号化器は、ＮＴＳＣ方式のビデオのフィールドにおいては、５フィールドごとに「ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグ」が設定され、復号化器に対して、フィールドの繰り返しを指示する。この「ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグ」に基づいて、後述される２−３プルダウン処理を行うことができる。

（２）基本構成
次に、図３を参照して、本実施例に係る映像再生装置の基本構成について説明を進める。ここに、図３は、本発明の映像再生装置の第１実施例に係る映像記録再生装置の基本構成を概念的に示すブロック図である。

図３に示されるように、映像記録再生装置１００は、ＴＶ受信機１、映像入力２、音声入力３、Ａ／Ｄ（Analog to digital）コンバータ５、Ａ／Ｄコンバータ６、ＴＶ信号デコーダ７、映像エンコーダ９、音声エンコーダ１０、マルチプレクサ１１、入力切換１２、ドライブインターフェイス（Drive Interface）１４、ＢＤ（Blu-ray Disc）を有するＢＤドライブ１５、ドライブインターフェイス１６、ＤＶＤを有するＤＶＤドライブ１７、ドライブインターフェイス１８、Ｈａｒｄ Ｄｉｓｃを有するＨａｒｄ Ｄｉｓｃドライブ（即ち、ＨＤＤ）１９、出力切換２０、デマルチプレクサ２１、各種の暗号化システムに準拠した暗号化復号化器２２、ドライブインターフェイスからの映像情報を復号化し伸張する映像デコーダ２３ａ、インターネット（Internet）からダウンロードされる映像情報を復号化し伸張する映像デコーダ２３ｂ、画像処理装置２４、音声デコーダ２５、サムネイルＯＳＤ２７、ＴＶ信号エンコーダ２８、Ｄ／Ａコンバータ２９、ミキサー３０、Ｄ／Ａ（Digital to Analog）コンバータ３１、ＨＤＭＩトランスミッター３２、システムＣＰＵ３３、操作部３４、メモリー部３５、リモコン受光部３６、リモコン３７、デジタル受信機３８、ＩＥＥＥ１３９４デコーダ３９、ＴＳインプットプロセッサ４０、ＴＳアウトプットプロセッサ４１、ＩＥＥＥ１３９４エンコーダ４２、ＩＥＥＥ１３９４出力４３、及び、表示装置５０を備えて構成されている。

（３）概要動作
（３−１）ＢＤ、ＤＶＤ又はＨＤＤの再生を行う場合
出力切換２０がデマルチプレクサ２１に接続され、例えば映画コンテンツ等の主映像情報、及び、例えば字幕等の副映像情報が記録されたＢＤが搭載された、ＢＤドライブ１５から、ドライブインターフェイス１４を介して、主映像情報を保持する主映像信号及び副映像情報を保持する副映像信号がデマルチプレクサ２１に入力される。

具体的には、システムＣＰＵ３３の制御により、ＢＤドライブ１５、ＤＶＤドライブ１７、及びＨＤＤ１９のうちいずれか一つを選択することで、入力ソースの切り換えを行う。

ＢＤドライブ１５又はＤＶＤドライブ１７には、ＡＴＡＰＩなどの規格に準拠したドライブインターフェイス１４又は１６が接続されている。このＢＤドライブ１５又はＤＶＤドライブ１７は、予め記録されたストリームを読み出し、ドライブインターフェイス１４又は１６を介して出力切換２０に出力するとともに、入力されたストリームをＢＤ又はＤＶＤに記録するようになっている。

ＨＤＤ１９には、ＡＴＡＰＩなどの規格に準拠したドライブインターフェイス１８が接続されている。このＨＤＤ１９は、予めＨＤＤに記録されたストリームを読み出し、ドライブインターフェイス１８を介して出力切換２０に出力するとともに、入力されたストリームをＨＤＤ１９に記録するようになっている。

デマルチプレクサ２１では、例えば主映像信号や副映像信号等の映像信号と、音声情報とが分離され、音声情報は、例えばＡＡＣＳ（Advanced Access Content System）等に準拠した暗号化復号化器２２を介して、音声デコーダ２５へ出力される。と共に、デマルチプレクサ２１では、例えば主映像信号や副映像信号等の映像信号は、例えばＡＡＣＳに準拠した暗号化復号化器２２を介して、映像デコーダ２４へ出力される。具体的には、デマルチプレクサ２１は、出力切換２０によって選択されたプログラムストリームからＭＰＥＧ形式等を有する映像データ、及び、ドルビーデジタル形式やＤＴＳ形式等を有する音声データを分離し、分離した映像データおよび音声データを、それぞれ、映像デコーダ２４又は音声デコーダ２５に出力する。尚、音声デコーダ２５は、入力されたドルビーデジタル形式等の音声データを復号化して音声信号に変換し、復号されたデジタル音声信号を出力する。

映像デコーダ２３ａは、後述されるように、属性情報に基づいて、主映像信号に加えて又は代えて副映像信号に対して、フレーム構造を判別するための画像処理又は個別的又は例外的な表示のための画像処理が行われつつ、主映像信号に加えて又は代えて副映像信号が再生される、即ち、表示装置において表示可能になるように伸張され復号化される。具体的には、映像デコーダ２３ａは、入力された例えばＭＰＥＧ形式の映像信号を復号化して映像信号に変換し、復号化されたデジタル信号を出力する。

詳細には、後述されるように、映像デコーダ２３ａでは、主映像情報に、例えばピクチャインピクチャやサブピクチャを重ねて表示できるように画像処理回路が設計されていてよい。このため、主映像情報に重ねて合成した形で、例えば字幕や、カラオケの歌詞や、操作メニューを表示してよい。多言語の字幕等に対応できるように、一つのビデオストリームにつき最大３２ストリームのサブピクチャを付加できるようになってよい。

加えて、詳細には、映像デコーダ２３ａは、ビデオ規格に従ってビデオ信号のデータを復号し、ストリーム中にある再生時間の指定に従って出力する。映像信号は、例えばＭＰＥＧ２方式に準拠して圧縮された信号の場合、ＭＰＥＧ２方式に準拠した映像デコーダによって復号される。ＭＰＥＧ２方式に準拠した映像デコーダ２４から出力される信号は、通常のテレビ走査の方式である、一秒間に３０フレームのインターレース（interlace）の信号である。一部のＢＤプレーヤでは、このＭＰＥＧ２方式に準拠した映像デコーダ２４の出力信号をさらに演算し、一秒間に６０フレームのプログレッシブ（progressive）の信号に変換して出力する機能を有する。また、接続するＴＶ等の表示装置に対応してＢＤプレーヤの出力を、通常のＴＶ画面である４：３のアスペクト比、又は、ワイドテレビ画面である１６：９のアスペクト比に切り替えて出力する機能を有する。

或いは、この映像デコーダ２３ａにおいては、例えば２４（Ｈｚ：hertz）のフィルム画像が、例えば６０（Ｈｚ）のインターレース方式の画像に変換された後、このインターレース方式の画像における、繰り返し画像の周期、所謂、リピート映像周期が判別され、更に、プログレッシブ方式へ変換するための画像処理が行われてよい。

と同時に又は相前後して、インターネット（Internet）からダウンロードされる映像信号が、映像デコーダ２３ｂへ出力される。この映像デコーダ２３ｂにおいては、ダウンロードされた字幕等の映像信号が伸張され復号化される。

ミキサー３０は、映像デコーダ２３ａから出力される復号化された映像信号、映像デコーダ２３ｂから出力される復号化された映像信号、及び、サムネイルＯＳＤ２７から出力されるサムネイル画像を混合する。と共に、混合された映像信号を画像処理装置２４へ出力する。

画像処理装置２４では、ミキサー３０から出力された映像信号に対して、各種の画像処理を行う。具体的には、画像処理装置２４は、入力された主映像信号に対して必要な字幕、即ち、文字情報等の副映像信号を重畳し、ＴＶ信号エンコーダ２８或いはHDMIトランスミッター３２に出力する。詳細には、字幕の言語も、光ディスクの種類によってはメインの言語以外に多国の言語の字幕（例えば日本語と英語）が記録されてよい。映像再生装置では、この字幕の信号を復号して映像信号に重ねて表示する機能や、字幕の選択をする機能を有してよい。或いは、具体的には、画像処理装置２４に有される２−３プルダウン識別器では、例えばフィルム映像等の伸張され復号化された主映像信号及び副映像信号に対して、２−３プルダウン処理を行うか否かが識別されると共に、適宜、当該２−３プルダウン処理を主映像信号及び副映像信号に対して行い、当該２−３プルダウン処理が行われた主映像信号及び副映像信号を出力する。

ＨＤＭＩトランスミッター３２は、入力されたＴＶ用デジタル映像信号と、入力されたデジタル音声信号を、ＨＤＭＩ出力部を介して外部に出力する。

ＴＶ信号エンコーダ２８は、入力された主映像信号及び副映像信号を外部のディスプレイモニタなどの表示装置に表示させるため、ＴＶ用の映像フォーマットに変換し、Ｄ／Ａコンバータ２９に出力する。

Ｄ／Ａコンバータ２９は、入力されたＴＶ用デジタル映像信号をアナログ信号に変換し、映像出力３０を介して外部に出力する。

Ｄ／Ａコンバータ３１は、入力されたデジタル音声信号をアナログ信号に変換し、音声出力３２を介して外部に出力する。

システムＣＰＵ３３は、キー入力ポート、表示部出力ポート等の各種入出力ポートを含み、ＢＤの再生及び記録、ＤＶＤの再生及び記録、又は、ＨＤＤの再生及び記録の各処理のための全般的な機能を総括的に制御する。尚、システムＣＰＵ３３は、ＨＤＤの再生及び記録、又はＤＶＤの再生及び記録の際に、メモリー部３５に格納される制御プログラムを読み出して各処理を実行し、メモリー部３５に処理中のデータを一時的に保持するようになっている。

操作部３４は、各種確認ボタンおよび数字キー、上下左右カーソルキー等の多数のキーから構成され、キー操作に従って、又は、リモコン受光部３６から出力された所定の信号をシステムＣＰＵ３３に出力する。

リモコン受光部３６は、リモコン３７から出射された赤外線光などの光ビームを受光し、所定の信号に変換して操作部３４に出力する。

リモコン３７は、操作部３４と同様に、各種確認ボタンおよび数字キー、上下左右カーソルキー等の多数のキーから構成されている。

表示装置５０は、主映像信号に加えて又は代えて副映像信号を、視聴者に対して表示する表示画面を有する。

（３−２）地上波デジタル放送の記録を行う場合
次に、図３を参照して、地上波デジタル放送の記録の場合の概要動作について詳細な構成と共に説明する。

先ず、デジタル受信機３８は、地上波デジタル放送を受信する。

ＩＥＥＥ１３９４デコーダ３９は、デジタル受信機３８を介して入力されたＩＥＥＥ１３９４フォーマットのトランスポートストリームを通常のトランスポートストリームに変換し、ＴＳインプットプロセッサ４０に出力する。

ＴＳインプットプロセッサ４０は、入力された通常のトランスポートストリームをＨＤＤ記録用のトランスポートストリームデータに変換し、入力切換１２に出力する。

ＨＤＤドライブ１９は、入力切換１２を介して入力されたストリーム（ＴＳ、又は、ＰＳ）をＨＤに記録するようになっている。

（３−３）アナログ放送の受信、及び、ダビングを行う場合
ＴＶ受信機１はＶＨＦ又はＢＳなどのＲＦ信号を受信し、選択された受信帯域に同調して受信した信号波をＩＦ信号に変換するとともに、ＴＶ用映像信号及び音声信号に復調して入力切換４に出力する。

ＴＶ受信機１から出力された信号、及び、映像入力２、音声入力３からの信号は、選択され、映像信号は、Ａ／Ｄ（Analog to digital）コンバータ５に、音声信号は、Ａ／Ｄコンバータ６に出力される。

Ａ／Ｄコンバータ５は、ＴＶ用アナログ信号をデジタル信号に変換してＴＶ信号デコーダ７に出力する。

ＴＶ信号デコーダ７は、入力されたＴＶ用デジタル信号を復号化し、ＮＴＳＣ方式などの通常の映像信号に変換して入力切換８に出力する。

Ａ／Ｄコンバータ６は、アナログ音声信号をデジタル音声信号に変換して出力する。

映像エンコーダ９は、映像信号をＭＰＥＧフォーマットの映像データに変換し、マルチプレクサ１１に出力する。

音声エンコーダ１０は、音声信号をドルビーデジタルフォーマットの音声データに変換し、マルチプレクサ１１に出力する。

マルチプレクサ１１は、入力された映像データおよび音声データに基づいてプログラムストリームを生成し、入力切換１２に出力する。

（４）本実施例の作用及び効果の検討 （その１）
次に図４を参照して、本実施例の作用及び効果の検討を行う。ここに、図４は、本実施例に係る復号化器から画像処理部へ情報が送信される様子を概念的に示した模式図（図４（ａ））、及び、比較例に係る復号化器から画像処理部へ情報が送信される様子を概念的に示した模式図（図４（ｂ））である。

図４（ａ）に示されるように、本実施例では、例えばＭＰＥＧデコーダ等の復号化器２３０から、例えば副映像情報が表示される位置を示す位置情報等の属性情報ｄ３が、画像処理部２４へ送信される。そして、画像処理部２４が、この送信された属性情報ｄ３を受信することで、画像処理部２４は属性情報ｄ３を取得する。

詳細には、一般的に、例えば字幕や、例えばピクチャインピクチャ等の副映像情報や、操作メニュなどの複数種類のオブジェクトを、主映像へ重ね合わせる合成処理（所謂、オーバーレイ処理、又はコンポジション処理）は、例えばＢＤプレーヤなど映像情報記録再生装置の伝送側（ソース側）の機器内の映像デコーダ（例えば復号化用のＬＳＩ（large-scale integration：大規模集積回路）で行われる。この場合、画面全体において、複数種類のオブジェクトが挿入され、主映像に重ね合わされて表示される位置を示す位置情報を、例えばＭＰＥＧデコーダや映像デコーダ等の復号化器が取得（識別）している。

次に、画像処理部２４によって、この取得された属性情報ｄ３に基づいて、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２に対して、フレーム構造を判別するための画像処理が行われつつ、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２が再生される。尚、本発明に係る「再生手段」の一具体例が、画像処理部２４によって、構成されている。具体的には、この画像処理部２４は、フレーム構造の判別用の画像処理部２４０ａ及び表示用の画像処理部２４０ｂによって構成されてよい。

従って、システムＣＰＵ３３の制御下で、フレーム構造の判別用の画像処理部２４０ａによって、属性情報ｄ３に基づいて、副映像情報ｄ２と主映像情報ｄ１との相関関係が推定されつつ、副映像情報ｄ２が主映像情報ｄ１に合成された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われる。従って、副映像情報ｄ２が主映像情報ｄ１に付加される位置などの、副映像情報ｄ２と主映像情報ｄ１との相関関係が明確であるので、画像処理部２４０ａによって、複数の副映像情報ｄ２が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的なフレーム構造を判別するための画像処理が適切且つ迅速に行われる。又は、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、再生手段によって、副映像情報が主映像情報に合成された画像において、副映像情報の部分を除いて、信号特性を簡便且つ適切に検出又は抽出することが可能である。

この結果、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。

或いは、本実施例では、システムＣＰＵ３３の制御下で、表示用の画像処理部２４０ｂによって、この取得された属性情報ｄ３に基づいて、副映像情報ｄ２を視覚的に適切に表示するための画像処理が行われつつ、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２が再生される。

従って、システムＣＰＵ３３の制御下で、表示用の画像処理部２４０ｂによって、属性情報ｄ３に基づいて、複数の副映像情報ｄ２が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的な表示のための画像処理が適切に行われる。加えて、表示用の画像処理部２４０ｂによって、属性情報ｄ３に基づいて、副映像情報ｄ２と主映像情報ｄ１との相関関係が推定されつつ、副映像情報ｄ２が主映像情報ｄ１に適切に合成されるための画像処理が適切に行われる。

この結果、複数の副映像情報ｄ２の個別的又は例外的な表示のための画像処理、及び、副映像情報ｄ２の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２によって構成される画像を表示することが可能である。

仮に、図４（ｂ）の比較例に示されるように、例えば字幕が表示される位置を示す位置情報等の属性情報ｄ３に基づくことなく、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２が再生される場合、次のような技術的な問題点が生じてしまう。

即ち、副映像情報ｄ２と主映像情報ｄ１との相関関係が推定されることなく、副映像情報ｄ２が主映像情報ｄ１に付加された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われてしまう。よって、副映像情報ｄ２が主映像情報ｄ１に合成される位置などの副映像情報ｄ２と主映像情報ｄ１との相関関係が不明確であることに起因して、画面全体、又は、予め想定した画面の一部に対して、画一的又は冗長的に画像処理が行われてしまう。よって、主映像情報ｄ１及び副映像情報ｄ２によって構成される画像の信号特性のレベルや度合いを誤って検出又は抽出してしまい、ひいては、主映像情報ｄ１又は副映像情報ｄ２のフレーム構造を誤判別する可能性が生じてしまう。

加えて、次のような技術的な問題点も生じてしまう。即ち、副映像情報ｄ２と主映像情報ｄ１との相関関係が推定されることなく、副映像情報ｄ２を主映像情報ｄ１に合成させて表示するための画像処理が行われつつ、副映像情報ｄ２及び主映像情報ｄ１が再生されてしまう。言い換えると、再生手段は、画面全体、又は、予め想定した画面の一部に対して、画一的又は一律的な画像の属性検出による処理を行うため、複数の副映像情報ｄ２が夫々表示される複数の画像領域の単位で、夫々の性質に対応した画像処理を行うことが技術的に困難となってしまい、ひいては、副映像情報ｄ２及び主映像情報ｄ１が表示される際に画質劣化が発生する可能性が生じてしまう。

より具体的には、例えば字幕等の副映像情報が想定される予め想定した位置に存在しないばかりでなく、この予め想定した位置に例えばピクチャインピクチャ等の他の副映像情報が存在する場合、画像の信号特性のレベルや度合いを検出する検出精度が顕著に低下してしまう。

これに対して、本実施例では、画像処理部２４によって、この取得された属性情報ｄ３に基づいて、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２に対して、フレーム構造を判別するための画像処理が行われつつ、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２が再生される。

この結果、上述したように、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。

或いは、本実施例では、表示用の画像処理部２４０ｂによって、この取得された属性情報ｄ３に基づいて、副映像情報ｄ２を視覚的に適切に表示するための画像処理が行われつつ、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２が再生される。

この結果、上述したように、複数の副映像情報ｄ２の個別的又は例外的な表示のための画像処理、及び、副映像情報ｄ２の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報ｄ１に加えて又は代えて副映像情報ｄ２によって構成される画像を表示することが可能である。

尚、属性情報ｄ３は、後述されるように、映像記録再生装置において、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報としてよい。

（５）本実施例の作用及び効果の検討 （その２）
次に図５及び図６を参照して、本実施例の作用及び効果の検討を行う。ここに、図５は、本実施例に係る主映像情報と、副映像情報とが合成される様子を概念的に示した模式図である。図６は、本実施例に係る主映像情報と、副映像情報とが合成された画像を図式的に示した模式図（図６（ａ））及び、比較例に係る主映像情報と、副映像情報とが合成された画像を図式的に示した模式図（図６（ｂ））である。

図５中及び図６（ａ）の合成画像に示されるように、例えば「秋の収穫の様子を示した画像」などの主映像情報と、副映像情報とが属性情報に基づいて合成される。具体的には、副映像情報は、例えば「エッフェル塔を示した画像」などのピクチャインピクチャ、例えば「本編再生」と「特典再生」との操作を行う操作メニュー、例えば「フランスの農場」の文字の字幕であるようにしてよい。特に、上述の属性情報は、ピクチャインピクチャが主映像情報に合成される画像上の「領域１」の位置を示す位置情報、字幕が主映像情報に合成される画像上の「領域２」の位置を示す位置情報、及び、操作メニューが主映像情報に合成される画像上の「領域３」の位置を示す位置情報を含むようにしてよい。

仮に、図６（ｂ）の比較例に示されるように、例えば字幕が表示される位置が把握されない場合、主映像情報に加えて又は代えて副映像情報が再生される場合、次のような技術的な問題点が生じてしまう。

即ち、副映像情報と主映像情報との位置的な相関関係が推定されることなく、副映像情報が主映像情報に付加された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われてしまう。よって、副映像情報が主映像情報に合成される位置などの副映像情報と主映像情報との位置的な相関関係が不明確であることに起因して、画面全体、又は、予め想定した画面の一部に対して、画一的又は冗長的に画像処理が行われてしまう。よって、主映像情報及び副映像情報によって構成される画像の信号特性のレベルや度合いを誤って検出又は抽出してしまい、ひいては、主映像情報又は副映像情報のフレーム構造を誤判別する可能性が生じてしまう。

加えて、次のような技術的な問題点も生じてしまう。即ち、副映像情報と主映像情報との位置的な相関関係が推定されることなく、副映像情報を主映像情報に合成させて表示するための画像処理が行われつつ、副映像情報及び主映像情報が再生されてしまう。言い換えると、再生手段は、画面全体、又は、予め想定した画面の一部に対して、画一的又は一律的な画像の属性検出による処理を行うため、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した画像処理を行うことが技術的に困難となってしまい、ひいては、副映像情報及び主映像情報が表示される際に画質劣化が発生する可能性が生じてしまう。

具体的には、例えば「秋の収穫の様子を示した画像」などの主映像情報と、例えば「エッフェル塔を示した画像」などのピクチャインピクチャとが合成される「部分１」において、画一的又は一律的な画像の属性検出による処理が行われ、画質劣化が発生してしまう。また、主映像情報と、例えば「フランスの農場」の文字の字幕とが合成される「部分２」において、画一的又は一律的な画像の属性検出による処理が行われ、画質劣化が発生してしまう。また、主映像情報上において予め設定された字幕の領域と、例えば「本編再生」と「特典再生」との操作を行う操作メニューとが合成される「部分３」において、画一的又は一律的な画像の属性検出による処理が行われ、画質劣化が発生してしまう。詳細には、主映像情報を、「ムービープレーン」と称してよい。また、字幕を「グラフィックプレーン」と称してよい。また、操作メニューを「インタラクティブプレーン」と称してよい。

詳細には、ＢＤ（Blu-ray Disc）のアプリケーションフォーマットでは、３つの画像プレーンを採用することによって、多彩な画像の表示を実現している。画像プレーンは、上述したムービープレーン、グラフィックプレーン、インタラクティブプレーンの３つで構成されており、出力される映像はこの３枚の画像プレーンを重ね合わせられている。グラフィックプレーンは、主に字幕やアイコンなどのグラフィックを動画に重ねるのに用いられる。インタラクティブプレーンは、画面上で次の動作を決定するためのボタンを配置するために用いられる。グラフィックプレーンとインタラクティブプレーンに表示する字幕、グラフィック、ボタンなどは、プレイリスト内で動画のどの位置で表示するかを設定することができる。また、動画については同時にＨＤ（High Definition）サイズ（1920×1080等）の動画を同時に２つ再生する機能を有する。上述のピクチャインピクチャ（PinP）は、１つの動画を再生中に別の動画を画面内に出力することも可能である。

また、ＢＤでは、ネットワークの機能を有することにより次のような機能やアプリケーションを実現可能である。（i）インターネットへの接続が可能である。ＢＤ内のコンテンツと連動した次のようなアプリケーションを実現することができる。（i-1）ＢＤ内のコンテンツが映画などの場合、作品の続編作品内に出演していた俳優の関連作品などの予告編などをダウンロードでき、プレーヤで再生することができる。同様にして、ディスク購入者向けの特典コンテンツなども再生することができる。（i-2）ディスク内に収められている主要な言語の字幕以外の言語の字幕をインターネット経由でダウンロードすることができる。ＢＤを制作する側にとっても、地域に合わせて言語字幕を変えて制作する必要がなくなるという利点を享受できる。（i-3）ＢＤ内のコンテンツを再生中に、撮影場所や出演者が着ている衣服、挿入曲の情報などを視聴者が知りたくなった場合に、専用サイトにアクセスすることができる。専用サイトでは、コンテンツに関する情報を得ることができる。（ii）ＢＤドライブと接続されたハードディスクなどの記憶媒体がある場合、ＢＤディスクに入っているコンテンツに関連したデータなどを記憶媒体にダウンロードすることができる。

これに対して、本実施例によれば、図５中及び図６（ａ）に示されるように、フレーム構造の判別用の画像処理部２４０ａによって、属性情報に基づいて、副映像情報と主映像情報との位置的な相関関係が推定されつつ、副映像情報が主映像情報に合成された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われる。従って、副映像情報が主映像情報に合成される位置などの、副映像情報と主映像情報との位置的な相関関係が明確であるので、画像処理部２４０ａによって、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的なフレーム構造を判別するための画像処理が適切且つ迅速に行われる。又は、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、再生手段によって、副映像情報が主映像情報に合成された画像において、副映像情報の部分を除いて、信号特性を簡便且つ適切に検出又は抽出することが可能である。

この結果、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。

或いは、本実施例によれば、表示用の画像処理部２４０ｂによって、属性情報に基づいて、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的な表示のための画像処理が適切に行われる。加えて、表示用の画像処理部２４０ｂによって、属性情報に基づいて、副映像情報と主映像情報との位置的な相関関係が推定されつつ、副映像情報が主映像情報に適切に合成されるための画像処理が適切に行われる。

この結果、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。

（６）第２実施例
次に、図７を参照して、本発明の映像記録再生装置の第２実施例について説明する。ここに、図７は、本発明の映像記録再生装置の第２実施例に係る、属性情報の具体例を示したテーブルである。

図７に示されるように、本実施例では、例えばＭＰＥＧデコーダ等の復号化器から、例えば副映像情報が表示される位置を示す位置情報に加えて又は代えて、次のような属性情報が、画像処理部が取得されてよい。

具体的には、属性情報は、映像記録再生装置のユーザによる指示に従って、映像オブジェクトとしての字幕の表示の可否に関するフラグ情報に加えて、字幕の表示位置（ｘ１、ｙ１）を示す位置情報を含むようにしてよい。又は、属性情報は、上述のユーザによる指示に従って、映像オブジェクトとしてのピクチャインピクチャの表示の可否に関するフラグ情報に加えて、ピクチャインピクチャの表示位置（ｘ２、ｙ２）を示す位置情報を含むようにしてよい。又は、属性情報は、上述のユーザによる指示に従って、映像オブジェクトとしてのポップアップメニュの表示の可否に関するフラグ情報に加えて、ポップアップメニュの表示位置（ｘ３、ｙ３）を示す位置情報を含むようにしてよい。又は、属性情報は、上述のユーザによる指示に従って、映像オブジェクトとしての特典映像の表示の可否に関するフラグ情報に加えて、特典映像の表示位置（ｘ４、ｙ４）を示す位置情報を含むようにしてよい。又は、属性情報は、上述のユーザによる指示に従って、映像オブジェクトとしての広告映像の表示の可否に関するフラグ情報に加えて、広告映像の表示位置（ｘ５、ｙ５）を示す位置情報を含むようにしてよい。又は、属性情報は、再生される映像コンテンツの種類に従って、２−３プルダウンの実行の可否に関するフラグ情報を含むようにしてよい。又は、属性情報は、例えばＭＰＥＧ−４ＡＶＣなどのＭＰＥＧ規格に従って、デブロックの実行の可否に関するフラグ情報を含むようにしてよい。又は、属性情報は、例えばＡＡＣＳ（Advanced Access Content System）などの暗号化規格に従って、再生の許可又は不許可に関するフラグ情報を含むようにしてよい。

以上のように、映像記録再生装置において、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を属性情報としてよい。従って、例えばＭＰＥＧデコーダ等の復号化器と、画像処理部とにおいて、各種の属性情報を共有することが可能である。この結果、画像処理部自らが、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、画像処理部において、各種の画像処理をより迅速且つ的確に行うことが可能である。

また、上述の実施例では、映像情報再生装置、及び映像情報再生システムの一例として、ＭＰＥＧ２、又は、ＭＰＥＧ４／ＡＶＣ等に準拠した映像信号を再生する映像情報再生装置、及び映像情報再生システムについて説明したが、本発明は、他の種類の規格に準拠した映像信号を再生する映像情報再生装置、及び映像情報再生システムにも適用可能である。

本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴なう映像情報再生装置及び方法、映像情報再生システム、並びに、映像情報再生システムの制御方法もまた本発明の技術的範囲に含まれるものである。

本実施例に係る映像信号における符号化及び復号化の概要を図式的に示した模式図である。 本発明の映像信号の周期を決定する上で基準となる映画フィルムにおけるフレーム周期と、例えばＮＴＳＣ方式のビデオにおけるフレーム周期との比較を図式的に示した模式図である。 本発明の映像再生装置の第１実施例に係る映像記録再生装置の基本構成を概念的に示すブロック図である。 本実施例に係る復号化器から画像処理部へ情報が送信される様子を概念的に示した模式図（図４（ａ））、及び、比較例に係る復号化器から画像処理部へ情報が送信される様子を概念的に示した模式図（図４（ｂ））である。 本実施例に係る主映像情報と、副映像情報とが合成される様子を概念的に示した模式図である。 本実施例に係る主映像情報と、副映像情報とが合成された画像を図式的に示した模式図（図６（ａ））及び、比較例に係る主映像情報と、副映像情報とが合成された画像を図式的に示した模式図（図６（ｂ））である。 本発明の映像記録再生装置の第２実施例に係る、属性情報の具体例を示したテーブルである。

符号の説明

２３ａ 映像デコーダ
２３ｂ 映像デコーダ
２４ 画像処理部
５０ 表示装置
１００ 映像情報記録再生装置
２３０ 復号化器

Claims (17)

1. 主映像情報及び前記主映像情報と種類の異なる副映像情報を含む映像信号を復号化する復号化手段と、
   前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報を取得する取得手段と、
   前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生手段と、
   前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生手段を制御する制御手段と、
   を備えることを特徴とする映像情報再生装置。
2. 前記属性情報は、前記主映像情報に加えて又は代えて前記副映像情報に所定周期を単位として、同期していることを特徴とする請求項１に記載の映像情報再生装置。
3. 前記所定周期は、前記映像信号のフレーム又はフィールドの周期であることを特徴とする請求項２に記載の映像情報再生装置。
4. 前記再生手段は、前記主映像情報及び前記副映像情報のフレーム構造を判別する画像処理を行いつつ、前記主映像情報及び前記副映像情報を再生することを特徴とする請求項１から３のうちのいずれか一項に記載の映像情報再生装置。
5. 前記再生手段は、前記主映像情報と、前記副映像情報とを合成表示する画像処理を行いつつ、前記主映像情報及び前記副映像情報を再生することを特徴とする請求項１から４のうちのいずれか一項に記載の映像情報再生装置。
6. 前記副映像情報は、（i）前記主映像情報に重ね合わせて再生されるピクチャインピクチャ情報、（ii）前記主映像情報に関する字幕情報、又は（iii）ユーザによる操作を行わせる操作メニュー情報であることを特徴とする請求項１から５のうちのいずれか一項に記載の映像情報再生装置。
7. 前記取得手段は、前記属性情報として、ユーザの操作に対応した前記副映像情報の再生の有無に関する一のフラグ情報を取得することを特徴とする請求項１から６のうちのいずれか一項に記載の映像情報再生装置。
8. 前記取得手段は、前記属性情報として、副映像情報の表示画面中の表示位置に関する位置情報を取得することを特徴とする請求項１から７のうちのいずれか一項に記載の映像情報再生装置。
9. 前記取得手段は、前記属性情報として、２−３プルダウンの繰り返し周期に関する周期情報に加えて又は代えて、前記２−３プルダウンの有無に関する他のフラグ情報を取得することを特徴とする請求項１から８のうちのいずれか一項に記載の映像情報再生装置。
10. 前記取得手段は、前記属性情報として、ユーザが、前記主映像情報を構成する複数のフレームのうち同一のフレームを出力する前記主映像情報の再生の一時停止を行うことに加えて又は代えて前記副映像情報を構成する複数のフレームのうち同一のフレームを出力する前記副映像情報の再生の一時停止を行う指示を行っているか否かに関する一時停止フラグ情報を取得することを特徴とする請求項１から９のうちのいずれか一項に記載の映像情報再生装置。
11. 前記再生された主映像情報及び副映像情報を表示する表示手段と、
    前記取得された属性情報に対応して、前記主映像情報に前記副映像情報を重ね合わせて表示するように前記表示手段を制御する表示制御手段と、
    を更に備えることを特徴とする請求項１から１０のうちのいずれか一項に記載の映像情報再生装置。
12. （i）前記制御手段と前記表示制御手段とは、前記属性情報を直接的に入出力する、又は、（ii）前記制御手段と前記表示制御手段とは、前記属性情報を含む制御信号を介して前記属性情報を間接的に入出力することを特徴とする請求項１１に記載の映像情報再生装置。
13. 前記制御手段と前記表示制御手段とは、画素単位に規定された属性情報を含む制御信号を介して前記属性情報を入出力することを特徴とする請求項１１又は１２に記載の映像情報再生装置。
14. 前記制御手段と前記表示制御手段とは、所定のデータ量の前記属性情報を含む制御信号を介して前記属性情報を入出力することを特徴とする請求項１１から１３のうちいずれか一項に記載の映像情報再生装置。
15. 主映像情報及び前記主映像情報と種類の異なる副映像情報を含む映像信号を復号化する復号化手段と、
    前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報を取得する取得手段と、
    前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生手段と、
    前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生手段を制御する制御手段と、
    前記再生された主映像情報及び副映像情報を表示する表示手段と、
    前記取得された属性情報に対応して、前記主映像情報に前記副映像情報を重ね合わせて表示するように前記表示手段を制御する表示制御手段と、
    を備えることを特徴とする映像情報再生システム。
16. 主映像情報及び前記主映像情報と種類の異なる副映像情報を含む映像信号を復号化する復号化工程と、
    前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報を取得する取得工程と、
    前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生工程と、
    前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生工程を制御する制御工程と、
    を備えることを特徴とする映像情報再生方法。
17. 主映像情報及び前記主映像情報と種類の異なる副映像情報を含む映像信号を復号化する復号化工程と、
    前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報を取得する取得工程と、
    前記復号化された映像信号に含まれる主映像情報及び副映像情報を再生する再生工程と、
    前記取得された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を再生するように前記再生工程を制御する制御工程と、
    前記再生された主映像情報及び副映像情報を表示する表示工程と、
    前記取得された属性情報に対応して、前記主映像情報に前記副映像情報を重ね合わせて表示するように前記表示工程を制御する表示制御工程と、
    を備えることを特徴とする映像情報再生システムの制御方法。

Images