JP3927713B2 - 放送受信装置およびその方法 - Google Patents
放送受信装置およびその方法 Download PDFInfo
- Publication number
- JP3927713B2 JP3927713B2 JP36613198A JP36613198A JP3927713B2 JP 3927713 B2 JP3927713 B2 JP 3927713B2 JP 36613198 A JP36613198 A JP 36613198A JP 36613198 A JP36613198 A JP 36613198A JP 3927713 B2 JP3927713 B2 JP 3927713B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- broadcast
- information
- layout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は放送受信装置およびその方法に関し、例えば、ディジタルテレビ放送を受信し、画像およびサウンドの再生が可能な放送受信装置およびその方法に関するものである。
【０００２】
【従来の技術】
近年、衛星放送やケーブル放送を用いたディジタルテレビ放送が開始された。ディジタル放送の実現により、画像や音声を含むサウンドの品質向上、圧縮技術を利用した番組の種類や量の増大、インタラクティブサービスなど新しいサービスの提供、受信形態の進化など多くの効果が期待される。
【０００３】
図1は衛星放送を用いたディジタル放送受信機10の構成例を示すブロック図である。
【０００４】
まず、放送衛星によって送信されたテレビ(TV)情報がアンテナ1で受信される。受信されたTV情報はチューナ2で選局され復調される。その後、図示しないが、誤り訂正処理、必要であれば課金処理やデスクランブル処理などが行われる。次に、TV情報として多重化されている各種データを多重信号分離回路3で分離する。TV情報は画像情報、サウンド情報およびその他の付加データに分離される。分離された各データは復号回路4で復号される。こうして復号された各データのうち画像情報とサウンド情報はD/A変換回路5でアナログ化され、テレビジョン受像機(TV)6で再生される。一方、付加データは、番組サブデータとしての役割をもち各種機能に関与する。
【０００５】
さらに、受信されたTV情報の記録再生にはVTR7が利用される。受信機10とVTR7との間はIEEE1394などのディジタルインタフェイスで接続されている。このVTR7は、ディジタル記録方式の記録形態を備え、例えばD-VHS方式などによりTV情報をビットストリーム記録する。なお、D-VHS方式のビットストリーム記録に限らず、その他の民生用ディジタル記録方式であるDVフォーマットや、各種ディスク媒体を用いたディジタル記録装置などでもディジタルテレビ放送のTV情報を記録することが可能である。ただし、フォーマット変換が必要になる場合がある。
【０００６】
【発明が解決しようとする課題】
地上波放送およびディジタルテレビ放送におけるテレビ番組を家庭のテレビジョンで再生する場合、放送局から送られてくる映像をそのまま表示するのが普通である。言い換えれば、効果的に表示形態（レイアウト）を変化させる行為、例えば、必要に応じて映像中の物体を表示させたりさせなかったり、物体のサイズを変えたりすることは行われていない。このような表示形態を効果的に変化させる機能は、ディジタルテレビ放送の発展に伴う多チャンネル化および多プログラム化の過程で、効果的な表示方法の新機能を追加していくという観点から是非必要なものの一つと考えられる。
【０００７】
レイアウトを設定したい状況として次の例があげられる。野球の中継放送は、同じカテゴリの番組ではあっても、放送局によって表示レイアウトが異なる。このため、例えば得点表示のオブジェクトなどを、放送局に関係なく共通のレイアウトで見るためには、ユーザにより好みに合ったレイアウトが設定できることが望ましい。しかし、現状ではレイアウト設定は困難である。
【０００８】
本発明は、ディジタルテレビ放送における画像（映像）の再生形態に関する新たな機能を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１０】
本発明にかかる放送受信装置は、テレビ放送のディジタルデータ列を受信する受信手段と、前記受信されたディジタルデータ列から画像、サウンドおよびシステムデータを復号する復号手段と、前記復号されたシステムデータに基づき、前記復号された画像および/またはサウンドの再生形態を制御する制御手段とを有し、前記制御手段は、前記システムデータに含まれる放送内容を示すカテゴリ情報、および、前記復号された画像を構成する画像オブジェクトに対応する再生形態の設定データを記憶手段から読み出して受信中の放送番組に適用することを特徴とする。
【００１２】
本発明にかかる放送受信方法は、テレビ放送のディジタルデータ列を受信し、前記受信したディジタルデータ列から画像、サウンドおよびシステムデータを復号し、前記復号したシステムデータに基づき、前記復号した画像および/またはサウンドの再生形態を制御する各ステップを有し、前記再生形態の制御は、前記システムデータに含まれる放送内容を示すカテゴリ情報、および、前記復号した画像を構成する画像オブジェクトに対応する再生形態の設定データを記憶手段から読み出して受信中の放送番組に適用する。
【００１４】
【発明の実施の形態】
［概要］
本実施形態は、MPEG4符号化の特徴であるオブジェクトの概念を用いることによって、オブジェクト単位での表示位置の変更を可能にし、ユーザ固有、かつ、放送局に関係なく番組内容に応じて統一されたレイアウトの画像（映像）表示を実現する。オブジェクトとは、背景画像、話者およびその音声などであり、MPEG4符号化はそれぞれのオブジェクトを符号化/復号して、各オブジェクトを組み合わせることで一つのシーンを表現する。
【００１５】
本実施形態の具体的なレイアウト設定機能は、MPEG4を用いた放送システムにおいて、リアルタイム画像情報の表示に関して、表示する画像をオブジェクト単位で操作することが可能であり、番組のカテゴリ情報に応じて統一されたレイアウトの画像（映像）表示を設定する機能を有する。このカテゴリに対応されたレイアウトには、所定位置およびユーザが任意の設定した位置が含まれる。
【００１６】
また、本実施形態は、オブジェクトの内容を示すオブジェクト情報を参照して、番組のカテゴリに対応されたレイアウトを行う場合に、オブジェクトの分類および配置制御を行う。
【００１７】
このように、本実施形態によれば、同一カテゴリの番組であっても、放送局により異なるレイアウトで表示される欠点を解消することができ、放送局に関係なく、カテゴリ毎に統一されたレイアウトで共通するオブジェクトを表示することができる。また、デフォルト設定のレイアウトを有するほか、ユーザが好むレイアウトを任意に設定することもできる。従って、ディジタルテレビ放送を視聴するユーザの視覚的効果およびユーザンタフェイスの質を向上することができ、テレビ放送の映像表示に新しい機能を追加することができる。
【００１８】
以下では、本発明にかかる一実施形態の受信装置として、MPEG4符号化方式を用いるディジタルテレビ放送を受信する受信装置の構成例を説明するが、まずMPEG4に関する技術を分野ごとに分けて詳細に説明する。
【００１９】
【ＭＰＥＧ４の概要】
［規格の全体構成］
MPEG4規格は大きな四つの項目からなる。このうち三つの項目はMPEG2と類似していて、ビジュアルパート、オーディオパートおよびシステムパートである。
【００２０】
●ビジュアルパート
自然画、合成画、動画および静止画などを扱うオブジェクト符号化方式が規格として定められている。また、伝送路誤りの訂正や修復に適した符号化方式、同期再生機能および階層符号化が含まれている。表現上『ビデオ』は自然画像を意味し、『ビジュアル』は合成画像まで含む。
【００２１】
●オーディオパート
自然音、合成音および効果音などを対象にしたオブジェクト符号化方式が規格として定められている。ビデオパートやオーディオパートでは複数の符号化方式を規定し、それぞれのオブジェクトの特徴に適した圧縮方式を適宜選択することで、符号化効率を高める工夫がされている。
【００２２】
●システムパート
符号化された映像オブジェクトやサウンドオブジェクトの多重化処理と、その逆の分離処理を規定する。さらにバッファメモリや時間軸制御と再調整機能もこのパートに含まれる。上記のビジュアルパートおよびオーディオパートで符号化された映像オブジェクトやサウンドオブジェクトは、シーンのなかのオブジェクトの位置や出現時刻および消滅時刻などを記したシーン構成情報とともにシステムパートの多重化ストリームに統合される。復号処理としては、受信したビットストリームから、それぞれのオブジェクトを分離/復号し、シーン構成情報に基づきシーンを再構成する。
【００２３】
［オブジェクトの符号化］
MPEG2ではフレームあるいはフィールドを単位として符号化するが、コンテンツの再利用や編集を実現するために、MPEG4では映像データやオーディオデータをオブジェクト（物体）として扱う。オブジェクトには以下のような種類がある。
サウンド
自然画像（背景映像: 二次元固定映像）
自然画像（主被写体映像: 背景なし）
合成画像
文字画像
【００２４】
これらを同時に入力し符号化処理する場合のシステム構成例を図2に示す。サウンドオブジェクト符号化器5001、自然画像オブジェクト符号化器5002、合成画像オブジェクト符号化器5003および文字オブジェクト符号化器5004により、オブジェクトはそれぞれ符号化処理される。この符号化と略同時に、シーン内における各オブジェクトの関連を示すシーン構成情報を、シーン記述情報符号化器5005により符号化する。符号化されたオブジェクト情報およびシーン記述情報は、データ多重化器5006によりMPEG4ビットストリームへエンコード処理される。
【００２５】
このようにエンコード側では、複数のビジュアルオブジェクトやオーディオオブジェクトの組み合わせを定義して、一つのシーン（画面）を表現する。ビジュアルオブジェクトに関しては、自然画像とコンピュータグラフィクスなどの合成画像とを組み合わせたシーンも構成できる。また、上記のような構成をとることで、例えば、テキスト音声合成の機能を使って、被写体映像とその音声との同期再生が可能になる。なお、前記のビットストリーム状態で送受信または記録再生が行われる。
【００２６】
デコード処理は、先のエンコード処理の逆処理である。データ分離器5007により、MPEG4ビットストリームを各オブジェクトに分離し分配する。分離されたサウンド、自然画像、合成画像および文字などのオブジェクトは、対応する復号器5008から5011によりオブジェクトデータへ復号される。また、シーン記述情報も略同時に復号器5012により復号される。これらの復号情報を用いて、シーン合成器5013は、元のシーンを合成する。
【００２７】
デコード側では、シーンに含まれるビジュアルオブジェクトの位置や、オーディオオブジェクトの順番など、部分的な変更が可能である。オブジェクト位置はドラッグにより変更でき、言語の変更などはユーザがオーディオオブジェクトを変更することで可能になる。
【００２８】
複数のオブジェクトを自由に組み合わせてシーンを合成するために、次の四つの項目が規定されている。
【００２９】
●オブジェクト符号化
ビジュアルオブジェクトおよびオーディオオブジェクト、並びに、それらを組み合わせたAV（オーディオビジュアル）オブジェクトを符号化対象とする。
【００３０】
●シーン合成
ビジュアルオブジェクト、オーディオオブジェクトおよびAVオブジェクトを所望するシーンに構成するためのシーン構成情報と合成方式とを規定するために、Virtual Reality Modeling Language(VRML)をモディファイした言語を用いる。
【００３１】
●多重化と同期
各オブジェクトを多重同期したストリーム（エレメンタリストリーム）の形式などを定める。このストリームをネットワークに流したり、記録装置に格納するときのサービス品質QOS(Quality of Service)も設定可能である。QOSパラメータには、最大伝送速度、誤り率および伝送方式などの伝送路条件や復号能力などが設けられている。
【００３２】
●ユーザの操作（インタラクション）
ビジュアルオブジェクトやオーディオオブジェクトを、ユーザ端末側で合成する方式を定義する。MPEG4のユーザ端末は、ネットワークや記録装置から送られてくるデータを、エレメンタリストリームに分離して、各オブジェクトごとに復号する。複数の符号化されたデータから、同時に送られてきたシーン構成情報を基にしてシーンを再構成する。
【００３３】
ユーザ操作（編集）を考慮に入れたシステムの構成例を図3に示す。また、ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図を図4に、デコーダ側のブロック図を図5に示す。
【００３４】
［VOP(Video Object Plane)］
MPEG4における映像の符号化は、対象の映像オブジェクトを形状(Shape)とその絵柄(Texture)に分けてそれぞれ符号化する。この映像データの単位をVOPという。図6はVOPの符号化および復号の全体構成を示すブロック図である。
【００３５】
例えば、画像が人物と背景の二つのオブジェクトから構成されている場合、各フレームを二つのVOPに分割して符号化する。各VOPを構成する情報は、図7Aに示されるように、オブジェクトの形状情報、動き情報およびテキスチャ情報である。一方、復号器は、ビットストリームをVOP毎に分離し個別に復号した後、これらを合成して画像を形成する。
【００３６】
このように、VOP構造の導入により、処理対象の画像が複数の映像オブジェクトから構成されている場合、これを複数のVOPに分割し、個別に符号化/復号することができる。なお、VOPの数が1で、オブジェクト形状が矩形の場合は、図7Bに示すように、従来からのフレーム単位の符号化になる。
【００３７】
VOPには三種類の予測方式、面内符号化(I-VOP)、前方向予測(P-VOP)および双方向予測(B-VOP)がある。予測単位は16×16画素のマクロブロック(MB)である。
【００３８】
双方向予測B-VOPは、MPEG1およびMPEG2のBピクチャと同じく、過去のVOPおよび未来のVOPの両方向からVOPを予測する方式である。そして、マクロブロック単位に直接符号化/前方符号化/後方符号化/双方符号化の四種類のモードが選択可能である。そしてこのモードは、MBまたはブロック単位に切り替えることが可能である。P-VOPの動きベクトルのスケーリングで双方向予測する。
【００３９】
［形状(Shape)符号化］
オブジェクト（物体）単位で画像を扱うためには、物体の形状が符号化および復号の際に既知でなければならない。また、後方にある物体が透けて見えるガラスのような物体を表現するためには、物体の透明度を表す情報が必要になる。この物体の形状および物体の透明度の情報を合わせて形状情報と呼ぶ。そして、形状情報の符号化を形状符号化と呼ぶ。
【００４０】
［サイズ変換処理］
二値形状符号化は、画素毎に物体の外側にあるのか内側にあるのかを判定して、境界画素を符号化する手法である。従って、符号化すべき画素数が少ないほど発生符号量も少なくて済む。しかし、符号化すべきマクロブロックサイズを小さくすることは、元の形状符号が劣化して受信側に伝送されることになる。従って、サイズ変換により元の情報がどの程度劣化するかを測定し、所定のしきい値以下のサイズ変換誤差が得られる限りは、できるだけ小さなマクロブロックサイズを選択する。具体的なサイズ変換比率としては、原寸大、縦横1/2倍、縦横1/4倍の三種類が挙げられる。
【００４１】
各VOPの形状情報は、8ビットのα値として与えられ、次のように定義される。
α = 0: 該当VOPの外側
α = 1〜254: 他のVOPと半透明状態で表示
α = 255: 該当VOPのみの表示領域
【００４２】
二値形状符号化は、α値が0あるいは255をとる場合であり、該当VOPの内側と外側のみで形状が表現される。多値形状符号化は、α値が0から255のすべての値を取り得る場合で、複数のVOP同士が半透明で重畳された状態を表現することができる。
【００４３】
テキスチャ符号化と同様に16×16画素のブロック単位に一画素精度の動き補償予測をする。オブジェクト全体を面内符号化する場合は形状情報の予測はしない。動きベクトルは、隣接するブロックから予測した動きベクトルの差分を用いる。求めた動きベクトルの差分値は、符号化してからビットストリームに多重化する。MPEG4では、動き補償予測したブロック単位の形状情報を二値形状符号化する。
【００４４】
●フェザーリング
その他、二値形状の場合でも、境界部を不透明から透明に滑らかに変化させたい場合はフェザーリング（境界形状のスムージング）を使う。フェザーリングは、境界値を線形に補間する線形フェザーリングモードと、フィルタを使うフェザーリングフィルタモードがある。不透明度が一定な多値形状には、定アルファモードがあり、フェザーリングと組み合わせが可能である。
【００４５】
［テキスチャ符号化］
オブジェクトの輝度成分や色差成分の符号化を行うもので、フィールド/フレーム単位のDCT(Discrete Cosine Tranfer)、量子化、予測符号化および可変長符号化の順に処理する。
【００４６】
DCTは8×8画素のブロックを処理単位とするが、オブジェクト境界がブロック内にある場合は、オブジェクトの平均値でオブジェクト外の画素を補填する。その後、4タップの二次元フィルタ処理を施すことで、DCT係数に大きな擬似ピークが発生する現象を防ぐ。
【００４７】
量子化はITU-T勧告H.263の量子化器あるいはMPEG2の量子化器の何れかを使う。MPEG2量子化器を使えば、直流成分の非線形量子化やAC成分の周波数重み付けが可能になる。
【００４８】
量子化後の面内符号化係数は、可変長符号化する前にブロック間で予測符号化し冗長成分を削除する。とくに、MPEG4では直流成分と交流成分の両方に対して予測符号化する。
【００４９】
テキスチャ符号化のAC/DC予測符号化は、図8に示すように、注目ブロックに隣接するブロック間で対応する量子化係数の差分（勾配）を調べ、小さい方の量子化係数を予測に使う。例えば、注目ブロックの直流係数xを予測する場合、対応する隣接ブロックの直流係数がa、bおよびcならば次のようになる。
|a - b| < |b - c| ならば直流係数cを予測に使う
|a - b| ≧ |b - c| ならば直流係数aを予測に使う
【００５０】
注目ブロックの交流係数Xを予測する場合も、上記と同様に予測に使う係数を選んだ後、各ブロックの量子化スケール値QPで正規化する。
【００５１】
直流成分の予測符号化は、隣接するブロック間で上下に隣接するブロックの直流成分の差（垂直勾配）と、左右に隣接するブロックの直流成分の差（水平勾配）を調べ、勾配の少ない方向のブロックの直流成分との差分を予測誤差として符号化する。
【００５２】
交流成分の予測符号化は、直流成分の予測符号化に合わせて、隣接ブロックの対応する係数を用いる。ただし、量子化パラメータの値がブロック間で異なっている可能性があるので、正規化（量子化ステップスケーリング）してから差分をとる。予測の有無はマクロブロック単位に選択できる。
【００５３】
その後、交流成分は、ジグザグスキャンされ、三次元(Last、RunおよびLevel)可変長符号化される。ここで、Lastはゼロ以外の係数の終りを示す1ビットの値、Runはゼロの継続長、Levelは非ゼロ係数の値である。
【００５４】
面内符号化された直流成分の可変長符号化には、直流成分用可変長符号化テーブルまたは交流成分用可変長テーブルの何れかを使う。
【００５５】
［動き補償］
MPEG4では任意の形状のビデオオブジェクトプレーン(VOP)を符号化することができる。VOPには、前述したように、予測の種類によって面内符号化(I-VOP)、前方向予測符号化(P-VOP)および双方向予測符号化(B-VOP)があり、予測単位は16ライン×16画素または8ライン×8画素のマクロブロックを使う。従って、VOPの境界上に跨るマクロブロックも存在することになる。このVOP境界の予測効率を改善するために、境界上のマクロブロックに対してはパディング（補填）およびポリゴンマッチング（オブジェクト部分のみのマッチング）を行う。
【００５６】
［ウェーブレット符号化］
ウェーブレット(wavelet)変換は、一つの孤立波関数を拡大/縮小/平行移動して得られる複数の関数を変換基底とする変換方式である。このウェーブレット変換を用いた静止画像の符号化モード(Texture Coding Mode)は、とくにコンピュータグラフィックス(CG)画像と自然画像とが合成された画像を扱う場合に、高解像度から低解像度までの様々な空間解像度を備えた高画質の符号化方式として適している。ウェーブレット符号化は、画像をブロック分割せず一括して符号化することができるため、低ビットレートでもブロック歪みが発生せず、モスキート雑音も減少できる。このように、MPEG4の静止画像符号化モードは、低解像度かつ低画質の画像から高解像度かつ高画質の画像までの幅広いスケーラビリティ、処理の複雑性および符号化効率のトレードオフの関係をアプリケーションに応じて調整できる。
【００５７】
［階層符号化（スケーラビリティ）］
スケーラビリティを実現するために、図9Aおよび9Bに示すようなシンタックスの階層構造を構成する。階層符号化は、例えばベースレイヤを下位レイヤ、補強レイヤを上位レイヤとし、補強レイヤにおいてベースレイヤの画質を向上する「差分情報」を符号化することによって実現される。空間スケーラビリティの場合、ベースレイヤは低解像度の動画像を、「ベースレイヤ+補強レイヤ」で高解像度の動画像を表す。
【００５８】
さらに、画像全体の画質を階層的に向上させるほかに、画像中の物体領域のみ画質を向上させる機能がある。例えば、時間スケーラビリティの場合、ベースレイヤは画像全体を低いフレームレートで符号化したもの、補強レイヤは画像内の特定オブジェクトのフレームレートを向上させるデータを符号化したものになる。
【００５９】
●時間スケーラビリティ
図9Aに示す時間スケーラビリティは、フレーム速度を階層化し、補強レイヤのオブジェクトのフレーム速度を速くすることができる。階層化の有無はオブジェクト単位で設定できる。補強レイヤのタイプは二つで、タイプ1はベースレイヤのオブジェクトの一部で構成する。タイプ2はベースレイヤと同じオブジェクトで構成する。
【００６０】
●空間スケーラビリティ
図9Bに示す空間スケーラビリティは空間解像度を階層化する。ベースレイヤは、任意のサイズのダウンサンプリングが可能で、補強レイヤの予測に使用される。
【００６１】
［スプライト符号化］
スプライトとは、三次元空間画像における背景画像などのように、オブジェクト全体が統一的に移動、回転、変形などを表現できる平面的なオブジェクトのことである。この平面的オブジェクトを符号化する手法をスプライト符号化と呼ぶ。
【００６２】
スプライト符号化は四種、静的/動的およびオンライン/オフラインに区別される。詳しく説明すると、オブジェクトデータを予め復号器に送り、グローバル動き係数だけをリアルタイムに伝送する構成であって、テンプレートオブジェクトの直接変換で得られる静的スプライト。時間的に前のスプライトからの予測符号化により得られる動的スプライト。事前に面内符号化(I-VOP)により符号化され、復号器側に伝送されるオフラインスプライト。符号化中に符号化器および復号器で同時に作成されるオンラインスプライトがある。
【００６３】
スプライト符号化に関して検討されている技術には、スタティックスプライト(Static Sprite)符号化、ダイナミックスプライト(Dynamic Sprite)符号化、グローバル動き補償などがある。
【００６４】
●スタティックスプライト符号化
スタティックスプライト符号化は、ビデオクリップ全体の背景（スプライト）を予め符号化しておき、背景の一部を幾何変換することによって画像を表現する方法である。切り出された一部の画像は、平行移動、拡大/縮小、回転など様々な変形を表現することができる。これについて図10Aに示すように、画像の移動、回転、拡大/縮小、変形などにより三次元空間における視点移動を表現することをワープと呼ぶ。
【００６５】
ワープの種類には遠近法変換、アフィン変換、等方拡大(a)/回転(θ)/移動(c, f)および平行移動があり、図10Bの各式で表される。図10Bに示す式の係数によって移動、回転、拡大/縮小、変形などが表される。また、スプライトの生成は符号化開始前にオフラインで行われる。
【００６６】
このように、背景画像の一部領域を切り取り、この領域をワープして表現することでスタティックスプライト符号化は実現される。図11に示すスプライト（背景）画像に含まれる一部領域がワープされることになる。例えば、背景画像はテニスの試合における観客席などの画像であり、ワープされる領域はテニスプレーヤなどの動きのあるオブジェクトを含んだ画像である。また、スタティックスプライト符号化においては、幾何変換パラメータのみを符号化して、予測誤差を符号化しない。
【００６７】
●ダイナミックスプライト符号化
スタティックスプライト符号化では符号化前にスプライトが生成される。これに対して、ダイナミックスプライト符号化では、符号化しながらオンラインにスプライトを更新することができる。また、予測誤差を符号化するという点でスタティックスプライト符号化とは異なる。
【００６８】
●グローバル動き補償(GMC)
グローバル動き補償とは、オブジェクト全体の動きを、ブロックに分割することなく、一つの動きベクトルで表して動き補償する技術であり、剛体の動き補償などに適している。参照画像が、スプライトの代わりに直前の復号画像になる点、予測誤差を符号化する点では、スタティックスプライト符号化と同様である。ただし、スプライトを格納するためのメモリを必要としないこと、形状情報が不要であることは、スタティックスプライト符号化およびダイナミックスプライト符号化とは異なる。画面全体の動きや、ズームを含む画像などにおいて効果がある。
【００６９】
［シーン構造記述情報］
シーン構成情報によりオブジェクトは合成される。MPEG4では、各オブジェクトをシーンに合成するための構成情報を伝送する。個別に符号化された各オブジェクトを受信したときに、シーン構成情報を使えば、送信側が意図したとおりのシーンに合成できる。
【００７０】
シーン構成情報には、オブジェクトの表示時間や表示位置などが含まれ、これらがツリー状のノード情報として記述されている。各ノードは、親ノードに対する時間軸上の相対時刻情報と相対空間座標位置情報をもつ。シーン構成情報を記述する言語には、VRMLを修正したBIFS(Binary Format for Scenes)とJava(TM)を用いたAAVS(Adaptive Audio-Visual Session Format)がある。BIFSは、MPEG4のシーン構成情報を二値で記述する形式。AAVSはJava(TM)をベースとし、自由度が大きくBIFSを補う位置付けにある。図12はシーン記述情報の構成例を示す図である。
【００７１】
［シーン記述］
シーン記述はBIFSによって行われる。ここでは、VRMLとBIFS共通の概念であるシーングラフとノードを中心に説明する。
【００７２】
ノードは光源、形状、材質、色および座標などの属性や、座標変換を伴う下位ノードのグループ化を指定する。オブジェクト指向の考えを取り入れ、三次元空間中の各物体の配置やみえ方は、シーングラフと呼ばれる木を、頂点のノードから辿り、上位ノードの属性を継承することにより決定される。葉にあたるノードにメディアオブジェクト、例えば、MPEG4ビデオのビットストリームを同期をとって割当てれば、他のグラフィクスと伴に動画を三次元空間内に合成して表示することができる。
【００７３】
また、VRMLとの差異は下記のとおりである。MPEG4システムでは次をBIFSでサポートする。
(1)MPEG4ビデオVOP符号化の二次元オーバラップ関係記述と、MPEG4オーディオの合成記述
(2)連続メディアストリームの同期処理
(3)オブジェクトの動的振る舞い表現（例えばスプライト）
(4)伝送形式（バイナリ）を標準化
(5)セッション中にシーン記述を動的に変更
【００７４】
VRMLのノードのうちExtrusion、Script、ProtoおよびExtemProtoなどがサポートされていない以外は、VRMLノードのほぼすべてがBIFSでサポートされている。BIFSで新たに加えられたMPEG4特別ノードには、以下のものがある。
(1)2D/3D合成のためのノード
(2)2Dグラフィクスやテクストのためのノード
(3)アニメーションノード
(4)オーディオノード
【００７５】
特筆すべきは、VRMLでは背景など特殊なノードを除き2D合成はサポートされていなかったが、BIFSでは、テキストやグラフィックオーバレイ、さらにMPEG4ビデオVOP符号化を画素単位で扱えるように記述が拡張されている。
【００７６】
アニメーションノードには、3Dメッシュで構成された顔などMPEG4のCG画像のための特別なノードが規定されている。シーングラフ中のノードの置き換え、消去、追加および属性変更が動的に行えるメッセージ(BIFS Update)があり、セッションの途中で画面上に新たな動画像を表示したり、ボタンを追加することが可能になる。BIFSは、VRMLの予約語、ノード識別子および属性値をほぼ一対一にバイナリデータに置き換えることにより実現できる。
【００７７】
［MPEG4オーディオ］
図13にMPEG4オーディオの符号化方式の種類を示す。オーディオおよびサウンドの符号化には、パラメトリック符号化、CELP(Code Excited Linear Prediction)符号化、時間/周波数変換符号化が含まれる。さらに、SNHC(Synthetic Natural Hybrid Coding)オーディオの機能も取り入れ、SA（Structured Audio: 構造化オーディオ）符号化とTTS（Text to Speech: テキストサウンド合成）符号化が含まれる。SAはMIDI(Music Instrument Degital Interface)を含む合成楽音の構造的記述言語であり、TTSは外部のテキスト音声合成装置にイントネーションや音韻情報などを送るプロトコルである。
【００７８】
図14にオーディオ符号化方式の構成を示す。図14において、入力サウンド信号を前処理(201)し、パラメトリック符号化(204)、CELP符号化(205)および時間/周波数符号化(206)の三つの符号化を使い分けるように、帯域に応じて信号分割(202)し、それぞれに適した符号化器へ入力する。また、信号分析制御(203)により、入力オーディオ信号が分析され、入力オーディオ信号を各符号化器へ割り当てるための制御情報などが発生される。
【００７９】
続いて、それぞれ別の符号化器であるパラメトリック符号化コア(204)、CELP符号化コア(205)、時間/周波数変換符号化コア(206)は、各符号化方式に基づいた符号化処理を実行する。これら三種の符号化方式については後述する。パラメトリック符号化およびCELP符号化されたオーディオデータは、小ステップ強化(207)され、時間/周波数変換符号化および小ステップ強化されたオーディオデータは、大ステップ強化(208)される。なお、小ステップ強化(207)および大ステップ強化(208)は、各符号化処理で発生する歪を減少させるためのツールである。こうして、大ステップ強化されたオーディオデータは、符号化されたサウンドビットストリームになる。
【００８０】
以上が図75のサウンド符号化方式の構成の説明であるが、次に、図13を参照しながら各符号化方式について説明する。
【００８１】
●パラメトリック符号化
音声信号や楽音信号を含むサウンド信号を周波数、振幅およびピッチなどのパラメータで表現し、それを符号化する。音声信号用の調波ベクトル駆動符号化(HVXC: Harmonic Vector Excitation Coding)と、楽音信号用の個別スペクトル(IL: Individual Line)符号化が含まれる。
【００８２】
HVXC符号化は、主として2k〜4kbpsの音声符号化を目的とし、音声信号を有声音と無声音に分類し、有声音は線形予測係数(LPC: Linear Prediction Coefficient)の残差信号の調波（ハーモニック）構造をベクトル量子化する。無声音については、予測残差をそのままベクトル駆動符号化(vector excitation coding)する。
【００８３】
IL符号化は、6k〜16kbpsの楽音の符号化を目的としており、信号を線スペクトルでモデル化して符号化するものである。
【００８４】
●CELP符号化
入力サウンド信号をスペクトル包絡情報と音源情報（予測誤差）とに分離して符号化する方式である。スペクトル包絡情報は、入力サウンド信号から線形予測分析によって算出される線形予測係数によって表される。MPEG4のCELP符号化には帯域幅4kHzの狭帯域CELPと、帯域幅8kHzの広帯域CELPがあり、狭帯域(NB: Narrow Band) CELPは3.85〜12.2kbps、広帯域(WB: Wide Band) CELPは13.7k〜24kbpsの間においてビットレートの選択が可能である。
【００８５】
●時間/周波数変換符号化
高音質を目指す符号化方式である。AAC(Advanced Audio Coding)に準拠する方式、およびTwinVQ（Transform-domain Weighted Interleave Vector Quantization: 変換領域重み付けインタリーブベクトル量子化）がこれに含まれる。この時間/周波数変換符号化には聴覚心理モデルが組み込まれ、聴覚マスキング効果を利用しながら適応量子化する仕組みになっている。
【００８６】
AAC準拠方式は、オーディオ信号をDCTなどで周波数変換し、聴覚マスキング効果を利用しながら適応量子化する仕組みである。適応ビットレートは24k〜64kbpsである。
【００８７】
TwinVQ方式は、オーディオ信号を線形予測分析したスペクトル包絡を用いて、オーディオ信号のMDCT係数を平坦化する。インタリーブを施した後、二つの符号長を用いてベクトル量子化する仕組みである。適応ビットレートは6k〜40kbpsである。
【００８８】
［システム構造］
MPEG4のシステムパートでは、多重化、分離および合成（コンポジション）を定義する。以下、図15を用いてシステム構造を説明する。
【００８９】
多重化においては、映像符号化器やオーディオ符号化器からの出力である各オブジェクトや、各オブジェクトの時空間配置を記述したシーン構成情報などのエレメンタリストリームごとに、アクセスユニットレイヤでパケット化される。アクセスユニットレイヤでは、アクセスユニット単位に同期を取るためのタイムスタンプや参照クロックなどがヘッダとして付加される。パケット化されたストリームは、次に、FlexMuxレイヤで表示や誤り耐性の単位で多重化され、TransMuxレイヤへ送られる。
【００９０】
TransMuxレイヤでは、誤り耐性の必要度に応じて誤り訂正符号が保護サブレイヤで付加される。最後に、多重サブレイヤ(Mux Sub Layer)で一本のTransMuxストリームとして伝送路に送り出される。TransMuxレイヤは、MPEG4では定義されず、インターネットのプロトコルであるUDP/IP(User Datagram Protocol/Internet Protocol)やMPEG2のトランスポートストリーム(TS)、ATM(Asynchronous Transfer Mode)のAAL2(ATM Adaptation layer2)、電話回線利用のテレビ電話用多重化方式（ITU-T勧告H.223）、および、ディジタルオーディオ放送などの既存のネットワークプロトコルが利用可能である。
【００９１】
システムレイヤのオーバヘッドを軽くし、従来のトランスポートストリームに容易に埋め込めるように、アクセスユニットレイヤやFlexMuxレイヤをバイパスすることも可能である。
【００９２】
復号側では、各オブジェクトの同期を取るために、デマルチプレクス（分離）の後段にバッファ(DB: Decoding Buffer)を設け、各オブジェクトの到達時刻や復号時間のずれを吸収する。合成の前にもバッファ(CB: Composition Buffer)を設けて表示タイミングを調整する。
【００９３】
［ビデオストリームの基本構造］
図16にレイヤ構造を示す。各階層をクラスと呼び、各クラスにはヘッダが付く。ヘッダとはstart code、end code、ID、形状およびサイズほかの各種符号情報である。
【００９４】
●ビデオストリーム
ビデオストリームは複数のセッションで構成される。セッションとは、一連の完結したシーケンスのことである。
VS: セッションは複数のオブジェクトで構成される
VO: ビデオオブジェクト
VOL: オブジェクトは複数のレイヤを含むオブジェクト単位のシーケンス
GOV: オブジェクトは複数のレイヤで構成される
VOP: オブジェクトレイヤは複数のプレーンで構成される
ただし、プレーンはフレーム毎のオブジェクト
【００９５】
［誤り耐性を有するビットストリーム構造］
MPEG4は、移動体通信（無線通信）などに対応すべく、符号化方式自体が伝送誤りに対する耐性を有している。既存の標準方式における誤り訂正は主にシステム側で行っているが、PHS(Personal Handy phone System)などのネットワークでは誤り率が非常に高く、システム側では訂正しきれない誤りがビデオ符号化部分に漏れ込んでくることが予想される。これを考慮して、MPEG4は、システム側で訂正しきれなかった各種のエラーパターンを想定し、このような環境の下でも可能な限り誤りの伝播が抑制されるような誤り耐性符号化方式とされている。ここでは、画像符号化に関する誤り耐性の具体的な手法と、そのためのビットストリーム構造を説明する。
【００９６】
●Reversible VLC(RVLC)と双方向復号
図17に示すように、復号途中で誤りの混入が確認された場合、そこで復号処理を一旦停止し、次の同期信号の検出を行う。次の同期信号が検出できた段階で、今度はそこから逆向きにビットストリームの復号処理を行う。新たな付加情報なしに、復号のスタートポイントが増加していることになり、誤り発生時に復号できる情報量を従来よりも増やすことが可能になる。このような順方向と同時に逆方向からも復号可能な可変長符号により「双方向復号」が実現される。
【００９７】
●重要情報の複数回伝送
図18に示すように、重要情報を複数回伝送することが可能な構成を導入し、誤り耐性を強化する。例えば、各VOPを正しいタイミングで表示するためにはタイムスタンプが必要であり、この情報は最初のビデオパケットに含まれている。仮に、誤りによってこのビデオパケットが消失しても、前記の双方向復号構造により次のビデオパケットから復号が再開できるが、このビデオパケットにはタイムスタンプがないため、結局、表示タイミングがわからないことになる。そのため各ビデオパケットにHEC(Header Extension Code)というフラグを立て、この後にタイムスタンプなどの重要情報を付加できる構造が導入された。HECフラグの後には、タイムスタンプとVOPの符号化モードタイプとが付加できる。
【００９８】
同期はずれが生じた場合は、次の同期回復マーカ(RM)から復号が開始されるが、各ビデオパケットにはそのために必要な情報、そのパケットに含まれる最初のMBの番号およびそのMBに対する量子化ステップサイズがRM直後に配置されている。その後にHECフラグが挿入され、HEC=‘1’の場合にはTRおよびVCTがその直後に付加される。これらHEC情報により、仮に、先頭のビデオパケットが復号できずに廃棄されても、HEC=‘1’と設定したビデオパケット以降の復号および表示は正しく行われることになる。なお、HECを‘1’にするか否かは符号化側で自由に設定できる。
【００９９】
●データパーティショニング
符号化側では、MB単位の符号化処理を繰り返してビットストリームを構成するため、途中に誤りが混入すると、それ以降のMBデータは復号できない。一方、複数のMB情報をまとめて幾つかのグループに分類し、それぞれをビットストリーム内に配置し、各グループの境目にマーカ情報を組み込めば、仮にビットストリームに誤りが混入してそれ以降のデータが復号できない場合でも、そのグループの最後にあるマーカで同期を取り直して、次のグループのデータを正しく復号することが可能になる。
【０１００】
以上の考えに基づき、ビデオパケット単位に、動きベクトルとテクスチャ情報（DCT係数など）とにグループ分けするデータパーティショニング手法(Data Partitioning)が採用されている。また、グループの境目にはモーションマーカ(MM:
Motion Marker)が配置される。
【０１０１】
仮に、動きベクトル情報の途中に誤りが混入していても、MMの後にくるDCT係数は正しく復号できるため、誤り混入以前の動きベクトルに対応するMBデータはDCT係数とともに正確に再生できる。またTexture部分に誤りが混入した場合でも、動きベクトルが正しく復号されていれば、その動きベクトル情報と復号済みの前フレーム情報とを用いて、ある程度正確な画像が補間再生（コンシールメント）できる。
【０１０２】
●可変長間隔同期方式
ここでは、可変長パケットで構成されている同期回復手法を説明する。先頭に同期信号を含んだMB群は「ビデオパケット」と呼ばれ、その中に何個のMBを含めるかは符号化側で自由に設定することができる。可変長符号(VLC: Variable Length Code)を使用するビットストリームに誤りが混入した場合、それ以降の符号の同期が取れなくなり、復号不可能な状態になる。このような場合でも、次の同期回復マーカを検出することにより、その後の情報を正しく復号することが可能になる。
【０１０３】
［バイトアライメント］
システムとの整合性をとるために、情報の多重化はバイトの整数倍単位で行われる。ビットストリームは、バイトアラインメント(Byte alignment)構造となっている。バイトアラインメントを行うために、各ビデオパケットの最後にスタッフビットが挿入される。さらにこのスタッフビットは、ビデオパケット内のエラーチェック符号としても使用される。
【０１０４】
スタッフビットは‘01111’のように、最初の1ビットが‘0’で、それ以外のビットがすべて‘1’であるような符号で構成されている。つまりビデオパケット内の最後のMBまで正しく復号されれば、その次に来る符号は必ず‘0’であり、その後にはスタッフビットの長さより1ビット分だけ短い‘1’の連続があるはずである。もし、このルールに反したパターンが検出された場合、それ以前の復号が正しく行われていないことになり、ビットストリームに誤りが混入していたことが検出できる。
【０１０５】
以上、「国際標準規格MPEG4の概要決まる」（日経エレクトロニス 1997.9.22号 p.147-168）、「見えてきたMPEG4の全貌」（社団法人映像情報メディア学会テキスト 1997.10.2）、「MPEG4の最新標準化動向と画像圧縮技術」（日本工業技術センター セミナー資料 1997.2.3）などを参考にして、MPEG4の技術に関して説明した。
【０１０６】
【第１実施形態】
［構成］
以下、本発明にかかる一実施形態のテレビ放送受信装置を図面を参照して詳細に説明する。図19は本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図である。
【０１０７】
ディジタルテレビ放送の信号は、その放送形態に応じて、衛星放送のときは衛星アンテナ21およびチューナ23により、ケーブル放送のときはケーブル22を介してチューナ24により、選局され受信される。こうして衛星放送もしくはケーブル放送から受信されたテレビ情報は、データ選択器43により一方のデータ列が選択され、復調回路25で復調され、誤り訂正回路26で誤り訂正される。
【０１０８】
続いて、テレビ情報は、多重データ分離回路27により多重されている各データ、つまり画像データ、サウンドデータおよびその他のシステムデータ（追加データ）に分離される。このうち、サウンドデータは、サウンド復号回路28で復号され、ステレオオーディオデータA(L),A(R)になり、サウンド制御部30により音量や音場定位の調整および主/副音声などサウンド多重への対応が処理された後、出力するサウンドが選択され、ディジタル-アナログコンバータ(D/A)29によりアナログ信号に変換されて、スピーカ31により再生される。
【０１０９】
一方、画像データは、画像データ中の各オブジェクトにそれぞれに対応して復号処理を行う複数の復号器からなる画像復号回路32で復号される。この復号方式は、既に説明したMPEG4の画像復号方式に基づくオブジェクト単位の復号である。復号された画像データは、オブジェクトの数に相当する画像v(1)からv(i)になり、表示制御部34により表示に基づく様々な処理が施される。
【０１１０】
表示制御部34が行う表示制御とは、各オブジェクトを合成して一つの出力画像としたり、各オブジェクトを表示するか否か、各オブジェクトの拡大/縮小、どこに表示するかなどを行う。さらに、表示制御は、オブジェクトとキャラクタ発生回路40で発生されたキャラクタ画像（時間表示やインデックスタイトルなど）との合成などの各種表示処理も行う。これらの表示制御は、各オブジェクトの配置情報、すなわちシーン記述データ変換回路39からのシーン記述情報に基づき、システムコントローラ38の制御に応じて行われるものである。
【０１１１】
形成された表示画像は、D/A33でアナログ化されCRT35に表示されるか、もしくは、ディジタル信号のまま液晶ディスプレイ(LCD)44などに送られて表示される。
【０１１２】
他方、システムデータ（シーン記述データや追加データを含む）はシステムデータ復号回路36で復号される。復号されたシステムデータの中からは、カテゴリ情報検出部37により番組に付加されたカテゴリ情報が検出される。検出されたカテゴリ情報は、システムコントローラ38へ入力され、レイアウト設定におけるコマンド発生の基準になる。また、復号されたシステムデータの中から、シーン記述に関するデータがシーン記述データ変換部39に入力される。その他のシステムデータ（オブジェクトの内容をコマンドで表すオブジェクト情報はここに含まれる）は、システムコントローラ38に各種コマンドとして入力される。なお、追加データには、番組のタイトルインデックスなど、ドキュメントなども含まれていてもよい。
【０１１３】
オブジェクト情報は、各テレビ局が共通に用いるコマンドセットにより、各オブジェクトにタイトル的に割当てられる。受信時、オブジェクト情報を解析することで、オブジェクトの内容を判別し分類することができる。本実施形態では、このオブジェクト情報を利用して、指定されたオブジェクト情報をもつオブジェクトを設定された位置に配置する、レイアウト設定機能を実現する。
【０１１４】
シーン記述データ変換部39で構成されたシーン記述データを用いて、表示制御部34における各オブジェクトの配置や合成、サウンド制御部30における音量や音場定位などの設定が行われる。また、システムコントローラ38の制御に基づき、シーン記述データ変換部39を調整し、表示制御部34を制御することで、基本レイアウトとは異なる配置にオブジェクトをレイアウトする、つまりレイアウトが設定された場合の配置制御を行うことができる。このレイアウト設定方法については後述する。
【０１１５】
また、オブジェクトとしては扱われていない表示画像、例えば時間表示画面やタイトルインデックスなどを生成するときは、キャラクタ発生回路40が用いられる。システムコントローラ38の制御により、追加データに含まれる時間データもしくは受信機内部で生成された時間情報などから、キャラクタデータが保存されているROMなどのメモリ42を用いて、時間表示キャラクタが生成される。タイトルインデックスも同様である。ここで生成された画像は、表示制御部34において合成などが行われる。
【０１１６】
また、ユーザは指示入力部45を介して各種コマンドを入力することができる。ユーザの指示入力に基づき、レイアウト設定処理における位置調整を行うことができる。すなわち、レイアウト位置の補正や、新規設定値の入力は指示入力部45から行われる。指示入力値に応じてシステムコントローラ38は、所望の出力（表示、再生）形態が得られるように各部の動作を適切に制御する。
【０１１７】
［レイアウトの設定］
カテゴリ情報を判別して、カテゴリ毎にオブジェクトを所定配置するレイアウト設定は、二つの方法で実行することができる。第一の方法は、予めプログラムされたデフォルト設定としてメモリ41に工場出荷時から保持されているレイアウト設定データを用いてレイアウト設定する方法であり、第二の方法は、ユーザが任意に設定したレイアウトのレイアウト設定データをメモリ41にカテゴリ毎に保持しておいて、これを利用するものである。
【０１１８】
ここで、具体的なレイアウトの設定方法を説明する。図20はレイアウト設定する際の位置データの設定方法を説明する図、図21はレイアウト設定する際のイメージと指示の入力方法とを説明する図である。
【０１１９】
オブジェクトの位置設定には二つ方法がある。第一の方法はシーン記述データで規定される基本レイアウトを位置補正（シフト）する方法であり、第二の方法はユーザが任意の場所にオブジェクトの位置を新規に設定する方法である。両者は、ユーザの操作に応じて、図20に示すセレクタ302で選択可能である。
【０１２０】
まず、第一の方法であるシフトする方法について説明する。オブジェクトとして画像データが入力され、そのオブジェクトの基本位置はシーン記述データで指定される位置データ(X0,Y0)で表される。ユーザがオブジェクトのシフトを望む場合、加算器301により補正量(ΔX,ΔY)が位置データ(X0,Y0)に加算され、新たな位置データ(X',Y')がオブジェクトのレイアウト設定データになる。第二の方法である新規設定する方法について説明する。基本位置データに関係なく、全く新たにオブジェクトの位置(X,Y)を設定し、これを基本位置データに代わる位置データ(X',Y')にする。このようにして、ユーザが設定したレイアウト設定用の位置データを、シーン記述データで規定される基本レイアウトのオブジェクト位置データに置き換えて、表示する。
【０１２１】
以上が指定画像オブジェクトのレイアウトを設定する方法の説明である。対象となるオブジェクトを判別するオブジェクト情報もレイアウト設定データの一部として必要なデータである。表示処理はシステムコントローラ38により制御されるが、このときの制御データ、対象オブジェクトを判別するためのオブジェクト情報およびレイアウト設定データを、カテゴリに対応させたユーザレイアウト設定データとしてメモリ41に保持しておく。
【０１２２】
次に図12について説明する。図12はこれまでに説明した位置の設定方法を図示したものである。CRTなどの表示装置303において、操作の対象になる基本位置にあるオブジェクト306（位置は（X0，Y0））を、シフト位置307までシフトしたとき、その時の補正量を基本位置データに加えて、最終的な位置データ（レイアウト設定データ）は、（X’，Y’）＝（X0＋ΔX，Y0＋ΔY）になる。また、ユーザが任意で新規に新規設定位置308にオブジェクトを配置した場合は、その位置データ（レイアウト設定データ）は（X’，Y’）＝（X，Y）になる。図11で説明した、設定方法は、このように図示される。
【０１２３】
また、図21には指示入力部45に含まれるポインティングデバイスの一例としてマウス304およびリモートコントローラ305を示す。マウス304を使ったり、リモートコントローラ305の方向入力キー（十字キー、ジョイスティックおよびジョイパッドなどでもよい）を使うことによって、自由なオブジェクトの移動を容易に操作することが可能である。なお、オブジェクトを移動する位置および新たに設定する位置は、画面の四隅や中央などプリセットされた幾つかの位置から選ぶような構成をとることもできる。
【０１２４】
テレビ放送データの中にはカテゴリ情報が含まれている。このカテゴリ情報を利用することで、各番組毎に、設定されたレイアウトをカテゴリ情報と対応付けてデータ化し、レイアウト設定データとして記憶しておくことができる。この記憶場所は、EEPROMなどの不揮発性メモリ41が利用される。システムコントローラ38は、テレビ放送データからメモリ41に記憶されているカテゴリ情報が検出されると、そのカテゴリ情報に対応するレイアウト設定データを基に、シーン記述データ変換部39および表示制御部34を制御し、設定されたレイアウトで画像表示およびサウンド再生を行う。
【０１２５】
続いて、レイアウト設定データについて説明する。レイアウト設定データには、予めプログラムされ保持されているデフォルトの設定データ、および、ユーザが設定したデータがある。ユーザ設定データは、基本的には、シーン記述データから得られるオブジェクト配置情報を基にして、オブジェクト配置情報に加え、ユーザがレイアウト設定したときのオブジェクトの位置をデータ化して、各部の制御データおよび対象となるオブジェクト情報とともに、レイアウト設定データとして記憶すればよい。シーン記述データについては図12を用いて既に説明したが、各シーンを構成するオブジェクトをツリー型に配列し、それぞれのオブジェクトが表示されるべき時間や、表示されるべき位置を指定するための情報である。
【０１２６】
また、その他のレイアウト設定データの構成として、図22に示すように、そのオブジェクトを表示するか否かを示すオン/オフデータ、表示位置をXおよびY軸で二次元表現したときの表示位置データ、並びに、大きさを示すデータを保持することによって、対象となるオブジェクトのレイアウト設定データとして活用することができる。
【０１２７】
図23は一般的なMPEG4ビットストリームの構成を示す図である。図23のオブジェクト1から5までのデータベースに番組内容、（番組に応じてオブジェクトの種類は異なるが）自然画像オブジェクト、サウンドオブジェクトおよびCGなどのオブジェクトが組み込まれている。一例として、野球の中継放送では、背景オブジェクト（スプライト）、人物、その他の自然画像オブジェクト、得点表示の合成画像オブジェクトおよびサウンドオブジェクトなどが該当する。加えて、ビットストリームにはシステムデータとして、シーン記述情報および追加データが多重化されている。追加データには、カテゴリ情報やオブジェクト情報も含まれる。
【０１２８】
図24および図25は野球の中継放送における画面設定例を示す図、図26および図27は野球の中継放送の表示例を示す図である。
【０１２９】
野球の中継放送において、レイアウトを設定するオブジェクトとして、図24および図26に示す得点表示オブジェクト310およびカウント表示オブジェクト311があり、図25および図27に示す打率表示オブジェクト312があるとする。上記三つのオブジェクトは野球の中継放送において欠かせないものであるが、それらの表示位置は放送局によって様々であるから、本実施形態によりレイアウトを設定する上で好適なオブジェクトである。これらのオブジェクトはCGなどによる合成画像オブジェクトであるが、本実施形態はオブジェクトの種類は問わない。
【０１３０】
レイアウト設定モードに移行後、ユーザは画面をみながら、上述した方法によりテレビ画面上の任意の位置、すなわち好みの位置や、みやすい位置へオブジェクトを配置すればよい。
【０１３１】
このように、本実施形態のレイアウト設定機能を用いることで、図24から図27に示す野球の中継放送の1シーンのように、デフォルト設定またはユーザ設定された位置に、そのオブジェクトを表示するタイミング（シーン）毎に、得点表示オブジェクト310、カウント表示オブジェクト311および打率表示オブジェクト312を表示することができる。このレイアウト表示は放送局を問わず同じレイアウトになる。
【０１３２】
一度設定されたレイアウト設定データが保持された後は、同一のカテゴリ情報を検出することでレイアウト設定機能が作動し、オブジェクト情報から対象のオブジェクトであるか否かを判別する。対象オブジェクトの場合は、その表示タイミング（シーン）において、保持されているレイアウト設定データに基づく位置へ自動的にレイアウト表示される。なお、放送局毎に、オブジェクト情報のデータ構成が異なる場合は、オブジェクト情報を再設定するようにしてもよい。
【０１３３】
［動作手順］
図28および図29は本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャートで、図28はユーザがレイアウトを設定する際のフローを、図29はテレビ映像の表示におけるフローである。
【０１３４】
図28に示すレイアウト設定モードにおいて、テレビ情報中の画像データを構成する各オブジェクトの内、レイアウトを設定するオブジェクトが選択される（ステップS1）。そして、ユーザは、選択（指定）したオブジェクトを任意位置に配置する（ステップS2）。選択されたオブジェクトの配置が完了すると、レイアウト設定を終了するか否かが判断され（ステップS3）、他のオブジェクトについてもレイアウトを設定する場合はステップS1へ戻り、オブジェクトの選択および配置を繰り返す。レイアウト設定が終了ならば、レイアウトが設定された各オブジェクトの位置がデータ化される。そして、そのオブジェクトのカテゴリ情報、オブジェクト情報、位置データおよび各部の制御データが統合され、レイアウト設定データとしてメモリ41に格納される（ステップS4）。
【０１３５】
図29に示す表示モードにおいて、テレビ情報を受信し（ステップS11）、テレビ情報に付加されたシステムデータから番組のカテゴリ情報を検出する（ステップS12）。カテゴリ情報は、各放送局が統一したコマンドセットなどを用いて、番組のカテゴリ（ジャンル）に対応する情報をシステムデータに付加して送信するものであり、番組の内容を大別させるためのデータである。仮に、放送局毎に番組カテゴリ情報が異なる場合は、放送局間の整合性を取るための再設定手段を設けてもよい。
【０１３６】
続いて、検出されたカテゴリ情報に対応するレイアウト設定データが既に保存されているか否かが判断される（ステップS13）。レイアウト設定データが保存されていないカテゴリの場合は、放送局から送られてくるそのままの基本レイアウトでテレビ放送の映像を表示する（ステップS14）。
【０１３７】
レイアウト設定データが保存されたカテゴリの場合は、メモリ41から検出されたカテゴリ情報に対応するレイアウト設定データを読み出し（ステップS15）、そのレイアウト設定データに記録されているオブジェクト情報が出現したら、その対象オブジェクトのレイアウトを変更する制御が行えるようにスタンバイする。従って、ステップS16では、レイアウト設定の対象外のオブジェクトは基本レイアウトで表示され、レイアウト設定の対象オブジェクトは、その対象オブジェクトの表示タイミング（シーン）において、設定されたレイアウトで表示される。
【０１３８】
番組が終了したり、別のチャネルに移行して新たな番組の受信が開始されるまでは、ステップS14またはステップS16の表示状態が維持される。新たな番組の受信が開始された場合は、現行のレイアウト設定がリセットされ、フローはステップS11のテレビ放送受信の初期状態から繰り返される。
【０１３９】
本実施形態では、番組のカテゴリとして『野球中継放送』を取り上げたが、これに限らず、『サッカー中継放送』やスポーツ以外の番組のカテゴリであっても同様に対応することができる。
【０１４０】
このように、本実施形態によれば、ディジタルテレビ放送を視聴するユーザは、番組のカテゴリ情報に対応してオブジェクトのレイアウトを任意に設定することができる。従って、番組のカテゴリおよびユーザの好みに応じた映像表示が可能になり、視覚的および聴覚的ユーザインタフェイスの質的向上を期待することができ、ユーザに対してより自由度のあるテレビ番組表示が可能になる。
【０１４１】
また、オブジェクトの内容を示すオブジェクト情報を参照して、番組のカテゴリ情報毎にレイアウト設定する場合、オブジェクトの分類および配置制御を行うことにより、指定するオブジェクトのみのレイアウト設定が可能になる。
【０１４２】
また、同一の番組カテゴリであっても、放送局によって異なるレイアウトで表示される欠点を解消することができ、放送局に関係なく番組カテゴリ毎に統一されたレイアウトで共通するオブジェクトを表示することができる。
【０１４３】
【第２実施形態】
以下、本発明にかかる第2実施形態のテレビ放送受信装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１４４】
第2実施形態においては、MPEG4以外の符号化方式で符号化された画像をMPEG4の一つオブジェクトとして利用、代用したテレビ放送におけるオブジェクトのレイアウト設定について説明する。
【０１４５】
ここでは、自然画像符号化方式にMPEG2を用いた例を説明する。つまり、MPEG2で符号化された画像（以下「MPEG2画像」と呼ぶ場合がある）がMPEG4のビットストリームに多重化されて伝送され、これを受信して表示するテレビ放送受信装置に関する説明を行う。なお、第2実施形態におけるレイアウトの設定方法は、第1実施形態で説明したものと同様であり、テレビ放送受信装置の基本構成および動作は図19により説明したものと同様である。ただし、第2実施形態におけるテレビ放送の復号方法に関係して、図19に示すサウンド復号回路28、画像復号回路32およびシステムデータ復号回路36の細部が異なるので、これらを図30および図31を用いて説明する。
【０１４６】
図30は、送信側である放送局において、MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部である。データ多重化器5006は、図2で説明したサウンド、自然画像、合成画像、文字およびシーン記述情報の各オブジェクトの符号化器5001〜5005からの出力をMPEG4のビットストリームに多重化するとともに、MPEG2方式の業務用放送機器や中継システムまたはDVD(Digital Video Disc)の再生などにより抽出されるMPEG2ビットストリーム61を、MPEG4のビットストリームへ多重化する。
【０１４７】
図31はMPEG4ビットストリームを復号する側、つまりテレビ放送受信装置に搭載される復号部の構成例である。図31に示される復号部は、第2実施形態のテレビ放送受信装置を構成する復号系およびそれに関連する回路であるサウンド復号回路28、画像復号回路32、システムデータ復号回路36およびシーン記述データ変換部39などに含まれる。
【０１４８】
受信されたMPEG4ビットストリームは、復号前にデータ分離器5007によりそれぞれのデータに分離される。分離された各データのうちMPEG4のオブジェクトであるサウンド、自然画像、合成画像、文字およびシーン記述情報は、各オブジェクトに対応する復号部5008〜5012において復号される。また、MPEG4のオブジェクトとともに多重化されたMPEG2のデータは、MPEG4のオブジェクトの復号器とは別に設けられた専用のMPEG2デコーダ62で復号される。なお、MPEG2デコーダ62は、MPEG4の画像復号回路32の一部を利用した構成であってもよい。
【０１４９】
こうして復号されたサウンド、画像およびシステムデータであるシーン記述データからテレビ番組の映像を表示するための情報が構成され、各オブジェクトおよびMPEG2データがシーン合成部5013でテレビ出力すべき形態に合成され、シーン情報として出力される。
【０１５０】
続いて、第1実施形態で説明したレイアウトの設定方法を用いて、MPEG2画像を含むMPEG4のテレビ放送の映像を表示する場合の説明を図26を用いて行う。第2実施形態では、図26に示す野球中継全体の画像で背景や選手を含む中継画像401がMPEG2画像であるとする。その他のオブジェクトである得点表示オブジェクト310、カウント表示オブジェクト311および展開に応じた上記以外のオブジェクトはMPEG4のデータからなる。すなわち、MPEG2画像を含むMPEG4のテレビ放送の映像表示例である。このときのMPEG4のビットストリーム例を図32に示す。
【０１５１】
図32に示すMPEG4のビットストリームには、MPEG2のデータストリームである野球中継画像401のデータがオブジェクト2として多重化されている。MPEG2のデータストリームは、一般的にオーディオ、ビデオおよびシステムデータ（MPEG2付加情報）の三種のデータから構成される。オブジェクト2には、伝送に関する所定のタイミング調整に従い、所定量毎のセグメントに分けられたMPEG2データストリームがそれぞれ多重化される。MPEG2とMPEG4とでは、下位レベルで共通化可能な符号化/復号回路もあるので、必要であれば共通化して、符号化/復号に関する無駄を避けた処理を行う。
【０１５２】
このように、MPEG2方式により符号化された画像および/またはサウンドデータを含むMPEG4方式のTV放送であっても、第1実施形態で説明したようなレイアウト設定が可能になる。
【０１５３】
表示画像のレイアウト設定データについては、第1実施形態と同様に、シーン記述情報から得られるオブジェクト配置情報を基に、ユーザによりレイアウトが変更されたオブジェクトの位置データを算出し、番組のカテゴリ情報、対象のオブジェクト情報および各部の制御データを対応させたレイアウト設定データとして記憶しておく。また、表示に関する動作も第1実施形態と同様である。
【０１５４】
第2実施形態は、MPEG2画像が多重化されたMPEG4のテレビ放送であるから、MPEG2コンテンツ、例えば現場中継などに用いる画像中継システムなどとの複合する場合に、MPEG2装置の出力を、複雑なデータ変換を介さずに、MPEG4の放送システムに流用でき、MPEG2とMPEG4との親和性から扱いも容易である。なお、中継画像などに限らず、代表的なMPEG2映像装置であるDVDを用いた資料映像表示などの多重画像出力例や、または他のMPEG2装置を用いた場合にも、勿論利用可能である。
【０１５５】
また、MPEG2とMPEG4とでは、共通化できる符号化/復号回路も多数あるので、システムの効率化に加え、回路構成も複雑な構成を必要とせずに効果的である。勿論、ソフトウェアデコーダの場合でもシステムの効率化は図れる。
【０１５６】
本実施形態によれば、第1実施形態の効果に加えて、MPEG2で符号化されたテレビ情報を、MPEG4テレビシステムにも流用できるようにしたので、従来あるコンテンツをそのまま使え、かつMPEG2をわざわざMPEG4にデータ変換する必要もないので、扱いが容易であり非常に効果的である。
【０１５７】
【第３実施形態】
以下、本発明にかかる第3実施形態のテレビ放送受信装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１５８】
本実施形態のレイアウト設定の対象オブジェクトは、放送データに含まれているオブジェクトに限らず、受信装置内で生成された画像であってもよい。このような受信装置内で生成される画像の例としては、文字情報などからなる時間情報およびタイトル、並びに、CGその他のグラフィックスなどが考えられる。本実施形態は、時間情報、タイトルおよびグラフィックスなどの表示位置を番組のカテゴリに対応させて自動的に変化させるものである。
【０１５９】
キャラクタ画像、例えば時間情報に関しては、MPEG4ビットストリームの追加データに含まれて送られてくる時間表示の基になる時間データや、テレビ放送受信装置内のクロック信号などを利用して、キャラクタ発生部40で生成される。さらに、キャラクタ発生部40は、追加データ中に受信装置内のクロックによる時間表示を行わせるコマンドが存在する場合、または、システムコントローラ38により独自に時間表示命令が発行された場合、これに従い、内部クロックを用いてそれぞれのコマンドに応じた時間表示画像を出力する。なお、実際に時間表示画像103を生成する、つまりキャラクタ発生動作の役割を担うのはキャラクタ発生部40およびキャラクタのデータが格納されたメモリ42であり、画像の合成は表示制御部34が行い、システムコントローラ38はそれらを制御することで時間表示画像103を生成させ表示させる。
【０１６０】
なお、MPEG2データストリームのサブコード内に一情報として含まれるタイムスタンプを利用しても同様の動作を実現できる。タイトルやグラフィックスに関する画像生成も同様であり、追加データに含まれたコマンドに従い、適切なタイミングで所定の画像が生成、合成、表示される。第1実施形態で取り上げた野球中継放送では、例えば、得点表示オブジェクト310の代わりにチーム名および得点を示す付加情報を追加データから取り出し、チーム名および得点を表す画像を生成する、なども考えられる。このように、受信装置内で生成された画像を、放送データに含まれるオブジェクトの如く扱うようにすれば、より扱いやすいシステムが構築できる。
【０１６１】
本実施形態の受信装置内で生成したキャラクタや画像のレイアウト設定に関しては、生成されたキャラクタや画像のレイアウト位置（オブジェクト位置）をデータ化し、その位置データ、番組のカテゴリ情報、そのキャラクタや画像（オブジェクト）の識別情報、および、キャラクタや画像の生成動作の制御を含む各部の制御データを、レイアウト設定データとして記憶しておく。なお、位置データの設定は図20および図21で説明した方法と同様である。これに加えて、メモリ42から読み出すキャラクタ生成用データや、キャラクタ発生部40で生成するキャラクタの生成動作をコマンドに対応させて制御し、適切なキャラクタを生成させる。
【０１６２】
発生されたキャラクタや画像は、第1実施形態と同様、受信されたオブジェクトと合成され表示される。この場合もまた、番組のカテゴリ情報によって合成や表示方法が制御される。
【０１６３】
本実施形態によれば、第1実施形態の効果に加えて、受信装置内で生成したキャラクタや画像に対しても、レイアウト設定機能を実現することができるので、通信（伝送）にかかる負荷を低減する効果を有する。
【０１６４】
このように、ディジタルテレビ放送において、パーソナルコンピュータ(PC)との融合も容易になり、現在、PCのデスクトップ上で行っているようなレイアウト設定などを、テレビ映像に対してもカスタマイズできるので、テレビ放送とPCとの相性もよくなり、また、ディジタル複合製品の分野において市場拡大の効果が期待できる。
【０１６５】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１６６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６８】
【発明の効果】
以上説明したように、本発明によれば、ディジタルテレビ放送における画像（映像）の再生形態に関する新たな機能を提供することができる。
【図面の簡単な説明】
【図１】衛星放送を用いたディジタル放送受信機の構成例を示すブロック図、
【図２】複数種類のオブジェクトを同時に入力し符号化処理する構成例を示すブロック図、
【図３】ユーザ操作（編集）を考慮に入れたシステムの構成例示す図、
【図４】ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図、
【図５】ビデオオブジェクトに関するVOP処理回路のデコーダ側のブロック図、
【図６】 VOPの符号化および復号の全体構成を示すブロック図、
【図７Ａ】 VOPを構成する情報を示す図、
【図７Ｂ】 VOPを構成する情報を示す図、
【図８】テキスチャ符号化のAC/DC予測符号化を説明するための図、
【図９Ａ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図９Ｂ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図１０Ａ】ワープを説明する図、
【図１０Ｂ】ワープの種類を説明する図、
【図１１】ワープを説明する図、
【図１２】シーン記述情報の構成例を示す図、
【図１３】 MPEG4オーディオの符号化方式の種類を示す図、
【図１４】オーディオ符号化方式の構成を示す図、
【図１５】 MPEG4のシステム構造を説明する図、
【図１６】 MPEG4のレイヤ構造を説明する図、
【図１７】双方向復号を説明する図、
【図１８】重要情報の複数回伝送を説明する図、
【図１９】本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図、
【図２０】レイアウト設定する際の位置データの設定方法を説明する図、
【図２１】レイアウト設定する際のイメージと指示の入力方法とを説明する図、
【図２２】レイアウト設定データの構成を説明する図、
【図２３】一般的なMPEG4ビットストリームの構成を示す図、
【図２４】本実施形態による映像の表示形態例を示す図、
【図２５】本実施形態による映像の表示形態例を示す図、
【図２６】本実施形態による映像の表示形態例を示す図、
【図２７】本実施形態による映像の表示形態例を示す図、
【図２８】本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャート、
【図２９】本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャート、
【図３０】 MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部の構成例を示すブロック図、
【図３１】テレビ放送受信装置に搭載される復号部の構成例を示すブロック図、
【図３２】 MPEG2画像を含むMPEG4のビットストリーム例を示す図である。
【発明の属する技術分野】
本発明は放送受信装置およびその方法に関し、例えば、ディジタルテレビ放送を受信し、画像およびサウンドの再生が可能な放送受信装置およびその方法に関するものである。
【０００２】
【従来の技術】
近年、衛星放送やケーブル放送を用いたディジタルテレビ放送が開始された。ディジタル放送の実現により、画像や音声を含むサウンドの品質向上、圧縮技術を利用した番組の種類や量の増大、インタラクティブサービスなど新しいサービスの提供、受信形態の進化など多くの効果が期待される。
【０００３】
図1は衛星放送を用いたディジタル放送受信機10の構成例を示すブロック図である。
【０００４】
まず、放送衛星によって送信されたテレビ(TV)情報がアンテナ1で受信される。受信されたTV情報はチューナ2で選局され復調される。その後、図示しないが、誤り訂正処理、必要であれば課金処理やデスクランブル処理などが行われる。次に、TV情報として多重化されている各種データを多重信号分離回路3で分離する。TV情報は画像情報、サウンド情報およびその他の付加データに分離される。分離された各データは復号回路4で復号される。こうして復号された各データのうち画像情報とサウンド情報はD/A変換回路5でアナログ化され、テレビジョン受像機(TV)6で再生される。一方、付加データは、番組サブデータとしての役割をもち各種機能に関与する。
【０００５】
さらに、受信されたTV情報の記録再生にはVTR7が利用される。受信機10とVTR7との間はIEEE1394などのディジタルインタフェイスで接続されている。このVTR7は、ディジタル記録方式の記録形態を備え、例えばD-VHS方式などによりTV情報をビットストリーム記録する。なお、D-VHS方式のビットストリーム記録に限らず、その他の民生用ディジタル記録方式であるDVフォーマットや、各種ディスク媒体を用いたディジタル記録装置などでもディジタルテレビ放送のTV情報を記録することが可能である。ただし、フォーマット変換が必要になる場合がある。
【０００６】
【発明が解決しようとする課題】
地上波放送およびディジタルテレビ放送におけるテレビ番組を家庭のテレビジョンで再生する場合、放送局から送られてくる映像をそのまま表示するのが普通である。言い換えれば、効果的に表示形態（レイアウト）を変化させる行為、例えば、必要に応じて映像中の物体を表示させたりさせなかったり、物体のサイズを変えたりすることは行われていない。このような表示形態を効果的に変化させる機能は、ディジタルテレビ放送の発展に伴う多チャンネル化および多プログラム化の過程で、効果的な表示方法の新機能を追加していくという観点から是非必要なものの一つと考えられる。
【０００７】
レイアウトを設定したい状況として次の例があげられる。野球の中継放送は、同じカテゴリの番組ではあっても、放送局によって表示レイアウトが異なる。このため、例えば得点表示のオブジェクトなどを、放送局に関係なく共通のレイアウトで見るためには、ユーザにより好みに合ったレイアウトが設定できることが望ましい。しかし、現状ではレイアウト設定は困難である。
【０００８】
本発明は、ディジタルテレビ放送における画像（映像）の再生形態に関する新たな機能を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１０】
本発明にかかる放送受信装置は、テレビ放送のディジタルデータ列を受信する受信手段と、前記受信されたディジタルデータ列から画像、サウンドおよびシステムデータを復号する復号手段と、前記復号されたシステムデータに基づき、前記復号された画像および/またはサウンドの再生形態を制御する制御手段とを有し、前記制御手段は、前記システムデータに含まれる放送内容を示すカテゴリ情報、および、前記復号された画像を構成する画像オブジェクトに対応する再生形態の設定データを記憶手段から読み出して受信中の放送番組に適用することを特徴とする。
【００１２】
本発明にかかる放送受信方法は、テレビ放送のディジタルデータ列を受信し、前記受信したディジタルデータ列から画像、サウンドおよびシステムデータを復号し、前記復号したシステムデータに基づき、前記復号した画像および/またはサウンドの再生形態を制御する各ステップを有し、前記再生形態の制御は、前記システムデータに含まれる放送内容を示すカテゴリ情報、および、前記復号した画像を構成する画像オブジェクトに対応する再生形態の設定データを記憶手段から読み出して受信中の放送番組に適用する。
【００１４】
【発明の実施の形態】
［概要］
本実施形態は、MPEG4符号化の特徴であるオブジェクトの概念を用いることによって、オブジェクト単位での表示位置の変更を可能にし、ユーザ固有、かつ、放送局に関係なく番組内容に応じて統一されたレイアウトの画像（映像）表示を実現する。オブジェクトとは、背景画像、話者およびその音声などであり、MPEG4符号化はそれぞれのオブジェクトを符号化/復号して、各オブジェクトを組み合わせることで一つのシーンを表現する。
【００１５】
本実施形態の具体的なレイアウト設定機能は、MPEG4を用いた放送システムにおいて、リアルタイム画像情報の表示に関して、表示する画像をオブジェクト単位で操作することが可能であり、番組のカテゴリ情報に応じて統一されたレイアウトの画像（映像）表示を設定する機能を有する。このカテゴリに対応されたレイアウトには、所定位置およびユーザが任意の設定した位置が含まれる。
【００１６】
また、本実施形態は、オブジェクトの内容を示すオブジェクト情報を参照して、番組のカテゴリに対応されたレイアウトを行う場合に、オブジェクトの分類および配置制御を行う。
【００１７】
このように、本実施形態によれば、同一カテゴリの番組であっても、放送局により異なるレイアウトで表示される欠点を解消することができ、放送局に関係なく、カテゴリ毎に統一されたレイアウトで共通するオブジェクトを表示することができる。また、デフォルト設定のレイアウトを有するほか、ユーザが好むレイアウトを任意に設定することもできる。従って、ディジタルテレビ放送を視聴するユーザの視覚的効果およびユーザンタフェイスの質を向上することができ、テレビ放送の映像表示に新しい機能を追加することができる。
【００１８】
以下では、本発明にかかる一実施形態の受信装置として、MPEG4符号化方式を用いるディジタルテレビ放送を受信する受信装置の構成例を説明するが、まずMPEG4に関する技術を分野ごとに分けて詳細に説明する。
【００１９】
【ＭＰＥＧ４の概要】
［規格の全体構成］
MPEG4規格は大きな四つの項目からなる。このうち三つの項目はMPEG2と類似していて、ビジュアルパート、オーディオパートおよびシステムパートである。
【００２０】
●ビジュアルパート
自然画、合成画、動画および静止画などを扱うオブジェクト符号化方式が規格として定められている。また、伝送路誤りの訂正や修復に適した符号化方式、同期再生機能および階層符号化が含まれている。表現上『ビデオ』は自然画像を意味し、『ビジュアル』は合成画像まで含む。
【００２１】
●オーディオパート
自然音、合成音および効果音などを対象にしたオブジェクト符号化方式が規格として定められている。ビデオパートやオーディオパートでは複数の符号化方式を規定し、それぞれのオブジェクトの特徴に適した圧縮方式を適宜選択することで、符号化効率を高める工夫がされている。
【００２２】
●システムパート
符号化された映像オブジェクトやサウンドオブジェクトの多重化処理と、その逆の分離処理を規定する。さらにバッファメモリや時間軸制御と再調整機能もこのパートに含まれる。上記のビジュアルパートおよびオーディオパートで符号化された映像オブジェクトやサウンドオブジェクトは、シーンのなかのオブジェクトの位置や出現時刻および消滅時刻などを記したシーン構成情報とともにシステムパートの多重化ストリームに統合される。復号処理としては、受信したビットストリームから、それぞれのオブジェクトを分離/復号し、シーン構成情報に基づきシーンを再構成する。
【００２３】
［オブジェクトの符号化］
MPEG2ではフレームあるいはフィールドを単位として符号化するが、コンテンツの再利用や編集を実現するために、MPEG4では映像データやオーディオデータをオブジェクト（物体）として扱う。オブジェクトには以下のような種類がある。
サウンド
自然画像（背景映像: 二次元固定映像）
自然画像（主被写体映像: 背景なし）
合成画像
文字画像
【００２４】
これらを同時に入力し符号化処理する場合のシステム構成例を図2に示す。サウンドオブジェクト符号化器5001、自然画像オブジェクト符号化器5002、合成画像オブジェクト符号化器5003および文字オブジェクト符号化器5004により、オブジェクトはそれぞれ符号化処理される。この符号化と略同時に、シーン内における各オブジェクトの関連を示すシーン構成情報を、シーン記述情報符号化器5005により符号化する。符号化されたオブジェクト情報およびシーン記述情報は、データ多重化器5006によりMPEG4ビットストリームへエンコード処理される。
【００２５】
このようにエンコード側では、複数のビジュアルオブジェクトやオーディオオブジェクトの組み合わせを定義して、一つのシーン（画面）を表現する。ビジュアルオブジェクトに関しては、自然画像とコンピュータグラフィクスなどの合成画像とを組み合わせたシーンも構成できる。また、上記のような構成をとることで、例えば、テキスト音声合成の機能を使って、被写体映像とその音声との同期再生が可能になる。なお、前記のビットストリーム状態で送受信または記録再生が行われる。
【００２６】
デコード処理は、先のエンコード処理の逆処理である。データ分離器5007により、MPEG4ビットストリームを各オブジェクトに分離し分配する。分離されたサウンド、自然画像、合成画像および文字などのオブジェクトは、対応する復号器5008から5011によりオブジェクトデータへ復号される。また、シーン記述情報も略同時に復号器5012により復号される。これらの復号情報を用いて、シーン合成器5013は、元のシーンを合成する。
【００２７】
デコード側では、シーンに含まれるビジュアルオブジェクトの位置や、オーディオオブジェクトの順番など、部分的な変更が可能である。オブジェクト位置はドラッグにより変更でき、言語の変更などはユーザがオーディオオブジェクトを変更することで可能になる。
【００２８】
複数のオブジェクトを自由に組み合わせてシーンを合成するために、次の四つの項目が規定されている。
【００２９】
●オブジェクト符号化
ビジュアルオブジェクトおよびオーディオオブジェクト、並びに、それらを組み合わせたAV（オーディオビジュアル）オブジェクトを符号化対象とする。
【００３０】
●シーン合成
ビジュアルオブジェクト、オーディオオブジェクトおよびAVオブジェクトを所望するシーンに構成するためのシーン構成情報と合成方式とを規定するために、Virtual Reality Modeling Language(VRML)をモディファイした言語を用いる。
【００３１】
●多重化と同期
各オブジェクトを多重同期したストリーム（エレメンタリストリーム）の形式などを定める。このストリームをネットワークに流したり、記録装置に格納するときのサービス品質QOS(Quality of Service)も設定可能である。QOSパラメータには、最大伝送速度、誤り率および伝送方式などの伝送路条件や復号能力などが設けられている。
【００３２】
●ユーザの操作（インタラクション）
ビジュアルオブジェクトやオーディオオブジェクトを、ユーザ端末側で合成する方式を定義する。MPEG4のユーザ端末は、ネットワークや記録装置から送られてくるデータを、エレメンタリストリームに分離して、各オブジェクトごとに復号する。複数の符号化されたデータから、同時に送られてきたシーン構成情報を基にしてシーンを再構成する。
【００３３】
ユーザ操作（編集）を考慮に入れたシステムの構成例を図3に示す。また、ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図を図4に、デコーダ側のブロック図を図5に示す。
【００３４】
［VOP(Video Object Plane)］
MPEG4における映像の符号化は、対象の映像オブジェクトを形状(Shape)とその絵柄(Texture)に分けてそれぞれ符号化する。この映像データの単位をVOPという。図6はVOPの符号化および復号の全体構成を示すブロック図である。
【００３５】
例えば、画像が人物と背景の二つのオブジェクトから構成されている場合、各フレームを二つのVOPに分割して符号化する。各VOPを構成する情報は、図7Aに示されるように、オブジェクトの形状情報、動き情報およびテキスチャ情報である。一方、復号器は、ビットストリームをVOP毎に分離し個別に復号した後、これらを合成して画像を形成する。
【００３６】
このように、VOP構造の導入により、処理対象の画像が複数の映像オブジェクトから構成されている場合、これを複数のVOPに分割し、個別に符号化/復号することができる。なお、VOPの数が1で、オブジェクト形状が矩形の場合は、図7Bに示すように、従来からのフレーム単位の符号化になる。
【００３７】
VOPには三種類の予測方式、面内符号化(I-VOP)、前方向予測(P-VOP)および双方向予測(B-VOP)がある。予測単位は16×16画素のマクロブロック(MB)である。
【００３８】
双方向予測B-VOPは、MPEG1およびMPEG2のBピクチャと同じく、過去のVOPおよび未来のVOPの両方向からVOPを予測する方式である。そして、マクロブロック単位に直接符号化/前方符号化/後方符号化/双方符号化の四種類のモードが選択可能である。そしてこのモードは、MBまたはブロック単位に切り替えることが可能である。P-VOPの動きベクトルのスケーリングで双方向予測する。
【００３９】
［形状(Shape)符号化］
オブジェクト（物体）単位で画像を扱うためには、物体の形状が符号化および復号の際に既知でなければならない。また、後方にある物体が透けて見えるガラスのような物体を表現するためには、物体の透明度を表す情報が必要になる。この物体の形状および物体の透明度の情報を合わせて形状情報と呼ぶ。そして、形状情報の符号化を形状符号化と呼ぶ。
【００４０】
［サイズ変換処理］
二値形状符号化は、画素毎に物体の外側にあるのか内側にあるのかを判定して、境界画素を符号化する手法である。従って、符号化すべき画素数が少ないほど発生符号量も少なくて済む。しかし、符号化すべきマクロブロックサイズを小さくすることは、元の形状符号が劣化して受信側に伝送されることになる。従って、サイズ変換により元の情報がどの程度劣化するかを測定し、所定のしきい値以下のサイズ変換誤差が得られる限りは、できるだけ小さなマクロブロックサイズを選択する。具体的なサイズ変換比率としては、原寸大、縦横1/2倍、縦横1/4倍の三種類が挙げられる。
【００４１】
各VOPの形状情報は、8ビットのα値として与えられ、次のように定義される。
α = 0: 該当VOPの外側
α = 1〜254: 他のVOPと半透明状態で表示
α = 255: 該当VOPのみの表示領域
【００４２】
二値形状符号化は、α値が0あるいは255をとる場合であり、該当VOPの内側と外側のみで形状が表現される。多値形状符号化は、α値が0から255のすべての値を取り得る場合で、複数のVOP同士が半透明で重畳された状態を表現することができる。
【００４３】
テキスチャ符号化と同様に16×16画素のブロック単位に一画素精度の動き補償予測をする。オブジェクト全体を面内符号化する場合は形状情報の予測はしない。動きベクトルは、隣接するブロックから予測した動きベクトルの差分を用いる。求めた動きベクトルの差分値は、符号化してからビットストリームに多重化する。MPEG4では、動き補償予測したブロック単位の形状情報を二値形状符号化する。
【００４４】
●フェザーリング
その他、二値形状の場合でも、境界部を不透明から透明に滑らかに変化させたい場合はフェザーリング（境界形状のスムージング）を使う。フェザーリングは、境界値を線形に補間する線形フェザーリングモードと、フィルタを使うフェザーリングフィルタモードがある。不透明度が一定な多値形状には、定アルファモードがあり、フェザーリングと組み合わせが可能である。
【００４５】
［テキスチャ符号化］
オブジェクトの輝度成分や色差成分の符号化を行うもので、フィールド/フレーム単位のDCT(Discrete Cosine Tranfer)、量子化、予測符号化および可変長符号化の順に処理する。
【００４６】
DCTは8×8画素のブロックを処理単位とするが、オブジェクト境界がブロック内にある場合は、オブジェクトの平均値でオブジェクト外の画素を補填する。その後、4タップの二次元フィルタ処理を施すことで、DCT係数に大きな擬似ピークが発生する現象を防ぐ。
【００４７】
量子化はITU-T勧告H.263の量子化器あるいはMPEG2の量子化器の何れかを使う。MPEG2量子化器を使えば、直流成分の非線形量子化やAC成分の周波数重み付けが可能になる。
【００４８】
量子化後の面内符号化係数は、可変長符号化する前にブロック間で予測符号化し冗長成分を削除する。とくに、MPEG4では直流成分と交流成分の両方に対して予測符号化する。
【００４９】
テキスチャ符号化のAC/DC予測符号化は、図8に示すように、注目ブロックに隣接するブロック間で対応する量子化係数の差分（勾配）を調べ、小さい方の量子化係数を予測に使う。例えば、注目ブロックの直流係数xを予測する場合、対応する隣接ブロックの直流係数がa、bおよびcならば次のようになる。
|a - b| < |b - c| ならば直流係数cを予測に使う
|a - b| ≧ |b - c| ならば直流係数aを予測に使う
【００５０】
注目ブロックの交流係数Xを予測する場合も、上記と同様に予測に使う係数を選んだ後、各ブロックの量子化スケール値QPで正規化する。
【００５１】
直流成分の予測符号化は、隣接するブロック間で上下に隣接するブロックの直流成分の差（垂直勾配）と、左右に隣接するブロックの直流成分の差（水平勾配）を調べ、勾配の少ない方向のブロックの直流成分との差分を予測誤差として符号化する。
【００５２】
交流成分の予測符号化は、直流成分の予測符号化に合わせて、隣接ブロックの対応する係数を用いる。ただし、量子化パラメータの値がブロック間で異なっている可能性があるので、正規化（量子化ステップスケーリング）してから差分をとる。予測の有無はマクロブロック単位に選択できる。
【００５３】
その後、交流成分は、ジグザグスキャンされ、三次元(Last、RunおよびLevel)可変長符号化される。ここで、Lastはゼロ以外の係数の終りを示す1ビットの値、Runはゼロの継続長、Levelは非ゼロ係数の値である。
【００５４】
面内符号化された直流成分の可変長符号化には、直流成分用可変長符号化テーブルまたは交流成分用可変長テーブルの何れかを使う。
【００５５】
［動き補償］
MPEG4では任意の形状のビデオオブジェクトプレーン(VOP)を符号化することができる。VOPには、前述したように、予測の種類によって面内符号化(I-VOP)、前方向予測符号化(P-VOP)および双方向予測符号化(B-VOP)があり、予測単位は16ライン×16画素または8ライン×8画素のマクロブロックを使う。従って、VOPの境界上に跨るマクロブロックも存在することになる。このVOP境界の予測効率を改善するために、境界上のマクロブロックに対してはパディング（補填）およびポリゴンマッチング（オブジェクト部分のみのマッチング）を行う。
【００５６】
［ウェーブレット符号化］
ウェーブレット(wavelet)変換は、一つの孤立波関数を拡大/縮小/平行移動して得られる複数の関数を変換基底とする変換方式である。このウェーブレット変換を用いた静止画像の符号化モード(Texture Coding Mode)は、とくにコンピュータグラフィックス(CG)画像と自然画像とが合成された画像を扱う場合に、高解像度から低解像度までの様々な空間解像度を備えた高画質の符号化方式として適している。ウェーブレット符号化は、画像をブロック分割せず一括して符号化することができるため、低ビットレートでもブロック歪みが発生せず、モスキート雑音も減少できる。このように、MPEG4の静止画像符号化モードは、低解像度かつ低画質の画像から高解像度かつ高画質の画像までの幅広いスケーラビリティ、処理の複雑性および符号化効率のトレードオフの関係をアプリケーションに応じて調整できる。
【００５７】
［階層符号化（スケーラビリティ）］
スケーラビリティを実現するために、図9Aおよび9Bに示すようなシンタックスの階層構造を構成する。階層符号化は、例えばベースレイヤを下位レイヤ、補強レイヤを上位レイヤとし、補強レイヤにおいてベースレイヤの画質を向上する「差分情報」を符号化することによって実現される。空間スケーラビリティの場合、ベースレイヤは低解像度の動画像を、「ベースレイヤ+補強レイヤ」で高解像度の動画像を表す。
【００５８】
さらに、画像全体の画質を階層的に向上させるほかに、画像中の物体領域のみ画質を向上させる機能がある。例えば、時間スケーラビリティの場合、ベースレイヤは画像全体を低いフレームレートで符号化したもの、補強レイヤは画像内の特定オブジェクトのフレームレートを向上させるデータを符号化したものになる。
【００５９】
●時間スケーラビリティ
図9Aに示す時間スケーラビリティは、フレーム速度を階層化し、補強レイヤのオブジェクトのフレーム速度を速くすることができる。階層化の有無はオブジェクト単位で設定できる。補強レイヤのタイプは二つで、タイプ1はベースレイヤのオブジェクトの一部で構成する。タイプ2はベースレイヤと同じオブジェクトで構成する。
【００６０】
●空間スケーラビリティ
図9Bに示す空間スケーラビリティは空間解像度を階層化する。ベースレイヤは、任意のサイズのダウンサンプリングが可能で、補強レイヤの予測に使用される。
【００６１】
［スプライト符号化］
スプライトとは、三次元空間画像における背景画像などのように、オブジェクト全体が統一的に移動、回転、変形などを表現できる平面的なオブジェクトのことである。この平面的オブジェクトを符号化する手法をスプライト符号化と呼ぶ。
【００６２】
スプライト符号化は四種、静的/動的およびオンライン/オフラインに区別される。詳しく説明すると、オブジェクトデータを予め復号器に送り、グローバル動き係数だけをリアルタイムに伝送する構成であって、テンプレートオブジェクトの直接変換で得られる静的スプライト。時間的に前のスプライトからの予測符号化により得られる動的スプライト。事前に面内符号化(I-VOP)により符号化され、復号器側に伝送されるオフラインスプライト。符号化中に符号化器および復号器で同時に作成されるオンラインスプライトがある。
【００６３】
スプライト符号化に関して検討されている技術には、スタティックスプライト(Static Sprite)符号化、ダイナミックスプライト(Dynamic Sprite)符号化、グローバル動き補償などがある。
【００６４】
●スタティックスプライト符号化
スタティックスプライト符号化は、ビデオクリップ全体の背景（スプライト）を予め符号化しておき、背景の一部を幾何変換することによって画像を表現する方法である。切り出された一部の画像は、平行移動、拡大/縮小、回転など様々な変形を表現することができる。これについて図10Aに示すように、画像の移動、回転、拡大/縮小、変形などにより三次元空間における視点移動を表現することをワープと呼ぶ。
【００６５】
ワープの種類には遠近法変換、アフィン変換、等方拡大(a)/回転(θ)/移動(c, f)および平行移動があり、図10Bの各式で表される。図10Bに示す式の係数によって移動、回転、拡大/縮小、変形などが表される。また、スプライトの生成は符号化開始前にオフラインで行われる。
【００６６】
このように、背景画像の一部領域を切り取り、この領域をワープして表現することでスタティックスプライト符号化は実現される。図11に示すスプライト（背景）画像に含まれる一部領域がワープされることになる。例えば、背景画像はテニスの試合における観客席などの画像であり、ワープされる領域はテニスプレーヤなどの動きのあるオブジェクトを含んだ画像である。また、スタティックスプライト符号化においては、幾何変換パラメータのみを符号化して、予測誤差を符号化しない。
【００６７】
●ダイナミックスプライト符号化
スタティックスプライト符号化では符号化前にスプライトが生成される。これに対して、ダイナミックスプライト符号化では、符号化しながらオンラインにスプライトを更新することができる。また、予測誤差を符号化するという点でスタティックスプライト符号化とは異なる。
【００６８】
●グローバル動き補償(GMC)
グローバル動き補償とは、オブジェクト全体の動きを、ブロックに分割することなく、一つの動きベクトルで表して動き補償する技術であり、剛体の動き補償などに適している。参照画像が、スプライトの代わりに直前の復号画像になる点、予測誤差を符号化する点では、スタティックスプライト符号化と同様である。ただし、スプライトを格納するためのメモリを必要としないこと、形状情報が不要であることは、スタティックスプライト符号化およびダイナミックスプライト符号化とは異なる。画面全体の動きや、ズームを含む画像などにおいて効果がある。
【００６９】
［シーン構造記述情報］
シーン構成情報によりオブジェクトは合成される。MPEG4では、各オブジェクトをシーンに合成するための構成情報を伝送する。個別に符号化された各オブジェクトを受信したときに、シーン構成情報を使えば、送信側が意図したとおりのシーンに合成できる。
【００７０】
シーン構成情報には、オブジェクトの表示時間や表示位置などが含まれ、これらがツリー状のノード情報として記述されている。各ノードは、親ノードに対する時間軸上の相対時刻情報と相対空間座標位置情報をもつ。シーン構成情報を記述する言語には、VRMLを修正したBIFS(Binary Format for Scenes)とJava(TM)を用いたAAVS(Adaptive Audio-Visual Session Format)がある。BIFSは、MPEG4のシーン構成情報を二値で記述する形式。AAVSはJava(TM)をベースとし、自由度が大きくBIFSを補う位置付けにある。図12はシーン記述情報の構成例を示す図である。
【００７１】
［シーン記述］
シーン記述はBIFSによって行われる。ここでは、VRMLとBIFS共通の概念であるシーングラフとノードを中心に説明する。
【００７２】
ノードは光源、形状、材質、色および座標などの属性や、座標変換を伴う下位ノードのグループ化を指定する。オブジェクト指向の考えを取り入れ、三次元空間中の各物体の配置やみえ方は、シーングラフと呼ばれる木を、頂点のノードから辿り、上位ノードの属性を継承することにより決定される。葉にあたるノードにメディアオブジェクト、例えば、MPEG4ビデオのビットストリームを同期をとって割当てれば、他のグラフィクスと伴に動画を三次元空間内に合成して表示することができる。
【００７３】
また、VRMLとの差異は下記のとおりである。MPEG4システムでは次をBIFSでサポートする。
(1)MPEG4ビデオVOP符号化の二次元オーバラップ関係記述と、MPEG4オーディオの合成記述
(2)連続メディアストリームの同期処理
(3)オブジェクトの動的振る舞い表現（例えばスプライト）
(4)伝送形式（バイナリ）を標準化
(5)セッション中にシーン記述を動的に変更
【００７４】
VRMLのノードのうちExtrusion、Script、ProtoおよびExtemProtoなどがサポートされていない以外は、VRMLノードのほぼすべてがBIFSでサポートされている。BIFSで新たに加えられたMPEG4特別ノードには、以下のものがある。
(1)2D/3D合成のためのノード
(2)2Dグラフィクスやテクストのためのノード
(3)アニメーションノード
(4)オーディオノード
【００７５】
特筆すべきは、VRMLでは背景など特殊なノードを除き2D合成はサポートされていなかったが、BIFSでは、テキストやグラフィックオーバレイ、さらにMPEG4ビデオVOP符号化を画素単位で扱えるように記述が拡張されている。
【００７６】
アニメーションノードには、3Dメッシュで構成された顔などMPEG4のCG画像のための特別なノードが規定されている。シーングラフ中のノードの置き換え、消去、追加および属性変更が動的に行えるメッセージ(BIFS Update)があり、セッションの途中で画面上に新たな動画像を表示したり、ボタンを追加することが可能になる。BIFSは、VRMLの予約語、ノード識別子および属性値をほぼ一対一にバイナリデータに置き換えることにより実現できる。
【００７７】
［MPEG4オーディオ］
図13にMPEG4オーディオの符号化方式の種類を示す。オーディオおよびサウンドの符号化には、パラメトリック符号化、CELP(Code Excited Linear Prediction)符号化、時間/周波数変換符号化が含まれる。さらに、SNHC(Synthetic Natural Hybrid Coding)オーディオの機能も取り入れ、SA（Structured Audio: 構造化オーディオ）符号化とTTS（Text to Speech: テキストサウンド合成）符号化が含まれる。SAはMIDI(Music Instrument Degital Interface)を含む合成楽音の構造的記述言語であり、TTSは外部のテキスト音声合成装置にイントネーションや音韻情報などを送るプロトコルである。
【００７８】
図14にオーディオ符号化方式の構成を示す。図14において、入力サウンド信号を前処理(201)し、パラメトリック符号化(204)、CELP符号化(205)および時間/周波数符号化(206)の三つの符号化を使い分けるように、帯域に応じて信号分割(202)し、それぞれに適した符号化器へ入力する。また、信号分析制御(203)により、入力オーディオ信号が分析され、入力オーディオ信号を各符号化器へ割り当てるための制御情報などが発生される。
【００７９】
続いて、それぞれ別の符号化器であるパラメトリック符号化コア(204)、CELP符号化コア(205)、時間/周波数変換符号化コア(206)は、各符号化方式に基づいた符号化処理を実行する。これら三種の符号化方式については後述する。パラメトリック符号化およびCELP符号化されたオーディオデータは、小ステップ強化(207)され、時間/周波数変換符号化および小ステップ強化されたオーディオデータは、大ステップ強化(208)される。なお、小ステップ強化(207)および大ステップ強化(208)は、各符号化処理で発生する歪を減少させるためのツールである。こうして、大ステップ強化されたオーディオデータは、符号化されたサウンドビットストリームになる。
【００８０】
以上が図75のサウンド符号化方式の構成の説明であるが、次に、図13を参照しながら各符号化方式について説明する。
【００８１】
●パラメトリック符号化
音声信号や楽音信号を含むサウンド信号を周波数、振幅およびピッチなどのパラメータで表現し、それを符号化する。音声信号用の調波ベクトル駆動符号化(HVXC: Harmonic Vector Excitation Coding)と、楽音信号用の個別スペクトル(IL: Individual Line)符号化が含まれる。
【００８２】
HVXC符号化は、主として2k〜4kbpsの音声符号化を目的とし、音声信号を有声音と無声音に分類し、有声音は線形予測係数(LPC: Linear Prediction Coefficient)の残差信号の調波（ハーモニック）構造をベクトル量子化する。無声音については、予測残差をそのままベクトル駆動符号化(vector excitation coding)する。
【００８３】
IL符号化は、6k〜16kbpsの楽音の符号化を目的としており、信号を線スペクトルでモデル化して符号化するものである。
【００８４】
●CELP符号化
入力サウンド信号をスペクトル包絡情報と音源情報（予測誤差）とに分離して符号化する方式である。スペクトル包絡情報は、入力サウンド信号から線形予測分析によって算出される線形予測係数によって表される。MPEG4のCELP符号化には帯域幅4kHzの狭帯域CELPと、帯域幅8kHzの広帯域CELPがあり、狭帯域(NB: Narrow Band) CELPは3.85〜12.2kbps、広帯域(WB: Wide Band) CELPは13.7k〜24kbpsの間においてビットレートの選択が可能である。
【００８５】
●時間/周波数変換符号化
高音質を目指す符号化方式である。AAC(Advanced Audio Coding)に準拠する方式、およびTwinVQ（Transform-domain Weighted Interleave Vector Quantization: 変換領域重み付けインタリーブベクトル量子化）がこれに含まれる。この時間/周波数変換符号化には聴覚心理モデルが組み込まれ、聴覚マスキング効果を利用しながら適応量子化する仕組みになっている。
【００８６】
AAC準拠方式は、オーディオ信号をDCTなどで周波数変換し、聴覚マスキング効果を利用しながら適応量子化する仕組みである。適応ビットレートは24k〜64kbpsである。
【００８７】
TwinVQ方式は、オーディオ信号を線形予測分析したスペクトル包絡を用いて、オーディオ信号のMDCT係数を平坦化する。インタリーブを施した後、二つの符号長を用いてベクトル量子化する仕組みである。適応ビットレートは6k〜40kbpsである。
【００８８】
［システム構造］
MPEG4のシステムパートでは、多重化、分離および合成（コンポジション）を定義する。以下、図15を用いてシステム構造を説明する。
【００８９】
多重化においては、映像符号化器やオーディオ符号化器からの出力である各オブジェクトや、各オブジェクトの時空間配置を記述したシーン構成情報などのエレメンタリストリームごとに、アクセスユニットレイヤでパケット化される。アクセスユニットレイヤでは、アクセスユニット単位に同期を取るためのタイムスタンプや参照クロックなどがヘッダとして付加される。パケット化されたストリームは、次に、FlexMuxレイヤで表示や誤り耐性の単位で多重化され、TransMuxレイヤへ送られる。
【００９０】
TransMuxレイヤでは、誤り耐性の必要度に応じて誤り訂正符号が保護サブレイヤで付加される。最後に、多重サブレイヤ(Mux Sub Layer)で一本のTransMuxストリームとして伝送路に送り出される。TransMuxレイヤは、MPEG4では定義されず、インターネットのプロトコルであるUDP/IP(User Datagram Protocol/Internet Protocol)やMPEG2のトランスポートストリーム(TS)、ATM(Asynchronous Transfer Mode)のAAL2(ATM Adaptation layer2)、電話回線利用のテレビ電話用多重化方式（ITU-T勧告H.223）、および、ディジタルオーディオ放送などの既存のネットワークプロトコルが利用可能である。
【００９１】
システムレイヤのオーバヘッドを軽くし、従来のトランスポートストリームに容易に埋め込めるように、アクセスユニットレイヤやFlexMuxレイヤをバイパスすることも可能である。
【００９２】
復号側では、各オブジェクトの同期を取るために、デマルチプレクス（分離）の後段にバッファ(DB: Decoding Buffer)を設け、各オブジェクトの到達時刻や復号時間のずれを吸収する。合成の前にもバッファ(CB: Composition Buffer)を設けて表示タイミングを調整する。
【００９３】
［ビデオストリームの基本構造］
図16にレイヤ構造を示す。各階層をクラスと呼び、各クラスにはヘッダが付く。ヘッダとはstart code、end code、ID、形状およびサイズほかの各種符号情報である。
【００９４】
●ビデオストリーム
ビデオストリームは複数のセッションで構成される。セッションとは、一連の完結したシーケンスのことである。
VS: セッションは複数のオブジェクトで構成される
VO: ビデオオブジェクト
VOL: オブジェクトは複数のレイヤを含むオブジェクト単位のシーケンス
GOV: オブジェクトは複数のレイヤで構成される
VOP: オブジェクトレイヤは複数のプレーンで構成される
ただし、プレーンはフレーム毎のオブジェクト
【００９５】
［誤り耐性を有するビットストリーム構造］
MPEG4は、移動体通信（無線通信）などに対応すべく、符号化方式自体が伝送誤りに対する耐性を有している。既存の標準方式における誤り訂正は主にシステム側で行っているが、PHS(Personal Handy phone System)などのネットワークでは誤り率が非常に高く、システム側では訂正しきれない誤りがビデオ符号化部分に漏れ込んでくることが予想される。これを考慮して、MPEG4は、システム側で訂正しきれなかった各種のエラーパターンを想定し、このような環境の下でも可能な限り誤りの伝播が抑制されるような誤り耐性符号化方式とされている。ここでは、画像符号化に関する誤り耐性の具体的な手法と、そのためのビットストリーム構造を説明する。
【００９６】
●Reversible VLC(RVLC)と双方向復号
図17に示すように、復号途中で誤りの混入が確認された場合、そこで復号処理を一旦停止し、次の同期信号の検出を行う。次の同期信号が検出できた段階で、今度はそこから逆向きにビットストリームの復号処理を行う。新たな付加情報なしに、復号のスタートポイントが増加していることになり、誤り発生時に復号できる情報量を従来よりも増やすことが可能になる。このような順方向と同時に逆方向からも復号可能な可変長符号により「双方向復号」が実現される。
【００９７】
●重要情報の複数回伝送
図18に示すように、重要情報を複数回伝送することが可能な構成を導入し、誤り耐性を強化する。例えば、各VOPを正しいタイミングで表示するためにはタイムスタンプが必要であり、この情報は最初のビデオパケットに含まれている。仮に、誤りによってこのビデオパケットが消失しても、前記の双方向復号構造により次のビデオパケットから復号が再開できるが、このビデオパケットにはタイムスタンプがないため、結局、表示タイミングがわからないことになる。そのため各ビデオパケットにHEC(Header Extension Code)というフラグを立て、この後にタイムスタンプなどの重要情報を付加できる構造が導入された。HECフラグの後には、タイムスタンプとVOPの符号化モードタイプとが付加できる。
【００９８】
同期はずれが生じた場合は、次の同期回復マーカ(RM)から復号が開始されるが、各ビデオパケットにはそのために必要な情報、そのパケットに含まれる最初のMBの番号およびそのMBに対する量子化ステップサイズがRM直後に配置されている。その後にHECフラグが挿入され、HEC=‘1’の場合にはTRおよびVCTがその直後に付加される。これらHEC情報により、仮に、先頭のビデオパケットが復号できずに廃棄されても、HEC=‘1’と設定したビデオパケット以降の復号および表示は正しく行われることになる。なお、HECを‘1’にするか否かは符号化側で自由に設定できる。
【００９９】
●データパーティショニング
符号化側では、MB単位の符号化処理を繰り返してビットストリームを構成するため、途中に誤りが混入すると、それ以降のMBデータは復号できない。一方、複数のMB情報をまとめて幾つかのグループに分類し、それぞれをビットストリーム内に配置し、各グループの境目にマーカ情報を組み込めば、仮にビットストリームに誤りが混入してそれ以降のデータが復号できない場合でも、そのグループの最後にあるマーカで同期を取り直して、次のグループのデータを正しく復号することが可能になる。
【０１００】
以上の考えに基づき、ビデオパケット単位に、動きベクトルとテクスチャ情報（DCT係数など）とにグループ分けするデータパーティショニング手法(Data Partitioning)が採用されている。また、グループの境目にはモーションマーカ(MM:
Motion Marker)が配置される。
【０１０１】
仮に、動きベクトル情報の途中に誤りが混入していても、MMの後にくるDCT係数は正しく復号できるため、誤り混入以前の動きベクトルに対応するMBデータはDCT係数とともに正確に再生できる。またTexture部分に誤りが混入した場合でも、動きベクトルが正しく復号されていれば、その動きベクトル情報と復号済みの前フレーム情報とを用いて、ある程度正確な画像が補間再生（コンシールメント）できる。
【０１０２】
●可変長間隔同期方式
ここでは、可変長パケットで構成されている同期回復手法を説明する。先頭に同期信号を含んだMB群は「ビデオパケット」と呼ばれ、その中に何個のMBを含めるかは符号化側で自由に設定することができる。可変長符号(VLC: Variable Length Code)を使用するビットストリームに誤りが混入した場合、それ以降の符号の同期が取れなくなり、復号不可能な状態になる。このような場合でも、次の同期回復マーカを検出することにより、その後の情報を正しく復号することが可能になる。
【０１０３】
［バイトアライメント］
システムとの整合性をとるために、情報の多重化はバイトの整数倍単位で行われる。ビットストリームは、バイトアラインメント(Byte alignment)構造となっている。バイトアラインメントを行うために、各ビデオパケットの最後にスタッフビットが挿入される。さらにこのスタッフビットは、ビデオパケット内のエラーチェック符号としても使用される。
【０１０４】
スタッフビットは‘01111’のように、最初の1ビットが‘0’で、それ以外のビットがすべて‘1’であるような符号で構成されている。つまりビデオパケット内の最後のMBまで正しく復号されれば、その次に来る符号は必ず‘0’であり、その後にはスタッフビットの長さより1ビット分だけ短い‘1’の連続があるはずである。もし、このルールに反したパターンが検出された場合、それ以前の復号が正しく行われていないことになり、ビットストリームに誤りが混入していたことが検出できる。
【０１０５】
以上、「国際標準規格MPEG4の概要決まる」（日経エレクトロニス 1997.9.22号 p.147-168）、「見えてきたMPEG4の全貌」（社団法人映像情報メディア学会テキスト 1997.10.2）、「MPEG4の最新標準化動向と画像圧縮技術」（日本工業技術センター セミナー資料 1997.2.3）などを参考にして、MPEG4の技術に関して説明した。
【０１０６】
【第１実施形態】
［構成］
以下、本発明にかかる一実施形態のテレビ放送受信装置を図面を参照して詳細に説明する。図19は本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図である。
【０１０７】
ディジタルテレビ放送の信号は、その放送形態に応じて、衛星放送のときは衛星アンテナ21およびチューナ23により、ケーブル放送のときはケーブル22を介してチューナ24により、選局され受信される。こうして衛星放送もしくはケーブル放送から受信されたテレビ情報は、データ選択器43により一方のデータ列が選択され、復調回路25で復調され、誤り訂正回路26で誤り訂正される。
【０１０８】
続いて、テレビ情報は、多重データ分離回路27により多重されている各データ、つまり画像データ、サウンドデータおよびその他のシステムデータ（追加データ）に分離される。このうち、サウンドデータは、サウンド復号回路28で復号され、ステレオオーディオデータA(L),A(R)になり、サウンド制御部30により音量や音場定位の調整および主/副音声などサウンド多重への対応が処理された後、出力するサウンドが選択され、ディジタル-アナログコンバータ(D/A)29によりアナログ信号に変換されて、スピーカ31により再生される。
【０１０９】
一方、画像データは、画像データ中の各オブジェクトにそれぞれに対応して復号処理を行う複数の復号器からなる画像復号回路32で復号される。この復号方式は、既に説明したMPEG4の画像復号方式に基づくオブジェクト単位の復号である。復号された画像データは、オブジェクトの数に相当する画像v(1)からv(i)になり、表示制御部34により表示に基づく様々な処理が施される。
【０１１０】
表示制御部34が行う表示制御とは、各オブジェクトを合成して一つの出力画像としたり、各オブジェクトを表示するか否か、各オブジェクトの拡大/縮小、どこに表示するかなどを行う。さらに、表示制御は、オブジェクトとキャラクタ発生回路40で発生されたキャラクタ画像（時間表示やインデックスタイトルなど）との合成などの各種表示処理も行う。これらの表示制御は、各オブジェクトの配置情報、すなわちシーン記述データ変換回路39からのシーン記述情報に基づき、システムコントローラ38の制御に応じて行われるものである。
【０１１１】
形成された表示画像は、D/A33でアナログ化されCRT35に表示されるか、もしくは、ディジタル信号のまま液晶ディスプレイ(LCD)44などに送られて表示される。
【０１１２】
他方、システムデータ（シーン記述データや追加データを含む）はシステムデータ復号回路36で復号される。復号されたシステムデータの中からは、カテゴリ情報検出部37により番組に付加されたカテゴリ情報が検出される。検出されたカテゴリ情報は、システムコントローラ38へ入力され、レイアウト設定におけるコマンド発生の基準になる。また、復号されたシステムデータの中から、シーン記述に関するデータがシーン記述データ変換部39に入力される。その他のシステムデータ（オブジェクトの内容をコマンドで表すオブジェクト情報はここに含まれる）は、システムコントローラ38に各種コマンドとして入力される。なお、追加データには、番組のタイトルインデックスなど、ドキュメントなども含まれていてもよい。
【０１１３】
オブジェクト情報は、各テレビ局が共通に用いるコマンドセットにより、各オブジェクトにタイトル的に割当てられる。受信時、オブジェクト情報を解析することで、オブジェクトの内容を判別し分類することができる。本実施形態では、このオブジェクト情報を利用して、指定されたオブジェクト情報をもつオブジェクトを設定された位置に配置する、レイアウト設定機能を実現する。
【０１１４】
シーン記述データ変換部39で構成されたシーン記述データを用いて、表示制御部34における各オブジェクトの配置や合成、サウンド制御部30における音量や音場定位などの設定が行われる。また、システムコントローラ38の制御に基づき、シーン記述データ変換部39を調整し、表示制御部34を制御することで、基本レイアウトとは異なる配置にオブジェクトをレイアウトする、つまりレイアウトが設定された場合の配置制御を行うことができる。このレイアウト設定方法については後述する。
【０１１５】
また、オブジェクトとしては扱われていない表示画像、例えば時間表示画面やタイトルインデックスなどを生成するときは、キャラクタ発生回路40が用いられる。システムコントローラ38の制御により、追加データに含まれる時間データもしくは受信機内部で生成された時間情報などから、キャラクタデータが保存されているROMなどのメモリ42を用いて、時間表示キャラクタが生成される。タイトルインデックスも同様である。ここで生成された画像は、表示制御部34において合成などが行われる。
【０１１６】
また、ユーザは指示入力部45を介して各種コマンドを入力することができる。ユーザの指示入力に基づき、レイアウト設定処理における位置調整を行うことができる。すなわち、レイアウト位置の補正や、新規設定値の入力は指示入力部45から行われる。指示入力値に応じてシステムコントローラ38は、所望の出力（表示、再生）形態が得られるように各部の動作を適切に制御する。
【０１１７】
［レイアウトの設定］
カテゴリ情報を判別して、カテゴリ毎にオブジェクトを所定配置するレイアウト設定は、二つの方法で実行することができる。第一の方法は、予めプログラムされたデフォルト設定としてメモリ41に工場出荷時から保持されているレイアウト設定データを用いてレイアウト設定する方法であり、第二の方法は、ユーザが任意に設定したレイアウトのレイアウト設定データをメモリ41にカテゴリ毎に保持しておいて、これを利用するものである。
【０１１８】
ここで、具体的なレイアウトの設定方法を説明する。図20はレイアウト設定する際の位置データの設定方法を説明する図、図21はレイアウト設定する際のイメージと指示の入力方法とを説明する図である。
【０１１９】
オブジェクトの位置設定には二つ方法がある。第一の方法はシーン記述データで規定される基本レイアウトを位置補正（シフト）する方法であり、第二の方法はユーザが任意の場所にオブジェクトの位置を新規に設定する方法である。両者は、ユーザの操作に応じて、図20に示すセレクタ302で選択可能である。
【０１２０】
まず、第一の方法であるシフトする方法について説明する。オブジェクトとして画像データが入力され、そのオブジェクトの基本位置はシーン記述データで指定される位置データ(X0,Y0)で表される。ユーザがオブジェクトのシフトを望む場合、加算器301により補正量(ΔX,ΔY)が位置データ(X0,Y0)に加算され、新たな位置データ(X',Y')がオブジェクトのレイアウト設定データになる。第二の方法である新規設定する方法について説明する。基本位置データに関係なく、全く新たにオブジェクトの位置(X,Y)を設定し、これを基本位置データに代わる位置データ(X',Y')にする。このようにして、ユーザが設定したレイアウト設定用の位置データを、シーン記述データで規定される基本レイアウトのオブジェクト位置データに置き換えて、表示する。
【０１２１】
以上が指定画像オブジェクトのレイアウトを設定する方法の説明である。対象となるオブジェクトを判別するオブジェクト情報もレイアウト設定データの一部として必要なデータである。表示処理はシステムコントローラ38により制御されるが、このときの制御データ、対象オブジェクトを判別するためのオブジェクト情報およびレイアウト設定データを、カテゴリに対応させたユーザレイアウト設定データとしてメモリ41に保持しておく。
【０１２２】
次に図12について説明する。図12はこれまでに説明した位置の設定方法を図示したものである。CRTなどの表示装置303において、操作の対象になる基本位置にあるオブジェクト306（位置は（X0，Y0））を、シフト位置307までシフトしたとき、その時の補正量を基本位置データに加えて、最終的な位置データ（レイアウト設定データ）は、（X’，Y’）＝（X0＋ΔX，Y0＋ΔY）になる。また、ユーザが任意で新規に新規設定位置308にオブジェクトを配置した場合は、その位置データ（レイアウト設定データ）は（X’，Y’）＝（X，Y）になる。図11で説明した、設定方法は、このように図示される。
【０１２３】
また、図21には指示入力部45に含まれるポインティングデバイスの一例としてマウス304およびリモートコントローラ305を示す。マウス304を使ったり、リモートコントローラ305の方向入力キー（十字キー、ジョイスティックおよびジョイパッドなどでもよい）を使うことによって、自由なオブジェクトの移動を容易に操作することが可能である。なお、オブジェクトを移動する位置および新たに設定する位置は、画面の四隅や中央などプリセットされた幾つかの位置から選ぶような構成をとることもできる。
【０１２４】
テレビ放送データの中にはカテゴリ情報が含まれている。このカテゴリ情報を利用することで、各番組毎に、設定されたレイアウトをカテゴリ情報と対応付けてデータ化し、レイアウト設定データとして記憶しておくことができる。この記憶場所は、EEPROMなどの不揮発性メモリ41が利用される。システムコントローラ38は、テレビ放送データからメモリ41に記憶されているカテゴリ情報が検出されると、そのカテゴリ情報に対応するレイアウト設定データを基に、シーン記述データ変換部39および表示制御部34を制御し、設定されたレイアウトで画像表示およびサウンド再生を行う。
【０１２５】
続いて、レイアウト設定データについて説明する。レイアウト設定データには、予めプログラムされ保持されているデフォルトの設定データ、および、ユーザが設定したデータがある。ユーザ設定データは、基本的には、シーン記述データから得られるオブジェクト配置情報を基にして、オブジェクト配置情報に加え、ユーザがレイアウト設定したときのオブジェクトの位置をデータ化して、各部の制御データおよび対象となるオブジェクト情報とともに、レイアウト設定データとして記憶すればよい。シーン記述データについては図12を用いて既に説明したが、各シーンを構成するオブジェクトをツリー型に配列し、それぞれのオブジェクトが表示されるべき時間や、表示されるべき位置を指定するための情報である。
【０１２６】
また、その他のレイアウト設定データの構成として、図22に示すように、そのオブジェクトを表示するか否かを示すオン/オフデータ、表示位置をXおよびY軸で二次元表現したときの表示位置データ、並びに、大きさを示すデータを保持することによって、対象となるオブジェクトのレイアウト設定データとして活用することができる。
【０１２７】
図23は一般的なMPEG4ビットストリームの構成を示す図である。図23のオブジェクト1から5までのデータベースに番組内容、（番組に応じてオブジェクトの種類は異なるが）自然画像オブジェクト、サウンドオブジェクトおよびCGなどのオブジェクトが組み込まれている。一例として、野球の中継放送では、背景オブジェクト（スプライト）、人物、その他の自然画像オブジェクト、得点表示の合成画像オブジェクトおよびサウンドオブジェクトなどが該当する。加えて、ビットストリームにはシステムデータとして、シーン記述情報および追加データが多重化されている。追加データには、カテゴリ情報やオブジェクト情報も含まれる。
【０１２８】
図24および図25は野球の中継放送における画面設定例を示す図、図26および図27は野球の中継放送の表示例を示す図である。
【０１２９】
野球の中継放送において、レイアウトを設定するオブジェクトとして、図24および図26に示す得点表示オブジェクト310およびカウント表示オブジェクト311があり、図25および図27に示す打率表示オブジェクト312があるとする。上記三つのオブジェクトは野球の中継放送において欠かせないものであるが、それらの表示位置は放送局によって様々であるから、本実施形態によりレイアウトを設定する上で好適なオブジェクトである。これらのオブジェクトはCGなどによる合成画像オブジェクトであるが、本実施形態はオブジェクトの種類は問わない。
【０１３０】
レイアウト設定モードに移行後、ユーザは画面をみながら、上述した方法によりテレビ画面上の任意の位置、すなわち好みの位置や、みやすい位置へオブジェクトを配置すればよい。
【０１３１】
このように、本実施形態のレイアウト設定機能を用いることで、図24から図27に示す野球の中継放送の1シーンのように、デフォルト設定またはユーザ設定された位置に、そのオブジェクトを表示するタイミング（シーン）毎に、得点表示オブジェクト310、カウント表示オブジェクト311および打率表示オブジェクト312を表示することができる。このレイアウト表示は放送局を問わず同じレイアウトになる。
【０１３２】
一度設定されたレイアウト設定データが保持された後は、同一のカテゴリ情報を検出することでレイアウト設定機能が作動し、オブジェクト情報から対象のオブジェクトであるか否かを判別する。対象オブジェクトの場合は、その表示タイミング（シーン）において、保持されているレイアウト設定データに基づく位置へ自動的にレイアウト表示される。なお、放送局毎に、オブジェクト情報のデータ構成が異なる場合は、オブジェクト情報を再設定するようにしてもよい。
【０１３３】
［動作手順］
図28および図29は本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャートで、図28はユーザがレイアウトを設定する際のフローを、図29はテレビ映像の表示におけるフローである。
【０１３４】
図28に示すレイアウト設定モードにおいて、テレビ情報中の画像データを構成する各オブジェクトの内、レイアウトを設定するオブジェクトが選択される（ステップS1）。そして、ユーザは、選択（指定）したオブジェクトを任意位置に配置する（ステップS2）。選択されたオブジェクトの配置が完了すると、レイアウト設定を終了するか否かが判断され（ステップS3）、他のオブジェクトについてもレイアウトを設定する場合はステップS1へ戻り、オブジェクトの選択および配置を繰り返す。レイアウト設定が終了ならば、レイアウトが設定された各オブジェクトの位置がデータ化される。そして、そのオブジェクトのカテゴリ情報、オブジェクト情報、位置データおよび各部の制御データが統合され、レイアウト設定データとしてメモリ41に格納される（ステップS4）。
【０１３５】
図29に示す表示モードにおいて、テレビ情報を受信し（ステップS11）、テレビ情報に付加されたシステムデータから番組のカテゴリ情報を検出する（ステップS12）。カテゴリ情報は、各放送局が統一したコマンドセットなどを用いて、番組のカテゴリ（ジャンル）に対応する情報をシステムデータに付加して送信するものであり、番組の内容を大別させるためのデータである。仮に、放送局毎に番組カテゴリ情報が異なる場合は、放送局間の整合性を取るための再設定手段を設けてもよい。
【０１３６】
続いて、検出されたカテゴリ情報に対応するレイアウト設定データが既に保存されているか否かが判断される（ステップS13）。レイアウト設定データが保存されていないカテゴリの場合は、放送局から送られてくるそのままの基本レイアウトでテレビ放送の映像を表示する（ステップS14）。
【０１３７】
レイアウト設定データが保存されたカテゴリの場合は、メモリ41から検出されたカテゴリ情報に対応するレイアウト設定データを読み出し（ステップS15）、そのレイアウト設定データに記録されているオブジェクト情報が出現したら、その対象オブジェクトのレイアウトを変更する制御が行えるようにスタンバイする。従って、ステップS16では、レイアウト設定の対象外のオブジェクトは基本レイアウトで表示され、レイアウト設定の対象オブジェクトは、その対象オブジェクトの表示タイミング（シーン）において、設定されたレイアウトで表示される。
【０１３８】
番組が終了したり、別のチャネルに移行して新たな番組の受信が開始されるまでは、ステップS14またはステップS16の表示状態が維持される。新たな番組の受信が開始された場合は、現行のレイアウト設定がリセットされ、フローはステップS11のテレビ放送受信の初期状態から繰り返される。
【０１３９】
本実施形態では、番組のカテゴリとして『野球中継放送』を取り上げたが、これに限らず、『サッカー中継放送』やスポーツ以外の番組のカテゴリであっても同様に対応することができる。
【０１４０】
このように、本実施形態によれば、ディジタルテレビ放送を視聴するユーザは、番組のカテゴリ情報に対応してオブジェクトのレイアウトを任意に設定することができる。従って、番組のカテゴリおよびユーザの好みに応じた映像表示が可能になり、視覚的および聴覚的ユーザインタフェイスの質的向上を期待することができ、ユーザに対してより自由度のあるテレビ番組表示が可能になる。
【０１４１】
また、オブジェクトの内容を示すオブジェクト情報を参照して、番組のカテゴリ情報毎にレイアウト設定する場合、オブジェクトの分類および配置制御を行うことにより、指定するオブジェクトのみのレイアウト設定が可能になる。
【０１４２】
また、同一の番組カテゴリであっても、放送局によって異なるレイアウトで表示される欠点を解消することができ、放送局に関係なく番組カテゴリ毎に統一されたレイアウトで共通するオブジェクトを表示することができる。
【０１４３】
【第２実施形態】
以下、本発明にかかる第2実施形態のテレビ放送受信装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１４４】
第2実施形態においては、MPEG4以外の符号化方式で符号化された画像をMPEG4の一つオブジェクトとして利用、代用したテレビ放送におけるオブジェクトのレイアウト設定について説明する。
【０１４５】
ここでは、自然画像符号化方式にMPEG2を用いた例を説明する。つまり、MPEG2で符号化された画像（以下「MPEG2画像」と呼ぶ場合がある）がMPEG4のビットストリームに多重化されて伝送され、これを受信して表示するテレビ放送受信装置に関する説明を行う。なお、第2実施形態におけるレイアウトの設定方法は、第1実施形態で説明したものと同様であり、テレビ放送受信装置の基本構成および動作は図19により説明したものと同様である。ただし、第2実施形態におけるテレビ放送の復号方法に関係して、図19に示すサウンド復号回路28、画像復号回路32およびシステムデータ復号回路36の細部が異なるので、これらを図30および図31を用いて説明する。
【０１４６】
図30は、送信側である放送局において、MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部である。データ多重化器5006は、図2で説明したサウンド、自然画像、合成画像、文字およびシーン記述情報の各オブジェクトの符号化器5001〜5005からの出力をMPEG4のビットストリームに多重化するとともに、MPEG2方式の業務用放送機器や中継システムまたはDVD(Digital Video Disc)の再生などにより抽出されるMPEG2ビットストリーム61を、MPEG4のビットストリームへ多重化する。
【０１４７】
図31はMPEG4ビットストリームを復号する側、つまりテレビ放送受信装置に搭載される復号部の構成例である。図31に示される復号部は、第2実施形態のテレビ放送受信装置を構成する復号系およびそれに関連する回路であるサウンド復号回路28、画像復号回路32、システムデータ復号回路36およびシーン記述データ変換部39などに含まれる。
【０１４８】
受信されたMPEG4ビットストリームは、復号前にデータ分離器5007によりそれぞれのデータに分離される。分離された各データのうちMPEG4のオブジェクトであるサウンド、自然画像、合成画像、文字およびシーン記述情報は、各オブジェクトに対応する復号部5008〜5012において復号される。また、MPEG4のオブジェクトとともに多重化されたMPEG2のデータは、MPEG4のオブジェクトの復号器とは別に設けられた専用のMPEG2デコーダ62で復号される。なお、MPEG2デコーダ62は、MPEG4の画像復号回路32の一部を利用した構成であってもよい。
【０１４９】
こうして復号されたサウンド、画像およびシステムデータであるシーン記述データからテレビ番組の映像を表示するための情報が構成され、各オブジェクトおよびMPEG2データがシーン合成部5013でテレビ出力すべき形態に合成され、シーン情報として出力される。
【０１５０】
続いて、第1実施形態で説明したレイアウトの設定方法を用いて、MPEG2画像を含むMPEG4のテレビ放送の映像を表示する場合の説明を図26を用いて行う。第2実施形態では、図26に示す野球中継全体の画像で背景や選手を含む中継画像401がMPEG2画像であるとする。その他のオブジェクトである得点表示オブジェクト310、カウント表示オブジェクト311および展開に応じた上記以外のオブジェクトはMPEG4のデータからなる。すなわち、MPEG2画像を含むMPEG4のテレビ放送の映像表示例である。このときのMPEG4のビットストリーム例を図32に示す。
【０１５１】
図32に示すMPEG4のビットストリームには、MPEG2のデータストリームである野球中継画像401のデータがオブジェクト2として多重化されている。MPEG2のデータストリームは、一般的にオーディオ、ビデオおよびシステムデータ（MPEG2付加情報）の三種のデータから構成される。オブジェクト2には、伝送に関する所定のタイミング調整に従い、所定量毎のセグメントに分けられたMPEG2データストリームがそれぞれ多重化される。MPEG2とMPEG4とでは、下位レベルで共通化可能な符号化/復号回路もあるので、必要であれば共通化して、符号化/復号に関する無駄を避けた処理を行う。
【０１５２】
このように、MPEG2方式により符号化された画像および/またはサウンドデータを含むMPEG4方式のTV放送であっても、第1実施形態で説明したようなレイアウト設定が可能になる。
【０１５３】
表示画像のレイアウト設定データについては、第1実施形態と同様に、シーン記述情報から得られるオブジェクト配置情報を基に、ユーザによりレイアウトが変更されたオブジェクトの位置データを算出し、番組のカテゴリ情報、対象のオブジェクト情報および各部の制御データを対応させたレイアウト設定データとして記憶しておく。また、表示に関する動作も第1実施形態と同様である。
【０１５４】
第2実施形態は、MPEG2画像が多重化されたMPEG4のテレビ放送であるから、MPEG2コンテンツ、例えば現場中継などに用いる画像中継システムなどとの複合する場合に、MPEG2装置の出力を、複雑なデータ変換を介さずに、MPEG4の放送システムに流用でき、MPEG2とMPEG4との親和性から扱いも容易である。なお、中継画像などに限らず、代表的なMPEG2映像装置であるDVDを用いた資料映像表示などの多重画像出力例や、または他のMPEG2装置を用いた場合にも、勿論利用可能である。
【０１５５】
また、MPEG2とMPEG4とでは、共通化できる符号化/復号回路も多数あるので、システムの効率化に加え、回路構成も複雑な構成を必要とせずに効果的である。勿論、ソフトウェアデコーダの場合でもシステムの効率化は図れる。
【０１５６】
本実施形態によれば、第1実施形態の効果に加えて、MPEG2で符号化されたテレビ情報を、MPEG4テレビシステムにも流用できるようにしたので、従来あるコンテンツをそのまま使え、かつMPEG2をわざわざMPEG4にデータ変換する必要もないので、扱いが容易であり非常に効果的である。
【０１５７】
【第３実施形態】
以下、本発明にかかる第3実施形態のテレビ放送受信装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１５８】
本実施形態のレイアウト設定の対象オブジェクトは、放送データに含まれているオブジェクトに限らず、受信装置内で生成された画像であってもよい。このような受信装置内で生成される画像の例としては、文字情報などからなる時間情報およびタイトル、並びに、CGその他のグラフィックスなどが考えられる。本実施形態は、時間情報、タイトルおよびグラフィックスなどの表示位置を番組のカテゴリに対応させて自動的に変化させるものである。
【０１５９】
キャラクタ画像、例えば時間情報に関しては、MPEG4ビットストリームの追加データに含まれて送られてくる時間表示の基になる時間データや、テレビ放送受信装置内のクロック信号などを利用して、キャラクタ発生部40で生成される。さらに、キャラクタ発生部40は、追加データ中に受信装置内のクロックによる時間表示を行わせるコマンドが存在する場合、または、システムコントローラ38により独自に時間表示命令が発行された場合、これに従い、内部クロックを用いてそれぞれのコマンドに応じた時間表示画像を出力する。なお、実際に時間表示画像103を生成する、つまりキャラクタ発生動作の役割を担うのはキャラクタ発生部40およびキャラクタのデータが格納されたメモリ42であり、画像の合成は表示制御部34が行い、システムコントローラ38はそれらを制御することで時間表示画像103を生成させ表示させる。
【０１６０】
なお、MPEG2データストリームのサブコード内に一情報として含まれるタイムスタンプを利用しても同様の動作を実現できる。タイトルやグラフィックスに関する画像生成も同様であり、追加データに含まれたコマンドに従い、適切なタイミングで所定の画像が生成、合成、表示される。第1実施形態で取り上げた野球中継放送では、例えば、得点表示オブジェクト310の代わりにチーム名および得点を示す付加情報を追加データから取り出し、チーム名および得点を表す画像を生成する、なども考えられる。このように、受信装置内で生成された画像を、放送データに含まれるオブジェクトの如く扱うようにすれば、より扱いやすいシステムが構築できる。
【０１６１】
本実施形態の受信装置内で生成したキャラクタや画像のレイアウト設定に関しては、生成されたキャラクタや画像のレイアウト位置（オブジェクト位置）をデータ化し、その位置データ、番組のカテゴリ情報、そのキャラクタや画像（オブジェクト）の識別情報、および、キャラクタや画像の生成動作の制御を含む各部の制御データを、レイアウト設定データとして記憶しておく。なお、位置データの設定は図20および図21で説明した方法と同様である。これに加えて、メモリ42から読み出すキャラクタ生成用データや、キャラクタ発生部40で生成するキャラクタの生成動作をコマンドに対応させて制御し、適切なキャラクタを生成させる。
【０１６２】
発生されたキャラクタや画像は、第1実施形態と同様、受信されたオブジェクトと合成され表示される。この場合もまた、番組のカテゴリ情報によって合成や表示方法が制御される。
【０１６３】
本実施形態によれば、第1実施形態の効果に加えて、受信装置内で生成したキャラクタや画像に対しても、レイアウト設定機能を実現することができるので、通信（伝送）にかかる負荷を低減する効果を有する。
【０１６４】
このように、ディジタルテレビ放送において、パーソナルコンピュータ(PC)との融合も容易になり、現在、PCのデスクトップ上で行っているようなレイアウト設定などを、テレビ映像に対してもカスタマイズできるので、テレビ放送とPCとの相性もよくなり、また、ディジタル複合製品の分野において市場拡大の効果が期待できる。
【０１６５】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１６６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６８】
【発明の効果】
以上説明したように、本発明によれば、ディジタルテレビ放送における画像（映像）の再生形態に関する新たな機能を提供することができる。
【図面の簡単な説明】
【図１】衛星放送を用いたディジタル放送受信機の構成例を示すブロック図、
【図２】複数種類のオブジェクトを同時に入力し符号化処理する構成例を示すブロック図、
【図３】ユーザ操作（編集）を考慮に入れたシステムの構成例示す図、
【図４】ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図、
【図５】ビデオオブジェクトに関するVOP処理回路のデコーダ側のブロック図、
【図６】 VOPの符号化および復号の全体構成を示すブロック図、
【図７Ａ】 VOPを構成する情報を示す図、
【図７Ｂ】 VOPを構成する情報を示す図、
【図８】テキスチャ符号化のAC/DC予測符号化を説明するための図、
【図９Ａ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図９Ｂ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図１０Ａ】ワープを説明する図、
【図１０Ｂ】ワープの種類を説明する図、
【図１１】ワープを説明する図、
【図１２】シーン記述情報の構成例を示す図、
【図１３】 MPEG4オーディオの符号化方式の種類を示す図、
【図１４】オーディオ符号化方式の構成を示す図、
【図１５】 MPEG4のシステム構造を説明する図、
【図１６】 MPEG4のレイヤ構造を説明する図、
【図１７】双方向復号を説明する図、
【図１８】重要情報の複数回伝送を説明する図、
【図１９】本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図、
【図２０】レイアウト設定する際の位置データの設定方法を説明する図、
【図２１】レイアウト設定する際のイメージと指示の入力方法とを説明する図、
【図２２】レイアウト設定データの構成を説明する図、
【図２３】一般的なMPEG4ビットストリームの構成を示す図、
【図２４】本実施形態による映像の表示形態例を示す図、
【図２５】本実施形態による映像の表示形態例を示す図、
【図２６】本実施形態による映像の表示形態例を示す図、
【図２７】本実施形態による映像の表示形態例を示す図、
【図２８】本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャート、
【図２９】本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャート、
【図３０】 MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部の構成例を示すブロック図、
【図３１】テレビ放送受信装置に搭載される復号部の構成例を示すブロック図、
【図３２】 MPEG2画像を含むMPEG4のビットストリーム例を示す図である。
Claims (11)
- テレビ放送のディジタルデータ列を受信する受信手段と、
前記受信されたディジタルデータ列から画像、サウンドおよびシステムデータを復号する復号手段と、
前記復号されたシステムデータに基づき、前記復号された画像および/またはサウンドの再生形態を制御する制御手段とを有し、
前記制御手段は、前記システムデータに含まれる放送内容を示すカテゴリ情報、および、前記復号された画像を構成する画像オブジェクトに対応する再生形態の設定データを記憶手段から読み出して受信中の放送番組に適用することを特徴とする放送受信装置。 - 前記制御手段は、前記復号されたシステムデータに含まれる前記カテゴリ情報が、前記記憶手段に記憶された再生形態に対応する場合は、放送局に関係なく前記再生形態の設定データを適用することを特徴とする請求項1に記載された放送受信装置。
- 前記再生形態の設定データは、前記カテゴリ情報および前記画像オブジェクトの内容を示すオブジェクト情報に対応付けて前記記憶手段に記憶されていることを特徴とする請求項1または請求項2に記載された放送受信装置。
- さらに、前記画像オブジェクトのレイアウトをマニュアル設定するための設定手段を備え、
前記設定手段により設定されたレイアウトは、前記カテゴリ情報および前記画像オブジェクトの内容を示すオブジェクト情報とともに、前記再生形態の設定データとして前記記憶手段に記憶されることを特徴とする請求項1または請求項2に記載された放送受信装置。 - 前記制御手段は、前記記憶手段から前記カテゴリ情報および前記復号された画像を構成する画像オブジェクトに対応する再生形態の設定データを読み出し、その再生形態の設定データに対応付けされた前記オブジェクト情報に対応する画像オブジェクトのレイアウトを制御することを特徴とする請求項3または請求項4に記載された放送受信装置。
- テレビ放送のディジタルデータ列を受信し、
前記受信したディジタルデータ列から画像、サウンドおよびシステムデータを復号し、
前記復号したシステムデータに基づき、前記復号した画像および/またはサウンドの再生形態を制御する各ステップを有し、
前記再生形態の制御は、前記システムデータに含まれる放送内容を示すカテゴリ情報、および、前記復号した画像を構成する画像オブジェクトに対応する再生形態の設定データを記憶手段から読み出して受信中の放送番組に適用することを特徴とする放送受信方法。 - 前記再生形態の制御は、前記復号したシステムデータに含まれる前記カテゴリ情報が、前記記憶手段に記憶された再生形態に対応する場合は、放送局に関係なく前記再生形態の設定データを適用することを特徴とする請求項6に記載された放送受信方法。
- 前記再生形態の設定データは、前記カテゴリ情報および前記画像オブジェクトの内容を示すオブジェクト情報に対応付けて前記記憶手段に記憶されていることを特徴とする請求項6または請求項7に記載された放送受信方法。
- さらに、前記画像オブジェクトのレイアウトをマニュアル設定するステップを有し、
前記設定したレイアウトは、前記カテゴリ情報および前記画像オブジェクトの内容を示すオブジェクト情報とともに、前記再生形態を示す情報として前記記憶手段の設定データに記憶されることを特徴とする請求項6または請求項7に記載された放送受信方法。 - 前記再生形態の制御は、前記記憶手段から前記カテゴリ情報および前記復号された画像を構成する画像オブジェクトに対応する再生形態の設定データを読み出し、その再生形態の設定データに対応付けされた前記オブジェクト情報に対応する画像オブジェクトのレイアウトを制御することを特徴とする請求項8または請求項9に記載された放送受信方法。
- 放送受信装置を制御して、請求項6から請求項10の何れか一項に記載された放送受信を実行するコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記憶媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36613198A JP3927713B2 (ja) | 1998-12-08 | 1998-12-08 | 放送受信装置およびその方法 |
| EP99309804A EP1018840A3 (en) | 1998-12-08 | 1999-12-07 | Digital receiving apparatus and method |
| US11/466,515 US8081870B2 (en) | 1998-12-08 | 2006-08-23 | Receiving apparatus and method |
| US11/466,631 US7788690B2 (en) | 1998-12-08 | 2006-08-23 | Receiving apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36613198A JP3927713B2 (ja) | 1998-12-08 | 1998-12-08 | 放送受信装置およびその方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000175155A JP2000175155A (ja) | 2000-06-23 |
| JP2000175155A5 JP2000175155A5 (ja) | 2006-01-26 |
| JP3927713B2 true JP3927713B2 (ja) | 2007-06-13 |
Family
ID=18486001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36613198A Expired - Fee Related JP3927713B2 (ja) | 1998-12-08 | 1998-12-08 | 放送受信装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3927713B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335499A (ja) * | 2001-05-08 | 2002-11-22 | Sony Corp | 放送受信装置 |
| DE60310368T2 (de) * | 2002-01-22 | 2007-03-29 | Microsoft Corp., Redmond | Verfahren zur verhinderung von startkode-emulation und stopfdaten |
| KR100571824B1 (ko) | 2003-11-26 | 2006-04-17 | 삼성전자주식회사 | 부가정보 삽입된 ｍｐｅｇ-4 오디오 ｂｓａｃ부호화/복호화 방법 및 장치 |
| JP2007215097A (ja) * | 2006-02-13 | 2007-08-23 | Matsushita Electric Ind Co Ltd | 表示データ生成装置 |
| WO2013077060A1 (ja) * | 2011-11-22 | 2013-05-30 | 日本放送協会 | 受信機、プログラム及び受信方法 |
| KR102396036B1 (ko) * | 2015-05-18 | 2022-05-10 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| CN112601121B (zh) * | 2016-08-16 | 2022-06-10 | 上海交通大学 | 一种面向多媒体内容组件个性化呈现的方法及*** |
| US10271069B2 (en) | 2016-08-31 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selective use of start code emulation prevention |
| JP7263197B2 (ja) * | 2019-09-30 | 2023-04-24 | 健樹 坂田 | 情報処理システム、情報処理方法及び情報処理プログラム |
-
1998
- 1998-12-08 JP JP36613198A patent/JP3927713B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000175155A (ja) | 2000-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8081870B2 (en) | Receiving apparatus and method | |
| US6377309B1 (en) | Image processing apparatus and method for reproducing at least an image from a digital data sequence | |
| US7054539B2 (en) | Image processing method and apparatus | |
| Koenen | MPEG-4 multimedia for our time | |
| US6567427B1 (en) | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media | |
| Pereira | MPEG-4: Why, what, how and when? | |
| JP5409762B2 (ja) | 画像復号化装置および画像復号化方法 | |
| JP3927713B2 (ja) | 放送受信装置およびその方法 | |
| JP4306850B2 (ja) | 放送受信装置およびその方法 | |
| US20030046691A1 (en) | Data processing apparatus and method | |
| JP4343411B2 (ja) | 画像処理方法及び装置と再生方法とプログラム及び記憶媒体 | |
| JP4401463B2 (ja) | 放送受信装置及びその方法 | |
| JP4289753B2 (ja) | 再生方法及び装置と表示装置 | |
| JP2004537931A (ja) | シーンを符号化する方法及び装置 | |
| JP7001639B2 (ja) | システム | |
| JP2001016582A (ja) | 画像処理装置およびその方法 | |
| Puri et al. | Overview of the MPEG Standards | |
| Law et al. | The MPEG-4 Standard for Internet-based multimedia applications | |
| Danielsen | MPEG-4 for DTV | |
| JP2002044657A (ja) | 画像復号化方法、画像復号化装置および画像復号化プログラム記録媒体 | |
| Schaefer et al. | MPEG-4 for broadband communications | |
| Pereira | Av. Rovisco Pais, 1049-001 Lisboa Codex, Portugal E-mail: Fernando. Pereira@ lx. it. pt | |
| Puri | AT&T Labs-Research, Red Bank, New Jersey Alexandros Eleftheriadis Columbia University, New York, New York | |
| Ngan et al. | MPEG-4-Standard for Multimedia Applications | |
| Puri et al. | AT&T Labs, Red Bank, New Jersey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051207 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051207 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20051207 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061030 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070305 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |