JP2009005268A - 送信装置、受信装置及び再生装置 - Google Patents

Abstract

【課題】画面上の映像内容に即した補助情報の表示が可能な映像信号の送信装置、これを受信して再生表示する受信装置及びこれを蓄積して再生表示する再生装置を提供する。
【解決手段】送信装置１が、ビデオデータを符号化して送信するビデオ符号化送信部６と、ビデオデータの補助情報を生成する補助情報生成部８と、補助情報生成部８から通知された補助情報を付与する対象画像の情報に基づいてビデオデータを解析し、このビデオデータの映像中で補助情報を表示すべき箇所を検出する画像解析部７と、補助情報及びビデオデータの映像中で補助情報を表示すべき箇所を含む補助情報ストリーム１１を生成して送信する補助情報送信部９とを備える。
【選択図】図２

Description

この発明は、デジタルテレビジョン放送等の映像信号及びその映像画面に表示する文字や図形等の補助情報を送信する送信装置、これを受信して再生表示する受信装置及びこれを蓄積して再生表示する再生装置に関するものである。

従来では、テレビ映像の重要な部分若しくは貴重な部分に文字や図形情報が重なって表示されないように、文字や図形情報の表示形態を変換することにより映像画面内の所望の位置に拡大や縮小して表示していた（例えば、特許文献１参照）。また、例えば非特許文献１に示されるように、デジタル放送の字幕や文字スーパーは、テレビ放送の映像画面内で邪魔にならない位置に表示されるように表示形式等の運用がなされている。

この場合、テレビ放送の送信側が、字幕や文字スーパーの表示位置を指定する機能を有する他、受信側においても字幕や文字スーパーの表示位置やサイズをユーザの指示により変更することを可能にしている。このように字幕や文字スーパーは、画面のどの位置に表示しても別段問題は発生しないため、テレビ映像が表示されているテレビ画面の映像表示状況に応じて送信側若しくは受信側で表示位置を調整できる。

特開平５−１９１７８８号公報 社団法人電波産業会 地上デジタルテレビジョン放送運用規定 ＡＲＩＢ ＴＲ−Ｂ１４ ２．７版 第一分冊（２／２）Ｐ．３−８８〜３−９７

近年では、携帯電話機等の携帯通信端末で受信再生が可能な地上デジタルテレビジョン放送のサービスが始まり、携帯通信端末の小型表示画面においても視認性が良く、映像内容に即した補助情報の表示が望まれている。例えば、携帯通信端末で地上デジタルテレビジョン放送の１セグメント部分受信サービスによりサッカーの試合を受信した場合、その小型表示画面では、選手の顔や背番号がはっきり見えず、十分にテレビ放送を楽しむことができない。

これに対して、従来では、上述したようにテレビ映像の邪魔にならない位置に字幕や文字スーパーを表示することを目的とし、特に映像内容と関係がない表示位置に表示するので、小型表示画面における字幕や文字スーパー等の補助情報の表示を適切に行えないという課題があった。例えば、携帯通信端末の小型表示画面でサッカーの試合をみる場合、従来では、表示画面上の所定位置に選手の名前のテロップを入れることは可能であるが、名前を表示すべき選手が複数いると、どの選手の名前を表示しているか区別しにくくなる。また、受信側でテロップの表示位置を動かすことも可能であるが、画面上の映像内容とテロップとの関係が不適切になると返ってわかりづらくなる。

この発明は、上記のような課題を解決するためになされたもので、画面上の映像内容に即した補助情報の表示が可能な映像信号の送信装置、これを受信して再生表示する受信装置及びこれを蓄積して再生表示する再生装置を得ることを目的とする。

この発明に係る送信装置は、ビデオデータを符号化して送信するビデオ送信部と、ビデオデータの補助情報を生成する補助情報生成部と、補助情報生成部から通知された補助情報を付与する対象画像の情報に基づいてビデオデータを解析し、このビデオデータの映像中で補助情報を表示すべき箇所を検出する画像解析部と、補助情報及びビデオデータの映像中で補助情報を表示すべき箇所を含む補助情報送信データを生成して送信する補助情報送信部とを備えるものである。

この発明によれば、ビデオデータを符号化して送信するビデオ送信部と、ビデオデータの補助情報を生成する補助情報生成部と、補助情報生成部から通知された補助情報を付与する対象画像の情報に基づいてビデオデータを解析し、このビデオデータの映像中で補助情報を表示すべき箇所を検出する画像解析部と、補助情報及びビデオデータの映像中で補助情報を表示すべき箇所を含む補助情報送信データを生成して送信する補助情報送信部とを備えるので、ビデオ送信部及び補助情報送信部からのデータを再生することにより、画面上で映像内容に即した補助情報の表示が可能であるという効果がある。

実施の形態１．
図１は、この発明によるテレビ放送送受信システムの構成を示す図である。図１において、テレビ放送送受信システムは、送信装置１、放送設備２及び受信装置３を備える。送信装置１は、テレビ番組等の映像信号を伝送可能なストリームデータ１ａに変換して放送設備２に出力する。放送設備２は、送信装置１から入力したストリームデータ１ａを放送波５に乗せて放送する。受信装置３は、放送波５を受信してその表示画面に表示する装置であり、例えばテレビ受像機や１セグメント部分受信サービス対応の携帯通信端末等により実現される。

図１に示すシステムにおいて、送信装置１は、テレビ番組を構成するビデオデータを符号化し、該ビデオデータに重畳する補助情報を生成して、該テレビ番組を構成する他のデータと共に多重化処理を行い、放送波５として伝送可能な放送用フォーマットに変換してから出力する。放送設備２は、送信装置１から入力した放送用フォーマットのストリームデータ１ａに変調等の処理を施した後、放送波５として送信する。受信装置３では、放送設備２を介して送信された放送波５を受信し、該放送波５の放送用フォーマットから取り出した多重化ストリームの映像内容をその表示画面上に表示すると共に、補助情報を重畳して表示する。

図２は、この発明の実施の形態１による送信装置の構成を示すブロック図である。図２において、送信装置１は、ビデオ符号化送信部（ビデオ送信部）６、画像解析部７、制御情報入力部８ａ、補助情報生成部８、補助情報送信部９及び多重化部１０を備える。ビデオ符号化送信部６は、映像内容を規定するビデオデータを外部から入力し、該ビデオデータを符号化してテレビ放送用のビデオストリームを生成する。画像解析部７は、外部から入力したビデオデータを解析して補助情報生成部８から通知される補助情報を表示すべき対象画像を検出する。

制御情報入力部８ａは、外部から様々フォーマットの制御情報の入力を受け付け、入力した制御情報を補助情報生成部８に出力する。なお、制御情報とは、画面上で補助情報を付与する対象画像の指定や付与する補助情報の内容等を示す情報であり、補助情報を生成する基となる情報である。補助情報生成部８は、制御情報の内容に従ってビデオデータに重畳させる補助情報を生成する。

補助情報送信部９は、画像解析部７から入力された補助情報を付与すべき対象画像の位置情報と、補助情報生成部８から入力された前記対象画像に付与すべき補助情報とを入力して補助情報ストリーム（補助情報送信データ）を生成する。多重化部１０は、テレビ放送用のビデオストリームと該ビデオストリーム中の画像に付与すべき補助情報からなる補助情報ストリームとを多重化し、放送用の多重化ストリームとして受信側に送信する。

次に送信装置１の詳細な動作について説明する。
送信装置１へ送信させるべきビデオデータは、ビデオ符号化送信部６及び画像解析部７にそれぞれ入力され、該ビデオデータに重畳させる補助情報を規定する制御情報は、制御情報入力部８ａに入力される。制御情報入力部８ａでは、入力した制御情報を補助情報生成部８で利用可能なフォーマットに変換して補助情報生成部８に出力する。補助情報生成部８は、制御情報入力部８ａから入力した制御情報の内容に従ってビデオ符号化送信部６に入力されたビデオデータに重畳させる補助情報を生成すると共に、補助情報を表示する対象画像の情報を画像解析部７に通知する。

ビデオ符号化送信部６では、入力したビデオデータを符号化し、所望のフォーマットのビデオストリームに変換して多重化部１０へ出力する。一方、画像解析部７は、ビデオ符号化送信部６と共に入力したビデオデータを補助情報生成部８より通知された対象画像の情報に基づいて解析し、該ビデオデータにおいて補助情報を表示すべき対象画像がどの位置に表示されるかを検出してその位置情報を継続的に補助情報送信部９に通知する。

補助情報送信部９は、画像解析部７より継続的に通知される位置情報と補助情報生成部８より出力される補助情報から補助情報ストリームを生成して多重化部１０に出力する。図３は、補助情報の伝送フォーマットを示す図であり、補助情報送信部９により生成される補助情報ストリームの構成例を示している。図３に示す補助情報ストリーム（補助情報送信データ）１１は、識別子１１ａ、表示時刻１１ｂ、表示位置１１ｃ、補助情報ＩＤ１１ｄ及び補助情報内容１１ｅを備える。

ここで、識別子１１ａは、データストリーム中で該識別子１１ａ以降にある情報が補助情報であることを示す情報である。表示時刻１１ｂは、補助情報を表示すべき時刻を示す情報であり、例えばＭＰＥＧ−２規格に準拠するシステムならば、ＰＴＳ（Presentation Time Stamp）のような値を設定する。表示位置１１ｃは、該補助情報を表示する位置を指定する情報であり、例えばビデオ画像の左上からのドット位置等が設定される。補助情報ＩＤ１１ｄは、複数の補助情報から特定の補助情報を識別するための識別情報である。補助情報内容１１ｅは、補助情報として対象画像に表示する内容を示す情報である。

また、図４は、補助情報を含む受信側での表示例を示す図であり、受信装置３が携帯電話機等で実現され、その表示画面１２に空手の試合を表示した場合を示している。このビデオデータに重畳すべき補助情報を生成するにあたり、制御情報として、例えば図４中の左側の選手１１Ａの顔画像データが対象画像検索用に指定され、文字「選手名Ａ」を文字スーパーとして表示する処理が補助情報内容として指定されているものとする。この場合、補助情報生成部８は、制御情報に固有のＩＤを付与して対象画像検索用の画像データを該ＩＤと共に画像解析部７に通知し、さらに該ＩＤと補助情報内容とを補助情報送信部９に通知する。

画像解析部７は、補助情報生成部８から入力した対象画像検索用の画像データに基づいて既存の画像認識技術を用い、外部から入力した空手の試合に関するビデオデータから類似する画像を検出し、その画面１２上での位置情報（例えば、画面１２の左上から縦横何ドットの位置にあるか等）と、そのときの時刻（送信装置１がもつシステム時刻）を、補助情報生成部８から通知されたＩＤと合わせて補助情報送信部９に定期的に送信する。なお、検出された対象画像は、その画像の特徴量等から映像中の位置が連続的に特定され、補助情報ストリーム１１の表示位置１１ｃに設定される。

補助情報送信部９では、識別子１１ａを設定した後、補助情報生成部８から入力したＩＤ及び補助情報内容を、図３に示す補助情報ＩＤ１１ｄ及び補助情報内容１１ｅにそれぞれ設定し、画像解析部７から通知された時刻を図３中の表示時刻１１ｂに設定することにより、補助情報ストリーム１１を生成する。

ここで、補助情報内容１１ｅに変化がなく、補助情報の表示位置のみが変化する場合、補助情報送信部９は、補助情報ストリーム１１を生成するにあたり、補助情報内容１１ｅの設定を省略する一方、これの表示位置１１ｃは設定する。この場合、受信側では、補助情報ＩＤ１１ｄの内容から前回表示した補助情報を特定し、この補助情報の内容を表示位置１１ｃで特定される位置に表示する。このようにすることで、補助情報ストリーム１１として送信する情報量を低減でき、その送信に要する通信帯域を節約することができる。また、受信側で補助情報の解析処理に要する負担を削減できる。

ビデオ符号化送信部６からビデオストリームを入力し、補助情報送信部９から補助情報ストリームを入力すると、多重化部１０は、これらを多重化して放送用ストリームとして受信側に送信する。また、ビデオデータと補助情報を扱う例を示したが、これらの他にオーディオやデータ放送、番組情報（ＥＰＧ（Electronic Program Guide））、管理情報等が存在する場合、それぞれ個別にストリームを生成し、多重化部１０で多重化して放送用ストリームとする。

なお、送信装置１としては、ビデオストリームと補助情報ストリームとを多重化しない構成であってもよい。この場合、ビデオ符号化送信部６がビデオストリームを受信側に直接送信し、補助情報送信部９が補助情報ストリームを受信側に直接送信する。例えば、ビデオデータは通常の放送波で送信し、補助情報はインターネット等で伝送することが考えられる。

また、画像解析部７がビデオデータから対象画像を検出して補助情報を表示すべき位置を決定するにあたり、複数の表示位置候補を挙げておき、補助情報送信部９が１つの補助情報の内容に対して複数の表示位置情報を含む補助情報ストリームを生成して送信することで、受信側では複数の表示位置候補から視聴者の好きな位置に補助情報を表示することが可能となる。例えば、図４に示す画面１２上の選手名を表示する位置として、頭の上、おなか、足元というように、３種類の表示位置候補を含んだ補助情報ストリームを生成することで、受信側での表示位置の自由度が生まれる。この場合、表示位置１１ｃには、複数の表示位置情報が設定されることになる。

図５は、この発明の実施の形態１による受信装置の構成を示すブロック図である。図５において、受信装置３は、分離部１３、ビデオ受信復号部（ビデオ復号部）１４、補助情報解析部１５及び重畳部１６を備える。分離部１３は、送信装置１から受信した多重化ストリームをビデオストリームと補助情報ストリームとに分離する。ビデオ受信復号部１４は、分離部１３から入力したビデオストリームを復号する。補助情報解析部１５は、分離部１３から入力した補助情報ストリームを解析して補助情報を復元する。重畳部１６は、ビデオ受信復号部１４によって復号されたビデオデータに対応する補助情報を重畳する処理を行う。

次に受信装置３の詳細な動作について説明する。
送信装置１から受信した多重化ストリームは、分離部１３に入力される。分離部１３では、入力した多重化ストリームをビデオストリームと補助情報ストリームとに分離し、ビデオストリームをビデオ受信復号部１４に出力し、補助情報ストリームを補助情報解析部１５に出力する。例えば、補助情報ストリームに含まれる識別子１１ａの有無に基づき、多重化ストリームからビデオストリームと補助情報ストリームを分離する。

ビデオ受信復号部１４は、分離部１３から入力したビデオストリームを復号して、不図示の画面に表示可能なビデオデータとした後、重畳部１６に出力する。補助情報解析部１５は、分離部１３から入力した補助情報ストリーム内のデータを解析して該ストリームに含まれる表示時刻１１ｂ、表示位置１１ｃ、補助情報ＩＤ１１ｄ及び補助情報内容１１ｅを抽出し、これらデータに基づいて画面に表示する補助情報を生成し、重畳部１６に出力する。重畳部１６では、ビデオ受信復号部１４から入力したビデオデータに対し、補助情報解析部１５から入力した補助情報を重畳して画面に表示すべきビデオデータ（表示データ）として出力する。

図４の例を用いて補助情報解析部１５の動作を説明する。補助情報解析部１５は、補助情報ストリーム内のデータを解析した結果、補助情報内容１１ｅとして図４に示す「選手名Ａ」が設定されていた場合、所定の文字フォントを用いて「選手名Ａ」という画像を生成する。補助情報ストリームの表示位置１１ｃには、補助情報内容１１ｅを示す画像の表示位置が示されている。ここでは、図４に示す画面１２上の左側の選手１１Ａの位置を示す位置情報が設定されており、この表示位置１１ｃの内容に従って「選手名Ａ」という画像が、図４に示す画面１２上の左側の選手１１Ａの位置に表示される。

なお、表示位置１１ｃに設定される位置情報は、ビデオストリームの映像で表される選手の動き（図４に示す画面１２上の左側の選手１１Ａの動き）に合わせて逐次変更させることも可能である。このようにすることで、選手の動きに合わせて「選手名Ａ」の表示も追従して動くことになる。

従来の補助情報の表示処理では、映像の邪魔にならない位置に補助情報を表示することを目的としており、映像内の補助情報の表示対象の動きに合わせた表示が困難であった。これに対して、本発明では、補助情報ストリームとして、補助情報の内容ごとにその表示位置が映像内の対象画像の動きに合わせて設定される。これにより、図４に示すように、動きのある複数の選手１１Ａ，１１Ｂにおいて、左側の選手１１Ａが動いても「選手名Ａ」の表示が追従して動き、右側の選手１１Ｂが動いても「選手名Ｂ」の表示が追従して動くことにより、画面１２上の映像内容に即した補助情報の表示が可能である。

また、補助情報ストリーム中の表示位置１１ｃに複数の表示位置候補が設定されている場合、補助情報解析部１５は、表示位置１１ｃから読み出した表示位置候補を不図示の表示部に表示し、視聴者により不図示の入力手段を使って表示位置候補を選択させるＧＵＩ（Graphical User Interface）を提供する。このようにすることで、受信側で所望の表示位置に補助情報を表示することができる。

上述した説明では、補助情報として文字の表示する場合を示したが、静止画やビデオ映像を補助情報として使用してもよい。例えば、図６に示すように選手名を補助情報として使用する場合、選手１１Ａのチームのマーク１１Ｃを補助情報に加えることで、チームのマーク１１Ｃ付きの補助情報を表示することも可能である。

また、補助情報生成部８が、ビデオデータから選手の顔の部分の静止画若しくはビデオ映像を抜き出し、その顔のビデオデータを補助情報として使用すれば、例えば図６に示すように画面１２上で選手１１Ａの顔の拡大画像１１Ｄを顔部分に表示することが可能である。このようにすることで、視聴者に認識しやすい映像画面を提供できる。なお、選手の顔の部分の静止画若しくはビデオ映像は、制御情報により予め設定されたものであってもよい。

以上のように、この実施の形態１によれば、送信装置１が、ビデオデータを符号化して送信するビデオ符号化送信部６と、ビデオデータの補助情報を生成する補助情報生成部８と、補助情報生成部８から通知された補助情報を付与する対象画像の情報に基づいてビデオデータを解析し、このビデオデータの映像中で補助情報を付与すべき箇所を検出する画像解析部７と、補助情報及びビデオデータの映像中で補助情報を付与すべき箇所を含む補助情報ストリーム１１を生成して送信する補助情報送信部９とを備える。また、受信装置３が、符号化されたビデオデータを受信して復号するビデオ受信復号部１４と、ビデオデータの補助情報及びこのビデオデータの映像中で補助情報を付与すべき箇所を含む補助情報ストリームを解析して、補助情報の内容及びこの補助情報を付与すべき箇所を決定する補助情報解析部１５と、補助情報解析部１５の解析結果に基づいて、ビデオ受信復号部１４により復号されたビデオデータの映像に補助情報を重畳した表示データを生成して出力する重畳部１６とを備える。これにより、送信装置１がビデオ映像の内容に即した補助情報を適切な表示位置情報を付与して送信し、受信装置３が該ビデオ映像を表示するにあたり上記表示位置に補助情報を表示することから、小型の表示画面に表示する場合であっても、視聴者にビデオ映像内容を認識し易くすることができる。

また、この実施の形態１によれば、補助情報を表示する対象画像をビデオ映像から検出し、ビデオ映像中の対象画像の動きに合わせて補助情報の表示位置を決定するので、補助情報に基づいて視聴者がビデオ映像中の対象画像を正確に認識することができる。例えば、図４に示す空手の試合の映像中における選手１１Ａ，１１Ｂの画像に補助情報として選手名を表示する場合、選手１１Ａ，１１Ｂの動きに合わせて選手名を表示することができる。これにより、小型表示画面に空手の試合を表示しても、視聴者は選手名から的確に映像中の選手を認識することが可能である。

実施の形態２．
この実施の形態２は、受信側のユーザ操作により補助情報の表示を変更できるようにしたものである。図７は、この発明の実施の形態２による受信装置の構成を示すブロック図である。図７において、実施の形態２による受信装置３Ａは、上記実施の形態１で示した図５の構成に加え、入力部１７を備える。入力部１７は、装置３Ａの外部から情報の入力や選択設定等の操作を行うための構成要素であり、補助情報解析部１５から入力した補助情報に関する情報を外部に提示すると共に、提示した情報に応じた外部操作を受け付け、入力された操作情報を補助情報解析部１５に設定する。

入力部１７は、受信装置３Ａに搭載されたマイクロコンピュータが実行するソフトウエアと受信装置３Ａの不図示の表示装置やリモコン等のハードウエアとが協働した具体的な手段として実現される。例えば、リモコン操作に連動する設定画面を表示装置に表示して情報の入力や選択等の操作のためのＧＵＩを提供する。また、表示装置をタッチパネルにしたり、マイクを介して入力された音声で入力情報を認識する音声認識機能を持たせることにより、入力操作を容易化してもよい。なお、この他の構成要素については、上記実施の形態１で示した図５と同様であるので説明を省略する。

次に動作について説明する。
上記実施の形態１で示した送信装置１から受信した多重化ストリームを入力すると、受信装置３Ａ内の分離部１３は、該多重化ストリームをビデオストリームと補助情報ストリームとに分離し、ビデオストリームをビデオ受信復号部１４に出力し、補助情報ストリームを補助情報解析部１５に出力する。ビデオ受信復号部１４は、分離部１３から入力したビデオストリームを復号して、不図示の画面に表示可能なビデオデータとした後、重畳部１６に出力する。ここまでの処理は、上記実施の形態１と同様である。

補助情報解析部１５は、分離部１３から入力した補助情報ストリームをデータ解析し、上記実施の形態１で図３を用いて示した表示時刻１１ｂ、表示位置１１ｃ、補助情報ＩＤ１１ｄ及び補助情報内容１１ｅを該ストリームから抽出する。この後、補助情報解析部１５は、これらストリームデータを用いて画面に表示する補助情報を生成する前に、補助情報が存在する旨の情報を入力部１７に出力する。

入力部１７では、補助情報解析部１５から入力した情報を用いて、操作画面を表示装置に表示し、ユーザからの操作入力を受け付ける。例えば、ユーザに補助情報ＩＤ１１ｄが存在することを示し、ユーザは入力部１７の操作によって本来の表示位置より少し低い位置で表示するように指定すると、この補正位置情報が入力部１７から補助情報解析部１５に出力される。

補助情報解析部１５では、入力部１７から入力した補正位置情報に従って、補助情報ストリームから抽出した表示位置１１ｃに設定されていた位置情報を修正し、画面に表示する補助情報を生成して重畳部１６に出力する。重畳部１６は、ビデオ受信復号部１４から入力したビデオデータに対し、補助情報解析部１５から入力した補助情報を重畳して画面に表示すべきビデオデータとして出力する。このようにすることで、ユーザの好みに応じた補助情報の表示を行うことが可能となる。

また、補助情報解析部１５は、補助情報ストリームの表示位置１１ｃに複数の表示位置候補が設定されている場合、これら表示位置候補が複数有る旨を入力部１７に出力する。入力部１７では、複数の表示位置候補が存在することを、ユーザにわかりやすいように画面上に示す。入力部１７の操作によって複数の表示位置候補のうちのいずれかが選択されると、この表示位置候補の情報が入力部１７から補助情報解析部１５に出力される。

このようにすることで、ユーザは、所望の表示位置に補助情報を的確に表示することができる。例えば、上記実施の形態１で示した図４の選手名の表示は、選手に近いほどわかりやすい反面、選手名の文字で選手自体が隠れてしまう場合がある。この場合、映像中の選手に対する選手名の表示位置候補を複数設定しておき、入力部１７を使って選手と選手名表示との位置関係を選択する。これにより、補助情報の表示にユーザの好みを反映することが可能である。

入力部１７が、補助情報ストリームで時々刻々と入力される補助情報の表示可否を選択する画面を表示装置に表示するようにしてもよい。例えば、ビデオ映像でサッカーの試合をみる場合、試合開始当初は、選手名等の補助情報の表示が必要であるが、ある程度の時間試合をみると選手名等の補助情報がなくても画面中の映像を理解できる。そこで、補助情報の表示可否を選択する画面を表示装置に表示し、入力部１７を介して補助情報の表示可否を選択する。このようにすることで、ユーザにとって必要な情報のみを表示することができる。

また、入力部１７では、補助情報の表示サイズや色に関してユーザが指定できるようにする情報を、画面上に示す。入力部１７の操作によって補助情報の表示サイズや色が選択されると、この選択情報が入力部１７から補助情報解析部１５に出力される。

補助情報解析部１５は、入力部１７から入力した選択情報に従って、補助情報ストリームから抽出した補助情報内容１１ｅに設定されていた情報を修正し、画面に表示する補助情報を生成して重畳部１６に出力する。重畳部１６は、ビデオ受信復号部１４から入力したビデオデータに対し、補助情報解析部１５から入力した補助情報を重畳して画面に表示すべきビデオデータとして出力する。

このようにすることで、ユーザの好みに応じた補助情報の表示が可能となる。例えば、補助情報として選手名を表示する場合、大きい文字が好みのユーザであれば、大きい文字のフォントを選択し、小さい文字が好みのユーザであれば、小さい文字のフォントを選択して補助情報を作成する。なお、補助情報の表示色や書体等を選択できるようにすれば、ユーザ好みの補助情報の表示形態とすることができる。

以上のように、この実施の形態２によれば、装置３Ａの外部から情報の入力や選択設定等の操作を行うための構成要素であり、補助情報の表示に関する外部操作を受け付け、入力された操作情報を補助情報解析部１５に設定する入力部１７を備えたので、外部から補助情報の表示方法を調整することができ、ユーザに見やすい、わかりやすい画像を表示することができる。

また、この実施の形態２によれば、入力部１７が、補助情報ストリームに含まれる複数の表示位置候補を提示し、表示位置候補を選択した操作情報を補助情報解析部１５に設定するので、ユーザが補助情報の表示位置を選択することができることから、ユーザに見やすい、わかりやすい画像を表示することができる。

さらに、この実施の形態２によれば、入力部１７が、補助情報の表示可否を選択する画面を提示し、表示可否を選択した操作情報を補助情報解析部１５に設定するので、外部からの操作で補助情報の表示又は非表示を選択できることから、ユーザに見やすい、わかりやすい画像を表示することができる。

さらに、この実施の形態２によれば、入力部１７が、補助情報の表示サイズや色等の補助情報内容を選択する画面を提示し、補助情報の内容を選択した操作情報を補助情報解析部１５に設定するので、外部から補助情報の表示サイズや色等を選択することができ、ユーザに見やすい、わかりやすい画像を表示することができる。

実施の形態３．
上記実施の形態１又は２では、リアルタイムに送信装置からの多重化ストリームからビデオデータを再生する受信装置について示したが、この実施の形態３は、送信装置からの多重化ストリームを蓄積する蓄積部を有し、この蓄積部から読み出したストリームデータからビデオデータを再生する再生装置について説明する。

図８は、この発明の実施の形態３による再生装置の構成を示すブロック図であり、分離部１３が多重化ストリームデータを直接入力すれば、上記実施の形態１又は２で示した受信装置３，３Ａとして機能する。図８において、再生装置４は、上記実施の形態２で示した図７の構成に加え、蓄積部１８を備える。蓄積部１８は、再生装置４に搭載されたハードディスクや外付け記憶装置の記憶メディアの記憶領域上に構築され、上記実施の形態１で示した送信装置１からの多重化ストリームを記憶する。なお、この他の構成要素については、上記実施の形態２で示した図７と同様であるので説明を省略する。

次に動作について説明する。
分離部１３は、蓄積部１８から入力した多重化ストリームをビデオストリームと補助情報ストリームとに分離し、ビデオストリームをビデオ受信復号部１４に出力し、補助情報ストリームを補助情報解析部１５に出力する。この後の動作は、上記実施の形態２で示した受信装置３Ａの動作と同様である。蓄積部１８への多重化ストリームの蓄積方法は、送信装置１から受信して分離部１３へ入力される多重化ストリームを蓄積する。

以上のように、この実施の形態３によれば、再生装置４が、符号化されたビデオデータと、このビデオデータの補助情報及びビデオデータの映像中で補助情報を付与すべき箇所を含む補助情報ストリームとを蓄積する蓄積部１８と、蓄積部１８から読み出したビデオデータを復号するビデオ受信復号部１４と、蓄積部１８から読み出した補助情報送信データを解析して、前記補助情報の内容及びこの補助情報を付与すべき箇所を決定する補助情報解析部１５と、補助情報解析部１５の解析結果に基づいて、ビデオ受信復号部１４により復号されたビデオデータの映像に補助情報を重畳した表示データを生成して出力する重畳部１６とを備えたので、非リアルタイムで、蓄積された多重化ストリームや補助情報を再生することができる。

なお、上記実施の形態３では、上記実施の形態２による受信装置３Ａに蓄積部１８を設ける構成を示したが、上記実施の形態１の構成に蓄積部１８を設けても構わない。

また、上記実施の形態３では、ビデオストリームと補助情報ストリームを含む多重化ストリームを蓄積部１８に蓄積する例を示したが、ビデオストリームと補助情報ストリームとが別個に送信される場合は、これらを別個に蓄積するようにしてもよい。この場合、分離部１３は使用されず、ビデオ受信復号部１４と補助情報解析部１５にビデオストリームと補助情報ストリームがそれぞれ入力される。

この発明によるテレビ放送送受信システムの構成を示す図である。 この発明の実施の形態１による送信装置の構成を示すブロック図である。 補助情報の伝送フォーマットを示す図である。 補助情報を含む受信側での表示例を示す図である。 この発明の実施の形態１による受信装置の構成を示すブロック図である。 補助情報を含む受信側での表示例を示す図である。 この発明の実施の形態２による受信装置の構成を示すブロック図である。 この発明の実施の形態３による再生装置の構成を示すブロック図である。

符号の説明

１ 送信装置、１ａ ストリームデータ、２ 放送設備、３，３Ａ 受信装置、４ 再生装置、５ 放送波、６ ビデオ符号化送信部（ビデオ送信部）、７ 画像解析部、８ 補助情報生成部、８ａ 制御情報入力部、９ 補助情報送信部、１０ 多重化部、１１ 補助情報ストリーム（補助情報送信データ）、１１ａ 識別子、１１ｂ 表示時刻、１１ｃ 表示位置、１１ｄ 補助情報ＩＤ、１１ｅ 補助情報内容、１１Ａ，１１Ｂ 選手、１１Ｃ マーク、１１Ｄ 拡大画像、１２ 画面、１３ 分離部、１４ ビデオ受信復号部（ビデオ復号部）、１５ 補助情報解析部、１６ 重畳部、１７ 入力部、１８ 蓄積部。

Claims (10)

1. ビデオデータを符号化して送信するビデオ送信部と、
   前記ビデオデータの補助情報を生成する補助情報生成部と、
   前記補助情報生成部から通知された前記補助情報を付与する対象画像の情報に基づいて前記ビデオデータを解析し、このビデオデータの映像中で前記補助情報を表示すべき箇所を検出する画像解析部と、
   前記補助情報及び前記ビデオデータの映像中で前記補助情報を表示すべき箇所を含む補助情報送信データを生成して送信する補助情報送信部とを備えた送信装置。
2. 補助情報送信部は、補助情報の内容が同じで、この補助情報を表示すべき箇所に変更がある場合、前記補助情報を表示すべき箇所のみを含む補助情報送信データを生成して送信することを特徴とする請求項１記載の送信装置。
3. 補助情報送信部は、補助情報を表示する箇所の複数の候補を含む補助情報送信データを生成して送信することを特徴とする請求項１または請求項２記載の送信装置。
4. 補助情報生成部は、予め設定された若しくはビデオデータから抽出された、動画像及び静止画像の少なくとも一方を用いて補助情報を生成することを特徴とする請求項１から請求項３のうちのいずれか１項記載の送信装置。
5. 符号化されたビデオデータを受信して復号するビデオ復号部と、
   前記ビデオデータの補助情報及びこのビデオデータの映像中で前記補助情報を表示すべき箇所を含む補助情報送信データを解析して、前記補助情報の内容及びこの補助情報を表示すべき箇所を決定する補助情報解析部と、
   前記補助情報解析部の解析結果に基づいて、前記ビデオ復号部により復号されたビデオデータの映像に前記補助情報を重畳した表示データを生成して出力する重畳部とを備えた受信装置。
6. 外部からの操作情報を受け付ける入力部を備え、
   補助情報解析部は、前記入力部で入力された操作情報に従って、補助情報の提示方法を決定することを特徴とする請求項５記載の受信装置。
7. 入力部は、補助情報を表示すべき箇所の複数の候補を提示し、
   前記補助情報解析部は、前記入力部で前記複数の候補から指定された箇所を、前記補助情報を表示すべき箇所とすることを特徴とする請求項６記載の受信装置。
8. 入力部は、補助情報の表示可否を提示し、
   前記補助情報解析部は、前記入力部で選択された表示可否に従って、前記補助情報の表示可否を決定することを特徴とする請求項６または請求項７記載の受信装置。
9. 入力部は、補助情報の表示内容の選択情報を提示し、
   前記補助情報解析部は、前記入力部で選択された補助情報の表示内容に従って、前記補助情報の表示内容を決定することを特徴とする請求項６から請求項８のうちのいずれか１項記載の受信装置。
10. 符号化されたビデオデータと、このビデオデータの補助情報及び前記ビデオデータの映像中で前記補助情報を表示すべき箇所を含む補助情報送信データとを蓄積する蓄積部と、
    前記蓄積部から読み出した前記ビデオデータを復号するビデオ復号部と、
    前記蓄積部から読み出した前記補助情報送信データを解析して、前記補助情報の内容及びこの補助情報を表示すべき箇所を決定する補助情報解析部と、
    前記補助情報解析部の解析結果に基づいて、前記ビデオ復号部により復号されたビデオデータの映像に前記補助情報を重畳した表示データを生成して出力する重畳部とを備えた再生装置。

Images