JP2005136762A

JP2005136762A - 高精細映像再生方法ならびに装置

Info

Publication number: JP2005136762A
Application number: JP2003371502A
Authority: JP
Inventors: Yoshinori Suzuki; 芳典鈴木; Takehiro Fujita; 武洋藤田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-10-31
Filing date: 2003-10-31
Publication date: 2005-05-26

Abstract

【課題】記録容量の大きい映像情報のHDTV映像を提供する方法であって、かつ著作権上の問題等にも考慮した方法を提供する。
【解決手段】媒体に蓄積されたSDTV映像の基本ビデオデータとネットワークから取得した拡張ビデオデータにてHDTV映像を再生する。あるいは、放送から受信したSDTV映像の基本ビデオデータとネットワークから取得した拡張ビデオデータにてHDTV映像を再生する。拡張ビデオデータを保存するデータサーバへのアクセスは、媒体に記録されたリンク情報や媒体に含まれる製品情報の提供により可能となる。あるいは、放送業者や通信キャリアとの契約により可能となる。
【効果】正当な権利を持つユーザのみに対してのみ、選択的に拡張サービスを提供することが可能となる。
【選択図】図１

Description

本発明は、圧縮動画像データの復号技術に属するものである。

標準(SD)TV映像は、スケーラブル符号化技術を用いて高精細(HD)TV映像に変換できる。スケーラブル符号化技術は、国際標準規格にて標準化されている（例えば、非特許文献１参照）。スケーラブル符号化を用いることにより、HDTV映像（高画質TV映像）は、SDTV映像（標準TV映像）を圧縮したベースレイヤビットストリーム（基本ビデオデータ）と、基本ビデオデータを再生することにより得られる再生SDTV映像をHDTV映像に拡張するためのエンハンスメントレイヤビットストリーム（拡張ビデオデータ）に分離圧縮できる。

又、SDTV映像をHDTV映像に拡張するための情報を、ネットワークを介して提供する技術がある（例えば、特許文献１参照）。この例では、映像の編集履歴を映像編集機間で相互通知することにより、編集処理を簡単に次の映像編集機に引き継ぐことができる。SDTV映像を編集する編集機(SD編集機)からHDTV映像を編集する編集機(SD編集機)に編集処理が引き継がれた場合には、編集履歴データに基づいてSDTV映像を取得したのち、SDTV映像をHDTV映像にアップコンバートしてから編集処理を実施する。

ISO/IEC 13818-2:1995、MPEG-2 Video

ISO/IEC 14496-2:2001、MPEG-4 Visual ISO/IEC 14496-2:2001/Amd.2:2002、MPEG-4 Visual Streaming Video Profile。

特開２００２−１９１０１１号公報

PDPのような大画面ディスプレイが市場に導入されているが、DVDビデオや標準TV放送など、現在市場に出回っている主流の映像コンテンツはSDTV映像が中心であり、HDTV映像を精細に表示できる大画面ディスプレイの長所が生かされてない。また、既存のDVD等の光ディスクは、記録容量の制限がある。よってHDTV映像を再生できるようにプレイヤを改良したとしても、１本のHDTV映画を蓄積することはできない。さらに、HDTV映像はSDTV映像に比較して価値が高いため、インターネットからHDTV映像の圧縮データをダウンロードすることは、２次利用された場合の被害が大きく著作権上好ましくない場合がある。

又、上記特許文献１のように編集履歴データをネットワークにて提供する方法では、SDTV映像をHDTV映像に変換するための手順を示すことは可能であるが、変換に利用するための拡張ビデオデータは提供されない。そのため、拡張ビデオデータが受信側に存在しない場合、ネットワークからデータを受け取っても変換作業は実施できない。

媒体に蓄積されたSDTV映像の基本ビデオデータとネットワークから取得した拡張ビデオデータにてHDTV映像を再生する。あるいは、放送から受信したSDTV映像の基本ビデオデータとネットワークから取得した拡張ビデオデータにてHDTV映像を再生する。又、拡張ビデオデータとして、画面サイズの拡大や付加データを差採用する。

拡張ビデオデータを保存するデータサーバへのアクセスは、媒体に記録されたリンク情報や媒体に含まれる製品情報の提供により可能となる。あるいは、放送業者や通信キャリアとの契約により可能となる。

本発明のHDTV映像再生システムによれば、ユーザの基本ビデオデータの所有、さらにユーザが所有する基本ビデオデータの拡張性（拡張ビデオデータを受け取る権利）を識別した上で、ネットワークを通じて拡張ビデオデータを提供するため、拡張ビデオデータを受信する正当な権利を持つユーザのみに対してのみ、選択的に拡張サービスを提供することが可能となる。

本発明によるHDTV映像システムの基本構成を図１を用いて説明する。本発明の基本システムは、基本ビデオデータを取り扱うSD再生装置（１００−１）と、拡張ビデオデータを受信しHDフレームを再生するHD再生装置（１１０−１）と、拡張ビデオデータを蓄積・配信するコンテンツサービスサーバ（２００−１）により構成される。HD再生装置は、ネットワーク（３００）を介してデータサーバに接続される。また、SD再生装置はHD再生装置と接続されており、HD再生装置からの要求により、基本ビデオデータを再生したSDフレームをHD再生装置に提供する。HD再生装置はネットワークを介してデータサーバにアクセスすることが可能であり、データサーバから拡張ビデオデータを取得する。ここで、基本ビデオデータとは、SDTV映像を構成する複数のSDフレームを符号化した圧縮データ（ベースレイヤビットストリーム）である。拡張ビデオデータとは再生した複数のSDフレームとHDTV映像を構成する複数のHDフレームとの差分フレームを符号化した圧縮データ（エンハンスメントレイヤビットストリーム）である。HD再生装置は、SD再生装置にて再生されたSDフレームと、データサーバから取得した拡張ビデオデータを用いてHDフレームを再生する。

この構成によれば、基本ビデオデータを正式な権利で保有するユーザに対して、選択的に拡張ビデオデータを提供するというサービスが実現できる。より具体的には、基本ビデオデータに拡張データへのリンク情報（ＵＲＬなど）や基本ビデオデータの内容を識別する製品情報を基本ビデオデータと同時に提供し、これらの情報をコンテンツサービスサーバが拡張ビデオデータ提供のためのキーデータとすることにより、HDTV画像サービスを提供する正規の権利を持つユーザにのみ、拡張ビデオデータを提供するように制限をかけることが可能となる。

また、拡張ビデオデータは基本ビデオデータなしにはHDTV映像を再生できないため、基本ビデオデータと分離して、拡張ビデオデータのみをコンテンツサービスサーバにて管理することにより、商品価値の高いHDTV映像に対する不正利用プロテクトが強くなる。この際、1）HDTV映像再生後に拡張ビデオデータを装置内に残さない（ストリーミング）、２)取得した拡張ビデオデータへのアクセスを制限する（ダウンロード、ハードディクスに記録後コピープロテクトをかける）などの手段をHDTV装置に講じることにより、拡張ビデオデータの流出を防止できる。さらに、拡張ビデオデータにインターリーブをかけるまたは暗号化を施すなどの措置を講じ、コンテンツサービスサーバの認証なしに拡張ビデオデータを再生できないような仕組みを設けておけば、基本ビデオデータを不正な手段で入手し、拡張ビデオデータをコンテンツサーバから不正にデータが引き出してもHDTV映像を再生することはできない。

SD再生装置の具体例としては、光ディスクからデータを読み取って再生する光ディスクプレイヤ（DVDプレイヤ、CDプレイヤ）や放送データを受信する放送受信装置が挙げられる。HD再生装置の具体例としては、専用再生装置やPCが挙げられる。ネットワークとしては、インターネットや携帯無線網が挙げられる。データサーバの具体例としては、コンテンツのメディアライブラリやサービスサイトなどが挙げられる。なお、HD再生装置がSD再生機能を持つ場合には、SD再生装置を別途装置としてシステムが有しない構成やSD再生装置が再生前の基本ビデオデータをHD再生装置に提供する機能を持つ構成も考えられる。

図１を用いて本願の開示するシステムの第１の実施例を説明する。図１では、説明に必要な最小構成のみを示しており、例えば、オーディオデータの再生機能は図中には含めていない。SD再生装置１００−１は、メディアデータ（基本ビデオデータ、オーディオ、テキストの混合データ）を記録したデータストレージ105（例えば、光ディスク、受信した放送データを一時的に記録するバッファあるいは受信した放送データを記録するハードディスクなど）とメディアデータを各データに分離する分離部101-1と、テキストデータからリンク情報を抽出するリンク情報デコーダ103と、基本ビデオデータをSDフレームに再生処理するベースレイヤデコーダ102から構成される。HD再生装置110-1は、拡張ビデオデータの取得を行うデータ送受信部112-1と、SDフレームと拡張ビデオデータからHDフレームを再生するエンハンスメントレイヤデコーダ111-1と、SD再生装置への要求を制御する制御部114-1から構成される。制御部114-1は、SD再生装置に対して、メディアデータのテキストデータに含まれるリンク情報の再生と提供ならびに、基本ビデオデータの再生と再生されたSDフレームの提供を要求する役割を果たす。ここで、リンク情報とは、基本ビデオデータに対応する拡張ビデオデータの所在を示すデータである（例えばＵＲＬ）。データ送受信部は、SD再生装置100-1からリンク情報が入力されると、リンク情報に記載されるリンク先(コンテンツサービスサーバ200-1内のデータサーバ201-1)にネットワーク300を介して接続し、拡張ビデオデータを取得する役割を果たす。このように、制御部114-1の制御により、再生SDフレームと拡張ビデオデータがエンハンスメントレイヤデコーダ111-1に提供され、HDフレームの再生処理が実現される。なお、この構成では、拡張ビデオデータはストリーミング配信されるため、再生処理のためエンハンスメントレイヤデコーダ内のバッファに一時的に蓄積されるが、再生後、次のHDフレームデータにて上書きされるため、HD再生装置内には残らない。

図２を用いて本願の開示するシステムの第２の実施例を説明する。図１と図２の相違点は、SD再生装置100-2内のリンク情報デコーダが製品情報デコーダに置き換わっている点と、データサーバ201-2とメディアライブラリ202-2（本明細書では、アクセスできるコンテンツを表示したコンテンツリストを総称としてメディアライブラリと呼ぶ）にてコンテンツサービスサーバ200-2が構成されている点である。そのため、製品情報を扱う制御部114-2の動作はリンク情報を扱う図１の制御部114-1とは異なる。この実施例では、メディアデータにはリンク情報は含まれておらず、ユーザが選択したメディアライブラリのリスト中のコンテンツを選択する。この際、SD再生装置内の製品情報デコーダからHD再生装置110-2のデータ送受信部112-2を介して提供された製品情報に、選択されたコンテンツのものがあれば拡張ビデオデータの入手を可能とする。さらに、図１と図２の機能を併せ持つシステム構成も考えられる（第２の実施例変形１）。この場合には、製品情報デコーダ104がリンク情報と製品情報をテキストデータから抽出する機能を持ち、さらにデータ送受信部112-2が後述するリンク情報と製品情報とを識別し、コンテンツサーバ200-2にアクセス情報を提供する機能を持つ。ここで、製品情報とは、コンテンツを識別するための情報全般を意味する。例えば、光ディスクに埋め込まれたプロダクト情報やタイトル情報や受信放送データに含まれる番組情報などが製品情報として利用可能である。

図３を用いて本願の開示するシステムの第３の実施例を説明する。図２と図３の相違点は、SD再生装置100-3内に製品情報デコーダが存在しない点である。この場合には、別の契約にて拡張ビデオデータへアクセスする。また、図３では、データ送受信部112を設けていないが、これは、エンハンスメントレイヤデコーダ111-1に受信機能が含まれていることを想定したためであり、HD再生装置110-3内に含まれる場合も考えられる。

図１〜図３に示した実施例では「HD再生装置からデータサーバへアクセスする方法」が以下のように異なる。
A. 記録媒体あるいは放送データに記録されたリンク情報に従ってアクセス（図１）、
B. プロダクト情報による認証処理後にアクセス（図２）、
C. 放送契約やキャリア契約に基づく個人認証処理後にアクセス（図３）、
D. 情報・認証なしでアクセス（図３）。
各実施例の効果について、ここで説明する。「リンク情報にてアクセスする方法」は、データサーバの存在を公にすることなく特定ユーザにアクセス権を提供できるため、新製品や新サービスには最適な方法と考えられる。さらに、この方法では、複数のリンク情報を用意することにより、拡張ビデオデータへのランダムアクセスとシーン途中からのHDTV映像の閲覧が可能となる。「プロダクト情報による認証処理後にアクセスする方法」は、ネット上に開示されたコンテンツのリストから見たいコンテンツを選択する場合に適している。この方法によれば、基本ビデオデータが媒体に記録されている場合において、選択したコンテンツを所有していることが確認できる。そのため、製品（例えば既に発売済みのDVD）を購入したユーザや有料放送コンテンツを受信したユーザに対してのみ、拡張ビデオデータを提供するサービスが可能となる。「放送契約やキャリア契約に基づく個人認証処理後にアクセスする方法」も、ネット上に開示されたコンテンツリスト（メディアライブラリ）から見たいコンテンツを選択する場合に適している。この方法では、放送や無線通信にて基本ビデオデータを受信したユーザに対して、HDTV映像閲覧の付加サービスを提供することが可能となる。「情報・認証なしでアクセスする方法」は、拡張ビデオデータのみではコンテンツが再生できないことを利用した方法であり、拡張ビデオデータの受信料金にて課金処理を行うサービス(例えば、携帯電話のインターネットアクセス)では有効である。

図５にて、本願の開示するHDTV映像再生方法の処理フロー例１を示す。この図５は、図１〜図３ならびに２実施例変形１に適応される。上記に示したように、３つの実施例の違いは「HD再生装置からデータサーバへアクセスする方法」である。処理フローは、認証処理と再生処理に分かれる。
まず、例として図１と図２の機能を併せ持つシステム（第２の実施例変形１）の認証処理を説明する。この実施例では、テキストデータに含まれるアクセス情報（リンク情報または製品情報）に応じて適応的に処理できる。まず、ユーザのコンテンツを指定しての再生指示が入力されると、制御部114が、リンク情報デコーダあるいは製品情報デコーダに該コンテンツの基本ビデオデータに対応付けられるメディアデータ又は製品情報データがないかのチェックを要求する。アクセス上情報デコーダ（リンク情報と製品情報を再生する）は、この要求を受けて、メディアデータを検索する。“リンク情報あり”と判断される場合(701)には、図１のSD再生装置の分離部101-1にて、メディアデータ（ビデオ、オーディオ、テキストの混合データ）からユーザの指定したシーンに対応するテキストデータを分離し、リンク情報デコーダ103にてリンク情報を再生する。リンク情報を取得(751)したHD再生装置110-1のデータ送受信部112-1は、ネットワーク300を介して、データサーバ201-1にリンク情報を配信する(752)。リンク情報を受信したデータサーバはその有効性を判断し、問題がなければ、認証情報をユーザに通知する。HD再生装置110は、認証情報を受信したのち(702)、再生処理を開始する。“リンク情報なし”と判断される場合(701)には、図２のように、SD再生装置100-2の分離部101-2にて、メディアデータのテキストデータを分離し、製品情報デコーダ103にて製品情報を再生する。HD再生装置110-2は、製品情報を取得(761)した後、ユーザの指示により、メディアライブラリ202に接続する(762)。ユーザのコンテンツ選択後、選択情報と共に製品情報がデータ送受信部112-2を介してデータサーバ201-2に配信される(763)。製品情報を受信したデータサーバはユーザが選択したコンテンツと製品情報の一致を確認し、問題がなければ、認証情報をユーザに通知する。HD再生装置110-2は、認証情報を受信したのち(702)、再生処理を開始する。なお、図１と図２の場合には、ユーザから処理開始要求(700)により、HD再生装置からSD再生装置にサーバへのアクセス情報が要求され、データサーバとの認証処理が実施される。具体的には、処理701は実施せずに、751〜752（図１の場合）あるいは761〜763（図２の場合）のみの処理フローが実施される。

図３の場合には、ユーザから処理開始要求(700)により、メディアライブラリ202-3に接続する。ユーザのコンテンツ選択後、選択情報がデータサーバ201-3に配信される。契約に基づく個人認証処理が必要の場合には、メディアライブラリへの接続時あるいはコンテンツの選択情報配信時に認証処理が実施される。認証処理の方法については、本願では限定しないが、例えば、暗号化されたアクセス情報が自動的にデータサーバに送られ、予め記録される個人情報との照合を行う方法などが考えられる。以降の再生処理は、何れの変形例とも基本的には同じである。まず、HD再生装置110の制御部114は、SD再生装置100に基本ビデオデータの再生開始を要求する。この要求を受けて、SD再生装置100内のベースレイヤデコーダ102が基本ビデオデータの再生ならびにSDフレームのHD再生装置110への提供を開始する(703)。同時に制御部114は、データサーバから拡張ビデオデータの取得処理を開始する(704)。制御部114が次のSDフレームの受信完了を確認すると(705)、HD再生装置110内のエンハンスメントレイヤデコーダ111は、次フレームの拡張ビデオデータを再生し(706)、HDフレームを合成する(707)。HD再生装置は、再生したHDフレームをHDモニタに出力する。以降、エンハンスメントレイヤデコーダ111は、受信した拡張ビデオデータの再生処理が終了する(709)まで、処理705から処理707を繰り返す(708)。

ここで、図７は、光ディスクの例である。データ801は、ディスク800に記録されたデータの一部であり、データ810と820はテキストデータ、データ812と822がビデオとオーディオの合成データを示しているものとする。ここで、データ812と822を光ディスクの表示メニューにてランダムアクセスできるデータ単位と仮定する。このとき、データ811をデータ812に対応(同期)する拡張ビデオデータにアクセスするリンク情報、データ821をデータ822に対応(同期)する拡張ビデオデータにアクセスするリンク情報とすることにより、HDTV映像の途中再生が可能となる。例えば、ユーザから光ディスクの再生メニューからデータ812を再生することを選択した場合には、データ811がリンク情報としてデータサーバに配信される。図７(b)は、放送データの例である。放送データは、チャンネル切り替え時などの途中再生に対応できるため、通常、ランダムアクセス単位が細かく設定される。データ830と840はテキストデータ、データ832と842がビデオとオーディオの合成データを示しているものとする。ここで、データ832と842をランダムアクセス可能なデータ単位とし、データ830をデータ832の番組情報、データ840をデータ842の番組情報と仮定する。このとき、データ831をデータ832に対応(同期)する拡張ビデオデータにアクセスするリンク情報、データ841をデータ842に対応(同期)する拡張ビデオデータにアクセスするリンク情報とすることにより、番組の途中からHDTV映像を再生することが可能となる。例えば、ユーザがデータ832に対応する番組チェンネルを選択した場合には、データ831がリンク情報としてデータサーバに配信される。

図４を用いて本願の開示するシステムの第４の実施例を説明する。図１と図４の相違点は、HD再生装置110-4のデータ送受信部112-1とエンハンスメントレイヤデコーダ111-1の間にハードディスク113が設けられている点である。この実施例では、データサーバから取得した拡張ビデオデータをハードディスクに保存できる。そのため、制御部114-4の制御により、拡張ビデオデータをハードディスクにダウンロード後に、SDフレームの再生・提供要求とHDフレームの再生処理を実施することが可能となる。なお、図４のリンク情報にかえて製品情報を使う場合にはリンク情報デコーダ103を製品情報デコーダ104に置き換え、コンテンツサービスサーバ200-1を図２のコンテンツサービスサーバ200-2とすれば良い（第４の実施例変形１）。さらに、リンク情報デコーダ103に加えて製品情報デコーダ104も備えるようにすれば２種類のアクセス情報を扱うシステム構成が実現できる（第４の実施例変形２）。また図３のようにリンク情報デコーダも製品情報デコーダも存在しないシステム構成とし、別の契約にて拡張ビデオデータへアクセス方法も考えられる（第４の実施例変形３）。このように、図４においても、図１に対する図２、図３のようにデータサーバへのアクセス方法の変形例が実施できる。

図１と図４では、「HD再生装置のデータ受信・再生方法」が以下のように異なる。A. データを受信しながら再生するストリーミング（図１）、
B. データを受信した後に再生処理を行うダウンロード（図４）。
前者は、受信データは再生後に削除されるため、多くのメモリを持たない装置を使用する場合や、受信データを残さないことによりコンテンツの著作権を保護したい場合に適している。後者は、受信データを蓄積するためのメモリが必要なるが、データの受信エラーを避けることができるため、安定したサービスを提供することができる。拡張ビデオデータがハードディクス内に残ることによる２次利用の危険性については、ハードディスクに拡張ビデオデータへのアクセス制限をかけることにより、また、視聴後にハードディスクから拡張ビデオデータを削除する機能を設けることにより、拡張ビデオデータの２次利用を防ぐが望ましい。
図６にて、本願の開示するHDTV映像再生方法の処理フロー例３を示す。この図６は、図４ならびにその変形例（データサーバへのアクセス方法）に適用される。図５と同様に処理フローは、認証処理と再生処理に分かれる。認証処理については、図５の場合と同じであるため説明を割愛する。以降の再生処理は、４例とも基本的には同じである。まず、HD再生装置110-4は、制御部114-4の指令により、データサーバ201-1からハードディスク113に、拡張ビデオデータをダウンロードする(724)。次に、HD再生装置110-4の制御部114-4は、SD再生装置100-4に基本ビデオデータの再生開始を要求する。この要求を受けて、SD再生装置100-4内のベースレイヤデコーダ102が基本ビデオデータの再生ならびにSDフレームのHD再生装置110-4への提供を開始する(703)。制御部114-4が次のSDフレームの受信完了を確認すると(705)、HD再生装置110-4内のエンハンスメントレイヤデコーダ111-1は、次フレームの拡張ビデオデータを再生し(706)、HDフレームを合成する(707)。HD再生装置は、再生したHDフレームをHDモニタに出力する。以降、エンハンスメントレイヤデコーダ111-1は、ダウンロードした拡張ビデオデータの再生処理が終了する(709)まで、処理705から処理707を繰り返す(708)。なお、拡張ビデオデータを分割してダウンロードすることにより、全拡張ビデオデータのダウンロードを待たずに再生処理を開始することも可能となる。図１〜図４では、SD再生装置とHD再生装置を別の装置としているが、SD再生装置の機能がHD再生装置に含まれている場合には、１つの装置にて本願のHD映像再生処理を実施できる。但し、この場合、図５および図６の処理フローにおいて、処理703内のSDフレーム提供開始は必要なく、処理705のSDフレーム受信確認はSDフレーム再生確認となる。

図８と図９に、本発明のHDTV映像再生装置の具体例を示す。図８(a)は、上記SD再生装置として、光ディスク901(DVD-ROM、DVD-R、Blu-ray Disc ROM、CD-ROM/CD-Rなど)上のデータを読み取る光ディスクプレイヤ902(DVDプレイヤ、BDプレイヤ、CDプレイヤ)、上記HD再生装置としてエンハンスメントレイヤ復号機能をもつPC903の場合の例である。プレイヤ902は、光ディスク901に記録された基本ビデオデータを読み取り、SDフレームを再生する。PC903は、ネットワーク904を通して取得した拡張ビデオデータとSDフレームにてHDフレームを再生し、PDPディスプレイ905に表示する。以下、SD再生装置として、アンテナ911にて受信した放送データ（基本ビデオデータ含む）を再生するTV受信機912（図８(b)）、有線ケーブル921から受信したCATVデータを再生するセットトップボックス922（図８(c)）、携帯端末931とプレイヤ932の組み合わせ（図８(d)）の例である。図８（ｄ）の場合プレイヤ932は、携帯無線網のサービスサイトから携帯端末が受信した基本ビデオデータをSDフレームに再生する。携帯端末がベースレイヤ復号機能を有している場合には、携帯端末をSD再生装置とすることも可能である。なお、図８(a)〜(d)ではHD再生装置をPCとしているが、これを、エンハンスメントレイヤデコーダを持つ専用プレイヤに置きかえた構成も本願に含まれる。さらに図８(a)〜(d)は、有線ネットワークから拡張ビデオデータを受信する構成であるが、HD再生装置が携帯無線網への接続機能を持っており(携帯端末を介しての接続も含む)、無線携帯網から拡張ビデオデータを受信する構成も本願に含まれる。

図９(a)〜(d)は、図８において、HD再生装置であるPC903がベースレイヤ復号機能とエンハンスメントレイヤ復号機能を両方持つ場合の構成例である。この場合も、PCはベースレイヤデコーダとエンハンスメントレイヤデコーダを含む専用プレイヤに置きかえられる。さらに、HD再生装置が携帯無線網への接続機能を持っており(携帯端末を介しての接続も含む)、無線携帯網から拡張ビデオデータを受信する構成も本願に含まれる。

本発明では、基本ビデオデータと拡張ビデオデータの符号化・復号化方式は限定しないが、MPEG-4 Video Simple Scalable Profileを例としてベースレイヤデコーダとエンハンスメントデコーダの内部構成を図１０と図１１に示しておく。MPEG-4復号技術の詳細（非特許文献２）は割愛するが、動画像の各フレームはブロック単位で符号化される。符号化データは、時間方向の冗長度を圧縮した動き情報と、空間方向の冗長度を圧縮したテクスチャ情報により構成されている。ベースレイヤデコーダ（図１０）で基本ビデオデータは、分離部501にて動き情報とテクスチャ情報に分離される。動き情報は、動き情報復号部521にて差分動きベクトルに復号される。差分動きベクトルは、動きベクトル予測部522にて予測動きベクトルと加算し、動きベクトルに復元される。動きベクトルは動き補償部523に入力される。動き補償部523では、フレームメモリ524に蓄積されている復号済みのSDフレームから動きベクトルが示す位置のブロックを、予測ブロックとして抜き出す。テクスチャ情報は、可変長復号部511にて量子化DCT係数に復号される。量子化DCT係数は、逆量子化部512にて逆量子化されたのち、逆DCT部513にて誤差ブロックに再生される。誤差ブロックと予測ブロックは加算部502にて画素毎に加算され、再生ブロックに復元される。復元された各再生ブロックは、フレーム合成部503にて、SDフレームに合成される。次にエンハンスメントレイヤデコーダ（図１１）について説明する。まず、ベースレイヤデコーダにて再生されたSDフレームが、アップサンプル部604にて、HDフレームのサイズに拡張され、HD低解像フレームが作成される。拡張ビデオデータは、分離部601にて動き情報、予測タイプ情報、テクスチャ情報に分離される。予測タイプには、ベースレイヤ予測、エンハンスメントレイヤ予測、内挿予測の３種類があり、ブロック毎に復号される。予測タイプがベースレイヤ予測のブロックについては、合成予測部605にて、HD低解像フレームから現ブロックと空間的に一致する位置のブロックが予測ブロックとして抜き出される。予測タイプがベースレイヤ予測のブロックでは、動き情報は復号しない。予測タイプがエンハンスメントレイヤ予測のブロックについては、動き情報が、動き情報復号部621にて差分動きベクトルに復号される。差分動きベクトルは、動きベクトル予測部622にて予測動きベクトルと加算し、動きベクトルに復元される。動きベクトルは動き補償部623に入力される。動き補償部623では、フレームメモリ624に蓄積されている復号済みのHDフレームから動きベクトルが示す位置のブロックを、予測ブロックとして抜き出す。予測タイプが内挿予測の場合にはベースレイヤ予測とエンハンスメントレイヤ予測が行われる。そして、合成予測部605にて、２個の予測ブロックの各画素について平均値を求め、予測ブロックとする。テクスチャ情報は、可変長復号部611にて量子化DCT係数に復号される。量子化DCT係数は、逆量子化部612にて逆量子化されたのち、逆DCT部613にて誤差ブロックに再生される。誤差ブロックと予測ブロックは加算部602にて画素毎に加算され、再生ブロックに復元される。復元された各再生ブロックは、フレーム合成部603にて、HDフレームに合成される。

図１〜図４では、HD再生装置110内の制御部114により、SD再生装置が制御されているが、本願は、制御部114がHD再生装置内の処理ユニットのみを制御する場合も含まれる。この場合には、図５と図６の処理703におけるデータ要求は、ユーザがSD再生装置を操作することにより実施されるものである。ここまでの説明では、HD再生装置はエンハンスメントレイヤ復号機能を必要としており、ネットワークから拡張ビデオデータを取得する構成について説明した。しかし、本願の認証処理にてユーザがSDTV映像の基本ビデオデータを所有した後、拡張ビデオデータに替えて、HDTV映像の基本ビデオデータをネットワークから取得する構成も考えられる。この場合でも、リンク情報や製品情報を利用した本願の基本ビデオデータ所有認証処理の適用手段が活用できるため本願構成が有効である。

又、基本ビデオビットストリームを復号した再生画像の画像サイズを拡張ビデオビットストリームにて拡大する構成にも本発明の特徴は有効である。例えば、携帯電話向けの有料デジタル放送（基本ビデオビットストリーム）をＰＣに記録し、有料受信権利認証により、コンテンツサービスサーバから拡張ビデオデータをＰＣにて取得し、より高解像度の映像を視聴する場合などが考えられる。

また、手元にあるビデオビットストリームとコンテンツサービスサーバから受信する追加ビデオビットストリーム（ユーザの手元にある所有権認証にて取得）により、手元にあるビデオビットストリームだけの再生映像とは異なる映像（例えば、画質や絵柄が変化する場合）が得られるサービスに、本発明の構成は有効である。画質の改善の例としては、MPEG-2(非特許文献１)やMPEG-4（非特許文献２と３）のSNRスケーラビリティー機能にて作成された拡張ビデオビットストリームをコンテンツサービスサーバに準備し、これをインターネットから受信することにより、デジタル放送をＤＶＤレベルの画質で視聴することが可能となる。画質の改善のもう一つの例としては、時間スケーラビリティー機能にて作成された拡張ビデオビットストリームをコンテンツサービスサーバに準備し、これをインターネットから受信することにより、フレームレートの低い携帯電話向け映像を動きの滑らかな映像にエンハンスして視聴することが可能となる。絵柄が変化する場合の例としては、MPEG-4（非特許文献２）の形状符号化機能にて作成されたビデオオブジェクトビットストリームをコンテンツサービスサーバに準備し、これをインターネットから受信することにより、基本ビデオビットストリームの再生映像に新しい人物を登場させた映像や、基本ビデオビットストリームの再生映像の一部を変更した映像を視聴することが可能となる。

本発明におけるHDTV映像再生システムの第１例を示した図である。本発明におけるHDTV映像再生システムの第２例を示した図である。本発明におけるHDTV映像再生システムの第３例を示した図である。本発明におけるHDTV映像再生システムの第４例を示した図である。本発明におけるHDTV映像再生処理の第１例を示した図である。本発明におけるHDTV映像再生処理の第２例を示した図である。本発明の基本ビデオデータへのリンク情報の埋め込み例を示した図である。本発明のHDTV映像再生装置について、基本ビデオデータ素材とSD再生装置とHD再生装置の組み合わせの具体例を示した図である。本発明のHDTV映像再生装置について、基本ビデオデータ素材とHD再生装置の組み合わせの具体例を示した図である。ベースレイヤデコーダの構成例を示した図である。エンハンスメントレイヤデコーダの構成例を示した図である。

符号の説明

１００…SD再生装置、１０１、５０１、６０１…分離部、１０２…ベースレイヤデコーダ、１０３…リンク情報デコーダ、１０４…製品情報デコーダ、１１０…HD再生装置、１１１…エンハンスメントレイヤデコーダ、１１２…データ送受信部、１１３…ハードディスク、１１４…制御部、２０１…データサーバ、２０２…メディアライブラリ、３００…ネットワーク、５０２、６０２…加算部、５０３、６０４…フレーム合成部、６０４…アップサンプリング部、６０５…合成予測部、５１１、６１１…可変長復号部、５１２、６１２…逆量子化部、５１３、６１３…逆DCT部、５２１、６２１…動き情報復号部、５２２、６２２…動きベクトル予測部、５２３、６２３…動き補償部、５２４、６２４…フレームメモリ。

Claims

メディアデータを格納する蓄積媒体の再生装置、及び、ネットワークに接続されたデータ送受信部と、制御部とを有し、
上記制御部は、上記メディアデータ中の基本ビデオデータに対応する拡張ビデオデータを上記通信部を介してネットワークから受信し、該拡張データを用いて上記基本ビデオデータを変換する処理を制御することを特徴とするデータ処理装置。
上記メディアデータには、該基本ビデオデータと対応する上記拡張ビデオデータへのリンク情報が含まれており、
上記制御部は、上記リンク情報を上記データ通信部を介してネットワークに出力し、リンク情報に指定されたネットワークのリンク先から上記拡張ビデオデータを受信し、該拡張データを用いて上記基本ビデオデータを変換する処理を制御することを特徴とする請求項１記載のデータ処理装置。
上記メディアデータには、該基本ビデオデータと対応する上記拡張ビデオデータを識別する識別情報が含まれており、
上記制御部は、入力されたコンテンツ情報と上記識別情報を上記データ送受信部を介してネットワークに出力し、該ネットワークに接続されるサーバで該識別情報と該コンテンツの認証が行われた場合に、上記拡張ビデオデータの受信が可能となることを特徴とする請求項１記載のデータ処理装置。
上記基本ビデオデータはビデオのベースレイヤビットストリームであって、上記拡張ビデオデータは上記ベースレイヤビットストリームに対応する復号画面サイズを拡大するエンハンスメントレイヤビットストリームであって、
上記変換は上記基本ビデオデータの復号画像サイズを拡大する処理であることを特徴とする請求項１乃至３の何れかに記載のデータ処理装置。
上記再生装置は、
上記メディアデータをデータ種別に応じて分離する分離部と、
分離された上記基本ビデオデータを再生するベースレイヤデコーダと、
分離されたデータから情報データを抽出するリンク情報デコーダとを有することを特徴とする請求項２に記載のデータ処理装置。
上記再生装置は、
上記メディアデータをデータ種別に応じて分離する分離部と、
分離された上記基本ビデオデータを再生するベースレイヤデコーダと、
分離されたデータから製品情報を抽出するリンク情報デコーダとを有することを特徴とする請求項３に記載のデータ処理装置。
上記再生装置は、放送データの受信アンテナを有する受信機を有し、上記メディアデータは該受信アンテナを介して受信した放送データであることを特徴とする請求項１乃至６の何れかに記載のデータ処理装置。
メディアデータを格納する蓄積媒体との接続部、及び、ネットワークに接続されたデータ送受信部と、制御部とを有し、
入力されたビデオの再生要求に応じて上記制御部は、
上記再生要求のあったビデオの上記メディアデータ中の基本ビデオデータに対応付けられるリンク情報データを上記送受信部を介して送出し、
上記ネットワークを介して上記基本ビデオデコーダに対応付けられる拡張ビデオデータを受信し、
該拡張データを用いて上記基本ビデオデータを変換する処理を制御することを特徴とするデータ処理装置。
メディアデータを格納する蓄積媒体との接続部、及び、ネットワークに接続されたデータ送受信部と、制御部とを有し、
入力されたビデオの再生要求に応じて上記制御部は、
上記再生要求のあったビデオの上記メディアデータ中の基本ビデオデータに対応付けられた製品情報データ及び該ビデオの選択情報を上記送受信部を介して送出し、
上記ネットワークを介して認証情報を受信した場合に、上記基本ビデオデコーダに対応付けられる拡張ビデオデータを受信し、
該拡張データを用いて上記基本ビデオデータを変換する処理を制御することを特徴とするデータ処理装置。