続いて、本発明に係るデータ再構築装置及びデータ再構築方法の実施形態について図面を参照して詳細に説明する。
(1)データ再構築装置を応用した実施形態としてのデータ再生伝送装置
図1は、本発明に係るデータ再構築装置を応用した実施形態としてのデータ再生伝送装置1の構成例を示すブロック図である。
この実施形態では、映像及び音声情報を含んだ符号化データ又は復号化後のデータをデジタル信号処理機器用の符号化データに再構築するようにして、所定の情報処理規則に従って符号化された、デジタル放送やデジタル記憶媒体から得られる映像及び音声情報をデジタル伝送する場合でも、アナログ信号処理機器と同様にして再現性良く通常再生及び映像の静止、早送り及び早戻しなどの特殊再生できるようにしたものである。
このデータ再生伝送装置1は、予め定められた情報処理規則、例えば、EC61883で決められたMPEG(Moving Picture Experts Group Phase:国際標準化団体、動画像圧縮の標準方式)−TS伝送方式に従って符号化された映像及び音声情報を再生伝送する装置である。データ再生伝送装置1には復号化手段2が設けられ、映像及び音声情報を含んだ符号化データDinが復号化される。この復号化手段2にはデータ変換手段3及びデータ再構築手段4が接続されている。データ変換手段3では復号化手段2から出力されたデジタルデータD1がアナログ信号処理機器用の映像及び音声情報に変換される。この変換後のアナログ映像及び音声信号Soutはアナログテレビ6などに供給される。
データ再構築手段4では、少なくとも、映像及び音声情報を含んだ符号化データDin又は復号化後のデジタルデータD1がデジタル信号処理機器用の符号化データDoutに再構築される。この例でデータ再構築手段4はデジタル信号処理機器で要求される所定の情報処理規則に従ってデータ再構築をするようになされる。再構築後の符号化データはIEEE1394通信ケーブル9を使用して転送される。更に、データ再構築手段4は映像を静止、早送り又は早戻しする特殊再生時のみ、データ再構築した符号化データDoutをデジタル信号処理機器へ送出するようになされる。
続いて、データ再生伝送方法に関して本実施形態に係るデータ再生伝送装置1の動作例について説明をする。図2はデータ再生伝送装置1を応用した特殊再生伝送装置10による映像及び音声情報をアナログテレビ6及びデジタルテレビ7などへ分配する例を示すシステム図である。もちろん、この発明は映像及び音声情報のデジタル・アナログ分配例に限られない。映像及び音声情報をMPEG方式で取り扱うデジタル信号処理機器における特殊再生をアナログ伝送と同じように実現したいと要求される技術分野であればよい。
この例では、予め定められた情報処理規則に従って符号化された映像及び音声情報を再生するデータ再生伝送装置1を応用した特殊再生伝送装置(デジタルVTR)10が設けられ、この特殊再生伝送装置10が通常のオーディオ・ビデオ通信ケーブルを通してアナログテレビ6に接続されると共に、MPEG−TS伝送方式に合致したIEEE1394通信ケーブル9を通してデジタルテレビ7やデジタルビデオディスク再生装置8に接続されることを前提とする。また、特殊再生伝送装置10で再生された映像及び音声情報をアナログテレビ6及びデジタルテレビ7などへ分配する場合を想定する。デジタルテレビ7にはMPEG−2デコーダ11などが設けられる。
これらを前提にして、例えば、デジタル放送に係るハイビジョン映像及び音声情報を含んだ符号化データDinを復号化するために、MPEG−TS伝送方式に従って符号化された映像及び音声情報を含む符号化データDinが復号化手段2に入力される。復号化手段2では映像及び音声情報を含む符号化データDinが復号化される。この復号化後のデジタルデータD1はデータ変換手段3に出力されると共に、データ再構築手段4に出力される。
このデータ変換手段3では、この復号化後のデジタルデータD1がアナログテレビ6用の映像及び音声情報に変換される。この変換後のアナログ映像及び音声信号Soutはオーディオ・ビデオ通信ケーブルを通してアナログテレビ6に供給される。アナログテレビ6ではデジタル放送に係るハイビジョン映像及び音声情報を視聴することができる。
また、データ再構築手段4では、その映像及び音声情報を含む復号化後のデジタルデータD1が、例えば、デジタルテレビ7で要求されるMPEG−TS伝送方式に係る情報処理規則に従ってデータ再構築され、そのデジタルテレビ7にデータ再構築後の符号化データDoutが出力される。デジタルテレビ7ではMPEG−2デコーダ11などによって、映像及び音声情報を含む符号化データDoutが復号化される。この復号化後のデジタルデータに基づいてデジタル放送に係るハイビジョン映像及び音声情報を視聴することができる。
従って、当該映像及び音声情報をデータ変換手段3を通してアナログテレビ6と、データ再構築手段4を通してデジタルテレビ7やデジタルビデオディスク再生装置8とに再現性良く分配することができる。しかも、デジタル放送やデジタル記憶媒体から得られる映像及び音声情報をデジタル伝送する場合でも、アナログ信号処理機器と同様にして再現性良く通常再生及び映像の静止、早送り及び早戻しなどの特殊再生を行うことができる。これにより、デジタル信号処理機器において、アナログ信号処理機器と同様にして連続性の良い画像処理を行うことができる。
なお、特殊再生伝送装置10に関して、後述する各実施例では映像及び音声情報を含む符号化データDinを復号化することなく、デジタルテレビ7やデジタルビデオディスク再生装置8などで要求される所定の情報処理規則に従ってデータ再構築され、そのデジタル信号処理機器にデータ再構築後の符号化データDinが出力される場合もある。以下で、データ再生伝送装置1を応用した7つの特殊再生伝送装置100〜700について、データ再構築手段4の構成を中心にしてその説明をする。
(2)第1の実施例
図3は第1の実施例としての特殊再生伝送装置100の構成例を示すブロック図である。この例では、通常再生の場合も特殊再生の場合も、全て再エンコード及び再多重化をすることにより、デジタル信号処理機器で要求される符号化データを再現性良く伝送できるようにしたものである。この例では再エンコードにより画質劣化が生じないように高性能のエンコーダが設けられる。
図3に示す特殊再生伝送装置100はデジタル放送やデジタル記憶媒体(以下映像音声情報媒体という)50から得られる映像及び音声符号化情報を再生すると共に、再生後の映像及び音声情報をアナログテレビ6及びデジタルテレビ7などに分配するものである。この特殊再生伝送装置100は復号化手段2、デジタルアナログ変換部(以下D/A変換部という)13及びデータ再構築手段41を有している。
この復号化手段2はMPEG−TSの多重分離部(多重分離手段)21及びMPEGビデオデコーダ22を有している。多重分離部21では映像音声情報媒体50から得られた映像及び音声符号化情報が多重分離される。デジタル放送では映像及び音声符号化情報が多重伝送されてくる。映像符号化情報と音声符号化情報とが多重されている場合には、これらの情報が多重分離される。デジタル放送の場合には、映像及び音声符号化情報が複数のチャネルに多重される場合が多いので、その場合にはこれらの複数のチャネルから映像及び音声符号化情報が多重分離される。
ここで多重分離された映像及び音声情報に係る符号化データD1はMPEGビデオデコーダ22に出力される。なお、この例では映像情報について説明をし、音声情報についてはMPEGオーディオ技術を採用できるのでその説明を省略する。このビデオデコーダ22は、例えば、図4に示す可変長符号復号化部(Variable Length Decoding:VLD)23、逆量子化部(Quantization:Q-1)24、逆離散コサイン変換部(Inverse Discrete Cosine Transform:IDCT)25及び動き補償部(Motion Compensation :MC)26を有している。
この可変長符号復号化部23では多重分離された映像情報に係る符号化データD1が入力されると、可変長符号が復号化され、量子化係数や動きベクトルが求められる。可変長符号復号化部23には逆量子化部24が接続され、量子化係数がQの値による掛け算などが施されてDCT係数に戻される。逆量子化部24には逆離散コサイン変換部(以下で逆DCT部ともいう)25が接続され、この逆DCT部25によって、8×8画素のブロック毎にそれぞれの画素値(輝度・色差)が算出される。ここで原画像は3つのピクチャ(画面)によって構成される。
その種類はI、P、Bピクチャの3つである。Iピクチャはフレーム内符号化画像(Intra-Picture)であり、GOP(Group Of Pictures)の独立性を持つ画面である。Iピクチャではその画面の全てがイントラ符号化され、原画像と同じ順序で符号化される。Iピクチャ(画面)は実際の画素値そのものである。P及びBピクチャは対応する画素値間の差分値である。
Pピクチャはフレーム間順方向予測符号化画像(Predictive-Picture)であり、原画面と同じ順序で符号化される。Pピクチャは画面内の小ブロック単位の部分でイントラ符号化される場合がある。Bピクチャは双方向予測符号化画像(Bidirectionally Predictive-Picture)であり、I及びPピクチャを処理した後にその間に挿入される。Bピクチャは画面内の小ブロック単位の部分でイントラ符号化される場合がある。
逆DCT部25には動き補償部26が接続され、Iピクチャに対応する画素値間の差分値と動きベクトルによって補償されたブロックを加算してPピクチャ又はBピクチャが復号化される。復号化後のデジタルデータD2は後処理される場合がある。例えば、MPEG1で符号化された画像は片フィールド、すなわち、水平走査線の数が一般のテレビの半分となっているので、同じフィールド画面を繰り返し表示するためのメモリ制御がなされたり、又は、ノンインターレース方式の場合に重ね書きや、ライン補間処理などがなされる。
図3に戻って、ビデオデコーダ22にはD/A変換部13が接続され、動き補償部26から入力したデジタルデータD2がデジタルアナログ変換される。D/A変換後のアナログ映像音声信号Aoutは図2に示したアナログテレビ6に出力される。
このビデオデコーダ22にはD/A変換部13の他にデータ再構築手段41が接続される。データ再構築手段41はMPEGビデオエンコーダ40及びMPEG−TS多重部48を有している。上述した動き補償部26には符号化手段の一例となるMPEGビデオエンコーダ40が接続され、復号化後のデジタルデータD1が、例えば、デジタルテレビ7で要求されるMPEG−TS伝送方式に係る情報処理規則に従って符号化される。
このビデオエンコーダ40は、例えば、図5に示すSIF(Source InputFormat)前処理部53、動き予測部(Motion Estimation:ME)54、離散コサイン変換部(Discrete Cosine Transform:DCT)55、量子化部(Quantization:Q)56、可変長符号化部(Variable Length Coding:VLC)57及び局部復号化部53を有している。
このSIF前処理部53では、デジタルテレビ7がMPEG1方式であれば、その方式によるデータ圧縮の前処理として復号化後のデジタルデータD1が100Mbps以上の原画像に対してフィールド間引き、輝度、色差信号の帯域制限などの処理がなされ、約30MbpsのSIF信号(352×240画素、30フレーム又は352×288画素、25フレーム)に変換される。このSIF信号に基づいてマクロブロックの整数倍サイズの画像が圧縮の対象となる。
このSIF前処理部53には動き予測部54が接続され、16×16画素のマクロブロック単位で入力画像の動きベクトルが算出される。ここで動きベクトルとは参照画面内の比較対象ブロック間の移動量をいう。動きベクトルによる予測方法に関しては、過去の画像から画面の動きを予測する順方向予測と、未来の画像から画面の動きを予測する逆方向予測と、過去及び未来の画面から動き画面を予測する双方向予測の3つのタイプがある。3つのタイプには予測無しのIピクチャ、順方向予測のPピクチャ、双方向予測のBピクチャがある。Bピクチャはわずかな符号量でエンコードできる。
この動き予測部54には離散コサイン変換部(以下DCT部ともいう)55が接続され、動き補償された画像と入力画像との差分を取るために、8×8画素のブロックサイズで2次元離散コサイン変換がなされ、DCT変換係数が出力される。なお、Iピクチャに関してはフレーム間差分が取られずに画面内(フレーム)符号化するために、入力画像データに対してそのままDCT演算がなされる。DCT部55には量子化部56が接続され、視覚特性を考慮したマトリックステーブルを使用してDCT変換係数が量子化される。具体的にはDCT変換係数がQの値でわり算される。
この量子化部56には可変長符号化部57が接続される。可変長符号化部57には図示しないメモリが設けられ、ジグザグスキャンしながらメモリから読み出された量子化値が、例えば、ランレングス符号及びハフマン符号とを組み合わせた可変長符号化方式によってデータ圧縮される。
この量子化部56には可変長符号化部57の他に局部復号化部58が接続され、上述したビデオデコーダ22の逆量子化部24、IDCT部25及び動き補償部26とほぼ同じ機能が具備され、入力画像と差分を取るための動き補償された画像が生成される。上述の可変長符号化部57には多重化手段の一例となるMPEG−TS多重部48が接続され、データ圧縮された再構築後の符号化データD3が音声情報に係る符号化データなどと多重化される。多重化後の符号化データDoutはデジタルテレビ7に出力される。
続いて、特殊再生伝送装置100の動作例について説明をする。上述した図2〜図5を再び参照する。この例では、図2に示した特殊再生伝送装置10の代わりに特殊再生伝送装置100を接続し、映像及び音声情報をアナログテレビ6及びデジタルテレビ7などへ分配する場合を前提とする。また、特殊再生した映像も含めて一旦再生(復号化)された映像情報を再度、MPEGエンコーダ40で圧縮し、更に、MPEG−TS多重部48で多重してから、IEEE1394通信ケーブル9を通じてデジタルテレビ7やデジタルビデオディスク再生装置8に伝送する場合を想定する。
これらを前提にして、例えば、デジタル放送に係るハイビジョン映像及び音声情報を含んだ符号化データDinを多重分離するために、MPEG−TS伝送方式に従って符号化された映像及び音声情報を含む符号化データDinが、図3に示した多重分離部21に入力される。多重分離部21ではデジタル放送による複数のチャネルから映像及び音声符号化情報が多重分離される。ここで多重分離された映像及び音声情報に係る符号化データD1はMPEGビデオデコーダ22に出力される。
MPEGビデオデコーダ22の可変長符号復号化部23では多重分離された映像情報に係る符号化データD1が入力されると、可変長符号が復号化され、量子化係数や動きベクトルが求められる。復号化後の量子化係数や動きベクトルに係るデータは逆量子化部24に出力される。逆量子化部24では、量子化係数がQの値による掛け算などが施されてDCT係数に戻される。DCT係数は逆IDCT部25に出力される。逆IDCT部25では逆DCT演算によって、8×8画素のブロック毎にそれぞれの画素値(輝度・色差)が算出される。原画像がI、P、Bの3つのピクチャによって構成される。
これらの3つのI、P、Bピクチャに係るデータは動き補償部26に出力される。動き補償部26では、Iピクチャに対応する画素値間の差分値と動きベクトルによって補償されたブロックを加算した後にPピクチャ又はBピクチャが復号化される。復号化後のデジタルデータD2は、例えば、MPEG1で符号化された画像は片フィールド、すなわち、水平走査線の数が一般のテレビの半分となっているので、同じフィールド画面を繰り返し表示するためのメモリ制御がなされたり、又は、ノンインターレース方式の場合に重ね書きや、ライン補間処理などがなされる。
これらの後処理が施されたデジタルデータD2はD/A変換部13に出力されると共に、データ再構築手段41に出力される。D/A変換部13では、復号化後のデジタルデータD1がアナログテレビ用の映像及び音声情報に変換される。この変換後のアナログ映像及び音声信号Soutはオーディオ・ビデオ通信ケーブルを通してアナログテレビ6に供給される。
また、データ再構築手段41では図5に示したSIF前処理部53によって、例えば、復号化後のデジタルデータD1が100Mbps以上の原画像に対してフィールド間引き、輝度、色差信号の帯域制限などの処理がなされ、約30MbpsのSIF信号(352×240画素、30フレーム又は352×288画素、25フレーム)に変換される。このSIF信号に基づいてマクロブロックの整数倍サイズの画像が圧縮の対象となる。
このSIF処理後のデータは動き予測部54に出力される。動き予測部54では局部復号化部58に基づいて、16×16画素のマクロブロック単位で入力画像の動きベクトルが算出される。この動きベクトルの算出によって、3つのタイプのI、P、Bピクチャが予測される。
このI、P、Bピクチャに係るデータはDCT部55に出力される。DCT部55では、動き補償された画像と入力画像とのフレーム間の差分を取るために、8×8画素のブロックサイズで2次元離散コサイン変換がなされ、DCT変換係数が出力される。なお、Iピクチャに関してはフレーム間差分が取られずに画面内(フレーム)符号化される。従って、入力画像データに対してそのままDCT演算がなされる。
このDCT演算後のデータは量子化部56に出力される。量子化部56では視覚特性を考慮したマトリックステーブルを使用してDCT変換係数が量子化される。具体的にはDCT変換係数がQの値でわり算される。量子化後のデータ(量子化値)は可変長符号化部57に出力される。可変長符号化部57では、ジグザグスキャンしながらメモリから読み出された量子化値が、例えば、ランレングス符号及びハフマン符号とを組み合わせた可変長符号化方式によって圧縮され符号化される。
上述のデジタルテレビ7で要求されるMPEG−TS伝送方式に従って可変長符号化部57により、データ再構築された圧縮データはMPEG−TS多重部48に出力される。MPEG−TS多重部48では、データ圧縮された再構築後の符号化データD3が音声情報に係る符号化データなどと多重化される。多重化後の符号化データDoutはIEEE1394通信ケーブル9を通してデジタルテレビ7に出力される。デジタルテレビ7ではMPEG−2デコーダ11などによって、映像及び音声情報を含む符号化データDoutが復号化される。この復号化後のデジタルデータに基づいてデジタル放送に係るハイビジョン映像及び音声情報を視聴することができる。
このように、第1の実施例に係る特殊再生伝送装置100によれば、アナログの特殊再生機能を損なわずに、IEEE1394通信ケーブル9を使用して、デジタルテレビ7で要求される所定の情報処理規則に従ってデータ再構築した符号化データを伝送することができる。従って、デジタル放送やデジタル記憶媒体から得られる映像及び音声情報をデジタル伝送する場合でも、アナログテレビ6と同様にして再現性良く通常再生及び映像の静止、早送り及び早戻しなどの特殊再生を行うことができる。
また、MPEG−TS多重部48から得られるMPEG−TSストリームは正しく連続したデータ列であり、IEC61883で定められたMPEG−TS方式に合致している。従って、デジタルテレビ7において、アナログテレビ6と同様にして連続性の良い画像処理を行うことができる。
(3)第2の実施例
図6は第2の実施例としての特殊再生伝送装置200の構成例を示すブロック図である。この例では映像を静止、早送り又は早戻しする特殊再生時のみ再エンコードするようにして、データ再構築した符号化データDoutをデジタルテレビ7へ送出し、通常再生時は、オリジナルの符号化データDinを使用するようにして、データ再構築手段42のコストを低減できるようにしたものである。なお、再多重は常に行い、特殊再生時のみエンコーダを使用する。第1の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
図6に示す特殊再生伝送装置200は復号化手段2、D/A変換部13及びデータ再構築手段42を備えている。データ再構築手段42はMPEGビデオデコーダ40'、遅延用のメモリ(以下遅延メモリという)14、セレクタ49及びMPEG−TS多重部48を有している。
このMPEGビデオデコーダ40'は第1の実施例のビデオデコーダ40に比べて性能の低いものを使用できる。例えば、動き検出機能を具備しないものが使用できる。一般に、映像の早送り又は早戻しなどの特殊再生時には高画質である必要がないので、高性能のエンコーダである必要がない。例えば、動き検出を行わずに、常に、動きベクトル(0,0)としても可能である。ポーズ再生のときは、きれいな静止画が要求されるが、ポーズ状態では絵に動きがないので、動きベクター(0,0)でも、高画質が得られる。このようなエンコーダは低コストである。通常再生時はオリジナルの符号化データDinが使用されるので、高画質である。
この例のMPEGビデオエンコーダ40'では、オリジナルのデータ列に比べて発生ビット量が低く抑えられ、最終段階で「0」スタッフィングビットを挿入するような遅延制御を行うことによりバッファ管理がなされる。例えば、映像を静止、早送り又は早戻しする特殊再生時のみビデオデコーダ40'を動作させてデータ再構築がなされ、通常再生時には復号化手段2のMPEG−TS多重分離部21で多重分離された符号化データD1をパスして、再エンコードが行われないようになされる。ここで通常再生、丸付き数字「1」とは、特殊再生伝送装置100が具備している、映像の静止、早送り又は早戻しするようなアナログの特殊再生機能を動作させないモードをいい、特殊再生、丸付き数字「2」とは、当該特殊再生伝送装置100のアナログの特殊再生機能を動作させるモードをいうものとする。
つまり、多重分離部21には遅延手段の一例となる遅延メモリが接続され、多重分離された符号化データD1が遅延される。この遅延目的は、アナログ信号処理機器への映像情報の復号化に係る時間と、多重分離された符号化データD1の出力タイミングとを揃えるためである。遅延メモリにはRAM構成のFIFOメモリなどが使用される。これにより、映像音声情報媒体50から得られたMPEG映像などのビットストリームを遅延メモリ14によって遅らせることができる。
上述のMPEGビデオデコーダ40'の出力と遅延メモリ14の出力には選択手段の一例となるセレクタ49が接続され、通常再生時には遅延メモリ14の出力を選択するように制御され、特殊再生時にはMPEGビデオデコーダ40'の出力を選択するように制御される。セレクタ49は図示しない特殊再生用の操作部を通じてユーザにより操作される。
このセレクタ49には第1の実施例と同様なMPEG−TS多重部48が接続され、データ圧縮された再構築後の符号化データD3、又は、遅延メモリ14により遅延された符号化データD11が音声情報に係る符号化データなどと多重化される。多重化後の符号化データDoutはIEEE1394通信ケーブル9を通してデジタルテレビ7などに出力される。
続いて、特殊再生伝送装置200の動作例について説明をする。この例では通常再生時には映像音声情報媒体50に記録されているMPEG映像ストリームをそのまま使用し、MPEG−TS多重分離部21、遅延メモリ14、セレクタ49及びMPEG−TS多重部48を通してデジタルテレビ7に符号化データDoutを伝送する。特殊再生時には、再エンコードしたMPEG映像ストリームを使用して、セレクタ49及びMPEG−TS多重部48を通してデジタルテレビ7に符号化データDoutを伝送することを前提とする。
例えば、デジタル衛星放送及びDVD(デジタルビデオ・ディスク)で利用されるMPEG−2方式のMP@ML(Main Profile at Main Level)による符号化データが当該特殊再生伝送装置200に入力される。このMP@MLの画像フォーマットに関しては、720画素×480画素(フレーム周波数は29.97Hz)以下、又は、720画素×576画素(フレーム周波数は25Hz)以下、符号化データの速度は最大15MHzである。
i.通常再生が指定された場合
この場合には、セレクタ49によって通常再生、丸付き数字「1」が選択されるので、MPEG−TS多重分離部21で多重分離された符号化データD1を遅延メモリ14により遅延された符号化データD11が音声情報に係る符号化データなどと多重化される。多重化後の符号化データDoutはデジタルテレビ7に出力される。
ii.特殊再生が指示された場合
この場合には、セレクタ49が通常再生、丸付き数字「1」から特殊再生、丸付き数字「2」へタイミング良くかつ円滑に切換られる。従って、MPEGビデオデコーダ40'によって再エンコードされた符号化データD3がMPEG−TS多重部48に出力される。MPEG−TS多重部48では、データ圧縮された再構築後の符号化データD3が音声情報に係る符号化データなどと多重化され、多重化後の符号化データDoutがIEEE1394通信ケーブル9を通してデジタルテレビ7に出力される。
このように、第2の実施例に係る特殊再生伝送装置200では、映像を静止、早送り又は早戻しする特殊再生時のみ、データ再構築した符号化データDoutをデジタルテレビ7へ送出することができる。通常再生時にはオリジナルの符号化データDinが使用されるので、高画質を確保することができる。
従って、デジタルテレビ7において、MPEG映像ストリームをデコードしたデジタル映像を表示することができる。また、MPEGビデオエンコーダ40'には動き検出機能を備えないものが使用できる。動き検出機能を備えないエンコーダは常に動きベクター(0,0)で符号化するので、エンコーダのコストは数分の1になる。これにより、特殊再生伝送装置200のコストダウンを図ることができる。
(4)第3の実施例
図7は第3の実施例としての特殊再生伝送装置300の構成例を示すブロック図である。第2の実施例では常時再多重を行っていたが、この第3の実施例では、映像及び音声情報がMPEG−TSで映像音声情報媒体50に記録されていることを前提として、通常再生時には映像音声情報媒体50に記録されている多重分離前の符号化データDinを遅延したMPEG映像ストリームをそのまま出力し、特殊再生時には再エンコード及び多重化した後のMPEG映像ストリームを出力するようになされるものである。なお、第2の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
図7に示す特殊再生伝送装置300は復号化手段2、D/A変換部13及びデータ再構築手段43を備えている。データ再構築手段43はMPEGビデオデコーダ40'、遅延メモリ14、MPEG−TS多重部48及びセレクタ49を有しており、MPEG−TS多重部48とセレクタ49との接続位置が入れ替わったものである。第2の実施例に比べて、第3の実施例では遅延メモリ14の入力が多重分離部21の入力段に接続される。これは、アナログ信号処理機器への映像情報の多重分離及び復号化に係る時間と、映像音声情報媒体50によるデジタル信号処理機器への符号化データDinの出力タイミングとを揃えるためである。
この例でも、ビデオエンコーダ40'には第2の実施例と同様にして動き検出機能を具備しないものが使用できる。この理由は第2の実施例とほぼ同様であり、通常再生時には多重分離前の符号化データDinをパスして、再エンコードを行わないようにしたためである。この例ではMPEGビデオエンコーダ40'の出力にMPEG−TS多重部48が接続され、データ圧縮された再構築後の符号化データD3が第2の実施例に比べて先に音声情報に係る符号化データなどと多重化される。多重化後の符号化データDoutはセレクタ49に出力される。
上述のMPEG−TS多重部48の出力と遅延メモリ14の出力には選択手段の一例となるセレクタ49が接続され、通常再生時、丸付き数字「1」には遅延メモリ14の出力を選択するように制御され、特殊再生時にはMPEG−TS多重部48の出力を選択するように制御される。セレクタ49は第2の実施例と同様にして図示しない特殊再生用の操作部を通じてユーザにより操作される。このセレクタ49の出力はIEEE1394通信ケーブル9を通してデジタルテレビ7に接続される。
続いて、特殊再生伝送装置300の動作例について説明をする。この例では通常再生時には映像音声情報媒体50に記録されているMPEG映像ストリームをそのまま使用し、遅延メモリ14及びセレクタ49を通してデジタルテレビ7に符号化データDinが伝送される。特殊再生時には、再エンコードしたMPEG映像ストリームを使用して、MPEG−TS多重部48及びセレクタ49を通してデジタルテレビ7に符号化データDoutが伝送されることを前提とする。
i.通常再生が指定された場合
この場合には、セレクタ49によって通常再生、丸付き数字「1」が選択されるので、多重分離前の映像音声情報媒体50に記録されているMPEG映像ストリームがそのままIEEE1394通信ケーブル9を通してデジタルテレビ7に伝送される。
ii.特殊再生が指示された場合
この場合には、セレクタ49が通常再生丸付き数字「1」から特殊再生丸付き数字「2」へ切換られる。従って、MPEGビデオエンコーダ40'によって再エンコードされた符号化データD3がMPEG−TS多重部48に出力される。MPEG−TS多重部48では、データ圧縮された再構築後の符号化データD3が音声情報に係る符号化データなどと多重化され、多重化後の符号化データDoutがセレクタ49及びIEEE1394通信ケーブル9を通してデジタルテレビ7へ伝送される。
このように、第3の実施例に係る特殊再生伝送装置300では、通常再生部分と特殊再生部分との繋ぎが第2の実施例に比べて多少不連続となるが、映像を静止、早送り又は早戻しする特殊再生時のみ、第2の実施例とほぼ同様にしてデータ再構築した符号化データDoutをデジタルテレビ7へ送出することができる。
従って、第2の実施例に比べて第3の実施例では通常再生時の多重分離及び再多重化処理などを省略することができる。また、MPEGビデオエンコーダ40'には第2の実施例と同様にして動き検出機能を備えないものが使用できるので、特殊再生伝送装置300のコストダウンを図ることができる。
(5)第4の実施例
図8は第4の実施例としての特殊再生伝送装置400の構成例を示すブロック図である。第4の実施例では第1〜第3の実施例のように再エンコードを行うことなく、特殊再生時に、もともと映像音声情報媒体50に記録されていたイントラピクチャのビットストリームを読み出して使用し、それ以外は動きベクター(0,0)差分値「0」という固定パターンのB,Pピクチャのビットストリームを挿入して正しいデータ列の静止画映像を作成し、これをデジタル信号処理機器へ伝送するようにしたものである。
この例では、Iピクチャのところでしか静止や、早送り再生時に表示できないというデメリットはあるが、エンコーダが不要となるというメリットがある。なお、第1〜第3の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
図8に示す特殊再生伝送装置400は復号化手段2、D/A変換部13及びデータ再構築手段44を備えている。データ再構築手段44はIピクチャメモリ51、B,Pストリーム出力部52、MPEG−TS多重部48及びセレクタ49を有している。
このIピクチャメモリ51は画像抽出手段の一例であり、多重分離後の符号化データD1からイントラピクチャが抽出されそのIピクチャに係るデータが一時記憶される。Iピクチャメモリ51には、画像挿入手段の一例となるB,Pストリーム出力部52が接続され、Iピクチャメモリ51によって抽出されたイントラピクチャ間に動きベクター(0,0)差分値「0」という固定パターンのBピクチャ及びPピクチャが挿入される。
上述のMPEG−TS多重分離部21の出力及びB,Pストリーム出力部52の出力には選択手段の一例となるセレクタ49が接続され、通常再生時、丸付き数字「1」には多重分離後の符号化データを選択するように制御され、特殊再生時、丸付き数字「2」にはB,Pストリーム出力部52の出力を選択するように制御される。セレクタ49は第1及び第2の実施例と同様にして図示しない特殊再生用の操作部を通じてユーザにより操作される。
このセレクタ49の出力には第1及び第2の実施例と同様にしてMPEG−TS多重部48が接続され、MPEG−TS多重分離後の符号化データD1、又は、B,Pストリーム出力部52により出力される符号化データD4が音声情報に係る符号化データなどと連続して多重化される。多重化後の符号化データDoutはIEEE1394通信ケーブル9を通してデジタルテレビ7などに出力される。
続いて、MPEG−TSのデータ構造例について説明する。図9に示すMPEG−TSのデータ構造例では、複数の符号化データを伝送するために、1つのトランスポート・パケット30には例えば188バイトのデータ領域が割り当てられる。トランスポート・パケット30は階層構造が採られ、その下位階層には10個のデータ領域が割り当てられる。このデータ領域には8ビットの同期バイト31、1ビットの誤り表示32、1ビットのユニット開始表示33、1ビットのトランスポート・パケット優先度34、13ビットのパケット識別情報(PID)35、2ビットのスクランブル制御36、2ビットのアダプテーション制御37、4ビットの巡回カウンタ38、アダプテーションフィールド39及びペイロード310が書き込まれる。
このアダプテーションフィールド39の下位階層には7個のデータ領域が割り当てられる。このデータ領域には8ビットのアダプテーションフィールド長91、1ビットの不連続表示92、1ビットのランダムアクセス表示93、1ビットのストリーム優先表示94、5フラグ95、オプショナルフィールド96、コンディショナルフィールド97及び8ビット×M個のスタッフィングバイト98が書き込まれる。
このオプショナルフィールド96の下位階層には5個のデータ領域が割り当てられる。このデータ領域には42+6ビットのプログラム時刻参照基準値(PCR)61、42+6ビットのオリジナルPCR62、8ビットのスプライスカウントダウン63、トランスポート・プライベート・データ長とデータ64及びアダプテーションフィールド拡張65が書き込まれる。
188バイトのトランスポート・パケット30は4つのATM(Asynchronous Transfer Mode:非同期転送モード)パケット(セル)に分割して伝送される。この4分割された47バイトのビットストリームの先頭にヘッダ情報用に5バイトの書き込み領域が付加される。この書き込み領域にはMPEG−TSの多重化により発生されるヘッダ情報として、MPEG方式で決められた、プログラム時刻基準参照値であるPCR(Program Clock Reference)、再生出力の時刻管理情報であるPTS(Presentation Time Stamp)及び復号の時刻管理情報であるDTS(Decoding Time Stamp)が書き込まれる。これらのヘッダ情報に関してはデータ例が正しく連続するように書き込まれる。
続いて、MPEG−TS方式のビットストリームのデータフォーマット例について説明する。図10に示すデータフォーマット例では、MPEG−TS方式のビットストリームにおいて、横軸が時間tであり、47バイトのMPEG映像のビットストリームに5バイトのヘッダ情報を付加したものである。
この例でヘッダ情報の下部に記載した「7」は情報の連続性を示す番号である。ビットストリーム「7」の下部に記載した「I7」の「I」はイントラピクチャを示し、「7」はIピクチャ「7」を示す番号である。従って、図12に示すビットストリームの例で(4,B2)と記載した場合は、ビットストリームが「2」であり、情報の連続性を示す番号が「4」であり、「B2」の「B」がBピクチャを示すものとする。
ここで、I,Pピクチャの周期M=2の場合のビットストリームの処理順序について説明する。図11に示すMはIピクチャ又はPピクチャの現れる周期である。この例では、I,B,P,B,P,B,I,B,P,B,P,B,I,B,PピクチャによってMPEG映像ストリームが構成され、まず、#1でIピクチャが画像処理され、#2でPピクチャが画像処理され、その後、#3でI,Pピクチャの間にあるBピクチャが画像処理される。
続いて、特殊再生伝送装置400の動作例について説明をする。図12は通常再生時のビットストリームの構成例を示すイメージ図である。この例では通常再生時には映像音声情報媒体50に記録されているMPEG映像ストリームに関してMPEG−TS多重分離後の符号化データD1をそのまま使用し、セレクタ49及びMPEG−TS多重部を通してデジタルテレビ7に符号化データDinが伝送される。
特殊再生時には、Iピクチャメモリ51及びB,Pストリーム出力部52によって再構築されたMPEG映像ストリームを使用して、セレクタ49及びMPEG−TS多重部48を通してデジタルテレビ7に符号化データDoutが伝送されることを前提とする。なお、この例では、第1〜第3の実施例のように再圧縮は行わないが多重化は行われるので、MPEG−TS方式で決められたPCR、PTS及びDTSなどは正しく連続するようにヘッダ情報が付け替えられる。
i.通常再生が指定された場合
この場合には、セレクタ49によって通常再生、丸付き数字「1」が選択されるので、多重分離後の映像音声情報媒体50に係るMPEG映像ストリームがそのままセレクタ49を通してMPEG−TS多重部48に出力される。MPEG−TS多重部48では、MPEG−TS多重分離後の符号化データD1が音声情報に係る符号化データなどと多重化される。多重化後の符号化データDoutはIEEE1394通信ケーブル9を通してデジタルテレビ7などに出力される。
図12に示すビットストリームの例では、各々ヘッダ情報が付加された、ビットストリーム「1」のIピクチャ(1,I1)、ビットストリーム「0」のBピクチャ(2,B0)、ビットストリーム「3」のPピクチャ(3,P3)、ビットストリーム「2」のBピクチャ(4,B2)、ビットストリーム「5」のPピクチャ(5,P5)、ビットストリーム「4」のBピクチャ(6,B4)、ビットストリーム「7」のIピクチャ(7,I7)、ビットストリーム「6」のBピクチャ(8,B6)、ビットストリーム「9」のPピクチャ(9,I9)、ビットストリーム「8」のBピクチャ(10,B8)、ビットストリーム「11」のPピクチャ(11,P11)、ビットストリーム「10」のBピクチャ(12,B10)、ビットストリーム「13」のIピクチャ(13,I13)、ビットストリーム「12」のBピクチャ(14,B12)、ビットストリーム「15」のPピクチャ(15,P15)、ビットストリーム「14」のBピクチャ(16,B14)がMPEG−TS多重部48からデジタルテレビ7等へ送出される。
このデジタルテレビ7では図2に示したMPEG2デコーダ11により、上述のビットストリームに係る符号化データDoutがデコードされ、図13に示す0〜14のように連続した映像表示データに基づいて、連続的に画面がデジタル表示される。
ii. 特殊再生が指示された場合
例えば、図14に示すビットストリームの例でビットストリーム「7」のIピクチャ(7,I7)でポーズ再生された場合、セレクタ49が通常再生丸付き数字「1」から特殊再生丸付き数字「2」へ切換られる。Iピクチャメモリ51では多重分離後の符号化データD1からイントラピクチャが抽出され、そのIピクチャに係るデータが一時記憶される。従って、Iピクチャメモリ51に接続されたB,Pストリーム出力部52では、そのIピクチャメモリ51によって抽出されたイントラピクチャに基づいて、動きベクター(0,0)差分値「0」という固定パターンのBピクチャ及びPピクチャを生成する。MPEG方式で決められた、PCR、PTS、DTSはデータ例が正しく連続するように、MPEG−TSのトランスポート・パケットなどにヘッダ情報として付加される。
図14に示すビットストリームの例では、各々ヘッダ情報が付加された、ビットストリーム「1」のIピクチャ(1,I1)、ビットストリーム「0」のBピクチャ(2,B0)、ビットストリーム「3」のPピクチャ(3,P3)、ビットストリーム「2」のBピクチャ(4,B2)、ビットストリーム「5」のPピクチャ(5,P5)、ビットストリーム「4」のBピクチャ(6,B4)、ビットストリーム「7」のIピクチャ(7,I7)、ビットストリーム「6」のBピクチャ(8,B6)に続いて、新たに生成された動きベクター(0,0)差分値「0」のビットストリーム(以下でビットストリーム「*」と表示する)のPピクチャ(9,I9)、ビットストリーム「*」のBピクチャ(10,B8)、ビットストリーム「*」のPピクチャ(11,P11)、ビットストリーム「*」のBピクチャ(12,B10)が挿入される。
これに続いて、ビットストリーム「7」と同じIピクチャ(13,I13)が挿入され、続いて、ビットストリーム「*」のBピクチャ(14,B12)、ビットストリーム「*」のPピクチャ(15,P15)、ビットストリーム「*」のBピクチャ(16,B14)、ビットストリーム「*」のPピクチャ(17,P16)、ビットストリーム「*」のPピクチャ(18,P17)が挿入され、続いて、ビットストリーム「7」と同じIピクチャ(19,I18)が挿入される。
これに引き続き、ビットストリーム「9」のPピクチャ(21,P20)、ビットストリーム「8」のBピクチャ(22,B19)、ビットストリーム「11」のPピクチャ(23,P22)、ビットストリーム「10」のBピクチャ(24,B21)、ビットストリーム「13」のIピクチャ(25,I24)、ビットストリーム「12」のBピクチャ(26,B8)、ビットストリーム「13」のPピクチャ(27,P11)、ビットストリーム「14」のBピクチャ(28,B10)が再構築される。
従って、ポーズ再生時の静止画映像に係る正しいビットストリームを作成することができる。任意の位置のポーズ画面に係る再構築後の符号化データDoutはMPEG−TS多重部48からデジタルテレビ7等へ送出される。この符号化データDoutを受信したデジタルテレビ7では、図2に示したMPEG2デコーダ11により、上述のビットストリームに係る符号化データDoutがデコードされ、図15に示す数字0〜6のように連続した映像表示データに続いて、ポーズ期間として、ビットストリーム「7」に係る映像表示データがデコードされる。このビットストリーム「7」に続くビットストリーム「8」が伝送されて来ないために、デコード処理を中断して、そのビットストリームが来るまで待機される。この間は最後に表示されたビットストリーム「7」に係る映像(絵)が表示し続けられる。引き続いて、数字9〜14のように連続した映像表示データがデコードされる。従って、連続性の良いポーズ画面がデジタルテレビ7に表示される。
なお、早送りや早戻し時にも画像を表示するために、その間はストリームの内のイントラピクチャのみを再生速度に応じて飛び飛びに読み出して、それを多重化して出力するようになされる。その際に、イントラピクチャを読み出した後に、少しジャンプしてから次のイントラピクチャを読み出すようになされるが、その読み出しまでの間に時間的な間隔が生ずる。この間を静止画として表示させるために、全ての動きベクター(0,0)の差分値「0」というP,Bピクチャのストリームを送出することにより、受信機側で正しいストリームを形成することができる。
このようにして、第4の実施例に係る特殊再生伝送装置400では、映像を静止、早送り又は早戻しする特殊再生時に、再エンコード(圧縮)が行われず、動きベクター(0,0)差分値「0」という固定パターンのP,BピクチャのストリームがIピクチャに挿入されるので、特殊再生時のみ第2の実施例とほぼ同様にしてデータ再構築した符号化データDoutをデジタルテレビ7へ送出することができる。
従って、デジタルテレビ(受信機側)7において正しいビットストリームをデコードできるので、ポーズさせたい絵(Iピクチャ)を送出した後に、適当に差分値「0」という固定パターンのP,Bピクチャのストリームを送出する処理を繰り返すようにすると、受信機側で限り無くポーズ画面を再生することができる。また、動きベクター(0,0)差分値「0」のP,Bピクチャのストリームは決まり切った固定パターンであり、第1の実施例のような高性能なMPEGビデオエンコーダ40を必要としない。従って、特殊再生伝送装置400のコストダウンを図ることができる。
(6)第5の実施例
図16は第5の実施例としての特殊再生伝送装置500の構成例を示すブロック図である。
上述の第4の実施例では、特殊再生時にIピクチャのところでしかポーズ画面(静止画)を表示できなかったが、第5の実施例では任意のピクチャのところで、ポーズ画面を表示するようにしたものである。しかも、必要とするエンコーダはリアルタイムにエンコードする必要はなく、イントラピクチャだけでデコードすればよいので、第1〜第3の実施例に比べて負荷を軽減することができる。従って、CPUによりソフトエンコードを行ってもよい。
この例では、特殊再生時に、再エンコードを行うと共に、映像音声情報媒体50から得たイントラピクチャのビットストリームと、動きベクター(0,0)差分値「0」という固定パターンのB,Pピクチャのビットストリームを使用して正しいデータ列の静止画映像を作成し、これをデジタル信号処理機器へ伝送するようにしたものである。
図16に示す特殊再生伝送装置500は復号化手段2、D/A変換部13及びデータ再構築手段45を備えている。データ再構築手段45はMPEGビデオエンコーダ40'、Iピクチャメモリ51、B,Pストリーム出力部52、MPEG−TS多重部48及びセレクタ49を有している。なお、第4の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
この例では復号化手段2のMPEGビデオデコーダ22によるデジタルデータD2がMPEGビデオエンコーダ40'に出力される。MPEGビデオエンコーダ40'による再エンコード後の符号化データD5はIピクチャメモリ51に一時記憶される。例えば、Iピクチャメモリ51では、再エンコード後の符号化データD51からイントラピクチャが抽出されそのIピクチャに係るデータが一時記憶される。Iピクチャメモリ51には第4の実施例と同様にしてB,Pストリーム出力部52が接続され、Iピクチャメモリ51によって抽出されたイントラピクチャ間に動きベクター(0,0)差分値「0」という固定パターンのBピクチャ及びPピクチャが挿入される。ここで挿入するBピクチャは前(過去)の絵(画像)のみを参照するように作成したストリームである。
上述の復号化手段2のMPEG−TS多重分離部21の出力及びB,Pストリーム出力部52の出力にはセレクタ49が接続され、通常再生時、丸付き数字「1」には多重分離後の符号化データD1を選択するように制御され、特殊再生時、丸付き数字「2」にはB,Pストリーム出力部52の出力を選択するように制御される。セレクタ49は第1及び第2の実施例と同様にして図示しない特殊再生用の操作部を通じてユーザにより操作される。
このセレクタ49の出力には第4の実施例と同様にしてMPEG−TS多重部48が接続され、MPEG−TS多重分離後の符号化データD1、又は、B,Pストリーム出力部52により出力される符号化データD52が音声情報に係る符号化データなどと多重化される。多重化後の符号化データDoutはIEEE1394通信ケーブル9を通してデジタルテレビ7などに出力される。
続いて、特殊再生伝送装置500の動作例について説明をする。この例では通常再生時には第4の実施例と同様にしてMPEG−TS多重分離後の符号化データD1をそのまま使用し、セレクタ49及びMPEG−TS多重部を通してデジタルテレビ7に符号化データDinが伝送される。
特殊再生時には、図16に示したMPEGビデオエンコーダ40'、Iピクチャメモリ51及びB,Pストリーム出力部52によって再構築されたMPEG映像ストリームを使用して、セレクタ49及びMPEG−TS多重部48を通してデジタルテレビ7に符号化データDoutが伝送されることを前提とする。
その際に、ビットストリーム「7」でポーズされた期間中にビットストリーム「8」をIピクチャで再エンコードし、ビットストリーム「8」でポーズ期間中にビットストリーム「9」をIピクチャで再エンコードする場合を想定する。図17において、ビットストリーム「8'」はビットストリーム「8」の絵をIピクチャで再エンコードしたものであり、ビットストリーム「9'」はビットストリーム「9」の絵をIピクチャで再エンコードしたものである。
i.通常再生が指定された場合
この場合の処理は第4の実施例と全く同じなのでその説明を省略する。図12及び図13を参照されたい。
ii. 特殊再生が指示された場合
例えば、図17に示すビットストリームの例でビットストリーム「7」のIピクチャ(7,I7)でポーズ再生された場合、セレクタ49が通常再生丸付き数字「1」から特殊再生丸付き数字「2」へ切換られる。Iピクチャメモリ51では多重分離後の符号化データD1からイントラピクチャが抽出され、そのIピクチャに係るデータが一時記憶される。従って、Iピクチャメモリ51に接続されたB,Pストリーム出力部52では、そのIピクチャメモリ51によって抽出されたイントラピクチャに基づいて、動きベクター(0,0)差分値「0」のBピクチャ及びPピクチャを生成する。MPEG方式で決められた、PCR、PTS、DTSはデータ例が正しく連続するように、MPEG−TSのトランスポート・パケットなどにヘッダ情報として付加される。
図17に示すビットストリームの例では、各々ヘッダ情報が付加された、ビットストリーム「1」のIピクチャ(1,I1)、ビットストリーム「0」のBピクチャ(2,B0)、ビットストリーム「3」のPピクチャ(3,P3)、ビットストリーム「2」のBピクチャ(4,B2)、ビットストリーム「5」のPピクチャ(5,P5)、ビットストリーム「4」のBピクチャ(6,B4)、ビットストリーム「7」のIピクチャ(7,I7)、ビットストリーム「6」のBピクチャ(8,B6)に続いて、新たに生成された動きベクター(0,0)差分値「0」のビットストリーム(以下でビットストリーム「*」と表示する)のPピクチャ(9,P9)が挿入される。
これに続いて、ビットストリーム「*」のBピクチャ(10,B8)、ビットストリーム「*」のPピクチャ(11,P11)、ビットストリーム「*」のBピクチャ(12,B10)が挿入される。これに続いて、ビットストリーム「8'」のIピクチャ(13,I13)が挿入され、続いて、ビットストリーム「*」のBピクチャ(14,B12)、ビットストリーム「*」のPピクチャ(15,P15)、ビットストリーム「*」のBピクチャ(16,B14)、ビットストリーム「*」のPピクチャ(17,P17)、ビットストリーム「*」のBピクチャ(18,B16)が挿入される。
これに続いて、ビットストリーム「9'」のIピクチャ(19,I18)が挿入され、引き続き、ビットストリーム「*」のBピクチャ(20,B17)、ビットストリーム「11」のPピクチャ(21,P20)、ビットストリーム「10」のBピクチャ(22,B19)、ビットストリーム「13」のPピクチャ(23,P22)、ビットストリーム「12」のBピクチャ(24,B21)、ビットストリーム「15」のIピクチャ(25,I24)、ビットストリーム「14」のBピクチャ(26,B8)がMPEG−TS多重部48からデジタルテレビ7等へ送出される。
このMPEG映像ストリームを受信したデジタルテレビ7では、図2に示したMPEG2デコーダ11により、上述のビットストリームに係る符号化データDoutがデコードされ、図18に示す数字0〜6のように連続した映像表示データに続いて、ポーズ期間として、ビットストリーム「7」に係る映像表示データが6回連続してデコードされ、また、ビットストリーム「8」に係る映像表示データが5回連続してデコードされ、更に、ビットストリーム「9」に係る映像表示データが2回連続してデコードされる。その後、数字10〜14のように連続した映像表示データがデコードされる。従って、連続的に画面がデジタルテレビ7に表示される。
このようにして、第5の実施例に係る特殊再生伝送装置500では、映像を静止、早送り又は早戻しする特殊再生時に、再エンコード(圧縮)を行うと共に、動きベクター(0,0)差分値「0」のストリームがIピクチャに挿入されるので、特殊再生時のみ第2の実施例とほぼ同様にしてデータ再構築した符号化データDoutをデジタルテレビ7へ送出することができる。
従って、ポーズ期間中の任意の位置で再ポーズをする場合には、Iピクチャだけでなく、その絵のみをIピクチャで再エンコードすることにより、MPEG映像ストリームを再構築することができ、第4の実施例と同様にしてデジタルテレビ(受信機側)7において正しいビットストリームをデコードできる。
しかも、ポーズ期間にIピクチャで再エンコードを行うため、動き検出などは一切必要なく、リアルタイムに再エンコードを行う必要もない。従って、MPEGビデオエンコーダ40'は低速エンコーダで足り、ソフトによる再エンコード処理でも足りる。第1の実施例のような高性能なMPEGビデオエンコーダ40を必要としない。これにより、特殊再生伝送装置400のコストダウンを図ることができる。
(7)第6の実施例
図19は第6の実施例としての特殊再生伝送装置600の構成例を示すブロック図である。この例では、通常再生時には映像音声情報媒体50に記録されたMPEGビデオストリームをそのまま使用し、それ以外は「0」スタッフィングビットを出力するようになされる。再多重化は行われるので、MPEG−TSの不連続点は発生しない。受信機側では符号化データがデコードできれば復号化するし、復号化できなければ、復号化できたところで、画面を固定(フリーズ)して次に復号化できるまで待つようになされる。これにより、簡易的な特殊再生を行うことができる。
図19に示す特殊再生伝送装置600は復号化手段2、D/A変換部13及びデータ再構築手段46を備えている。データ再構築手段46は「0」スタッフィング出力部60、MPEG−TS多重部48及びセレクタ49を有している。なお、第4及び第5の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
この「0」スタッフィング出力部60はデータ発生手段の一例であり、デジタル信号処理機器用の符号化データを構成する「0」スタッフィングビットを出力するようになされる。この「0」スタフィングビットを送出するようにしたのは、全く何らのストリームを送出しないとすると、MPEG映像ストリームの送出が終わったか否かを識別することができなくなったり、本当にそのストリームの送出処理を中断する場合もあるので、それと識別するためである。
「0」スタッフィングビットは、図9に示したMPEG−TSのデータ構造例において、トランスポート・パケット30のアダプテーションフィールド39の下位階層のスタッフィングバイト98に書き込まれる。この例で、MPEG映像ストリームの前後にシーケンス・ストリームスタート/エンドコードを付加するようにしてもよい。このコードによって、より規格に沿ったMPEG映像ストリームを構築することができる。
上述の復号化手段2のMPEG−TS多重分離部21の出力及び「0」スタッフィング出力部60の出力にはセレクタ49が接続され、通常再生時、丸付き数字「1」には多重分離後の符号化データD1を選択するように制御され、特殊再生時、丸付き数字「2」には「0」スタッフィング出力部60の出力を選択するように制御される。セレクタ49は第1〜第5の実施例と同様にして図示しない特殊再生用の操作部を通じてユーザにより操作される。
このセレクタ49の出力には第4及び第5の実施例と同様にしてMPEG−TS多重部48が接続され、MPEG−TS多重分離後の符号化データD1、又は、「0」スタッフィング出力部60により出力される符号化データD6が音声情報に係る符号化データなどと多重化される。多重化後の符号化データDoutはIEEE1394通信ケーブル9を通してデジタルテレビ7などに出力される。
続いて、特殊再生伝送装置600の動作例について説明をする。この例では通常再生時には第4及び第5の実施例と同様にしてMPEG−TS多重分離後の符号化データD1をそのまま使用し、セレクタ49及びMPEG−TS多重部48を通してデジタルテレビ7に符号化データDoutが伝送される。特殊再生時には、再エンコードを行わずに、再多重化のみが行われる、つまり、図19に示した「0」スタッフィング出力部60から出力される「0」スタッフィングビットによって再構築されたMPEG映像ストリームを使用して、セレクタ49及びMPEG−TS多重部48を通してデジタルテレビ7に符号化データDoutが伝送されることを前提とする。
i.通常再生が指定された場合
この場合の処理は第4及び第5の実施例と全く同じなのでその説明を省略する。図12及び図13を参照されたい。
ii.特殊再生が指示された場合
例えば、図20に示すビットストリームの例でビットストリーム「7」のIピクチャ(7,I7)でポーズ再生された場合、セレクタ49が通常再生、丸付き数字「1」から特殊再生丸付き数字「2」へ切換られる。「0」スタッフィング出力部60ではデジタルテレビ7で要求される符号化データを構成する「0」スタッフィングビットが、図9に示したMPEG−TSのデータ構造例において、トランスポート・パケット30のアダプテーションフィールド39の下位階層のスタッフィングバイト98に書き込むように出力される。MPEG方式で決められた、PCR、PTS、DTSに関してはデータ例が正しく連続するように、MPEG−TSのトランスポート・パケットなどにヘッダ情報として付加される。
図20に示すビットストリームの例では、各々ヘッダ情報が付加された、ビットストリーム「1」のIピクチャ(1,I1)、ビットストリーム「0」のBピクチャ(2,B0)、ビットストリーム「3」のPピクチャ(3,P3)、ビットストリーム「2」のBピクチャ(4,B2)、ビットストリーム「5」のPピクチャ(5,P5)、ビットストリーム「4」のBピクチャ(6,B4)、ビットストリーム「7」のIピクチャ(7,I7)、ビットストリーム「6」のBピクチャ(8,B6)、ビットストリーム「9」のPピクチャ(9,I9)に続いて、「0」スタッフィングビットを書き込んだヘッダ情報(10,)〜ヘッダ情報(21,)が挿入される。
これに続いて、ビットストリーム「8」のBピクチャ(22,B19)、ビットストリーム「11」のPピクチャ(23,P22)、ビットストリーム「10」のBピクチャ(24,B21)、ビットストリーム「13」のIピクチャ(25,I24)、ビットストリーム「12」のBピクチャ(26,B8)、ビットストリーム「15」のPピクチャ(27,P11)、ビットストリーム「14」のBピクチャ(28,B10)がMPEG−TS多重部48からデジタルテレビ7等へ送出される。
このビットストリームを受信したデジタルテレビ7では、図2に示したMPEG2デコーダ11により、上述のビットストリームに係る符号化データDoutがデコードされ、図15に示した数字0〜6のように連続した映像表示データに続いて、ポーズ期間として、ビットストリーム「7」に係る映像表示データがデコードされる。このビットストリーム「7」に続くビットストリーム「8」が伝送されて来ないために、デコード処理を中断して、そのビットストリームが来るまで待機される。この間は最後に表示されたビットストリーム「7」に係る映像(絵)が表示し続けられる。引き続いて、数字9〜14のように連続した映像表示データがデコードされる(第4の実施例参照)。従って、連続性の良いポーズ画面がデジタルテレビ7に表示される。
このようにして、第6の実施例に係る特殊再生伝送装置600では、特殊再生時に、ビットストリーム「9」とビットストリーム「8」に挟まれた部分に、「0」スタッフィングビットを書き込んだヘッダ情報(10,)〜ヘッダ情報(21,)が断片的に挿入される。
従って、ポーズ期間中及びその前後の連続したMPEG−TS多重化と、ポーズ期間中のヘッダ情報の送出とを行うことができ、ポーズ期間中のMPEG映像ストリームの送出を中断することができる。このような断片的なビットストリームを受信機側でデコードすることにより、それをデジタルテレビ7などにおいてデジタル表示するようになされる。
なお、MPEG映像ストリームが途絶えてデコードできないときは、ポーズ画面が指定される前の絵で画面表示を固定するように情報伝送規則を定めて置くと良い。受信機側の動作は、「符号化データがデコードできれば復号化するし、復号化できなければ、復号化できたところで、画面を固定(フリーズ)して次に復号化できるまで待つ」というように保証されたものではない。
従って、受信機によっては「0」スタッフィングビットが続いた場合には、画面をミューティングするような受信機仕様かも知れず、静止画が表示されない場合も想定される。データ伝送をより確実にするには、送出側と受信機側の間でこのような情報伝送規則を定めて置くと良いということである。この情報伝送規則が確立された場合には、受信機側の画面表示固定時には送出側において、ストリームを送出する必要がなくなり、データ転送処理を軽減することができる。
(8)第7の実施例
図21は第7の実施例としての特殊再生伝送装置700の構成例を示すブロック図である。この例では、通常再生時に第6の実施例のような多重化も行われない。しかも、第6の実施例と同様にして再圧縮も行わず、映像音声情報媒体50から得られた符号化データDinをデジタル信号処理機器へそのまま転送し、特殊再生時には、ビットストリームが中断している部分にダミーパケットを挿入してデジタル信号処理機器へ送出するようにしたものである。これにより、受信機側は画面を固定(Freeze)して待つようになされる。
なお、ヨーロッパのデジタル放送の標準であるDVB(Digital Video Broadcasting)に従うのであれば、MPEG−TSに係るビットストリームの不連続点にDIT(Discontinuity Information Table:不連続情報ファイル)が挿入される。DVBに従わないのであれば、その不連続点にDITを挿入しなくてもよい。従って、ポーズ期間中は、全くMPEG映像ストリームの送出がなされないものである。
図21に示す特殊再生伝送装置700は復号化手段2、D/A変換部13及びデータ再構築手段47を備えている。データ再構築手段47はダミーパケット&DIT出力部71、MPEG−TS多重部48及びセレクタ49を有している。なお、第4〜第6の実施例と同じ名称及び同じ符号のものは同じ機能を有するためその説明を省略する。
このダミーパケット&DIT出力部71はデータ発生手段の一例であり、デジタル信号処理機器用の符号化データを構成するダミーパケット又はDITを出力するようになされる。ダミーパケットとは、CIP(Common Isochronus Packet:共通同期転送パケット )ヘッダの中でフォーマット(fmt)=「MPEG」と記述され、しかも、何もデータがないヘッダのみのパケットをいう。
このダミーパケットを送出するようにしたのは、全く何らのストリームを送出しないとすると、第6の実施例と同様にしてMPEG映像ストリームの送出が終わったか否かを識別することができなくなったり、本当にそのストリームの送出処理を中断する場合もあるので、それと区別させるためである。DITに関しては、ヨーロッパのデジタル放送の標準であるDVB(Digital Video Broadcasting)において、MPEG−TSに係るビットストリームが不連続となる場合に、その不連続点にDITを挿入するという情報伝送規則(テーブル)が定められているので、それに従った場合の例である。もちろん、そのビットストリームが不連続とならない場合には、DITを挿入しなくてもよい。
ダミーパケット&DIT情報D7は、トランスポート・パケット30の送出タイミングと同じタイミングで出力される。この例で、特殊再生時に、fmt=「MPEG」と記述したヘッダのみのCIPをデジタル信号処理機器へ伝送するようになされる。このCIPは、例えば、MPEG映像ストリームのポーズ中に送出されるデータである。
これにより、デジタルテレビ7などの受信機側では、CIPを「表示画面を固定(Freeze)する」という識別子フラグの代わりをさせることができる。例えば、受信機側ではfmt=「MPEG」である間は画面を固定するようになされ、そうでなければ、画面表示をミューティングにするなどの処理が施される。
上述の復号化手段2のMPEG−TS多重分離部21への入力及びダミーパケット&DIT出力部71の出力にはセレクタ49が接続され、通常再生時、丸付き数字「1」には映像音声情報媒体50から得られた符号化データDinを選択するように制御され、特殊再生時、丸付き数字「2」にはダミーパケット&DIT出力部71の出力を選択するように制御される。セレクタ49は第1〜第5の実施例と同様にして図示しない特殊再生用の操作部を通じてユーザにより操作される。このセレクタ49の出力は直接、IEEE1394通信ケーブル9を通してデジタルテレビ7などに接続される。
この例では、デジタルテレビ7などの受信機側ではMPEG−TSに挿入されたDIT情報を検出したら、画面表示を固定したままでそれに備え、符号化データDinのデコードが再開したらそのままMPEG映像を表示するような情報伝送規則を設けておいてもよい。
なお、本当に、MPEG映像ストリームが途絶えた場合には、実際何も送出しないか、fmt=「NO DATA」を示すCIPを送出するという情報伝送規則を設けておいてもよい。また、画面固定の場合でも、MPEG−TSで決められたPCR(プログラム時刻参照基準値)、PAT(Program Association Table:番組表)、PMT(Program Map Table:番組対応表)などのパケットは送り続けるようになされる。
続いて、特殊再生伝送装置700の動作例について説明をする。この例では通常再生時には第4及び第5の実施例と異なり、映像音声情報媒体50から得られた符号化データDinをそのまま使用し、セレクタ49を通してデジタルテレビ7に符号化データDinが伝送される。特殊再生時には、再エンコード及び再多重化を行わず、図21に示したダミーパケット&DIT出力部71から出力されるダミーパケット&DIT情報D7を使用して、セレクタ49を通してデジタルテレビ7に符号化データDoutが伝送されることを前提とする。
i.通常再生が指定された場合
この場合の処理は映像音声情報媒体50から得られた符号化データDinをそのまま使用し、セレクタ49を通してデジタルテレビ7に符号化データDinが伝送される。
ii.特殊再生が指示された場合
例えば、図22に示すビットストリームの例でビットストリーム「7」のIピクチャ(7,I7)でポーズ再生された場合、セレクタ49が通常再生、丸付き数字「1」から特殊再生丸付き数字「2」へ切換られる。ダミーパケット&DIT出力部71ではデジタルテレビ7で要求される符号化データとして、ダミーパケット&DIT情報D7が送出される。MPEG方式で決められたPCR、PAT及びPMTはヘッダ情報として付加される。
図22に示すビットストリームの例では、各々ヘッダ情報が付加された、ビットストリーム「1」のIピクチャ(1,I1)、ビットストリーム「0」のBピクチャ(2,B0)、ビットストリーム「3」のPピクチャ(3,P3)、ビットストリーム「2」のBピクチャ(4,B2)、ビットストリーム「5」のPピクチャ(5,P5)、ビットストリーム「4」のBピクチャ(6,B4)、ビットストリーム「7」のIピクチャ(7,I7)、ビットストリーム「6」のBピクチャ(8,B6)が送出され、これに続くビットストリーム「9」のPピクチャ(9,I9)と、ビットストリーム「8」のBピクチャ(10,B8)との間には何も送出されない。
このビットストリーム「8」のBピクチャ(10,B8)に続いて、ビットストリーム「11」のPピクチャ(11,P11)、ビットストリーム「10」のBピクチャ(12,B10)、ビットストリーム「13」のIピクチャ(13,I13)、ビットストリーム「12」のBピクチャ(14,B12)、ビットストリーム「15」のPピクチャ(15,P15)、ビットストリーム「14」のBピクチャ(16,B14)が、映像音声情報媒体50からデジタルテレビ7等へ送出される。
このビットストリームを受信したデジタルテレビ7では、図2に示したMPEG2デコーダ11により、上述のビットストリームに係る符号化データDoutがデコードされ、図15に示した数字0〜6のように連続した映像表示データに続いて、ポーズ期間として、ビットストリーム「7」に係る映像表示データがデコードされる。このビットストリーム「7」に続くビットストリーム「8」が伝送されて来ないために、デコード処理を中断して、そのビットストリームが来るまで待機される。この間は最後に表示されたビットストリーム「7」に係る映像(絵)が表示し続けられる。引き続いて、数字9〜14のように連続した映像表示データがデコードされる(第4の実施例参照)。
なお、DITを検出したら画面表示は固定して不連続に備えて、次に、符号化データDoutがデコードできるまで待機される。デコードが再開されたらそのMPEG映像ストリームに基づいて表示を行う。従って、受信機側では連続性の良いポーズ画面が表示される。
また、DITが記述されない場合には、ビットストリームが「不連続点である」という検出が遅れるが、ヘッダ情報に記述したPCRの不連続又はMPEG−TSトランスポート・パケット30に割り当てられた巡回カウンタ38(図9参照)などの各種のパラメータから「不連続」を検出することができる。従って、DIT検出時と同じ処理を施すことにより、受信機側では連続的にポーズ画面を表示することができる。
このようにして、第7の実施例に係る特殊再生伝送装置700では、特殊再生時に、ビットストリーム「9」とビットストリーム「8」とに挟まれた部分には、ダミーパケットを送出する。従って、ポーズ期間中のMPEG映像ストリームの送出を中断しても、デジタルテレビ7などの受信機側では、「表示画面を固定(Freeze)する」という識別子フラグの代わりとなったCIPをデコードし、fmt=「MPEG」を認識することで、受信機側ではfmt=「MPEG」である間は画面を固定するようになされ、そうでなければ、画面表示をミューティングにするなどの処理を施すことができる。
しかも、MPEG−TS映像音声記録媒体50及びMPEG衛星放送から得られる符号化データをIEEE1394通信ケーブル9を通してデジタルテレビ7などに直接転送されるので、第1〜第5の実施例のようなMPEGビデオエンコーダを必要としないし、MPEG−TS多重部も不要となるので、特殊再生伝送装置700の大幅なコストダウンを図ることができる。
1・・・データ再生伝送装置、2・・・復号化手段、3・・・データ変換手段、4・・・データ再構築手段、9・・・IEEE1394通信ケーブル、13・・・D/A変換部(データ変換手段)、14・・・遅延メモリ部(遅延手段)、21・・・MPEG−TS多重分離部(多重分離手段)、22・・・MPEGビデオデコーダ、40,40'・・・MPEGビデオエンコーダ(符号化手段)、48・・・MPEG−TS多重部(多重化手段)、49・・・セレクタ(選択手段)、50・・・映像情報記録媒体、51・・・Iピクチャメモリ(画像抽出手段)、52・・・B,Pストリーム出力部(画像挿入手段)、60・・・「0」スタッフィング出力部(データ発生手段)、71・・・ダミーパケット&DIT出力部(データ発生手段)、100〜700・・・特殊再生伝送装置