図27は特開平4−114369号公報(特許文献1)に示されている従来の光ディスク記録再生装置のブロック回路図で、701はビデオ信号やオーディオ信号等をディジタル情報に変換するためのA/D変換器、702は情報圧縮回路、703は上記圧縮情報をフレーム周期の整数倍に等しいセクタ情報に変換するフレームセクタ変換回路、704は上記セクタ情報に誤り訂正信号を付加する誤り訂正符号回路、705は記録媒体での符号間干渉を小さくするため所定の変調符号に変換するための変調器、706は上記変調符号に従ってレーザ光を変調するためのレーザ駆動回路、707はレーザ出力スイッチである。
また、708は上記レーザ光を出射するための光ヘッド、709は光ヘッド708から出射される光ビームをトラッキングするためのアクチュエータ、710は光ヘッド708を送るためのトラバースモータ、711は光ディスク712を回転させるためのディスクモータ、719はモータ駆動回路、720は第1のモータ制御回路、721は第2のモータ制御回路である。また、713は光ヘッド708からの再生信号を増幅するための再生アンプ、714は記録された変調信号からデータを得るための復調器、715は誤り訂正復号回路、716はフレームセクタの逆変換手段、717は上記圧縮情報を伸長するための情報伸長回路、718は伸長された情報を例えばアナログビデオ信号やオーディオ信号に変換するためのD/A変換器である。
次に動作について説明する。映像信号を符号化する場合の高能率符号化方式の一つとしてMPEG方式による符号化アルゴリズムがある。これは、動き補償予測を用いた画像間予測符号化と画像内変換符号化を組み合わせたハイブリッド符号化方式である。ここで、本従来例の情報圧縮回路702は図30に示すような構成になっており、上記MPEG符号化方式を採用している。
図28はMPEG方式のデータ配列構造(レイヤ構造)を簡略化して表したものである。図において、821は複数のフレーム情報からなるGroup of Picture(以下、「GOP」という)からなるシーケンス層、822はいくつかのピクチャ(画面)から構成されるGOP層、823は1画面をいくつかのブロックに分割したスライス、824はいくつかのマクロブロックから構成されるスライス層、825はマクロブロック層、826は8画素×8画素で構成されるブロック層である。
このマクロブロック層825は、例えばMPEG方式においては、符号化の最少単位は8×8画素からなるブロックで、このブロックが離散コサイン変換(以下、「DCT」という)を行う単位である。このとき、隣接する4つのY信号ブロックと、これらに位置的に対応する1個のCbブロック、および1個のCrブロックの合計6ブロックをマクロブロックと呼ぶ。このマクロブロックを複数個まとめてスライスが構成される。また、マクロブロックは、動き補償予測の最小単位であり、動き補償予測のための動きベクトルは、マクロブロック単位で行われる。
次に、画像間予測符号化の処理について説明する。図29は、上記画像間予測符号化の概略を示している。各画像は、画像内符号化画像(以下、Iピクチャという)、片方向予測符号化画像(以下、Pピクチャという)、両方向予測符号化画像(以下、Bピクチャという)の3つのタイプに分けられる。
例えば、N枚に1枚の画像をIピクチャとし、M枚に1枚はPピクチャまたはIピクチャとする場合、n、mを整数、かつ、1≦m≦N/Mとして、(N×n+M)番目の画像はIピクチャ、(N×n+M×m)番目の画像(m≠1)はPピクチャ、(N×n+M×m+1)番目から(N×n+M×m+M−1)番目の画像はBピクチャとする。このとき、(N×n+1)番目の画像から(N×n+N)番目の画像までをまとめて、GOP(Group of Pictures)と呼ぶ。
図29は、N=15、M=3の場合を示している。図において、Iピクチャは画像間予測を行わず、画像内変換符号化のみを行う。Pピクチャは直前のIピクチャまたはPピクチャから予測を行う。例えば、図中6番の画像はPピクチャであるが、これは3番のIピクチャから予測を行う。また、図中9番のPピクチャは6番のPピクチャから予測する。Bピクチャは直前と直後のIピクチャまたはPピクチャから予測する。例えば、図中、4番および5番のBピクチャは、3番のIピクチャと6番のPピクチャの双方から予測することになる。従って、4番、5番の画像は、6番の画像の符号化を行った後、符号化する。
次に、情報圧縮回路702の動作について図30にしたがって説明する。メモリ回路901では、入力されるディジタル映像信号を符号化順に並べ換えて出力する。すなわち、先に述べたように、図29において、例えば1番のBピクチャは3番のIピクチャの後に符号化するので、ここで画像の並べ換えを行うのである。図31はこの並べ換えの動作を示している。図31(a)のように入力された画像シーケンスは、図31(b)の順で出力される。
また、メモリ回路901から出力される映像信号921は、時間軸方向の冗長度を落とすために減算器902で動き補償予測回路910から出力される予測画像923との画像間の差分がとられたのち、空間軸方向にDCTが施される。変換された係数は量子化され、可変長符号化された後に、送信バッファ906を介して出力される。一方、量子化された変換係数は、逆量子化され、IDCTが施された後、加算器909で予測画像923と加算されて、復号画像922が求められる。復号画像922は、次の画像の符号化のために、動き補償予測回路910に入力される。
次に、動き補償予測回路910の動作を、図32に従って説明する。動き補償予測回路910は、フレームメモリ1204aとフレームメモリ1204bに記憶された2つの参照画像を用いて、メモリ回路901から出力される映像信号921を動き補償予測し、予測画像923を出力する。
まず、上記のように符号化され復号された画像922がIピクチャまたはPピクチャである場合、次の画像の符号化のために、この画像922は、フレームメモリ1204aまたはフレームメモリ1204bに記憶される。このとき、フレームメモリ1204aとフレームメモリ1204bのうち、時間的に先に更新された方を選択するよう、切り換え器1203が切り換えられる。ただし、復号された画像922がBピクチャである場合は、フレームメモリ1204aおよびフレームメモリ1204bへの書き込みは行われない。
このような切り換えにより、例えば、図31の1番、2番のBピクチャが符号化されるときには、フレームメモリ1204aとフレームメモリ1204bに、それぞれ0番のPピクチャと3番のIピクチャが記憶されており、その後、6番のPピクチャが符号化され復号されると、フレームメモリ1204aは6番のPピクチャの復号画像に書き換えられる。
したがって、次の4番、5番のBピクチャが符号化されるときには、上記フレームメモリには、それぞれ、6番のPピクチャと3番のIピクチャが記憶されている。さらに、9番のPピクチャが符号化され復号されると、フレームメモリ1204bは9番のPピクチャの復号画像に書き換えられる。これより、7番、8番のBピクチャが符号化されるときには、上記フレームメモリには、それぞれ、6番のPピクチャと9番のPピクチャが記憶されている。
メモリ回路901から出力される映像信号921が、動き補償予測回路910に入力されると、2つの動きベクトル検出回路1205a、1205bが、それぞれ、フレームメモリ1204a、1204bに記憶されている参照画像をもとに、動きベクトルを検出し、動き補償予測画像を出力する。すなわち、映像信号921を複数のブロックに分割し、各ブロックについて、参照画像の中で最も予測歪が小さくなるようなブロックを選び、そのブロックの相対的位置を動きベクトルとして出力するとともに、このブロックを動き補償予測画像として出力する。
他方、予測モード選択器1206は、動きベクトル検出回路1205a、1205bから出力される2つの動き補償予測画像および、これらの平均画像のうち、予測歪が最も小さいものを選択し、予測画像として出力する。このとき、映像信号921がBピクチャでなければ、時間的に先に入力された参照画像に相当する動き補償予測画像を常に選択して、出力する。また、予測モード選択器1206は、予測を行わない画像内符号化と、選択された予測画像による画像間予測符号化のうち、符号化効率がよい方を選択する。
このとき、映像信号921がIピクチャであれば、常に、画像内符号化が選択される。画像内符号化が選択された場合は、画像内符号化モードを示す信号が予測モードとして出力され、画像間予測符号化が選択された場合は、選択された予測画像を示す信号が予測モードとして出力される。切り換え器1207は、予測モード選択器1206から出力される予測モードが、画像内符号化モードであれば0信号を出力し、そうでなければ、予測モード選択器1206から出力される予測画像を出力する。
以上のことから、メモリ回路901から出力される映像信号921がIピクチャのときは、動き補償予測回路910は常に0信号を予測画像923として出力するので、Iピクチャは画像間予測を行わず、画像内変換符号化される。また、メモリ回路901から出力される映像信号921が、例えば、図29の6番のPピクチャのときは、動き補償予測回路910は、図29の3番のIピクチャから動き補償予測し、予測画像923を出力する。また、メモリ回路901から出力される映像信号921が、例えば図29の4番のBピクチャのときは、動き補償予測回路910は、図29の3番のIピクチャと6番のPピクチャから動き補償予測し、予測画像923を出力する。
次に送信バッファ906の動作について説明する。送信バッファ906では、可変長符号化回路905によって可変長符号化された映像データをMPEGのビデオ信号のビットストリームに変換する。ここで、MPEGのストリームは、図28に示すように6層のレイヤ構造になっており、シーケンス層821、GOP層822、ピクチャ層823、スライス層824、マクロブロック層825およびブロック層826毎に識別コードであるヘッダ情報が付加されて構成されている。
また、送信バッファ906はビデオ信号のビットストリームとオーディオ信号のビットストリームをそれぞれ複数のパケットに分解して、同期信号を含めて上記パケットを多重してMPEG2−PS(プログラムストリーム)のシステムストリームを構成している。ここで、MPEG2−PSは図33に示すようにパック層とパケット層によって構成されており、それぞれパケット層とパック層に対してヘッダ情報が付加してある。本従来例では図33に示す各パックにビデオデータ1GOP分のデータが含まれるようにシステムストリームを構成している。
ここで、パック層はパケット層の上位層でパケット層を束ねた構成になっており、パック層を構成する各パケット層をPESパケットと呼ぶ。また、図33に示すパック層のヘッダ情報にはパックの識別信号、ビデオおよびオーディオ信号の基本となる同期信号等が含まれている。
一方、パケット層を構成するパケットには図34に示す様に3種類のPESパケットが存在する。ここで、図34の2段目のパケットはビデオ・オーディオ・プライベート1パケットで、パケットデータの前にパケットの先頭を識別するコードおよびヘッダ情報として各パケットを復号する際に必要なタイムスタンプ情報(PTSおよびDTS)などが付加されている。ただし、タイムスタンプ情報PTSは再生出力の時刻管理情報で、再生時に各パケットのデータストリームの復号順を管理する情報である。また、DTSは復号開始の時刻管理情報で、復号データの送出順を管理する情報である。
図34の3段目のパケットは、プライベート2パケットでユーザーデータを書き込むパケットである。また、図34の最下段のパケットは、パディングパケットはパケットデータをすべて”1”によってマスクするパケットである。プライベート2パケットおよびパディングパケットのヘッダ情報は、パケットの開始コードとパケット長によって構成されている。
以上のように送信バッファ906によってビデオおよびオーディオデータはMPEG2−PSのシステムストリームに変換され、フレームセクタ毎に変換される。この情報は誤り訂正処理が行われると同時にディスクの符号間干渉の影響を小さくするための変調を行い、光ディスク712に記録される。この時、例えば各GOP単位でのデータ量はほぼ同じ量になるようにし、またフレーム周期の整数倍に等しいセクタに振り分けることによって、GOP単位での編集等が可能となることは明かである。
次に、再生時の動作について説明する。再生時には、光ディスク712に記録された映像情報を再生アンプ713にて増幅し、復調器714およびデコーダ715にてディジタルデータに復元した後、フレームセクタ逆変換回路716にてアドレス,パリティ等のデータを取り除いた純粋な映像元データとして復元され、情報伸長回路717に入力される。ここで、図35は情報伸長回路717の構成を示した図である。図35において、MPEG2−PSで構成されるシステムストリームは、受信バッファ1001に入力される。
受信バッファ1001では、入力されるシステムストリームをパック単位に分解する。続いて、各PESパケットをヘッダ情報にしたがって分解して、PESパケット単位で分割されているビデオおよびオーディオデータのビットストリームを再構成する。さらに、ビデオデータに関しては図28に示すブロック層までストリームを分解して、ブロックデータおよび動きベクトルのデータを分離して出力する。
受信バッファ1001から出力されるブロックデータは、可変長復号化回路1002に入力されて、可変長のデータが固定長データとなって逆量子化され、IDCTが施されて加算器1006に出力される。これに対して予測データ復号回路1005では、受信バッファ1001から出力される動きベクトルにしたがって、予測画像を復号し、加算器1006に出力する。
この場合、予測データ復号回路1005には動き補償予測回路910と同じく、加算器1006によって復号されるIピクチャおよびPピクチャデータを記憶するフレームメモリを備えており、PピクチャおよびBピクチャ時には、入力される動きベクトルにしたがい、対象となるIピクチャおよびPピクチャから予測画像を再現して加算器1006に出力する。なお、IピクチャおよびPピクチャ時の、参照画像データの更新方法については、符号化時の場合と同じであるので説明を省略する。
加算器1006では予測データ復号回路1005の出力とIDCT回路1004の出力を加算し、メモリ回路1007に出力する。ここで、符号化時には、時間的に連続する映像信号を、図31に示す様に符号化する順にしたがってフレームの並び換えを行っている。このため、メモリ回路1007では、図31(b)に示す順で入力されるデータを、図31(a)の順に画像データが時間的に連続する様に並び換えて出力端子30に出力する。
次に、このような符号化構造を持つデータをディスクに記録した場合の画像検索や高速再生を示す。図29に示すような符号化構造を持つ場合、Iピクチャ単位で再生すれば高速再生が可能である。この場合、Iピクチャを再生した後すぐにトラックジャンプを行い、次の、または前のGOPへアクセスし、そこでIピクチャを再生する。このような動作を繰り返すことによって、図29の場合には高速送り再生や戻し再生が実現できる。
しかし、このGOPのレートは可変ビットレートであるので、実際に次のGOPの先頭がどこにあるかはまったく認識できない。そのため適当に光ヘッドをジャンプさせGOPの先頭を見つけるようにしていたため、どのトラックにアクセスすれば良いかを求めることはできなかった。
また、Iピクチャはデータ量が非常に多く、特殊再生のようにIピクチャのみを連続で再生すると、ディスクからの読みだし速度に制限があるため、通常の動画のように30Hzの周波数で再生することはできない。Iピクチャの再生が終了して光ヘッドをジャンプさせるとしても、Iピクチャが再生し終わってからでは、次のIピクチャに更新する間隔が大きくなり動きのなめらかさが欠如する。
従来のディジタル映像信号記録再生装置及び再生装置は以上のように符号化されているのでビデオテープレコーダのようにスキップサーチ(早送りでみること)の際に、データ量の多いIピクチャばかりをデコードするため、デコードするに十分なデータを再生することなく光ヘッドをジャンプさせるか、十分なデータを再生した場合データを再生している時間が長いため同じ倍速数を得ようとするとGOPの飛び先をかなり遠方に設定しなければならず、このため、画面に出力するコマ数が少なくなるという問題がある。
また、可変レートのため次のGOPのセクタアドレスが認識できないためジャンプしたトラックにGOPの先頭があるかどうかの保証がない。このためジャンプした先で複数回のディスク回転待ちとなって特殊再生時、画面に出力するコマ数がさらに少なくなるといった問題もある。また、仮にセクタアドレスが認識可能であっても、システム層で、どのデータまで再生して光ヘッドをジャンプさせて良いかどうかを知る手段がないためビデオデコーダを通らなければ判断がつかず、光ヘッドをジャンプさせる効率を低下させているという問題もあった。
本発明は以上のような問題に鑑みて成されたものであり、動き補償予測と直交変換を用いて符号化したディジタル映像信号記録再生装置または、ディジタル映像信号再生装置において良好なスキップサーチを得るとともに、可変ビットレートの符号化を採用する前提のもとで、GOPのアクセス性の向上を実現できるディジタル映像信号記録再生装置またはディジタル映像信号再生装置を得ることを目的とする。
本発明は、動き補償予測とDCTとを用いてディジタル映像信号を高能率符号化して光ディスクに書き込まれる映像情報が、画面内符号化画像であるIピクチャと、片方向予測符号化画像であるPピクチャと、両方向予測符号化画像であるBピクチャとから構成され、これらのピクチャを含んで一つの映像情報ブロックとし、その映像情報ブロックに基づいて構成されたビデオパケットと、プライベートパケットとを含むシステムストリームが配置され、上記プライベートパケットのデータかどうかを示す識別情報が上記プライベートパケットの上記データに先立って配置された光ディスクを再生する方法であって、上記識別情報に基づいて、上記プライベートパケットを再生出力するかどうかを選択することを特徴とする光ディスク再生方法である。
本発明に係わるディジタル映像信号再生装置によれば、周波数あるいは量子化あるいは空間解像度で分割されたデータのヘッダにより、特殊再生データ出力手段はアクセスすべき領域のみを出力して、デコードするべきデータを減らすよう作用する。また、通常再生時はデータ並び換え手段が周波数あるいは量子化あるいは空間解像度で分割されて並び換えられたデータを並び換えるように作用する。
また、本発明に係わるディジタル映像信号再生方法によれば、周波数あるいは量子化あるいは空間解像度でデータを分割することで特殊再生時にアクセスすべきデータが減り、さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので、再生時に瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号記録再生装置によれば、記録手段は、画像データを周波数領域や量子化や空間解像度でデータを分割するように作用する。分割されたデータのヘッダにより、特殊再生データ出力手段はアクセスすべき領域のみを出力して、デコードするべきデータを減らすよう作用する。また、通常再生時はデータ並び換え手段が周波数あるいは量子化あるいは空間解像度で分割されて並び換えられたデータを並び換えるように作用する。
また、本発明に係わるディジタル映像信号記録再生方法によれば、記録時に周波数や量子化や空間解像度でデータを分割し、このことにより特殊再生時にアクセスすべきデータが減り、さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので、再生時に瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに記録再生できる。
また、本発明に係わるディジタル映像信号記録再生装置によれば、記録手段は、画像データを画面のエリアで分割し、画面中央部が優先されるように作用する。分割されたデータのヘッダにより、特殊再生データ出力手段は画面中央部を優先して出力するよう作用する。また、通常再生時はデータ並び換え手段が画面でエリア単位で分割されて並び換えられたデータを並び換えるように作用する。
また、本発明に係わるディジタル映像信号記録再生方法によれば、記録時に画面のエリアでデータを分割することにより特殊再生時アクセスすべきデータが減り、さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので、再生時に瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行え、一定時間単位でアドレスジャンプを行うことができる。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに記録再生できる。
また、本発明に係わるディジタル映像信号再生装置によれば、画面のエリアで分割されたデータのヘッダにより、特殊再生データ出力手段は画面中央のエリアを優先して出力して、一定速度の特殊再生が可能なよう作用する。また、通常再生時はデータ並び換え手段が画面でエリア単位で分割されて並び換えられたデータを並び換えるように作用する。
また、本発明に係わるディジタル映像信号再生方法によれば、画面上のエリアでデータを分割することで特殊再生時に一定時間単位でアドレスジャンプができ、さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので、再生時に瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号記録再生装置によれば、記録手段は、画像データを周波数領域や量子化や空間解像度でデータを分割し、さらに、画面でエリア単位で分割するように作用する。分割されたデータのヘッダにより、特殊再生データ出力手段はアクセスすべき領域のみを出力して、デコードするべきデータを減らすよう作用する。また、複数の分割手段により分割されたデータは特殊再生速度に応じて読みだしデータ量が調整でき、幅広い特殊再生速度の対応ができるようになる。また、通常再生時はデータ並び換え手段が周波数あるいは量子化あるいは空間解像度と画面のエリア単位で分割されて並び換えられたデータを並び換えるように作用する。
また、本発明に係わるディジタル映像信号記録再生方法によれば、記録時に周波数や量子化や空間解像度でデータを分割し、さらに、画面でエリア単位で分割する。このことにより特殊再生時にアクセスすべきデータが減り、さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので、再生時に瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、複数の分割手段により分割されたデータは特殊再生速度に応じて読みだしデータ量が調整でき、幅広い特殊再生速度の対応ができるようになる。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに記録再生できる。
また、本発明に係わるディジタル映像信号再生装置によれば、周波数あるいは量子化あるいは空間解像度で分割され、さらに、画面でエリア単位で分割されたデータのヘッダにより、特殊再生データ出力手段はアクセスすべき領域のみを出力して、特殊再生速度に応じてデコードするべきデータを減らすよう作用する。また、複数の分割手段により分割されたデータは特殊再生速度に応じて読みだしデータ量が調整でき、幅広い特殊再生速度の対応ができるようになる。また、通常再生時はデータ並び換え手段が周波数あるいは量子化あるいは空間解像度と画面のエリア単位で分割されて並び換えられたデータを並び換えるように作用する。
また、本発明に係わるディジタル映像信号再生方法によれば、周波数あるいは量子化あるいは空間解像度でデータを分割し、さらに、画面でエリア単位で分割することで特殊再生時にアクセスすべきデータが減り、さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので、再生時に瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、複数の分割手段により分割されたデータは特殊再生速度に応じて読みだしデータ量が調整でき、幅広い特殊再生速度の対応ができるようになる。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号記録再生装置においては、特殊再生時に、Iピクチャの画面の中央にくるエリアのみを読み出し、読み出さなかったエリアのデータについてはデータをある一定値にマスクすることにより再生画像を合成するため、データ量の多いIピクチャをすべて再生する場合に比べて、より高速な特殊再生を実現できる。
また、本発明に係わるディジタル映像信号記録再生装置においては、特殊再生時に、Iピクチャの画面の中央にくるエリアのみを読み出し、読みだしたエリアを画面全体に伸長することにより再生画像を合成するため、データ量の多いIピクチャをすべて再生する場合に比べて、より高速な特殊再生を実現でき、データを読みだすことができなかったエリアが目だちにくくなる。
また、本発明に係わるディジタル映像信号再生装置においては、特殊再生時に、Iピクチャの画面の中央にくるエリアのみを読み出し、読み出さなかったエリアのデータについてはデータをある一定値にマスクすることにより再生画像を合成するため、データ量の多いIピクチャをすべて再生する場合に比べて、より高速な特殊再生を実現できる。
また、本発明に係わるディジタル映像信号再生装置においては、特殊再生時に、Iピクチャの画面の中央にくるエリアのみを読み出し、読みだしたエリアを画面全体に伸長することにより再生画像を合成するため、データ量の多いIピクチャをすべて再生する場合に比べて、より高速な特殊再生を実現でき、データを読みだすことができなかったエリアが目だちにくくなる。
本発明によれば、良好なスキップサーチを得るとともに、GOPのアクセス性の向上を実現できる。
また、本発明に係わるディジタル映像信号再生装置によれば、周波数あるいは量子化あるいは空間解像度で分割されたデータのヘッダにより、特殊再生データ出力手段がアクセスすべき領域のみを出力して、デコードするべきデータを減り、なめらかな特殊再生画像を得ることができるという効果がある。また、通常再生時はデータ並び換え手段が周波数あるいは量子化あるいは空間解像度で分割されて並び換えられたデータを並び換え分割前の画像が再生できるという効果がある。
また、本発明に係わるディジタル映像信号再生方法によれば、周波数あるいは量子化あるいは空間解像度でデータを分割することで特殊再生時にアクセスすべきデータが減りなめらかな特殊再生画像を得ることができるという効果がある。さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので再生して、瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行えるという効果がある。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号記録再生装置によれば、記録手段は、画像データを周波数領域や量子化や空間解像度でデータを分割するので特殊再生時のアクセスデータ量が減り、なめらかな特殊再生画像が得られるよう記録できるという効果がある。また、分割されたデータのヘッダにより、特殊再生データ出力手段はアクセスすべき領域のみを出力して、デコードするべきデータを減りなめらかな特殊再生画像が得られるという効果がある。また、通常再生時はデータ並び換え手段が周波数あるいは量子化あるいは空間解像度で分割されて並び換えられたデータを並び換え、分割前の画像が再生できるという効果がある。
また、本発明に係わるディジタル映像信号記録再生方法によれば、記録時に周波数や量子化や空間解像度でデータを分割し、このことにより特殊再生時にアクセスすべきデータが減り、なめらかな特殊再生画像が得られるよう記録できるという効果がある。さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので再生して、瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに記録再生できる。
また、本発明に係わるディジタル映像信号記録再生装置によれば、記録手段は、画像データを画面のエリアで分割することにより特殊再生時のアクセスデータ量が減り、なめらかな特殊再生画像が得られるよう記録できるという効果がある。分割されたデータのヘッダにより、特殊再生データ出力手段がアクセスすべき領域のみを出力して、デコードするべきデータを減らし、なめらかな特殊再生画像を得ることができるという効果がある。また、通常再生時はデータ並び換え手段が画面のエリア単位で分割されて並び換えられたデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号記録再生方法によれば、記録時に画面のエリアでデータを分割し、このことにより特殊再生時にアクセスすべきデータが減り、さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので再生して、瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに記録再生できる。
また、本発明に係わるディジタル映像信号再生装置によれば、画面のエリアで分割されたデータのヘッダにより、特殊再生データ出力手段はアクセスすべき領域のみを出力して、デコードするべきデータを減らすよう作用する。また、通常再生時はデータ並び換え手段が周波数あるいは量子化あるいは空間解像度で分割されて並び換えられたデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号再生方法によれば、画面上のエリアでデータを分割することで特殊再生時にアクセスすべきデータが減り、さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので再生して、瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号記録再生装置によれば、記録手段は、画像データを周波数領域や量子化や空間解像度でデータを分割し、さらに、画面でエリア単位で分割し、特殊再生時のアクセスすべきデータ量を段階的に少なくすることでなめらかな特殊再生画像が得られるという効果がある。分割されたデータのヘッダにより、特殊再生データ出力手段がアクセスすべき領域のみを出力して、デコードするべきデータを減らすためなめらかな特殊再生画像を得られるという効果がある。また、複数の分割手段により分割されたデータは特殊再生速度に応じて読みだしデータ量が調整でき、幅広い特殊再生速度の対応ができるようになる。また、通常再生時はデータ並び換え手段が周波数あるいは量子化あるいは空間解像度で分割されて並び換えられたデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号記録再生方法によれば、記録時に周波数や量子化や空間解像度でデータを分割し、さらに、画面でエリア単位で分割する。このことにより特殊再生時にアクセスすべきデータが減り、特殊再生時のアクセスすべきデータ量を段階的に少なくすることでなめらかな特殊再生画像が得られるという効果がある。さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので再生して、瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、複数の分割手段により分割されたデータは特殊再生速度に応じて読みだしデータ量が調整でき、幅広い特殊再生速度の対応ができるようになる。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに記録再生できる。
また、本発明に係わるディジタル映像信号再生装置によれば、周波数あるいは量子化あるいは空間解像度で分割され、さらに、画面でエリア単位で分割されたデータのヘッダにより、特殊再生データ出力手段はアクセスすべき領域のみを出力して、特殊再生速度に応じてデコードするべきデータを減らすよう作用する。また、複数の分割手段により分割されたデータは特殊再生速度に応じて読みだしデータ量が調整でき、幅広い特殊再生速度の対応ができるようになる。また、通常再生時はデータ並び換え手段が周波数あるいは量子化あるいは空間解像度で分割されて並び換えられたデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号再生方法によれば、周波数あるいは量子化あるいは空間解像度でデータを分割し、さらに、画面でエリア単位で分割することで特殊再生時にアクセスすべきデータが減り、さらに、分割したデータのアドレスがシステムストリームのヘッダとして記録されているので再生して、瞬時に再生すべきバイト数がわかるため、特殊再生時の光ヘッドのジャンプを効率的に行える。また、複数の分割手段により分割されたデータは特殊再生速度に応じて読みだしデータ量が調整でき、幅広い特殊再生速度の対応ができるようになる。また、通常再生時はそのアドレスに基づいてデータを並び換えるため分割したことによる不具合を生じさせずに再生できる。
また、本発明に係わるディジタル映像信号記録再生装置においては、特殊再生時に、Iピクチャの画面の中央にくるエリアのみを読み出し、読み出さなかったエリアのデータについてはデータをある一定値にマスクすることにより再生画像を合成するため、データ量の多いIピクチャをすべて再生する場合に比べて、より高速な特殊再生を実現できる。
また、本発明に係わるディジタル映像信号記録再生装置においては、特殊再生時に、Iピクチャの画面の中央にくるエリアのみを読み出し、読みだしたエリアを画面全体に伸長することにより再生画像を合成するため、データ量の多いIピクチャをすべて再生する場合に比べて、より高速な特殊再生を実現でき、データを読みだすことができなかったエリアが目だちにくくなる。
また、本発明に係わるディジタル映像信号再生装置においては、特殊再生時に、Iピクチャの画面の中央にくるエリアのみを読み出し、読み出さなかったエリアのデータについてはデータをある一定値にマスクすることにより再生画像を合成するため、データ量の多いIピクチャをすべて再生する場合に比べて、より高速な特殊再生を実現できる。
また、本発明に係わるディジタル映像信号再生装置においては、特殊再生時に、Iピクチャの画面の中央にくるエリアのみを読み出し、読みだしたエリアを画面全体に伸長することにより再生画像を合成するため、データ量の多いIピクチャをすべて再生する場合に比べて、より高速な特殊再生を実現でき、データを読みだすことができなかったエリアが目立ちにくくなる。
実施例1.
以下、本発明の実施例について図を参照しながら説明を行う。図1はディジタル映像記録・再生装置におけるディジタル映像信号符号化処理部を示しておりDCTブロックを低周波領域と高周波領域との階層に分け、低周波領域のみをGOPの先頭に配置する記録側のブロック図である。図において1はバッファメモリ、2は減算器、3はDCT演算器、4は量子化器(Q)、5は可変長符号化器(VLC)、6は逆量子化器(IQ)、7は逆DCT演算器(IDCT)、8は加算器、9は動き補償予測回路、10はイベント数及び符号量計数器、11はフォーマットエンコーダ、15は入力端子である。
次に動作について説明する。入力されるビデオデータは、例えば有効画面サイズが水平704画素、垂直480画素のインターレース画像である。ここで、減算器2、DCT演算器3、量子化器4、可変長符号化器5、逆量子化器6、逆DCT演算器7、加算器8、動き補償予測回路9の動作は従来例で示したものと同じであるため説明を省略する。
可変長符号化器5の動作について図2にしたがって説明する。図2はDCTブロック内部のDCT係数のデータ配置について示したものである。図2は、左上の部分に低周波成分、右下の部分に高周波成分のDCT係数のデータが配置されている。このDCTブロックに配置されているDCT係数のデータのうち、ある特定の位置(イベントの切れ目)までの低周波領域のDCT係数のデータ(例えば図5の斜線部)は、低周波領域として可変長符号化されフォーマットエンコーダ11に出力される。上記特定位置のDCT係数のデータ以降のDCT係数のデータに対して可変長符号化を施す。すなわち、空間周波数領域でデータをパーティショニングして符号化を施すのである。
この低周波領域と高周波領域の切れ目をブレーキングポイントと称す。ブレーキングポイントは、イベント数及び符号量計数器10により、低周波領域の符号量を特殊再生時に光ヘッドがアクセス可能であるような所定の符号量になるように設定される。可変長符号化器5は、ブレーキングポイントにしたがって、DCT係数を低域と高域に分割してフォーマットエンコーダに出力する。
なお、符号化領域の決定をイベントの切れ目で行ったが、それ以外の方法でもよいことはいうまでもない。例えば固定のイベント数の切れ目でも良いし、量子化器4により粗い量子化をした量子化データと細かい量子化と粗い量子化の差分値でデータを分割しても良い。また、バッファメモリで空間解像度を半分に間引いた画像と、その解像度の半分の画像を元に戻した画像と元の解像度の画像との差分の画像との符号化により分割してもよい。すなわち、周波数領域の分割に限らず、量子化や空間解像度の分割によって画像の高能率符号化データを分割してもよいことはいうまでもない。
このとき、画像としてより重要なデータとは、周波数分割であれば低周波領域のデータであり、量子化による分割であれば粗い量子化をして符号化したデータであり、空間解像度で分割したデータであれば間引いた画像を符号化したデータであり、これら重要なデータのみを復号することにより、人間により知覚しやすい復号画像が得られる。この様に、1つの高能率符号化データをより基本的で重要なデータとその他のデータに分割して(これを階層化と称す)、誤り訂正符号を付し変調してディスク上に記録する。
この様に、IピクチャとPピクチャの低域成分を分割してあるので特殊再生時にこれら低域成分のみを読み出して再生すれば、特殊再生時に読み出すデータ量が大きく減る。その結果、ヘッダの媒体からのデータ読み出し時間が短くなり、スキップサーチ時になめらかな動きの高速再生が実現できるようになる。また、Iピクチャ、Pピクチャのみを続けて配置すれば、特殊再生時にIピクチャ、Pピクチャの低周波成分のデータのみを容易にディスク上から読み出し復号することが可能となる。この場合、Iピクチャ、Pピクチャの全領域をGOPの先頭に配置するよりも、低域成分のみを抽出して配置した方が、データの効率的構成が可能になる。
次にフォーマットエンコーダ11の動作について説明する。図3はフォーマットエンコーダの動作を示すフローチャートである。まず、エンコードを開始すると、エンコードモードが階層化モードになっているかどうかを判定し、階層化モードでない場合はシステムストリームに非階層化であることを表す情報を挿入し、従来のストリームの構成に従う。階層化モードの場合は、シーケンスヘッダの設定の確認を行う。具体的にはシーケンススケーラブルエクステンションのデータの確認を行う。これが正しく記述されていれば、ピクチャヘッダによりピクチャの先頭を認識して、Iピクチャと4枚のPピクチャを低域成分のデータと高域成分のデータに分離して、それぞれのデータ長を検出する。
一方、Bピクチャのデータはピクチャ毎にそのデータ長を検出する。さらに、IピクチャとPピクチャの低域成分のデータをGOPの先頭に続ける場合のアドレス情報のみを記録したパケットを作成する。このパケットには、Iピクチャ、Pピクチャの低域成分、Iピクチャ、4枚のPピクチャの高域成分及び10枚のBピクチャのアドレス情報が含まれており、それぞれのデータのデータ長が記録されている。
したがって、このデータ長によりそれぞれのデータストリームの先頭位置がGOPヘッダの先頭からの相対アドレスとして得られる。このアドレス情報を含んだパケットとIピクチャおよび4枚のPピクチャの低域成分と残りのデータとを順に並べてフォーマッティングする。
このうち、前記シーケンスヘッダのスケーラブルエクステンション上のスケーラブルモードの確認とは、図4のMPEG2のシンタックスで決められたスケーラブルモードの設定の確認とスライスヘッダ上のプライオリティブレークポイントの記述の確認である。プライオリティブレークポイントとは図の所定のイベント数のところ(上述のブレーキングポイントに相当)であり、分割した低域成分と高域成分の切れ目の位置を表すデータである。
スケーラブルモードが00の時は以下に続くビットストリームはデータパーティショニングのビットストリームであることを表し、低域成分と高域成分に分解されたビットストリームが続くことを表わす。Bピクチャについては全て低域成分にし、高域成分を発生させないようにすればBピクチャは非分割化できる。
このようにして生成したビットストリームの一例を図5に示す。図5の(ア)は、階層化しない場合のビットストリームである。これを図1に示したの回路ブロックによって階層化すると、(イ)に示したように分割階層化される。このデータを特殊再生を考慮した並びにすると(ウ)に示すようにIピクチャとPピクチャの低域がGOPの先頭に配置される。
これらをパケット化して、図3のフローチャートに示したようにアドレス情報をプライベートパケットに入れた場合のデータの並びを(エ)に示す。この場合アドレス情報は上記のように、GOPヘッダの先頭からの相対アドレスで表現してもよいが、何番目のパケットの何バイト目が各ピクチャの先頭かなどのように表現してもよく、それ以外にもディスク上のセクタアドレスなどで表現してもよいことはいうまでもない。
プライベートパケットにアドレス情報を入れる例を図6に示す。パケタイズドエレメンタリーストリーム(以下PESと称す)パケットをプライベートパケットにする場合、ストリームIDをBF(16進表示)にし、パケット長を記した後、全てのスタートコード(パケットのスタートコードやビットストリームのスタートコードなど)と同じコードにならないようにバイトのMSBに1、その次のビットに0を設定し、残り6ビットで階層化モード、階層化種類、特殊再生時に使用する画像の種類、スタートアドレス数などを記す。
その後、GOPデータ量を最大長の2Mバイトまで表現できるように21ビットのアドレス情報を記す。ただし、前記のようにスタートコードの先頭24ビット000001(16進表示)と同じデータにならないように21ビットの先頭の3ビットに100(2進表示)を入れる。ここで、スタートアドレスはIピクチャの低域成分のスタートアドレスと4枚のPピクチャの低域成分のスタートアドレスとIピクチャの高域成分、4枚のPピクチャの高域成分及び10枚のBピクチャのスタートアドレスである。さらに、特殊再生で光ヘッドをジャンプさせるために前後のGOPデータが記録されているディスク上のセクタアドレスを付記する。
なお、21ビットのアドレスに対し1ビットのパリティを付せば、データに対する信頼性が高まる。この場合、21ビット+1ビットに対してその先頭に10(2進表示)を付せばよい。また、特殊再生の倍速数を考慮して前後のGOPのアドレスに加えて、さらに前後数GOPのセクタアドレスを付記すれば特殊再生の倍速数のバリエーションが広がる。また、PESパケットのプライベート2パケットにアドレス情報を記すことを示したが、プログラムストリームマップのプライベートディスクリプタなど他のユーザエリア等に記してもよいことはいうまでもない。
実施例1の再生側について図7、図8にしたがって説明する。図7はディジタル映像信号復号処理部のブロック図で、図7において21はプログラムストリームヘッダ検出器、22はPESパケットヘッダ検出器、23はビデオビットストリーム生成器、24はデータ並び換え器、25はアドレスメモリ、26はモード切り換え器、27は可変長復号器(VLD)、28はスイッチであり、29は逆量子化器、30は逆DCT演算器、31は加算器、32は予測データ復号回路、33はフレームメモリ、34はデコーダブル判定器である。図8は、図7の動作概念を表した図である。
次に、図7の動作について図9にしたがって説明する。図9は、再生時のフォーマットデコーダの動作を表すフローチャートである。ECCから出力されるビットストリームは、プログラムストリームのヘッダを検出し、PESパケット毎に分離される。さらに、PESパケットのヘッダを検出し、アドレス情報が含まれるプライベートパケットとビデオパケットの判別を行う。
プライベートパケットの場合は、パケット内に含まれるアドレス情報を抽出し記憶する。一方、ビデオパケットの場合はビデオデータのビットストリームを抽出する。ここで、通常再生の場合はIピクチャ及びPピクチャの場合はビデオデータのビットストリームから低域成分と高域成分のデータを抽出して、データの並び換えを行い再生画像を出力する。一方、特殊再生時にはビデオデータの低域成分のみを抽出し再生する。ここで、低域成分を再生した後は、次のGOPの先頭に光ヘッドをジャンプさせる。
この場合、ビデオストリーム中にこれらのアドレスを記述した場合は、ビデオストリーム化した後アドレス情報を抽出して記憶することになり、プログラムストリームマップのプライベートディスクリプタに記述された場合は、プログラムストリームヘッダ検出のレベルでアドレス情報の抽出及び記憶が行われる。なお、アドレス情報は、プログラムの相対アドレスでも絶対アドレスでもよいことはいうまでもない。
実際には、図7においてマイコンなどからスキップサーチ及び通常の連続再生等のモード信号がモード切り換え器26に入力される。一方、ディスクなどからの再生信号は増幅器で増幅され、PLLなどから出力される位相同期のかかったクロックにより信号再生を行う。次に、弁別操作を行ってディジタル復調をし、誤り訂正処理を行った後に、プログラムストリームの各ヘッダを検出するプログラムストリームヘッダ検出器21により、ヘッダの後に続くデータの情報を得る。
さらに、PESパケットヘッダ検出器22により例えばPESパケットのプライベート2パケットに記された各ピクチャのアドレス情報及び特殊再生用データのアドレス情報が検出され、アドレスメモリ25に蓄えられる。ここでオーディオ用のPESパケット、文字などのPESパケット及びビデオ用のPESパケットを区別してビデオ用のパケットのみビデオビットストリーム生成器23に出力する。
ここで、ビデオビットストリーム生成器は、PESパケットから付加した情報を削除しビデオストリームに変換される。具体的には各種制御コードやタイムスタンプなどのデータが除かれる。この後、アドレスメモリ25から得られたアドレス情報にしたがって、モード切り換え器26の出力が通常再生時はビットストリームの並び換えをデータ並び換え器24にて行う。
モード切り換え器26の出力(制御信号)は、データ並び換え器24およびデコーダブル判定器34に供給される。データ並び換え器24は、制御信号を得て分割階層化されている低域成分と高域成分から分割前のデータを再構成するか、または低域成分のみを可変長復号器(VLD)27に出力する。つまり、通常再生時は各低域成分を高域成分と合成し、本来のピクチャ順に並び換えるよう動作し、特殊再生時は倍速数によってIピクチャのみの低域成分かIピクチャとPピクチャの低域成分を出力する。
なお、低域成分のみを通す特殊再生時はタイムスタンプは使用しないようにする。これに対して、可変長復号器(VLD)27はデコーダブル判定器34とともにスライスヘッダのプライオリティブレークポイントで示された低域成分領域のイベントの切れ目を抽出し、その切れ目までをデコードしてスイッチ28に出力する。このスイッチ28は、通常再生時は0を挿入しないように接続されるが、特殊再生時はプライオリティブレークポイント以後の高域成分に0が挿入されるようにデコーダブル判定器34によって制御される。
以上の動作について図8にしたがって説明する。図8においてパーティショニングのブレーキングポイントがE1からE3の場合低域成分のストリームにはE3まで、高域成分のストリームにはE4からEOBまでが格納されている。低域成分のストリームにはE3に続いて、次のDCTブロックの低域成分のデータが格納されている。
ここで、通常再生時には、データ並び換え器24は低域成分のストリームからE1からE3のデータを高域成分のストリームからE4からEOBのデータをそれぞれ抽出し、さらに次のブロックのデータをそれぞれ抽出し、順次DCTブロックを再構成する。これに対し、特殊再生時はデータ並べ換え器24はE1からE3までのデータを抽出しVLD27により可変長復号した後、デコーダブル判定器34にてプライオリティブレークポイントの検出を行い、スイッチ28によって、図8の斜線に示した部分はゼロを挿入し、低域成分のみを使ってDCTブロックを構成する。
DCTブロックに変換されたデータは、動きベクトルにしたがって、復号される。ここで、動きベクトルによる復号については、従来例と同じであるために説明を省略する。ただし、特殊再生時にPピクチャを復号する際に用いるリファレンスは低域成分のみで復号されたIまたはPピクチャを用いて復号する。
ブロック単位で復号されたデータはフレームメモリ33に入力される。ここで、フレームメモリ33は画像をGOPのもとの構成順に復元して、ブロックスキャンからラスタースキャンへの変換を行い出力する。なお、このフレームメモリは予測データ復号回路32中に内蔵されているメモリと共用化は可能である。
なお、符号化領域をイベントの切れ目で行ったがそれ以外の方法でもよいことはいうまでもない。すなわち、周波数領域の分割に限らず、量子化や空間解像度の分割によって画像の高能率符号化データを分割してもよいことはいうまでもない。
このとき、画像としてより重要なデータとは、周波数分割であれば低周波領域のデータであり、量子化による分割であれば粗い量子化をして符号化したデータであり、空間解像度で分割したデータであれば間引いた画像を符号化したデータである。この場合、これらのデータのみを用いて復号した再生画像が、より人間に知覚し易い領域を重要なデータとする。すなわち、1つの高能率符号化データをより基本的で重要なデータとそうでないデータに分割して(これを階層化と称す)ディスクからの再生時に特殊再生時は基本的で重要なデータのみを再生するようにしてもよい。
なお、実施例1は記録側と再生側を対応させて述べたが、ハードディスクのように記録再生が組になっているような場合や、現在のコンパクトディスクのように想定に従って記録されていることを前提とした再生側のみの場合も考えられる。
実施例2.
次に、本発明の実施例2について説明する。図10は本実施例2のディジタル映像信号記録再生装置の記録系を示すブロック回路図である。図において、図1と同一符号はそれぞれ同一または相当部分を示しており、15は入力端子、1はバッファメモリ、2は減算器、3はDCT回路、4は量子化回路、6は逆量子化回路、7はIDCT回路、8は加算器、9は動き補償予測回路、5は可変長符号化回路、12はエリア並び換え器、11はフォーマットエンコーダである。
図11は本実施例2のディジタル映像信号記録再生装置再生系を示すブロック回路図である。図において、図7と同一符号はそれぞれ同一または相当部分を示しており、21はプログラムストリームヘッダ検出器、22はPESパケット検出器、23はビデオストリーム生成器、35はエリア並び換え器、25はアドレスメモリ、26はモード切り換え器、27は可変長復号化回路、29は逆量子化回路、30はIDCT回路、31は加算器、32は予測データ復号回路、33はフレームメモリである。
次に動作について説明する。ディジタル映像信号は、入力端子1よりライン単位で入力され、バッファメモリ1へ供給される。ここで、バッファメモリ1から可変長符号回路5までの動作については上記従来例と同じであるため説明を省略する。
エリア並び換え回路12では、可変長符号化回路5から出力されるGOP単位の映像データのビットストリームのうちIピクチャについては画面の中央部に位置するエリアがビットストリームの先頭に配置されるように並び換えを行う。ここで、Iピクチャについては図12に示す様に3つのエリアに分割されており、エリア1〜3に対するIピクチャのデータをそれぞれI(1),I(2),I(3)とする。ただし、図12に示す各エリアは図28に示すMPEGのスライス層が複数個集まったもので、図12ではエリア1、3は6スライス、エリア2は18スライスによって構成されている。
実際には、エリア並び換え器12ではビットストリーム上のIピクチャのスライスヘッダを検出し、各スライスを図12に示す3つのエリアに分類し、各エリア毎のビットストリームを作り、エリア毎にまとめられたビットストリームの並び換えを行う。すなわち、図13に示すようにGOPの先頭にI(2),I(3),I(1)の順でビットストリームが配置されるようにエリア単位での並び換えを行う。さらに、並び換えを行ったビットストリームをGOP単位でフォーマットエンコーダ11に出力する。
次にフォーマットエンコーダ11の動作を図14にしたがって説明する。図14はビデオデータをGOP単位でPESパケットにフォーマットするアルゴリズムをフローチャートで示したものである。画面中央部優先モードの場合、入力されるビットストリームのピクチャヘッダを検出して、ピクチャ情報を検出する。ここで、Iピクチャの場合は図13に示す画面中央部分I(2)およびI(3),I(1)のエリアの抽出を行い、それぞれのデータ長を検出し、検出された各エリアのデータ長を24ビット幅の2進数に変換してアドレス情報を作成する。一方、PおよびBピクチャの場合はピクチャ単位でデータ長を検出し、24ビット幅(3バイト)の2進数に変換してアドレス情報を作成する。
さらに、フォーマッティング部では、入力されるアドレス情報とビデオデータのビットストリームをそれぞれ2種類のPESパケットにまとめる。すなわち、アドレス情報だけのPESパケットとビデオまたはオーディオだけのPESパケットが構成されることになる。
したがって、図29に示すように1GOPが15ピクチャの場合、アドレス情報としてはIピクチャが3種類、Pピクチャ4種類、Bピクチャが10種類、合計17種類存在する。また、特殊再生時のアドレス情報として、前後のGOPのディスク上のアドレス情報(ディスク上の絶対アドレス)が2種類存在する。これらのアドレス情報は、1つのパケットにまとめられてPESパケットとしてフォーマットされる。実際には、図15に示すPESパケットのプライベート2パケットとしてフォーマットされる。図15では、パケットデータの先頭に前後のGOPのディスク上の絶対アドレスが配置され、以下各ピクチャのアドレス情報が順に配置されている。ただし、各アドレス情報に対して3バイト(24ビット)の情報量を割り当てているため、パケット長は57バイトとなる。
これに対して、アドレスデータ以外のデータの1GOP分のビットストリームについては、複数のパケットに分割して、同期信号等のヘッダ情報を付加することによりPESパケット(ビデオパケット)にフォーマットする。
さらに、フォーマットエンコーダ11では、入力されるオーディオのビットストリームもPESパケットに分解して、ビデオデータのPESパケットと合わせてMPEG2−PSのシステムストリームを構成する。実際には、図16に示すように1GOP分のビデオデータのビットストリームと1GOP期間に対応するオーディオデータのビットストリームが1パックの中に複数のパケットに分割されて配置されている。この場合、図16に示すようにシステムストリームの先頭のパケットに上記アドレス情報を示すパケットを配置し、これに続いてIピクチャの画面中央部のビットストリームが含まれるパケットが配置されるような構成としている。
次に、再生時の動作について図11に従って説明する。図11においてプログラムストリームヘッダ検出器21、PESパケットヘッダ検出器22およびビデオビットストリーム生成器23およびモード切り換え器26の動作については上記実施例1と同じであるため説明を省略する。
復号されたビデオのビットストリームは、図13に示すようにIピクチャの画面中央部のデータがストリームの先頭に配置されている。このため、エリア並び換え器35ではアドレスメモリ25から出力されるI(2),I(3),I(1)のビットストリームのデータ長にしたがって、Iピクチャデータをエリア毎にI(1),I(2),I(3)の順に並び換える。並び換えを行ったビットストリームは可変長復号回路27に入力され、ブロックデータおよび動きベクトル等に復号される。ここでは、通常再生時の可変長復号に続く動作については、従来の実施例と同じであるため説明を省略する。
高速再生としては、上述のように1GOP分のデータをシステムストリームの1パックに割り当てているため、ディスクからデータを読みだす場合に各GOPの先頭アドレスにジャンプして、システムストリームの先頭に配置されているIピクチャのデータのみを読みだし、次のGOPの先頭にジャンプする方法が考えられる。この場合、システムストリームの先頭に配置されるアドレス情報が記録されたPESパケットを検出して、次のGOPのディスク上のアドレス及びIピクチャのアドレス情報を復号することによってディスクドライブを制御する。
図29の場合、1フレームの時間内に各GOPのIピクチャをすべて読みだすことができれば15倍速の高速再生を実現できる。また、2フレームの時間内に各GOPのIピクチャを読みだせば7.5倍速の高速再生となる。このように、高速再生のスピードが大きくなるとディスクからデータをよみだす時間が短くなる。
さらに、高速再生時に光ディスク等のメディアからデータを読みだす場合、ディスク上に記録してあるシステムストリームの先頭アドレスがわかっていても、ディスク上に実際に記録されている場所にジャンプする際にディスクの回転待ち時間が生じる。また、映像信号を可変レートで符号化した場合はIピクチャの情報量は一定でなく、Iピクチャを読みだすために要する時間も変化する。このため、高速再生スピードが大きくなるとディスク上のデータを読みだす時間が短くなる上に、ディスクの回転待ち時間が一定ではないので、すべてのIピクチャデータを安定して読みだすことができなくなる。
このため、本実施例では高速再生時に光ディスク等のメディア上に1GOP単位で記録されているデータに対して、一定時間単位でGOPの先頭にジャンプして、Iピクチャのデータ部分をディスクから読みだす。この場合、一定時間内にすべてのIピクチャデータを読みだすことができなくても次のGOPの先頭にジャンプする。すなわち、一定時間単位で各GOPの先頭アドレスにジャンプし、記録されているシステムストリームを先頭から可能な限りデータを読みだし、次のGOPの先頭にジャンプを行う。
この場合、ディスク上には図16に示すように、次のGOPのディスク上のアドレス等を含むPESパケット及びIピクチャの中央部のデータを含むPESパケットがシステムストリームの先頭部分に配置されている。したがって、特殊再生時にすべてのIピクチャデータを読みだすことができない場合でも、少なくともディスクドライブの制御に必要な次のGOPのディスク上のアドレスとIピクチャの画面中央部のデータは復号することができる。
特殊再生時に画面の中央部のみが復号できた場合は、エリア並び換え器35では復号することができたデータのみを可変長復号化回路27に出力し、可変長復号された映像データは逆量子化およびIDCTが施されてフレームメモリ33に入力される。一方、エリア並び換え器35はフレームメモリ33に復号することがエリアの情報を出力する。これにより、フレームメモリ33では特殊再生時に復号することができたエリアのみを再生して、復号することができなかったエリアについては前のフレームで出力したデータをそのまま保持して出力する。
図17にn番目のGOPからn+4番目のGOPまでのIピクチャのみを再生して高速再生を行った場合の再生画像の一例を示す。図17(a)ではすべてのIピクチャを復号できた場合で、図17(b)はエリア2と3が復号できた場合で、復号できなかったエリア1は前フレームの値をそのままホールドして出力している。また図17(c)はエリア2のみ復号できた場合でエリア1、3は前フレームの値をそのままホールドしている。
ここで、一般的な映像信号記録再生装置では、記録時のデータフォーマットはIピクチャがフレーム単位で記録されている。これに対して、図16では、3分割されたIピクチャデータのうち画面の中央に位置するエリアを優先して1GOPの先頭に配置しているため、特殊再生時に一定の時間内でIピクチャの一部のエリアしかディスクから読みだすことができない場合でも、少なくとも画面の中央部分の再生画像を出力することが可能となる。
以上の様に、本実施例では図7に示すように特殊再生に使用するIピクチャを1GOPの先頭に1画面上の中央に位置するエリアが優先してメディア上に記録される様に配置しているため、高速再生スピードが大きい場合でも、画面の中央に位置するエリア2を優先して再生を行うため、高速再生の画像の内容がわかりやすい。また、一定時間単位でGOPの先頭にジャンプする特殊再生を行うため、常に一定の倍速で出力画面を更新することができる。
なお、上記実施例では特殊再生時に復号することができたエリアをすべて出力し、復号できなかったエリアについては前フレームのデータをそのまま保持していたが、特殊再生時には画面の中央部のみを再生するように構成してもよい。
この場合、エリア並び換え器35では、ディスクから読みだしたIピクチャのエリア2のみのデータを復号し、復号しなかったエリア1、3については、フレームメモリ33において、例えばグレーのデータにマスクして高速再生画像を出力する。
図18に1GOPのn番目のGOPからn+4番目のGOPまでのIピクチャのエリア2のみを再生して高速再生を行った場合の再生画像を示す。図中で画面の両端のエリア1および3は、グレーのデータにマスクしてある。また、Iピクチャの情報量が小さく、ディスクの回転待ち時間が少なく、エリア1および3のデータを読みだす時間的余裕がある場合でも、エリア1および3のデータは復号しない。
これは、エリア1および3のデータを読みだすことができた場合のみ画面に出力すると、これらのエリアが一定の間隔で更新されないため、高速再生画像が不自然になるからである。このため、特殊再生時にIピクチャの画面中央部(エリア2)のみを再生する場合、更新されるエリアが常に一定となり再生画像に不自然さがない。
また、上記実施例では特殊再生時に復号することができたIピクチャの画面中央部のエリアのみを表示して画面の両端をマスクしていたが、画面の中央部を1画面に伸長して出力してもよい。
この場合、フレームメモリ33では、復号されたエリア2のデータを図19に示すように1画面のサイズに伸長する。ただし、図19の場合は点線で囲まれたエリア2の中央部をそれぞれ上下、左右の方向に線形補間により2倍のサイズに伸長している。すなわち、図19の場合、点線で囲まれた部分は水平360画素×垂直240ラインのサイズで、この点線部分を例えば線形補間により伸長して水平720画素×垂直480ラインの1画面サイズに伸長している。
この様に、特殊再生時に画面中央部のエリアのみを復号して1画面サイズに伸長した場合、出力されるデータのエリアは小さくなるが、画面中央部のみ出力した場合に目立つ画面両端のマスク部分をなくすことができる。
なお、上記実施例ではIピクチャの画面中央部のみを優先してビットストリーム上に配置したが、IピクチャだけでなくPピクチャの画面中央部も優先して配置されるように構成してもよい。この場合、Pピクチャの画面中央部のデータはIピクチャのビットストリームの後に続くことになる。
また、上記実施例ではエリア単位での画像データの並び換えをビットストリームに変換した後に行っているが、必ずしもビットストリームに変換した後に行う必要はなく変換する前に行ってもよい。
図20にこの実施例の再生側のフローチャートを示す。流れについては上述したので省略する。
なお、実施例2は記録側と再生側を対応させて述べたが、ハードディスクのように記録再生が組になっているような場合も考えられるし、現在のコンパクトディスクのように想定に従って記録されていることを前提とした再生側のみの場合も考えられる。また、画面のエリア単位の並べ換えは、スライスヘッダ中のスライススタートコードの下位8ビットのスライスバーティカルポジションのデータを用いれば予測データ復号回路32やフレームメモリ33でも実現可能であることはいうまでもない。
実施例3.
次に本発明の実施例3について説明する。図21はディジタル映像記録・再生装置におけるディジタル映像信号符号化処理部を示しておりDCTブロックを低周波領域と高周波領域に階層化する。さらに、画面を複数のエリアに分割し低周波領域の画面中央部を優先してGOPの先頭に配置する記録側のブロック図である。図21において、12はエリア並び換え回路である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に動作について説明する。この入力されるビデオデータは、例えば有効画面サイズが水平704画素、垂直480画素のデータである。この画像データに動き補償とDCTを用いて高能率符号化を施す。ここで、データを分割階層化するまでの動作は実施例1と同じであるため説明を省略する。
なお、分割階層化についても周波数領域だけでなく、量子化や空間解像度で分割しても良いことも実施例1と同じである。実施例3では、エリア並び換え器12により、さらに分割階層化された重要なデータを実施例2に示したように画面のエリア毎に分割して、画面中央部をGOPの先頭に優先的に配置するものである。すなわち、重要なデータと重要でないデータに分割して、さらに、画面のエリア上で予め決められた優先順位毎にディスク上に記録する。
このように、IピクチャとPピクチャの低域成分を分割して、画面中央部を優先して配置してあるので、特殊再生時にこれらの低域成分の画面中央部のみを読みだし、再生すれば、特殊再生時に読みだすデータ量が大きく減る。その結果、ヘッドの媒体からの読みだし速度に余裕が生まれ、十数倍速から数十倍速の非常に高速なスキップサーチなどが実現できるようになる。
ここで、Iピクチャの低域の画面中央部をGOPの先頭に配置し、Iピクチャの低域の画面周辺部のデータに続いてPピクチャのデータを配置することにより、十数倍速から数十倍速の高速再生を、Iピクチャの低域の画面中央部のみを再生することにより実現できる。さらに、特殊再生用のIピクチャ、Pピクチャの低域成分の画面中央部のデータは、情報量が少ないため、高速再生時に容易にディスク上から読みだし復号することができるため、数倍速の高速再生が可能になる。すなわち、IピクチャおよびPピクチャの低域成分の画面中央部のデータ量は、これら低域成分全体のデータ量より少ないため、実施例1より高速な特殊再生が実現できる。
次にエリア並び換え器12とフォーマットエンコーダ11の動作について説明する。図22はそのフローチャートである。まず、エンコードをスタートすると、低域成分のエリア並び換えを行うために、低域成分パーティションのIピクチャのスライスヘッダを検出し、各スライスを図12に示す3つのエリアに分類し、各エリア毎のビットストリームを作り、エリア毎にまとめられたビットストリームの並び換えを行う。すなわち、図13と同じように低域のIピクチャに対してGOPの先頭に低域I(2),低域I(3),低域I(1)の順でビットストリームが配置されるようにエリア単位での並び換えを行う。
次に画面中央部優先モードの場合、入力されるビットストリームのピクチャヘッダを検出して、ピクチャ情報を検出する。ここで、低域のIピクチャの場合は、図13に示す低域画面中央部分I(2)および低域I(3),低域I(1)のエリアの抽出を行い、それぞれのデータ長を検出し、前述のように検出された各エリアのデータ長からアドレス情報を作成する。一方、PおよびBピクチャの場合はピクチャ単位でデータ長を検出し、アドレス情報を作成する。画面中央部優先モードでないときは実施例1に従う。
次に、階層化モードの判定を行い、階層化モードでない場合、システムストリームに非階層化であることを示す情報を挿入し、従来のストリームの構成に従う。階層化モードの場合は、シーケンスヘッダの設定の確認を行う。具体的には、シーケンススケーラブルエクステンションのデータの確認を行う。これが正しく記述されていれば、ピクチャヘッダによりピクチャの先頭を認識して、画面エリア上で並び換えられたIピクチャとPピクチャの低域データを抽出し、そのデータ長を検出する。一方、Bピクチャはピクチャ毎にそのデータ長を検出する。
さらに、IピクチャとPピクチャの低域の画面中央部分をGOPの先頭に固めた場合のアドレス情報のみを記録したパケットを作成する。このパケットには、I、Pピクチャの低域部の画面中央部、画面周辺部、I、Pピクチャの高域部およびBピクチャのアドレス情報が含まれており、それぞれのデータのデータ長が記録されている。したがって、このデータ長によりそれぞれのデータストリームの先頭位置がGOPヘッダの先頭からの相対アドレスとして得られる。
このように作成したビットストリームを表したのが、図23である。図23の(ウ)に示したように、エリア単位で並び換えられたIピクチャとPピクチャの低域がGOPの先頭に配置されているので、これをパケット化して図21のフローチャートに示すようにアドレス情報をプライベート2パケットに配置した場合のストリームを(エ)に示す。この場合、アドレス情報は上記のようにGOPヘッダの先頭からの相対アドレスで表現してもよいが、何番目のパケットの何バイト目が各ピクチャの先頭かなどのように表現してもよく、それ以外にもディスク上のセクタアドレスなどで表現しても良いことはいうまでもない。
図24に、プライベート2パケットにアドレス情報を入れる場合の例を示す。PESパケットをプライベート2パケットにする場合、ストリームIDを設定し、階層化モード、階層化種類、特殊再生時に使用する画像の種類、スタートアドレス数などを記す。ここで、スタートアドレスは、Iピクチャの低域の画面中央部のスタートアドレスと、Iピクチャの低域の画面周辺部のスタートアドレスと、4枚のPピクチャの低域のスタートアドレスと、残りのBピクチャのスタートアドレスである。
さらに、特殊再生で光ヘッドをジャンプさせるための前後のGOPのディスク上のセクタアドレスを付記する。この場合、特殊再生の倍速数を考慮して、前後のGOPのアドレスに加えて、さらに前後数GOPのセクタアドレスを付記すれば特殊再生の倍速数のバリエーションが広がる。また、PESパケットのプライベート2パケットにアドレス情報を記すことを示したが、プログラムストリームマップのプライベートディスクリプタや他のユーザエリア等に記してもよいことはいうまでもない。
実施例3の再生側について図25にしたがって説明する。図25は、ディジタル映像信号復号処理部のブロック図である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に、図25の動作について図26にしたがって説明する。図26は、再生時のフォーマットデコーダの動作を表すフローチャートである。ECCから出力されるビットストリームは、プログラムストリームのヘッダを検出し、PESパケット毎に分離される。さらに、PESパケットのヘッダを検出し、アドレス情報が含まれるプライベートパケットとビデオパケットの判別を行う。
プライベートパケットの場合は、パケット内に含まれるアドレス情報を抽出し記憶する。一方、ビデオパケットの場合はビデオデータのビットストリームを抽出する。さらに、プライベートパケットで、かつ通常再生の場合、もしくはビデオパケットの場合は、Iピクチャ及びPピクチャのビデオデータのビットストリームから低域成分と高域成分のデータを抽出して、データの並び換えを行い再生画像を出力する。
一方、プライベートパケットで、かつ特殊再生の場合は、まず、低域のIピクチャすべてを再生する時間があるかどうかの判定を行い、再生する時間がある場合は、さらに、低域のPピクチャを再生する時間があるかどうかの判定を行う。以上の2つもしくは1つの判定を行い、低域のIピクチャ、Pピクチャを再生する時間がある場合、低域のIピクチャ及びPピクチャを再生する。低域のIピクチャすべてを再生する時間はあるが、低域のPピクチャまで再生する時間がない場合は、低域のIピクチャのみを再生する。さらに、低域のIピクチャすべてを再生するだけの時間がない場合は、Iピクチャ低域の画面中央部を再生する。上記の3つの場合はいずれも、再生した後は、次のGOPの先頭に光ヘッドをジャンプさせる。
なお、ビデオストリーム中にこれらのアドレスを記述した場合は、ビデオストリーム化した後アドレス情報を抽出して記憶することになるし、プログラムストリームマップのプライベートディスクリプタに記述された場合は、プログラムストリームヘッダ検出のレベルでアドレス情報の抽出及び記憶が行われる。なお、アドレス情報は、プログラムの相対アドレスでも絶対アドレスでも良いことはいうまでもない。
実際には、図25に示すように、マイコンからスキップサーチおよび通常の連続再生等のモード信号がモード切り換え器26に入力される。一方、ディスクからの再生信号は増幅器で増幅され、PLLによって出力される位相同期のとれたクロックにより信号再生を行って、ディジタル復調し、誤り訂正処理を行い、プログラムストリームを復元する。さらに、プログラムストリームの各ヘッダを検出するプログラムストリームヘッダ検出器21により、ヘッダの後に続くデータの情報を得る。
さらに、PESパケットヘッダ検出器22により、例えばPESパケットのプライベート2パケットに記された各ピクチャ及び特殊再生用データ(低域データ及びその画面のエリア別に並べられたデータ)のアドレス情報を検出され、この情報はアドレスメモリ25に蓄えられる。ここで、オーディオ用のPESパケット、文字などのPESパケットおよびビデオ用のPESパケットであるかを判別して、ビデオ用のパケットのみをビデオビットストリーム生成器23に出力する。ビデオビットストリーム生成器は、PESパケットのヘッダ除法を削除して、ビデオビットストリームを出力する。この後、アドレスメモリ25から得られたアドレス情報にしたがって、通常再生の場合はデータ並び換え器24ではモード切り換え器26から出力されるビットストリームを並び換えて出力する。
モード切り換え器26の出力(制御信号)はデータ並び換え器24およびデコーダブル判定器34に供給される。ここで、データ並び換え器24は前記制御信号によって、通常再生の場合は階層化されエリア毎に並び換えられた低域成分と高域成分を合成して出力する。一方、特殊再生時には低域成分のみ、あるいは画面中央部の低域成分のみのデータを可変長復号器(VLD)27に出力する。つまり、通常再生時はI及びPピクチャの低域成分を画面のエリア順に並べ換え、高域成分と合成し本来のピクチャ順に並び換えるよう動作し、特殊再生時は倍速数によってIピクチャの低域成分の画面中央部のエリアあるいはIピクチャとPピクチャの低域成分の画面中央部のエリアを切り換えて出力する。なお、低域成分のみを使う特殊再生時にはPTSやDTSのタイムスタンプは用いない。
これに対して、可変長復号器(VLD)27はデコーダブル判定器34とともにスライスヘッダのプライオリティブレークポイントで示された低域成分領域のイベントの切れ目を抽出し、その切れ目までをデコードしてスイッチ28に出力する。このスイッチ34は通常再生時は0を挿入しないように接続されるが、特殊再生時はプライオリティブレークポイント以後の高域成分に0が挿入されるようにデコーダブル判定器34によって制御される。
低域のデコードに関する動作概念は図8と同様であるため説明を省略する。また、このときの画面のエリア上での並び換えは、実施例2で説明した通りであるため説明を省略する。
なお、上記実施例では符号化領域をイベントの切れ目で行ったがそれ以外の方法でもよいことはいうまでもない。例えば固定のイベント数の切れ目で分割したり、量子化器4により粗い量子化をしたデータと細かい量子化と粗い量子化の差分値でデータを分割しても良い。さらに、バッファメモリで空間解像度を半分に間引いた画像と、その解像度の半分の画像を元に戻した画像と元の解像度の画像との差分の画像との符号化により分割してもよい。すなわち、周波数領域の分割に限らず、量子化や空間解像度の分割によって画像の高能率符号化データを分割してもよいことはいうまでもない。
このとき、画像としてより重要なデータとは、周波数分割であれば低周波領域のデータであり、量子化による分割であれば粗い量子化をして符号化したデータであり、空間解像度で分割したデータであれば間引いた画像を符号化したデータである。この場合、これらのデータのみを使って復号した再生画像が人間により知覚し易い領域を重要なデータとする。すなわち、1つの高能率符号化データをより基本的で重要なデータとそうでないデータに分割してディスクからの再生時に特殊再生時は基本的で重要なデータのみを再生するようにしてもよい。
なお、実施例3は記録側と再生側を対応させて述べたが、ハードディスクのように記録再生が組になっているような場合も考えられる。また、現在のコンパクトディスクのように想定にしたがって記録されていることを前提とした再生側のみの場合も考えられる。さらに、画面のエリア単位毎に並び換えた成分については実施例2の図18および図19に示すような画面出力方法があることはいうまでもない。また、画面のエリア単位の並べ換えは、スライスヘッダ中のスライスバーティカルポジションのデータを用いれば予測データ復号回路25やフレームメモリ33でも実現可能であることはいうまでもない。また、本実施例ではIピクチャの基本的なデータのみを画面のエリアで分割したが、例えばPピクチャの低域やそれ以外でも分割しても良いことは言うまでもない。
1 バッファメモリ、 2 減算器、 3 DCT演算器、 4 量子化器、 5 VLC、 6 逆量子化器、 7 逆DCT演算器、 8 加算器、 9 動き補償予測回路、 10 イベント及び符号量計数器、 11 フォーマットエンコーダ、 12 エリア並び換え器、 15 入力端子、 21 プログラムストリームヘッダ検出、 22 PESパケットヘッダ検出、 23 ビデオビットストリーム生成器、 24 データ並び換え器、 25 アドレスメモリ、 26 モード切り換え器、 27 VLD、 28 スイッチ、 29 逆量子化器、 30 逆DCT演算器、 31 加算器、 32 予測データ復号回路、 33 フレームメモリ、 34 デコーダブル判定器、 35 エリア並び換え器。