JP2006074651A - 符号化映像信号の記録方法 - Google Patents

Abstract

【課題】 一度記録した符号化映像信号を、高速記録可能な媒体に画像サイズを変換して更に高圧縮率で再符号化して、高速に記録する映像信号符号化装置を実現する。
【解決手段】 入力ビデオ信号をビデオエンコーダ１により第１の圧縮ビデオ信号を符号化する際に求められる動きベクトルを基に第２の圧縮ビデオ信号の符号化に用いる変換動きベクトルを求めて両者を第１の記録媒体３１に記録し、記録した第１の圧縮ビデオ信号をビデオデコーダ６で復号し、復号化画像サイズ変換器４でサイズ変換する。ビデオエンコーダ１はサイズ変換したビデオ信号を、変換動きベクトルを用いて高圧縮率の第２の圧縮ビデオ信号を高速で符号化し、高速で記録可能な第２の記録媒体３２に高速で記録するようにして映像信号符号化装置を実現した。
【選択図】 図１

Description

本発明は、ＭＰＥＧ（moving picture experts group）等により圧縮符号化された映像信号の記録及び再生に関するもので、特にトランスポートストリームにより実時間記録された映像信号を高速再生し、高速再生された映像信号の画像サイズを変換して高速で記録するための再符号化を行う符号化映像信号の記録方法に関する。

従来より、ＭＰＥＧ等の符号化方式を用いた映像信号記録装置及び再生装置が開発されている。ＭＰＥＧビデオ規格はＩＳＯ／ＩＥＣ１１７２−２、ＩＴＵ−Ｔ−Ｈ．２６２、ＩＳＯ／ＩＥＣ１３８１８−２として規定されている。ＭＰＥＧシステム規格はＩＴＵ−Ｔ−Ｈ．２２２、ＩＳＯ／ＩＥＣ１３８１８−１に詳細に規定されている。ＭＰＥＧストリームにはＤＶＤ等で用いられるプログラミングストリームと、デジタル放送等で用いられるＭＰＥＧ−２多重化規格、即ちトランスポートストリーム規格がある。Blu-ray等のディスクメディアにもトランスポートストリームが用いられる。

映像信号の記録装置に関しては光デスクメディア記録機と大容量ハードディスクドライブ記録機の両者を搭載するハイブリッド型記録機器も開発されている。ハイブリッド型記録機器では、例えば、最初にハードディスクドライブに高レートで記録し、次にレートに変換してディスクに再記録する方法も用いられる。レート変換は通常低レートへの変換が目的であり、再記録される記録媒体の容量に応じたレート設定がなされる。特に低レートに再符号化して記録する場合は、映像の大きな破綻を回避するため、映像の画像サイズ変換して、解像度を下げた映像信号に対して再符号化を行うことが一般的である。最初の圧縮符号化及び記録は実時間で入力される映像信号を実時間で符号化し記録する。しかし、次の再記録はディスクの記録可能速度に合わせて高速で行えるのが望ましい。再記録は高速で記録可能な記録媒体と同程度の速度で行えることが望まし。再記録を再符号化処理によりさらに圧縮し、レート変換してディスクに記録する場合もある。

特許文献１に、画像サイズを変換して再符号化する方法が開示されている。符号化された画像データの画像サイズを変換して再符号化する時に、動き予測補償のための動きベクトル検出精度を劣化させることなく信号処理量を削減する方法として、符号化された画像データを復号する際に動きベクトルを一時記憶し、記憶された動きベクトルを基に解像度変換された動きベクトルを行い、変換された動きベクトルの中から再符号化の際に用いる動きベクトルを選択して、再符号化処理を行っている。
特開平１０-３３６６７２号公報

しかしながら、従来は、高速で記録可能な記録媒体に記録可能な速度で処理を行う再符号化の方法が実現されていなかった。特許文献１にに開示される方法による再符号化は、画像データを復号する際に動きベクトルが抽出可能であるものの、複数候補ベクトルを用いて動き補償予測を行うことにより処理時間は大きくなる。また、再符号化時に動きベクトルのスケーリング（解像度変換に係る正規化）処理が必要であるなど高速再符号化の性能が十分得られなかった。再符号化時に要求される処理速度は、ＤＶＤの記録速度である例えば８倍速、１６倍速が必要である。高速再符号化を行うための演算処理時間の削減が更に必要である。

そこで、本発明は、上記のような問題点を解消するためになされたもので、入力される映像信号を実時間で圧縮符号化して内蔵される記録媒体に記録すると共に、記録された符号化信号を再生して更に圧縮した再符号化信号を生成して、可搬型記録媒体に高速で記録することの出来る符号化映像信号の記録方法を提供することを目的とする。

本願発明は、入力ビデオ信号の動きベクトルを求めながら符号化して第１の圧縮率で圧縮された第１の圧縮ビデオ信号を第１の記録媒体に記録した後、前記第１の記録媒体に記録された前記第１の圧縮ビデオ信号を復号化して復号化ビデオ信号を得て、次に前記復号化ビデオ信号の動きベクトルを求めながら前記復号化ビデオ信号を前記第１の圧縮率よりも高い第２の圧縮率で符号化して得られる第２の圧縮ビデオ信号を第２の記録媒体に記録する符号化映像信号の記録方法において、前記第１の圧縮率ビデオ信号を生成する際に用いられた前記動きベクトルを基に、前記第２の圧縮ビデオ信号の符号化に用いる変換動きベクトルを生成する第１のステップと、既記録されている前記第１の圧縮ビデオ信号に加えて前記変換動きベクトルを前記第１の記録媒体に記録する第２のステップと、前記第１の記録媒体を再生して前記変換動きベクトルを得ると共に、前記第１の圧縮ビデオ信号を復号化して得られる前記復号化ビデオ信号をサイズ変換して変換ビデオ信号を得る第３のステップと、前記変換動きベクトルを用い、前記変換ビデオ信号を符号化して前記第２の圧縮ビデオ信号を得る第４のステップとよりなることを特徴とする符号化映像信号の記録方法を提供する。

本発明によれば、第１の圧縮率ビデオ信号を生成する際に用いられた動きベクトルを基に、第２の圧縮ビデオ信号の符号化に用いる変換動きベクトルを生成する第１のステップと、既記録されている前記第１の圧縮ビデオ信号に加えて前記変換動きベクトルを前記第１の記録媒体に記録する第２のステップと、前記第１の記録媒体を再生して前記変換動きベクトルを得ると共に、前記第１の圧縮ビデオ信号を復号化して得られる復号化ビデオ信号をサイズ変換して変換ビデオ信号を得る第３のステップと、前記変換動きベクトルを用い、前記変換ビデオ信号を符号化して前記第２の圧縮ビデオ信号を得る第４のステップとよりなる主要部を有しているので、入力される映像信号を実時間で圧縮符号化して内蔵される記録媒体に記録すると共に、記録された符号化信号を再生して更に圧縮した再符号化信号を生成して、可搬型記録媒体に高速で記録することが出来る符号化映像信号の記録方法を実現できる。

以下に本発明の各実施例に係る映像信号符号化装置について図１〜図１５を用いて説明する。
図１は、本発明の第１の実施に係る映像信号符号化装置の概略構成例を示すブロック図である。
図２は、本発明の第１の実施に係るビデオエンコーダ部の構成例を示すブロック図である。
図３は、本発明の第１の実施に係る多重化処理部の構成例を示すブロック図である。
図４は、本発明の第１の実施に係る符号化情報パケットの挿入例を示す図である。
図５は、本発明の実施に係るトランスポートストリームのパケット構成例を示す図である。
図６は、本発明の実施に係る動きベクトル情報パケットの記述例を示す図である。
図７は、本発明の実施に係る動きベクトル情報データの記述例を示す図である。
図８は、本発明の第１の実施に係る分離化処理部の構成例を示すブロック図である。
図９は、本発明の第１の実施に係るビデオデコーダ部の構成例を示すブロック図である。
図１０は、本発明の第１の実施に係る再符号化動きベクトル情報並び替え部でなされる並び替えデータ例を示す図である。
図１１は、本発明の第１の実施に係る動き補償予測部の構成例を示すブロック図である。
図１２は、本発明の第２の実施に係る動き補償予測部の構成例を示すブロック図である。
図１３は、本発明の第３の実施に係る動き補償予測部の構成例を示すブロック図である。
図１４は、本発明の第３の実施に係る階層動きベクトル検出の概念を示す図である。
図１５は、本発明の第３の実施に係る階層動きベクトルの検出例を示す図である。

その映像信号符号化装置は入力される映像信号を実時間で圧縮符号化して内蔵される記録媒体に記録する際に、記録した信号をさらに圧縮して可搬型記録媒体に再記録するときに用いる再符号化用動きベクトルを生成して共に内蔵型記録媒体に記録する。内蔵型記録媒体に記録した圧縮符号化信号を復号化して得られる復号化ビデオ信号を、さらに高い圧縮率で行う再符号化を先に記録した再符号化用動きベクトルを用いて行う。再符号化のスピードは高速度な信号の記録が可能である可搬型記録媒体の速度での高速再符号化を可能とし、高速度で高圧縮符号化信号を可搬型記録媒体に記録できる。

映像信号符号化装置の構成について述べる。
図１に示す映像信号符号化装置は、ビデオエンコーダ部１、多重化処理部２、記録媒体部３、復号化画像サイズ変換部４、分離化処理部５、及びビデオデコーダ部６により構成される。記録媒体部３には記録媒体としてハードディスク３１とＤＶＤ（Digital versatile Disc）３２とがある。ビデオエンコーダ部１にはスイッチＳ１を介して映像信号が入力される。使用者の操作により得られる記録モード情報は、ビデオエンコーダ部１、多重化処理部２、復号化画像サイズ変換部４、分離化処理部５、及びビデオデコーダ部６に入力される。ビデオデコーダ部６からは復号化された映像信号が出力される。分離化処理部５からはオーディオＥＳ（Elementary Stream）が出力される。
図２に示すビデオエンコーダ部１は、第１の画像メモリ１１、減算器１２ａ、加算器１２ｂ、ＤＣＴ（discrete cosine transform）器１３、量子化器１４、ＶＬＣ（variable length coding）器１５、動き補償予測器１６、逆量子化器１７、逆量子化器１８、及び第２の画像メモリ１９から構成される。第１の画像メモリ１１には映像信号が入力される。動き補償予測器１６には再符号化動きベクトル情報及び記録モード情報が入力される。ＶＬＣ器１５からはビデオＥＳ（Elementary Stream）が出力される。動き補償予測器１６からは動きベクトル情報が出力される。

図３に示す多重化処理部２はＴＳパケット生成器２１、ＴＳ（Transport Stream）−ＭＵＸ（multiplex）器２２、及び動きベクトル情報ＴＳパケット生成器２３より構成される。
図８に示す分離化処理部５は再符号化動きベクトル情報抽出器５１、ＴＳ−ＤＥＭＵＸ（demultiplex）器５２、及びＥＳ抽出器５３より構成される。
図９に示すビデオデコーダ部６は、ＶＬＤ（variable length decoding）器６１、逆量子化器６２、逆ＤＣＴ器６３、加算器６４、動き補償予測器６５、バッファメモリ６６、及び再符号化動きベクトル情報並び替え器６７より構成される。
図１１に示す動き補償予測器１６は、画像サイズ変換回路１６１、動きベクトル検出回路１６２、動き補償回路１６３、及び動きベクトル情報性正回路１６４より構成される。

映像信号符号化装置の動作について述べる。
まず、記録モード情報として、ハードディスク３１には受信して得られる番組の映像信号が高画質モードにより記録され、ＤＶＤ３２にはその番組を片面に記録出来る様に圧縮符号化して記録するモード情報が図示しない操作部から入力される。次に、スイッチＳ１がａ側に投入され、受信される番組の映像信号はビデオエンコーダ部１に入力される。ビデオエンコーダ部１では実時間で入力される映像信号は高画質のまま実時間符号化される。入力される映像信号の動きベクトルが求められ、動き補償された画像信号はＤＣＴ（discrete cosine transform）演算及び可変長符号化などによる符号化が行われる。その符号化の際に求められた動きベクトルは、更に圧縮された符号化信号が再符号化により生成され、実時間記録後の任意の時間にＤＶＤ３２に記録される際に用いられる。

ビデオエンコーダ部１では、符号化して得られたビデオエレメンタリーストリーム（ＥＳ）、受信される番組の音声信号を図示しないオーディオエンコーダで符号化して得られるオーディオＥＳ、再符号化時に用いる動きベクトル、及び上記の記録モード情報は多重化処理部２に供給され、そこでは、入力されたそれらの信号が多重化されてトランスポートストリーム（ＴＳ）が生成される。生成されたＴＳは記録媒体部３のハードディスク３１に入力され、そこに記録される。

ハードディスク３１に記録されたＴＳ信号は必要に応じて再生される。分離化処理部５では多重化処理部２で多重化されたそれぞれの信号が分離される。分離化して得られるビデオＥＳはビデオデコーダ部６で復号化される。復号化して得られたビデオ信号はモニタＴＶに表示される。分離化して得られたオーディオＥＳは図示しないオーディオデコーダで復号化され、復号化して得られたオーディオ信号は図示しないスピーカに供給されて発音される。使用者により操作され、ハードディスク３１に記録された記録部分の全て、又は記録された番組のうち指定される部分がＤＶＤ３２に記録される。ＤＶＤ３２は所定の記録容量を有しており、８倍速や１６倍速など高速記録可能な可搬型の記録媒体である。

ここで、ハードディスク３１に高品質で記録された映像信号はＤＶＤ３２の片面に記録可能なデータ量の映像信号にサイズ変換され、及び再符号化されてＤＶＤ３２に記録される。その記録は番組を視聴しながら行う記録ではないので可能な限り高速に行えるのが望ましい。
ハードディスク３１に記録されたＴＳは高速で読出される。読み出されたＴＳは分離化処理部５で分離化される。分離化して得られたビデオＥＳ及び再符号化用動きベクトルはビデオデコーダ部６に供給される。ビデオデコーダ部６では、入力されたビデオＥＳは復号化されて復号化映像信号が得られる。符号化映像信号は復号化画像サイズ変換部４に入力され、画素数が少ない数（サイズ）の画像に変換される。

ＤＶＤ３２に記録するためのデータ量の削減が少なくて良い場合はスイッチＳ２はｂ側とされ、データ量の削減が更に必要な場合にはスイッチＳ２はａ側に投入される。復号化映像信号又はサイズ変換のされた復号化画像はｂ側に投入されたスイッチＳ１を介してビデオデコーダ部６に入力される。再符号化用動きベクトルはビデオデコーダ部６で所定の順に並び替えられた再符号化動きベクトル情報として生成され、ビデオエンコーダ部１に入力される。
ビデオエンコーダ部１では、入力された復号化映像信号又はサイズ変換のされた復号化画像と再符号化動きベクトル情報とが共に入力され、そこで再符号化されたビデオＥＳが高速で生成される。多重化処理部２では入力されたビデオＥＳとオーディオＥＳとが多重化された信号が生成される。記録媒体部３のＤＶＤ３２には多重化信号が高速で記録される。

詳細に説明する。
図２に示すビデオエンコーダ部１での最初の実時間記録時には、入力される映像信号は実時間符号化されてハードディスク３１に記録される信号が出力される。さらに、生成された動きベクトルは、ハードディスク３１に記録された信号を高速で再符号化してＤＶＤ３２に記録する、２回目の高速記録時に用いられる再符号化用動きベクトル情報に変換されて出力される。
最初の実時間符号化時には、いわゆるＭＰＥＧ（moving picture experts group）による符号化でなされる動きベクトルの検出、ＤＣＴによる直交変換、ジグザグスキャン、及び可変長符号化が行われてビデオエレメンタリストリーム（ＥＳ）が生成されて、再符号化用動きベクトル情報と共に出力される。

まず、実時間記録時に入力される映像信号は、第１の画像メモリ１１に複数フレーム分の画像データが記憶される。記憶されたそれらの画像データは輝度データが１６×１６画素、色データ（Cb/Cr）はそれぞれ１６×８画素単位でブロック化されたデータである。色データは縦方向に１画素おきにサブサンプリングされ、それぞれ８×８画素のブロック画像とされる。ブロック化された画像データは動き補償予測１６で第１の画像メモリ１１から読み出された画像データと第２の画像メモリ１９から読み出されたフレーム（フィールド）のローカルデコードされた再生画像データとよりなる。動き補償予測１６では第１の画像メモリ１１から入力される画像データに対する、前のフレーム（フィールド）の全てのブロック画像の移動位置が例えば３２×３２画素の範囲の中から探索により演算され、フレーム間（フィールド間）予測の動きベクトルが検出される。動きベクトルの探索は符号化時に最も演算時間を要する処理である。その動きベクトルと第２の画像メモリ１９より読み出された再生画像データが用いられて動き補償が行われる。動き補償予測器１６から動き補償画像データと動きベクトル、予測モードが出力される。記録モードが実時間記録のときに生成された動きベクトル情報は次回の再符号化時に利用可能なベクトル情報とされる。即ち、再符号化がサイズ変換を伴って行われる場合の動きベクトル情報は、変換される画像サイズに基づいた画素数による動きベクトル量に変換される。変換された動きベクトルはＶＬＣ器１５に供給される。

実時間符号化時の映像信号の符号化はＭＰＥＧ−２ビデオで規定される方法と同様になされる。減算器１２で第１の画像メモリ１１から読み出された画像データと動き補償映像データとが減算され、差分画像データが得られる。ＤＣＴ器１３には差分画像データが入力され、離散コサイン変換がなされてＤＣＴ係数が出力される。量子化器１４ではＤＣＴ係数が入力され、量子化が行われて量子化画像データが出力されると同時に量子化テーブルに係る量子化情報が出力される。ＶＬＣ器１５には量子化データ、動きベクトル、及び予測モードが入力される。それらを可変長符号化したビデオエレメンタリストリーム（ＥＳ）が出力される。
Ｉ（Intra-coded）ピクチャ及びＰ（Predictive-coded）ピクチャはＢ（Bidirectionally predictive-coded）ピクチャに対する動き補償予測用の参照画像データとして用いるため必要である。逆量子化器１７では量子化データの逆量子化が行われＤＣＴ係数が出力される。逆ＤＣＴ器１８では、ＤＣＴ係数が入力され逆ＤＣＴがなされて差分再生画像が得られる。加算器１２ｂでは差分再生画像と動き補償画像データが加算されて再生画像データが得られる。第２の画像メモリ１９には、再生画像データが入力され、記憶される。

ビデオエンコーダ部１において、入力される映像信号のサイズ変換を伴う再符号化について述べる。
まず、第１の画像メモリ１１から読み出された画像データはサイズ変換される。同様に第２の画像メモリ１９から読み出されたフレーム（フィールド）のローカルデコードされた再生画像データはサイズ変換される。それらのサイズ変換された画像データのフレーム間（フィールド間）予測に係る動きベクトルは、実時間符号化時に生成された再符号化動きベクトル情報が用いられる。所定ブロックごとの再符号化動きベクトルは符号化のピクチャタイプと共に動きベクトル情報として生成されたものが用いられる。入力された再符号化動きベクトルが用いられ、再符号化される映像信号のピクチャタイプを基にして動き補償が行われる。ピクチャタイプで、Ｐピクチャはひとつ前のＩピクチャもしくはひとつ前のＰピクチャから予測される。Ｂピクチャは時間的に過去及び未来の両側にあるＩピクチャやＰピクチャから予測される。
ビデオエンコーダ部１でなされる再符号化は、実時間符号化時に生成され、サイズ変換処理された再符号化動きベクトルが用いられ、入力されるサイズ変換された映像信号を符号化する動作である。符号化して得られる信号自体は通常のＭＰＥＧ−２などにより生成される信号と同じである。但し、動きベクトルを演算して求める探索動作が不要であるため、高速化された符号化が可能である点で異なっている。

図３に示すＴＳパケット生成器２１では入力されるビデオＥＳとオーディオＥＳが多重化されてＡＶトランスポートストリーム（ＴＳ）が生成される。ＴＳパケット生成器２３では入力される再符号化用動きベクトル情報は動きベクトル情報ＴＳパケットとして生成される。ＴＳ−ＭＵＸ器２２ではＡＶトランスポートストリームの無効パケットの期間に動きベクトル情報を記述したＴＳパケットが挿入されたトランスポートストリームとして生成され、出力される。

図４は動きベクトル情報ＴＳパケットが挿入され、多重化処理部２から出力されるトランスポートストリームである。ＴＳパケットの後にＮ０、Ｎ１、・・・、Ｎｎとして示す無効パケットの期間に動きベクトル情報ＴＳパケットが挿入されており、それに続けてビデオ及びオーディオに係るパケットが配列されている。動きベクトル情報はその動きベクトル情報に係るビデオパケットの前に置くことで、ビデオストリームとその動きベクトル情報の管理が容易になされる。なお、記録モードが高速再符号化記録の場合には、動きベクトル情報パケットは生成されることなく、トランスポートストリームにも多重化されない。

図５は、多重化処理部２から出力されるトランスポートストリームのパケット構成である。ＭＰＥＧ２で用いられるＴＳパケットと同じ構成としてある。ＰＩＤ（Packet Identification）にＮｕｌｐａｃｋｅｔＩＤ（0x1fff）、ユニット開始表示が“１”、アダプテーションフィールド制御に“０１”（ペイロードのみ）が設定される無効パケットの期間に再符号化用動きベクトル情報は１８４バイトのペイロードに挿入されて伝送される。

図６はそのペイロード信号のフォーマット例である。１バイトのデータ識別に続けて再符号化用動きベクトル情報が伝送される。データ識別には、無効パケットのペイロードが動きベクトル情報であるか、又は通常の無効パケットのペイロードであるかが記述される。

図７は動きベクトル情報データの構成例である。動きベクトル情報はピクチャのＩ、Ｐ、及びＢに係るピクチャタイプ、再符号化時の画像サイズ識別、及び各マクロブロックアドレスに続く予測モード、動きベクトルなどの再符号化用動きベクトルが各マクロブロックごとに構成される。
再符号化用動きベクトルを複数の画像サイズに対して作成して伝送することも可能であり、その場合は異なる再符号化画像サイズごとに再符号化用動きベクトルが記述される。それらの動きベクトル情報がペイロードの１８４バイトを超えるときには複数のヌルパケットにまたがって記述される。

図８の分離化処理部５では、ＴＳ−ＤＥＭＵＸ器５２により記録媒体から読み出されたトランスポートストリームからビデオパケット、オーデイオパケット、及び無効パケットのそれぞれが分離されて出力される。再符号化動きベクトル情報抽出器５１では、再符号化に対して設定される記録モード情報を基に、ＴＳ−ＤＥＭＵＸ器５２で分離された無効パケットの再符号化画像サイズ識別より再符号化画像サイズ識別、及び再符号化用動きベクトルが抽出され、再符号化動きベクトル情報として出力される。ＥＳ抽出器５３では入力されるビデオ、オーデイオパケットからビデオＥＳ、及びオーディオＥＳのそれぞれが抽出されて、出力される。

図９に示すビデオデコーダ部６では、入力されるビデオＥＳはＶＬＤ器６１で可変長符号信号がブロック毎に復号され、動きベクトル情報と、量子化された画像データとが出力される。逆量子化器６２では量子化された画像データは逆量子化され、ＤＣＴされた画像データ（ＤＣＴ係数）が得られる。逆ＤＣＴ器６３ではそのＤＣＴ係数は逆ＤＣＴ処理され、差分画像データが得られる。その差分画像データは加算器６４に入力され、動き補償予測器６５からの画像データと加算され復号化映像信号が得られる。バッファメモリ６６に蓄えられる。動き補償予測器６５ではバッファメモリ６６に蓄えられた画像データとＶＬＤ器６１からの動きベクトル情報が入力され、それらの入力信号が基にされて動き補償がなされて、復号化映像信号が加算器６４から出力される。
再符号化動きベクトル並び替え器６７では、入力される再符号化動きベクトル情報及び記録モード情報が基にされ、再符号化記録時に用いられる再符号化動きベクトル情報が生成されて出力される。バッファメモリ６６には再符号化動きベクトル情報が記憶される。

図１０は、ビデオデコーダ部６に入力される再符号化動きベクトル情報と、ビデオデコーダ部６から出力される再符号化動きベクトル情報の時間関係を示したものである。バッファメモリ６６に記憶される復号化映像信号は、同図に示すピクチャの入替え順を基に正規の映像信号の順で読み出されて出力される。ビデオデコーダ部６（復号器）に入力されるピクチャと、ビデオデコーダ部６から出力されるピクチャは同図に示すように入替えられている。ビデオエンコーダ部１におけるピクチャと再符号化用動きベクトルの時間関係は一致させられて再符号化演算が行われる。

図１１に示す第１の実施例の動き補償予測器１６では、記録モードが実時間記録の時は最初の符号化であるためスイッチＳ３、Ｓ４はそれぞれｂが選択される。動きベクトル検出回路１６２には画像サイズ変換のなされない画像データが入力される。動きベクトル検出回路１６２では入力された画像データに対して、入力された再生画像を参照データとして所定の探索範囲についてブロック単位で動きベクトルが検出される。検出して得られる動きベクトル候補が出力される。Ｓ５はａが選択され、動き補償回路１６３では、この動きベクトルと再生画像データとを入力して動き補償が行われ、最終的な動きベクトルが決定される。それにより生成された動き補償画像データ、及び動きベクトル/予測モードが出力される。

画像サイズ変換回路１６１では画像データが入力され、画像データは記録モード情報に記述される再符号化画像サイズデータに変換されて出力される。スイッチＳ３、及びＳ４のそれぞれはａが選択されており、動きベクトル検出回路１６２には画像サイズ変換後の、再生画像データが入力される。動きベクトル検出回路１６２では入力された画像データに対し、入力された再生画像が参照データとして所定の探索範囲についてブロック単位での動きベクトル検出が行われ、検出して得られた動きベクトル候補が出力される。Ｓ５ではａが選択され、動き補償回路１６３では、この動きベクトルと画像サイズ変換された再生画像データとが入力されて動き補償が行われる。最終的な動きベクトルが決定され、動きベクトル/予測モードが図７に示した形式により出力される。

記録モードが再符号化の場合では、画像サイズ変換回路１６１には、スイッチＳ１がｂに接続され及びスイッチＳ２がａに接続され、復号化画像サイズ変換部４でサイズ変換された（Ｓ２がｂに接続されるときにはサイズ変換のなされない）再生画像データが入力される。動きベクトル検出回路１６２では再生画像データの動きベクトル検出は行われないので、画像サイズ変換回路１６１では再生画像データの画像サイズ変換は行われない。Ｓ３及びＳ４のそれぞれはａが選択される。但し、再符号化時の画像サイズが最初の符号化時と同じである場合には、Ｓ３及びＳ４のそれぞれはｂが選択される。Ｓ５はｂが選択される。動き補償回路１６３には再符号化動きベクトル情報と再生画像データとが入力される。動き補償が行われ、動き補償画像データ及び動きベクトル/予測モードが出力される。動きベクトル情報生成回路１６４では動きベクトル情報は生成されない。以上のように、再符号化時は動きベクトル検出を行わないので、動き補償予測での処理時間を大幅に低減出来る。再生画像データの再符号化を高速に実行できる。

本発明の第２実施例について図１２を用いて説明する。実施例１と同じ機能を有する部分には同一の符号を付し説明を省く。
構成について述べる。
同図に示す動き補償予測器１６ａは、図１１に示した動き補償予測器１６に比し動き補償回路１６３が動き補償回路１６３ａで構成される点のみが異なっている。その動き補償予測器１６ａでは、実時間符号化時に演算時間が不足するなどにより再符号化用動きベクトルの一部又は全部が生成できなかった場合にでも再符号化した映像信号をＤＶＤ３２に記録可能とするものである。すなわち、再符号化時に、動きベクトル検出回路１６２は再符号化入力された画像データに対して、その入力再生画像を参照データとして所定の探索範囲にブロック単位で動きベクトルを検出する機能を有しているので、独自に動きベクトル候補を求めて、出力する機能を有している。

動作について述べる。
まず、動き補償回路１６３ａには、動きベクトル検出回路１６２から出力された動きベクトルと、実時間符号化時に得られた場合の再符号化動きベクトル情報とが入力される。２つの動きベクトルを基にして動き補償が行われ、再符号化時に用いられる動きベクトルが決定される。動き補償画像データ、及び動きベクトル/予測モードが出力される。再符号化時の画像サイズが最初の符号化時と同じ場合には、スイッチＳ３、Ｓ４のそれぞれではｂが選択され、画像サイズ変換回路１６１での画像データ、再生画像データの画像サイズ変換は行われない。

これにより、再符号化動きベクトル情報が得られていない再生映像部分については再符号化時の動き補償予測の処理時間は低減出来ないものの、復号化映像信号に対する動きベクトル検出が行われるため、仮に部分的に再符号化動きベクトル情報が得られていない場合であっても、それが原因となりＤＶＤ３２への記録が失敗してしまう事故を防止できる。
また、復号化映像信号に対する動きベクトル検出動作は実時間程度の時間を要して行われるので、実時間処理の割合に応じて高速性は減少するものの、その場合では候補を増やした動き補償を行うことができるため、動き補償予測の精度を向上させることが出来る。

実時間処理に適した動きベクトル検出方法として階層型動きベクトル検出方法がある。
本発明の第３実施例について図１３〜図１５を用いて説明する。実施例１と同じ機能を有する部分には同一の符号を付し説明を省く。
構成について述べる。
図１３に示す動き補償予測器１６ｂは、図１１に示した動き補償予測器１６に比し動きベクトル検出回路１６２が階層動きベクトル検出回路１６２ａと動きベクトルメモリ１６２ｂで構成される点で異なっている。即ち、その動き補償予測器１６ｂは、動きベクトル検出に階層動きベクトル検出回路１６２ａとして、各階層の動きベクトル検出の画像データ、リファレンスとなる再生画像データのサイズを再符号化時の画像データサイズに変換した動きベクトル検出を行う点で異なる。

動作について述べる。
その階層型動きベクトル検出方法では、動き補償を行う入力画像と比較画像とは階層ごとに水平方向及び垂直方向にサブサンプリングされ、上位階層の場合では小さな縮小画像が作成され、その縮小画像に対し広い範囲の動きベクトルが求められる。下位階層では上位階層で求められた動きベクトルのレンジは下位階層のベクトルに変換され、求められた動きベクトルの位置が中心とされて、更に探索が行われ、精度の高い動きベクトルが求められる。動きベクトルは広い探索範囲で効率良く求められる。

図１４に示す階層動きベクトル検出の概念には、３階層を用いた階層動きベクトル検出例が示されている。上位からＭＶＤ１、ＭＶＤ２、ＭＶＤ３の３つの階層について動きベクトルが検出される。それぞれの階層に用いられる入力画像及び参照画像は上位階層からサブサンプルした縮小画像であるＭＶＤ１、及びＭＶＤ２と等倍のＭＶＤ３の画像である。まず、ＭＶＤ１で（０，０）を中心として所定の探索範囲についてブロック単位で動きベクトルが検出される。ＭＶＤ２では上位階層で求められたそれぞれの動きベクトルの縮小比及び位置が補正され、上位階層で求められた動きベクトルが示す位置を中心として所定の探索範囲についてブロック単位での動きベクトルが検出される。ＭＶＤ３ではＭＤＶ２で求められた動きベクトルの縮小比と位置が補正され、ＭＤＶ２で求められた動きベクトルが示す位置を中心として、所定の探索範囲についてブロック単位で動きベクトルが検出される。

ここで、実時間記録モードの時には、例えば縮小画像ＭＶＤ１、ないしはＭＶＤ２の画像サイズを再符号化時に用いるサイズ変換後の画像サイズにしておけば、画像サイズ変換回路１６１で変換された縮小画像に対する再符号化用動きベクトルが得られる。スイッチＳ３、及びＳ４は共にａが選択され、階層動きベクトル検出回路１６２ａでは、入力された画像データに対する動きベクトルが検出される。検出された動きベクトルは動きベクトルメモリ１６２ｂに一時記憶される。実時間記録時には、スイッチＳ５ではａが選択されており、その動きベクトルは動き補償回路１６３にも出力される。動き補償回路１６３では、入力される動きベクトルと画像サイズ変換された再生画像データが基にされ、動き補償が行われる。設定された画像サイズでの最終的な動きベクトルが決定され、動きベクトル/予測モードが出力される。

次に、階層動きベクトル検出回路１６２ａでは、動きベクトルメモリに記憶され、先に求められた動きベクトル候補が読み出され、現画像サイズに正規化される。そのベクトル候補が示す位置を中心（0,0）として、入力された画像データに対して所定の探索範囲についてブロック単位で動きベクトルが検出される。求められた動きベクトル候補は動きベクトルメモリ１６２ｂに一時記憶される。この動きベクトル候補はスイッチＳ５を介して動き補償回路１６３にも出力される。動き補償回路１６３では、その動きベクトル候補と画像サイズ変換された再生画像データが入力される。動き補償が行われ、その画像サイズでの最終的な動きベクトルが決定され、動きベクトル/予測モードが出力される。次に、スイッチＳ３、及びＳ４が端子ｂに接続され、画像サイズの変換が行われない等倍の画像データは階層動きベクトル検出回路１６２ａに入力される。階層動きベクトル検出回路１６２ａでは、動きベクトルメモリ１６２ｂに記憶された動きベクトル候補が読み出される。動きベクトル候補は現画像サイズ（等倍）に正規化され、所定の探索範囲での動きベクトル検出が求められる。

その動きベクトルは動き補償回路１６３に入力される。動き補償回路１６３では動きベクトルとサイズ変換された画像データが入力され、動き補償が行われる。最終的な動きベクトルが決定されて動きベクトル/予測モードが出力される。動きベクトル情報生成回路１６４では前述の図７に示した動きベクトル情報が生成され、出力される。縮小画像を扱う階層で求められた動きベクトルは、画像サイズが縮小されてなされる再符号化時の動きベクトルとして用いることができる。
なお、再符号化の際には、復号化画像サイズ変換部４の代わりに画像サイズ変換回路１６１を用いて画像サイズの変換されたビデオＥＳを生成するようにしても良い。

図１５に示す方法により階層動きベクトル検出が可能である。即ち、図１４に示した方法は３つの階層の画像を用いて動きベクトルを生成しているのに比し、図１５による方法では画像の領域ごとに異なるサイズの縮小画像を用いて動きベクトルを生成する。動き成分を多く含む領域はＭＶＤ１により、動き成分の少ない領域はＭＶＤ２により動きベクトル候補を求め、ＭＶＤ３で動きベクトルを決定する方法である。図１５に示す方法では、実施例１での動作に加え、最初の符号化時に動き補償予測の各画像サイズの動きベクトル検出の処理工程を低減させることが出来る。

第１〜第３の実施例により述べた映像信号符号化装置によれば、入力される映像信号を第１の圧縮ビデオ信号に符号化する際に求められる動きベクトルを基にして、第２の圧縮ビデオ信号を再符号化して生成する時に用いる再符号化用動きベクトルを生成し、第１の圧縮ビデオ信号と再符号化用動きベクトルとを内蔵される記録媒体に記録し、内蔵される記録媒体を再生して再符号化用動きベクトルを得ると共に、第１の圧縮ビデオ信号を復号化して得られる復号化ビデオ信号をサイズ変換して変換ビデオ信号を得、再符号化用動きベクトルを用いて変換ビデオ信号を符号化して第２の圧縮ビデオ信号を得る得るようにしているので、入力される映像信号を実時間で圧縮符号化して内蔵される記録媒体に記録すると共に、記録された符号化信号を再生して更に圧縮した再符号化信号を生成して、可搬型記録媒体に高速で記録することが出来る映像信号符号化装置を実現できる。
実時間符号化時に再符号化用動きベクトルの生成時間が不足する場合では、再符号化時に不足した再符号化用動きベクトルを生成する機能を併せ持たせておけばハードディスク３１に記録した第１の圧縮ビデオ信号を基にして生成する第２の圧縮ビデオ符号化信号の生成ミスを防止することが出来る。
また、実時間ビデオエンコーダに階層動きベクトル検出の機能を持たせ、その階層にサイズ変換された画像と同一の画素数を扱う層を持たせれば、第１の圧縮ビデオ信号と第２の圧縮ビデオ信号の両者に対する動きベクトルを容易に、且つ高精度に作成することが出来る。

なお、符号化方式としてＭＰＥＧ−２を中心に述べたが、時間的な冗長性を削減して行う符号化方法で、そのためのベクトルを演算に時間を要する他の圧縮符号化についても上述の方法を応用することができる。
また、ＤＶＤ３２の記録器を内蔵している場合について述べたが、映像信号符号化装置外に設けられるＤＶＤ記録装置に図４〜図７で示したフォーマットのＴＳ信号を伝送し、ＤＶＤ記録装置はスタフィング情報として伝送される信号から再符号化用動きベクトル情報を得て高速に再符号化を行いつつ第２の圧縮ビデオ信号を記録することが出来る。その場合、再符号化用動きベクトル情報を用いる機能のない外部装置はスタフィングビットを無視するため、従来の方法により第２のビデオ信号を生成して記録することは正常に出来る。
さらに、再符号化用動きベクトル情報はスタフィング情報として第１のビデオ信号と共にハードディスク３１に記録されるため、ハードディスク３１には再符号化用動きベクトル情報を格納するための領域を別に定めて記録情報を管理するなどの領域管理が必要なくなる。
そして、上述の例ではＤＶＤにＴＳを記録するとして説明した。通常のＤＶＤにはＰＳ（Program Stream）が記録される。ＤＶＤ３２は可搬型記録媒体の一例として記述した。記録媒体はＤＶＤに限ることなく圧縮符号化信号を記録できる媒体であれば、半導体メモリなど他の記録媒体であっても構わない。
さらにまた、第２の圧縮ビデオ信号をＤＶＤ３２に記録する代わりにハードディスク３１の別領域に記録するようにしても良い。その場合は第２の符号量で圧縮された符号化信号をライブラリとして保存することが可能となる。ハードディスク３１に記録される第２のビデオ信号のうちの希望するもの可搬型記録媒体にコピーし、移動先で再生することもできる。

実時間記録された圧縮符号化映像信号を高速再生し、高速再生された映像信号の画像サイズを変換してさらに圧縮された符号化信号を可搬型記録媒体に高速で再記録するための映像信号符号化装置に適用できる。

本発明の第１の実施に係る映像信号符号化装置の概略構成例を示すブロック図である。 本発明の第１の実施に係るビデオエンコーダ部の構成例を示すブロック図である。 本発明の第１の実施に係る多重化処理部の構成例を示すブロック図である。 本発明の第１の実施に係る符号化情報パケットの挿入例を示す図である 本発明の実施に係るトランスポートストリームのパケット構成例を示す図である。 本発明の実施に係る動きベクトル情報パケットの記述例を示す図である。 本発明の実施に係る動きベクトル情報データの記述例を示す図である。 本発明の第１の実施に係る分離化処理部の構成例を示すブロック図である。 本発明の第１の実施に係るビデオデコーダ部の構成例を示すブロック図である。 本発明の第１の実施に係る再符号化動きベクトル情報並び替え部でなされる並び替えデータ例を示す図である。 本発明の第１の実施に係る動き補償予測部の構成例を示すブロック図である。 本発明の第２の実施に係る動き補償予測部の構成例を示すブロック図である。 本発明の第３の実施に係る動き補償予測部の構成例を示すブロック図である。 本発明の第３の実施に係る階層動きベクトル検出の概念を示す図である。 本発明の第３の実施に係る階層動きベクトルの検出例を示す図である。

符号の説明

１ ビデオエンコーダ部
２ 多重化処理部
３ 記録媒体部
４ 復号化画像サイズ変換部
５ 分離化処理部
６ ビデオデコーダ部
１１ 第１の画像メモリ
１２ａ 減算器
１２ｂ 加算器
１３ ＤＣＴ器
１４ 量子化器
１５ ＶＬＣ器
１６、１６ａ、１６ｂ 動き補償予測器
１７ 逆量子化器
１８ 逆量子化器
１９ 第２の画像メモリ
２１ ＴＳパケット生成器
２２ ＴＳ−ＭＵＸ器
２３ 動きベクトル情報ＴＳパケット生成器
３１ ハードディスク
３２ ＤＶＤ
５１ 再符号化動きベクトル情報抽出器
５２ ＴＳ−ＤＥＭＵＸ器
５３ ＥＳ抽出器
６１ ＶＬＤ器
６２ 逆量子化器
６３ 逆ＤＣＴ器
６４ 加算器
６５ 動き補償予測器
６６ バッファメモリ
６７ 再符号化動きベクトル情報並び替え器
１６１ 画像サイズ変換回路
１６２ 動きベクトル検出回路
１６２ａ 動きベ階層動きベクトル検出回路
１６２ｂ 動きベクトルメモリ
１６３、１６３ａ 動き補償回路
１６４ 動きベクトル情報性正回路

Claims (1)

1. 入力ビデオ信号の動きベクトルを求めながら符号化して第１の圧縮率で圧縮された第１の圧縮ビデオ信号を第１の記録媒体に記録した後、前記第１の記録媒体に記録された前記第１の圧縮ビデオ信号を復号化して復号化ビデオ信号を得て、次に前記復号化ビデオ信号の動きベクトルを求めながら前記復号化ビデオ信号を前記第１の圧縮率よりも高い第２の圧縮率で符号化して得られる第２の圧縮ビデオ信号を第２の記録媒体に記録する符号化映像信号の記録方法において、
   前記第１の圧縮率ビデオ信号を生成する際に用いられた前記動きベクトルを基に、前記第２の圧縮ビデオ信号の符号化に用いる変換動きベクトルを生成する第１のステップと、
   既記録されている前記第１の圧縮ビデオ信号に加えて前記変換動きベクトルを前記第１の記録媒体に記録する第２のステップと、
   前記第１の記録媒体を再生して前記変換動きベクトルを得ると共に、前記第１の圧縮ビデオ信号を復号化して得られる前記復号化ビデオ信号をサイズ変換して変換ビデオ信号を得る第３のステップと、
   前記変換動きベクトルを用い、前記変換ビデオ信号を符号化して前記第２の圧縮ビデオ信号を得る第４のステップと
   よりなることを特徴とする符号化映像信号の記録方法。
   
   

Images