JP4528043B2 - 映像信号変換装置、変換方法及びこれを用いた映像信号記録装置 - Google Patents

Description

本発明は、入力された圧縮映像信号の符号化方式を異なる符号化方式に変換する映像信号変換装置と変換方法およびこれを用いた映像信号記録装置に関する。

近年、映像信号とりわけ動画像信号を圧縮符号化して記録媒体に記録する技術、あるいはインターネットや無線などの通信媒体を介して伝送する技術が様々な分野で用いられている。これらの用途においては、記録媒体の記録容量を節約するため、あるいは伝送時における帯域を節約するために、映像データ量を小さくする動画像信号の圧縮伸張技術が用いられる。例えば、デジタルテレビ放送においては、圧縮伸張の方式としてＩＳＯ／ＩＥＣにより規格化されているＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）方式が採用されている。また、インターネットや無線などにおけるストリーミング動画配信においては、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６）方式が用いられる。このように、圧縮符号化の方式は用途に応じて多数存在するが、これらの圧縮方式間には互換性のない場合がある。また、同一の圧縮符号化方式であっても、画像サイズやビットレートなどの信号形式の違いによって互換性を保てない場合も存在する。

このような状況において、ある圧縮符号化方式から異なる圧縮符号化方式、あるいは同一の圧縮符号化方式における異なる信号形式への変換を行う、いわゆるトランスコード技術が要求される。トランスコードを行う際、例えば特許文献１に開示されるように、トランスコード元の圧縮符号化信号（ストリーム）に含まれる情報を抽出して利用することで、トランスコード後の圧縮符号化信号の画質劣化を低減する方法が提案されている。

特許文献１は、入力ストリームに含まれる動きベクトル、予測誤差、直交変換係数、量子化値などの情報を利用して、トランスコードによって生じる画質劣化を抑えることを一つの特徴としている。

特開２０００−２４４９２１号公報

しかしながら、前記特許文献１に開示される方法では、時間的に対応する（すなわち同時刻の）フレームのストリーム情報のみを用いてトランスコードを行っているため、符号量が急変するシーンチェンジのごとき動画像に対しては十分対応できず、よって急変する部分の画像が劣化することがあった。

本発明の目的は、入力する圧縮映像信号の符号量が急変するような場合でも、これに良く追従し、画質劣化の少ない映像信号変換を行う装置及び方法を提供することにある。

上記の課題を解決するため、本発明の映像信号変換装置は、圧縮符号化された第１の映像信号を異なる圧縮符号化方式、もしくは異なる信号形式の第２の映像信号に変換するものであって、第１の映像信号の符号量の時間軸上の変化を取得する符号量解析部と、第１の映像信号を第２の映像信号に圧縮符号化する符号化部とを備える。符号化部は、第１の映像信号を圧縮符号化する際、符号量解析部にて取得した符号量に基づき、第２の映像信号の符号量を制御する。

または本発明の映像信号変換装置は、第１の映像信号の符号量の時間軸上の変化を解析する符号量解析部と、符号量解析部にて解析した符号量の変化を格納する符号量格納部と、第１の映像信号を所定時間だけ格納する映像信号格納部と、映像信号格納部に格納された第１の映像信号を復号化する復号化部と、復号化部で復号化した映像信号を上記第２の映像信号に圧縮符号化する復号化部と、を備える。符号化部は、第１の映像信号を圧縮符号化する際、時間軸上で未来の位置における符号量格納部に格納された符号量に基づき、第２の映像信号の符号量を制御する。
または本発明の映像信号変換装置は、圧縮符号化された第１の映像信号が入力される第１の入力部と、該第１の入力部から入力された該第１の映像信号を、外部に接続された記憶手段に一旦記憶された後外部の復号化部に供給されるよう、外部へ出力する第１の出力部と、該外部に接続された記憶手段にて所定時間記憶された後読み出され該外部の復号化部で該第１の映像信号を復号化した第２の映像信号が外部から入力される第２の入力部と、該第１の入力部から入力された該第１の映像信号の符号量の時間軸上の変化を解析する符号量解析部と、該符号量解析部にて解析した符号量の変化を格納する符号量格納部と、該第２の入力部から入力された該第２の映像信号を、該第１の映像信号と異なる圧縮符号化方式もしくは異なる信号形式で、第３の映像信号に圧縮符号化する符号化部と、該符号化部で圧縮符号化された該第３の映像信号を出力する第２の出力部とを備え、該符号化部は、上記第２の映像信号を圧縮符号化する際、時間軸上で未来の位置における該符号量格納部に格納された符号量に基づき、該第３の映像信号の符号量を制御する。

また本発明の映像信号変換方法は、第１の映像信号の符号量の時間軸上の変化を取得し、第１の映像信号を圧縮符号化する際、時間軸上で未来の位置における取得した符号量に基づき、第２の映像信号の符号量を制御するものである。

すなわち、第１の映像信号の符号化情報（時間軸上で未来を含めた符号量の遷移）を前もって取得することにより、第２の映像信号の符号量の割り当てを最適に制御できる。

本発明によれば、入力する圧縮映像信号の符号量が急変するような場合でも、画質劣化の少ない映像信号変換を行う装置及び方法を提供することができる。

本発明を実施するための最良の形態について、図面を用いて説明する。

図１は、本発明に係る映像信号変換装置の一実施例を示すブロック図である（実施例１）。この実施例では、ＭＰＥＧ−２＿ＭＰ＠ＨＬ形式の符号化映像信号をＭＰＥＧ−２＿ＭＰ＠ＭＬ形式に変換符号化する場合について示す。

映像信号変換装置（トランスコーダ）１００には、入力手段２００と出力手段３００が接続される。入力手段２００は、例えばデジタル放送を受信するデジタルチューナであり、出力手段３００は、例えば圧縮符号化した映像信号を記録する記録装置である。

トランスコーダ１００は、入力ストリームを映像ストリームと音声ストリームに分離するストリーム前処理部１０１、映像ストリームのビットレート等を解析するストリーム解析部１０２、解析したビットレート遷移情報を格納するストリーム情報格納メモリ１０３を有する。また、入力ストリームを所定時間だけ一旦格納するストリーム格納メモリ１０７、ＭＰＥＧ−２＿ＭＰ＠ＨＬ形式にて復号化するデコーダ１０４、復号化された信号をＭＰＥＧ−２＿ＭＰ＠ＭＬ形式にて符号化するエンコーダ１０５、符号化した映像ストリームと音声ストリームを多重化するストリーム後処理部１０６を有する。

デコーダ１０４は、映像デコード部１０４１と音声デコード部１０４２を有する。エンコーダ１０５は、映像エンコード部１０５１と音声エンコード部１０５２を有する。映像エンコード部１０５１は、ストリーム情報格納メモリ１０３に格納されたビットレート遷移情報を利用して変換符号化する。その際、ストリーム格納メモリ１０７から映像ストリームを遅延して供給することにより、変換しようとする時点のビットレート遷移情報だけでなく、未来分のビットレート遷移情報を利用することができる。

次に、本実施例における信号処理について、詳細に説明する。

まず、入力手段２００から、ＭＰＥＧ−２＿ＭＰ＠ＨＬ形式の符号化映像信号がトランスコーダ１００に入力される。ここで、入力される信号は、映像と音声が多重化されたプログラムストリーム（ＰＳ）でも、トランスポートストリーム（ＴＳ）でもよく、また映像のみを含むエレメンタリストリーム（ＥＳ）でもよい。ここでは、トランスポートストリーム（ＴＳ）が入力されるものとして説明する。

図２は、トランスポートストリーム（ＴＳ）のパケットの構成を示す図である。ＴＳは１８８バイト固定長のパケットである。ＴＳパケットは、先頭の同期バイト２００１、プログラムＩＤ２００２、ヘッダ２００３、データ本体２００４から構成される。プログラムＩＤ２００２には、多重化されているデータから所望の画像データを識別するための情報が含まれる。また、ヘッダ２００３には、パケットに含まれるデータ本体２００４のサイズや属性を示す情報が含まれる。

図３は、ストリーム前処理部１０１の構成例を示す。ストリーム前処理部１０１は、ストリーム入力バッファ１０１１、システムデコード部１０１２、デマルチプレクス部１０１３を有する。

ストリーム前処理部１０１に入力されたＴＳは、ストリーム入力バッファ１０１１に一時的に格納される。ＴＳはその後システムデコード部１０１２によって読み出され、ユーザによって指定されたプログラムＩＤとＴＳパケットのプログラムＩＤ２００２を照合することによって、ユーザが指定したＴＳパケットのみが収集される。そして、後段のデマルチプレクス部１０１３によって、収集されたＴＳパケットから音声ストリーム、映像ストリーム、その他ユーザデータがそれぞれ分離され、出力される。この時点で、分離された音声ストリーム、映像ストリームは、ともに圧縮符号化されている。

デマルチプレクス部１０１３により分離され出力された映像ストリームは、ストリーム解析部１０２に入力される。ストリーム解析部１０２においては、入力された映像ストリームのビットレート遷移（符号量の遷移）が解析される。解析されたビットレート遷移情報は、ストリーム解析部１０２に接続されたストリーム情報格納メモリ１０３に格納される。ストリーム解析部１０２の詳細な動作については後述する。

一方デマルチプレクサ１０１３によって分離された音声ストリームと映像ストリームは、一旦ストリーム格納メモリ１０７に格納される。ストリーム格納メモリ１０７には、例えばＳＤ−ＲＡＭを用いて所定の時間（数十秒ないし数分）のストリームを格納する。大容量が必要とされる場合は、ハードディスク媒体を使用することもできる。

ストリーム格納メモリ１０７では、格納した時間内でストリームを遅延し、遅延したストリームがデコーダ１０４に入力される。デコーダ１０４は、映像デコード部１０４１と音声デコード部１０４２を有して構成される。

デコーダ１０４に入力された音声ストリームは、音声デコード部１０４２に入力され、音声ストリームの圧縮符号化方式に準じた方法で復号され、音声データとして出力される。同様に、デコーダ１０４に入力された映像ストリームは、映像デコード部１０４１に入力され、映像ストリームの圧縮符号化方式（この場合はＭＰＥＧ−２＿ＭＰ＠ＨＬ形式）に準じた方法で復号され、映像データとして出力される。

デコーダ１０４から出力された映像データ、音声データは、エンコーダ１０５に入力される。エンコーダ１０５は、映像エンコード部１０５１と音声エンコード部１０５２を有する。

エンコーダ１０５に入力された音声データは、音声エンコード部１０５２において所定の圧縮符号化方式で圧縮符号化され、第２の音声ストリームとして出力される。同様に、エンコーダ１０５に入力された映像データは、映像エンコード部１０５１において、フィルタ操作、あるいはスケーリング操作を施された後、所定の圧縮符号化方式（ここではＭＰＥＧ−２＿ＭＰ＠ＭＬ形式）で圧縮符号化され、第２の映像ストリームとして出力される。

ここで、映像エンコード部１０５１における圧縮符号化を行う際、ストリーム解析部１０２において解析され、ストリーム情報格納メモリ１０３に格納されているビットレート遷移情報（符号量の遷移情報）を用いる。すなわち、符号化しようとしている時点だけでなく、未来の符号量の変動を先読みして符号量の設定を行うことにより、映像エンコード部１０５１の出力ビットレートを最適に制御することが可能となる。このビットレート制御については後述する。

エンコーダ１０５から出力された第２の映像ストリーム、第２の音声ストリームは、ストリーム後処理部１０６に入力される。

図４は、ストリーム後処理部１０６の構成例を示す。ストリーム後処理部１０６は、マルチプレクス部１０６１、システムエンコード部１０６２、ストリーム出力バッファ１０６３を有する。

ストリーム後処理部に入力された第２の音声ストリームと第２の映像ストリームは、マルチプレクス部１０６１に入力され、多重化されて多重化ストリームとして後段のシステムエンコード部１０６２に入力される。システムエンコード部１０６２は、入力された多重化ストリームをシステムエンコードする。本実施例においては、ＭＰＥＧ−２のＰＳ形式で出力するものとするが、他の多重化形式でもよい。システムエンコードされたＰＳは、ストリーム出力バッファ１０６３に一時的に格納される。その後、記録装置などの出力手段３００に送られる。

ここで、ストリーム解析部１０２の動作について詳細に説明する。ストリーム解析部においては、ＧＯＰ（グループ・オブ・ピクチャーズ）単位と、ピクチャ単位の２種類のスケールでビットレート遷移を解析する。

ＭＰＥＧ−２を例にとると、ピクチャの符号化形式には３種類ある。１画面分の画像データをその画像内で符号化する場合（Ｉピクチャ）と、１画面分の画像データを時間的に前の画像データとの参照関係を用いて符号化する場合（Ｐピクチャ）と、１画面分の画像データを時間的に前後の２つの画像データとの参照関係を用いて符号化する場合（Ｂピクチャ）である。ストリームにおけるピクチャの並びが例えば“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩＢＢ・・・”となるとき、Ｉピクチャから次のＩピクチャの直前のＢピクチャまでをＧＯＰという。

図５は、ストリーム解析部１０２とストリーム情報格納メモリ１０３の構成例を示す。ストリーム解析部１０２に入力された映像ストリームは、一旦バッファ１０２１に格納される。そして、後段のパタンサーチ部１０２２によって、順次読み出される。パタンサーチ部１０２２は、ストリームに含まれるＧＯＰ、ピクチャ、サブピクチャの先頭をサーチし、ＧＯＰ単位の符号量、ピクチャ単位の符号量、サブピクチャの符号量をカウントする。

図６は、ストリーム解析部に入力される映像ストリームの構造例を示す。ＭＰＥＧ−２形式で圧縮符号化された映像ストリームは、ＧＯＰとピクチャの先頭にヘッダが付いている。図６の場合、ＧＯＰヘッダは“０ｘ０００００１Ｂ８”、ピクチャヘッダは“０ｘ０００００１００”であるので、パタンサーチ部においてこれらのヘッダをサーチしながらバッファ１０２１に格納された映像ストリームを順次読み出すことにより、ＧＯＰ単位、ピクチャ単位の符号量を求めることができる。

このようにして求めたＧＯＰ単位、あるいはピクチャ単位の符号量を、ストリーム情報格納メモリ１０３に、所定のフォーマットに基づいて格納する。格納する情報は符号量のみであるため、ストリーム情報格納メモリ１０３のメモリ容量が小さくても長時間にわたり符号量を記録しつづけることが可能である。例えば、時刻情報で４バイト、符号量情報で４バイト使用した場合、１Ｍバイトのメモリ容量であれば４分間程度のビットレート遷移情報を記録することができる。これは、後段でレート制御に利用するのに十分な情報量である。なお、ストリーム情報格納メモリ１０３の格納時間を、前述のストリーム格納メモリ１０７の格納時間に一致させれば、未来情報として利用できる時間を最大にできるので最も効率的である。

次に、ストリーム解析部１０２によって解析されたビットレート遷移情報を用いた圧縮符号化について説明する。映像エンコード部１０５１において符号化を行う際、ストリーム情報格納メモリ１０３には数十秒ないし数分間のビットレート遷移情報が格納されているものとする。すなわち、符号化を行う時点より後に発生符号量がどのように遷移するかの未来情報が格納されている。

したがって、入力信号がシーンチェンジなどにより急激に発生符号量が増加する場合でも、映像エンコード部１０５１は前もってこれを予測し、これに必要な符号量を確保しておく。よって、入力信号の符号量のいかなる増減に対しても追従性良く発生符号量を制御することができる。

図７は、本実施例によるトランスコード時の発生符号量の制御の例を示す。縦軸は各時刻における符号量を示し、横軸は時間経過である。トランスコード処理や信号格納に基づき、変換前信号に対し変換後信号は時間軸上でずれを生じるが、図ではこれを無視し、各信号の対応する位置を合わせている。

ストリーム情報格納メモリに格納されている原信号の符号量の遷移は、曲線（破線）６０１のとおり時刻Ｔ０において急激に符号量が増加しているものとする。

これに対し、従来方式でトランスコードした場合の符号量遷移は、曲線（点線）６０２のようになる。すなわち、原信号がシーンチェンジなどにより発生符号量が増加し、その符号量の増加が映像エンコード部１０５１の処理能力を超えた場合には、従来のトランスコードでは符号量制御が追従できず（符号量が不足する）、実際に符号量が増加するのは時刻Ｔ１まで遅延する。このため、時刻Ｔ０からＴ１までの区間は、本来は多くの符号量が必要なところを少ない符号量で符号化しており、画質が低下することになる。

しかしながら本実施例の方式では、ストリームの符号量遷移を前もって取得しているため、予想される画像データの符号量の増大に備えて事前に符号量を確保しておくようにする。よってトランスコード後の発生符号量を、曲線（実線）６０３のように追従性良く変化させることが可能である。その結果、シーンチェンジなどの場面でも、画質の低下を少なくすることができる。

以上のように、ストリーム情報格納メモリ１０３に格納されたビットレート遷移情報を用いることで、映像エンコード部１０５１は画質の劣化が少ない効率的なレート制御を行うことができる。

図８は、本発明に係る映像信号変換装置の他の実施例を示すブロック図である（実施例２）。基本構成は実施例１（図１）と共通であるが、これにデコード情報加工部１０５３が加わった構成となっている。

本実施例の全体動作も実施例１と共通するが、デコード情報加工部１０５３には、映像デコード部１０４１から出力されるデコード途中情報が入力される。デコード途中情報には、動きベクトル情報、量子化値、ＤＣＴ係数などが含まれる。デコード情報加工部１０５３は、映像デコード部１０４１から供給されたデコード途中情報を加工し、映像エンコード部１０５１における映像データの圧縮符号化に利用できる形式に変換する。

例えば、映像エンコード部において動きベクトル情報を探索する操作は、ＭＰＥＧ符号化の中でも処理負荷の高い操作であるが、デコード途中情報に含まれる動きベクトル情報をデコード情報加工部１０５３で加工し、符号化の際に利用することにより、映像デコード部１０４１における処理を大幅に軽減することが可能である。この場合の動きベクトル情報の加工とは、具体的には符号化する画像サイズに合わせたベクトルのスケーリングや補完のことを指している。

本実施例によれば、実施例１と同様にあらかじめ解析されたレート遷移情報を用いた効率的な符号化を行うだけでなく、映像データの圧縮符号化の処理負荷を軽減することが可能となる。

図９は、本発明に係る映像信号変換装置の他の実施例を示すブロック図である（実施例３）。本実施例は、実施例１（図１）を応用したストリーム処理機能付きエンコーダ７００であって、実施例１におけるストリーム格納メモリ１０７とデコーダ１０４とを持たず、これらは外部装置を接続して実行するものである。

入力手段２００から入力されたストリームは、実施例１と同様にストリーム解析部１０２でビットレート情報が解析され、結果がストリーム情報格納メモリ１０３に格納される。一方、ストリーム前処理部でシステムデコードされ、デマルチプレクスされた映像ストリームと音声ストリームは、外部に接続されたストリーム格納メモリ４００に一旦格納される。その後、外部の映像デコーダ５０１と音声デコーダ５０２に供給される。

映像デコーダ５０１に入力された映像ストリームは、復号され、映像データとして出力されると、再びストリーム処理機能付きエンコーダ７００に供給される。音声デコーダ５０２に供給された音声ストリームも同様にして復号され、音声データとして出力されると、再びストリーム処理機能付きエンコーダ７００に供給される。

ストリーム処理機能付きエンコーダ７００に供給された映像データ、音声データはエンコーダ１０５に供給されて符号化され、ストリーム後処理部でマルチプレクスとシステムエンコードされた後、出力手段３００に送られる。

本実施例のストリーム処理機能付きエンコーダ７００は、圧縮符号化されたストリームと、該ストリームを復号化したデータを入力し、異なる方式に再度符号化するものである。ストリーム格納メモリ４００、映像デコーダ５０１、音声デコーダ５０２として、既存のメモリやデコーダを使用することができる。特に、ストリーム格納メモリ４００として大容量のハードディスク媒体を用いれば、長時間のストリームを格納でき、よって長時間にわたるストリーム情報を利用した符号化が可能となり、より効率の高いトランスコーダが実現できる。

また、本実施例のようなシステムＬＳＩを構成しても良い。該システムＬＳＩを既存のＭＰＥＧ−２＿ＣＯＤＥＣ＿ＬＳＩと接続してトランスコーダを構成することができ、有用である。

図１０は、本発明に係る映像信号変換装置を応用した映像信号記録装置の一実施例を示すブロック図である（実施例４）。映像信号記録装置９００は、実施例１に記載したトランスコーダ１００の他に、デコーダ１０００と記録部１１００を有して構成される。入力手段２００は、例えばデジタル放送を受信するチューナである。入力手段２００より入力された符号化映像信号は、トランスコーダ１００とデコーダ１０００に供給される。トランスコーダ１００では、実施例１に記載の動作によりトランスコードを行い、変換された符号化映像信号を記録部１１００にて記録する。記録部１１００は、例えば光ディスクやハードディスク（ＤＶＤ、ＨＤＤ）記録装置である。一方デコーダ１０００では、入力された映像信号をデコードし、デコードされた画像を外部に接続された表示手段１２００へ出力する。表示手段１２００は、デコードされた画像を表示する。

ここで、トランスコーダ１００とデコーダ１０００は、全く独立に動作するものとする。この構成をとることにより、入力手段２００から入力された符号化映像信号を、表示手段１２００によりリアルタイムでモニターしながら、これに並行して、トランスコーダ１００により符号化映像信号を所望の方式に変換して記録媒体に保存することができる。例えばモニターには高画質で表示し、記録には長時間記録を優先させる方式を選択することができる。

本発明の映像信号変換装置（トランスコーダ）は、単体のみならず、各種の映像装置に適用できる。例えば上記実施例の記録装置の他に、撮影信号を変換して記録または伝送する撮影装置、受信信号を変換して送信する送信装置などに、広く適用できる。

また、本実施例で述べた圧縮符号化形式は一例を述べたに過ぎず、本発明の適用範囲を限定するものではない。変換先の圧縮符号化方式は、変換元の圧縮符号化方式と同じであっても本発明は適用できる。

本発明に係る映像信号変換装置の一実施例を示すブロック図（実施例１）。 映像信号としてトランスポートストリーム（ＴＳ）の構成を示す図。 図１におけるストリーム前処理部１０１の構成例を示す図。 図１におけるストリーム後処理部１０６の構成例を示す。 図１におけるストリーム解析部１０２とストリーム情報格納メモリ１０３の構成例を示す図。 映像信号としてＭＰＥＧ−２の映像ストリームの構成例を示す図。 本実施例による発生符号量の制御の例を示す図。 本発明に係る映像信号変換装置の他の実施例を示すブロック図（実施例２）。 本発明に係る映像信号変換装置の他の実施例を示すブロック図（実施例３）。 本発明に係る映像信号変換装置を応用した映像信号記録装置の一実施例を示すブロック図（実施例４）。

符号の説明

１００…映像信号変換装置（トランスコーダ）、１０１…ストリーム前処理部、１０２…ストリーム解析部、１０３…ストリーム情報格納メモリ、１０４…デコーダ、１０５…エンコーダ、１０５３…デコード情報加工部、１０６…ストリーム後処理部、１０７…ストリーム格納メモリ、５０１…映像デコーダ、５０２…音声デコーダ、７００…ストリーム処理機能付きエンコーダ。

Claims (1)

1. 圧縮符号化された第１の映像信号が入力される第１の入力部と、
   該第１の入力部から入力された該第１の映像信号を、外部に接続された記憶手段に一旦記憶された後外部の復号化部に供給されるよう、外部へ出力する第１の出力部と、
   該外部に接続された記憶手段にて所定時間記憶された後読み出され該外部の復号化部で該第１の映像信号を復号化した第２の映像信号が外部から入力される第２の入力部と、
   該第１の入力部から入力された該第１の映像信号の符号量の時間軸上の変化を解析する符号量解析部と、
   該符号量解析部にて解析した符号量の変化を格納する符号量格納部と、
   該第２の入力部から入力された該第２の映像信号を、該第１の映像信号と異なる圧縮符号化方式もしくは異なる信号形式で、第３の映像信号に圧縮符号化する符号化部と、
   該符号化部で圧縮符号化された該第３の映像信号を出力する第２の出力部と、
   を備え、
   該符号化部は、上記第２の映像信号を圧縮符号化する際、時間軸上で未来の位置における該符号量格納部に格納された符号量に基づき、該第３の映像信号の符号量を制御すること
   を特徴とする映像信号変換装置。

Images