JP2004328391A

JP2004328391A - 動画像復号化方法、及びその装置

Info

Publication number: JP2004328391A
Application number: JP2003120357A
Authority: JP
Inventors: Makoto Yasuda; 誠安田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-04-24
Filing date: 2003-04-24
Publication date: 2004-11-18

Abstract

【課題】ディジタル動画像の再生方法において、字幕などのオンスクリーン表示を行うにはデコードに用いる主映像用の画像メモリとは別に、ＯＳＤ画像用に画像メモリが必要となるため、装置の価格が高くなる。
【解決手段】主映像のデコードに用いる画像メモリのうち、予測に用いられないＢフレームの画像メモリ１４０を、ＯＳＤ画像用の画像メモリとして兼用する。ＯＳＤデータは、Ｂフレームの画素値の代わりに、特別値０として上書きする。表示の際には、この値を検知して所望の輝度、色データに変換して主映像に重畳させて表示する。Ｂフレームのデコード値として特別値は使用しないように制限する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像復号化方法、及びその装置に関し、特に符号化された動画像を復号して再生する際に用いる、動画像復号化の再生方法、及びその装置に関するものである。
【０００２】
【従来の技術】
近年、ディジタル技術の本格的な実用化の時代を迎え、動画像を記録再生装置、パソコン、ホームサーバーといった装置で記録・再生したり、インターネットをはじめとする通信網を用いて遠距離間を伝送することが可能になってきた。携帯電話などのディジタル移動体通信機器においても、その場で動画像を撮影し即座に他者へその動画像を送る手段が提供されている。また、放送の分野においても、テレビジョンをはじめとする動画像に対して、ディジタル技術を用いた伝送、及び符号化方式が採用されている。
【０００３】
ディジタル信号の動画像信号や、音声信号は、アナログ信号のまま処理する場合と比較して、柔軟な処理形態が採用できるため、高品質化、高信頼性化が実現できるなどの特長を有し、広く用いられている。
【０００４】
動画像の再生方法として、単に動画像を復号化して提示するだけでなく、画面上に案内用の文字、台詞などの字幕、操作用のアイコンといった、いわゆるオンスクリーン表示（以下、ＯＳＤと呼ぶ。）を行う場合がある。
従来の動画像の復号化装置では、ＯＳＤデータ用に、専用の画像メモリを用いていた（例えば、特許文献１参照）。
【０００５】
以下では、図１５から図１８を参照しながら、従来のこれらの装置で用いられている動画像の再生方法、及びその装置について説明する。
図１５は、従来の動画像の再生方法を用いた再生装置のブロック図である。
図１５において、４１０はストリームの入力端子、５１０は復号化手段、５２０は制御手段、５３０は参照用画像メモリ、５４０は出力用画像メモリ、５５０はＯＳＤ用画像メモリ、４５０はホストコントローラ、５７０はスイッチ、５９０は重畳手段、４２０は映像出力端子である。
【０００６】
まず、入力端子４１０に与えられた動画像のストリームは、後続の復号化手段５１０で復号され、復元された画像を参照用画像メモリ５３０、または出力用画像メモリ５４０に格納する。この復号化方法は、一例として国際標準規格である通称、ＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐＰｈａｓｅ２）と呼ばれる「インフォメーション・テクノロジージェネリック・コーディング・オブ・ムービング・ピクチャーズ・アンド・アソシエーティッド・オーディオ・インフォメーション」（”Ｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ −− Ｇｅｎｅｒｉｃｃｏｄｉｎｇｏｆｍｏｖｉｎｇｐｉｃｔｕｒｅｓａｎｄａｓｓｏｃｉａｔｅｄａｕｄｉｏｉｎｆｏｒｍａｔｉｏｎ”）に記載の方法に準じた方法を用いる。このように、復号して得た動画像を主映像と呼ぶことにする。
【０００７】
ここで、ＭＰＥＧ２規格での画像の符号化方法について概要を説明する。
図１７に示すように、一続きの画像群は、そのフレームのデータのみで完全に復号可能なＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄｆｒａｍｅ）、他の１枚のフレーム（ＩまたはＰフレーム）を用いて復号するＰフレーム（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄｆｒａｍｅ）、他の最大２枚のフレーム（ＩまたはＰフレーム）を用いて復号するＢフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌｌｙｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄｆｒａｍｅ）、の３種類から成り、通常、規則正しいパターンで割り当てられる。図１７の場合、復号化の順は、ＩＯ，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，．．の順となる。ここで、Ｐ３フレームの作成にはＩＯフレームが必要であり、Ｂ１またはＢ２フレームの作成にはＩ０とＰ３フレームが必要となるため、ＩまたはＰフレームは後続の画像フレームの作成のために、仮に映像出力から出力し終わったとしても、画像メモリ上に保存しておかなくてはならないことに注意を要する。これらを、参照フレームと呼ぶことにする。
【０００８】
これに対して、Ｂフレームは、一度作成されると、他のフレームの作成時には一切参照されず、後は画像出力されるのみである。
【０００９】
図１７の例では、Ｉフレーム、及びＰフレームは、参照用画像メモリ５３０に格納され、Ｂフレームは出力用画像メモリ５４０に格納される。スイッチ５７０では、参照用画像メモリ５３０、または出力用画像メモリ５４０中の画像を、本来画像を出力する順番（表示順）で映像出力されるように適切に選択する。
【００１０】
制御手段５２０は、ホストコントローラ４５０から与えられるユーザからの再生指示にしたがって、復号化手段５１０、スイッチ５７０を適切に制御して、本来表示されるまで保持しておかなくてはならない画像の上書きを防止したり、表示用の完成済み画像が底をつかないように復号動作を継続したり、先述したように適切な順序で画像出力するようにスイッチ５７０を制御する。さらに、制御手段５２０は、ホストコントローラ４５０からの指示で、ＯＳＤ用のパターンを発生し、ＯＳＤ用画像メモリ５５０上に描画する働きをする。
【００１１】
次に、重畳手段５９０の動作について、図１６を用いて説明する。
ここでは、重畳手段５９０に入力された主映像の画像６００上に、ＯＳＤ用画像メモリ５５０に格納されたＯＳＤ画像６１０を重畳し、重畳後の画像６２０を得る。図１６では、ＯＳＤデータとして、字幕データの場合を挙げており、主映像の上に重ね書きしている様子を示している。
【００１２】
次に、画像メモリについて説明する。
まず、扱う映像は図１８（ａ）に示すように、輝度Ｙと２つの色差信号Ｃｂ，Ｃｒで表される４：２：０画像である。標準テレビジョン信号の場合、Ｙは横７２０画素、縦４８０ライン分の画素あたり８ビットのデータから成り、Ｃｂ／ＣｒはそれぞれＹの縦横ともに半分のサンプル数となっている。
これらを格納する画像メモリの典型例は、図１８（ｂ）に示すように、画像メモリ上に連続してＹ，Ｃｂ，Ｃｒの３領域に分かれている。
【００１３】
以上のようにして、ＯＳＤを主映像に重畳して表示するために、ＯＳＤ用画像メモリ５５０から読み出したＯＳＤデータと、参照用画像メモリ５３０または出力用画像メモリ５４０から読み出した主映像データを重畳手段５９０で合成して映像出力を得ている。
【００１４】
【特許文献１】
特開平１０−３４００７７号公報
【００１５】
【発明が解決しようとする課題】
しかし、以上の構成では、主映像の復号用途に用いるメモリ以外に、別途ＯＳＤデータ用としての画像メモリを設ける必要があり、装置の価格が高くなるという課題があった。
本発明は、上記従来の問題点に鑑みて提案されたものであり、ＯＳＤ専用の画像メモリを設ける必要のない、動画像復号化方法、及びその装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１にかかる動画像復号化方法は、動画像を予測符号化して得たストリームを入力とし、該ストリームの復号化を行う復号化方法において、前記復号化を行う際に用いる参照画像を記憶する参照用画像メモリと、前記参照用画像メモリを参照して復号化された出力用画像を記憶する出力用画像メモリと、を具備し、前記ストリームを復号化する際、前記復号された出力用画像データを、少なくとも１つの階調値についてはこれを特別値として、該値をとらないように近似値に補正して、前記出力用画像メモリに記憶し、オンスクリーン表示用データを、前記特別値として前記出力用画像メモリに記憶する、ことを特徴としたものである。
【００１７】
本発明の請求項２にかかる動画像復号化方法は、請求項１記載の動画像復号化方法において、前記特別値は、０または表現可能な最大値のいずれか一方である、ことを特徴としたものである。
【００１８】
本発明の請求項３にかかる動画像復号化方法は、請求項１記載の動画像復号化方法において、前記特別値は、０と表現可能な最大値とである、ことを特徴としたものある。
【００１９】
本発明の請求項４にかかる動画像復号化方法は、請求項１ないし３のいずれかに記載の動画像復号化方法において、予測符号化方式は、ＭＰＥＧ方式である、ことを特徴としたものである。
【００２０】
本発明の請求項５にかかる動画像復号化装置は、ディジタル動画像を予測符号化して得たストリームを入力とし、該ストリームの復号化を行う復号化手段と、前記復号化時に得た第１の復号画像を参照画像として記憶する参照用画像メモリと、前記復号化時に得た第２の復号画像を出力用画像として記憶する出力用画像メモリと、前記出力用画像メモリの出力と、前記復号化手段の出力とを入力とし、前記復号化手段の出力する第２の復号画像データを、少なくとも１つの階調値については、これを特別値群として該値をとらないように近似値に補正して、前記出力用画像メモリの出力と、該復号化手段の出力とを合成し、合成後の画像データを前記出力用画像メモリに出力する合成手段と、オンスクリーン表示用データを、前記出力画像データに重畳する重畳手段と、を具備したディジタル動画像復号化装置であって、前記合成手段は、前記第２の復号画像を記憶するのに先立って前記出力用画像メモリを読み出し、前記特別値群を検出した画像領域については、前記特別値群をそのまま記憶し、前記特別値群を検出しない画像領域については、前記読み出し値を記憶することにより、前記オンスクリーン表示用データを、前記特別値群として前記出力用画像メモリに記憶する、ことを特徴としたものである。
【００２１】
本発明の請求項６にかかる動画像復号化方法は、請求項５記載の動画像復号化装置において、前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力とを入力とし、前記出力用画像メモリ、または前記参照用画像メモリの内容を出力する際、前記出力用画像メモリの内容を、そのうちの特別値群を検出した画像領域についてのみ、あらかじめ設定した輝度と、色データとに置換して出力する、ことを特徴としたものである。
【００２２】
本発明の請求項７にかかる動画像復号化装置は、請求項５記載の動画像復号化装置において、前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力と、外部映像データと、を入力とし、前記出力用画像メモリの出力、または前記参照用画像メモリの出力のいずれか一方を選択映像として出力する際、前記出力用画像メモリの内容を、そのうちの特別値群を検出した画像領域についてのみ、前記選択映像と前記外部映像とを、あらかじめ設定した透明度で混合した映像データを生成して出力し、前記特別値群を検出しない画像領域については、前記選択映像をそのまま出力する、ことを特徴としたものである。
【００２３】
本発明の請求項８にかかる動画像復号化方法は、請求項５記載の動画像復号化装置において、前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力と、前記外部映像データと、を入力とし、前記出力用画像メモリの出力、または前記参照用画像メモリの出力のいずれか一方を選択映像として出力する際、前記出力用画像メモリの内容を、そのうちの第１の特別値群を検出した画像領域については、前記選択映像と前記外部映像とをあらかじめ設定した透明度で混合した映像データを出力し、第１の特別値群を検出しない画像領域については、前記選択映像をそのまま出力し、第２の特別値群を検出した画像領域については、あらかじめ設定した輝度と色データとに置換して出力する、ことを特徴としたものである。
【００２４】
本発明の請求項９にかかる動画像復号化方法は、請求項５ないし８のいずれかに記載の動画像復号化方法において、予測符号化方式は、ＭＰＥＧ方式である、異を特徴としたものである。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
（実施の形態１）
図１に、本発明の実施の形態１による動画像復号化方法、および画像再生装置の構成図を示す。
図１において、１０はストリームの入力端子、１１０は復号化手段、１２０は制御手段、１３０は参照用画像メモリ、１４０は出力用画像メモリ、１６０は合成手段、５０はホストコントローラ、１７０はスイッチ、１９０は重畳手段、２０は映像出力端子である。
【００２６】
次に、本実施の形態１による再生装置の動作について説明する。
まず、入力端子１０に与えられた動画像のストリームは、後続の復号化手段１１０で復号され、復元された画像を参照用画像メモリ１３０、または出力用画像メモリ１４０に格納する。この復号化方法は、一例としてＭＰＥＧ２に準じた方法を用いる。
【００２７】
ＭＰＥＧ２に準じた方法により復号化した結果は、Ｉフレーム及びＰフレームは参照用画像メモリ１３０に格納され、Ｂフレームは出力用画像メモリ１４０に格納される。
【００２８】
スイッチ１７０では、参照用画像メモリ１３０、または出力用画像メモリ１４０中の画像を、本来画像を出力する順番（表示順）で映像出力されるように、適切に選択する。
【００２９】
制御手段１２０は、ホストコントローラ５０から与えられるユーザからの再生指示にしたがって、復号化手段１１０、およびスイッチ１７０を、適切に制御して、本来表示されるまで保持しておかなくてはならない画像の上書きを防止したり、表示用の完成済み画像が底をつかないように復号動作を継続したり、先述したように適切な順序で画像出力するように、スイッチ１７０を制御する。
【００３０】
さらに、制御手段１２０は、ホストコントローラ５０からの指示で、字幕などのＯＳＤ用のパターンを発生し、出力用画像メモリ１４０に対して描画する働きをする。この説明図を、図３及び図４に示す。
【００３１】
図３は、出力用画像メモリ１４０における値の使われ方を表す。出力用画像メモリ１４０には、Ｂフレームの画像データが格納されるが、各画素データは８ビットであるため、本来表現できる範囲は、図３（ａ）に示すように、０から２５５の範囲である。上述したように、制御手段１２０が出力用画像メモリ１４０に描画動作をするときには、この２５６階調のうち、０の値を、特別にＯＳＤ領域を表すマーカーであると定義し、文字やアイコンのＯＳＤパターンを、０データで上書きする。残りの１から２５５については、従来どおり主映像のデータとする。主映像データの上にＯＳＤパターンを特別な値０データで上書きして、新たな画素値を作成することを、以下では合成と呼ぶことにする。
【００３２】
ただし、以上の代わりに、本来のＢフレームの復号済み画像データとしては、０値をとることを禁止する。すなわち、０として復号されたＢフレームの画像データは、一例としてそれに近い１にクリッピングして修正し、出力用画像メモリ１４０に格納する。この程度の値の修正であれば、人間の視覚特性上、違いを識別できないため、画像の見た目の変化を感じることができない。
【００３３】
出力用画像メモリ１４０上にＯＳＤデータが描画された様子を、図４に示す。図４は、出力用画像メモリ１４０の一部の拡大図で、升目は画素を表しており、本来のＢフレームの主映像データの画素３０ａに混じって、ＯＳＤデータの画素３０ｂが混在している様子を示している。０値であるか否かで直ちに、両者の、すなわち、主映像データか、ＯＳＤデータかの、区別がつくのがポイントである。
【００３４】
上記の説明における、０値のように、主映像データではなく、ＯＳＤデータであることを示すといったように、本来の階調ではなく、特別な意味を持たせた値を、特別値と呼ぶことにする。
【００３５】
次に、重畳手段１９０の動作について説明する。ここでは、入力された画像データが上述の特別値であるか否かを検出して、特別値の場合はあらかじめ決められた輝度と、色データを、ＯＳＤデータとして重畳させる。一例として、０の特別値を、白の字幕データとして重畳させることで、主映像データ上にＯＳＤデータの重畳を行う。
【００３６】
以下では、重畳動作がどのように行われるかを、説明する。
図５は、各時刻での、（ａ）参照用画像メモリ１３０、（ｂ）出力用画像メモリ１４０、及び（ｃ）映像の出力端子、から出力される映像の、様子を示している。
【００３７】
参照用画像メモリ１３０は、内部でＦＭ０，ＦＭ１の２画面分あり、ＩまたはＰフレームの画像データを格納している。一方が作成される際には、他方が参照され、交互に更新される。一方、出力用画像メモリ１４０は、ＦＭ２の１画面分であり、Ｂフレームの画像データを格納している。
【００３８】
まず、時刻Ｔ１では、ＩまたはＰフレームである参照用画像メモリ１３０のＦＭ０中に、現在表示中の主映像の画像データが格納されているとする。そして、ＦＭ０を参照して、新たにＰフレームがＦＭ１に作成され、格納される状態とする。ＦＭ０，ＦＭ１では、ＯＳＤデータは、どんなときも特別値０で上書きされて保存されることはない。しかし、平行して出力用画像メモリ１４０の主映像データも読み出され、それに含まれる特別値０の領域が検出されて、特別値０が検出された領域の画面上の対応する位置に、ＯＳＤデータが重畳される。
【００３９】
すなわち、ＦＭ０の主映像データと、ＦＭ２の特別値０の領域を、所望の輝度、色に置き換えた画像を、映像出力として出力する。
【００４０】
次に、時刻Ｔ２では、Ｂフレームが復号されて出力されている様子を示しているが、復号化手段１１０がＦＭ０とＦＭ１の参照画像から予測して作成するＢフレームの画像データは、ＦＭ２に格納されるが、そのまま格納されるわけでなく、格納される前に読み出されて特別値の領域は、そのまま特別値０のままにしておく。
【００４１】
一方、得られたＢフレームの画像データが、特別値０の値をとってしまう場合は、特別値０にならないように、一例としてクリッピングして値１に修正することは、前述の通りである。修正後のデータは、再びＦＭ２に格納される。
【００４２】
この動作により、ＯＳＤデータはそのままで、主映像データだけ、最新の復号画像に更新されることになる。このように、ＦＭ２では、主映像データと、特別値０は、同じ画像メモリ内に混在して記憶されることになる。
【００４３】
次に、時刻Ｔ３では、時刻Ｔ２と同様に、Ｂフレームが復号されて出力されている様子を示している。動作としては、時刻Ｔ２の場合と同様なため、説明は省略する。
【００４４】
時刻Ｔ２、Ｔ３で行われる、ＦＭ２の更新に先立つ読み出し、特別値０の領域の保存、及びクリッピング処理は、合成手段１６０で行われ、その構成を図２に示す。図２において、２００は検出手段、２１０は置換手段である。
【００４５】
出力用画像メモリ１４０を読み出して得たＢフレームデータは、検出手段２００に入力され、画像中のＯＳＤの領域を検出し、置換手段２１０に通知する。置換手段２１０では、復号化手段１１０で復号して得られたデコード値を入力とし、特別値０と一致してしまう映像データを発見すると、一例として、クリッピングして近似値１に修正し、出力データを得る。また、置換手段２１０は、通知されたＯＳＤ領域では、特別値０を、それ以外であれば、前記映像データを出力し、出力用画像メモリ１４０に格納する。
【００４６】
次に、時刻Ｔ４では、Ｐフレームが復号される様子を示しているが、時刻Ｔ１とは逆側のＦＭ１が参照されて、新たにＰフレームがＦＭ０に作成され、格納される状態である。
このときも、時刻Ｔ１と同様に、ＦＭ２が平行して読み出され、その特別値０の部分を、所望の輝度、色に置き換えた画像を映像出力として出力する。
【００４７】
以上のような動作を、重畳手段１９０にて繰り返し継続的に行うことにより、結果として、Ｉ，Ｐ，Ｂフレームの種別にかかわりなく、所望の輝度、色データのＯＳＤデータを、主映像に重畳させることができる。
なお、以上の実施の形態において、特別値として０を選んだが、０に限定するものでなく、２５５でもよく、さらにこれら以外の値でもよい。
【００４８】
このような本実施の形態１による動画像復号化方法においては、動画像を予測符号化して得たストリームの復号化を行う復号化方法において、復号化を行う際に用いる参照画像を記憶する参照用画像メモリと、該参照用画像メモリを参照して出力用画像を記憶する出力用画像メモリと、を具備し、ストリームを復号化する際、前記出力用画像メモリに格納される出力画像データを、少なくとも１つの階調値を特別値として、これをとらないように近似値に制限し、オンスクリーン表示用データを、前記特別値として前記出力用画像メモリに記憶させることにより、上記出力用画像メモリ１４０を、ＯＳＤ表示用データを格納するのに用いるようにしたものである。このように、主映像のデコードに用いる画像メモリのうち、予測に用いられないＢフレームの画像メモリをＯＳＤ画像用の画像メモリとして兼用することにより、主映像の復号用途に用いるメモリ以外に、別途ＯＳＤデータ専用の画像メモリを設ける必要がなくなり、低価格の画像再生装置を得ることができる効果がある。
【００４９】
（実施の形態２）
次に、本発明の実施の形態２による動画像復号化方法、および画像再生装置を、図６を用いて説明する。
図６に示す本実施の形態２が、上述した、図１に示す実施の形態１と異なるのは、合成手段１６０が合成手段１６０ａに置き換わり、重畳手段１９０が重畳手段１９０ａに置き換わり、特別値設定手段１８０が加わり、これにより設定される特別値が、合成手段１６０ａと、重畳手段１９０ａの双方に供給される点である。その他の符号を付した構成要素は、図１中と同じ符号のものと同じとする。
【００５０】
実施の形態１では、特別値は０という唯一の値を、ＯＳＤ領域を表すマーカーとしていたが、本実施の形態２では、図９（ｂ）に示すように、一例として、０から１５の特別値を設けて、ＬＵＴ（ルックアップテーブル）に定義された輝度、色データに変換するものとする。
【００５１】
ＬＵＴは、１つの特別値ｘに対して、Ｙ，Ｃｂ，Ｃｒの値一組を対応付けた変換表テーブルで、その一例を、図９（ｃ）に示す。この例では、出力用画像メモリに現れる、特別値ｘ＝１は、Ｙ＝１８８，Ｃｂ＝１５６，Ｃｒ＝１００の画素データと解釈され、重畳手段１９０ａで置き換えられて、映像出力として出力される。
【００５２】
図６において、特別値設定手段１８０は、この特別値をどの階調値に設定するか、を与えるもので、該特別値の設定は、合成手段１６０ａと、重畳手段１９０ａとに供給される。
【００５３】
該合成手段１６０ａの構成を、図７に示す。
図７において、２００ａは検出手段、２１０ａは置換手段である。出力用画像メモリ１４０を読み出して得たＢフレームデータは、検出手段２００ａに入力され、画像中のＯＳＤの領域を検出し、置換手段２１０ａに通知する。置換手段２１０ａでは、復号化手段１１０で復号化して得られたデコード値を入力とし、特別値と一致してしまう映像データを発見すると、一例として、クリッピングして近似値に修正し、出力データを得る。
【００５４】
一例として、図９のＬＵＴを用いるときは、０から１５の画素データは、１６にクリッピングする。また、図１０のＬＵＴを用いるときは、加えて、０から１５の画素データは１６に、２３６から２５５は、２３５にクリッピングする。
【００５５】
また、置換手段２１０ａが、通知されたＯＳＤ領域では特別値を、それ以外であれば前記映像データを出力し、出力用画像メモリ１４０に格納するものであるのは、図２に示される置換手段２１０と同じである。
【００５６】
図６に示される、上記重畳手段１９０ａの構成を、図８に示す。
図８において、２３０は検出手段、２４０は置換手段、２５０はルックアップテーブルである。
【００５７】
平行して出力用画像メモリ１４０から読み出された画像データと共に、選択手段１７０の出力する主映像データは、読み出し値として、置換手段２４０に入力され、検出手段２３０にて前者の中に特別値を発見すると、ルックアップテーブル２５０を引き、引いた値で画像データを置換して出力することで、検出された領域の画面上の対応する位置に、ＯＳＤデータが重畳されることになる。ここで、ルックアップテーブル２５０は、前述の図９（ｃ）のような結果を与えるものである。
【００５８】
このような本実施の形態２による動画像復号化方法においては、出力用画像メモリ１４０より出力されるＯＳＤ表示用のデータである特別値として、０から１５の特別値を設けるようにしたので、２つ以上の輝度、色表現をＯＳＤ表示で行うことができ、しかも、その輝度、色の組合せを任意に変更することができ、自由度の高いＯＳＤ表示が可能となる効果が得られる。
【００５９】
なお、以上の実施の形態においては、特別値を０から１５に選んだが、１６階調に限定するものではなく、任意に選べるのはもちろんである。特に、図１０に示すように、階調値の下端だけでなく、一例として２３６から２５５といった上端にも特別値を選んでもよい。また、上端のみに特別値を選んでもよい。
【００６０】
（実施の形態３）
次に、本発明の実施の形態３による動画像復号化方法、および画像再生装置を、図１１を用いて説明する。
図１１に示す本実施の形態３が、上述した、図６に示す実施の形態２と異なるのは、重畳手段１９０ａが重畳手段１９０ｂに置き換わり、外部映像入力端子３０からの入力映像が、該重畳手段１９０ｂに入力されることである。
その他の符号を付した構成要素は、図６中と同じ符号のものと同じとする。
【００６１】
本実施の形態３において、特別値は特別値設定手段１８０ａで設定され、ルックアップテーブル２５０ａで最終的な色、輝度に置換されて出力されるのは、第２の実施の形態と同様であるが、本第３の実施の形態では、図１３（ｂ）に示すように、一例として、階調値０から１５の特別値は、ＬＵＴ（ルックアップテーブル）に定義された輝度、色データへの変換を意味し、階調値２３６から２５５は、外部映像入力端子３０から入力される外部映像と主映像とを混合して表示する際の透明度、を表すものとする。
【００６２】
ここで、透明度は，αとも呼ばれる指標で、一例として、図１３（ｂ）のように、α［ｘ］（ｘ＝０．１，．．，１９）の２０段階を設定できる。
具体的には、一例として、外部映像が完全に透明で、主映像のみが見える状態（α＝０）から、外部映像が完全に不透明で、主映像が隠れる状態（α＝１）までを均等に分割した２０段階を設定できる。すなわち、外部映像を重みαで、主映像を重み（１−α）で混合して得た結果を、映像出力として出力する。
【００６３】
これを利用した場合の画面の様子を、図１４に示す。図１４は、主映像６５０に対して、外部映像６６０が与えられたとき、混合画像６７０が得られることを示している。これは、一例として、階調値２５５をα［１９］＝１とした場合、出力用画像メモリ１４０において、外部映像６６０の領域６６５に相当する部分のみ、階調値２５５が設定された場合の様子である。
【００６４】
重畳手段１９０ａの構成を、図１２に示す。図１２において、２３０は検出手段、２５０ａはルックアップテーブル、２６０は画像処理手段である。
平行して出力用画像メモリ１４０から読み出された画像データと、選択手段１７０の出力する主映像データは、読み出し値として、画像処理手段２６０に入力される。これには、外部映像も入力される。検出手段２３０にて、前記画像データの中に特別値を発見すると、ルックアップテーブル２５ａを引き、引いた値で画像データを置換して出力することで、検出された領域の画面上の対応する位置にＯＳＤデータが重畳されることになるのは、実施の形態２と同じである。
【００６５】
しかし、特別値が透明度である場合、前記主映像データと前記外部映像を、指定された透明度に応じて混合する点が異なっている。
このような本実施の形態３による動画像復号化方法においては、上記実施の形態２におけるように、出力用画像メモリ１４０をＯＳＤ表示用データを格納するのに用いるようにし、その特別値として０から１５の値を用いるようにしたので、２つ以上の輝度、色表現を、ＯＳＤとして表示することができるばかりでなく、主映像データと、外部映像とを、指定した割合で混合するようにすることもでき、さらに自由度の高いＯＳＤ表示が可能となる効果が得られる。
【００６６】
なお、以上の実施の形態において、特別値を０から１５に選んだが、１６階調に限定するものではなく、任意に選べるのはもちろんである。特に、図１０に示すように、階調値の下端だけでなく、一例として、２３６から２５５といった上端にも特別値として選んでもよい。また、上端のみに特別値を選んでもよい。また、階調値における、透明度とＬＵＴの割り当ては、図１３に限定されるものでなく、任意に選んでもよいのはもちろんである。
【００６７】
なお、以上のすべての実施の形態において、動画像のストリームのデータはＭＰＥＧ２規格にて符号化されたものに限定するものでなく、ある決められたアルゴリズムにしたがって復号化処理して出力を得る動画像の再生方法、に適用できることは、もちろんである。
【００６８】
また、以上のすべての実施の形態において、動画像のストリームのデータは、画像データのみからなるものに限定されるものではなく、音声データを伴う動画像の再生方法にも適用できることは、もちろんである。
【００６９】
【発明の効果】
以上のように、本発明にかかる動画像復号化方法、およびその装置によれば、出力用画像メモリをＯＳＤデータの格納場所として兼用するため、主映像の復号用途以外に、ＯＳＤデータ用の画像メモリを設ける必要がなく、装置の価格を安くできるという効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による動画像再生装置の説明図
【図２】本発明の実施の形態１における合成手段１６０の説明図
【図３】本発明の実施の形態１における出力用画像メモリ１４０の画素値の説明図
【図４】本発明の実施の形態１における出力用画像メモリ１４０の拡大図
【図５】本発明の実施の形態１における参照用画像メモリ、出力用画像メモリ、及び映像出力の説明図
【図６】本発明の実施の形態２による動画像再生装置の説明図
【図７】本発明の実施の形態２における合成手段１６０ａの説明図
【図８】本発明の実施の形態２における重畳手段１９０ａの説明図
【図９】本発明の実施の形態２における出力用画像メモリ１４０の画素値の説明図
【図１０】本発明の実施の形態２における出力用画像メモリ１４０の画素値の説明図
【図１１】本発明の実施の形態３による動画像再生装置の説明図
【図１２】本発明の実施の形態３における重畳手段１９０ｂの説明図
【図１３】本発明の実施の形態３における出力用画像メモリ１４０の画素値の説明図
【図１４】本発明の実施の形態３における映像出力の説明図
【図１５】従来の動画像再生装置の説明図
【図１６】従来の動画像再生装置の映像出力の説明図
【図１７】ＭＰＥＧ２規格の説明図
【図１８】従来の動画像再生装置の画像データ、及び画像メモリの配置に関する説明図
【符号の説明】
１０、３０、４１０入力端子
２０、４２０出力端子
３０ａ、３０ｂ画素
５０、４５０ホストコントローラ
１１０、５１０復号化手段
１２０、５２０制御手段
１３０、５３０参照用画像メモリ
１４０、５４０出力用画像メモリ
５５０ＯＳＤ用画像メモリ
１６０、１６０ａ合成手段
１７０、５７０選択手段
１８０、１８０ａ特別値設定手段
１９０、１９０ａ、１９０ｂ、５９０重畳手段
２００、２００ａ、２３０検出手段
２１０、２１０ａ、２４０置換手段
２５０、２５０ａルックアップテーブル
２６０画像処理手段
６００、６５０主映像
６１０ＯＳＤ画像
６２０重畳後の画像
６６０外部入力画像
６６５外部入力画像の特定領域
６７０混合画像

Claims

動画像を予測符号化して得たストリームを入力とし、該ストリームの復号化を行う復号化方法において、
前記復号化を行う際に用いる参照画像を記憶する参照用画像メモリと、
前記参照用画像メモリを参照して復号化された出力用画像を記憶する出力用画像メモリと、を具備し、
前記ストリームを復号化する際、
前記復号された出力用画像データを、少なくとも１つの階調値についてはこれを特別値として、該値をとらないように近似値に補正して、前記出力用画像メモリに記憶し、
オンスクリーン表示用データを、前記特別値として前記出力用画像メモリに記憶する、
ことを特徴とする動画像復号化方法。
請求項１記載の動画像復号化方法において、
前記特別値は、０または表現可能な最大値のいずれか一方である、
ことを特徴とする動画像復号化方法。
請求項１記載の動画像復号化方法において、
前記特別値は、０と表現可能な最大値とである、
ことを特徴とする動画像復号化方法。
請求項１ないし３のいずれかに記載の動画像復号化方法において、
予測符号化方式は、ＭＰＥＧ方式である、
ことを特徴とする動画像復号化方法。
ディジタル動画像を予測符号化して得たストリームを入力とし、該ストリームの復号化を行う復号化手段と、
前記復号化時に得た第１の復号画像を参照画像として記憶する参照用画像メモリと、
前記復号化時に得た第２の復号画像を出力用画像として記憶する出力用画像メモリと、
前記出力用画像メモリの出力と、前記復号化手段の出力とを入力とし、前記復号化手段の出力する第２の復号画像データを、少なくとも１つの階調値については、これを特別値群として該値をとらないように近似値に補正して、前記出力用画像メモリの出力と、該復号化手段の出力とを合成し、合成後の画像データを前記出力用画像メモリに出力する合成手段と、
オンスクリーン表示用データを、前記出力画像データに重畳する重畳手段と、を具備したディジタル動画像復号化装置であって、
前記合成手段は、
前記第２の復号画像を記憶するのに先立って前記出力用画像メモリを読み出し、前記特別値群を検出した画像領域については、前記特別値群をそのまま記憶し、前記特別値群を検出しない画像領域については、前記読み出し値を記憶することにより、前記オンスクリーン表示用データを、前記特別値群として前記出力用画像メモリに記憶する、
ことを特徴とする動画像復号化装置。
請求項５記載の動画像復号化装置において、
前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力とを入力とし、
前記出力用画像メモリ、または前記参照用画像メモリの内容を出力する際、前記出力用画像メモリの内容を、そのうちの特別値群を検出した画像領域についてのみ、あらかじめ設定した輝度と、色データとに置換して出力する、
ことを特徴とする動画像復号化装置。
請求項５記載の動画像復号化装置において、
前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力と、外部映像データと、を入力とし、
前記出力用画像メモリの出力、または前記参照用画像メモリの出力のいずれか一方を選択映像として出力する際、前記出力用画像メモリの内容を、そのうちの特別値群を検出した画像領域についてのみ、前記選択映像と前記外部映像とをあらかじめ設定した透明度で混合した映像データを生成して出力し、前記特別値群を検出しない画像領域については、前記選択映像をそのまま出力する、
ことを特徴とする動画像復号化装置。
請求項５記載の動画像復号化装置において、
前記重畳手段は、前記出力用画像メモリの出力と、前記参照用画像メモリの出力と、前記外部映像データと、を入力とし、
前記出力用画像メモリの出力、または前記参照用画像メモリの出力のいずれか一方を選択映像として出力する際、前記出力用画像メモリの内容を、そのうちの第１の特別値群を検出した画像領域については、前記選択映像と前記外部映像とをあらかじめ設定した透明度で混合した映像データを生成して出力し、
第１の特別値群を検出しない画像領域については、前記選択映像をそのまま出力し、
第２の特別値群を検出した画像領域については、あらかじめ設定した輝度と、色データとに置換して出力する、
ことを特徴とする動画像復号化装置。
請求項５ないし８のいずれかに記載の動画像復号化方法において、
予測符号化方式は、ＭＰＥＧ方式である、
ことを特徴とする動画像の復号化方法。