JP3880255B2 - 画像合成システム及び方法 - Google Patents
画像合成システム及び方法 Download PDFInfo
- Publication number
- JP3880255B2 JP3880255B2 JP27139299A JP27139299A JP3880255B2 JP 3880255 B2 JP3880255 B2 JP 3880255B2 JP 27139299 A JP27139299 A JP 27139299A JP 27139299 A JP27139299 A JP 27139299A JP 3880255 B2 JP3880255 B2 JP 3880255B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- picture
- image
- sub
- macroblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は画像合成システムに関する。特に、本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式で圧縮された画像データと、ランレングス方式で圧縮された画像データとを合成する画像合成システム及び方法に関する。
【０００２】
【従来の技術】
図８は本発明の前提となる画像合成システムを説明する図である。本図に示すように、本発明の前提となる画像合成システムにおいては、ＭＰＥＧ方式で圧縮された主画像データと、ランレングス方式で圧縮された映画、カラオケの字幕などの副画像データとがそれぞれ復号され、半透明合成処理後、再生表示が行われる。
【０００３】
ＭＰＥＧ方式では、動き補償のため、次のフレームの予測画像として参照されるように、復元画像が画像データバッファに蓄積されている。
【０００４】
【発明が解決しょうとする課題】
しかしながら、ＭＰＥＧデコード、ランレングスデコードのデコード処理、合成処理をソフトウエアで処理する場合に、従来はＭＰＥＧデコード後の画像データバッファ上で副画像の合成処理を行っていたためＭＰＥＧデコード後の画像データバッファに蓄積されている復元画像が書き換えられていた。
【０００５】
このように、画像データバッファの主画像の復元画像が副画像と合成されているため、ＭＰＥＧデコード時に次のフレームの予測画像として画像データバッファに蓄積されている復元画像を参照できない。
【０００６】
また、パーソナルコンピュータには、ＭＰＥＧデコーダのハードウエアを搭載し、ＭＰＥＧ動画を表示するものがある。
このようなパーソナルコンピュータでは、パーソナルコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の処理負荷に余裕がないと前述した主画像と副画像を半透明合成処理することができないという問題がある。
【０００７】
このため、パーソナルコンピュータの表示装置に特別のハードウエアを設ける場合があった。
したがって、本発明は上記問題点に鑑みて、特別のハードウェアを設けずにソフトウェアのみで実現し、且つ合成処理の負荷を少なくするための画像合成システム及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は前記問題点を解決するために、ＭＰＥＧ方式で圧縮された主画像データと、前記ＭＰＥＧと異なる方式で圧縮された副画像データとを合成する画像合成システムにおいて、前記主画像データが逆量子化され、逆ＤＣＴ処理された後、Ｉピクチャ形式データ、Ｐピクチャ形式データ、Ｂピクチャ形式データの伸長をマクロブロックデータ毎に行うＭＣ処理部と、前記ＭＣ処理部に入力する前記主画像データの前記Ｉピクチャ形式データのマクロブロックデータを格納するマクロブロック格納部と、前記副画像データをＭＰＥＧ方式のマクロブロックデータに変換し、副画像として主画像に重なる部分のマクロブロックデータと前記マクロブロック格納部に格納されている前記Ｉピクチャ形式データのマクロブロックデータとを半透明合成したＩピクチャに対する差分マクロブロックデータを作成し、前記ＭＣ処理部で伸長が行われるＢピクチャ形式データのマクロブロックデータとして出力する副画像マクロブロック生成部とを備え、前記ＭＣ処理部は、副画像処理時は、前記副画像マクロブロック生成部で作成されたＢピクチャ形式のマクロブロックデータを、前記マクロブロック格納部により格納されるマクロブロックデータと同一内容のＩピクチャ形式データを参照して伸長することを特徴とする画像合成システムを提供する。
【００１１】
この手段により、副画像と合成し、作成したＩピクチャ、Ｐピクチャの画像がＭＣ処理部で伸長されるので、合成画像の復元が可能になり、且つ合成処理の負荷が少なくなり、ＭＰＥＧデコーダを搭載したパーソナルコンピュータの表示装置に特別のハードウェアを必要としなくなった。
好ましくは、前記副画像がランレングス方式で圧縮されてもよい。この手段により、ランレングス方式で圧縮された副画像は、映画、カラオケの字幕などに使用される。
【００１２】
好ましくは、前記半透明合成の処理は：コントラスト値が０から１５の１６通りの合成比を持つ場合には、
Ｙ３＝（ｋ×（Ｙ２−Ｙ１））÷１６
Ｕ３＝（ｋ×（Ｕ２−Ｕ１））÷１６
Ｖ３＝（ｋ×（Ｖ２−Ｖ１））÷１６
【００１３】
ただし、ｋ＝コントラスト値＋１（コントラスト値＝０の時はｋ＝０とする）
ここに、Ｙ１、Ｕ１、Ｖ１：主画像の輝度、色差データ
Ｙ２、Ｕ２、Ｖ２：副画像の輝度、色差データ
Ｙ３、Ｕ３、Ｖ３：合成後の差分の輝度、色差データ
として行われる。
【００１４】
この手段により、半透明合成処理の負担を軽減できる。
【００１５】
さらに、本発明は、ＭＰＥＧ方式で圧縮された主画像データと、前記ＭＰＥＧと異なる方式で圧縮された副画像データとを合成する画像合成方法において、前記主画像データが逆量子化され、逆ＤＣＴ処理された後、Ｉピクチャ形式データ、Ｐピクチャ形式データ、Ｂピクチャ形式データの伸長をマクロブロックデータ毎に行う工程と、逆ＤＣＴ処理された後前記主画像データの前記Ｉピクチャ形式データのマクロブロックデータを格納する工程と、前記副画像データをＭＰＥＧ方式のマクロブロックデータに変換し、副画像として主画像に重なる部分のマクロブロックデータと格納されている前記Ｉピクチャ形式データの前記マクロブロックデータとを半透明合成したＩピクチャに対する差分マクロブロックデータを作成し、Ｂピクチャ形式データのマクロブロックデータとして出力し、副画像処理時は、前記副画像データが半透明合成されたＢピクチャ形式データのマクロブロックデータを前記格納されているＩピクチャ形式データのマクロブロックデータと同一内容のＩピクチャ形式データを参照して伸長する工程とを備えることを特徴とする画像合成方法を提供する。
【００１６】
この手段により、上記発明と同様に、副画像と合成し、作成したＢピクチャの画像がＭＣ処理部で伸長されるので、合成画像の復元が可能になり、且つ合成処理の負荷が少なくなり、ＭＰＥＧデコーダを搭載したパーソナルコンピュータの表示装置に特別のハードウェアを必要としなくなった。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明に係る画像合成システムの概略構成を示すブロック図である。本図に示すように、画像合成システムには記憶装置１００が設けられ、記憶装置１００はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等で圧縮符号化された主画像データと、ランレングス方式等で圧縮符号化された映画、カラオケの字幕などの副画像データとの多重化データを記憶している。
【００１８】
記憶装置１００にはデータ分離部１１０が接続され、データ分離部１１０は記憶装置１００から読み出した多重化データから、圧縮主画像データと圧縮副画像との分離処理を施す。
データ分離部１１０には主画像処理部１２０と副画像処理部１３０が接続され、主画像処理部１２０にはデータ分離部１１０から分離処理された圧縮主画像が入力され、副画像処理部１３０にはデータ分離部１１０から分離処理された圧縮副画像が入力される。
【００１９】
主画像処理部１２０にはハフマン復号部１２１が設けられ、ハフマン復号部１２１はデータ分離部１１０に接続され、ＭＰＥＧ方式等で圧縮符号化された画像データのハフマン復号処理を施す。
ハフマン復号部１２１には逆量子化部１２２が接続され、逆量子化部１２２はＭＰＥＧ方式等で圧縮符号化された画像データの逆量子化処理を施す。
【００２０】
逆量子化部１２２にはＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｅｒ）部１２３が接続され、ＩＤＣＴ部１２３はＭＰＥＧ方式等で圧縮符号化された画像データのＩＤＣＴ処理を施す。
ＩＤＣＴ部１２３にはＭＣ（動き補償）部１２４が接続され、ＭＣ処理部１２４は、予測メモリ１、予測メモリ２を有し、ＩＤＣＴ後のデータ、つまり、１ピクチャ分のＩピクチャ（Ｉｎｔｒａ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｅｄｉｃｔｉｖｅ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｅｄ−Ｐｉｃｔｕｒｅ）のマクロブロックデータを入力するとともに、ＭＰＥＧ方式等で圧縮符号化された画像データのＭＣ処理を施し、ＭＣ後の画像データは１枚の復元画像として表示され、予測メモリ１、予測メモリ２は画像データバッファであり、Ｉピクチャ、Ｐピクチャの場合は、次のフレームの予測画像として参照されるように復元画像として表示された画像データを蓄積する。
【００２１】
さらに、ＩＤＣＴ部１２３には副画像処理部１３０のマクロブロック格納部１３３が接続され、マクロブロック格納部１３３は、ＩＤＣＴ処理された画像データのうち後述するＩピクチャのマクロブロックデータだけを格納する。
副画像処理部１３０には副画像復号部１３１が設けられ、副画像復号部１３１はランレングス方式等で圧縮符号化された副画像の復号処理を行なう。
【００２２】
副画像復号部１３１には副画像フレームバッファ１３２が接続され、副画像フレームバッファ１３２は副画像復号部１３１により復号処理された画像データを保持する。
副画像フレームバッファ１３２にはマクロブロック分離部１３４が接続され、マクロブロック分離部１３４は副画像フレームバッファ１３２により保持された画像データをＭＰＥＧ方式等のマクロブロックデータとして分離する。
【００２３】
マクロブロック分離部１３４には差分マクロブロック作成部１３５が接続され、差分マクロブロック作成部１３５は、マクロブロック分離部１３４で分離されたマクロブロックデータを入力し、マクロブロック分離部１３４で分離されたマクロブロックデータが副画像として主画像の位置に重なる部分である場合、マクロブロック格納部１３３からＩピクチャのマクロブロックデータを読み込み、マクロブロック格納部１３３から読み込んだＩピクチャのマクロブロックデータとマクロブロック分離部１３４で分離されたマクロブロックデータから半透明合成処理した差分ブロックデータを作成する。
【００２４】
差分マクロブロック作成部１３５により作成された差分マクロブロックデータは主画像処理部１２０内のＭＣ処理部１２４の入力側に出力される。
さらに、マクロブロック分離部１３４にはスキップドマクロブロック作成部１３６が接続され、マクロブロック分離部１３４は、マクロブロック分離部１３４で分離されたマクロブロックのうち副画像が主画像の位置に重ならない部分のマクロブロックをスキップドマクロブロックとし、スキップドマクロブロック作成部１３６にその旨を通知する。
【００２５】
なお、スキップドマクロブロックでは差分マクロブロックデータが０である。スキップドブロック作成部１３６ではマクロブロック分離部１３４から通知を受けると、ＭＣ処理部１２４に入力側に対してスキップドマクロブロックであることをフラグなどで通知し、スキップドマクロブロックデータがＭＣ処理部１２４の入力側に出力される。
【００２６】
副画像処理時は、主画像処理部１２０内のＭＣ処理部１２４の入力側では、副画像処理部１３０の差分マクロブロック作成部１３５でＢピクチャとして作成した差分マクロブロックデータが入力される。
【００２７】
副画像処理時は、ＭＣ処理部１２４は、マクロブロック格納部１３３に格納されたマクロブロックデータのＩピクチャと同じフレームが予測メモリ１又は予測メモリ２に格納されているので、マクロブロック格納部１３３に格納されたマクロブロックデータのＩピクチャと同じフレームを参照画像として副画像処理部で作成したＢピクチャのマクロブロックデータにＭＣ処理を施し、ＭＣ後の画像データは１枚の画像データとして表示される。
図２は主画像のマクロブロックデータの形式を示す図である。本図（a）に示すように、主画像処理部１２０のＩＤＣＴ部１２３でＩＤＣＴ処理され、ＭＣ処理部１２４に入力されるマクロブロックデータの形式は、本図に示すように、縦１６画素、横１６画素分のＹＵＶ（Ｙ：輝度信号、Ｕ：Ｒ−Ｙの色差信号、Ｖ：Ｂ−Ｙの色差信号、Ｒ：Ｒｅｄ、Ｂ：Ｂｌｕｅ）データとする。
【００２８】
本図（ｂ）に示すように、ＵＶデータについてそれぞれＹデータの縦横１／２とし、８ビットのＹデータ４個に対し８ビットのＵＶデータそれぞれ１個が対応することとする。
図３は副画像フレームバッファ１３２に格納されるマクロブロックデータ形式を示す図である。本図（a）に示すように、副画像処理部１３０の副画像復号部１３１で復号され副画像フレームバッファ１３２に格納される副画像のデータ形式は、本図（ｂ）に示すように、１画素当り０〜１５の値を持つ４ビットのコントラスト値（Ｃｏｎｓｔｒａｓｔ）と、０〜１５の値を持つ４ビットのインデックス値（Ｉｎｄｅｘ）との計８ビットの副画像フレームデータと、４ビットのインデックス値からＹＵＶ各８ビットの色データを参照する副画像カラーテーブルとから構成されているものとする。
【００２９】
本図（ｃ）に示すように、マクロブロック分離部１３４から出力される副画像のマクロブロックデータ形式は、縦１６画素、横１６画素分のＹＵＶデータ及びコントラスト値で構成されているものとする。
ここで、コントラスト値０は透明を現し、コントラスト値１５は非透明を現し、コントラスト値１〜１４は半透明を現す。
【００３０】
図４はＭＰＥＧ方式の主画像データのピクチャ構成を示す図である。ＭＰＥＧ方式のピクチャタイプには、そのピクチャのみで伸長が可能なＩピクチャ（Ｉｎｔｒａ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）と、前のＩピクチャ又はＰピクチャ（Ｐｅｄｉｃｔｉｖｅ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）を参照して伸長するＰピクチャと、２つのＩピクチャ又はＰピクチャを参照して伸長するＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｅｄ−Ｐｉｃｔｕｒｅ）ピクチャが存在する。
【００３１】
また、圧縮データに現れるピクチャの順番と表示するピクチャの順番には違いがある。本図に示すように、圧縮データの順番を、
Ｉ０、Ｐ１、Ｂ２、Ｂ３、Ｐ４、Ｂ５、Ｂ６、Ｉ７、Ｂ８、…
とすると、表示の順番は、
Ｉ０、Ｂ２、Ｂ３、Ｐ１、Ｂ５、Ｂ６、Ｐ４、Ｂ８、Ｉ７、…
となり、Ｂピクチャの前にあるＩピクチャ又はＰピクチャはＢピクチャの後に表示されることになる。
【００３２】
なお、図中、Ｉ、Ｐ、Ｂはピクチャタイプを示し、ピクチャタイプに続く数字は圧縮データに現れるピクチャの順番である。
このように、Ｉピクチャ、Ｐピクチャは他のピクチャに参照されるが、Ｂピクチャは他のピクチャに参照されることはない。
すなわち、ＭＣ処理部１２４の予測メモリ１、予測メモリ２にはＩピクチャ又はＰピクチャが記憶され、Ｂピクチャは記憶されない。
【００３３】
ＭＣ処理部１２４では、各ピクチャの参照、伸長等のＭＣ処理が行われる。
本実施の形態では、Ｂピクチャが参照に用いられないため、副画像データを合成した画像データをＭＰＥＧ方式のＢピクチャとして処理する方法が取られる。図５はマクロブロック分離部１３４により作成されるマクロブロックデータを説明する図である。マクロブロック分離部１３４は、本図（ａ）に示すように、副画像フレームバッファ１３２から主画像サイズの副画像の左上から右方向に順番に縦１６画素、横１６画素のマクロブロックデータを取り出す。
【００３４】
マクロブロック分離部１３４が取り出したマクロブロックデータのうち、副画像が主画像に重なる部分のマクロブロックは、縦１６画素、横１６画素分のコントラスト、Ｙ、Ｕ、Ｖの副画像マクロブロックデータとする。
なお、Ｙの副画像マクロブロックデータは、後述する半透明合成の計算のためにＹＡ部、ＹＢ部、ＹＣ部、ＹＤ部に分割される。
【００３５】
マクロブロック分離部１３４は、取り出したマクロブロックデータのうち、主画像サイズ中、副画像に重ならないマクロブロックデータをスキップドマクロブロックとし、前述のように、スキップドマクロブロック作成部１３６に通知する。
【００３６】
図６は差分マクロブロック作成部１３５の処理の流れを示すフローチャートであり、図７は差分マクロブロック作成部１３５におけるマクロブロックのデータ構成を示す図であり、図７（ａ）は差分マクロブロック作成部１３５が取り出す主画像のマクロブロックデータを示し、図７（ｂ）は差分マクロブロック作成部１３５が取り出す副画像のマクロブロックデータを示し、図７（ｃ）は差分マクロブロック作成部１３５が出力する半透明合成後の差分マクロブロックデータを示す。
【００３７】
図６に示すように、ステップＳ０１において、差分マクロブロック作成部１３５の処理のイニシャル（初期化）を行う。
ステップＳ０２において、副画像フレームバッファ１３２から１マクロブロック分のデータを取得する。取得されたマクロブロックデータの構成は図７（ａ）、（ｂ）に示すように、縦１６画素、横１６画素分のＹＵＶデータ及びコントラストデータとする。ただし、ＵＶデータについてはＭＰＥＧのデータ形式にあわせて縦横１／２のデータサイズとする。
【００３８】
ステップＳ０３〜ステップＳ０８では、Ｂピクチャとして、図７（ａ）に示すマクロブロックデータのＹＡ部、ＹＢ部、ＹＣ部、ＹＤ部、Ｕ部、Ｖ部の順に合成後の差分マクロブロックデータを計算し、計算結果を、図示しない出力バッファに格納する。
先ず、ステップＳ０３１において、図７（ａ）に示す形式の主画像データを取得する。
【００３９】
ステップＳ０３２において、図７（ｂ）に示す形式の副画像データを取得する。
ステップＳ０３３において、Ｂピクチャに対して、合成後の差分マクロブロックデータを計算する。
ステップＳ０３４において、計算結果を図７（ｃ）に示す形式の図示しない出力バッファに格納する。
【００４０】
ステップＳ０３５において、本実施の形態のようにコントラスト値が０から１５の１６通りの合成比を持つ場合には、合成後の差分計算は、次式にしたがって行う。
Ｙ３＝（ｋ×（Ｙ２−Ｙ１））÷１６
Ｕ３＝（ｋ×（Ｕ２−Ｕ１））÷１６
【００４１】
Ｖ３＝（ｋ×（Ｖ２−Ｖ１））÷１６
ただし、ｋ＝コントラスト値＋１（コントラスト値＝０の時はｋ＝０とする）
ここに、Ｙ１、Ｕ１、Ｖ１：主画像の輝度、色差データ
Ｙ２、Ｕ２、Ｖ２：副画像の輝度、色差データ
【００４２】
Ｙ３、Ｕ３、Ｖ３：合成後の差分の輝度、色差データ
ＹＡ部の画素数分（縦８横８画素分）全て処理したかをチェックして、全て処理終了するまでステップＳ０３１〜ステップＳ３４の処理を繰り返す。
ステップＳ０４〜ステップＳ０８はステップＳ０３の処理と同様にＹＢ部、ＹＣ部、ＹＤ部、Ｕ部、Ｖ部について処理を行い、１マクロブロック分のマクロブロック作成処理を終了する。
【００４３】
以上、副画像データをＭＰＥＧ方式のマクロブロックデータに変換する方法を説明したが、本実施の形態では、変換したマクロブロックデータをＭＰＥＧ方式のＢピクチャとして処理する方法とした。
Ｂピクチャの場合には、副画像が合成されても、他のピクチャに参照されることがなく、復号後、すぐに表示されるためである。
【００４６】
【発明の効果】
以上説明したように、本発明によれば、主画像処理部１２０に特別の処理を加えなくとも、主画像の復号時に副画像と合成した画像の参照を回避することが可能になった。
ＭＰＥＧ方式などの圧縮画像を復号する際には、他のピクチャを参照して復号する場合があるが、本発明では参照されないＢピクチャを利用するためである。
【００４７】
次に、本発明によれば、ＣＰＵの処理負荷に余裕のないＭＰＥＧデコーダ搭載のパーソナルコンピュータの表示装置に特別なハードウエアを設ける必要がないことである。
画像合成処理は標準のＭＰＥＧ方式にＭＣ処理を利用した副画像の半透明合成処理を行えるようにしたためである。
次に、本発明によれば、主画像に映画、カラオケの字幕などの副画像を合成する際の合成処理の負荷をより低減できる。
【００４８】
通常の半透明合成計算は次式（１）の計算式によるが、本発明の計算式は次式（２）のようにしたので、計算量は少なくなるためである。
Ｙ３＝（ｋ×Ｙ２＋（１６−ｋ）×Ｙ１）÷１６…（１）
Ｙ３＝（ｋ×（Ｙ２−Ｙ１））÷１６ …（２）
ＭＰＥＧのＰピクチャ、Ｂピクチャは参照するピクチャとの差分データであり、ＭＣ処理部１２４で参照するピクチャとの足し合わせをするため、半透明合成後の差分計算では足し合わせ前のデータを作成すればよいからである。
【００４９】
さらに、差分マクロブロック作成部１３５で作成されるマクロブロックの数は副画像が含まれるマクロブロックの数だけで済み、映画の字幕ように副画像のサイズが小さい場合は処理量が少ないためである。
次に、本発明によれば、復号後に表示される画像データをアクセスすることなく主画像と副画像の合成が可能になる。
ＩＤＣＴ後のマクロブロックデータに対して副画像のデータを合成するためである。
【図面の簡単な説明】
【図１】本発明に係る画像合成システムの概略構成を示すブロック図である。
【図２】主画像のマクロブロックデータの形式を示す図である。
【図３】副画像フレームバッファ１３２に格納されるマクロブロックデータ形式を示す図である。
【図４】ＭＰＥＧ方式の主画像データのピクチャ構成を示す図である。
【図５】マクロブロック分離部１３４により作成されるマクロブロックデータを説明する図である。
【図６】差分マクロブロック作成部１３５の処理の流れを示すフローチャートである。
【図７】差分マクロブロック作成部１３５におけるマクロブロックのデータ構成を示す図である。
【図８】本発明の前提となる画像合成システムを説明する図である。
【符号の説明】
１００…記憶装置
１１０…データ分離部
１２０…主画像処理部
１２１…ハフマン復号部
１２２…逆量子化部
１２３…ＩＤＣＴ部
１２４…ＭＣ部
１３０…副画像処理部
１３１…副画像復号部
１３２…副画像フレームバッファ
１３３…マクロブロック格納部
１３４…マクロブロック分離部
１３５…差分マクロブロック作成部
１３６…スキップドマクロブロック作成部
【産業上の利用分野】
本発明は画像合成システムに関する。特に、本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式で圧縮された画像データと、ランレングス方式で圧縮された画像データとを合成する画像合成システム及び方法に関する。
【０００２】
【従来の技術】
図８は本発明の前提となる画像合成システムを説明する図である。本図に示すように、本発明の前提となる画像合成システムにおいては、ＭＰＥＧ方式で圧縮された主画像データと、ランレングス方式で圧縮された映画、カラオケの字幕などの副画像データとがそれぞれ復号され、半透明合成処理後、再生表示が行われる。
【０００３】
ＭＰＥＧ方式では、動き補償のため、次のフレームの予測画像として参照されるように、復元画像が画像データバッファに蓄積されている。
【０００４】
【発明が解決しょうとする課題】
しかしながら、ＭＰＥＧデコード、ランレングスデコードのデコード処理、合成処理をソフトウエアで処理する場合に、従来はＭＰＥＧデコード後の画像データバッファ上で副画像の合成処理を行っていたためＭＰＥＧデコード後の画像データバッファに蓄積されている復元画像が書き換えられていた。
【０００５】
このように、画像データバッファの主画像の復元画像が副画像と合成されているため、ＭＰＥＧデコード時に次のフレームの予測画像として画像データバッファに蓄積されている復元画像を参照できない。
【０００６】
また、パーソナルコンピュータには、ＭＰＥＧデコーダのハードウエアを搭載し、ＭＰＥＧ動画を表示するものがある。
このようなパーソナルコンピュータでは、パーソナルコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の処理負荷に余裕がないと前述した主画像と副画像を半透明合成処理することができないという問題がある。
【０００７】
このため、パーソナルコンピュータの表示装置に特別のハードウエアを設ける場合があった。
したがって、本発明は上記問題点に鑑みて、特別のハードウェアを設けずにソフトウェアのみで実現し、且つ合成処理の負荷を少なくするための画像合成システム及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は前記問題点を解決するために、ＭＰＥＧ方式で圧縮された主画像データと、前記ＭＰＥＧと異なる方式で圧縮された副画像データとを合成する画像合成システムにおいて、前記主画像データが逆量子化され、逆ＤＣＴ処理された後、Ｉピクチャ形式データ、Ｐピクチャ形式データ、Ｂピクチャ形式データの伸長をマクロブロックデータ毎に行うＭＣ処理部と、前記ＭＣ処理部に入力する前記主画像データの前記Ｉピクチャ形式データのマクロブロックデータを格納するマクロブロック格納部と、前記副画像データをＭＰＥＧ方式のマクロブロックデータに変換し、副画像として主画像に重なる部分のマクロブロックデータと前記マクロブロック格納部に格納されている前記Ｉピクチャ形式データのマクロブロックデータとを半透明合成したＩピクチャに対する差分マクロブロックデータを作成し、前記ＭＣ処理部で伸長が行われるＢピクチャ形式データのマクロブロックデータとして出力する副画像マクロブロック生成部とを備え、前記ＭＣ処理部は、副画像処理時は、前記副画像マクロブロック生成部で作成されたＢピクチャ形式のマクロブロックデータを、前記マクロブロック格納部により格納されるマクロブロックデータと同一内容のＩピクチャ形式データを参照して伸長することを特徴とする画像合成システムを提供する。
【００１１】
この手段により、副画像と合成し、作成したＩピクチャ、Ｐピクチャの画像がＭＣ処理部で伸長されるので、合成画像の復元が可能になり、且つ合成処理の負荷が少なくなり、ＭＰＥＧデコーダを搭載したパーソナルコンピュータの表示装置に特別のハードウェアを必要としなくなった。
好ましくは、前記副画像がランレングス方式で圧縮されてもよい。この手段により、ランレングス方式で圧縮された副画像は、映画、カラオケの字幕などに使用される。
【００１２】
好ましくは、前記半透明合成の処理は：コントラスト値が０から１５の１６通りの合成比を持つ場合には、
Ｙ３＝（ｋ×（Ｙ２−Ｙ１））÷１６
Ｕ３＝（ｋ×（Ｕ２−Ｕ１））÷１６
Ｖ３＝（ｋ×（Ｖ２−Ｖ１））÷１６
【００１３】
ただし、ｋ＝コントラスト値＋１（コントラスト値＝０の時はｋ＝０とする）
ここに、Ｙ１、Ｕ１、Ｖ１：主画像の輝度、色差データ
Ｙ２、Ｕ２、Ｖ２：副画像の輝度、色差データ
Ｙ３、Ｕ３、Ｖ３：合成後の差分の輝度、色差データ
として行われる。
【００１４】
この手段により、半透明合成処理の負担を軽減できる。
【００１５】
さらに、本発明は、ＭＰＥＧ方式で圧縮された主画像データと、前記ＭＰＥＧと異なる方式で圧縮された副画像データとを合成する画像合成方法において、前記主画像データが逆量子化され、逆ＤＣＴ処理された後、Ｉピクチャ形式データ、Ｐピクチャ形式データ、Ｂピクチャ形式データの伸長をマクロブロックデータ毎に行う工程と、逆ＤＣＴ処理された後前記主画像データの前記Ｉピクチャ形式データのマクロブロックデータを格納する工程と、前記副画像データをＭＰＥＧ方式のマクロブロックデータに変換し、副画像として主画像に重なる部分のマクロブロックデータと格納されている前記Ｉピクチャ形式データの前記マクロブロックデータとを半透明合成したＩピクチャに対する差分マクロブロックデータを作成し、Ｂピクチャ形式データのマクロブロックデータとして出力し、副画像処理時は、前記副画像データが半透明合成されたＢピクチャ形式データのマクロブロックデータを前記格納されているＩピクチャ形式データのマクロブロックデータと同一内容のＩピクチャ形式データを参照して伸長する工程とを備えることを特徴とする画像合成方法を提供する。
【００１６】
この手段により、上記発明と同様に、副画像と合成し、作成したＢピクチャの画像がＭＣ処理部で伸長されるので、合成画像の復元が可能になり、且つ合成処理の負荷が少なくなり、ＭＰＥＧデコーダを搭載したパーソナルコンピュータの表示装置に特別のハードウェアを必要としなくなった。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明に係る画像合成システムの概略構成を示すブロック図である。本図に示すように、画像合成システムには記憶装置１００が設けられ、記憶装置１００はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等で圧縮符号化された主画像データと、ランレングス方式等で圧縮符号化された映画、カラオケの字幕などの副画像データとの多重化データを記憶している。
【００１８】
記憶装置１００にはデータ分離部１１０が接続され、データ分離部１１０は記憶装置１００から読み出した多重化データから、圧縮主画像データと圧縮副画像との分離処理を施す。
データ分離部１１０には主画像処理部１２０と副画像処理部１３０が接続され、主画像処理部１２０にはデータ分離部１１０から分離処理された圧縮主画像が入力され、副画像処理部１３０にはデータ分離部１１０から分離処理された圧縮副画像が入力される。
【００１９】
主画像処理部１２０にはハフマン復号部１２１が設けられ、ハフマン復号部１２１はデータ分離部１１０に接続され、ＭＰＥＧ方式等で圧縮符号化された画像データのハフマン復号処理を施す。
ハフマン復号部１２１には逆量子化部１２２が接続され、逆量子化部１２２はＭＰＥＧ方式等で圧縮符号化された画像データの逆量子化処理を施す。
【００２０】
逆量子化部１２２にはＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｅｒ）部１２３が接続され、ＩＤＣＴ部１２３はＭＰＥＧ方式等で圧縮符号化された画像データのＩＤＣＴ処理を施す。
ＩＤＣＴ部１２３にはＭＣ（動き補償）部１２４が接続され、ＭＣ処理部１２４は、予測メモリ１、予測メモリ２を有し、ＩＤＣＴ後のデータ、つまり、１ピクチャ分のＩピクチャ（Ｉｎｔｒａ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｅｄｉｃｔｉｖｅ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｅｄ−Ｐｉｃｔｕｒｅ）のマクロブロックデータを入力するとともに、ＭＰＥＧ方式等で圧縮符号化された画像データのＭＣ処理を施し、ＭＣ後の画像データは１枚の復元画像として表示され、予測メモリ１、予測メモリ２は画像データバッファであり、Ｉピクチャ、Ｐピクチャの場合は、次のフレームの予測画像として参照されるように復元画像として表示された画像データを蓄積する。
【００２１】
さらに、ＩＤＣＴ部１２３には副画像処理部１３０のマクロブロック格納部１３３が接続され、マクロブロック格納部１３３は、ＩＤＣＴ処理された画像データのうち後述するＩピクチャのマクロブロックデータだけを格納する。
副画像処理部１３０には副画像復号部１３１が設けられ、副画像復号部１３１はランレングス方式等で圧縮符号化された副画像の復号処理を行なう。
【００２２】
副画像復号部１３１には副画像フレームバッファ１３２が接続され、副画像フレームバッファ１３２は副画像復号部１３１により復号処理された画像データを保持する。
副画像フレームバッファ１３２にはマクロブロック分離部１３４が接続され、マクロブロック分離部１３４は副画像フレームバッファ１３２により保持された画像データをＭＰＥＧ方式等のマクロブロックデータとして分離する。
【００２３】
マクロブロック分離部１３４には差分マクロブロック作成部１３５が接続され、差分マクロブロック作成部１３５は、マクロブロック分離部１３４で分離されたマクロブロックデータを入力し、マクロブロック分離部１３４で分離されたマクロブロックデータが副画像として主画像の位置に重なる部分である場合、マクロブロック格納部１３３からＩピクチャのマクロブロックデータを読み込み、マクロブロック格納部１３３から読み込んだＩピクチャのマクロブロックデータとマクロブロック分離部１３４で分離されたマクロブロックデータから半透明合成処理した差分ブロックデータを作成する。
【００２４】
差分マクロブロック作成部１３５により作成された差分マクロブロックデータは主画像処理部１２０内のＭＣ処理部１２４の入力側に出力される。
さらに、マクロブロック分離部１３４にはスキップドマクロブロック作成部１３６が接続され、マクロブロック分離部１３４は、マクロブロック分離部１３４で分離されたマクロブロックのうち副画像が主画像の位置に重ならない部分のマクロブロックをスキップドマクロブロックとし、スキップドマクロブロック作成部１３６にその旨を通知する。
【００２５】
なお、スキップドマクロブロックでは差分マクロブロックデータが０である。スキップドブロック作成部１３６ではマクロブロック分離部１３４から通知を受けると、ＭＣ処理部１２４に入力側に対してスキップドマクロブロックであることをフラグなどで通知し、スキップドマクロブロックデータがＭＣ処理部１２４の入力側に出力される。
【００２６】
副画像処理時は、主画像処理部１２０内のＭＣ処理部１２４の入力側では、副画像処理部１３０の差分マクロブロック作成部１３５でＢピクチャとして作成した差分マクロブロックデータが入力される。
【００２７】
副画像処理時は、ＭＣ処理部１２４は、マクロブロック格納部１３３に格納されたマクロブロックデータのＩピクチャと同じフレームが予測メモリ１又は予測メモリ２に格納されているので、マクロブロック格納部１３３に格納されたマクロブロックデータのＩピクチャと同じフレームを参照画像として副画像処理部で作成したＢピクチャのマクロブロックデータにＭＣ処理を施し、ＭＣ後の画像データは１枚の画像データとして表示される。
図２は主画像のマクロブロックデータの形式を示す図である。本図（a）に示すように、主画像処理部１２０のＩＤＣＴ部１２３でＩＤＣＴ処理され、ＭＣ処理部１２４に入力されるマクロブロックデータの形式は、本図に示すように、縦１６画素、横１６画素分のＹＵＶ（Ｙ：輝度信号、Ｕ：Ｒ−Ｙの色差信号、Ｖ：Ｂ−Ｙの色差信号、Ｒ：Ｒｅｄ、Ｂ：Ｂｌｕｅ）データとする。
【００２８】
本図（ｂ）に示すように、ＵＶデータについてそれぞれＹデータの縦横１／２とし、８ビットのＹデータ４個に対し８ビットのＵＶデータそれぞれ１個が対応することとする。
図３は副画像フレームバッファ１３２に格納されるマクロブロックデータ形式を示す図である。本図（a）に示すように、副画像処理部１３０の副画像復号部１３１で復号され副画像フレームバッファ１３２に格納される副画像のデータ形式は、本図（ｂ）に示すように、１画素当り０〜１５の値を持つ４ビットのコントラスト値（Ｃｏｎｓｔｒａｓｔ）と、０〜１５の値を持つ４ビットのインデックス値（Ｉｎｄｅｘ）との計８ビットの副画像フレームデータと、４ビットのインデックス値からＹＵＶ各８ビットの色データを参照する副画像カラーテーブルとから構成されているものとする。
【００２９】
本図（ｃ）に示すように、マクロブロック分離部１３４から出力される副画像のマクロブロックデータ形式は、縦１６画素、横１６画素分のＹＵＶデータ及びコントラスト値で構成されているものとする。
ここで、コントラスト値０は透明を現し、コントラスト値１５は非透明を現し、コントラスト値１〜１４は半透明を現す。
【００３０】
図４はＭＰＥＧ方式の主画像データのピクチャ構成を示す図である。ＭＰＥＧ方式のピクチャタイプには、そのピクチャのみで伸長が可能なＩピクチャ（Ｉｎｔｒａ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）と、前のＩピクチャ又はＰピクチャ（Ｐｅｄｉｃｔｉｖｅ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）を参照して伸長するＰピクチャと、２つのＩピクチャ又はＰピクチャを参照して伸長するＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｅｄ−Ｐｉｃｔｕｒｅ）ピクチャが存在する。
【００３１】
また、圧縮データに現れるピクチャの順番と表示するピクチャの順番には違いがある。本図に示すように、圧縮データの順番を、
Ｉ０、Ｐ１、Ｂ２、Ｂ３、Ｐ４、Ｂ５、Ｂ６、Ｉ７、Ｂ８、…
とすると、表示の順番は、
Ｉ０、Ｂ２、Ｂ３、Ｐ１、Ｂ５、Ｂ６、Ｐ４、Ｂ８、Ｉ７、…
となり、Ｂピクチャの前にあるＩピクチャ又はＰピクチャはＢピクチャの後に表示されることになる。
【００３２】
なお、図中、Ｉ、Ｐ、Ｂはピクチャタイプを示し、ピクチャタイプに続く数字は圧縮データに現れるピクチャの順番である。
このように、Ｉピクチャ、Ｐピクチャは他のピクチャに参照されるが、Ｂピクチャは他のピクチャに参照されることはない。
すなわち、ＭＣ処理部１２４の予測メモリ１、予測メモリ２にはＩピクチャ又はＰピクチャが記憶され、Ｂピクチャは記憶されない。
【００３３】
ＭＣ処理部１２４では、各ピクチャの参照、伸長等のＭＣ処理が行われる。
本実施の形態では、Ｂピクチャが参照に用いられないため、副画像データを合成した画像データをＭＰＥＧ方式のＢピクチャとして処理する方法が取られる。図５はマクロブロック分離部１３４により作成されるマクロブロックデータを説明する図である。マクロブロック分離部１３４は、本図（ａ）に示すように、副画像フレームバッファ１３２から主画像サイズの副画像の左上から右方向に順番に縦１６画素、横１６画素のマクロブロックデータを取り出す。
【００３４】
マクロブロック分離部１３４が取り出したマクロブロックデータのうち、副画像が主画像に重なる部分のマクロブロックは、縦１６画素、横１６画素分のコントラスト、Ｙ、Ｕ、Ｖの副画像マクロブロックデータとする。
なお、Ｙの副画像マクロブロックデータは、後述する半透明合成の計算のためにＹＡ部、ＹＢ部、ＹＣ部、ＹＤ部に分割される。
【００３５】
マクロブロック分離部１３４は、取り出したマクロブロックデータのうち、主画像サイズ中、副画像に重ならないマクロブロックデータをスキップドマクロブロックとし、前述のように、スキップドマクロブロック作成部１３６に通知する。
【００３６】
図６は差分マクロブロック作成部１３５の処理の流れを示すフローチャートであり、図７は差分マクロブロック作成部１３５におけるマクロブロックのデータ構成を示す図であり、図７（ａ）は差分マクロブロック作成部１３５が取り出す主画像のマクロブロックデータを示し、図７（ｂ）は差分マクロブロック作成部１３５が取り出す副画像のマクロブロックデータを示し、図７（ｃ）は差分マクロブロック作成部１３５が出力する半透明合成後の差分マクロブロックデータを示す。
【００３７】
図６に示すように、ステップＳ０１において、差分マクロブロック作成部１３５の処理のイニシャル（初期化）を行う。
ステップＳ０２において、副画像フレームバッファ１３２から１マクロブロック分のデータを取得する。取得されたマクロブロックデータの構成は図７（ａ）、（ｂ）に示すように、縦１６画素、横１６画素分のＹＵＶデータ及びコントラストデータとする。ただし、ＵＶデータについてはＭＰＥＧのデータ形式にあわせて縦横１／２のデータサイズとする。
【００３８】
ステップＳ０３〜ステップＳ０８では、Ｂピクチャとして、図７（ａ）に示すマクロブロックデータのＹＡ部、ＹＢ部、ＹＣ部、ＹＤ部、Ｕ部、Ｖ部の順に合成後の差分マクロブロックデータを計算し、計算結果を、図示しない出力バッファに格納する。
先ず、ステップＳ０３１において、図７（ａ）に示す形式の主画像データを取得する。
【００３９】
ステップＳ０３２において、図７（ｂ）に示す形式の副画像データを取得する。
ステップＳ０３３において、Ｂピクチャに対して、合成後の差分マクロブロックデータを計算する。
ステップＳ０３４において、計算結果を図７（ｃ）に示す形式の図示しない出力バッファに格納する。
【００４０】
ステップＳ０３５において、本実施の形態のようにコントラスト値が０から１５の１６通りの合成比を持つ場合には、合成後の差分計算は、次式にしたがって行う。
Ｙ３＝（ｋ×（Ｙ２−Ｙ１））÷１６
Ｕ３＝（ｋ×（Ｕ２−Ｕ１））÷１６
【００４１】
Ｖ３＝（ｋ×（Ｖ２−Ｖ１））÷１６
ただし、ｋ＝コントラスト値＋１（コントラスト値＝０の時はｋ＝０とする）
ここに、Ｙ１、Ｕ１、Ｖ１：主画像の輝度、色差データ
Ｙ２、Ｕ２、Ｖ２：副画像の輝度、色差データ
【００４２】
Ｙ３、Ｕ３、Ｖ３：合成後の差分の輝度、色差データ
ＹＡ部の画素数分（縦８横８画素分）全て処理したかをチェックして、全て処理終了するまでステップＳ０３１〜ステップＳ３４の処理を繰り返す。
ステップＳ０４〜ステップＳ０８はステップＳ０３の処理と同様にＹＢ部、ＹＣ部、ＹＤ部、Ｕ部、Ｖ部について処理を行い、１マクロブロック分のマクロブロック作成処理を終了する。
【００４３】
以上、副画像データをＭＰＥＧ方式のマクロブロックデータに変換する方法を説明したが、本実施の形態では、変換したマクロブロックデータをＭＰＥＧ方式のＢピクチャとして処理する方法とした。
Ｂピクチャの場合には、副画像が合成されても、他のピクチャに参照されることがなく、復号後、すぐに表示されるためである。
【００４６】
【発明の効果】
以上説明したように、本発明によれば、主画像処理部１２０に特別の処理を加えなくとも、主画像の復号時に副画像と合成した画像の参照を回避することが可能になった。
ＭＰＥＧ方式などの圧縮画像を復号する際には、他のピクチャを参照して復号する場合があるが、本発明では参照されないＢピクチャを利用するためである。
【００４７】
次に、本発明によれば、ＣＰＵの処理負荷に余裕のないＭＰＥＧデコーダ搭載のパーソナルコンピュータの表示装置に特別なハードウエアを設ける必要がないことである。
画像合成処理は標準のＭＰＥＧ方式にＭＣ処理を利用した副画像の半透明合成処理を行えるようにしたためである。
次に、本発明によれば、主画像に映画、カラオケの字幕などの副画像を合成する際の合成処理の負荷をより低減できる。
【００４８】
通常の半透明合成計算は次式（１）の計算式によるが、本発明の計算式は次式（２）のようにしたので、計算量は少なくなるためである。
Ｙ３＝（ｋ×Ｙ２＋（１６−ｋ）×Ｙ１）÷１６…（１）
Ｙ３＝（ｋ×（Ｙ２−Ｙ１））÷１６ …（２）
ＭＰＥＧのＰピクチャ、Ｂピクチャは参照するピクチャとの差分データであり、ＭＣ処理部１２４で参照するピクチャとの足し合わせをするため、半透明合成後の差分計算では足し合わせ前のデータを作成すればよいからである。
【００４９】
さらに、差分マクロブロック作成部１３５で作成されるマクロブロックの数は副画像が含まれるマクロブロックの数だけで済み、映画の字幕ように副画像のサイズが小さい場合は処理量が少ないためである。
次に、本発明によれば、復号後に表示される画像データをアクセスすることなく主画像と副画像の合成が可能になる。
ＩＤＣＴ後のマクロブロックデータに対して副画像のデータを合成するためである。
【図面の簡単な説明】
【図１】本発明に係る画像合成システムの概略構成を示すブロック図である。
【図２】主画像のマクロブロックデータの形式を示す図である。
【図３】副画像フレームバッファ１３２に格納されるマクロブロックデータ形式を示す図である。
【図４】ＭＰＥＧ方式の主画像データのピクチャ構成を示す図である。
【図５】マクロブロック分離部１３４により作成されるマクロブロックデータを説明する図である。
【図６】差分マクロブロック作成部１３５の処理の流れを示すフローチャートである。
【図７】差分マクロブロック作成部１３５におけるマクロブロックのデータ構成を示す図である。
【図８】本発明の前提となる画像合成システムを説明する図である。
【符号の説明】
１００…記憶装置
１１０…データ分離部
１２０…主画像処理部
１２１…ハフマン復号部
１２２…逆量子化部
１２３…ＩＤＣＴ部
１２４…ＭＣ部
１３０…副画像処理部
１３１…副画像復号部
１３２…副画像フレームバッファ
１３３…マクロブロック格納部
１３４…マクロブロック分離部
１３５…差分マクロブロック作成部
１３６…スキップドマクロブロック作成部
Claims (4)
- ＭＰＥＧ方式で圧縮された主画像データと、前記ＭＰＥＧと異なる方式で圧縮された副画像データとを合成する画像合成システムにおいて、
前記主画像データが逆量子化され、逆ＤＣＴ処理された後、Ｉピクチャ形式データ、Ｐピクチャ形式データ、Ｂピクチャ形式データの伸長をマクロブロックデータ毎に行うＭＣ処理部と、
前記ＭＣ処理部に入力する前記主画像データの前記Ｉピクチャ形式データのマクロブロックデータを格納するマクロブロック格納部と、
前記副画像データをＭＰＥＧ方式のマクロブロックデータに変換し、副画像として主画像に重なる部分のマクロブロックデータと前記マクロブロック格納部に格納されている前記Ｉピクチャ形式データのマクロブロックデータとを半透明合成したＩピクチャに対する差分マクロブロックデータを作成し、前記ＭＣ処理部で伸長が行われるＢピクチャ形式データのマクロブロックデータとして出力する副画像マクロブロック生成部とを備え、
前記ＭＣ処理部は、副画像処理時は、前記副画像マクロブロック生成部で作成されたＢピクチャ形式のマクロブロックデータを、前記マクロブロック格納部により格納されるマクロブロックデータと同一内容のＩピクチャ形式データを参照して伸長することを特徴とする画像合成システム。 - 前記副画像がランレングス方式で圧縮されていることを特徴とする、請求項１に記載の画像合成システム。
- 前記半透明合成の処理は：
コントラスト値が０から１５の１６通りの合成比を持つ場合には、
Ｙ３＝（ｋ×（Ｙ２−Ｙ１））÷１６
Ｕ３＝（ｋ×（Ｕ２−Ｕ１））÷１６
Ｖ３＝（ｋ×（Ｖ２−Ｖ１））÷１６
ただし、ｋ＝コントラスト値＋１（コントラスト値＝０の時はｋ＝０とする）
ここに、Ｙ１、Ｕ１、Ｖ１：主画像の輝度、色差データ
Ｙ２、Ｕ２、Ｖ２：副画像の輝度、色差データ
Ｙ３、Ｕ３、Ｖ３：合成後の差分の輝度、色差データ
として行われることを特徴とする、請求項１に記載の画像合成システム。 - ＭＰＥＧ方式で圧縮された主画像データと、前記ＭＰＥＧと異なる方式で圧縮された副画像データとを合成する画像合成方法において、
前記主画像データが逆量子化され、逆ＤＣＴ処理された後、Ｉピクチャ形式データ、Ｐピクチャ形式データ、Ｂピクチャ形式データの伸長をマクロブロックデータ毎に行う工程と、
逆ＤＣＴ処理された後前記主画像データの前記Ｉピクチャ形式データのマクロブロックデータを格納する工程と、
前記副画像データをＭＰＥＧ方式のマクロブロックデータに変換し、副画像として主画像に重なる部分のマクロブロックデータと格納されている前記Ｉピクチャ形式データの前記マクロブロックデータとを半透明合成したＩピクチャに対する差分マクロブロックデータを作成し、Ｂピクチャ形式データのマクロブロックデータとして出力し、
副画像処理時は、前記副画像データが半透明合成されたＢピクチャ形式データのマクロブロックデータを前記格納されているＩピクチャ形式データのマクロブロックデータと同一内容のＩピクチャ形式データを参照して伸長する工程とを備えることを特徴とする画像合成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27139299A JP3880255B2 (ja) | 1999-09-24 | 1999-09-24 | 画像合成システム及び方法 |
| US09/666,525 US6697528B1 (en) | 1999-09-24 | 2000-09-20 | Image synthesis system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27139299A JP3880255B2 (ja) | 1999-09-24 | 1999-09-24 | 画像合成システム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001094875A JP2001094875A (ja) | 2001-04-06 |
| JP3880255B2 true JP3880255B2 (ja) | 2007-02-14 |
Family
ID=17499434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27139299A Expired - Fee Related JP3880255B2 (ja) | 1999-09-24 | 1999-09-24 | 画像合成システム及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6697528B1 (ja) |
| JP (1) | JP3880255B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7496736B2 (en) * | 2004-08-27 | 2009-02-24 | Siamack Haghighi | Method of efficient digital processing of multi-dimensional data |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5408274A (en) * | 1993-03-11 | 1995-04-18 | The Regents Of The University Of California | Method and apparatus for compositing compressed video data |
| US5568167A (en) * | 1994-09-23 | 1996-10-22 | C-Cube Microsystems, Inc. | System for providing antialiased video overlays |
| JP2845857B2 (ja) * | 1997-04-01 | 1999-01-13 | コナミ株式会社 | 画像の半透明表示装置，半透明表示方法，及びコンピュータプログラムを記録した機械読取り可能な記録媒体 |
| US6061099A (en) * | 1997-10-14 | 2000-05-09 | Motorola, Inc. | Video overlay circuit and method for overlaying a video signal |
-
1999
- 1999-09-24 JP JP27139299A patent/JP3880255B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-20 US US09/666,525 patent/US6697528B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6697528B1 (en) | 2004-02-24 |
| JP2001094875A (ja) | 2001-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3338639B2 (ja) | ディジタル・ビデオ・デコーダおよびディジタル・ビデオ信号をデコードする方法 | |
| US9338457B2 (en) | Method and apparatus for encoding image information, and method and apparatus for decoding image information | |
| WO2009130886A1 (ja) | 動画像符号化装置、撮像装置及び動画像符号化方法 | |
| JPH0746628A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
| JP2002521976A5 (ja) | ||
| JP5508024B2 (ja) | ビデオ信号を符号化するための方法及びシステム、符号化されたビデオ信号、並びに、ビデオ信号を復号するための方法及びシステム | |
| US6333952B1 (en) | Decoder for digital TV receiver | |
| JP3880255B2 (ja) | 画像合成システム及び方法 | |
| US6829303B1 (en) | Methods and apparatus for decoding images using dedicated hardware circuitry and a programmable processor | |
| JP3990011B2 (ja) | 復号画像変換回路および復号画像変換装置 | |
| JPH11215491A (ja) | 信号処理装置及び方法 | |
| CN101189880B (zh) | 带有混合参考纹理的视频解码器 | |
| JP3526316B2 (ja) | 動画像圧縮符号化方法 | |
| JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
| JPH0879703A (ja) | 画像情報処理方法及び装置 | |
| KR100296817B1 (ko) | 디지탈티브이수신디코더장치 | |
| JP2003061101A (ja) | 画像復号化方法及び装置 | |
| JP2003087797A (ja) | 画像情報変換装置及び方法、画像情報変換プログラム、並びに記録媒体 | |
| JP2894870B2 (ja) | 画像蓄積装置 | |
| KR100308007B1 (ko) | 디지탈티브이수신디코더장치 | |
| JPH07250329A (ja) | 画像合成符号化方法及び画像合成装置 | |
| KR19990058626A (ko) | 엠펙 디코더 | |
| JPH09238348A (ja) | 画像信号復号化方法及び装置 | |
| KR19990060796A (ko) | 디지탈 티브이 수신 디코더 장치 | |
| JPH06334993A (ja) | 動画像符号化又は復号化装置、並びに動きベクトルの可変長符号化及び復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040220 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040507 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040707 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040713 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040903 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |