JP2001094875A - 画像合成システム及び方法 - Google Patents
画像合成システム及び方法Info
- Publication number
- JP2001094875A JP2001094875A JP27139299A JP27139299A JP2001094875A JP 2001094875 A JP2001094875 A JP 2001094875A JP 27139299 A JP27139299 A JP 27139299A JP 27139299 A JP27139299 A JP 27139299A JP 2001094875 A JP2001094875 A JP 2001094875A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- data
- image
- macro block
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 ＭＰＥＧデコード時に次のフレームの予測画
像として画像データバッファに蓄積されている復元画像
の参照を可能にする。 【解決手段】 ＭＰＥＧ方式で圧縮された主画像データ
と、ＭＰＥＧと異なる方式で圧縮された副画像データと
を合成する画像合成システムに、主画像データの逆量子
化、逆ＤＣＴ処理後、Ｉピクチャ、Ｐピクチャ、Ｂピク
チャの伸長をマクロブロック毎に行うＭＣ処理部１２４
と、Ｉピクチャのマクロブロックを１フレーム分格納す
るマクロブロック格納部１３３と、副画像データをＭＰ
ＥＧ方式のマクロブロックに変換し、副画像に重なる部
分のマクロブロックのデータとマクロブロック格納部に
格納されているマクロブロックのデータとを半透明合成
し、半透明合成されたマクロブロックのデータをＭＣ処
理部で伸長が行われるＢピクチャのマクロブロックとし
て作成する副画像マクロブロック生成部１３４、１３
５、１３６とを備える。
像として画像データバッファに蓄積されている復元画像
の参照を可能にする。 【解決手段】 ＭＰＥＧ方式で圧縮された主画像データ
と、ＭＰＥＧと異なる方式で圧縮された副画像データと
を合成する画像合成システムに、主画像データの逆量子
化、逆ＤＣＴ処理後、Ｉピクチャ、Ｐピクチャ、Ｂピク
チャの伸長をマクロブロック毎に行うＭＣ処理部１２４
と、Ｉピクチャのマクロブロックを１フレーム分格納す
るマクロブロック格納部１３３と、副画像データをＭＰ
ＥＧ方式のマクロブロックに変換し、副画像に重なる部
分のマクロブロックのデータとマクロブロック格納部に
格納されているマクロブロックのデータとを半透明合成
し、半透明合成されたマクロブロックのデータをＭＣ処
理部で伸長が行われるＢピクチャのマクロブロックとし
て作成する副画像マクロブロック生成部１３４、１３
５、１３６とを備える。
Description
【０００１】
【産業上の利用分野】本発明は画像合成システムに関す
る。特に、本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃ
ｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕ
ｐ）方式で圧縮された画像データと、ランレングス方式
で圧縮された画像データとを合成する画像合成システム
及び方法に関する。
る。特に、本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃ
ｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕ
ｐ）方式で圧縮された画像データと、ランレングス方式
で圧縮された画像データとを合成する画像合成システム
及び方法に関する。
【０００２】
【従来の技術】図８は本発明の前提となる画像合成シス
テムを説明する図である。本図に示すように、本発明の
前提となる画像合成システムにおいては、ＭＰＥＧ方式
で圧縮された主画像データと、ランレングス方式で圧縮
された映画、カラオケの字幕などの副画像データとがそ
れぞれ復号され、半透明合成処理後、再生表示が行われ
る。
テムを説明する図である。本図に示すように、本発明の
前提となる画像合成システムにおいては、ＭＰＥＧ方式
で圧縮された主画像データと、ランレングス方式で圧縮
された映画、カラオケの字幕などの副画像データとがそ
れぞれ復号され、半透明合成処理後、再生表示が行われ
る。
【０００３】ＭＰＥＧ方式では、動き補償のため、次の
フレームの予測画像として参照されるように、復元画像
が画像データバッファに蓄積されている。
フレームの予測画像として参照されるように、復元画像
が画像データバッファに蓄積されている。
【０００４】
【発明が解決しょうとする課題】しかしながら、ＭＰＥ
Ｇデコード、ランレングスデコードのデコード処理、合
成処理をソフトウエアで処理する場合に、従来はＭＰＥ
Ｇデコード後の画像データバッファ上で副画像の合成処
理を行っていたためＭＰＥＧデコード後の画像データバ
ッファに蓄積されている復元画像が書き換えられてい
た。
Ｇデコード、ランレングスデコードのデコード処理、合
成処理をソフトウエアで処理する場合に、従来はＭＰＥ
Ｇデコード後の画像データバッファ上で副画像の合成処
理を行っていたためＭＰＥＧデコード後の画像データバ
ッファに蓄積されている復元画像が書き換えられてい
た。
【０００５】このように、画像データバッファの主画像
の復元画像が副画像と合成されているため、ＭＰＥＧデ
コード時に次のフレームの予測画像として画像データバ
ッファに蓄積されている復元画像を参照できない。
の復元画像が副画像と合成されているため、ＭＰＥＧデ
コード時に次のフレームの予測画像として画像データバ
ッファに蓄積されている復元画像を参照できない。
【０００６】また、パーソナルコンピュータには、ＭＰ
ＥＧデコーダのハードウエアを搭載し、ＭＰＥＧ動画を
表示するものがある。このようなパーソナルコンピュー
タでは、パーソナルコンピュータのＣＰＵ（Ｃｅｎｔｒ
ａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の処理負荷に
余裕がないと前述した主画像と副画像を半透明合成処理
することができないという問題がある。
ＥＧデコーダのハードウエアを搭載し、ＭＰＥＧ動画を
表示するものがある。このようなパーソナルコンピュー
タでは、パーソナルコンピュータのＣＰＵ（Ｃｅｎｔｒ
ａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の処理負荷に
余裕がないと前述した主画像と副画像を半透明合成処理
することができないという問題がある。
【０００７】このため、パーソナルコンピュータの表示
装置に特別のハードウエアを設ける場合があった。した
がって、本発明は上記問題点に鑑みて、特別のハードウ
ェアを設けずにソフトウェアのみで実現し、且つ合成処
理の負荷を少なくするための画像合成システム及び方法
を提供することを目的とする。
装置に特別のハードウエアを設ける場合があった。した
がって、本発明は上記問題点に鑑みて、特別のハードウ
ェアを設けずにソフトウェアのみで実現し、且つ合成処
理の負荷を少なくするための画像合成システム及び方法
を提供することを目的とする。
【０００８】
【課題を解決するための手段】本発明は前記問題点を解
決するために、ＭＰＥＧ方式で圧縮された主画像データ
と、前記ＭＰＥＧと異なる方式で圧縮された副画像デー
タとを合成する画像合成システムにおいて、前記主画像
データが逆量子化され、逆ＤＣＴ処理された後、Ｉピク
チャ、Ｐピクチャ、Ｂピクチャの伸長をマクロブロック
毎に行うＭＣ処理部と、前記主画像データのＩピクチャ
のマクロブロックを格納するマクロブロック格納部と、
前記副画像データをＭＰＥＧ方式のマクロブロックに変
換し、前記副画像に重なる部分のマクロブロックのデー
タと前記マクロブロック格納部に格納されているマクロ
ブロックのデータとを半透明合成し、半透明合成された
マクロブロックのデータを、前記ＭＣ処理部で伸長が行
われるＢピクチャのマクロブロックとして作成する副画
像マクロブロック生成部とを備えることを特徴とする画
像合成システムを提供する。
決するために、ＭＰＥＧ方式で圧縮された主画像データ
と、前記ＭＰＥＧと異なる方式で圧縮された副画像デー
タとを合成する画像合成システムにおいて、前記主画像
データが逆量子化され、逆ＤＣＴ処理された後、Ｉピク
チャ、Ｐピクチャ、Ｂピクチャの伸長をマクロブロック
毎に行うＭＣ処理部と、前記主画像データのＩピクチャ
のマクロブロックを格納するマクロブロック格納部と、
前記副画像データをＭＰＥＧ方式のマクロブロックに変
換し、前記副画像に重なる部分のマクロブロックのデー
タと前記マクロブロック格納部に格納されているマクロ
ブロックのデータとを半透明合成し、半透明合成された
マクロブロックのデータを、前記ＭＣ処理部で伸長が行
われるＢピクチャのマクロブロックとして作成する副画
像マクロブロック生成部とを備えることを特徴とする画
像合成システムを提供する。
【０００９】この手段により、副画像と合成し、作成し
たＢピクチャの画像がＭＣ処理部で伸長されるので、合
成画像の復元が可能になり、且つ合成処理の負荷が少な
くなり、ＭＰＥＧデコーダを搭載したパーソナルコンピ
ュータの表示装置に特別のハードウエアを必要としなく
なった。
たＢピクチャの画像がＭＣ処理部で伸長されるので、合
成画像の復元が可能になり、且つ合成処理の負荷が少な
くなり、ＭＰＥＧデコーダを搭載したパーソナルコンピ
ュータの表示装置に特別のハードウエアを必要としなく
なった。
【００１０】さらに、本発明は、ＭＰＥＧ方式で圧縮さ
れた主画像データと、前記ＭＰＥＧと異なる方式で圧縮
された副画像データとを合成する画像合成システムにお
いて、前記主画像データが逆量子化され、逆ＤＣＴ処理
された後、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの伸長
をマクロブロック毎に行い、且つＩピクチャ、Ｐピクチ
ャのうち参照Ｉピクチャ、Ｐピクチャとして利用されな
いように制御を行うＭＣ処理部と、前記主画像データの
Ｉピクチャのマクロブロックを格納するマクロブロック
格納部と、前記副画像データをＭＰＥＧ方式のマクロブ
ロックに変換し、前記副画像に重なる部分のマクロブロ
ックのデータと前記マクロブロック格納部に格納されて
いるマクロブロックのデータとを半透明合成し、半透明
合成されたマクロブロックのデータが、前記ＭＣ処理部
で利用されない前記参照Ｉピクチャ、Ｐピクチャのマク
ロブロックとして作成され、伸長される副画像マクロブ
ロック生成部とを備えることを特徴とする画像合成シス
テムを提供する。
れた主画像データと、前記ＭＰＥＧと異なる方式で圧縮
された副画像データとを合成する画像合成システムにお
いて、前記主画像データが逆量子化され、逆ＤＣＴ処理
された後、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの伸長
をマクロブロック毎に行い、且つＩピクチャ、Ｐピクチ
ャのうち参照Ｉピクチャ、Ｐピクチャとして利用されな
いように制御を行うＭＣ処理部と、前記主画像データの
Ｉピクチャのマクロブロックを格納するマクロブロック
格納部と、前記副画像データをＭＰＥＧ方式のマクロブ
ロックに変換し、前記副画像に重なる部分のマクロブロ
ックのデータと前記マクロブロック格納部に格納されて
いるマクロブロックのデータとを半透明合成し、半透明
合成されたマクロブロックのデータが、前記ＭＣ処理部
で利用されない前記参照Ｉピクチャ、Ｐピクチャのマク
ロブロックとして作成され、伸長される副画像マクロブ
ロック生成部とを備えることを特徴とする画像合成シス
テムを提供する。
【００１１】この手段により、副画像と合成し、作成し
たＩピクチャ、Ｐピクチャの画像がＭＣ処理部で伸長さ
れるので、合成画像の復元が可能になり、且つ合成処理
の負荷が少なくなり、ＭＰＥＧデコーダを搭載したパー
ソナルコンピュータの表示装置に特別のハードウェアを
必要としなくなった。好ましくは、前記副画像がランレ
ングス方式で圧縮されてもよい。この手段により、ラン
レングス方式で圧縮された副画像は、映画、カラオケの
字幕などに使用される。
たＩピクチャ、Ｐピクチャの画像がＭＣ処理部で伸長さ
れるので、合成画像の復元が可能になり、且つ合成処理
の負荷が少なくなり、ＭＰＥＧデコーダを搭載したパー
ソナルコンピュータの表示装置に特別のハードウェアを
必要としなくなった。好ましくは、前記副画像がランレ
ングス方式で圧縮されてもよい。この手段により、ラン
レングス方式で圧縮された副画像は、映画、カラオケの
字幕などに使用される。
【００１２】好ましくは、前記半透明合成の処理は：コ
ントラスト値が０から１５の１６通りの合成比を持つ場
合には、 Ｙ３＝（ｋ×（Ｙ１−Ｙ２））÷１６ Ｕ３＝（ｋ×（Ｕ１−Ｕ２））÷１６ Ｖ３＝（ｋ×（Ｖ１−Ｖ２））÷１６
ントラスト値が０から１５の１６通りの合成比を持つ場
合には、 Ｙ３＝（ｋ×（Ｙ１−Ｙ２））÷１６ Ｕ３＝（ｋ×（Ｕ１−Ｕ２））÷１６ Ｖ３＝（ｋ×（Ｖ１−Ｖ２））÷１６
【００１３】ただし、ｋ＝コントラスト値＋１（コント
ラスト値＝０の時はｋ＝０とする） ここに、Ｙ１、Ｕ１、Ｖ１：主画像の色データ Ｙ２、Ｕ２、Ｖ２：副画像の色データ Ｙ３、Ｕ３、Ｖ３：合成後の差分データとして行われ
る。
ラスト値＝０の時はｋ＝０とする） ここに、Ｙ１、Ｕ１、Ｖ１：主画像の色データ Ｙ２、Ｕ２、Ｖ２：副画像の色データ Ｙ３、Ｕ３、Ｖ３：合成後の差分データとして行われ
る。
【００１４】この手段により、半透明合成処理の負担を
軽減できる。好ましくは、前記マクロブロック格納部
は、前記ＭＣ処理部１２４の出力を格納する。この手段
により、副画像データの作成が可能になる。
軽減できる。好ましくは、前記マクロブロック格納部
は、前記ＭＣ処理部１２４の出力を格納する。この手段
により、副画像データの作成が可能になる。
【００１５】さらに、本発明は、ＭＰＥＧ方式で圧縮さ
れた主画像データと、前記ＭＰＥＧと異なる方式で圧縮
された副画像データとを合成する画像合成方法におい
て、前記主画像データが逆量子化され、逆ＤＣＴ処理さ
れた後、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの伸長を
マクロブロック毎に行う工程と、前記主画像データのＩ
ピクチャのマクロブロックを格納する工程と、前記副画
像データをＭＰＥＧ方式のマクロブロックに変換し、前
記副画像に重なる部分のマクロブロックのデータと格納
されている前記マクロブロックのデータとを半透明合成
し、半透明合成されたマクロブロックのデータを、伸長
時にＢピクチャのマクロブロックとして伸長する工程と
を備えることを特徴とする画像合成方法を提供する。
れた主画像データと、前記ＭＰＥＧと異なる方式で圧縮
された副画像データとを合成する画像合成方法におい
て、前記主画像データが逆量子化され、逆ＤＣＴ処理さ
れた後、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの伸長を
マクロブロック毎に行う工程と、前記主画像データのＩ
ピクチャのマクロブロックを格納する工程と、前記副画
像データをＭＰＥＧ方式のマクロブロックに変換し、前
記副画像に重なる部分のマクロブロックのデータと格納
されている前記マクロブロックのデータとを半透明合成
し、半透明合成されたマクロブロックのデータを、伸長
時にＢピクチャのマクロブロックとして伸長する工程と
を備えることを特徴とする画像合成方法を提供する。
【００１６】この手段により、上記発明と同様に、副画
像と合成し、作成したＢピクチャの画像がＭＣ処理部で
伸長されるので、合成画像の復元が可能になり、且つ合
成処理の負荷が少なくなり、ＭＰＥＧデコーダを搭載し
たパーソナルコンピュータの表示装置に特別のハードウ
ェアを必要としなくなった。
像と合成し、作成したＢピクチャの画像がＭＣ処理部で
伸長されるので、合成画像の復元が可能になり、且つ合
成処理の負荷が少なくなり、ＭＰＥＧデコーダを搭載し
たパーソナルコンピュータの表示装置に特別のハードウ
ェアを必要としなくなった。
【００１７】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。図１は本発明に係る画像合
成システムの概略構成を示すブロック図である。本図に
示すように、画像合成システムには記憶装置１００が設
けられ、記憶装置１００はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐ
ｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏ
ｕｐ）方式等で圧縮符号化された主画像データと、ラン
レングス方式等で圧縮符号化された映画、カラオケの字
幕などの副画像データとの多重化データを記憶してい
る。
て図面を参照して説明する。図１は本発明に係る画像合
成システムの概略構成を示すブロック図である。本図に
示すように、画像合成システムには記憶装置１００が設
けられ、記憶装置１００はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐ
ｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏ
ｕｐ）方式等で圧縮符号化された主画像データと、ラン
レングス方式等で圧縮符号化された映画、カラオケの字
幕などの副画像データとの多重化データを記憶してい
る。
【００１８】記憶装置１００にはデータ分離部１１０が
接続され、データ分離部１１０は記憶装置１００から読
み出した多重化データから、圧縮主画像データと圧縮副
画像との分離処理を施す。データ分離部１１０には主画
像処理部１２０と副画像処理部１３０が接続され、主画
像処理部１２０にはデータ分離部１１０から分離処理さ
れた圧縮主画像が入力され、副画像処理部１３０にはデ
ータ分離部１１０から分離処理された圧縮副画像が入力
される。
接続され、データ分離部１１０は記憶装置１００から読
み出した多重化データから、圧縮主画像データと圧縮副
画像との分離処理を施す。データ分離部１１０には主画
像処理部１２０と副画像処理部１３０が接続され、主画
像処理部１２０にはデータ分離部１１０から分離処理さ
れた圧縮主画像が入力され、副画像処理部１３０にはデ
ータ分離部１１０から分離処理された圧縮副画像が入力
される。
【００１９】主画像処理部１２０にはハフマン復号部１
２１が設けられ、ハフマン復号部１２１はデータ分離部
１１０に接続され、ＭＰＥＧ方式等で圧縮符号化された
画像データのハフマン復号処理を施す。ハフマン復号部
１２１には逆量子化部１２２が接続され、逆量子化部１
２２はＭＰＥＧ方式等で圧縮符号化された画像データの
逆量子化処理を施す。
２１が設けられ、ハフマン復号部１２１はデータ分離部
１１０に接続され、ＭＰＥＧ方式等で圧縮符号化された
画像データのハフマン復号処理を施す。ハフマン復号部
１２１には逆量子化部１２２が接続され、逆量子化部１
２２はＭＰＥＧ方式等で圧縮符号化された画像データの
逆量子化処理を施す。
【００２０】逆量子化部１２２にはＩＤＣＴ（Ｉｎｖｅ
ｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓ
ｆｅｒ）部１２３が接続され、ＩＤＣＴ部１２３はＭＰ
ＥＧ方式等で圧縮符号化された画像データのＩＤＣＴ処
理を施す。ＩＤＣＴ部１２３にはＭＣ（動き補償）部１
２４が接続され、ＭＣ処理部１２４は、ＩＤＣＴ後のデ
ータ、つまり、１ピクチャ分のマクロブロックデータを
入力するとともに、ＭＰＥＧ方式等で圧縮符号化された
画像データのＭＣ処理を施し、ＭＣ後の画像データは１
枚の画像データとして表示される。
ｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓ
ｆｅｒ）部１２３が接続され、ＩＤＣＴ部１２３はＭＰ
ＥＧ方式等で圧縮符号化された画像データのＩＤＣＴ処
理を施す。ＩＤＣＴ部１２３にはＭＣ（動き補償）部１
２４が接続され、ＭＣ処理部１２４は、ＩＤＣＴ後のデ
ータ、つまり、１ピクチャ分のマクロブロックデータを
入力するとともに、ＭＰＥＧ方式等で圧縮符号化された
画像データのＭＣ処理を施し、ＭＣ後の画像データは１
枚の画像データとして表示される。
【００２１】さらに、ＩＤＣＴ部１２３には副画像処理
部１３０のマクロブロック格納部１３３が接続され、マ
クロブロック格納部１３３は、ＩＤＣＴ処理された画像
データのうち後述するＩピクチャのマクロブロックデー
タを格納する。副画像処理部１３０には副画像復号部１
３１が設けられ、副画像復号部１３１はランレングス方
式等で圧縮符号化された副画像の復号処理を行なう。
部１３０のマクロブロック格納部１３３が接続され、マ
クロブロック格納部１３３は、ＩＤＣＴ処理された画像
データのうち後述するＩピクチャのマクロブロックデー
タを格納する。副画像処理部１３０には副画像復号部１
３１が設けられ、副画像復号部１３１はランレングス方
式等で圧縮符号化された副画像の復号処理を行なう。
【００２２】副画像復号部１３１には副画像フレームバ
ッファ１３２が接続され、副画像フレームバッファ１３
２は副画像復号部１３１により復号処理された画像デー
タを保持する。副画像フレームバッファ１３２にはマク
ロブロック分離部１３４が接続され、マクロブロック分
離部１３４は副画像フレームバッファ１３２により保持
された画像データをＭＰＥＧ方式等のマクロブロックデ
ータとして分離する。
ッファ１３２が接続され、副画像フレームバッファ１３
２は副画像復号部１３１により復号処理された画像デー
タを保持する。副画像フレームバッファ１３２にはマク
ロブロック分離部１３４が接続され、マクロブロック分
離部１３４は副画像フレームバッファ１３２により保持
された画像データをＭＰＥＧ方式等のマクロブロックデ
ータとして分離する。
【００２３】マクロブロック分離部１３４には差分マク
ロブロック作成部１３５が接続され、差分マクロブロッ
ク作成部１３５は、マクロブロック分離部１３４で分離
されたマクロブロックが副画像の位置に重なる場合、分
離されたマクロブロックデータと同位置のマクロブロッ
クデータをマクロブロック格納部１３３から読み込み、
半透明合成処理を施したマクロブロックデータをＩピク
チャに対する差分マクロブロックデータとして作成す
る。
ロブロック作成部１３５が接続され、差分マクロブロッ
ク作成部１３５は、マクロブロック分離部１３４で分離
されたマクロブロックが副画像の位置に重なる場合、分
離されたマクロブロックデータと同位置のマクロブロッ
クデータをマクロブロック格納部１３３から読み込み、
半透明合成処理を施したマクロブロックデータをＩピク
チャに対する差分マクロブロックデータとして作成す
る。
【００２４】差分マクロブロック作成部１３５により作
成された差分マクロブロックデータは主画像処理部１２
０内のＭＣ処理部１２４の入力側に出力される。さら
に、マクロブロック分離部１３４にはスキップドマクロ
ブロック作成部１３６が接続され、マクロブロック分離
部１３４は、マクロブロック分離部１３４で分離された
マクロブロックのうち副画像の位置に重ならない部分の
マクロブロックをスキップドマクロブロックとし、スキ
ップドマクロブロック作成部１３６にその旨を通知す
る。
成された差分マクロブロックデータは主画像処理部１２
０内のＭＣ処理部１２４の入力側に出力される。さら
に、マクロブロック分離部１３４にはスキップドマクロ
ブロック作成部１３６が接続され、マクロブロック分離
部１３４は、マクロブロック分離部１３４で分離された
マクロブロックのうち副画像の位置に重ならない部分の
マクロブロックをスキップドマクロブロックとし、スキ
ップドマクロブロック作成部１３６にその旨を通知す
る。
【００２５】なお、スキップドマクロブロックでは差分
マクロブロックデータが０である。スキップドブロック
作成部１３６ではマクロブロック分離部１３４から通知
を受けると、ＭＣ処理部１２４に入力側に対してスキッ
プドマクロブロックであることをフラグなどで通知し、
スキップドマクロブロックデータがＭＣ処理部１２４の
入力側に出力される。
マクロブロックデータが０である。スキップドブロック
作成部１３６ではマクロブロック分離部１３４から通知
を受けると、ＭＣ処理部１２４に入力側に対してスキッ
プドマクロブロックであることをフラグなどで通知し、
スキップドマクロブロックデータがＭＣ処理部１２４の
入力側に出力される。
【００２６】副画像処理時は、主画像処理部１２０内の
ＭＣ処理部１２４の入力側では、副画像処理部でＢピク
チャとして作成したマクロブロックデータが入力され
る。
ＭＣ処理部１２４の入力側では、副画像処理部でＢピク
チャとして作成したマクロブロックデータが入力され
る。
【００２７】副画像処理時は、ＭＣ処理部１２４は、副
画像処理部で作成したＢピクチャのマクロブロックデー
タにＭＣ処理を施し、ＭＣ後の画像データは１枚の画像
データとして表示される。図２は主画像のマクロブロッ
クデータの形式を示す図である。本図（a）に示すよう
に、主画像処理部１２０のＩＤＣＴ部１２３でＩＤＣＴ
処理され、ＭＣ処理部１２４に入力されるマクロブロッ
クデータの形式は、本図に示すように、縦１６画素、横
１６画素分のＹＵＶ（Ｙ：輝度信号、Ｕ：Ｒ−Ｙの色差
信号、Ｖ：Ｂ−Ｙの色差信号、Ｒ：Ｒｅｄ、Ｂ：Ｂｌｕ
ｅ）データとする。
画像処理部で作成したＢピクチャのマクロブロックデー
タにＭＣ処理を施し、ＭＣ後の画像データは１枚の画像
データとして表示される。図２は主画像のマクロブロッ
クデータの形式を示す図である。本図（a）に示すよう
に、主画像処理部１２０のＩＤＣＴ部１２３でＩＤＣＴ
処理され、ＭＣ処理部１２４に入力されるマクロブロッ
クデータの形式は、本図に示すように、縦１６画素、横
１６画素分のＹＵＶ（Ｙ：輝度信号、Ｕ：Ｒ−Ｙの色差
信号、Ｖ：Ｂ−Ｙの色差信号、Ｒ：Ｒｅｄ、Ｂ：Ｂｌｕ
ｅ）データとする。
【００２８】本図（ｂ）に示すように、ＵＶデータにつ
いてそれぞれＹデータの縦横１／２とし、８ビットのＹ
データ４個に対し８ビットのＵＶデータそれぞれ１個が
対応することとする。図３は副画像フレームバッファ１
３２に格納されるマクロブロックデータ形式を示す図で
ある。本図（a）に示すように、副画像処理部１３０の
副画像復号部１３１で復号され副画像フレームバッファ
１３２に格納される副画像のデータ形式は、本図（ｂ）
に示すように、１画素当り０〜１５の値を持つ４ビット
のコントラスト値（Ｃｏｎｓｔｒａｓｔ）と、０〜１５
の値を持つ４ビットのインデックス値（Ｉｎｄｅｘ）と
の計８ビットの副画像フレームデータと、４ビットのイ
ンデックス値からＹＵＶ各８ビットの色データを参照す
る副画像カラーテーブルとから構成されているものとす
る。
いてそれぞれＹデータの縦横１／２とし、８ビットのＹ
データ４個に対し８ビットのＵＶデータそれぞれ１個が
対応することとする。図３は副画像フレームバッファ１
３２に格納されるマクロブロックデータ形式を示す図で
ある。本図（a）に示すように、副画像処理部１３０の
副画像復号部１３１で復号され副画像フレームバッファ
１３２に格納される副画像のデータ形式は、本図（ｂ）
に示すように、１画素当り０〜１５の値を持つ４ビット
のコントラスト値（Ｃｏｎｓｔｒａｓｔ）と、０〜１５
の値を持つ４ビットのインデックス値（Ｉｎｄｅｘ）と
の計８ビットの副画像フレームデータと、４ビットのイ
ンデックス値からＹＵＶ各８ビットの色データを参照す
る副画像カラーテーブルとから構成されているものとす
る。
【００２９】本図（ｃ）に示すように、マクロブロック
分離部１３４から出力される副画像のマクロブロックデ
ータ形式は、縦１６画素、横１６画素分のＹＵＶデータ
及びコントラスト値で構成されているものとする。ここ
で、コントラスト値０は透明を現し、コントラスト値１
５は非透明を現し、コントラスト値１〜１４は半透明を
現す。
分離部１３４から出力される副画像のマクロブロックデ
ータ形式は、縦１６画素、横１６画素分のＹＵＶデータ
及びコントラスト値で構成されているものとする。ここ
で、コントラスト値０は透明を現し、コントラスト値１
５は非透明を現し、コントラスト値１〜１４は半透明を
現す。
【００３０】図４はＭＰＥＧ方式の主画像データのピク
チャ構成を示す図である。ＭＰＥＧ方式のピクチャタイ
プには、そのピクチャのみで伸長が可能なＩピクチャ
（Ｉｎｔｒａ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）と、前の
Ｉピクチャ又はＰピクチャ（Ｐｅｄｉｃｔｉｖｅ−Ｃｏ
ｄｅｄ Ｐｉｃｔｕｒｅ）を参照して伸長するＰピクチ
ャと、２つのＩピクチャ又はＰピクチャを参照して伸長
するＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉ
ｃｔｉｖｅ Ｃｏｄｅｄ−Ｐｉｃｔｕｒｅ）ピクチャが
存在する。
チャ構成を示す図である。ＭＰＥＧ方式のピクチャタイ
プには、そのピクチャのみで伸長が可能なＩピクチャ
（Ｉｎｔｒａ−Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）と、前の
Ｉピクチャ又はＰピクチャ（Ｐｅｄｉｃｔｉｖｅ−Ｃｏ
ｄｅｄ Ｐｉｃｔｕｒｅ）を参照して伸長するＰピクチ
ャと、２つのＩピクチャ又はＰピクチャを参照して伸長
するＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉ
ｃｔｉｖｅ Ｃｏｄｅｄ−Ｐｉｃｔｕｒｅ）ピクチャが
存在する。
【００３１】また、圧縮データに現れるピクチャの順番
と表示するピクチャの順番には違いがある。本図に示す
ように、圧縮データの順番を、 Ｉ０、Ｐ１、Ｂ２、Ｂ３、Ｐ４、Ｂ５、Ｂ６、Ｉ７、Ｂ
８、… とすると、表示の順番は、 Ｉ０、Ｂ２、Ｂ３、Ｐ１、Ｂ５、Ｂ６、Ｐ４、Ｂ８、Ｉ
７、… となり、Ｂピクチャの前にあるＩピクチャ又はＰピクチ
ャはＢピクチャの後に表示されることになる。
と表示するピクチャの順番には違いがある。本図に示す
ように、圧縮データの順番を、 Ｉ０、Ｐ１、Ｂ２、Ｂ３、Ｐ４、Ｂ５、Ｂ６、Ｉ７、Ｂ
８、… とすると、表示の順番は、 Ｉ０、Ｂ２、Ｂ３、Ｐ１、Ｂ５、Ｂ６、Ｐ４、Ｂ８、Ｉ
７、… となり、Ｂピクチャの前にあるＩピクチャ又はＰピクチ
ャはＢピクチャの後に表示されることになる。
【００３２】なお、図中、Ｉ、Ｐ、Ｂはピクチャタイプ
を示し、ピクチャタイプに続く数字は圧縮データに現れ
るピクチャの順番である。このように、Ｉピクチャ、Ｐ
ピクチャは他のピクチャに参照されるが、Ｂピクチャは
他のピクチャに参照されることはない。すなわち、ＭＣ
処理部１２４の予測メモリ１、予測メモリ２にはＩピク
チャ又はＰピクチャが記憶され、Ｂピクチャは記憶され
ない。
を示し、ピクチャタイプに続く数字は圧縮データに現れ
るピクチャの順番である。このように、Ｉピクチャ、Ｐ
ピクチャは他のピクチャに参照されるが、Ｂピクチャは
他のピクチャに参照されることはない。すなわち、ＭＣ
処理部１２４の予測メモリ１、予測メモリ２にはＩピク
チャ又はＰピクチャが記憶され、Ｂピクチャは記憶され
ない。
【００３３】ＭＣ処理部１２４では、各ピクチャの参
照、伸長等のＭＣ処理が行われる。本実施の形態では、
Ｂピクチャが参照に用いられないため、副画像データを
合成した画像データをＭＰＥＧ方式のＢピクチャとして
処理する方法が取られる。図５はマクロブロック分離部
１３４により作成されるマクロブロックデータを説明す
る図である。マクロブロック分離部１３４は、本図
（ａ）に示すように、副画像フレームバッファ１３２か
ら主画像サイズの副画像の左上から右方向に順番に縦１
６画素、横１６画素のマクロブロックデータを取り出
す。
照、伸長等のＭＣ処理が行われる。本実施の形態では、
Ｂピクチャが参照に用いられないため、副画像データを
合成した画像データをＭＰＥＧ方式のＢピクチャとして
処理する方法が取られる。図５はマクロブロック分離部
１３４により作成されるマクロブロックデータを説明す
る図である。マクロブロック分離部１３４は、本図
（ａ）に示すように、副画像フレームバッファ１３２か
ら主画像サイズの副画像の左上から右方向に順番に縦１
６画素、横１６画素のマクロブロックデータを取り出
す。
【００３４】マクロブロック分離部１３４が取り出した
マクロブロックデータのうち、副画像に重なる部分のマ
クロブロックは、縦１６画素、横１６画素分のコントラ
スト、Ｙ、Ｕ、Ｖの副画像マクロブロックデータとす
る。なお、Ｙの副画像マクロブロックデータは、後述す
る半透明合成の計算のためにＹ０部、Ｙ１部、Ｙ２部、
Ｙ３部に分割される。
マクロブロックデータのうち、副画像に重なる部分のマ
クロブロックは、縦１６画素、横１６画素分のコントラ
スト、Ｙ、Ｕ、Ｖの副画像マクロブロックデータとす
る。なお、Ｙの副画像マクロブロックデータは、後述す
る半透明合成の計算のためにＹ０部、Ｙ１部、Ｙ２部、
Ｙ３部に分割される。
【００３５】マクロブロック分離部１３４は、取り出し
たマクロブロックデータのうち、主画像サイズ中、副画
像に重ならないマクロブロックデータをスキップドマク
ロブロックとし、前述のように、スキップドマクロブロ
ック作成部１３６に通知する。
たマクロブロックデータのうち、主画像サイズ中、副画
像に重ならないマクロブロックデータをスキップドマク
ロブロックとし、前述のように、スキップドマクロブロ
ック作成部１３６に通知する。
【００３６】図６は差分マクロブロック作成部１３５の
処理の流れを示すフローチャートであり、図７は差分マ
クロブロック作成部１３５におけるマクロブロックのデ
ータ構成を示す図であり、図７（ａ）は差分マクロブロ
ック作成部１３５が取り出す主画像のマクロブロックデ
ータを示し、図７（ｂ）は差分マクロブロック作成部１
３５が取り出す副画像のマクロブロックデータを示し、
図７（ｃ）は差分マクロブロック作成部１３５が出力す
る半透明合成後の差分マクロブロックデータを示す。
処理の流れを示すフローチャートであり、図７は差分マ
クロブロック作成部１３５におけるマクロブロックのデ
ータ構成を示す図であり、図７（ａ）は差分マクロブロ
ック作成部１３５が取り出す主画像のマクロブロックデ
ータを示し、図７（ｂ）は差分マクロブロック作成部１
３５が取り出す副画像のマクロブロックデータを示し、
図７（ｃ）は差分マクロブロック作成部１３５が出力す
る半透明合成後の差分マクロブロックデータを示す。
【００３７】図６に示すように、ステップＳ０１におい
て、差分マクロブロック作成部１３５の処理のイニシャ
ル（初期化）を行う。ステップＳ０２において、副画像
フレームバッファ１３２から１マクロブロック分のデー
タを取得する。取得されたマクロブロックデータの構成
は図７（ａ）、（ｂ）に示すように、縦１６画素、横１
６画素分のＹＵＶデータ及びコントラストデータとす
る。ただし、ＵＶデータについてはＭＰＥＧのデータ形
式にあわせて縦横１／２のデータサイズとする。
て、差分マクロブロック作成部１３５の処理のイニシャ
ル（初期化）を行う。ステップＳ０２において、副画像
フレームバッファ１３２から１マクロブロック分のデー
タを取得する。取得されたマクロブロックデータの構成
は図７（ａ）、（ｂ）に示すように、縦１６画素、横１
６画素分のＹＵＶデータ及びコントラストデータとす
る。ただし、ＵＶデータについてはＭＰＥＧのデータ形
式にあわせて縦横１／２のデータサイズとする。
【００３８】ステップＳ０３〜ステップＳ０８では、Ｂ
ピクチャとして、図７（ａ）に示すマクロブロックデー
タのＹ０部、Ｙ１部、Ｙ２部、Ｙ３部、Ｕ部、Ｖ部の順
に合成後の差分マクロブロックデータを計算し、計算結
果を、図示しない出力バッファに格納する。先ず、ステ
ップＳ０３１において、図７（ａ）に示す形式の主画像
データを取得する。
ピクチャとして、図７（ａ）に示すマクロブロックデー
タのＹ０部、Ｙ１部、Ｙ２部、Ｙ３部、Ｕ部、Ｖ部の順
に合成後の差分マクロブロックデータを計算し、計算結
果を、図示しない出力バッファに格納する。先ず、ステ
ップＳ０３１において、図７（ａ）に示す形式の主画像
データを取得する。
【００３９】ステップＳ０３２において、図７（ｂ）に
示す形式の副画像データを取得する。ステップＳ０３３
において、Ｂピクチャに対して、合成後の差分マクロブ
ロックデータを計算する。ステップＳ０３４において、
計算結果を図７（ｃ）に示す形式の図示しない出力バッ
ファに格納する。
示す形式の副画像データを取得する。ステップＳ０３３
において、Ｂピクチャに対して、合成後の差分マクロブ
ロックデータを計算する。ステップＳ０３４において、
計算結果を図７（ｃ）に示す形式の図示しない出力バッ
ファに格納する。
【００４０】ステップＳ０３５において、本実施の形態
のようにコントラスト値が０から１５の１６通りの合成
比を持つ場合には、合成後の差分計算は、次式にしたが
って行う。 Ｙ３＝（ｋ×（Ｙ１−Ｙ２））÷１６ Ｕ３＝（ｋ×（Ｕ１−Ｕ２））÷１６
のようにコントラスト値が０から１５の１６通りの合成
比を持つ場合には、合成後の差分計算は、次式にしたが
って行う。 Ｙ３＝（ｋ×（Ｙ１−Ｙ２））÷１６ Ｕ３＝（ｋ×（Ｕ１−Ｕ２））÷１６
【００４１】Ｖ３＝（ｋ×（Ｖ１−Ｖ２））÷１６ ただし、ｋ＝コントラスト値＋１（コントラスト値＝０
の時はｋ＝０とする） ここに、Ｙ１、Ｕ１、Ｖ１：主画像の色データ Ｙ２、Ｕ２、Ｖ２：副画像の色データ
の時はｋ＝０とする） ここに、Ｙ１、Ｕ１、Ｖ１：主画像の色データ Ｙ２、Ｕ２、Ｖ２：副画像の色データ
【００４２】Ｙ３、Ｕ３、Ｖ３：合成後の差分データ Ｙ０の画素数分（縦８横８画素分）全て処理したかをチ
ェックして、全て処理終了するまでステップＳ０３１〜
ステップＳ３４の処理を繰り返す。ステップＳ０４〜ス
テップＳ０８はステップＳ０３の処理と同様にＹ１部、
Ｙ２部、Ｙ３部、Ｕ部、Ｖ部について処理を行い、１マ
クロブロック分のマクロブロック作成処理を終了する。
ェックして、全て処理終了するまでステップＳ０３１〜
ステップＳ３４の処理を繰り返す。ステップＳ０４〜ス
テップＳ０８はステップＳ０３の処理と同様にＹ１部、
Ｙ２部、Ｙ３部、Ｕ部、Ｖ部について処理を行い、１マ
クロブロック分のマクロブロック作成処理を終了する。
【００４３】以上、副画像データをＭＰＥＧ方式のマク
ロブロックデータに変換する方法を説明したが、本実施
の形態では、変換したマクロブロックデータをＭＰＥＧ
方式のＢピクチャとして処理する方法とした。Ｂピクチ
ャの場合には、副画像が合成されても、他のピクチャに
参照されることがなく、復号後、すぐに表示されるため
である。
ロブロックデータに変換する方法を説明したが、本実施
の形態では、変換したマクロブロックデータをＭＰＥＧ
方式のＢピクチャとして処理する方法とした。Ｂピクチ
ャの場合には、副画像が合成されても、他のピクチャに
参照されることがなく、復号後、すぐに表示されるため
である。
【００４４】Ｉピクチャ又はＰピクチャとして副画像デ
ータを作成した場合は、主画像復号時に参照ピクチャと
して利用される可能性がある。この場合、不正な主画像
データが復号されるためである。ただし、参照ピクチャ
として利用しないように主画像処理部１２０で制御を追
加すれば、副画像データをＩピクチャ、Ｐピクチャとし
て作成することも可能である。
ータを作成した場合は、主画像復号時に参照ピクチャと
して利用される可能性がある。この場合、不正な主画像
データが復号されるためである。ただし、参照ピクチャ
として利用しないように主画像処理部１２０で制御を追
加すれば、副画像データをＩピクチャ、Ｐピクチャとし
て作成することも可能である。
【００４５】また、本実施の形態ではＩＤＣＴ部１２３
からの出力をマクロブロック格納部１３３に格納してお
り、この場合、主画像データがＩピクチャならば、副画
像データを作成できるが、主画像データがＰピクチャ又
はＢピクチャの場合、参照ピクチャのデータがないため
正常な副画像データを作成できない。主画像データがＰ
ピクチャ又はＢピクチャでも副画像データを作成する必
要がある場合は、ＭＣ処理部１２４の出力をマクロブロ
ック格納部１３３に格納すればよい。
からの出力をマクロブロック格納部１３３に格納してお
り、この場合、主画像データがＩピクチャならば、副画
像データを作成できるが、主画像データがＰピクチャ又
はＢピクチャの場合、参照ピクチャのデータがないため
正常な副画像データを作成できない。主画像データがＰ
ピクチャ又はＢピクチャでも副画像データを作成する必
要がある場合は、ＭＣ処理部１２４の出力をマクロブロ
ック格納部１３３に格納すればよい。
【００４６】
【発明の効果】以上説明したように、本発明によれば、
主画像処理部１２０に特別の処理を加えなくとも、主画
像の復号時に副画像と合成した画像の参照を回避するこ
とが可能になった。ＭＰＥＧ方式などの圧縮画像を復号
する際には、他のピクチャを参照して復号する場合があ
るが、本発明では参照されないＢピクチャを利用するた
めである。
主画像処理部１２０に特別の処理を加えなくとも、主画
像の復号時に副画像と合成した画像の参照を回避するこ
とが可能になった。ＭＰＥＧ方式などの圧縮画像を復号
する際には、他のピクチャを参照して復号する場合があ
るが、本発明では参照されないＢピクチャを利用するた
めである。
【００４７】次に、本発明によれば、ＣＰＵの処理負荷
に余裕のないＭＰＥＧデコーダ搭載のパーソナルコンピ
ュータの表示装置に特別なハードウエアを設ける必要が
ないことである。画像合成処理は標準のＭＰＥＧ方式に
ＭＣ処理を利用した副画像の半透明合成処理を行えるよ
うにしたためである。次に、本発明によれば、主画像に
映画、カラオケの字幕などの副画像を合成する際の合成
処理の負荷をより低減できる。
に余裕のないＭＰＥＧデコーダ搭載のパーソナルコンピ
ュータの表示装置に特別なハードウエアを設ける必要が
ないことである。画像合成処理は標準のＭＰＥＧ方式に
ＭＣ処理を利用した副画像の半透明合成処理を行えるよ
うにしたためである。次に、本発明によれば、主画像に
映画、カラオケの字幕などの副画像を合成する際の合成
処理の負荷をより低減できる。
【００４８】通常の半透明合成計算は次式（１）の計算
式によるが、本発明の計算式は次式（２）のようにした
ので、計算量は少なくなるためである。 Ｙ３＝（ｋ×Ｙ２＋（１６−ｋ）×Ｙ１）÷１６…（１） Ｙ３＝（ｋ×（Ｙ２−Ｙ１））÷１６ …（２） ＭＰＥＧのＰピクチャ、Ｂピクチャは参照するピクチャ
との差分データであり、ＭＣ処理部１２４で参照するピ
クチャとの足し合わせをするため、半透明合成後の差分
計算では足し合わせ前のデータを作成すればよいからで
ある。
式によるが、本発明の計算式は次式（２）のようにした
ので、計算量は少なくなるためである。 Ｙ３＝（ｋ×Ｙ２＋（１６−ｋ）×Ｙ１）÷１６…（１） Ｙ３＝（ｋ×（Ｙ２−Ｙ１））÷１６ …（２） ＭＰＥＧのＰピクチャ、Ｂピクチャは参照するピクチャ
との差分データであり、ＭＣ処理部１２４で参照するピ
クチャとの足し合わせをするため、半透明合成後の差分
計算では足し合わせ前のデータを作成すればよいからで
ある。
【００４９】さらに、差分マクロブロック作成部１３５
で作成されるマクロブロックの数は副画像が含まれるマ
クロブロックの数だけで済み、映画の字幕ように副画像
のサイズが小さい場合は処理量が少ないためである。次
に、本発明によれば、復号後に表示される画像データを
アクセスすることなく主画像と副画像の合成が可能にな
る。ＩＤＣＴ後のマクロブロックデータに対して副画像
のデータを合成するためである。
で作成されるマクロブロックの数は副画像が含まれるマ
クロブロックの数だけで済み、映画の字幕ように副画像
のサイズが小さい場合は処理量が少ないためである。次
に、本発明によれば、復号後に表示される画像データを
アクセスすることなく主画像と副画像の合成が可能にな
る。ＩＤＣＴ後のマクロブロックデータに対して副画像
のデータを合成するためである。
【図１】本発明に係る画像合成システムの概略構成を示
すブロック図である。
すブロック図である。
【図２】主画像のマクロブロックデータの形式を示す図
である。
である。
【図３】副画像フレームバッファ１３２に格納されるマ
クロブロックデータ形式を示す図である。
クロブロックデータ形式を示す図である。
【図４】ＭＰＥＧ方式の主画像データのピクチャ構成を
示す図である。
示す図である。
【図５】マクロブロック分離部１３４により作成される
マクロブロックデータを説明する図である。
マクロブロックデータを説明する図である。
【図６】差分マクロブロック作成部１３５の処理の流れ
を示すフローチャートである。
を示すフローチャートである。
【図7】差分マクロブロック作成部１３５におけるマク
ロブロックのデータ構成を示す図である。
ロブロックのデータ構成を示す図である。
【図８】本発明の前提となる画像合成システムを説明す
る図である。
る図である。
１００…記憶装置 １１０…データ分離部 １２０…主画像処理部 １２１…ハフマン復号部 １２２…逆量子化部 １２３…ＩＤＣＴ部 １２４…ＭＣ部 １３０…副画像処理部 １３１…副画像復号部 １３２…副画像フレームバッファ １３３…マクロブロック格納部 １３４…マクロブロック分離部 １３５…差分マクロブロック作成部 １３６…スキップドマクロブロック作成部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA01 CA18 CB01 CB18 CE08 CG01 CG04 CG05 CH08 5C023 AA11 BA11 CA03 DA03 5C059 KK37 MA00 MA01 MA23 ME02 PP04 SS26 UA02 UA05 UA33 UA39 5C076 AA12 BA09
Claims (6)
- 【請求項１】 ＭＰＥＧ方式で圧縮された主画像データ
と、前記ＭＰＥＧと異なる方式で圧縮された副画像デー
タとを合成する画像合成システムにおいて、 前記主画像データが逆量子化され、逆ＤＣＴ処理された
後、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの伸長をマク
ロブロック毎に行うＭＣ処理部と、 前記主画像データのＩピクチャのマクロブロックを格納
するマクロブロック格納部と、 前記副画像データをＭＰＥＧ方式のマクロブロックに変
換し、前記副画像に重なる部分のマクロブロックのデー
タと前記マクロブロック格納部に格納されているマクロ
ブロックのデータとを半透明合成し、半透明合成された
マクロブロックのデータを、前記ＭＣ処理部で伸長が行
われるＢピクチャのマクロブロックとして作成する副画
像マクロブロック生成部とを備えることを特徴とする画
像合成システム。 - 【請求項２】 ＭＰＥＧ方式で圧縮された主画像データ
と、前記ＭＰＥＧと異なる方式で圧縮された副画像デー
タとを合成する画像合成システムにおいて、前記主画像
データが逆量子化され、逆ＤＣＴ処理された後、Ｉピク
チャ、Ｐピクチャ、Ｂピクチャの伸長をマクロブロック
毎に行い、且つＩピクチャ、Ｐピクチャのうち参照Ｉピ
クチャ、Ｐピクチャとして利用されないように制御を行
うＭＣ処理部と、 前記主画像データのＩピクチャのマクロブロックを格納
するマクロブロック格納部と、 前記副画像データをＭＰＥＧ方式のマクロブロックに変
換し、前記副画像に重なる部分のマクロブロックのデー
タと前記マクロブロック格納部に格納されているマクロ
ブロックのデータとを半透明合成し、半透明合成された
マクロブロックのデータが、前記ＭＣ処理部で利用され
ない前記参照Ｉピクチャ、Ｐピクチャのマクロブロック
として作成する副画像マクロブロック生成部とを備える
ことを特徴とする画像合成システム。 - 【請求項３】 前記副画像がランレングス方式で圧縮さ
れていることを特徴とする、請求項１又は２に記載の画
像合成システム。 - 【請求項４】 前記半透明合成の処理は：コントラスト
値が０から１５の１６通りの合成比を持つ場合には、 Ｙ３＝（ｋ×（Ｙ１−Ｙ２））÷１６ Ｕ３＝（ｋ×（Ｕ１−Ｕ２））÷１６ Ｖ３＝（ｋ×（Ｖ１−Ｖ２））÷１６ ただし、ｋ＝コントラスト値＋１（コントラスト値＝０
の時はｋ＝０とする） ここに、Ｙ１、Ｕ１、Ｖ１：主画像の色データ Ｙ２、Ｕ２、Ｖ２：副画像の色データ Ｙ３、Ｕ３、Ｖ３：合成後の差分データ として行われることを特徴とする、請求項１又は２に記
載の画像合成システム。 - 【請求項５】 前記マクロブロック格納部は、前記ＭＣ
処理部の出力を格納することを特徴とする、請求項１又
は２に記載の画像合成システム。 - 【請求項６】 ＭＰＥＧ方式で圧縮された主画像データ
と、前記ＭＰＥＧと異なる方式で圧縮された副画像デー
タとを合成する画像合成方法において、 前記主画像データが逆量子化され、逆ＤＣＴ処理された
後、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの伸長をマク
ロブロック毎に行う工程と、 前記主画像データのＩピクチャのマクロブロックを格納
する工程と、 前記副画像データをＭＰＥＧ方式のマクロブロックに変
換し、前記副画像に重なる部分のマクロブロックのデー
タと格納されている前記マクロブロックのデータとを半
透明合成し、半透明合成されたマクロブロックのデータ
を、伸長時にＢピクチャのマクロブロックとして伸長す
る工程とを備えることを特徴とする画像合成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27139299A JP3880255B2 (ja) | 1999-09-24 | 1999-09-24 | 画像合成システム及び方法 |
| US09/666,525 US6697528B1 (en) | 1999-09-24 | 2000-09-20 | Image synthesis system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27139299A JP3880255B2 (ja) | 1999-09-24 | 1999-09-24 | 画像合成システム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001094875A true JP2001094875A (ja) | 2001-04-06 |
| JP3880255B2 JP3880255B2 (ja) | 2007-02-14 |
Family
ID=17499434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27139299A Expired - Fee Related JP3880255B2 (ja) | 1999-09-24 | 1999-09-24 | 画像合成システム及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6697528B1 (ja) |
| JP (1) | JP3880255B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7496736B2 (en) * | 2004-08-27 | 2009-02-24 | Siamack Haghighi | Method of efficient digital processing of multi-dimensional data |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5408274A (en) * | 1993-03-11 | 1995-04-18 | The Regents Of The University Of California | Method and apparatus for compositing compressed video data |
| US5568167A (en) * | 1994-09-23 | 1996-10-22 | C-Cube Microsystems, Inc. | System for providing antialiased video overlays |
| JP2845857B2 (ja) * | 1997-04-01 | 1999-01-13 | コナミ株式会社 | 画像の半透明表示装置，半透明表示方法，及びコンピュータプログラムを記録した機械読取り可能な記録媒体 |
| US6061099A (en) * | 1997-10-14 | 2000-05-09 | Motorola, Inc. | Video overlay circuit and method for overlaying a video signal |
-
1999
- 1999-09-24 JP JP27139299A patent/JP3880255B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-20 US US09/666,525 patent/US6697528B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP3880255B2 (ja) | 2007-02-14 |
| US6697528B1 (en) | 2004-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5990958A (en) | Apparatus and method for MPEG video decompression | |
| US7298782B2 (en) | Method and apparatus for improved memory management of video images | |
| JPH0746628A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
| JP2002521976A5 (ja) | ||
| JP5508024B2 (ja) | ビデオ信号を符号化するための方法及びシステム、符号化されたビデオ信号、並びに、ビデオ信号を復号するための方法及びシステム | |
| EP1147671B1 (en) | Method and apparatus for performing motion compensation in a texture mapping engine | |
| JP3282577B2 (ja) | 画像処理装置 | |
| JPH10271516A (ja) | 圧縮符号化装置、符号化方法、復号化装置および復号化方法 | |
| US20040057522A1 (en) | MPEG video bitstream decoder system and method | |
| JP2001094875A (ja) | 画像合成システム及び方法 | |
| JP2008053848A (ja) | 画像処理装置及び画像処理方法 | |
| JPH08256331A (ja) | ビデオデコード装置 | |
| TW200934249A (en) | Apparatus and method for processing a picture frame | |
| JP2002112267A (ja) | 可変解像度復号処理装置 | |
| JP2000175199A (ja) | 画像処理装置及び方法、並びに提供媒体 | |
| KR100585058B1 (ko) | 캡션 디스플레이를 위한 엠펙 디코더 및 디코딩 방법 | |
| JPH09275563A (ja) | Ｏｓｄ機能を有する圧縮画像データの復号装置、及びこれに用いるｏｓｄデータの圧縮方法 | |
| JP3526316B2 (ja) | 動画像圧縮符号化方法 | |
| JPH11146396A (ja) | 動画像圧縮符号化・復号化方法、動画像圧縮符号化・復号化装置、動画像符号化伝送方法、動画像符号化伝送システムおよび動画像圧縮符号化・復号化プログラムを記録した記録媒体 | |
| JP2002305746A (ja) | 画像復号処理装置および画像復号処理方法 | |
| JP3239824B2 (ja) | Ｍｐｅｇ復号装置 | |
| JP4789210B2 (ja) | 動画像の圧縮符号化方法および装置 | |
| JPH09261641A (ja) | 圧縮画像データ処理方法及び装置 | |
| JP3017646B2 (ja) | フレームレート変換機能付き画像復号装置 | |
| JP2000032475A (ja) | 動画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040220 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040507 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040707 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040713 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040903 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |