JP3175825B2 - 画像合成システム - Google Patents

画像合成システム

Info

Publication number
JP3175825B2
JP3175825B2 JP32991998A JP32991998A JP3175825B2 JP 3175825 B2 JP3175825 B2 JP 3175825B2 JP 32991998 A JP32991998 A JP 32991998A JP 32991998 A JP32991998 A JP 32991998A JP 3175825 B2 JP3175825 B2 JP 3175825B2
Authority
JP
Japan
Prior art keywords
image
data
color table
sub
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32991998A
Other languages
English (en)
Other versions
JP2000156776A (ja
Inventor
考司 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP32991998A priority Critical patent/JP3175825B2/ja
Priority to US09/440,617 priority patent/US6346971B1/en
Publication of JP2000156776A publication Critical patent/JP2000156776A/ja
Application granted granted Critical
Publication of JP3175825B2 publication Critical patent/JP3175825B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/641Multi-purpose receivers, e.g. for auxiliary information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Color Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像合成システム
に関し、特に、MPEG方式で圧縮された主画像データ
とランレングス方式で圧縮された字幕等の副画像データ
とを合成する画像合成システムに関する。
【0002】
【従来の技術】MPEG(Motion Picture experts
Goup ISO/IEC)方式で圧縮された画像データと、ラン
レングス方式で圧縮された映画やカラオケの字幕などの
副画像データを、それぞれ復号および合成し再生するシ
ステムにおいて、MPEGデコードおよびランレングス
デコードのデコード処理と合成処理をソフトウェアで処
理する場合に、副画像データ変換部で副画像データのフ
ォーマット変換は行っているが、カラーパレットの変換
を行っていない。
【0003】
【発明が解決しようとする課題】しかし、この場合、合
成時にテーブルを参照したあとに表示フォーマットに合
わせてYUVデータの並べ替え等の処理が必要となるた
め、CPU負荷を浪費するという問題があった。
【0004】そこで、本発明は、表示フォーマットに合
わせ、カラーテーブルを変換することによって、YUV
データ並べ替えの無駄を省くことができ、画像データと
副画像データの合成時における処理負荷を低減する合成
手段を提供し、出力される主画像のフレーム数を向上す
ることを課題としている。
【0005】
【課題を解決するための手段】上記の課題を解決するた
めの本発明は、一つの方式で圧縮された主画像データを
復号する主画像復号部と、別の方式で圧縮された副画像
データを復号する副画像復号部と、前記副画像復号器の
出力の内カラーテーブルを変換するカラーテーブル変換
部と、、前記副画像復号器の出力の内フレームデータを
変換する副画像フレームデータ変換部と、前記主画像復
号部の出力と前記カラーテーブル変換部の出力と前記副
画像フレームデータ変換部とを入力して主画像と副画像
とを合成する画像合成部とを有する画像合成システムで
あって、前記カラーテーブル変換部は、合成画像を表示
する表示フォーマットに基いて前記カラーテーブルを変
換するようにしている。
【0006】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について説明する。図1は本発明の画像合成
システムのブロック図である。図1に示すように、本発
明の画像合成システムは、記憶装置100と、データ分
離部111と、主画像復号部112と、副画像復号部1
13と、カラーテーブル変換部114と、副画像データ
変換部115と、表示フォーマット取得部116と、画
像合成部117と、表示処理部118とを含む。
【0007】記憶装置100は、MPEG圧縮符号化さ
れた主画像データと、ランレングス圧縮符号化された映
画やカラオケの字幕などの副画像データの多重化データ
を記憶している。
【0008】データ分離部111は、記憶装置100か
ら読み出した多重化データから、圧縮主画像データと圧
縮副画像データの分離処理を施し、圧縮主画像データは
主画像復号部112に、圧縮副画像データは副画像復号
部113にそれぞれ出力する。
【0009】主画像復号部112は、MPEG圧縮符号
化された画像データの復号処理を施し、デコードデータ
を画像合成部116に出力する。
【0010】副画像復号部113は、ランレングス圧縮
符号化された副画像データの復号処理を施し、副画像フ
レームデータを副画像フレームデータ変換部115に、
カラーテーブルをカラーテーブル変換部114にそれぞ
れ出力する。
【0011】カラーテーブル変換部114は表示フォー
マット取得部116で取得した表示フォーマットにした
がってカラーテーブルの変換処理を施し、変換後のカラ
ーテーブルを画像合成部117に出力する。
【0012】副画像フレームデータ変換部115は、ラ
ンレングスデコードした副画像データに、フォーマット
変換を施し、変換データを画像合成部117に出力す
る。
【0013】画像合成部117は、主画像復号部112
から受け取った主画像データと副画像フレームデータ変
換部115及びカラーテーブル変換部114から受け取
り生成した副画像データをYUV形式で合成し、表示処
理部118に出力し表示を行う。
【0014】図2は、画像合成部117における画像合
成を示す概念図である。図2に示すように、主画像の指
定された合成位置(left,top),(righ
t,bottom)に副画像データが合成される。
【0015】図3にはランレングスデコード後の副画像
フレームデータ、インデックステーブル、カラーテーブ
ルをそれぞれ示している。デコード後の各ピクセルは、
図3(a)の副画像フレームデータに示したとおり、各
ピクセルは0からn−1のいずれかの値を持つ。
【0016】図3(b)(c)は各ピクセルのコントラ
スト情報とカラー情報の参照テーブルであり、参照テー
ブルは、n値の各ピクセルデータそれぞれについて、最
大m色のうち何色を用いるかを示すカラーインデックス
と合成比率を示すコントラストとが指定されるインデッ
クステーブルと、カラーインデックスそれぞれのカラー
情報(Y,U,V)が指定されるカラーテーブルとで構
成される。
【0017】このように、ランレングスデコード後の各
ピクセルに対するコントラスト情報とカラー情報とが2
つのテーブルで指定されている場合、画像合成部117
において、そのままのデータフォーマットで合成処理を
行うと、1画素分のYUVデータを取得するのために2
回のテーブル引きが必要となり煩雑である。
【0018】そこで、ランレングスデコード後に各画素
のインデックステーブル引きのみ行ってフレームデータ
のフォーマット変換を施した後で、画像合成部117に
出力をする。
【0019】図4に副画像フレームデータの変換フォー
マットを示す。この例では、ランレングスデコード後の
副画像データは2値のピクセルデータで、カラーデータ
は最大16色、またコントラストは0から15の値を取
るものとしている。
【0020】まず、ランレングスデコード後のピクセル
データの値が”0”の場合、カラーインデックスの値
は”0”、コントラスト値は”0”である。従って、変
換後のピクセルデータは、上位4ビットにはカラーイン
デックスを示す”0000b”を、下位4ビットにはコ
ントラスト値を示す”0000b”をそれぞれ挿入す
る。同様にして、ピクセルデータの値が”1”の場合、
カラーインデックスの値は”2”、コントラスト値は”
15”である。従って変換後のピクセルデータは、上位
4ビットにはカラーインデックスを示す”0010b”
を、下位4ビットにはコントラスト値を示す”1111
b”をそれぞれ挿入する。
【0021】このようにして、ランレングスデコード後
のピクセルデータを、カラーインデックス値とコントラ
スト値を表す1画素あたり8ビットのデータに変換をし
た後に画像合成部に出力をする。
【0022】また、画像合成部117では変換後の副画
像フレームデータとカラーテーブルを用いて副画像を主
画像に合成処理するが、合成処理するフォーマットは表
示処理部118で表示するフォーマットに依存する。こ
のため、表示フォーマット取得部116では表示処理部
118から現在の表示フォーマットを取得し、取得した
表示フォーマットにしたがって、副画像復号部113で
復号したカラーテーブルを変換する。
【0023】図5にカラーテーブル変換の一例を示す。
表示処理部118で表示されるフォーマットにおいて
は、図5(a)に示すように、輝度信号Y4画素に対し
て色差信号U,Vはそれぞれ2画素分しかなく(一般的
にはYUV422フォーマットと呼ばれる)、Y、U、
Vが1画素単位でパックされた形式で格納されるフォー
マットの場合のカラーテーブル変換である。
【0024】副画像復号部113で復号されるカラーテ
ーブルは図5(b)に示すフォーマットになっており、
カラーインデックスによりそれぞれのカラー情報(Y,
U,V)が指定される。
【0025】しかしながら、表示処理部118で表示さ
れるフォーマットが図5(a)に示すようにY4画素に
対し、U、Vそれぞれ2画素分のデータしかない場合、
図5(b)に示すカラーテーブルをそのまま使用する
と、1画素のデータを取得するのにY,U,Vの3バイ
トのデータが読み込まれ、また読み込んだデータの並べ
替えも必要になる。
【0026】このため、図5(a)に示すフォーマット
で表示する場合はカラーテーブルを図5(c)(d)に
示すフォーマットに変換した方が効率が良い。図5
(c)(d)に示すカラーテーブルでは1画素のデータ
を取得するのにY,UまたはY,Vの2バイトのデータ
が読み込まれ、また読み込んだデータの並べ替えも必要
ない。
【0027】図6にカラーテーブル変換の他の例を示
す。図6では表示処理部118で表示されるフォーマッ
トが、図6(a)に示すように、輝度信号Y4画素に対
して色差信号U,Vは1画素分しかなく(一般的にはY
UV420フォーマットと呼ばれる)、Y、U、Vそれ
ぞれ1フレーム分が連続して格納されるフォーマットの
場合のカラーテーブル変換を示した図である。
【0028】副画像復号部113で復号されるカラーテ
ーブルは図6(b)に示すフォーマットになっており、
カラーインデックスによりそれぞれのカラー情報(Y,
U,V)が指定される。
【0029】しかしながら、表示処理部118で表示さ
れるフォーマットが図6(a)に示すようにY、U、V
それぞれ別の領域に書き込む場合、図6(b)に示すカ
ラーテーブルをそのまま使用すると、1バイトのデータ
を取得するのにもY,U,Vの3バイトのデータが読み
込まれ、またYUV各フレームのデータを読み込もうと
した場合、テーブル内データが不連続になり、CPUで
の読み込み効率が悪くなる。
【0030】このため、図6(a)に示すフォーマット
で表示する場合は図6(c)(d)(e)に示すフォー
マットに変換した方が効率が良い。図6(c)(d)
(e)に示すカラーテーブルでは1画素のデータを取得
するのにYまたはUまたはVの1バイトのデータが読み
込まれ、またYUV各フレームのデータを読み込もうと
した場合、テーブル内データが連続しているため読み込
み効率が良い。
【0031】そして、画像合成部117は、副画像フレ
ームデータ変換部115で変換された副画像フレームデ
ータデータ及び、カラーテーブル変換部114で変換さ
れたカラーテーブルから、カラーテーブルテーブル引き
のみを行って、主画像データとのYUV合成を行う。
【0032】
【発明の効果】以上説明した本発明によれば、動画像に
映画やカラオケの字幕などの静止画像を合成する際の合
成処理の負荷を低減できる。第一の理由は、ランレング
スデコード後のn値のピクセルデータを、カラー情報と
コントラスト情報を含んだピクセルデータに変換をし
て、画像合成部に転送することにより、画像合成時のテ
ーブル引きの回数を減らすことができるためである。第
二の理由は、カラーテーブルの構造を表示フォーマット
に合わせて変換することによってカラーテーブル参照時
のYUVデータ並べ替えが必要なく、無駄なデータを読
み込むこともなくなるためである。
【図面の簡単な説明】
【図1】本発明の画像合成システムのブロック図
【図2】主画像データと副画像データの合成を説明する
ための概念図
【図3】副画像フレームデータのデータ構造を説明する
ための表
【図4】変換後の副画像フレームデータのデータ構造を
説明するための表
【図5】YUV422フォーマットで画像表示を行う場
合のカラーテーブル変換を説明するための表
【図6】YUV420フォーマットで画像表示を行う場
合のカラーテーブル変換を説明するための表
【符号の説明】
100 記憶装置 111 データ分離部 112 主画像復号部 113 副画像復号部 114 カラーテーブル変換部 115 副画像フレームデータ変換部 116 表示フォーマット取得部 117 画像合成部 118 表示処理部

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 一つの方式で圧縮された主画像データを
    復号する主画像復号部と、別の方式で圧縮された副画像
    データを復号する副画像復号部と、前記副画像復号器の
    出力の内カラーテーブルを変換するカラーテーブル変換
    部と、前記副画像復号器の出力の内フレームデータを変
    換する副画像フレームデータ変換部と、前記主画像復号
    部の出力と前記カラーテーブル変換部の出力と前記副画
    像フレームデータ変換部とを入力して主画像と副画像と
    を合成する画像合成部とを有する画像合成システムであ
    って、 前記カラーテーブル変換部は、合成画像を表示する表示
    フォーマットに基いて前記カラーテーブルを変換するこ
    とを特徴とする画像合成システム。
  2. 【請求項2】 前記表示フォーマットがYUV422フ
    ォーマットであり、YUYVの順で格納される場合に
    は、前記カラーテーブル変換部は、前記カラーテーブル
    を変換して、YUデータ取得用カラーテーブル及びYV
    データ取得用カラーテーブルを生成することを特徴とす
    る請求項1記載の画像合成システム。
  3. 【請求項3】 表示フォーマットがYUV420フォー
    マットであり、YUVがそれぞれフレーム単位で格納さ
    れる場合には、前記カラーテーブル変換部は、前記カラ
    ーテーブルを変換して、Yデータ取得用カラーテーブ
    ル、Uデータ取得用カラーテーブル、及びVデータ取得
    用カラーテーブルを生成することを特徴とする請求項1
    記載の画像合成システム。
JP32991998A 1998-11-19 1998-11-19 画像合成システム Expired - Fee Related JP3175825B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP32991998A JP3175825B2 (ja) 1998-11-19 1998-11-19 画像合成システム
US09/440,617 US6346971B1 (en) 1998-11-19 1999-11-15 Picture synthesizing system includes a color table conversion section

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32991998A JP3175825B2 (ja) 1998-11-19 1998-11-19 画像合成システム

Publications (2)

Publication Number Publication Date
JP2000156776A JP2000156776A (ja) 2000-06-06
JP3175825B2 true JP3175825B2 (ja) 2001-06-11

Family

ID=18226744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32991998A Expired - Fee Related JP3175825B2 (ja) 1998-11-19 1998-11-19 画像合成システム

Country Status (2)

Country Link
US (1) US6346971B1 (ja)
JP (1) JP3175825B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091409A (ja) * 2000-09-19 2002-03-27 Toshiba Corp 副映像処理機能付き再生装置
US6943845B2 (en) * 2000-12-15 2005-09-13 Canon Kabushiki Kaisha Apparatus and method for data processing, and storage medium
JP5194343B2 (ja) * 2005-08-08 2013-05-08 株式会社日立製作所 情報再生装置及び情報再生方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115080A (en) * 1998-06-05 2000-09-05 Sarnoff Corporation Channel selection methodology in an ATSC/NTSC television receiver

Also Published As

Publication number Publication date
JP2000156776A (ja) 2000-06-06
US6346971B1 (en) 2002-02-12

Similar Documents

Publication Publication Date Title
CN110278345B (zh) 变换方法、变换装置以及图像显示装置
JP6202330B2 (ja) 復号装置および復号方法、並びに符号化装置および符号化方法
US6690881B1 (en) Digital camera apparatus and recording method thereof
JP3210862B2 (ja) 画像符号化装置及び画像復号装置
US6803968B1 (en) System and method for synthesizing images
KR101237608B1 (ko) 다중화 방법 및 기록 매체
WO1996020557A1 (en) Picture information encoding/decoding system
KR20070029523A (ko) 디지털 이미지에서 썸네일을 생성하는 방법 및 장치
JPH06314092A (ja) 文字画像用記録再生装置
JP3713067B2 (ja) 画像信号圧縮符号化装置および伸長再生装置
US6333952B1 (en) Decoder for digital TV receiver
US20040207755A1 (en) Apparatus and method for signal prcoessing of format conversion and combination of video signals
US7596297B2 (en) Information processing apparatus and method program, and recording medium
US20020106183A1 (en) Dvd sub-picture decoder with minimal buffering
JP3175825B2 (ja) 画像合成システム
JPH0946630A (ja) 画像情報記録装置及び画像情報再生装置及び光ディスク
KR100585058B1 (ko) 캡션 디스플레이를 위한 엠펙 디코더 및 디코딩 방법
US7054370B2 (en) Apparatus and method of transcoding video snap image
JP3171243B2 (ja) 画像合成システム及びその画像合成方法
US20060024023A1 (en) Video playback system and the video playing method thereof
US6959043B2 (en) Video decoding method, video decoding apparatus, and video decoding program storage medium
JP2002369220A (ja) 拡張画像の符号化方法、拡張画像の復号化方法、拡張画像符号化装置、拡張画像復号化装置、及び拡張画像記録媒体
US7450831B2 (en) Method for DVD-subpicture compositing in 420 chroma format
JP4063158B2 (ja) 画像合成装置及び方法、並びに画像再生装置
JP3880255B2 (ja) 画像合成システム及び方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080406

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090406

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140406

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees