JP3175825B2 - 画像合成システム - Google Patents
画像合成システムInfo
- Publication number
- JP3175825B2 JP3175825B2 JP32991998A JP32991998A JP3175825B2 JP 3175825 B2 JP3175825 B2 JP 3175825B2 JP 32991998 A JP32991998 A JP 32991998A JP 32991998 A JP32991998 A JP 32991998A JP 3175825 B2 JP3175825 B2 JP 3175825B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- color table
- sub
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Color Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
に関し、特に、MPEG方式で圧縮された主画像データ
とランレングス方式で圧縮された字幕等の副画像データ
とを合成する画像合成システムに関する。
Goup ISO/IEC)方式で圧縮された画像データと、ラン
レングス方式で圧縮された映画やカラオケの字幕などの
副画像データを、それぞれ復号および合成し再生するシ
ステムにおいて、MPEGデコードおよびランレングス
デコードのデコード処理と合成処理をソフトウェアで処
理する場合に、副画像データ変換部で副画像データのフ
ォーマット変換は行っているが、カラーパレットの変換
を行っていない。
成時にテーブルを参照したあとに表示フォーマットに合
わせてYUVデータの並べ替え等の処理が必要となるた
め、CPU負荷を浪費するという問題があった。
わせ、カラーテーブルを変換することによって、YUV
データ並べ替えの無駄を省くことができ、画像データと
副画像データの合成時における処理負荷を低減する合成
手段を提供し、出力される主画像のフレーム数を向上す
ることを課題としている。
めの本発明は、一つの方式で圧縮された主画像データを
復号する主画像復号部と、別の方式で圧縮された副画像
データを復号する副画像復号部と、前記副画像復号器の
出力の内カラーテーブルを変換するカラーテーブル変換
部と、、前記副画像復号器の出力の内フレームデータを
変換する副画像フレームデータ変換部と、前記主画像復
号部の出力と前記カラーテーブル変換部の出力と前記副
画像フレームデータ変換部とを入力して主画像と副画像
とを合成する画像合成部とを有する画像合成システムで
あって、前記カラーテーブル変換部は、合成画像を表示
する表示フォーマットに基いて前記カラーテーブルを変
換するようにしている。
実施の形態について説明する。図1は本発明の画像合成
システムのブロック図である。図1に示すように、本発
明の画像合成システムは、記憶装置100と、データ分
離部111と、主画像復号部112と、副画像復号部1
13と、カラーテーブル変換部114と、副画像データ
変換部115と、表示フォーマット取得部116と、画
像合成部117と、表示処理部118とを含む。
れた主画像データと、ランレングス圧縮符号化された映
画やカラオケの字幕などの副画像データの多重化データ
を記憶している。
ら読み出した多重化データから、圧縮主画像データと圧
縮副画像データの分離処理を施し、圧縮主画像データは
主画像復号部112に、圧縮副画像データは副画像復号
部113にそれぞれ出力する。
化された画像データの復号処理を施し、デコードデータ
を画像合成部116に出力する。
符号化された副画像データの復号処理を施し、副画像フ
レームデータを副画像フレームデータ変換部115に、
カラーテーブルをカラーテーブル変換部114にそれぞ
れ出力する。
マット取得部116で取得した表示フォーマットにした
がってカラーテーブルの変換処理を施し、変換後のカラ
ーテーブルを画像合成部117に出力する。
ンレングスデコードした副画像データに、フォーマット
変換を施し、変換データを画像合成部117に出力す
る。
から受け取った主画像データと副画像フレームデータ変
換部115及びカラーテーブル変換部114から受け取
り生成した副画像データをYUV形式で合成し、表示処
理部118に出力し表示を行う。
成を示す概念図である。図2に示すように、主画像の指
定された合成位置(left,top),(righ
t,bottom)に副画像データが合成される。
フレームデータ、インデックステーブル、カラーテーブ
ルをそれぞれ示している。デコード後の各ピクセルは、
図3(a)の副画像フレームデータに示したとおり、各
ピクセルは0からn−1のいずれかの値を持つ。
スト情報とカラー情報の参照テーブルであり、参照テー
ブルは、n値の各ピクセルデータそれぞれについて、最
大m色のうち何色を用いるかを示すカラーインデックス
と合成比率を示すコントラストとが指定されるインデッ
クステーブルと、カラーインデックスそれぞれのカラー
情報(Y,U,V)が指定されるカラーテーブルとで構
成される。
ピクセルに対するコントラスト情報とカラー情報とが2
つのテーブルで指定されている場合、画像合成部117
において、そのままのデータフォーマットで合成処理を
行うと、1画素分のYUVデータを取得するのために2
回のテーブル引きが必要となり煩雑である。
のインデックステーブル引きのみ行ってフレームデータ
のフォーマット変換を施した後で、画像合成部117に
出力をする。
マットを示す。この例では、ランレングスデコード後の
副画像データは2値のピクセルデータで、カラーデータ
は最大16色、またコントラストは0から15の値を取
るものとしている。
データの値が”0”の場合、カラーインデックスの値
は”0”、コントラスト値は”0”である。従って、変
換後のピクセルデータは、上位4ビットにはカラーイン
デックスを示す”0000b”を、下位4ビットにはコ
ントラスト値を示す”0000b”をそれぞれ挿入す
る。同様にして、ピクセルデータの値が”1”の場合、
カラーインデックスの値は”2”、コントラスト値は”
15”である。従って変換後のピクセルデータは、上位
4ビットにはカラーインデックスを示す”0010b”
を、下位4ビットにはコントラスト値を示す”1111
b”をそれぞれ挿入する。
のピクセルデータを、カラーインデックス値とコントラ
スト値を表す1画素あたり8ビットのデータに変換をし
た後に画像合成部に出力をする。
像フレームデータとカラーテーブルを用いて副画像を主
画像に合成処理するが、合成処理するフォーマットは表
示処理部118で表示するフォーマットに依存する。こ
のため、表示フォーマット取得部116では表示処理部
118から現在の表示フォーマットを取得し、取得した
表示フォーマットにしたがって、副画像復号部113で
復号したカラーテーブルを変換する。
表示処理部118で表示されるフォーマットにおいて
は、図5(a)に示すように、輝度信号Y4画素に対し
て色差信号U,Vはそれぞれ2画素分しかなく(一般的
にはYUV422フォーマットと呼ばれる)、Y、U、
Vが1画素単位でパックされた形式で格納されるフォー
マットの場合のカラーテーブル変換である。
ーブルは図5(b)に示すフォーマットになっており、
カラーインデックスによりそれぞれのカラー情報(Y,
U,V)が指定される。
れるフォーマットが図5(a)に示すようにY4画素に
対し、U、Vそれぞれ2画素分のデータしかない場合、
図5(b)に示すカラーテーブルをそのまま使用する
と、1画素のデータを取得するのにY,U,Vの3バイ
トのデータが読み込まれ、また読み込んだデータの並べ
替えも必要になる。
で表示する場合はカラーテーブルを図5(c)(d)に
示すフォーマットに変換した方が効率が良い。図5
(c)(d)に示すカラーテーブルでは1画素のデータ
を取得するのにY,UまたはY,Vの2バイトのデータ
が読み込まれ、また読み込んだデータの並べ替えも必要
ない。
す。図6では表示処理部118で表示されるフォーマッ
トが、図6(a)に示すように、輝度信号Y4画素に対
して色差信号U,Vは1画素分しかなく(一般的にはY
UV420フォーマットと呼ばれる)、Y、U、Vそれ
ぞれ1フレーム分が連続して格納されるフォーマットの
場合のカラーテーブル変換を示した図である。
ーブルは図6(b)に示すフォーマットになっており、
カラーインデックスによりそれぞれのカラー情報(Y,
U,V)が指定される。
れるフォーマットが図6(a)に示すようにY、U、V
それぞれ別の領域に書き込む場合、図6(b)に示すカ
ラーテーブルをそのまま使用すると、1バイトのデータ
を取得するのにもY,U,Vの3バイトのデータが読み
込まれ、またYUV各フレームのデータを読み込もうと
した場合、テーブル内データが不連続になり、CPUで
の読み込み効率が悪くなる。
で表示する場合は図6(c)(d)(e)に示すフォー
マットに変換した方が効率が良い。図6(c)(d)
(e)に示すカラーテーブルでは1画素のデータを取得
するのにYまたはUまたはVの1バイトのデータが読み
込まれ、またYUV各フレームのデータを読み込もうと
した場合、テーブル内データが連続しているため読み込
み効率が良い。
ームデータ変換部115で変換された副画像フレームデ
ータデータ及び、カラーテーブル変換部114で変換さ
れたカラーテーブルから、カラーテーブルテーブル引き
のみを行って、主画像データとのYUV合成を行う。
映画やカラオケの字幕などの静止画像を合成する際の合
成処理の負荷を低減できる。第一の理由は、ランレング
スデコード後のn値のピクセルデータを、カラー情報と
コントラスト情報を含んだピクセルデータに変換をし
て、画像合成部に転送することにより、画像合成時のテ
ーブル引きの回数を減らすことができるためである。第
二の理由は、カラーテーブルの構造を表示フォーマット
に合わせて変換することによってカラーテーブル参照時
のYUVデータ並べ替えが必要なく、無駄なデータを読
み込むこともなくなるためである。
ための概念図
ための表
説明するための表
合のカラーテーブル変換を説明するための表
合のカラーテーブル変換を説明するための表
Claims (3)
- 【請求項1】 一つの方式で圧縮された主画像データを
復号する主画像復号部と、別の方式で圧縮された副画像
データを復号する副画像復号部と、前記副画像復号器の
出力の内カラーテーブルを変換するカラーテーブル変換
部と、前記副画像復号器の出力の内フレームデータを変
換する副画像フレームデータ変換部と、前記主画像復号
部の出力と前記カラーテーブル変換部の出力と前記副画
像フレームデータ変換部とを入力して主画像と副画像と
を合成する画像合成部とを有する画像合成システムであ
って、 前記カラーテーブル変換部は、合成画像を表示する表示
フォーマットに基いて前記カラーテーブルを変換するこ
とを特徴とする画像合成システム。 - 【請求項2】 前記表示フォーマットがYUV422フ
ォーマットであり、YUYVの順で格納される場合に
は、前記カラーテーブル変換部は、前記カラーテーブル
を変換して、YUデータ取得用カラーテーブル及びYV
データ取得用カラーテーブルを生成することを特徴とす
る請求項1記載の画像合成システム。 - 【請求項3】 表示フォーマットがYUV420フォー
マットであり、YUVがそれぞれフレーム単位で格納さ
れる場合には、前記カラーテーブル変換部は、前記カラ
ーテーブルを変換して、Yデータ取得用カラーテーブ
ル、Uデータ取得用カラーテーブル、及びVデータ取得
用カラーテーブルを生成することを特徴とする請求項1
記載の画像合成システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32991998A JP3175825B2 (ja) | 1998-11-19 | 1998-11-19 | 画像合成システム |
US09/440,617 US6346971B1 (en) | 1998-11-19 | 1999-11-15 | Picture synthesizing system includes a color table conversion section |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32991998A JP3175825B2 (ja) | 1998-11-19 | 1998-11-19 | 画像合成システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000156776A JP2000156776A (ja) | 2000-06-06 |
JP3175825B2 true JP3175825B2 (ja) | 2001-06-11 |
Family
ID=18226744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32991998A Expired - Fee Related JP3175825B2 (ja) | 1998-11-19 | 1998-11-19 | 画像合成システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US6346971B1 (ja) |
JP (1) | JP3175825B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091409A (ja) * | 2000-09-19 | 2002-03-27 | Toshiba Corp | 副映像処理機能付き再生装置 |
US6943845B2 (en) * | 2000-12-15 | 2005-09-13 | Canon Kabushiki Kaisha | Apparatus and method for data processing, and storage medium |
JP5194343B2 (ja) * | 2005-08-08 | 2013-05-08 | 株式会社日立製作所 | 情報再生装置及び情報再生方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6115080A (en) * | 1998-06-05 | 2000-09-05 | Sarnoff Corporation | Channel selection methodology in an ATSC/NTSC television receiver |
-
1998
- 1998-11-19 JP JP32991998A patent/JP3175825B2/ja not_active Expired - Fee Related
-
1999
- 1999-11-15 US US09/440,617 patent/US6346971B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000156776A (ja) | 2000-06-06 |
US6346971B1 (en) | 2002-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110278345B (zh) | 变换方法、变换装置以及图像显示装置 | |
JP6202330B2 (ja) | 復号装置および復号方法、並びに符号化装置および符号化方法 | |
US6690881B1 (en) | Digital camera apparatus and recording method thereof | |
JP3210862B2 (ja) | 画像符号化装置及び画像復号装置 | |
US6803968B1 (en) | System and method for synthesizing images | |
KR101237608B1 (ko) | 다중화 방법 및 기록 매체 | |
WO1996020557A1 (en) | Picture information encoding/decoding system | |
KR20070029523A (ko) | 디지털 이미지에서 썸네일을 생성하는 방법 및 장치 | |
JPH06314092A (ja) | 文字画像用記録再生装置 | |
JP3713067B2 (ja) | 画像信号圧縮符号化装置および伸長再生装置 | |
US6333952B1 (en) | Decoder for digital TV receiver | |
US20040207755A1 (en) | Apparatus and method for signal prcoessing of format conversion and combination of video signals | |
US7596297B2 (en) | Information processing apparatus and method program, and recording medium | |
US20020106183A1 (en) | Dvd sub-picture decoder with minimal buffering | |
JP3175825B2 (ja) | 画像合成システム | |
JPH0946630A (ja) | 画像情報記録装置及び画像情報再生装置及び光ディスク | |
KR100585058B1 (ko) | 캡션 디스플레이를 위한 엠펙 디코더 및 디코딩 방법 | |
US7054370B2 (en) | Apparatus and method of transcoding video snap image | |
JP3171243B2 (ja) | 画像合成システム及びその画像合成方法 | |
US20060024023A1 (en) | Video playback system and the video playing method thereof | |
US6959043B2 (en) | Video decoding method, video decoding apparatus, and video decoding program storage medium | |
JP2002369220A (ja) | 拡張画像の符号化方法、拡張画像の復号化方法、拡張画像符号化装置、拡張画像復号化装置、及び拡張画像記録媒体 | |
US7450831B2 (en) | Method for DVD-subpicture compositing in 420 chroma format | |
JP4063158B2 (ja) | 画像合成装置及び方法、並びに画像再生装置 | |
JP3880255B2 (ja) | 画像合成システム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080406 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090406 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 11 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 11 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 11 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 13 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |