JP4541482B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP4541482B2
JP4541482B2 JP2000052992A JP2000052992A JP4541482B2 JP 4541482 B2 JP4541482 B2 JP 4541482B2 JP 2000052992 A JP2000052992 A JP 2000052992A JP 2000052992 A JP2000052992 A JP 2000052992A JP 4541482 B2 JP4541482 B2 JP 4541482B2
Authority
JP
Japan
Prior art keywords
image
screen
gui
unit
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000052992A
Other languages
English (en)
Other versions
JP2001242848A5 (ja
JP2001242848A (ja
Inventor
秀明 由井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000052992A priority Critical patent/JP4541482B2/ja
Priority to US09/790,599 priority patent/US6859236B2/en
Priority to EP01301773A priority patent/EP1143745B1/en
Priority to DE60135265T priority patent/DE60135265D1/de
Priority to KR10-2001-0010308A priority patent/KR100412763B1/ko
Publication of JP2001242848A publication Critical patent/JP2001242848A/ja
Priority to US10/916,401 priority patent/US6961097B2/en
Priority to US11/171,384 priority patent/US20050237431A1/en
Priority to US11/609,250 priority patent/US7375769B2/en
Publication of JP2001242848A5 publication Critical patent/JP2001242848A5/ja
Application granted granted Critical
Publication of JP4541482B2 publication Critical patent/JP4541482B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4435—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、マルチ画面とＧＵＩ画面を合成して統合表示する装置やシステムに用いられる、画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
近年では、例えば、ＤＴＶ（ディジタルテレビジョン装置）、ＤＶＤ（ディジタルビデオディスク装置）、或いはＰＣ（パーソナルコンピュータ）等での画像データ（映像メディア）を、液晶プロジェクタやプラズマディスプレイ等の大型の表示装置（表示デバイス）にて、マルチ画面表示させることが多く行われてきている。
これを受けて将来的な家庭では、大型の表示デバイスをマルチメディアの中心デバイスと位置づけ、様々な映像メディアを表示デバイスに統合表示した形での用途が望まれている。
【０００３】
上述のような背景から、ＤＴＶをターゲットにしたアプリケーションを実現する画像表示システムでは、一度に複数の画像データ（ビデオ画像）を同時に表示させるだけではなく、データ放送、ＷＷＷブラウザ、Ｅ−ｍａｉｌ、ＥＰＧ（電子プログラムガイド）、１３９４周辺機器のユーザ支援画面等の所謂ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ ｌｎｔｅｒｆａｃｅ）画面等を、上述したマルチ画面と合成し統合表示する機能も必要となっている。
【０００４】
上記機能を実現させるためには、マルチ入力されるビデオ画像やＧＵＩ画像を展開するためのメモリが必要となるが、このメモリ構成は、ビデオ画像プレーンと、ＧＵＩ画像プレーンと、ＧＵＩ画像及びビデオ画像の合成を制御するためのアルファプレーンとで構成する方式が取られている。
そして、上記アルファプレーンに書き込まれたアルファ値により、ビデオ画像の画面（ビデオ画面）選択、ＧＵＩ画像の画面（ＧＵＩ画面）選択、ビデオ画面及びＧＵＩ画面のアルファブレンディンク等の合成が、ビット単位で操作可能となっている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述したような従来の画像表示システムにおいて、マルチ入力されるビデオ画像やＧＵＩ画像を展開するためのメモリの構成を、ＧＵＩ画像とビデオ画像の合成を制御するためのアルファプレーンを専用に構成した場合、通常、アルファプレーンは、１画素当たり８ビット用意され、さらに、表示解像度分のメモリ容量が必要となる。
【０００６】
したがって、例えば、ＤＴＶ分野ではＨＤＴＶ対応が必要となるが、将来的に１０８０Ｐのような高解像度のプログレッシブディスプレイが使用されるようになった場合は、１９２０×１０８０×８＝２ＭＢものメモリ容量が必要となる。これは、単純にメモリ容量が増加することだけではなく、ＧＵＩ画像プレーンへアルファ値を展開するＣＰＵ、或いはグラフィックスアクセラレータの負荷を増大させる要因ともなり得ることを示唆している。
【０００７】
そこで、上述のような問題を解決するために、アルファプレーンをなくし、ＧＵＩ画像データに特定のキーカラーを挿入することで、マルチ入力されるビデオ画像とＧＵＩ画像の合成を実現するクロマキ合成方式がある。
【０００８】
しかしながら、クロマキ合成方式では、ＣＰＵが、キーカラーに当たらないようにＧＵＩ画面の色を管理できることが前提であり、ＣＰＵの管理外のデータ（ＢＳディジタルのデータ放送から抽出した静止画データや、インターネットのイメージデータ、或いはディジタルカメラにて得られた自然画像データ等）がＧＵＩ画面に展開された場合、キーカラーにヒットする確率が上がることで、意図した合成結果が得られない可能性があった。
【０００９】
そこで、本発明は、上記の欠点を除去するために成されたもので、マルチ画面とＧＵＩ画面の合成を、メモリを有効に使用しながら精度良く行える、画像処理装置及び画像処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の画像処理装置は、ビデオ画像とＧＵＩ画像とを、前記ＧＵＩ画像に対して設定されるキーカラーに基づいたクロマキ合成処理によって合成して表示させる画像処理装置であって、前記ＧＵＩ画像の中に存在するオブジェクトの属性を識別する識別手段と、前記オブジェクトの属性に基づいて、前記オブジェクトが前記識別手段の管理外の色で構成されているか否かを判定する判定手段と、前記判定手段により、前記オブジェクトが前記識別手段の管理外の色で構成されていると判定された場合に、表示領域内の前記オブジェクトを含まない領域にマスク領域を設定する設定手段と、前記マスク領域に対して、前記クロマキ合成処理を施す合成手段とを備えることを特徴とする。
【００１１】
また、本発明の画像処理装置は、ビデオ画像とＧＵＩ画像とを、前記ＧＵＩ画像に対して設定されるキーカラーに基づいたクロマキ合成処理によって合成して表示させる画像処理装置であって、前記ＧＵＩ画像の中に存在するオブジェクトの属性を識別する識別手段と、前記オブジェクトの属性に基づいて、前記オブジェクトが前記識別手段の管理外の色で構成されているか否かを判定する判定手段と、前記判定手段により、前記オブジェクトが前記識別手段の管理外の色で構成されていると判定された場合に、表示領域内の前記オブジェクトを含む領域に矩形領域を設定する設定手段と、前記矩形領域以外の領域に対して、前記クロマキ合成処理を施す合成手段とを備えることを特徴とする。
【００１２】
本発明の画像処理方法は、ビデオ画像とＧＵＩ画像とを、前記ＧＵＩ画像に対して設定されるキーカラーに基づいたクロマキ合成処理によって合成して表示させる画像処理方法であって、前記ＧＵＩ画像の中に存在するオブジェクトの属性を識別する識別ステップと、前記オブジェクトの属性に基づいて、前記オブジェクトが前記識別ステップを実行する識別手段の管理外の色で構成されているか否かを判定する判定ステップと、前記判定ステップにより、前記オブジェクトが前記識別手段の管理外の色で構成されていると判定された場合に、表示領域内の前記オブジェクトを含まない領域にマスク領域を設定する設定ステップと、前記マスク領域に対して、前記クロマキ合成処理を施す合成ステップとを有することを特徴とする。
【００１３】
また、本発明の画像処理方法は、ビデオ画像とＧＵＩ画像とを、前記ＧＵＩ画像に対して設定されるキーカラーに基づいたクロマキ合成処理によって合成して表示させる画像処理方法であって、前記ＧＵＩ画像の中に存在するオブジェクトの属性を識別する識別ステップと、前記オブジェクトの属性に基づいて、前記オブジェクトが前記識別ステップを実行する識別手段の管理外の色で構成されているか否かを判定する判定ステップと、前記判定ステップにより、前記オブジェクトが前記識別手段の管理外の色で構成されていると判定された場合に、表示領域内の前記オブジェクトを含む領域に矩形領域を設定する設定ステップと、前記矩形領域以外の領域に対して、前記クロマキ合成処理を施す合成ステップとを有することを特徴とする。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３３】
（第１の実施の形態）
本発明は、例えば、図１に示すような画像表示システム１００に適用される。
この画像表示システム１００は、クロマキ合成方式によって、マルチ入力されるビデオ画像ソースやＧＵＩ画像を合成し統合表示する機能を有するシステムである。
特に、画像表示システム１００は、グラフィックスアクセラレータを制御するＣＰＵの管理外の色を有する画像を、表示用のメモリへ展開する際、その管理外の色を有する画像のデータ種別及び属性を識別する手段を備え、当該手段によって識別された画像が、クロマキ合成処理時にキーカラーにヒットする確率が高いと判断された場合は、上記画像領域のクロマキ合成処理をマスクすることにより、メモリ容量を低減させ、且つ、クロマキ合成処理の精度を向上させることを可能にしたものである。
【００３４】
＜画像表示システム１００の構成＞
本実施の形態では、画像表示システム１００は、２つの独立した画像ソースを１つの表示モニタに表示するものとするが、表示モニタにて表示する画像ソースの数は２つに限られることはなく、２つよりさらに多い数でも、或いは少ない数でもよい。
【００３５】
上記図１において、まず、ＤＴＶ受信フロントエンド部（以下、「画像ソース」とも言う）１ａは、チューナ部２、復調部３、多重化分離部４、オーディオ復号部５、画像復号部６、及びデータ復号部７を含んでいる。
【００３６】
チューナ部２は、放送信号（ディジタルテレビジョン信号）を、地上波や衛星波等から受信し、その受信信号を、帯域フィルタやダウンコンバータ等を通過させた後、復調部３へ供給する。
【００３７】
復調部３は、チューナ部２からの信号に対して、伝送形態に合致した復調処理を施すと共に、誤り訂正処理等をも施し、その処理後の信号を、所望のＭＰＥＧ２トランスポートストリームとして多重化分離部４へ供給する。
【００３８】
多重化分離部４は、復調部３からのトランスポートストリームを、所望のプログラムのＭＰＥＧ２のビデオデータ、ＭＰＥＧ２のオーディオデータ、及び付加情報に分離する。
【００３９】
オーディオ復号部５は、多重化分離部４にて得られたＭＰＥＧ２のオーディオデータを復号して、オーディオ信号として出力する。したがって、オーディオ復号部５の出力へアンプやスピーカを接続すれば、チューナ部２で受信された放送信号（番組）の音声を聞くことができる。
【００４０】
画像復号部６は、多重化分離部４にて得られたＭＰＥＧ２のビデオデータを復号して、ラスタースキャン形式の表示フォーマットのデータに変換した後、それを放送画像データとして、動画入力部８ａへ供給する。
【００４１】
データ復号部７は、多重化分離部４にて得られた付加情報を復号して、マルチ画面制御部１０へ供給する。
【００４２】
尚、ここでの「復号」とは、例えば、チューナ部２にてＢＳディジタル放送が受信された場合、ＭＨＥＧ−５やＨＴＭＬ、或いはＸＭＬ等のシナリオ記述言語で記述されたオブジェクトから、マルチメディア情報サービス提供者のシナリオを得ることを意味する。このシナリオは、構造化されたコンテンツの属性（大きさや位置、画像の種別、符号化方式）からなり、マルチ画面制御部１０が、当該シナリオを解釈し、グラフィックアクセラレータ２１や画像復号化部６と連動して、データ放送画面を構成する。また、例えば、チューナ部２にてＣＳデジタル放送が受信された場合、主に番組情報を得ることを意味する。この番組情報は、マルチ画面制御部１０により解釈され、グラフィックアクセラレータ２１への描画命令により、ＥＰＧ（電子プログラムガイド）等のＧＵＩ画面へと構成される。
【００４３】
ＤＶＤドライブ装置（以下、「画像ソース」とも言う）１ｂは、アナログコンポジット信号又はディジタル信号を、ＹＵＶラスタ形式の形の画像データとして、動画入力部８ｂへ供給する。
【００４４】
動画入力部８ａは、ＤＴＶ受信フロントエンド部１ａの画像復号部６からの画像データを受け取り、動画入力部８ｂは、ＤＶＤドライブ装置１ｂからの画像データを受け取る。
【００４５】
これらの動画入力部８ａ及び動画入力部８ｂはそれぞれ同様の構成としているが、それぞれ独立したタイミングで、対応する画像ソースから画像データを受け取る。
このとき、動画入力部８ａ及び動画入力部８ｂはそれぞれ、対応する画像ソースから、画像データと、画像データを受け取るための制御信号（例えば、１ラインの同期を取る水平同期信号、１フレーム又は１フィールドの同期を取る垂直同期信号、１画素をサンプルするクロック信号、有効画像データの転送期間を示すディスプレイイネーブル信号等）も場合によっては同時に受け取る。
【００４６】
また、動画入力部８ａ及び動画入力部８ｂはそれぞれ、例えば、受け取った画像データがコンピュータのアナログ信号である場合、そのアナログ信号を、ディジタル化するＡ／Ｄコンバータや、画像データをサンプリングするためのＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路によって処理する。或いは、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）等のディジタル信号である場合、そのディジタル信号を、復号器や差動バッファによって処理する。或いは、テレビジョンやＤＶＤのコンポジット信号である場合、そのコンポジット信号を、コンポジット信号をＹＵＶからＲＧＢ信号に変換する色変換回路や、走査方式をインタレースからプログレッシブに変換するＩ−Ｐ変換回路等によって処理する。
【００４７】
解像度変換部９ａは、マルチ画面制御部１０からの制御に従って、動画入力部８ａで受け取られた画像データの表示フォーマット（表示ライン数やドット数、色数）を変換する。
また、解像度変換部９ｂも同様に、マルチ画面制御部１０からの制御に従って、動画入力部８ｂで受け取られた画像データの表示フォーマットを変換する。
【００４８】
さらに、解像度変換部９ａ及び解像度変換部９ｂはそれぞれ、解像度変換部９ａ及び解像度変換部９ｂでの独立した２つの画像データを、１つの共通したグラフィックバス２２に対して出力するためのバスインタフェースの機能を有している。
【００４９】
したがって、解像度変換部９ａ及び解像度変換部９ｂのそれぞれから出力される画像データは、グラフィックバス２２を経由して、メモリ制御部１３の制御のもとで、メモリ１４へ格納される。
このメモリ１４は、少なくとも表示画像１面分の容量を有する。本実施の形態では、グラフィックアクセラレータ２１から出力されるデータ用をも含めて、少なくとも表示画像３画面分の容量を有するものとしている。
【００５０】
出力合成部１８は、マルチ画面制御部１０からのマルチウィンドウ管理指示に基づき、表示すべき画像データがストアされているメモリアドレスを、メモリ制御部１３に対して発行することにより、メモリ部１４から表示画像データを読み出し、最終的なマルチ画面合成を実現する。
【００５１】
出力変換部１５は、出力合成部１８にて選られたマルチ画面を表示デバイス１６で表示するために、表示デバイス１６のフレームレートに同期して、表示デバイス１６の特性に応じた表示駆動の制御や、表示フォーマット変換処理を行う。
【００５２】
表示デバイス１６は、出力変換部１５からのマルチ画面を表示する。
この表示デバイス１６としては、マトリクス電極構造を持つフラットパネル（液晶、プラズマ等）であっても、ＣＲＴであっても、画像を表示するデバイスであれば限定されることはない。本実施の形態では、テレビジョン装置であればハイビジョンの表示装置、ＰＣであればＳＸＧＡ以上の高精細画像を表示できる大画面ディスプレイをターゲットにしている。
【００５３】
バス調停部１２は、グラフィックスバス２２に対する非同期で起こるメモリ部１４ヘのアクセスを、優先順位に基づきスケーラブルに管理する。
【００５４】
マルチ画面制御部１０は、本システム１００全体の動作制御を司るものであり、演算能力を持つＣＰＵ（図示せず）、データを一時格納するＲＡＭ１１、制御プログラム等を格納するＲＯＭ１７、時間を計測するカウンタ、及び周辺入出カインタフェース等を有している。
【００５５】
尚、マルチ画面制御部１０は、論理ロジックのみで構成されていても、ＣＰＵや並列演算が可能なメディアプロセッサであってもよい。また、マルチ画面制御部１０での制御のためのプログラムは、ＲＯＭ１７へ内蔵されていてもよいし、周辺入出カインタフェースを介して外部から転送されるものとしてもよい。
【００５６】
ＲＯＭ１７には、必要に応じて文字フォント等の情報も格納されており、この情報は、ＷＷＷやデータ放送の文字情報を画面に展開するときに使用される。
【００５７】
マルチ画面制御部１０には、リモコン制御部１９が接続されている。したがって、マルチ画面制御部１０は、リモコン制御部１９に接続されたリモコン（リモートコントローラ）２３からのコマンド（赤外線を用いたコマンド）を、リモコン制御部１９を介して受け付けることができる。
【００５８】
グラフィックアクセラレータ２１は、マルチ画面制御部１０が、表示デバイス１６の画面（ディスプレイ）上にＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画面＜ＧＵＩ画面＞や、ＥＰＧ（電子プログラムガイド）画面、データ放送画面等のＣＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ ｌｎｔｅｒｆａｃｅ）画面を構成する際に、描画命令や、ＢｉｔＢ１ｔやＤＭＡ等のアクセラレーション機能を用いるときに動作する。
【００５９】
モデム部２４は、インターネットとの接続の際に動作し、ＩＥＥＥ１３９４制御部２５は、ＩＥＥＥ１３９４バスとの接続の際に動作し、ＰＣＭＣＩＡ２６は、ディジタルカメラ等により得られた画像データをＣＯＭＰＡＣＴ ＦＬＡＳＨ等を通じて取り込む際に動作する。
これらの周辺デバイスは、ＣＰＵバス２７を介してマルチ画面制御部１０に接続されている。
【００６０】
＜画像表示システム１００の動作＞
画像表示システム１００は、例えば、図２に示すフローチャートに従って動作する。この動作は、マルチ画面制御部１０の動作制御によって実施される。
【００６１】
ステップＳ１０１、ステップＳ１０２：
マルチ画面制御部１０は、本システム１００の電源オンを検知すると（ステップＳ１０１）、表示の初期化処理を行う（ステップＳ１０２）。
ステップＳ１０２での表示の初期化処理は、例えば、図３のフローチャートにより示される。
【００６２】
すなわち、上記図３に示すように、先ず、マルチ画面制御部１０は、接続入力検知を行う（ステップＳ２０１）。これは、本システム１００に対して、いくつの画像ソースが接続されているかを識別する処理である。
【００６３】
具体的には、動画入力部８ａ及び８ｂは、対応する画像ソースからの接続識別信号を常に監視している。この接続識別信号は、画像ソース１ａ及び１ｂから出力される論理的な“１”又は“０”の２値信号である。
例えば、接続ケーブルが抜かれたり、画像ソースの電源が切れた場合、動画入力部８ａ及び８ｂでは抵抗終端しているため上記接続識別信号の論理は“０”となり、当該画像ソースから画像データが入力されないことを認識できる。
【００６４】
したがって、マルチ画面制御部１０は、一定期間毎に制御線Ｓ１−ａ及びｂを介して動画入力部８ａ及び８ｂから送られてくる監視情報により、画像ソース１ａ及び１ｂから出力される接続認識信号を検知し、接続認識信号が“１”である場合には、接続されていると見なし、次のステップＳ２０２の動画入力パラメータの設定処理へと進む。一方、接続認識信号が“０”である場合には、“１”の接続認識信号の入力が検知されるまで当該信号の監視を継続する。
【００６５】
上述のようなステップＳ２０１の処理後、マルチ画面制御部１０は、制御線Ｓ１−ａ及びｂを介して動画入力部８ａ及び８ｂから送られてくる情報により、接続検知した画像ソースからの画像データ（動画）入力のためのパラメータ（表示ドット数、表示ライン数の情報、水平垂直タイミング等）を検知し、そのパラメータを、制御線Ｓ１−ａ及びｂを介して、動画入力部８ａ及び８ｂへ設定する（ステップＳ２０２）。
【００６６】
尚、上記パラメータは、動画入力部８ａ及び８ｂが、１ラインの同期を取る水平同期信号、１フレーム又は１フィールドの同期を取る垂直同期信号、１画素をサンプルするクロック信号等を用いて、クロック数や水平同期信号数を直接カウントすることによって知ることも可能である。
【００６７】
次に、マルチ画面制御部１０は、接続検知した１つ以上の画像ソースからの画像データを表示デバイス１６で表示する際の表示レイアウトを決定する（ステップＳ２０３）。
尚、デフォルトの表示レイアウトとしては、予めＲＯＭ１７にプリセットされたレイアウトが使用される。
【００６８】
次に、マルチ画面制御部１０は、ステップＳ２０３にて決定した表示レイアウトにおいて、画像の重なりがあるか否かを判別する（ステップＳ２０４）。
この判別の結果、画像の重なりがある場合には、ステップＳ２０５を介してステップＳ２０６へと進み、画像の重なりがない場合には、そのままステップＳ２０６へと進む。
【００６９】
ステップＳ２０４の判別の結果、画像の重なりがある場合、マルチ画面制御部１０は、その重なりのレイヤ優先度（最上位の画像ほど優先度が高い）を決定し、その情報をＲＡＭ１１へ書き込む（ステップＳ２０５）。
【００７０】
ステップＳ２０６では、マルチ画面制御部１０は、各画像の表示デバイス１６上の表示開始位置、表示終了位置、水平垂直の拡大率或いは縮小倍率を決定し、それらの決定した情報を解像度変換パラメータとして、ＲＡＭ１１へ書き込む。また、マルチ画面制御部１０は、上記解像度変換パラメータを、制御線Ｓ２−ａ及びｂを介して、解像度変換部９ａ及び９ｂへ設定する。
【００７１】
次に、マルチ画面制御部１０は、解像度変換部９ａ及び９ｂの出力をメモリ部４へ書き込む際に必要な書き込み用のメモリアドレスを設定する（ステップＳ２０７）。このメモリアドレスは、書き込みアドレス生成処理でのメモリアドレスのオフセット値として使用される。
【００７２】
例えば、本実施の形態では、図４に示すように、メモリ部１４は、動画用２画面分の領域１４ａ及び１４ｂと、ＧＵＩ画面用１画面の領域１４ｃとの計３画面分の領域で構成されている。したがって、メモリ部１４へにデータ書き込み時点ではオンスクリーン状態の形式ではない。
この場合、マルチ画面制御部１０は、領域１４ａ〜１４ｃのそれぞれの開始アドレス０〜２を、制御線Ｓ２−ａ及びｂを介して、解像度変換部９ａ及び９ｂへ設定すると共に、グラフィックアクセラレータ２１へも設定する。
【００７３】
次に、マルチ画面制御部１０は、表示デバイス１６でのマルチウィンドウ表示時の背景色（パターン）を設定する（ステップＳ２０８）。
具体的には、出力合成部１８は、詳細は後述するが、図５に示すような構成としており、マルチ画面制御部１０は、上記背景色（パターン）を、出力合成部１８の背景レジスタ３７へ設定する。
【００７４】
次に、マルチ画面制御部１０は、マルチ画面制御用ＧＵＩ画面の表示設定を行う（ステップＳ２０９）。
【００７５】
具体的には、まず、ＧＵＩ画面は、マルチ画面制御用画面だけではなく、Ｗｅｂ画面やＥＰＧ画面としても用いられる。
マルチ画面制御部１０は、ＧＵＩ画面を描画するための命令をグラフィックアクセラレータ２１に対して発行したり、グラフィックアクセラレータ２１のＤＭＡ機能を用いてビットマップ形式に展開した文字やその他のデータをメモリ部１４に書き込むことで、ＧＵＩ画面作成を行う。また、マルチ画面制御部１０は、ＧＵＩ画面のマルチ画面上での表示レイアウトも決定する。このときの優先度は最上位である。
【００７６】
そして、マルチ画面制御部１０は、出力合成部１８を動作させるための各種設定を行う（ステップＳ２１０）。
【００７７】
ここで、ステップＳ２１０での設定に従って動作する出力合成部１８の概要について、上記図５を用いて説明する。
【００７８】
合成制御部３０は、表示デバイス１６の同期信号（Ｈｓｙｎｃ、Ｖｓｙｎｃ）を基準として動作する表示の水平画素数カウンタ及び垂直ライン数カウンタのカウンタ値と、後述するパラメータとの比較条件によって、各種制御信号を生成する処理部である。
【００７９】
合成制御部３０は、マルチ画面制御部１０からの信号Ｓ３により、水平カウントスタート値（Ｈｓｙｎｃから有効画素が始まる期間）、垂直ラインズタート値（Ｖｓｙｎｃから有効ラインが始まる期間）、水平画素数、及び垂直ライン数を取得することで、表示デバイス１６での表示期間のラスタースキャン走査をカウントする。
【００８０】
また、合成制御部３０は、マルチ画面制御部１０からの信号Ｓ３により、各画像のレイアウト情報を反映した、合成スタートアドレス（合成制御部３０の有効カウントの開始からのオフセット値）と、水平画素数及び垂直ライン数（アドレス生成部３１〜３３へセットされた情報）とを画面数分取得する。
そして、合成制御部３０は、上記取得情報と、合成制御部３０のカウント値とを比較した結果、それらが一致した場合、データ線Ｓ５−ａ〜ｃを介して、アドレス生成部３１〜３３の計数動作をキックする。
これにより、３種類のアドレス生成部３１〜３３が独立にカウント動作をすることになる。
【００８１】
上述のカウンタのリセットは、通常の場合Ｖｓｙｎｃ毎になされる。
【００８２】
アドレス生成部３１〜３３のカウンタ出力は、そのまま読み出しアドレスとなり、データ線Ｓ６−ａ〜ｃから出力される。
【００８３】
本実施の形態では、画面構成に独立に異なる画像ソースを管理しているので、これらの画像ソースの画像合成は、アドレス切替えにより行うことになる。
すなわち、アドレス選択部３５の切替制御によって、上記画像合成を実現する。この切替制御は、合成制御部３０が、マルチ画面制御部１０からの信号Ｓ３により、レイアウト情報と優先度情報に基づいた、合成切替えカウント数を取得し、そのカウント数と、合成制御部３０のカウンタの計数動作との比較一致を行い、アドレス切替信号Ｓ７を生成することでになされる。これにより、メモリ部１４からデータが読み出され、そのデータは、リード／ライト制御信号Ｓ９に従って、データバッファ３６へ書き込まれる。また、データバッファ３６のデータは、リード／ライト制御信号Ｓ９に従って、データ選択部４０に対して出力される。
【００８４】
合成制御部３０は、合成すべき画像がないと判断した場合、データ切替信号Ｓ８を、データ選択部４０に対して出力する。
【００８５】
ステップＳ１０３：
上述したようなステップＳ１０２での初期化処理後、マルチ画面制御部１０は、表示デバイス１６の表示をイネーブルにする。
これにより、表示デバイス１６での画面表示状態は、例えば、図６に示すような状態（マルチ画面合成の初期化時のイメージ）となる。
【００８６】
ステップＳ１０４：
マルチ画面制御部１０は、表示デバイス１６での初期化後の画面上から、ユーザからリモコン２３を用いて拡大縮小アクションがなされたか否かを判別する。
【００８７】
ステップＳ１０５：
ステップＳ１０４での判別の結果、拡大縮小アクションがなされた場合、マルチ画面制御部１０は、表示デバイス１６での表示の拡大縮小変更処理を行う。この処理は、上記図３に示したステップＳ２０３〜Ｓ２０６（図中“▲１▼”で示すの区間のステップ）の処理と同様の処理である。
その後、再びステップＳ１０４へと戻り、以降の処理ステップを繰り返し実行する。
【００８８】
ステップＳ１０６：
ステップＳ１０４での判別の結果、拡大縮小アクションがなされなかった場合、 マルチ画面制御部１０は、表示デバイス１６での初期化後の画面上から、ユーザからリモコン２３を用いて位置変更アクションがなされたか否かを判別する。
【００８９】
ステップＳ１０７：
ステップＳ１０６での判別の結果、位置変更アクションがなされた場合、マルチ画面制御部１０は、表示デバイス１６での表示の位置変更処理を行う。この処理は、上記図３に示したステップＳ２０３〜Ｓ２０５（図中“▲２▼”で示すの区間のステップ）の処理と同様の処理である。
その後、再びステップＳ１０６へと戻り、以降の処理ステップを繰り返し実行する。
【００９０】
ステップＳ１０８：
ステップＳ１０６での判別の結果、位置変更アクションがなされなかった場合、マルチ画面制御部１０は、表示デバイス１６での初期化後の画面上から、ユーザからリモコン２３を用いてマルチ画面補正アクションがなされたか否かを判別する。
【００９１】
ステップＳ１０９：
ステップＳ１０８での判別の結果、マルチ画面補正アクションがなされた場合、マルチ画面制御部１０は、表示デバイス１６でのマルチ画面の補正処理を行う。
その後、再びステップＳ１０８へと戻り、以降の処理ステップを繰り返し実行する。
【００９２】
ステップＳ１１０：
ステップＳ１０８での判別の結果、マルチ画面補正アクションがなされなかった場合、マルチ画面制御部１０は、本システム１００の電源がオフされたか否かを判別する。
この判別の結果、電源オフでない場合には、再びステップＳ１０４へと戻り、以降の処理ステップを繰り返し実行する。一方、電源オフの場合には、本処理終了となる。
【００９３】
＜画像表示システム１００でのマルチ画面とＧＵＩ画面のクロマキ合成方法＞
ここでは、本実施の形態での、２つの画像（動画）の画面（マルチ画面）と、ＧＵＩ画像の画面（ＧＵＩ画面）とを合成する方法について説明する。
【００９４】
まず、本実施の形態では、マルチ画面とＧＵＩ画面の合成方法として、クロマキ合成方式を用いている。この方式では、グラフィックアクセラレータ２１が、ＧＵＩ画面をメモリ部１４に展開する際に、マルチ画面上にオーバーレイ表示するＧＵＩ画面以外の領域を、特定のクロマキーカラーで塗りつぶす処理をも同時に行う。
例えば、上記図６に示したような画面では、図７に示すようなＧＵＩイメージ以外の領域を、特定のクロマキーカラー（クロマキーデータ、以下、単に「キーカラー」とも言う）で塗りつぶす。
【００９５】
上記クロマキーカラーは、マルチ画面制御部１０が、ＧＵＩ画面描画時にほとんど使用する可能性がないと判断した色（例えば、マゼンタ色等）を決定する。したがって、上記図４に示したメモリ部１４において、ＧＵＩ画面用１画面の領域１４ｃには、ＧＵＩ画面データと、キーカラーのデータとが展開される。
【００９６】
この場合、上記図５に示した出力合成部１８は、メモリ部１４のＧＵＩ画面用１画面の領域１４ｃ内のデータの読み込みを行い、そのデータにキーカラーのデータを認識した場合、そのデータに対応する部分へ、マルチ画面の任意の画面（動画面）を選択して合成する。
【００９７】
図８は、出力合成部１８での上記合成処理のタイミングを示したものである。上記図８において、“Ｔ１”は、メモリ１４のメモリアドレス生成のタイミングを示している。
また、同じ表示ラインのＧＵＩ画面のアドレスに続いて、選択動画面のアドレスを１サイクルとし、これを合成制御部３０の制御のもとで、上述したようにしてアドレス生成部３１〜３３及びアドレス選択部３５により繰り返し発生させている。
【００９８】
“Ｔ１”に示したメモリアドレス生成の周期によってメモリ部１４から読み出されたＧＵＩ画面データは、“Ｔ２”で示すタイミング（ＧＵＩ画面用１画面の領域１４ｃのデータ読出タイミング）に従って、データバッファ３６へ書き込まれる。
【００９９】
また、選択動画面データについても同様に、“Ｔ３”で示すタイミング（動画用２画面分の領域１４ａ及び１４ｂのデータ読出タイミング）に従って、データバッファ３６へ書き込まれる。
【０１００】
尚、データバッファ３６は、ＧＵＩ画面と選択動画面を個々に記憶できるダブルバッファ構成となっている。
【０１０１】
“Ｔ２”で示したタイミングでデータバッファ３６へ書き込まれたＧＵＩ画面データは、合成制御部３０に対しても入力される。
【０１０２】
これにより、合成制御部３０は、上記ＧＵＩ画面データと、キーカラーレジスタ３９へ設定されたキーカラーデータとを逐次比較し、それらの一致があれば、クロマキーヒットフラグをセットし、そのフラグを、合成制御部３０内部のクロマキーフラクバッファへ書き込む。
【０１０３】
その後、合成制御部３０は、“Ｔａ”〜“Ｔｄ”で示す（図中丸囲みで示す）タイミングで、上記クロマキーフラクバッファ内のクロマキーヒットフラグを読み出し、そのフラグの内容がクロマキーヒットであれば、データバッファ３６から動画面データを読み出す。また、クロマキーヒットでなければ（クロマキーミスヒット）、データバッファ３６からＧＵＩ画面データを、リード制御信号Ｓ９によって読み出す。
これにより、“Ｔ４”で示す合成データタイミングで、動画面とＧＵＩ画面を合成した画面データ（クロマキ合成データ）が生成される。
【０１０４】
＜画像表示システム１００での最も特徴とする構成＞
ところで、上述したようなクロマキ合成方式は、ＣＰＵ（ここでは、マルチ画面制御部１０等）が、キーカラーに当たらないようにＧＵＩ画面の色を管理できることが前提であり、ＣＰＵの管理外のデータ（ＢＳディジタルのデータ放送から抽出した静止画データ、インターネットのイメージデータ、ディジタルカメラにより得られた自然画像データ等）がＧＵＩ画面に展開された場合、キーカラーにヒットする確率が上がることで意図した合成結果が得られない可能性がある。
そこで、この問題を解決するために、本実施の形態では、ディジタルテレビジョンのデータ放送受信時のＧＵＩ画面の描画展開を、次のように構成する。
【０１０５】
図９は、本実施の形態での、ディジタルテレビジョンのデータ放送受信時のＧＵＩ画面の描画展開を示したものである。
【０１０６】
ステップＳ３０１：
マルチ画面制御部１０は、データ復号部７で復号された付加情報（データ放送の複合後の付加情報）を検知する。
このステップＳ３０１にて、付加情報が検知されない場合は、付加情報が検知されるまで、待機状態となる。
【０１０７】
ステップＳ３０２：
ステップＳ３０１にて付加情報が検知されると、マルチ画面制御部１０は、その付加情報の内容に基づき、画面レイアウト情報の認識を行う。
尚、データ復号部７で復号では、上述したように、ＭＨＥＧ−５やＨＴＭＬ、或いはＸＭＬ等のシナリオ記述言語で記述されたオブジェクトから、マルチメディア情報サービス提供者のシナリオ（構造化されたコンテンツの属性（大きさや位置、画像の種別、符号化方式））が得られているため、このシナリオを、マルチ画面制御部１０が解釈することで、上記画面レイアウト情報の認識を行うことができる。
【０１０８】
ステップＳ３０３：
マルチ画面制御部１０は、ステップＳ３０２での画面レイアウト情報の認識の結果により、ＧＵＩ画面とマルチ画面（動画画面）の合成（クロマキ合成）が必要であるか否かを判別する。
【０１０９】
ステップＳ３０４：
ステップＳ３０３の判別の結果、クロマキ合成が必要でない場合、マルチ画面制御部１０は、ステップＳ３０２での画面レイアウト情報に従って、グラフィックアクセレレーダ２１に対して描画命令を発行することで、メモリ部１４へＧＵＩ画面を展開する。
【０１１０】
ステップＳ３０５：
ステップＳ３０３の判別の結果、クロマキ合成が必要である場合、例えば、例えば、マルチメディア情報サービス提供者が、図１０に示すようなＧＵＩ画面とマルチ画面の合成画面５５を表示させようとする場合、マルチ画面制御部１０は、次のようなクロマキ処理を実行する。
【０１１１】
図１１は、ステップＳ３０５でのクロマキ処理を示したものである。
【０１１２】
ステップＳ４０１：
マルチ画面制御部１０は、メモリ部１４のＧＵＩ画面用１画面の領域１４ｃへ展開するＧＵＩ画面のオブジェクトの属性を識別する。このオブジェクトの属性とは、ＧＵＩ画面を構成するオブジェクトの表示位置座標（始点及び終点）、テキスト情報、色管理情報、及び動画／静止画等のソース属性等を意味する。
【０１１３】
ステップＳ４０２：
マルチ画面制御部１０は、ステップＳ４０１にて識別したオブジェクトの属性が、そのオブジェクトの属性の全てが管理できる色で構成されるオブジェクトの属性であるか否か、すなわち管理外の色を持たない属性であるか否かを判別する。
【０１１４】
ステップＳ４０５：
ステップＳ４０２での判別の結果、管理外の色を持たない属性である場合、マルチ画面制御部１０は、マルチ画面をＧＵＩ画面にはめ込むために、上記図１０に示すように、ＧＵＩ画面５７において、マルチ画面（ビデオ合成画面）５６のビデオ領域（２つの動画が表示される領域）５０ａ及び５０ｂの位置と同じ位置の領域へキーカラー５１を描画展開する。
【０１１５】
ステップＳ４０６：
そして、マルチ画面制御部１０は、ＧＵＩ画面の描画展開を行う。
【０１１６】
ステップＳ４０３：
一方、ステップＳ４０２での判別の結果、管理外の色を持つ属性である場合（オブジェクトの全て管理できる色で構成されるオブジェクトの属性でない場合）、例えば、上記図１０に示すように、ＧＵＩ画面５７において、自然画のような色管理外のオブジェクトデータ５２が含まれている場合、そのオブジェクトデータ５２が含まれている領域（自然画領域）でのキーカラーヒットによるクロマキー合成ミスの不具合が起きないように、マルチ画面制御部１０は、クロマキ合成をする矩形の領域（矩形マスク領域）の設定を行う。
具体的には、上記図１０では、矩形マスク領域として、クロマキー合成処理をしても問題のない領域、すなわち自然画領域外の、始点５３及び終点５４により決定される矩形領域５８に設定する。
【０１１７】
ステップＳ４０４：
そして、マルチ画面制御部１０は、ステップＳ４０３にて設定した矩形マスク領域５８の始点５３及び終点５４の座標と、クロマキ合成方式（例えば、矩形マスク領域５８内をクロマキ合成する方式）とを、信号Ｓ３（上記図１参照）によって、出力合成部１８へ通知する。
【０１１８】
尚、上述した矩形マスク領域の設定方法としては、例えば、自然画領域を矩形領域とし、この領域以外を、クロマキ合成する矩形マスク領域として定義して、出力合成部１８へ通知する方法を用いるようにしてもよい。
【０１１９】
ステップＳ４０４にて、出力合成部１８への通知が行われた後、上述したステップＳ４０５及びＳ４０６を実行する。
但し、この場合、ステップＳ４０６でのＧＵＩ画面の描画展開は、自然画領域を主にＤＭＡ＜Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ＞を用いたメモリヘ展開を行う。
【０１２０】
ステップＳ４０４にて、マルチ画面制御部１０からの通知を受けた出力合成部１８は、上述した合成制御部３０により、指定された矩形マスク領域のみクロマキーデコードを行い、その領域内でキーカラービットがあれば、クロマキーヒットフラグを立てる。
【０１２１】
上述のように、ディジタルテレビのデータ放送の受信時に、クロマキ合成が必要な場合、ＧＵＩ画面上のオブジェクトの識別を行い、その結果、マルチ画面制御部１０が色管理できないオブジェクトが存在すると判断した場合、そのオブジェクトの存在する領域外の矩形で定義される領域を、クロマキ合成する矩形マスク領域として扱うことにより、クロマキ合成ミスを防ぐことが可能となる。
【０１２２】
（第２の実施の形態）
第１の実施の形態では、クロマキ合成する領域として、１つの矩形領域を設定するようにしたが、画面レイアウトによっては、１つの矩形領域では設定できない場合が生じる可能性がある。
そこで、本実施の形態では、このような状況におけるクロマキ合成のための構成を、次のようにする。
【０１２３】
まず、本実施の形態では、例えば、図１２に示すように、４つの画像ソースから入力された画像（ビデオ０〜ビデオ３）から構成されたマルチ画面６１と、２つの自然画領域６３ａ及び６３ｂが存在するＧＵＩ画面６２とをクロマキ合成する。
【０１２４】
この場合のクロマキ合成処理は、例えば、図１３のフローチャートにより示される。
【０１２５】
ステップＳ５０１：
マルチ画面制御部１０は、矩形マスク領域の指定数（ｍ）の判断を行う。
例えば、上記図１２に示すように、マルチ画面６１上でのビデオ０〜ビデオ３の領域に対応する４つの領域６４ａ〜６４ｃを、図１４に示すように、領域６４ａに対応する領域７１と、領域６４ｂに対応する領域７１と、領域６４ｃ及び６４ｄに対応する領域７３との３つの領域に振り分けるものとする。この状態は、３つの領域（矩形領域）７１〜７３のみに、クロマキ合成することを意味している。すなわち、矩形領域７１〜７３は、矩形マスク領域として扱われることになる。
この場合、本ステップ５０１での指定数（ｍ）は“３”となる。
【０１２６】
ステップＳ５０２：
マルチ画面制御部１０は、ステップＳ５０１にて判断した指定数（ｍ）が、本システム１００にてサポートしている矩形領域の最大指定数Ｎ以下であるか否かを判別する。ここでは、矩形領域の最大指定数Ｎを、“２”とする。
尚、矩形領域の最大指定数Ｎは、矩形領域の水平垂直カウンタを増やすことにより、その数分増やすことが可能であるが、コストの面から言うと、１〜２程度とするのが好ましい。
【０１２７】
ステップＳ５０３：
ステップＳ５０２の判別の結果、指定数（ｍ）が、矩形領域の最大指定数Ｎを超えている場合、マルチ画面制御部１０は、矩形マスク領域の最適化処理を行う。
【０１２８】
具体的には、マルチ画面制御部１０は、指定数（ｍ）が、矩形領域の最大指定数Ｎを超えないように、上記図１４に示したような矩形マスク領域７１〜７３を、再検討する。
例えば、図１５に示すように、自然画領域６３ａ及び６３ｂ（マルチ画面制御部１０が色管理できないオブジェクトが存在する領域）に対応する矩形領域８１及び８２の２つの領域以外の領域を、クロマキ合成の対象の矩形マスク領域と定義する。これにより、指定数（ｍ）を、最大指定数Ｎを超えないような設定に最適化することができる。
【０１２９】
ステップＳ５０４：
マルチ画面制御部１０は、ステップＳ５０３での最適化処理後の矩形マスク領域のマージが可能であるか否かを判別する。
【０１３０】
ステップＳ５０７：
ステップＳ５０４での判別の結果、矩形マスク領域のマージ可能である場合、マルチ画面制御部１０は、マージ後の指定数（ｍ）を判断する。
ここでは、指定数（ｍ）は“２”となる。
その後、ステップＳ５０２へ戻り、以降の処理ステップを繰り返し実行する。
【０１３１】
尚、ステップで５０４の判別の結果、矩形マスク領域のマージ可能でない場合、ステップＳ５０６での処理（矩形マスク領域数削減処理）を実行した後、ステップＳ５０７へ進むことになるが、このステップＳ５０６での処理（矩形マスク領域数削減処理）についての詳細は後述する。
【０１３２】
ステップＳ５０５：
ステップＳ５０２の判別の結果、指定数（ｍ）が、矩形領域の最大指定数Ｎを超えていない場合、マルチ画面制御部１０は、上述したように、クロマキ合成する矩形マスク領域の始点及び終点、及びその合成方式（自然画領域外をクロマキ合成する矩形マスク領域とする方式等）と共に、指定数（ｍ）を、出力合成部１８へ通知する。
【０１３３】
上述のように、画面レイアウトと、本システム１００での矩形マスク領域の最大指定数Ｎに基づき、矩形マスク領域の指定数（ｍ）を最適化することで、より柔軟性の高い、低コストな、マルチ画面とＧＵＩ画面を合成する装置或いはシステムを提供することができる。
【０１３４】
（第３の実施の形態）
本実施の形態では、上述したステップで５０４の判別の結果、矩形マスク領域のマージ可能でない場合、矩形マスク領域の最適化だけでは、その指定数（ｍ）を、最大指定数Ｎを超えないような設定にすることが不可能であると判断された場合に実行される、ステップＳ５０６での処理（矩形マスク領域数削減処理）を、次のような処理とする。
【０１３５】
図１６は、矩形マスク領域数削減処理を示したものである。
【０１３６】
ステップＳ６０１：
マルチ画面制御部１０は、ステップＳ５０３での最適化の結果である矩形マスク領域が、色管理外のオブジェクト（自然画等）が動画属性を持っているか否かを判別する。
【０１３７】
ステップＳ６０４：
ステップＳ６０１での判別の結果、動画属性を持っている場合、マルチ画面制御部１０は、その動画属性を持っている矩形マスク領域を、クロマキ合成する対象となる矩形マスク領域から除く。これは、クロマキ合成ミスによる表示上の不具合は、静止画に比べて動画の方が目立たないことが、ある実験により分かっていることが大きな理由である。
その後、本処理終了となる。
【０１３８】
ステップＳ６０２：
ステップＳ６０１での判別の結果、動画属性を持っていない場合、すなわち静止画である場合、マルチ画面制御部１０は、その静止画である矩形マスク領域内での静止画オブジェクトの描画展開面積を算出する。
【０１３９】
ステップＳ６０３：
そして、マルチ画面制御部１０は、ステップＳ６０２にて算出した面積が最小である矩形マスク領域を認識する。
この結果、ステップＳ６０２にて算出した面積が最小であると認識した矩形マスク領域については、上述したステップＳ６０４の処理を実行する。これは、静止画の中でも優先度の一番低いものを、クロマキ合成する対象となる矩形マスク領域から除いた方が、クロマキ合成ミスによる表示上の不具合が目立たないことが、ある実験により分かっていることが大きな理由である。
【０１４０】
上述のように、クロマキ合成ミスによる表示上の不具合がより少ないオブジェクトを、矩形マスク領域の指定から除くことにより、指定数（ｍ）の削減を行って最適化を図ることで、より柔軟性の高い、低コストな、マルチ画面とＧＵＩ画面を合成する装置或いはシステムを提供することができる。
【０１４１】
尚、本発明の目的は、第１〜第３の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第３の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第３の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第３の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１４２】
【発明の効果】
以上説明したように本発明によれば、グラフィックスアクセラレータを制御する手段（ＣＰＵ等のＧＵＩ生成制御手段）の管理外の色を有する画像を、表示用メモリへ展開する際、その画像が、クロマキ合成処理時にキーカラーにヒットする確率が高い場合には、その画像領域のクロマキ合成処理をマスクすることができるため、マルチ画面とＧＵＩ画面の合成用のメモリ容量を低減させ、且つ、クロマキ合成処理の精度を向上することができる。
これにより、ディジタル化により機能向上が望まれるユーザヘの利便性の向上と、コスト的制約が厳しい家電製品という背反的な事象のトレードオフに対して、両者をバランス良く実現する好適な装置或いはシステムを提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した画像表示システムの構成を示すブロック図である。
【図２】上記画像表示システムでのマルチ画面表示動作を説明するためのフローチャートである。
【図３】上記マルチ画面表示動作の表示の初期化処理を説明するためフローチャートである。
【図４】上記画像表示システムのメモリ部のメモリアドレスマップを説明するための図である。
【図５】上記画像表示システムの出力合成部の構成を示すブロック図である。
【図６】上記初期化処理時のマルチ画面とＧＵＩ画面の合成（クロマキ合成）結果を説明するための図である。
【図７】上記クロマキ合成時の、上記ＧＵＩ画面でのクロマキーパターンを説明するための図である。
【図８】上記クロマキ合成のタイミングを説明するための図である。
【図９】上記画像表示システムにおいて、データ放送受信時のＧＵＩ画面の描画処理を説明するためのフローチャートである。
【図１０】上記ＧＵＩ画面の描画処理のクロマキ処理を説明するための図である。
【図１１】上記クロマキ処理を説明するためのフローチャートである。
【図１２】第２の実施の形態において、矩形マスク領域の最適化が必要な場合のクロマキ処理を説明するための図である。
【図１３】上記クロマキ処理を説明するためのフローチャートである。
【図１４】上記最適化前の矩形マスク領域を説明するための図である。
【図１５】上記最適化後の矩形マスク領域を説明するための図である。
【図１６】第３の実施の形態において、上記クロマキ処理での矩形マスク領域数削減処理を説明するためのフローチャートである。
【符号の説明】
１ａ ＤＴＶ受信フロントエンド部
１ｂ ＤＶＤ
２ チューナー部
３ 復調部
４ 多重化分離部
５ オーディオ復号部
６ 画像復号部
７ データ復号部
８ａ，８ｂ 動画入力部
９ａ，９ｂ 解像度変換部
１０ マルチ画面制御部
１１ ＲＡＭ
１２ バス調停部
１３ メモリ制御部
１４ メモリ部
１５ 出力変換部
１６ 表示デバイス
１７ ＲＯＭ
１８ 出力合成部
１９ リモコン制御部
２１ グラフィックアクセラレータ
２２ グラフィックバス
２３ リモコン
２４ モデム部
２５ ＩＥＥＥ１３９４制御部
２６ ＰＣＭＣＩＡインタフェース
２７ ＣＰＵバス
１００ 画像表示システム

Claims (6)

  1. ビデオ画像とＧＵＩ画像とを、前記ＧＵＩ画像に対して設定されるキーカラーに基づいたクロマキ合成処理によって合成して表示させる画像処理装置であって、
    前記ＧＵＩ画像の中に存在するオブジェクトの属性を識別する識別手段と、
    前記オブジェクトの属性に基づいて、前記オブジェクトが前記識別手段の管理外の色で構成されているか否かを判定する判定手段と、
    前記判定手段により、前記オブジェクトが前記識別手段の管理外の色で構成されていると判定された場合に、表示領域内の前記オブジェクトを含まない領域にマスク領域を設定する設定手段と、
    前記マスク領域に対して、前記クロマキ合成処理を施す合成手段と
    を備えることを特徴とする画像処理装置。
  2. ビデオ画像とＧＵＩ画像とを、前記ＧＵＩ画像に対して設定されるキーカラーに基づいたクロマキ合成処理によって合成して表示させる画像処理装置であって、
    前記ＧＵＩ画像の中に存在するオブジェクトの属性を識別する識別手段と、
    前記オブジェクトの属性に基づいて、前記オブジェクトが前記識別手段の管理外の色で構成されているか否かを判定する判定手段と、
    前記判定手段により、前記オブジェクトが前記識別手段の管理外の色で構成されていると判定された場合に、表示領域内の前記オブジェクトを含む領域に矩形領域を設定する設定手段と、
    前記矩形領域以外の領域に対して、前記クロマキ合成処理を施す合成手段と
    を備えることを特徴とする画像処理装置。
  3. 前記ビデオ画像は、複数の画像ソースから入力された画像データに基づいて、表示画面上にマルチ画面として表示され、
    前記ＧＵＩ画像は、前記表示画面上の最上位の画面として表示されることを特徴とする請求項１又は２に記載の画像処理装置。
  4. 前記設定手段は、前記マスク領域の数が所定の数を超えないように、前記マスク領域を設定することを特徴とする請求項１に記載の画像処理装置。
  5. ビデオ画像とＧＵＩ画像とを、前記ＧＵＩ画像に対して設定されるキーカラーに基づいたクロマキ合成処理によって合成して表示させる画像処理方法であって、
    前記ＧＵＩ画像の中に存在するオブジェクトの属性を識別する識別ステップと、
    前記オブジェクトの属性に基づいて、前記オブジェクトが前記識別ステップを実行する識別手段の管理外の色で構成されているか否かを判定する判定ステップと、
    前記判定ステップにより、前記オブジェクトが前記識別手段の管理外の色で構成されていると判定された場合に、表示領域内の前記オブジェクトを含まない領域にマスク領域を設定する設定ステップと、
    前記マスク領域に対して、前記クロマキ合成処理を施す合成ステップと
    を有することを特徴とする画像処理方法。
  6. ビデオ画像とＧＵＩ画像とを、前記ＧＵＩ画像に対して設定されるキーカラーに基づいたクロマキ合成処理によって合成して表示させる画像処理方法であって、
    前記ＧＵＩ画像の中に存在するオブジェクトの属性を識別する識別ステップと、
    前記オブジェクトの属性に基づいて、前記オブジェクトが前記識別ステップを実行する識別手段の管理外の色で構成されているか否かを判定する判定ステップと、
    前記判定ステップにより、前記オブジェクトが前記識別手段の管理外の色で構成されていると判定された場合に、表示領域内の前記オブジェクトを含む領域に矩形領域を設定する設定ステップと、
    前記矩形領域以外の領域に対して、前記クロマキ合成処理を施す合成ステップと
    を有することを特徴とする画像処理方法。
JP2000052992A 2000-02-29 2000-02-29 画像処理装置及び画像処理方法 Expired - Fee Related JP4541482B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2000052992A JP4541482B2 (ja) 2000-02-29 2000-02-29 画像処理装置及び画像処理方法
US09/790,599 US6859236B2 (en) 2000-02-29 2001-02-23 Image processing apparatus
DE60135265T DE60135265D1 (de) 2000-02-29 2001-02-27 Bildverarbeitungsvorrichtung
EP01301773A EP1143745B1 (en) 2000-02-29 2001-02-27 Image processing apparatus
KR10-2001-0010308A KR100412763B1 (ko) 2000-02-29 2001-02-28 화상 처리 장치
US10/916,401 US6961097B2 (en) 2000-02-29 2004-08-12 Image processing apparatus
US11/171,384 US20050237431A1 (en) 2000-02-29 2005-07-01 Image processing apparatus
US11/609,250 US7375769B2 (en) 2000-02-29 2006-12-11 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000052992A JP4541482B2 (ja) 2000-02-29 2000-02-29 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2001242848A JP2001242848A (ja) 2001-09-07
JP2001242848A5 JP2001242848A5 (ja) 2007-04-05
JP4541482B2 true JP4541482B2 (ja) 2010-09-08

Family

ID=18574434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000052992A Expired - Fee Related JP4541482B2 (ja) 2000-02-29 2000-02-29 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (4) US6859236B2 (ja)
EP (1) EP1143745B1 (ja)
JP (1) JP4541482B2 (ja)
KR (1) KR100412763B1 (ja)
DE (1) DE60135265D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898837B2 (en) 2013-05-31 2018-02-20 Mitsubishi Electric Corporation Image processing system

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法
KR100370248B1 (ko) * 2000-08-08 2003-01-30 엘지전자 주식회사 디지털 텔레비젼
JP4018332B2 (ja) * 2000-11-17 2007-12-05 キヤノン株式会社 データ放送受信装置並びにデータ放送受信装置の印刷処理方法
US7213230B2 (en) * 2000-12-28 2007-05-01 Yeda Research And Development Co. Ltd. Playing scenarios of system behavior
US20040205703A1 (en) * 2000-12-28 2004-10-14 Yeda Research And Development Co . , Ltd. , Playing in scenarios of system behavior
GB0105561D0 (en) * 2001-03-07 2001-04-25 Segmentis Ltd Improvements in and relating to image signal processing and printing of picture therefrom
JP2002354367A (ja) * 2001-05-25 2002-12-06 Canon Inc マルチ画面表示装置、マルチ画面表示方法、記録媒体、及びプログラム
JP4612779B2 (ja) * 2001-06-14 2011-01-12 キヤノン株式会社 通信装置及び通信装置の映像表示制御方法
JP2003153080A (ja) * 2001-11-09 2003-05-23 Matsushita Electric Ind Co Ltd 映像合成装置
US7196733B2 (en) * 2002-01-28 2007-03-27 Canon Kabushiki Kaisha Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program
US6970595B1 (en) * 2002-03-12 2005-11-29 Sonic Solutions, Inc. Method and system for chroma key masking
JP2003288065A (ja) * 2002-03-28 2003-10-10 Seiko Epson Corp 画像表示装置
US20030189581A1 (en) * 2002-04-08 2003-10-09 Nasoff David G. Content based window filtering for simultaneous display of multiple high-quality video and graphics windows
US7027101B1 (en) * 2002-05-13 2006-04-11 Microsoft Corporation Selectively overlaying a user interface atop a video signal
US7852411B2 (en) 2002-11-15 2010-12-14 Thomson Licensing Method and apparatus for composition of subtitles
US8737810B2 (en) * 2002-11-15 2014-05-27 Thomson Licensing Method and apparatus for cropping of subtitle elements
KR100873437B1 (ko) * 2002-11-28 2008-12-11 삼성전자주식회사 Ｐｉｐ화면을 이용한 듀얼모드 신호처리장치
US7364313B2 (en) * 2002-12-27 2008-04-29 Barco N.V. Multiple image projection system and method for projecting multiple selected images adjacent each other
JP4161770B2 (ja) * 2003-04-01 2008-10-08 ソニー株式会社 データ合成装置およびデータ合成方法
JP4357239B2 (ja) * 2003-08-27 2009-11-04 三洋電機株式会社 映像信号処理装置及び映像表示装置
US7400360B2 (en) * 2003-09-22 2008-07-15 Lsi Corporation Device for simultaneous display of video at two resolutions with different fractions of active regions
JP4095530B2 (ja) * 2003-10-01 2008-06-04 キヤノン株式会社 画像処理装置及び方法
US7894520B2 (en) * 2003-12-23 2011-02-22 Tamiras Per Pte. Ltd., Llc Apparatus and method for generating patterns of forward and backward vectors for frame conversion
KR20050069828A (ko) * 2003-12-31 2005-07-05 엘지전자 주식회사 고해상도 투사 장치
US8253750B1 (en) * 2004-02-14 2012-08-28 Nvidia Corporation Digital media processor
US20050206751A1 (en) * 2004-03-19 2005-09-22 East Kodak Company Digital video system for assembling video sequences
US20050259105A1 (en) * 2004-05-19 2005-11-24 Juraj Bystricky System and method for detecting memory location modifications to initiate image data transfers
JP4161944B2 (ja) * 2004-07-01 2008-10-08 セイコーエプソン株式会社 表示コントローラ及び電子機器
US20060020878A1 (en) * 2004-07-22 2006-01-26 Juraj Bystricky System and method for efficiently performing manual frame transfers of image data
US7375768B2 (en) * 2004-08-24 2008-05-20 Magix Ag System and method for automatic creation of device specific high definition material
TWI248764B (en) * 2004-09-01 2006-02-01 Realtek Semiconductor Corp Method and apparatus for generating visual effect
KR100595034B1 (ko) * 2004-12-14 2006-06-30 삼성전자주식회사 방송수신장치 및 방송수신장치의 화면전환 제어방법
KR100743520B1 (ko) * 2005-01-04 2007-07-27 삼성전자주식회사 비디오 스케일러 및 스케일링 방법
WO2007004304A1 (ja) * 2005-07-06 2007-01-11 Fujitsu Hitachi Plasma Display Limited プラズマディスプレイ装置
WO2007072449A2 (en) * 2005-12-21 2007-06-28 Nxp B.V. Mobile display interface
US7844661B2 (en) * 2006-06-15 2010-11-30 Microsoft Corporation Composition of local media playback with remotely generated user interface
US8793303B2 (en) * 2006-06-29 2014-07-29 Microsoft Corporation Composition of local user interface with remotely generated user interface and media
US8098330B2 (en) * 2006-07-28 2012-01-17 International Business Machines Corporation Mapping of presentation material
JP2008048364A (ja) * 2006-08-21 2008-02-28 Toshiba Corp 画像表示装置
JP5127187B2 (ja) * 2006-09-06 2013-01-23 株式会社ソニー・コンピュータエンタテインメント 復号化装置、放送波再生システム、およびテレビ受像支援方法
US20080211966A1 (en) * 2006-09-13 2008-09-04 Fujitsu Ten Limited Image display device
US7961946B2 (en) * 2007-05-15 2011-06-14 Digisensory Technologies Pty Ltd Method and system for background estimation in localization and tracking of objects in a smart video camera
JP2009027552A (ja) * 2007-07-20 2009-02-05 Funai Electric Co Ltd 光ディスク再生装置
US8599315B2 (en) * 2007-07-25 2013-12-03 Silicon Image, Inc. On screen displays associated with remote video source devices
JP5219501B2 (ja) * 2007-12-27 2013-06-26 三菱電機株式会社 画面生成装置および画面レイアウト共有システム
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8121409B2 (en) 2008-02-26 2012-02-21 Cyberlink Corp. Method for handling static text and logos in stabilized images
JP2009239528A (ja) * 2008-03-26 2009-10-15 Sharp Corp デジタル放送受信装置
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
AU2008202672B2 (en) * 2008-06-17 2011-04-28 Canon Kabushiki Kaisha Automatic layout based on visual context
JP5458518B2 (ja) * 2008-07-02 2014-04-02 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US20100225815A1 (en) * 2009-03-05 2010-09-09 Vishal Vincent Khatri Systems methods and apparatuses for rendering user customizable multimedia signals on a display device
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
TWI407776B (zh) * 2009-06-30 2013-09-01 Silicon Integrated Sys Corp 影像產生裝置、靜態文字偵測裝置及相關方法
US9916020B2 (en) * 2009-07-14 2018-03-13 Koninklijke Philips N.V. System, method and computer program for operating a plurality of computing devices
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
JP2011048040A (ja) * 2009-08-26 2011-03-10 Sony Corp 映像信号処理装置、映像信号処理方法およびプログラム
US8264612B2 (en) * 2009-09-10 2012-09-11 Ali Corporation Method of raster-scan search for multi-region on-screen display and system using the same
US8448210B2 (en) 2009-09-30 2013-05-21 Echostar Technologies L.L.C. Apparatus, systems and methods for rich media electronic program guides
JP2011158804A (ja) * 2010-02-03 2011-08-18 Canon Inc 画像表示装置、および、画像表示装置の制御方法
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
JP2012073463A (ja) * 2010-09-29 2012-04-12 Casio Comput Co Ltd 投影装置およびプログラム
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9293152B2 (en) * 2012-01-25 2016-03-22 International Business Machines Corporation Abrasion test methods and devices
US9497405B2 (en) * 2012-07-17 2016-11-15 Nec Display Solutions, Ltd. Display device for displaying videos side by side without overlapping each other and method for the same
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US8724028B1 (en) * 2012-12-20 2014-05-13 Kabushiki Kaisha Toshiba Electronic device and display control method
JP6108841B2 (ja) * 2013-01-16 2017-04-05 三菱電機株式会社 画像表示システム
JP6705242B2 (ja) 2015-08-05 2020-06-03 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
KR102354918B1 (ko) * 2019-09-05 2022-01-21 라인플러스 주식회사 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101178A (ja) * 1991-10-09 1993-04-23 Canon Inc 画像処理装置
JPH05207368A (ja) * 1992-01-27 1993-08-13 Hitachi Ltd 重ね合わせ表示装置
JPH06215127A (ja) * 1993-01-13 1994-08-05 Matsushita Electric Ind Co Ltd 画像合成表示システム
JPH06308938A (ja) * 1992-10-06 1994-11-04 Seiko Epson Corp 画像処理装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US566251A (en) * 1896-08-18 Poison-distributer
JPS60194696A (ja) * 1984-03-15 1985-10-03 Toshiba Corp デイジタルクロマキ−装置
US4811084A (en) * 1984-04-09 1989-03-07 Corporate Communications Consultants, Inc. Video color detector and chroma key device and method
GB2158320A (en) * 1984-04-26 1985-11-06 Philips Electronic Associated Generating a chroma keying signal
US4652903A (en) * 1984-09-21 1987-03-24 Scientific Atlanta, Inc. Frequency generation for multiplexed analog component color television encoding and decoding
JPH01264378A (ja) * 1988-04-15 1989-10-20 Hitachi Ltd ビデオカメラ装置
US5220312A (en) * 1989-09-29 1993-06-15 International Business Machines Corporation Pixel protection mechanism for mixed graphics/video display adaptors
JP2999501B2 (ja) * 1990-02-26 2000-01-17 パイオニア株式会社 記録媒体演奏装置
US5170246A (en) * 1991-03-28 1992-12-08 Abekas Video Systems, Inc. Video processing system having improved synchronization
GB9107851D0 (en) * 1991-04-12 1991-05-29 Alpha Image Ltd Combining digital video key signals
JPH0548969A (ja) * 1991-08-09 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 複数画像表示装置
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
JPH05145735A (ja) * 1991-10-16 1993-06-11 Fuji Xerox Co Ltd はめ込み合成機能を備えた画像処理装置
JPH05316425A (ja) 1992-05-11 1993-11-26 Sony Corp クロマキー装置におけるキー信号発生装置
JP2528446B2 (ja) * 1992-09-30 1996-08-28 株式会社ハドソン 音声画像処理装置
JPH06231275A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像シミュレーション方法
US5398075A (en) * 1993-11-19 1995-03-14 Intel Corporation Analog chroma keying on color data
JP3731212B2 (ja) * 1994-04-28 2006-01-05 ソニー株式会社 画像特殊効果装置
IL109487A (en) * 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
DE69535007T2 (de) * 1994-12-20 2006-12-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zur objektbasierten prädiktiven Kodierung und Übertragung von digitalen Bildern und Dekodierungsvorrichtung
JPH08278486A (ja) * 1995-04-05 1996-10-22 Canon Inc 表示制御装置及び方法及び表示装置
EP0838068B1 (en) * 1995-07-10 2005-10-26 Sarnoff Corporation Method and system for rendering and combining images
US5969767A (en) * 1995-09-08 1999-10-19 Matsushita Electric Industrial Co., Ltd. Multipicture video signal display apparatus with modified picture indication
US5737031A (en) * 1996-07-30 1998-04-07 Rt-Set System for producing a shadow of an object in a chroma key environment
US6148030A (en) * 1996-02-07 2000-11-14 Sharp Kabushiki Kaisha Motion picture coding and decoding apparatus
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5914748A (en) 1996-08-30 1999-06-22 Eastman Kodak Company Method and apparatus for generating a composite image using the difference of two images
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6745391B1 (en) * 1997-12-10 2004-06-01 E Guide, Inc. Premium channel promotion system and method
US5900916A (en) * 1996-12-30 1999-05-04 Mitsubishi Consumer Electronics America, Inc. Apparatus for control of images from multiple sources
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
JP3890715B2 (ja) * 1997-12-04 2007-03-07 ソニー株式会社 信号処理装置および方法
US6750919B1 (en) * 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
US6538675B2 (en) * 1998-04-17 2003-03-25 Canon Kabushiki Kaisha Display control apparatus and display control system for switching control of two position indication marks
JPH11313339A (ja) * 1998-04-30 1999-11-09 Toshiba Corp 表示制御装置および動画／グラフィクス合成表示方法
US6473088B1 (en) * 1998-06-16 2002-10-29 Canon Kabushiki Kaisha System for displaying multiple images and display method therefor
US6599194B1 (en) * 1998-09-08 2003-07-29 Darren Smith Home video game system with hard disk drive and internet access capability
US6573905B1 (en) * 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
JP4541476B2 (ja) * 1999-02-19 2010-09-08 キヤノン株式会社 マルチ画像表示システムおよびマルチ画像表示方法
US6707505B2 (en) * 1999-03-26 2004-03-16 Tvia, Inc. Method and apparatus for combining video and graphics
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101178A (ja) * 1991-10-09 1993-04-23 Canon Inc 画像処理装置
JPH05207368A (ja) * 1992-01-27 1993-08-13 Hitachi Ltd 重ね合わせ表示装置
JPH06308938A (ja) * 1992-10-06 1994-11-04 Seiko Epson Corp 画像処理装置
JPH06215127A (ja) * 1993-01-13 1994-08-05 Matsushita Electric Ind Co Ltd 画像合成表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898837B2 (en) 2013-05-31 2018-02-20 Mitsubishi Electric Corporation Image processing system

Also Published As

Publication number Publication date
US20010033340A1 (en) 2001-10-25
US20050237431A1 (en) 2005-10-27
US7375769B2 (en) 2008-05-20
US20050012863A1 (en) 2005-01-20
EP1143745A3 (en) 2005-03-23
US6961097B2 (en) 2005-11-01
US6859236B2 (en) 2005-02-22
US20070081100A1 (en) 2007-04-12
DE60135265D1 (de) 2008-09-25
EP1143745B1 (en) 2008-08-13
JP2001242848A (ja) 2001-09-07
KR100412763B1 (ko) 2003-12-31
EP1143745A2 (en) 2001-10-10
KR20010085702A (ko) 2001-09-07

Similar Documents

Publication Publication Date Title
JP4541482B2 (ja) 画像処理装置及び画像処理方法
JP4541476B2 (ja) マルチ画像表示システムおよびマルチ画像表示方法
JP4672856B2 (ja) マルチ画面表示装置及びマルチ画面表示方法
US7119849B2 (en) Multi-screen synthesis apparatus, method of controlling the apparatus, and program for controlling the apparatus
US7180511B2 (en) Display control system for displaying image information on multiple areas on a display screen
JP2001175239A (ja) マルチ画面表示装置、マルチ画面表示システム、マルチ画面表示方法、及び記憶媒体
JP2002033972A (ja) Ｏｓｄヘッダを連鎖させることにより単一のｏｓｄピクスマップを複数のビデオラスタサイズにわたって使用するための方法およびシステム
JP2000250522A (ja) 画像表示制御方法及び装置
US6750918B2 (en) Method and system for using single OSD pixmap across multiple video raster sizes by using multiple headers
US9013633B2 (en) Displaying data on lower resolution displays
US20060055710A1 (en) Image processing method and device thereof
US20060017850A1 (en) Video combining apparatus and method thereof
JP2001117693A (ja) 表示装置及びその表示制御方法並びに記憶媒体
JP2002271751A (ja) 表示制御方法及び装置
CN114979773A (zh) 显示设备、视频处理方法及存储介质
CN114173187A (zh) 动态对比度的确定方法与显示设备
JPH1031479A (ja) 表示制御装置、表示制御方法、及びコンピュータ記憶メモリ
KR20040072857A (ko) 다중 화면 발생 장치
JP2008028952A (ja) 表示制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100624

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees