JP4541476B2 - マルチ画像表示システムおよびマルチ画像表示方法 - Google Patents
マルチ画像表示システムおよびマルチ画像表示方法 Download PDFInfo
- Publication number
- JP4541476B2 JP4541476B2 JP37143099A JP37143099A JP4541476B2 JP 4541476 B2 JP4541476 B2 JP 4541476B2 JP 37143099 A JP37143099 A JP 37143099A JP 37143099 A JP37143099 A JP 37143099A JP 4541476 B2 JP4541476 B2 JP 4541476B2
- Authority
- JP
- Japan
- Prior art keywords
- cursor
- screen
- image
- image source
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 79
- 230000006870 function Effects 0.000 claims description 49
- 230000008569 process Effects 0.000 description 54
- 230000008859 change Effects 0.000 description 28
- 238000006243 chemical reaction Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 26
- 238000012546 transfer Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 239000000203 mixture Substances 0.000 description 18
- 230000009471 action Effects 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/08—Cursor circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/393—Arrangements for updating the contents of the bit-mapped memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4438—Window management, e.g. event handling following interaction with the user interface
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/027—Arrangements and methods specific for the display of internet documents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Controls And Circuits For Display Device (AREA)
- Digital Computer Display Output (AREA)
- Transforming Electric Information Into Light Information (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像ソースからそれぞれ入力された画像データを１つの表示装置に同時に表示することが可能なマルチ画像表示システムおよびマルチ画像表示方法に関する。
【０００２】
【従来の技術】
近年、ＤＴＶ（デジタルテレビ）、ＤＶＤ（デジタルビデオディスクなど）、ＰＣ（パーソナルコンピュータ）などから供給する画像データを大型の表示装置例えば液晶プロジェクタやプラズマディスプレイに多画面で表示させることが増している。これを受けて将来、家庭においては、この大型の表示装置をマルチメディアの中心デバイスと位置付け、各映像メディアを表示デバイスに統合表示した形態での用途が望まれている。このような背景から、画像表示システムには、複数の画像を同時に表示することができる機能が必要である。そして、現在提案されている大型表示装置では、接続された異なる複数のメディアから供給された各画像データを該表示装置の画面上に任意にレイアウトして表示する機能を設け、この機能により複数の画像データを同時に表示する。すなわち、大型表示装置をマルチ画面ビュワーとして用いることによってマルチ画像表示システムを構築している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来のマルチ画像表示システムでは、画面上に表示される画像データがＰＣの画像データであるときには、この表示する画像データの編集、切り替えに関する操作をＰＣ側のカーソルまたはマウスによる操作に移行させる必要がある。これは、カーソル発生手段およびアプリケーション制御がＰＣ内部に設けられているためである。インタラクティブ形式な統合デジィタル放送システムなどの放送画像をマルチ画面表示の一部としてレイアウト表示している場合には、放送業者が意図した解像度まで一度戻した後にこの放送画面の切り替えを行うための切り替えアクションをしなければならない。これは、現在予定されている放送画像に関しては放送事業者が意図する解像度でメニュー画面を構成するようになっており、ユーザがマルチ表示のための解像度変換を行うと、インタラクティブな選択を行うことができないなどの操作上の不具合が発生する可能性があるからである。その結果、従来のマルチ画像表示システムでは、大型表示装置を制御の中心として各メディアを一元的にコントロールすることはできない。すなわち、ユーザインタフェースは操作性が悪いユーザインターフェイスとなる。
【０００４】
本発明の目的は、マルチ画面上の各画像に対する操作を一元的に行うことができるマルチ画像表示システムおよびマルチ画像表示方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、上記目的を達成するため、接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、接続された各画像ソースの種別を判別する画像ソース判別手段と、前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記カーソル生成機能を有する画像ソースにカーソルを生成させる制御を行うことを特徴とする。
【０００６】
本発明は、上記目的を達成するため、接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、接続された各画像ソースの種別を判別する画像ソース判別手段と、前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記所定の記述言語で記述されたカーソルの属性情報に基づいて、前記所定の記述言語専用カーソルを表示する制御を行うことを特徴とする。
【０００７】
また、本発明は、上記目的を達成するため、マルチ画像表示方法を提供する。
【００２５】
【発明の実施の形態】
以下に本発明の実施の形態について図を参照しながら説明する。
【００２６】
図１は本発明のマルチ画像表示システムの実施の一形態の構成を示すブロック図である。
【００２７】
マルチ画像表示システムは、図１に示すように、互いに独立した３つの画像ソース（ＩＳＤＢ対応ＤＴＶ受信部１ａ，ＰＣ１ｂ，ＤＶＤ１ｃ）から供給された画像を表示デバイス１６上にマルチ画面表示形態で同時に表示する。
【００２８】
ここで、ＩＳＤＢ対応ＤＴＶ受信部（以下、受信部という）１ａの説明の前に、ＩＳＤＢについて説明する。デジタル技術の発展に伴い放送界では、放送信号を含む各情報をデジタル化したインタラクティブ形式の統合デジタル放送システム（ＩＳＤＢ；Integrated Services Digital Broadcasting）が研究、開発されている。具体的には、このＩＳＤＢシステムとは、現行の放送信号（標準テレビジョン信号、ハイビジョン信号）を始めとして、ソフトウェアやファクシミリなどのデータ、さらには音声、図形、画像などのマルチメディア情報をそれぞれデジタル化し、それらを統合多重化した上で、伝送形態に合致した変調処理を施して送信する放送システムをいう。放送信号を含む各種情報を多重化する場合には、これらの情報の他に受信側での制御情報として使用する付加情報を同時に統合多重化して送信することが可能である。統合化されたＩＳＤＢ用放送信号（デジタル信号）は、地上波、衛星波、光ケーブルなどを利用して送信される。受信端末側では、統合化されたＩＳＤＢ用放送信号を受信して目的の信号を弁別し、それをモニタに表示して通常のテレビ放送として楽しむことができることは勿論、記録手段を用いて記録、保存したり、他の端末に転送したりすることができる。さらに受信した付加情報を利用すれば、モニタ制御、記録制御、さらにはモニタされた画像に対する加工制御など、ユーザの好みに応じて受信情報を利用することができる。すなわち、インタラクティブ（対話形式）な放送システムを構築することができる。
【００２９】
受信部１ａは、チューナー部２を有し、チューナー部２は、統合化されたＩＳＤＢ用放送信号（デジタル信号）を地上波、衛星波、光ケーブルなどを介して受信し、受信した信号を帯域フィルタ、ダウンコンバータなどを通過させた後に復調部３に出力する。復調部３では、伝送形態に合致した復調処理を施すとともに、誤り訂正などを行い、所望のＭＰＥＧ２トランスポートストリームを多重化分離部４に与える。多重化分離部４は、前記トランスポートストリームから所望のプログラムのＭＰＥＧ２のビデオデータ、オーディオデータおよび付加情報に分離する。分離されたＭＰＥＧ２のオーディオデータは、オーディオ復号部５で復号されてオーディオ信号としてスピーカ６３に出力される。ＭＰＥＧ２のビデオデータは、画像復号部６で復号化され、ラスタスキャン形式の表示フォーマットに変換された後に、放送画像として後段の動画入力部８ａに入力される。ＭＰＥＧ２の付加情報は、データ復号部７で復号され、マルチ画面制御部１０に出力される。ここで、データ復号部７における復号とは、ＭＨＥＧ−５、ＨＴＭＬなどのシナリオ記述言語で記述されたオブジェクトからマルチメディア情報サービス提供者のシナリオを得ることを意味する。このシナリオは構造化されたコンテンツの属性（大きさや位置、符号化形式）からなり、マルチ画面制御部１０がこれを解釈し、グラフィックアクセラレータ２１や画像復号部６と連動してＩＳＤＢデータ放送画像を構成する。
【００３０】
ＰＣ１ｂはパソコン、ワークステーションなどのコンピュータであり、これから出力される画像データは、アナログ信号またはデジタル信号のＲＧＢラスタ形式で動画入力部８ｂに入力される。また、ＰＣ１ｂは、ＵＳＢ（Universal Serial Bus）、IEEE1394などのシリアルバスインタフェースを有し、該シリアルバスインタフェースはホットプラグ機能を実現する。
【００３１】
ＤＶＤ１ｃは、ＤＶＤＲＯＭなどを再生するＤＶＤ装置であり、この装置から出力される画像データは、アナログ信号またはデジタル信号のＹＵＶラスタ形式で動画入力部８ｃに入力される。
【００３２】
動画入力部８ａは、画像復号部６から出力された画像データを入力する。動画入力部８ｂは、ＰＣ１ｂから出力された画像データを入力する。動画入力部８ｂには、この入力される画像データがアナログ信号であるときには、Ａ／Ｄコンバータや画像データをサンプリングするためのＰＰＬ（Phase Locked Loop）回路が設けられ、この入力される画像データがＬＤＶＳ（Low Voltage Differential Signals）などのデジタル信号であるときには、その復号器や差動バッファが設けられている。動画入力部８ｃは、ＤＶＤ１ｃから出力された画像データを入力する。動画入力部８ｃには、この入力される画像データがテレビやＤＶＤのコンポジット信号であるときに、この信号をＹＵＶからＲＧＢに変換するための色変換回路や走査方式をインタレースからプログレッシブに変換するＩＰ変換回路などが設けられている。各動画入力部８ａ，８ｂ，８ｃは、各画像ソース１ａ，１ｂ，１ｃから画像データをそれぞれ独立したタイミングで取り込む。また、この画像データの取込み時に、該画像データを取り込むための制御信号例えば１ラインの同期を取る水平同期信号、１フレームまたは１フィールドの同期を取る垂直同期信号、１画素をサンプリングするクロック信号、有効画素データの転送期間を示すディスプレイイネーブル信号などが取り込まれる。
【００３３】
各動画入力部８ａ，８ｂ，８ｃに取り込まれた画像データは、所定の処理が施された後に、それぞれ対応する解像度変換部９ａ，９ｂ，９ｃに入力される。各解像度変換部９ａ，９ｂ，９ｃは、入力した画像データの表示フォーマット（表示ライン数やドット数、色数）をマルチ画面制御部１０に従って変換する機能を有するとともに、それぞれ画像データを共通のグラフィックバス２２に出力するためのバスインタフェース機能を有する。
【００３４】
各解像度変換部９ａ，９ｂ，９ｃから出力された画像データは、グラフィックバス２２を経由して、メモリ制御部１３の制御下で、少なくとも表示画像４画面分の容量を有するメモリ部１４に格納される。メモリ部１４への画像データの格納とともに、メモリ部１４に既に格納されている画像データの読出しが行われる。この読出しにおいては、マルチ画面制御部１０からのマルチウィンドウ管理指示に基づき出力合成部１８から表示すべき画像データのアドレスがメモリ制御部１３に対して発行され、メモリ制御部１３により表示すべき画像データがメモリ部１４から読み出される。このメモリ部１４への非同期なアクセスは、バス調停部１２により優先順位に基づきスケーラブルに管理されている。
【００３５】
この読み出された画像データは出力合成部１８に入力され、出力合成部１８は、読み出された画像データの合成を行うことによって最終的な合成画像データを生成する。この生成された合成画像データは出力変換部１５に入力され、出力変換部１５は、表示デバイス１６のフレームレートに同期して表示デバイス１６の特性に応じた表示駆動の制御、表示フォーマット変換を行う。
【００３６】
表示デバイス１６は、マトリクス電極構造を有するフラットパネル（液晶、プラズマなどの表示パネル）またはＣＲＴ（陰極線管）などからなる。具体的には、表示デバイス１６としては、画像ソースがハイビジョンテレビ放送を供給するものであればハイビジョン放送、画像ソースがＰＣであればＳＸＧＡ以上の高精細画像を表示可能な大型表示装置が用いられる。
【００３７】
マルチ画面制御部１０は、本システム全体を制御するための制御部であり、該制御部は、ＲＯＭ１７に格納さている制御プログラムに従い制御処理を実行するＣＰＵ（図示せず）、時間を計測するカウンタ（図示せず）、周辺入出力インタフェース（図示せず）などを含む。このＣＰＵの演算、処理の結果は一時的に格納するＲＡＭ２４に格納される。また、ＲＯＭ１７には、制御プログラムとともに、文字フォントなどが格納されており、この文字フォントは、ＷＷＷやデータ放送の文字情報を画面に展開するときに使用される。
【００３８】
また、マルチ画面制御部１０には、インターネット接続などを行うためのモデム制御部２０、リモコン制御部１９およびグラフィックアクセラレータ２１が接続されている。リモコン制御部１９は、リモートコントローラ（以下、リモコンという）２３から赤外線を通信媒体として送信されたコマンドなどのデータを受け取る。リモコン２３は、赤外線を通信媒体としてコマンドなどのデータを送信することが可能である。リモコン制御部１９は、リモコン２３から受け取ったコマンドなどのデータをデータ変換部６０に渡し、データ変換部６０は、リモコン制御部１９からのデータをシリアルのパケットデータに変換する。このパケットデータは、その転送タイミングを調整するために、ＦＩＦＯ（First In First Out）メモリ６１に一時的に蓄積される。ＦＩＦＯメモリ６１に蓄積されたパケットデータはシリアルバスインタフェース（以下、シリアルバスＩ／Ｆという）６２に入力される。シリアルバスＩ／Ｆ６２は、入力されたパケットデータを分割して所定のシリアルバス規格に適合した形式に変換する機能を有する。このシリアルバス規格の代表例としては、ＵＳＢ（Universal Serial Bus）、IEEE1394がある。上記機能により得られたデータはＰＣ１ｂに送信される。
【００３９】
グラフィックアクセラレータ２１は、描画命令とBitBltやＤＭＡなどのアクセラレーション機能を有し、この機能は、マルチ画面制御部１０が表示デバイス１６上にＯＳＤ（On Screen Display）画面、ＥＰＧ（電子プログラムガイド）、ＩＳＤＢ画面などを生成するときに用いられる。
【００４０】
次に、本マルチ画像表示システムにおけるマルチ画像表示動作について図２ないし図６を参照しながら説明する。図２は図１のマルチ画像表示システムにおけるマルチ画像表示動作の手順を示すフローチャート、図３は図２のステップＳ１０２の表示の初期化処理の手順を示すフローチャート、図４は図１のマルチ画像表示システムのメモリ部１４における画像データのメモリアドレスマップを示す図、図５は図１のマルチ画像表示システムの初期化時の画面表示例を示す図、図６は図１のマルチ画像表示システムの出力合成部１８の構成を示すブロック図である。
【００４１】
本マルチ画像表示システムでは、図２に示すように、まずステップＳ１０１において電源投入の有無を監視し、電源がオンされると、ステップＳ１０２で表示の初期化処理を行う。
【００４２】
この表示の初期化処理では、図３に示すように、まずステップＳ２０１において、接続されている画像ソースを確認するための接続入力検知を行う。この検知は、各画像ソース１ａ，１ｂ，１ｃから対応する動画入力部８ａ，８ｂ，８ｃに入力される接続識別信号を監視することによって行われ、この接続識別信号は、一定期間毎に信号線Ｓ１−ａ〜ｃを介してマルチ画面制御部１０に取り込まれるように構成されている。この接続識別信号は、“１”または“０”の２値信号からなり、画像ソースと動画入力部間を接続するケーブルが抜かれたり、画像ソースの電源が遮断された場合には、動画入力部が終端抵抗の役割を果たしているから、接続識別信号は“０”となり、画像ソースからの入力がないことを検知することができる。ここでは、この接続識別信号が“１”であり、各画像ソース１ａ，１ｂ，１ｃが接続されているものとして以降の説明を行う。なお、各接続識別信号が“０”であるときには、この信号が“１”になるまで上記ステップＳ２０１において各接続識別信号の監視を行う。
【００４３】
この接続識別信号により画像ソースの接続が検知されると、ステップＳ２０２で、接続が検知された画像ソースからの動画入力のためのパラメータ（表示ドット数、表示ライン数の情報、水平垂直タイミングなど）の設定を行う。ここでは、接続が検知された画像ソース１ａ，１ｂ，１ｃからの動画入力のためのパラメータを検知し、その検知したパラメータを信号線Ｓ１−ａ〜ｃを介して対応する動画入力部８ａ，８ｂ，８ｃに送出して設定する。これらパラメータは、各動画入力部が１ラインの同期を取る水平同期信号、１フレームまたは１フィールドの同期を取る垂直同期信号、１画素をサンプリングするためのクロック信号などを用いてクロック数、水平同期信号数を直接カウントすることによっても知ることが可能である。この接続された画像ソースからの入力タイミング情報は、同様に、信号線Ｓ１−ａ〜ｃを介してマルチ画面制御部１０に取り込まれる。
【００４４】
次いで、ステップＳ２０３に進み、接続が検知された少くなくとも１以上の画像ソースからの入力の画面上での表示レイアウトを決定する。初期化時には、予め決められているデフォルトのレイアウトで表示されることになる。続くステップＳ２０４では、決定されたレイアウト上での画像間の重なりの有無を判定し、この重なりがあるときには、各画像ソースの表示デバイス１６上の表示開始位置と表示終了位置、水平垂直の拡大・縮小倍率をＲＡＭ２４に書き込んだ後に、ステップＳ２０５に進む。これに対し、重なりがないときには、各画像ソースの表示デバイス１６上の表示開始位置と表示終了位置、水平垂直の拡大・縮小倍率をＲＡＭ２４に書き込んだ後に、ステップＳ２０５をスキップしてステップＳ２０６に進む。
【００４５】
ステップＳ２０５では、重なりのレイヤ優先度（最上位の表示ほど優先度が高い）を決定してＲＡＭ２４に書き込む。
【００４６】
ステップＳ２０６では、解像度変換パラメータを決定し、決定したパラメータを信号線Ｓ２−ａ〜ｃを介して対応する解像度変換部９ａ，９ｂ，９ｃに送出して設定する。続くステップＳ２０７では、解像度変換部９ａ，９ｂ，９ｃの出力をメモリ部１４に書き込む際に必要な書き込み用メモリアドレスの設定を行う。本実施の形態では、図４に示すように、メモリ部１４を動画用３画面とＯＳＤ用１画面の計４画面の構成としている。よって、メモリ部１４への格納時点では、オンスクリーン状態の形式ではない。ここでは、マルチ画面制御部１０により図４に示す開始アドレス０〜３が信号線Ｓ２−ａ〜ｃを介して各解像度変換部９ａ，９ｂ，９ｃおよびグラフィックアクセラレータ２１に渡され、各書き込みアドレス生成部のメモリアドレスのオフセット値として用いられる。
【００４７】
次いで、ステップＳ２０８に進み、マルチウィンドウ表示時の背景色（パターン）を設定する。具体的には、この背景色を出力合成部１８の背景レジスタ３７（図６を参照）にセットする。続くステップＳ２０９では、マルチ画面制御用ＯＳＤの表示設定を行う。具体的には、マルチ画面制御部１０がＯＳＤを描画するための命令をグラフィクアックセラレータ２１に発行したり、グラフィクアックセラレータ２１のＤＭＡ機能を用いてビットマップ形式に展開した文字やその他のデータをメモリ部１４に書き込むことにより画面作成を行う。また、マルチ画面上でのＯＳＤのレイアウトも決められる。この場合、優先度は最上位である。
【００４８】
続くステップＳ２１０では、読み出し用メモリアドレスの設定を行う。これは、出力合成部１８を動作させるための各種設定を行うことである。
【００４９】
ここで、出力合成部１８の概略動作について図６を用いて簡単に説明すると、出力合成部１８は、合成制御部３０を有し、この合成制御部３０は、表示デバイス１６の同期信号（Hsync,Vsync）を基準に動作する表示の水平画素数カウンタ、垂直ライン数カウンタ、カウンタと以下に述べるパラメータとの比較条件による各種制御信号を生成する。この合成制御部３０は、マルチ画面制御部１０からのＳ３信号により水平カウンタスタート値（Hsyncから有効画素が始まる期間）と垂直ラインスタート値（Vsync から有効ラインが始まる期間）、および水平画素数、垂直ライン数を取り込むことによって、表示期間のラスタスキャン走査をカウントする。また、同様に合成する入力（メモリ部１４に書き込まれた画像ソースの入力）の読み出しアドレスに関しては、マルチ画面制御部１０からのＳ３信号により各画像ソースのレイアウト情報を反映した合成スタートアドレス（合成制御部３０の有効カウント開始からのオフセット値）、および水平画素数、垂直ライン数（これらはアドレス生成部３１〜３４にセットされる）を画面数分取り込み、合成制御部３０のカウント値と一致したときには、信号線Ｓ５−ａ〜ｄを介してアドレス生成部３１〜３４の計数動作をキックする。これにより、４種類のアドレス生成部３１〜３４が独立にカウント動作をすることになる。以上のカウンタリセットは、通常の場合Vsync 毎に行われる。
【００５０】
各アドレス生成部３１〜３４のカウンタ出力は、そのまま読み出しアドレスとなり、信号線Ｓ６−ａ〜ｄを介してアドレス選択部３５に出力される。本実施の形態では、画面構成において独立して異なる画像ソースを管理しているから、これらから入力される画像の合成は、アドレス切替えにより行われる。すなわち、アドレス選択部３５の切替え制御によって合成が実現されている。この切替えは、合成制御部３０がマルチ画面制御部１０からのＳ３信号により、レイアウト情報と優先度情報に基づいた合成切替えカウント数を取り込み、合成制御部３０のカウンタの計数動作との比較を行い、一致したときには、アドレス切替え信号Ｓ７を発行することによりなされる。これによりメモリ部１４からデータが読み出され、合成制御部３０からのライト制御信号Ｓ９により制御されて読み出されたデータがデータバッファ３６に書き込まれる。データバッファ３６からのデータの読み出しは合成制御部３０からのリード制御信号Ｓ９により制御され、読み出されたデータはデータ選択部４０に入力される。合成制御部３０は、合成すべきデータがないと判断したときには、データ切替え信号Ｓ８をデータ選択部４０に出力し、データ選択部４０は背景レジスタ３７の背景データを出力する。
【００５１】
次いで、ステップＳ２１１に進み、マルチ画面制御用カーソルの表示設定を行う。ここで、カーソルの描画方法について説明すると、まずマルチ画面制御部１０は、カーソルを表示する矩形領域を判断し、その領域を特定の色（キーカラー）で塗りつぶす描画命令をグラフィックアクセラレータ２１に発行する。グラフィックアクセラレータ２１はこの描画命令を受けて図６に示すカーソル用メモリ３８に矩形領域を書き込む。一方、マルチ画面制御部１０は、予めＲＯＭ１７に準備しているカーソルパターンを前記矩形の塗りつぶし領域と重ね合わせる処理命令をグラフィックアクセラレータ２１に発行する。グラフィックアクセラレータ２１は、この処理命令を受けて演算処理を行い、カーソル用メモリ３８の矩形領域をクロマキー付きカーソルパターンに書き換える。このカーソル用メモリ３８への書き込みはライト制御信号Ｓ１０により制御される。また、マルチ画面制御部１０は、上述したと同様に、図６に示すキーカラーレジスタ３９にキーカラーを設定する同時に、リモコン２３からのカーソル制御情報に連動してカーソルを表示する位置を特定するとともに、この特定した表示位置に基づき算出されたカーソルの重ね合わせ位置情報を合成制御部３０に渡す。合成制御部３０は、カーソル合成を行う場合には、カーソル合成イネーブル信号Ｓ１２をカーソル合成部４１に出力する。この状態で、合成制御部３０は、カーソルの重ね合わせ位置情報に基づいた合成切替えカウント数を取り込み、合成制御部３０のカウンタのカウント値との比較を行い、一致したときには、リード制御信号Ｓ１０を出力する。このカーソルデータは、カーソル合成部４１でキーカラー部分をマスクすることによってデータ選択部４０からのマルチ画面の合成データと重ね合わされ、すべての合成データが得られる。このようにして初期化が行われる。
【００５２】
この初期化が終了すると、図２に示すステップＳ１０３に進み、表示をイネーブルにする。このときに表示デバイス１６に表示されるマルチ画面は、図５に示すような画面例になる。
【００５３】
次いで、ステップＳ１０４に進み、拡大縮小アクションの入力の有無を監視し、拡大縮小アクションの入力がなければ、ステップＳ１０６に進み、位置変更アクションの入力の有無を監視し、位置変更アクションの入力がなければ、ステップＳ１０８に進み、制御カーソル移動アクションの入力の有無を監視し、制御カーソル移動アクションの入力がなければ、ステップＳ１１０に進み、電源オフアクションの入力の有無を監視する。そして、電源オフアクションの入力がなければ、上記ステップＳ１０４からの処理を繰り返し実行する。
【００５４】
上記ステップＳ１０４において拡大縮小アクションの入力有が検知されると、ステップＳ１０５に進み、入力された拡大縮小アクションに応じた表示の拡大縮小変更処理を実行する。この処理のルーチンは、上述したステップＳ２０３からＳ２０６までのルーチン（図３中の上記▲１▼の区間）に同じである。上記ステップＳ１０６において位置変更アクションの入力有が検知されると、ステップＳ１０７に進み、入力された位置変更アクションに応じた表示の位置変更処理を実行する。この処理のルーチンは、上述したステップＳ２０３からＳ２０５までのルーチン（図３中の上記▲２▼の区間）に同じである。上記ステップＳ１０８において制御カーソル移動アクションの入力有が検知されると、ステップＳ１０９に進み、入力された制御カーソル移動アクションに応じたカーソルパラメータ変更処理を実行する。この処理は、上述したステップＳ２１１に同じである。そして、上記ステップＳ１１０で電源オフアクションの入力が検知されると、本処理を終了する。
【００５５】
このように、本マルチ画像表示システムは、入力された複数の画像の拡大、縮小、位置変更が可能なビュワーとして機能する。また、本マルチ画像表示システムには、マルチ画面上からインタラクティブな機能を有する各入力画面を操作するための制御カーソル役割可変機能が設けられている。
【００５６】
次に、この制御カーソル役割可変機能について図７および図８を参照しながら説明する。図７は図１のマルチ画像表示システムにおける制御カーソル役割可変機能を説明するための画面例を示す図、図８は図１のマルチ画像表示システムにおける制御カーソル役割可変機能に用いられるレイアウト管理テーブルを示す図である。
【００５７】
この機能を実現するためには、まず接続されている画像ソースの種別を判別する必要がある。この画像ソース種別の判別は、上述したステップＳ２０１で接続入力検知とともに行われる。この画像ソース種別の判別方法としては、例えば、各画像ソースの種別に対応付け可能なデイップスイッチを設け、このデイップスイッチをユーザがマニュアル操作した結果に基づき画像ソースの種別を判定する方法がある。また、自動的に判別を行う方法では、画像ソースの１つとしてＰＣ１ｂが接続されているとき、ＶＥＳＡが提案するＰ＆ＤコネクタのＩＥＥＥ１３９４ポートで本システムとＰＣ間のやり取りを行うことにより画像ソースの種別を判別する。受信部１ａに関しては、放送事業者がトランスポートストリーム中の識別子を定義することにより、この受信部１ａに関する種別を判別する。
【００５８】
次いで、マルチ画面制御部１０は、上記ステップＳ２０３のレイアウト決定時に、マルチ画面の領域管理を行う。具体的には、図７に示したようなレイアウトを決定した場合、各入力画像の表示領域をリージョンと呼ぶ矩形領域に分割し、始点座標と終点座標、および検知した種別（ＯＳＤは本システム内で作成されるから、種別検知の必要はない）をリージョン毎に管理した図８に示すレイアウト管理テーブルを作成する。このレイアウト管理テーブルは、レイアウトが変更される度または接続された画像ソースが変わる度に更新される。
【００５９】
上記ステップＳ２１１で作成されたマルチ画面制御用カーソルは、上記ステップＳ１０８で制御カーソルの異動がある毎にその表示位置座標が判断されるから、この表示位置座標と上記レイアウト管理テーブルとを参照してマルチ画面制御用カーソルがどのリージョン内にあるかを判別することができる。マルチ画面制御用カーソルがいずれのリージョンにも属さないときまたはリージョンの境界線上にあるときには、このカーソルは背景領域にあると判断される。このように、マルチ画面制御用カーソルは、画面上を自由に移動し、画面の位置変更や拡大縮小ウィンドウの選択などの表示レイアウト変更やＯＳＤのメニュー選択などを実行するために使用される。
【００６０】
ここで、図２に示すステップＳ１０９でのカーソルパラメータ変更にる統合操作モード時のマルチ画面制御用カーソルの描画処理について図９を参照しながら説明する。図９は図１のマルチ画像表示システムにおける統合操作モード時のマルチ画面制御用カーソルの描画処理を示すフローチャートである。
【００６１】
まず、ステップＳ３０１において統合操作モードであるか否かを判定する。この統合操作モードとは、リモコン２３に設けられた統合操作モードボタンを押したときに実行されるモードであり、インタラクティブな機能を有する各入力画面を操作するために、マルチ画面制御用カーソルが位置する領域（画像の画像ソースの種別）に応じてその役割を可変するモードである。
【００６２】
統合操作モードが指示されていないときには、ステップＳ３０２に進み、通常のマルチ画面制御用カーソルの描画を行う。
【００６３】
これに対し、統合操作モードが指示されているときには、ステップＳ３０３に進み、マルチ画面制御用カーソルがＯＳＤリージョン（図７の例ではリージョン＃４）内にあるか否かを判定する。マルチ画面制御用カーソルがＯＳＤリージョン内にあるときには、上記ステップＳ３０２に進み、通常のマルチ画面制御用カーソルの描画を行う。マルチ画面制御用カーソルがＯＳＤリージョン内にないときには、ステップＳ３０４に進む。
【００６４】
ステップＳ３０４では、マルチ画面制御用カーソルがＰＣリージョン（図７の例ではリージョン＃０，１）内にあるか否かを判定する。マルチ画面制御用カーソルがＰＣリージョン（図７の例ではリージョン＃０，１）内にあるときには、ステップＳ３０６に進み、ＰＣにはこの画面上でカーソルを発生させ、その操作を行うカーソル発生制御機能が設けられているから、ＰＣにカーソル発生制御機能を移管する処理を行う。そして、本処理を終了する。このカーソル機能の移管処理については後述する。
【００６５】
上記ステップＳ３０４において、マルチ画面制御用カーソルがＰＣリージョン内にないと判定されたときには、ステップＳ３０５に進み、マルチ画面制御用カーソルがＤＴＶリージョン（図７の例ではリージョン＃２，３）内にあるか否かを判定する。マルチ画面制御用カーソルがＤＴＶリージョン内にないときには、上記ステップＳ３０２に進む。マルチ画面制御用カーソルがＤＴＶリージョン内にあるときには、ステップＳ３０７に進み、ＩＳＤＢ専用カーソルの描画を行う。そして、本処理を終了する。このＩＳＤＢ専用カーソルの描画処理については後述する。
【００６６】
この統合操作モードを抜けるときには、リモコン２３の統合操作モードボタンを再び押すことによって統合操作モードが解除され、上記ステップＳ３０２により通常のマルチ画面制御用カーソルの制御モードへ移行することができる。
【００６７】
次に、上記ステップＳ３０６のカーソル機能の移管処理について図１５を参照しながら説明する。図１５は図９のステップＳ３０６のカーソル機能の移管処理の手順を示すフローチャートである。
【００６８】
本処理では、図１５に示すように、まずステップＳ６０１で、ＰＣリージョンにおいてユーザがＰＣにカーソル機能を移管することを要求しているか否かを監視する。ここで、ユーザがリモコン２３の移管キーを押すと、リモコン制御部１９は、この移管キーの押下に対応して発生されたコマンドを認識し、マルチ画面制御部１０にカーソル移管要求を発行する。この移管要求が発行されると、マルチ画面制御部１０は、ユーザがＰＣにカーソル機能を移管することを要求していると判断して、ステップＳ６０２に進み、カーソル合成イネーブル信号Ｓ１２によりマルチ画面制御用カーソルの合成をディセーブルにすることによって、マルチ画面制御カーソルの描画をオフする。
【００６９】
次いで、ステップＳ６０３に進み、信号Ｓ２０によりリモコン制御部１９へ移管モードに移行したことを通知する。これにより、リモコン制御部１９は、移管モードでのコマンド（ＰＣを制御するキーボードコマンド、マウス座標コマンド、移管解除コマンド）のみを受け付ける状態になる。そして、ステップＳ６０４に進み、ＰＣとのシリアル接続の再構築を行う。具体的には、信号Ｓ４を介してシリアルバスＩ／Ｆ６２を制御し、シリアルバスを一度非接続にした後に、再接続を行うとともに、再構築に要する時間を計測するための内部タイマを起動する。この動作によりＵＳＢ（またはＩＥＥＥ１３９４）のシリアルプロトコルでは、ＰＣがシリアルバス上のホスト、本システムがデバイスとしての関係が成立し、これによりシリアル接続のホットプラグ機能による再構築が完結する。
【００７０】
次いで、ステップＳ６０５に進み、上記内部タイマのカウント値が予め設定された再構築時間のカウント値より大きくなるのを待ち、上記内部タイマのカウント値が予め設定された再構築時間のカウント値より大きくなると、本システムのカーソル機能の移管が完了したと判断され、この状態においては、ホストとなったＰＣは、リモコン２３からのカーソル制御や入力操作を受け付け、本システムの表示画面上には、ＰＣのカーソル発生制御機能により描画されたカーソル図形が画像データの一部として表示される。なお、実際には、リモコン２３に代えて、本システム上にワイヤレスキーボードおよびワイヤレスマウスを設け、このワイヤレスキーボードおよびワイヤレスマウス側に制御方向を切り替えて使用することが好ましい。これにより、操作性に優れた操作環境をユーザに提供することができる。
【００７１】
そして、ステップＳ６０６では、カーソル機能移管解除要求の発行のみを監視し、続くステップＳ６０７で、カーソル機能移管解除要求を検知したか否かを判定する。カーソル機能移管解除要求を検知しなければ、上記ステップＳ６０６に戻り、カーソル機能移管解除要求の発行を継続する。ここで、ユーザがリモコン２３に設けられた移管解除ボタンを押すと、リモコン制御部１９は、移管解除ボタンの押下に対応したコマンドを認識し、マルチ画面制御部１０にカーソル移管解除要求を発行する。このカーソル機能移管解除要求を検知すると、ステップＳ６０８に進み、信号Ｓ４によりシリアルバスＩ／Ｆ６２を制御してＰＣとのシリアル接続を切断する。
【００７２】
次いで、ステップＳ６０９に進み、信号Ｓ２０により統合モードに戻ったことをリモコン制御部１９に通知する。これにより、リモコン制御部１９は、統合モードでのコマンドの全てを受け付ける状態になる。そして、ステップＳ６１０に進み、カーソル合成イネーブル信号Ｓ１２によりマルチ画面制御用カーソルの合成表示をイネーブルにする。これにより、マルチ画面制御用カーソルの描画がオンされ、移管モードからの復帰が行われる。
【００７３】
このように、マルチ画面制御用カーソルがＰＣ１ｂの表示領域に入ると、これを自動的に検知してマルチ画面制御用カーソルの発生、操作に関する制御をＰＣ１ｂ側の制御に移行するから、ＰＣなどのようにカーソル発生制御機能を有する画像ソースの画像を表示したマルチ画面上でのリモート統合操作を実現することができる。
【００７４】
次に、ＩＳＤＢ対応のデジタル放送の場合の統合操作について図１０ないし図１４を参照しながら説明する。図１０はＩＳＤＢ対応のデジタル放送の画面イメージを示す図、図１１は図９のステップＳ３０７のＩＳＤＢ専用カーソルの描画処理の手順を示すフローチャート、図１２はＩＳＤＢ画像のレイアウト変換イメージを示す図、図１３はＩＳＤＢ専用カーソルの描画処理に用いられるカーソルサイズ変更テーブルを示す図、図１４はＩＳＤＢ専用カーソルの描画処理に用いられるカーソル移動量変更テーブルを示す図である。
【００７５】
まず、ＩＳＤＢ対応のデジタル放送の画面描画方法について説明する。
【００７６】
ＩＳＤＢ対応のデジタル放送の画面は、図１０に示すように作成される。この画面例に示すように、放送局側は意図した画面表示を行うために、背景、動画、データ、メニューボタンなどをオブジェクトいう形式でＭＨＥＧ−５などのマルチメディア記述言語で記述して送信する。各オブジェクトは、位置、大きさ、ボタン、ビットマップ、テキストなどの属性を有する。本表示システムでは、この属性情報からＭＰＥＧ２の動画以外のオブジェクトを前述したＯＳＤの生成と同様の方法で生成する。ＭＰＥＧ２の動画は、図１に示す画像復号部６から解像度変換部９ａに至る系を用いて再生し、前述した方法を用いて出力合成部１８で合成すれば、図１０に示すような放送局側が意図した画面を再現することができる。ここで、再生時には、ＭＰＥＧ２の解像度はその画像を指定された大きさに収めることが可能な解像度に変換される。この一連の処理は、放送局側が意図した表示解像度で表現する場合の例である。
【００７７】
ここで、本マルチ画像表示システムでＩＳＤＢ画面をマルチ画面上の１画面として扱う場合には、レイアウト変換処理が必要であり、このレイアウト変換処理について図１２を参照しながら説明する。
【００７８】
本マルチ画像表示システムでＩＳＤＢ画面を扱う場合には、図１２に示すように、ＩＳＤＢ画面５０がマルチ画面上の１画面として表示される。この画面５０は、放送局側が意図した表示解像度で表示した場合のものである。放送局側が意図した表示解像度を、水平画素方向Ｘ画素、垂直ライン方向Ｙラインとすると、画面５０は、（Ｘ，０）、（０，Ｙ）の座標で表される。ここで、マルチ画面表示のために、ユーザがレイアウト変更をする場合、レイアウトを指定された大きさにまたその位置を変換しなければならない。水平方向Ｍ（１＞Ｍ＞０）倍、垂直方向Ｎ（１＞Ｎ＞０）倍にそれぞれ解像度を変換する場合は、この解像度変換により画面５０が画面５１になり、その座標は（Ｘ´，０）、（０，Ｙ´）になる。このときの変換は、次の（１）および（２）式で表される。
【００７９】
Ｘ´＝ＭＸ …（１）
Ｙ´＝ＮＹ …（２）
原点（０，０）から移動オフセット（Ｘｍ，Ｙｍ）に位置変更する場合には、画面５１が画面５２の位置に移動し、その座標は、（Ｘ”，０）、（０，Ｙ”）に変化する。このときの変換は、次の（３）および（４）式で表される。
【００８０】
Ｘ”＝Ｘ´＋Ｘｍ …（３）
Ｙ”＝Ｙ´＋Ｙｍ …（４）
上記（１）〜（４）式により、解像度変換と位置変更を組み合わせたレイアウト座標変換は、
Ｘ”＝ＭＸ＋Ｘｍ …（５）
Ｙ”＝ＮＹ＋Ｙｍ …（６）
となる。この（５）および（６）式に従いレイアウトされたＩＳＤＢ画面の位置情報はマルチ画面表示に適宜変換され、描画が行われる。
【００８１】
次に、統合操作モード時における上記ステップＳ３０７の詳細な処理手順について図１１を参照しながら説明する。
【００８２】
マルチ画面制御用カーソルがＤＴＶリージョン（図７の例ではリージョン＃２，３）内に入ると、上述したように、上記ステップＳ３０７で、ＩＳＤＢ専用カーソルの描画を行う。このＩＳＤＢ専用カーソルの描画では、図１１に示すように、まずステップＳ５０１においてＩＳＤＢ専用カーソルの表示が必要であるか否かを判定する。本実施の形態では、図１０に示すように、矢印カーソルをマルチ画面制御用カーソルとして用いている。ここで、ＩＳＤＢ専用のカーソルの表示（例えば、ボタン領域の輪郭を特定色で枠付けしたり、ボタン領域全体の色反転）を放送局側から指定されている場合、または意図的にカーソルの種類を変えたいときには、ＩＳＤＢ専用カーソルの表示が必要であると判断してステップＳ５０２に進み、現在表示されているマルチ画面制御用カーソルを非表示にする。具体的には、図６に示すカーソル合成イネーブル信号Ｓ１２によりマルチ画面制御用カーソルの合成をディセーブルにする。
【００８３】
次いで、ステップＳ５０３に進み、ＩＳＤＢ専用カーソルの表示を行う。例えば、枠カーソルを使う場合には、シナリオ記述言語からボタンの位置、数を認識し（複数あるときにはすべて認識する）、デフォルトのボタンに枠カーソルを表示する。この表示は、上述したＯＳＤ描画と同じ方法でボタンの枠部分の矩形を特定色に塗りつぶし、その上にボタンを描画することにより行うことができる。枠カーソルの移動は、上記認識したボタンに対して予め決められた順番に従いリモコン２３のボタンに連動して枠カーソル描画のＯＮ／ＯＦＦを行うようにすればよい。
【００８４】
上記ステップＳ５０１でＩＳＤＢ専用カーソルの表示が必要でないと判定されたときには、ステップＳ５０４に進み、カーソルサイズを設定する。これは、ＩＳＤＢのボタンの大きさを判断し、本システム全体を制御するマルチ画面制御用カーソルの大きさを、ユーザが所望のボタンを確実に選択することができる大きさに設定するためである。なお、カーソルの大きさを変更する必要がない場合、このカーソルの大きさは現在の大きさに保持される。
【００８５】
続くステップＳ５０５では、カーソル色を設定する。これは、ＩＳＤＢの操作モードにあることをユーザに認識し易くすることを目的としており、通常のマルチ画面制御用カーソルの色と異なる色を設定する。なお、色変更が必要でない場合には、現在の色が用いられる。
【００８６】
次いで、ステップＳ５０６に進み、カーソル移動量の設定を行う。ＩＳＤＢの画面上でカーソルを移動させる際に通常のマルチ画面制御時における画面移動量と変えた方が使い勝手が向上する場合には、このカーソル移動量を変更する。なお、カーソル移動量の変更が必要でないときには、この移動量は現在の値に保持される。続くステップＳ５０７では、操作ボタンの位置を記録する。これは、ＩＳＤＢ画面上のボタン領域にカーソルが位置するときに、リモコン２３によりこのボタンを選択するアクションを起こしたときに、シーンを切り替えるタイミングをマルチ画面制御部１０が認識するためである。
【００８７】
以上の設定（ステップＳ５０４〜Ｓ５０７）は、ＩＳＤＢのカーソル表示のベース設定として、後述する設定変更時にも参照される。
【００８８】
次いで、ステップＳ５０８に進み、放送局側のレイアウトに従ってＩＳＤＢ等倍表示を行うか否かを判定する。ここで、等倍表示を行うときには、ステップＳ５０９に進み、マルチ画面上の上記設定に応じた変更表示を行う。等倍表示を行わないときには、ユーザが意図的にマルチ画面表示のためにレイアウトを変更すると判断してステップＳ５１０に進み、解像度を変換するか否かを判定する。解像度を変換するときには、ステップＳ５１１に進み、解像度変換後のＩＳＤＢ画面に適合したカーソルサイズへの変更を行う。このカーソルサイズの変更は、カーソルサイズ変更テーブルを参照して行われる。このカーソルサイズ変更テーブルは、図１３に示すように、カーソルサイズと変倍率との関係を表すテーブルであり、本例では、上記ステップＳ５０４で設定したカーソルサイズを変倍率１に対する基準値として、カーソルサイズと変倍率との関係を表している。このテーブルから分かるように、変倍率が大きくなるほどカーソルサイズが段階的に大きくなるように設定される。
【００８９】
続くステップＳ５１２では、解像度変換後のＩＳＤＢ画面に適合したカーソル移動量への変更を行う。このカーソル移動量の変更は、カーソル移動量変更テーブルを参照して行われる。このカーソル移動量変更テーブルは、図１４に示すように、カーソル移動量と変倍率との関係を表すテーブルであり、本例では、上記ステップＳ５０６で設定したカーソル移動量を変倍率１に対する基準値として、カーソルサイズと変倍率との関係を表している。このテーブルから分かるように、変倍率が大きくなるほどカーソル移動量が段階的に大きくなるように設定される。
【００９０】
次いで、ステップＳ５１３に進み、レイアウト変更に伴う選択ボタン位置の記憶変更を行う。これは、上記（５），（６）式においてオフセット座標（Ｘｍ，Ｙｍ）＝（０，０）と置き換えることにより行われる。そして、ステップＳ５１４に進む。
【００９１】
これに対し、上記ステップＳ５１０で解像度の変換を行わないと判定されると、上記ステップＳ５１１〜Ｓ５１３をスキップしてステップＳ５１４に進む。ステップＳ５０４では、選択ボタンの位置変更を行うか否かを判定する。選択ボタンの位置変更を行う場合には、ステップＳ５１５に進み、レイアウト変更に伴う選択ボタン位置の記憶変更を再び行う。これは、上記（５），（６）式において変倍率をＭ＝Ｎ＝０と置き換えることにより行われる。そして、上記ステップＳ５０９に進む。上記ステップＳ５１４で、選択ボタンの位置変更を行わないと判定されたときには、上記ステップＳ５１５をスキップして上記ステップＳ５０９に進む。
【００９２】
ユーザがマルチ画面上でレイアウト変更されたＩＳＤＢ画面のボタンを選択してインタラクティブなアクションを起こすときには、マルチ画面制御部１０が、変更されたカーソルの位置（Ｘ”，Ｙ”）を、上記（３）式から得られた次の（７），（８）式
Ｘ＝（Ｘ”−Ｘｍ）／Ｍ …（７）
Ｙ＝（Ｙ”−Ｙｍ）／Ｎ …（８）
に従って放送局側が意図する位置（Ｘ，Ｙ）に戻し、この戻した位置と受信時のボタン属性を有する領域との比較、監視を行うことによって、両者が一致すれば、ボタン選択アクションと見なす。これにより、対応するボタンの選択が行われることになる。その結果、マルチ画面上での正確なシーンの切替えを行うことができる。
【００９３】
このように、マルチ画面制御用カーソルがＤＴＶの表示領域に入ると、これを自動的に検知してカーソルの種類を切り替え、またはカーソルのサイズ、色、移動量を切り替えることにより、操作の種別にあった最適な操作環境が得られる。また、マルチ画面レイアウトの変更の際も、インタラクティブなボタンの選択を正確に認識することができ、シーンの切替えを正確に行うことができる。その結果、ＩＳＤＢ対応のＤＴＶ入力のマルチ画面上での統合操作を実現することができる。
【００９４】
【発明の効果】
以上説明したように、本発明によれば、マルチ画面で表示される各画像に対する操作を一元的に行うことができる。
また、マルチ画面制御カーソルの表示位置に対応する画像の画像ソースがカーソル生成機能を有する画像ソースであるときに、マルチ画面制御カーソルを画像ソースのカーソルに切り替えることにより、カーソル生成機能を有する画像ソース側での画像の編集、切替えを、画像ソース側で行うことなく、マルチ画面において行うことができる。
また、マルチ画面制御カーソルの表示位置に対応する画像の画像ソースが、カーソル生成機能を有する画像ソースである場合、シリアルバスを介して、カーソル生成機能を有する画像ソースに、カーソルの生成を要求することにより、カーソルの生成を画像ソースに簡単に移管することができる。
【００９５】
また、本発明によれば、マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースである場合に、マルチ画面制御カーソルを非表示にして、所定の記述言語で記述されたカーソルの属性情報に基づいて、所定の記述言語専用カーソルを表示する制御を行うことにより、画面に適した快適なカーソル操作を行うことができる。
【図面の簡単な説明】
【図１】本発明のマルチ画像表示システムの実施の一形態の構成を示すブロック図である。
【図２】図１のマルチ画像表示システムにおけるマルチ画像表示動作の手順を示すフローチャートである。
【図３】図２のステップＳ１０２の表示の初期化処理の手順を示すフローチャートである。
【図４】図１のマルチ画像表示システムのメモリ部１４における画像データのメモリアドレスマップを示す図である。
【図５】図１のマルチ画像表示システムの初期化時の画面表示例を示す図である。
【図６】図１のマルチ画像表示システムの出力合成部の構成を示すブロック図である。
【図７】図１のマルチ画像表示システムにおける制御カーソル役割可変機能を説明するための画面例を示す図である。
【図８】図１のマルチ画像表示システムにおける制御カーソル役割可変機能に用いられるレイアウト管理テーブルを示す図である。
【図９】図１のマルチ画像表示システムにおける統合操作モード時のマルチ画面制御用カーソルの描画処理を示すフローチャートである。
【図１０】ＩＳＤＢ対応のデジタル放送の画面イメージを示す図である。
【図１１】図９のステップＳ３０７のＩＳＤＢ専用カーソルの描画処理の手順を示すフローチャートである。
【図１２】ＩＳＤＢ画像のレイアウト変換イメージを示す図である。
【図１３】ＩＳＤＢ専用カーソルの描画処理に用いられるカーソルサイズ変更テーブルを示す図である。
【図１４】ＩＳＤＢ専用カーソルの描画処理に用いられるカーソル移動量変更テーブルを示す図である。
【図１５】図９のステップＳ３０６のカーソル機能の移管処理の手順を示すフローチャートである。
【符号の説明】
１ａ ＩＳＤＢ対応受信部（画像ソース）
１ｂ ＰＣ（画像ソース）
１ｃ ＤＶＤ（画像ソース）
５ オーディオ復号部
６ 画像復号部
７ データ復号部
８ａ，８ｂ，８ｃ 動画入力部
９ａ，９ｂ，９ｃ 解像度変換部
１０ マルチ画面制御部
１４ メモリ部
１６ 表示デバイス
１８ 出力合成部
１９ リモコン制御部
２１ グラフィックアクセラレタータ
２３ リモコン
６２ シリアルバスＩ／Ｆ
【発明の属する技術分野】
本発明は、複数の画像ソースからそれぞれ入力された画像データを１つの表示装置に同時に表示することが可能なマルチ画像表示システムおよびマルチ画像表示方法に関する。
【０００２】
【従来の技術】
近年、ＤＴＶ（デジタルテレビ）、ＤＶＤ（デジタルビデオディスクなど）、ＰＣ（パーソナルコンピュータ）などから供給する画像データを大型の表示装置例えば液晶プロジェクタやプラズマディスプレイに多画面で表示させることが増している。これを受けて将来、家庭においては、この大型の表示装置をマルチメディアの中心デバイスと位置付け、各映像メディアを表示デバイスに統合表示した形態での用途が望まれている。このような背景から、画像表示システムには、複数の画像を同時に表示することができる機能が必要である。そして、現在提案されている大型表示装置では、接続された異なる複数のメディアから供給された各画像データを該表示装置の画面上に任意にレイアウトして表示する機能を設け、この機能により複数の画像データを同時に表示する。すなわち、大型表示装置をマルチ画面ビュワーとして用いることによってマルチ画像表示システムを構築している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来のマルチ画像表示システムでは、画面上に表示される画像データがＰＣの画像データであるときには、この表示する画像データの編集、切り替えに関する操作をＰＣ側のカーソルまたはマウスによる操作に移行させる必要がある。これは、カーソル発生手段およびアプリケーション制御がＰＣ内部に設けられているためである。インタラクティブ形式な統合デジィタル放送システムなどの放送画像をマルチ画面表示の一部としてレイアウト表示している場合には、放送業者が意図した解像度まで一度戻した後にこの放送画面の切り替えを行うための切り替えアクションをしなければならない。これは、現在予定されている放送画像に関しては放送事業者が意図する解像度でメニュー画面を構成するようになっており、ユーザがマルチ表示のための解像度変換を行うと、インタラクティブな選択を行うことができないなどの操作上の不具合が発生する可能性があるからである。その結果、従来のマルチ画像表示システムでは、大型表示装置を制御の中心として各メディアを一元的にコントロールすることはできない。すなわち、ユーザインタフェースは操作性が悪いユーザインターフェイスとなる。
【０００４】
本発明の目的は、マルチ画面上の各画像に対する操作を一元的に行うことができるマルチ画像表示システムおよびマルチ画像表示方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、上記目的を達成するため、接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、接続された各画像ソースの種別を判別する画像ソース判別手段と、前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記カーソル生成機能を有する画像ソースにカーソルを生成させる制御を行うことを特徴とする。
【０００６】
本発明は、上記目的を達成するため、接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、接続された各画像ソースの種別を判別する画像ソース判別手段と、前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記所定の記述言語で記述されたカーソルの属性情報に基づいて、前記所定の記述言語専用カーソルを表示する制御を行うことを特徴とする。
【０００７】
また、本発明は、上記目的を達成するため、マルチ画像表示方法を提供する。
【００２５】
【発明の実施の形態】
以下に本発明の実施の形態について図を参照しながら説明する。
【００２６】
図１は本発明のマルチ画像表示システムの実施の一形態の構成を示すブロック図である。
【００２７】
マルチ画像表示システムは、図１に示すように、互いに独立した３つの画像ソース（ＩＳＤＢ対応ＤＴＶ受信部１ａ，ＰＣ１ｂ，ＤＶＤ１ｃ）から供給された画像を表示デバイス１６上にマルチ画面表示形態で同時に表示する。
【００２８】
ここで、ＩＳＤＢ対応ＤＴＶ受信部（以下、受信部という）１ａの説明の前に、ＩＳＤＢについて説明する。デジタル技術の発展に伴い放送界では、放送信号を含む各情報をデジタル化したインタラクティブ形式の統合デジタル放送システム（ＩＳＤＢ；Integrated Services Digital Broadcasting）が研究、開発されている。具体的には、このＩＳＤＢシステムとは、現行の放送信号（標準テレビジョン信号、ハイビジョン信号）を始めとして、ソフトウェアやファクシミリなどのデータ、さらには音声、図形、画像などのマルチメディア情報をそれぞれデジタル化し、それらを統合多重化した上で、伝送形態に合致した変調処理を施して送信する放送システムをいう。放送信号を含む各種情報を多重化する場合には、これらの情報の他に受信側での制御情報として使用する付加情報を同時に統合多重化して送信することが可能である。統合化されたＩＳＤＢ用放送信号（デジタル信号）は、地上波、衛星波、光ケーブルなどを利用して送信される。受信端末側では、統合化されたＩＳＤＢ用放送信号を受信して目的の信号を弁別し、それをモニタに表示して通常のテレビ放送として楽しむことができることは勿論、記録手段を用いて記録、保存したり、他の端末に転送したりすることができる。さらに受信した付加情報を利用すれば、モニタ制御、記録制御、さらにはモニタされた画像に対する加工制御など、ユーザの好みに応じて受信情報を利用することができる。すなわち、インタラクティブ（対話形式）な放送システムを構築することができる。
【００２９】
受信部１ａは、チューナー部２を有し、チューナー部２は、統合化されたＩＳＤＢ用放送信号（デジタル信号）を地上波、衛星波、光ケーブルなどを介して受信し、受信した信号を帯域フィルタ、ダウンコンバータなどを通過させた後に復調部３に出力する。復調部３では、伝送形態に合致した復調処理を施すとともに、誤り訂正などを行い、所望のＭＰＥＧ２トランスポートストリームを多重化分離部４に与える。多重化分離部４は、前記トランスポートストリームから所望のプログラムのＭＰＥＧ２のビデオデータ、オーディオデータおよび付加情報に分離する。分離されたＭＰＥＧ２のオーディオデータは、オーディオ復号部５で復号されてオーディオ信号としてスピーカ６３に出力される。ＭＰＥＧ２のビデオデータは、画像復号部６で復号化され、ラスタスキャン形式の表示フォーマットに変換された後に、放送画像として後段の動画入力部８ａに入力される。ＭＰＥＧ２の付加情報は、データ復号部７で復号され、マルチ画面制御部１０に出力される。ここで、データ復号部７における復号とは、ＭＨＥＧ−５、ＨＴＭＬなどのシナリオ記述言語で記述されたオブジェクトからマルチメディア情報サービス提供者のシナリオを得ることを意味する。このシナリオは構造化されたコンテンツの属性（大きさや位置、符号化形式）からなり、マルチ画面制御部１０がこれを解釈し、グラフィックアクセラレータ２１や画像復号部６と連動してＩＳＤＢデータ放送画像を構成する。
【００３０】
ＰＣ１ｂはパソコン、ワークステーションなどのコンピュータであり、これから出力される画像データは、アナログ信号またはデジタル信号のＲＧＢラスタ形式で動画入力部８ｂに入力される。また、ＰＣ１ｂは、ＵＳＢ（Universal Serial Bus）、IEEE1394などのシリアルバスインタフェースを有し、該シリアルバスインタフェースはホットプラグ機能を実現する。
【００３１】
ＤＶＤ１ｃは、ＤＶＤＲＯＭなどを再生するＤＶＤ装置であり、この装置から出力される画像データは、アナログ信号またはデジタル信号のＹＵＶラスタ形式で動画入力部８ｃに入力される。
【００３２】
動画入力部８ａは、画像復号部６から出力された画像データを入力する。動画入力部８ｂは、ＰＣ１ｂから出力された画像データを入力する。動画入力部８ｂには、この入力される画像データがアナログ信号であるときには、Ａ／Ｄコンバータや画像データをサンプリングするためのＰＰＬ（Phase Locked Loop）回路が設けられ、この入力される画像データがＬＤＶＳ（Low Voltage Differential Signals）などのデジタル信号であるときには、その復号器や差動バッファが設けられている。動画入力部８ｃは、ＤＶＤ１ｃから出力された画像データを入力する。動画入力部８ｃには、この入力される画像データがテレビやＤＶＤのコンポジット信号であるときに、この信号をＹＵＶからＲＧＢに変換するための色変換回路や走査方式をインタレースからプログレッシブに変換するＩＰ変換回路などが設けられている。各動画入力部８ａ，８ｂ，８ｃは、各画像ソース１ａ，１ｂ，１ｃから画像データをそれぞれ独立したタイミングで取り込む。また、この画像データの取込み時に、該画像データを取り込むための制御信号例えば１ラインの同期を取る水平同期信号、１フレームまたは１フィールドの同期を取る垂直同期信号、１画素をサンプリングするクロック信号、有効画素データの転送期間を示すディスプレイイネーブル信号などが取り込まれる。
【００３３】
各動画入力部８ａ，８ｂ，８ｃに取り込まれた画像データは、所定の処理が施された後に、それぞれ対応する解像度変換部９ａ，９ｂ，９ｃに入力される。各解像度変換部９ａ，９ｂ，９ｃは、入力した画像データの表示フォーマット（表示ライン数やドット数、色数）をマルチ画面制御部１０に従って変換する機能を有するとともに、それぞれ画像データを共通のグラフィックバス２２に出力するためのバスインタフェース機能を有する。
【００３４】
各解像度変換部９ａ，９ｂ，９ｃから出力された画像データは、グラフィックバス２２を経由して、メモリ制御部１３の制御下で、少なくとも表示画像４画面分の容量を有するメモリ部１４に格納される。メモリ部１４への画像データの格納とともに、メモリ部１４に既に格納されている画像データの読出しが行われる。この読出しにおいては、マルチ画面制御部１０からのマルチウィンドウ管理指示に基づき出力合成部１８から表示すべき画像データのアドレスがメモリ制御部１３に対して発行され、メモリ制御部１３により表示すべき画像データがメモリ部１４から読み出される。このメモリ部１４への非同期なアクセスは、バス調停部１２により優先順位に基づきスケーラブルに管理されている。
【００３５】
この読み出された画像データは出力合成部１８に入力され、出力合成部１８は、読み出された画像データの合成を行うことによって最終的な合成画像データを生成する。この生成された合成画像データは出力変換部１５に入力され、出力変換部１５は、表示デバイス１６のフレームレートに同期して表示デバイス１６の特性に応じた表示駆動の制御、表示フォーマット変換を行う。
【００３６】
表示デバイス１６は、マトリクス電極構造を有するフラットパネル（液晶、プラズマなどの表示パネル）またはＣＲＴ（陰極線管）などからなる。具体的には、表示デバイス１６としては、画像ソースがハイビジョンテレビ放送を供給するものであればハイビジョン放送、画像ソースがＰＣであればＳＸＧＡ以上の高精細画像を表示可能な大型表示装置が用いられる。
【００３７】
マルチ画面制御部１０は、本システム全体を制御するための制御部であり、該制御部は、ＲＯＭ１７に格納さている制御プログラムに従い制御処理を実行するＣＰＵ（図示せず）、時間を計測するカウンタ（図示せず）、周辺入出力インタフェース（図示せず）などを含む。このＣＰＵの演算、処理の結果は一時的に格納するＲＡＭ２４に格納される。また、ＲＯＭ１７には、制御プログラムとともに、文字フォントなどが格納されており、この文字フォントは、ＷＷＷやデータ放送の文字情報を画面に展開するときに使用される。
【００３８】
また、マルチ画面制御部１０には、インターネット接続などを行うためのモデム制御部２０、リモコン制御部１９およびグラフィックアクセラレータ２１が接続されている。リモコン制御部１９は、リモートコントローラ（以下、リモコンという）２３から赤外線を通信媒体として送信されたコマンドなどのデータを受け取る。リモコン２３は、赤外線を通信媒体としてコマンドなどのデータを送信することが可能である。リモコン制御部１９は、リモコン２３から受け取ったコマンドなどのデータをデータ変換部６０に渡し、データ変換部６０は、リモコン制御部１９からのデータをシリアルのパケットデータに変換する。このパケットデータは、その転送タイミングを調整するために、ＦＩＦＯ（First In First Out）メモリ６１に一時的に蓄積される。ＦＩＦＯメモリ６１に蓄積されたパケットデータはシリアルバスインタフェース（以下、シリアルバスＩ／Ｆという）６２に入力される。シリアルバスＩ／Ｆ６２は、入力されたパケットデータを分割して所定のシリアルバス規格に適合した形式に変換する機能を有する。このシリアルバス規格の代表例としては、ＵＳＢ（Universal Serial Bus）、IEEE1394がある。上記機能により得られたデータはＰＣ１ｂに送信される。
【００３９】
グラフィックアクセラレータ２１は、描画命令とBitBltやＤＭＡなどのアクセラレーション機能を有し、この機能は、マルチ画面制御部１０が表示デバイス１６上にＯＳＤ（On Screen Display）画面、ＥＰＧ（電子プログラムガイド）、ＩＳＤＢ画面などを生成するときに用いられる。
【００４０】
次に、本マルチ画像表示システムにおけるマルチ画像表示動作について図２ないし図６を参照しながら説明する。図２は図１のマルチ画像表示システムにおけるマルチ画像表示動作の手順を示すフローチャート、図３は図２のステップＳ１０２の表示の初期化処理の手順を示すフローチャート、図４は図１のマルチ画像表示システムのメモリ部１４における画像データのメモリアドレスマップを示す図、図５は図１のマルチ画像表示システムの初期化時の画面表示例を示す図、図６は図１のマルチ画像表示システムの出力合成部１８の構成を示すブロック図である。
【００４１】
本マルチ画像表示システムでは、図２に示すように、まずステップＳ１０１において電源投入の有無を監視し、電源がオンされると、ステップＳ１０２で表示の初期化処理を行う。
【００４２】
この表示の初期化処理では、図３に示すように、まずステップＳ２０１において、接続されている画像ソースを確認するための接続入力検知を行う。この検知は、各画像ソース１ａ，１ｂ，１ｃから対応する動画入力部８ａ，８ｂ，８ｃに入力される接続識別信号を監視することによって行われ、この接続識別信号は、一定期間毎に信号線Ｓ１−ａ〜ｃを介してマルチ画面制御部１０に取り込まれるように構成されている。この接続識別信号は、“１”または“０”の２値信号からなり、画像ソースと動画入力部間を接続するケーブルが抜かれたり、画像ソースの電源が遮断された場合には、動画入力部が終端抵抗の役割を果たしているから、接続識別信号は“０”となり、画像ソースからの入力がないことを検知することができる。ここでは、この接続識別信号が“１”であり、各画像ソース１ａ，１ｂ，１ｃが接続されているものとして以降の説明を行う。なお、各接続識別信号が“０”であるときには、この信号が“１”になるまで上記ステップＳ２０１において各接続識別信号の監視を行う。
【００４３】
この接続識別信号により画像ソースの接続が検知されると、ステップＳ２０２で、接続が検知された画像ソースからの動画入力のためのパラメータ（表示ドット数、表示ライン数の情報、水平垂直タイミングなど）の設定を行う。ここでは、接続が検知された画像ソース１ａ，１ｂ，１ｃからの動画入力のためのパラメータを検知し、その検知したパラメータを信号線Ｓ１−ａ〜ｃを介して対応する動画入力部８ａ，８ｂ，８ｃに送出して設定する。これらパラメータは、各動画入力部が１ラインの同期を取る水平同期信号、１フレームまたは１フィールドの同期を取る垂直同期信号、１画素をサンプリングするためのクロック信号などを用いてクロック数、水平同期信号数を直接カウントすることによっても知ることが可能である。この接続された画像ソースからの入力タイミング情報は、同様に、信号線Ｓ１−ａ〜ｃを介してマルチ画面制御部１０に取り込まれる。
【００４４】
次いで、ステップＳ２０３に進み、接続が検知された少くなくとも１以上の画像ソースからの入力の画面上での表示レイアウトを決定する。初期化時には、予め決められているデフォルトのレイアウトで表示されることになる。続くステップＳ２０４では、決定されたレイアウト上での画像間の重なりの有無を判定し、この重なりがあるときには、各画像ソースの表示デバイス１６上の表示開始位置と表示終了位置、水平垂直の拡大・縮小倍率をＲＡＭ２４に書き込んだ後に、ステップＳ２０５に進む。これに対し、重なりがないときには、各画像ソースの表示デバイス１６上の表示開始位置と表示終了位置、水平垂直の拡大・縮小倍率をＲＡＭ２４に書き込んだ後に、ステップＳ２０５をスキップしてステップＳ２０６に進む。
【００４５】
ステップＳ２０５では、重なりのレイヤ優先度（最上位の表示ほど優先度が高い）を決定してＲＡＭ２４に書き込む。
【００４６】
ステップＳ２０６では、解像度変換パラメータを決定し、決定したパラメータを信号線Ｓ２−ａ〜ｃを介して対応する解像度変換部９ａ，９ｂ，９ｃに送出して設定する。続くステップＳ２０７では、解像度変換部９ａ，９ｂ，９ｃの出力をメモリ部１４に書き込む際に必要な書き込み用メモリアドレスの設定を行う。本実施の形態では、図４に示すように、メモリ部１４を動画用３画面とＯＳＤ用１画面の計４画面の構成としている。よって、メモリ部１４への格納時点では、オンスクリーン状態の形式ではない。ここでは、マルチ画面制御部１０により図４に示す開始アドレス０〜３が信号線Ｓ２−ａ〜ｃを介して各解像度変換部９ａ，９ｂ，９ｃおよびグラフィックアクセラレータ２１に渡され、各書き込みアドレス生成部のメモリアドレスのオフセット値として用いられる。
【００４７】
次いで、ステップＳ２０８に進み、マルチウィンドウ表示時の背景色（パターン）を設定する。具体的には、この背景色を出力合成部１８の背景レジスタ３７（図６を参照）にセットする。続くステップＳ２０９では、マルチ画面制御用ＯＳＤの表示設定を行う。具体的には、マルチ画面制御部１０がＯＳＤを描画するための命令をグラフィクアックセラレータ２１に発行したり、グラフィクアックセラレータ２１のＤＭＡ機能を用いてビットマップ形式に展開した文字やその他のデータをメモリ部１４に書き込むことにより画面作成を行う。また、マルチ画面上でのＯＳＤのレイアウトも決められる。この場合、優先度は最上位である。
【００４８】
続くステップＳ２１０では、読み出し用メモリアドレスの設定を行う。これは、出力合成部１８を動作させるための各種設定を行うことである。
【００４９】
ここで、出力合成部１８の概略動作について図６を用いて簡単に説明すると、出力合成部１８は、合成制御部３０を有し、この合成制御部３０は、表示デバイス１６の同期信号（Hsync,Vsync）を基準に動作する表示の水平画素数カウンタ、垂直ライン数カウンタ、カウンタと以下に述べるパラメータとの比較条件による各種制御信号を生成する。この合成制御部３０は、マルチ画面制御部１０からのＳ３信号により水平カウンタスタート値（Hsyncから有効画素が始まる期間）と垂直ラインスタート値（Vsync から有効ラインが始まる期間）、および水平画素数、垂直ライン数を取り込むことによって、表示期間のラスタスキャン走査をカウントする。また、同様に合成する入力（メモリ部１４に書き込まれた画像ソースの入力）の読み出しアドレスに関しては、マルチ画面制御部１０からのＳ３信号により各画像ソースのレイアウト情報を反映した合成スタートアドレス（合成制御部３０の有効カウント開始からのオフセット値）、および水平画素数、垂直ライン数（これらはアドレス生成部３１〜３４にセットされる）を画面数分取り込み、合成制御部３０のカウント値と一致したときには、信号線Ｓ５−ａ〜ｄを介してアドレス生成部３１〜３４の計数動作をキックする。これにより、４種類のアドレス生成部３１〜３４が独立にカウント動作をすることになる。以上のカウンタリセットは、通常の場合Vsync 毎に行われる。
【００５０】
各アドレス生成部３１〜３４のカウンタ出力は、そのまま読み出しアドレスとなり、信号線Ｓ６−ａ〜ｄを介してアドレス選択部３５に出力される。本実施の形態では、画面構成において独立して異なる画像ソースを管理しているから、これらから入力される画像の合成は、アドレス切替えにより行われる。すなわち、アドレス選択部３５の切替え制御によって合成が実現されている。この切替えは、合成制御部３０がマルチ画面制御部１０からのＳ３信号により、レイアウト情報と優先度情報に基づいた合成切替えカウント数を取り込み、合成制御部３０のカウンタの計数動作との比較を行い、一致したときには、アドレス切替え信号Ｓ７を発行することによりなされる。これによりメモリ部１４からデータが読み出され、合成制御部３０からのライト制御信号Ｓ９により制御されて読み出されたデータがデータバッファ３６に書き込まれる。データバッファ３６からのデータの読み出しは合成制御部３０からのリード制御信号Ｓ９により制御され、読み出されたデータはデータ選択部４０に入力される。合成制御部３０は、合成すべきデータがないと判断したときには、データ切替え信号Ｓ８をデータ選択部４０に出力し、データ選択部４０は背景レジスタ３７の背景データを出力する。
【００５１】
次いで、ステップＳ２１１に進み、マルチ画面制御用カーソルの表示設定を行う。ここで、カーソルの描画方法について説明すると、まずマルチ画面制御部１０は、カーソルを表示する矩形領域を判断し、その領域を特定の色（キーカラー）で塗りつぶす描画命令をグラフィックアクセラレータ２１に発行する。グラフィックアクセラレータ２１はこの描画命令を受けて図６に示すカーソル用メモリ３８に矩形領域を書き込む。一方、マルチ画面制御部１０は、予めＲＯＭ１７に準備しているカーソルパターンを前記矩形の塗りつぶし領域と重ね合わせる処理命令をグラフィックアクセラレータ２１に発行する。グラフィックアクセラレータ２１は、この処理命令を受けて演算処理を行い、カーソル用メモリ３８の矩形領域をクロマキー付きカーソルパターンに書き換える。このカーソル用メモリ３８への書き込みはライト制御信号Ｓ１０により制御される。また、マルチ画面制御部１０は、上述したと同様に、図６に示すキーカラーレジスタ３９にキーカラーを設定する同時に、リモコン２３からのカーソル制御情報に連動してカーソルを表示する位置を特定するとともに、この特定した表示位置に基づき算出されたカーソルの重ね合わせ位置情報を合成制御部３０に渡す。合成制御部３０は、カーソル合成を行う場合には、カーソル合成イネーブル信号Ｓ１２をカーソル合成部４１に出力する。この状態で、合成制御部３０は、カーソルの重ね合わせ位置情報に基づいた合成切替えカウント数を取り込み、合成制御部３０のカウンタのカウント値との比較を行い、一致したときには、リード制御信号Ｓ１０を出力する。このカーソルデータは、カーソル合成部４１でキーカラー部分をマスクすることによってデータ選択部４０からのマルチ画面の合成データと重ね合わされ、すべての合成データが得られる。このようにして初期化が行われる。
【００５２】
この初期化が終了すると、図２に示すステップＳ１０３に進み、表示をイネーブルにする。このときに表示デバイス１６に表示されるマルチ画面は、図５に示すような画面例になる。
【００５３】
次いで、ステップＳ１０４に進み、拡大縮小アクションの入力の有無を監視し、拡大縮小アクションの入力がなければ、ステップＳ１０６に進み、位置変更アクションの入力の有無を監視し、位置変更アクションの入力がなければ、ステップＳ１０８に進み、制御カーソル移動アクションの入力の有無を監視し、制御カーソル移動アクションの入力がなければ、ステップＳ１１０に進み、電源オフアクションの入力の有無を監視する。そして、電源オフアクションの入力がなければ、上記ステップＳ１０４からの処理を繰り返し実行する。
【００５４】
上記ステップＳ１０４において拡大縮小アクションの入力有が検知されると、ステップＳ１０５に進み、入力された拡大縮小アクションに応じた表示の拡大縮小変更処理を実行する。この処理のルーチンは、上述したステップＳ２０３からＳ２０６までのルーチン（図３中の上記▲１▼の区間）に同じである。上記ステップＳ１０６において位置変更アクションの入力有が検知されると、ステップＳ１０７に進み、入力された位置変更アクションに応じた表示の位置変更処理を実行する。この処理のルーチンは、上述したステップＳ２０３からＳ２０５までのルーチン（図３中の上記▲２▼の区間）に同じである。上記ステップＳ１０８において制御カーソル移動アクションの入力有が検知されると、ステップＳ１０９に進み、入力された制御カーソル移動アクションに応じたカーソルパラメータ変更処理を実行する。この処理は、上述したステップＳ２１１に同じである。そして、上記ステップＳ１１０で電源オフアクションの入力が検知されると、本処理を終了する。
【００５５】
このように、本マルチ画像表示システムは、入力された複数の画像の拡大、縮小、位置変更が可能なビュワーとして機能する。また、本マルチ画像表示システムには、マルチ画面上からインタラクティブな機能を有する各入力画面を操作するための制御カーソル役割可変機能が設けられている。
【００５６】
次に、この制御カーソル役割可変機能について図７および図８を参照しながら説明する。図７は図１のマルチ画像表示システムにおける制御カーソル役割可変機能を説明するための画面例を示す図、図８は図１のマルチ画像表示システムにおける制御カーソル役割可変機能に用いられるレイアウト管理テーブルを示す図である。
【００５７】
この機能を実現するためには、まず接続されている画像ソースの種別を判別する必要がある。この画像ソース種別の判別は、上述したステップＳ２０１で接続入力検知とともに行われる。この画像ソース種別の判別方法としては、例えば、各画像ソースの種別に対応付け可能なデイップスイッチを設け、このデイップスイッチをユーザがマニュアル操作した結果に基づき画像ソースの種別を判定する方法がある。また、自動的に判別を行う方法では、画像ソースの１つとしてＰＣ１ｂが接続されているとき、ＶＥＳＡが提案するＰ＆ＤコネクタのＩＥＥＥ１３９４ポートで本システムとＰＣ間のやり取りを行うことにより画像ソースの種別を判別する。受信部１ａに関しては、放送事業者がトランスポートストリーム中の識別子を定義することにより、この受信部１ａに関する種別を判別する。
【００５８】
次いで、マルチ画面制御部１０は、上記ステップＳ２０３のレイアウト決定時に、マルチ画面の領域管理を行う。具体的には、図７に示したようなレイアウトを決定した場合、各入力画像の表示領域をリージョンと呼ぶ矩形領域に分割し、始点座標と終点座標、および検知した種別（ＯＳＤは本システム内で作成されるから、種別検知の必要はない）をリージョン毎に管理した図８に示すレイアウト管理テーブルを作成する。このレイアウト管理テーブルは、レイアウトが変更される度または接続された画像ソースが変わる度に更新される。
【００５９】
上記ステップＳ２１１で作成されたマルチ画面制御用カーソルは、上記ステップＳ１０８で制御カーソルの異動がある毎にその表示位置座標が判断されるから、この表示位置座標と上記レイアウト管理テーブルとを参照してマルチ画面制御用カーソルがどのリージョン内にあるかを判別することができる。マルチ画面制御用カーソルがいずれのリージョンにも属さないときまたはリージョンの境界線上にあるときには、このカーソルは背景領域にあると判断される。このように、マルチ画面制御用カーソルは、画面上を自由に移動し、画面の位置変更や拡大縮小ウィンドウの選択などの表示レイアウト変更やＯＳＤのメニュー選択などを実行するために使用される。
【００６０】
ここで、図２に示すステップＳ１０９でのカーソルパラメータ変更にる統合操作モード時のマルチ画面制御用カーソルの描画処理について図９を参照しながら説明する。図９は図１のマルチ画像表示システムにおける統合操作モード時のマルチ画面制御用カーソルの描画処理を示すフローチャートである。
【００６１】
まず、ステップＳ３０１において統合操作モードであるか否かを判定する。この統合操作モードとは、リモコン２３に設けられた統合操作モードボタンを押したときに実行されるモードであり、インタラクティブな機能を有する各入力画面を操作するために、マルチ画面制御用カーソルが位置する領域（画像の画像ソースの種別）に応じてその役割を可変するモードである。
【００６２】
統合操作モードが指示されていないときには、ステップＳ３０２に進み、通常のマルチ画面制御用カーソルの描画を行う。
【００６３】
これに対し、統合操作モードが指示されているときには、ステップＳ３０３に進み、マルチ画面制御用カーソルがＯＳＤリージョン（図７の例ではリージョン＃４）内にあるか否かを判定する。マルチ画面制御用カーソルがＯＳＤリージョン内にあるときには、上記ステップＳ３０２に進み、通常のマルチ画面制御用カーソルの描画を行う。マルチ画面制御用カーソルがＯＳＤリージョン内にないときには、ステップＳ３０４に進む。
【００６４】
ステップＳ３０４では、マルチ画面制御用カーソルがＰＣリージョン（図７の例ではリージョン＃０，１）内にあるか否かを判定する。マルチ画面制御用カーソルがＰＣリージョン（図７の例ではリージョン＃０，１）内にあるときには、ステップＳ３０６に進み、ＰＣにはこの画面上でカーソルを発生させ、その操作を行うカーソル発生制御機能が設けられているから、ＰＣにカーソル発生制御機能を移管する処理を行う。そして、本処理を終了する。このカーソル機能の移管処理については後述する。
【００６５】
上記ステップＳ３０４において、マルチ画面制御用カーソルがＰＣリージョン内にないと判定されたときには、ステップＳ３０５に進み、マルチ画面制御用カーソルがＤＴＶリージョン（図７の例ではリージョン＃２，３）内にあるか否かを判定する。マルチ画面制御用カーソルがＤＴＶリージョン内にないときには、上記ステップＳ３０２に進む。マルチ画面制御用カーソルがＤＴＶリージョン内にあるときには、ステップＳ３０７に進み、ＩＳＤＢ専用カーソルの描画を行う。そして、本処理を終了する。このＩＳＤＢ専用カーソルの描画処理については後述する。
【００６６】
この統合操作モードを抜けるときには、リモコン２３の統合操作モードボタンを再び押すことによって統合操作モードが解除され、上記ステップＳ３０２により通常のマルチ画面制御用カーソルの制御モードへ移行することができる。
【００６７】
次に、上記ステップＳ３０６のカーソル機能の移管処理について図１５を参照しながら説明する。図１５は図９のステップＳ３０６のカーソル機能の移管処理の手順を示すフローチャートである。
【００６８】
本処理では、図１５に示すように、まずステップＳ６０１で、ＰＣリージョンにおいてユーザがＰＣにカーソル機能を移管することを要求しているか否かを監視する。ここで、ユーザがリモコン２３の移管キーを押すと、リモコン制御部１９は、この移管キーの押下に対応して発生されたコマンドを認識し、マルチ画面制御部１０にカーソル移管要求を発行する。この移管要求が発行されると、マルチ画面制御部１０は、ユーザがＰＣにカーソル機能を移管することを要求していると判断して、ステップＳ６０２に進み、カーソル合成イネーブル信号Ｓ１２によりマルチ画面制御用カーソルの合成をディセーブルにすることによって、マルチ画面制御カーソルの描画をオフする。
【００６９】
次いで、ステップＳ６０３に進み、信号Ｓ２０によりリモコン制御部１９へ移管モードに移行したことを通知する。これにより、リモコン制御部１９は、移管モードでのコマンド（ＰＣを制御するキーボードコマンド、マウス座標コマンド、移管解除コマンド）のみを受け付ける状態になる。そして、ステップＳ６０４に進み、ＰＣとのシリアル接続の再構築を行う。具体的には、信号Ｓ４を介してシリアルバスＩ／Ｆ６２を制御し、シリアルバスを一度非接続にした後に、再接続を行うとともに、再構築に要する時間を計測するための内部タイマを起動する。この動作によりＵＳＢ（またはＩＥＥＥ１３９４）のシリアルプロトコルでは、ＰＣがシリアルバス上のホスト、本システムがデバイスとしての関係が成立し、これによりシリアル接続のホットプラグ機能による再構築が完結する。
【００７０】
次いで、ステップＳ６０５に進み、上記内部タイマのカウント値が予め設定された再構築時間のカウント値より大きくなるのを待ち、上記内部タイマのカウント値が予め設定された再構築時間のカウント値より大きくなると、本システムのカーソル機能の移管が完了したと判断され、この状態においては、ホストとなったＰＣは、リモコン２３からのカーソル制御や入力操作を受け付け、本システムの表示画面上には、ＰＣのカーソル発生制御機能により描画されたカーソル図形が画像データの一部として表示される。なお、実際には、リモコン２３に代えて、本システム上にワイヤレスキーボードおよびワイヤレスマウスを設け、このワイヤレスキーボードおよびワイヤレスマウス側に制御方向を切り替えて使用することが好ましい。これにより、操作性に優れた操作環境をユーザに提供することができる。
【００７１】
そして、ステップＳ６０６では、カーソル機能移管解除要求の発行のみを監視し、続くステップＳ６０７で、カーソル機能移管解除要求を検知したか否かを判定する。カーソル機能移管解除要求を検知しなければ、上記ステップＳ６０６に戻り、カーソル機能移管解除要求の発行を継続する。ここで、ユーザがリモコン２３に設けられた移管解除ボタンを押すと、リモコン制御部１９は、移管解除ボタンの押下に対応したコマンドを認識し、マルチ画面制御部１０にカーソル移管解除要求を発行する。このカーソル機能移管解除要求を検知すると、ステップＳ６０８に進み、信号Ｓ４によりシリアルバスＩ／Ｆ６２を制御してＰＣとのシリアル接続を切断する。
【００７２】
次いで、ステップＳ６０９に進み、信号Ｓ２０により統合モードに戻ったことをリモコン制御部１９に通知する。これにより、リモコン制御部１９は、統合モードでのコマンドの全てを受け付ける状態になる。そして、ステップＳ６１０に進み、カーソル合成イネーブル信号Ｓ１２によりマルチ画面制御用カーソルの合成表示をイネーブルにする。これにより、マルチ画面制御用カーソルの描画がオンされ、移管モードからの復帰が行われる。
【００７３】
このように、マルチ画面制御用カーソルがＰＣ１ｂの表示領域に入ると、これを自動的に検知してマルチ画面制御用カーソルの発生、操作に関する制御をＰＣ１ｂ側の制御に移行するから、ＰＣなどのようにカーソル発生制御機能を有する画像ソースの画像を表示したマルチ画面上でのリモート統合操作を実現することができる。
【００７４】
次に、ＩＳＤＢ対応のデジタル放送の場合の統合操作について図１０ないし図１４を参照しながら説明する。図１０はＩＳＤＢ対応のデジタル放送の画面イメージを示す図、図１１は図９のステップＳ３０７のＩＳＤＢ専用カーソルの描画処理の手順を示すフローチャート、図１２はＩＳＤＢ画像のレイアウト変換イメージを示す図、図１３はＩＳＤＢ専用カーソルの描画処理に用いられるカーソルサイズ変更テーブルを示す図、図１４はＩＳＤＢ専用カーソルの描画処理に用いられるカーソル移動量変更テーブルを示す図である。
【００７５】
まず、ＩＳＤＢ対応のデジタル放送の画面描画方法について説明する。
【００７６】
ＩＳＤＢ対応のデジタル放送の画面は、図１０に示すように作成される。この画面例に示すように、放送局側は意図した画面表示を行うために、背景、動画、データ、メニューボタンなどをオブジェクトいう形式でＭＨＥＧ−５などのマルチメディア記述言語で記述して送信する。各オブジェクトは、位置、大きさ、ボタン、ビットマップ、テキストなどの属性を有する。本表示システムでは、この属性情報からＭＰＥＧ２の動画以外のオブジェクトを前述したＯＳＤの生成と同様の方法で生成する。ＭＰＥＧ２の動画は、図１に示す画像復号部６から解像度変換部９ａに至る系を用いて再生し、前述した方法を用いて出力合成部１８で合成すれば、図１０に示すような放送局側が意図した画面を再現することができる。ここで、再生時には、ＭＰＥＧ２の解像度はその画像を指定された大きさに収めることが可能な解像度に変換される。この一連の処理は、放送局側が意図した表示解像度で表現する場合の例である。
【００７７】
ここで、本マルチ画像表示システムでＩＳＤＢ画面をマルチ画面上の１画面として扱う場合には、レイアウト変換処理が必要であり、このレイアウト変換処理について図１２を参照しながら説明する。
【００７８】
本マルチ画像表示システムでＩＳＤＢ画面を扱う場合には、図１２に示すように、ＩＳＤＢ画面５０がマルチ画面上の１画面として表示される。この画面５０は、放送局側が意図した表示解像度で表示した場合のものである。放送局側が意図した表示解像度を、水平画素方向Ｘ画素、垂直ライン方向Ｙラインとすると、画面５０は、（Ｘ，０）、（０，Ｙ）の座標で表される。ここで、マルチ画面表示のために、ユーザがレイアウト変更をする場合、レイアウトを指定された大きさにまたその位置を変換しなければならない。水平方向Ｍ（１＞Ｍ＞０）倍、垂直方向Ｎ（１＞Ｎ＞０）倍にそれぞれ解像度を変換する場合は、この解像度変換により画面５０が画面５１になり、その座標は（Ｘ´，０）、（０，Ｙ´）になる。このときの変換は、次の（１）および（２）式で表される。
【００７９】
Ｘ´＝ＭＸ …（１）
Ｙ´＝ＮＹ …（２）
原点（０，０）から移動オフセット（Ｘｍ，Ｙｍ）に位置変更する場合には、画面５１が画面５２の位置に移動し、その座標は、（Ｘ”，０）、（０，Ｙ”）に変化する。このときの変換は、次の（３）および（４）式で表される。
【００８０】
Ｘ”＝Ｘ´＋Ｘｍ …（３）
Ｙ”＝Ｙ´＋Ｙｍ …（４）
上記（１）〜（４）式により、解像度変換と位置変更を組み合わせたレイアウト座標変換は、
Ｘ”＝ＭＸ＋Ｘｍ …（５）
Ｙ”＝ＮＹ＋Ｙｍ …（６）
となる。この（５）および（６）式に従いレイアウトされたＩＳＤＢ画面の位置情報はマルチ画面表示に適宜変換され、描画が行われる。
【００８１】
次に、統合操作モード時における上記ステップＳ３０７の詳細な処理手順について図１１を参照しながら説明する。
【００８２】
マルチ画面制御用カーソルがＤＴＶリージョン（図７の例ではリージョン＃２，３）内に入ると、上述したように、上記ステップＳ３０７で、ＩＳＤＢ専用カーソルの描画を行う。このＩＳＤＢ専用カーソルの描画では、図１１に示すように、まずステップＳ５０１においてＩＳＤＢ専用カーソルの表示が必要であるか否かを判定する。本実施の形態では、図１０に示すように、矢印カーソルをマルチ画面制御用カーソルとして用いている。ここで、ＩＳＤＢ専用のカーソルの表示（例えば、ボタン領域の輪郭を特定色で枠付けしたり、ボタン領域全体の色反転）を放送局側から指定されている場合、または意図的にカーソルの種類を変えたいときには、ＩＳＤＢ専用カーソルの表示が必要であると判断してステップＳ５０２に進み、現在表示されているマルチ画面制御用カーソルを非表示にする。具体的には、図６に示すカーソル合成イネーブル信号Ｓ１２によりマルチ画面制御用カーソルの合成をディセーブルにする。
【００８３】
次いで、ステップＳ５０３に進み、ＩＳＤＢ専用カーソルの表示を行う。例えば、枠カーソルを使う場合には、シナリオ記述言語からボタンの位置、数を認識し（複数あるときにはすべて認識する）、デフォルトのボタンに枠カーソルを表示する。この表示は、上述したＯＳＤ描画と同じ方法でボタンの枠部分の矩形を特定色に塗りつぶし、その上にボタンを描画することにより行うことができる。枠カーソルの移動は、上記認識したボタンに対して予め決められた順番に従いリモコン２３のボタンに連動して枠カーソル描画のＯＮ／ＯＦＦを行うようにすればよい。
【００８４】
上記ステップＳ５０１でＩＳＤＢ専用カーソルの表示が必要でないと判定されたときには、ステップＳ５０４に進み、カーソルサイズを設定する。これは、ＩＳＤＢのボタンの大きさを判断し、本システム全体を制御するマルチ画面制御用カーソルの大きさを、ユーザが所望のボタンを確実に選択することができる大きさに設定するためである。なお、カーソルの大きさを変更する必要がない場合、このカーソルの大きさは現在の大きさに保持される。
【００８５】
続くステップＳ５０５では、カーソル色を設定する。これは、ＩＳＤＢの操作モードにあることをユーザに認識し易くすることを目的としており、通常のマルチ画面制御用カーソルの色と異なる色を設定する。なお、色変更が必要でない場合には、現在の色が用いられる。
【００８６】
次いで、ステップＳ５０６に進み、カーソル移動量の設定を行う。ＩＳＤＢの画面上でカーソルを移動させる際に通常のマルチ画面制御時における画面移動量と変えた方が使い勝手が向上する場合には、このカーソル移動量を変更する。なお、カーソル移動量の変更が必要でないときには、この移動量は現在の値に保持される。続くステップＳ５０７では、操作ボタンの位置を記録する。これは、ＩＳＤＢ画面上のボタン領域にカーソルが位置するときに、リモコン２３によりこのボタンを選択するアクションを起こしたときに、シーンを切り替えるタイミングをマルチ画面制御部１０が認識するためである。
【００８７】
以上の設定（ステップＳ５０４〜Ｓ５０７）は、ＩＳＤＢのカーソル表示のベース設定として、後述する設定変更時にも参照される。
【００８８】
次いで、ステップＳ５０８に進み、放送局側のレイアウトに従ってＩＳＤＢ等倍表示を行うか否かを判定する。ここで、等倍表示を行うときには、ステップＳ５０９に進み、マルチ画面上の上記設定に応じた変更表示を行う。等倍表示を行わないときには、ユーザが意図的にマルチ画面表示のためにレイアウトを変更すると判断してステップＳ５１０に進み、解像度を変換するか否かを判定する。解像度を変換するときには、ステップＳ５１１に進み、解像度変換後のＩＳＤＢ画面に適合したカーソルサイズへの変更を行う。このカーソルサイズの変更は、カーソルサイズ変更テーブルを参照して行われる。このカーソルサイズ変更テーブルは、図１３に示すように、カーソルサイズと変倍率との関係を表すテーブルであり、本例では、上記ステップＳ５０４で設定したカーソルサイズを変倍率１に対する基準値として、カーソルサイズと変倍率との関係を表している。このテーブルから分かるように、変倍率が大きくなるほどカーソルサイズが段階的に大きくなるように設定される。
【００８９】
続くステップＳ５１２では、解像度変換後のＩＳＤＢ画面に適合したカーソル移動量への変更を行う。このカーソル移動量の変更は、カーソル移動量変更テーブルを参照して行われる。このカーソル移動量変更テーブルは、図１４に示すように、カーソル移動量と変倍率との関係を表すテーブルであり、本例では、上記ステップＳ５０６で設定したカーソル移動量を変倍率１に対する基準値として、カーソルサイズと変倍率との関係を表している。このテーブルから分かるように、変倍率が大きくなるほどカーソル移動量が段階的に大きくなるように設定される。
【００９０】
次いで、ステップＳ５１３に進み、レイアウト変更に伴う選択ボタン位置の記憶変更を行う。これは、上記（５），（６）式においてオフセット座標（Ｘｍ，Ｙｍ）＝（０，０）と置き換えることにより行われる。そして、ステップＳ５１４に進む。
【００９１】
これに対し、上記ステップＳ５１０で解像度の変換を行わないと判定されると、上記ステップＳ５１１〜Ｓ５１３をスキップしてステップＳ５１４に進む。ステップＳ５０４では、選択ボタンの位置変更を行うか否かを判定する。選択ボタンの位置変更を行う場合には、ステップＳ５１５に進み、レイアウト変更に伴う選択ボタン位置の記憶変更を再び行う。これは、上記（５），（６）式において変倍率をＭ＝Ｎ＝０と置き換えることにより行われる。そして、上記ステップＳ５０９に進む。上記ステップＳ５１４で、選択ボタンの位置変更を行わないと判定されたときには、上記ステップＳ５１５をスキップして上記ステップＳ５０９に進む。
【００９２】
ユーザがマルチ画面上でレイアウト変更されたＩＳＤＢ画面のボタンを選択してインタラクティブなアクションを起こすときには、マルチ画面制御部１０が、変更されたカーソルの位置（Ｘ”，Ｙ”）を、上記（３）式から得られた次の（７），（８）式
Ｘ＝（Ｘ”−Ｘｍ）／Ｍ …（７）
Ｙ＝（Ｙ”−Ｙｍ）／Ｎ …（８）
に従って放送局側が意図する位置（Ｘ，Ｙ）に戻し、この戻した位置と受信時のボタン属性を有する領域との比較、監視を行うことによって、両者が一致すれば、ボタン選択アクションと見なす。これにより、対応するボタンの選択が行われることになる。その結果、マルチ画面上での正確なシーンの切替えを行うことができる。
【００９３】
このように、マルチ画面制御用カーソルがＤＴＶの表示領域に入ると、これを自動的に検知してカーソルの種類を切り替え、またはカーソルのサイズ、色、移動量を切り替えることにより、操作の種別にあった最適な操作環境が得られる。また、マルチ画面レイアウトの変更の際も、インタラクティブなボタンの選択を正確に認識することができ、シーンの切替えを正確に行うことができる。その結果、ＩＳＤＢ対応のＤＴＶ入力のマルチ画面上での統合操作を実現することができる。
【００９４】
【発明の効果】
以上説明したように、本発明によれば、マルチ画面で表示される各画像に対する操作を一元的に行うことができる。
また、マルチ画面制御カーソルの表示位置に対応する画像の画像ソースがカーソル生成機能を有する画像ソースであるときに、マルチ画面制御カーソルを画像ソースのカーソルに切り替えることにより、カーソル生成機能を有する画像ソース側での画像の編集、切替えを、画像ソース側で行うことなく、マルチ画面において行うことができる。
また、マルチ画面制御カーソルの表示位置に対応する画像の画像ソースが、カーソル生成機能を有する画像ソースである場合、シリアルバスを介して、カーソル生成機能を有する画像ソースに、カーソルの生成を要求することにより、カーソルの生成を画像ソースに簡単に移管することができる。
【００９５】
また、本発明によれば、マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースである場合に、マルチ画面制御カーソルを非表示にして、所定の記述言語で記述されたカーソルの属性情報に基づいて、所定の記述言語専用カーソルを表示する制御を行うことにより、画面に適した快適なカーソル操作を行うことができる。
【図面の簡単な説明】
【図１】本発明のマルチ画像表示システムの実施の一形態の構成を示すブロック図である。
【図２】図１のマルチ画像表示システムにおけるマルチ画像表示動作の手順を示すフローチャートである。
【図３】図２のステップＳ１０２の表示の初期化処理の手順を示すフローチャートである。
【図４】図１のマルチ画像表示システムのメモリ部１４における画像データのメモリアドレスマップを示す図である。
【図５】図１のマルチ画像表示システムの初期化時の画面表示例を示す図である。
【図６】図１のマルチ画像表示システムの出力合成部の構成を示すブロック図である。
【図７】図１のマルチ画像表示システムにおける制御カーソル役割可変機能を説明するための画面例を示す図である。
【図８】図１のマルチ画像表示システムにおける制御カーソル役割可変機能に用いられるレイアウト管理テーブルを示す図である。
【図９】図１のマルチ画像表示システムにおける統合操作モード時のマルチ画面制御用カーソルの描画処理を示すフローチャートである。
【図１０】ＩＳＤＢ対応のデジタル放送の画面イメージを示す図である。
【図１１】図９のステップＳ３０７のＩＳＤＢ専用カーソルの描画処理の手順を示すフローチャートである。
【図１２】ＩＳＤＢ画像のレイアウト変換イメージを示す図である。
【図１３】ＩＳＤＢ専用カーソルの描画処理に用いられるカーソルサイズ変更テーブルを示す図である。
【図１４】ＩＳＤＢ専用カーソルの描画処理に用いられるカーソル移動量変更テーブルを示す図である。
【図１５】図９のステップＳ３０６のカーソル機能の移管処理の手順を示すフローチャートである。
【符号の説明】
１ａ ＩＳＤＢ対応受信部（画像ソース）
１ｂ ＰＣ（画像ソース）
１ｃ ＤＶＤ（画像ソース）
５ オーディオ復号部
６ 画像復号部
７ データ復号部
８ａ，８ｂ，８ｃ 動画入力部
９ａ，９ｂ，９ｃ 解像度変換部
１０ マルチ画面制御部
１４ メモリ部
１６ 表示デバイス
１８ 出力合成部
１９ リモコン制御部
２１ グラフィックアクセラレタータ
２３ リモコン
６２ シリアルバスＩ／Ｆ
Claims (6)
- 接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、
接続された各画像ソースの種別を判別する画像ソース判別手段と、
前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、
前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、
前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記カーソル生成機能を有する画像ソースにカーソルを生成させる制御を行うことを特徴とするマルチ画像表示システム。 - 前記マルチ画像表示システムと、前記カーソル生成機能を有する画像ソースとはシリアルバスで接続され、
前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像の画像ソースが、前記カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御手段は、前記シリアルバスを介して、前記カーソル生成機能を有する画像ソースに、カーソルの生成を要求することを特徴とする請求項１記載のマルチ画像表示システム。 - 接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、
接続された各画像ソースの種別を判別する画像ソース判別手段と、
前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、
前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、
前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記所定の記述言語で記述されたカーソルの属性情報に基づいて、前記所定の記述言語専用カーソルを表示する制御を行うことを特徴とするマルチ画像表示システム。 - 接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示方法において、
接続された各画像ソースの種別を判別する画像ソース判別工程と、
前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御工程と、
前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別工程とを有し、
前記画像ソース判別工程で、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御工程では、前記マルチ画面制御カーソルを非表示にして、前記カーソル生成機能を有する画像ソースにカーソルを生成させる制御を行うことを特徴とするマルチ画像表示方法。 - 前記画像ソース判別工程で、前記マルチ画面制御カーソルの表示位置に対応する画像の画像ソースが、前記カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御工程では、前記カーソル生成機能を有する画像ソースを接続するシリアルバスを介して、前記カーソル生成機能を有する画像ソースに、カーソルの生成を要求することを特徴とする請求項４記載のマルチ画像表示方法。
- 接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示方法において、
接続された各画像ソースの種別を判別する画像ソース判別工程と、
前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御工程と、
前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別工程とを有し、
前記画像ソース判別工程で、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースであると判別された場合に、前記カーソル制御工程では、前記マルチ画面制御カーソルを非表示にして、前記所定の記述言語で記述されたカーソルの属性情報に基づいて、前記所定の記述言語専用カーソルを表示する制御を行うことを特徴とするマルチ画像表示方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37143099A JP4541476B2 (ja) | 1999-02-19 | 1999-12-27 | マルチ画像表示システムおよびマルチ画像表示方法 |
| US09/505,044 US6493008B1 (en) | 1999-02-19 | 2000-02-16 | Multi-screen display system and method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-41528 | 1999-02-19 | ||
| JP4152899 | 1999-02-19 | ||
| JP37143099A JP4541476B2 (ja) | 1999-02-19 | 1999-12-27 | マルチ画像表示システムおよびマルチ画像表示方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000305543A JP2000305543A (ja) | 2000-11-02 |
| JP2000305543A5 JP2000305543A5 (ja) | 2009-11-05 |
| JP4541476B2 true JP4541476B2 (ja) | 2010-09-08 |
Family
ID=26381169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP37143099A Expired - Fee Related JP4541476B2 (ja) | 1999-02-19 | 1999-12-27 | マルチ画像表示システムおよびマルチ画像表示方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6493008B1 (ja) |
| JP (1) | JP4541476B2 (ja) |
Families Citing this family (89)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1090505A1 (en) * | 1998-06-26 | 2001-04-11 | General Instrument Corporation | Terminal for composing and presenting mpeg-4 video programs |
| TW559699B (en) | 2000-01-12 | 2003-11-01 | Sony Corp | Image display device and method |
| WO2001056281A1 (fr) * | 2000-01-26 | 2001-08-02 | Sony Corporation | Procede et systeme informatique et support d'enregistrement de programmes |
| JP4541482B2 (ja) * | 2000-02-29 | 2010-09-08 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP2001324976A (ja) * | 2000-05-16 | 2001-11-22 | Nec Shizuoka Ltd | 情報表示システム |
| JP3681961B2 (ja) * | 2000-07-03 | 2005-08-10 | 三菱電機株式会社 | 表示ユニット、表示調整装置及び表示装置 |
| JP2002044559A (ja) * | 2000-07-31 | 2002-02-08 | Sony Corp | 画像処理方法および画像処理装置 |
| JP2002108326A (ja) * | 2000-09-29 | 2002-04-10 | Toshiba Corp | 映像処理装置 |
| US7023492B2 (en) * | 2000-10-19 | 2006-04-04 | Microsoft Corporation | Method and apparatus for encoding video content |
| KR100380581B1 (ko) * | 2000-11-28 | 2003-04-16 | 주식회사 유엠디지털 | 일체형인 다수개의 모니터를 갖는 컴퓨터의 화면 조정시스템 |
| US6943845B2 (en) | 2000-12-15 | 2005-09-13 | Canon Kabushiki Kaisha | Apparatus and method for data processing, and storage medium |
| JP4046994B2 (ja) * | 2001-12-06 | 2008-02-13 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| KR20020068134A (ko) | 2001-02-20 | 2002-08-27 | 엘지전자주식회사 | 디지털 티브이의 ｐｉｐ 표시방법 |
| JP4327370B2 (ja) | 2001-02-28 | 2009-09-09 | ヤマハ株式会社 | ビデオミキサー装置 |
| JP2002344918A (ja) * | 2001-05-22 | 2002-11-29 | Seiko Epson Corp | 会議システム |
| KR100414159B1 (ko) * | 2001-06-15 | 2004-01-07 | 주식회사 성진씨앤씨 | 다채널 입력의 고화질 다중 화면 분할 장치 및 방법 |
| JP4701564B2 (ja) * | 2001-08-31 | 2011-06-15 | ソニー株式会社 | メニュー表示装置及びメニューの表示方法 |
| US7196733B2 (en) * | 2002-01-28 | 2007-03-27 | Canon Kabushiki Kaisha | Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program |
| JP4346863B2 (ja) * | 2002-04-19 | 2009-10-21 | Ｎｅｃディスプレイソリューションズ株式会社 | 画像表示装置および画像表示装置の制御方法 |
| JP2004048118A (ja) * | 2002-07-08 | 2004-02-12 | Sony Corp | 画像表示装置、画像生成回路および画像生成方法 |
| JP4114421B2 (ja) * | 2002-07-22 | 2008-07-09 | ソニー株式会社 | 電子機器装置、サーバ装置、レイアウト記述文書の提供方法 |
| JP2004133354A (ja) * | 2002-10-15 | 2004-04-30 | Seiko Epson Corp | 画像表示システム、画像表示装置、画像データ出力装置、画像表示方法、画像表示プログラムおよび画像データ出力プログラム |
| JP4447886B2 (ja) | 2002-11-19 | 2010-04-07 | キヤノン株式会社 | 表示装置及び表示システム |
| US6848792B1 (en) * | 2002-12-27 | 2005-02-01 | Barco N.V. | Full resolution multiple image projection system and method for projecting two images in full resolution adjacent each other |
| US7364313B2 (en) * | 2002-12-27 | 2008-04-29 | Barco N.V. | Multiple image projection system and method for projecting multiple selected images adjacent each other |
| US20040150649A1 (en) * | 2003-01-30 | 2004-08-05 | Jerry Moscovitch | Method and apparatus for matching multiple displays in a multi-display environment |
| KR100400602B1 (en) * | 2003-02-21 | 2003-10-08 | Humax Co Ltd | Method for controlling resolution of graphic image |
| US8484576B2 (en) * | 2003-04-17 | 2013-07-09 | Supersonic Aerospace International, Llc | System and method for customizing multiple windows of information on a display |
| JP2005091751A (ja) * | 2003-09-17 | 2005-04-07 | Chi Mei Electronics Corp | 画像表示制御方法、画像表示装置、表示制御装置、コンピュータおよび画像表示制御システム |
| JP4047316B2 (ja) * | 2003-09-25 | 2008-02-13 | キヤノン株式会社 | フレームレート変換装置、それに用いられる追い越し予測方法、表示制御装置及び映像受信表示装置 |
| WO2005076993A2 (en) * | 2004-02-09 | 2005-08-25 | Regis Development, L.L.C. | Computer presentation and command integration apparatus and method |
| US7613478B2 (en) * | 2004-03-15 | 2009-11-03 | General Electric Company | Method and system for portability of clinical images using a high-quality display and portable device |
| JP4233482B2 (ja) * | 2004-04-09 | 2009-03-04 | シャープ株式会社 | 複数画面表示テレビジョン装置及び操作対象画面切替方法 |
| JP4551711B2 (ja) * | 2004-07-27 | 2010-09-29 | 株式会社東芝 | コンピュータシステム |
| JP4371950B2 (ja) * | 2004-08-24 | 2009-11-25 | キヤノン株式会社 | 撮像装置及び信号処理装置 |
| US7375768B2 (en) * | 2004-08-24 | 2008-05-20 | Magix Ag | System and method for automatic creation of device specific high definition material |
| US7724239B2 (en) * | 2005-02-22 | 2010-05-25 | Research In Motion Limited | Handheld electronic device, cursor positioning sub-system and method employing cursor scaling control |
| JP2006246248A (ja) * | 2005-03-04 | 2006-09-14 | Toshiba Corp | 映像信号処理装置及び映像信号処理方法 |
| EP1705916A1 (en) * | 2005-03-25 | 2006-09-27 | Alcatel | Interactive displaying system |
| CN100581226C (zh) * | 2005-08-05 | 2010-01-13 | 三星电子株式会社 | 用于提供多屏幕的设备以及动态配置多屏幕的方法 |
| US8174617B2 (en) * | 2005-08-05 | 2012-05-08 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
| US7682822B2 (en) | 2006-03-31 | 2010-03-23 | Aastrom Biosciences, Inc. | Ex vivo generated tissue system |
| US7844661B2 (en) * | 2006-06-15 | 2010-11-30 | Microsoft Corporation | Composition of local media playback with remotely generated user interface |
| US8793303B2 (en) * | 2006-06-29 | 2014-07-29 | Microsoft Corporation | Composition of local user interface with remotely generated user interface and media |
| JP4274217B2 (ja) * | 2006-09-21 | 2009-06-03 | セイコーエプソン株式会社 | 画像表示装置、画像表示システム、及びネットワーク接続方法 |
| US8384753B1 (en) * | 2006-12-15 | 2013-02-26 | At&T Intellectual Property I, L. P. | Managing multiple data sources |
| KR101476140B1 (ko) * | 2006-12-18 | 2014-12-24 | 삼성전자주식회사 | 복수 개의 스크린 설정을 위한 멀티스크린 관리 방법 및장치 |
| KR101058040B1 (ko) * | 2006-12-21 | 2011-08-19 | 삼성전자주식회사 | 컨텐츠 출력 방법 및 그 장치 |
| US8515194B2 (en) | 2007-02-21 | 2013-08-20 | Microsoft Corporation | Signaling and uses of windowing information for images |
| JP2009047998A (ja) * | 2007-08-21 | 2009-03-05 | Funai Electric Co Ltd | 表示装置 |
| KR20090022297A (ko) * | 2007-08-30 | 2009-03-04 | 삼성전자주식회사 | 디스플레이 제어 방법, 이를 이용한 디스플레이 장치 및디스플레이 시스템 |
| US20090083829A1 (en) * | 2007-09-20 | 2009-03-26 | C & S Operations, Inc. | Computer system |
| JP5219501B2 (ja) * | 2007-12-27 | 2013-06-26 | 三菱電機株式会社 | 画面生成装置および画面レイアウト共有システム |
| JP5455330B2 (ja) * | 2008-06-30 | 2014-03-26 | キヤノン株式会社 | 画像処理システム、画像処理方法及びプログラム |
| BRPI0804100A2 (pt) * | 2008-09-30 | 2010-07-06 | Tqtvd Software Ltda | gerenciador de arquivos digitais e método para gerenciamento de dados digitais em um aparato de recepção de tv digital |
| JP5566766B2 (ja) * | 2009-05-29 | 2014-08-06 | 株式会社東芝 | 超音波診断装置、画像表示装置、画像表示方法、表示方法 |
| US9916020B2 (en) | 2009-07-14 | 2018-03-13 | Koninklijke Philips N.V. | System, method and computer program for operating a plurality of computing devices |
| JP5617310B2 (ja) * | 2010-03-30 | 2014-11-05 | カシオ計算機株式会社 | 投影装置、投影方法及びプログラム |
| WO2012004942A1 (ja) * | 2010-07-06 | 2012-01-12 | パナソニック株式会社 | 画面合成装置及び画面合成方法 |
| US20120060116A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Content signaturing user interface |
| US8984577B2 (en) | 2010-09-08 | 2015-03-17 | Microsoft Technology Licensing, Llc | Content signaturing |
| TWI414980B (zh) * | 2010-09-10 | 2013-11-11 | Chip Goal Electronics Corp | 虛擬觸控裝置與相關方法 |
| JP2012118832A (ja) * | 2010-12-02 | 2012-06-21 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| CN102427511B (zh) * | 2011-09-28 | 2014-06-04 | 杭州士兰微电子股份有限公司 | 多路数字视频图像的处理方法与装置 |
| JP6088127B2 (ja) * | 2011-10-13 | 2017-03-01 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
| JP5927845B2 (ja) * | 2011-11-01 | 2016-06-01 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
| CN103136157A (zh) * | 2011-11-22 | 2013-06-05 | 联想(北京)有限公司 | 双***显示方法和电子设备 |
| KR101892567B1 (ko) * | 2012-02-24 | 2018-08-28 | 삼성전자 주식회사 | 단말기에서 콘텐츠 이동 방법 및 장치 |
| JP6255150B2 (ja) * | 2012-06-05 | 2017-12-27 | 株式会社レイトロン | ディスプレイシステムおよび画像合成装置 |
| EP2902894B1 (en) * | 2012-08-28 | 2019-11-13 | EIZO Corporation | Display control method, computer program, display control device and image display system |
| KR20140083229A (ko) * | 2012-12-26 | 2014-07-04 | 삼성전자주식회사 | 디스플레이 장치 및 이의 메뉴 제공 방법 |
| KR20150031629A (ko) * | 2013-09-16 | 2015-03-25 | 삼성전자주식회사 | 터치 입력이 가능한 디스플레이 장치 및 그 터치 입력 방법 |
| JP5706494B2 (ja) * | 2013-09-20 | 2015-04-22 | ヤフー株式会社 | 配信装置、端末装置、配信方法及び配信プログラム |
| JP6442893B2 (ja) * | 2014-07-15 | 2018-12-26 | 株式会社リコー | プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 |
| JP6095614B2 (ja) * | 2014-07-18 | 2017-03-15 | ヤフー株式会社 | 情報表示プログラム、配信装置、情報表示方法および情報表示装置 |
| JP6130335B2 (ja) * | 2014-07-18 | 2017-05-17 | ヤフー株式会社 | 情報表示プログラム、配信装置、情報表示方法および情報表示装置 |
| US10282806B2 (en) * | 2016-04-20 | 2019-05-07 | Mediatek, Inc. | Graphics Accelerator |
| CN106095170B (zh) * | 2016-06-02 | 2019-07-09 | 深圳创维－Rgb电子有限公司 | 一种osd触发区域偏移校正方法及*** |
| JP2018005701A (ja) * | 2016-07-05 | 2018-01-11 | 富士通コンポーネント株式会社 | Ｋｖｍスイッチ |
| JP6919173B2 (ja) * | 2016-10-20 | 2021-08-18 | 富士通株式会社 | 表示制御プログラム、表示制御方法、及び表示制御装置 |
| CN107979748A (zh) * | 2016-10-21 | 2018-05-01 | 中强光电股份有限公司 | 投影机、投影***以及影像投影方法 |
| JP6565878B2 (ja) | 2016-11-25 | 2019-08-28 | トヨタ自動車株式会社 | 表示システム |
| JP7081200B2 (ja) * | 2018-02-22 | 2022-06-07 | セイコーエプソン株式会社 | 画像表示装置、及び画像表示装置の制御方法 |
| US11010013B2 (en) * | 2018-10-29 | 2021-05-18 | International Business Machines Corporation | Providing visual control guidance on a display |
| US10901570B2 (en) | 2018-11-26 | 2021-01-26 | International Business Machines Corporation | Input placement control guidance on a display |
| US10664217B1 (en) | 2019-03-04 | 2020-05-26 | International Business Machines Corporation | Displaying dynamic content on multiple devices |
| CN110221796A (zh) * | 2019-05-28 | 2019-09-10 | 上海寰视网络科技有限公司 | 多屏拼接***的控制方法及控制*** |
| CN111897505B (zh) * | 2020-07-28 | 2024-04-26 | 广州优谷信息技术有限公司 | 多屏异显方法、装置、主显示设备、***和存储介质 |
| CN114610253A (zh) * | 2020-12-08 | 2022-06-10 | 华为技术有限公司 | 一种投屏方法及设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998044731A1 (en) * | 1997-04-03 | 1998-10-08 | Sony Electronics Inc. | Display with one or more display windows and placement dependent cursor and function control |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2834205B2 (ja) * | 1989-08-18 | 1998-12-09 | 株式会社日立製作所 | 画面表示方法および装置 |
| US5805132A (en) * | 1991-09-17 | 1998-09-08 | Minolta Co., Ltd. | Image editing apparatus capable of setting image processing region on display screen |
| JPH0775014A (ja) * | 1993-07-06 | 1995-03-17 | Hitachi Ltd | 映像表示装置、マルチ画面表示システム及び拡大処理回路 |
| JPH07244471A (ja) * | 1994-03-04 | 1995-09-19 | Dainippon Printing Co Ltd | マルチメディア情報提示装置 |
| US5694150A (en) * | 1995-09-21 | 1997-12-02 | Elo Touchsystems, Inc. | Multiuser/multi pointing device graphical user interface system |
-
1999
- 1999-12-27 JP JP37143099A patent/JP4541476B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-16 US US09/505,044 patent/US6493008B1/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998044731A1 (en) * | 1997-04-03 | 1998-10-08 | Sony Electronics Inc. | Display with one or more display windows and placement dependent cursor and function control |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000305543A (ja) | 2000-11-02 |
| US6493008B1 (en) | 2002-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4541476B2 (ja) | マルチ画像表示システムおよびマルチ画像表示方法 | |
| JP4011949B2 (ja) | マルチ画面合成装置及びデジタルテレビ受信装置 | |
| JP4541482B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4672856B2 (ja) | マルチ画面表示装置及びマルチ画面表示方法 | |
| JP4428877B2 (ja) | 表示制御装置 | |
| US6828986B2 (en) | Image display device and method for displaying an image on the basis of a plurality of image signals | |
| US20100110294A1 (en) | Video display device, video display method and video system | |
| US20030020757A1 (en) | Display control apparatus and display control system for switching control of two position idication marks | |
| US20050149967A1 (en) | System and method for managing software alert messages on televisions | |
| US20100165200A1 (en) | Display control device, display control method and display control program | |
| JP2002354367A (ja) | マルチ画面表示装置、マルチ画面表示方法、記録媒体、及びプログラム | |
| JP2002335444A (ja) | マルチ画面表示装置、マルチ画面表示方法、記録媒体、及びプログラム | |
| JP2001175239A (ja) | マルチ画面表示装置、マルチ画面表示システム、マルチ画面表示方法、及び記憶媒体 | |
| JP3483465B2 (ja) | 画像表示システム | |
| JP2007129332A (ja) | マルチ画面における各画像に対する操作方法および装置 | |
| CN113518257A (zh) | 多***投屏处理方法与设备 | |
| JP5725604B2 (ja) | 表示装置、電子機器、及び機器制御システム | |
| CN111954043A (zh) | 一种信息栏显示方法及显示设备 | |
| JP2005117183A (ja) | 情報処理装置、テレビシステム、制御方法及びプログラム | |
| EP1491036A1 (en) | Method and apparatus for displaying graphics on an auxiliary display device using low level graphics drivers | |
| CN114173187A (zh) | 动态对比度的确定方法与显示设备 | |
| JPH10133636A (ja) | 情報処理装置 | |
| JP2002199355A (ja) | ビデオデバイス |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061214 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061214 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100621 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100624 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |