JP7371648B2 - 表示制御方法及びプログラム - Google Patents

表示制御方法及びプログラム Download PDF

Info

Publication number
JP7371648B2
JP7371648B2 JP2021035085A JP2021035085A JP7371648B2 JP 7371648 B2 JP7371648 B2 JP 7371648B2 JP 2021035085 A JP2021035085 A JP 2021035085A JP 2021035085 A JP2021035085 A JP 2021035085A JP 7371648 B2 JP7371648 B2 JP 7371648B2
Authority
JP
Japan
Prior art keywords
image
display
application
displayed
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021035085A
Other languages
English (en)
Other versions
JP2022135343A (ja
Inventor
広太 竹内
博行 市枝
憲一郎 富田
健太郎 井手
哲也 浅野
俊樹 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2021035085A priority Critical patent/JP7371648B2/ja
Priority to CN202210206950.4A priority patent/CN115022602B/zh
Priority to US17/686,552 priority patent/US11990065B2/en
Publication of JP2022135343A publication Critical patent/JP2022135343A/ja
Application granted granted Critical
Publication of JP7371648B2 publication Critical patent/JP7371648B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示制御方法及びプログラムに関する。
従来、出力装置により出力された画像を、表示装置により表示させるシステムが知られている。
例えば、特許文献１は、複数の画像投射装置に接続された画像転送装置を開示する。画像転送装置は、複数の画像投射装置に転送する表示用画像データのレイアウト表示画像を、表示器に表示させる。画像転送装置は、レイアウト表示画像に対して操作が施されると、操作が施されたレイアウト表示画像に対応する表示用画像データに施された操作を反映させる。
特開２０１０－１６４９８１号公報
しかしながら、特許文献１に開示の画像転送装置は、レイアウト表示画像を操作して表示用画像のレイアウトを変更可能であるが、それ以外の操作には対応していない。例えば、アプリケーションプログラムに処理を実行させる操作には対応していない。
本開示の一態様は、出力装置が備える実在のディスプレイに、アプリケーションプログラムにより生成される第１画像を縮小した第１小画像を表示することと、前記第１小画像に対する操作を受け付けることと、前記第１小画像に対する操作に対応した処理を前記アプリケーションプログラムが実行することによって生成される第２画像を、仮想ディスプレイに描画することと、前記仮想ディスプレイに描画された前記第２画像を、表示装置を用いて表示することと、前記第２画像を縮小した第２小画像を前記実在のディスプレイに表示することと、を含む、表示制御方法である。
本開示の別の一態様は、コンピューターに、出力装置が備える実在のディスプレイに、アプリケーションプログラムにより生成される第１画像を縮小した第１小画像を表示することと、前記第１小画像に対する操作を受け付けることと、前記第１小画像に対する操作に対応した処理を前記アプリケーションプログラムが実行することによって生成される第２画像を、仮想ディスプレイに描画することと、前記仮想ディスプレイに描画された前記第２画像を、表示装置を用いて表示することと、前記第２画像を縮小した第２小画像を前記実在のディスプレイに表示することと、を実行させるプログラムである。
表示システムのシステム構成図。 プロジェクター及び情報処理装置の構成の一例を示す図。 第１実施形態のＩＰ制御部の処理の流れを示す図。 更新されたアプリ画像を示す図。 表示パネル及び仮想ディスプレイに設定された座標系の一例を示す図である。 表示パネルの表示の一例を示す図。 仮想ディスプレイの表示の一例を示す図。 表示パネルの表示の一例を示す図。 仮想ディスプレイの表示の一例を示す図。 情報処理装置の動作を示すフローチャート。 操作情報を取得した場合の情報処理装置の動作を示すフローチャート。 第２実施形態のＩＰ制御部の処理の流れを示す図。 表示パネル表示されるマウスポインターの表示サイズを拡大させる処理フローを示すフローチャート。
Ａ．第１実施形態
Ａ－１．システム構成
図１は、第１実施形態の表示システム１のシステム構成図である。
表示システム１は、表示装置である複数台のプロジェクター１００と、これら複数台のプロジェクター１００に画像を出力する出力装置である情報処理装置２００とを備える。
本実施形態では、表示システム１が、プロジェクター１００Ａ、１００Ｂ及び１００Ｃの３台のプロジェクター１００を備える場合について説明するが、表示システム１が備えるプロジェクター１００の台数は３台に限られず、1台であってもよい。以下、プロジェクター１００Ａ、１００Ｂ及び１００Ｃを総称する場合、プロジェクター１００と表記する。
本実施形態では、情報処理装置２００とプロジェクター１００Ａ、１００Ｂ及び１００Ｃとがそれぞれ無線接続された構成を例に挙げて説明するが、接続形態は、この形態に限定されない。例えば、プロジェクター１００Ａ、１００Ｂ及び１００Ｃをディジーチェーン接続し、ディジーチェーン接続の先頭のプロジェクター１００であるプロジェクター１００Ａと情報処理装置２００とを接続する構成であってもよい。また、情報処理装置２００と、プロジェクター１００Ａ、１００Ｂ及び１００Ｃとの接続は、ケーブルによる有線接続であってもよい。
情報処理装置２００には、例えば、ノート型ＰＣ（Personal Computer）、デスクトップ型ＰＣやタブレット端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）等が用いられる。
図１にはプロジェクター１００Ａ、１００Ｂ及び１００Ｃを投写面５の横方向に一列に配置し、各プロジェクター１００が投写面５に画像を横並びで表示する例を示す。
プロジェクター１００Ａ、１００Ｂ及び１００Ｃの設置方法は、床面に平置きする平置き設置に限定されず、プロジェクター１００を天井から吊り下げる天吊り設置や、プロジェクター１００を壁面に掛ける壁掛け設置であってもよい。
また、プロジェクター１００の配置は、プロジェクター１００Ａ、１００Ｂ及び１００Ｃを縦一列に並べて設置してもよいし、プロジェクター１００を縦Ｎ行、横Ｍ列のマトリクス状に配置してもよい。Ｎ及びＭは任意の自然数である。
プロジェクター１００Ａ、１００Ｂ及び１００Ｃにより画像光が投写される投写面５の領域を投写領域１０という。プロジェクター１００Ａは、投写面５に向かって左側の投写領域１０Ａに画像光を投写する。プロジェクター１００Ｂは、投写面５に向かって中央の投写領域１０Ｂに画像光を投写する。プロジェクター１００Ｃは、投写面５に向かって右側の投写領域１０Ｃに画像光を投写する。
プロジェクター１００Ａ、１００Ｂ及び１００Ｃは、タイリング投写を行う。タイリング投写は、複数のプロジェクター１００に画像光を投写させ、これら複数のプロジェクター１００によって投写面５に表示される画像が結合されることで、一つの大画面の画像を表示する投写方法である。
タイリング投写では、隣接するプロジェクター１００同士は、表示する画像の縁が重なるように画像光を投写する。これは、表示される画像の境界が目立たないようにするためである。例えば、プロジェクター１００Ａにより表示される画像と、その右側に位置するプロジェクター１００Ｂにより表示される画像とは、互いの縁が重なって重畳領域１１を形成する。同様に、プロジェクター１００Ｂにより表示される画像と、その右側に位置するプロジェクター１００Ｃにより表示される画像とは、互いの縁が重なって重畳領域１２を形成する。
Ａ－２．プロジェクター１００の構成
図２は、プロジェクター１００Ａ及び情報処理装置２００の構成の一例を示す図である。
プロジェクター１００Ａ、１００Ｂ及び１００Ｃは、略同一の構成を備えているため、プロジェクター１００Ａの構成を代表して説明し、他のプロジェクター１００Ｂ及び１００Ｃについての説明は省略する。また、以下の説明において、各プロジェクター１００の構成を区別するため、各プロジェクター１００の構成については、プロジェクター１００Ａの構成には「Ａ」の符号を付し、プロジェクター１００Ｂの構成には「Ｂ」の符号を付し、プロジェクター１００Ｃの構成には「Ｃ」の符号を付す。なお、プロジェクター１００以外の構成についての「Ａ」「Ｂ」等の表記は、プロジェクター１００との対応関係を示すものではない。
プロジェクター１００Ａは、ＰＪ無線通信部１１０Ａ、画像処理部１２０Ａ、画像投写部１３０Ａ及びＰＪ制御部１４０Ａを備える。
ＰＪ無線通信部１１０Ａは、情報処理装置２００を含む外部の装置と無線通信を行うインターフェイスである。ＰＪ無線通信部１１０Ａは、例えば、無線ＬＡＮ（Local Area Network）カードなどのネットワークインタフェースカードにより構成される。ＰＪ無線通信部１１０Ａは、外部の装置と無線通信を行い、各種情報を送受信する。
画像処理部１２０Ａには、ＰＪ制御部１４０Ａから画像データが入力される。ＰＪ制御部１４０Ａは、ＰＪ無線通信部１１０Ａが受信した画像データを画像処理部１２０Ａに出力する。このときＰＪ制御部１４０Ａは、画像処理部１２０Ａに実行させる画像処理に用いるパラメーターを画像処理部１２０Ａに出力する。
画像処理部１２０Ａは、入力された画像データを、不図示のフレームメモリーに展開し、展開した画像データに対して画像処理を行う。画像処理部１２０Ａは、例えば、入力された画像データの解像度を変更する解像度変換処理、投写領域１０Ａに表示される画像の歪みを補正する形状補正処理、画像の色調や輝度を補正する処理等の処理を行う。画像処理部１２０Ａは、ＰＪ制御部１４０Ａにより指定された処理を実行し、必要に応じて、ＰＪ制御部１４０Ａから入力されるパラメーターを使用して処理を行う。また、画像処理部１２０Ａは、上記のうち複数の処理を組み合わせて実行することも可能である。画像処理部１２０Ａは、処理が終了した画像データをフレームメモリーから読み出し、読み出した画像データを画像情報として画像投写部１３０Ａに出力する。
画像処理部１２０Ａ及びフレームメモリーは、例えば、集積回路により構成される。集積回路には、ＬＳＩ(Large Scale Integration)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System-on-a-chip）等が含まれる。また、集積回路の構成の一部にアナログ回路が含まれていてもよく、ＰＪ制御部１４０Ａと集積回路とが組み合わされた構成であってもよい。
画像投写部１３０Ａは、光源１３１Ａ、光変調装置１３３Ａ、光学ユニット１３７Ａを備える。
光源１３１Ａは、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ光源が用いられる。また、光源１３１Ａには、ＬＥＤやレーザー光源等の固体光源を用いてもよい。
光変調装置１３３Ａは、光源１３１Ａの光を変調する変調素子として液晶パネル１３５Ａを備える。液晶パネル１３５Ａは、赤、緑及び青の色ごとに設けられる。液晶パネル１３５Ａは、例えば、一対の透明基板間に液晶が封入された透過型の液晶パネルにより構成される。液晶パネル１３５Ａは、マトリクス状に配列された複数の画素からなる画素領域が形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。
光変調装置１３３Ａには、画像処理部１２０Ａから画像情報が入力される。光変調装置１３３Ａは、入力された画像情報に応じた駆動電圧を、液晶パネル１３５Ａの画素領域の各画素に印加し、各画素を画像情報に応じた光透過率に設定する。光源１３１Ａから射出された光は、不図示の色分離光学系により赤色、緑色及び青色の色光に分離され、光変調装置１３３Ａの液晶パネル１３５Ａに入射される。各色光が、液晶パネル１３５Ａの画素領域を透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となる。
光学ユニット１３７Ａは、レンズやミラー等の光学素子を備え、光変調装置１３３Ａで変調された画像光を投写面５に向けて投射する。これにより投写面５には、画像光に基づく画像が結像する。
ＰＪ制御部１４０Ａは、ＰＪ記憶部１５０Ａと、ＰＪプロセッサー１６０Ａとを備えたコンピューター装置である。ＰＪ制御部１４０Ａは、ＰＪ記憶部１５０Ａが記憶する制御プログラムをＰＪプロセッサー１６０Ａが実行することで、プロジェクター１００Ａの動作を統括制御する。
ＰＪ記憶部１５０Ａは、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリーを備える。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、プロジェクター１００Ａの動作を制御するための制御プログラムや、各種設定情報等を記憶する。
ＰＪプロセッサー１６０Ａは、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）により構成される演算処理装置である。ＰＪプロセッサー１６０Ａは、制御プログラムを実行してプロジェクター１００Ａの各部を制御する。ＰＪプロセッサー１６０Ａは、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。
ＰＪプロセッサー１６０Ａは、ＰＪ無線通信部１１０Ａが情報処理装置２００から画像データを受信すると、受信した画像データを画像処理部１２０Ａに処理させる。ＰＪプロセッサー１６０Ａは、画像処理部１２０Ａが処理した画像データに基づく画像光を画像投写部１３０Ａに生成させる。生成した画像光が光学ユニット１３７Ａにより投写されることで、投写面５に画像が表示される。
Ａ－３．情報処理装置２００の構成
次に、情報処理装置２００の構成について説明する。
情報処理装置２００は、ＩＰ無線通信部２１０、操作部２２０、表示部２３０及びＩＰ制御部２５０を備える。
ＩＰ無線通信部２１０は、プロジェクター１００を含む外部の装置と無線通信を行うインターフェイスである。ＩＰ無線通信部２１０は、例えば、無線ＬＡＮカードなどのネットワークインタフェースカードにより構成される。ＩＰ無線通信部２１０は、外部の装置と無線通信を行い、各種情報を送受信する。
操作部２２０は、例えば、マウスやキーボード等の入力デバイスにより構成され、ユーザーの操作を受け付ける。操作部２２０は、受け付けた操作に対応した操作情報をＩＰ制御部２５０に出力する。入力デバイスがマウスである場合、操作情報には、マウスの右クリック、左クリック、ドラッグ・アンド・ドロップ等の操作を示す情報や、マウスの移動量を示す情報が含まれる。また、入力デバイスがキーボードである場合、操作情報には、ユーザーにより操作されたキーの情報が含まれる。
また、操作部２２０は、表示部２３０に設けられた表示パネル２３５に対するタッチ操作を検出するタッチパネルにより構成してもよい。この場合、操作部２２０は、検出したタッチ操作の位置を示す表示パネル２３５の座標情報をＩＰ制御部２５０に出力する。
表示部２３０は、液晶パネルや有機ＥＬ（Electro Luminescence）パネル等の表示パネル２３５と、この表示パネル２３５を駆動する駆動回路とを含む。表示パネル２３５は、情報処理装置２００が備える実在のディスプレイに相当する。表示部２３０は、ＩＰ制御部２５０が生成した表示用画像に基づき、表示パネル２３５に表示可能な表示信号を生成し、生成した表示信号を表示パネル２３５に出力する。表示パネル２３５には、入力された表示信号に対応した画像が表示される。
ＩＰ制御部２５０は、ＩＰ記憶部２６０と、ＩＰプロセッサー２７０とを備えたコンピューター装置であり、情報処理装置２００の各部を統括制御する。
ＩＰ記憶部２６０は、ＲＡＭやＲＯＭ等のメモリーを備える。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、情報処理装置２００の動作を制御する制御プログラムや、各種設定情報等を記憶する。制御プログラムには、ＯＳ（Operating System）２６１や、アプリケーションプログラム２６３が含まれる。以下、アプリケーションプログラム２６３を、簡単にアプリ２６３という。本実施形態のＲＯＭは、アプリ２６３として、ドキュメントアプリ２６３Ａと、ＵＩアプリ２６３Ｂとを記憶する。ドキュメントアプリ２６３Ａは、ドキュメントファイルを作成するアプリである。
ＵＩアプリ２６３Ｂは、他のアプリ２６３により生成されたアプリ画像３０１をプロジェクター１００に送信するユーザーインターフェースとして機能し、アプリ画像３０１を含む画像を仮想ディスプレイ２６５に描画する機能を有する。また、ＵＩアプリ２６３Ｂは、仮想ディスプレイ２６５に描画された画像をキャプチャーしてキャプチャー画像を生成し、生成したキャプチャー画像をプロジェクター１００に送信する機能を備える。
ＩＰプロセッサー２７０は、ＣＰＵやＭＰＵにより構成される演算処理装置である。ＩＰプロセッサー２７０は、制御プログラムを実行して情報処理装置２００の各部を制御する。ＩＰプロセッサー２７０は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。
ＩＰ制御部２５０は、機能ブロックとして、合成部２７１、縮小画像生成部２７２、描画部２７３、キャプチャー部２７４、表示画像生成部２７５、通信制御部２７６及びウィンドウシステム２７７を備える。これらの機能ブロックは、ＩＰプロセッサー２７０が制御プログラムを実行することで実現される機能をブロック化して示したものである。合成部２７１、縮小画像生成部２７２、描画部２７３、キャプチャー部２７４、表示画像生成部２７５及び通信制御部２７６は、ＩＰプロセッサー２７０がＵＩアプリ２６３Ｂを実行することで実現される機能である。ＵＩアプリ２６３Ｂは、表示制御方法に対応した制御を行うプログラムである。ウィンドウシステム２７７は、ＩＰプロセッサー２７０がＯＳ２６１を実行することで実現される機能である。
Ａ－４．ＩＰ制御部２５０の動作
図３は、ＩＰ制御部２５０の処理の流れを示す図である。
図３を参照しながらＩＰ制御部２５０が備える各機能ブロックの動作について説明する。なお、ユーザーの操作によってドキュメントアプリ２６３Ａ及びＵＩアプリ２６３Ｂがすでに起動した状態から説明する。
ドキュメントアプリ２６３Ａは、起動すると、アプリ画像３０１Ａを生成する。ドキュメントアプリ２６３Ａが起動したときに生成されるアプリ画像３０１Ａは初期画面であるが、アプリ画像３０１Ａは初期画面に限定されない。アプリ画像３０１Ａは、第１画像に相当する。
合成部２７１は、ドキュメントアプリ２６３Ａが生成したアプリ画像３０１Ａと、ＩＰ記憶部２６０に記憶された背景画像３０２とを取得する。背景画像３０２は、ユーザーの設定に従ってＵＩアプリ２６３Ｂが生成した画像であってもよい。合成部２７１は、取得したアプリ画像３０１Ａと、背景画像３０２とを合成して投写用画像３０３を生成する。合成部２７１は、生成した投写用画像３０３を縮小画像生成部２７２及び描画部２７３に出力する。
縮小画像生成部２７２は、入力された投写用画像３０３のサイズを縮小して縮小画像３０４Ａを生成する。縮小画像３０４Ａは、第１縮小画像に相当する。縮小画像３０４Ａは、アプリ画像３０１Ａを縮小した小アプリ画像３１１と、背景画像３０２を縮小した小背景画像３０７とを含む。小アプリ画像３１１は、第１小画像に相当する。縮小画像生成部２７２は、生成した縮小画像３０４ＡをＯＳ２６１のウィンドウシステム２７７に出力する。ウィンドウシステム２７７は、入力された縮小画像３０４Ａ、マウスポインター３２１、タスクバー３２３及びアイコン３７０等の画像を合成して表示用画像３０５を生成する。アイコン３７０は、例えばアプリ２６３のショートカットアイコン、画像ファイルのアイコン等である。ＯＳ２６１は、生成した表示用画像３０５を表示パネル２３５に表示させる。縮小画像３０４Ａは、ＵＩアプリ２６３Ｂの表示する画像として、ウィンドウ３５０内に表示される。
描画部２７３は、仮想ディスプレイ２６５に投写用画像３０３を描画する。仮想ディスプレイ２６５は、ＵＩアプリ２６３ＢがＩＰ記憶部２６０に確保した記憶領域であり、ＵＩアプリ２６３Ｂにより画像が描画される領域である。
描画部２７３は、ウィンドウシステム２７７からマウスポインター３２１が表示される表示パネル２３５の座標情報、及び、ウィンドウ３５０が表示される表示パネル２３５の座標情報を取得する。描画部２７３は、取得した座標情報に基づき、マウスポインター３２１の画像がウィンドウ３５０内に表示されるか否かを判定する。描画部２７３は、マウスポインター３２１の画像がウィンドウ３５０内に表示される場合、表示パネル２３５に表示されるマウスポインター３２１の座標に対応する仮想ディスプレイ２６５の座標に、マウスポインター３２１の画像を描画する。この処理の詳細については、図５を参照しながら後述する。
キャプチャー部２７４は、仮想ディスプレイ２６５に描画された投写用画像３０３をキャプチャーしてキャプチャー画像３０６を生成する。キャプチャー部２７４は、生成したキャプチャー画像３０６を表示画像生成部２７５に出力する。
表示画像生成部２７５は、入力されたキャプチャー画像３０６を、分割用データに基づき複数に分割する。表示画像生成部２７５は、分割用データに基づき、キャプチャー画像３０６を、第１分割画像３３１と、第２分割画像３３２と、第３分割画像３３３とに分割する。第１分割画像３３１は、プロジェクター１００Ａによって投写領域１０Ａに表示される画像であり、第２分割画像３３２は、プロジェクター１００Ｂによって投写領域１０Ｂに表示される画像である。また、第３分割画像３３３は、プロジェクター１００Ｃによって投写領域１０Ｃに表示される画像である。表示画像生成部２７５は、分割した第１分割画像３３１及び第２分割画像３３２及び第３分割画像３３３を通信制御部２７６に出力する。
ここで、分割用データについて説明する。分割用データは、プロジェクター１００に画像光の投写を開始させる前に生成するデータであり、キャプチャー画像３０６を、プロジェクター１００Ａ、１００Ｂ及び１００Ｃに表示させる画像に分割するためのデータである。
分割用データは、例えば、以下の手順で生成される。まず、予め設定されたパターン画像をプロジェクター１００Ａにより投写面５に投写させ、このパターン画像が投写された投写面５の全体を撮影する。撮影は、プロジェクター１００がカメラを搭載している場合には、プロジェクター１００に搭載されたカメラで撮影してもよいし、情報処理装置２００に外部接続されたカメラにより撮影してもよい。この処理を、プロジェクター１００Ｂ及びプロジェクター１００Ｃについても同様に行う。これにより、投写面５の投写領域１０が検出され、プロジェクター１００Ａ、プロジェクター１００Ｂ及びプロジェクター１００Ｃが画像を表示する投写領域１０Ａ、１０Ｂ及び１０Ｃがそれぞれ検出される。情報処理装置２００は、撮影画像を取得し、取得した撮影画像に基づき、投写領域１０と、投写領域１０Ａ、投写領域１０Ｂ及び投写領域１０Ｃとを検出し、これらの検出結果に基づいて分割用データを生成する。
通信制御部２７６は、ＩＰ無線通信部２１０を制御して、第１分割画像３３１をプロジェクター１００Ａに送信し、第２分割画像３３２をプロジェクター１００Ｂに送信し、第３分割画像３３３をプロジェクター１００Ｃに送信する。
プロジェクター１００Ａは、情報処理装置２００から第１分割画像３３１を受信すると、受信した第１分割画像３３１を画像処理し、処理後の第１分割画像３３１に基づく画像光を投写領域１０Ａに投写する。プロジェクター１００Ｂ及び１００Ｃも、プロジェクター１００Ａと同様に動作する。これにより、投写面５には、仮想ディスプレイ２６５に描画された投写用画像３０３が表示される。
図４は、更新されたアプリ画像３０１Ｂを示す図である。本実施形態では、ドキュメントアプリ２６３Ａは、ＯＳ２６１を介してウィンドウ３５０に表示された小アプリ画像３１１に対する操作を受け付け、アプリ画像３０１Ｂを生成する。アプリ画像３０１Ｂは、第２画像に相当する。
ドキュメントアプリ２６３Ａは、小アプリ画像３１１に対するユーザーの操作を受け付けると、受け付けた操作に対応した処理を実行してアプリ画像３０１Ａを更新する。具体的には、ドキュメントアプリ２６３Ａは、操作部２２０から操作情報が入力されると、表示パネル２３５におけるマウスポインター３２１又は不図示のカーソル等の座標情報、及び、表示パネル２３５における小アプリ画像３１１の座標情報をＯＳ２６１から取得する。ドキュメントアプリ２６３Ａが取得する座標情報は、操作部２２０が操作を受け付けた時点の情報である。ドキュメントアプリ２６３Ａは、マウスポインター３２１等の座標情報が小アプリ画像３１１の座標情報に含まれる場合には、小アプリ画像３１１上のマウスポインター３２１等の位置、及び、操作情報が示す操作に基づいて、受け付けた操作を判定する。そして、ドキュメントアプリ２６３Ａは、判定した操作に対応した処理を実行することによって、アプリ画像３０１Ａを更新する。これにより、受け付けた操作に対応した処理の処理結果が反映されたアプリ画像３０１Ｂが生成される。ＵＩアプリ２６３Ｂは、図３を参照しながら説明した手順に従い、更新された縮小画像３０４Ｂが表示されたウィンドウ３５０を、表示パネル２３５に表示させる。
次に、合成部２７１は、ドキュメントアプリ２６３Ａが生成したアプリ画像３０１Ｂと、背景画像３０２とを合成して投写用画像３０３を生成する。縮小画像生成部２７２は、合成部２７１から入力された投写用画像３０３のサイズを縮小して縮小画像３０４Ｂを生成する。縮小画像３０４Ｂは、小背景画像３０７と、更新されたアプリ画像３０１Ｂを縮小した小アプリ画像３１３と、を含む。縮小画像３０４Ｂは、第２縮小画像に相当する。小アプリ画像３１３は、第２小画像に相当する。ＯＳ２６１は、縮小画像生成部２７２から入力された小アプリ画像３１３を含む表示用画像３０５を生成し、表示パネル２３５に表示させる。
また、描画部２７３は、合成部２７１から入力されたアプリ画像３０１Ｂを含む投写用画像３０３を仮想ディスプレイ２６５に描画する。キャプチャー部２７４は、仮想ディスプレイ２６５に描画された投写用画像３０３をキャプチャーしてキャプチャー画像３０６を生成する。ＵＩアプリ２６３Ｂは、生成したキャプチャー画像３０６を分割して第１分割画像３３１、第２分割画像３３２及び第３分割画像３３３を生成する。ＵＩアプリ２６３Ｂは、生成した第１分割画像３３１、第２分割画像３３２及び第３分割画像３３３をプロジェクター１００Ａ，１００Ｂ及び１００Ｃに送信し、投写面５に、更新されたアプリ画像３０１Ｂを含むキャプチャー画像３０６を表示させる。
ユーザーは、小アプリ画像３１１に対するマウスポインター３２１の操作によりドキュメントアプリ２６３Ａに処理を実行させることができる。
例えば、マウスポインター３２１の座標情報が小アプリ画像３１１の閉じるボタンが表示された座標を指しており、操作情報が示す操作が左クリックである場合、ドキュメントアプリ２６３Ａは、ＵＩアプリ２６３Ｂへのアプリ画像３０１Ｂの出力を終了する。これにより、投写用画像３０３からアプリ画像３０１Ｂが削除され、縮小画像３０４Ａにおける小アプリ画像３１１の表示が終了する。
また、ドキュメントアプリ２６３Ａが表計算のプログラムであり、マウスポインター３２１の座標情報が、小アプリ画像３１１に表示されたセルの座標を指し、操作情報が示す操作が左クリックのダブルクリックである場合、投写面５に表示されたアプリ画像３０１Ａ、及び表示パネル２３５に表示された小アプリ画像３１１の座標情報が示すセルにカーソルが表示される。
この他、例えば、ドキュメントアプリ２６３Ａが文書作成アプリである場合、ドキュメントアプリ２６３Ａは、操作部２２０が備えるマウスの操作として、ファイルを開く、閉じる、レイアウト調整、画像等の挿入等の操作を受け付ける。
Ａ－５．マウスポインター３２１の表示
次に、マウスポインター３２１の表示について説明する。
第１実施形態では、プロジェクター１００によって投写面５に表示される画像は、ＵＩアプリ２６３Ｂが仮想ディスプレイ２６５に描画した画像であり、ＯＳ２６１は、仮想ディスプレイ２６５への画像の描画に関与しない。このため、仮想ディスプレイ２６５に描画される画像には、ＯＳ２６１が生成するマウスポインター３２１やタスクバー３２３は表示されない。一方、表示パネル２３５に表示される表示用画像３０５には、ＯＳ２６１によって、マウスポインター３２１やタスクバー３２３の画像が表示される。以下、図５を参照しながら、本実施形態において仮想ディスプレイ２６５にマウスポインター３２１の画像を描画する方法を説明する。
ＵＩアプリ２６３Ｂは、ユーザーの操作によってマウスポインター３２１の表示位置が、ウィンドウ３５０内に移動した場合、仮想ディスプレイ２６５に、マウスポインター３２１の画像を描画する。これにより、投写面５に表示される画像にも、マウスポインター３２１の画像が表示され、ユーザーの違和感を軽減することができる。
図５は、表示パネル２３５及び仮想ディスプレイ２６５に設定された座標系の一例を示す図である。
ＵＩアプリ２６３Ｂは、ＩＰ記憶部２６０の記憶領域に仮想ディスプレイ２６５を確保するときに、キャリブレーションデータを生成する。キャリブレーションデータは、表示パネル２３５の座標とウィンドウ３５０の座標とを対応付けたデータ、及び、ウィンドウ３５０の座標と仮想ディスプレイ２６５の座標とを対応づけたデータである。これらのデータを用いることで、表示パネル２３５の座標、ウィンドウ３５０の座標、仮想ディスプレイ２６５の座標を相互に変換可能である。
図５は、表示パネル２３５に設定した座標系、ウィンドウ３５０に設定した座標系、及び、仮想ディスプレイ２６５に設定した座標系を示す。表示パネル２３５に設定した座標系は、表示パネル２３５の左上を原点、横軸をｘ軸、縦軸をｙ軸とする座標系である。ウィンドウ３５０に設定した座標系は、ウィンドウ３５０の左上を原点、横軸をｕ軸、縦軸をｖ軸とする座標系である。仮想ディスプレイ２６５に設定した座標系は、仮想ディスプレイ２６５の左上を原点、横軸をＸ軸、縦軸をＹ軸とする座標系である。キャリブレーションデータにおいて、ウィンドウ３５０の座標系と仮想ディスプレイ２６５の座標系とは、互いの原点が一致し、ｕ軸とＸ軸とが重なり、ｖ軸とＹ軸とが重なる。
ウィンドウ３５０は表示パネル２３５において任意の位置に表示可能であるので、ＵＩアプリ２６３Ｂは、ウィンドウ３５０の位置が変更された場合には、表示パネル２３５におけるウィンドウ３５０の座標をＯＳ２６１から取得する。ＵＩアプリ２６３Ｂは、取得したウィンドウ３５０の座標を用いて、表示パネル２３５の座標とウィンドウ３５０の座標とを対応付けたデータを更新する。これにより、ウィンドウ３５０の位置が変更されても、表示パネル２３５のウィンドウ３５０の位置に、仮想ディスプレイ２６５に描画される画像を表示することができる。
ＵＩアプリ２６３Ｂは、表示パネル２３５及び投写面５への画像の表示が開始されると、ウィンドウ３５０及びマウスポインター３２１の表示パネル２３５での表示位置を示す座標情報をＯＳ２６１から取得する。
ＵＩアプリ２６３Ｂは、取得した座標情報に基づき、マウスポインター３２１の少なくとも一部がウィンドウ３５０内に表示されるか否かを判定する。ＵＩアプリ２６３Ｂは、マウスポインター３２１の少なくとも一部がウィンドウ３５０内に表示される場合、キャリブレーションデータに基づいて、ＯＳ２６１から取得したマウスポインター３２１の座標情報を、仮想ディスプレイ２６５の座標情報に変換する。ＵＩアプリ２６３Ｂは、変換した座標情報に対応する仮想ディスプレイ２６５の位置に、マウスポインター３２１の画像を描画する。
Ａ－６．アイコン３７０がドロップ操作された場合のＵＩアプリ２６３Ｂの動作
図６は、表示パネル２３５の表示の一例を示す図であり、図７は、仮想ディスプレイ２６５の表示の一例を示す図である。図８は、表示パネル２３５の表示の一例を示す図であり、図９は、仮想ディスプレイ２６５の表示の一例を示す図である。
表示パネル２３５には、アイコン３７０Ａ，３７０Ｂ及び３７０Ｃが表示されている。以下、アイコン３７０Ａ，３７０Ｂ及び３７０Ｃを総称する場合、アイコン３７０と表記する。
ＵＩアプリ２６３Ｂは、表示パネル２３５に表示されたアイコン３７０Ａ、３７０Ｂ及び３７０Ｃの表示パネル２３５でのそれぞれの表示位置を示す座標情報をＯＳ２６１から取得する。
また、ＵＩアプリ２６３Ｂは、マウスの右クリック、左クリック、ドラッグ・アンド・ドロップ等の操作を示す操作情報や、表示パネル２３５に表示されたマウスポインター３２１の表示位置を示す座標情報をＯＳ２６１から取得する。なお、以下では操作部２２０がマウスである例を説明するが、入力デバイスはマウスに限定されない。
ＵＩアプリ２６３Ｂは、ＯＳ２６１から取得したマウスの操作情報、マウスポインター３２１の座標情報、及びウィンドウ３５０の座標情報に基づき、表示位置がウィンドウ３５０内に移動したアイコン３７０があるか否かを判定する。図６は、ドラッグ操作により、アイコン３７０Ａがウィンドウ３５０の外から内に移動した状態を示す。図６はアイコン３７０Ａをドロップする前の状態であり、図７に示すように、この時点において、仮想ディスプレイ２６５にはアイコン３７０Ａに対応する画像は描画されていない。ウィンドウ３５０内においてアイコン３７０Ａに対するドロップ操作がされると、ＵＩアプリ２６３Ｂはアイコン３７０Ａがウィンドウ３５０内に移動したと判定する。以下の説明では、アイコン３７０Ａに対応したアプリがドキュメントアプリ２６３Ａであると仮定して説明する。また、ドロップする前のドキュメントアプリ２６３Ａは起動していないものとして説明する。
ＵＩアプリ２６３Ｂは、アイコン３７０Ａがウィンドウ３５０内に移動したと判定すると、アイコン３７０Ａに対応したドキュメントアプリ２６３Ａの起動を指示する信号をＯＳ２６１に出力する。ＯＳ２６１がドキュメントアプリ２６３Ａを起動させると、ＵＩアプリ２６３Ｂは、ドキュメントアプリ２６３Ａのアプリ画像３０１Ａを取得する。ＵＩアプリ２６３Ｂは、取得したアプリ画像３０１Ａと背景画像３０２とを合成して投写用画像３０３を生成する。ＵＩアプリ２６３Ｂは、投写用画像３０３の縮小画像３０４Ａを生成し、生成した縮小画像３０４ＡをＯＳ２６１に出力する。これにより、図８に示すように、表示パネル２３５のウィンドウ３５０内には、小アプリ画像３１１が表示される。また、図９に示すように、ＵＩアプリ２６３Ｂは、生成した投写用画像３０３を仮想ディスプレイ２６５に描画し、描画した画像のキャプチャー画像３０６を生成する。ＵＩアプリ２６３Ｂは、分割用データによりキャプチャー画像３０６を分割して第１分割画像３３１、第２分割画像３３２及び第３分割画像３３３を生成する。ＵＩアプリ２６３Ｂは、生成した第１分割画像３３１、第２分割画像３３２及び第３分割画像３３３を対応するプロジェクター１００に送信する。これにより、投写面５には、アプリ画像３０１Ａが表示される。
上記の例ではドロップ操作を契機としてドキュメントアプリ２６３Ａを起動させたが、ＵＩアプリ２６３Ｂがアプリ２６３を起動させる方法はこれに限定されない。例えば、ＵＩアプリ２６３Ｂがアイコン３７０を一覧表示し、ユーザーが選択したアイコン３７０に対応するアプリ２６３を起動させてもよい。具体的には、ＵＩアプリ２６３Ｂは、ＯＳ２６１から利用可能なアプリ２６３のアイコン３７０の画像を取得する。取得したアイコン３７０の画像をウィンドウ３５０内に一覧表示し、ユーザーによる選択操作を受け付ける。そして、選択されたアイコン３７０に対応するアプリ２６３の起動を指示する信号をＯＳ２６１に出力する。
また、ＵＩアプリ２６３Ｂがアプリ画像３０１Ａを表示させる方法は上記の例に限定されない。例えば、ＵＩアプリ２６３Ｂが動作中のアプリ２６３のアプリ画像３０１を縮小して一覧表示し、ユーザーの選択に応じてアプリ２６３を起動させてもよい。具体的には、ＵＩアプリ２６３Ｂは、ＯＳ２６１から動作中のアプリ２６３のアプリ画像３０１を取得する。取得したアプリ画像３０１を縮小した小アプリ画像をウィンドウ３５０内に一覧表示し、ユーザーによる選択操作を受け付ける。そして、選択された小アプリ画像に対応するアプリ２６３に対して、図３を参照しながら説明した手順に従い、ウィンドウ３５０およびプロジェクター１００を用いて表示を行う。
Ａ－７．情報処理装置の動作フロー
図１０は、情報処理装置２００の動作を示すフローチャートである。
図１０のフローチャートを参照しながらＵＩアプリ２６３Ｂを実行するＩＰ制御部２５０の動作について説明する。
まず、ＩＰ制御部２５０は、ＵＩアプリ２６３Ｂを起動させる操作を受け付けたか否かを判定する（ステップＳ１）。ＩＰ制御部２５０は、ＵＩアプリ２６３Ｂを起動させる操作を受け付けていない場合（ステップＳ１／ＮＯ）、ＵＩアプリ２６３Ｂを起動させる操作を受け付けるまで待機する。
ＩＰ制御部２５０は、ＵＩアプリ２６３Ｂを起動させる操作を受け付けると（ステップＳ１／ＹＥＳ）、ＵＩアプリ２６３Ｂを実行して投写用画像３０３を生成する（ステップＳ２）。ＩＰ制御部２５０は、ドキュメントアプリ２６３Ａ等の他のアプリが起動していない場合、背景画像３０２だけが表示された投写用画像３０３を生成する。
次に、ＩＰ制御部２５０は、投写用画像３０３の縮小画像３０４Ａを生成し（ステップＳ３）、生成した縮小画像３０４Ａを含む表示用画像３０５を表示パネル２３５に表示させる（ステップＳ４）。表示パネル２３５には、縮小画像３０４Ａの他に、マウスポインター３２１やタスクバー３２３、アイコン３７０等が表示される。ＩＰ制御部２５０は、表示パネル２３５に表示されたウィンドウ３５０の表示位置を示す座標情報を取得する。
次に、ＩＰ制御部２５０は、ステップＳ２で生成した投写用画像３０３を仮想ディスプレイ２６５に描画し、仮想ディスプレイ２６５をキャプチャーしてキャプチャー画像３０６を生成する（ステップＳ５）。次に、ＩＰ制御部２５０は、生成したキャプチャー画像３０６を分割用データに基づいて分割し、第１分割画像３３１、第２分割画像３３２及び第３分割画像３３３の分割画像を生成する（ステップＳ６）。ＩＰ制御部２５０は、生成した第１分割画像３３１、第２分割画像３３２及び第３分割画像３３３を、それぞれ対応するプロジェクター１００Ａ、１００Ｂ及び１００Ｃに送信する（ステップＳ７）。
次に、ＩＰ制御部２５０は、マウスポインター３２１の表示位置を示す座標情報をＯＳ２６１から取得する（ステップＳ８）。ＩＰ制御部２５０は、ウィンドウ３５０の座標情報と、取得したマウスポインター３２１の座標情報に基づき、マウスポインター３２１がウィンドウ３５０内であるか否かを判定する（ステップＳ９）。
ＩＰ制御部２５０は、マウスポインター３２１はウィンドウ３５０内ではないと判定した場合（ステップＳ９／ＮＯ）、仮想ディスプレイ２６５に描画されたマウスポインター３２１の画像を消去する。その後、ＩＰ制御部２５０は、仮想ディスプレイ２６５をキャプチャーしてキャプチャー画像３０６を生成する（ステップＳ１０）。その後、ＩＰ制御部２５０は、ステップＳ６の処理に戻る。
ＩＰ制御部２５０は、マウスポインター３２１の座標がウィンドウ３５０内であると判定した場合（ステップＳ９／ＹＥＳ）、ＯＳ２６１からマウスの操作情報を取得したか否かを判定する（ステップＳ１１）。操作情報には、マウスのクリック操作等が含まれる。
ＩＰ制御部２５０は、マウスの操作情報を取得しなかった場合（ステップＳ１１／ＮＯ）、仮想ディスプレイ２６５にマウスポインター３２１の画像を描画し、キャプチャー画像３０６を生成する（ステップＳ１２）。その後、ＩＰ制御部２５０は、ステップＳ６の処理に戻る。ＩＰ制御部２５０は、マウスの操作情報を取得した場合（ステップＳ１１／ＹＥＳ）、図１１のフローチャートに示す動作に移行する。
次に、図１１に示すフローチャートを参照しながら、ステップＳ１１の判定で、操作情報を取得した場合の動作について説明する。
ＩＰ制御部２５０は、ステップＳ１１で取得した操作情報に基づいてマウスの操作を判定する。ＩＰ制御部２５０は、まず、操作がアイコン３７０をウィンドウ３５０内に移動させる操作である場合（ステップＳ１３／ＹＥＳ）、移動させたアイコン３７０に対応したアプリ２６３が生成するアプリ画像３０１を取得する（ステップＳ１４）。ＩＰ制御部２５０は、アプリ画像３０１を取得するとステップＳ２に移行し、取得したアプリ画像３０１と背景画像３０２とを合成して投写用画像３０３を生成する（ステップＳ２）。その後、ＩＰ制御部２５０は、ステップＳ３以降の処理を繰り返す。
ＩＰ制御部２５０は、ステップＳ１３において操作がアイコン３７０をウィンドウ３５０内に移動させる操作ではないと判定した場合（ステップＳ１３／ＮＯ）、ステップＳ１１で取得した操作情報が、アプリ２６３に対する操作であるか否かを判定する（ステップＳ１５）。ＩＰ制御部２５０は、アプリ２６３に対する操作であると判定した場合（ステップＳ１５／ＹＥＳ）、アプリ２６３に対する操作がアプリ２６３を終了させる終了操作であるか否かを判定する（ステップＳ１６）。
ＩＰ制御部２５０は、アプリ２６３を終了させる終了操作である場合（ステップＳ１６／ＹＥＳ）、投写用画像３０３からアプリ画像３０１を消去する（ステップＳ１７）。ＩＰ制御部２５０は、背景画像３０２だけが表示された投写用画像３０３を生成し、ステップＳ３以降の処理を繰り返す。
また、ＩＰ制御部２５０は、終了操作ではないと判定した場合（ステップＳ１６／ＮＯ）、アプリ２６３に実行させる処理を指定する操作であると判定し、アプリ２６３から操作に対応した処理の処理結果を反映させたアプリ画像３０１を取得する（ステップＳ１８）。その後、ＩＰ制御部２５０は、取得したアプリ画像３０１に背景画像３０２を合成して投写用画像３０３を生成し（ステップＳ２）、ステップＳ３以降の処理を繰り返す。
また、ＩＰ制御部２５０は、ステップＳ１５の判定で、アプリ２６３に対する操作ではないと判定した場合（ステップＳ１５／ＮＯ）、ステップＳ１１で受け付けた操作情報が、ＵＩアプリ２６３Ｂを終了させる操作であるか否かを判定する（ステップＳ１９）。ＩＰ制御部２５０は、受け付けた操作情報が、ＵＩアプリ２６３Ｂを終了させる操作ではないと判定した場合（ステップＳ１９／ＮＯ）、ステップＳ８に戻り、座標情報を取得するまで待機する。また、ＩＰ制御部２５０は、受け付けた操作情報が、ＵＩアプリ２６３Ｂを終了させる操作であると判定した場合（ステップＳ１９／ＹＥＳ）、ＵＩアプリ２６３Ｂを終了させて、この処理フローを終了させる。具体的には、ＵＩアプリ２６３Ｂは、ウィンドウ３５０の表示を消去し、プロジェクター１００への投写用画像３０３の送信を停止し、ＩＰ記憶部２６０に確保した仮想ディスプレイの領域を解放して、動作を停止する。このとき、アプリ２６３は終了せず、動作を継続する。
Ａ－８．第１実施形態のまとめ
以上説明したように第１実施形態の情報処理装置２００は、情報処理装置２００が備える表示パネル２３５に、ドキュメントアプリ２６３Ａにより生成されるアプリ画像３０１Ａを縮小した小アプリ画像３１１を表示する。
情報処理装置２００は、小アプリ画像３１１に対する操作を受け付けると、小アプリ画像３１１に対する操作に対応した処理をドキュメントアプリ２６３Ａが実行することによって生成されるアプリ画像３０１Ｂを、仮想ディスプレイ２６５に描画する。
情報処理装置２００は、仮想ディスプレイ２６５に描画された小アプリ画像３１１を、プロジェクター１００に表示させる。また、情報処理装置２００は、アプリ画像３０１Ｂを縮小した小アプリ画像３１３を表示パネル２３５に表示させる。
このため、表示パネル２３５に表示された縮小画像３０４Ａを操作することで、この操作に対応した処理がアプリ２６３によって実行される。処理によって生成されるアプリ画像３０１Ｂを仮想ディスプレイ２６５に描画することによって、アプリ画像３０１Ｂを投写面５に表示することができる。また、アプリ画像３０１Ｂを縮小した小アプリ画像３１３が表示パネル２３５に表示される。従って、小アプリ画像３１１に対する操作に対応した処理をアプリ２６３に実行させることができ、処理によって生成したアプリ画像３０１Ｂを、プロジェクター１００を用いて投射できるので、ユーザーの利便性を向上させることができる。
また、小アプリ画像３１１の縮小前の画像であるアプリ画像３０１Ａがプロジェクター１００により投写面５に表示される。
このため、投写面５に表示されたアプリ画像３０１Ａを視認しながら、表示パネル２３５に表示された小アプリ画像３１１を操作することができ、利便性を向上させることができる。
Ｂ．第２実施形態
Ｂ－１．第１実施形態からの変更点
上述した第１実施形態と同一の構成には同一の符号を付し、詳細な説明は省略する。
上述した第１実施形では、ＵＩアプリ２６３Ｂの制御によって仮想ディスプレイ２６５に投写用画像３０３を描画する実施形態であった。
第２実施形態では、アプリ２６３により生成されたアプリ画像３０１をＯＳ２６１の制御により仮想ディスプレイ２６５に描画する。ＯＳ２６１は、ＩＰ記憶部２６０に、仮想ディスプレイ２６５として使用する記憶領域を確保する。ＯＳ２６１は拡張モードで動作し、ＩＰ記憶部２６０に確保した仮想ディスプレイ２６５を、表示パネル２３５と連続する拡張ディスプレイとして認識する。
図１２は、第２実施形態のＩＰ制御部２５０の処理の流れを示す図である。
ＵＩアプリ２６３Ｂを実行するＩＰ制御部２５０の動作を、図１２を参照しながら説明する。
ドキュメントアプリ２６３Ａを実行するＩＰ制御部２５０は、アプリ画像３０１Ａを生成する。生成されたアプリ画像３０１Ａは、ＯＳ２６１のウィンドウシステム２７７により仮想ディスプレイ２６５に描画される。ウィンドウシステム２７７は、このとき、マウスポインター３２１、及びタスクバー３２３の画像も仮想ディスプレイ２６５に描画する。
ＵＩアプリ２６３Ｂにおいては、キャプチャー部２７４が、仮想ディスプレイ２６５に描画された画像をキャプチャーしてキャプチャー画像３０６を生成する。キャプチャー部２７４は、生成したキャプチャー画像３０６を、縮小画像生成部２７２と、表示画像生成部２７５とに出力する。
縮小画像生成部２７２は、入力されたキャプチャー画像３０６を縮小処理し、縮小画像３０４Ａを生成する。縮小画像生成部２７２は、生成した縮小画像３０４ＡをＯＳ２６１に出力する。ウィンドウシステム２７７は、入力された縮小画像３０４Ａ、マウスポインター３２１、タスクバー３２３、及びアイコン３７０等の画像を合成して表示用画像３０５を生成する。ＯＳ２６１は、生成した表示用画像３０５を表示パネル２３５に表示させる。縮小画像３０４Ａ及び表示用画像３０５は、小アプリ画像３１１を含む。縮小画像３０４Ａ又は表示用画像３０５は、仮想ディスプレイ２６５を示す画像に相当する。
表示画像生成部２７５は、入力されたキャプチャー画像３０６を、分割用データに基づいて複数に分割する。表示画像生成部２７５は、分割用データに基づき、キャプチャー画像３０６を、第１分割画像３３１と、第２分割画像３３２と、第３分割画像３３３とに分割する。表示画像生成部２７５は、分割した第１分割画像３３１、第２分割画像３３２及び第３分割画像３３３を通信制御部２７６に出力する。
通信制御部２７６は、ＩＰ無線通信部２１０を制御して、第１分割画像３３１をプロジェクター１００Ａに送信し、第２分割画像３３２をプロジェクター１００Ｂに送信し、第３分割画像３３３をプロジェクター１００Ｃに送信する。
プロジェクター１００Ａは、情報処理装置２００から第１分割画像３３１を受信すると、受信した第１分割画像３３１を画像処理し、処理した第１分割画像３３１に基づく画像光を投写領域１０Ａに投写する。
プロジェクター１００Ｂ及び１００Ｃも情報処理装置２００から第２分割画像３３２、第３分割画像３３３をそれぞれ受信すると、受信した第２分割画像３３２、第３分割画像３３３をそれぞれ処理する。プロジェクター１００Ｂ及び１００Ｃは、処理した第２分割画像３３２、第３分割画像３３３に基づく画像光を投写領域１０Ｂ、１０Ｃに投写する。これにより、投写面５には、描画部２７３が仮想ディスプレイ２６５に描画したアプリ画像３０１Ａが表示される。
仮想ディスプレイ２６５は、ＯＳ２６１に拡張ディスプレイとして認識されている。すなわち、仮想ディスプレイ２６５は、表示パネル２３５の表示領域を拡張させる拡張ディスプレイである。このため、ユーザーは、マウスを操作して、マウスポインター３２１を仮想ディスプレイ２６５に移動させることができる。ＯＳ２６１は、マウスが仮想ディスプレイ２６５に移動すると、マウスポインター３２１の画像を仮想ディスプレイ２６５に描画する。このため、仮想ディスプレイ２６５をキャプチャーしたキャプチャー画像３０６には、ＯＳ２６１が表示させたマウスポインター３２１の画像が表示される。従って、プロジェクター１００により投写面５に表示される画像には、マウスポインター３２１の画像が表示される。
一方、表示パネル２３５にウィンドウ表示される縮小画像３０４Ａは、図１０を参照して説明したように、仮想ディスプレイ２６５に描画された画像をキャプチャー部２７４でキャプチャーしてキャプチャー画像３０６を生成し、生成したキャプチャー画像３０６を縮小処理して生成した画像である。この縮小画像３０４Ａを、マウスポインター３２１、タスクバー３２３及びアイコン３７０等の画像ともに表示用画像３０５に重畳した画像が表示パネル２３５に縮小画像３０４Ａとしてウィンドウ表示される。
また、マウスポインター３２１の画像は、ドキュメントアプリ２６３Ａにより生成されたアプリ画像３０１Ａを、ＯＳ２６１のウィンドウシステム２７７により仮想ディスプレイ２６５に描画するときに、タスクバー３２３等とともに仮想ディスプレイ２６５に描画された画像である。すなわち、マウスポインター３２１の画像は、キャプチャー部２７４がキャプチャーして生成したキャプチャー画像３０６に含まれ、縮小画像生成部２７２により縮小される。このため、マウスポインター３２１のサイズも縮小され、縮小画像３０４Ａを見ながらマウスの操作を行う場合の操作性が低下する。
このため、ＵＩアプリ２６３Ｂは、操作部２２０から操作情報が入力されると、操作部２２０による操作が行われた時点のマウスポインター３２１の座標情報をＯＳ２６１から取得する。ＵＩアプリ２６３Ｂは、取得したマウスポインター３２１の座標情報が仮想ディスプレイ２６５に移動したか否かを判定する。
また、ＵＩアプリ２６３Ｂは、仮想ディスプレイ２６５のキャプチャー画像３０６を解析し、マウスポインター３２１の画像が含まれるか否かを判定して、マウスポインター３２１の表示位置が仮想ディスプレイ２６５に移動したか否かを判定してもよい。
ＵＩアプリ２６３Ｂは、マウスポインター３２１の表示位置が仮想ディスプレイ２６５に移動した場合、ＯＳ２６１から取得したマウスポインター３２１の座標情報に対応する縮小画像３０４Ａの座標に、予め設定されたサイズのマウスポインター３２１の画像を重畳する。ＵＩアプリ２６３Ｂがマウスポインター３２１の画像を重畳する縮小画像３０４Ａの座標には、ＯＳ２６１により描画されたマウスポインター３２１の画像が描画されているが、縮小画像生成部２７２による縮小処理でマウスポインター３２１の画像のサイズも縮小されている。ＵＩアプリ２６３Ｂが縮小画像３０４Ａに重畳するマウスポインター３２１の画像のサイズは、マウスポインター３２１が、表示パネル２３５のウィンドウ３５０の外の領域に表示されているときのサイズと同一のサイズである。
また、仮想ディスプレイ２６５は、拡張ディスプレイであるため、ユーザーの操作によりアイコン３７０や、アイコン３７０に対応したアプリ２６３によって生成されるアプリ画像３０１Ａが表示される。また、ＵＩアプリ２６３Ｂは、プロジェクター１００を用いてキャプチャー画像３０６を表示するので、プロジェクター１００を用いて表示されたアプリ画像３０１Ａに対するユーザーの操作を、仮想ディスプレイ２６５に対するユーザーの操作として受け付けることができる。
ＯＳ２６１は、仮想ディスプレイ２６５に表示されたアプリ画像３０１Ａに対する操作を受け付けると、受け付ける操作に対応した処理をアプリ２６３に実行させ、アプリ２６３の処理によって生成されるアプリ画像３０１Ｂを仮想ディスプレイ２６５に描画する。仮想ディスプレイ２６５に表示されたアプリ画像３０１Ａに対応した処理をアプリ２６３が実行することで生成されるアプリ画像３０１Ｂは、第３画像に相当する。
ＵＩアプリ２６３Ｂは、図１２を参照しながら説明した手順に従い、仮想ディスプレイ２６５をキャプチャーしてキャプチャー画像３０６を生成し、生成したキャプチャー画像３０６の縮小画像３０４Ｂを生成する。縮小画像３０４Ｂは、第３縮小画像に相当する。縮小画像３０４Ｂは、アプリ画像３０１Ｂを縮小した小アプリ画像３１３を含む。小アプリ画像３１３は、第３小画像に相当する。
ＵＩアプリ２６３Ｂは、縮小画像３０４Ｂにマウスポインター３２１の画像が含まれる場合、縮小画像３０４Ｂに表示されたマウスポインター３２１に、予め設定されたサイズのマウスポインター３２１の画像を重畳する。そして、ＵＩアプリ２６３Ｂは、マウスポインター３２１の画像を重畳した縮小画像３０４ＢをＯＳ２６１に出力する。これにより、表示パネル２３５には、仮想ディスプレイ２６５に表示されたアプリ画像３０１Ａに対する操作に対応した処理の処理結果が反映された縮小画像３０４Ｂが表示される。
また、ＵＩアプリ２６３Ｂは、生成したキャプチャー画像３０６を分割して第１分割画像３３１、第２分割画像３３２及び第３分割画像３３３を生成する。ＵＩアプリ２６３Ｂは、生成した第１分割画像３３１、第２分割画像３３２及び第３分割画像３３３をプロジェクター１００Ａ，１００Ｂ及び１００Ｃに送信し、投写面５に、更新されたアプリ画像３０１Ｂを含むキャプチャー画像３０６を表示させる。これにより、プロジェクター１００を用いてアプリ画像３０１Ｂが表示される。
Ｂ－２．第２実施形態の情報処理装置の動作
図１３は、表示パネル２３５に表示されるマウスポインター３２１の表示サイズを拡大させる処理フローを示すフローチャートである。
まず、ＵＩアプリ２６３Ｂを実行するＩＰ制御部２５０は、マウスポインター３２１の座標情報を取得する（ステップＳ３１）。ＩＰ制御部２５０は、取得した座標情報により、マウスポインター３２１の表示位置が仮想ディスプレイ２６５であるか否かを判定する（ステップＳ３２）。ＩＰ制御部２５０は、マウスポインター３２１の表示位置が仮想ディスプレイ２６５ではない場合（ステップＳ３２／ＮＯ）、ステップＳ３１に戻る（ＲＥＴＵＲＮ）。
また、ＩＰ制御部２５０は、マウスポインター３２１の表示位置が仮想ディスプレイ２６５である場合（ステップＳ３２／ＹＥＳ）、仮想ディスプレイ２６５をキャプチャーしたキャプチャー画像３０６を取得し（ステップＳ３３）、取得したキャプチャー画像３０６の縮小画像３０４Ａを生成する（ステップＳ３４）。次に、ＩＰ制御部２５０は、ステップＳ３１で取得した座標情報を縮小画像３０４Ａの座標に変換し、変換した座標情報が示す縮小画像３０４Ａの位置に、マウスポインター３２１の画像を重畳する（ステップＳ３５）。
次に、ＩＰ制御部２５０は、マウスポインター３２１の画像を重畳された縮小画像３０４Ａや、タスクバー３２３、アイコン３７０等を含む表示用画像３０５を、ＯＳ２６１の制御により表示パネル２３５に表示させ（ステップＳ３６）、ステップＳ３１に戻る（ＲＥＴＵＲＮ）。この処理フローは、例えば、ＵＩアプリ２６３Ｂを終了させる操作を受け付けることで終了する。
Ｂ－３．第２実施形態のまとめ
仮想ディスプレイ２６５は、実在のディスプレイである表示パネル２３５の拡張ディスプレイである。
第２実施形態の情報処理装置２００は、仮想ディスプレイ２６５にアプリ画像３０１Ａを描画し、仮想ディスプレイ２６５に描画されたアプリ画像３０１Ａを、プロジェクター１００に表示させる。
情報処理装置２００は、プロジェクター１００により表示されたアプリ画像３０１Ａに対する操作を受け付け、アプリ画像３０１Ａに対する操作に対応した処理をアプリケーションプログラムが実行することによって生成されるアプリ画像３０１Ｂを、仮想ディスプレイ２６５に描画する。
情報処理装置２００は、仮想ディスプレイ２６５に描画されたアプリ画像３０１Ｂを、プロジェクター１００に表示させ、アプリ画像３０１Ｂを縮小した小アプリ画像３１３を、表示パネル２３５に表示する。
つまり、表示パネル２３５の拡張ディスプレイである仮想ディスプレイ２６５に描画された画像が、プロジェクター１００によって投写面５に表示される。このため、ユーザーが投写面５に表示されたアプリ画像３０１Ａに対して行った操作を、仮想ディスプレイ２６５に描画されたアプリ画像３０１Ａに対する操作として受け付けることができる。
また、受け付けた操作に対応したアプリ画像３０１Ｂが、プロジェクター１００により投写面５に表示され、アプリ画像３０１Ｂを縮小した小アプリ画像３１３が表示パネル２３５に表示される。このため、第１実施形態で説明した小アプリ画像３１３に対する操作に加えて、投写面５に表示されたアプリ画像３０１に対する操作に対応した処理をアプリ２６３に実行させることができる。ユーザーは、入力した操作に対するアプリ２６３の処理結果を、投写面５や、表示パネル２３５で確認することができる。従って、ユーザーの利便性を向上させることができる。
情報処理装置２００は、表示パネル２３５に、小アプリ画像３１１を含む仮想ディスプレイ２６５を示す画像として縮小画像３０４Ａ又は表示用画像３０５を表示し、マウスポインター３２１の画像を仮想ディスプレイ２６５に描画する。
情報処理装置２００は、表示パネル２３５に、仮想ディスプレイ２６５を示す画像に重畳して、表示パネル２３５における仮想ディスプレイ２６５を示す画像の外の領域に表示されるマウスポインター３２１の画像のサイズで、マウスポインター３２１の画像を表示する。
従って、表示パネル２３５に表示される縮小画像３０４Ａにマウスポインター３２１の画像を表示させる場合に、マウスポインター３２１の画像が縮小画像３０４Ａに小さく表示されるのを抑制することができる。このため、マウスポインター３２１による操作の操作性を向上させることができる。
上述した実施形態は、本発明の好適な実施の形態である。但し、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、図２に示した情報処理装置２００の各機能部は、機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、図１０及び図１１、又は図１３に示すフローチャートの処理単位は、情報処理装置２００の処理を理解容易にするために、主な処理内容に応じて分割したものである。図１０及び図１１、又は図１３のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、ＩＰ制御部２５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、情報処理装置２００に実行させるプログラムは、記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成してもよい。情報処理装置２００は、記録媒体に記録されたプログラムを読み込み、読み込んだプログラムをＩＰ記憶部２６０に記憶させる。また、情報処理装置２００は、不図示のサーバー装置に接続し、このサーバー装置からプログラムをダウンロードし、ダウンロードしたプログラムをＩＰ記憶部２６０に記憶させる。ＩＰ制御部２５０は、ＩＰ記憶部２６０に記憶させたプログラムを実行して、図１０及び図１１、又は図１３に示すフローチャートの手順に従って、情報処理装置２００の各部を制御する。
５…投写面、１０、１０Ａ、１０Ｂ、１０Ｃ…投写領域、１１、１２…重畳領域、１００、１００Ａ、１００Ｂ…プロジェクター、１１０Ａ…ＰＪ無線通信部、１２０Ａ…画像処理部、１３０Ａ…画像投写部、１３１Ａ…光源、１３３Ａ…光変調装置、１３５Ａ…液晶パネル、１３７Ａ…光学ユニット、１４０Ａ…ＰＪ制御部、１５０Ａ…ＰＪ記憶部、１６０Ａ…ＰＪプロセッサー、２００…情報処理装置、２１０…ＩＰ無線通信部、２２０…操作部、２３５…表示パネル、２５０…ＩＰ制御部、２６０…ＩＰ記憶部、２６１…ＯＳ、２６３…アプリ、２６３Ａ…ドキュメントアプリ、２６３Ｂ…ＵＩアプリ、２６５…仮想ディスプレイ、２７０…ＩＰプロセッサー、２７１…合成部、２７２…縮小画像生成部、２７３…描画部、２７４…キャプチャー部、２７６…通信制御部、２７７…ウィンドウシステム、３０１、３０１Ａ、３０１Ｂ…アプリ画像、３０２…背景画像、３０３…投写用画像、…３０４…縮小画像、３０５…キャプチャー画像、３０７…小背景画像、３１１、３１３…小アプリ画像、３２１…マウスポインター、３２３…タスクバー、３３１…第１分割画像、３３２…第２分割画像、３３３…第３分割画像、３５０…ウィンドウ、３７０、３７０Ａ、３７０Ｂ…アイコン。

Claims (4)

  1. 出力装置が備える実在のディスプレイに、アプリケーションプログラムにより生成される第１画像を縮小した第１小画像を表示することと、
    前記第１小画像に対する操作を受け付けることと、
    前記第１小画像に対する操作に対応した処理を前記アプリケーションプログラムが実行することによって生成される第２画像を、前記実在のディスプレイの拡張ディスプレイである仮想ディスプレイに描画することと、
    前記仮想ディスプレイに描画された前記第２画像を、表示装置を用いて表示することと、
    前記第２画像を縮小した第２小画像を前記実在のディスプレイに表示することと、

    前記仮想ディスプレイに前記第１画像を描画することと、
    前記仮想ディスプレイに描画された前記第１画像を、前記表示装置を用いて表示することと、
    前記表示装置を用いて表示された前記第１画像に対する操作を受け付けることと、
    前記第１画像に対する操作に対応した処理を前記アプリケーションプログラムが実行することによって生成される第３画像を、前記仮想ディスプレイに描画することと、
    前記仮想ディスプレイに描画された前記第３画像を、前記表示装置を用いて表示することと、
    前記第３画像を縮小した第３小画像を、前記実在のディスプレイに表示することと、
    を含む、表示制御方法。
  2. 前記第１小画像を表示することは、
    前記実在のディスプレイに、前記第１小画像を含む、前記仮想ディスプレイを示す画像を表示することであり、
    ポインターの画像を前記仮想ディスプレイに描画することと、
    前記実在のディスプレイに、前記仮想ディスプレイを示す画像に重畳して、前記実在のディスプレイにおける前記仮想ディスプレイを示す画像の外の領域に表示される前記ポインターの画像のサイズで、ポインターの画像を表示することと、
    をさらに含む、請求項１記載の表示制御方法。
  3. 前記表示装置は、第１の表示装置と第２の表示装置とを含み、
    前記仮想ディスプレイに描画された前記第２画像を、第１分割画像と第２分割画像とに分割することと、
    前記第１分割画像に基づく画像を前記第１の表示装置から投写することと、
    前記第２分割画像に基づく画像を前記第２の表示装置から投写することと、
    を含む、請求項１記載の表示制御方法。
  4. コンピューターに、
    出力装置が備える実在のディスプレイに、アプリケーションプログラムにより生成される第１画像を縮小した第１小画像を表示することと、
    前記第１小画像に対する操作を受け付けることと、
    前記第１小画像に対する操作に対応した処理を前記アプリケーションプログラムが実行することによって生成される第２画像を、前記実在のディスプレイの拡張ディスプレイである仮想ディスプレイに描画することと、
    前記仮想ディスプレイに描画された前記第２画像を、表示装置を用いて表示することと、
    前記第２画像を縮小した第２小画像を前記実在のディスプレイに表示することと、
    前記仮想ディスプレイに前記第１画像を描画することと、
    前記仮想ディスプレイに描画された前記第１画像を、前記表示装置を用いて表示することと、
    前記表示装置を用いて表示された前記第１画像に対する操作を受け付けることと、
    前記第１画像に対する操作に対応した処理を前記アプリケーションプログラムが実行することによって生成される第３画像を、前記仮想ディスプレイに描画することと、
    前記仮想ディスプレイに描画された前記第３画像を、前記表示装置を用いて表示することと、
    前記第３画像を縮小した第３小画像を、前記実在のディスプレイに表示することと、
    を実行させる、プログラム。
JP2021035085A 2021-03-05 2021-03-05 表示制御方法及びプログラム Active JP7371648B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021035085A JP7371648B2 (ja) 2021-03-05 2021-03-05 表示制御方法及びプログラム
CN202210206950.4A CN115022602B (zh) 2021-03-05 2022-03-03 显示控制方法和记录介质
US17/686,552 US11990065B2 (en) 2021-03-05 2022-03-04 Display control method and non-transitory computer-readable storage medium storing program for having a virtual display relating to an actual display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021035085A JP7371648B2 (ja) 2021-03-05 2021-03-05 表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022135343A JP2022135343A (ja) 2022-09-15
JP7371648B2 true JP7371648B2 (ja) 2023-10-31

Family

ID=83067541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021035085A Active JP7371648B2 (ja) 2021-03-05 2021-03-05 表示制御方法及びプログラム

Country Status (3)

Country Link
US (1) US11990065B2 (ja)
JP (1) JP7371648B2 (ja)
CN (1) CN115022602B (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339130A (ja) 1999-05-31 2000-12-08 Casio Comput Co Ltd 表示制御装置及び表示制御プログラムを記録した記録媒体
JP2003280630A (ja) 2002-03-20 2003-10-02 Toshiba Corp 情報処理装置および同装置で使用される表示制御方法
JP2006284990A (ja) 2005-04-01 2006-10-19 Matsushita Electric Ind Co Ltd 画像伝送マルチ表示システム
JP2007086616A (ja) 2005-09-26 2007-04-05 Matsushita Electric Ind Co Ltd プレゼンテーション支援システム
JP2008158342A (ja) 2006-12-25 2008-07-10 Canon Software Inc 情報処理装置および情報処理装置の制御方法およびプログラムおよび記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735831A (zh) * 2001-11-06 2006-02-15 基约蒂公司 用于图像投影的装置
JP2004102689A (ja) * 2002-09-10 2004-04-02 Toppan Printing Co Ltd 表示制御装置
JP2004240279A (ja) * 2003-02-07 2004-08-26 Toshiba Corp 情報処理装置および画像データ送信方法
JP2004274283A (ja) * 2003-03-07 2004-09-30 Casio Comput Co Ltd 投影システム、及び投影装置、画像供給装置、プログラム
JP2007240813A (ja) * 2006-03-08 2007-09-20 Seiko Epson Corp 画像表示システム、画像表示装置、画像表示方法および画像表示プログラム
JP4458143B2 (ja) 2007-10-10 2010-04-28 セイコーエプソン株式会社 画像転送装置および画像転送における画像表示制御方法
JP5375338B2 (ja) 2009-05-29 2013-12-25 セイコーエプソン株式会社 画像表示システム、画像表示装置、画像表示方法、画像供給装置、およびプログラム
JP2011134278A (ja) * 2009-12-25 2011-07-07 Toshiba Corp 情報処理装置およびポインティング制御方法
JP5365541B2 (ja) 2010-02-16 2013-12-11 セイコーエプソン株式会社 画像転送装置および画像転送における画像表示制御方法
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
JP2012138666A (ja) * 2010-12-24 2012-07-19 Elmo Co Ltd 資料提示システム
JP5849560B2 (ja) * 2011-09-20 2016-01-27 セイコーエプソン株式会社 表示装置、プロジェクター、及び、表示方法
US9524574B2 (en) * 2012-05-25 2016-12-20 Seiko Epson Corporation Data processing apparatus, display apparatus, and method of controlling the data processing apparatus
JP6133192B2 (ja) * 2013-10-24 2017-05-24 カシオ計算機株式会社 表示制御装置及びプログラム
US9830723B2 (en) * 2013-12-02 2017-11-28 Seiko Epson Corporation Both-direction display method and both-direction display apparatus
JP2016085435A (ja) 2014-10-29 2016-05-19 株式会社リコー 画像処理システム
JP6663415B2 (ja) * 2017-12-01 2020-03-11 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
JP2019121207A (ja) * 2018-01-09 2019-07-22 セイコーエプソン株式会社 画像提供装置、画像提供装置の制御方法、およびプログラム
US11307748B2 (en) * 2019-09-27 2022-04-19 Apple Inc. Multi-display alignment through graphical object alignment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339130A (ja) 1999-05-31 2000-12-08 Casio Comput Co Ltd 表示制御装置及び表示制御プログラムを記録した記録媒体
JP2003280630A (ja) 2002-03-20 2003-10-02 Toshiba Corp 情報処理装置および同装置で使用される表示制御方法
JP2006284990A (ja) 2005-04-01 2006-10-19 Matsushita Electric Ind Co Ltd 画像伝送マルチ表示システム
JP2007086616A (ja) 2005-09-26 2007-04-05 Matsushita Electric Ind Co Ltd プレゼンテーション支援システム
JP2008158342A (ja) 2006-12-25 2008-07-10 Canon Software Inc 情報処理装置および情報処理装置の制御方法およびプログラムおよび記録媒体

Also Published As

Publication number Publication date
US20220284838A1 (en) 2022-09-08
US11990065B2 (en) 2024-05-21
JP2022135343A (ja) 2022-09-15
CN115022602A (zh) 2022-09-06
CN115022602B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
US11758099B2 (en) Image blending method, projection system and processing device thereof
US20130162538A1 (en) Display device, display system, and data supply method for display device
US10416813B2 (en) Display system, display device, information processing device, and information processing method
JP5407381B2 (ja) 画像入力装置、画像表示装置、及び画像表示システム
US10853020B2 (en) Image sharing method, information processing device, and information processing system
JP2008123408A (ja) 投影装置、プログラム、投影方法、並びに投影システム
JP6117470B2 (ja) 表示装置、プロジェクター、画像表示方法及び表示システム
JP7371648B2 (ja) 表示制御方法及びプログラム
CN110032312B (zh) 图像提供装置、图像提供装置的控制方法以及记录介质
US11750778B2 (en) Method for adjusting pixel values of blending image and projection system thereof
TW201539199A (zh) 顯示裝置、投影機、及顯示控制方法
US11276372B2 (en) Method of operation of display device and display device
JP6652116B2 (ja) 制御装置、制御方法および制御プログラム
CN112068786A (zh) 显示装置的控制方法以及显示装置
US11908353B2 (en) Information processing apparatus and information processing system
JP5590995B2 (ja) 画像処理装置及びその制御方法
US20240073385A1 (en) Display control method, control device, and non-transitory computer-readable storage medium storing program
JP7302640B2 (ja) 表示装置の動作方法および表示装置
JP2024033487A (ja) 表示方法、表示装置及びプログラム
JP2022099487A (ja) 画像表示システム、画像表示システムの制御方法、及び、表示装置の制御方法
JP2022132791A (ja) 表示装置の制御方法及び表示装置
JP2022113262A (ja) 表示装置の制御方法及び表示装置
JP5495389B2 (ja) 投影装置、投影方法及びプログラム
JP2024058766A (ja) 表示方法、プロジェクター及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210915

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R150 Certificate of patent or registration of utility model

Ref document number: 7371648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150