CN115022602B - 显示控制方法和记录介质 - Google Patents

显示控制方法和记录介质 Download PDF

Info

Publication number
CN115022602B
CN115022602B CN202210206950.4A CN202210206950A CN115022602B CN 115022602 B CN115022602 B CN 115022602B CN 202210206950 A CN202210206950 A CN 202210206950A CN 115022602 B CN115022602 B CN 115022602B
Authority
CN
China
Prior art keywords
image
display
application
virtual display
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210206950.4A
Other languages
English (en)
Other versions
CN115022602A (zh
Inventor
竹内广太
市枝博行
富田宪一郎
井手健太郎
浅野哲也
藤森俊树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN115022602A publication Critical patent/CN115022602A/zh
Application granted granted Critical
Publication of CN115022602B publication Critical patent/CN115022602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供显示控制方法和记录介质，提高用户的便利性。显示控制方法包含如下步骤：在输出装置所具有的实际存在的显示器上显示将通过应用程序生成的第1图像缩小而得的第1小图像；受理对所述第1小图像的操作；在虚拟显示器上描绘通过所述应用程序执行与对所述第1小图像的操作对应的处理而生成的第2图像；使用显示装置显示描绘于所述虚拟显示器的所述第2图像；以及将缩小所述第2图像而得的第2小图像显示于所述实际存在的显示器。

Description

显示控制方法和记录介质
技术领域
本发明涉及显示控制方法和记录介质。
背景技术
以往，已知有通过显示装置显示由输出装置输出的图像的***。
例如，专利文献1公开了与多个图像投射装置连接的图像传送装置。图像传送装置使显示器显示向多个图像投射装置传送的显示用图像数据的布局显示图像。在对布局显示图像实施操作时，图像传送装置反映对与实施了操作的布局显示图像对应的显示用图像数据实施的操作。
专利文献1：日本特开2010-164981号公报
然而，专利文献1所公开的图像传送装置能够操作布局显示图像来变更显示用图像的布局，但无法应对除此以外的操作。例如，无法应对使应用程序执行处理的操作。
发明内容
本发明的一个方式是一种显示控制方法，该显示控制方法包含如下步骤：在输出装置所具有的实际存在的显示器上显示将通过应用程序生成的第1图像缩小而得的第1小图像；受理对所述第1小图像的操作；在虚拟显示器上描绘通过所述应用程序执行与对所述第1小图像的操作对应的处理而生成的第2图像；使用显示装置显示描绘于所述虚拟显示器的所述第2图像；以及将缩小所述第2图像而得的第2小图像显示于所述实际存在的显示器。
本发明的另一方式是一种程序，其使计算机执行如下步骤：在输出装置所具有的实际存在的显示器上显示将通过应用程序生成的第1图像缩小而得的第1小图像；受理对所述第1小图像的操作；在虚拟显示器上描绘通过所述应用程序执行与对所述第1小图像的操作对应的处理而生成的第2图像；使用显示装置显示描绘于所述虚拟显示器的所述第2图像；以及将缩小所述第2图像而得的第2小图像显示于所述实际存在的显示器。
附图说明
图1是显示***的***结构图。
图2是示出投影仪和信息处理装置的结构的一例的图。
图3是示出第1实施方式的IP控制部的处理流程的图。
图4是示出更新后的应用图像的图。
图5是示出对显示面板以及虚拟显示器设定的坐标系的一例的图。
图6是示出显示面板的显示的一例的图。
图7是示出虚拟显示器的显示的一例的图。
图8是示出显示面板的显示的一例的图。
图9是示出虚拟显示器的显示的一例的图。
图10是示出信息处理装置的动作的流程图。
图11是示出取得了操作信息的情况下的信息处理装置的动作的流程图。
图12是示出第2实施方式的IP控制部的处理流程的图。
图13是示出使显示面板所显示的鼠标指针的显示尺寸放大的处理流程的流程图。
标号说明
5：投射面；10、10A、10B、10C：投射区域；11、12：重叠区域；100、100A、100B：投影仪；110A：PJ无线通信部；120A：图像处理部；130A：图像投射部；131A：光源；133A：光调制装置；135A：液晶面板；137A：光学单元；140A：PJ控制部；150A：PJ存储部；160A：PJ处理器；200：信息处理装置；210：IP无线通信部；220：操作部；235：显示面板；250：IP控制部；260：IP存储部；261：OS；263：应用；263A：文档应用；263B：UI应用；265：虚拟显示器；270：IP处理器；271：合成部；272：缩小图像生成部；273：描绘部；274：捕捉部；276：通信控制部；277：窗口***；301、301A、301B：应用图像；302：背景图像；303：投射用图像；304：缩小图像；305：捕捉图像；307：小背景图像；311、313：小应用图像；321：鼠标指针；323：任务栏；331：第1分割图像；332：第2分割图像；333：第3分割图像；350：窗口；370、370A、370B：图标。
具体实施方式
A.第1实施方式
A-1.***结构
图1是第1实施方式的显示***1的***结构图。
显示***1具有作为显示装置的多台投影仪100和作为向这多台投影仪100输出图像的输出装置的信息处理装置200。
在本实施方式中，对显示***1具有投影仪100A、100B以及100C这3台投影仪100的情况进行说明，但显示***1所具有的投影仪100的台数不限于3台，也可以是1台。以下，在将投影仪100A、100B以及100C统称的情况下，记作投影仪100。
在本实施方式中，以信息处理装置200与投影仪100A、100B以及100C分别无线连接的结构为例进行说明，但连接方式不限于该方式。例如，也可以是将投影仪100A、100B以及100C菊花链连接，并且将菊花链连接的开头的投影仪100即投影仪100A与信息处理装置200连接的结构。另外，信息处理装置200与投影仪100A、100B以及100C的连接也可以是基于缆线的有线连接。
信息处理装置200例如使用笔记本型PC(Personal Computer：个人计算机)、台式PC、平板终端、智能手机、PDA(Personal Digital Assistant：个人数字助理)等。
在图1中示出将投影仪100A、100B以及100C在投射面5的横向上配置成一列，各投影仪100在投射面5上将图像横向排列地显示的例子。
投影仪100A、100B和100C的设置方法不限于平放于地面的平放设置，也可以是将投影仪100从天花板悬吊的悬吊设置、将投影仪100挂在壁面上的壁挂设置。
另外，关于投影仪100的配置，既可以将投影仪100A、100B以及100C排列成纵一列来设置，也可以将投影仪100配置成纵N行、横M列的矩阵状。N和M是任意的自然数。
将由投影仪100A、100B和100C投射图像光的投射面5的区域称为投射区域10。投影仪100A朝向投射面5向左侧的投射区域10A投射图像光。投影仪100B朝向投射面5向中央的投射区域10B投射图像光。投影仪100C朝向投射面5向右侧的投射区域10C投射图像光。
投影仪100A、100B和100C进行拼接投射。拼接投射是如下的投射方法：使多个投影仪100投射图像光，将利用这多个投影仪100显示于投射面5的图像结合，由此，显示一个大画面的图像。
在拼接投射中，相邻的投影仪100彼此以显示的图像的边缘重叠的方式投射图像光。这是为了使显示的图像的边界不明显。例如，由投影仪100A显示的图像和由位于其右侧的投影仪100B显示的图像彼此的边缘重叠而形成重叠区域11。同样地，由投影仪100B显示的图像和由位于其右侧的投影仪100C显示的图像彼此的边缘重叠而形成重叠区域12。
A-2.投影仪100的结构
图2是示出投影仪100A和信息处理装置200的结构的一例的图。
投影仪100A、100B和100C具有大致相同的结构，因此，以投影仪100A的结构为代表进行说明，省略对其他投影仪100B和100C的说明。另外，在以下的说明中，为了区别各投影仪100的结构，关于各投影仪100的结构，对投影仪100A的结构标注“A”的标号，对投影仪100B的结构标注“B”的标号，对投影仪100C的结构标注“C”的标号。另外，关于投影仪100以外的结构的“A”、“B”等标记并不表示与投影仪100的对应关系。
投影仪100A具有PJ无线通信部110A、图像处理部120A、图像投射部130A以及PJ控制部140A。
PJ无线通信部110A是与包含信息处理装置200在内的外部的装置进行无线通信的接口。PJ无线通信部110A例如由无线LAN(Local Area Network：局域网)卡等网络接口卡构成。PJ无线通信部110A与外部的装置进行无线通信，收发各种信息。
从PJ控制部140A向图像处理部120A输入图像数据。PJ控制部140A将PJ无线通信部110A接收到的图像数据输出到图像处理部120A。此时，PJ控制部140A将在使图像处理部120A执行的图像处理中使用的参数输出到图像处理部120A。
图像处理部120A将输入的图像数据在未图示的帧存储器中展开，并对展开的图像数据进行图像处理。图像处理部120A例如进行变更所输入的图像数据的分辨率的分辨率转换处理、校正显示于投射区域10A的图像的畸变的形状校正处理、校正图像的色调或亮度的处理等处理。图像处理部120A执行由PJ控制部140A指定的处理，根据需要，使用从PJ控制部140A输入的参数进行处理。另外，图像处理部120A也能够将上述处理中的多个处理组合来执行。图像处理部120A从帧存储器读出处理结束后的图像数据，将读出的图像数据作为图像信息输出到图像投射部130A。
图像处理部120A以及帧存储器例如由集成电路构成。集成电路包含LSI(LargeScale Integration：大规模集成电路)、ASIC(Application Specific IntegratedCircuit：专用集成电路)、PLD(Programmable Logic Device：可编程逻辑器件)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)、SoC(System-on-a-chip：片上***)等。另外，也可以在集成电路的结构的一部分中包含模拟电路，也可以是PJ控制部140A和集成电路组合的结构。
图像投射部130A具有光源131A、光调制装置133A、光学单元137A。
光源131A使用卤素灯、氙气灯、超高压水银灯等灯光源。另外，光源131A也可以使用LED、激光光源等固体光源。
光调制装置133A具有液晶面板135A作为对光源131A的光进行调制的调制元件。液晶面板135A按照红、绿以及蓝的每种颜色设置。液晶面板135A例如由在一对透明基板间封入有液晶的透过型的液晶面板构成。液晶面板135A形成有由排列成矩阵状的多个像素构成的像素区域，能够按照每个像素对液晶施加驱动电压。
从图像处理部120A向光调制装置133A输入图像信息。光调制装置133A将与所输入的图像信息对应的驱动电压施加给液晶面板135A的像素区域的各像素，将各像素设定为与图像信息对应的透光率。从光源131A射出的光被未图示的颜色分离光学***分离为红色、绿色以及蓝色的色光，并入射到光调制装置133A的液晶面板135A。各色光通过透过液晶面板135A的像素区域而按照每个像素被调制，从而按照每种色光形成与图像信息对应的图像光。所形成的各色的图像光通过未图示的颜色合成光学***而按照每个像素合成而成为表示彩色图像的图像光。
光学单元137A具有透镜、反射镜等光学元件，将由光调制装置133A调制后的图像光朝向投射面5投射。由此，在投射面5上形成基于图像光的图像。
PJ控制部140A是具有PJ存储部150A和PJ处理器160A的计算机装置。PJ控制部140A通过PJ处理器160A执行PJ存储部150A所存储的控制程序，来统一控制投影仪100A的动作。
PJ存储部150A具有RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)等存储器。RAM用于临时存储各种数据等，ROM存储用于控制投影仪100A的动作的控制程序、各种设定信息等。
PJ处理器160A是由CPU(Central Processing Unit：中央处理单元)、MPU(MicroProcessing Unit：微处理单元)构成的运算处理装置。PJ处理器160A执行控制程序来控制投影仪100A的各部。PJ处理器160A可以由单一的处理器构成，也可以由多个处理器构成。
PJ处理器160A在PJ无线通信部110A从信息处理装置200接收到图像数据时，使图像处理部120A对接收到的图像数据进行处理。PJ处理器160A使图像投射部130A生成基于图像处理部120A处理后的图像数据的图像光。通过由光学单元137A投射所生成的图像光，在投射面5上显示图像。
A-3.信息处理装置200的结构
接下来，说明信息处理装置200的结构。
信息处理装置200具有IP无线通信部210、操作部220、显示部230和IP控制部250。
IP无线通信部210是与包含投影仪100在内的外部的装置进行无线通信的接口。IP无线通信部210例如由无线LAN卡等网络接口卡构成。IP无线通信部210与外部的装置进行无线通信，收发各种信息。
操作部220例如由鼠标、键盘等输入器件构成，受理用户的操作。操作部220将与受理的操作对应的操作信息输出到IP控制部250。在输入器件是鼠标的情况下，操作信息包含表示鼠标的右击、左击、拖动和放下等操作的信息、表示鼠标的移动量的信息。另外，在输入器件是键盘的情况下，操作信息包含由用户操作的按键的信息。
另外，操作部220也可以由检测对设置于显示部230的显示面板235的触摸操作的触摸面板构成。在这种情况下，操作部220将表示检测到的触摸操作的位置的显示面板235的坐标信息输出到IP控制部250。
显示部230包含液晶面板、有机EL(Electro Luminescence：电致发光)面板等显示面板235和驱动该显示面板235的驱动电路。显示面板235相当于信息处理装置200所具有的实际存在的显示器。显示部230根据IP控制部250生成的显示用图像，生成能够显示于显示面板235的显示信号，并将生成的显示信号输出到显示面板235。在显示面板235上显示与所输入的显示信号对应的图像。
IP控制部250是具有IP存储部260和IP处理器270的计算机装置，统一控制信息处理装置200的各部。
IP存储部260具有RAM、ROM等存储器。RAM用于临时存储各种数据等，ROM存储控制信息处理装置200的动作的控制程序、各种设定信息等。控制程序包含OS(OperatingSystem：操作***)261和应用程序263。以下，将应用程序263简单地称为应用263。本实施方式的ROM存储文档应用263A和UI应用263B作为应用263。文档应用263A是制作文档文件的应用。
UI应用263B作为将由其他应用263生成的应用图像301发送到投影仪100的用户接口发挥功能，具有将包含应用图像301的图像描绘于虚拟显示器265的功能。并且，UI应用263B具有捕捉描绘于虚拟显示器265的图像而生成捕捉图像，并将所生成的捕捉图像发送到投影仪100的功能。
IP处理器270是由CPU、MPU构成的运算处理装置。IP处理器270执行控制程序来控制信息处理装置200的各部。IP处理器270可以由单一的处理器构成，也可以由多个处理器构成。
IP控制部250包含合成部271、缩小图像生成部272、描绘部273、捕捉部274、显示图像生成部275、通信控制部276和窗口***277作为功能块。这些功能块是将通过IP处理器270执行控制程序而实现的功能模块化而示出的。合成部271、缩小图像生成部272、描绘部273、捕捉部274、显示图像生成部275以及通信控制部276是通过IP处理器270执行UI应用263B而实现的功能。UI应用263B是进行与显示控制方法对应的控制的程序。窗口***277是通过IP处理器270执行OS 261而实现的功能。
A-4.IP控制部250的动作
图3是示出IP控制部250的处理流程的图。
参照图3说明IP控制部250所具有的各功能块的动作。此外，从通过用户的操作而使文档应用263A以及UI应用263B已经启动的状态开始进行说明。
文档应用263A在启动时生成应用图像301A。文档应用263A启动时生成的应用图像301A是初始画面，但是应用图像301A不限于初始画面。应用图像301A相当于第1图像。
合成部271取得由文档应用263A生成的应用图像301A和存储在IP存储部260中的背景图像302。背景图像302也可以是UI应用263B按照用户的设定而生成的图像。合成部271对所取得的应用图像301A和背景图像302进行合成来生成投射用图像303。合成部271将生成的投射用图像303输出到缩小图像生成部272和描绘部273。
缩小图像生成部272将所输入的投射用图像303的尺寸缩小而生成缩小图像304A。缩小图像304A相当于第1缩小图像。缩小图像304A包含将应用图像301A缩小而得的小应用图像311和将背景图像302缩小而得的小背景图像307。小应用图像311相当于第1小图像。缩小图像生成部272将所生成的缩小图像304A输出到OS 261的窗口***277。窗口***277对所输入的缩小图像304A、鼠标指针321、任务栏323以及图标370等图像进行合成来生成显示用图像305。图标370例如是应用263的快捷方式图标、图像文件的图标等。OS 261使显示面板235显示所生成的显示用图像305。缩小图像304A作为UI应用263B所显示的图像而显示在窗口350内。
描绘部273在虚拟显示器265上描绘投射用图像303。虚拟显示器265是由UI应用263B在IP存储部260中确保的存储区域，是由UI应用263B描绘图像的区域。
描绘部273从窗口***277取得显示鼠标指针321的显示面板235的坐标信息以及显示窗口350的显示面板235的坐标信息。描绘部273根据取得的坐标信息，判定鼠标指针321的图像是否显示于窗口350内。在鼠标指针321的图像显示于窗口350内的情况下，描绘部273在虚拟显示器265的与显示于显示面板235的鼠标指针321的坐标对应的坐标处描绘鼠标指针321的图像。后面参照图5说明该处理的细节。
捕捉部274捕捉描绘于虚拟显示器265的投射用图像303，生成捕捉图像306。捕捉部274将生成的捕捉图像306输出到显示图像生成部275。
显示图像生成部275根据分割用数据将所输入的捕捉图像306分割为多个。显示图像生成部275根据分割用数据，将捕捉图像306分割为第1分割图像331、第2分割图像332、第3分割图像333。第1分割图像331是通过投影仪100A显示于投射区域10A的图像，第2分割图像332是通过投影仪100B显示于投射区域10B的图像。另外，第3分割图像333是通过投影仪100C显示于投射区域10C的图像。显示图像生成部275将分割后的第1分割图像331、第2分割图像332以及第3分割图像333输出到通信控制部276。
这里，对分割用数据进行说明。分割用数据是在使投影仪100开始投射图像光之前生成的数据，是用于将捕捉图像306分割为使投影仪100A、100B以及100C显示的图像的数据。
分割用数据例如通过以下的步骤生成。首先，利用投影仪100A将预先设定的图案图像投射到投射面5上，对投射有该图案图像的投射面5的整体进行拍摄。关于拍摄，在投影仪100搭载有照相机的情况下，可以利用搭载于投影仪100的照相机进行拍摄，也可以通过外置连接于信息处理装置200的照相机进行拍摄。对于投影仪100B和投影仪100C也同样地进行该处理。由此，检测投射面5的投射区域10，分别检测投影仪100A、投影仪100B以及投影仪100C显示图像的投射区域10A、10B以及10C。信息处理装置200取得拍摄图像，根据所取得的拍摄图像，检测投射区域10、投射区域10A、投射区域10B以及投射区域10C，根据这些检测结果生成分割用数据。
通信控制部276控制IP无线通信部210，将第1分割图像331发送到投影仪100A，将第2分割图像332发送到投影仪100B，将第3分割图像333发送到投影仪100C。
投影仪100A在从信息处理装置200接收到第1分割图像331时，对接收到的第1分割图像331进行图像处理，将基于处理后的第1分割图像331的图像光投射到投射区域10A。投影仪100B和100C也与投影仪100A同样地进行动作。由此，在投射面5上显示描绘于虚拟显示器265的投射用图像303。
图4是示出更新后的应用图像301B的图。在本实施方式中，文档应用263A经由OS261受理对显示于窗口350的小应用图像311的操作，生成应用图像301B。应用图像301B相当于第2图像。
文档应用263A在受理到用户对小应用图像311的操作时，执行与受理到的操作对应的处理，更新应用图像301A。具体而言，文档应用263A在从操作部220输入了操作信息时，从OS 261取得显示面板235上的鼠标指针321或未图示的光标等的坐标信息以及显示面板235上的小应用图像311的坐标信息。文档应用263A取得的坐标信息是操作部220受理操作的时刻的信息。当鼠标指针321等的坐标信息包含于小应用图像311的坐标信息的情况下，文档应用263A根据小应用图像311上的鼠标指针321等的位置以及操作信息所示出的操作，判定所受理的操作。而且，文档应用263A通过执行与所判定的操作对应的处理来更新应用图像301A。由此，生成反映了与所受理的操作对应的处理的处理结果的应用图像301B。UI应用263B根据参照图3说明的步骤而将显示有更新后的缩小图像304B的窗口350显示于显示面板235。
接着，合成部271对文档应用263A生成的应用图像301B和背景图像302进行合成，生成投射用图像303。缩小图像生成部272缩小从合成部271输入的投射用图像303的尺寸而生成缩小图像304B。缩小图像304B包含小背景图像307和将更新后的应用图像301B缩小而得的小应用图像313。缩小图像304B相当于第2缩小图像。小应用图像313相当于第2小图像。OS 261生成包含从缩小图像生成部272输入的小应用图像313在内的显示用图像305，并显示于显示面板235。
另外，描绘部273在虚拟显示器265上描绘包含从合成部271输入的应用图像301B的投射用图像303。捕捉部274捕捉描绘在虚拟显示器265上的投射用图像303，生成捕捉图像306。UI应用263B对所生成的捕捉图像306进行分割，生成第1分割图像331、第2分割图像332以及第3分割图像333。UI应用263B将所生成的第1分割图像331、第2分割图像332以及第3分割图像333发送到投影仪100A、100B以及100C，在投射面5上显示包含更新后的应用图像301B在内的捕捉图像306。
用户能够通过鼠标指针321对小应用图像311的操作，使文档应用263A执行处理。
例如，在鼠标指针321的坐标信息是显示了小应用图像311的关闭按钮的坐标，操作信息所示出的操作为左击的情况下，文档应用263A结束向UI应用263B输出应用图像301B。由此，从投射用图像303中删除应用图像301B，缩小图像304A中的小应用图像311的显示结束。
另外，在文档应用263A是表计算的程序，鼠标指针321的坐标信息是指小应用图像311中显示的单元格的坐标，操作信息所示出的操作是左击的双击的情况下，在投射面5中显示的应用图像301A以及显示面板235中显示的小应用图像311的坐标信息所示出的单元格中显示光标。
此外，例如，在文档应用263A是文档制作应用的情况下，文档应用263A受理打开、关闭文件、调整布局、***图像等的操作而作为操作部220所具有的鼠标的操作。
A-5.鼠标指针321的显示
接下来，对鼠标指针321的显示进行说明。
在第1实施方式中，通过投影仪100显示于投射面5的图像是UI应用263B在虚拟显示器265上描绘的图像，OS 261不参与向虚拟显示器265描绘图像。因此，在描绘于虚拟显示器265的图像中，不显示OS 261生成的鼠标指针321、任务栏323。另一方面，在显示于显示面板235的显示用图像305中，通过OS 261显示鼠标指针321、任务栏323的图像。以下，参照图5，说明在本实施方式中在虚拟显示器265上描绘鼠标指针321的图像的方法。
UI应用263B在通过用户的操作而使鼠标指针321的显示位置移动到窗口350内的情况下，在虚拟显示器265上描绘鼠标指针321的图像。由此，在显示于投射面5的图像中也显示鼠标指针321的图像，能够减轻用户的不适感。
图5是示出在显示面板235以及虚拟显示器265中设定的坐标系的一例的图。
UI应用263B在IP存储部260的存储区域中确保虚拟显示器265时，生成校准数据。校准数据是将显示面板235的坐标与窗口350的坐标建立了对应的数据和将窗口350的坐标与虚拟显示器265的坐标建立了对应的数据。通过使用这些数据，能够将显示面板235的坐标、窗口350的坐标、虚拟显示器265的坐标相互转换。
图5示出在显示面板235中设定的坐标系、在窗口350中设定的坐标系以及在虚拟显示器265中设定的坐标系。在显示面板235中设定的坐标系是以显示面板235的左上为原点、以横轴为x轴、以纵轴为y轴的坐标系。在窗口350中设定的坐标系是以窗口350的左上为原点、以横轴为u轴、以纵轴为v轴的坐标系。在虚拟显示器265中设定的坐标系是以虚拟显示器265的左上为原点、以横轴为X轴、以纵轴为Y轴的坐标系。在校准数据中，窗口350的坐标系与虚拟显示器265的坐标系彼此的原点一致，u轴与X轴重叠，v轴与Y轴重叠。
由于窗口350可以显示在显示面板235上的任意位置，因此当窗口350的位置变更时，UI应用263B从OS 261取得显示面板235中的窗口350的坐标。UI应用263B使用所取得的窗口350的坐标来更新将显示面板235的坐标与窗口350的坐标建立了对应的数据。由此，即使窗口350的位置变更，也能够在显示面板235的窗口350的位置显示描绘于虚拟显示器265的图像。
UI应用263B在开始向显示面板235以及投射面5显示图像时，从OS 261取得表示窗口350以及鼠标指针321在显示面板235上的显示位置的坐标信息。
UI应用263B根据所取得的坐标信息，判定鼠标指针321的至少一部分是否显示于窗口350内。UI应用263B在鼠标指针321的至少一部分显示于窗口350内的情况下，根据校准数据将从OS 261取得的鼠标指针321的坐标信息转换为虚拟显示器265的坐标信息。UI应用263B在虚拟显示器265的与转换后的坐标信息对应的位置描绘鼠标指针321的图像。
A-6.图标370被进行放下操作的情况下的UI应用263B的动作
图6是示出显示面板235的显示的一例的图，图7是示出虚拟显示器265的显示的一例的图。图8是示出显示面板235的显示的一例的图。图9是示出虚拟显示器265的显示的一例的图。
在显示面板235上显示有图标370A、370B以及370C。以下，在将图标370A、370B以及370C统称的情况下，记作图标370。
UI应用263B从OS 261取得表示显示于显示面板235的图标370A、370B和370C各自在显示面板235上的显示位置的坐标信息。
另外，UI应用263B从OS 261取得表示鼠标的右击、左击、拖动和放下等操作的操作信息、表示显示于显示面板235的鼠标指针321的显示位置的坐标信息。另外，以下对操作部220为鼠标的例子进行说明，但输入器件并不限定于鼠标。
UI应用263B根据从OS 261取得的鼠标的操作信息、鼠标指针321的坐标信息以及窗口350的坐标信息，判定是否存在显示位置移动到窗口350内的图标370。图6示出通过拖动操作使图标370A从窗口350外移动到窗口350内的状态。图6是放下图标370A之前的状态，如图7所示，在该时刻，在虚拟显示器265上未描绘与图标370A对应的图像。当在窗口350内对图标370A进行了放下操作时，UI应用263B判定为图标370A移动到了窗口350内。在以下的说明中，假设与图标370A对应的应用是文档应用263A来进行说明。另外，假设放下前的文档应用263A未启动来进行说明。
当UI应用263B判定为图标370A移动到窗口350内时，向OS 261输出指示启动与图标370A对应的文档应用263A的信号。当OS 261启动文档应用263A时，UI应用263B取得文档应用263A的应用图像301A。UI应用263B对所取得的应用图像301A和背景图像302进行合成来生成投射用图像303。UI应用263B生成投射用图像303的缩小图像304A，并将生成的缩小图像304A输出到OS 261。由此，如图8所示，在显示面板235的窗口350内显示小应用图像311。另外，如图9所示，UI应用263B在虚拟显示器265上描绘所生成的投射用图像303，生成所描绘的图像的捕捉图像306。UI应用263B通过分割用数据对捕捉图像306进行分割，生成第1分割图像331、第2分割图像332以及第3分割图像333。UI应用263B将所生成的第1分割图像331、第2分割图像332以及第3分割图像333发送到对应的投影仪100。由此，在投射面5上显示应用图像301A。
在上述例中，以放下操作为契机来启动文档应用263A，但是UI应用263B启动应用263的方法不限于此。例如，UI应用263B也可以一览显示图标370，启动与用户选择的图标370对应的应用263。具体而言，UI应用263B从OS 261取得可利用的应用263的图标370的图像。将所取得的图标370的图像一览显示在窗口350内，受理用户的选择操作。然后，将指示启动与所选择的图标370对应的应用263的信号输出到OS 261。
另外，UI应用263B显示应用图像301A的方法不限于上述例。例如，也可以是，UI应用263B将正在进行动作的应用263的应用图像301缩小并进行一览显示，根据用户的选择使应用263启动。具体地，UI应用263B从OS 261取得正在进行动作的应用263的应用图像301。将缩小所取得的应用图像301而得的小应用图像一览显示在窗口350内，受理用户的选择操作。然后，按照参照图3说明的步骤，使用窗口350和投影仪100对与所选择的小应用图像对应的应用263进行显示。
A-7.信息处理装置的动作流程
图10是示出信息处理装置200的动作的流程图。
参照图10的流程图说明执行UI应用263B的IP控制部250的动作。
首先，IP控制部250判定是否受理了启动UI应用263B的操作(步骤S1)。在未受理启动UI应用263B的操作的情况下(步骤S1/否)，IP控制部250待机直至受理启动UI应用263B的操作为止。
IP控制部250当受理了启动UI应用263B的操作时(步骤S1/是)，执行UI应用263B而生成投射用图像303(步骤S2)。IP控制部250在文档应用263A等其他应用未启动的情况下，生成仅显示背景图像302的投射用图像303。
接着，IP控制部250生成投射用图像303的缩小图像304A(步骤S3)，使显示面板235显示包含所生成的缩小图像304A的显示用图像305(步骤S4)。在显示面板235上，除了缩小图像304A之外，还显示鼠标指针321、任务栏323、图标370等。IP控制部250取得表示显示于显示面板235的窗口350的显示位置的坐标信息。
接着，IP控制部250将在步骤S2中生成的投射用图像303描绘在虚拟显示器265上，捕捉虚拟显示器265而生成捕捉图像306(步骤S5)。接着，IP控制部250根据分割用数据对生成的捕捉图像306进行分割，生成第1分割图像331、第2分割图像332以及第3分割图像333的分割图像(步骤S6)。IP控制部250将所生成的第1分割图像331、第2分割图像332以及第3分割图像333分别发送到对应的投影仪100A、100B以及100C(步骤S7)。
接着，IP控制部250从OS 261取得表示鼠标指针321的显示位置的坐标信息(步骤S8)。IP控制部250根据窗口350的坐标信息和所取得的鼠标指针321的坐标信息，判定鼠标指针321是否在窗口350内(步骤S9)。
IP控制部250在判定为鼠标指针321不在窗口350内的情况下(步骤S9/否)，擦除描绘于虚拟显示器265的鼠标指针321的图像。然后，IP控制部250捕捉虚拟显示器265，生成捕捉图像306(步骤S10)。此后，IP控制部250返回到步骤S6的处理。
IP控制部250在判定为鼠标指针321的坐标在窗口350内的情况下(步骤S9/是)，判定是否从OS 261取得了鼠标的操作信息(步骤S11)。操作信息包含鼠标的点击操作等。
IP控制部250在未取得鼠标的操作信息的情况下(步骤S11/否)，在虚拟显示器265上描绘鼠标指针321的图像，生成捕捉图像306(步骤S12)。此后，IP控制部250返回到步骤S6的处理。IP控制部250在取得了鼠标的操作信息的情况下(步骤S11/是)，转移到图11的流程图所示的动作。
接着，参照图11所示的流程图，对在步骤S11的判定中取得了操作信息的情况下的动作进行说明。
IP控制部250根据在步骤S11中取得的操作信息来判定鼠标的操作。首先，在操作是将图标370移动到窗口350内的操作的情况下(步骤S13/是)，IP控制部250取得与移动的图标370对应的应用263所生成的应用图像301(步骤S14)。IP控制部250在取得应用图像301时，转移到步骤S2，对所取得的应用图像301和背景图像302进行合成而生成投射用图像303(步骤S2)。然后，IP控制部250重复步骤S3以后的处理。
当在步骤S13中判定为操作不是使图标370移动到窗口350内的操作的情况下(步骤S13/否)，IP控制部250判定在步骤S11中取得的操作信息是否是针对应用263的操作(步骤S15)。IP控制部250在判定为是针对应用263的操作的情况下(步骤S15/是)，判定针对应用263的操作是否是使应用263结束的结束操作(步骤S16)。
在是使应用263结束的结束操作的情况下(步骤S16/是)，IP控制部250从投射用图像303中擦除应用图像301(步骤S17)。IP控制部250生成仅显示背景图像302的投射用图像303，重复步骤S3以后的处理。
另外，IP控制部250在判定为不是结束操作的情况下(步骤S16/否)，判定为是指定使应用263执行的处理的操作，从应用263取得反映了与操作对应的处理的处理结果的应用图像301(步骤S18)。之后，IP控制部250将背景图像302与所取得的应用图像301合成而生成投射用图像303(步骤S2)，重复步骤S3以后的处理。
另外，IP控制部250在步骤S15的判定中判定为不是对应用263的操作的情况下(步骤S15/否)，判定在步骤S11中受理的操作信息是否是使UI应用263B结束的操作(步骤S19)。IP控制部250在判定为所受理的操作信息不是使UI应用263B结束的操作的情况下(步骤S19/否)，返回到步骤S8，待机直至取得坐标信息为止。另外，IP控制部250在判定为所受理的操作信息是使UI应用263B结束的操作的情况下(步骤S19/是)，使UI应用263B结束，并使该处理流程结束。具体而言，UI应用263B擦除窗口350的显示，停止向投影仪100发送投射用图像303，释放在IP存储部260中确保的虚拟显示器的区域，停止动作。此时，应用263不结束，继续动作。
A-8.第1实施方式的总结
如以上说明的那样，第1实施方式的信息处理装置200在信息处理装置200所具有的显示面板235上显示缩小由文档应用263A生成的应用图像301A而得的小应用图像311。
信息处理装置200在受理到对小应用图像311的操作时，在虚拟显示器265上描绘通过文档应用263A执行与对小应用图像311的操作相对应的处理而生成的应用图像301B。
信息处理装置200使投影仪100显示描绘于虚拟显示器265的小应用图像311。另外，信息处理装置200使显示面板235显示缩小应用图像301B而得的小应用图像313。
因此，通过操作显示于显示面板235的缩小图像304A，由应用263执行与该操作对应的处理。将通过处理生成的应用图像301B描绘于虚拟显示器265，由此，能够将应用图像301B显示在投射面5上。另外，将缩小应用图像301B而得的小应用图像313显示于显示面板235。因此，能够使应用263执行与对小应用图像311的操作对应的处理，能够使用投影仪100投射通过处理生成的应用图像301B，因此能够提高用户的便利性。
另外，通过投影仪100将小应用图像311的缩小前的图像即应用图像301A显示于投射面5。
因此，能够一边视觉确认显示于投射面5的应用图像301A，一边操作显示于显示面板235的小应用图像311，能够提高便利性。
B.第2实施方式
B-1.相对于第1实施方式的变更点
对与上述的第1实施方式相同的结构标注相同的标号，并省略详细的说明。
在上述的第1实施方式中，是通过UI应用263B的控制而在虚拟显示器265上描绘投射用图像303的实施方式。
在第2实施方式中，通过OS 261的控制而在虚拟显示器265上描绘由应用263生成的应用图像301。OS 261在IP存储部260中确保作为虚拟显示器265而使用的存储区域。OS261在扩展模式下动作，将在IP存储部260中确保的虚拟显示器265识别为与显示面板235连续的扩展显示器。
图12是示出第2实施方式的IP控制部250的处理流程的图。
参照图12说明执行UI应用263B的IP控制部250的动作。
执行文档应用263A的IP控制部250生成应用图像301A。通过OS 261的窗口***277在虚拟显示器265上描绘所生成的应用图像301A。此时，窗口***277在虚拟显示器265上还描绘鼠标指针321和任务栏323的图像。
在UI应用263B中，捕捉部274捕捉描绘于虚拟显示器265的图像，生成捕捉图像306。捕捉部274将生成的捕捉图像306输出到缩小图像生成部272和显示图像生成部275。
缩小图像生成部272对所输入的捕捉图像306进行缩小处理，生成缩小图像304A。缩小图像生成部272将所生成的缩小图像304A输出到OS 261。窗口***277将所输入的缩小图像304A、鼠标指针321、任务栏323以及图标370等图像合成而生成显示用图像305。OS 261使显示面板235显示所生成的显示用图像305。缩小图像304A和显示用图像305包含小应用图像311。缩小图像304A或显示用图像305相当于表示虚拟显示器265的图像。
显示图像生成部275根据分割用数据将所输入的捕捉图像306分割为多个。显示图像生成部275根据分割用数据，将捕捉图像306分割为第1分割图像331、第2分割图像332、第3分割图像333。显示图像生成部275将分割后的第1分割图像331、第2分割图像332以及第3分割图像333输出到通信控制部276。
通信控制部276控制IP无线通信部210，将第1分割图像331发送到投影仪100A，将第2分割图像332发送到投影仪100B，将第3分割图像333发送到投影仪100C。
投影仪100A在从信息处理装置200接收到第1分割图像331时，对接收到的第1分割图像331进行图像处理，将基于处理后的第1分割图像331的图像光投射到投射区域10A。
投影仪100B和100C也在从信息处理装置200分别接收到第2分割图像332、第3分割图像333时，分别对接收到的第2分割图像332、第3分割图像333进行处理。投影仪100B和100C将基于处理后的第2分割图像332、第3分割图像333的图像光投射到投射区域10B、10C。由此，在投射面5上显示描绘部273在虚拟显示器265上描绘的应用图像301A。
虚拟显示器265被OS 261识别为扩展显示器。即，虚拟显示器265是使显示面板235的显示区域扩展的扩展显示器。因此，用户能够操作鼠标，使鼠标指针321移动到虚拟显示器265。当鼠标移动到虚拟显示器265时，OS 261在虚拟显示器265上描绘鼠标指针321的图像。因此，在捕捉虚拟显示器265而得到的捕捉图像306中显示出OS 261所显示的鼠标指针321的图像。因此，在通过投影仪100显示于投射面5的图像中显示鼠标指针321的图像。
另一方面，如参照图10说明的那样，在显示面板235上进行窗口显示的缩小图像304A是通过捕捉部274捕捉描绘于虚拟显示器265的图像而生成捕捉图像306并对所生成的捕捉图像306进行缩小处理而生成的图像。将该缩小图像304A与鼠标指针321、任务栏323以及图标370等图像一起重叠于显示用图像305而得的图像作为缩小图像304A被窗口显示于显示面板235。
另外，鼠标指针321的图像是在通过OS 261的窗口***277在虚拟显示器265上描绘由文档应用263A生成的应用图像301A时，与任务栏323等一起在虚拟显示器265上描绘的图像。即，鼠标指针321的图像包含在捕捉部274进行捕捉而生成的捕捉图像306中，并被缩小图像生成部272缩小。因此，鼠标指针321的尺寸也缩小，一边观察缩小图像304A一边进行鼠标的操作的情况下的操作性降低。
因此，若从操作部220输入操作信息，则UI应用263B从OS 261取得操作部220进行操作的时刻的鼠标指针321的坐标信息。UI应用263B判定所取得的鼠标指针321的坐标信息是否移动到虚拟显示器265。
另外，UI应用263B也可以解析虚拟显示器265的捕捉图像306，判定是否包含鼠标指针321的图像，来判定鼠标指针321的显示位置是否移动到虚拟显示器265。
UI应用263B在鼠标指针321的显示位置移动到虚拟显示器265的情况下，在缩小图像304A的与从OS 261取得的鼠标指针321的坐标信息对应的坐标处重叠预先设定的尺寸的鼠标指针321的图像。在UI应用263B重叠鼠标指针321的图像的缩小图像304A的坐标处描绘有由OS 261描绘的鼠标指针321的图像，但通过缩小图像生成部272进行的缩小处理，鼠标指针321的图像的尺寸也被缩小。UI应用263B在缩小图像304A上重叠的鼠标指针321的图像的尺寸与鼠标指针321显示于显示面板235的窗口350外的区域时的尺寸为相同尺寸。
另外，由于虚拟显示器265是扩展显示器，因此通过用户的操作来显示图标370、由与图标370对应的应用263生成的应用图像301A。另外，UI应用263B使用投影仪100显示捕捉图像306，因此能够将用户对使用投影仪100显示的应用图像301A的操作受理为用户对虚拟显示器265的操作。
OS 261在受理了对显示于虚拟显示器265的应用图像301A的操作时，使应用263执行与受理的操作对应的处理，将通过应用263的处理生成的应用图像301B描绘于虚拟显示器265。通过应用263执行与显示于虚拟显示器265的应用图像301A对应的处理而生成的应用图像301B相当于第3图像。
UI应用263B按照参照图12说明的步骤，捕捉虚拟显示器265而生成捕捉图像306，从而生成所生成的捕捉图像306的缩小图像304B。缩小图像304B相当于第3缩小图像。缩小图像304B包含将应用图像301B缩小而得的小应用图像313。小应用图像313相当于第3小图像。
在缩小图像304B中包含鼠标指针321的图像的情况下，UI应用263B在显示于缩小图像304B的鼠标指针321上重叠预先设定的尺寸的鼠标指针321的图像。然后，UI应用263B将重叠了鼠标指针321的图像的缩小图像304B输出到OS 261。由此，在显示面板235上显示反映了与对显示在虚拟显示器265上的应用图像301A的操作对应的处理的处理结果的缩小图像304B。
另外，UI应用263B对所生成的捕捉图像306进行分割，生成第1分割图像331、第2分割图像332以及第3分割图像333。UI应用263B将所生成的第1分割图像331、第2分割图像332以及第3分割图像333发送到投影仪100A、100B以及100C，在投射面5上显示包含更新后的应用图像301B在内的捕捉图像306。由此，使用投影仪100显示应用图像301B。
B-2.第2实施方式的信息处理装置的动作
图13是示出使显示于显示面板235的鼠标指针321的显示尺寸放大的处理流程的流程图。
首先，执行UI应用263B的IP控制部250取得鼠标指针321的坐标信息(步骤S31)。IP控制部250根据所取得的坐标信息，判定鼠标指针321的显示位置是否为虚拟显示器265(步骤S32)。IP控制部250在鼠标指针321的显示位置不是虚拟显示器265的情况下(步骤S32/否)，返回步骤S31(返回)。
另外，IP控制部250在鼠标指针321的显示位置是虚拟显示器265的情况下(步骤S32/是)，取得捕捉虚拟显示器265而得到的捕捉图像306(步骤S33)，生成所取得的捕捉图像306的缩小图像304A(步骤S34)。接下来，IP控制部250将在步骤S31中取得的坐标信息转换为缩小图像304A的坐标，在转换后的坐标信息所示出的缩小图像304A的位置重叠鼠标指针321的图像(步骤S35)。
接着，IP控制部250通过OS 261的控制使显示面板235显示包含重叠了鼠标指针321的图像的缩小图像304A、任务栏323、图标370等的显示用图像305(步骤S36)，返回到步骤S31(返回)。该处理流程例如通过受理使UI应用263B结束的操作而结束。
B-3.第2实施方式的总结
虚拟显示器265是作为实际存在的显示器的显示面板235的扩展显示器。
第2实施方式的信息处理装置200在虚拟显示器265上描绘应用图像301A，使投影仪100显示描绘于虚拟显示器265的应用图像301A。
信息处理装置200受理对由投影仪100显示的应用图像301A的操作，将通过应用程序执行与对应用图像301A的操作对应的处理而生成的应用图像301B描绘于虚拟显示器265。
信息处理装置200使投影仪100显示描绘于虚拟显示器265的应用图像301B，将缩小应用图像301B而得的小应用图像313显示于显示面板235。
即，通过投影仪100在投射面5上显示描绘于作为显示面板235的扩展显示器的虚拟显示器265的图像。因此，能够受理用户对显示于投射面5的应用图像301A进行的操作作为对描绘于虚拟显示器265的应用图像301A的操作。
另外，与所受理的操作对应的应用图像301B通过投影仪100显示于投射面5，缩小应用图像301B而得的小应用图像313显示于显示面板235。因此，除了在第1实施方式中说明的对小应用图像313的操作以外，还能够使应用263执行与对显示于投射面5的应用图像301的操作对应的处理。用户能够通过投射面5、显示面板235确认应用263对所输入的操作的处理结果。因此，能够提高用户的便利性。
信息处理装置200在显示面板235上显示缩小图像304A或者显示用图像305作为表示包含小应用图像311的虚拟显示器265的图像，在虚拟显示器265上描绘鼠标指针321的图像。
信息处理装置200在显示面板235上以与表示虚拟显示器265的图像重叠的方式按照在显示面板235中的表示虚拟显示器265的图像之外的区域显示的鼠标指针321的图像的尺寸显示鼠标指针321的图像。
因此，当在显示于显示面板235的缩小图像304A中显示鼠标指针321的图像的情况下，能够抑制鼠标指针321的图像较小地显示于缩小图像304A。因此，能够提高基于鼠标指针321的操作的操作性。
上述的实施方式是本发明的优选的实施方式。但是，并不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够实施各种变形。
例如，图2所示的信息处理装置200的各功能部表示功能性结构，具体的安装方式没有特别限制。即，不一定需要安装与各功能部分别对应的硬件，当然也可以构成为通过一个处理器执行程序来实现多个功能部的功能。另外，在上述实施方式中，可以通过硬件来实现由软件实现的功能的一部分，另外，也可以通过软件来实现由硬件实现的功能的一部分。此外，关于投影仪100的其他各部的具体的细节结构，也能够在不脱离本发明的主旨的范围内任意地变更。
另外，图10、图11或图13所示的流程图的处理单位是为了容易理解信息处理装置200的处理而根据主要的处理内容进行分割的单位。本发明不受图10和图11或图13的流程图所示的处理单位的分割方法和名称的限制。此外，IP控制部250的理可以根据处理内容分割为更多的处理单位，也可以以1个处理单位包含更多的处理的方式进行分割。另外，上述的流程图的处理顺序也不限于图示的例子。
另外，使信息处理装置200执行的程序也可以以记录介质或传送该程序的传送介质的方式构成。信息处理装置200读入记录在记录介质中的程序，并且将读入的程序存储在IP存储部260中。另外，信息处理装置200与未图示的服务器装置连接，从该服务器装置下载程序，将下载的程序存储到IP存储部260。IP控制部250执行存储在IP存储部260中的程序，并且根据图10、图11或图13所示的流程图的步骤控制信息处理装置200的各部。

Claims (3)

1.一种显示控制方法，该显示控制方法包含：
在输出装置所具有的实际存在的显示器上显示将通过应用程序生成的第1图像缩小而得的第1小图像；
受理对所述第1小图像的操作；
在虚拟显示器上描绘通过所述应用程序执行与对所述第1小图像的操作对应的处理而生成的第2图像；
使用显示装置显示描绘于所述虚拟显示器的所述第2图像；以及
将缩小所述第2图像而得的第2小图像显示于所述实际存在的显示器，
所述虚拟显示器是所述实际存在的显示器的扩展显示器，
该显示控制方法还包含：
在所述虚拟显示器上描绘所述第1图像；
使用所述显示装置显示描绘于所述虚拟显示器的所述第1图像；
受理对使用所述显示装置显示的所述第1图像的操作；
在所述虚拟显示器上描绘通过所述应用程序执行与对所述第1图像的操作对应的处理而生成的第3图像；
使用所述显示装置显示描绘于所述虚拟显示器的所述第3图像；以及
将缩小所述第3图像而得的第3小图像显示于所述实际存在的显示器。
2.根据权利要求1所述的显示控制方法，其中，
显示所述第1小图像是指在所述实际存在的显示器上显示包含所述第1小图像的、表示所述虚拟显示器的图像，
该显示控制方法还包含：
在所述虚拟显示器上描绘指针的图像；以及
在所述实际存在的显示器上，以与表示所述虚拟显示器的图像重叠的方式，按照在所述实际存在的显示器中的表示所述虚拟显示器的图像之外的区域显示的所述指针的图像的尺寸显示指针的图像。
3.一种记录介质，其记录有程序，该程序使计算机执行如下处理：
在输出装置所具有的实际存在的显示器上显示将通过应用程序生成的第1图像缩小而得的第1小图像；
受理对所述第1小图像的操作；
在虚拟显示器上描绘通过所述应用程序执行与对所述第1小图像的操作对应的处理而生成的第2图像；
使用显示装置显示描绘于所述虚拟显示器的所述第2图像；以及
将缩小所述第2图像而得的第2小图像显示于所述实际存在的显示器，
所述虚拟显示器是所述实际存在的显示器的扩展显示器，
所述程序还使计算机执行如下处理：
在所述虚拟显示器上描绘所述第1图像；
使用所述显示装置显示描绘于所述虚拟显示器的所述第1图像；
受理对使用所述显示装置显示的所述第1图像的操作；
在所述虚拟显示器上描绘通过所述应用程序执行与对所述第1图像的操作对应的处理而生成的第3图像；
使用所述显示装置显示描绘于所述虚拟显示器的所述第3图像；以及
将缩小所述第3图像而得的第3小图像显示于所述实际存在的显示器。
CN202210206950.4A 2021-03-05 2022-03-03 显示控制方法和记录介质 Active CN115022602B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021035085A JP7371648B2 (ja) 2021-03-05 2021-03-05 表示制御方法及びプログラム
JP2021-035085 2021-03-05

Publications (2)

Publication Number Publication Date
CN115022602A CN115022602A (zh) 2022-09-06
CN115022602B true CN115022602B (zh) 2023-11-28

Family

ID=83067541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210206950.4A Active CN115022602B (zh) 2021-03-05 2022-03-03 显示控制方法和记录介质

Country Status (3)

Country Link
US (1) US11990065B2 (zh)
JP (1) JP7371648B2 (zh)
CN (1) CN115022602B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102689A (ja) * 2002-09-10 2004-04-02 Toppan Printing Co Ltd 表示制御装置
JP2004274283A (ja) * 2003-03-07 2004-09-30 Casio Comput Co Ltd 投影システム、及び投影装置、画像供給装置、プログラム
CN1735831A (zh) * 2001-11-06 2006-02-15 基约蒂公司 用于图像投影的装置
JP2007086616A (ja) * 2005-09-26 2007-04-05 Matsushita Electric Ind Co Ltd プレゼンテーション支援システム
JP2007240813A (ja) * 2006-03-08 2007-09-20 Seiko Epson Corp 画像表示システム、画像表示装置、画像表示方法および画像表示プログラム
CN103425354A (zh) * 2012-05-25 2013-12-04 精工爱普生株式会社 数据处理装置、显示装置以及数据处理装置的控制方法
JP2014044736A (ja) * 2013-10-24 2014-03-13 Casio Comput Co Ltd 表示制御装置及びプログラム
CN104683717A (zh) * 2013-12-02 2015-06-03 精工爱普生株式会社 双向显示方法以及双向显示装置
CN110032312A (zh) * 2018-01-09 2019-07-19 精工爱普生株式会社 图像提供装置、图像提供装置的控制方法以及记录介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339130A (ja) 1999-05-31 2000-12-08 Casio Comput Co Ltd 表示制御装置及び表示制御プログラムを記録した記録媒体
JP2003280630A (ja) 2002-03-20 2003-10-02 Toshiba Corp 情報処理装置および同装置で使用される表示制御方法
JP2004240279A (ja) * 2003-02-07 2004-08-26 Toshiba Corp 情報処理装置および画像データ送信方法
JP2006284990A (ja) 2005-04-01 2006-10-19 Matsushita Electric Ind Co Ltd 画像伝送マルチ表示システム
JP2008158342A (ja) 2006-12-25 2008-07-10 Canon Software Inc 情報処理装置および情報処理装置の制御方法およびプログラムおよび記録媒体
JP4458143B2 (ja) 2007-10-10 2010-04-28 セイコーエプソン株式会社 画像転送装置および画像転送における画像表示制御方法
JP5375338B2 (ja) 2009-05-29 2013-12-25 セイコーエプソン株式会社 画像表示システム、画像表示装置、画像表示方法、画像供給装置、およびプログラム
JP2011134278A (ja) * 2009-12-25 2011-07-07 Toshiba Corp 情報処理装置およびポインティング制御方法
JP5365541B2 (ja) 2010-02-16 2013-12-11 セイコーエプソン株式会社 画像転送装置および画像転送における画像表示制御方法
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
JP2012138666A (ja) * 2010-12-24 2012-07-19 Elmo Co Ltd 資料提示システム
JP5849560B2 (ja) * 2011-09-20 2016-01-27 セイコーエプソン株式会社 表示装置、プロジェクター、及び、表示方法
JP2016085435A (ja) 2014-10-29 2016-05-19 株式会社リコー 画像処理システム
JP6663415B2 (ja) * 2017-12-01 2020-03-11 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
US11307748B2 (en) * 2019-09-27 2022-04-19 Apple Inc. Multi-display alignment through graphical object alignment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735831A (zh) * 2001-11-06 2006-02-15 基约蒂公司 用于图像投影的装置
JP2004102689A (ja) * 2002-09-10 2004-04-02 Toppan Printing Co Ltd 表示制御装置
JP2004274283A (ja) * 2003-03-07 2004-09-30 Casio Comput Co Ltd 投影システム、及び投影装置、画像供給装置、プログラム
JP2007086616A (ja) * 2005-09-26 2007-04-05 Matsushita Electric Ind Co Ltd プレゼンテーション支援システム
JP2007240813A (ja) * 2006-03-08 2007-09-20 Seiko Epson Corp 画像表示システム、画像表示装置、画像表示方法および画像表示プログラム
CN103425354A (zh) * 2012-05-25 2013-12-04 精工爱普生株式会社 数据处理装置、显示装置以及数据处理装置的控制方法
JP2014044736A (ja) * 2013-10-24 2014-03-13 Casio Comput Co Ltd 表示制御装置及びプログラム
CN104683717A (zh) * 2013-12-02 2015-06-03 精工爱普生株式会社 双向显示方法以及双向显示装置
CN110032312A (zh) * 2018-01-09 2019-07-19 精工爱普生株式会社 图像提供装置、图像提供装置的控制方法以及记录介质

Also Published As

Publication number Publication date
US20220284838A1 (en) 2022-09-08
US11990065B2 (en) 2024-05-21
CN115022602A (zh) 2022-09-06
JP7371648B2 (ja) 2023-10-31
JP2022135343A (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
US11386535B2 (en) Image blending method and projection system
CN107797364A (zh) 显示***、显示装置及其控制方法、控制器以及记录介质
CN103019638A (zh) 显示装置、投影仪以及显示方法
US10416813B2 (en) Display system, display device, information processing device, and information processing method
CN108446047A (zh) 显示装置以及显示控制方法
CN110018778B (zh) 通信设备、显示设备及其控制方法、存储介质和显示***
CN113407461A (zh) 界面测试方法、装置、电子设备及存储介质
JP5407381B2 (ja) 画像入力装置、画像表示装置、及び画像表示システム
US10853020B2 (en) Image sharing method, information processing device, and information processing system
JP2008123408A (ja) 投影装置、プログラム、投影方法、並びに投影システム
JP2020178221A (ja) 投影制御装置、投影制御方法およびプログラム
CN115022602B (zh) 显示控制方法和记录介质
JP2019204034A (ja) 投影制御装置、その制御方法、投影システム、プログラムおよび記憶媒体
US11750778B2 (en) Method for adjusting pixel values of blending image and projection system thereof
JP2020035176A (ja) 投影装置、投影装置の制御方法、プログラム、および記憶媒体
CN112068787B (zh) 显示装置的控制方法以及显示装置
RU2665296C2 (ru) Способ двунаправленного отображения и устройство двунаправленного отображения
CN114979591B (zh) 信息处理装置和信息处理***
JP5590995B2 (ja) 画像処理装置及びその制御方法
JP2019192996A (ja) 投影制御装置及び投影制御方法
US11934616B2 (en) Image display system, method for controlling image display system, and method for controlling display apparatus
US20240073385A1 (en) Display control method, control device, and non-transitory computer-readable storage medium storing program
CN117915053A (zh) 显示方法、投影仪和记录介质
JP2022111670A (ja) 投影装置
JP2022132791A (ja) 表示装置の制御方法及び表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant