CN107239177A - 显示***、显示装置、信息处理装置以及信息处理方法 - Google Patents

显示***、显示装置、信息处理装置以及信息处理方法 Download PDF

Info

Publication number
CN107239177A
CN107239177A CN201710186040.3A CN201710186040A CN107239177A CN 107239177 A CN107239177 A CN 107239177A CN 201710186040 A CN201710186040 A CN 201710186040A CN 107239177 A CN107239177 A CN 107239177A
Authority
CN
China
Prior art keywords
coordinate
information
image
display
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710186040.3A
Other languages
English (en)
Inventor
木原裕彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN107239177A publication Critical patent/CN107239177A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3197—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using light modulating optical valves

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供显示***、显示装置、信息处理装置以及信息处理方法。投影仪确定在自身装置所显示的图像中由指示体指示的位置的坐标，并输出表示所确定的坐标的第一坐标信息和识别自身装置所显示的图像的显示位置的第一识别信息。投影仪确定在自身装置所显示的图像中由指示体指示的位置的坐标，并输出表示所确定的坐标的第二坐标信息和识别自身装置所显示的图像的显示位置的第二识别信息。信息处理装置基于第一识别信息将第一坐标信息转换为表示信息处理装置的坐标系中的坐标的第三坐标信息，并基于第二识别信息将第二坐标信息转换为表示信息处理装置的坐标系中的坐标的第四坐标信息。

Description

显示***、显示装置、信息处理装置以及信息处理方法
于2016年3月28日提交的日本专利申请No.2016-63108其全部内容结合于此作为参考。
技术领域
本发明涉及显示***、显示装置、信息处理装置以及信息处理方法。
背景技术
作为利用具备触摸面板的两个显示器装置进行手写输入的发明，例如有专利文献1中公开的显示器装置。该显示器装置在手写笔(stylus pen)于一显示器装置的外框附近离开而发生了抬笔事件之后，手写笔于另一显示器装置的外框(bezel)附近进行接触而发生了落笔事件时，如果从该抬笔到落笔为止所经过的时间在预定时间内，则进行在另一显示器装置中显示的线的校正处理。
先行技术文献
专利文献
专利文献1：日本特开2013-171553号公报
在专利文献1的发明中，如果从一显示器装置向另一显示器装置移动了手写笔，则在一显示器装置侧检测不到手写笔而检测出抬笔事件，而在另一显示器装置侧检测到手写笔而检测出落笔事件。虽然用户将手写笔从一显示器装置向另一显示器装置进行了移动，但装置却识别为手写笔离开，从而有时无法进行用户期望的操作。
发明内容
本发明提供当指示体从由不同的装置显示的相邻的图像上的一方向另一方进行了移动时可以进行对应于指示体的移动的处理的技术。
本发明提供一种显示***，其具有：信息处理装置；第一显示装置，基于从所述信息处理装置供给的第一图像数据显示第一图像；以及第二显示装置，基于从所述信息处理装置供给的第二图像数据显示第二图像，所述显示***并排(排列)显示所述第一图像以及所述第二图像，并且，还包括：第一确定(specifying)部，确定在所述第一图像中由指示体指示的位置的坐标；第一输出部，输出表示由所述第一确定部确定的坐标的第一坐标信息和用于识别所述第一图像的显示位置的第一识别信息；第二确定部，确定在所述第二图像中由指示体指示的位置的坐标；第二输出部，输出表示由所述第二确定部确定的坐标的第二坐标信息和用于识别所述第二图像的显示位置的第二识别信息；以及转换部，基于所述第一输出部输出的所述第一识别信息，将所述第一输出部输出的所述第一坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第三坐标信息，并且，基于所述第二输出部输出的所述第二识别信息，将所述第二输出部输出的所述第二坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第四坐标信息。
根据本发明，当指示体从由不同装置显示的相邻图像上的一方向另一方进行了移动时，可以进行与指示体的移动相应的处理。
在本发明中，也可以构成为，所述第一识别信息表示所述第一图像相对于所述第二图像的相对位置，所述第二识别信息表示所述第二图像相对于所述第一图像的相对位置。
根据该构成，可以根据所显示的图像的位置来进行坐标转换。
并且，在本发明中，也可以构成为，所述第一识别信息是所述第一显示装置的标识符，所述第二识别信息是所述第二显示装置的标识符，所述显示***还具有存储部，所述存储部使所述第一识别信息和所述第一图像的显示位置相互对应地存储，并使所述第二识别信息和所述第二图像的显示位置相互对应地存储，所述转换部根据与所述第一识别信息对应地存储的显示位置来转换所述第一坐标信息，并根据与所述第二识别信息对应地存储的显示位置来转换所述第二坐标信息。
根据该构成，可以根据所显示的图像的位置来进行坐标转换。
并且，在本发明中，也可以构成为，所述第一确定部识别指示了所述第一图像的指示体，所述第二确定部识别指示了所述第二图像的指示体，所述第一输出部输出表示所述第一确定部识别出的所述指示体的指示体标识符，所述第二输出部输出表示所述第二确定部识别出的所述指示体的指示体标识符，所述转换部将对与所述指示体标识符一起输出的所述第一坐标信息或所述第二坐标信息进行了转换后的坐标作为通过所述指示体标识符识别的指示体的坐标。
根据该构成，当指示体从由不同装置显示的相邻图像上的一方向另一方进行了移动时，可以按照多个指示体中的每一指示体进行与指示体的移动相应的处理。
并且，在本发明中，也可以构成为，具有获取部，按多个指示体中的每一指示体获取有关该指示体的所述第一坐标信息或者所述第二坐标信息，所述转换部对所述获取部获取的所述第一坐标信息或所述第二坐标信息进行转换。
根据该构成，当指示体从由不同装置显示的相邻图像上的一方向另一方进行了移动时，可以按照多个指示体中的每一指示体进行与指示体的移动相应的处理。
并且，在本发明中，也可以构成为，具有：所述信息处理装置向一显示装置供给图像的第一模式；以及所述信息处理装置向多个显示装置供给图像的第二模式，所述第一显示装置在所述第二模式的情况下，输出所述第一坐标信息和所述第一识别信息，所述第二显示装置在所述第二模式的情况下，输出所述第二坐标信息和所述第二识别信息。
根据该构成，当指示体从由第一显示装置和第二显示装置显示的相邻图像上的一方向另一方进行了移动时，可以进行与指示体的移动相应的处理。
并且，本发明提供一种显示装置，具备：显示部，显示从信息处理装置供给的图像；确定部，确定在所述显示部所显示的图像中由指示体指示的位置的坐标；以及输出部，输出坐标信息和识别信息，所述坐标信息表示由所述确定部确定的坐标，所述识别信息用于识别所述显示部显示的图像的显示位置。
并且，本发明提供一种信息处理装置，具备：第一获取部，获取第一坐标信息和第一识别信息，所述第一坐标信息表示在第一显示装置基于从所述信息处理装置供给的第一图像数据而显示的第一图像中由指示体指示的位置的坐标，所述第一识别信息用于识别所述第一图像的显示位置；第二获取部，获取第二坐标信息和第二识别信息，所述第二坐标信息表示在第二显示装置基于从所述信息处理装置供给的第二图像数据而显示的第二图像中由指示体指示的位置的坐标，所述第二识别信息用于识别所述第二图像的显示位置；以及转换部，基于所述第一获取部获取的所述第一识别信息，将所述第一获取部获取的所述第一坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第三坐标信息，并基于所述第二获取部获取的所述第二识别信息，将所述第二获取部获取的所述第二坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第四坐标信息。
根据该显示装置和信息处理装置，当指示体从由不同装置显示的相邻图像上的一方向另一方进行了移动时，可以进行与指示体的移动相应的处理。
并且，本发明提供一种信息处理方法，其中，从信息处理装置向第一显示装置和第二显示装置供给第一图像数据和第二图像数据，从而并排显示所述第一显示装置基于所述第一图像数据显示的第一图像和所述第二显示装置基于所述第二图像数据显示的第二图像，所述信息处理方法具备：第一确定步骤，确定所述第一图像中由指示体指示的位置的坐标；第一输出步骤，输出表示在所述第一确定步骤中确定的坐标的第一坐标信息和用于识别所述第一图像的显示位置的第一识别信息；第二确定步骤，确定所述第二图像中由指示体指示的位置的坐标；第二输出步骤，输出表示在所述第二确定步骤中确定的坐标的第二坐标信息和用于识别所述第二图像的显示位置的第二识别信息；以及转换步骤，基于在所述第一输出步骤中输出的所述第一识别信息，将在所述第一输出步骤中输出的所述第一坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第三坐标信息，并基于在所述第二输出步骤中输出的所述第二识别信息，将在所述第二输出步骤中输出的所述第二坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第四坐标信息。
根据本发明，当指示体从由不同装置显示的相邻图像上的一方向另一方进行了移动时，可以进行与指示体的移动相应的处理。
附图说明
图1是示出显示***1所涉及的装置的图。
图2是示出投影仪10A、10B和笔20的硬件构成的图。
图3是示出控制部110中实现的功能的功能框图。
图4是示出检测指示体的时序图的一个例子的图。
图5是示出信息处理装置30中实现的功能的功能框图。
图6是示出投射到屏幕SC的图像的一个例子的图。
图7是用于说明动作例的图。
图8是用于说明动作例的图。
图9是用于说明动作例的图。
图10是示出信息处理装置30进行的处理的流程的流程图。
附图标记说明
1：显示***，10A、10B：投影仪，20：笔，30：信息处理装置，40A、40B：发光装置，110、110A、110B：控制部、112：输出部，113：确定部，120：存储部，130：操作部，140：投射部，141：光源，142：光阀，143：投射光学***，144：驱动电路，150：影像处理部，160、160A、160B：接口，171、172、171A、172A、171B、172B：摄像部，210：控制部，220：通信部，230：发光部，240：操作部，250：电源，301：第一获取部，302：第二获取部，303：转换部。
具体实施方式
图1是示出作为本发明一实施方式的显示***1所涉及的装置的图。显示***1包括信息处理装置30、向作为显示面的屏幕SC投射图像的投影仪10A(第一投影仪)和投影仪10B(第二投影仪)。
在本实施方式中，信息处理装置30是个人计算机。信息处理装置30具有使用多个显示器装置扩大桌面的多重显示器(multi display)功能。
作为指示体的一例的笔20起到用于操作投影仪10A、10B或者信息处理装置30的定点设备的功能。并且，在本实施方式中，用户的手指也可以起到操作信息处理装置30的指示体的功能。
作为显示装置的一例的投影仪10A、10B将从信息处理装置30供给的影像信号所表示的图像投射到屏幕SC上。在本实施方式中，投影仪10A、10B成为信息处理装置30使用多重显示器功能时的显示器装置。并且，投影仪10A、10B具备用于将笔20用作信息处理装置30的定点设备(pointing device)的PC操作功能。投影仪10A、10B设在屏幕SC的斜上方，朝屏幕SC投射影像。需要说明的是，在本实施方式中，投影仪10A、10B向屏幕SC投射影像，但也可以将影像投射到壁面(显示面)，以此来代替屏幕SC。并且，在本实施方式中，投影仪10A、10B采用通过金属配件设置于壁面的构成，但也可以设置于天花板。当设置于天花板时，也可以将影像投射到桌子上，以此来代替屏幕SC。
发光装置40A、40B具有向位于屏幕SC上的手指照射光的发光部。发光装置40A、40B设在屏幕SC的上端之上，在角度θ的范围内向下扩散发射红外光。从发光装置40A、40B发射的光形成沿着屏幕SC的光层。在本实施方式中，角度θ几乎达到180度，在屏幕SC的大致全体上形成光层。优选地，屏幕SC的表面与由发光装置40形成的光层靠近。光层具有可以照射到位于离开屏幕SC的表面的位置上的手指的厚度。并且，也可以通过层叠发光部来照射位于分离的位置上的手指。由投影仪10A控制来自发光装置40A的光的发射，由投影仪10B控制来自发光装置40B的光的发射。
(投影仪10A、10B、笔20的构成)
图2是示出投影仪10A、10B以及笔20的硬件构成的图。笔20具有控制部210、通信部220、发光部230、操作部240、电源250。电源250例如是干电池或者二次电池，向控制部210、通信部220、发光部230以及操作部240供给电力。操作部240具备控制从电源250向各部的电力供给的开关(未图示)。一旦接通操作部240的开关，则从电源250向各部供给电力，一旦关断操作部240的开关，则停止从电源250向各部的电力供给。发光部230具有发射红外光的发光二极管，其设在笔20的前端。由控制部210控制发光部230的点亮及熄灭。发光部230是点光源，发光部230发出的光从笔20的前端呈球面状扩展。通信部220具备接收红外光的光接收元件。通信部220接收从投影仪10通过红外光发送的各种信号。通信部220将供给有的各种信号转换为电信号并供给到控制部210。控制部210连接于发光部230以及通信部220。控制部210根据从通信部220供给的信号，开始发光部230的控制，控制发光部230的发光二极管的点亮及熄灭。
投影仪10A、10B具备控制部110、存储部120、操作部130、投射部140。并且，投影仪10A、10B具备影像处理部150、接口160、摄像部171以及摄像部172。在本实施方式中，投影仪10A、10B的硬件构成相同，所以在下面的说明中，当需要区分投影仪10A、10B的各部时，为了便于说明，在投影仪10A的各部的标记后面附带“A”，在投影仪10B的各部的标记后面附带“B”，当不需要区分各部时，省略标记后面的“A”、“B”的添加来进行说明。
接口160具有RCA、D-Sub、HDMI(注册商标)等被供给影像信号的多个连接器，将从其它装置供给到连接器的影像信号供给至影像处理部150。并且，接口160具有无线LAN(Local Area Network：局域网)、Bluetooth(注册商标)等无线通信的接口、或者USB(Universal Serial Bus：通用串行总线)、有线LAN等有线通信的接口，通过这些接口与信息处理装置30进行通信。并且，接口160具备发射红外光的发光二极管。接口160由控制部110控制发光二极管的点亮以及熄灭，并发送用于控制笔20所具备的发光部230的点亮以及熄灭的红外光的信号。
存储部120存储有关投射的影像的画质的设定值、有关各种功能的设定的信息。操作部130具备用于操作投影仪10的多个按钮。根据***作的按钮，控制部110控制各部，从而进行投射到屏幕SC的影像的调整、投影仪10所具有的各种功能的设定等。
影像处理部150获取从接口160供给的影像信号。并且，影像处理部150从控制部110获取用于操作投影仪10的GUI等屏幕上图像(on-screen image)的信号。影像处理部150具备各种图像处理功能，对于从接口160供给的影像信号进行图像处理，调整投射的影像的画质。当从控制部110供给有屏幕上图像的信号时，影像处理部150向投射部140供给重叠有屏幕上图像的信号的影像信号。
投射影像的投射部140具有光源141、光阀142、驱动电路144以及投射光学***143。光源141是发射光的灯，光源141发射的光通过未图示的多个二向色镜、反射镜而分光为红色、绿色、蓝色的光，分光后的红色、绿色、蓝色各光被引导到光阀142。需要说明的是，光源141也可以不是灯，而是发光二极管或发射激光的半导体激光装置。
驱动电路144获取从影像处理部150供给的影像信号。被供给到驱动电路144的影像信号具有表示投射的图像中的红色成分的灰度(gradation)的灰度数据、表示投射的图像中的绿色成分的灰度的灰度数据以及表示投射的图像中的蓝色成分的灰度的灰度数据。驱动电路144提取红色、绿色、蓝色各色的灰度数据，并基于提取的各色的灰度数据驱动光阀142。
光阀142具有上述的红色光入射的液晶光阀、上述的绿色光入射的液晶光阀以及上述的蓝色光入射的液晶光阀。液晶光阀是透过式液晶面板，具备矩阵状配置有多行多列的像素。基于红色的灰度数据驱动红色光入射的液晶光阀，基于绿色的灰度数据驱动绿色光入射的液晶光阀，基于蓝色的灰度数据驱动蓝色光入射的液晶光阀。通过驱动电路144来控制各液晶光阀的各像素，从而像素的透过率发生变化。通过控制像素的透过率，从而透过液晶光阀的各颜色的光变成对应于各灰度数据的图像。透过液晶光阀的红色、绿色、蓝色光的图像由未图示的二向色棱镜合成而入射到投射光学***143。投射光学***143是将入射的图像放大的光学***，其通过透镜、反射镜放大入射的图像而投射到屏幕SC。当图像投射到屏幕SC时，在作为显示面的屏幕SC上显示图像。需要说明的是，既可以采用反射式液晶面板，也可以采用数码镜装置等来代替透过式液晶面板。
为了立体式(stereo system)确定笔20的位置以及从笔20到屏幕SC的距离，投影仪10A、10B具有两个摄像部171以及摄像部172。摄像部171以及摄像部172具备接收由发光部230发射的红外光的摄像元件(CMOS、CCD等)、在摄像元件成像的光学***、限制入射到摄像元件的光的光圈等。摄像部171以及摄像部172将投射部140的投射范围作为拍摄范围，生成拍摄到的范围的图像，并将生成的图像供给至控制部110。需要说明的是，在本实施方式中，投影仪10A、10B设在屏幕SC的斜上方，所以摄像部171以及摄像部172从斜上方拍摄投射范围。
控制部110是具备CPU(Central Processing Unit：中央处理单元)、ROM(ReadOnly Memory：只读存储器)以及RAM(Random Access Memory：随机存取存储器)的微型计算机。当CPU执行了存储在ROM中的程序时，控制部110控制各部，实现将影像投射到屏幕SC的功能、上述的PC操作功能等。
图3是示出通过执行ROM的程序而在控制部110中实现的功能的功能框图。确定部113解析从摄像部171以及摄像部172供给的图像，以确定通过作为指示体的笔20或者手指而发生的事件。并且，确定部113解析从摄像部171以及摄像部172供给的图像，以确定投射部140投射的图像的显示区域中的指示体的位置坐标和从指示体到图像显示面、即屏幕SC的距离。
确定部113按照例如图4所示的时序图，周期性地确定图像投射区域中笔20的发光部230的位置、作为指示体的一例的手指的位置。在确定手指的位置、发光部230的位置的期间，如图4所示，具有从阶段P11到阶段P14共四个阶段。在检测手指位置、发光部230的位置时，重复阶段P11到阶段P14。阶段P11是用于使投影仪10用摄像部171以及摄像部172进行拍摄的时机与笔20发光的时机和发光装置40发射红外光的时机同步的阶段。在阶段P11中，确定部113控制通信部180，以在规定期间te1输出红外光的同步信号。
在笔20中，通信部220接收同步信号，在供给有同步信号后经过了预定时间时，控制部210控制发光部230，以使发光部230在预设的期间te2点亮。在本实施方式中，控制为发光部230从阶段P12、阶段P13以及阶段P14的开始时间点起点亮。并且，确定部113控制发光装置40，以使发光装置40从阶段P12以及阶段P14的开始时间起在期间te2内发射红外光。
在阶段P12～阶段P14中，确定部113控制摄像部171以及摄像部172以设定的快门速度拍摄包括屏幕SC的预定范围。在摄像部171以及摄像部172中通过电子快门功能进行曝光的曝光期间从阶段P12、阶段P13、阶段P14各阶段的开始时间点开始。结束曝光的时间点由所设定的快门速度决定，在各阶段的期间内。摄像部171及摄像部172在阶段P12～阶段P14的曝光期间拍摄到的图像供给至确定部113。
确定部113利用从摄像部171以及摄像部172供给的图像来确定位于投射的图像上的手指、发光部230的位置、从屏幕SC到发光部230的距离。具体地，在阶段P12和阶段P14中，当发光装置40发射的红外光照射到手指时，从发光装置40射出并被手指反射的红外光拍到由摄像部171和摄像部172得到的图像中。并且，在阶段P12和阶段P14中，当发光部230位于摄像部171以及摄像部172的拍摄范围内时，发光部230发射的红外光也拍到由摄像部171以及摄像部172得到的图像中。在阶段P13中，发光装置40不发射光，所以发光部230发射的红外光拍到由摄像部171以及摄像部172得到的图像中。
在阶段P12～阶段P14中，确定部113以立体法确定拍到由摄像部171和摄像部172得到的图像中的红外光的位置以及到屏幕SC的距离。确定部113确定在阶段P12和阶段P14中确定了位置的红外光中位于与在阶段P13中确定了位置的红外光的位置靠近的位置上的红外光，并将确定了的红外光的位置设为发光部230的位置。并且，确定部113将在阶段P12和阶段P14中确定了位置的红外光中离在阶段P13中确定了位置的红外光远的红外光位置设为手指的位置。需要说明的是，在阶段P13中红外光不在拍摄范围内时，确定部113将在阶段P12和阶段P14中确定了的位置设为手指位置。这些确定了的位置在进行描绘功能、进行GUI的操作时使用。
输出部112经由USB线缆从接口160向信息处理装置30发送表示由确定部113确定了位置的指示体的种类的作为指示体标识符的一个例子的指示体ID、表示确定部113所确定的指示体的事件的事件信息、表示确定部113所确定的位置的坐标的坐标信息、表示自身装置投射的图像与多重显示器功能的两个画面中的哪一个画面对应的识别信息等。
(信息处理装置30的构成)
接着，说明信息处理装置30的构成。信息处理装置30中安装有设备驱动程序(device driver)，其获取从投影仪10A、10B供给的信息，并将投影仪10A、10B用作定点设备。
图5是通过执行该设备驱动程序而在信息处理装置30中实现的功能的功能框图。第一获取部301获取从投影仪10A供给的各种信息。第二获取部302获取从投影仪10B供给的各种信息。
转换部303在第一获取部301获取的事件信息和第二获取部302获取的事件信息满足预定的条件时，将第一获取部301获取的事件信息和第二获取部302获取的事件信息的组转换为预定的事件信息。并且，转换部303将第一获取部301获取的坐标信息和第二获取部302获取的坐标信息转换为通过多重显示器功能而扩大的画面的坐标。例如，图6所示的画面例是示出了利用了多重显示器功能时由投影仪10A、10B投射的图像的一个例子的图，区域A1的部分是投影仪10A投射的图像，区域A2的部分是投影仪10B投射的图像。
在通过摄像部171A以及摄像部172A得到的图像中，确定部113A设定有以区域A1的左上顶点为原点，取向右方向为X轴，取向下方向为Y轴的坐标系，由此确定笔20的坐标。并且，在通过摄像部171B以及摄像部172B得到的图像中，确定部113B设定有以区域A2的左上顶点为原点，取向右方向为X轴，取向下方向为Y轴的坐标系，由此确定笔20的坐标。并且，在区域A1+区域A2的区域中，信息处理装置30设定有以区域A1的左上顶点为原点，取向右方向为X轴，取向下方向为Y轴的坐标系。
在本实施方式中，确定部113A确定的坐标被标准化(正规化)，原点是(0，0)，X轴方向的坐标范围是0～100，Y轴方向的坐标范围是0～100。确定部113A在所确定的笔20的坐标在区域A1的左端时，将X轴方向的坐标设为0，在所确定的笔20的坐标在区域A1的右端时，将X轴方向的坐标设为100。
并且，确定部113B确定的坐标也被标准化，原点是(0，0)，X轴方向的坐标范围是0～100，Y轴方向的坐标范围是0～100。确定部113B在所确定的笔20的坐标在区域A2的左端时，将X轴方向的坐标设为0，在所确定的笔20的坐标在区域A2的右端时，将X轴方向的坐标设为100。
并且，信息处理装置30处理的坐标也被标准化，原点是(0，0)，X轴方向的坐标范围是0～100，Y轴方向的坐标范围是0～100。换言之，在区域A1的左端，X轴方向的坐标是0，在区域A2的右端，X轴方向的坐标是100。
在区域A1内，当投影仪10A确定了位于区域A1的右上顶点的笔20的位置时，笔20的坐标信息是用在投影仪10A中设定的坐标系表示的坐标，由第一获取部301获取该坐标信息(第一坐标信息)。转换部303将该第一获取部301获取的坐标信息转换为与信息处理装置30在区域A1中设定的坐标系对应的坐标信息。例如，当投影仪10A确定的坐标是(50，50)时，转换部303将表示该坐标的坐标信息转换为表示(25，50)的坐标的坐标信息(第三坐标信息)。
并且，在图6所示的区域A2内，当投影仪10B确定了位于区域A2的右上顶点的笔20的位置时，笔20的坐标信息是用设在投影仪10B中的坐标系表示的坐标，由第二获取部302获取该坐标信息(第二坐标信息)。转换部303将该第二获取部302获取的坐标信息转换为与信息处理装置30在区域A2中设定的坐标系对应的坐标信息。例如，当由投影仪10B确定的坐标是(50，50)时，转换部303将表示该坐标的坐标信息转换为表示(75，50)的坐标的坐标信息(第四坐标信息)。转换部303将事件信息、坐标信息供给至操作***OS。
(实施方式的动作例)
接着，说明本实施方式的动作例。在本实施方式中，信息处理装置30和投影仪10A、10B通过USB线缆连接，经由USB线缆进行通信。并且，信息处理装置30和投影仪10A、10B通过影像线缆连接，投影仪10A、10B获取从信息处理装置30供给的影像信号。
在信息处理装置30中，关于多重显示器功能，进行了将两个画面左右并排而扩展桌面的设定，信息处理装置30将左侧画面的影像信号(第一图像数据)供给至投影仪10A，将右侧画面的影像信号(第二图像数据)供给至投影仪10B。并且，在投影仪10A、10B中进行了对应于多重显示器功能的两个画面中的哪一个画面的设定，投影仪10A中进行了对应于“左”画面的设定，投影仪10B中进行了对应于“右”画面的设定。
图6是由投影仪10A、10B投射于屏幕SC的图像的一个例子。图6的区域A1的部分是投影仪10A投射的图像(第一图像)，区域A2的部分是投影仪10B投射的图像(第二图像)。在以多重显示器功能采用了直视式(direct viewing)显示器装置时，由于显示器装置具备包围显示画面的框架(外框)，所以左侧画面与右侧画面间留有间隙，但在本实施方式中，可以将投影仪10A投射的图像和投影仪10B投射的图像左右并排显示(所谓的拼接显示(tilingdisplay))，所以可以并排显示两个画面而不会留有间隙。
摄像部171A以及摄像部172A拍摄区域A1。在从摄像部171A以及摄像部172A供给的图像中，控制部110A以区域A1的左上顶点为原点，将从原点起向右的方向设为x轴的正方向，将从原点起向下的方向设为y轴的正方向来设定xy坐标。并且，摄像部171B以及摄像部172B拍摄区域A2。在从摄像部171B以及摄像部172B供给的图像中，控制部110B以区域A2的左上顶点为原点，将从原点起向右的方向设为x轴的正方向，将从原点起向下的方向设为y轴的正方向来设定xy坐标。
当发射红外光的笔20进入摄像部171A以及摄像部172A的拍摄范围内时，在摄像部171A以及摄像部172A生成的图像中拍到发光部230发射的红外光。控制部110A(确定部113：第一确定部)解析从摄像部171A以及摄像部172A供给的图像，确定区域A1的xy坐标中的红外光的位置坐标和从红外光到屏幕SC的距离(即、从笔20的前端到屏幕SC的距离)。
例如，当用户将笔20的发光部230接触到图7所示的位置P1时，控制部110A解析从摄像部171A以及摄像部172A供给的图像，将从红外光到屏幕SC的距离确定为0，检测出笔20接触到屏幕SC。并且，控制部110A根据从摄像部171A以及摄像部172A供给的图像，确定位置P1的坐标。
控制部110A(输出部112：第一输出部)经由USB线缆从接口160A向信息处理装置30发送表示检测到的指示体种类的指示体ID、表示指示体的事件的事件信息、表示所确定的指示体的坐标的坐标信息(第一坐标信息)、表示投影仪10A投射的图像与多重显示器功能的两个画面中的哪一个画面对应的识别信息。投影仪10A发送的识别信息是表示相对于其它投影仪显示的图像，投影仪10A投射的图像相对地与右和左中的哪一显示位置对应的第一识别信息的一个例子。在这里，控制部110A检测到了笔20，所以将指示体ID的内容设为表示笔的“笔”，将事件信息设为表示笔20接触到投射面的“落笔”，并且投影仪10A的画面进行了对应于左侧的设定，所以识别信息设为“左”。
信息处理装置30(第一获取部301)获取从投影仪10A发送的信息，进行对应于获取到的信息的处理。首先，信息处理装置30(转换部303)将包含在获取的信息中的坐标信息转换为通过多重显示器功能扩展的画面的坐标。具体地，在被扩展的矩形画面中，信息处理装置30以左上顶点为原点，将从原点起向右的方向设为x轴的正方向，将从原点起向下的方向设为y轴的正方向来设定xy坐标。当事件信息是“落笔”且获取到的识别信息为“左”时，信息处理装置30将获取到的坐标信息转换为由投影仪10A显示的左侧区域内的坐标。当转换后的坐标是图标上的位置P1时，信息处理装置30拖动位于位置P1的图标。
控制部110A利用从摄像部171A以及摄像部172A供给的图像周期性地确定从红外光到屏幕SC的距离和红外光的位置。当用户使笔20从位置P1向图7所示的箭头方向进行了移动时，控制部110A解析从摄像部171A以及摄像部172A供给的图像，并将从红外光到屏幕SC的距离确定为0。当新确定的距离是0且上次确定的距离也是0时，对于指示体(笔20)的事件，控制部110A设为表示指示体在移动中的“移动(move)”。并且，控制部110A根据从摄像部171A以及摄像部172A供给的图像确定红外光移动后的位置的坐标。
控制部110A将指示体ID、事件信息、坐标信息以及识别信息经由USB线缆从接口160A发送给信息处理装置30。在这里，控制部110A将指示体ID的内容设为表示检测到的笔20的“笔”，将事件信息设为表示笔20进行了移动的“移动”，对于识别信息，由于投影仪10A的画面进行了对应于左侧的设定，所以设为“左”。
当事件信息是“移动”且获取到的识别信息为“左”时，信息处理装置30将获取到的坐标信息转换为由投影仪10A显示的左侧区域内的坐标。当事件信息是“移动”时，信息处理装置30根据转换后的坐标移动位于位置P1的图标。
接着，当用户保持使笔20接触到屏幕SC进行移动、且笔20发射的红外光的位置变为了图8所示的区域A1的右端的位置P1时，控制部110A经由USB线缆从接口160A向信息处理装置30发送表示“笔”的指示体ID、表示“移动”的事件信息、表示位置P11的坐标的坐标信息、表示“左”的识别信息。信息处理装置30在获取到了从投影仪10A发送的信息时，根据获取到的坐标信息所表示的坐标，使处于拖动状态的图标移动。
接着，当用户保持使笔20接触到屏幕SC进行移动、且红外光的位置从区域A1移动到区域A2而如图9所示变为了区域A2的左端的位置P2时，在摄像部171A及摄像部172A生成的图像中没有拍到笔20发射的红外光，而在摄像部171B及摄像部172B生成的图像中拍到笔20发射的红外光。
当在摄像部171A及摄像部172A生成的图像中没有拍到红外光时，控制部110A针对指示体的事件，将其设为表示指示体离开投射面的“抬笔”。
另一方面，在摄像部171B及摄像部172B生成的图像中拍到发光部230发射的红外光。控制部110B(确定部113：第二确定部)获取从摄像部171B及摄像部172B供给的图像。控制部110B解析从摄像部171B及摄像部172B供给的图像，并将从红外光到屏幕SC的距离确定为0，检测到笔20接触到屏幕SC。并且，控制部110B根据从摄像部171B及摄像部172B供给的图像确定位置P2的坐标。
控制部110A经由USB线缆将指示体ID、事件信息、坐标信息以及识别信息从接口160A发送到信息处理装置30。在这里，控制部110A将指示体ID的内容设为表示笔的“笔”，将事件信息设为表示笔20离开投射面的“抬笔”，至于识别信息，设为“左”。
并且，控制部110B(输出部112：第二输出部)将指示体ID、事件信息、坐标信息(第二坐标信息)以及识别信息经由USB线缆从接口160B发送到信息处理装置30。在这里，控制部110B将指示体ID的内容设为表示检测到的笔的“笔”，将事件信息设为表示笔20接触到投射面的“落笔”，至于识别信息，由于投影仪10B的画面投射到右侧，所以设为“右”。投影仪10B发送的识别信息是表示相对于其它投影仪显示的图像，投影仪10B投射的图像相对地与右和左中的哪一显示位置对应的第二识别信息的一个例子。
信息处理装置30获取从投影仪10A供给的信息。并且，信息处理装置30(第二获取部302)获取从投影仪10B供给的信息。信息处理装置30(转换部303)将获取到的信息中包含的坐标信息转换为通过多重显示器功能扩展的画面的坐标。当事件信息为“落笔”且获取到的识别信息为“右”时，信息处理装置30将获取到的坐标信息转换为由投影仪10B显示的右侧区域内的坐标。
当从一投影仪供给的事件信息从“移动”变为“抬笔”、且从另一投影仪供给的事件信息为“落笔”时，信息处理装置30进行替换事件信息的处理。
图10是示出替换事件信息的处理的流程的流程图。信息处理装置30判断是否从一投影仪供给有“移动”的事件信息，接着从该一投影仪供给有“抬笔”的事件信息(步骤S1)。当从一投影仪供给有“移动”的事件信息，接着又从该一投影仪供给有“抬笔”的事件信息(步骤S1中“是”)时，信息处理装置30判断在被供给有该“抬笔”的事件信息起的预定时间内是否从另一投影仪供给有“落笔”的事件信息(步骤S2)。当在预定的时间内从另一投影仪供给有“落笔”的事件信息时(步骤S2中“是”)，信息处理装置30将从一投影仪供给的“抬笔”的事件信息和从另一投影仪供给的“落笔”的事件信息的组替换为“移动”的事件信息(步骤S3)。需要说明的是，在步骤S2中判断为否时，信息处理装置30结束图10的处理。
例如，当从投影仪10A接着“移动”的事件信息之后供给有“抬笔”的事件信息、且在被供给有该“抬笔”的事件信息起的预设的时间内从投影仪10B供给有“落笔”的事件信息时，信息处理装置30将从投影仪10A供给的“抬笔”的事件信息和从投影仪10B供给的“落笔”的事件信息的组替换为“移动”的事件信息。
并且，在步骤S1中判断为否时，信息处理装置30判断是否从一投影仪供给有“移动”的事件信息，接着从另一投影仪供给有“落笔”的事件信息(步骤S4)。当从一投影仪供给有“移动”的事件信息，接着从另一投影仪供给有“落笔”的事件信息时(步骤S4中“是”)，信息处理装置30判断从供给有该“落笔”的事件信息起的预定的时间内是否从一投影仪获取到“抬笔”的事件信息(步骤S5)。在预定的时间内从一投影仪获取到“抬笔”的事件信息时(步骤S5中“是”)，信息处理装置30将从另一投影仪供给的“落笔”的事件信息和从一投影仪获取的“抬笔”的事件信息的组替换为“移动”的事件信息(步骤S3)。需要说明的是，在步骤S4中判断为否时、在步骤S5中判断为否时，信息处理装置30结束图10的处理。
例如，当从投影仪10A供给有“移动”的事件信息，接着从投影仪10B供给有“落笔”的事件信息，并且在从供给有该“落笔”的事件信息起的预定的时间内从投影仪10A供给有“抬笔”的事件信息时，信息处理装置30将从投影仪10B供给的“落笔”的事件信息和从投影仪10A供给的“抬笔”的事件信息的组替换为“移动”的事件信息。
当信息处理装置30将事件信息的组替换为了“移动”的事件信息时，根据与“落笔”的事件信息一起被供给并进行了转换的坐标，移动处于拖动状态的图标。由此，被拖动的图标的显示位置变成区域A2内的位置P2的位置。
需要说明的是，信息处理装置30将笔20从区域A2移动到了区域A1时，与将笔20从区域A1移动到了区域A2时相同地将“抬笔”的事件信息和“落笔”的事件信息的组替换为“移动”的事件信息。
如上所述，根据本实施方式，通过将“抬笔”的事件信息和“落笔”的事件信息的组替换为“移动”的事件信息，从而即使将笔20从相邻的两个图像中的一图像的区域向另一图像的区域移动，也能在图像的边界附近顺利地移动图标。并且，根据本实施方式，由信息处理装置30对从投影仪10A、10B供给的坐标信息进行转换，所以可以将多个投影仪用作定点设备。
需要注意的是，在上述的说明中，以检测到笔20的情况为例说明了动作例，但也可以通过检测被手指反射的发光装置40的红外光来检测作为指示体的一个例子的手指。当检测到手指时，控制部110将指示体ID设为“手指”。当检测到多个手指时，控制部110确定检测到的每一手指的坐标，并将所确定的多个坐标发送给信息处理装置30。这时，可以将投影仪10A、10B用作作为定点设备的一个例子的触摸面板，可以进行缩小(pinch-in)、放大(pinch-out)处理。
[变形例]
以上说明了本发明的实施方式，但本发明并不限定于上述的实施方式，能以其它各种方式进行实施。例如，也可以将上述实施方式像下述这样变形来实施本发明。需要说明的是，关于上述的各实施方式以及下面的变形例，也可以适当组合一个或多个来加以实施。
在上述实施方式中，投影仪10A、10B向信息处理装置30供给了“右”、“左”等信息作为识别信息，但识别信息的内容并不限定于实施方式的内容。例如，在以多重显示器功能使用三台投影仪时，用户在三台投影仪各自中，将投射左画面的投影仪设定为“1”，投射中间画面的投影仪设定为“2”，投射右画面的投影仪设定为“3”。该识别信息是表示投影仪投射的图像与多重显示器功能的多个画面中的哪一画面对应的信息，并且也是识别投影仪的标识符。在信息处理装置30中将“1”设定为左画面，“2”设定为中间画面，“3”设定为右画面。信息处理装置30根据与获取到的识别信息对应的画面位置转换获取到的坐标信息。例如，当从投影仪获取到作为识别信息的“2”时，将所获取的坐标信息转换为由中间的投影仪显示的正中的图像区域内的坐标。
在上述实施方式中，投影仪10A、10B也可以构成为，当从摄像部171以及摄像部172供给的图像检测到笔20和手指双方时，对应笔20和手指各自向信息处理装置30供给指示体ID、事件信息、坐标信息以及识别信息。在该变形例中，针对笔20和手指各自，信息处理装置30将获取到的坐标信息转换为通过多重显示器功能扩展的画面的坐标。根据该变形例，可以将笔20和手指双方用作定点设备。
在本发明中，信息处理装置30具备第一获取部301和第二获取部302，但对于获取来自投影仪10A的信息的第一获取部301，也可以采用分为在指示体ID是“笔”时获取指示体ID、事件信息、坐标信息以及识别信息的块、和在指示体ID是“手指”时获取指示体ID、事件信息、坐标信息以及识别信息的块的构成。并且，对于获取来自投影仪10B的信息的第二获取部302，同样也可以采用分为在指示体ID是“笔”时获取指示体ID、事件信息、坐标信息以及识别信息的块、和在指示体ID是“手指”时获取指示体ID、事件信息、坐标信息以及识别信息的块的构成。
在本发明中，还可以构成为，当是信息处理装置30未使用多重显示器功能而是向一台投影仪供给图像的第一模式时，投影仪10A、10B不输出识别信息，当是信息处理装置30使用多重显示器功能的第二模式时，投影仪10A、10B输出识别信息。
在上述实施方式中，信息处理装置30根据从投影仪10A、10B供给的事件信息和坐标信息进行拖动处理，但根据从投影仪10A、10B供给的事件信息和坐标信息进行的处理并不限定于拖动处理。例如，信息处理装置30还可以根据事件信息和坐标信息进行描绘处理。根据本变形例，当信息处理装置30执行了绘图软件时，可以根据笔20的移动进行描绘。并且，在信息处理装置30将绘图软件的画面扩展至整个桌面的情况下，若保持笔20接触于投射面的状态将笔20从区域A1移动至区域A2或从区域A2移动至区域A1时，可以在区域A1与区域A2的边界不发生中断地进行线的描绘。

Claims (9)

1.一种显示***，其特征在于，具有：
信息处理装置；
第一显示装置，基于从所述信息处理装置供给的第一图像数据显示第一图像；以及
第二显示装置，基于从所述信息处理装置供给的第二图像数据显示第二图像，
所述显示***并排显示所述第一图像和所述第二图像，并且，还具备：
第一确定部，确定在所述第一图像中由指示体指示的位置的坐标；
第一输出部，输出表示由所述第一确定部确定的坐标的第一坐标信息和用于识别所述第一图像的显示位置的第一识别信息；
第二确定部，确定在所述第二图像中由指示体指示的位置的坐标；
第二输出部，输出表示由所述第二确定部确定的坐标的第二坐标信息和用于识别所述第二图像的显示位置的第二识别信息；以及
转换部，基于所述第一输出部输出的所述第一识别信息，将所述第一输出部输出的所述第一坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第三坐标信息，并且，基于所述第二输出部输出的所述第二识别信息，将所述第二输出部输出的所述第二坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第四坐标信息。
2.根据权利要求1所述的显示***，其特征在于，
所述第一识别信息表示所述第一图像相对于所述第二图像的相对位置，
所述第二识别信息表示所述第二图像相对于所述第一图像的相对位置。
3.根据权利要求1所述的显示***，其特征在于，
所述第一识别信息是所述第一显示装置的标识符，
所述第二识别信息是所述第二显示装置的标识符，
所述显示***还具有：
存储部，所述存储部将所述第一识别信息和所述第一图像的显示位置相互对应地存储，并将所述第二识别信息和所述第二图像的显示位置相互对应地存储，
所述转换部根据与所述第一识别信息对应地存储的显示位置来转换所述第一坐标信息，并根据与所述第二识别信息对应地存储的显示位置来转换所述第二坐标信息。
4.根据权利要求1至3中任一项所述的显示***，其特征在于，
所述第一确定部识别指示了所述第一图像的指示体，
所述第二确定部识别指示了所述第二图像的指示体，
所述第一输出部输出表示所述第一确定部识别出的所述指示体的指示体标识符，
所述第二输出部输出表示所述第二确定部识别出的所述指示体的指示体标识符，
所述转换部将对与所述指示体标识符一起输出的所述第一坐标信息或所述第二坐标信息进行了转换后的坐标作为通过所述指示体标识符识别的指示体的坐标。
5.根据权利要求4所述的显示***，其特征在于，所述显示***还具有：
获取部，按多个指示体中的每一指示体获取有关该指示体的所述第一坐标信息或者所述第二坐标信息，
所述转换部对所述获取部获取的所述第一坐标信息或所述第二坐标信息进行转换。
6.根据权利要求1至5中任一项所述的显示***，其特征在于，
所述显示***具有：
所述信息处理装置向一显示装置供给图像的第一模式；以及
所述信息处理装置向多个显示装置供给图像的第二模式，
所述第一显示装置在所述第二模式的情况下，输出所述第一坐标信息和所述第一识别信息，
所述第二显示装置在所述第二模式的情况下，输出所述第二坐标信息和所述第二识别信息。
7.一种显示装置，其特征在于，具备：
显示部，显示从信息处理装置供给的图像；
确定部，确定在所述显示部显示的图像中由指示体指示的位置的坐标；以及
输出部，输出坐标信息和识别信息，所述坐标信息表示所述确定部所确定的坐标，所述识别信息用于识别所述显示部所显示的图像的显示位置。
8.一种信息处理装置，其特征在于，具备：
第一获取部，获取第一坐标信息和第一识别信息，所述第一坐标信息表示在第一显示装置基于从所述信息处理装置供给的第一图像数据而显示的第一图像中由指示体指示的位置的坐标，所述第一识别信息用于识别所述第一图像的显示位置；
第二获取部，获取第二坐标信息和第二识别信息，所述第二坐标信息表示在第二显示装置基于从所述信息处理装置供给的第二图像数据而显示的第二图像中由指示体指示的位置的坐标，所述第二识别信息用于识别所述第二图像的显示位置；以及
转换部，基于所述第一获取部获取的所述第一识别信息，将所述第一获取部获取的所述第一坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第三坐标信息，并基于所述第二获取部获取的所述第二识别信息，将所述第二获取部获取的所述第二坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第四坐标信息。
9.一种信息处理方法，其特征在于，
在所述信息处理方法中，从信息处理装置向第一显示装置和第二显示装置供给第一图像数据和第二图像数据，从而并排显示所述第一显示装置基于所述第一图像数据而显示的第一图像和所述第二显示装置基于所述第二图像数据而显示的第二图像，
所述信息处理方法具备：
第一确定步骤，确定所述第一图像中由指示体指示的位置的坐标；
第一输出步骤，输出表示在所述第一确定步骤中所确定的坐标的第一坐标信息和用于识别所述第一图像的显示位置的第一识别信息；
第二确定步骤，确定所述第二图像中由指示体指示的位置的坐标；
第二输出步骤，输出表示在所述第二确定步骤中所确定的坐标的第二坐标信息和用于识别所述第二图像的显示位置的第二识别信息；以及
转换步骤，基于在所述第一输出步骤中输出的所述第一识别信息，将在所述第一输出步骤中输出的所述第一坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第三坐标信息，并基于在所述第二输出步骤中输出的所述第二识别信息，将在所述第二输出步骤中输出的所述第二坐标信息转换为表示所述信息处理装置的坐标系中的坐标的第四坐标信息。
CN201710186040.3A 2016-03-28 2017-03-24 显示***、显示装置、信息处理装置以及信息处理方法 Pending CN107239177A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016063108A JP2017182110A (ja) 2016-03-28 2016-03-28 表示システム、表示装置、情報処理装置及び情報処理方法
JP2016-063108 2016-03-28

Publications (1)

Publication Number Publication Date
CN107239177A true CN107239177A (zh) 2017-10-10

Family

ID=59898719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710186040.3A Pending CN107239177A (zh) 2016-03-28 2017-03-24 显示***、显示装置、信息处理装置以及信息处理方法

Country Status (3)

Country Link
US (1) US10416813B2 (zh)
JP (1) JP2017182110A (zh)
CN (1) CN107239177A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6569449B2 (ja) * 2015-10-08 2019-09-04 セイコーエプソン株式会社 表示システム、プロジェクター及び表示システムの制御方法
KR20200078932A (ko) * 2018-12-24 2020-07-02 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
CN110798670A (zh) * 2019-11-11 2020-02-14 成都极米科技股份有限公司 超短焦画幕对齐方法、装置和超短焦投影设备及介质
JP7393955B2 (ja) * 2020-01-20 2023-12-07 株式会社ワコム センサシステム
JP2022099487A (ja) * 2020-12-23 2022-07-05 セイコーエプソン株式会社 画像表示システム、画像表示システムの制御方法、及び、表示装置の制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930325A (zh) * 2010-07-22 2010-12-29 明基电通有限公司 定位方法及显示***
CN102323868A (zh) * 2011-10-26 2012-01-18 中国人民解放军国防科学技术大学 基于红外图像的人机多点交互方法及装置
CN103186293A (zh) * 2011-12-27 2013-07-03 精工爱普生株式会社 显示装置、显示***以及显示装置的数据供给方法
JP2014123316A (ja) * 2012-12-21 2014-07-03 Canon Inc 情報処理システム、情報処理装置、検出装置、情報処理方法、検出方法、及び、コンピュータプログラム
TW201546535A (zh) * 2014-03-28 2015-12-16 Seiko Epson Corp 資訊處理裝置、投影機及資訊處理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3876455B2 (ja) * 1996-05-21 2007-01-31 ソニー株式会社 座標入力装置及び方法
JP3714163B2 (ja) * 1997-12-12 2005-11-09 株式会社日立製作所 映像表示システム
US6456339B1 (en) * 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
US7079157B2 (en) * 2000-03-17 2006-07-18 Sun Microsystems, Inc. Matching the edges of multiple overlapping screen images
US6733138B2 (en) * 2001-08-15 2004-05-11 Mitsubishi Electric Research Laboratories, Inc. Multi-projector mosaic with automatic registration
JP2005346583A (ja) * 2004-06-04 2005-12-15 Canon Inc 画像表示装置、マルチディスプレイ・システム、座標情報出力方法及びその制御プログラム
JP4026649B2 (ja) * 2005-02-16 2007-12-26 セイコーエプソン株式会社 プロジェクタ、プロジェクタの制御方法、プロジェクタの制御プログラム、およびこのプログラムを記憶した記憶媒体
JP2007079028A (ja) * 2005-09-13 2007-03-29 Canon Inc 投射型画像表示装置およびマルチプロジェクションシステム
JP4696979B2 (ja) * 2006-03-09 2011-06-08 ソニー株式会社 画像提示装置および画像提示方法
US20080007700A1 (en) * 2006-07-10 2008-01-10 Vanbaar Jeroen Method and system for aligning an array of rear-projectors
JP4211815B2 (ja) * 2006-08-08 2009-01-21 セイコーエプソン株式会社 表示装置、マルチディスプレイシステム、画像情報生成方法、画像情報生成プログラム、および記録媒体
JP2008116874A (ja) 2006-11-08 2008-05-22 Seiko Epson Corp マルチディスプレイシステム、及びこのシステム上で実行されるプログラム
JP2009086048A (ja) * 2007-09-27 2009-04-23 Brother Ind Ltd プロジェクタシステム及びその駆動方法
JP5444963B2 (ja) * 2008-11-26 2014-03-19 セイコーエプソン株式会社 プロジェクタ
US8730183B2 (en) * 2009-09-03 2014-05-20 Obscura Digital Large scale multi-user, multi-touch system
US8262229B2 (en) * 2010-03-22 2012-09-11 Seiko Epson Corporation Multi-projector display system calibration
JP5927845B2 (ja) * 2011-11-01 2016-06-01 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2013171553A (ja) 2012-02-23 2013-09-02 Sharp Corp ディスプレイ装置
US9563113B2 (en) * 2012-10-29 2017-02-07 Young Optics Inc. Multi-projection system using a single illumination source and a single imaging device
JP2015125614A (ja) * 2013-12-26 2015-07-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2015161830A (ja) * 2014-02-27 2015-09-07 株式会社リコー 画像投影システムおよび画像投影装置
JP6553938B2 (ja) * 2014-05-12 2019-07-31 Ｓｋｙ株式会社 表示システム，表示プログラムおよび表示方法
TN2018000048A1 (en) * 2015-08-10 2019-07-08 Merck Sharp & Dohme Antiviral beta-amino acid ester phosphodiamide compounds

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930325A (zh) * 2010-07-22 2010-12-29 明基电通有限公司 定位方法及显示***
CN102323868A (zh) * 2011-10-26 2012-01-18 中国人民解放军国防科学技术大学 基于红外图像的人机多点交互方法及装置
CN103186293A (zh) * 2011-12-27 2013-07-03 精工爱普生株式会社 显示装置、显示***以及显示装置的数据供给方法
JP2014123316A (ja) * 2012-12-21 2014-07-03 Canon Inc 情報処理システム、情報処理装置、検出装置、情報処理方法、検出方法、及び、コンピュータプログラム
TW201546535A (zh) * 2014-03-28 2015-12-16 Seiko Epson Corp 資訊處理裝置、投影機及資訊處理方法

Also Published As

Publication number Publication date
US20170277358A1 (en) 2017-09-28
US10416813B2 (en) 2019-09-17
JP2017182110A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
CN107239177A (zh) 显示***、显示装置、信息处理装置以及信息处理方法
CN107426887B (zh) 智能照明装置的操作模式转换方法
US10228611B2 (en) Projector, projection system, and control method of projector
US11016582B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
US9753580B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
US11050925B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
US10536627B2 (en) Display apparatus, method of controlling display apparatus, document camera, and method of controlling document camera
CN107239178A (zh) 显示***、信息处理装置、投影仪及信息处理方法
US10055065B2 (en) Display system, projector, and control method for display system
JP2020042064A (ja) 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
JP2012053603A (ja) 情報表示システム
US20200258198A1 (en) Electronic apparatus for controlling display of image, control method of electronic apparatus and non-transitory computer readable medium
JP6586891B2 (ja) プロジェクター及びプロジェクターの制御方法
US11252328B2 (en) Electronic device and method for controlling the same
US20240073511A1 (en) Electronic apparatus, control method for electronic apparatus and storage medium
JP7287156B2 (ja) 表示装置、表示方法、プログラム
JP2008276438A (ja) 自動写真作成装置および自動写真作成方法
JP6707945B2 (ja) 表示装置及び表示装置の制御方法
JP2023120679A (ja) 電子機器、電子機器の制御方法、プログラム
JP2013050622A (ja) 投写型映像表示装置
JP2020173327A (ja) 表示方法および表示装置
JP2017181539A (ja) 表示装置及び表示装置の制御方法
JP2017169160A (ja) プロジェクター、プロジェクターの制御方法、およびプロジェクションシステム
JP2015219546A (ja) 機器制御システム、機器制御プログラムおよび機器制御装置
JP2007034418A (ja) 資料提示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171010

WD01 Invention patent application deemed withdrawn after publication