CN107102804B - 控制设备、控制方法和记录介质 - Google Patents

控制设备、控制方法和记录介质 Download PDF

Info

Publication number
CN107102804B
CN107102804B CN201710072289.1A CN201710072289A CN107102804B CN 107102804 B CN107102804 B CN 107102804B CN 201710072289 A CN201710072289 A CN 201710072289A CN 107102804 B CN107102804 B CN 107102804B
Authority
CN
China
Prior art keywords
projection
user input
projector
touch
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710072289.1A
Other languages
English (en)
Other versions
CN107102804A (zh
Inventor
齐藤裕一郎
浜岛朋希
北森裕绍
松田晋治
工藤大弥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Mobile Communications Inc filed Critical Sony Mobile Communications Inc
Publication of CN107102804A publication Critical patent/CN107102804A/zh
Application granted granted Critical
Publication of CN107102804B publication Critical patent/CN107102804B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种控制设备、控制方法和程序，控制设备包括：投影控制单元，被配置为控制由投影仪进行的图像在投影平面上的投影；以及用户界面UI控制单元，被配置为基于投影仪相对于投影平面的位置关系，在两个或更多个UI模式之间切换关于投影图像的UI模式。

Description

控制设备、控制方法和记录介质
对相关申请的交叉引用
本申请要求于2016年2月19日提交的日本优先权专利申请JP2016-030248的权益，其全部内容通过引用并入本文。
技术领域
本公开涉及控制设备、控制方法和程序。
背景技术
在投影平面上投影图像的投影仪在现有技术中是已知的。JP2003-044839A已经提出了这样的技术，该技术不仅仅将图像投影在投影平面上以将该图像向用户显示，而且还通过相机获取用户在投影平面上所写的信息，并利用链接将获取的信息记录在投影图像上。
发明内容
本公开的技术的发明人已经认识到，JP 2003-044839A中提出的技术也可应用于通过投影图像进行操作的用户界面。但是，取决于图像要被投影到的场所，关于期望什么类型的用户界面存在各种意见。
根据本公开的实施例，提供了一种控制设备，包括：投影控制单元，被配置为控制由投影仪进行的图像在投影平面上的投影；以及用户界面UI控制单元，被配置为基于投影仪相对于投影平面的位置关系，在两个或更多个UI模式之间切换关于投影图像的UI模式。
根据本公开的实施例，提供了一种用于投影控制设备的控制方法，其中投影控制设备被配置为控制由投影仪进行的图像在投影平面上的投影，所述控制方法包括：基于投影仪相对于投影平面的位置关系，在两个或更多个用户界面UI模式之间切换关于投影图像的UI模式。
根据本公开的实施例，提供了一种程序，用于使投影控制设备的处理器用作：投影控制单元，被配置为控制由投影仪进行的图像在投影平面上的投影；以及用户界面UI控制单元，被配置为基于投影仪相对于投影平面的位置关系，在两个或更多个UI模式之间切换关于投影图像的UI模式。
根据与本公开相关的技术，可以向用户提供适合于投影仪相对于投影平面的位置关系的期望类型的用户界面。
注意，上述效果不必是限制性的。连同上述效果一起或代替上述效果，可以实现本说明书中所述的任何一个效果或者可以从本说明书理解的其它效果。
附图说明
图1是示出根据本公开的实施例的投影控制设备的外观的示意图；
图2A是用于描述投影控制设备的第一安装姿态的说明图；
图2B是用于描述投影控制设备的第二安装姿态的说明图；
图3是用于描述可以在第一用户输入检测***中采用的触摸输入检测方案的概述的说明图；
图4是示出第一用户输入检测***的详细配置的示例的框图；
图5是用于描述图4中所示的偏振分束器的效果的说明图；
图6是用于描述使用搜索图像来检测触摸位置的说明图；
图7是示出根据本公开的实施例的投影控制设备的配置的示例的框图；
图8A示出用于描述基于投影仪相对于投影平面的位置关系切换UI模式的第一示例的说明图；
图8B示出用于描述基于投影仪相对于投影平面的位置关系切换UI模式的第二示例的说明图；
图9示出用于描述基于投影仪相对于投影平面的位置关系切换UI模式的第三示例的说明图；
图10是示出可以被第一用户输入检测***检测的用户输入的示例的说明图；
图11是示出可以被第二用户输入检测***检测的用户输入的第一示例的说明图；
图12是示出可以被第二用户输入检测***检测的用户输入的第二示例的说明图；
图13是用于描述用于旋转投影图像的用户界面的示例的说明图；
图14是用于描述基于不取决于用户输入的输入条件进行投影图像改变的示例的说明图；
图15是示出根据本公开的实施例的用户界面控制处理的流程的示例的流程图；
图16是示出UI模式选择处理的详细流程的第一示例的流程图；
图17A是示出UI模式选择处理的详细流程的第二示例的流程图；
图17B是示出UI模式选择处理的详细流程的第三示例的流程图；
图18是示出UI模式选择处理的详细流程的第四示例的流程图；以及
图19是示出UI模式选择处理的详细流程的第五示例的流程图。
具体实施方式
在下文中，将参考所附附图对本公开的一个或多个优选实施例进行详细描述。在本说明书和附图中，具有基本相同功能和结构的结构化元件用相同的标号来标示，并且省略这些结构化元件的重复说明。
此外，将按以下顺序进行描述。
1.设备的概述
1-1.设备的外观
1-2.各种安装姿态
1-3.触摸输入检测***的机制
2.设备的配置
2-1.总体配置
2-2.UI模式的切换
2-3.用户输入的示例
2-4.不取决于用户输入的输入条件
3.处理流程
3-1.UI控制处理
3-2.UI模式选择处理
4.结论
<1.设备的概述>
[1-1.设备的外观]
图1示出了根据本公开的实施例的投影控制设备100的外观。投影控制设备100是将图像投影在该设备外部呈现的投影平面上的所谓的投影仪。在图1的示例中，投影控制设备100具有长方体形状，因此可以以其任何表面作为底部被放置在任何平面上。注意，图1中所示的投影控制设备100的形状仅仅是示例。只要其可以稳定地安装在真实空间中，投影控制设备100可以具有任何形状。
投影控制设备100的壳体的一个表面是发射平面10a。发射平面10a包括投影光开口11和搜索光开口12。投影控制设备100还具有相机13、麦克风14和扬声器15。投影控制设备100通过投影光开口11朝投影平面投射投影光，从而在投影平面上形成投影图像。此外，如下面将详细描述的，投影控制设备100通过搜索光开口12朝投影仪附近的搜索区域发射搜索光，以检测用户的触摸输入。
在本实施例中，投影控制设备100设置有两个用户输入检测***17和18。第一用户输入检测***17使用具有相对高检测准确度的上述搜索光来检测用户的触摸输入。第二用户输入检测***18可以具有比第一用户输入检测***更低的触摸检测准确度，或者可以不能检测触摸。例如，第二用户输入检测***18可以基于由相机13捕获的图像来检测来自用户的手势的输入，或者基于由麦克风14收集的声音来检测来自用户的声音的输入。
[1-2.各种安装姿态]
投影控制设备100可以以各种安装姿态被安装在真实空间中。在这部分中，将描述投影控制设备100的两个典型的安装姿态。
图2A是用于描述投影控制设备100的第一安装姿态的说明图。参考图2A，投影控制设备100以第一安装姿态放置在桌子表面3a上。在第一安装姿态中，投影控制设备100的发射平面10a基本上与用作安装平面的桌子表面3a正交。即，当桌子表面3a是水平平面时，发射平面10a是相对于水平平面的垂直平面。在第一安装姿态中，投影控制设备100可以将投影图像2a投影在桌子表面3a上。在这种情况下，桌子表面3a用作在投影控制设备100下方的投影平面。在图2A的示例中，三个用户围绕桌子，并且因此每个用户可以观看在桌子表面3a上形成的投影图像2a。
图2B是用于描述投影控制设备100的第二安装姿态的说明图。参考图2B，投影控制设备100以第二安装姿态安装在地板上。在第二安装姿态中，投影控制设备100的发射平面10a用作投影控制设备100的顶表面。即，当地板是水平平面时，发射平面10a也是水平平面。在第二安装姿态中，投影控制设备100可以将投影图像2b投影在墙壁表面3b上。在图2B的示例中，用户位于投影控制设备100的与墙壁表面3b相反的一侧，因此可以观看在墙壁表面3b上形成的投影图像2b。
当将图2A的第一安装姿态与图2B的第二安装姿态进行比较时，用户容易触摸在第一安装姿态中用作投影平面的桌子表面3a，但用户不容易触摸在第二安装姿态中用作投影平面的墙壁表面3b。作为另一种安装姿态，如果将第一设置姿态中的投影控制设备100上下颠倒安装，则投影控制设备100可以将投影图像投影在天花板表面上。在这种情况下，用户也不容易触摸用作投影平面的天花板表面。
虽然存在这样的情况：如上所述，取决于投影仪相对于投影平面的位置关系，对投影平面的触摸输入适合于用户界面(UI)，但是存在这种触摸输入不适合于UI的情况。因此，如本说明书中将详细描述的，本公开的技术采用这样的机制，该机制用于取决于图像将被投影到的场所而自适应地改变在其上利用投影图像的用户界面的方案。
[1-3.触摸输入检测***的机制]
现在，将描述用于检测投影平面上的触摸输入的触摸检测方案的示例。注意，这里描述的方案仅仅是示例，并且可以使用其他触摸检测方案。
(1)触摸输入检测方案的概述
图3是用于描述可以在第一用户输入检测***17中采用的触摸输入检测方案的概述的说明图。在图3中，如图2A的示例中一样，投影控制设备100以第一安装姿态放置在桌子表面3a上。投影控制设备100通过投影光开口11发射投影光，以将投影图像21投影在桌子表面3a上。另外，投影控制设备100通过搜索光开口12朝投影仪附近的搜索区域发射搜索光，以形成搜索平面22。搜索光可以是不可见光，例如红外光等。
例如，在处于第一设置姿态的投影控制设备100的底部稍上方设置搜索光开口12(例如，开口离底部的高度可以为大约几mm到几十mm)。由搜索光的轨迹形成的搜索平面22可以例如基本上平行于投影控制设备100的底部，并且在这种情况下，搜索平面22是基本上平行于用作投影平面的桌子表面3a、与桌子表面分开一小段距离的平面。这个搜索平面22可以被理解为由覆盖投影图像21的搜索光的轨迹形成的屏障帘。一般而言，投影平面是平坦的(但是，本公开的技术甚至可以应用于投影平面不一定平坦的情况)。如果在投影平面上或周围没有阻挡材料，则搜索光在不被阻挡的情况下通过投影图像21。但是，如果用户用他或她的手指或任何其它操纵对象触摸投影图像，则操纵对象反射搜索光，使得光在所有方向上漫射。投影控制设备100的第一用户输入检测***17通过投影光开口11接收上述反射的搜索光，并且利用布置在与投影仪的光阀光学上共轭的位置处的图像传感器来检测光。因此，投影控制设备100可以以接近于例如一般电阻膜型或电容型触摸传感器的准确度来检测投影图像上已经被触摸(指点)的部分。
(2)检测***的配置
图4是示出第一用户输入检测***17的详细配置的示例的框图。在图4的示例中，第一用户输入检测***17是投影仪模块110的一部分。投影仪模块110包括图像投影***16、第一用户输入检测***17、偏振分束器46、投影透镜47和投影仪控制器55。图像投影***16包括第一光源41、光阀42和第一信号处理单元43。第一用户输入检测***17包括第二光源31、检测透镜单元51、图像传感器52和第二信号处理单元53。虽然第二光源31布置在与搜索光开口12链接的投影仪子模块110a内部，但是图4中所示的投影仪模块110的其余组成元件4布置在与投影光开口11链接的另一投影仪子模块110b内部。
第一光源41是生成可见光的光源，并且通过偏振分束器46将生成的可见光照射到光阀42。由第一光源41生成的可见光可以是例如包括红色、绿色和蓝色三种颜色分量的激光。光阀42可以是例如硅基液晶(LCOS)等的反射型液晶设备。光阀42基于从第一信号处理单元43输入的图像信号调制例如从第一光源41入射的可见光的第一偏振分量(例如，下面将描述的s偏振分量Ls1)，并将其旋转为第二偏振分量(例如，下面将描述的p偏振分量Lp2)。然后，具有第二偏振分量的可见光(调制光)经由偏振分束器46朝投影透镜47发射。注意，光阀42还可以通过在不改变的情况下反射处于偏振状态的入射可见光的第一偏振分量来表现黑色。
投影透镜47将经由偏振分束器46从光阀42入射的调制光21a通过投影光开口11朝投影平面投影，从而在投影平面上形成投影图像21。另外，投影透镜47接收从与调制光21a的行进方向相反的方向通过投影光开口11入射的搜索光22b(该搜索光已被任何操纵对象反射)。搜索光22b进一步经由投影透镜47入射在偏振分束器46上。
偏振分束器46将入射的搜索光分成第一偏振分量(例如，s偏振分量)和第二偏振分量(例如，p偏振分量)，并且将这些分量导向不同的方向。例如，搜索光的第一偏振分量在偏振分束器46上被选择性地反射，然后使得光入射到检测透镜单元51上。另一方面，搜索光的第二偏振分量选择性地穿过偏振分束器46，然后使得光入射到光阀42上。注意，可以使用其他类型的偏振分离元件(诸如线栅)来代替偏振分束器46。
图4中所示的偏振分束器的效果将使用图5进一步描述。偏振分束器46具有第一光学平面46a、第二光学平面46b、第三光学平面46c、第四光学平面46d和偏振分离平面46e。第一光学平面46a和第三光学平面46c布置成在图中的水平方向上背对背地相互面对，并且第二光学平面46b和第四光学平面46d布置成在图中的垂直方向上背对背地相互面对。第一光学平面46a面向第一光源41(图5中未示出)。第二光学平面46b面向光阀42。第三光学平面46c面向检测透镜单元51。第四光学平面46d面向投影透镜47(图5中未示出)。
从第一光源41照射的可见光L1入射在第一光学平面46a上，并且可见光L1的第一偏振分量(s偏振光分量Ls1)在偏振分离平面46e上反射，并且然后从第二光学平面46b发射。可见光L1的第二偏振分量(p偏振分量Lp1)穿过偏振分离平面46e，并且然后从第三光平面46c发射。来自光阀42的调制光Lp2入射在第二光学平面46b上，并且调制光Lp2的第二偏振分量(p偏振分量Lp2)从第四光学平面46d发射。
另一方面，搜索光L3入射在第四光学面46d上，并且搜索光L3的第一偏振分量(s偏振分量Ls3)在偏振分离平面46e上反射，然后从第三光学平面46c发射。搜索光L3的第二偏振分量(p偏振分量Lp3)穿过偏振分离平面46e，然后从第二光学平面46b发射。搜索光L3的第一偏振分量Ls3穿过检测透镜单元51的中继透镜51a和51b以及未示出的可见光截止滤波器和带通滤波器，然后到达图像传感器52。带通滤波器允许特定波长范围(包括搜索光的波长)的光选择性地通过。
再次参考图4，第二光源31是生成用于搜索被用于触摸输入的操纵对象的搜索光22a并且向投影仪附近的搜索区域照射所生成的搜索光的光源。如上所述，搜索光22a可以是诸如红外光(例如，近红外光)的不可见光。来自第二光源31的搜索光22a例如通过搜索光开口12放射状地发射，以形成与图3的示例的投影控制设备100的底部基本平行的搜索平面22。然后，被触摸投影图像21的操纵对象反射的搜索光22b的第一偏振分量如上所述地在偏振分束器46上进一步反射，然后到达检测透镜单元51。
检测透镜单元51包括使得搜索光22b的图像被形成在与光阀42光学上共轭的位置处的一个或多个中继透镜。为了使图像传感器52小型化的目的，检测透镜单元51可以通过以统一的方式减小搜索光22b的图像来减小搜索光22b的图像。图像传感器52捕获在与光阀42光学上共轭的位置处形成的搜索光22b的图像，并且生成搜索图像信号。图像传感器52可以是任何类型的图像传感器，例如互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)等。
第二信号处理单元53对从图像传感器52输出的搜索图像信号执行预定信号处理(诸如显影或噪声去除)。然后，第二信号处理单元53将处理后的搜索图像信号输出到投影仪控制器55。
第一信号处理单元43使光阀42的驱动电路根据经由投影仪控制器55输入的投影图像信号向光阀42的每个像素提供电压。因此，上述可见光(投影光)被调制，并且因此在投影平面上产生投影图像21。
投影仪控制器55将从投影仪模块110的外部提供的投影图像信号输出到第一信号处理单元43，以使得投影图像21通过图像投影***16被投影在投影平面上。投影仪控制器55可以执行一般的投影控制功能(诸如自动对焦和梯形校正)。此外，在本实施例中，投影仪控制器55基于利用从第一用户输入检测***17输入的搜索图像信号表示的搜索图像来检测对投影图像的触摸输入。
图6是用于描述利用搜索图像来检测触摸位置的说明图。同样在图6的示例中，搜索平面22被形成为覆盖投影图像21。用户例如用他或她的手指触摸投影图像21上的位置Pprj。在触摸位置Pprj的手指上反射的搜索光被图像传感器52捕获，并在搜索图像23内形成操纵对象图像Rfin。投影仪控制器55例如对操纵对象图像Rfin执行已知的特征点检测方法，以检测搜索图像23内的触摸位置Ptou。特征点位置(即，触摸位置)可以是例如手指的尖端的位置、操纵对象图像Rfin的重心位置，等等。如上所述，由于搜索图像是通过基本布置在与光阀42光学上共轭的位置处的图像传感器52成像的，因此搜索图像23上的触摸位置Ptou的坐标与投影图像21上的触摸位置Pprj的坐标匹配。
可以使用如上所述的第一用户输入检测***17以高检测准确度来检测投影平面上的触摸输入。具体地，因为操纵对象一般仅在图2A所示的第一安装姿态中在投影平面附近反射搜索光，所以可以实现接近于正常类型的触摸传感器的触摸输入检测准确度的水平。另一方面，在图2B所示的第二安装姿态中，搜索平面不必在投影平面的附近，并且即使用户触摸投影平面，以类似于第一安装姿态的情况的准确度检测其触摸位置也并不容易。除操纵对象以外的障碍物(例如，用户的身体的一部分)***在投影平面和投影仪之间可能导致阻碍触摸的检测。在下一部分中将详细描述的实施例中考虑这种情况，动态地确定投影仪相对于投影平面的位置关系，并且基于确定的结果在两个或更多个UI模式之间切换用户界面模式。
<2.设备的配置>
[2-1.总体配置]
图7是示出根据实施例的投影控制设备100的配置的示例的框图。参考图7，除了图1中所示的相机13、麦克风14和扬声器15以外，投影控制设备100还设置有投影仪模块110、辨别模块120、传感器模块130、软件模块140、通信接口150以及集成控制单元160。投影仪模块110具有上述图像投影***16和第一用户输入检测***17。相机13、麦克风14和扬声器15与辨别模块120一起构成第二用户输入检测***18。
(1)投影仪模块
投影仪模块110是执行图像在投影平面上的投影和投影的控制的模块。投影仪模块110的详细配置的示例是如使用图4和图5描述的。投影仪模块110例如在集成控制单元160的控制下，通过图像投影***16将由下面将要描述的软件模块140生成的图像朝向投影平面投影。投影图像可以是静止图像或构成动态图像的每个帧。
如上所述，投影仪模块110的第一用户输入检测***17可以使用向投影控制设备100附近的搜索区域发射的搜索光来检测用户的触摸的位置。当投影控制设备100以上述第一安装姿态安装时，搜索区域形成与安装平面基本平行的搜索平面。另一方面，当投影控制设备100以上述第二安装姿态安装时，搜索区域形成与安装平面基本正交的搜索平面。当投影平面与搜索平面基本平行并且投影平面和搜索平面之间的距离较短时，第一用户输入检测***17可以实现足够水平的触摸检测准确度。除了投影平面和搜索平面彼此完全平行的事实之外，“投影平面基本上与搜索平面平行”还包括由这些平面形成的角度引起的触摸检测误差落在(例如，下面将描述的触摸输入自适应软件的)可容许的范围内。当检测到触摸输入时，第一用户输入检测***17向集成控制单元160通知触摸事件的发生。触摸事件信息可以包括事件类型(诸如触摸、轻击、双轻击、轻弹、捏合或捏开)以及与事件相关联的一个或多个触摸位置坐标集合。在特定的UI模式中，第一用户输入检测***17可以被用作主输入界面。在其他UI模式中，第一用户输入检测***17可以被用作辅助输入接口或者可以被禁用。
(2)辨别模块
辨别模块120是执行用于在第二用户输入检测***18中检测用户输入的辨别过程的模块。辨别模块120可以基于例如从相机13输入的图像来检测用户输入。相机13通常被布置在投影控制设备100中，使得相机在投影控制设备100的第二安装姿态中具有在假设存在用户的方向上的视角。在图2B的示例中，相机13被布置在投影控制设备100的与投影平面相对的一侧的表面上。在另一个示例中，相机13可以被布置在与投影平面成直角的侧表面上。此外，相机13可以是全球型相机或半球型相机。辨别模块120可以通过例如辨别从相机13输入的捕获图像中出现的用户的手势来检测手势输入作为用户输入。此外，辨别模块120可以通过辨别从相机13输入的捕获图像中出现的用户的眼睛的运动来检测视线输入作为用户输入。当基于这种图像输入来检测用户输入时，即使可以通过用户输入虚拟地触摸(或指点)投影图像上的点，这种情况的触摸检测准确度(指点准确度)也低于第一用户输入检测***17的触摸检测准确度(指点准确度)。取决于情况，触摸检测(指点期望的点)可能是不可能的。
附加地或替代地，辨别模块120可以基于例如从麦克风14输入的声音来检测用户输入。辨别模块120可以通过辨别例如包括在由麦克风14收集的声音中的预定的声音模式来检测语音命令作为用户输入。当基于这种声音输入检测用户输入时，指点投影平面上的期望点是不可能的。
当检测到手势输入、视线输入或可以等同于语音命令的用户输入时，辨别模块120向集成控制单元160通知用户输入事件的发生。注意，可以由第二用户输入检测***18检测的用户输入的类型不限于上述示例。例如，第二用户输入检测***18可以经由诸如布置在设备上的按钮、开关或控制杆的机械接口来检测用户输入，或者可以通过设备的振动、用户的呼吸的辨别来检测用户输入，等等。
(3)传感器模块
传感器模块130包括被用于确定投影控制设备100相对于投影平面的位置关系的一个或多个传感器。作为示例，传感器模块130可以包括测量投影控制设备100的姿态的姿态传感器131。姿态传感器131可以是例如加速度传感器或陀螺仪传感器。姿态传感器131测量投影控制设备100在对应的时间相对于投影控制设备100的参考姿态的倾斜角度，并将测量结果输出到集成控制单元160。
作为另一个示例，代替姿态传感器131或除了姿态传感器131以外，传感器模块130还可以包括测量从投影控制设备100到投影平面的距离(以下将被称为投影平面的深度)的深度传感器133。深度传感器133可以是任何类型的深度传感器，例如立体相机型、飞行时间(TOF)型，等等。深度传感器133通常使用投影控制设备100的位置作为参考来测量投影平面的深度，并将测量结果输出到集成控制单元160。
(4)软件模块
软件模块140具有处理器(诸如中央处理单元(CPU))和可以包括只读存储器(ROM)和随机存取存储器(RAM)的存储器，并且执行生成将被投影的图像的软件。作为示例，软件模块140在集成控制单元160的控制下，选择性地执行触摸输入自适应软件141和触摸输入非自适应软件143。触摸输入自适应软件141可以包括触摸输入自适应基本软件(用于移动设备的操作***(例如，Android(注册商标)、iOS或Windows Mobile(注册商标))。此外，触摸输入自适应软件141可以包括触摸输入自适应应用软件。触摸输入自适应应用软件可以包括被设计为在移动设备(诸如智能电话或平板个人计算机(PC))上操作的各种软件，例如网页浏览器、邮件软件、文本编辑器、即时消息器等。
触摸输入非自适应软件143可以是不需要用于操作的精确指点的任何类型的软件。触摸输入非自适应软件143还可以包括基本软件和应用软件的任何组合。下面将进一步描述触摸输入非自适应软件143的几个示例。
(5)通信接口
通信接口150居中传达(mediate)投影控制设备100与另一设备之间的通信。通信接口150可以实现蜂窝通信协议(诸如WiMAX、长期演进(LTE)或高级LTE(LTE-A))，或者其他无线通信协议(诸如无线LAN(也被称为Wi-Fi(注册商标))或蓝牙(注册商标))。此外，通信接口150可以实现有线通信协议(诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI))。投影仪模块110可以在投影平面上投影经由通信接口150从另一设备接收的图像，而不是在软件模块140中生成的图像。
(6)集成控制单元
集成控制单元160具有处理器(诸如CPU)和可以包括ROM和RAM的存储器，并且控制投影控制设备100的整体操作。当投影控制设备100被激活时，例如，集成控制单元160使软件模块140执行任何软件。此外，集成控制单元160使投影仪模块110将由正在执行的软件生成的图像(例如，操作***的图像或应用的图像)投影在投影平面上。另外，当由第一用户输入检测***17或第二用户输入检测***18通知任何用户输入事件时，集成控制单元160将这个用户输入事件移交给正在执行的软件。当所通知的用户输入事件指示具体的用户输入时，集成控制单元160可以自己处理该用户输入事件(例如，根据指示操作停止的语音命令关闭投影控制设备100的电源等)，而不是将用户输入事件移交给软件。
在本实施例中，集成控制单元160确定投影控制设备100相对于投影平面的位置关系，并且基于确定的结果在两个或更多个用户界面UI模式之间切换用于投影图像的UI模式。第一UI模式是将第一用户输入检测***17用作主输入界面的模式。第二UI模式是不将第一用户输入检测***17用作主输入界面的模式。在下面的描述中，第一UI模式将被称为“触摸模式”，而第二UI模式将被称为“非触摸模式”。
集成控制单元160可以使软件模块140取决于已经选择了触摸模式和非触摸模式中的哪一个来执行不同的软件。例如，当选择触摸模式时，集成控制单元160可以使软件模块140执行触摸输入自适应软件141。此外，当选择非触摸模式时，集成控制单元160可以使软件模块140执行触摸输入非自适应软件143。
[2-2.UI模式的切换]
当通常基于投影控制设备100相对于投影平面的位置关系确定第一用户输入检测***17能够实现特定水平的触摸检测准确度时，集成控制单元160选择触摸模式。例如，当如图2A中所示，投影控制设备100以第一安装姿态放置在桌子表面上并且图像被投影在桌子表面上时，在投影图像的附近形成搜索平面来覆盖投影图像，并且因此第一用户输入检测***17可以实现对于触摸输入自适应软件141的足够水平的触摸检测准确度。因此，在这种情况下，集成控制单元160可以选择触摸模式。这种选择可以基于使用姿态传感器131或深度传感器133简单地确定投影平面是否基本上水平地位于投影控制设备100下方来进行。另一方面，当如图2B中所示，投影控制设备100以第二安装姿态安装时，投影控制设备100的搜索平面和投影平面之间具有一定程度的距离，并且因此可以推断出第一用户输入检测***17可能无法实现足够水平的触摸检测准确度。因此，在这种情况下，集成控制单元160可以选择非触摸模式。
作为确定位置关系的第一示例，当从姿态传感器131输入的投影控制设备100的姿态的测量结果指示搜索平面基本上是水平的时，集成控制单元160可以推断出投影控制设备100以上述第一安装姿态安装在投影平面的上方。图8A示出了用于描述基于投影仪相对于投影平面的位置关系切换UI模式的第一示例的说明图。在这里，在使用图1描述的投影控制设备100的壳体的与发射平面10a正交的表面之中，最接近搜索光开口12的表面10b(图中搜索光开口的下侧)被假设为用于姿态测量的参考平面。参考平面10b基本上与搜索平面水平。从姿态传感器131输入的测量结果指示参考平面10b是水平的，并且参考平面10b的法线被取向在重力的方向上。这个测量结果可以意味着投影控制设备100以第一安装姿态安装在水平表面(诸如桌子表面)上。因此，集成控制单元160可以基于该测量结果选择触摸模式。另一方面，从姿态传感器131输入的测量结果可以指示参考平面10b相对于图8A右侧的水平表面是垂直的。这个测量结果可以意味着投影控制设备100没有以第一安装姿态安装。因此，集成控制单元160可以基于该测量结果选择非触摸模式。表1指示基于上述投影仪的姿态对UI模式的选择的框架。
表1.基于投影仪的姿态对UI模式的选择
投影仪(的参考平面)的姿态 水平 垂直
要选择的UI模式 触摸模式 非触摸模式
作为确定位置关系的第二示例，当指示从深度传感器133输入的投影平面的深度的测量结果指示搜索平面和投影平面之间的距离较短时，集成控制单元160可以简单地确定投影控制设备100以上述第一安装姿态安装在投影平面的上方。图8B示出了用于描述基于投影仪相对于投影平面的位置关系切换UI模式的第二示例的说明图。在这里，深度传感器133测量参考平面10b在法线方向上的深度。在图8B的左图中，从深度传感器133输入的测量结果指示小于特定的阈值的深度，这意味着在参考平面10b下方存在安装平面(诸如桌子表面)。因此，集成控制单元160可以基于该测量结果选择触摸模式。另一方面，在图8B的右图中，从深度传感器133输入的测量结果指示大于特定阈值的深度，因为参考平面10b不与任何物体接触。因此，集成控制单元160可以基于该测量结果选择非触摸模式。表2示出了基于投影平面的深度对UI模式的这种选择的框架。
表2.基于投影平面的深度对UI模式的选择
投影平面到投影仪的深度 小于阈值 大于阈值
要选择的UI模式 触摸模式 非触摸模式
注意，根据上述第二示例，当在例如图8B所示的情况下另一物体偶然与参考平面10b接触时，深度传感器133的测量结果指示小于阈值的深度，并且存在集成控制单元160错误地选择触摸模式的可能性。但是，当选择了非预期的UI模式时，用户可以简单地通过移动阻挡物体来使投影控制设备100再次选择UI模式。因此，错误选择的可能性不会降低上述技术的可用性。
作为第三示例，集成控制单元160可以基于来自姿态传感器131的第一测量结果和来自深度传感器133的第二测量结果来确定投影控制设备100相对于投影平面的位置关系。图9示出了用于描述基于投影仪相对于投影平面的位置关系切换UI模式的第三示例的说明图。在图9的左图中，从姿态传感器131输入的第一测量结果指示参考平面10b是水平的，并且参考平面10b的法线被取向在重力方向上。因此，集成控制单元160可以基于这个测量结果选择触摸模式。在图9的右上图中，从姿态传感器131输入的测量结果指示参考平面10b相对于水平面是垂直的。因此，集成控制单元160进一步从深度传感器133获取指示投影平面的深度的第二测量结果。此外，由于获取的第二测量结果指示小于特定阈值的深度，因此集成控制单元160可以确定投影控制设备100的搜索平面在靠近投影平面的附近并且第一用户输入检测***17可以实现足够水平的触摸检测准确度。因此，在这种情况下，集成控制单元160可以选择触摸模式。另一方面，当如图9的右下图所示，从深度传感器133获取的第二测量结果指示大于阈值的深度时，集成控制单元160可以确定第一用户输入检测***17不能实现足够水平的触摸检测准确度。因此，集成控制单元160可以选择非触摸模式。表3示出了基于投影仪的姿态和投影平面的深度对UI模式的这种选择的框架。
表3.基于投影仪的姿态和投影平面的深度对UI模式的选择
Figure GDA0003019054890000171
注意，表3中所示的对UI模式的选择的框架仅仅是示例。在另一个示例中，当来自深度传感器133的指示投影平面的深度的第二测量结果指示大于特定阈值的深度时，集成控制单元160可以不管参考平面的姿态而选择非触摸模式。此外，当第二测量结果指示小于阈值的深度时，集成控制单元160可以从姿态传感器131获取第一测量结果，并且当第一测量结果指示参考平面的法线被取向在重力方向上时选择触摸模式，而当该法线不是被取向在重力方向上时选择非触摸模式。根据这种示例，在其中投影控制设备100安装在其上的表面与投影平面之间存在水平差异并且因此搜索平面不可能被形成在投影平面附近的情况下，可以避免即使不能实现足够水平的触摸检测准确度也选择了触摸模式的不适当情况。此外，在即使投影平面的深度较小也将图像投影在墙壁表面上时，手指的阴影的尺寸较大并且因此触摸输入的可操作性劣化的情况下，选择非触摸模式而不是触摸模式会是有益的。表4示出了与表3不同的对UI模式的这种选择的框架。
表4.基于投影仪的姿态和投影平面的深度对UI模式的选择
Figure GDA0003019054890000181
虽然到目前为止已经描述了在两个UI模式之间切换模式的示例，但是集成控制单元160可以基于投影控制设备100相对于投影平面的位置关系在三个或更多个UI模式之间切换模式。例如，可以存在三个UI模式，即，对于桌子表面是投影平面的情况的“桌子模式”、对于墙壁表面是投影平面的情况的“墙壁模式”、以及对于天花板表面是投影平面的情况的“天花板模式”。桌子模式和墙壁模式可以分别对应于上述触摸模式和非触摸模式。天花板模式也可以对应于非触摸模式。但是，虽然在“天花板模式”中启用了基于用户输入的投影图像的旋转，但是在“墙壁模式”中可以禁用投影图像的旋转。例如，当从姿态传感器131输入的测量结果指示参考平面10b是水平的但参考平面10b的法线被取向在与重力方向相反的方向上时，集成控制单元160可以选择天花板模式。
[2-3.用户输入的示例]
集成控制单元160使用第一用户输入检测***17作为如上所述触摸模式中的主输入界面。即，集成控制单元160使得第一用户输入检测***17处于触摸模式。此外，当第一用户输入检测***17检测到触摸输入时，集成控制单元160将由第一用户输入检测***17通知的触摸事件移交到正在执行的软件。
图10是示出可以由第一用户输入检测***17检测的用户输入的示例的说明图。参考图10，投影控制设备100放置在被三个用户围绕的桌子上。投影控制设备100将投影图像Im10投影在桌子表面3a上。投影图像Im10是在用于移动设备的操作***上操作的触摸输入自适应网页浏览器的图像。例如，用户Ua轻击投影图像Im10上的位置P10，以将由网页浏览器显示的页面转变到期望的链接目的地的网页。然后，第一用户输入检测***17使用搜索光捕获已经轻击了位置P10的用户Ua的图像，并且向集成控制单元160通知指示位置P10已经被轻击的触摸事件。集成控制单元160将所通知的触摸事件(经由操作***)移交给正在执行的网页浏览器，并且因此，由网页浏览器显示用户Ua的期望链接目的地的网页。由于第一用户输入检测***17在触摸模式下实现了足够水平的触摸检测准确度，因此用户可以经由投影图像与正在执行的软件自由交互，如同他或她正在对智能电话或平板PC的触摸传感器执行操作一样。
在非触摸模式下，集成控制单元160选择将第二用户输入检测***18用作主输入界面的第二UI模式。然后，当第二用户输入检测***18检测到任何用户输入时，集成控制单元160将由第二用户输入检测***18通知的用户输入事件移交到正在执行的软件。
图11是示出可以被第二用户输入检测***18检测的用户输入的第一示例的说明图。参考图11，投影控制设备100安装在墙壁表面3b和用户Ub之间。投影控制设备100将投影图像Im11投影在墙壁表面3b上。投影图像Im11是触摸输入非自适应内容查看器的图像。例如，用户Ub做出将他或她的手向右或向左移动的手势G1。手势G1可以被解释为所谓的滑动(swipe)。然后，第二用户输入检测***18的辨别模块120辨别从相机13输入的捕获图像中出现的手势G1，并且向集成控制单元160通知手势输入事件。集成控制单元160将所通知的手势输入事件移交给内容查看器，并且因此，投影图像中内容的显示在与手势的输入相对应的方向上滚动。
除了(或代替)上述滑动之外，辨别模块120还可以辨别任何类型的手势(诸如举起手、摇动手、将两只手放在一起或分开两只手)。在这种手势界面中，第二用户输入检测***18可以能够基于例如手的位置和手在所捕捉的图像内的区域的变化来检测触摸(或指点)。但是，在这种情况下的检测准确度低于第一用户输入检测***17可实现的准确度水平。当从所捕获的图像辨别出的用户的视线被用作用户输入时，触摸(或指点)是不可能的，或者即使有可能，也仅能实现低触摸检测准确度。
图12是示出可以由第二用户输入检测***18检测的用户输入的第二示例的说明图。图12中，投影控制设备100同样安装在墙壁表面3b和用户Ub之间。例如，用户Ub发出语音命令C1来调用日历。然后，第二用户输入检测***18的辨别模块120辨别被包括在从麦克风14输入的声音中的语音命令C1，并向集成控制单元160通知声音输入事件。集成控制单元160使得软件模块140根据所通知的声音输入事件激活日历应用。因此，显示由日历应用生成的日历的投影图像Im12被投影在墙壁表面3b上。日历应用是触摸输入非自适应应用软件，并且可以通过例如手势输入或声音输入被用户操纵。辨别模块120可以辨别任何类型的语音命令。使用语音命令的用户界面一般不能检测触摸。
注意，本技术不限于图11和图12的示例，并且第二用户输入检测***18可以包括任何类型的用户输入机制。例如，可以在第二用户输入检测***18中包括检测在几十厘米范围内的人体的存在的人体传感器，以作为检测用开和关的二进制值表示的用户输入的用户输入机制。
图11和图12示出了内容查看器和日历应用的图像，作为触摸输入非自适应软件的图像。但是，触摸输入非自适应软件不限于此。例如，可以实现具有各种目的(诸如时钟、时间表以及用于家用能量管理)的触摸输入非自适应软件，并且软件的任何图像可以以非触摸模式来投影。
当选择触摸模式时，除了第一用户收入检测***17之外，集成控制单元160还可以使用如参考图11和12所描述的第二用户输入检测***18作为输入界面。另一方面，当选择非触摸模式时，集成控制单元160可以使得第一用户输入检测***17被禁用，以便防止用户错误地执行非预期的触摸操作(例如，停止搜索光的照射，等等)。此外，当选择非触摸模式时，除了第二用户输入检测***18之外，集成控制单元160还可以使用第一用户输入检测***17作为输入界面。在非触摸模式下，由于投影平面和搜索平面之间的距离的程度，通过触摸输入的精确指点可能较困难。但是，第一用户输入检测***17仍然可以被用作用于检测手是否阻挡搜索光(以例如开和关的二进制值表示)的简单用户输入机制。
当投影平面被确定为是基本水平的时，集成控制单元160可以启用用于旋转投影图像的用户界面(以下将被称为旋转UI)，并且当投影平面是基本垂直的时，可以使得旋转UI被禁用。旋转UI可以包括连同投影图像一起显示的图形用户界面(GUI)和声音UI中一个或多个。
图13是用于描述旋转UI的示例的说明图。参考图13的左边部分，投影控制设备100被放置在由两个用户围绕的桌子上。投影控制设备100将投影图像Im13a投影在桌子表面3a上。投影图像Im13a是在用于移动设备的操作***上操作的触摸输入自适应网页浏览器的图像。投影图像Im13a的四个角显示按钮J1a、J1b、J1c和J1d。这些按钮J1a、J1b、J1c和J1d是用于旋转投影图像的GUI项目。例如，当用户Uc轻击按钮J1b时，第一用户输入检测***17向集成控制单元160通知指示按钮J1b的位置已经被轻击的触摸事件。根据所通知的触摸事件，集成控制单元160将网页浏览器的显示顺时针旋转90°。因此，如图13的右边部分所示，在适于用户Uc观看页面的方向上投影显示网页的投影图像Im13a。
当旋转UI是声音UI时，声音可以是声学声音或用户的话语。例如，当用户轻击桌子时生成的声学声音可以被用作用于旋转投影图像的声音输入。此外，第二用户输入检测***18可以基于使用阵列型麦克风辨别出的声音的传入方向来确定投影图像应当在哪个方向上旋转。
[2-4.不取决于用户输入的输入条件]
在非触摸模式下，仅具有低水平的触摸检测准确度的触摸输入是可能的，或者触摸输入是不可能。因此，集成控制单元160可以使软件模块140执行触摸输入非自适应软件，其中该触摸输入非自适应软件基于不取决于用户输入的输入条件来改变投影图像，以便在非触摸模式下更多地丰富用户体验。在这里提到的不取决于用户输入的输入条件可以是与例如日期、时间、天气、投影仪的安装地点和辨别出的用户当中的至少一个相关的条件。
图14是用于描述基于不取决于用户输入的输入条件进行投影图像改变的示例的说明图。参考图14，投影控制设备100以第二安装姿态安装在墙壁表面3b的前方。在图14的左边部分中，假设是下午时间并且天气很好。集成控制单元160可以从例如经由通信接口150从外部服务器获取的天气数据来确定天气。集成控制单元160使显示表示良好白天的室外状态的背景的投影图像被投影在墙壁表面3b上。在图14的右边部分中，假设是夜间并且天气是多云。集成控制单元160基于由时间和天气数据指示的输入条件使得显示表示多云夜晚的室外状态的背景的投影图像投影在墙壁表面3b上。
辨别模块120可以使用已知的个人辨别技术(诸如面部辨别、指纹认证、虹膜认证等)来识别观看投影图像的用户。当以非触摸模式执行日历应用或时钟应用时，这些应用可以将针对识别出的用户预先注册的日程信息叠加在日历或时钟的图像上。此外，辨别模块120可以基于从全球定位***(GPS)传感器或定位传感器(诸如PlaceEngine(注册商标))输入的位置测量结果来辨别投影仪的安装场所。例如，当投影控制设备100以非触摸模式位于房屋的起居室中时，可以投影日历或时钟的图像，并且另一方面，当投影控制设备100位于厨房中时，可以投影推荐的烹饪菜谱的信息。
<3.处理流>
在本部分中，将使用若干流程图来描述可以由上述投影控制设备100执行的处理的流程的示例。注意，虽然在流程图中描述了多个处理步骤，但是处理步骤可以不必按照流程图中所示的顺序执行。可以以并行方式执行若干处理步骤。此外，可以采用附加的处理步骤，并且可以省略一些处理步骤。
[3-1.UI控制处理]
图15是示出根据实施例的用户界面控制处理的流程的示例的流程图。在这里，假设投影控制设备100的投影仪模块110已经被激活。
参考图15，首先，集成控制单元160执行UI模式选择处理，以基于投影控制设备100相对于投影平面的位置关系来选择UI模式(步骤S110)。下面将更详细地描述这里执行的UI模式选择处理的若干示例。取决于在UI模式选择处理中是否已选择了触摸模式来划分以下处理(步骤S130)。
当选择触摸模式作为UI模式时，软件模块140执行触摸输入自适应软件141，并且生成触摸输入自适应软件141的图像(步骤S135)。投影仪模块110将生成的触摸输入自适应软件141的图像投影在投影平面上(步骤S140)。
接下来，集成控制单元160确定投影仪模块110的第一用户输入检测***17是否已经检测到触摸输入(步骤S145)。当第一用户输入检测***17已经检测到触摸输入时，集成控制单元160将由第一用户输入检测***17通知的触摸事件移交给正在执行的触摸输入自适应软件141(步骤S150)。因此，触摸输入自适应软件141可以根据触摸事件执行处理(例如，读取在轻击的链接目的地处的网页，等等)，并且生成新的投影图像。当没有检测到触摸输入时，处理可以进行到步骤S165。
当在步骤S110中没有选择非触摸模式作为UI模式时，在软件模块140中执行触摸输入非自适应软件143，并且生成触摸输入非自适应软件143的图像(步骤S155)。投影仪模块110将生成的触摸输入非自适应软件143的图像投影在投影平面上(步骤S160)。
接下来，集成控制单元160确定投影仪模块110的第二用户输入检测***18是否检测到其它用户输入(步骤S165)。当第二用户输入检测***18检测到任何用户输入时，集成控制单元160将由第二用户输入检测***18通知的用户输入事件移交给正在执行的软件(步骤S170)。因此，由正在执行的软件执行与用户输入事件相对应的处理，从而可以生成新的投影图像。
接下来，集成控制单元160确定UI模式是否要改变(步骤S180)。例如，当从传感器模块130输入的测量结果指示投影控制设备100的姿态或投影平面的深度已经改变时，或者当已经检测到指示UI模式的改变的用户输入时，集成控制单元160可以确定改变UI模式。当集成控制单元160已经确定改变UI模式时，图15的用户界面控制处理返回到步骤S110。当集成控制单元160已经确定不改变UI模式时，图15的用户界面控制处理返回到步骤S130，并且重复上述软件的图像的生成和投影以及对用户输入的监视。
[3-2.UI模式选择处理]
(1)第一示例
图16是示出图15中所示的UI模式选择处理的详细流程的第一示例的流程图。参考图16，首先，集成控制单元160从传感器模块130获取投影控制设备100相对于投影平面的位置关系的测量结果(步骤S113)。接下来，集成控制单元160基于所获取的测量结果确定投影平面是否基本水平地位于投影控制设备100下方(步骤S115)。
然后，当确定投影平面基本水平地位于投影控制设备100下方时，集成控制单元160选择触摸模式作为UI模式(步骤S120)。另一方面，当投影平面不是基本水平地位于投影控制设备100下方时，集成控制单元160选择非触摸模式作为其UI模式(步骤S128)。
(2)第二示例
图17A是示出图15中所示的UI模式选择处理的详细流程的第二示例的流程图。参考图17A，首先，集成控制单元160从姿态传感器131获取关于投影控制设备100的姿态的测量结果(步骤S114)。接下来，集成控制单元160基于所获取的测量结果确定投影控制设备100是否安装在投影平面上方(步骤S116)。
例如，当来自姿态传感器131的测量结果指示参考平面10b是水平的时，集成控制单元160可以确定投影控制设备100以第一安装姿态安装在投影平面上方。当确定投影控制设备100如上所述安装在投影平面上方时，集成控制单元160选择触摸模式作为UI模式(步骤S120)。
另一方面，例如，当来自姿态传感器131的测量结果指示参考平面10b不是水平的时，集成控制单元160进一步从深度传感器133获取指示投影平面的深度的测量结果(步骤S122)。接下来，集成控制单元160基于所获取的测量结果确定第一用户输入检测***17的搜索平面与投影平面之间的距离(即，投影平面的深度)是否小于阈值(步骤S124)。然后，当确定投影平面的深度小于阈值时，集成控制单元160选择触摸模式作为UI模式(步骤S120)。另一方面，当确定投影平面的深度不小于阈值时，集成控制单元160选择非触摸模式(步骤S128)。
(3)第三示例
图17B是示出图15中所示的UI模式选择处理的详细流程的第三示例的流程图。参考图17B，首先，集成控制单元160从深度传感器133获取指示投影平面的深度的测量结果(步骤S122)。接下来，集成控制单元160基于所获取的测量结果确定投影平面的深度是否小于阈值(步骤S124)。当确定投影平面的深度不小于阈值时，集成控制单元160选择非触摸模式(步骤S128)。
另一方面，当确定投影平面的深度小于阈值时，集成控制单元160进一步从姿态传感器131获取关于投影控制设备100的姿态的测量结果(步骤S125)。接下来，集成控制单元160基于来自姿态传感器131的测量结果，确定投影控制设备100的参考平面10b是否是水平的(步骤S126)。
然后，当来自姿态传感器131的测量结果指示参考平面10b是水平的时，集成控制单元160选择触摸模式作为UI模式(步骤S127)。另一方面，当来自姿态传感器131的测量结果指示参考平面10b不是水平的时，集成控制单元160选择非触摸模式作为UI模式(步骤S128)。
(4)第四示例
图18是示出图15中所示的UI模式选择处理的详细流程的第四示例的流程图。参考图18，首先，集成控制单元160从传感器模块130的深度传感器133获取指示投影平面的深度的测量结果(步骤S122)。接下来，集成控制单元160基于所获取的测量结果，确定在与搜索平面正交的方向上是否呈现投影平面(步骤S123)。当在与搜索平面正交的方向上不呈现投影平面时，集成控制单元160选择非触摸模式作为UI模式(步骤S128)。
另一方面，当在与搜索平面正交的方向上呈现投影平面时，集成控制单元160基于从深度传感器133获取的测量结果来确定投影平面的深度是否小于阈值(步骤S124)。然后，当确定投影平面的深度小于阈值时，集成控制单元160选择触摸模式作为UI模式(步骤S127)。另一方面，当确定投影平面的深度不小于阈值时，集成控制单元160选择非触摸模式(步骤S128)。
(5)第五示例
上述第一、第二、第三和第四示例全部基于以下前提：集成控制单元160使用传感器数据自主地选择UI模式。但是，当用户明确地指定UI模式时，由用户指定的UI模式可以优先于由该单元自主选择的UI模式。
图19是示出图15中所示的UI模式选择处理的详细流程的第五示例的流程图。参考图19，首先，集成控制单元160确定是否要自主地选择UI模式(步骤S111)。例如，当没有检测到指定UI模式的用户输入时，集成控制单元160可以确定自主选择UI模式。
当集成控制单元160已确定自主选择UI模式时，该单元从传感器模块130的姿态传感器131获取关于投影控制设备100的姿态的测量结果(步骤S114)。接下来，集成控制单元160基于所获取的测量结果确定投影控制设备100是否被安装在投影平面的上方(步骤S116)。当投影控制设备100被确定为安装在投影平面上方时，集成控制单元160选择触摸模式作为UI模式(步骤S120)。另一方面，当确定投影控制设备100未被安装在投影平面上方时，集成控制单元160选择非触摸模式作为UI模式(步骤S128)。
此外，当在步骤S111中确定不自主选择UI模式时，集成控制单元160基于可以通过第一用户输入检测***17或第二用户输入检测***18检测的用户输入来选择UI模式(步骤S129)。注意，基于用户输入的对UI模式的这种选择可以与UI模式选择处理的上述第一至第四示例中的任意进行组合。
<4.结论>
到目前为止，已经利用图1至图19描述了与本公开相关的技术的实施例的细节。根据上述实施例，当投影仪在投影平面上投影图像时，基于投影仪相对于投影平面的位置关系，在两个或更多个UI模式之间切换用于投影图像的UI模式。因此，可以以适合于投影仪相对于投影平面的位置关系的期望方案向用户提供用户界面。例如，当在用户试图触摸投影平面时，存在妨碍触摸的检测的、不是操纵对象的障碍物的较高的可能性时，可以通过主要使用除触摸输入之外的用户输入来确保平滑的用户交互。
此外，根据实施例，当投影平面基本水平地位于投影仪下方时，检测对投影平面的触摸输入的第一用户输入检测***可以被用作主输入界面。例如，当便携式投影仪被放置在像桌子表面的水平表面上，并且在桌子表面上投影图像时，可以使用被包括在投影仪中的姿态传感器容易地推断出这种位置关系。在这种情况下，可以使用小尺寸的姿态传感器以低成本来构造确定投影仪和投影平面是否处于适于触摸输入的位置关系的机制。
此外，根据实施例，投影仪包括第一用户输入检测***，该第一用户输入检测***使用向投影仪附近的搜索区域发射的搜索光来检测用户的触摸的位置。当投影仪相对于投影平面处于特殊位置关系时，使用搜索光的方法可以通过在投影图像附近形成搜索平面以覆盖投影图像来实现高水平的触摸检测准确度。因此，这种方法适合于上述基于投影仪相对于投影平面的位置关系切换UI模式的技术。例如，通过仅在从位置关系确定第一用户输入检测***能够实现足够水平的触摸检测准确度时，才主要使用第一用户输入检测***，可以避免由触摸检测准确度的劣化引起的用户体验的下降，同时尽可能多地利用使用搜索光的方法的便利性。
此外，根据实施例，当在上述使用搜索光的方法中形成的搜索平面基本上与投影仪的安装平面正交时(在这种情况下，如果安装平面是水平的，则搜索平面是垂直的，并且投影平面也是垂直的)，可以基于投影平面到投影仪的深度作出进一步的确定。然后，当投影平面的深度大于阈值时，确定第一用户输入检测***不能实现足够水平的触摸检测准确度，因此可以代替第一用户输入检测***而主要使用第二用户输入检测***。因此，例如，在用户以大屏幕形状观看和收听在房间的墙壁上投影的内容的应用中，可以通过精确地确定用户触摸投影平面的难度而向用户提供适合于应用的用户界面(例如，手势UI、声音UI、视线UI等)。
另外，根据实施例，投影仪可以取决于所选择的UI模式选择性地执行触摸输入自适应软件或触摸输入非自适应软件。因此，当第一用户输入检测***被确定为能够实现足够水平的触摸检测准确度时，允许执行被设计为在移动设备(例如智能电话或平板PC)上操作的软件，但是当不能够实现足够水平的触摸检测准确度时，可以自动执行替代软件。
注意，本说明书中描述的各种处理可以使用软件、硬件或软件和硬件的组合中的任意一个来实现。构成软件的程序存储在例如预先设置在设备内部或外部的记录介质(非易失性介质)中。此外，每个程序通过例如正在执行的RAM读取，并且被处理器(诸如CPU)执行。
此外，本说明书中描述的设备的一些逻辑功能可以在云计算环境中存在的设备上实现，而不是在上面提到的设备上实现。在这种情况下，逻辑功能之间交换的信息可以经由图7中例示的通信接口发送或接收。
本领域技术人员应当理解，取决于设计要求和其它因素，可以进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同的范围内即可。
另外，本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。即，连同上述效果一起或代替上述效果，根据本公开的技术可以实现基于本说明书的描述对本领域技术人员清楚的其它效果。
此外，本技术还可以被配置如下。
(1)一种控制设备，包括：
投影控制单元，被配置为控制由投影仪进行的图像在投影平面上的投影；以及
用户界面UI控制单元，被配置为基于投影仪相对于投影平面的位置关系，在两个或更多个UI模式之间切换关于投影图像的UI模式。
(2)根据(1)所述的控制设备，
其中，当投影平面基本水平地位于投影仪下方时，UI控制单元选择第一UI模式，在所述第一UI模式中，将被配置为检测对投影平面的触摸输入的第一用户输入检测***用作主输入界面。
(3)根据(1)或(2)所述的控制设备，
其中，投影仪包括第一用户输入检测***，所述第一用户输入检测***被配置为使用向投影仪附近的搜索区域发射的搜索光来检测用户的触摸的位置。
(4)根据(3)所述的控制设备，
其中，当根据位置关系确定第一用户输入检测***能够实现一定水平的触摸检测准确度时，UI控制单元选择将第一用户输入检测***用作主输入界面的第一UI模式。
(5)根据(4)所述的控制设备，
其中，搜索区域形成与处于投影仪的第一安装姿态的投影仪的安装平面基本平行的搜索平面，以及
当投影仪以第一安装姿态安装在投影平面上时，UI控制单元确定第一用户输入检测***能够实现所述水平的触摸检测准确度。
(6)根据(3)至(5)中任一项所述的控制设备，
其中，UI控制单元基于来自投影仪的姿态传感器的第一测量结果确定投影仪相对于投影平面的位置关系。
(7)根据(6)所述的控制设备，
其中，当来自姿态传感器的第一测量结果指示由搜索区域形成的搜索平面基本上是水平的时，UI控制单元选择将第一用户输入检测***用作主输入界面的第一UI模式。
(8)根据(5)所述的控制设备，
其中，搜索区域形成与处于投影仪的第二安装姿态的投影仪的安装平面基本正交的搜索平面，以及
当投影仪以第二安装姿态安装并且投影平面的深度大于阈值时，UI控制单元确定第一用户输入检测***不能实现所述水平的触摸检测准确度。
(9)根据(8)所述的控制设备，
其中，UI控制单元基于来自投影仪的深度传感器的第二测量结果获取投影平面的深度。
(10)根据(2)至(9)中任一项所述的控制设备，
其中，投影仪还包括第二用户输入检测***，第二用户输入检测***被配置为具有比第一用户输入检测***低的触摸检测准确度或者不能检测触摸，以及
在第二UI模式中，UI控制单元使用第二用户输入检测***作为主输入界面，在所述第二UI模式中不主要使用第一用户输入检测***。
(11)根据(10)所述的控制设备，
其中第二用户输入检测***检测用户的手势、声音和视线中的一个或多个作为用户输入。
(12)根据(11)所述的控制设备，
其中，投影仪还包括相机，当选择第二UI模式时，所述相机具有朝向假设存在用户的方向的视角，以及
第二用户输入检测***基于来自相机的图像的输入来检测用户输入。
(13)根据(2)至(12)中任一项所述的控制设备，
其中，投影仪投影在投影平面上选择性地执行的触摸输入自适应软件或触摸输入非自适应软件的图像，以及
在主要使用第一用户输入检测***的第一UI模式中执行触摸输入自适应软件。
(14)根据(13)所述的控制设备，
其中，触摸输入自适应软件包括触摸输入自适应基本软件和触摸输入自适应应用软件中的一个或多个。
(15)根据(13)或(14)所述的控制设备，
其中触摸输入非自适应软件基于不取决于用户输入的输入条件来改变投影图像。
(16)根据(15)所述的控制设备，
其中，不取决于用户输入的输入条件涉及日期、时间、天气、投影仪的安装地点和辨别出的用户中的至少一个。
(17)根据(1)至(16)中任一项所述的控制设备，
其中，当投影平面被确定为基本是水平的时，UI控制单元启用用于旋转投影图像的UI。
(18)根据(17)所述的控制设备，
其中，用于旋转投影图像的UI包括连同图像一起显示的GUI和声音UI中一个或多个。
(19)一种用于投影控制设备的控制方法，所述投影控制设备被配置为控制由投影仪进行的图像在投影平面上的投影，所述控制方法包括：
基于投影仪相对于投影平面的位置关系，在两个或更多个用户界面UI模式之间切换关于投影图像的UI模式。
(20)一种程序，用于使得投影控制设备的处理器用作：
投影控制单元，被配置为控制由投影仪进行的图像在投影平面上的投影；以及
用户界面UI控制单元，被配置为基于投影仪相对于投影平面的位置关系，在两个或更多个UI模式之间切换关于投影图像的UI模式。

Claims (17)

1.一种控制设备，包括：
投影控制单元，被配置为控制由投影仪进行的图像在投影平面上的投影；以及
用户界面UI控制单元，被配置为基于投影仪相对于投影平面的位置关系，在两个或更多个UI模式之间切换通过投影图像进行操作的UI的模式，
其中，投影仪包括第一用户输入检测***，所述第一用户输入检测***被配置为使用向投影仪附近的搜索区域发射的搜索光来检测用户的触摸的位置，
其中，当根据所述位置关系确定第一用户输入检测***能够实现一定水平的触摸检测准确度时，UI控制单元选择将第一用户输入检测***用作主输入界面的第一UI模式，
其中，投影平面与由搜索区域形成的搜索平面基本平行，并且根据投影平面和搜索平面之间的距离，确定第一用户输入检测***是否能够实现所述水平的触摸检测准确度。
2.如权利要求1所述的控制设备，
其中，搜索区域形成与处于投影仪的第一安装姿态的投影仪的安装平面基本平行的搜索平面，以及
当投影仪以第一安装姿态安装在投影平面上方时，UI控制单元确定第一用户输入检测***能够实现所述水平的触摸检测准确度。
3.如权利要求1所述的控制设备，
其中，UI控制单元基于来自投影仪的姿态传感器的第一测量结果确定投影仪相对于投影平面的位置关系。
4.如权利要求3所述的控制设备，
其中，当来自姿态传感器的第一测量结果指示由搜索区域形成的搜索平面基本上是水平的时，UI控制单元选择将第一用户输入检测***用作主输入界面的第一UI模式。
5.如权利要求2所述的控制设备，
其中，搜索区域形成与处于投影仪的第二安装姿态的投影仪的安装平面基本正交的搜索平面，以及
当投影仪以第二安装姿态安装并且投影平面的深度大于阈值时，UI控制单元确定第一用户输入检测***不能实现所述水平的触摸检测准确度。
6.如权利要求5所述的控制设备，
其中，UI控制单元基于来自投影仪的深度传感器的第二测量结果获取投影平面的深度。
7.如权利要求1所述的控制设备，
其中，投影仪还包括第二用户输入检测***，第二用户输入检测***被配置为具有比第一用户输入检测***低的触摸检测准确度或者不能检测触摸，以及
在第二UI模式中，UI控制单元使用第二用户输入检测***作为主输入界面，在所述第二UI模式中不主要使用第一用户输入检测***。
8.如权利要求7所述的控制设备，
其中第二用户输入检测***检测用户的手势、声音和视线中的一个或多个作为用户输入。
9.如权利要求8所述的控制设备，
其中，投影仪还包括相机，当选择第二UI模式时，所述相机具有朝向假设存在用户的方向的视角，以及
第二用户输入检测***基于来自相机的图像的输入来检测用户输入。
10.如权利要求1所述的控制设备，
其中，投影仪投影在投影平面上选择性地执行的触摸输入自适应软件或触摸输入非自适应软件的图像，以及
在主要使用第一用户输入检测***的第一UI模式中执行触摸输入自适应软件。
11.如权利要求10所述的控制设备，
其中，触摸输入自适应软件包括触摸输入自适应基本软件和触摸输入自适应应用软件中的一个或多个。
12.如权利要求10所述的控制设备，
其中，触摸输入非自适应软件基于不取决于用户输入的输入条件来改变投影图像。
13.如权利要求12所述的控制设备，
其中，不取决于用户输入的输入条件涉及日期、时间、天气、投影仪的安装地点和辨别出的用户中的至少一个。
14.如权利要求1所述的控制设备，
其中，当投影平面被确定为基本是水平的时，UI控制单元启用用于旋转投影图像的UI。
15.如权利要求14所述的控制设备，
其中，用于旋转投影图像的UI包括连同图像一起显示的GUI和声音UI中一个或多个。
16.一种用于投影控制设备的控制方法，所述投影控制设备被配置为控制由投影仪进行的图像在投影平面上的投影，所述控制方法包括：
基于投影仪相对于投影平面的位置关系，在两个或更多个用户界面UI模式之间切换通过投影图像进行操作的UI的模式，
其中，投影仪包括第一用户输入检测***，所述第一用户输入检测***被配置为使用向投影仪附近的搜索区域发射的搜索光来检测用户的触摸的位置，
其中，当根据所述位置关系确定第一用户输入检测***能够实现一定水平的触摸检测准确度时，选择将第一用户输入检测***用作主输入界面的第一UI模式，
其中，投影平面与由搜索区域形成的搜索平面基本平行，并且根据投影平面和搜索平面之间的距离，确定第一用户输入检测***是否能够实现所述水平的触摸检测准确度。
17.一种存储有程序的记录介质，所述程序用于使得投影控制设备的处理器用作：
投影控制单元，被配置为控制由投影仪进行的图像在投影平面上的投影；以及
用户界面UI控制单元，被配置为基于投影仪相对于投影平面的位置关系，在两个或更多个UI模式之间切换通过投影图像进行操作的UI的模式，
其中，投影仪包括第一用户输入检测***，所述第一用户输入检测***被配置为使用向投影仪附近的搜索区域发射的搜索光来检测用户的触摸的位置，
其中，当根据所述位置关系确定第一用户输入检测***能够实现一定水平的触摸检测准确度时，UI控制单元选择将第一用户输入检测***用作主输入界面的第一UI模式，
其中，投影平面与由搜索区域形成的搜索平面基本平行，并且根据投影平面和搜索平面之间的距离，确定第一用户输入检测***是否能够实现所述水平的触摸检测准确度。
CN201710072289.1A 2016-02-19 2017-02-10 控制设备、控制方法和记录介质 Expired - Fee Related CN107102804B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016030248A JP2017146927A (ja) 2016-02-19 2016-02-19 制御装置、制御方法及びプログラム
JP2016-030248 2016-02-19

Publications (2)

Publication Number Publication Date
CN107102804A CN107102804A (zh) 2017-08-29
CN107102804B true CN107102804B (zh) 2021-08-10

Family

ID=58017959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710072289.1A Expired - Fee Related CN107102804B (zh) 2016-02-19 2017-02-10 控制设备、控制方法和记录介质

Country Status (4)

Country Link
US (1) US10955960B2 (zh)
EP (1) EP3208699B1 (zh)
JP (1) JP2017146927A (zh)
CN (1) CN107102804B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937124B2 (en) * 2017-12-25 2021-03-02 Canon Kabushiki Kaisha Information processing device, system, information processing method, and storage medium
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
CN108282645B (zh) * 2018-01-24 2020-08-14 歌尔科技有限公司 一种投影触摸校准和梯形校正的方法、装置和智能投影仪
CN109558062A (zh) * 2018-03-29 2019-04-02 广州小狗机器人技术有限公司 一种互动位置的确定方法和装置
JP2019211826A (ja) * 2018-05-31 2019-12-12 キヤノン株式会社 制御装置、制御システム、制御方法およびプログラム
JP6822445B2 (ja) 2018-07-02 2021-01-27 カシオ計算機株式会社 投影装置、投影方法及びプログラム
JP7244279B2 (ja) 2019-01-08 2023-03-22 清水建設株式会社 情報表示システム及び情報表示方法
CN111857411A (zh) * 2020-06-30 2020-10-30 海尔优家智能科技（北京）有限公司 投影设备的红外触控功能控制方法、投影设备和存储介质
CN113824942B (zh) * 2021-10-25 2023-08-29 河南中光学集团有限公司 梯形校正方法、装置、投影仪及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044839A (ja) * 2001-07-26 2003-02-14 Nitto Kogaku Kk 画像入出力装置
CN101435981A (zh) * 2007-11-15 2009-05-20 船井电机株式会社 投影仪以及投影图像的方法
CN101896957A (zh) * 2008-10-15 2010-11-24 松下电器产业株式会社 光投射装置
CN103279225A (zh) * 2013-05-30 2013-09-04 清华大学 投影式人机交互***及触控识别方法
CN104423573A (zh) * 2013-09-05 2015-03-18 Lg电子株式会社 显示装置及其操作方法
WO2015092905A1 (ja) * 2013-12-19 2015-06-25 日立マクセル株式会社 投写型映像表示装置及び投写型映像表示方法
CN105190480A (zh) * 2013-05-09 2015-12-23 索尼电脑娱乐公司 信息处理设备和信息处理方法
CN105247414A (zh) * 2013-09-27 2016-01-13 日立麦克赛尔株式会社 影像投射装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006098402A1 (ja) * 2005-03-17 2006-09-21 Brother Kogyo Kabushiki Kaisha プロジェクタ
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US8100541B2 (en) 2007-03-01 2012-01-24 Taylor Alexander S Displaying and navigating digital media
JP5023861B2 (ja) * 2007-07-24 2012-09-12 ブラザー工業株式会社 プロジェクタ
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
JP5309534B2 (ja) 2007-11-14 2013-10-09 船井電機株式会社 画像表示装置
CN102224455B (zh) * 2008-12-10 2014-10-08 株式会社尼康 投影装置
JP5424299B2 (ja) * 2008-12-16 2014-02-26 国立大学法人東北大学 イオン注入装置、イオン注入方法、及び半導体装置
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US20110188008A1 (en) * 2010-01-29 2011-08-04 Sanyo Electric Co., Ltd. Projection display apparatus
WO2011105502A1 (ja) 2010-02-24 2011-09-01 京セラ株式会社 携帯電子機器および投影システム
JP5581376B2 (ja) * 2010-03-01 2014-08-27 パナソニック株式会社 表示装置
US9760123B2 (en) * 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
WO2012040827A2 (en) * 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
JP5304848B2 (ja) 2010-10-14 2013-10-02 株式会社ニコン プロジェクタ
EP2720114A4 (en) * 2011-06-13 2015-02-25 Citizen Holdings Co Ltd INFORMATION INPUT DEVICE
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
JP5790248B2 (ja) * 2011-07-27 2015-10-07 株式会社リコー 画像投影装置
US9002058B2 (en) 2011-12-01 2015-04-07 Microvision, Inc. Scanned image projection system with gesture control input
JP2013143090A (ja) * 2012-01-12 2013-07-22 Sharp Corp 情報表示端末、ならびに情報表示端末を制御するための方法およびプログラム
US20130222228A1 (en) * 2012-02-29 2013-08-29 David Ryan Walker Automatic projector behaviour changes based on projection distance
EP2634629B1 (en) * 2012-02-29 2014-04-09 BlackBerry Limited Automatic projector behaviour changes based on projection distance
JP5971053B2 (ja) 2012-09-19 2016-08-17 船井電機株式会社 位置検出装置及び画像表示装置
US9465484B1 (en) 2013-03-11 2016-10-11 Amazon Technologies, Inc. Forward and backward looking vision system
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
KR20160102411A (ko) * 2013-12-27 2016-08-30 소니 주식회사 표시 제어 장치, 표시 제어 방법 및 프로그램
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
JP2015210797A (ja) * 2014-04-30 2015-11-24 シャープ株式会社 表示装置
CN104133346A (zh) * 2014-07-24 2014-11-05 中国科学院光电技术研究所 一种适用于投影光刻机的实时检焦调焦方法
JP6597615B2 (ja) 2014-07-29 2019-10-30 ソニー株式会社 投射型表示装置
CN104503275B (zh) * 2014-11-21 2017-03-08 深圳市超节点网络科技有限公司 基于手势的非接触式控制方法及其设备
WO2016092617A1 (ja) * 2014-12-08 2016-06-16 日立マクセル株式会社 投射型映像表示装置及び映像表示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044839A (ja) * 2001-07-26 2003-02-14 Nitto Kogaku Kk 画像入出力装置
CN101435981A (zh) * 2007-11-15 2009-05-20 船井电机株式会社 投影仪以及投影图像的方法
CN101896957A (zh) * 2008-10-15 2010-11-24 松下电器产业株式会社 光投射装置
CN105190480A (zh) * 2013-05-09 2015-12-23 索尼电脑娱乐公司 信息处理设备和信息处理方法
CN103279225A (zh) * 2013-05-30 2013-09-04 清华大学 投影式人机交互***及触控识别方法
CN104423573A (zh) * 2013-09-05 2015-03-18 Lg电子株式会社 显示装置及其操作方法
CN105247414A (zh) * 2013-09-27 2016-01-13 日立麦克赛尔株式会社 影像投射装置
WO2015092905A1 (ja) * 2013-12-19 2015-06-25 日立マクセル株式会社 投写型映像表示装置及び投写型映像表示方法

Also Published As

Publication number Publication date
EP3208699B1 (en) 2020-09-23
CN107102804A (zh) 2017-08-29
JP2017146927A (ja) 2017-08-24
US20170244943A1 (en) 2017-08-24
EP3208699A1 (en) 2017-08-23
US10955960B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
CN107102804B (zh) 控制设备、控制方法和记录介质
KR102664705B1 (ko) 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US10082886B2 (en) Automatic configuration of an input device based on contextual usage
US11089351B2 (en) Display apparatus and remote operation control apparatus
KR102449593B1 (ko) 카메라 장치를 제어하기 위한 방법 및 그 전자 장치
US10969955B2 (en) Electronic device
KR20160135242A (ko) 시선 검출을 통한 원격 디바이스 제어
US10139475B2 (en) Distance detection apparatus for acquiring distance information having variable spatial resolution and image display apparatus having the same
US20180240213A1 (en) Information processing system, information processing method, and program
US10969827B2 (en) Electronic device and method for controlling user interface therein
US11394862B2 (en) Voice input apparatus, control method thereof, and storage medium for executing processing corresponding to voice instruction
KR102391752B1 (ko) 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램
US10389947B2 (en) Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program
KR102333931B1 (ko) 영상 투사 장치 및 그의 동작 방법
US10310676B2 (en) Image projection apparatus and operation method thereof
US9811160B2 (en) Mobile terminal and method for controlling the same
US9507429B1 (en) Obscure cameras as input
JP7112627B2 (ja) 制御装置、制御方法及びプログラム
US20140320723A1 (en) Camera apparatus and wireless communication terminal including the same
CN108224786B (zh) 集成投影热水器、投影控制方法和可读存储介质
US20150205374A1 (en) Information processing method and electronic device
JP2021071894A (ja) 操作装置、操作方法及びプログラム
WO2022208797A1 (ja) 情報表示装置および方法
US20210089674A1 (en) Information processing device, information processing method, and program
JP2015226210A (ja) 携帯端末、カメラ制御プログラムおよびカメラ制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210810