CN103299259A - 检测装置、输入装置、投影机以及电子设备 - Google Patents

检测装置、输入装置、投影机以及电子设备 Download PDF

Info

Publication number
CN103299259A
CN103299259A CN2012800044850A CN201280004485A CN103299259A CN 103299259 A CN103299259 A CN 103299259A CN 2012800044850 A CN2012800044850 A CN 2012800044850A CN 201280004485 A CN201280004485 A CN 201280004485A CN 103299259 A CN103299259 A CN 103299259A
Authority
CN
China
Prior art keywords
image
infrared light
unit
region
pick
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012800044850A
Other languages
English (en)
Inventor
栗林英范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN103299259A publication Critical patent/CN103299259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

检测装置(10)具备:对红外光的波长区域进行拍摄的拍摄部(15);红外光照射部(11),其照射第1红外光和第2红外光,该第1红外光对检测对象面上的手的前端部进行检测,该第2红外光与第1红外光相比对从检测对象面离开的区域进行照射;以及检测部(19),其基于通过照射第1红外光和第2红外光而由拍摄部(15)所拍摄的图像,对手的朝向进行检测,基于前端部的图像区域和检测出的手的朝向,对检测对象面上的前端部的位置进行检测,所述前端部的图像区域基于通过照射第1红外光所拍摄的图像而提取出。

Description

检测装置、输入装置、投影机以及电子设备
技术领域
本发明涉及检测装置、输入装置、投影机以及电子设备。
本申请基于在2011年3月15日申请的日本特愿2011-056819号以及在2012年3月2日申请的日本特愿2012-046970主张优先权,将其内容引用于此。
背景技术
用于检测由使用者进行的指示动作的检测装置以及使用该检测装置的输入装置已为人所知(例如参照专利文献1)。
就专利文献1所记载的输入装置而言,使用者直接指示投影像,通过对使用者的手指或使用者所持的手写笔(stylus)的动作等进行检测来检测指示,能够根据检测出的指示输入文字等。此时,例如,利用红外光的反射来进行检测。另外,由使用者的手指进行的按压动作,例如,通过对手指按压前后的红外像的差异进行分析来检测。
专利文献
专利文献1:日本特表2003-535405号公报。
发明内容
但是,在专利文献1中,因为单纯对使用者的手指或使用者所持的手写笔的动作进行检测,所以例如在从装置的侧面给出指示的情况下,有时指示会被误检测。
本发明的方式,其目的在于提供能够减少对使用者的指示的误检测的检测装置、输入装置、投影机以及电子设备。
本发明的一实施方式是一种检测装置,具备:对红外光的波长区域进行拍摄的拍摄部;照射部,其照射第1红外光和第2红外光,该第1红外光对检测对象面上的指示部的前端部进行检测,该第2红外光与所述第1红外光相比对从所述检测对象面离开的区域进行照射;以及检测部,其基于通过照射所述第1红外光和所述第2红外光而由所述拍摄部所拍摄的图像,对所述指示部的朝向进行检测,基于所述前端部的图像区域和检测出的所述指示部的朝向,对所述检测对象面上的所述前端部的位置进行检测,所述前端部的图像区域基于通过照射所述第1红外光所拍摄的图像而提取出。
另外,本发明的一实施方式是一种输入装置,具备上述检测装置。
另外,本发明的一实施方式是一种投影机,具备上述输入装置和对所述检测对象面投影图像的投影部。
另外,本发明的一实施方式是一种电子设备,具备上述输入装置。
根据本发明的方式,能够减少对使用者的指示的误检测。
附图说明
图1是用于说明本发明的一实施方式的立体图。
图2是表示图1的投影机的内部结构的框图。
图3是表示图1的第1红外光照射部的垂直方向的光束的侧视图。
图4是表示图1的第1红外光照射部的水平方向的光束的俯视图。
图5是表示图1的第2红外光照射部的垂直方向的光束的侧视图。
图6是表示图1的第2红外光照射部的变形例的垂直方向的光束的侧视图。
图7是用于说明图2的检测装置的工作的定时图。
图8是表示用于说明图2的检测装置的工作的图像的一例的图。
图9A是表示用于说明图2的检测装置的工作的使用者的手形的一例的图。
图9B是表示用于说明图2的检测装置的工作的使用者的手形的一例的图。
图10A是表示用于说明图2的检测装置的工作的使用者的手形的一例与差分图像的一例的第1图。
图10B是表示用于说明图2的检测装置的工作的使用者的手形的一例与差分图像的一例的第1图。
图11A是用于说明图2的检测装置的工作的使用者的手形的一例与差分图像的一例的第2图。
图11B是用于说明图2的检测装置的工作的使用者的手形的一例与差分图像的一例的第2图。
图12A是表示用于说明图2的检测装置的工作的使用者的手形的一例与差分图像的一例的第3图。
图12B是用于说明图2的检测装置的工作的使用者的手形的一例与差分图像的一例的第3图。
图13是用于说明本发明的其他实施方式中的工作的定时图。
图14是用于说明本发明的其他实施方式中的工作的图像的一例的图。
图15是表示本发明的其他实施方式的投影机的内部结构的一例的框图。
图16是表示图15的检测装置的工作的一例的第1图。
图17是表示图15的检测装置的工作的一例的第2图。
图18是表示图15的投影机的工作的一例的图。
图19是表示图15的投影机的工作的另一例的图。
图20是表示图15的检测装置的工作的另一例的第1图。
图21是表示图15的检测装置的工作的另一例的第2图。
图22是表示将图15的检测装置应用于书写板终端的一例的示意图。
图23是表示图22的书写板终端的结构的一例的框图。
图24是表示图23的书写板终端中的红外光照射部和拍摄部的一例的图。
图25是表示图23的书写板终端中的红外光照射部和拍摄部的一例的图。
图26是表示图23的书写板终端中的拍摄部的另一例的第1图。
图27是表示图23的书写板终端中的拍摄部的另一例的第2图。
图28是表示图23的书写板终端中的拍摄部的另一例的第3图。
符号说明
10、10a…检测装置,11…红外光照射部,15…拍摄部,17…物体提取部,18…指示点提取部,19、19a…检测部,20、20a…输入装置,30、30a、30b…投影机,31…投影部,40…书写板终端,191…空间位置提取部。
具体实施方式
下面,参照附图关于本发明的实施方式进行说明。
[第1实施方式]
图1是用于对作为本发明的一实施方式的检测装置进行说明的立体图。图2是用于对作为本发明的一实施方式的检测装置进行说明的框图。此外,在各图中,对于相同的(或对应的)结构使用相同的符号。
图1所示的投影机30,在内部具备以本发明为特征的检测装置10(参照图2),并且在面向外部的位置具备投影部31(的照射口),向检测对象面2投射投影像3。进而,投影机30在面向外部的位置具备第1红外光照射部12、第2红外光照射部13以及拍摄部15。
检测对象面2在该实施方式中设为桌子的顶板。但是,检测对象面2也可以是墙面、天花板面、地板面、放映用屏幕、黑板、白板等平面体、球状等曲面体、传送带等移动体。另外,检测对象面2不限于投影像3所投影的面,也可以是液晶显示器等的平板面板。
如图2所示,投影机30具备输入装置20、投影部31、投影像生成部32以及图像信号输入部33。
另外,输入装置20具备检测装置10以及***控制部21。
投影部31具备光源、液晶面板、透镜、它们的光源和/或透镜、液晶面板的控制电路等而构成。投影部31对从投影像生成部32输入的图像进行放大并向检测对象面2投射,生成投影像3。
投影像生成部32基于从图像信号输入部33输入的图像和从输入装置20内的***控制部21输入的控制信息(或者图像信息),生成向投影部31输出的图像。从图像信号输入部33输入的图像为静止图像或运动图像。所谓从***控制部21输入的控制信息(或者图像信息),是用于指示基于由使用者进行的指示动作的内容使投影像3变化的信息。在此,由使用者进行的指示动作的内容由检测装置10检测。
***控制部21基于由检测装置10检测出的由使用者进行的指示动作的内容来生成向投影像生成部32输出的控制信息。另外,***控制部21对检测装置10内的物体提取部17和/或指示点提取部18的工作进行控制。另外,***控制部21从物体提取部17和/或指示点提取部18接收提取结果。此外,***控制部21具备CPU(中央处理装置)、主存储装置、辅助存储装置、其他的周边装置等,能够作为通过执行预定的程序而实现各种功能的装置而构成。另外,***控制部21也可以构成为包括检测装置10内的一部分结构(即将***控制部21和检测装置10综合起来)。
检测装置10具备红外光照射部11、红外光控制部14、拍摄部15、帧图像获取部16、物体提取部17以及指示点提取部18而构成。此外,检测装置10的结构中的物体提取部17以及指示点提取部18对应于检测部19。
红外光照射部11具备第1红外光照射部12和第2红外光照射部13。红外光控制部14对第1红外光照射部12和第2红外光照射部13的红外光的点亮以及熄灭时刻进行控制以对第1红外光和第2红外光进行亮灭控制,并且对第1红外光和第2红外光的强度进行控制。红外光控制部14使第1红外光和第2红外光的亮灭控制与从帧图像获取部16供给的同步信号同步而进行控制。
拍摄部15由包括CCD(电荷耦合元件)等的拍摄元件、透镜、红外光透射过滤器等构成。拍摄部15,通过用拍摄元件对透射过红外光透射过滤器而入射的红外光的波长区域进行拍摄,即通过对第1红外光以及第2红外光的反射光进行拍摄,以运动图像(或者连续静止图像)的方式对使用者的手和/或手指在检测对象面2上的移动进行拍摄。拍摄部15将运动图像拍摄的垂直同步信号(vsync)和每一帧的图像信号向帧图像获取部16输出。帧图像获取部16从拍摄部15依次获取由拍摄部15拍摄到的各帧的图像信号和垂直同步信号。帧图像获取部16基于获取的垂直同步信号生成预定的同步信号并向红外光控制部14输出。
检测部19基于通过照射第1红外光和第2红外光而由拍摄部15拍摄到的图像,对手(指示部)等的朝向进行检测。而且,指示点提取部18基于前端部的图像区域和由物体提取部17检测出的手(指示部)的朝向,对检测对象面2上的手指(前端部)的位置进行检测,所述前端部的图像区域是基于通过照射第1红外光而拍摄到的图像提取出的。
物体提取部17基于通过照射第1红外光和第2红外光而由拍摄部15拍摄到的图像,提取手(指示部)的图像区域和前端部的图像区域。
指示点提取部18基于物体提取部17提取出的手(指示部)的图像区域和前端部的图像区域,对手(指示部)等的朝向进行检测。接着,指示点提取部18基于前端部的图像区域和手(指示部)的朝向,对检测对象面2上的手指(前端部)的位置进行检测。
此外,第1红外光照射部12照射第1红外光,该第1红外光用于在检测对象面2上对使用者的手指、使用者所持的手写笔的前端等指示部(指示部=手和/或手写笔)的前端部(即手指和/或手写笔的前端)进行检测。第2红外光照射部13照射与第1红外光相比对从检测对象面2离开的区域进行照射的第2红外光。第1红外光照射部12的出射部和第2红外光照射部13的出射部,如图1所示在投影机30的外部前表面上下并排配置。
另外,在图1所示的例子中,在投影机30的外部前表面,拍摄部15、投影部31、第1红外光照射部12的出射部以及第2红外光照射部13的出射部按直线状上下排列地设置。此外,以下,以“指示部”为使用者的“手”、指示部的“前端”为使用者的“手指”的情况为例进行说明。
第1红外光是与图3的侧视图以及图4的俯视图中作为照射区域121示出的检测对象面2大致平行的平行光。第1红外光照射部12包括例如红外光LED(发光二极管)、检流计扫描仪(Galvano Scanner)和/或非球面反射镜等。第1红外光照射部12构成为具有如下光束,该光束如图3所示,相对于检测对象面2垂直的方向的照射区域121具有尽可能接近检测对象面2(的表面)的高度且尽可能窄的照射宽度,成为尽可能平行的光。
另外,如图4所示,平面方向的照射区域121调整为,具有扇形的形状并覆盖投影像3的多数部分。该第1红外光用于对手指的前端与检测对象面2接触的情况进行检测。此外,第1红外光照射部12,例如,也能够通过如下来构成:在同一平面上沿不同方向设置多个在平面上具有比较窄的指向性的平行光红外线LED,如图4所示形成为在平面上具有宽的指向性。
第2红外光用于对使用者的手整体(或者手的大部分)进行检测。因此,第2红外光的垂直方向的照射区域,例如,能够成为增大图3所示那样的照射区域121的垂直方向的宽度所得的区域。即第2红外光能够设为具有如下光束,该光束相对于检测对象面2具有足以照射使用者的手整体的宽度的照射宽度,成为尽可能平行的光。
其中,为了得到宽度宽的平行光,有时增大光学***并且/或者、使其复杂化。因此,为了使结构简易,例如,可以考虑如在图5的侧视图中作为照射区域131所示那样,设为相对于检测对象面2向垂直方向上方扩散的扩散光。在该情况下,第2红外光的照射区域131优选设定为,具有相对于检测对象面2尽量不向垂直方向下方扩散那样的光束。这是因为:通过减弱朝向下方的光,能够将自检测对象面2的对红外光的反射抑制得较小。这样,能够抑制从手(即指示部)以外所进行的反射,能够使后述的物体提取时的物体检测的灵敏度变得良好。
此外,第2红外光照射部13既能够由例如红外线LED单体构成,或者也能够使用红外线LED和检流计扫描仪和/或非球面反射镜等构成。另外,第2红外光的平面方向的照射区域,与图4所示的第1红外光的平面方向的照射区域121同样地,调整为,具有扇形形状并覆盖投影像3的多数部分。
此外,第2红外光照射部13以及第2红外光除了具有图1或图5所示那样的设置位置和/或照射宽度外,也可以设为图6所示那样。
图6所示的结构,为取代图5所示的第2红外光照射部13而设有多个与图3所示的第1红外光照射部12相同结构的第2红外光照射部13a的结构。
在图6所示的投影机30a(与投影机30相对应),在垂直方向上作为一例并排设置有与图3所示第1红外光照射部12相同结构的第1红外光照射部12a和多个第2红外光照射部13a。该情况下,第1红外光照射部12a用于照射第1红外光,并且还用于与多个第2红外光照射部13a一同照射第2红外光。即,在图6所示的投影机30a中,使用第1红外光照射部12a和多个第2红外光照射部13a,产生在垂直方向上照射宽度宽的照射区域131a。
接下来,参照图7~图9B关于检测装置10的工作进行说明。
首先,参照图7,关于由红外光控制部14进行的对第1红外光以及第2红外光的照射定时的控制进行说明。图7是表示从拍摄部15输出的垂直同步信号(vsync)、第1红外光的点亮以及熄灭以及第2红外光的点亮以及熄灭的时间变化的关系(以及红外光的强度的关系)的定时图。
图7示出由拍摄部15进行的从拍摄运动图像的第n帧到第n+3帧的工作(其中,n为自然数)。如图7所示,与拍摄部15的帧切换定时一致地切换第1以及第2红外光的照射定时。
例如,通过红外光控制部14进行控制,使得如第n帧为第1红外光的照射、第n+1帧为第2红外光的照射、第n+2帧为第1红外光的照射、…、那样,与帧定时相应地按时间序列切换红外光的照射。另外,本实施方式中,如图7所示,第1红外光的强度由红外光控制部14控制,使得其比第2红外光的强度大。
图8中示出图7的n帧(第1红外光照射时)的图像(第1图像)的一例的图像50和n+1帧(第2红外光照射时)的图像(第2图像)的一例的图像53。此外,图8的图像50以及53示出如图9A以及图9B所示那样的握起来的手4放在检测对象面2上的情况下的拍摄图像。
图9A为俯视图,图9B为侧视图。在该例子中,如图9B所示,手4用食指的前端41接触检测对象面2,其他手指不接触。在图8的图像50中,图9A以及图9B的食指的前端41的部分成为高辉度区域(即像素值大的区域;第1红外光的反射区域)52,其他部分成为低辉度区域(即像素值小的区域)51。另一方面,图8的图像53中,图9A以及图9B的手4的整体成为中等辉度区域(即像素值中等程度的区域;第2红外光的反射区域)55,其他部分成为低辉度区域54。
图2的帧图像获取部16从拍摄部15以帧为单位获取图像。接着,将获取到的图像向物体提取部17输出。在该例子中,以帧图像获取部16将图9A以及图9B所示的图像50以及图像53输出到物体提取部17的情况为例进行说明。
物体提取部17,如果从帧图像获取部16接收2帧量的图像数据,则关于n帧的图像50和n+1帧的图像53,通过按所对应的每个像素计算像素值的差分,来提取图像中所含的指示部和其前端部的拍摄区域。即,物体提取部17关于n帧的图像50和n+1帧的图像53,在拍摄部15的拍摄元件中按位于同一位置的每个像素,进行从像素值大的像素减去像素值小的像素的处理(即差分处理)。
将计算该差分的处理的结果所得的图像的一例在图8中作为图像56示出。在图8所示的例子中,在图像56中包含低辉度区域57、中等辉度区域59和高辉度区域58。中等辉度区域59与图像53的中等辉度区域55(即手4的整体)相对应,高辉度区域58与图像50的高辉度区域52(即食指的前端41)相对应。
这样,红外光控制部14如图7所示那样,通过与拍摄元件的垂直同步信号(vsync)一致地切换红外光的照射定时,使帧之间的红外光照射状态变化。在这里,在第1红外光开启(点亮)的情况下,第2红外光关闭(熄灭),在第1红外光关闭的情况下,第2红外光变为开启。
在由拍摄部15拍摄到的帧获取图像中,通过由太阳光和/或室内的照明环境放射的红外光,也会映入手4以外的周边物体。另外,通过与第1红外光相比使第2红外光的强度降低,来区别第1红外光照射时与手4的表示状态。因此,物体提取部17通过获取第1红外光照射时与第2红外光照射时的帧图像的差分,能够仅截取出手4。
在图8的例子中,该差分图像56所含的手的区域59的像素值与手指的前端区域58的像素值为不同的值。因此,通过使差分图像50按每个预定的像素值范围多值化,能够分别提取手的区域59和手指前端的区域58。即,物体提取部17能够通过差分图像的计算处理和多值化处理,来提取手的区域59和手指前端的区域58。
接着,指示点提取部18从由物体提取部17提取出的手的区域59和手指的前端区域58,提取推定为进行了指示动作的手指的前端区域(即指示点)。在图8所示的例子中,手指的前端区域58(即第1红外光的反射区域)为1处,所以该区域被提取作为进行了指示动作的区域。
这里,参照图10A以及图10B,关于第1红外光的反射区域具有多个的情况下指示点提取部18的提取处理进行说明。
在图10A以及图10B所示的例子中,如图10A所示,手4a以由箭头所示的手的朝向(即从装置(=投影机30)正面伸入的朝向)放置在检测对象面2上,且全部手指与检测对象面2接触。该情况下,物体提取部17计算图10B所示那样的差分图像60。在该差分图像60中含有低辉度区域61、高辉度区域62~64以及中等辉度区域65。
指示点提取部18,若从物体提取部17接收该差分图像60,则由于含有多个高辉度区域(即第1红外光的反射区域),所以进行预定的图像处理以进行对手(指示部)4a的朝向进行检测的处理。
作为预定的图像处理,能够使用下面这样的方法。即,作为1种方法,有基于中等辉度区域(指示部的图像区域)的图案与预先确定的基准图案的比较实现的图案匹配。作为其他方法,有通过在拍摄部15的拍摄范围以内检测预先指定的检测范围的边界线之中与中等辉度区域(指示部的图像区域)重叠的位置,来得到手的手腕侧(掌根侧)的方向的方法。进而作为其他方法,有基于过去提取出的中等辉度区域(指示部的图像区域)的移动矢量,计算手的伸出方向的方法。而且,通过这些方法中的一种或组合,能够对指示部的朝向进行检测。
该情况下,假定通过指示点提取部18检测出图10B中箭头所示的手的朝向。指示点提取部18基于手的朝向和高辉度区域(即第1红外光的反射区域)的位置,提取手(指示部)的前端部(称为指示点)的位置。例如,在手从装置正面伸入的情况下,将第1红外光被反射的区域之中的处于最下方的区域设为指示点。另外,例如,在手从装置左侧面伸入的情况下,将处于最右方的区域设为指示点。
在图10A以及图10B所示的例子中,指示点提取部18识别到手4a从装置正面伸入,所以将第1红外光被反射的区域之中处于最下方的区域、即高辉度区域63确定为指示点。接着,指示点提取部18将高辉度区域63的位置信息向***控制部21输出。
接下来,参照图11A以及图11B,关于第1红外光的反射区域有多个的情况下的指示点提取部18的提取处理的其他例子进行说明。在图11A以及图11B所示的例子中,如图11A所示,手4b以由箭头所示的手的朝向(即图9A中相对于装置从右上向左下的方向)放置在检测对象面2上,且食指42和拇指43与检测对象面2接触。该情况下的物体提取部17计算出图11B所示那样的差分图像70。
该差分图像70含有低辉度区域71、高辉度区域72~74以及中等辉度区域75。指示点提取部18,若从物体提取部17接收图像70,则由于含有多个高辉度区域(即第1红外光的反射区域),所以进行上述那样的图像处理,以进行对手(指示部)4b的朝向进行检测的处理。
该情况下,假定由指示点提取部18检测出图11B中箭头所示的手的朝向。即,在图11A以及图11B所示的例子中,指示点提取部18识别出手4b从稍稍倾斜的方向伸入装置,所以将第1红外光被反射的区域之中的手的朝向的最前端区域(即高辉度区域72)确定为指示点。接着,指示点提取部18将高辉度区域72的位置信息向***控制部21输出。
另外,在图12A以及图12B所示的例子中,如图12A所示,手4c以由箭头所示的手的朝向放置在检测对象面2上且食指45与检测对象面2接触。该情况下的物体提取部17,计算出图12B所示那样的差分图像80。该差分图像80中含有低辉度区域81、高辉度区域82以及中等辉度区域83。指示点提取部18,若从物体提取部17接收图像80,则由于高辉度区域(即第1红外光的反射区域)为1处,所以将高辉度区域82确定为指示点。接着,指示点提取部18将高辉度区域82的位置信息向***控制部21输出。
在该例子中,如图12A所示,食指45的前端和中指46的前端位于手的朝向的最前端位置。其中,食指45与检测对象面2接触,中指46与检测对象面2非接触。该情况下,在假设没有进行使用了第1红外光的图像拍摄的情况下,将何处设为指示点的判定变得困难,但在本实施方式中,由于通过使用第1红外光将有接触的手指作为高辉度区域示出,所以能够容易地进行判定。
此外,就图2的指示点提取部18而言,不仅可以提取指示点的位置,也可以进行基于过去所提取的指示点的位置信息计算移动矢量的处理。在该情况下,例如如图11A中实线箭头所示,在检测到食指42和拇指43以合上或分开的方式移动了的情况下,将表示该情况的信息向***控制部21输出。其中,在该情况下,在指示点提取部18内(或者其他存储装置内)将过去一定期间的所有高辉度区域的位置信息和移动矢量一并预先存储。通过这样做,能够对手(指示部)的移动进行检测。此外,在指示点的移动检测中,也可以使用图案识别的方法等。
另外,本实施方式中的检测装置10可以对多个前端部的位置进行检测。
例如,如图11B所示,指示点提取部18根据箭头所示的手的朝向和高辉度区域72~74(指前端的区域72~74),将接近箭头所示的手的朝向的前端部即高辉度区域72以及高辉度区域74检测作为前端部的位置。
另外,在图12A以及图12B中,例如,指示点提取部18基于手的朝向和高辉度区域对多个前端部的位置进行检测。在该情况下,将接近手的朝向的所有高辉度区域检测作为前端部的位置。在该例子中,如图12B所示,将高辉度区域82作为前端部的位置,而在图12A的中指46和食指45与检测对象面2接触的情况下,通过物体提取部17提取2处高辉度区域。接着,指示点提取部18将接近手的朝向的前端部即与中指46和食指45相对应的高辉度区域检测作为前端部的位置。
此外,图11A以及图11B以及图12A以及图12B中,指示点提取部18也可以在中等辉度区域75(或83)使用图案识别的方法等提取手(指示部)的形状,基于手(指示部)的形状,判定是否要对多个前端部进行检测。例如,指示点提取部18在中等辉度区域83使用图案识别的方法等,判定为图12A以及图12B所示的手的形状是按压键盘时的形状,要对多个前端部的位置进行检测。由此,本实施方式中的检测装置10能够应对键盘中的多个手指的检测。
另外,指示点提取部18也可以基于从投影部31向检测对象面2投影的投影像3的内容和手的朝向,判定是否要对多个前端部进行检测。例如,在作为投影像3投射键盘、手的朝向为按压键盘的朝向的情况下,指示点提取部18也可以对多个前端部的位置进行检测。另外,指示点提取部18也可以通过对上述的手(指示部)的移动进行检测,判定是否要对多个前端部进行检测。
另外,在参照图7说明了的例子中,关于第1红外光的强度与第2红外光的强度互不相同的情况进行了说明。关于该情况,其目的在于在拍摄部15中使第1红外光的反射光的像素值(辉度)与第2红外光的反射光的像素值(辉度)不同。因此,也可以取代使强度不同而采用下面这样的方法。即,例如,能够使第1红外光的波长与第2红外光的波长不同,使得配合构成拍摄部15的拍摄元件的频率特性而比较而言增大基于第1红外光的像素值,比较而言减小基于第2红外光的像素值。另外,为了得到同样的效果,也可以在使第1红外光的波长与第2红外光的波长不同的基础上,改变构成拍摄部15的红外线透射过滤器的特性。
如上所述,本实施方式中的检测装置10,其拍摄部15对红外光的波长区域进行拍摄,红外光照射部11(照射部)照射对检测对象面2上的指示部的前端部进行检测的第1红外光和与第1红外光相比对从检测对象面2离开的区域进行照射的第2红外光。而且,检测部19基于通过照射第1红外光和第2红外光而由拍摄部15拍摄到的图像,对指示部的朝向进行检测。进而,检测部19基于前端部的图像区域和检测出的指示部的朝向,对检测对象面2上的前端部的位置进行检测,所述前端部的图像区域基于通过照射第1红外光而拍摄的图像而提取出。
由此,使用照射区域相互不同的第1红外光以及第2红外光检测指示部的朝向,并且基于检测出的指示部的朝向和基于通过照射第1红外光所拍摄的图像而提取出的前端部的图像区域,对检测对象面上的前端部的位置进行检测。即,本实施方式中的检测装置10,由于检测手的朝向,所以能够减少因存在多个前端部的情况和/或手的朝向错误而导致的对指示的误检测。此外,本实施方式中的检测装置10使用红外光,所以能够不受人肤色的影响地对手进行检测,所以能够减少对指示的误检测。
另外,设置为,照射区域不同的第1红外光以及第2红外光之中的第1红外光对检测对象面2上的指示部的前端部进行检测。因此,本实施方式中的检测装置10,能够提高前端部的位置和/或移动的检测精度。
另外,本实施方式中,第1红外光以及第2红外光为与检测对象面2平行的平行光。该情况下,由于使用与检测对象面2平行的红外光,所以能够高精度地对指示部的前端部和/或移动进行检测。因此,本实施方式中的检测装置10,能够减少对使用者的指示的误检测,提高检测精度。
另外,本实施方式中,第1红外光为与检测对象面2平行的平行光,第2红外光为向与检测对象面2垂直的方向扩散的扩散光。该情况下,由于第2红外光使用扩散光,所以能够进行宽范围的检测。因此,本实施方式中的检测装置10,能够减少对使用者的指示的误检测,提高检测精度。另外,由于没有必要使第2红外光成为平行光,所以能够将第2红外光照射部13设为简易的结构。
另外,本实施方式中,红外光照射部11与拍摄部15的拍摄定时相应地,对第1红外光和第2红外光进行切换并照射。而且,检测部19基于第1图像(图像50)以及第2图像(图像53)对指示部的朝向进行检测,其中,第1图像通过照射第1红外光而拍摄到,第2图像通过照射第2红外光而由拍摄部15拍摄到。
由此,能够容易地获取第1图像(图像50)和第2图像(图像53)。
另外,本实施方式中,红外光照射部11按相互不同的光的强度照射第1红外光和第2红外光。检测部19(物体提取部17)基于照射相互不同的光的强度所拍摄的第1图像(图像50)与第2图像(图像53)的差分图像,提取指示部的图像区域(手的区域59)和前端部的图像区域(指前端的区域58),并基于提取出的指示部的图像区域对指示部的朝向进行检测,基于检测出的指示部的朝向和前端部的图像区域对前端部的位置进行检测。
由此,检测部19(物体提取部17)通过生成第1图像(图像50)与第2图像(图像53)的差分图像,能够容易地提取指示部的图像区域(手的区域59)以及前端部的图像区域(指前端的区域58)。另外,第1图像(图像50)以及第2图像(图像53)中会映入有由太阳光和/或室内的照明环境放射的红外光,但检测部19(物体提取部17)通过生成该差分图像能够将该映入排除。因此,本实施方式中的检测装置10,能够减少对使用者的指示的误检测,提高检测精度。
另外,本实施方式中,检测部19(物体提取部17)将差分图像多值化,基于多值化了的差分图像提取指示部的图像区域(手的区域59)和前端部的图像区域(指前端的区域58)。
由此,由于基于多值化了的差分图像进行提取,所以检测部19(物体提取部17)能够容易地提取指示部的图像区域(手的区域59)和前端部的图像区域(指前端的区域58)。
另外,本实施方式中,检测部19(指示点提取部18)通过下述3项中的任一项或组合对指示部的朝向进行检测:基于指示部的图像区域(手的区域59)的图案与预先确定的基准图案的比较实现的图案匹配;在拍摄部15的拍摄范围以内预先指定的检测范围的边界线之中与指示部的图像区域(手的区域59)重叠的位置;以及指示部的图像区域(手的区域59)的移动矢量。
由此,检测部19(指示点提取部18)能够容易且高检测精度地对指示部的朝向进行检测。因此,本实施方式中的检测装置10,能够减少对使用者的指示的误检测,提高检测精度。
另外,本实施方式中,检测部19(指示点提取部18)基于指示部的朝向和前端部的图像区域(例如指前端的区域72以及74)对多个前端部的位置进行检测。
由此,本实施方式中的检测装置10能够应用于对多个位置进行检测的用途。例如,能够应用于使用多根手指的键盘和/或检测手的移动的运动检测。
[第2实施方式]
接下来,参照图13以及图14关于本发明的其他实施方式进行说明。
本实施方式,如图13的定时图所示,将上述第1实施方式中以2帧为1单位对指示点进行检测的情况变成以3帧为1单位对指示点进行检测的情况。其中,本实施方式中,能够使第1红外光的强度与第2红外光的强度相同。此外,关于本实施方式,在图2的框图中,各部的内部处理部分不同。
本实施方式中,如图13所示,附加第1红外光以及第2红外光都不进行照射的帧。例如,第n帧无红外光照射,第n+1帧为第1红外光的照射、第n+2帧为第2红外光的照射、…、如此推演。以未照射时的帧图像为基准,从第1红外光以及第2红外光照射时各自的获取图像提取差分图像以计算手的朝向和指示点。参照图14,关于物体提取处理和指示点提取处理的内容具体地进行说明。
图14是表示第n帧(无红外光照射时)的获取图像90(第3图像)、第n+1帧(第1红外光照射时)的获取图像91(第1图像)、第n+2帧(第2红外光照射时)的获取图像93(第2图像)的一例的图。此外,指示部(手)的状态如图9A以及图9B所示。该情况下,图像91中包含与图9A以及图9B的食指的前端41相对应的高辉度区域92,图像93中包含与图9A以及图9B的手4相对应的高辉度区域94。
图2所示的物体提取部17,若从帧图像获取部16接收第n帧的图像90、第n+1帧的图像91以及第n+2帧的图像93,则计算第n+1帧的图像91与第n帧的图像90的差分图像和第n+2帧的图像93与第n帧的图像90的差分图像。图14中示出了第n+1帧的图像91与第n帧的图像90的差分图像95和第n+2帧的图像93与第n帧的图像90的差分图像97的计算结果。该情况下,从图像95以及97的背景图像99,去除了由太阳光和/或室内的照明环境放射的红外光所造成的影响。另外,基于图像95中包含的高辉度区域96(前端部的图像区域)和图像97中包含的高辉度区域98(指示部的图像区域),能够与上述实施方式同样地对手的朝向进行检测。
如上所述,本实施方式中的检测装置10,其拍摄部15进一步对第1红外光以及第2红外光都不进行照射的期间的图像即第3图像(图像90)进行拍摄。另外,检测部19(物体提取部17)基于第1图像(图像91)与第3图像的差分图像以及第2图像(图像93)与第3图像的差分图像,提取指示部的图像区域和前端部的图像区域。检测部19(指示点提取部18)基于提取出的指示部的图像区域对指示部的朝向进行检测,基于检测出的指示部的朝向和前端部的图像区域对前端部的位置进行检测。
由此,本实施方式中的检测装置10与第1实施方式同样地对手的朝向进行检测,所以能够减少因有多个前端部的情况和/或手的朝向错误所造成的对指示的误检测。
另外,检测部19(物体提取部17)通过生成第1图像(图像91)与第3图像的差分图像以及第2图像(图像93)与第3图像的差分图像,能够容易地提取指示部的图像区域以及前端部的图像区域。另外,第1图像(图像91)以及第2图像(图像93)中会映入有由太阳光和/或室内的照明环境放射的红外光,但检测部19(物体提取部17)通过生成该差分图像能够排除该映入。因此,本实施方式中的检测装置10能够减少对使用者的指示的误检测,提高检测精度。
另外,本实施方式中的检测装置10,没有必要改变第1红外光和第2红外光的光的强度。因此,能够使红外光照射部11的结构成为简易的结构。
此外,根据上述实施方式,输入装置20具备上述的检测装置10。由此,输入装置20能够与检测装置10同样地减少对使用者的指示的误检测,提高检测精度。
另外,根据上述的实施方式,投影机30具备输入装置20和向检测对象面2投影图像的投影部31。由此,投影机30在前端部的位置和/或移动的检测的情况下,能够与检测装置10同样地减少对使用者的指示的误检测,提高检测精度。
[第3实施方式]
接下来,参照图15~图19关于本发明的其他实施方式进行说明。
图15是用于说明作为其他实施方式的检测装置10a的框图。此外,在图15中,对与图2相同的(或者相对应的)结构使用相同的符号。
如图15所示,本实施方式中的检测装置10a,具备空间位置提取部191这一点与上述的各实施方式不同。本实施方式中的检测装置10a,通过具备该空间位置提取部191,能够获取使用者的手位于空间上的情况下的3维坐标。此外,本实施方式中,检测装置10a的结构中,物体提取部17、指示点提取部18以及空间位置提取部191与检测部19a相对应。另外,投影机30b(与投影机30相对应)具备输入装置20a(与输入装置20相对应),输入装置20a具备检测装置10a(与检测装置10相对应)。
空间位置提取部191基于通过照射第2红外光而由拍摄部15拍摄到的第2图像,在拍摄部15的拍摄范围内对手(指示部)进行移动的空间上的手指(前端部)的位置(3维坐标)进行检测。
图16以及图17是表示红外光照射部11为图6所示那样的结构的情况下的本实施方式中的检测装置10a的工作的一例的图。
如图16以及图17所示,第2红外光照射部13a具备多个第2红外光照射部(130a、130b、130c)。多个第2红外光照射部(130a、130b、130c)照射高度各不相同的不同第2红外光。即,该多个第2红外光照射部(130a、130b、130c)照射相对于检测对象面2的垂直方向的照射范围相互不同的第2红外光。
另外,本实施方式中,帧图像获取部16经由红外光控制部14使多个第2红外光照射部(130a、130b、130c)按不同的定时依次照射第2红外光。而且,拍摄部15分别对多个第2红外光照射部(130a、130b、130c)拍摄第2图像。也就是,拍摄部15拍摄与多个第2红外光分别相对应的多个第2图像。
帧图像获取部16,例如,第1帧使最下级(第2红外光照射部130a)照射、第2帧使上一级(第2红外光照射部130b)照射…这样与帧同步地,使照射第2红外光的定时错开。拍摄部15按照这样的照射定时对第2图像进行拍摄,并将拍摄到的第2图像向帧图像获取部16输出。
另外,物体提取部17基于由帧图像获取部16获取的上述的第2图像,提取手(指示部)的图像区域(该情况下,手指的前端的图像区域)。空间位置提取部191,例如,基于物体提取部17提取到的手指的前端的图像区域,判定检测到手指的前端的照射定时。空间位置提取部191,基于与检测到手指的前端的照射定时相对应的第2红外光照射部(130a、130b、130c)的高度,对手指在高度方向(垂直方向)的位置进行检测。这样,空间位置提取部191基于上述的多个第2图像,对前端部(手指的前端)在垂直方向(高度方向)的位置进行检测。
另外,空间位置提取部191基于拍摄部15拍摄到的第2图像,对横向以及进深方向的位置进行检测。空间位置提取部191,例如,与检测出的高度位置相应地使前端部(手指的前端)的比例尺(大小)变化,从而提取横向和进深方向的检测区域(拍摄范围)中的绝对位置。即,空间位置提取部191基于提取到的指示部的图像区域在第2图像上的位置以及大小,对前端部相对于检测对象面2的水平方向的位置进行检测。
例如,图16示出手指的前端处于第2红外光照射部130a所照射的第2红外光131b的照射范围的情况。该情况下,拍摄部15作为与第2红外光131b相对应的第2图像而拍摄图像101。图像101中,虚线102表示手4所存在的区域,区域103表示第2红外光131b所照射的手指的前端的部分(前端部的图像区域103)。空间位置提取部191基于该图像101,检测与第2红外光131b的照射位置相对应的高度位置作为垂直方向的前端部的位置。
另外,利用在人的手上手指前端部的幅度大致一定这一情况,空间位置提取部191基于图像101上的图像区域103的位置和幅度(大小),对前端部在横向以及进深方向(水平方向)上的位置进行检测(提取)。这样,空间位置提取部191对指示部(手)进行移动的空间上的3维位置进行检测。
另外,例如,图17示出手指的前端处于第2红外光照射部130c所照射的第2红外光131c的照射范围的情况。该情况下,拍摄部15作为与第2红外光131c相对应的第2图像而拍摄图像101a。图像101a中,虚线102a表示手4所存在的区域,区域103a表示第2红外光131c所照射的手指的前端的部分(前端部的图像区域103a)。空间位置提取部191与图16所示情况同样地,对指示部(手)进行移动的空间上的3维位置进行检测。
此外,图17中,与图16所示的情况相比,手4处于更高的位置。因此,图像区域103a与图像区域103相比,变为图像101a的上方的位置,并且图像区域103a的幅度(大小)比图像区域103的幅度(大小)大。
如上所述,本实施方式中的检测装置10a的检测部19a基于第2图像,在拍摄部15的拍摄范围内对指示部(手)进行移动的空间上的前端部的位置进行检测。由此,检测装置10a能够对前端部(手指的前端)在空间上的位置(3维位置)进行检测,所以例如,能够进行与手指的位置相应的使用者接口显示。
例如,投影机30b如图18所示,在手指进入了检测范围(拍摄部15的拍摄范围)的情况下,从显示画面104移至显示画面105,并显示菜单106。进而,在手指接近了检测对象面2的情况下,投影机30b如显示图像107所示,显示放大了的菜单108,在手指的前端接触了检测对象面2的情况下,判定为选择了该菜单。而且,投影机30b执行与所选择的菜单相对应的预定处理。
另外,例如,投影机30b如图19所示,在手指接近了检测对象面2的情况下,使显示从键显示109变成键显示109a,在手指的前端接触了检测对象面2的情况下,判定为按压了该键显示109a。而且,投影机30b在手指的前端从检测对象面2离开了的情况下,使显示从键显示109a变为键显示109b。这样,检测装置10a能够根据手指的位置关系对手指的下按以及上提操作进行检测。因此,检测装置10a能够创造出更接近实际键盘操作的环境。
因此,本实施方式中的检测装置10a,能够减少对使用者的指示的误检测,并且由于能够进行上述那样的使用者接口显示,所以能够提高便利性。
此外,这里,所显示的图像内容等,也可以存在于与网络连接的服务器装置上,投影机30b也可以边经由网络与服务器装置进行通信边对输入进行控制。
另外,例如,红外光照射部11依次照射相对于检测对象面2的垂直方向上的照射范围相互不同的多个第2红外光,拍摄部15拍摄与多个第2红外光分别相对应的多个第2图像。而且,检测部19a基于多个第2图像对前端部在垂直方向上的位置进行检测。
由此,本实施方式中的检测装置10a能够正确地对前端部在垂直方向上的位置进行检测。
进而,检测部19a基于第2图像提取指示部的图像区域,基于提取出的指示部的图像区域在第2图像上的位置以及大小,对前端部相对于检测对象面的水平方向上的位置进行检测。
由此,本实施方式中的检测装置10a能够通过简易的方法对前端部在水平方向上的位置进行检测。
[第4实施方式]
接下来,参照图20以及图21关于本发明的其他实施方式进行说明。
本实施方式中,关于检测装置10a对使用者的手位于空间上的情况下的3维坐标进行检测的第3实施方式的变形例进行说明。
此外,本实施方式中的投影机30b的内部结构与图15所示的第3实施方式相同。
另外,本实施方式中,关于将上述的3维坐标的检测应用于图5所示的红外光照射部11的情况进行说明。
该情况下,空间位置提取部191,基于第2图像提取指示部的图像区域,基于提取出的指示部的图像区域中的前端部在第2图像上的位置以及大小,对前端部在垂直方向上的位置进行检测。
图20以及图21是示出红外光照射部11为图5所示那样的结构的情况下的本实施方式中的检测装置10a的工作的一例的图。
如图20以及图21所示,第2红外光照射部13按放射状照射第2红外光。因此,物体提取部17基于第2图像提取手(指示部)的图像区域(该情况下,手整体的图像区域)。
例如,图20示出手指的前端处于第2红外光照射部13所照射的第2红外光131d的照射范围的下方区域的情况。该情况下,拍摄部15作为与第2红外光131d相对应的第2图像而拍摄图像101c。图像101c中,区域102c表示第2红外光131d所照射的手的图像区域(指示部的图像区域)。检测部19a基于该图像101c,检测与第2红外光131d的照射位置相对应的高度位置作为前端部在垂直方向上的位置。
具体而言,物体提取部17基于图像101c提取手的图像区域(区域102c)。利用在人的手上手指的前端部的幅度大致一定这一情况,空间位置提取部191基于物体提取部17所提取的指示部的图像区域(区域102c)中的前端部在第2图像上的位置以及大小,对前端部在垂直方向上的位置进行检测。
另外,同样地利用在人的手上手指的前端部的幅度大致一定这一情况,空间位置提取部191基于图像101上的指示部的图像区域(区域102c)的位置和幅度(大小),对前端部在横向以及进深方向(水平方向)上的位置进行检测(提取)。这样,空间位置提取部191对指示部(手)进行移动的空间上的3维位置进行检测。
另外,例如,图21示出手指的前端处于第2红外光照射部13所照射的第2红外光131d的照射范围的上方区域的情况。该情况下,拍摄部15作为与第2红外光131d相对应的第2图像而拍摄图像101d。图像101d中,区域102d表示第2红外光131d所照射的手的图像区域(指示部的图像区域)。空间位置提取部191与图16所示的情况同样地,对指示部(手)进行移动的空间上的3维位置进行检测。
此外,图21中,与图20所示情况相比,手4处于更高的位置。因此,图像区域102d与图像区域102c相比,变成图像101d的上方的位置,并且图像区域102d中的前端部(手指的前端)的幅度(大小)比图像区域102c中的前端部(手指的前端)的幅度(大小)大。
如上所述,本实施方式中的检测装置10a的检测部19a基于第2图像,在拍摄部15的拍摄范围内对指示部(手)进行移动的空间上的前端部的位置进行检测。由此,检测装置10a能够与第3实施方式同样地对前端部(手指的前端)在空间上的位置(3维位置)进行检测。因此,例如,能够进行与手指的位置相应的使用者接口显示。
另外,根据本实施方式,检测部19a基于第2图像提取指示部的图像区域,基于提取出的指示部的图像区域中的前端部在第2图像上的位置以及大小,对前端部在垂直方向上的位置进行检测。
由此,本实施方式中的检测装置10a能够通过简易的方法对前端部在垂直方向上的位置进行检测。
[第5实施方式]
接下来,参照图22以及图23关于本发明的其他实施方式进行说明。
本实施方式中,关于将上述的检测装置10a应用于书写板终端40的情况的一例进行说明。
图22是表示将检测装置10a应用于书写板终端40的一例的示意图。
图22中,书写板终端40(电子设备)作为一例具备第4实施方式中的检测装置10a。此外,检测装置10a既可以安装于书写板终端40而一体化,也可以可装拆地安装于书写板终端40。
另外,图23是表示书写板终端40的结构的一例的框图。
图23中,关于与图15相同的结构标注相同的符号。
书写板终端40具备显示部401,显示部401显示从***控制部21输出的图像。
如图22所示,检测装置10a,基于与第2红外光照射部13所照射的第2红外光131d相应地由拍摄部15拍摄到的第2图像,能够对使用者U1的手指的前端在空间上的位置(3维位置)进行检测。因此,书写板终端40可起到与检测装置10a相同的效果。例如,书写板终端40,能够减少对使用者的指示的误检测,并且由于能够进行上述那样的使用者接口显示,所以能够提高便利性。
此外,本发明不限定于上述的各实施方式,能够在不脱离本发明的主旨的范围内进行变更。
例如,上述的各实施方式中,说明了具备1个拍摄部15的方式,但也可以设置多个拍摄部15并追加用于消除遮挡的处理。另外,也可以是通过使用过滤器和/或检流计扫描仪,使用1个红外光光源来生成第1红外光和第2红外光的方式。
另外,上述的各实施方式中,说明了将检测装置10以及输入装置20应用于投影机30的方式,但也可以是应用于其他装置的方式。例如,也可以是应用于具备显示功能的电子黑板和/或电子会议装置等的方式。另外,检测装置10以及输入装置20既可以是组合多个而使用的方式,也可以是作为单独的装置而使用的方式。
另外,书写板终端40不限定于上述的第5实施方式,也可以是下述这样的变形例。
例如,如图24所示,书写板终端40也可以是将检测装置10a以与显示部401的显示面平面接近的状态安装的方式。该情况下,拍摄部15配置为,从显示面朝向斜上方仰视。该拍摄部15既可以是可动式且能够由使用者U1自身调整的方式,也可以是能够与显示部401的倾斜度相应地改变拍摄的角度的方式。另外,也可以是下述方式:在拍摄部15的侧方配置的多个第2红外光照射部(13b、13c)在左右配置成倾斜度不同,照射定时也与拍摄部15的帧频率同步地不同。
图24所示的例子中,第2红外光照射部13b照射的第2红外光132b,与第2红外光照射部13c照射的第2红外光132c相比向上倾斜地照射。也就是,第2红外光132b和第2红外光132c的照射范围分成不同区域。该情况下,书写板终端40,通过对第2红外光132b和第2红外光132c进行区域分割,能够限定前端部的位置,所以能够更高精度地提取3维位置。
此外,图24中,虽然省略了第1红外光照射部12的图示,但第1红外光照射部12与上述的各实施方式同样地照射第1红外光。
另外,例如,也可以是下述方式:如图25所示,书写板终端40(检测装置10a)具备2个以上的多个第2红外光照射部(13d~13g),对照射范围(照射区域)不同的多个第2红外光(133a~133d)进行照射。该情况下,多个第2红外光照射部(13d~13g)既可以像上述那样仅改变红外光的照射方向而分割照射区域,也可以改变第2红外光照射部(13d~13g)的配置位置而更细地分割照射区域。
此外,图25中,虽然省略了第1红外光照射部12的图示,但第1红外光照射部12与上述的各实施方式同样地照射第1红外光。
另外,在书写板终端40具备触摸面板的情况下,也可以是使检测装置10a与触摸面板组合并对指示部(手)的输入进行检测的方式。该情况下,书写板终端40也可以是通过触摸面板对指示部(手)向检测对象面2的接触进行检测而不使用第1红外光的方式。这样一来,书写板终端40,至少能够对拍摄部15的旋转可动区域进行检测。例如,一般而言,就书写板终端所具备的照相机而言,在手处于画面附近时无法进行检测。因此,书写板终端40也可以是通过拍摄部15仅对一定程度上分离的检测区域进行检测,并用触摸面板对接触进行检测的方式。
另外,上述的空间位置提取部,说明了基于第2图像上的手(手指的前端)的位置和大小(手指的幅度)来提取前端部在进深方向上的位置的方式,但不限定于此。例如,也可以是下述方式:如图26所示,拍摄部15具备视场角(G1a、G1b)不同的2个拍摄部(15a、15b),检测装置10a(书写板终端40)基于2个拍摄部(15a、15b)的视差计算前端部在进深方向上的位置(距离L1)。
另外,检测装置10a,在利用视差计算前端部在进深方向上的距离的情况下,也可以如图27所示,利用镜体(151a、151b、152a、152b)以及凹透镜(153a、153b),通过1个拍摄部15实现不同的视场角(G2a、G2b)。
另外,在拍摄部15具有AF(自动对焦)功能的情况下,检测装置10a也可以使用拍摄部15的AF功能对前端部在进深方向上的距离进行检测。
另外,在图22所示那样的拍摄部15配置为从下向上看的情况下,拍摄部15也可以是具备广角透镜的方式。此外,拍摄部15也可以配置2个以上。例如,拍摄部15也可以是配置在显示部401的显示面的四角(4处)的方式。
另外,也可以是下述方式:如图28所示,检测装置10a使用书写板终端40所内置的拍摄部15。该情况下,也可以是下述方式:检测装置10a具备镜体154,拍摄部15对由镜体154反射的显示部401的显示面的范围(视场角G3)进行拍摄。
另外,上述的第5实施方式中,作为电子设备的一例对将检测装置10a应用于书写板终端40的方式进行了说明,但也可以是应用于移动电话机等其他的电子设备的方式。
另外,上述的第5实施方式中,对将检测装置10a应用于书写板终端40的方式进行了说明,但也可以是将上述的第1以及第2实施方式中的检测装置10应用于书写板终端40的方式。

Claims (17)

1.一种检测装置,其特征在于,具备:
对红外光的波长区域进行拍摄的拍摄部;
照射部,其照射第1红外光和第2红外光,该第1红外光对检测对象面上的指示部的前端部进行检测,该第2红外光与所述第1红外光相比对从所述检测对象面离开的区域进行照射;以及
检测部,其基于通过照射所述第1红外光和所述第2红外光而由所述拍摄部所拍摄的图像,对所述指示部的朝向进行检测,基于所述前端部的图像区域和检测出的所述指示部的朝向,对所述检测对象面上的所述前端部的位置进行检测,所述前端部的图像区域基于通过照射所述第1红外光所拍摄的图像而提取出。
2.根据权利要求1所述的检测装置,其特征在于,
所述第1红外光以及所述第2红外光为与所述检测对象面平行的平行光。
3.根据权利要求1所述的检测装置,其特征在于,
所述第1红外光为与所述检测对象面平行的平行光,所述第2红外光为向与所述检测对象面垂直的方向扩散的扩散光。
4.根据权利要求1~3中任一项所述的检测装置,其特征在于,
所述照射部与所述拍摄部的拍摄定时相应地,切换并照射所述第1红外光和所述第2红外光,
所述检测部基于通过照射所述第1红外光而拍摄的第1图像以及通过照射所述第2红外光而由所述拍摄部所拍摄的第2图像,对所述指示部的朝向进行检测。
5.根据权利要求4所述的检测装置,其特征在于,
所述照射部以相互不同的光的强度照射所述第1红外光和所述第2红外光。
6.根据权利要求5所述的检测装置,其特征在于,
所述检测部,基于照射所述相互不同的光的强度而拍摄的所述第1图像与所述第2图像的差分图像,提取所述指示部的图像区域和所述前端部的图像区域,基于提取出的所述指示部的图像区域对所述指示部的朝向进行检测,基于检测出的所述指示部的朝向和所述前端部的图像区域,对所述前端部的位置进行检测。
7.根据权利要求6所述的检测装置,其特征在于,
所述检测部,使所述差分图像多值化,基于多值化后的所述差分图像而提取所述指示部的图像区域和所述前端部的图像区域。
8.根据权利要求4所述的检测装置,其特征在于,
所述拍摄部还对所述第1红外光以及所述第2红外光都不进行照射的期间的图像即第3图像进行拍摄,
所述检测部,基于所述第1图像与所述第3图像的差分图像以及所述第2图像与所述第3图像的差分图像,提取所述指示部的图像区域和所述前端部的图像区域,基于提取出的所述指示部的图像区域对所述指示部的朝向进行检测,基于检测出的所述指示部的朝向和所述前端部的图像区域对所述前端部的位置进行检测。
9.根据权利要求6~8中任一项所述的检测装置,其特征在于,
所述检测部通过下述3项中的任一项或组合对所述指示部的朝向进行检测:基于所述指示部的图像区域的图案与预先确定的基准图案的比较实现的图案匹配;在所述拍摄部的拍摄范围以内预先指定的检测范围的边界线之中与所述指示部的图像区域重叠的位置;以及所述指示部的图像区域的移动矢量。
10.根据权利要求6~9中任一项所述的检测装置,其特征在于,
所述检测部基于所述指示部的朝向和所述前端部的图像区域对多个所述前端部的位置进行检测。
11.根据权利要求4~10中任一项所述的检测装置,其特征在于,
所述检测部基于所述第2图像,在所述拍摄部的拍摄范围内对所述指示部进行移动的空间上的所述前端部的位置进行检测。
12.根据权利要求11所述的检测装置,其特征在于,
所述照射部依次照射相对于所述检测对象面的垂直方向上的照射范围相互不同的多个所述第2红外光,
所述拍摄部对与所述多个第2红外光分别相对应的多个所述第2图像进行拍摄,
所述检测部基于所述多个第2图像对所述前端部在所述垂直方向上的位置进行检测。
13.根据权利要求11所述的检测装置,其特征在于,
所述检测部基于所述第2图像提取所述指示部的图像区域,基于提取出的所述指示部的图像区域中的所述前端部在所述第2图像上的位置以及大小,对所述前端部在相对于检测对象面的垂直方向上的位置进行检测。
14.根据权利要求11~13中任一项所述的检测装置,其特征在于,
所述检测部基于所述第2图像提取所述指示部的图像区域,基于提取出的所述指示部的图像区域在所述第2图像上的位置以及大小,对相对于所述检测对象面的水平方向上的所述前端部的位置进行检测。
15.一种输入装置,其特征在于,
具备权利要求1~14中的任一项所述的检测装置。
16.一种投影机,其特征在于,具备:
权利要求15所述的输入装置;以及
对所述检测对象面投影图像的投影部。
17.一种电子设备,其特征在于,
具备权利要求1~14中的任一项所述的检测装置。
CN2012800044850A 2011-03-15 2012-03-14 检测装置、输入装置、投影机以及电子设备 Pending CN103299259A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-056819 2011-03-15
JP2011056819 2011-03-15
JP2012046970A JP2012208926A (ja) 2011-03-15 2012-03-02 検出装置、入力装置、プロジェクタ、及び電子機器
JP2012-046970 2012-03-02
PCT/JP2012/056548 WO2012124730A1 (ja) 2011-03-15 2012-03-14 検出装置、入力装置、プロジェクタ、及び電子機器

Publications (1)

Publication Number Publication Date
CN103299259A true CN103299259A (zh) 2013-09-11

Family

ID=46830795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012800044850A Pending CN103299259A (zh) 2011-03-15 2012-03-14 检测装置、输入装置、投影机以及电子设备

Country Status (5)

Country Link
US (1) US20130314380A1 (zh)
EP (1) EP2687959A4 (zh)
JP (1) JP2012208926A (zh)
CN (1) CN103299259A (zh)
WO (1) WO2012124730A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020511A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 交互式投影机及交互式投影***
CN106255941A (zh) * 2014-04-28 2016-12-21 罗伯特·博世有限公司 交互式菜单
CN106462297A (zh) * 2014-04-28 2017-02-22 罗伯特·博世有限公司 电设备以及用于运行电设备的方法
CN106462298A (zh) * 2014-04-28 2017-02-22 罗伯特·博世有限公司 模块和用于运行模块的方法
CN107193416A (zh) * 2017-05-19 2017-09-22 广州视源电子科技股份有限公司 一种触控物体的状态识别方法及装置
CN108227919A (zh) * 2017-12-22 2018-06-29 潍坊歌尔电子有限公司 用户手指位置信息的确定方法及装置、投影仪、投影***
US10671221B2 (en) 2016-09-13 2020-06-02 Sony Corporation Display apparatus with detection function
US11429229B2 (en) 2018-12-20 2022-08-30 Sony Group Corporation Image processing apparatus and display apparatus with detection function

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085245A1 (en) * 2012-09-21 2014-03-27 Amazon Technologies, Inc. Display integrated camera array
JP2014064419A (ja) 2012-09-21 2014-04-10 Hitachi Automotive Systems Ltd 電子制御装置
JP6107398B2 (ja) * 2013-05-13 2017-04-05 富士通株式会社 検出装置及び検出プログラム
JP6175913B2 (ja) * 2013-06-04 2017-08-09 船井電機株式会社 入力装置、入力システム及び入力方法
JP2015060296A (ja) * 2013-09-17 2015-03-30 船井電機株式会社 空間座標特定装置
JP2015079169A (ja) * 2013-10-18 2015-04-23 増田 麻言 投影装置
JP6375672B2 (ja) * 2014-01-21 2018-08-22 セイコーエプソン株式会社 位置検出装置、及び位置検出方法
JP6387644B2 (ja) 2014-01-21 2018-09-12 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出方法
JP6326895B2 (ja) * 2014-01-21 2018-05-23 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
CN103995621B (zh) * 2014-04-28 2017-02-15 京东方科技集团股份有限公司 一种穿戴式触控装置和穿戴式触控方法
DE102014207923A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Modul und Verfahren zum Betrieb eines Moduls
US10372269B2 (en) * 2014-07-29 2019-08-06 Sony Corporation Projection display apparatus
JP5756215B1 (ja) * 2014-09-16 2015-07-29 グリッドマーク株式会社 情報処理装置
JP6609098B2 (ja) * 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム
JP2016091457A (ja) * 2014-11-10 2016-05-23 富士通株式会社 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP6540305B2 (ja) * 2015-06-18 2019-07-10 カシオ計算機株式会社 タッチ入力装置、投影装置、タッチ入力方法及びプログラム
CN106325610B (zh) * 2015-06-30 2019-06-11 中强光电股份有限公司 触控显示***、触控装置与触控显示方法
TWI595425B (zh) * 2015-12-30 2017-08-11 松翰科技股份有限公司 感測裝置及光學感測模組
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US10955921B2 (en) * 2016-08-23 2021-03-23 Motorola Mobility Llc Electronic device with optical user input modes and localized haptic response, and corresponding systems and methods
DE102016215746A1 (de) * 2016-08-23 2018-03-01 Robert Bosch Gmbh Projektor mit berührungsfreier Steuerung
TWI626423B (zh) * 2016-09-12 2018-06-11 財團法人工業技術研究院 手觸偵測裝置、手觸偵測方法及應用其之智慧投影系統
JP6729297B2 (ja) * 2016-10-27 2020-07-22 セイコーエプソン株式会社 プロジェクター、プロジェクションシステム及び検出光照射装置
US10429996B1 (en) 2018-03-08 2019-10-01 Capital One Services, Llc System and methods for providing an interactive user interface using a film, visual projector, and infrared projector
WO2019171827A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10845921B2 (en) 2018-05-21 2020-11-24 Motorola Mobility Llc Methods and systems for augmenting images in an electronic device
US20220113807A1 (en) * 2020-10-14 2022-04-14 Aksor Interactive Contactless Ordering Terminal

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010036262A1 (en) * 2008-09-26 2010-04-01 Hewlett-Packard Development Company, L.P. Determining touch locations using disturbed light
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
WO2010073047A1 (en) * 2008-12-24 2010-07-01 Light Blue Optics Limited Touch sensitive image display device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5498867A (en) * 1993-11-22 1996-03-12 Sachio Uehara Wavelength-division multiplex digital optical position sensor
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
EP1316055A4 (en) 2000-05-29 2006-10-04 Vkb Inc DEVICE FOR ENTERING VIRTUAL DATA AND METHOD FOR ENTERING ALPHANUMERIC AND OTHER DATA
KR20030072591A (ko) * 2001-01-08 2003-09-15 브이케이비 인코포레이티드 데이터 입력 디바이스
US7453419B2 (en) * 2004-11-24 2008-11-18 Microsoft Corporation Edge lighting system for interactive display surface
WO2007013608A1 (ja) * 2005-07-28 2007-02-01 Matsushita Electric Industrial Co., Ltd. レーザ光源およびディスプレイ装置
JP5201096B2 (ja) * 2009-07-17 2013-06-05 大日本印刷株式会社 対話操作装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010036262A1 (en) * 2008-09-26 2010-04-01 Hewlett-Packard Development Company, L.P. Determining touch locations using disturbed light
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
WO2010073047A1 (en) * 2008-12-24 2010-07-01 Light Blue Optics Limited Touch sensitive image display device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106255941A (zh) * 2014-04-28 2016-12-21 罗伯特·博世有限公司 交互式菜单
CN106462297A (zh) * 2014-04-28 2017-02-22 罗伯特·博世有限公司 电设备以及用于运行电设备的方法
CN106462298A (zh) * 2014-04-28 2017-02-22 罗伯特·博世有限公司 模块和用于运行模块的方法
CN106255941B (zh) * 2014-04-28 2020-06-16 罗伯特·博世有限公司 交互式菜单
TWI696945B (zh) * 2014-04-28 2020-06-21 德商羅伯特博斯奇股份有限公司 模組資訊電器和操作模組的方法
CN106020511A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 交互式投影机及交互式投影***
US10671221B2 (en) 2016-09-13 2020-06-02 Sony Corporation Display apparatus with detection function
CN107193416A (zh) * 2017-05-19 2017-09-22 广州视源电子科技股份有限公司 一种触控物体的状态识别方法及装置
CN107193416B (zh) * 2017-05-19 2019-11-05 广州视源电子科技股份有限公司 一种触控物体的状态识别方法及装置
CN108227919A (zh) * 2017-12-22 2018-06-29 潍坊歌尔电子有限公司 用户手指位置信息的确定方法及装置、投影仪、投影***
CN108227919B (zh) * 2017-12-22 2021-07-09 潍坊歌尔电子有限公司 用户手指位置信息的确定方法及装置、投影仪、投影***
US11429229B2 (en) 2018-12-20 2022-08-30 Sony Group Corporation Image processing apparatus and display apparatus with detection function

Also Published As

Publication number Publication date
WO2012124730A1 (ja) 2012-09-20
JP2012208926A (ja) 2012-10-25
EP2687959A4 (en) 2014-10-08
EP2687959A1 (en) 2014-01-22
US20130314380A1 (en) 2013-11-28

Similar Documents

Publication Publication Date Title
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
CN109564495B (zh) 显示装置、存储介质、显示方法及控制装置
US9720511B2 (en) Hand and object tracking in three-dimensional space
JP5950130B2 (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
US9996197B2 (en) Camera-based multi-touch interaction and illumination system and method
US6100538A (en) Optical digitizer and display means for providing display of indicated position
US9521276B2 (en) Portable projection capture device
US20140139668A1 (en) Projection capture system and method
CN105593786B (zh) 对象位置确定
US20030226968A1 (en) Apparatus and method for inputting data
KR20140060297A (ko) 입력체의 움직임 검출 방법 및 그것을 이용한 입력 디바이스
CN102799318A (zh) 一种基于双目立体视觉的人机交互方法及***
CN101644976A (zh) 表面多点触摸装置及其定位方法
US20140240228A1 (en) User interface display device
CN107407994A (zh) 交互式投影仪以及交互式投影***
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
KR100936666B1 (ko) 적외선 스크린 방식의 투영 영상 터치 장치
KR20150062952A (ko) 위치 감지가 가능한 레이저 프로젝터 및 이를 이용한 위치 감지 방법
KR101002072B1 (ko) 펄스 구동 방식의 투영 영상 터치 장치
JP6233941B1 (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体
CN101183287B (zh) 在主机设备的屏幕上控制光标的设备和方法
JP5118663B2 (ja) 情報端末装置
JPWO2018207235A1 (ja) 入出力システム、スクリーンセット、入出力方法、及び、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130911