CN103946668B - 指示棒检测装置以及指示棒检测方法 - Google Patents

指示棒检测装置以及指示棒检测方法 Download PDF

Info

Publication number
CN103946668B
CN103946668B CN201380003618.7A CN201380003618A CN103946668B CN 103946668 B CN103946668 B CN 103946668B CN 201380003618 A CN201380003618 A CN 201380003618A CN 103946668 B CN103946668 B CN 103946668B
Authority
CN
China
Prior art keywords
camera
indicating bar
indicating
axle
detection means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380003618.7A
Other languages
English (en)
Other versions
CN103946668A (zh
Inventor
绪方伸辅
宫崎秋弘
岛本武史
木村智生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN103946668A publication Critical patent/CN103946668A/zh
Application granted granted Critical
Publication of CN103946668B publication Critical patent/CN103946668B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供能够高精度地检测指示棒的位置的指示棒检测装置。本发明的指示棒检测装置(100)是,检测作为指示棒(103)所指示的位置的指示位置的指示棒检测装置,具备:第一相机(101);第二相机(102),被配置在与第一相机(101)不同的位置,且拍摄第一相机(101)的摄影对象的至少一部分;以及具有轴检测部(122)以及指示位置检测部(123)的控制部(121),轴检测部(122),利用由第一相机以及第二相机分别拍摄的两张图像,检测指示棒的轴的三维上的位置以及姿势,指示位置检测部(123),计算示出由轴检测部检测出三维上的位置以及姿势的指示棒的轴所指示的方向的直线、与针对第一相机以及第二相机而处于预先决定的位置关系上的对象面的交点,以作为指示位置。

Description

指示棒检测装置以及指示棒检测方法
技术领域
本发明涉及,检测作为指示棒所指示的位置的指示位置,利用检测出的指示位置进行显示处理的指示棒检测装置以及指示棒检测方法。
背景技术
以往,对显示在画面上的指针以及图标进行操作的输入装置有,通过检测指示棒的位置,按照该位置的移动量以及移动方向使显示在画面上的指针移动的装置(参照专利文献1)。
(现有技术文献)
(专利文献)
专利文献1:日本特开2011-180690号公报
然而,专利文献1的技术中存在的问题是,不能高精度地检测指示棒的位置。
发明内容
于是,鉴于所述的问题,本发明的目的在于提供能够高精度地检测指示棒的位置的指示棒检测装置以及指示棒检测方法。
为了实现所述目的,本发明的实施方案之一涉及的指示棒检测装置,检测指示位置,该指示位置是指示棒所指示的位置,该指示棒检测装置具备:第一相机;第二相机,被配置在与所述第一相机不同的位置,且拍摄所述第一相机的摄影对象的至少一部分;以及控制部,该控制部具有轴检测部以及指示位置检测部,所述轴检测部,利用由所述第一相机以及所述第二相机分别拍摄的两张图像,检测所述指示棒的轴的三维上的位置以及姿势,所述指示位置检测部,计算示出所述指示棒的轴所指示的方向的直线、与针对所述第一相机以及所述第二相机而处于预先决定的位置关系上的对象面的交点,以作为所述指示位置,所述指示棒的轴是由所述轴检测部检测出三维上的位置以及姿势的指示棒的轴。
据此,根据由第一相机以及第二相机拍摄的一对图像检测指示棒的轴,将检测出的轴延伸的直线、与针对第一相机以及第二相机而处于预先决定的位置关系上的面的交点检测为作为指示棒所指示的位置的指示位置。因此,例如,即使用户握住指示棒的尖端部分,也根据用户没有握住的指示棒的部分的图像能够检测指示棒所指示的指示位置。如此,与用户把持的位置无关,而能够检测指示棒所指示的指示位置,因此,能够高精度地检测指示位置。
而且,这些全般或具体的形态,可以由方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录介质实现,也可以由方法、集成电路、计算机程序以及记录介质的任意的组合实现。
本发明的指示棒检测装置,能够高精度地检测指示位置。
附图说明
图1是本发明的实施例1的指示棒检测装置的概略斜视图。
图2是示出本发明的实施例1的指示棒检测装置的结构的方框图。
图3是示出由控制部进行的指示位置检测处理的流程的流程图。
图4是用于说明由控制部进行的指示位置检测处理的内容的图。
图5是示出实施例1的变形例1涉及的指示棒检测装置的结构的图。
图6是示出实施例1的变形例2涉及的指示棒检测装置的结构的图。
图7是示出实施例1的变形例2涉及的指示位置检测处理的流程的流程图。
图8是示出实施例1的变形例2涉及的用于进行编织支援的指示棒检测装置的结构的图。
图9是示出实施例1的变形例3涉及的指示棒检测装置的结构的图。
图10是示出实施例1的变形例5涉及的指示棒检测装置的结构的图。
图11是示出实施例1的变形例5的其他的形态涉及的指示棒检测装置的结构的图。
图12是示出各个发光部的发光方式、和由各个相机拍摄多个帧的定时的图。
图13是示出实施例2涉及的指示棒检测装置的结构的图。
图14是示出摄像元件的最小单位的1像素的结构的图。
图15是示出实施例3涉及的指示棒检测装置的结构的图。
图16是用于说明实施例3涉及的由指示棒检测装置的照射控制部的照射控制的图。
图17是示出实施例3的其他的形态涉及的指示棒检测装置的结构的图。
具体实施方式
(成为本发明的基础的知识)
本发明人,对于“背景技术”的栏中记载的指示棒检测装置,看出产生以下的问题。
在专利文献1中,根据相机所拍摄的图像检测,设置在指示棒的尖端的LED的位置,从而检测指示棒所指示的点的位置。然而,在像握住铅笔那样握住指示棒的尖端部的情况下,指示棒的尖端容易由用户的手隐藏,由相机难以识别指示棒的尖端。
并且,对于检测指示棒的位置的方式,除了像专利文献1那样由光学识别(相机)检测指示棒的尖端的LED的方式以外,还有触摸屏方式、磁传感器方式等的情况。但是,在触摸屏方式以及磁传感器方式的情况下,如下所述,难以高精度地检测指示棒的位置。
根据触摸屏方式,利用检测指示棒接触或接近的位置的触摸屏,因此,指示棒需要与触摸屏接触或接近。因此,例如,在像用户的手与触摸屏接触等那样、指示棒的尖端以外的部分接触的情况下存在的问题是,难以准确地检测指示棒的尖端。
并且,在磁传感器方式的情况下,难以高精度地检测指示棒的位置。
为了解决这样的问题,本发明的实施方案之一涉及的指示棒检测装置,检测指示位置,该指示位置是指示棒所指示的位置,该指示棒检测装置具备:第一相机;第二相机,被配置在与所述第一相机不同的位置,且拍摄所述第一相机的摄影对象的至少一部分;以及控制部,该控制部具有轴检测部以及指示位置检测部,所述轴检测部,利用由所述第一相机以及所述第二相机分别拍摄的两张图像,检测所述指示棒的轴的三维上的位置以及姿势,所述指示位置检测部,计算示出所述指示棒的轴所指示的方向的直线、与针对所述第一相机以及所述第二相机而处于预先决定的位置关系上的对象面的交点,以作为所述指示位置,所述指示棒的轴是由所述轴检测部检测出三维上的位置以及姿势的指示棒的轴。
据此,根据由第一相机以及第二相机拍摄的一对图像检测指示棒的轴,将检测出的轴延伸的直线、与针对第一相机以及第二相机而处于预先决定的位置关系上的面的交点检测为作为指示棒所指示的位置的指示位置。因此,例如,即使用户握住指示棒的尖端部分,也根据用户没有握住的指示棒的部分的图像能够检测指示棒所指示的指示位置。如此,与用户把持的位置无关,而能够检测指示棒所指示的指示位置,因此,能够高精度地检测指示位置。
并且,例如,也可以是,所述轴检测部:计算第一轴和第二轴,所述第一轴是由所述第一相机拍摄的第一图像上的所述指示棒的轴,所述第二轴是由所述第二相机拍摄的第二图像上的所述指示棒的轴;计算第一平面和第二平面,所述第一平面是计算出的所述第一轴以及所述第一相机的位置通过的平面,所述第二平面是计算出的所述第二轴以及所述第二相机的位置通过的平面;将计算出的所述第一平面与所述第二平面相交的交线,作为所述指示棒的轴的三维上的位置以及姿势来检测。
据此,检测根据第一图像中出现的指示棒的像计算出的第一平面、和根据第二图像中出现的指示棒的像计算出的第二平面交叉的交线,以作为指示棒的轴。因此,轴检测部,能够高精度地检测指示棒的轴。
并且,例如,也可以是,所述指示棒检测装置还具备显示部,所述控制部还具有显示处理部,该显示处理部,将指针显示在与由所述指示位置检测部计算出的指示位置对应的所述显示部的规定位置。
据此,与作为指示棒所指示的位置的指示位置对应,决定显示在显示部的指针的位置。因此,通过使指示棒变动,能够使显示在显示部的指针变动。
并且,例如,也可以是,所述对象面是所述显示部的显示面,所述显示处理部,以将所述指针与所述指示位置一致的方式,将所述指针显示在所述显示部。
据此,将指示位置、和显示部中显示指针的位置,一致来显示。因此,用户,能够直接使指针移动,能够感应操作。
并且,例如,也可以是,所述对象面是与所述显示部的显示面不同的物理面。
并且,例如,也可以是,所述对象面是虚拟的面。
并且,例如,也可以是,一种指示棒检测装置,检测指示位置,该指示位置是指示棒所指示的三维空间上的位置,该指示棒检测装置具备:第一相机;第二相机,被配置在与所述第一相机不同的位置,且拍摄所述第一相机的摄影对象的至少一部分;以及存储部,预先存储所述指示棒的长度;以及控制部,该控制部具有轴检测部、后端部检测部以及指示位置检测部,所述轴检测部,利用由所述第一相机以及所述第二相机分别拍摄的两张图像,检测所述指示棒的轴的三维上的位置以及姿势,所述后端部检测部,利用由所述第一相机以及所述第二相机分别拍摄的两张图像,检测所述指示棒的后端部的位置,所述指示位置检测部,根据检测出的所述指示棒的轴的三维上的位置以及姿势、和所述指示棒的后端部的位置、所述存储部预先存储的所述指示棒的长度,计算所述指示棒的尖端部在三维空间上的位置,以作为所述指示位置。
据此,根据由第一相机以及第二相机拍摄的一对图像检测指示棒的轴,根据检测出的指示棒的轴的位置、预先存储的指示棒的长度、以及指示棒的后端部的位置,计算指示棒的尖端部的三维的位置,以作为指示位置。因此,例如,即使用户握住指示棒的尖端部,也根据用户没有握住的指示棒的部分的图像能够检测指示棒所指示的指示位置。如此,与用户把持的位置无关,而能够检测指示棒所指示的指示位置,因此,能够高精度地检测指示位置。并且,将三维的位置作为指示位置来计算,因此,能够利用于能够在三维空间上进行描绘的输入装置。
并且,例如,也可以是,所述指示棒检测装置还具备显示部,所述控制部还具有显示处理部,所述显示处理部,使所述显示部显示,与由所述指示位置检测部计算出的所述指示位置对应的所述显示部的规定位置上显示的指针移动时的轨迹。
据此,用户使指示棒移动,从而能够使显示部显示移动后的指针的轨迹。
并且,例如,也可以是,所述控制部还具有功能设定部,所述功能设定部,设定为第一功能以及第二功能之中的一个功能,所述第一功能是以第一描绘形态描绘所述指示位置的轨迹的功能,所述第二功能是以与所述第一描绘形态不同的第二描绘形态描绘该轨迹的功能,所述显示处理部,按照所述第一功能以及所述第二功能之中的由所述功能设定部设定的功能,进行所述轨迹的显示处理。
据此,以与由功能设定部设定的功能对应的形态使显示部显示指示位置的轨迹。例如,通过用户的操作能够设定作为第一功能的以描绘黑线的第一描绘形态描绘的功能、以及作为第二功能的以描绘红线的第二描绘形态描绘的功能,用户切换这些描绘形态,从而能够以用户的所希望的描绘形态使显示部显示指示位置的轨迹。
并且,例如,也可以是,所述指示棒检测装置还具备压力检测部,所述压力检测部,被设置在所述指示棒,且检测由用户施加到所述指示棒的压力,所述功能设定部,在所述压力检测部检测到施加的压力时设定为所述第一功能,在所述压力检测部没有检测到施加的压力时设定为所述第二功能。
据此,在指示棒设置有能够检测由用户的压力的压力检测部,功能设定部,按照压力的有无设定为第一功能以及第二功能之中的某个。如此,用户,根据施加到指示棒的压力的有无,能够切换描绘形态。因此,用户,容易能够手头切换显示部所显示的描绘形态。
并且,例如,也可以是,所述指示棒检测装置还具备开关,所述开关以能够接通或断开的方式被设置在所述指示棒,所述功能设定部,在所述开关接通时设定为所述第一功能,在所述开关断开时设定为所述第二功能。
据此,能够接通或断开的开关被设置在指示棒,功能设定部,按照开关的接通断开设定为第一功能以及第二功能之中的某个。如此,用户,通过切换被设置在指示棒的开关的接通断开,能够切换描绘形态。因此,用户,容易能够手头切换显示部所显示的描绘形态。
并且,例如,也可以是,所述功能设定部,按照由所述第一相机或所述第二相机拍摄的图像上的所述指示棒的外观,设定为所述第一功能以及所述第二功能之中的一个功能。
因此,用户,例如,通过改变指示棒的种类、交换指示棒的一部分等,能够切换由功能设定部设定的描绘形态。
并且,例如,也可以是,所述功能设定部,按照检测出的所述指示棒的轴的倾斜,设定为所述第一功能以及所述第二功能之中的一个功能。
因此,用户,通过改变握住指示棒时的倾斜,能够切换描绘形态。因此,用户,只要手头变动,就容易能够切换显示部所显示的描绘形态。
并且,例如,也可以是,所述功能设定部将功能设定为,检测出的所述指示棒的轴与所述对象面的角度越大,就描绘得越细或越粗。
因此,用户,通过改变握住指示棒时的倾斜,能够无阶段改变描绘的线的粗细。
并且,例如,也可以是,所述功能设定部,在所述指示棒的轴的倾斜、所述指针的位置、或所述指示棒的后端部的位置的每单位时间的变位量超过预先决定的阈值的情况下,设定为所述第一功能以及所述第二功能之中的一个功能。
据此,用户,例如,通过挥指示棒、以转笔的方法旋转指示棒等进行将指示棒快速变动的工作,在指示棒的轴的倾斜、指针的位置、或指示棒的后端部的位置的每单位时间的变位量超过预先决定的阈值的情况下,能够切换由功能设定部设定的描绘形态。
并且,例如,也可以是,所述控制部还具有用户选择部,该用户选择部,在检测出多个所述指示棒的轴的情况下,按检测出的多个指示棒的每个指示位置,以分别不同的描绘形态进行描绘。
据此,即使在多个用户分别利用指示棒输入的情况下,也能够以与各个用户对应的描绘形态描绘。因此,用户,容易能够区别描绘结果是哪个用户描绘的。
并且,例如,也可以是,还具备:显示部,通过所述显示处理来进行描绘的显示;以及照射部,向成为所述第一相机以及所述第二相机的摄影对象的空间照射红外线,所述显示部,发出与所述照射部照射的红外线的频带不同的频带的光。
据此,照射部照射的红外线的频带,和显示部发出的光的频带不同。因此,例如,在太阳光等的来自外部的光被遮断的状况下,第一相机以及第二相机所拍摄的图像中的检测出红外线的频带的区域中出现的像是,因照射部所照射的红外线而得到的像。也就是说,即使至少拍摄因显示部发出的光而得到的像或显示部本身的像,也能够忽视因显示部发出的光而得到的像。据此,第一相机以及第二相机所拍摄的图像中的检测出红外线的频带的区域中出现的像不是,因显示部发出的光而得到的像,因此,能够减少指示棒的检测误差。并且,例如,对于指示棒的素材,若利用反射红外线的素材,则更能够提高指示棒的检测精度。并且,例如,若由吸收红外线的素材构成显示部等的指示棒以外的部件的素材,则更能够提高指示棒的检测精度。
并且,例如,也可以是,还具备照射部,所述照射部,向成为所述第一相机以及所述第二相机的摄影对象的空间照射红外线,所述第一相机或所述第二相机的摄像元件具有,检测RGB的RGB传感器、以及检测红外线的红外线传感器,所述控制部还具有模式切换部,该模式切换部,在所述第一相机以及所述第二相机进行每秒n帧(n为自然数)的捕获的情况下,对第一模式和第二模式进行切换,所述第一模式是指,一边进行由所述照射部的照射,一边进行由所述红外线传感器的红外线检测,在该红外线检测的期间,至少以1/n帧的定时进行由所述RGB传感器的RGB检测的模式,所述第二模式是指,进行所述RGB检测,在该RGB检测的期间,至少以1/n帧的定时进行由所述照射部的照射以及所述红外线检测的模式,所述模式切换部,在所述第一相机或所述第二相机被配置的环境下的外光的光强度比预先决定的阈值小的情况下,切换为所述第一模式,在该环境下的外光的光强度比所述预先决定的阈值大的情况下,切换为第二模式。
据此,能够提高指示棒的检测精度,并且能够减少耗电量。
并且,例如,也可以是,所述指示棒检测装置还具备照射部,所述照射部具有向成为所述第一相机以及所述第二相机的摄影对象的空间照射红外线的多个光源,所述控制部还具有照射控制部,所述照射控制部,使所述多个光源中的第一光源以外的光源的光量低于所述第一光源的光量,所述第一光源是照射检测出的所述指示棒的位置的光源。
据此,照射控制部,使照射指示棒被检测的位置的周围的光源的光量低于第一光源的光量。如此,照射控制部,使检测指示棒时几乎不需要的光源的光量减少,因此,能够尽量防止指示棒的检测精度降低,并且能够减少耗电量。
并且,例如,也可以是,所述控制部还具有摄影控制部,所述摄影控制部,在检测出的指示棒的每单位时间的移动量为预先决定的阈值以下的情况下,将所述第一相机以及所述第二相机的摄影所涉及的帧率变小,在所述每单位时间的移动量超过所述阈值的情况下,将所述帧率变大。
如此,摄影控制部,与指示棒的移动速度的增减对应,使第一相机以及第二相机的摄影所涉及的帧率增减,因此,能够尽量防止指示棒的检测精度降低,并且能够减少耗电量。
并且,例如,也可以是,所述指示棒检测装置还具备第一指示棒以及第二指示棒,所述第一指示棒具有,以不同的多个第一定时的第一发光方式发光的第一发光部,所述第二指示棒具有,以与所述第一发光方式不同的第二发光方式发光的第二发光部,所述控制部还具有发光识别部,所述发光识别部,在包含所述第一定时、和作为所述第二发光方式的发光定时的多个第二定时的多个定时使所述第一相机以及所述第二相机进行拍摄,将具有在所述第一定时拍摄的图像中发光的发光部的指示棒识别为所述第一指示棒,将具有在所述第二定时拍摄的图像中发光的发光部的指示棒识别为所述第二指示棒。
据此,能够区别并识别具有第一发光部的第一指示棒和具有第二发光部的第二指示棒。
并且,例如,也可以是,所述控制部还具备:编织状态判定部,根据以布料仿真对由所述第一相机以及所述第二相机拍摄的图像进行分析而得到的线的形状信息、以及推测的所述指示棒的轴以及所述尖端部的位置,判定当前的编织状态;以及指示提示部,通过对由所述编织状态判定部判定的当前的编织状态、和预先设计的编织品的设计信息进行比较,计算用于指示下次如何编织的指示内容,对所述指示内容进行显示。
据此,在用户进行编织的情况下,以布料仿真判定当前的编织状态。而且,例如,若预先设定表示完成的设计信息,通过对判定的当前的编织状态和设计信息进行比较,从而能够提示下次编织的顺序。因此,用户,只要预先设定所希望的编织品的设计信息,即使不知道下次如何编织,也按照被提示的指示内容进行编织,就能够制作所希望的编织品。
而且,这些全般或具体的形态,可以由方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录介质实现,也可以由方法、集成电路、计算机程序以及记录介质的任意的组合实现。
以下,对于本发明的实施方案之一涉及的指示棒检测装置以及指示棒检测方法,参照附图进行说明。
而且,以下说明的各个实施例,都示出本发明的一个例子。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等,是一个例子,而不是限定本发明的宗旨。并且,对于以下的实施例的构成要素中的、示出最上位概念的独立权利要求中没有记载的构成要素,作为任意的构成要素来说明。
(实施例1)
本发明的实施方案之一涉及的指示棒检测装置是,典型而言,通过检测用户把持的指示棒的位置的经时变化,从而按照该经时变化的变化方向以及变化量,经过时间变更使显示部显示的指针的位置的输入装置,所谓指示设备。
图1是本发明的实施例1的指示棒检测装置100的概略斜视图。图2是示出本发明的实施例1的指示棒检测装置100的结构的方框图。
指示棒检测装置100具备,第一相机101、第二相机102、控制部121、存储部125、以及显示部140。
第一相机101以及第二相机102,分别被配置在对象面110的不同的位置,拍摄相互共同的摄影对象空间。第一相机101以及第二相机102,被固定在针对对象面110而预先决定的位置。对象面110是,成为指示棒103的指示对象的平面,在本实施例1中是显示部140的显示面。第一相机101以及第二相机102,在同一定时拍摄,例如,帧率是60fps。也就是说,第一相机101拍摄的定时、和第二相机102拍摄的定时同步。而且,第一相机101拍摄的定时、和第二相机102拍摄的定时并不需要严密一致,能够获得作为由在几乎同一定时(例如规定的阈值以下的定时的差)拍摄的第一图像以及第二图像构成的一对图像的图像对即可。由第一相机101以及第二相机102拍摄的图像对,由存储部125存储。
而且,对于第一相机101以及第二相机102,可以是分别独立的不同的相机,也可以是一体化的立体相机。也就是说,第一相机101以及第二相机102,若能够从不同的角度拍摄相互共同的摄影对象空间,则可以构成为任何形态。
控制部121,通过对由第一相机101以及第二相机102分别拍摄的两张图像进行图像处理,计算指示棒103所指示的指示位置P1。具体而言,控制部121是,CPU等的构成计算机的处理部。
控制部121具有,轴检测部122、指示位置检测部123、以及显示处理部124。
轴检测部122,利用在同一定时由第一相机101以及第二相机102分别拍摄的两张图像,检测该定时的指示棒103的轴。示出由轴检测部122检测出的指示棒103的轴的轴信息,由存储部125存储。
指示位置检测部123,将与由轴检测部122检测出的指示棒103的轴一致的直线210、与对象面110的交点,作为指示位置P1来计算。示出由指示位置检测部123检测出的指示位置P1的指示位置信息,由存储部125存储。
显示处理部124,将指针显示在与由指示位置检测部123计算出的指示位置P1对应的显示部140的画面上的规定位置。
存储部125,预先存储示出第一相机101以及第二相机102与对象面110的位置关系的面相对位置信息。存储部125,还暂时存储由第一相机101拍摄的第一图像、由第二相机102拍摄的第二图像、由轴检测部122计算出的轴信息、以及由指示位置检测部123计算出的指示位置信息。对于存储部125,具体而言,可以由非易失性存储器、易失性存储器、硬盘等的存储装置构成,也可以是它们的组合。
而且,控制部121以及存储部125是,输入处理部120。
由控制部121图像处理的指示棒103,可以是球体,也可以是骰子状的四角柱。在此情况下,在识别指示棒的轴时,也可以将图像中识别的形状中的最大直径的部分识别为轴。并且,在像球体那样、全部为最大直径的形状的情况下,例如,可以将最初识别的姿势中通过球体的中心且与Z轴方向平行的线识别为指示棒的轴。并且,在像四角柱那样、识别多个最大直径的形状的情况下,例如,可以将最初由控制部121识别的姿势中的朝向与Z轴方向最近的方向的最大直径的部分识别为指示棒的轴。
以下,参照图3以及图4,说明作为检测指示棒所指示的位置的指示棒检测方法的指示位置检测处理。
图3是示出由控制部121进行的指示位置检测处理的流程的流程图。图4的(a)是用于说明由控制部121进行的指示位置检测处理的内容的图,图4的(b)是用于说明由轴检测部122从第一图像301计算第一轴211的情况的图,图4的(c)是用于说明由轴检测部122从第二图像302计算第二轴212的情况的图。
首先,控制部121,获得在同一定时拍摄的第一图像301以及第二图像302的图像对(S101)。也就是说,获得存储部125存储的图像对。
接着,轴检测部122,判定在第一图像301以及第二图像302的双方中是否出现指示棒103(S102)。在判定为在第一图像301以及第二图像302的双方中没有出现指示棒103的情况下(S102:“否”),获得在该处理的对象帧的下一个定时拍摄的一对图像(下一个帧的图像对)(S109),返回到步骤S102。据此,在指示棒103仅在图像对的一方中出现的情况以及在双方的图像对中没有出现的情况等的不能检测指示棒103的情况下,防止进行以后的不需要的指示位置检测处理。也就是说,能够减轻处理负荷。而且,步骤S102的判定处理,并不是必须的处理。
在第一图像301以及第二图像302的双方中出现指示棒的情况下(S102:“是”),轴检测部122,如图4的(b)以及图4的(c)示出,计算作为第一图像301上的指示棒103的轴的第一轴211、以及作为第二图像302上的指示棒103的轴的第二轴212(S103)。
而且,轴检测部122,如图4的(a)示出,对计算出的第一轴211以及第一相机101的位置通过的第一平面201、以及计算出的第二轴212以及第二相机102的位置通过的第二平面202进行计算(S104)。而且,轴检测部122,此时,根据存储部125所存储的面相对位置信息求出第一相机101以及第二相机102的位置。
若在第一图像301中出现指示棒103,通过对指示棒103出现的第一图像中的位置进行图像分析,决定相对于第一相机101的位置P11而指示棒103存在的方向。也就是说,第一平面201,示出相对于第一相机101的位置P11而指示棒103存在的方向,且是三维空间上的平面。同样,若在第二图像302中出现指示棒103,通过对指示棒103出现的第二图像中的位置进行图像分析,决定相对于第二相机102的位置P12而指示棒103存在的方向。也就是说,第二平面202,示出相对于第二相机102的位置P12而指示棒103存在的方向,且是三维空间上的平面。
轴检测部122,检测计算出的第一平面201和第二平面202相交的交线以作为指示棒103的轴的三维上的位置以及姿势(S105)。计算出的第一平面201和第二平面202,如上所述,分别示出相对于第一相机101的位置P11以及第二相机102的位置P12而指示棒103存在的方向。因此,可以说是,第一平面201和第二平面202的交线示出指示棒103的轴。
指示位置检测部123,计算示出检测出的指示棒103的轴所指示的方向的直线210、与针对第一相机101以及第二相机102而处于预先决定的位置关系上的对象面110的交点,以作为指示位置P1(S106)。显示处理部124,将指针显示在与计算出的指示位置P1对应的显示部140的规定位置(S107)。
控制部121,判定该处理的对象帧是否为最后帧(S108)。也就是说,控制部121,判定存储部125中是否没有下一个帧。在控制部121判定该处理的对象帧为最后帧的情况下(S108:“是”),结束指示位置检测处理。在控制部121判定该处理的对象帧不是最后帧的情况下(S108:“否”),获得在对象帧的下一个定时拍摄的一对图像(下一个帧的图像对)(S109),返回到步骤S102。
根据所述实施例1的指示棒检测装置100,根据由第一相机101以及第二相机102拍摄的一对图像检测指示棒103的轴,将检测出的轴延伸的直线210、与针对第一相机101以及第二相机102而处于预先决定的位置关系上的对象面110的交点,检测为作为指示棒所指示的位置的指示位置P1。因此,例如,即使用户握住指示棒103的尖端部分,也根据用户没有握住的指示棒103的部分的图像能够检测指示棒103所指示的指示位置。如此,与用户把持的位置无关,而能够检测指示棒103所指示的指示位置,因此,能够高精度地检测指示位置。
并且,根据所述实施例1的指示棒检测装置100,检测根据第一图像301中出现的指示棒103计算出的第一平面201、和根据第二图像302中出现的指示棒103计算出的第二平面202交叉的交线,以作为指示棒的轴。因此,轴检测部122,能够高精度地检测指示棒的轴。
并且,根据所述实施例1的指示棒检测装置100,与作为指示棒103所指示的位置的指示位置对应,决定显示在显示部140的指针的位置。因此,通过使指示棒103变动,能够使显示在显示部的指针变动。
并且,根据所述实施例1的指示棒检测装置100,将指示位置P1、和显示部140中显示指针的位置,一致来显示。因此,用户,能够直接使指针移动,能够感应操作。
(变形例1)
根据所述实施例1涉及的指示棒检测装置100,构成为对象面110和显示部140的显示面一致,但是,不仅限于该结构。例如,如图5示出,也可以是对象面110和显示部140a分别为独立的结构的指示棒检测装置100a。在此情况下,可以考虑将对象面110,设定在例如,白板的表面、以及桌子的表面等。
并且,在所述实施例1中,第一相机101以及第二相机102针对对象面110而被固定在预先决定的位置,示出第一相机101以及第二相机102和对象面110的位置关系的面相对位置信息预先存储在存储部125中,但是,不仅限于面相对位置信息预先存储在存储部125中。例如,可以将第一相机101以及第二相机102固定到用户的所希望的位置后,用户将对象面110在空间上的任意的位置作为虚拟的面来设定,也可以进行校准,从而将桌子以及白板等的物理面作为对象面110来设定。据此,用户,能够根据自己的情况自由设定对象面110。
进而,在所述实施例1中,显示处理部124将指针显示在与由指示位置检测部123计算出的指示位置P1对应的显示部140的画面上的规定位置,但也可以是,不使显示部140显示指示位置P1。也就是说,在指示棒检测装置100的结构上,可以不包含显示处理部124以及显示部140。在这样的情况下,由存储部125,将指示棒103向对象面110指示的位置作为轨迹来存储。例如,此时,也可以使外部的显示装置读入示出存储部125所存储的轨迹的轨迹信息,显示指示棒103向对象面110指示的轨迹。
(变形例2)
根据所述实施例1涉及的指示棒检测装置100,通过检测指示棒103的轴的三维空间上的位置以及姿势,导出示出指示棒的轴所指示的方向的直线、与对象面110的交点,以作为指示位置。如此,根据指示棒检测装置100,为了识别指示棒103所指示的对象面110上的位置,输入二维的位置,但也可以是,能够检测三维上的位置的结构的指示棒检测装置100b。
图6是示出实施例1的变形例2涉及的指示棒检测装置100b的结构的图。
变形例2涉及的指示棒检测装置100b,与所述实施例1涉及的指示棒检测装置100不同的结构是,输入处理部120b的控制部121b具有后端部检测部126。并且,指示位置检测部123b,与实施例1的指示位置检测部123不同的结构是,检测指示棒103所指示的指示位置,以作为三维空间上的指示位置。并且,存储部125b预先存储的信息,与实施例1的存储部125不同。并且,显示处理部124b,与实施例1的显示处理部124不同进行以下的处理,即,利用由指示位置检测部123b检测出的三维空间的指示棒103的尖端的位置P3,使作为外部装置的显示部140a,进行三维显示。并且,由指示位置检测部123b计算指示位置的计算方法不同。因此,以下,仅说明与所述实施例1涉及的指示棒检测装置100不同的结构,省略说明共同的结构以及工作。
后端部检测部126,利用由第一相机101以及第二相机102分别拍摄的两张图像,检测指示棒103的后端部的位置。而且,在此,所谓“指示棒103的后端部”是指,指示棒103的长度方向的两端部之中的非尖端部的一方的端部。而且,在指示棒103的尖端部和后端部的形状都是相同的形状的情况下,是指某一方的端部。也就是说,若是用户预先决定为指示棒103的后端部的部分,则是指示棒的两端部之中的某个。例如,后端部检测部126,利用存储部125b预先存储的指示棒103的后端部的形状以及颜色等的后端部信息,从第一图像301以及第二图像302中出现的指示棒103的像进行图像处理(图像匹配),从而检测指示棒103的后端部。此时,例如,对于指示棒103,可以是以能够容易检测后端部的方式,在后端部设置发光部的结构,也可以是以容易反射光的方式,例如以近似于镜面的状态仅对指示棒103的后端部进行表面处理的结构。在此情况下,后端部检测部126也可以,不需要进行基于图像匹配的指示棒103的后端部的检测,而将检测出的指示棒103的图像之中的亮度值高的区域作为后端部来检测。并且,为了从第一图像301以及第二图像302高精度地检测指示棒103,在指示棒103的素材由容易反射红外线的素材构成、且构成为向指示棒103照射红外线的情况下,也可以将指示棒103的后端部的素材设为与指示棒103整体的素材相比尤其容易反射红外线的素材。也就是说,后端部检测部126,在此情况下,将第一图像301以及第二图像302之中的、判定为更放射红外线的成分的区域作为指示棒103的后端部来检测。
并且,例如,后端部检测部126也可以,在通过图像处理检测第一图像301以及第二图像302中出现的指示棒103的像之中的指示棒103的至少一方的端部的像的情况下,将检测出的端部的像之中的至少距用户的手远的一侧的端部作为指示棒103的后端部来检测。
存储部125b,代替所述实施例1的存储部125预先存储的面相对位置信息,而存储示出指示棒103的长度的指示棒信息。
指示位置检测部123b,根据由轴检测部122检测出的指示棒的轴的三维上的位置以及姿势、由后端部检测部126检测出的指示棒103的后端部的位置P2、以及存储部125b预先存储的指示棒信息,计算指示棒103的尖端部在三维空间上的位置,以作为指示位置。也就是说,指示位置检测部123b,利用指示棒103的轴的三维上的位置以及姿势、指示棒103的后端部的位置P2、以及指示棒信息,计算从指示棒103的后端部的位置P2、在沿着由指示棒103的轴的三维上的位置以及姿势决定的指示棒103的轴所指示的方向上远离指示棒信息所示的指示棒103的长度的指示棒103的尖端侧的位置,以作为指示棒103的尖端部的位置P2。而且,在此,所谓“指示棒103的尖端侧”是指,第一图像301以及第二图像302的指示棒103出现的像之中的与后端部的位置相比指示棒103的主体出现的一侧。
显示处理部124b,与由指示位置检测部123b计算出的指示棒103的尖端部的三维上的空间的位置P3对应,将指针显示在显示部140上虚拟地表现的虚拟三维空间的位置。显示处理部124b,并且,在由指示位置检测部123b检测出指示棒103的尖端部(位置P3)的移动的情况下,将与指示棒103的尖端部(位置P3)的移动量以及移动方向对应来相对显示在虚拟三维空间的位置的指针,在虚拟三维空间中移动来显示。
以下,说明作为由指示棒检测装置100b进行的指示棒检测方法的指示位置检测处理。对于由指示棒检测装置100b进行的、指示位置检测处理的步骤S201至S205的各个处理,由于与图3中说明的指示位置检测处理的步骤S101至S105的各个处理相同,因此,省略其部分的处理的说明,说明步骤S206以后的处理。
若步骤S205结束,后端部检测部126,利用由第一相机101以及第二相机102分别拍摄的两张图像检测指示棒103的后端部的位置(S206)。指示位置检测部123b,根据步骤S205中计算出的指示棒的轴的三维上的位置以及姿势、在步骤S206中检测出的指示棒103的后端部的位置P2、以及存储部125b预先存储的指示棒信息,计算指示棒103的尖端部在三维空间上的位置P3,以作为指示位置(S207)。显示处理部124,将指针显示在与计算出的指示位置P1对应的显示部140的规定位置(S208)。
控制部121,判定该处理的对象帧是否为最后帧(S209)。也就是说,控制部121b,判定存储部125b中是否没有下一个帧。在控制部121b判定该处理的对象帧为最后帧的情况下(S209:“是”),结束指示位置检测处理。在控制部121b判定该处理的对象帧不是最后帧的情况下(S209:“否”),获得在对象帧的下一个定时拍摄的一对图像(下一个帧的图像对)(S210),返回到步骤S202。
根据所述实施例1的变形例2涉及的指示棒检测装置100b,根据由第一相机101以及第二相机102拍摄的一对图像检测指示棒103的轴,根据检测出的指示棒103的轴的位置以及姿势、预先存储的指示棒103的长度、以及指示棒103的后端部的位置P2,计算指示棒103的尖端部的三维的位置P3,以作为指示位置。因此,例如,即使用户握住指示棒103的尖端部,也根据用户没有握住的指示棒103的部分的图像能够检测指示棒所指示的指示位置。如此,与用户把持的位置无关,而能够检测指示棒103所指示的指示位置,因此,能够高精度地检测指示位置。并且,将三维的位置作为指示位置来计算,因此,能够利用于能够在三维空间上进行描绘的输入装置。
并且,例如,如图8示出,指示棒检测装置100c也可以,判定对作为指示棒的棒针的位置以及姿势、毛线的状态进行分析而得到的当前的编织状态,对作为判定的结果得到的当前的编织状态、和预先设计的编织品的设计信息进行比较,从而提示下次如何进行编织的指示内容。而且,图8是示出实施例1的变形例2涉及的用于进行编织支援的指示棒检测装置100c的结构的图。
在指示棒检测装置100c中,输入处理部120c的控制部121c,与所述的控制部121b的结构不同,具有编织状态判定部127、以及指示提示部128。编织状态判定部127,根据以布料仿真对由第一相机101以及第二相机102拍摄的图像进行分析而得到的位置的形状信息、以及推测的指示棒(棒针)的轴以及指示棒(棒针)的尖端部的位置,判定当前的编织状态。指示提示部128,通过对由编织状态判定部127判定的当前的编织状态、和预先设计的编织品的设计信息进行比较,计算用于指示下次如何编织的指示内容700,由显示处理部124c将计算出的指示内容700显示在显示部140a。而且,在此预先设定的编织品的设计信息是,存储部125c存储的信息。
根据指示棒检测装置100c,在用户进行编织的情况下,以布料仿真判定当前的编织状态。而且,例如,若预先设定完成的设计信息,通过对判定的当前的编织状态和设计信息进行比较,从而提示下次编织的顺序。因此,用户,只要预先设定所希望的编织品的设计信息,即使不知道下次如何编织,也按照被提示的指示内容进行编织,就能够制作所希望的编织品。
(变形例3)
所述实施例1、变形例1或变形例2涉及的指示棒检测装置100、100a、100b、100c中没有提及,但是,如图9示出,指示棒检测装置100d的形态也可以是,使显示部140显示,与由指示位置检测部123、123b检测出的指示位置对应的显示部140的规定位置上显示的指针移动时的轨迹411。而且,图9是示出实施例1的变形例3涉及的指示棒检测装置100d的结构的图。
并且,如图9示出,指示棒检测装置100d的输入处理部120d的控制部121d也可以构成为,具有变更使显示部140显示的轨迹411的描绘形态的功能设定部129。也就是说,显示处理部124d,按照由功能设定部129设定的功能,变更使显示部140显示的轨迹411的描绘形态。在变形例3的指示棒检测装置100d的情况下具备,检测由用户施加到指示棒103的压力的压力检测部10。而且,功能设定部129,在压力检测部10检测到由用户施加的压力时设定为第一功能,在压力检测部10没有检测到由用户施加的压力时设定为第二功能。而且,第一功能是,例如,以粗线描绘指针移动时的轨迹411的功能,第二功能是,例如,以细线描绘该轨迹411的功能。而且,对于作为第一功能以及第二功能设定的描绘形态,分别以粗线以及细线为例子进行了说明,但是,不仅限于像粗线以及细线那样的线的粗细所涉及的描绘形态,例如,可以是像红以及蓝等那样的显示颜色所涉及的描绘形态,可以是像实线以及虚线等那样的线的种类所涉及的描绘形态,可以是划线或消去线等的线的描绘以及消去所涉及的描绘形态。也就是说,功能设定部129,设定为以第一描绘形态(粗线、红线、实线、描绘等)描绘指示位置的轨迹411的第一功能、以及以与第一描绘形态不同的第二描绘形态(细线、蓝线、虚线、消去等)描绘该轨迹411的第二功能之中的一个功能。
而且,功能设定部129,按照压力检测部10是否被施加压力,设定为与各个描绘形态对应的功能,但是,对于功能的变更的触发,不仅限于向压力检测部10的加压的有无,也可以按照设置在指示棒103的能够接通或断开的开关的接通断开的状态分配功能。也就是说,在此情况下,功能设定部129,在开关接通时设定为第一功能,在开关断开时设定为第二功能。
而且,在所述中,按照压力检测部10或开关的状态,将两种描绘形态设定为第一功能以及第二功能的某一方,但是,不仅限于两种功能,也可以设定两种以上的功能。在此情况下,例如,在利用压力检测部10的情况下也可以,不仅判定压力的有无,还检测被施加的压力的大小,按照被施加的压力是包含在多个压力范围之中的哪个范围内的压力,由功能设定部129设定功能。也就是说,也可以构成为,将被检测的压力的范围预先决定为大、中、小的三个范围,在大的范围的压力的情况下,设定第一功能,在中的范围的压力的情况下,设定第二功能,在小的范围的压力的情况下,设定第三功能。而且,对于这些三个压力的范围,需要是彼此排他的范围。并且,在开关的情况下也可以,例如,通过利用刻度盘式的开关等能够示出三种以上的状态的开关,使功能设定部129设定三个功能。根据将压力检测部10或开关设置在指示棒103的结构,如上所述,压力检测部10或开关具有通信功能,在与功能设定部129之间,以无线,将是否检测出指示棒103中的压力的状态、以及开关的接通断开的状态,发送到功能设定部129。
根据本实施例1的变形例3涉及的指示棒检测装置100d,以与由功能设定部129设定的功能对应的形态使显示部140显示指示位置的轨迹411。例如,通过用户的操作能够设定作为第一功能的以描绘黑线的第一描绘形态描绘的功能、以及作为第二功能的以描绘红线的第二描绘形态描绘的功能,用户切换这些描绘形态,从而能够以用户的所希望的描绘形态使显示部140显示指示位置的轨迹410。
根据本实施例1的变形例3涉及的指示棒检测装置100d,在指示棒103a设置有能够检测由用户的压力的压力检测部10,功能设定部129,按照压力的有无设定为第一功能以及第二功能之中的某个。并且,在指示棒,可以设置能够接通或断开的开关。在此情况下,用户,通过切换设置在指示棒的开关的接通断开,能够切换描绘形态。
如此,用户,根据向指示棒103a施加的压力的有无或开关的接通断开,能够切换描绘形态。因此,用户,容易能够手头切换显示部140所显示的描绘形态。
(变形例4)
在所述变形例3中,按照由压力检测部的压力的有无、开关的接通断开的状态等进行功能设定部129的功能设定,但是,不仅限于此。功能设定部129,例如,也可以按照由第一相机101以及第二相机102拍摄的图像上的指示棒103的外观,进行如上所述的功能的设定。而且,对于变形例4中的功能和描绘形态的关系,由于与变形例3所述的关系同样,因此,在此省略说明。
具体而言,可以考虑以下的设定等,即,通过变更指示棒103的颜色或花样,在根据被拍摄的图像检测出该指示棒103的颜色或花样的变更时,按照指示棒103的颜色或花样,功能设定部129设定与指示棒103的颜色或花样对应的功能。例如,在将指示棒103的侧面沿着轴方向分割为两个区域的情况下,可以考虑使一方的一侧的侧面和另一方的一侧的侧面的颜色不同。更具体地说,在将指示棒103的右一半的侧面设为红色、将左一半的侧面设为蓝色的情况下,使存储部125预先存储指示棒103的侧面的颜色信息。并且,在不是颜色而是花样的情况下可以考虑,例如,水珠花样、条纹花样、素色等。而且,在第一图像301以及第二图像302中出现的指示棒103的像为红色的情况下,功能设定部129设定为第一功能,在指示棒103的像为蓝色的情况下,功能设定部129设定为第二功能。根据这样的结构,用户,只要改变握住指示棒103的方法(也就是说,以指示棒103的轴为中心旋转180度),能够变更功能设定。根据这样的结构,可以不将所述变形例3那样的压力检测部或开关等安装到指示棒103,并且,也可以不将通信功能安装到指示棒103。也就是说,若是利用由第一相机101以及第二相机102拍摄的图像的结构,只要以软件方式设置进行图像处理的功能设定部129,就能够实现。
并且,对于由功能设定部129的功能设定,不仅限于变更指示棒103整体的颜色,也可以变更指示棒103的一部分的颜色,来实现。具体而言,也可以变更装配在指示棒的后端部的盖的颜色或盖的形状来实现。在此情况下,例如,通过交换带有颜色的盖,用户能够设定功能。
并且,为了进行指示棒103的颜色的变更,也可以构成为,在指示棒103设置压力检测部或开关等,进行与压力检测部的检测结果或开关的接通断开对应的颜色的变更。例如,在指示棒103的盖部分预先设置多个不同颜色的LED,变更压力检测部10检测出压力时发光的LED的颜色,或者,变更因开关的接通断开而发光的LED的颜色等,据此也可以实现。在此情况下,在指示棒103不需要设置变形例3那样的通信功能。
并且,也可以构成为,按照第一图像301以及第二图像302上出现的指示棒103的像的粗细,功能设定部129设定预先决定的功能。在此情况下,可以考虑构成为,例如,功能设定部129,在检测出具有超过预先决定的阈值的粗细的指示棒103时设定为第一功能,在检测出具有该阈值以下的粗细的指示棒时设定为第二功能。而且,也可以构成为,功能设定部129,为了容易检测粗细的不同,在检测出具有超过第一阈值的粗细的指示棒时设定为第一功能,在检测出具有不足比第一阈值小的第二阈值的粗细的指示棒时设定为第二功能。
因此,用户,例如,通过改变指示棒的种类、交换指示棒的一部分、改变握住指示棒的朝向等,能够切换由功能设定部129设定的描绘形态。
并且,功能设定部129也可以,按照检测出的指示棒的轴的倾斜,设定为第一功能以及第二功能之中的一个功能。例如,可以考虑,功能设定部129,在指示棒的轴相对于对象面110的倾斜比预先决定的阈值大的情况下,设定为第一功能,在指示棒的轴相对于对象面110的倾斜比预先决定的阈值小的情况下,设定为第二功能。在此,对于基于阈值的倾斜的大小的判定,为了容易能够检测,而可以利用与所述那样的粗细的判定同样的方法。也就是说,可以将所述的“指示棒的粗细”改为“指示棒的轴相对于对象面的倾斜”。
因此,用户,通过改变握住指示棒103时的倾斜,能够切换描绘形态。因此,用户,只要手头变动,就容易能够切换显示部140所显示的描绘形态。
并且,功能设定部129也可以,以检测出的指示棒103的轴与对象面110的角度越大,就描绘得越细或越粗的方式,设定功能。也就是说,也可以是,不是通过阈值判断来设定为第一功能以及第二功能的某个的结构,而按照指示棒103的轴相对于对象面110的角度的变化,发生无阶段的变化。并且,此时,对于指示棒103的轴相对于对象面110的角度、和描绘的线的粗细,可以并不需要一一对应,也可以进行处理,以倾斜变大时,描绘的线***或细。而且,功能设定部129,除了根据指示棒103的轴相对于对象面的角度的大小,变更描绘的线的粗细的结构以外,也可以是变更描绘的线的浓淡的结构,还可以是变更描绘的线的颜色的结构(例如,从紫色变更为红色的结构,从波长短的颜色变更为长的颜色的结构)。而且,这样的变更,对于指示棒103的粗细,也可以考虑同样的情况。因此,用户,通过改变握住指示棒103时的倾斜,能够无阶段改变描绘的线的粗细等的描绘形态。
并且,也可以构成为,功能设定部129,在指示棒103的轴的倾斜、使显示部140描绘时的指针的位置、或指示棒103的后端部的位置的每单位时间的变位量超过预先决定的阈值的情况下,设定为第一功能至第二功能之中的一个功能。具体而言,可以考虑功能设定部129进行以下的处理,即,例如,在检测出所述每单位时间的变位量超过预先决定的阈值,来检测出用户进行了挥指示棒103一次等的手势的情况下,设定为第一功能,接着,检测出用户再进行了挥指示棒103一次的手势的情况下,设定为第二功能。而且,不仅限于如上所述每当进行手势一次时,按照规定的顺序变更多种功能的形态,也可以是设定为与手势的种类关联的功能的形态。例如,可以考虑,功能设定部129,在检测出挥指示棒103一次的手势的情况下,设定为第一功能,在检测出挥指示棒103两次的手势的情况下,设定为第二功能。
根据实施例1涉及的变形例4的指示棒检测装置100d,用户,例如,通过进行挥指示棒103的动作,在指示棒103的轴的倾斜、指针的位置、或指示棒103的后端部的位置的每单位时间的变位量超过预先决定的阈值的情况下,能够切换由功能设定部129设定的描绘形态。
(变形例5)
在所述实施例1、或变形例1至4涉及的指示棒检测装置100、100a至100d中,没有提及,但也可以是如下结构的指示棒检测装置100e,即,在多个用户分别握住指示棒103、103b的情况下,按每个用户以不同的描绘形态描绘。例如,如图10示出的指示棒检测装置100e,输入处理部120e的控制部121e,还具有用户选择部130。用户选择部130,在检测出多个指示棒的轴的情况下,显示处理部124e,按检测出的多个指示棒401、402的每个指示位置,以分别不同的描绘形态,使显示部140显示描绘结果。也就是说,可以考虑以下的情况,即,在多个用户,分别握住指示棒401、402,针对对象面110将指示棒401、402的每一个移动来描绘的情况下,按照指示棒401、402的轴的倾斜以及位置,对各个指示棒401、402设定描绘形态。
例如,考虑如下的时候,即,控制部121e将在第一相机101以及第二相机102的深处向深处倾斜的指示棒识别为第一指示棒401,将在比第一指示棒401靠前方倾斜到靠前方的指示棒识别为第二指示棒402。此时,控制部121e,以不同的描绘形态描绘,第一指示棒401所指示的第一指示位置P21的轨迹412、以及第二指示棒402所指示的第二指示位置P22的轨迹413。在此情况下,也可以是,控制部121e将功能设定为,若一旦识别第一指示棒401和第二指示棒402,则进行跟踪第一指示棒401以及第二指示棒402的每一个的处理,从而成为最初设定的描绘形态。在此,例如,对于跟踪处理,可以考虑进行以下的处理,即,在由第一相机101以及第二相机102拍摄的图像的下一个帧的图像中,若是预先决定的范围内的移动则视为相同的指示棒。
并且,如图11示出的指示棒检测装置100f,在第一指示棒401和第二指示棒402设置,以不同的发光方式发光的第一发光部421和第二发光部422,也可以是如下结构的控制部121f,即,在控制部121e中还设置,根据在各个发光方式的定时拍摄的图像中出现的像进行第一指示棒401和第二指示棒402的区别的发光识别部131。更具体地说,如图11示出,第一指示棒401具有,以不同的多个第一定时的发光方式发光的第一发光部421,第二指示棒402具有,以与第一发光方式不同的第二发光方式发光的第二发光部422。发光识别部131,在包含第一定时、和作为第二发光方式的发光定时的多个第二定时的多个定时使第一相机以及第二相机进行拍摄,将具有在第一定时拍摄的图像中发光的发光部的指示棒识别为第一指示棒401,将具有在第二定时拍摄的图像中发光的发光部的指示棒识别为所述第二指示棒402。而且,在此情况下,具有控制部121f的输入处理部120f具备,与存储部125e相比,还存储第一定时的发光方式以及第二定时的发光方式的存储部125f。
图12是示出各个发光部的发光方式、和由各个相机拍摄多个帧的定时的图。具体而言,图12的(a)是示出,第一发光方式的图,图12的(b)是示出,第二发光方式的图,图12的(c)是示出,由第一相机101以及第二相机102拍摄多个帧的定时的图。如图12示出,在T1的定时,以第一发光方式,第一发光部发光,因此,第一图像以及第二图像上的第一发光部的区域的亮度值比规定的值大。另一方面,在T1的定时,以第二发光方式,第二发光部不发光,因此,第一图像以及第二图像上的第二发光部的区域的亮度值不超过规定的值。并且,反而,在T2的定时,以第二发光方式,第二发光部发光,因此,第一图像以及第二图像上的第二发光部的区域的亮度值比规定的值大。另一方面,在T2的定时,以第一发光方式,第一发光部不发光,因此,第一图像以及第二图像上的第一发光部的区域的亮度值不超过规定的值。也就是说,若分析在T1的定时或T2的定时的第一图像或第二图像,则能够区别第一指示棒401和第二指示棒402。
根据所述实施例1的变形例5的指示棒检测装置100e、100f,即使在多个用户分别利用指示棒401、402输入的情况下,也能够以与各个用户对应的描绘形态描绘。因此,用户,容易能够区别描绘结果是哪个用户描绘的。
(实施例2)
在所述实施例1中,没有提及,但也可以是如下结构的指示棒检测装置200,即,如图13示出,向指示棒照射红外线,从而提高指示棒103的检测精度。而且,以下,仅说明与实施例1中说明的指示棒检测装置100不同的结构。指示棒检测装置200还具备照射部250。照射部250,向成为第一相机101以及第二相机102的摄影对象的空间照射红外线。而且,显示部140a,向外部发出与照射部250照射的红外线的频带不同的频带的光。此时,也可以构成为,显示部140a的结构可以是,将显示部140a的发光部发出的光的频带设为与红外线不同的频带,也可以是在显示部140a的显示面安装不使红外线的波长向外部通过的带通滤波器的结构。
根据该结构,照射部250照射的红外线的频带,和显示部140a发出的光的频带不同。因此,例如,在太阳光等的来自外部的光被遮断的状况下,第一相机101以及第二相机102所拍摄的图像中的检测出红外线的频带的区域中出现的像是,因照射部250所照射的红外线而得到的像。也就是说,即使至少拍摄因显示部发出的光而得到的像或显示部140a本身的像,也能够忽视因显示部140a发出的光而得到的像。据此,第一相机101以及第二相机102所拍摄的图像中的检测出红外线的频带的区域中出现的像不是,因显示部140a发出的光而得到的像,因此,能够减少指示棒103的检测误差。并且,例如,对于指示棒的素材,若利用反射红外线的素材,则更能够提高指示棒的检测精度。并且,例如,若由吸收红外线的素材构成显示部等的指示棒以外的部件的素材,则更能够提高指示棒的检测精度。
并且,如图14示出,若将构成第一相机101以及第二相机102的摄像元件105,设为由检测RGB的RGB传感器105a、和检测红外线的IR(红外线)传感器105b构成的结构,则能够提高指示棒103的检测精度。图14是示出摄像元件105的最小单位的1像素的结构的图。在该结构中,输入处理部220的控制部221还具有,按照第一相机101以及第二相机102被配置的环境下的外光的光强度的大小,适当地使用由第一相机101以及第二相机102拍摄时使用的传感器的模式切换部222。
模式切换部222,在所述的环境下的外光的光强度比预先决定的阈值小的情况下,切换为第一模式,在该环境下的外光的光强度比预先决定的阈值大的情况下,切换为第二模式。在此,第一模式是指,在第一相机101以及第二相机102进行每秒n帧(n为自然数)的捕获的情况下,一边进行由照射部250的照射,一边进行由IR传感器105b的IR检测,在该IR检测的期间至少以1/n帧的定时进行由RGB传感器105a的RGB检测的模式。并且,第二模式是指,进行RGB检测,在该RGB检测的期间至少以1/n帧的定时进行由照射部250的照射以及IR检测的模式。
也就是说,据此,模式切换部222,例如,在太阳光等的外光的光强度比预先决定的阈值小的所谓黑暗的环境下的情况下,切换为第一模式。并且,反而,在外光的光强度比预先决定的阈值大的所谓明亮的环境下的情况下,切换为第二模式。也就是说,在黑暗的环境下的情况下,一边进行IR检测,一边以其中的1/n帧的定时也同时进行RGB检测。而且,在明亮的环境下的情况下,一边进行RGB检测,一边以其中的1/n帧的定时也同时进行IR检测。
在根据RGB检测难以检测的黑暗的环境下的情况下,设为主要进行黑暗的环境下也容易检测的IR检测的第一模式,从而能够提高指示棒103的检测精度。在此情况下,通过仅以1/n帧进行RGB检测,能够进行指示棒103的颜色检测,更能够提高指示棒103的检测精度。
并且,另一方面,在根据RGB检测容易检测的明亮的环境下的情况下,设为主要进行RGB检测的第二模式,从而能够提高指示棒103的检测精度。在此情况下,通过仅以1/n帧进行IR检测,即使在进行RGB检测时的指示棒103的周边的颜色类似的情况下,也能够区别指示棒103和其周边,更能够提高指示棒103的检测精度。并且,在第二模式中,按照进行IR检测的1/n帧的定时,进行消耗电力的由照射部250的照射即可,因此,能够减少耗电量。
并且,控制部221也可以进行,使IR用的照射部250照射的定时、和第一相机101以及第二相机102拍摄的定时同步的处理。据此,即使在第一相机101以及第二相机102的摄影环境为例如来自外光的光被遮断的状况下、且显示部发出的光的频带为红外线的频带以外的频带的情况下,第三者想要利用与第一相机101以及第二相机102不同的其他的相机识别指示棒103,也能够防止由其他的相机检测指示棒的位置。因此,例如,能够防止用户的签字输入等的个人信息被窃取。
而且,对于实施例2的结构,不仅限于由立体相机识别指示棒的结构,若是进行从由相机拍摄的图像检测出指示棒等的特定的对象物的处理的结构,则能够利用在该检测的精度的提高的目的上。
(实施例3)
在所述实施例1以及2中,没有提及,但也可以是具备具有照射控制部322的输入处理部320的指示棒检测装置300,即,例如,图15示出,在利用由多个LED251等那样的多个光源构成的照射部250将红外线照射到指示棒的结构的情况下,照射控制部322,用于以提高由照射部250的照射所涉及的能量效率的方式控制从照射部250发光的光量。而且,以下,仅说明与实施例1中说明的指示棒检测装置100不同的结构。
指示棒检测装置300,具备具有向成为第一相机101以及第二相机102的摄影对象的空间照射红外线的多个光源的照射部250。照射部250,例如,在对象面110上多个(本实施例3中为9个)LED光源251配置成矩阵状而构成。对于照射部250,不仅限于在对象面110上多个LED光源251配置成矩阵状,也可以是在直线上配置的结构。也就是说,若是以能够均匀照射成为摄影对象的空间的方式配置的结构,LED光源251的配置形态不问。
照射控制部322,在多个LED光源251中,与照射由轴检测部122检测出的指示棒的位置的LED光源(第一光源)的光量相比,使该LED光源以外的LED光源251的光量降低。更具体地说,如图16示出,照射控制部322,从存储部125读出示出预先决定的多个LED光源251各自的配置位置的配置位置信息,将距与由轴检测部122对第一图像301以及第二图像302进行图像分析而检测出的指示棒的位置对应的位置最近的LED光源设定为第一光源。图16的(a)以及图16的(b)是用于说明随着指示棒的移动使LED光源的光量变化的处理的图。而且,对于作为第一光源设定的LED光源,不仅限于一个光源,可以是位于从检测出的指示棒的位置的规定范围内的LED光源,也可以将多个LED光源设定为第一光源。
根据所述实施例3的指示棒检测装置300,照射控制部322,与第一光源的光量相比,使照射由指示棒103检测出的位置的周围的光源的光量降低。如此,照射控制部322,使检测指示棒103时几乎不需要的光源的光量减少,因此,能够尽量防止指示棒103的检测精度降低,并且能够减少耗电量。
并且,如图17示出的指示棒检测装置300a,输入处理部320的控制部321a构成为,还具有适当且动态地变更第一相机101以及第二相机102的摄影所涉及的帧率的摄影控制部323,从而更能够试图节能化。摄影控制部323,在由轴检测部122检测出的指示棒103的每单位时间的移动量为预先决定的阈值以下的情况下,将第一相机101以及第二相机102的摄影所涉及的帧率变小,在所述每单位时间的移动量超过阈值的情况下,将所述帧率变大。在此,每单位时间的移动量,根据由轴检测部122检测出的每个帧的指示棒103的位置而计算。
如此,摄影控制部323,与指示棒103的移动速度的增减对应,使第一相机101以及第二相机102的摄影所涉及的帧率增减,因此,能够尽量防止指示棒103的检测精度降低,并且能够减少耗电量。
而且,也可以使第一相机101的帧率、和第二相机102的帧率不同。例如,有从第一相机101的方向拍摄的指示棒103的位置以及姿势的变化少的时候、且从第二相机102的方向拍摄的指示棒103的位置以及姿势的变化多的时候。在指示棒103向第一相机101的方向移动时,成为这样的状况。在这样的情况下,仅将第一相机101的帧率降低,保持第二相机102的帧率。此时,第一相机101以及第二相机102拍摄的定时不一致,但是,并不需要一致。也就是说,由第二相机102拍摄的图像中出现的指示棒的位置的变化大,因此,为了准确检测而需要每单位时间拍摄的多量的图像,但是,由第一相机101拍摄的图像中出现的指示棒的位置几乎没有变化,因此,例如,可以采用在此时的最早的定时拍摄的图像。
而且,在所述各个实施例中,各个构成要素,可以由专用的硬件构成,也可以执行适于各个构成要素的软件程序来实现。各个构成要素也可以,CPU或处理器等的程序执行部,读出并执行硬盘或半导体存储器等的记录介质中存储的软件程序来实现。在此,实现所述各个实施例的指示棒检测装置等的软件是,如下的程序。
并且,也可以是,该程序,使计算机执行检测作为指示棒所指示的位置的指示位置的指示棒检测方法,该指示棒检测方法包括:图像获得步骤,获得由第一相机和第二相机在同一定时拍摄的至少一对图像,所述第二相机是被配置在与所述第一相机不同的位置的、拍摄所述第一相机的摄影对象的至少一部分的相机;轴检测步骤,利用所述图像获得步骤中获得的至少一对图像,检测该定时的所述指示棒的轴;以及指示位置检测步骤,计算与所述轴检测步骤中检测出的所述指示棒的轴一致的直线、与针对所述第一相机以及所述第二相机而处于预先决定的位置关系上的面的交点,以作为所述指示位置。
而且,对于实施例3的结构,不仅限于由立体相机识别指示棒的结构,若是进行从由相机拍摄的图像中检测指示棒等的特定的对象的处理的结构,则能够利用于耗电量的削减的目的。
而且,典型而言,方框图(图2等)的各个功能框,以作为集成电路的LSI来实现。可以将它们分别单芯片化,也可以以包含一部分或全部的方式来单芯片化(例如,也可以将存储器以外的功能框单芯片化。)。
在此,设为LSI,但是,根据集成度的不同,有时被称为IC、***LSI、超LSI、特大LSI。
并且,对于集成电路化的方法不仅限于LSI,也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array:现场可编程门阵列)、或可重构LSI内部的电路单元的连接或设定的可重构处理器。
而且,当然,若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术,则可以利用其技术对功能框进行集成化。存在适应生物技术等的可能性。
并且,各个功能框中也可以,仅将存储成为处理的对象的数据的单元另外构成,而非单芯片化。
以上,对于本发明的一个或多个实施方案涉及的指示棒检测装置,根据实施例进行了说明,但是,本发明,不仅限于该实施例。只要不脱离本发明的宗旨,对本实施例施行本领域的技术人员想到的各种变形的形态、或组合不同的实施例中的构成要素而构成的形态,也包含在本发明的一个或多个实施方案的范围内。
本发明,有用于与用户把持的位置无关,而能够检测指示棒所指示的指示位置,且能够高精度地检测指示位置的指示棒检测装置等。
符号说明
10 压力检测部
100、100a、100b、100c、100d、100e、100f、200、300、300a 指示棒检测装置
101 第一相机
102 第二相机
103、103a、103b 指示棒
105 摄像元件
105a RGB传感器
105b IR传感器
110 对象面
120、120b、120c、120d、120e、120f、220、320 输入处理部
121、121b、121c、121d、121e、121f、221、321、321a 控制部
122 轴检测部
123、123b 指示位置检测部
124、124b、124c、124d、124e 显示处理部
125、125b、125c、125e、125f 存储部
126 后端部检测部
127 编织状态判定部
128 指示提示部
129 功能设定部
130 用户选择部
131 发光识别部
140、140a 显示部
201 第一平面
202 第二平面
210 直线
211 第一轴
212 第二轴
221 控制部
222 模式切换部
250 照射部
251 光源
301 第一图像
302 第二图像
322 照射控制部
323 摄影控制部
401 第一指示棒
402 第二指示棒
410、411、412、413 轨迹
421 第一发光部
422 第二发光部
700 指示内容

Claims (23)

1.一种指示棒检测装置,检测指示位置,该指示位置是指示棒所指示的位置,该指示棒检测装置具备:
第一相机;
第二相机,被配置在与所述第一相机不同的位置,且拍摄所述第一相机的摄影对象的至少一部分;以及
控制部,该控制部具有轴检测部以及指示位置检测部,
所述轴检测部,利用由所述第一相机以及所述第二相机分别拍摄的两张图像,检测所述指示棒的轴的三维上的位置以及姿势,
所述指示位置检测部,计算示出所述指示棒的轴所指示的方向的直线、与针对所述第一相机以及所述第二相机而处于预先决定的位置关系上的对象面的交点,以作为所述指示位置,所述指示棒的轴是由所述轴检测部检测出三维上的位置以及姿势的指示棒的轴,
所述轴检测部:
计算第一轴和第二轴,所述第一轴是由所述第一相机拍摄的第一图像上的所述指示棒的轴,所述第二轴是由所述第二相机拍摄的第二图像上的所述指示棒的轴;
计算第一平面和第二平面,所述第一平面是计算出的所述第一轴以及所述第一相机的位置通过的平面,所述第二平面是计算出的所述第二轴以及所述第二相机的位置通过的平面;
将计算出的所述第一平面与所述第二平面相交的交线,作为所述指示棒的轴的三维上的位置以及姿势来检测。
2.如权利要求1所述的指示棒检测装置,
所述指示棒检测装置还具备显示部,
所述控制部还具有显示处理部,该显示处理部,将指针显示在与由所述指示位置检测部计算出的指示位置对应的所述显示部的规定位置。
3.如权利要求2所述的指示棒检测装置,
所述对象面是所述显示部的显示面,
所述显示处理部,以使所述指针与所述指示位置一致的方式,将所述指针显示在所述显示部。
4.如权利要求2所述的指示棒检测装置,
所述对象面是与所述显示部的显示面不同的物理面。
5.如权利要求1或2所述的指示棒检测装置,
所述对象面是虚拟的面。
6.如权利要求1至3的任一项所述的指示棒检测装置,
所述控制部还具有用户选择部,该用户选择部使得:在检测出多个所述指示棒的轴的情况下,按检测出的多个指示棒的每个指示位置,以分别不同的描绘形态进行描绘。
7.如权利要求1至3的任一项所述的指示棒检测装置,
所述指示棒检测装置还具备:
显示部,通过所述显示处理来进行描绘的显示;以及
照射部,向成为所述第一相机以及所述第二相机的摄影对象的空间照射红外线,
所述显示部,发出与所述照射部照射的红外线的频带不同的频带的光。
8.如权利要求1至3的任一项所述的指示棒检测装置,
所述指示棒检测装置还具备照射部,
所述照射部,向成为所述第一相机以及所述第二相机的摄影对象的空间照射红外线,
所述第一相机或所述第二相机的摄像元件具有,检测RGB的RGB传感器、以及检测红外线的红外线传感器,
所述控制部还具有模式切换部,该模式切换部,
在所述第一相机以及所述第二相机进行每秒n帧的捕获的情况下,对第一模式和第二模式进行切换,
所述第一模式是指,一边进行由所述照射部的照射,一边进行由所述红外线传感器的红外线检测,在该红外线检测的期间,至少以1/n帧的定时进行由所述RGB传感器的RGB检测的模式,
所述第二模式是指,进行所述RGB检测,在该RGB检测的期间,至少以1/n帧的定时进行由所述照射部的照射以及所述红外线检测的模式,其中,n为自然数,
所述模式切换部,在所述第一相机或所述第二相机被配置的环境下的外光的光强度比预先决定的阈值小的情况下,切换为所述第一模式,在该环境下的外光的光强度比所述预先决定的阈值大的情况下,切换为第二模式。
9.如权利要求1至3的任一项所述的指示棒检测装置,
所述指示棒检测装置还具备照射部,所述照射部具有向成为所述第一相机以及所述第二相机的摄影对象的空间照射红外线的多个光源,
所述控制部还具有照射控制部,所述照射控制部,使所述多个光源中的第一光源以外的光源的光量低于所述第一光源的光量,所述第一光源是照射检测出的所述指示棒的位置的光源。
10.如权利要求1至3的任一项所述的指示棒检测装置,
所述控制部还具有摄影控制部,所述摄影控制部,在检测出的指示棒的每单位时间的移动量为预先决定的阈值以下的情况下,将所述第一相机以及所述第二相机的摄影所涉及的帧率变小,在所述每单位时间的移动量超过所述阈值的情况下,将所述帧率变大。
11.如权利要求1至3的任一项所述的指示棒检测装置,
所述指示棒检测装置还具备第一指示棒以及第二指示棒,所述第一指示棒具有,以不同的多个第一定时的第一发光方式发光的第一发光部,所述第二指示棒具有,以与所述第一发光方式不同的第二发光方式发光的第二发光部,
所述控制部还具有发光识别部,所述发光识别部,在包含所述第一定时、和作为所述第二发光方式的发光定时的多个第二定时的多个定时使所述第一相机以及所述第二相机进行拍摄,将具有在所述第一定时拍摄的图像中发光的发光部的指示棒识别为所述第一指示棒,将具有在所述第二定时拍摄的图像中发光的发光部的指示棒识别为所述第二指示棒。
12.一种指示棒检测装置,检测指示位置,该指示位置是指示棒所指示的三维空间上的位置,该指示棒检测装置具备:
第一相机;
第二相机,被配置在与所述第一相机不同的位置,且拍摄所述第一相机的摄影对象的至少一部分;
存储部,预先存储所述指示棒的长度;以及
控制部,该控制部具有轴检测部、后端部检测部以及指示位置检测部,
所述轴检测部,利用由所述第一相机以及所述第二相机分别拍摄的两张图像,检测所述指示棒的轴的三维上的位置以及姿势,
所述后端部检测部,利用由所述第一相机以及所述第二相机分别拍摄的两张图像,检测所述指示棒的后端部的位置,
所述指示位置检测部,根据检测出的所述指示棒的轴的三维上的位置以及姿势、和所述指示棒的后端部的位置、所述存储部预先存储的所述指示棒的长度,计算所述指示棒的尖端部在三维空间上的位置,以作为所述指示位置。
13.如权利要求1或12所述的指示棒检测装置,
所述指示棒检测装置还具备显示部,
所述控制部还具有显示处理部,所述显示处理部,使所述显示部显示,与由所述指示位置检测部计算出的所述指示位置对应的所述显示部的规定位置上显示的指针移动时的轨迹。
14.如权利要求13所述的指示棒检测装置,
所述控制部还具有功能设定部,所述功能设定部,设定为第一功能以及第二功能之中的一个功能,所述第一功能是以第一描绘形态描绘所述指示位置的轨迹的功能,所述第二功能是以与所述第一描绘形态不同的第二描绘形态描绘该轨迹的功能,
所述显示处理部,按照所述第一功能以及所述第二功能之中的由所述功能设定部设定的功能,进行所述轨迹的显示处理。
15.如权利要求14所述的指示棒检测装置,
所述指示棒检测装置还具备压力检测部,所述压力检测部,被设置在所述指示棒,且检测由用户施加到所述指示棒的压力,
所述功能设定部,在所述压力检测部检测到施加的压力时设定为所述第一功能,在所述压力检测部没有检测到施加的压力时设定为所述第二功能。
16.如权利要求14所述的指示棒检测装置,
所述指示棒检测装置还具备开关,所述开关以能够接通或断开的方式被设置在所述指示棒,
所述功能设定部,在所述开关接通时设定为所述第一功能,在所述开关断开时设定为所述第二功能。
17.如权利要求14所述的指示棒检测装置,
所述功能设定部,按照由所述第一相机或所述第二相机拍摄的图像上的所述指示棒的外观,设定为所述第一功能以及所述第二功能之中的一个功能。
18.如权利要求14所述的指示棒检测装置,
所述功能设定部,按照检测出的所述指示棒的轴的倾斜,设定为所述第一功能以及所述第二功能之中的一个功能。
19.如权利要求14所述的指示棒检测装置,
所述功能设定部将功能设定为,检测出的所述指示棒的轴与所述对象面的角度越大,就描绘得越细或越粗。
20.如权利要求14所述的指示棒检测装置,
所述功能设定部,在所述指示棒的轴的倾斜、所述指针的位置、或所述指示棒的后端部的位置的每单位时间的变位量超过预先决定的阈值的情况下,设定为所述第一功能以及所述第二功能之中的一个功能。
21.如权利要求12所述的指示棒检测装置,
所述控制部还具有:
编织状态判定部,根据以布料仿真对由所述第一相机以及所述第二相机拍摄的图像进行分析而得到的线的形状信息、以及推测的所述指示棒的轴以及所述尖端部的位置,判定当前的编织状态;以及
指示提示部,通过对由所述编织状态判定部判定的当前的编织状态、和预先设计的编织品的设计信息进行比较,计算用于指示下次如何编织的指示内容,对所述指示内容进行显示。
22.一种指示棒检测方法,检测指示位置,该指示位置是指示棒所指示的位置,该指示棒检测方法包括:
图像获得步骤,获得由第一相机和第二相机在同一定时拍摄的至少一对图像,所述第二相机是被配置在与所述第一相机不同的位置的、拍摄所述第一相机的摄影对象的至少一部分的相机;
轴检测步骤,利用所述图像获得步骤中获得的至少一对图像,检测该定时的所述指示棒的轴;以及
指示位置检测步骤,计算与所述轴检测步骤中检测出的所述指示棒的轴一致的直线、与针对所述第一相机以及所述第二相机而处于预先决定的位置关系上的对象面的交点,以作为所述指示位置,
所述轴检测步骤中:
计算第一轴和第二轴,所述第一轴是由所述第一相机拍摄的第一图像上的所述指示棒的轴,所述第二轴是由所述第二相机拍摄的第二图像上的所述指示棒的轴;
计算第一平面和第二平面,所述第一平面是计算出的所述第一轴以及所述第一相机的位置通过的平面,所述第二平面是计算出的所述第二轴以及所述第二相机的位置通过的平面;
将计算出的所述第一平面与所述第二平面相交的交线,作为所述指示棒的轴的三维上的位置以及姿势来检测。
23.一种集成电路,构成指示棒检测装置,该指示棒检测装置检测指示位置,该指示位置是指示棒所指示的位置,所述集成电路具备:
第一相机;
第二相机,被配置在与所述第一相机不同的位置,且拍摄所述第一相机的摄影对象的至少一部分;以及
控制部,该控制部具有轴检测部以及指示位置检测部,
所述轴检测部,利用由所述第一相机以及所述第二相机分别拍摄的两张图像,检测所述指示棒的轴的三维上的位置以及姿势,
所述指示位置检测部,计算示出所述指示棒的轴所指示的方向的直线、与针对所述第一相机以及所述第二相机而处于预先决定的位置关系上的对象面的交点,以作为所述指示位置,所述指示棒的轴是由所述轴检测部检测出三维上的位置以及姿势的指示棒的轴,
所述轴检测部:
计算第一轴和第二轴,所述第一轴是由所述第一相机拍摄的第一图像上的所述指示棒的轴,所述第二轴是由所述第二相机拍摄的第二图像上的所述指示棒的轴;
计算第一平面和第二平面,所述第一平面是计算出的所述第一轴以及所述第一相机的位置通过的平面,所述第二平面是计算出的所述第二轴以及所述第二相机的位置通过的平面;
将计算出的所述第一平面与所述第二平面相交的交线,作为所述指示棒的轴的三维上的位置以及姿势来检测。
CN201380003618.7A 2012-08-30 2013-08-21 指示棒检测装置以及指示棒检测方法 Expired - Fee Related CN103946668B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012190453 2012-08-30
JP2012-190453 2012-08-30
PCT/JP2013/004934 WO2014034049A1 (ja) 2012-08-30 2013-08-21 スタイラス検出装置およびスタイラス検出方法

Publications (2)

Publication Number Publication Date
CN103946668A CN103946668A (zh) 2014-07-23
CN103946668B true CN103946668B (zh) 2017-12-05

Family

ID=50182888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380003618.7A Expired - Fee Related CN103946668B (zh) 2012-08-30 2013-08-21 指示棒检测装置以及指示棒检测方法

Country Status (4)

Country Link
US (1) US9513720B2 (zh)
JP (1) JP6225031B2 (zh)
CN (1) CN103946668B (zh)
WO (1) WO2014034049A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI518574B (zh) * 2013-12-25 2016-01-21 光峰科技股份有限公司 互動式顯示系統及其輸入裝置
JP6481360B2 (ja) * 2014-12-24 2019-03-13 富士通株式会社 入力方法、入力プログラムおよび入力装置
JP6615491B2 (ja) * 2015-05-22 2019-12-04 シャープ株式会社 ペン入力システム、タッチペン、及び、ペン入力方法
WO2017122774A1 (ja) 2016-01-13 2017-07-20 デンカ株式会社 二軸延伸シートおよびその成形品
US10711377B2 (en) * 2016-07-12 2020-07-14 Ruth Ann Christian Knitting needles and crochet hooks and systems
JP2018049413A (ja) * 2016-09-21 2018-03-29 三洋テクノソリューションズ鳥取株式会社 情報端末装置およびプログラム
TWI607365B (zh) * 2016-10-07 2017-12-01 Handwriting interactive display device and handwriting interactive reading device
DE102016013028A1 (de) * 2016-11-02 2018-05-03 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur genauen Lagebestimmung von pfeilartigen Objekten relativ zu Oberflächen
CN109287124B (zh) * 2017-05-23 2022-01-28 深圳市汇顶科技股份有限公司 用于显示器和其他应用的光学触摸感测
KR102523266B1 (ko) * 2018-01-16 2023-04-21 삼성전자주식회사 디스플레이 장치, 디스플레이 시스템 및 그 제어방법
JP6787363B2 (ja) * 2018-05-10 2020-11-18 セイコーエプソン株式会社 操作デバイス、位置検出システム及び操作デバイスの制御方法
JP7174397B2 (ja) * 2018-06-18 2022-11-17 チームラボ株式会社 映像表示システム,映像表示方法,及びコンピュータプログラム
US11009955B2 (en) 2018-07-30 2021-05-18 Apple Inc. Stylus with shear force feedback
JP6891866B2 (ja) * 2018-10-25 2021-06-18 セイコーエプソン株式会社 表示装置、表示装置の制御方法および表示システム
CN114902163A (zh) 2020-01-09 2022-08-12 索尼集团公司 信息处理装置、信息处理方法和程序
CN113838154B (zh) * 2021-08-19 2022-12-13 荣耀终端有限公司 触控笔和取色方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1289086A (zh) * 1999-09-21 2001-03-28 精工爱普生株式会社 交互显示***
CN1307779A (zh) * 1997-07-21 2001-08-08 三星电子株式会社 具有光标位置指示器的电视图形用户界面
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
CN101872267A (zh) * 2009-04-24 2010-10-27 南京芒冠光电科技有限公司 一种在屏幕上精确定位并追踪指示器位置的装置和方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2676568B1 (fr) 1991-05-17 1997-04-18 Aviau De Piolant Jean Louis D Systeme de dessin graphique.
JPH0592844A (ja) 1991-09-30 1993-04-16 Ricoh Co Ltd 紙搬送装置
JPH05127810A (ja) 1991-11-05 1993-05-25 Sharp Corp 手書文字処理装置
JPH0592844U (ja) * 1992-05-14 1993-12-17 大日本スクリーン製造株式会社 ペン描画装置
JPH06149468A (ja) 1992-11-11 1994-05-27 Hitachi Ltd 手書き文字処理方式およびペン状態入力装置
JPH0744313A (ja) 1993-08-03 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 指示情報入力方法
JPH0895707A (ja) 1994-09-27 1996-04-12 Sony Corp コンピュータディスプレイシステム
JPH08171446A (ja) 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd ペン入力装置
JPH11345087A (ja) 1998-03-31 1999-12-14 Seiko Epson Corp プレゼンテ―ションシステム及び位置検出方法
JPH11345086A (ja) 1998-03-31 1999-12-14 Seiko Epson Corp ポインティング位置検出装置及び方法、カ―ソル位置制御方法、プレゼンテ―ションシステム、情報記憶媒体
US6512507B1 (en) 1998-03-31 2003-01-28 Seiko Epson Corporation Pointing position detection device, presentation system, and method, and computer-readable medium
JP2000276297A (ja) 1999-03-25 2000-10-06 Seiko Epson Corp ポインティング位置検出装置、ポインティング位置検出方法、プレーゼンテーションシステムおよび情報記憶媒体
JP2001005609A (ja) 1999-06-23 2001-01-12 Seiko Epson Corp ポインティング位置検出装置、ポインティング位置検出方法、プレーゼンテーションシステムおよび情報記憶媒体
JP3520823B2 (ja) 1999-12-20 2004-04-19 日本電気株式会社 ペン型ポインティングデバイス
JP4436164B2 (ja) 2004-03-18 2010-03-24 日本電信電話株式会社 光信号ポインティング方法、光信号ポインティング装置、および、プログラム
JP3944856B2 (ja) 2004-06-08 2007-07-18 ソニー株式会社 通信システム、受信装置および方法、記録媒体、並びにプログラム
JP4708278B2 (ja) 2006-05-12 2011-06-22 株式会社アシスト タッチパネルシステム及びその動作方法
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
JP2009151516A (ja) 2007-12-20 2009-07-09 Yaskawa Information Systems Co Ltd 情報処理装置および情報処理装置用操作者指示点算出プログラム
JP2010028635A (ja) 2008-07-23 2010-02-04 Mitsubishi Electric Engineering Co Ltd 車載型映像記録装置
JP2011024284A (ja) 2009-07-13 2011-02-03 Panasonic Electric Works Co Ltd 電力監視システム
JP2011084050A (ja) 2009-10-13 2011-04-28 Plus Vision Corp 電子筆記システム
JP2011118523A (ja) 2009-12-01 2011-06-16 Sekisui House Ltd 描画表示装置
JP2011180690A (ja) 2010-02-26 2011-09-15 Brother Industries Ltd 表示制御装置、表示制御方法、および表示制御プログラム
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
JP2013065061A (ja) * 2011-09-15 2013-04-11 Funai Electric Co Ltd プロジェクタ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1307779A (zh) * 1997-07-21 2001-08-08 三星电子株式会社 具有光标位置指示器的电视图形用户界面
CN1289086A (zh) * 1999-09-21 2001-03-28 精工爱普生株式会社 交互显示***
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
CN101872267A (zh) * 2009-04-24 2010-10-27 南京芒冠光电科技有限公司 一种在屏幕上精确定位并追踪指示器位置的装置和方法

Also Published As

Publication number Publication date
US20140285475A1 (en) 2014-09-25
CN103946668A (zh) 2014-07-23
WO2014034049A1 (ja) 2014-03-06
JP6225031B2 (ja) 2017-11-01
JPWO2014034049A1 (ja) 2016-08-08
US9513720B2 (en) 2016-12-06

Similar Documents

Publication Publication Date Title
CN103946668B (zh) 指示棒检测装置以及指示棒检测方法
US10956547B2 (en) Biometrics authentication system
CN105593786B (zh) 对象位置确定
US9842122B2 (en) Method and apparatus for searching images
CN105074617B (zh) 三维用户界面装置和三维操作处理方法
JP5816682B2 (ja) 血管画像撮影装置及び生体認証装置
KR100298240B1 (ko) 정보입력장치,정보입력방법및고체촬상장치
CN104254816B (zh) 数据输入装置
EP2902084A1 (en) Display device, control system, and control program
US10916025B2 (en) Systems and methods for forming models of three-dimensional objects
CN105828727B (zh) 红外光成像装置
CN104246664B (zh) 不显示指针的透明显示器虚拟触摸装置
CN108376029A (zh) 显示***
TW201112092A (en) Optical touch system and method thereof
CN104063679B (zh) 血管图像拍摄装置
CN108375772A (zh) 检测***、检测装置以及检测方法
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
CN105491307B (zh) 深度传感***
TW201126397A (en) Optical touch control display and method thereof
CN106415460A (zh) 具有智能用户输入界面的可穿戴设备
CN105783768B (zh) 三维形状测量设备、三维形状测量方法
CN110274911A (zh) 图像处理***、图像处理装置、图像处理程序
CN110278384A (zh) 图像处理***、图像处理装置、图像处理程序
JP2019191175A (ja) イメージング装置及び方法
CN103677434B (zh) 光学触控装置以及可调式导光装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20150206

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: OSAKA PREFECTURE, JAPAN TO: CALIFORNIA STATE, UNITED STATES

TA01 Transfer of patent application right

Effective date of registration: 20150206

Address after: California, USA

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171205

Termination date: 20200821

CF01 Termination of patent right due to non-payment of annual fee