CN104321720A - 用于同步、识别及跟踪视觉交互式***的低干扰***和方法 - Google Patents
用于同步、识别及跟踪视觉交互式***的低干扰***和方法 Download PDFInfo
- Publication number
- CN104321720A CN104321720A CN201380013062.XA CN201380013062A CN104321720A CN 104321720 A CN104321720 A CN 104321720A CN 201380013062 A CN201380013062 A CN 201380013062A CN 104321720 A CN104321720 A CN 104321720A
- Authority
- CN
- China
- Prior art keywords
- unit
- camera
- vision system
- synchronous
- focus object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03542—Light pens for emitting or receiving light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种视觉***,包括一个或多个单元,其中,每个单元是显示单元或视频相机,或二者的组合,且每个单元具有接收器。所述单元具有发射器,如果接收器未接收到不频发的、短的重复脉冲串,所述发射器启动发射所述脉冲串;否则通过所述发射器发射延迟的短脉冲与所述不频发的、短的重复脉冲串同步,以使所述视觉***中的所有单元彼此同步,而所述不频发的、短的重复脉冲串不会干扰其他目的的远程控制器的普通使用,也不会被其干扰。
Description
技术领域
本发明基本涉及一种用于视觉***同步的***和方法,尤其是交互式数码投影机同步的***和方法,其中该同步还包括用于被并入笔、相机以及触摸式输入装置中的识别和跟踪的***和方法,以使这样的视觉***不干扰或扰乱一般的远程控制器或接收器,并且进一步地,这样的两个或更多的视觉***对于彼此来说是同步的,并且可以相互协作。
背景技术
交互式数据投影机创建了如物理交互式白板和交互式平面屏幕中的交互式表面,但是坐标数据甚至用户激活信息(触摸,触摸离开,尖端按压,尖端释放)通过在投影机处使用摄像技术从图像中提取,而不是使用嵌入到表面本身的电磁、光学或声学方法。适于投影机的基于相机的交互式技术的例子被本发明的发明人与申请人通过在WO2001NO00369/US7083100B2和/或WO2006135241A1/US2009040195A1中使用带有能通过相机和图像识别***进行跟踪的光学图像的笔而公开。其他***有:JP3257585:(视觉科学实验室1996年3月29日提出的Tokuganhei的08-075950文件)中,公开了具有红外线发射器的相机以及具有反射器的指点装置(pointing device),其中该相机检测红外线并能查出该指点装置的位置,但是相机和指点装置之间任何的同步尚未被公开。在JP4728540:(理光,2001年9月20日提出的Tokugan 2001-287901)中,公开了一种在反射器上具有某图像的指点装置,以及一种能够检测带有指点装置编码图像的光并找出控制信息的相机。在JP4037822(NEC装置解决方案株式会社,2003年12月5日提出的Tokugan2003-407884)中,公开了能够从相机接收光信号的指点装置,以及发出光以回应相机发出的光信号的指点装置。在US6529189(IBM,2000年2月8日提出的US09/500194)中,公开了一种指点装置,具有红外线元件且发出包括控制信息的光,相机接收该光。
发明内容
本发明的一个方面,提供了一种视觉和交互式视觉***的***和方法,包括像投影机或显示器、相机单元以及与其特别相关的光输入装置,用于多个这样的单元在通过投影机或显示器或可佩戴的显示眼镜的图像和视频输出内容方面上的同步;在通过相机捕获的图像和视频方面的输入内容;在可见光和/或红外光方面的照明功能上同步;以及在位置跟踪和输入交互工具的输入控制功能方面的用户的交互功能上的同步,输入交互工具例如笔、指点棒、手指等;所有的都由相同的同步控制脉冲串控制,使得该单元能够成为合作式,包括交互式输出事件能够及时并同时地被发起,并且交互式输入事件能够连贯地被解译。
本发明的另一方面,该同步***的干扰和扰动是微不足道的,即该同步脉冲串发生得很少以致它们不会明显地干扰,也不会被通常被包括在AV-设备中的远程控制接收器和远程控制发射器明显地干扰。
相机技术虽然简单,但准确、非常快速和可靠,也容易集成到数码投影机或显示器。相机技术在分辨率、灵敏度、尺寸和性能方面快速发展。市售的图像传感器能够捕获到带有例如可编程的速率、分辨率、大小、增益和曝光时间的静止图像和视频图像。
在本发明的进一步描述中,相机被理解为包括图像传感器和适于捕捉图像的镜头,并包括通信装置,以将所捕获的图像作为输入传送到计算机,进一步地相机还可以包括图像处理装置,以执行特征提取、目标识别和目标跟踪,以便检测和跟踪具有特殊特征的某些信息,进一步地还通过将他们与一些指定的交互式对象的数据模型进行比较和匹配,并且将该结果映射到交互式表面或交互式空间坐标来解释这些信息以确定交互式对象的位置和方向,并且进一步地该相机可包括在一系列捕获的图像中的某些信息的强度水平的解译,以提取交互式对象的识别和用户交互式操作,如按压尖端开关、释放尖端开关、按压按钮、释放按钮、手指触摸或手指不触摸等,并进一步地相机可包括通信装置,以将检测到的交互式对象的识别、位置、方向和用户交互的操作作为输入传送到计算机。
本发明的多方面涉及一种基于相机的交互式投影机,其中,利用近红外光(NIR)照明、跟踪和识别,并进一步公开了如何有效地利用红外线传输或射频传输使笔和投影机同步。本发明的方法的多方面包括笔和交互式投影机的相机单元如何被同步,以降低功耗并延长笔中电池的寿命;进一步地被同步以冻结动作并提高信噪比,以及进一步地在一个空间内属于多台交互式投影机的若干笔和相机单元如何被同步,以进一步在多台投影机和笔之间提供互操作性,而未引入对用于其他目的的远程控制器的不可容忍的干扰。此外,同步的相同原理可以任选地用于:同步多台投影机的投影图像;同步多个平板显示器的图像;同步多媒体眼镜的显示板;同步3D护目镜的主动式3D快门,以及同步在一个空间内多个相机的曝光,-在几微秒的精度范围内,由于这种同步需要低通信量,不会干扰同一空间内的其他远程控制器的功能。同步原理可以利用标准近红外接收器和发射器,这是服务器控件(consumer)和专业电子设备中的远程控制功能的低成本组件。同步可任选地利用标准的低成本的射频接收器和发射器,这是在服务器控件和专业的电子设备中的远程控制功能的低成本的组件。
本发明的另一方面,是为可视和/或近红外光源调节最有效的功率预算,为笔和其他主动式交互式装置中的近红外发光二极管(IRED)调节最有效的功率预算。限制加热和增加照明光源和近红外发光二极管组件的使用寿命,降低功率控制电路和电源供给的成本和尺寸,并最小化电池操作设备的功耗以最大化电池寿命,这对确保有效的功率预算是非常重要的。
本发明的另一方面,是调节相机单元捕获的图像和视频的最佳的信噪比,通过光源闪烁与相机全局快门的精确同步以及笔和其他主动式交互式装置中的近红外发光二极管的闪烁与相机全局快门的精确同步。
本发明的另一方面,由于场景中对象的快速动作造成漏光,通过上述闪烁与相机全局快门紧密地同步来有效地减少漏光现象。
本发明的另一方面,数码投影机或平板显示器与3D快门眼镜同步,或任选地通过两个或更多的投影机或显示器与3D快门眼镜同步提供更大和/或更宽的3D显示器。与投影机一起使用的主动式3D快门眼镜的例子在美国专利US2012033057(A1)(光电装置和立体视觉显示装置,精工爱普生公司的掘口宽定,日本,2012年2月9日公开)中描述。在日本索尼公司的专利WO2012/005968(A1)中,描述了基于射频和红外信号组合的快门眼镜中继器***的一个例子,但其依赖于使用适于电视远程控制单元而做不同类型的转化和中继功能,以扩大范围并实现他们提出的同步方案。在本发明中所提出的听和重复(Listenand Repeat)的方案将简化信号需求并消除对远程控制单元的需求以实现同步的功能。创新的听和重复的原理的一个优势意味着用于单元同步的短脉冲串通过单元本身遍布空间。
本发明的另一方面,是可佩戴的半透明显示眼镜(多媒体眼镜)与一种或多种其他上述单元同步,以提供新的交互功能,例如带有同步交互功能的作为笔或“手指触摸”支持的可佩戴显示器。
本发明的另一方面,是同步可佩戴半透明显示眼镜或带有一种或多种上述单元的3D快门眼镜,以提供3D或增强现实的功能,这样用户感知的场景是由于同步投影机和/或显示器的输出内容,如通过同步半透明显示眼镜与其相关的输出内容所见,或通过同步3D快门眼镜所见,并且任选地被可佩戴的同步相机、同步的照明和/或同步的交互式对象控制。
根据本发明的第一方面,提供了一种视觉***,包括一个或多个单元,其中所述单元是数码投影机或显示器,或者是视频相机,或二者的组合,其中所述数码投影机和显示器能够从计算机上以一图像输出率显示图像和图形输出;并且视频相机能够在场景中以一图像输入率捕获目标图像;并且其中上述单元具有接收器。所述单元具有发射器,如果在一个给定的时间内接收器没有接收到不频发的、短的重复的脉冲串,所述发射器启动发射一连串这样的脉冲串;否则该单元通过发射器发射与不频发的、短的重复的脉冲串同步的延迟短脉冲串,以使视觉***中的所有单元彼此同步,而不频发的、短的重复的脉冲串不会干扰,也不会被用于其他目的的远程控制器的一般使用干扰。
该***的优点在于,同步与不频发的、短的重复的脉冲串一起建立。由于脉冲串是不频发的,即具有低的重复率,该***允许无线远程控制器单元和无线远程控制接收器在大部分时间工作,并因此它们不会被同步***显著地干扰。此外,该***的优点在于,只要它们的信号在长度和重复率上不同于同步的脉冲串,可任选地在编码上不同于同步的脉冲串,那么该同步***本身不会被其他远程控制发射器显著地影响。
所提出的同步的***和方法可应用于采用了NIR/IR接收器和发射器或RF接收器和发射器的无线设施,但相同的同步原理也可以是有线的解决方案,例如,通过一对电导线或一个光纤。然后,信号可以是已调制脉冲串或者是未调制数字,例如,采用连接到开漏输出和输入的上拉单线,以产生单一的双向信号。在本发明的一些配置中,无线同步和有线同步的组合可能是优选的,例如,在大教室里,交互式投影机设置在讲台上或指挥台上,而一些用于拍摄演讲的视频相机设置在房间的后方,以致无线传输质量太差以至于不能仅通过无线传输执行同步。同样地,根据本发明,如果两个或更多的由一个或多个单元组成视觉或交互式视觉***,被一个大的物理距离分开,它们可能具有不同的同步,使得***互相干扰,那么无线同步和有线同步的组合可被用来使***跨越大的物理距离而同步。
根据本发明的第二方面,提供了一种利用包括一个或多个单元的视觉***的方法。该单元是数码投影机或显示器,或者是视频相机,或者是两者的结合,其中数码投影机和显示器能以一定的速率显示来自计算机的图像和图形输出。该视频相机能以一定的速率捕获在场景中的目标的图像,其中上述单元具有接收器。该单元具有一个发射器。该方法包括,如果在给定的时间内不频发的、短的重复的脉冲串没有被接收器接收到,则通过发射器启动发射不频发的、短的重复的脉冲串;否则通过接收器接收短的重复的脉冲串,并在预定的时间后由发射器重复发射类似的脉冲串,以便使视觉***中的所有单元彼此同步,而该脉冲串既不干扰,也不会被用于其它目的的远程控制器的一般使用干扰。
本发明的多方面提供了一种视觉***,其中所涉及的单元被彼此同步。
这些单元的同步,意味着,输出率和投影图像和/或显示图像的输出的准确时间被精确地调节至一个内部同步信号,并且内部同步信号基于估值,即上述不频发的、短脉冲串序列中的每个脉冲的起始时间的时间序列的平均值。
相应地,这些单元的同步,意味着,相机的图像捕获的输入率准确时间;相关的曝光控制;以及任选的闪烁光源被精确地调节并相联系到内部同步信号,并且内部同步信号是基于估值,即在上述不频发的、短脉冲串序列中的每个脉冲的起始时间的时间序列的平均值。
相应地,这些单元的同步,意味着,被包括在主动式交互式对象中的至少一个近红外发光二极管(IRED)的闪烁序列的时间被调节以适应不频发的、短脉冲串中的至少一个脉冲,使得序列中的闪烁事件能在相机曝光快门活跃时的同时被激活,从而提供了相机非常好的曝光,减少了由于场景中运动的物体而产生的漏光现象,并降低了交互式装置的功耗。用包含在交互式装置中的基于的精确局部晶体的定时器,即使在几秒内没有检测到新的脉冲串,闪烁事件可以被正确地定时到相机曝光的快门。
相应地,这些单元的同步,意味着,包含在可佩戴的主动式3D快门眼镜中的快门序列的定时,被调节到至少一种不频发的、短脉冲串,使得左快门和右快门在与同步的投影机或显示器图像开始呈现时相关联的适当时刻改变快门状态。用包含在3D快门眼镜中的基于精确的局部晶体的定时器,即使在几秒内没有检测到新的脉冲串,序列事件可以被正确地定时到同步的视频相机或显示单元。
相应地,这些单元的同步,意味着,可佩戴的并且可任选地半透明的显示眼镜的定时和更新速率可以调节以适应至少一种不频发的、短脉冲串,以使得输出图像在与例如当同步的投影机或显示器的图像开始呈现的相关联的适当的时刻更新。用包含在可佩戴的显示眼镜中的基于精确的局部晶体的定时器,即使在几秒内没有检测到新的脉冲串,图像更新可以被正确地定时到同步的单元。
输入图像的更新速率、输出图像的更新速率、光源的闪烁速率、主动式交互式装置的闪烁速率、3D快门眼镜的快门速率;以及可佩戴的显示眼镜的更新速率,可以选择不同的速率,但是在所有情况下,可以来自相同无线不频发的、短脉冲串。
有利地,本发明的多方面包括的优点,例如,无线不频发的、短脉冲串根据听和重复方案由每个单元发射,使得无线不频发的、短脉冲串发被分配到空间的每一个角落。
有利地,本发明的多方面包括的优点,例如,上述听和重复方案是利用用于脉冲重复延迟的简单随机化功能,这意味着每个单元使何时听其他单元的脉冲串以及何时发射自身的同步的脉冲串随机化。通过这些有益的机制,由于这里的所有单元能够有助于同步的脉冲串的传播,对***中专用的主单元的典型的需求被去除。
附图说明
通过实施例并结合附图,在此对本发明的各方面进行描述,其中:
图1是本发明的一个实施例配置的示意图,其中,视觉***包括两个同步的交互式投影机;
图2A-2H是本发明的具有随机延迟同步原理的听和重复的示意图;
图3是本发明的具有随机延迟同步原理的听和重复的示意图,还包括同步单元(例如:相机、投影机、显示器)内的接收信号和内信号,以及同步的相关设备(例如:交互式对象、3D快门);
图4是本发明的用于具有随机延迟同步原理的听和重复的同步电路原理图的一个实施例的示意图,还包括同步单元(例如:相机);
图5A是本发明的用于具有随机延迟同步原理的听和重复的同步算法的一个实施例的示意图,并使符号时间和超时参数T1-T11参数化;
图5B是用于如本发明的图5A所示的具有随机延迟同步原理的听和重复的同步算法的一个实施例的示意图,进一步描述符号时间和超时参数T1-T11以及它们与状态转换的关系,包括实施例配置的可能的数值;
图6是基于晶体的具有脉冲宽度调制输入(PWM)的时钟合成器以调节如同图4的同步电路原理的频率的一个实施例的示意图;
图7说明了基于晶体的具有脉冲宽度调制输入(PWM)的时钟合成器是如何调节如同图4的同步电路原理的频率(偏差以单位ppm给出),其中频率偏差4表示为PWM信号的占空比的函数;
图8通过示波器曲线图说明,三个投影机PJ3、PJ2和PJ1一个接一个地被同步,其中PJ1的脉冲宽度调制输入(PWM)被包括在曲线图中,并且在此例中当前的PJ1的PWM值已变成39.82%,与815/2048的占空比C1/C2一致;
图9通过一系列的实验说明重力作用是如何有助于避免随着每次新单元被关闭和再开启XVCO被越来越多地偏移,因为重力作用会轻微地将XVCO朝其中心值偏移;
图10是通过一系列的实验说明弹簧作用是如何有助于避免随着每次新单元被关闭和再开启XVCO被越来越多地偏移,由于弹簧作用会轻微地将XVCO朝其中心值偏移,以及如果离中心值有较大的偏差,会将其偏移较大步幅;
图11是本发明的具有随机延迟同步原理的听和重复的示意图,其中所述单元是与交互式对象同步的相机;
图12说明了相机单元和主动式交互式对象是如何凭借两个连续的脉冲串进行同步的,使得相机中的全局快门曝光控制GS事件和近红外脉冲序列在时间上对准;
图13说明了用于发送其识别(ID1与ID2)信号以及尖端开关状态(按压与释放)信号的交互式对象的脉冲序列;
图14说明了用于发送其识别(ID1与ID2)信号以及尖端开关状态(按压与释放)信号的主动式交互式对象的脉冲序列的原理和光学元件;
图15说明了用于利用被动式交互式对象中逆反射光信息的原理和光学元件;
图16说明了用于半被动式交互式对象的原理和光学元件,所述半被动式交互式对象包括主动式发送其识别(ID1与ID2)信号和尖端开关状态(按压与释放)信号的脉冲序列以及用于跟踪的脉冲序列,和用于跟踪、识别和可选地检测尖端开关状态等等的反射和/或逆反射光的信息;
图17说明了相机单元和主动式交互式对象是如何凭借两个连续的脉冲串进行同步的,使得相机中的全局快门曝光控制GS事件和近红外脉冲序列在时间上对准,并且说明反射和/或逆反射光的照明信息是如何通过未调节脉冲执行的;
图18是本发明的一个实施例配置的示意图,其中,所述视觉***包括两个同步的交互式投影机和一对3D快门眼镜;
图19是本发明的一个实施例配置的示意图,其中,所述视觉***包括两个同步的交互式投影机和一个同步的视频相机;
图20是本发明的一个实施例配置的示意图,其中,所述视觉***包括两个同步的相机,所述相机捕获和跟踪交互式表面为平板显示器的交互式对象;
图21是本发明的一个实施例配置的示意图,其中,所述视觉***包括两个同步的相机,其中所述相机朝向交互式表面,并在交互式表面上捕获和跟踪交互式对象的位置和状态;
图22是本发明的一个实施例配置的示意图,其中,所述视觉***包括两个同步的相机和两个同步的平板显示器,其中所述相机朝向交互式表面和同步的平板显示器,并在交互式表面上捕获和跟踪的交互式对象的位置和状态,所述交互式表面是平板显示器;
图23是本发明的一个实施例配置的示意图,其中,所述视觉***包括一个是一种交互式投影机的单元,和一个是一对带有虚拟交互帧的交互式半透明的同步的视频眼镜的单元;
图24是本发明的一个实施例配置的示意图,其中,所述视觉***包括一个同步的交互式投影机和一个基于同步的交互式相机的单元,该单元是在一个标准投影机旁边对准的单元。
具体实施方式
本发明的各方面涉及用于视觉和交互视觉***的同步的***和方法。
在详细描述本发明至少一个实施例的实施与操作之前,应当理解的是,本发明并不限于在以下描述或或附图中说明的组件构造和布置的细节的应用,本发明能够被实施在其他的实施例中或以各种方式被实践或执行。而且,应当理解的是,本文使用的措辞和术语是用于描述的目的,而不应被视为限制。
根据本发明的各方面,参照附图和随附的描述,同步***和方法的原理和操作能被更好地理解。
首先,对所述视觉***的原理及其单元的同步进行说明。此后,对一些优选实施例的详细描述连同其详细的***的操作原理进行描述。
所述视觉***及其单位同步的操作原理通过参考图1、图18、图19、图20、图21、图22、图23和图24所给出的示例性配置进行描述。图中示意性地说明一个优选实施例的硬件配置。
图1中,所述硬件配置包括交互式视觉***22,所述交互式视觉***22包括两个或多个单元1,这里用PJ1和PJ2表示,每一个单元包括显示装置,即投射输出图像到投影和交互式表面47的投影机2,捕获投影的相机9,以及交互式表面47,所述交互式表面带有可选择的照明所述投影和交互式表面47的光源3,还包括无线接收器11,无线发射器12,计算和数据收集装置10例如微控制器或特定应用数字电路,以及交互式对象4。所述交互式对象4可包括至少一个无源光信息5或一个有源光信息6,适于通过相机9检测。所述交互式装置4可包括所有种类的无源信息5和有源信息6的组合。在此种交互式视觉***22中,所述相机9彼此同步,而来自投影机2的图像更新可选地被同步,但通常不需要为该交互功能进行同步。如果交互式对象4是有源的,那么它们被同步到所述相机9,并且可选的光源3可被同步到所述相机9。
图1中,对于大多数下面所描述的其他示例性配置,所述硬件配置包括一个交互式视觉***22,所述交互式视觉***22包括两个或多个单元1。然而,在所有情况下,相机9、可选的光源3、来自从投影机2的图像更新之间的同步,以及所述相机9与交互式对象4之间的单元到设备的同步,它们的同步原理是相同的,即使仅有一个单一单元1存在或仅有一个单一单元1开启。而且,单元到单元的同步原理,将处理仅有一个单元存在的情况,或处理仅有一个单元启动的情况,或处理一个或数个单元依次被开启和关闭的场合,也处理两个或数个单元在同一空间内开启的场合。
以下,我们将参照PJ1和PJ2(以及第三个PJ3)作为交互式投影机。
参照图2A-2H,说明了本发明的几乎与图1相似的示例性配置的同步原理,但其中有三个单元1代替两个单元1,所述三个单元1是交互式投影机PJ1、PJ2和PJ3。所说明的相同的同步原理可应用于所有其他本发明的配置中,例如,图18-24描述的示例性配置。同步原理将通过投影机PJ1、PJ2和PJ3如何一个接一个开启以及它们如何同步到已经运行中的投影机进行说明,即基于单元到单元的同步原理进行说明。
此外,根据本发明的示例性配置在下文中将考虑用于同步***的无线NIR(或IR)接收器和无线NIR(或IR)发射器,而同样有利的性能用适于发送短射频(RF)脉冲的无线射频(RF)发射器和射频接收器进行描述。电的有线解决方案或光学有线解决方案代替上述无线解决方案,也可用于本同步原理。
通过利用基于NIR(或IR)的所提出同步方案的接收器和发射器,NIR(或IR)的其他使用,例如用于基于IR的远程控制器会受到影响和干扰,如果所述脉冲串持续时间太长,或者脉冲串过于频繁。因此,在本发明的一个优选实施例中,在2个(或3个)短脉冲串后,有数个相似的时间间隔的中断未调节NIR(或IR)。在这期间,其他基于NIR/IR的装置和***可通信不中断,例如,以使一个人能通过其各自的远程控制器完美地控制投影机本身或其他视听设备。
而相机到笔的同步(更一般地,单元到装置的同步)需要至少两个连续的短脉冲串,如交互式对象/装置的图11-17中有更详细地描述,第3个短脉冲为一个空间内的所有交互式投影机(单元)的相机到相机的同步(一般地,单元到单元的同步)保留。需要两个同步机制,以确保一个空间内的所有单元是同步的,并确保简单设备(如笔和其它交互式对象、3D快门眼镜等)同步到同步单元。在交互式投影机和笔的特殊情况下,一个空间内的所有相机和可选的嵌入到交互式投影机中的投影机是同步的,以使它们在同一时间情况下发送短脉冲串,并且在此空间内的所有笔基于这些脉冲都被同步,即所述笔基于这些短脉冲串的时序闪烁其IR-LEDs,并能够由相机来检测,正如以下涉及图11-17中更详细地描述。
为所述单元到单元的同步所提出的原理被表示为听和重复原理(Listen and Repeatprinciple),与众所周知的主-从原理(Master-Slave principle)相比,被认为是有利的。根据本发明的独创性,所述听和重复原理包括隐含的“中继器”功能,一旦单元本身被同步,确保每个交互式投影机(或一般地,每个单元)有助于空间内短的同步脉冲串的进一步分配。此特征有助于从一个单元1增强和传播脉冲到另一个单元1。另外,相反地,在空间内如果没有同步脉冲串,经过一段等待时间,所述单元将开始发送短脉冲串以开始同步过程。
对同步方案进行如下说明:
当第一单元1,所述交互式投影机PJ1,被启动并且正在进入接收模式时,我们首先假设没有短的同步脉冲串出现在空间内,参照图2A的左侧部分。在PJ1已经处于接收模式的一段时间后,并且PJ1未检测到短的、重复的脉冲串,那么PJ1将决定开始发射两个短脉冲串MA.1和MA.2,以及任选地,短的同步脉冲SA,参照图2A。一般来说,一个单元将输出两个短脉冲串MA.1和MA.2以及MB.1和MB.2,并在位置SA或位置SB输出同步脉冲,分别参照图2A-2B和图2C。在这些2个至3个短脉冲串(MA.1、MA.2和任选的SA)之后,在示例性配置中,将有一个停顿,没有任何来自投影机的脉冲串,参照图2B-2D,在接下来的2个至3个脉冲串(MB.1、MB.2和任选的SB)之前,随后在示例性配置中,将有另一停顿,没有任何来自投影机的脉冲串,参照图2B-2D,在序列再次重复进行之前。
MA.1和MA.2以及MB.1和MB.2的主要目的,分别是用于单元到装置的同步,因为交互式装置4至少需要具有正确的宽度和距离分开的连续脉冲串,以开始它的笔闪烁序列。
脉冲SA和SB的主要目的,分别是用于单元到单元的同步,并且这些单元到单元的同步脉冲串SA或SB的平均起始时间分别用于每个单元以定义一个非常精确的内部同步信号。当然,SA和SB的脉冲串的发生也用于单元到装置的同步,因为作为单位到装置的同步脉冲串,它们具有与前一个脉冲相同的主要宽度和距离,但是不能保证SA和SB的发生,所以所述单元到装置的同步不应该依赖于SA和SB的存在。
在图2F-2H所描述的一个示例性方案中,将有重复的16个短脉冲串周期B1-B16的典型序列,使得在B1-B16的序列后,同样的B1-B16被再次重复。每个同步单元在16个脉冲期间的时间内将一直输出确切的5个这种短的脉冲,但是,参照图2F和图2G,是否选择在SA或SB的“位置”输出其同步脉冲分别由伪随机函数来决定。
如上所述,先假定没有短的同步脉冲串出现在空间内,参照图2E的左侧部分。在PJ1已经处于接收模式的一段时间后(见状态S2-图5中无声测试),并且PJ1未检测到短的、重复的脉冲串,那么PJ1将进入S6状态-主状态(参照图5),并且开始发射两个短脉冲串MA.1和MA.2,以及任选地,短的同步脉冲SA,参照图2E。一般来说,一个单元将输出两个短脉冲串MA.1和MA.2以及MB.1和MB.2,并在位置SA或位置SB输出同步脉冲,分别参照图2F和图2G。在这些2个至3个短脉冲串(MA.1、MA.2和任选的SA)之后,在示例性配置中,这种情况下将会有一个6个短脉冲串或可选的5个短脉冲的时间的停顿,没有任何来自投影机的脉冲串,参照图2F-2H,在接下来的2个至3个脉冲串(MB.1、MB.2和任选的SB)之前,随后在示例性配置中,将有另一个典型的6个短脉冲或可选的5个短脉冲的时间的停顿,没有任何来自投影机的脉冲串,参照图2F-2H,序列再次重复进行之前。
进一步地,当PJ1被打开时,由于PJ1没有发现任何脉冲串,或者因为PJ1在T1A或T1B中的测试期间,随机选择,在进入S3-同步状态后,没有发现来自其他单元(即序列MA.1、MA.2,可选的SA、MB.1、MB.2或可选的SB)的其他的短的、重复的脉冲串,其进入了一个临时的“主要”的角色,S6状态-主状态,参考图5A的流程图。即使在该临时的“主要”模式下,它会在时间T10或T11(随机选择)内检查是否有未同步到其本身的其他脉冲,并且PJ1甚至关掉其自身的脉冲串以检查S8状态-有效的脉冲检测,而不为没有被PJ1自身发送的脉冲串干扰的其他单元发送脉冲串。如果检测到其他单元的有效脉冲串,那么PJ1就需要进入S1状态-初始化以可能通过S3状态同步到这些有效脉冲串-图5A中的同步。
在这种情况下,PJ1是一个临时的“主要”模式,除了它会定期检查空间内是否有其他单元或一些其他脉冲噪声以外,PJ1不会尝试去适应或同步到其他单元。在下文中,我们看到,当引入第二单元时,第二单元将适应并同步到PJ1现存的信号,最后,我们描述一种所有投影机PJ1、PJ2、PJ3适于与彼此同步的情况,而没有任何临时的“主要”模式,由于临时的“主要”模式的第一个PJ1被关闭和重新打开。
所以假设,如上所述,即PJ1是处于S6状态-主状态,另一个单元1即交互式投影机PJ2被打开。只要PJ2检测到T6超时时间内的同步脉冲串,PJ2将进入S3-同步状态,并将很快进入S4-保持同步状态。
只要单元1如PJ2处于在S4-保持同步状态,PJ2将发送MA.1、MA.2,可选的SA、MB.1、MB.2和可选的SB,但是,参照图2B和图2C(或图2F和图2G),选择是否在SA或SB的“位置”输出同步脉冲分别由伪随机函数来决定,并且,SA或SB的“位置”在不同于所述发送自身的同步脉冲的单元的位置,基于在SA或SB的“位置”所检测的同步脉冲的起始时间平均值,所述单元将一直更新其内部的同步信号估算值,使得如果所述单元1在SA“位置”发送其同步脉冲,它将检测并测量在SB“位置”的同步脉冲的起始时间,反之亦然。通过该原理,表示了听和重复,单元到单元同步的准确性不会受到单元1自身的脉冲传输的干扰。
再次假设PJ1处于S6状态-主状态,PJ2是处于S4-保持同步状态,以及第三单元1,即交互式投影仪PJ3被打开。只要PJ3检测到T6超时时间内的同步脉冲串,PJ3将进入S3-同步状态,并将很快进入S4-保持同步状态。
只要单元1如PJ3处于S4-保持同步状态,PJ3将发送MA.1、MA.2,可选的SA、MB.1、MB.2和可选的SB,但是,参照图2B和图2C(或图2F和图2G),选择是否在SA或SB的“位置”输出同步脉冲,分别依旧由伪随机函数来选择,并且SA或SB的“位置”在不同于发送自身的同步脉冲的其他位置,基于SA或SB的“位置”所检测的同步脉冲的起始时间平均值,所述单元将一直更新其内部的同步信号估算值,使得如果所述单元1在SA“位置”发送其同步脉冲,它将检测并测量在SB“位置”的同步脉冲的起始时间,反之亦然。通过这个原理,表示了听和重复,单元到单元同步的准确性不会受到单元1自身的脉冲传输的干扰,并且同步脉冲从一个单元1到另一单元1分布,并且由另一单元1选择的传输时间是基于所检测的同步脉冲起始时间的平均值,其中这些起始时间不被单元1自身脉冲传输所干扰。伪随机选择可以基于伪随机发生器如简单的线性反馈移位寄存器以及使用该运行图像帧数作为种子。
假设第一单元1,PJ1是被打开的,现在被关闭和重新打开。在这种情况下,PJ1将很快同步到PJ2和PJ3,并将处于S4-保持同步状态,所以在这种情况下没有单位1为临时“主要”状态。
所有单元1被锁相到其他的短同步脉冲串的平均起始时间。
图4所示为适于基于相机方案的同步硬件的优选实施例,包括接收器11,带有接收检测信号BURST_RX;发射器12,带有脉冲传输信号BURST_TX;可选的光源3,用于通过信号NIR_ILLUM控制的NIR光源;相机9,包括CMOS图像传感器27,由时钟信号CLK2和输出帧有效信号FV、行有效信号的LV、像素数据PDATA、像素时钟PCLK,以及曝光定时信号GS(全局快门)计时;可选的定时发生器25,基于所述GS信号且由时钟信号CLK2计时,产生一个内部同步信号INT.SYNC;计算和数据收集装置10,可以捕获接收到的脉冲信号的开始时间事件,并可以作出平均估算及通过估算可以控制脉冲宽度调制信号PWM的占空比,使得所述时钟合成器28电路产生***时钟CLK1和衍生的相机时钟CLK2引发GS信号或具有频率尽可能与估算的脉冲频率平均值相同的衍生INT.SYNC信号。
在同步硬件的优选实施例中,参照图6,脉冲宽度调制信号PWM通过低通滤波(LP)滤波器过滤,例如无源RC-滤波器,在时钟合成器块28以产生被连接到基于电压控制晶体的时钟合成器26的VXVCO电压信号,所述时钟合成器26可在在频率为±M(ppm)的范围内调节时钟CLK1到CLKN的输出时钟,其中M通常是在±20至±150的范围,取决于所选择晶体XTAL的牵引范围特征。在图7中,当由占空比0.0%至99.95%的PWM信号控制,使用范围为0至2047/2048的PWM计数器,对应低通滤波的电压VXVCO值为0V至1.799V时,对可能的晶体所达到的牵引范围是-43ppm到+48ppm。
由于所有单元1被锁相到其他的短同步脉冲串的平均起始时间,并且单元1将一直调整其定时和相位以保持同步,基于其他单元1同步脉冲串的起始时间平均估算值,由于一些参数不对称或干扰,有一个风险是这种***可能在一个方向上漂移。为了使得到的***稳定,通过由表示重力作用的提出策略的定量,每个单元中频率的调整将定期被指向其中心频率。另一种建议的策略已经被应用并表示弹簧作用,其中,如果距离中心频率的偏差较大,指向其中心频率的调整将更强。这种稳定功能,如重力作用或弹簧作用,活动在一些示例性配置中的S4-保持同步状态中,以促进没有单元处于S6状态-主状态的***倾向于保持同步频率接近于所述单元的典型中心频率。
在这种情况下,没有暂时的“主状态”,例如,当所述单元被关闭和开启一次或几次时,如果没有应用上述那样的重力或弹簧作用,调整后的时钟频率会漂移。图8中,3个单元1同步,如通过它们的对准的表示PJ1频闪,PJ2频闪和PJ3频闪的脉冲信号看到的,但PJ1的频率调整信号PJ1PWM占空比C1/C2,在这个瞬间被捕获到,低于40%(即39.82%),而如果没有漂移发生并且单元和***是理想的,可期望接近50%。典型地,将有信号噪声,代码执行错误和不同部件的公差,这将导致不对称和随机行为,而迫使所述单元开始向某些方向漂移,例如,图8所示。
图9中,通过实验说明重力作用的影响,其中两个单元1,PJ1和PJ5,按照表格说明重复关闭和开启,并且当PJ15关闭和开启时,频率通过PJ1向下漂移,当PJ1关闭和开启时,PJ5向上提拉频率。
图10中,通过实验结果说明弹簧作用的影响,其中两个单元1,PJ1和PJ2,按照表格说明重复关闭和开启,尽管在***中没有“主”状态,但是频率非常稳定,如在测试周期1-4(序号1-8)所示40分钟的长时间间隔,和在测试周期4-10(序列号9-21)5分钟的较短时间间隔中所示。
在一个优选实施例中,内部同步信号与估算脉冲同步信号之间的相位差为0,所述内部同步信号通过定时脉冲发生器25信号来源于相机GS。如上所述,这可以通过改变时钟频率实现,但(最初)较大的相位差可以通过其编程总线编程相机来减少,以改变在一个或多个帧数中的垂直消隐期直到相位差小到足以开始通过PWM(和VXVCO)信号调整时钟频率,参照图5A,其中(1)垂直消隐时间编程用来“粗调”,在S3-同步状态的相位,(2)PWM占空比控制用于进一步的精细的调整,涉及到S3-同步状态和S4-保持同步状态。
根据本发明的一个优选实施例,正如上述说明的那样,所述听和重复原理使得数个单元1被同步,只要它们被开启并已接收到S3-同步状态的足够的脉冲串以估算和调整时钟频率和内部同步信号,并且对用于定义主从角色等的手动或半自动配置没有要求:当单元被引入时,所述单元能被自动同步,仅是“即插即用”。但是简单的***设备也能被同步,如图3所示。所述一个或多个单元1产生如上所述的MA脉冲串和SA或SB脉冲串,那么图4中的BURST_RX信号将有,一个(稍微延迟)低电平脉冲30的信号,在检测MA脉冲29的图3中;和一个低电平脉冲45,如果单位1中的一个实际上(通过它们的伪随机函数)在SA“位置”输出同步脉冲串43;和/或一个低电平脉冲46,如果单元1中的一个实际上(通过伪随机函数)在SB“位置”输出同步脉冲串44。在所述单元中可以有不同的局域同步信号,如由信号事件35,36,37和38表示的序列,例如,相机的GS(全局快门)信号以同步内部程序和曝光。在本发明的一些优选实施例中,如图14中的简单的***设备将包括图14中的接收器20,或图18中的接收器11,其可以检测到MA、MB、SA和SB脉冲串如29,39,43和/或44(参照图11),作为接收器的输出PD信号的低电平脉冲30和/或45和/或46,使得所述***设备能合成自身的适于控制不同功能的内部同步信号相位31,32,33,分别地,例如参照图14,交互式装置中的IRED 6的闪烁,以及例如参照图18,控制在可佩戴的3D快门眼镜的左/右快门23改变。
创新的听和重复原理的一个优势意味着所述单元1同步的短脉冲串通过所述单元本身遍布所述空间。
此外,该原理具有的优点是无需确定哪个单元是主,哪个单元是从。
参照图12,对本发明的一个优选实施例进行说明,其中一个或多个单元1,在这种情况下至少交互式投影机PJ1通过采用近红外光传输来发射脉冲串信号29和39。
交互式投影机PJ1发送至少两个短脉冲串,参照图12中的信号CT,在这种情况下,在近红外(NIR)波长范围内的调制脉冲序列(M),同步到相机的曝光控制,即快门宽度GS。这两个短脉冲29和39由于其典型的脉冲宽度和其典型的重复时间间隔(29和39之间的时间)通过交互式对象4被识别,在这种情况下交互式对象被称为笔,并且在被称为相机的曝光控制的适当的时间,交互式对象4通过其红外发光二极管IRED 6将输出一个或多个其非调制NIR脉冲31,32和33,分别地,使得每个NIR脉冲是在相机的快门宽度36,37和38内。笔的NIR脉冲的同步使得每个传输NIR脉冲的最佳相机曝光通过形成相机快门宽度、确定曝光积分时间来抑制来自其他NIR和IR来源的噪声,只是比预期的NIR脉冲略大。
因此,由于该同步意味着具有适于NIR脉冲长度的快门宽度的良好的曝光时间控制,只是增加了小的边限,以允许晶体频率漂移和同步抖动,如果我们定义NIR脉冲和快门窗口恰好重叠作为最佳状态的情况下,已实现的信噪比将接近最佳状态。较高的信噪比意味着可能减少输出的NIR LED强度,并以此降低笔的功耗从而增加笔的电池寿命。
现有的不同步的解决方案,无法将笔的NIR发射脉冲安排到相机的曝光快门。如果曝光快门太久,由于笔的运动,可能会发生漏光现象,这会降低所捕获图像的质量,从而限制了图像信号处理和图像特征提取,以及降低了跟踪性能和速度。这种现有的不同步的解决方案要求笔需要不断地输出NIR信号以被相机检测,此外,所述相机的快门宽度必须被限制,以避免漏光现象。由于需要检测连续的NIR发射,这种***不可避免地需要笔中更多的功耗。
在所提出***的一个示例性配置中,笔可以传输在320μs的快门窗口内的160μs长度NIR脉冲,由于笔尖状态和笔识别的信号,通常2-3脉冲(平均约2.5)需要每个笔26.6Hz的坐标更新,参照图13。为获得相同的信噪比,连续不断地发射的笔需要瞬时功率Y*160μs/320μs=0.5*Y,如果Y是所提出的***的脉冲中的瞬时功率。如果被要求是在相同的信噪比的状态下,在此示例性配置中,与未同步的笔的平均功耗相比,所提出的同步的笔的NIR发射平均功耗将减少2.1%(Y*2.5*160μs*26.6/(0.5*Y*1000000μs≈2.1%)。
此外,与所提出的***相反,这种不同步的NIR发射笔,不能发出其标识和/或尖端开关状态信息的信号以被相机检测,而在同一时间被相机连续地跟踪。
图13中,根据本发明的一个优选实施例,笔所发信号包括标识(ID1,ID2)和尖端状态(尖端按压,尖端释放)根据在连续的笔相中笔的一些简单闪烁序列,即相1、相2和相3,在最前面的图中分别表示为31,32,33。笔的闪烁序列在接收如上述图12中说明的典型宽度和时间间隔的两个短脉冲串29和39之后启动。即使在一段时间内(例如,在接下来的0.3秒或更长时间)没有来自单元的另外的短脉冲串,笔将继续输出新的闪烁序列如40,41和42,其具有相同的内部时间关系如31,32,33,闪烁序列的时间间隔几乎与短脉冲串29和39之间的时间间隔相同,等,由于笔中基于精确的内部晶体的时间估算,这些闪烁序列中的每个闪烁脉冲将被定位在全局快门(GS)的积分时间内,使得笔的脉冲事件将非常精确地被相机帧捕获,即使经过最后同步脉冲29和39被接收后的0.3秒或更长时间。对所捕获的相机帧的序列进行分析,并且相机包括特征提取装置,可以找到笔的IRED 6的位置和笔的IRED 6的闪烁序列。从分析IRED 6的闪烁序列中得知,能够识别笔的ID(ID1与ID2)和笔的尖端状态,即“尖端按压”或“尖端释放”。
在图13的顶部,所示带有ID1的笔的IRED 6典型闪烁序列,其中,四个相的每个短序列,开始于一个初始相(显示为阴影线的方形(在笔的相1的左侧用31表示),这是预留给可选的用于检测笔的无源逆反射或反射信息5的相机光源3的闪烁,参照图15。接下来的三个相是三个笔相,即相1、相2和相3,在图13的顶部分别用31、32、33表示。需要三个这样的短序列,以发出笔的标识ID1和笔尖的当前状态的信号。在图13上部的表格中描述了ID1序列中的每个短序列1、2和3,假如在尖端是“按压”以及尖端是“释放”的情况下,笔将如何在笔相1、相2和相中3闪烁。
在图13的顶部的正下面,所示带有ID2的笔的IRED 6典型闪烁序列,其中,四个相的每个短序列,开始于一个初始相(显示为阴影线的方形(在笔的相1的左侧用31表示),这是预留给可选的用于检测笔的无源逆反射或反射信息5的相机光源3的闪烁,参照图15。接下来的三个相是三个笔相,即相1、相2和相3,在图13的顶部分别用31、32、33表示。需要四个这样的短序列,以发出笔的特性ID2和笔尖的当前状态的信号。在图13底部的表格中描述了ID2序列中的每个短序列1、2、3和4,假如在尖端是“按压”以及尖端是“释放”的情况下,笔将如何在笔相1、相2和相中3闪烁。
如图14所示,本发明的一个优选实施例是交互式装置4,在这里形成为笔,包括尖端16,取决于波长的滤波器或涂层19,计算装置17,如微控制器,一个或多个接收器20,一个或多个电池单元18,向不同方向发射NIR光或射线13的尖端IRED 6,其中的一些射线将碰撞相机9,并可以通过一个可选的取决于波长的滤波器21。
如图15所示,本发明的另一个优选实施例是交互式装置4,在这里形成为笔,包括尖端16,取决于波长的滤波器或涂层19,一个或多个逆反射或反射信息5,一个光源3,其中来自光源15A的射线通过5被反射回去,使得一些射线15B将碰撞相机9,并可以通过一个可选的取决于波长的滤波器21。
如图16所示,本发明的另一个优选实施例是交互式装置4,在这里形成为笔,结合图14和图15的原理,包括一个尖端16,取决于波长的滤波器或涂层19,一个或多个逆反射或反射信息5,一个光源3,其中来自光源15A的射线通过5被反射回去,使得一些射线15B将碰撞相机9,并可以通过一个可选的取决于波长的滤波器21,计算装置17如微控制器,一个或多个接收器20,一个或多个电池单元18,向不同方向发射NIR光或射线13的尖端IRED 6,其中的一些射线将碰撞相机9,并可以通过一个可选的取决于波长的滤波器21。
图17中,说明了本发明的一个优选实施例,其中,每个单元1发送同步(可选地照明)脉冲串29、39以及光源发送未调制的闪烁脉冲34。交互式装置4也可以具有由闪烁脉冲34照明和在曝光快门间隔35内由相机捕获的逆反射或反射信息,而主动闪烁IRED脉冲被传输如31、32、33等,并且相机在各自的曝光快门间隔36、37、38内进行捕获。未调制的闪烁脉冲34不会干扰脉冲接收器。
视觉***的操作原理及其单元的同步已通过参照给出的图1的示例性的硬件配置进行描述。在图18、图19、图20、图21、图22、图23和图24中,对优选实施例的其他硬件配置进行示意性地说明。
图18中,硬件配置包括交互式视觉***22,所述交互式视觉***22包括如图1所描述的两个单元1,来自投影机2的图像的更新同步,并且还包括可佩戴的3D快门眼镜23,通过计算和数据收集控制装置10如微控制器或专用数字电路和无线接收器11、以及可选的无线发射器12控制,使得该3D快门眼镜与图像的更新同步。
图19中,硬件配置包括交互式视觉***22,包括三个单元1,其中例如在图1所描述的两个单元1,一个带有视频相机9的单元1,所述摄像机9通过计算和数据收集控制装置10如微控制器或专用数字电路和无线接收器11、以及可选的无线发射器12控制,使得由视频相机9捕获的图像与数码投影机2的图像更新同步,使得视频记录可以是无闪烁的。
图20中,硬件配置包括交互式视觉***22,所述交互式视觉***22包括两个单元1,是基于相机的输入装置,每一单元包括相机9,相机9捕获交互式表面和平板显示器表面7,带有可选的光源3照射交互式表面和平板显示器表面7,每一单元还包括接收器11、发射器12、计算和数据收集装置10如微控制器或专用数字电路,以及交互式对象4。交互式对象4可包括至少一个无源信息6或一个有源信息6,适于可通过相机9检测。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉***22中,相机9彼此同步,而通过两个平板显示器7的图像更新不同步到相机9。
如果交互式对象4是有源的,它们被同步到相机9,并且可选的光源3可被同步到相机9。
图21中,硬件配置包括交互式视觉***22,所述交互式视觉***22包括两个单元1,这两个单元是输入装置,其中每个单元包括捕获交互式表面48的相机9,带有可选的光源3照射交互式表面48,每个单元还包括接收器11、发射器12、计算和数据收集装置10如微控制器或专用数字电路,和交互式对象4。交互式对象4可包括至少一个无源光信息5或一个有源光信息6,适于可通过相机9检测。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉***22中,相机9被彼此同步。如果交互式对象4是有源的,它们被同步到相机9,并且可选的光源3可被同步到相机9。
图22中,硬件配置包括交互式视觉***22,所述交互式视觉***22包括包括平板显示器7的两个单元1,和包括捕获交互式表面的相机9的两个单元1,交互式表面是带有光源3的平板显示器7表面,光源3照射交互式表面和平板显示器表面7。每个单元1进一步包括接收器11、发射器12、计算和数据收集装置10如微控制器或专用数字电路,和交互式对象4。交互式对象4可包括至少一个无源光信息5或一个有源光信息6,适于可通过相机9检测。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉***22中,相机9可彼此同步。如果交互式对象4是有源的,它们被同步到相机9,并且可选的光源3可被同步到相机9。所有的单元1可被同步。
图23中,硬件配置包括交互式视觉***22,所述交互式视觉***22包括两个单元1,一个单元是交互式投影机,这里用PJ1表示,该单元包括显示装置,即投影机2将输出图像投影到投影和交互式表面47上,另一个单元是可佩戴的交互式眼镜,包括半透明的显示眼镜24,将输出图像显示到虚拟显示器和交互式表面47,每个单元还包括相机9,捕获投影和交互式表面47,带有可选的光源3,光源3照射投影和交互式表面47,每个单元还包括接收器11、发射器12、计算和数据收集装置10如微控制器或专用数字电路,和交互式对象4。交互式对象4可包括至少一个无源光信息5或一个有源光信息6,适于可通过相机9检测。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉***22中,相机9彼此同步,而投影机2所投影的图像的更新和半透明眼镜24的虚拟显示的更新可选地能被同步,用于3D和虚拟现实的功能,但是在其它方面不需要进行同步。如果交互式对象4是有源的,它们被同步到相机9,并且可选的光源3可被同步到相机9。
图24中,硬件配置包括交互式视觉***22,所述交互式视觉***22包括两个或多个单元1,所述单元包括相机9,捕获投影和交互式表面47,带有可选的光源3,光源3照射投影和交互式表面47,所述单元还包括无线接收器11,无线发射器12,计算和数据收集装置10如微控制器或专用数字电路,和交互式对象4。单元1可包括数码投影机2,将输出图像投影到投影和交互式表面47,如PJ1中,或单元1也可以从数码投影仪2分离,将输出图像投影到投影和交互式表面47,如P2。交互式对象4可包括至少一个无源光信息5或一个有源光信息6,适于被相机9所捕获。交互式对象4可包括所有种类的无源信息5和有源信息6的组合。在这样的交互式视觉***22中,相机9彼此同步。如果交互式对象4是有源的,它们被同步到相机9,并且可选的光源3可被同步到相机9。
根据本发明的不同的实施例,以及本发明的优点基于通用的“即插即用”同步原理被清楚地说明,“即插即用”表示为听和重复原理,可在有线和无线配置中使用,并能使用标准的低成本装置,如NIR接收器和典型地存在于远程控制器中的NIR LEDs以及存在于远程控制器中的基于脉冲RF的接收器和传送器。示例性的配置将只以时间的3/8*500μs/37500μs≈0.5%发送,从而IR/NIR远程控制器的使用将不会受到影响。基于脉冲串的RF发射器和接收器也可以被使用,并且通常需要只以时间的1/8*60μs/37500μs≈0.02%传送。这意味着基于RF的远程遥控器也不会被此同步影响。
在一个优选实施例中的同步可以利用不频发的短脉冲串在至少30ms间隔,并具有4Hz平均脉冲串频率,以及NIR/IR脉冲长度可低至500μs。
本发明非常适合于低成本的交互式装置,适合于高品质和带有可低成本的微控制器以及可编程装置的精确的曝光控制器。本发明也非常适合于利用可编程的低成本CMOS成像传感器。在CMOS成像传感器中使用可编程功能的发明方案,通过临时改变垂直消隐期很快调整信号相,结合用于精细同步的基于XVCO控制晶体的时钟合成器,提供非常快速、可靠和低成本的同步。
对上述描述的本发明的各方面和实施例组合的变型和变化,不脱离权利要求所定义的本发明的范围,如不同的实施方案、各方面及其组合仅仅是优选的并且是可选的。例如“包含”,“包括”,“合并”,“由......组成”,“具有”和“是”的表现形式,被用于描述和请求保护的本发明意在被解释为以非排他性的方式,即允许没有明确描述的项目,部件或元件也可以存在。参照单数还应当解释为与复数有关。所附的权利要求中,包括再括号内的标号旨在帮助理解权利要求,且不应被解释为以任何方式限制这些权利要求保护的主题。
Claims (34)
1.一种视觉***(22),包括一个或多个单元(1),其中,所述单元(1)是显示单元(2,7,24)或视频相机(9),或二者的组合,且所述单元具有接收器(11);其特征在于,
所述单元包括发射器(12),所述发射器(12)会启动发射不频发的、短的重复脉冲串,如果所述接收器(11)没有接收到所述脉冲串;否则通过所述发射器(12)发射延迟的短脉冲与所述不频发的、短的重复脉冲串同步,以使所述视觉***(22)中的所有单元(1)彼此同步,而所述不频发的短的重复脉冲串不会干扰其他目的的远程控制器的普通使用,也不会被其干扰。
2.根据权利要求1所述的视觉***,其特征在于,一个或多个所述相机包括光源(3),所述光源(3)根据所述脉冲串进一步同步到所述相机(9)的曝光快门。
3.根据权利要求2所述的视觉***,其特征在于,所述光源(3)是在近红外范围内。
4.根据权利要求2所述的视觉***,其特征在于,所述光源(3)是在可见光范围内。
5.根据上述权利要求任一所述的视觉***,其特征在于,一个或多个所述相机(9)与有源近红外交互式对象(4)相配合,所述有源近红外交互式对象(4)包括有限的波长范围内的至少一个近红外光源(6),根据被包括于所述交互式对象(4)的接收器(20)和微控制器单元(17)所接收到的所述脉冲串,所述光源(6)进一步与所述相机(9)的曝光快门同步。
6.根据权利要求5所述的视觉***,其特征在于,所述交互式对象(4)是笔、橡皮擦、激光笔、触笔、笔刷、指点杆、喷雾罐、标记或尺子或以上的组合。
7.根据权利要求5或6所述的视觉***,其特征在于,所述的近红外光源(6)发射同步闪烁序列,以发送所述交互式对象(4)的识别信号和所述交互式对象(4)的尖端开关状态信号。
8.根据权利要求5或6或7所述的视觉***,其特征在于,所述近红外光源(6)发射同步闪烁序列,以发送所述交互式对象(4)的识别信号和所述交互式对象(4)的按钮状态信号。
8B.根据权利要求5或6或7所述的视觉***,其特征在于,所述近红外光源(6)发射同步闪烁序列,以发送所述交互式对象(4)的识别信号和所述交互式对象(4)的用户输入的动作状态信号。
9.根据上述权利要求任一所述的视觉***,其特征在于,一个或多个所述相机(9)与无源交互式对象(4)如笔、橡皮擦、激光笔、触笔、笔刷、指点杆、喷雾罐、标记、尺子、手指或手相配合,其中,所述相机(9)的曝光快门与所述脉冲串同步。
10.根据权利要求9所述视觉***,其特征在于,所述交互式对象(4)显示出一个或多个光学信息(5,6,19),设置光学信息以被所述相机(9)检测。
11.根据权利要求10所述的视觉***,其特征在于,所述光学信息(5)或所述光学图像(19)是逆反射,使得反射光线(15B)大体上以与入射光线(15A)光源(5)相同的方向返回。
12.根据权利要求10或11所述的视觉***,其特征在于,所述光学信息(5,6)或所述光学图像(5,6,19)包括取决于波长的滤波器(16,19)或涂层(16,19)。
13.根据权利要求10,11或12所述的视觉***,其特征在于,所述光学信息(5,6)或所述光学图像(5,6,19)在有限的波长范围内是可检测的。
14.根据上述权利要求任一所述的视觉***,其特征在于,所述相机(9)包括一个或多个光学滤波器(21),所述光学滤波器(21)可以遮挡或包括所述对象(4),所述对象(4)在对应的波长范围内发射光(13)或反射光(15B),或发射光(13)和反射光(15B)。
15.根据上述权利要求任一所述的视觉***,其特征在于,与尖端(16)被释放时相比,如果尖端(16)被按压,与所述交互式对象(4)有关的所述光学信息(5,6)、所述光学图像(5,6,19)、所述滤波器(19)或所述涂层(19)由相机(9,27)显示出可检测的变化。
16.根据上述权利要求任一所述的视觉***,其特征在于,所述投影机(2)或显示器(7)中的两个或多个彼此同步,以呈现较大或较宽的完全同步的图像。
17.根据权利要求16所述的视觉***,其特征在于,有源3D快门眼镜(23)被同步,以实现较大或较宽的完全同步的3D显示器。
18.根据权利要求16所述的视觉***,其特征在于,所述显示器(7)是透明的视频眼镜(24),其与所述相机(9)和所述交互式对象(4)同步,以成为可佩戴的交互式透明3D显示器。
19.根据上述权利要求任一所述的视觉***,其特征在于,每个所述单元(1)包括计算装置(10)和数据收集装置(10),使得每个所述短脉冲的起始时间作为时间序列被记录在数据存储器中,并且产生内部精确的同步信号,所述同步信号基于源自平均化所述记录的时间序列的频率和相位。
20.根据权利要求19所述的视觉***,其特征在于,定时发生器(25)产生所述内部同步信号,通过基于电压控制晶体的时钟合成器(26)输出计时,并且所述内部同步信号和每个脉冲串的起始时间之间的相位差被记录并取平均值,所述平均相位差用以调整所述控制电压直至达到最小的平均相位差。
21.根据权利要求20所述的视觉***,其特征在于,所述定时发生器(25)利用曝光快门信号输出,对所有、对每个由所述时钟合成器(26)输出计时的图像传感器(27)的第N个视频图像帧都适用,其中N是自然数。
22.根据权利要求19,20或21所述的视觉***,其特征在于,在检测两个连续的具有预期长度和预期间隔的所述短的频闪之后,当所述相机(9)的曝光快门打开时,所述有源交互式装置(4)闪烁短的近红外脉冲,在三个为发送其标识和尖端开关状态信号的连续视频帧中的至少一个,适于通过所述相机(9)和所述计算装置(10)来检测。
23.根据权利要求19,20,21或22所述的视觉***,其特征在于,所述光源(3)根据所述不频发的短脉冲串被调制,用未经调制的短脉冲照明或关闭。
24.根据上述权利要求任一所述的视觉***,其特征在于,所述接收器(11,20)和所述发射器(12)利用近红外光传输。
25.根据上述权利要求任一所述的视觉***,其特征在于,所述接收器(11,20)和所述发送器(12)利用射频传输。
26.根据上述权利要求任一所述的视觉***,其特征在于,所述接收器(11,20)和所述发射器(12)被连接到双向电线路。
27.根据上述权利要求任一所述的视觉***,其特征在于,所述接收器(11,20)和所述发射器(12)被连接到双向光纤线路。
28.根据上述权利要求任一所述的视觉***(22),其特征在于,所述显示单元是数码投影机(2)。
29.根据权利要求1-27任一所述的视觉***(22),其特征在于,所述显示单元是平板显示器(7)。
30.根据权利要求1-27任一所述的视觉***(22),其特征在于,所述显示单元是半透明显示眼镜(24)。
31.一种同步视觉***(22)的方法,所述同步视觉***(22)包括一个或多个单元(1),其中,所述单元(1)是显示单元(2,7,24)或相机(9)或二者的组合,并且其中所述单元具有接收器(11);
其特征在于,
所述单元包括发射器(12),如果所述接收器(11)未接收到不频发的、短的重复脉冲串脉冲串,所述发射器(12)启动发射所述脉冲串;否则通过所述发射器(12)发射延迟的短脉冲与所述不频发的、短的重复脉冲串同步,以使所述视觉***(22)中的所有单元(1)彼此同步,而所述不频发的短的重复脉冲串不会干扰其他目的的远程控制器的普通使用,也不会被其干扰。
32.根据权利要求31所述的同步视觉***(22)的方法,其特征在于,所述显示单元是数码投影机(2)。
33.根据权利要求31所述的同步视觉***(22)的方法,其特征在于,所述显示单元是平板显示器(7)。
34.根据权利要求31所述的同步视觉***(22)的方法,其特征在于,所述显示单元是半透明显示眼镜(24)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710909391.2A CN107656635B (zh) | 2012-01-09 | 2013-01-03 | 视觉***及控制视觉***的方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261584620P | 2012-01-09 | 2012-01-09 | |
US61/584620 | 2012-01-09 | ||
US201261601414P | 2012-02-21 | 2012-02-21 | |
US61/601414 | 2012-02-21 | ||
PCT/IB2013/000335 WO2013104988A1 (en) | 2012-01-09 | 2013-01-03 | Low interference system and method for synchronization, identification and tracking of visual and interactive systems |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710909391.2A Division CN107656635B (zh) | 2012-01-09 | 2013-01-03 | 视觉***及控制视觉***的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104321720A true CN104321720A (zh) | 2015-01-28 |
CN104321720B CN104321720B (zh) | 2017-11-07 |
Family
ID=47846083
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710909391.2A Active CN107656635B (zh) | 2012-01-09 | 2013-01-03 | 视觉***及控制视觉***的方法 |
CN201380013062.XA Active CN104321720B (zh) | 2012-01-09 | 2013-01-03 | 用于同步、识别及跟踪视觉交互式***的低干扰***和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710909391.2A Active CN107656635B (zh) | 2012-01-09 | 2013-01-03 | 视觉***及控制视觉***的方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9652029B2 (zh) |
EP (2) | EP3318961B1 (zh) |
JP (2) | JP6057098B2 (zh) |
CN (2) | CN107656635B (zh) |
TW (1) | TWI635420B (zh) |
WO (1) | WO2013104988A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105931272A (zh) * | 2016-05-06 | 2016-09-07 | 上海乐相科技有限公司 | 一种运动对象追踪方法及*** |
CN106028001A (zh) * | 2016-07-20 | 2016-10-12 | 上海乐相科技有限公司 | 一种光学定位方法及装置 |
CN107305692A (zh) * | 2016-04-14 | 2017-10-31 | 上海乐相科技有限公司 | 一种确定待测对象的运动信息的方法及装置 |
WO2019153405A1 (zh) * | 2018-02-06 | 2019-08-15 | 深圳市鹰硕技术有限公司 | 影像显示***、方法以及数字眼镜 |
CN112166338A (zh) * | 2018-03-07 | 2021-01-01 | 特利丹E2V半导体简化股份公司 | 针对多相机环境进行优化的飞行时间测量视觉相机 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6060581B2 (ja) * | 2012-09-18 | 2017-01-18 | セイコーエプソン株式会社 | インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター |
WO2014145279A1 (en) | 2013-03-15 | 2014-09-18 | Leap Motion, Inc. | Determining the relative locations of multiple motion-tracking devices |
US9348419B2 (en) * | 2014-01-24 | 2016-05-24 | Leap Motion, Inc. | Method for synchronizing operation of systems |
US9389069B2 (en) * | 2014-03-26 | 2016-07-12 | Alces Technology, Inc. | Compact 3D depth capture systems |
US9733731B2 (en) * | 2014-05-12 | 2017-08-15 | Atmel Corporation | Timing synchronization of active stylus and touch sensor |
CN105430308B (zh) * | 2014-09-17 | 2020-04-03 | 索尼公司 | 交互式投影装置及其曝光值自动调整方法 |
US9924143B2 (en) * | 2014-09-23 | 2018-03-20 | Intel Corporation | Wearable mediated reality system and method |
JP6503828B2 (ja) * | 2015-03-27 | 2019-04-24 | セイコーエプソン株式会社 | インタラクティブプロジェクションシステム,指示体,およびインタラクティブプロジェクションシステムの制御方法 |
US9898091B2 (en) | 2015-06-03 | 2018-02-20 | Oculus Vr, Llc | Virtual reality system with head-mounted display, camera and hand-held controllers |
US10532277B2 (en) * | 2015-06-11 | 2020-01-14 | Facebook Technologies, Llc | Hand-held controllers with light-emitting diodes synchronized to an external camera |
TWI601423B (zh) | 2016-04-08 | 2017-10-01 | 晶睿通訊股份有限公司 | 攝影系統及其同步方法 |
TWI607365B (zh) * | 2016-10-07 | 2017-12-01 | Handwriting interactive display device and handwriting interactive reading device | |
CN106506076A (zh) * | 2016-10-14 | 2017-03-15 | 乐视控股(北京)有限公司 | 一种虚拟现实***及其信息传输的方法、装置 |
JP6914267B2 (ja) * | 2016-10-18 | 2021-08-04 | 株式会社ワコム | ペアリング方法、位置検出システム、位置指示器、及び位置検出装置 |
JP7014009B2 (ja) * | 2018-03-29 | 2022-02-01 | セイコーエプソン株式会社 | 操作デバイス、位置検出システム及び操作デバイスの制御方法 |
TWI744589B (zh) | 2018-12-28 | 2021-11-01 | 宏正自動科技股份有限公司 | 視訊互動系統 |
US11068701B2 (en) * | 2019-06-13 | 2021-07-20 | XMotors.ai Inc. | Apparatus and method for vehicle driver recognition and applications of same |
CN112188181B (zh) * | 2019-07-02 | 2023-07-04 | 中强光电股份有限公司 | 图像显示设备、立体图像处理电路及其同步信号校正方法 |
TWI712978B (zh) * | 2019-09-18 | 2020-12-11 | 玉山商業銀行股份有限公司 | 動態影像檢核方法、服務系統及電腦程式產品 |
US11683450B2 (en) * | 2020-06-04 | 2023-06-20 | FLIR Unmanned Aerial Systems AS | Shutter and light signal synchronization systems and methods |
US20220132042A1 (en) * | 2020-10-26 | 2022-04-28 | Htc Corporation | Method for tracking movable object, tracking device, and method for controlling shooting parameters of camera |
CN116820235A (zh) * | 2023-06-26 | 2023-09-29 | 江西科骏实业有限公司 | 虚拟现实设备的交互方法、***、终端设备以及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6317266B1 (en) * | 1999-07-07 | 2001-11-13 | Canon Kabushiki Kaisha | Coordinate input apparatus |
US20010050672A1 (en) * | 2000-04-07 | 2001-12-13 | Kiwamu Kobayashi | Coordinate input apparatus and method, coordinate input pointing device, storage medium, and computer program |
US20020142818A1 (en) * | 2001-03-28 | 2002-10-03 | Akito Nakatsuka | Game machine and program therefor |
US20020177459A1 (en) * | 2001-01-03 | 2002-11-28 | Matthew Young | System clock synchronisation using phase-locked loop |
US20030037335A1 (en) * | 2001-08-17 | 2003-02-20 | Jean-Marie Gatto | Interactive television devices and systems |
US20060106963A1 (en) * | 2004-11-18 | 2006-05-18 | Nintendo Co., Ltd. | Wireless network system and wireless communication program |
CN101071351A (zh) * | 1999-10-27 | 2007-11-14 | 数字墨水公司 | 跟踪一书写工具位置的设备 |
CN101578568A (zh) * | 2007-01-03 | 2009-11-11 | 路迪亚公司 | 多指示笔注释*** |
US20110007277A1 (en) * | 1991-11-27 | 2011-01-13 | Solomon Dennis J | Advanced immersive visual display system |
US20110169736A1 (en) * | 2010-01-13 | 2011-07-14 | Smart Technologies Ulc | Interactive input system and tool tray therefor |
CN102209247A (zh) * | 2009-11-20 | 2011-10-05 | 美国博通公司 | 一种通信方法和*** |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5488571A (en) * | 1993-11-22 | 1996-01-30 | Timex Corporation | Method and apparatus for downloading information from a controllable light source to a portable information device |
JP3257585B2 (ja) | 1996-03-29 | 2002-02-18 | 株式会社ビジュアルサイエンス研究所 | 空間マウスを用いた映像化装置 |
US7268774B2 (en) * | 1998-08-18 | 2007-09-11 | Candledragon, Inc. | Tracking motion of a writing instrument |
JP3670896B2 (ja) * | 1999-08-06 | 2005-07-13 | 日立ソフトウエアエンジニアリング株式会社 | 電子ボードシステム |
JP2001075736A (ja) * | 1999-09-06 | 2001-03-23 | Canon Inc | 座標入力装置 |
US6529189B1 (en) | 2000-02-08 | 2003-03-04 | International Business Machines Corporation | Touch screen stylus with IR-coupled selection buttons |
JP3934846B2 (ja) * | 2000-03-06 | 2007-06-20 | 株式会社リコー | 座標入力/検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体 |
JP2001287901A (ja) | 2000-04-03 | 2001-10-16 | Hiroshi Ito | メタノールの分解ガス化方法 |
NO20004514A (no) | 2000-09-11 | 2002-01-14 | Njoelstad Tormod | Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid |
GB2401764B (en) * | 2001-01-03 | 2005-06-29 | Vtech Communications Ltd | System clock synchronisation using phase-locked loop |
JP2002351612A (ja) * | 2001-05-28 | 2002-12-06 | Canon Inc | 座標入力装置及びその制御方法、プログラム |
JP4728540B2 (ja) | 2001-09-20 | 2011-07-20 | 株式会社リコー | 会議等支援用画像投影装置 |
US7559656B2 (en) * | 2003-03-03 | 2009-07-14 | Panasonic Corporation | Projector system |
WO2005026930A2 (en) * | 2003-09-12 | 2005-03-24 | O-Pen Aps | A system and method of determining a position of a radiation emitting element |
JP2005135081A (ja) * | 2003-10-29 | 2005-05-26 | Nec Viewtechnology Ltd | ライトペンとこれを用いた電子黒板 |
JP4037822B2 (ja) | 2003-12-05 | 2008-01-23 | Necディスプレイソリューションズ株式会社 | 電子ペンの位置検出方法/電子ペン/プロジェクタ/電子黒板システム |
NO323926B1 (no) | 2004-11-12 | 2007-07-23 | New Index As | Visuelt system samt styringsobjekt og apparat til bruk i systemet. |
JP2007072502A (ja) * | 2005-09-02 | 2007-03-22 | Canon Inc | 座標入力装置つき表示装置 |
JP2007072548A (ja) * | 2005-09-05 | 2007-03-22 | Matsushita Electric Ind Co Ltd | 対象物指示特定システム、情報端末、操作対象機器および対象物指示特定方法 |
EP2049979B1 (en) * | 2006-08-02 | 2013-07-24 | Alterface S.A. | Multi-user pointing apparatus and method |
JP4932554B2 (ja) * | 2007-03-20 | 2012-05-16 | Necアクセステクニカ株式会社 | 文字入力システム、文字入力装置、文字入力方法、及びプログラム |
JP4511611B2 (ja) | 2008-05-29 | 2010-07-28 | 株式会社エヌ・ティ・ティ・ドコモ | 無線リソース選択方法、無線基地局及び移動局 |
JP4954143B2 (ja) * | 2008-06-02 | 2012-06-13 | 三菱電機株式会社 | 位置検出装置 |
JP5094566B2 (ja) * | 2008-06-02 | 2012-12-12 | 三菱電機株式会社 | 映像表示システム |
FR2933511A1 (fr) * | 2008-07-04 | 2010-01-08 | Optinnova | Dispositif et procede de visualisation interactif utilisant une camera de detection et un pointeur optique |
US8519984B2 (en) * | 2009-08-20 | 2013-08-27 | Acer Incorporated | Input device and display system having the same |
US20110134231A1 (en) * | 2009-11-20 | 2011-06-09 | Hulvey Robert W | Method And System For Synchronizing Shutter Glasses To A Display Device Refresh Rate |
JP5366789B2 (ja) * | 2009-12-18 | 2013-12-11 | キヤノン株式会社 | 入力指示具及びその制御方法、並びに座標入力装置 |
CN102109909A (zh) * | 2009-12-25 | 2011-06-29 | 旭丽电子(广州)有限公司 | 简报指示装置及其控制方法 |
US8610764B2 (en) | 2010-07-09 | 2013-12-17 | Sony Corporation | Shutter glasses repeater |
US9354718B2 (en) * | 2010-12-22 | 2016-05-31 | Zspace, Inc. | Tightly coupled interactive stereo display |
CN102135842B (zh) * | 2011-04-06 | 2013-02-27 | 南京方瑞科技有限公司 | 同步光笔电子白板*** |
-
2013
- 2013-01-03 EP EP17206664.9A patent/EP3318961B1/en active Active
- 2013-01-03 CN CN201710909391.2A patent/CN107656635B/zh active Active
- 2013-01-03 EP EP13708898.5A patent/EP2802973A1/en not_active Withdrawn
- 2013-01-03 CN CN201380013062.XA patent/CN104321720B/zh active Active
- 2013-01-03 WO PCT/IB2013/000335 patent/WO2013104988A1/en active Application Filing
- 2013-01-03 JP JP2014550781A patent/JP6057098B2/ja active Active
- 2013-01-03 US US14/371,082 patent/US9652029B2/en active Active
- 2013-01-09 TW TW102100770A patent/TWI635420B/zh active
-
2016
- 2016-11-21 JP JP2016225727A patent/JP6304842B2/ja active Active
-
2017
- 2017-04-05 US US15/479,986 patent/US10296078B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110007277A1 (en) * | 1991-11-27 | 2011-01-13 | Solomon Dennis J | Advanced immersive visual display system |
US6317266B1 (en) * | 1999-07-07 | 2001-11-13 | Canon Kabushiki Kaisha | Coordinate input apparatus |
CN101071351A (zh) * | 1999-10-27 | 2007-11-14 | 数字墨水公司 | 跟踪一书写工具位置的设备 |
US20010050672A1 (en) * | 2000-04-07 | 2001-12-13 | Kiwamu Kobayashi | Coordinate input apparatus and method, coordinate input pointing device, storage medium, and computer program |
US20020177459A1 (en) * | 2001-01-03 | 2002-11-28 | Matthew Young | System clock synchronisation using phase-locked loop |
US20020142818A1 (en) * | 2001-03-28 | 2002-10-03 | Akito Nakatsuka | Game machine and program therefor |
US20030037335A1 (en) * | 2001-08-17 | 2003-02-20 | Jean-Marie Gatto | Interactive television devices and systems |
US20060106963A1 (en) * | 2004-11-18 | 2006-05-18 | Nintendo Co., Ltd. | Wireless network system and wireless communication program |
CN101578568A (zh) * | 2007-01-03 | 2009-11-11 | 路迪亚公司 | 多指示笔注释*** |
CN102209247A (zh) * | 2009-11-20 | 2011-10-05 | 美国博通公司 | 一种通信方法和*** |
US20110169736A1 (en) * | 2010-01-13 | 2011-07-14 | Smart Technologies Ulc | Interactive input system and tool tray therefor |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107305692A (zh) * | 2016-04-14 | 2017-10-31 | 上海乐相科技有限公司 | 一种确定待测对象的运动信息的方法及装置 |
CN105931272A (zh) * | 2016-05-06 | 2016-09-07 | 上海乐相科技有限公司 | 一种运动对象追踪方法及*** |
CN105931272B (zh) * | 2016-05-06 | 2019-04-05 | 上海乐相科技有限公司 | 一种运动对象追踪方法及*** |
CN106028001A (zh) * | 2016-07-20 | 2016-10-12 | 上海乐相科技有限公司 | 一种光学定位方法及装置 |
WO2019153405A1 (zh) * | 2018-02-06 | 2019-08-15 | 深圳市鹰硕技术有限公司 | 影像显示***、方法以及数字眼镜 |
CN112166338A (zh) * | 2018-03-07 | 2021-01-01 | 特利丹E2V半导体简化股份公司 | 针对多相机环境进行优化的飞行时间测量视觉相机 |
Also Published As
Publication number | Publication date |
---|---|
JP2015504217A (ja) | 2015-02-05 |
US20150015482A1 (en) | 2015-01-15 |
EP3318961A1 (en) | 2018-05-09 |
CN104321720B (zh) | 2017-11-07 |
JP2017084373A (ja) | 2017-05-18 |
CN107656635A (zh) | 2018-02-02 |
US10296078B2 (en) | 2019-05-21 |
EP3318961B1 (en) | 2020-09-02 |
US20170205906A1 (en) | 2017-07-20 |
WO2013104988A1 (en) | 2013-07-18 |
US9652029B2 (en) | 2017-05-16 |
CN107656635B (zh) | 2020-10-27 |
EP2802973A1 (en) | 2014-11-19 |
JP6057098B2 (ja) | 2017-01-11 |
TW201403398A (zh) | 2014-01-16 |
TWI635420B (zh) | 2018-09-11 |
JP6304842B2 (ja) | 2018-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104321720A (zh) | 用于同步、识别及跟踪视觉交互式***的低干扰***和方法 | |
CN107466477B (zh) | 显示方法、计算机可读取记录介质以及显示装置 | |
US10972637B2 (en) | Systems and methods for synchronizing sensor capture | |
EP2703836B1 (en) | TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene | |
CN105740936A (zh) | 一种光标签和识别光标签的方法及设备 | |
CN102822848A (zh) | 对用于立体视觉的眼镜进行识别的设备和方法以及控制立体视觉视频流的显示的相关方法 | |
TW200836548A (en) | System and method for synchronizing a viewing device | |
CN101971123A (zh) | 具有可切换漫射体的交互式表面计算机 | |
US20150062013A1 (en) | Rolling Shutter Synchronization of a Pointing Device in an Interactive Display System | |
CN103703409A (zh) | 用于提供快门眼镜与三维(3d)显示器之间的同步的背光调制 | |
EP3975528A1 (en) | Control method of electronic device and electronic device | |
US20110188582A1 (en) | Pixel based three-dimensional encoding method | |
CN105446580B (zh) | 一种控制方法及便携式电子设备 | |
US20110187838A1 (en) | Frame system, method and apparatus for synchronizing three-dimensional eyewear | |
CN106713888A (zh) | 播放三维视频的方法、***及所适用的移动设备 | |
US20200241296A1 (en) | Synchronized Shared Mixed Reality for Co-Located Participants, Apparatus, System and Method | |
US20110187839A1 (en) | Frame based three-dimensional encoding method | |
CN106650516B (zh) | 一种屏幕显示方法及显示装置 | |
WO2015167471A1 (en) | Gaze detector using reference frames in media | |
CN113099193B (zh) | 投影仪、沉浸式投影***及方法 | |
CN104656869B (zh) | 一种数据处理方法及电子设备 | |
CN103970294A (zh) | 反馈式投影仪*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180529 Address after: Tokyo, Japan, Japan Patentee after: Seiko Epson Corp. Address before: Mailbox No. 1288, Trondheim, Norway Patentee before: EPSON NORWAY RESEARCH AND DEVELOPMENT AS |
|
TR01 | Transfer of patent right |