CN1679345A - 指示位置探测器件与指示位置探测方法 - Google Patents

指示位置探测器件与指示位置探测方法 Download PDF

Info

Publication number
CN1679345A
CN1679345A CNA038204819A CN03820481A CN1679345A CN 1679345 A CN1679345 A CN 1679345A CN A038204819 A CNA038204819 A CN A038204819A CN 03820481 A CN03820481 A CN 03820481A CN 1679345 A CN1679345 A CN 1679345A
Authority
CN
China
Prior art keywords
image
projection
projected
color
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038204819A
Other languages
English (en)
Other versions
CN100382606C (zh
Inventor
井上秀昭
小林圭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN1679345A publication Critical patent/CN1679345A/zh
Application granted granted Critical
Publication of CN100382606C publication Critical patent/CN100382606C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

一种场序彩色投影仪(1),包括一个具有用于拍摄屏幕的面传感器的面传感器单元(2),以及一个只允许与来自激光指示器的激光束具有相同颜色的红光入射到该面传感器上的滤光片,以及一个提取用于投影红色、绿色和蓝色图像的时序的彩色时段/时序提取单元(5)。如果在图像投影时有一个用于红色图像的投影时序到来,MPU(微处理器单元)(6)接收在当时投影在屏幕上的图像的光以获取图像信息,并基于获取的图像信息探测由激光束指示的位置。即使在被投影的图像中存在与该激光束具有相同颜色的部分,指示位置探测器件也能准确地探测该激光指示器的指示光所照射的位置。

Description

指示位置探测器件与指示位置探测方法
发明领域
本发明涉及一种指示位置探测器件和指示位置探测方法,用于探测指示光在屏幕上的投影图像上所照亮的位置,该指示光由来自指示器件等的激光束形成。
技术背景
传统上,在演示计划说明或者产品介绍,或者发布研究成果的演讲等情况下,投影仪被用来将由例如个人计算机生成的说明性图像放大投影到屏幕上。有一种被称为场序彩色法(field sequential colormethod)的方法,是一种用彩色投影图像的方法。该场序彩色法是一种周期性地将R图像,G图像和B图像快速交替地投影到屏幕上,从而使得人眼接收到彩色的图像的方法。作为场序彩色法的投影仪,一种利用光调制器将来自个人计算机输出的图像信息嵌入光束的投影仪已经投入实用。DMD(数字微镜器件)被用作光学调制器。这样的投影仪除了DMD之外还包括一个色轮。该色轮是一个可以转动的滤色片,在转动方向上被分为R(红色),G(绿色),B(蓝色)区域。通过使得来自光源的彩色图像的光透过,该色轮产生R图像,G图像和B图像。在转动色轮时,该投影仪将来自光源的彩色图像的光聚焦到DMD上通过色轮。投影仪机械地驱动DMD使之与色轮的旋转同步,并将聚焦的R图像,G图像和B图像反射到DMD上,从而将R,G和B图像中每种图像的投影光投射到屏幕上。
同时,在将投影仪用于演示等情况下,通常演示者或者演讲者会使用激光指示器并将其发出的激光束(一般为红色)照射到屏幕上,指向屏幕上投影图像上的任意位置。
然而,当有人试图使用例如CCD等面探测器探测由激光指示器指示的位置时,会产生以下的问题。即,例如,在激光指示器发出的激光束是红色,并且屏幕上的投影图像包括红色部分的情况下,难以仅仅探测激光束的光学图像。
发明内容
本发明一个优选实施例是一个指示位置探测器件,它探测由指示器件(50)的指示光所照射的位置,用于确定由指示光在屏幕(S)上的位置,所述探测器件包括:
一个时序信号输出单元(5,6),其输出一个信号,代表获取特定图像的时序,该特定图像包括在使用多个预先指定的彩色分量投影的图像中;
一个拍摄单元(2),当所述时序信号输出单元(5,6)输出一个表示时序的信号作为表示获取指示光图像的时序的信号时,拍摄单元接收投影到所述屏幕(S)上的图像的光,从而获得此投影图像的图像信息,此时,与所述指示器件(50)的指示光具有相同颜色的颜色分量图像停止投影;以及
一个位置探测单元(6),从由所述拍摄单元(2)获得的图像信息中探测被指示光照亮的位置。
本发明另一个优选实施例是一种方法,用于探测由指示器件(50)的指示光所照亮的位置,用于确定屏幕(S)上的位置,包括:
用于提取投影时段的时序提取步骤,在此时段中,将投影图像中所包括的多个预先指定的颜色分量中每个分量的图像投影;
拍摄步骤,在一个投影时段中接收与指示器件(50)的指示光一起投影在屏幕(S)上的图像的光,从而获得在屏幕(S)上的此投影图像的图像信息,该投影时段在时序提取步骤中获得,在该时段中,将一个只包含一种颜色分量的图像投影,该颜色分量是多个预先指定的颜色分量中的一种并与指示光颜色不同;以及
位置探测步骤,从在拍摄步骤中获得的图像信息中探测由指示器件(50)的指示光所照亮的位置。
附图简述
通过阅读下面的详细说明和附图,本发明的这些目标和其他目标以及优点将变得更加明显,其中:
图1为说明了实施例1投影仪的使用状态的图;
图2为示出了实施例1的投影仪结构的框图;
图3为示出了面传感器单元的光学***的示意图;
图4为示出了投影仪所投影的图像的示意图;
图5为时序图,示出了待输入到实施例1的面传感器单元的二维信息输入的时序;
图6A为示意图,示出了在一个R时段中输入到面传感器单元的图像信息;
图6B为示意图,示出了在一个G时段和一个B时段中输入到面传感器单元的图像信息;
图7为流程图,示出了实施例1的MPU所执行的指示位置探测过程的内容;
图8为示出了说明了表现实施例2的一个投影仪***的结构的框图,;
图9为流程图,示出了实施例2的激光指示器执行的操作的内容;
图10为流程图,示出了实施例2的MPU执行的指示位置探测过程的内容;以及
图11为当图像角落信息(corner information)被变为线图像时与图6A相应的示意图。
发明详述
(实施例1)
现在将参照附图对本发明的实施例1进行说明。图1为示出了本发明中具有作为指示位置探测器件的功能的投影仪1使用状态的图。
投影仪1包括一个在技术背景中略述过的DMD(数字微镜器件),并具有利用场序彩色方法在屏幕S上投影彩色图像的结构。该彩色图像由预先指定的红(R)、绿(G)和蓝(B)颜色分量构成。投影仪1通过通信电缆100连接到个人计算机200。
激光指示器50为一个发射激光束(指示光)L的指示器。
图2为示出了投影仪1的电结构主要部件的框图。投影仪1包括面传感器单元2,帧存储器3,场序彩色投影仪机构单元4,颜色时段/时序提取单元5,MPU 6,ROM 7,RAM 8,以及数据通讯单元9。
面传感器单元2是作为本发明的拍摄装置功能的单元,包括图3中示出的透镜22,滤光片23,和面传感器24,以及驱动电路(未显示)和A/D转换器(未显示)。这些部分中,面传感器24通过透镜22和滤光片23获取投影到屏幕S上的图像信息,并将获得的图像信息转化为电图像信号。面传感器24由CCD等构成。滤光片23为带通滤光片,只允许具有特定颜色的光(在特定的频率范围内的光)从中透过。在本实施例中,滤光片23只允许一种红光从中透过,该红光与激光指示器50发出的激光束(指示光)L具有相同的颜色,该激光指示器50在使用投影仪1时使用。帧存储器3为一个存储器,存储根据从面传感器单元2发送的图像信号而获得的、相应于一个屏幕的图像数据。MPU 6根据需要读出存储在帧存储器3中的图像数据。
场序彩色投影仪机构单元4响应从个人计算机200传输的图像信号,输出DMD驱动信号用于驱动DMD,输出旋转控制信号用于控制色轮的旋转等等。色轮用于将从光源到DMD的光循环地变为R,G和B光。应注意到,不仅来自个人计算机200,而是来自连接到投影仪1的任意外部设备的图像信号都可以被传送至场序彩色投影仪机构单元4。
颜色时段/时序提取单元5是这样一个单元,用于提取投影图像中所包括的多个预先指定的颜色分量中的不同颜色分量的时段,并基于从场序彩色投影仪机构单元4输出的DMD驱动信号而提取(设置)用于将红色(R)图像,绿色(G)图像和蓝色(B)图像投影到屏幕S上的时序。颜色时段/时序提取单元5向面传感器单元2和MPU 6输出代表所设置的投影时序的时段/时序信号。
MPU 6根据存储在ROM 7中的程序运行,控制投影仪1的全部操作,并起到位置探测装置(位置探测单元)的功能。ROM 7存储用于控制MPU 6的程序,以执行后面描述的操作和功能作为本发明的位置探测装置。RAM 8为MPU 6的工作存储器。
数据通讯单元9具有为图1中显示的通信电缆100提供的连接终端,并向个人计算机200输出信号和从个人计算机200接收信号。数据通讯单元9通过通信电缆100将从MPU 6发送的指示位置信号输出到个人计算机200,其中该指示位置信号将在后面进行描述。数据通讯单元9接收从个人计算机200发送的图像信号,并将接收到的图像信号发送到场序彩色投影仪机构单元4。可以将数据通讯单元9设计成通过无线通信(包括红外通信)进行指示位置信号和图像信号的发射和接收,或者可以设计成通过电缆或者无线通信只进行指示位置信号的输出。
下面,将说明根据本发明的投影仪1的操作。这里,假定安装了用于演示的应用软件。此用于演示的应用软件具有向投影仪1输出代表预先创建的说明屏幕的图像数据的功能,以及从投影仪1接收后面描述的指示位置信息并基于所接收的指示位置信息执行预定操作的功能。进一步假定,个人计算机200激活了此应用程序。进一步假定,投影仪1基于从个人计算机200发送的图像(或者视频)信号,将如图4所示的说明图像G1投影到屏幕S上。进一步假定,从激光指示器50发射的激光束L的光学图像O被投影到屏幕S上。进一步假定,在如图4所示的说明图像G1中,存在由图像左边的饼状图中的R1部分和图像中间的柱状图中的R2组成的红色(R)部分,其他部分显示为如绿(G)和蓝(B)之类的颜色。
无论输入的图像(或者视频)信号如何,当投影说明图像G1时,投影仪1自动地向说明图像G1的四个顶点上添加红色点图像P,作为代表投影图像的角落的图像角落信息。在此期间,如图5所示,在R时段、G时段和B时段组成的一个周期中,投影仪1循环地将红色图像、绿色图像和蓝色图像投影到屏幕S上,所述图像是通过将包括点图像P的说明图像G1分成为各个颜色分量R,G,B得到的。为了使观看者不感到闪烁,投影仪设置此周期T为小于1/60。
当投影仪1投影说明图像G1时,激光指示器50连续不断地发射激光束L到屏幕S上,而与上述周期无关。即,在屏幕S上,在R时段中存在红色图像(信息)和图像角落信息,在G时段中存在绿色图像,在B时段中存在蓝色图像。此外,在所有的时段中始终存在基于激光束L的光学图像O的指示位置信息。
另一方面,如上所述,在面传感器单元2的光学***中***滤光片23,其只允许具有与激光束L相同颜色的红光透过。因此,当投影说明图像G1时,如图6A所示,在R时段中,面传感器24接收红色图像、图像角落信息、以及指示位置信息的光作为二维信息(图像信息)。如图6B所示,面传感器24在G时段中和B时段中只接收指示位置信息的光。图6A或者图6B所示的二维信息表示为锥度朝上的梯形的原因在于,投影仪以仰角投影该二维信息。
当将说明图像G1投影时,投影仪1的MPU 6执行如图7所示的指示位置探测过程。即,基于从颜色时段/时序提取单元5发送来的时段/时序信号,MPU 6判断R时段是否到来(步骤S1)。如果判断R时段已经到来(步骤S1,YES),MPU 6驱动面传感器24,且面传感器24将屏幕S上的投影图像转换为电图像信号(步骤S2)。然后,MPU6针对转换后的图像,也就是在图6A中显示的携带有二维信息的图像信号,应用预定的图像处理,并通过识别四个点图像P(图像角落信息),确定作为参考的投影屏幕区域。然后,MPU 6在RAM 8中存储确定的投影屏幕区域上的信息(步骤S3)。
然后,基于从颜色时段/时序提取单元5发送的时段/时序信号,MPU 6判断G时段是否到来(步骤S4)。应注意,代表G时段到来的时段/时序信号为代表获取指示器件50的指示光图像的时序的信号。如果判断一个G时段已经到来(步骤S4,YES),MPU 6驱动面传感器24。在此G时段中,面传感器24将屏幕S上的投影图像转换为电图像信号(步骤S5)。如果判定不是G时段,而是B时段到来,MPU 6可以执行此处理。然后,MPU 6对接收光的图像,也就是在图6B中显示的携带有二维信息的图像信号,应用预定的图像处理,并识别激光束L的光学图像O。MPU 6识别光学图像O并探测其在图像中的绝对位置。同时,MPU 6读出在步骤S3中存储的投影屏幕区域信息。MPU 6计算激光指示器50所指示的位置相对于读出的投影屏幕区域的相对位置,例如,以在X方向和Y方向坐标值的形式表示,此坐标值对应于从个人计算机200作为图像数据发送的说明图像G1的像素数(步骤6)。然后,MPU 6将计算结果作为代表探测到的指示位置的信息发送至个人计算机200(步骤S7)。此后,MPU 6重复此过程。
由于这样,个人计算机200基于接收的指示位置信息执行预定操作。例如,如果激光指示器50所指示的位置在说明图像G1的右上预定区域存在达到预定时间段(几秒),那么个人计算机200前进至下一页。如果激光指示器50所指示的位置在说明图像G1的左上预定区域存在达到预定时间段(几秒),那么个人计算机200返回至上一页。
在本实施例中,说明了投影仪1循环地投影红色(R)图像,绿色(G)图像,蓝色(B)图像的情形。然而,在采用了场序彩色法用于循环投影四色图像的投影仪1中,本发明也是有效的,四色图像包括在上述三色图像之外的白色(W)图像。在此情形中,指示位置探测过程与图7所示相同。
如上所述,根据实施例1,在激光指示器50发射的激光束L的光学图像O为红色的情形下,在说明图像G1的G图像或者B图像的投影光被投影到屏幕S上的时段中,投影仪1探测在激光束L所照射的光学图像O在图像中的位置。
因此,即使包括红色部分,利用场序彩色方法也可能容易地只探测屏幕S上投影的图像中激光束L的光学图像O,并且能够精确地探测在投影图像内被激光束等指示光照射的位置。
(实施例2)
根据本发明的实施例2的指示位置探测器件被设计为使得当用户给出指示时探测被激光束的指示光照射的位置。
作为本发明的实施例2,将参照图8到图10说明同时投影红色(R)图像,绿色(G)图像,和蓝色(B)图像的投影仪。
图8为框图,示出了由根据本发明的实施例2的投影仪1A和激光指示器50A构成的***的电结构的主要部分。
投影仪1A包括面传感器单元2,帧存储器3,彩色图像合成投影仪机构单元4A,MPU 6,ROM 7,RAM 8,以及数据通讯单元9。投影仪1A包括一个无线电接收单元10,以及除了上述部分以外的接收天线11。
激光指示器50A包括具有多个按键的输入单元51,控制单元52,激光发射器件53,用于传输无线电信号的发射单元54,以及传输天线55。根据用户对输入单元51的操作,激光指示器50A从激光发射器件53发射激光束L。发射单元54发射无线电信号。
面传感器单元2,帧存储器3,和数据通讯单元9具有与上述实施例1相同的结构。
彩色图像合成投影仪机构单元4A响应从个人计算机200发送的图像信号(或者从除了个人计算机200以外连接到投影仪1的任意外设发送的视频信号)而输出驱动信号,用于驱动液晶显示面板和三个DMD。液晶显示面板由一块产生全彩色图像的面板,或者一块产生红色(R)图像,绿色(G)图像,蓝色(B)图像的面板构成。
MPU 6按照存储在ROM 7中的程序运行,并控制投影仪1A的全部工作。此外,MPU 6具有作为用于停止显示具有某种特定颜色的图像的停止装置(停止单元),以及用于探测指示器的指示位置的位置探测装置(位置探测单元)的功能。ROM 7存储控制MPU 6的程序,以执行后面描述的作为本发明的位置探测装置的操作和功能。RAM 8为MPU 6的工作存储器。
现在将说明根据本发明的投影仪1A的操作。假定在个人计算机200中安装了用于演示的应用软件。该用于演示的应用软件具有向投影仪1A输出代表预先创建的说明屏幕的图像数据的功能,以及从投影仪1A接收后面描述的指示位置信息,并基于所接收的指示位置信息执行预定的操作的功能。假定个人计算机200激活了此用于演示的应用程序。
此外,假定基于从个人计算机200发送的图像(或者视频)信号,投影仪1A将如实施例1中图4所示的说明图像G1投影。然而,假定投影仪1A没有投影红色点图像P作为图像角落信息,并且从激光指示器50A发射的激光束L的光学图像O还不存在。
当用户操作激光指示器50A的输入单元51时,激光指示器50A和投影仪1A的操作将参照图9和图10分别说明。
首先,控制单元52探测用户是否有对输入单元51的操作(步骤S51)。在用户对输入单元51有操作的情况下(步骤S51,YES),控制单元52等待按钮A或者B被按下。A键是用于指示激光束L照射和发送无线电信号的键。B键只是用于指示激光束L照射的键。
控制单元52判断A键还是B键被按下(步骤52)。在判断出A键被按下的情况下(步骤S52,A),控制单元52进行激光束L照射并发射无线电信号(步骤S53)。在判断出B键被按下的情况下,控制单元52进行激光束L照射并结束过程。
另一方面,投影仪1A判断其是否已经接收到来自激光指示器50A的无线电信号(步骤SS1)。在判断出已经收到无线电信号的情况下(步骤SS1,YES),投影仪1A停止显示绿色(G)和蓝色(B)图像。然后,投影仪1A投影红色点图像P作为图像角落信息,并驱动面传感器24接收投影在屏幕S上的图像的反射光(步骤SS2)。基于接收到的反射光的图像,即图6A所示二维信息的图像,投影仪1A进行预定的图像处理。通过进行图像处理并识别四点图像P(图像角落信息),投影仪1A判断参考投影屏幕区域。投影仪1A在RAM 8中存储在判断出的投影屏幕区域上的信息。
然后,MPU 6向彩色图像合成投影仪机构单元4A发送一个停止控制信号,并停止显示由输入图像(或视频)信号携带的红色(R)图像(步骤SS4)。应注意用于停止显示红色(R)图像的停止控制信号是代表获取指示器件50的指示光图像的时序的信号。在停止显示红色(R)图像的同时,MPU 6驱动面传感器24并从屏幕S接收反射光。在此拍摄过程结束后,MPU 6向彩色图像合成投影仪机构单元4A发送一个停止控制信号,并恢复显示红色(R)图像(步骤SS5)。
然后,当MPU输出停止显示红色(R)图像的停止控制信号时,基于刚刚拍摄的图像,即图6B显示的二维信息的图像,MPU 6进行预定的图像处理。通过进行图像处理,MPU 6识别激光束L的光学图像O,并进行一次光学图像O在图像中的位置(绝对位置)的探测。同时,MPU 6读出在步骤SS3中存储的投影屏幕区域信息。MPU 6计算光学图像O相对于读出的投影屏幕区域的位置(相对位置),作为被激光指示器50A指示出的位置(步骤SS6)。这个指出的位置由对应于说明图像G1的像素数的在X方向和Y方向的坐标值表达,该说明图像G1作为图像数据从个人计算机200传送而来。然后,MPU 6将计算结果作为表示所探测指示位置的信息发送到个人计算机200(步骤SS7)。此后,MPU 6重复此过程。
在本实施例中,面传感器24进行拍摄需要一段时间,即,作为其间红色(R)图像停止显示的时间段,等于或者小于1/60秒就足够了。MPU 6使得面传感器24的拍摄时序和其间红色(R)图像停止显示的时段同步。因此,即使红色(R)图像在投影屏幕上停止显示时,也可能使得观看者察觉不到闪烁。
如上所述,根据实施例2,当有来自用户的指示时,探测由激光束的指示光照射的位置。因此,在利用彩色图像合成法投影到屏幕上的图像中,可以按照需要探测被照射的位置,并精确探测被激光束等的指示光照射的位置。
在上述的每个实施例中,在面传感器单元2的光学***中,准备有只允许与激光束L具有相同颜色的红光透过的滤光片23,并且,投影仪1通过使用图6B所示的二维信息,即除了激光束L的光学图像O之外没有其他图像存在的图像,探测指示位置。因此,即使在投影图像(说明图像G1)中具有与激光束L相同颜色的红色部分R1和R2,也可以准确地探测指示位置。此外,可以不使用复杂的图像处理技术就容易地进行指示位置的探测,并减轻在探测指示位置时MPU 6上施加的负荷。
在每个实施例中所显示的投影仪中,在面传感器单元2的光学***中准备有滤光片23。然而,滤光片23可以省略。这种情况下,在上述步骤SS5中接收的反射光的图像,是除了激光束L的光学图像O之外没有颜色与激光束L颜色相同的图像。因此,即使在拍摄的图像中有除了光学图像O之外的图像成像,也可以通过图像处理技术探测光学图像O的位置(激光束L指示的位置)。因此,即使是具有省略了滤光片23的结构,也可以准确地探测指示位置。然而,这种情况下,使用的图像处理技术将会稍微复杂。
此外,滤光片23可以省略,并且同时,在上述的指示位置探测过程中可以进行下面的处理。例如,可以将MPU 6设计成在步骤SS5中接收来自屏幕S的反射光之后进行滤波处理,从而将接收的反射光图像中的只代表红色(R)分量的图像数据提取出来,并获得与图6B所示相似的二维信息。即,投影仪1可以构造为包含替代滤光片23的数字滤波器。
此外,在每个实施例中,当执行指示位置探测过程时,在MPU 6每次重复此程序时,MPU 6确认投影屏幕作为参考,并判定关于此投影屏幕区域的相对位置,作为待探测并最终传送到个人计算机200的指示位置信息。因此,即使在投影放大率(投影图像的尺寸)变化的情况下,MPU 6也可以准确地探测激光束L所指示的位置。
MPU 6可以执行以投影仪1的投影放大率不变为前提作为基础的过程。例如,在演示开始之前,投影仪1投影一个在其顶点处添加有图像角落信息(点图像P)的任意图像(它可以是说明图像G1),或者只有图像角落信息的图像,以便设置投影屏幕区域。然后,基于所投影的图像,MPU 6判断投影屏幕区域,并将所确定的投影屏幕区域上的信息存储在RAM 8中。MPU 6可以执行用于设定投影屏幕区域的过程,之后可以执行指示位置探测过程,上述步骤S1到S3(SS1到SS3)省略。
此外,点图像P为表示投影图像角落的图像角落信息,已经说明了其为红色。点图像P的颜色可以是黄色或者白色,只要其中包括红色就可以。此外,如果投影仪1是如上所述不包括滤光片23的结构,点图像P可以是任何颜色。此外,代表所投影图像角落的图像角落信息可以不是代表所投影图像的顶点的信息,而可以用代表线图像Q的信息替代,如图11所示,每个线图像Q代表所投影图像的四边中的任意一个。应注意当使用线图像Q的情况下,它们的颜色与点图像P的颜色相同。
在每个实施例中,已经说明了用于探测由发射红色激光束L的激光指示器50所指示位置的结构。然而,可以设计投影仪1,使其探测由发射绿色(G)激光束L的激光指示器50所指示的位置。在此情况下,需要使用只允许绿光透过的滤光片作为滤光片23,并且添加到说明图像G1的四个顶点的点图像P需要为绿色。除此以外,在实施例1的指示位置探测过程中,MPU 6需要基于G时段到来时的图像获得在投影屏幕区域上的信息,并需要基于B(或者R)时段到来时的图像探测指示位置信息。在实施例2的指示位置探测过程中,MPU6需要基于在绿色(G)图像停止显示时获取的图像而探测指示位置信息。
此外,在使用数字滤波器替代滤光片23的情况下,投影仪1可以设计成允许用户预先设置激光束L的颜色,并根据设定的颜色执行滤波处理与指示位置探测过程。利用这样的设计,投影仪1变为能够适用于对激光束L可变换的多种颜色进行上述的处理。
在上述的实施例中,主要说明了投影仪1将来自个人计算机200的图像投影到屏幕S上的情况。然而,投影仪1可以构造为使得具有用于可分离存储卡(存储卡的标准是任意的)的门(throttle),并且基于存储在所安装的存储卡中的图像数据而投影说明图像。这种情况下,不需要将关于在指示位置探测过程中探测的位置的信息输出到外部。此外,在投影仪1设计成只投影基于存储卡中储存的图像数据的说明图像的情况下,图2中显示的数据通讯单元9变得不必要。
此外,在本发明的实施例中,显示了本发明的指示位置探测器件被合并到投影仪1之中的结构。然而,该指示位置探测器件可以构造为作为与投影仪1分离的器件。在此情况下,构造投影仪1使得能够将上述DMD驱动信号传送到该投影仪,并基于被发送的DMD驱动信号提取用于投影R图像,G图像,和B图像到屏幕S上的时序。或者,投影仪1可以构造为使得面传感器24以比图5所示的R时段,G时段,和B时段更短的周期按顺序探测图像,并通过检查被探测图像颜色的信息而探测投影的时序。此外,本发明的指示位置探测器件可以由一台个人电脑和一个连接到该个人电脑的通用CCD摄像机组成。这种情况下,该个人电脑构造为使其可以进行指示位置探测过程。这种情况下,根据本发明的带通滤波器将是上述的数字滤波器。
在不背离本发明广义的精神和范围的情况下,可以有多种实施例,并可以对其进行各种改变。上述的实施例用于说明本发明,而不是限制本发明的范围。本发明的范围通过所附的权利要求而不是实施例进行说明。在本发明的权利要求和权利要求的等效含义之内的各种修改被认为在本发明的范围之内。
此申请基于在2002年8月30日提交的日本专利申请No.2002-252219和在2003年8月11日提交的日本专利申请No.2003-291252,并包括说明书、权利要求、附图和摘要。此处包含上述日本专利申请的全部公开作为参考。

Claims (11)

1、一种指示位置探测器件,探测指示器件(50)的指示光所照射的位置,用于通过该指示光确定在屏幕(S)上的位置,所述探测器件包括:
时序信号输出单元(5,6),输出的信号代表获取特定图像的时序,该特定图像包括在所投影的具有多个预先指定的颜色分量的图像中;
拍摄单元(2),当所述时序信号输出单元(5,6)输出代表某一时序的信号作为代表获取该指示光图像的时序的信号时,该拍摄单元接收投影在所述屏幕(S)上的图像的光,并从而获得此投影图像的图像信息,此时,与所述指示器件(50)的指示光具有相同颜色的颜色分量的图像停止投影;以及
位置探测单元(6),从由所述拍摄单元(2)获得的该图像信息探测该指示光所照射的位置。
2、根据权利要求1所述的指示位置探测器件,其中
所述时序信号输出单元(5,6)包括时序提取单元(5),其从用于驱动一个将图像信号转化为光学信号的光学调制器的投影仪机构单元(4)获得用于驱动所述光学调制器的驱动信号,并基于获得的该驱动信号,输出代表获取所述指示器件(50)的指示光图像的时序的时段/时序信号。
3、根据权利要求1所述的指示位置探测器件,其中:
在投影时段中,所述拍摄单元(2)进一步获取投影在所述屏幕(S)上的图像的信息,在该投影时段内,包括代表投影图像角落的图像角落信息的图像被投影;并且
所述位置探测单元(6)基于由所述拍摄单元(2)在两个投影时段中分别获得的两条该图像信息,探测由该指示光照射的位置,在一个该投影时段中将只包括与指示光颜色不同的一个颜色分量的图像投影,在另一个投影时段中将包括该图像角落信息的图像投影。
4、根据权利要求3所述的指示位置探测器件,其中该图像角落信息为表示代表该投影图像角落的图像的信息。
5、根据权利要求3所述的指示位置探测器件,其中该图像角落信息为表示代表该投影图像的侧边的图像的信息。
6、根据权利要求1所述的指示位置探测器件,其中所述拍摄单元(2)包括一个带通滤波器(23),该带通滤波器只获取与该指示光具有相同颜色的颜色分量的图像。
7、根据权利要求1所述的指示位置探测器件,其中所述指示器件(50)用于发射激光。
8、一种探测被指示器件(50)的指示光所照射的位置的方法,用于确定在屏幕(S)上的位置,所述方法包括:
提取投影时段的时序提取步骤,在该投影时段中,投影图像中包括多个预先指定的颜色分量中的每一种颜色分量的图像被投影;
拍摄步骤,在所述时序提取步骤提取的一个投影时段中,接收与所述指示器件(50)的指示光一起投影在所述屏幕(S)上的图像的光,从而获得在所述屏幕(S)上的此投影图像的图像信息,在该投影时段中,将只包含多个预先指定颜色分量中与该指示光颜色不同的颜色分量的图像投影;以及
位置探测步骤,从在所述拍摄步骤中获得的图像信息中探测由所述指示器件(50)的指示光照射的位置。
9、根据权利要求8所述的方法,进一步包括第二拍摄步骤,在所述提取步骤中所提取的投影时段中获取投影在所述屏幕(S)上图像的图像信息,在此投影时段中,将包括代表投影图像角落的图像角落信息的图像投影,
其中,所述位置探测步骤基于分别在所述拍摄步骤和所述第二拍摄步骤中获得的两条该图像信息,探测由该指示光照射的位置。
10、根据权利要求1所述的指示位置探测器件,其中:
所述指示器件(50)包括
发光元件(53),用于发射指示光,以及
发射单元(54),用于与所述发光元件(53)的发光同步发射无线电信号;
所述时序信号输出单元(5,6)
包括:接收单元(10),用于从所述指示器件(50)的所述发射单元(54)接收该无线电信号;以及停止单元(6,步骤SS2),响应于接收到通过所述接收单元(10)接收的无线电信号而产生停止控制信号,用于停止显示多个预先指定的颜色分量中的某特定颜色分量的图像,以及
输出由所述停止单元(6,步骤SS2)生成的停止控制信号,作为代表获取所述指示器件(50)的指示光图像的时序的信号,用于停止显示与该指示光具有相同颜色的颜色分量的图像。
11、根据权利要求10所述的指示位置探测器件,其中所述停止单元(6,步骤SS2)向控制驱动光学调制器的投影仪机构(4)发送停止控制信号。
CNB038204819A 2002-08-30 2003-09-01 指示位置探测器件与指示位置探测方法 Expired - Fee Related CN100382606C (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP252219/2002 2002-08-30
JP2002252219 2002-08-30
JP291252/2003 2003-08-11
JP2003291252A JP3867205B2 (ja) 2002-08-30 2003-08-11 指示位置検出装置、及び指示位置検出システム、並びに指示位置検出方法
PCT/JP2003/011147 WO2004021712A1 (en) 2002-08-30 2003-09-01 Pointed position detection device and pointed position deection method

Publications (2)

Publication Number Publication Date
CN1679345A true CN1679345A (zh) 2005-10-05
CN100382606C CN100382606C (zh) 2008-04-16

Family

ID=31980524

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038204819A Expired - Fee Related CN100382606C (zh) 2002-08-30 2003-09-01 指示位置探测器件与指示位置探测方法

Country Status (7)

Country Link
US (1) US7180510B2 (zh)
EP (1) EP1547396B1 (zh)
JP (1) JP3867205B2 (zh)
KR (1) KR100673887B1 (zh)
CN (1) CN100382606C (zh)
TW (1) TW591201B (zh)
WO (1) WO2004021712A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100455029C (zh) * 2005-12-16 2009-01-21 中国科学院长春光学精密机械与物理研究所 激光显示中颜色变换与色域扩展方法及装置
CN102129159B (zh) * 2010-01-19 2012-05-30 宏碁股份有限公司 投影装置及其调整投影影像的方法
CN102736378A (zh) * 2011-03-31 2012-10-17 卡西欧计算机株式会社 投影装置及投影方法
CN102768580A (zh) * 2011-05-04 2012-11-07 台达电子工业股份有限公司 用于一投影***的指示装置
CN102301212B (zh) * 2009-01-30 2013-08-14 西门子公司 对象振动特性的测量
CN104869374A (zh) * 2014-02-25 2015-08-26 卡西欧计算机株式会社 投影装置及投影方法
CN105408768A (zh) * 2013-08-27 2016-03-16 天宝导航有限公司 视频对准***
CN106162119A (zh) * 2015-05-11 2016-11-23 株式会社理光 图像投影***、图像处理装置以及图像处理方法
CN109102736A (zh) * 2018-08-30 2018-12-28 歌尔股份有限公司 一种激光笔颜色切换方法、装置及设备
CN112334866A (zh) * 2018-07-03 2021-02-05 索尼公司 信息处理设备、信息处理方法和记录介质

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113169B2 (en) * 2002-03-18 2006-09-26 The United States Of America As Represented By The Secretary Of The Air Force Apparatus and method for a multiple-user interface to interactive information displays
EP1596271A1 (en) * 2004-05-11 2005-11-16 Hitachi Europe S.r.l. Method for displaying information and information display system
US7683881B2 (en) * 2004-05-24 2010-03-23 Keytec, Inc. Visual input pointing device for interactive display system
US20050264545A1 (en) * 2004-05-27 2005-12-01 Walker Ray A Method and system for determining the location of a movable icon on a display surface
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
US20060022942A1 (en) * 2004-07-30 2006-02-02 Po-Chi Lin Control method for operating a computer cursor instinctively and the apparatus thereof
JP2006173969A (ja) * 2004-12-15 2006-06-29 Sony Corp 全方向受光装置および赤外線受信装置
JP2006179995A (ja) * 2004-12-21 2006-07-06 Sony Corp 遠隔制御システムおよび受信装置
JP2006197105A (ja) 2005-01-12 2006-07-27 Nec Viewtechnology Ltd 発信器情報受信部付プロジェクタと投射画像歪み補正方法
JP4770197B2 (ja) * 2005-02-28 2011-09-14 カシオ計算機株式会社 プレゼンテーション制御装置およびプログラム
JP4626416B2 (ja) * 2005-06-20 2011-02-09 セイコーエプソン株式会社 プロジェクタ
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
TWI313486B (en) 2005-07-28 2009-08-11 Nuflare Technology Inc Position measurement apparatus and method and writing apparatus and method
JP3934658B2 (ja) * 2005-07-28 2007-06-20 株式会社コナミデジタルエンタテインメント 位置検出システム
JP2009505201A (ja) * 2005-08-11 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ポインティング装置の動きを判定する方法
JP4163713B2 (ja) * 2005-12-07 2008-10-08 株式会社東芝 情報処理装置およびタッチパッド制御方法
KR101011564B1 (ko) * 2006-03-17 2011-01-27 가시오게산키 가부시키가이샤 투영 장치, 투영 방법 및 컴퓨터 프로그램을 기록한 기록매체
KR100808990B1 (ko) * 2006-04-27 2008-03-04 삼성전자주식회사 포인팅 디바이스를 이용하여 메뉴를 선택하는 장치 및 그방법
JP2008033389A (ja) 2006-07-26 2008-02-14 Fuji Xerox Co Ltd 機能指示システム、機能指示装置、機能指示解析システム、プレゼンテーションシステムおよび機能指示解析プログラム。
JP5191119B2 (ja) * 2006-12-06 2013-04-24 株式会社ジャパンディスプレイウェスト 表示装置、表示装置の制御方法、及びプログラム
US20080170033A1 (en) * 2007-01-15 2008-07-17 International Business Machines Corporation Virtual pointer
US8438480B2 (en) * 2007-03-26 2013-05-07 Avago Technologies General Ip (Singapore) Pte. Ltd. System and method for tracking an input device using a display screen in captured frames of image data
US20080244466A1 (en) * 2007-03-26 2008-10-02 Timothy James Orsley System and method for interfacing with information on a display screen
ATE484786T1 (de) 2007-03-29 2010-10-15 Cam Trax Technologies Ltd System und verfahren zum verfolgen einer elektronischen anordnung
US20090058805A1 (en) * 2007-08-25 2009-03-05 Regina Eunice Groves Presentation system and method for making a presentation
WO2009061620A1 (en) 2007-11-07 2009-05-14 Omnivision Technologies, Inc. Dual-mode projection apparatus and method for locating a light spot in a projected image
US7862179B2 (en) * 2007-11-07 2011-01-04 Omnivision Technologies, Inc. Dual-mode projection apparatus and method for locating a light spot in a projected image
US8188973B2 (en) * 2007-11-07 2012-05-29 Omnivision Technologies, Inc. Apparatus and method for tracking a light pointer
JP4600488B2 (ja) * 2008-02-20 2010-12-15 カシオ計算機株式会社 投影装置及び測距方法。
JP5495389B2 (ja) * 2008-03-24 2014-05-21 カシオ計算機株式会社 投影装置、投影方法及びプログラム
US20100287513A1 (en) * 2009-05-05 2010-11-11 Microsoft Corporation Multi-device gesture interactivity
KR20110069958A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
CN102243417A (zh) 2010-05-10 2011-11-16 中强光电股份有限公司 光学装置及投影***
CN101840291A (zh) * 2010-05-24 2010-09-22 鸿富锦精密工业(深圳)有限公司 光源式定位***及其方法
KR20130119614A (ko) 2012-04-24 2013-11-01 삼성디스플레이 주식회사 센싱 장치 및 이미지 센싱 방법
TWI464632B (zh) * 2012-07-12 2014-12-11 Univ Lunghwa Sci & Technology 應用雷射導引技術之類觸控簡報系統
JP2014119915A (ja) * 2012-12-14 2014-06-30 Funai Electric Co Ltd 画像表示装置、ポインター装置
JP6244627B2 (ja) * 2013-01-09 2017-12-13 セイコーエプソン株式会社 画像表示装置、プロジェクター、および画像表示装置の制御方法
US9188426B2 (en) * 2013-04-23 2015-11-17 Bradley Allen Safranski Non-contact visual measurement device
JP2015043556A (ja) * 2013-07-24 2015-03-05 株式会社リコー 情報処理装置、画像投影システム、及びプログラム
JP2015053675A (ja) * 2013-08-06 2015-03-19 株式会社リコー 画像投影装置
JP2015037250A (ja) * 2013-08-14 2015-02-23 株式会社リコー 画像投影装置及びプレゼンテーションシステム
JP6128008B2 (ja) 2013-08-26 2017-05-17 ソニー株式会社 投射型表示装置
CN103488354B (zh) * 2013-10-10 2016-03-16 南京芒冠科技股份有限公司 一种互控式同步电子白板***
JP2015079214A (ja) * 2013-10-18 2015-04-23 株式会社リコー 投影用スクリーンおよび画像投影システム
WO2016129697A1 (ja) * 2015-02-13 2016-08-18 株式会社ニコン 画像表示装置及び画像生成装置
JP2017021237A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 画像投影装置、画像投影システム、表示装置、および、表示システム
CN106445195B (zh) 2015-08-11 2019-05-24 华为技术有限公司 屏幕中激光点的位置检测方法、装置及***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876082A (ja) 1994-06-28 1996-03-22 Sharp Corp 投影表示装置
US5831601A (en) 1995-06-07 1998-11-03 Nview Corporation Stylus position sensing and digital camera with a digital micromirror device
GB9608770D0 (en) 1996-04-27 1996-07-03 Philips Electronics Nv Projection display system
US5914783A (en) * 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source
US6275214B1 (en) * 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
JP2001222375A (ja) * 2000-02-08 2001-08-17 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP2001236179A (ja) * 2000-02-22 2001-08-31 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
WO2001099045A1 (en) 2000-06-19 2001-12-27 Temasek Polytechnic A system and method for use in determining a cursor position
CN1299987A (zh) * 2001-01-17 2001-06-20 上海交通大学 带有激光遥控装置的交互式投影显示***
US20030222849A1 (en) * 2002-05-31 2003-12-04 Starkweather Gary K. Laser-based user input device for electronic projection displays

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100455029C (zh) * 2005-12-16 2009-01-21 中国科学院长春光学精密机械与物理研究所 激光显示中颜色变换与色域扩展方法及装置
CN102301212B (zh) * 2009-01-30 2013-08-14 西门子公司 对象振动特性的测量
CN102129159B (zh) * 2010-01-19 2012-05-30 宏碁股份有限公司 投影装置及其调整投影影像的方法
US9182852B2 (en) 2011-03-31 2015-11-10 Casio Computer Co., Ltd. Projection apparatus,method, and program for a projector projecting plural screen sections one screen section at a time
CN102736378A (zh) * 2011-03-31 2012-10-17 卡西欧计算机株式会社 投影装置及投影方法
CN102736378B (zh) * 2011-03-31 2014-11-12 卡西欧计算机株式会社 投影装置及投影方法
CN102768580B (zh) * 2011-05-04 2015-11-25 台达电子工业股份有限公司 用于一投影***的指示装置
CN102768580A (zh) * 2011-05-04 2012-11-07 台达电子工业股份有限公司 用于一投影***的指示装置
CN105408768A (zh) * 2013-08-27 2016-03-16 天宝导航有限公司 视频对准***
CN105408768B (zh) * 2013-08-27 2017-05-24 天宝导航有限公司 视频对准***
CN104869374A (zh) * 2014-02-25 2015-08-26 卡西欧计算机株式会社 投影装置及投影方法
CN104869374B (zh) * 2014-02-25 2017-05-03 卡西欧计算机株式会社 投影装置及投影方法
CN106162119A (zh) * 2015-05-11 2016-11-23 株式会社理光 图像投影***、图像处理装置以及图像处理方法
CN112334866A (zh) * 2018-07-03 2021-02-05 索尼公司 信息处理设备、信息处理方法和记录介质
CN109102736A (zh) * 2018-08-30 2018-12-28 歌尔股份有限公司 一种激光笔颜色切换方法、装置及设备
CN109102736B (zh) * 2018-08-30 2021-08-24 歌尔光学科技有限公司 一种激光笔颜色切换方法、装置及设备

Also Published As

Publication number Publication date
TW591201B (en) 2004-06-11
JP2004110797A (ja) 2004-04-08
US7180510B2 (en) 2007-02-20
TW200404987A (en) 2004-04-01
US20040041786A1 (en) 2004-03-04
CN100382606C (zh) 2008-04-16
EP1547396A1 (en) 2005-06-29
EP1547396B1 (en) 2013-02-27
JP3867205B2 (ja) 2007-01-10
KR20050057018A (ko) 2005-06-16
KR100673887B1 (ko) 2007-01-25
WO2004021712A1 (en) 2004-03-11

Similar Documents

Publication Publication Date Title
CN1679345A (zh) 指示位置探测器件与指示位置探测方法
CN104076914B (zh) 一种电子设备和投影显示方法
CN107683403A (zh) 距离图像获取装置以及距离图像获取方法
CN107407728A (zh) 距离图像获取装置以及距离图像获取方法
US7109470B2 (en) Sensor arrangement and control and analysis unit for image recognition of an object
CN102959970A (zh) 在立体显示成像期间确定成像范围内障碍物的装置、方法和程序
CN101399914B (zh) 摄影装置和摄影方法
DK0617872T3 (da) Fremgangsmåde og apparat for videoafbildning af publikumsreaktioner
JP6734695B2 (ja) カラーダーシラインパターンを用いた対象物の三次元スキャニング
CN109618108B (zh) 电子设备和移动平台
CN109791602A (zh) 在一组移动设备中定位移动设备的方法
CN103543575A (zh) 图像获取装置与其光源辅助拍摄方法
CN101355644A (zh) 将图像稳定数据嵌入图像数据的图像传感器设备和方法
CN109409249A (zh) 信息处理方法及电子设备
CN110824699B (zh) 一种近眼显示设备的眼球追踪***及近眼显示设备
CN110012206A (zh) 图像获取方法、图像获取装置、电子设备和可读存储介质
CN1788227A (zh) 测量物体空间位置的方法和设备
JP4315545B2 (ja) 3次元画像検出システムと3次元画像検出装置
CN109587304A (zh) 电子设备和移动平台
CN109803089A (zh) 电子设备和移动平台
CN109660731A (zh) 电子设备和移动平台
JP2015159460A (ja) 投影システム、投影装置、撮影装置、ガイド枠生成方法及びプログラム
CN110191279A (zh) 深度相机、电子设备及图像获取方法
CN109788195B (zh) 电子设备和移动平台
CN109587303A (zh) 电子设备和移动平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080416

Termination date: 20190901