CN102270298B - 激光点/区域检测方法和装置 - Google Patents
激光点/区域检测方法和装置 Download PDFInfo
- Publication number
- CN102270298B CN102270298B CN 201010193534 CN201010193534A CN102270298B CN 102270298 B CN102270298 B CN 102270298B CN 201010193534 CN201010193534 CN 201010193534 CN 201010193534 A CN201010193534 A CN 201010193534A CN 102270298 B CN102270298 B CN 102270298B
- Authority
- CN
- China
- Prior art keywords
- zone
- laser spots
- laser
- eigenwert
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
提供了一种激光点/区域检测方法和装置。该激光点/区域检测方法包括以下步骤:获取标准激光点/区域的特征值;从输入图像中产生候选的激光点/区域;计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值;以及确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。本激光点/区域检测方法可以支持多类型激光点/区域检测,具有更好的环境适应性。
Description
技术领域
本发明涉及图像处理,更具体地涉及激光点/区域检测方法和装置。
背景技术
目前有一些与计算机进行远距离交互的***和方法,它们的目的是为了使用户更有效地进行如基于计算机和投影仪的演示等活动。这些***和方法采用了多种技术如超声波、红外等实现远距离交互的解决方案。
在演讲或会议环境下,激光笔被广泛应用于指向投影区域的特定部分。由于激光笔的流行性和低成本,一些远距离计算机交互***和方法采用激光笔和摄像头实现,它们通过以下方法为用户提供远距离激光笔操作:从摄像头捕捉到的屏幕图像中检测激光点/区域,进而模拟计算机键盘/鼠标控制操作。
为了能够使用激光笔与计算机进行交互,已经提出了激光点追踪装置来检测激光点的位置并用来操作计算机。US专利6275214 B1描述了一种交互策略:检测激光点的一个或多个属性;任何一个或多个属性可以被结合使用从而生成对计算机的正确指令。这些属性可能包括强度、色彩、形状、大小、移动方式和位置。US专利2008/0266253 A1描述了一种多边形匹配的激光点检测和跟踪方法:预定义参数化的激光多边形;把多边形和图像数据中每一个图形对象的轮廓进行匹配;检查匹配得到的多边形是否满足预定义参数,如满足则为候选激光多边形。
文章Laser pointer interaction,Dan R.Olsen Jr.,Travis Nielsen,Proceedingsof Association for Computing Machinery Computer Human InteractionConference:Human Factors in Computing Systems.Seattle,WA,USA:2001:17~22描述了在使用卷积滤波器的情况下,最亮的红色光点被检测为激光点。文章LumiPoint:Multi-user Laser-based interaction on Large Tiled Displays,James Davis and Xing Chen,Displays,Vol.23-5,Elsevier Science 2002描述了使用亮度阈值进行预处理,然后使用下采样和预测加快检测速度,同时包含笔划服务器进行点位置估计。文章Laser Actuated Presentation System,AtulChowdhary,Vivek Agrawal,Subhajit Karmakar,Sandip Sarkar,CoRRabs/0911.5404:2009描述了使用带红色滤镜的RGB摄像头捕捉激光点,然后使用RGB的Blue层作为阈值属性。
在现有技术中,大多数论文/专利基于假定条件如“激光点/区域最亮”或“激光点/区域最红或最绿”等对图像进行亮度或颜色属性过滤从来实现激光点/区域检测,另外有一些论文/专利使用其他方法如形状匹配、轨迹预测等技术来实现激光点/区域检测。此外,在硬件设备方面,某些论文/专利使用特定摄像头或额外滤镜,从而减少外部环境干扰。
理论上作为一个开环(Open Loop)问题,激光点/区域检测方法不可能达到100%的检测率。摄像头捕捉到的帧图像中的某些物体可能会干扰激光点/区域检测,即便使用特定的硬件设备类似的环境干扰也不能被有效消除。另外,根据调查和实验,在不同环境条件下,所捕捉到的激光点/区域有不同的属性值表现;即便在相同环境条件,激光点/区域并不具备如前所述的固定属性值特征,例如在某些情况下,干扰点/区域表现得比激光点/区域更亮、更红或更绿。
对于有干扰点/区域的帧图像,作了激光点/区域属性假定的已有论文/专利中的激光点/区域检测方法将会导致错误检测。
发明内容
鉴于现有技术中的上述问题,提出了本发明。
根据本发明的一个方面,提供了一种激光点/区域检测方法,可以包括以下步骤:获取标准激光点/区域的特征值;从输入图像中产生候选的激光点/区域;计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值;以及确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。
该激光点/区域检测方法还可以包括基于所确定的激光点/区域的特征信息更新标准激光点/区域的特征值。
所述从输入图像中产生候选的激光点/区域可以包括以预定特征阈值对帧图像进行过滤以得到候选的激光点/区域。
该激光点/区域检测方法还可以包括:预先定义彼此不交叠的预定数目个激光点/区域类型;所述获取标准激光点/区域的特征值包括,分别获取该预定数目个类型的各个标准激光点/区域的特征值;所述从输入图像中产生候选的激光点区域包括,利用与该预定数目个激光点/区域类型中的每种类型相关联的特征阈值,产生被划分到预定数目个激光点/区域类型中的候选的激光点/区域;所述计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值包括,计算该候选的激光点/区域的特征值相对于与该候选的激光点/区域所属的类型对应的类型的标准激光点/区域的特征值的偏移值;所述确定具备最小特征偏移值的激光点/区域作为激光点/区域包括,将被划分到一个激光点/区域类型中的所有候选的激光点/区域中的具备最小特征偏移值的候选激光点/区域确定作为该类型的激光点/区域。
所述获取标准激光点/区域的特征值可以包括下述操作中的至少一种:将标准激光点/区域的特征值确定为预定的固定值;对每种激光点/区域类型,将启动所述激光点/区域检测方法后的包含相应类型激光点/区域的头几帧图像视为初始数据,基于此初始数据训练得到该类型的标准激光点/区域的特征值;从已经预先针对每种激光点/区域类型基于大量初始数据训练得到的每种类型的标准激光点/区域的特征值中,获取该类型的标准激光点/区域的特征值。
所述预定特征阈值可以包括各个色彩属性阈值中的一个或多个。
特征可以包括以下一项或多项:色彩;大小和形状;以及位置和移动轨迹。
计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值可以包括:基于候选激光点/区域包含的色彩特征值和标准激光点/区域已估的色彩特征值计算色彩特征偏移值;基于候选激光点/区域包含的大小和形状特征值和标准激光点/区域已估的大小和形状特征值计算大小和形状特征偏移值;基于候选激光点/区域包含的位置和移动轨迹特征值和标准激光点/区域已估的位置和移动轨迹特征值计算位置和移动轨迹特征偏移值;为色彩、大小和形状、位置和移动轨迹特征偏移值分别设置加权因子;候选激光点/区域的特征偏移值为以下三个值之和:色彩特征偏移值乘以设置的相应加权因子,大小和形状特征偏移值乘以设置的相应加权因子,位置和移动轨迹特征偏移值乘以设置的相应加权因子。
此外,如果候选激光点/区域满足以下条件中的任一个,则可以将其视为干扰点/区域,并丢弃:预定特征属性值不符合预定值或预定范围;色彩特征偏移值不符合预定值;大小和形状特征偏移值不符合预定值;位置和移动轨迹特征偏移值不符合预定值;以及该候选激光点/区域的特征偏移值不符合特定值。
根据本发明的另一方面,提供了一种激光点/区域检测装置,可以包括:标准激光点/区域特征值获取部件,用于获取标准激光点/区域的特征值;候选激光点/区域产生部件,用于从输入图像中产生候选的激光点/区域;偏移值计算部件,用于计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值;激光点/区域确定部件,用于确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。
本激光点/区域检测方法和装置可以支持多类型激光点/区域检测,具有更好的环境适应性。
附图说明
图1是根据本发明一个实施例的激光点/区域检测方法的整体流程图;
图2是根据本发明另一实施例的激光点/区域检测方法的流程图;
图3是根据本发明一实施例的激光点/区域的类型定义、特征定义以及标准激光点/区域特征值初始化所需的元素的示意图;
图4为根据本发明一个实施例的支持多类型激光点/区域检测的方法的流程图;
图5显示以下激光点/区域属性的具体实例:色彩分布信息、大小和形状信息、位置和移动轨迹信息;
图6和图7分别显示激光点/区域类型定义的两个具体实例;
图8是根据本发明一个实施例的激光点检测装置的示意性框图;以及
图9是根据本发明一个实施例的可以实践本发明的示例性计算机***。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
在具体描述之前,首先总体介绍一下本发明的思想:本发明阐明了一种可以支持多类型激光点/区域检测的方法,该方法旨在增加环境适应性和减少有干扰点情况下的错误检测率。此方法基于以下假定:跟干扰点/区域相比,激光点/区域表现得更像“激光点/区域”(称为标准激光点/区域);在相同环境下,激光点/区域属性表现相对稳定。首先,定义或估计各类型的标准激光点/区域特征值以便作下一步检测,例如,在***启动后的仅包含某一类型激光点/区域的头几帧图像可被视为初始数据集,基于此数据集可训练或估计得到标准激光点/区域特征值。然后,对每帧需要被检测的图像:首先进行预处理,例如用某些特定阈值如亮度阈值对图像进行过滤,产生候选激光点/区域(类型被区分);其次,依照已估的某类标准激光点/区域特征值,为相应类别的每一产生的激光点/区域计算特征偏移值;第三,对每一激光点/区域类型,具有最小特征偏移值的光点/区域被检测为这一类型的激光点/区域。另外,还可以更新或合并检测到的激光点/区域特征信息到相应类别已估的标准激光点/区域特征值,以便用于下一帧图像的激光点/区域检测。
图1是根据本发明一个实施例的激光点/区域检测方法100的整体流程图。
如图1所示,激光点/区域检测方法100可以包括:标准激光点/区域的特征值获取步骤S110;候选的激光点/区域生成步骤S120;偏移值计算步骤S130;激光点/区域确定步骤S140。
在步骤S110,获取标准激光点/区域的特征值。
本文的激光点/区域是指图像中存在激光的点/区域各个部分,一般地,当存在激光的部分大小较小时,***滑轨迹。
本文中的所谓标准激光点/区域是认为可以作为激光点/区域的基准的激光点/区域,可以通过将认为可能是激光点/区域的候选激光点/区域与该标准激光点/区域进行比较,来判断候选激光点/区域是否是激光点/区域。
假设一个激光点/区域利用色彩、大小和形状、位置和移动轨迹这些特征来描述,可以将一个激光点/区域的特征定义为向量F=(C,S,P),此处C为色彩信息,S为大小和形状信息,P为位置和移动轨迹信息。色彩信息C例如通过RGB模型情况下的R、G、B的各项值,HSV模型情况下的H、S、V的各项值等描述。大小和形状信息S例如可以利用包含的像素数量、特定形状如圆形/方形等描述。位置和移动轨迹信息例如可以利用坐标值、前后多帧图像中激光点/区域的坐标、运动方向等来描述。
标准激光点/区域的特征值可以通过多种途径来获得:
1、经验预置法:根据使用者的经验,将标准激光点/区域的特征值定义为预定的固定值;
2、实时训练法:在激光点/区域检测方法启动后,以激光笔指示屏幕,获得摄像头拍摄的头n帧图像数据,把该头n帧图像被视为初始数据,从中获得例如色彩、大小和形状属性的平均值作为标准激光点/区域的特征值,这时标准激光点/区域的位置和移动轨迹属性可仅包含前几帧图像中激光点/区域位置和移动轨迹信息;
3、事前训练法:预先准备好大量数据,采用某些数据训练方法例如支持向量机(Support Vector Machine,SVM)对该大量数据的特征值进行训练,将训练得到的特征值存储,在激光点/区域检测方法开始运行后,可以读取所存储的特征值作为标准激光点/区域的特征值。
在上述列举的三种方法中,实时训练法因为所进行训练的头n帧图像数据的环境属性经和后续输入图像的环境属性最为类似,因此环境适应性最好;而事前训练法需要较大量数据,环境适应性不如实时训练法,但是因为标准激光点/区域的特征值已经事先准备好,因此节省了激光点/区域检测方法的时间。本领域技术人员在实践中可以根据对环境适应性和时间等的要求而决定选取何种方法来确定标准激光点/区域的特征值。
需要说明的是,上述标准激光点/区域的特征值的获取方法仅仅是例子,本发明并不局限于此,任何可以获得激光点/区域的代表属性值的方法都可以应用于本发明。
在步骤S120,从输入图像中产生候选的激光点/区域。
可以通过以预定特征阈值对帧图像进行过滤来生成候选的激光点/区域。
预定特征阈值可以为针对某些特征或者特征的组合所生成的阈值;或者由用户所制定的特定属性的特定值。例如,预定特征阈值可以为
(1)强度阈值-例如,如果图像的色彩属性利用本领域公知的HSV模型描述,其中的V为“value”的缩写,表示强度,可以将V的阈值设为110,某个强度大于该阈值110的激光点/区域将是候选的激光点/区域;或
(2)色度阈值-例如,在采用HSV模型的情况下,H为“hue”[色度]的缩写,针对H的阈值,对于红激光点设为0~30和330~360,对于绿激光点设为40~80;
(3)形状阈值-激光点形状为圆形、方形或五角形;
不过上述预定特征阈值仅仅是示例,还可以包括大小阈值、饱和度阈值等等。
在步骤S130,计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值。
计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值可以具体如下进行:
基于候选激光点/区域包含的色彩特征值和标准激光点/区域已估的色彩特征值计算色彩特征偏移值;
基于候选激光点/区域包含的大小和形状特征值和标准激光点/区域已估的大小和形状特征值计算大小和形状特征偏移值;
基于候选激光点/区域包含的位置和移动轨迹特征值和标准激光点/区域已估的位置和移动轨迹特征值计算位置和移动轨迹特征偏移值;
为色彩、大小和形状、位置和移动轨迹特征偏移值分别设置加权因子;
候选激光点/区域的特征偏移值为以下三个值之和:色彩特征偏移值乘以设置的相应加权因子,大小和形状特征偏移值乘以设置的相应加权因子,位置和移动轨迹特征偏移值乘以设置的相应加权因子。
在步骤S140,确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。
图2是根据本发明另一实施例的激光点/区域检测方法200的流程图。
图2所示的激光点/区域检测方法200中的步骤S210、S220、S230、S240与图1所示的激光点/区域检测方法100中的步骤S110、S120、S130、S140相同,这里对其不再加以描述。
图2所示的激光点/区域检测方法200与图1所示的激光点/区域检测方法100的不同在于多了标准激光点/区域的特征值的更新步骤S250。
在步骤S240中得到了新检测出的激光点/区域之后,可以把检测到的激光点/区域特征属性值合并至标准激光点/区域特征属性值中,从而得到更新后的激光点/区域的特征值。在下一帧图像的激光点/区域检测中,该更新后的标准激光点/区域特征值作为基准来用于新的激光点/区域检测。
通过以新检测出的激光点/区域的特征值来更新标准激光点/区域的特征值,使得标准激光点/区域的特征值随着时间更新,具有更好的环境适应性。
上面结合图1和图2所描述的激光点/区域检测方法是一个整体通用的方法。
本发明还可以支持多种类型的激光点/区域检测,下面将参考图3、图4加以描述,图3是根据本发明一实施例的激光点/区域的类型定义、特征定义以及标准激光点/区域特征值初始化所需的元素的示意图。图4是根据本发明一个实施例的支持多类型激光点/区域检测的方法。
如图3所示,一个光点/区域的特征113可以被定义为向量F=(C,S,P),此处C为色彩信息114,S为大小和形状信息115,P为位置和移动轨迹信息116。
图5中的5a到5d对这些特征分别进行了示意性图示。图5a示出了一个激光点/区域的颜色(红色)分布。图5b示出了一个激光点/区域的大小,以该激光点/区域内的像素数目来表示。图5c示出了激光点/区域的形状,图中为线形。图5d示出了激光点/区域的运动轨迹,在该示例中,几帧图像中的激光点运动轨迹是相对平滑的曲线轨迹。
下面举例说明多类型激光点/区域。
根据色彩信息,激光点类型可定义为红色和绿色两类,如图6所示。
根据形状信息,激光点/区域类型可定义为圆形、方形和五角型(可通过在激光笔上装载衍射光学元件实现),如图7所示。
在本发明的一个例子中,激光点/区域类型的数目和分类是预先定义好的,且各个类型之间不存在交叠。不过,当然,各个类型之间可以存在交叠,这时可能会出现一个激光点/区域被划分到多个类型的情况,这时本发明的技术方案仍然适用。
对每一激光点/区域类型,标准激光点/区域的特征向量FS(Lt)可以描述为
如图4所示,在步骤S310,获取各类标准区域的特征值,从而得到类型1标准区域的特征值301、类型2标准区域的特征值302、...类型l标准区域的特征值303。
与前文参考图1所述的步骤S110的操作类似,同样可以采取经验预置法、实时训练法、事前训练法来获得各类标准激光点/区域的特征值。
具体地,在采用实时训练法的情况下,在激光点/区域检测方法启动后,对于每种激光点/区域类型Lt,以对应该类激光点/区域的激光笔指示屏幕,获得摄像头拍摄的头n帧图像数据,把该头n帧图像被视为初始数据,从中获得例如色彩、大小和形状属性的加权平均值作为标准激光点/区域的特征值,这时标准激光点/区域的位置和移动轨迹属性可仅包含前几帧图像中激光点/区域位置和移动轨迹信息。
设激光点/区域类型Lt的初始数据以DInit(Lt)表示,则DInit(Lt)可以按下式(2)定义为该n帧图像的特征向量的集合:
其中Finit(Lt,i)表示第i帧图像中的激光点/区域的特征向量,Cinit(Lt,i)表示第i帧图像中的激光点/区域的特征向量中的色彩信息、Sinit(Lt,i)表示第i帧图像中的激光点/区域的特征向量中的大小和形状信息、Pinit(Lt,i)表示第i帧图像中的激光点/区域的特征向量中的位置和移动轨迹信息。
其中在训练的情况下,最好每一帧图像包含且仅包含一个Lt类激光点/区域(无干扰点)。
例如,对每一激光点/区域类型,初始数据可通过以下操作获得:用激光笔(保持激光点亮的状态)静态地指向操作屏,操作时间至少为n/FPS秒,此处FPS表示摄像头的帧率。
在获得了式(2)表示的初始数据DInit(Lt)后,作为示例,可以如下估计类型Lt标准激光点/区域的特征向量FS(Lt)
对FS(Lt)的每一个特征向量分量,VS(Lt)=CS(Lt)∨SS(Lt)∨PS(Lt):
其中,跟式(2)对应,n为初始数据中的帧数,VS(Lt)与V一一对应,即VS(Lt)为CS(Lt)时V应为CInit,VS(Lt)为SS(Lt)时V应为SInit,VS(Lt)为PS(Lt)时V应为PInit。
对于特征向量的分量PS(Lt),通常就时间而言距离当前处理帧最近的几帧图像中的激光点/区域位置轨迹信息对当前处理帧图像具备更大的参考意义,因此初始化标准激光点/区域的相应特征向量时,可以记录初始数据中时间上较晚图像中激光点/区域位置轨迹信息以备后续头几帧处理帧参考,公式(3)中的第二子式即表达此含义,其中t表示n帧中的第t帧,将选取从第t帧到第n帧的位置和移动轨迹信息作为后续处理的参考。
在采用事前训练法的情况下,对于每种类型的激光点/区域,预先准备好大量数据,采用某些数据训练方法例如支持向量机(Support Vector Machine,SVM)对该大量数据的特征值进行训练,将训练得到的特征值存储,在激光点/区域检测方法开始运行后,可以读取所存储的各类的特征值作为各类标准激光点/区域的特征值。
返回到图4,在步骤S320,利用与该预定数目个激光点/区域类型中的每种类型相关联的特征阈值,产生被划分到预定数目个激光点/区域类型中的候选的激光点/区域,从而得到类型1的候选激光点/区域304、类型2的候选激光点/区域305、...、类型l的候选激光点/区域306。
针对每一类型l的候选激光点/区域,为了得到被划分到该类型l的候选激光点/区域,可以用该类型l的特定阈值进行图像过滤,所生成的类型l的候选激光点/区域的集合DP(Lt)表示如下
其中m表示在类型为Lt的候选激光点/区域的个数;FP(Lt,i)表示第i个类型Lt的候选激光点/区域的特征向量;CP(Lt,i)、SP(Lt,i)、PP(Lt,i)分别表示第i个类型Lt的候选激光点/区域的特征向量FP(Lt,i)的色彩信息、大小和形状信息、位置和移动轨迹信息。
类型l的特定阈值可以是用户预先定义的,或者是从大量数据中学习得到的。例如,特定阈值可以为:
·强度阈值-HSV模型,“value”[强度]阈值设为110;或
·色度阈值-HSV模型,“hue”[色度]阈值为红激光点设为0~30和330~360,为绿激光点设为40~80;
·形状阈值-激光点形状为圆形、方形或五角形。
相应的,各类型的候选激光点/区域生成的例子如下:
·激光点类型-红色、绿色:强度值超过强度阈值110而且色度值在0~30或330~360范围内的为候选红色类型激光点,强度值超过强度阈值~110而且色度值在40~80范围内的为候选绿色类型激光点;
·激光点类型-圆形、方形和五角形:强度值超过强度阈值110而且形状为圆形的为候选圆形激光点,强度值超过强度阈值110而且形状为方形的为候选方形激光点,强度值超过强度阈值110而且形状为五角型的为候选五角型激光点(可通过对预定义的标准形状类型和光点形状进行匹配完成形状阈值过滤);
·激光点类型-红色圆形、红色方形、红色五角形、绿色圆形、绿色方形、绿色五角形,强度值超过强度阈值110、色度值在0~30或330~360范围内而且形状为圆形的为候选红色圆形激光点,强度值超过强度阈值110、色度值在0~30或330~360范围内而且形状为方形的为候选红色方形激光点,强度值超过强度阈值110、色度值在0~30或330~360范围内而且形状为五角形的为候选红色五角形激光点,强度值超过强度阈值110、色度值在40~80范围内而且形状为圆形的为候选绿色圆形激光点,强度值超过强度阈值110、色度值在40~80范围内而且形状为方形的为候选绿色方形激光点,强度值超过强度阈值110、色度值在40~80范围内而且形状为五角形的为候选绿色五角形激光点(可通过对预定义的标准形状类型和光点形状进行匹配完成形状阈值过滤)。
上述激光点/区域类型的预先定义仅仅是一种示例,本领域技术人员可以根据设计需要而定义各种激光点/区域类型。
需要说明的是,在候选激光点/区域划分步骤,可以存在下述情况,对于某种激光点/区域类型,不存在该类型的候选激光点/区域。
在步骤S330,对于每一类型中的每个候选激光点/区域,计算该候选的激光点/区域的特征值相对于与该类型的标准激光点/区域的特征值的偏移值。
可以利用下式(5)来计算每个类型Lt的每个候选激光点区域FP(Lt,i)的偏移值。
DV(Lt,i)=αDVC(Lt,i)+βDVS(Lt,i)+δDVP(Lt,i),α,β,δ≥0,α+β+δ>0,
其中DVC(Lt,i)=f(CP(Lt,i),CS(Lt)),DVS(Lt,i)=g(SP(Lt,i),SS(Lt)),(5)
DVP(Lt,i)=h(PP(Lt,i),PS(Lt)),
其中,DP(Lt)是类型Lt的候选激光点/区域的集合,DP(Lt,i)是第i个类型Lt的候选激光点/区域,m是类型Lt的候选激光点/区域的个数,DV(Lt,i)是第i个类型Lt的候选激光点/区域的特征向量(特征值)相对于类型Lt的标准激光点/区域的特征向量(特征值)的偏移,DVC(Lt,i),DVS(Lt,i)DVP(Lt,i)分别是第i个类型Lt的候选激光点/区域的特征向量(特征值)相对于类型Lt的标准激光点/区域的特征向量(特征值)的色彩偏移、大小和形状偏移、位置和移动轨迹偏移,α、β、δ分别为色彩偏移、大小和形状偏移、位置和移动轨迹偏移的权重因子,f是色彩偏移计算函数,g是大小和形状偏移计算函数,h是位置和移动轨迹偏移计算函数CP(Lt,i)、SP(Lt,i)、PP(Lt,i)分别表示第i个类型Lt的候选激光点/区域的特征向量FP(Lt,i)的色彩信息、大小和形状信息、位置和移动轨迹信息,CS(Lt)、SS(Lt)、PS(Lt)分别表示类型Lt的候选激光点/区域的标准特征向量FS(Lt)的色彩信息、大小和形状信息、位置和移动轨迹信息。
在步骤S340中,将被划分到一个激光点/区域类型中的所有候选激光点/区域中的具备最小特征偏移值的激光点/区域确定作为该类型的激光点/区域。
具体地,基于公式(4)和(5),对每一激光点/区域类型,例如可以根据以下策略检测出最多一个激光点/区域。
m≥1,1≤w≤m;
FP(Lt,w)→激光点/区域.
其中,TC,TS,TP,T分别表示色彩偏移值阈值、大小和形状偏移值阈值、位置和移动轨迹偏移值阈值、以及总偏移值阈值。
如公式(6)所示,只有如下候选激光点/区域才会被确定为激光点/区域,DVC(Lt,i),DVS(Lt,i)DVP(Lt,i)色彩偏移、大小和形状偏移、位置和移动轨迹偏移小于等于对应的阈值TC,TS,TP,且总偏移DV(Lt,i)小于等于总偏移值的阈值T,且是经过上述阈值TC,TS,TP,T过滤后的候选激光点/区域中偏移值最小的候选激光点/区域。
不过,需要说明的是,采用上述色彩偏移、大小和形状偏移、位置和移动轨迹偏移和总偏移的阈值TC,TS,TP,T进行过滤是可选的而非必需的步骤。而且,除了采用上述偏移阈值TC,TS,TP,T进行过滤外,也可以采用其他阈值进行过滤。例如,在把激光点/区域分为圆形、方形、五角型的情况下,可以用亮度阈值、饱和度阈值、RGB阈值等中的一项或多项进行候选激光点/区域进行过滤,即认为不符合阈值要求的候选激光点/区域是干扰点/区域。而且,该过滤干扰点/区域的步骤并非只能在得到候选激光点/区域之后进行,而是按需在任意时间均可以进行。
利用公式(6)所示的处理,各偏移值和/或满足阈值设定的所有光点/区域中,具有最小特征偏移值的候选激光点/区域被检测为激光点/区域。换言之,具有特征FP(Lt,w)的候选激光点/区域被检测为Lt类型的激光点/区域。
如前所述,可选地,对每一激光点/区域类型Lt,可以如公式(7)所示地把检测到的激光点/区域DP(Lt)的特征属性值FP(Lt,w)合并至标准激光点/区域的特征属性值fS(Lt)中。
F′S(Lt)=k(FP(Lt,w),FS(Lt)),1≤w≤m (7)
其中k是特征向量合并函数。关于特征向量合并函数K的形式,对于色彩属性值或大小形状属性值,特征向量合并函数K可以为FP(Lt,w)和Fs(Lt)的加权平均,如(FP(Lt,w)+Fs(Lt))/2,后文中所举例子中的公式(8)等。
对于位置移动轨迹属性,特征向量合并函数可以为把检测到的激光点/区域位置信息作为最新位置更新至标准激光点/区域的位置移动轨迹属性集合中,同时可以考虑把集合中最旧位置的激光点/区域位置信息去掉。
在下一帧图像的激光点/区域检测中,更新后的标准激光点/区域特征值估计F′S(Lt)可替代原特征值FS(Lt),用于激光点/区域检测。
上述参考图3、图4所示的激光点/区域检测方法可以从一帧图像中检测出多种类型的激光点/区域,拓宽了该激光点/区域检测方法的应用范围。
以下内容为一具体实现例子。
如图6所示,激光点/区域类型被定义为{Red,Green}。对每一Red(红色)或Green(绿色)激光点/区域类型,头n=25帧图像被视为初始数据(初始数据图像帧数由多次实验检验得到),其中每一帧图像包含且仅包含一个Red或Green类激光点/区域(无干扰点)。
该实现例子使用HSV模型和RGB模型,特征向量F包含的属性如下:
C={avgH,avgS,avgV,RGPercent),S={pixelNum},P={},其中
--avgH,avgS和avgV表示光点/区域所有像素的平均“hue(色度)”,
“saturation(饱和度)”和“value(强度)”值(HSV模型);
--RGPercent表示Red激光点/区域类型的Red像素数量百分比或
Green激光点/区域类型的Green像素数量百分比(RGB模型);
--pixelNum表示光点/区域的总像素数量。
对初始数据的每一特征值计算平均值,所得的平均值赋值给公式(1)中所定义的标准激光点/区域的特征值。换言之,公式(3)中的每一α值被赋为1/25,P特征在此不作考虑。
公式(5)所描述的偏移值计算函数实现如下
h:DVP=0
DV=DVC+10*DVS
由此可见,公式(5)中所描述的α、β和δ值分别被相应地设为1、10和0。
公式(6)中所描述的特征属性阈值同样被设为某些具体数值,例如,像素数偏移值阈值被设为0.5。
在检测出激光点/区域后,相应的特征属性值可以被合并至标准激光点/区域特征属性值中。公式中(7)所描述的特征向量值合并函数在本例中以如下方式实现。
该实现例已经过多次实验和大量测试数据检验和评测,检验和评测结果显示,与现有技术方法相比,本方法提升了激光点/区域检测率。
图8示出了根据本发明一个实施例的激光点/区域检测装置800的示意性框图。该激光点检测装置800可以包括:标准激光点/区域特征值获取部件810,用于获取标准激光点/区域的特征值;候选激光点/区域产生部件820,用于从输入图像中产生候选的激光点/区域;偏移值计算部件830,用于计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值;激光点/区域确定部件840,用于确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。
所述激光点/区域检测装置800还可以包括标准激光点/区域特征值更新部件,用于基于所确定的激光点/区域的特征信息更新标准激光点/区域的特征值。
候选激光点/区域产生部件可以以预定特征阈值对帧图像进行过滤以得到候选的激光点/区域。
所述激光点/区域检测装置800还可以预先定义彼此不交叠的预定数目个激光点/区域类型,其中,标准激光点/区域特征值获取部件810可以分别获取该预定数目个类型的各个标准激光点/区域的特征;候选激光点/区域产生部件820可以利用与该预定数目个激光点/区域类型中的每种类型相关联的特征阈值,产生被划分到预定数目个激光点/区域类型中的候选的激光点/区域;偏移值计算部件830可以计算该候选的激光点/区域的特征值相对于与该候选的激光点/区域所属的类型对应的类型的标准激光点/区域的特征值的偏移值;激光点/区域确定部件840可以将被划分到一个激光点/区域类型中的所有候选的激光点/区域中的具备最小特征偏移值的候选激光点/区域确定作为该类型的激光点/区域。
候选激光点/区域产生部件820获取标准激光点/区域的特征值可以包括下述操作中的至少一种:将标准激光点/区域的特征值确定为预定的固定值;对每种激光点/区域类型,将启动所述激光点/区域检测方法后的包含相应类型激光点/区域的头几帧图像视为初始数据,基于此初始数据训练得到该类型的标准激光点/区域的特征值;从已经预先针对每种激光点/区域类型基于大量初始数据训练得到的每种类型的标准激光点/区域的特征值中,获取该类型的标准激光点/区域的特征值。
所述预定特征阈值可以包括各个色彩属性阈值中的一个或多个。
所述特征可以包括以下一项或多项:色彩;大小和形状;以及位置和移动轨迹。
偏移值计算部件830计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值可以包括:基于候选激光点/区域包含的色彩特征值和标准激光点/区域已估的色彩特征值计算色彩特征偏移值;基于候选激光点/区域包含的大小和形状特征值和标准激光点/区域已估的大小和形状特征值计算大小和形状特征偏移值;基于候选激光点/区域包含的位置和移动轨迹特征值和标准激光点/区域已估的位置和移动轨迹特征值计算位置和移动轨迹特征偏移值;为色彩、大小和形状、位置和移动轨迹特征偏移值分别设置加权因子;候选激光点/区域的特征偏移值为以下三个值之和:色彩特征偏移值乘以设置的相应加权因子,大小和形状特征偏移值乘以设置的相应加权因子,位置和移动轨迹特征偏移值乘以设置的相应加权因子。
如果候选激光点/区域满足以下条件中的任一个,则可以将其视为干扰点/区域,并丢弃:预定特征属性值不符合预定值或预定范围;色彩特征偏移值大于预定值;大小和形状特征偏移值大于预定值;位置和移动轨迹特征偏移值大于预定值;该候选激光点/区域的特征偏移值大于特定值。
需要说明的是,在硬件设备方面,本方法也可以使用特定摄像头或额外滤镜以致减少一些环境干扰点,从而使激光点/区域检测更精确有效,例如,光圈可调的摄像头可被用于降低帧图像亮度和提高对比度。
图9是根据本发明一个实施例的可以实践本发明的示例性计算机***。
如图9所示,一个针对激光点/区域检测的计算机***10可以包括主机11,键盘16,监视器17,打印机18,软盘驱动器19,网络接入器20以及硬盘驱动器21。主机11包括数据总线12,随机存储器(RAM)13,只读存储器(ROM)14,中心处理器15以及外设总线23。
根据从随机存储器13中接到的指令,中心处理器15控制输入数据的接收和处理,以及输出到监视器17或者其他外设。在本实施例中,中心处理器15的一个功能是获取标准激光点/区域的特征值,处理输入的图像,产生候选的激光点/区域,计算候选激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值,确定具备最小特征偏移值的候选激光点/区域作为激光点/区域。检测到的激光点/区域可以供其他应用程序使用。
中心处理器15通过数据总线12来访问随机存储器13和只读存储器14。随机存储器13被中心处理器15用作一块可读写的内存,用来作为各个进程的工作区以及可变数据存储区,也可以用来存储输入图像如来自摄像头22的图像,检测的激光区域,激光点等。只读存储器14存储例如激光点/区域检测程序,以及其他应用程序等。
外设总线23用于访问和计算机11相连的输入,输出以及存储等***设备。在本实施例中,这些***设备包括监视器17,打印机18,软盘驱动器19,网络接入器20、硬盘驱动器21、摄像设备22。监视器17通过外设总线23来显示中心处理器15输出的数据和图像。它可以是栅格式显示设备如CRT或者是LCD显示器。打印机18把中心处理器输入的数据和图像打印到纸张或者是和纸张相似的媒介。软盘驱动器19以及硬盘驱动器21用来存储输入图像如来自摄像头22的图像,检测的激光点/区域。通过软盘驱动器19,图像可以在不同计算机***之间传递。硬盘驱动器21存储空间更大,而且访问速度更快。其他的存储设备,比如闪存,也可以用来图像供计算机***10访问。摄像设备22可用于拍摄含有激光点的屏幕图像,以供中心处理器15处理,从而检测图像中的激光区域。计算机***10通过网络接入器20在网络上发送数据和接收来自其他计算机***的数据。用户通过键盘16输入指令给计算机***10。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行,例如,标准激光点/区域特征值的获取步骤和候选激光点/区域的生成步骤之间是独立,可以并行或以任意先后顺序进行。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (9)
1.一种激光点/区域检测方法,包括以下步骤:
获取标准激光点/区域的特征值;
从输入图像中产生候选的激光点/区域;
计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值;以及
确定具备最小特征偏移值的候选激光点/区域作为激光点/区域,
所述方法还包括,预先定义彼此不交叠的预定数目个激光点/区域类型,其中:
所述获取标准激光点/区域的特征值包括,分别获取该预定数目个类型的各个标准激光点/区域的特征值;
所述从输入图像中产生候选的激光点区域包括,利用与该预定数目个激光点/区域类型中的每种类型相关联的特征阈值,产生被划分到预定数目个激光点/区域类型中的候选的激光点/区域;
所述计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值包括,计算该候选的激光点/区域的特征值相对于与该候选的激光点/区域所属的类型对应的类型的标准激光点/区域的特征值的偏移值;
所述确定具备最小特征偏移值的激光点/区域作为激光点/区域包括,将被划分到一个激光点/区域类型中的所有候选的激光点/区域中的具备最小特征偏移值的激光点/区域确定作为该类型的激光点/区域。
2.根据权利要求1的激光点/区域检测方法,还包括:
基于所确定的激光点/区域的特征信息更新标准激光点/区域的特征值。
3.根据权利要求1的方法,所述从输入图像中产生候选的激光点/区域包括以预定特征阈值对帧图像进行过滤以得到候选的激光点/区域。
4.根据权利要求1的激光点/区域检测方法,其中所述获取标准激光点/区域的特征值包括下述操作中的至少一种:
将标准激光点/区域的特征值确定为预定的固定值;
对每种激光点/区域类型,将启动所述激光点/区域检测方法后的包含相应类型激光点/区域的头几帧图像视为初始数据,基于此初始数据训练得到该类型的标准激光点/区域的特征值;
从已经预先针对每种激光点/区域类型基于大量初始数据训练得到的每种类型的标准激光点/区域的特征值中,获取该类型的标准激光点/区域的特征值。
5.根据权利要求3的方法,其中所述预定特征阈值包括各个色彩属性阈值中的一个或多个。
6.根据权利要求1的方法,所述特征包括以下一项或多项:
色彩;
大小和形状;以及
位置和移动轨迹。
7.根据权利要求1的方法,所述计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值包括:
基于候选激光点/区域包含的色彩特征值和标准激光点/区域已估的色彩特征值计算色彩特征偏移值;
基于候选激光点/区域包含的大小和形状特征值和标准激光点/区域已估的大小和形状特征值计算大小和形状特征偏移值;
基于候选激光点/区域包含的位置和移动轨迹特征值和标准激光点/区域已估的位置和移动轨迹特征值计算位置和移动轨迹特征偏移值;
为色彩、大小和形状、位置和移动轨迹特征偏移值分别设置加权因子;
候选激光点/区域的特征偏移值为以下三个值之和:色彩特征偏移值乘以设置的相应加权因子,大小和形状特征偏移值乘以设置的相应加权因子,位置和移动轨迹特征偏移值乘以设置的相应加权因子。
8.根据权利要求7的方法,如果候选激光点/区域满足以下条件中的任一个,则将被视为干扰点/区域,而被丢弃:
预定特征属性值不符合预定值或预定范围;
色彩特征偏移值大于预定值;
大小和形状特征偏移值大于预定值;
位置和移动轨迹特征偏移值大于预定值;
该候选激光点/区域的特征偏移值大于特定值。
9.一种激光点/区域检测装置,包括:
标准激光点/区域特征值获取部件,用于获取标准激光点/区域的特征值;
候选激光点/区域产生部件,用于从输入图像中产生候选的激光点/区域;
偏移值计算部件,用于计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值;
激光点/区域确定部件,用于确定具备最小特征偏移值的候选激光点/区域作为激光点/区域,
所述激光点/区域检测装置还包括,类型定义部件,用于预先定义彼此不交叠的预定数目个激光点/区域类型,其中:
所述标准激光点/区域特征值获取部件获取标准激光点/区域的特征值包括,分别获取该预定数目个类型的各个标准激光点/区域的特征值;
所述候选激光点/区域产生部件从输入图像中产生候选的激光点区域包括,利用与该预定数目个激光点/区域类型中的每种类型相关联的特征阈值,产生被划分到预定数目个激光点/区域类型中的候选的激光点/区域;
所述偏移值计算部件计算每一候选的激光点/区域的特征值相对于标准激光点/区域的特征值的偏移值包括,计算该候选的激光点/区域的特征值相对于与该候选的激光点/区域所属的类型对应的类型的标准激光点/区域的特征值的偏移值;
所述激光点/区域确定部件确定具备最小特征偏移值的激光点/区域作为激光点/区域包括,将被划分到一个激光点/区域类型中的所有候选的激光点/区域中的具备最小特征偏移值的激光点/区域确定作为该类型的激光点/区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010193534 CN102270298B (zh) | 2010-06-04 | 2010-06-04 | 激光点/区域检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010193534 CN102270298B (zh) | 2010-06-04 | 2010-06-04 | 激光点/区域检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102270298A CN102270298A (zh) | 2011-12-07 |
CN102270298B true CN102270298B (zh) | 2013-04-10 |
Family
ID=45052600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010193534 Expired - Fee Related CN102270298B (zh) | 2010-06-04 | 2010-06-04 | 激光点/区域检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102270298B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103197773A (zh) * | 2012-01-09 | 2013-07-10 | 西安智意能电子科技有限公司 | 一种用于检测输入设备的三维位置信息的方法与*** |
CN103425409B (zh) * | 2013-07-30 | 2017-12-15 | 华为终端(东莞)有限公司 | 投影显示的控制方法和装置 |
CN104898956B (zh) * | 2014-03-07 | 2019-10-29 | 联想(北京)有限公司 | 信息处理方法、输入设备和电子设备 |
CN104678672B (zh) * | 2015-03-16 | 2018-03-23 | 京东方科技集团股份有限公司 | 一种电致变色模组、显示面板、显示装置和显示方法 |
CN106445195B (zh) | 2015-08-11 | 2019-05-24 | 华为技术有限公司 | 屏幕中激光点的位置检测方法、装置及*** |
CN106949832B (zh) * | 2017-03-20 | 2020-08-25 | 广汽本田汽车有限公司 | 车***置检测方法及装置 |
EP3404620A1 (en) * | 2017-05-15 | 2018-11-21 | Ecole Nationale de l'Aviation Civile | Selective display in an environment defined by a data set |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5914783A (en) * | 1997-03-24 | 1999-06-22 | Mistubishi Electric Information Technology Center America, Inc. | Method and apparatus for detecting the location of a light source |
CN1716283A (zh) * | 2004-06-28 | 2006-01-04 | 微光科技有限公司 | 阵列式感光器指标***及其方法 |
CN101101509A (zh) * | 2006-07-03 | 2008-01-09 | 微光科技股份有限公司 | 指针输入***的输入及校正方法 |
CN101419513A (zh) * | 2008-12-09 | 2009-04-29 | 安徽大学 | 一种红外激光笔遥指虚拟触摸*** |
-
2010
- 2010-06-04 CN CN 201010193534 patent/CN102270298B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5914783A (en) * | 1997-03-24 | 1999-06-22 | Mistubishi Electric Information Technology Center America, Inc. | Method and apparatus for detecting the location of a light source |
CN1716283A (zh) * | 2004-06-28 | 2006-01-04 | 微光科技有限公司 | 阵列式感光器指标***及其方法 |
CN101101509A (zh) * | 2006-07-03 | 2008-01-09 | 微光科技股份有限公司 | 指针输入***的输入及校正方法 |
CN101419513A (zh) * | 2008-12-09 | 2009-04-29 | 安徽大学 | 一种红外激光笔遥指虚拟触摸*** |
Also Published As
Publication number | Publication date |
---|---|
CN102270298A (zh) | 2011-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102270298B (zh) | 激光点/区域检测方法和装置 | |
CN100579174C (zh) | 一种运动检测方法和装置 | |
US11295476B2 (en) | Methods and systems to increase accuracy of eye tracking | |
US10075652B2 (en) | Image processing device for tracking a target object and image processing method, computer program product, and image processing system for same | |
CN102193651B (zh) | 用于识别激光点的设备、方法和*** | |
US8243987B2 (en) | Object tracking using color histogram and object size | |
US9965860B2 (en) | Method and device for calibration-free gaze estimation | |
US20110274315A1 (en) | Method, device, and computer-readable medium of object detection | |
CN109886994B (zh) | 视频跟踪中自适应遮挡检测***及方法 | |
Nawaz et al. | A protocol for evaluating video trackers under real-world conditions | |
CN104823444A (zh) | 用于视频监控***的图像稳定技术 | |
CN102024263B (zh) | 用于检测运动的装置和方法 | |
CN104254873A (zh) | 视频监控***中的警报量归一化 | |
CN102236902B (zh) | 一种目标检测方法和装置 | |
CN104978733B (zh) | 烟雾检测方法以及装置 | |
CN109145678A (zh) | 信号灯检测方法及装置和计算机设备及可读存储介质 | |
CN108268830A (zh) | 光学识别方法 | |
JP7446060B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
CN110572636B (zh) | 摄像头脏污检测方法、装置、存储介质及电子设备 | |
CN106651797A (zh) | 一种信号灯有效区域的确定方法和装置 | |
CN110287767A (zh) | 可防攻击的活体检测方法、装置、计算机设备及存储介质 | |
CN109240123A (zh) | 一种面向智能物流车的在环仿真方法及*** | |
CN106611165B (zh) | 一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置 | |
CN102479416B (zh) | 消除监控***中误报警的方法及装置 | |
CN111989917B (zh) | 电子设备及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130410 Termination date: 20210604 |