CN101398689A - 实时颜色自动采集的机器人控制方法及机器人 - Google Patents
实时颜色自动采集的机器人控制方法及机器人 Download PDFInfo
- Publication number
- CN101398689A CN101398689A CNA2008102020042A CN200810202004A CN101398689A CN 101398689 A CN101398689 A CN 101398689A CN A2008102020042 A CNA2008102020042 A CN A2008102020042A CN 200810202004 A CN200810202004 A CN 200810202004A CN 101398689 A CN101398689 A CN 101398689A
- Authority
- CN
- China
- Prior art keywords
- color
- robot
- pixel
- mark
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000003068 static effect Effects 0.000 claims abstract description 14
- 230000033001 locomotion Effects 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 239000004033 plastic Substances 0.000 claims description 5
- 229920003023 plastic Polymers 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 4
- 230000018109 developmental process Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000003909 pattern recognition Methods 0.000 claims description 3
- 230000010485 coping Effects 0.000 abstract 1
- 230000004888 barrier function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
一种实时颜色自动采集的机器人控制方法,包括:(1)在机器人顶部设置一顶盖,顶盖上分布有若干种色标样本;(2)对所述色标样本进行采样,并对采集后的每个色标信息进行阈值分割;(3)当机器人获得彩色全局图像后,将使用快速颜色分割和序贯连通区域搜索算法得到图像中各色块信息;(4)通过步骤(3)得到相关色块信息,并提取出色块后与预先存储的模板进行三角形/梯形的模板匹配,并找到最接近的模板,从而计算出该模板对应的目标在当前静态全局图像中的像素坐标和角度信息;(5)完成本机器人的自定位操作;(6)确定本机器人的路径规划,以便实现机器人的自主移动。
Description
技术领域
本发明涉及自动控制领域,尤其涉及一种高速视觉颜色采集和处理的自主移动的机器人控制方法及对应的机器人***。
背景技术
自主移动机器人能够实时对目标和障碍物进行识别和测量,学习和理解外界环境,并根据设定的目标进行运动规划,在无人干预下实时调整运动规划,移动到目的地,并完成设定的工作。因此,它可以帮助人类完成一些对人体有害,人类无法直接参与的工作,诸如野外作业、深海探测、军事侦察、宇宙开发、核化污染等危险和精密的工作。
目前自主移动机器人***主要是由运动机构、传感器机构、控制机构和决策机构四部分构成。运动机构是由滚轮等移动装置组合而成的,供机器人移动用;传感器机构包括超声波、激光、温湿度、压力、速度加速度传感器,里程计,全球定位***等,分别可以测量机器人自身的运动状态、自身位置、外界环境信息和外环境中其他物体的位置;决策机构可以根据各种收集到的信息做出路径规划,并通过控制机构控制机器人完成避障运动。
机器视觉***在机器人的传感器中占有越来越重要的地位,它是指用计算机来实现人的视觉功能,也就是用计算机来实现对客观的三维世界的识别。机器视觉***一般都会涉及一个机器人装置的颜色采集问题,一般现有的颜色采集都是在离线的条件下,由经验丰富的工程师通过手动的方式对静态的机器人色标进行颜色采集。由此导致现有技术存在着以下的缺陷:
首先,由于在实际机器人使用的环境中,视觉***对于人为因素等引起光照条件的改变极其敏感,导致离线静态采集的颜色信息不适用于实时环境。虽然理论上我们可以构造出各种光照模型,运行过程中进行自适应,对模型参数的调整达到理想的效果。但是实际上由于参数的不断引入增加,***误差积累导致机器人视觉部分变得更加不稳定,甚至崩溃。
其次,自主移动机器人通过相机等采集器采集到的图像,在确定当前图像中其它目标(如其它自主移动机器人)的像素坐标时,需要判断一个像素属于某种颜色,对于通常使用的YUV、RGB和HIS等三维度色彩空间来说,如需要进行6次比较运算,如果判断其属于n种颜色中的一种,就需要进行6n次比较计算,计算量很大,这样容易导致更长时间的判断延迟。
发明内容
本发明的一目的在于提供一种实时颜色自动采集的机器人控制方法,以解决现有技术中人为因素等引起光照条件的改变极其敏感,导致离线静态采集的颜色信息不适用于实时环境,进行影响机器人的颜色识别的技术问题。
本发明的另一目的在于提供一种实时颜色自动采集的机器人。
一种实时颜色自动采集的机器人控制方法,包括:
(1)在机器人顶部设置一顶盖,顶盖上分布有若干种色标样本;
(2)对所述色标样本进行采样,并对采集后的每个色标信息进行阈值分割;
(3)当机器人获得彩色全局图像后,将使用快速颜色分割和序贯连通区域搜索算法得到图像中各色块信息;
(4)通过步骤(3)得到相关色块信息,并提取出色块后与预先存储的模板进行三角形/梯形的模板匹配,并找到最接近的模板,从而计算出该模板对应的目标在当前静态全局图像中的像素坐标和角度信息;
(5)完成本机器人的自定位操作;
(6)确定本机器人的路径规划,以便实现机器人的自主移动。
本发明还包括:机器人定时或事件触发式地对所述顶盖色标样本颜色重新进行阈值分割。
步骤(1)中顶盖的中心的圆形色标为黄色、其他图形色标分别分布在距离中心若干距离处,顺时针依次为红色、橙色、蓝色和绿色,并将该些圆形色标设置在黑色的纸质板或塑料板上。
步骤(2)中快速颜色分割进一步为:首先建立数组Hcp、Scp、Icp,数组大小为360、256、256,初始全部为0;从低位起,依次规定各位代表的颜色,设定颜色阈值时,将Hcp、Scp、Icp对应范围内对应位置设为1。其他颜色以此类推;判断某一像素属于某一颜色时,根据像素的值读取对应数组内的元素,进行“位”与运算,如果运算结果某一位上的值为1,表示该像素输入色彩分量中该位所代表的颜色,如果所有位都为0,则表述该像素不属于任何已经设定的颜色,将三个色彩分量的值进行2次位与运算就可直接判断出该像素的值所属的颜色范围。
步骤(2)中序贯连通区域搜索算法进一步为:行搜索中,相邻的相同颜色像素作为一个Mark,每一Mark中包括该段像素的起点、像素数目和颜色类型,并设定相同颜色构成的连通区域为一Group,Group记录了该连通区域的颜色、序号、像素总数、外接矩形、计算得到的重心和每一个Mark的信息;搜索过程中,随着行扫描的进行,新搜索到的Mark,根据Mark的颜色特征或加到已有的Group中,或是产生新的Group,同时合并邻接的Group,当搜索到新的Mark且找到它的终点,就检查其八连通区域中上一行时候有相同颜色的像素,如果没有,就认为是新的连通区域,并生成新的Group记录该Mark,并该Mark作为连通区域的初始根节点,新的Group加入到记录链表的末端;如果检查到相同颜色的像素,就更新相关Group的信息,并修改该Mark的标记;如果该Mark同时和多个相同颜色的Group邻接,所有Group均合并到根节点最左边的Group中,更新Group信息。
确定本机器人的路径规划是通过快速随机扩展树算法来计算获得。
步骤(5)还进一步包括:自主移动机器人相机的自定位,在静态全局视觉体系中,利用Tsai方法求解3D投影模型;在动态全局视觉体系中,采用改进的张正友算法,依靠多幅图像建立其对应关系。
一种实时颜色自动采集的机器人,包括运动机构、传感器机构、控制机构和决策机构,还包括图像采集和处理机构,在机器人设置一顶盖,顶盖上分布有若干种色标样本,图像采集和处理机构包括镜头、摄像头、视频接口和计算机处理单元,计算机处理单元进一步包括:
颜色分割处理子单元:对采集到的经数字化的图像进行颜色分割;
连通搜索处理子单元:对颜色分割的图像经序贯连通区域搜索算法得到图像中各色块信息;
模式识别处理子单元:提取出色块后与预先存储的模板进行三角形/梯形的模板匹配,并找到最接近的模板,从而计算出该模板对应的目标在当前静态全局图像中的像素坐标和角度信息;
自定位处理子单元:用于完成本机器人的自定位操作;
颜色阈值管理器:用于采集顶盖色标样本,并对颜色进行阙值分割;
路径规划子单元:用于确定本机器人的路径规划。
镜头可以为定焦或者变焦镜头;视频接口根据摄像头的型号可以为IEEE1 394a/b、Camera Link或者千兆以太网;计算机***可以为x86体系的PC机、工控机或者是ARM体系的嵌入式开发平台。
所述自主机器人采用f180小型足球机器人。
与现有技术相比,本发明具有以下技术效果:在确定当前图像上各个目标所在位置时,本发明预先在机器人上设定采样顶盖,通过这种方式,机器人现场采样到的色彩样本,是具有现场感的,即机器人采集到的全局彩色图像中所在的场景(当前灯光等),与采样到的色彩样本所在的环境是大体相似的,这样就提高其色彩判断的准确率和快速度,也提高了当前图像上各个目标所在位置的精准度。
本发明在快速颜色分割时,能快速地利用采集到的色彩样本进行两次位与运算,确定了各个像素的颜色信息,达到快速分割的效果。
本发明可以定时或事件触发式地进行采样,更提高了提高其色彩判断的准确率。
附图说明
图1是本发明机器人的一模型;
图2是自动颜色采集模板示意图;
图3是机器人颜色采集处理流程图;
图4是本发明实时颜色自动采集的机器人控制方法的流程图;
图5是连同区域的序贯搜索算法示意图;
图6颜色阈值重分割算法的示意图。
具体实施方式
以下结合附图,具体说明本发明。
本发明的核心在于:机器人颜色采集***以有避障功能的颜色自动采样替代了现有技术的离线静态采样方式,而这种优势是通过机器人内部处理器的各个算法模块来实现的;另外,通过处理器内的路径规划***自行对障碍物进行躲避,实现了无人监控自行避障。
一种实时颜色自动采集的机器人,请参阅图1,其为机器人的一模型,本发明的机器人可采用f180小型足球机器人,本发明的主要发明点在于在其上设置一顶盖,请参阅图2,其为顶盖的一示例图。顶盖如图2所示,顶盖由五种直径43-50mm的圆形色标纸和直径哑光黑色的纸质板或者塑料顶板组成。颜色的顺序如如图2所示,顶板中心为黄色,其他色块均匀分布在距离中心50mm处,顺时针依次为红色、橙色、蓝色和绿色。顶盖与自主移动机器人之间通过螺栓连接固定。顶盖上的色标的颜色类型及个数是可以根据具体的场景设定的。机器人本身具有一采集装置,来采集顶盖上的色标,采集装置(如相机、摄像机等)可以采用机器人现带有的图像采集和处理机构中的设备,也可以独立添设,但是通常是利用现有的设备来完成其色标的采集。这一顶盖涵盖了全部我们要采集颜色信息。在动态环境中,我们仅将严格满足该顶盖的颜色作为自适应的输入,同时识别其他一些视觉范围内的物体。
机器人通常包括运动机构、传感器机构、控制机构和决策机构。另外还包括图像采集和处理机构,图像采集和处理机构包括现有通常有镜头、摄像头、视频接口和计算机处理单元。其中镜头根据环境的不同,可以选择定焦镜头或者变焦镜头;视频接口根据摄像头的选择可以为IEEE1394a/b、CameraLink、千兆以太网等;计算机***可以为x86体系的PC机或者是工控机,也可以选择ARM体系的嵌入式开发平台。
从逻辑上来分的话,计算机处理单元1进一步包括(请参阅图3):
颜色分割处理子单元11:对采集到的图像进行颜色分割;
连通搜索处理子单元12:对颜色分割的图像经序贯连通区域搜索算法得到图像中各色块信息;
模式识别处理子单元13:提取出色块后与预先存储的模板进行三角形/梯形的模板匹配,并找到最接近的模板,从而计算出该模板对应的目标在当前静态全局图像中的像素坐标和角度信息;
自定位处理子单元14:用于完成本机器人的自定位操作;
颜色阈值管理器15:用于采集顶盖色标样本,并对颜色进行阙值分割。以机器人踢足球比赛这个场景为例,机器人可以在开赛前预先进行色标样本的采样,并将采样的结果设置在颜色阈值管理器中,颜色阈值管理器也可以离线载入配置文件,确定要采集颜色的信息。程序启动之后,根据生成后面提到“位”与运算的数组,并进行各颜色阈值交叠的维护。在程序退出时,将阈值数组压缩存储到配置文件中。
路径规划子单元16:用于确定本机器人的路径规划。
计算机处理单元1上的子单元通常是用软件来实现,可集成在一处理器,通过处理器实体来实现。计算机处理单元1可以与执行机构2连接,去完成机器人自移动的功效。
本发明提出一种无人监控实时颜色采集的方法,请参见图4,该***结合了自主移动机器人实物和经过仿真验证过的机器视觉和运动控制算法,可以实现无人监控的视觉自动采样。其包括了以下步骤:
S101:在机器人顶部设置一顶盖,顶盖上分布有若干种色标样本
将五种圆形色标纸和直径哑光黑色的纸质板或者塑料顶板组成一顶盖。选择黄色圆形色标纸置于所述顶盖中心部位,其他色标纸则均匀分布在距离中心50mm处,顺时针依次为红、橙、蓝、绿。另外在顶板的四周开设若干螺纹孔,将顶盖以螺栓固定在一自主移动机器人顶部,该自主移动机器人可以选择f180小型足球机器人,但并不限于该种机器人。
S102:对所述色标样本进行采样,并对采集后的每个色标信息进行阈值分割;
机器人定时或事件触发式地对所述顶盖色标样本颜色重新进行阈值分割。机器人可以在每次中场休息时,或者是每过一预先设定的时间(如十分钟)。该步骤主要是利用色度和亮度上的背景消减分割结果,如图6,根据判据虚线以上的区域用来计算作为每个色块的阈值信息。色块按照色度大小排序,避免橙色和红色的干扰。考虑到现场的情况,机器人会现场对色标信息进行采样,再进行阈值分割。现有的是预先阈值进行存储,这样,存储的阈值信息都是一些比较理想的状态(比如光照强的状态),而现场的色彩采集时与存储的色标阈值信息就存在误差,容易使得后续得到色块信息时出现偏差,进而影响机器人的行动。而本发明根据现有情况进行采集,确定阈值分割,减少了这种情况的发生,提高了得到色块信息的精准度。
S130:当机器人获得彩色全局图像后,将使用快速颜色分割和序贯连通区域搜索算法得到图像中各色块信息。
首先来介绍快速颜色分割算法:
颜色阈值一般都是用最大值和最小值来表示。判断一个像素值是否属于某种颜色,也就是判断该像素在色彩空间的各个分量上是否都介于颜色阈值的最大值和最小值之间。对于通常使用的YUV、RGB和HIS等三维度色彩空间来说,判定一个像素属于某种颜色需要进行6次比较运算,如果要判断其属于n种颜色中的一种,就需要进行6n次比较运算,因此计算量很大,对机器人视觉***是一个很大的负担。
为此,发明人提出了一种基于HIS空间的快速颜色分割方法,只需要进行2次“位与”运算,即可判断出某个像素值是否属于采样颜色中的一种。具体方法如下:
首先建立三个数组,分别为Hcp、Scp、Icp,数组大小分别为360、256、256,且初始全部为0。从低位起,依次规定各位代表的颜色。该设定可以是配置文件预先设定的。设定颜色阈值时,将Hcp、Scp、Icp对应范围内对应位置设为1,其他颜色以此类推。判断时,根据像素的值读取对应数组内的元素,进行“位”与运算,如果结果某一位上的值为1,表示该像素属于色彩分量中该位所代表的颜色,如果所有位都为0,则表述该像素不属于任何已经设定的颜色。将三个色彩分量的值进行2次位与运算就可直接判断出该像素的值所属的颜色范围。
当确定图像中各个像素所在的颜色范围,即确定颜色类型后,本发明接下来用序贯连通区域搜索算法确定当前图像中色块信息。
序贯连通区域搜索算法整体采用的是行搜索,首先,我们先把相邻的相同颜色像素定义为一个Mark,该Mark中包括了该段像素的起点、像素数目和颜色类型;然后将相同颜色构成的连通区域定义为一个数据结构Group,该Group中记录了该连通区域的颜色、序号、像素总数、外接矩形、计算机得到的重心和每一个Mark的信息。在判断连通区域的过程中,针对每一个像素采用8连通关系进行判定。
请参见图5,其为序贯连通区域搜索算法示意图。
首先将每个连通区域看作一棵树,每一个Mark是一个节点,连通区域最靠左边作为树的根节点,如图(a)中就包含一四个相同颜色像素的Mark和一五个相同颜色像素的Mark,同时就产生了两个Group:Group1和Group2。
然后随着行扫描的进行,当搜索到新的Mark且找到它的终点时,就检查其八连通区域中上一行是否有相同颜色的像素,如果检查到相同颜色信息的像素,就更新相关Group的信息,并修改该Mark的标记,如图(b)中Group1增加到8个像素,Group2增加到9个像素,图(c)中Group1增加到16个像素,Group2增加到9个像素;如果没有检查到相同颜色信息的像素,则认为是新的连通区域,并生成新的Group且记录该Mark,该Mark作为新连通区域的初始根节点。另外如果该Mark同时和多个相同颜色的Group邻接,所有Group均合并到根节点最左边的Group中,更新Group信息,如图(d)所示,Group2合并到了Group1,形成了一个连通区域。
S104:通过步骤S103得到相关色块信息,并提取出色块后与计算机***中预先存储的模板进行三角形/梯形的模板匹配,并找到最接近的模板,从而计算出各个目标(如目标机器人)在当前的静态全局图像中的像素坐标和角度信息。
当前图像上各个色块确定后,可以该些色块与预先存储的模板(如其它目标机器人、球等)进行匹配,匹配成功的,即可确认各个色块表示的目标,是球,还是其它机器人。对目标进行若干点的采样后,即可确定其重心或中心,测量重心或中心在当前图像中的像素坐标,即为该目标所在的位置。
至于角度信息,可以通过以下方式来获得,模板上找到一组向量,在匹配后的色块上找到另一组向量,将这个两个向量相除,即可获得该角度的cos值。比如,某一色块为某一机器人,模板上该机器人的重心所在的点、两个边缘所在的点(如头之类的),在色块上找到重心,及该边缘对应的点,即可确定两组向量,由此也确定了该机器人的角度信息(比中,朝向哪的)
S105:通过若干物理传感器得到当前自主移动机器人的位置和姿态来进行所述自主移动机器人的自定位工作。
所谓自主机器人自定位一般是根据机器人携带的传感器获得的位置信息和环境信息对当前自身位姿进行调整,即相当于获取自主移动机器人周边的局部信息。在本实施例中,自主移动机器人的自定位主要是相机的自定位,而相机的自定位是通过以下实现的:在静态全局视觉体系中,可以主动标定相机外部参数,这里利用Tsai方法线性求解3D投影模型,鲁棒性高;在动态全局视觉体系中,可以采用改进的张正友算法,依靠多幅图像建立其对应关系,灵活性强。发明人对Tsai方法进行了优化,使之对于误差小于10mm。下面对该改进的Tsai方法进行阐述:
理想的透镜成像应该满足小孔成像原理,但真实光学***由于镜头间的加工误差和装配误差,物点在图像平面上所成的实际像点和理论像点存在一定程度的误差,即畸变。畸变类型可分为径向畸变和切向畸变两种,大多数光学***中主要存在的是径向畸变,可以用下面的公式表示,这也是小孔成像线性模型非线性化的原因。
(x-uc)(1+k1(u2+v2))=u-uc
(y-vc)(1+k1(u2+v2))=v-vc
其中,(u,v)为一个点的数字化坐标,(x,y)为理想的数字化坐标,(uc,vc)为畸变中心。
Tsai方法是一种两步法,第一步根据径向一致约束得出第一组参数,尽管径向一致约束是非线性的,但是使用非常简单的方法就可以求出第一组参数。比如在图像平面上,点(uc,vc),(x,y),(u,v)共线,或者直线(xc,yc)(x,y)与直线(xc,yc)、(u,v)平行或斜率相等,则有:
通常把图像中心取作畸变中心和主点的坐标,因此:
第二步是用非线性二乘法来迭代求解第二组参数,使投影方程的误差最小,迭代的初始值是在忽略镜头畸变情况下求解两个未知量的方程得到的。
然而Tsai的畸变校正算法仅对k1、f和Tz进行了优化计算(其中k1为镜头径向形变的一阶系数、f为镜头的焦距、Tz为世界坐标系到相机坐标系的转移向量(Tx,Ty,Tz)中的一个参数),而其他内部参数和外部参数都采用线性计算的近似值作为结果。在本实施例中为了提高计算精度,首先固定其他参数,对k1进行优化,然后逐次固定部分参数,再对其他参数进行优化计算,最后一次优化同时优化所有参数。由于需要获得足够深度信息需要相机的成像平面和场地平面夹角要达到30°以上。如果不能计算出f和Tz的值,只用f/Tz的值只能二维场地平面内校正信息。
由于关键点是共面点,在近似计算中求解齐次线性方程时有5个未知数(设Ty=1),所以至少需要选取5个关键点,当选取点多于5个时,可以采用伪转置矩阵求解最小方差求得未知量。关键点的分布要尽可能广。通过FORTRAN语言的非线性优化库,保证精度的前提下,缩减了运算时间。
S106:确定本机器人的路径规划,以便实现机器人的自主移动。
本发明利用k-d树加速最近邻表的查找来改进RRT算法,并利用该改进的RRT算法来进行所述自主移动机器人的路径规划。
传统的运动规划算法如A*算法、C空间路径搜索方法、Roadmap算法、人工势场方法等,都不适宜应用在非完整性的约束条件下。UIUC大学的La Valle和Kuffner提出了RRT算法。RRT算法是一种单查询的随机搜索方法,它不构建C空间的全部映像,而是经过一定策略对C空间进行采样,适用于非完整***。发明人在本实施例中对于RRT算法进行了改进,利用k-d树来加速最邻近表的查找,有效的避免了自由度增加而带来的指数***问题,在规划效率和规划路径优化上加入新参数进行调整折衷。
路径的RRT规划使用搜索树从初始状态到目标状态进行搜索。下附有为扩展的RRT伪代码,在每次迭代过程中,首先生成一个采样点,然后交替选择一棵RRT树执行ExtendState函数得到一个新的节点,然后对另一棵RRT树向这个新节点进行Connect扩展,直到两棵树相遇达到终止。
这里有三个主要函数:状态扩展ExtendState()、实际距离RealDistance()、随机状态RandomState()。首先,ExtsendState函数计算特定距离或者时间后,为了到达目标状态的下一个状态。如果在到达新状态的过程中和环境中的障碍物发生碰撞,那么会返回默认的EmptyState状态。通常,启发式方法在这里都适宜控制机器人。启发式方法(Heuristic method)不需要非常复杂,也不需要避障,仅进行碰撞检测即可。由于不需要依赖与随机搜索,越好的启发式算法平均情况下规划出的节点应该越少。其次,RealDistance函数需要计算时间或者距离的估计函数,用来估计Extend还需要重复多少次才能到达目的地。最后,RandomState函数返回环境状态空间内的一致状态。
function RRTMotionPlan(Environment,initialState,goalState)
variable nearestState,extendedState,targetState
variable RRTTree
nearestState←initialState
RRTtree←initialState
while Distance(nearestState,goalState)<threshold do
targetState←Target(goalState)
nearestState←Nearest(RRTTree,targetState)
extendedState←Extend(Environment,nearestState,targetState)
if extendedState!=EmptyState
then AddNode(RRTTree,extendedState)
return RRTTree
function Target(goalState)
variable p
p←UniformRandom(0,1)
if p∈[0,GoalProb]
then return goalState
else if p∈[GoalProb,1]
then return RandomState()
function Nearest(RRTTree,targetState)
variable nearestState;
nearestState←EmptyState;
for each State s∈RRTTree do
if Distance(s,targetState)<Distance(nearestState,targetState)
then nearestState←s;
return nearestState;
后续,本机器人通过通信接口将规划好的路径输入至执行***,由执行***经过速度分解处理后控制电机驱动模块,从而完成机器人的自主移动。
以上公开的仅为本发明的几个具体实施例,但本发明并非局限于此,任何本领域的技术人员能思之的变化,都应落在本发明的保护范围内。
Claims (10)
1、一种实时颜色自动采集的机器人控制方法,其特征在于,包括:
(1)在机器人顶部设置一顶盖,顶盖上分布有若干种色标样本;
(2)对所述色标样本进行采样,并对采集后的每个色标信息进行阈值分割;
(3)当机器人获得彩色全局图像后,将使用快速颜色分割和序贯连通区域搜索算法得到图像中各色块信息;
(4)通过步骤(3)得到相关色块信息,并提取出色块后与预先存储的模板进行三角形/梯形的模板匹配,并找到最接近的模板,从而计算出该模板对应的目标在当前静态全局图像中的像素坐标和角度信息;
(5)完成本机器人的自定位操作;
(6)确定本机器人的路径规划,以便实现机器人的自主移动。
2、如权利要求1所述的实时颜色自动采集的机器人控制方法,其特征在于,还包括:
机器人定时或事件触发式地对所述顶盖色标样本颜色重新进行阈值分割。
3、如权利要求1或2所述的实时颜色自动采集的机器人控制方法,其特征在于,步骤(1)中顶盖的中心的圆形色标为黄色、其他图形色标分别分布在距离中心若干距离处,顺时针依次为红色、橙色、蓝色和绿色,并将该些圆形色标设置在黑色的纸质板或塑料板上。
4、如权利要求1或2所述的实时颜色自动采集的机器人控制方法,其特征在于,步骤(3)中快速颜色分割进一步为:
首先建立数组Hcp、Scp、Icp,数组大小为360、256、256,初始全部为0;从低位起,依次规定各位代表的颜色,设定颜色阈值时,将Hcp、Scp、Icp对应范围内对应位置设为1,其他颜色以此类推;
判断某一像素属于某一颜色时,根据像素的值读取对应数组内的元素,进行“位”与运算,如果运算结果某一位上的值为1,表示该像素输入色彩分量中该位所代表的颜色,如果所有位都为0,则表述该像素不属于任何已经设定的颜色,将三个色彩分量的值进行2次位与运算就可直接判断出该像素的值所属的颜色范围。
5、如权利要求1中2所述的实时颜色自动采集的机器人控制方法,其特征在于,步骤(3)中序贯连通区域搜索算法进一步为:
行搜索中,相邻的相同颜色像素作为一个Mark,每一Mark中包括该段像素的起点、像素数目和颜色类型,并设定相同颜色构成的连通区域为一Group,Group记录了该连通区域的颜色、序号、像素总数、外接矩形、计算得到的重心和每一个Mark的信息;
搜索过程中,随着行扫描的进行,新搜索到的Mark,根据Mark的颜色特征或加到已有的Group中,或是产生新的Group,同时合并邻接的Group,当搜索到新的Mark且找到它的终点,就检查其八连通区域中上一行时候有相同颜色的像素,如果没有,就认为是新的连通区域,并生成新的Group记录该Mark,并该Mark作为连通区域的初始根节点,新的Group加入到记录链表的末端;如果检查到相同颜色的像素,就更新相关Group的信息,并修改该Mark的标记;如果该Mark同时和多个相同颜色的Group邻接,所有Group均合并到根节点最左边的Group中,更新Group信息。
6、如权利要求1或2所述的实时颜色自动采集的机器人控制方法,其特征在于,确定本机器人的路径规划是通过快速随机扩展树算法来计算获得。
7、如权利要求1或2所述的实时颜色自动采集的机器人控制方法,其特征在于,步骤(5)还进一步包括:自主移动机器人相机的自定位,在静态全局视觉体系中,利用Tsai方法求解3D投影模型;在动态全局视觉体系中,采用改进的张正友算法,依靠多幅图像建立其对应关系。
8、一种实时颜色自动采集的机器人,包括运动机构、传感器机构、控制机构和决策机构,还包括图像采集和处理机构,其特征在于,在机器人设置一顶盖,顶盖上分布有若干种色标样本,图像采集和处理机构包括镜头、摄像头、视频接口和计算机处理单元,计算机处理单元进一步包括:
颜色分割处理子单元:对采集到的图像进行颜色分割;
连通搜索处理子单元:对颜色分割的图像经序贯连通区域搜索算法得到图像中各色块信息;
模式识别处理子单元:提取出色块后与预先存储的模板进行三角形/梯形的模板匹配,并找到最接近的模板,从而计算出该模板对应的目标在当前静态全局图像中的像素坐标和角度信息;
自定位处理子单元:用于完成本机器人的自定位操作;
颜色阈值管理器:用于采集顶盖色标样本,并对颜色进行阙值分割;
路径规划子单元:用于确定本机器人的路径规划。
9、如权利要求8所述的实时颜色自动采集的机器人,其特征在于,顶盖的中心的圆形色标为黄色、其他图形色标分别分布在距离中心若干距离处,顺时针依次为红色、橙色、蓝色和绿色,并将该些圆形色标设置在黑色的纸质板或塑料板上。
10、如权利要求8所述的实时颜色自动采集的机器人,其特征在于,镜头可以为定焦或者变焦镜头;视频接口根据摄像头的型号可以为IEEE1394a/b、CameraLink或者千兆以太网;计算机***可以为x86体系的PC机、工控机或者是ARM体系的嵌入式开发平台,所述自主机器人采用f180小型足球机器人。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2008102020042A CN100573388C (zh) | 2008-10-30 | 2008-10-30 | 实时颜色自动采集的机器人控制方法及机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2008102020042A CN100573388C (zh) | 2008-10-30 | 2008-10-30 | 实时颜色自动采集的机器人控制方法及机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101398689A true CN101398689A (zh) | 2009-04-01 |
CN100573388C CN100573388C (zh) | 2009-12-23 |
Family
ID=40517286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2008102020042A Expired - Fee Related CN100573388C (zh) | 2008-10-30 | 2008-10-30 | 实时颜色自动采集的机器人控制方法及机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100573388C (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102375416A (zh) * | 2010-08-13 | 2012-03-14 | 同济大学 | 基于快速搜索树的人型机器人踢球动作信息处理方法 |
CN102997910A (zh) * | 2012-10-31 | 2013-03-27 | 上海交通大学 | 一种基于地面路标的定位导引***及方法 |
CN103056864A (zh) * | 2013-01-24 | 2013-04-24 | 上海理工大学 | 轮式运动机器人位置与角度的实时检测装置及方法 |
CN103927511A (zh) * | 2014-02-25 | 2014-07-16 | 华北电力大学(保定) | 基于差异特征描述的图像识别方法 |
CN103970134A (zh) * | 2014-04-16 | 2014-08-06 | 江苏科技大学 | 多移动机器人***协作实验平台及其视觉分割和定位方法 |
CN104154997A (zh) * | 2014-07-16 | 2014-11-19 | 北京空间机电研究所 | 一种无人机载轻小型自稳定航空多光谱成像*** |
CN104253981A (zh) * | 2014-09-28 | 2014-12-31 | 武汉烽火众智数字技术有限责任公司 | 一种用于视频侦查的运动目标按颜色排序的方法 |
CN104318297A (zh) * | 2014-09-28 | 2015-01-28 | 广西南宁推特信息技术有限公司 | 一种基于色标定位电子标签的机器人定位***及方法 |
CN105095895A (zh) * | 2015-04-23 | 2015-11-25 | 广州广电运通金融电子股份有限公司 | 有价文件识别装置自修正识别方法 |
CN105136302A (zh) * | 2015-05-04 | 2015-12-09 | 北京佰能电气技术有限公司 | 一种基于色彩传感器的定位装置 |
CN105518560A (zh) * | 2014-10-31 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 一种基于位置的控制方法、装置、可移动机器以及机器人 |
CN106426171A (zh) * | 2016-11-01 | 2017-02-22 | 河池学院 | 一种自行走式智能踢足球机器人 |
CN106541404A (zh) * | 2016-11-03 | 2017-03-29 | 四川阿泰因机器人智能装备有限公司 | 一种机器人视觉定位导航方法 |
CN107336251A (zh) * | 2016-09-20 | 2017-11-10 | 苏州小璐机器人有限公司 | 一种机器人队列的控制方法及*** |
CN107491714A (zh) * | 2016-06-13 | 2017-12-19 | 深圳光启合众科技有限公司 | 智能机器人及其目标物体识别方法和装置 |
CN107831758A (zh) * | 2016-09-16 | 2018-03-23 | 天津思博科科技发展有限公司 | 具有自适应功能的机器人装置 |
CN107831675A (zh) * | 2016-09-16 | 2018-03-23 | 天津思博科科技发展有限公司 | 基于智能学习技术的在线机器人控制装置 |
CN108280842A (zh) * | 2017-12-29 | 2018-07-13 | 广州海昇计算机科技有限公司 | 一种克服光照突变的前景分割方法 |
CN108369419A (zh) * | 2015-09-10 | 2018-08-03 | X开发有限责任公司 | 使用移动机器人的对象观测来生成时空对象清单并且使用该清单来确定用于移动机器人的监测参数 |
CN109196433A (zh) * | 2016-04-01 | 2019-01-11 | 轨迹机器人公司 | 使用规划的机器人行进路径的导航 |
CN109202911A (zh) * | 2018-11-08 | 2019-01-15 | 北京理工大学 | 一种基于全景视觉的集群两栖机器人三维定位方法 |
CN109458977A (zh) * | 2018-10-21 | 2019-03-12 | 合肥优控科技有限公司 | 机器人定向方法、***与计算机可读存储介质 |
CN109901594A (zh) * | 2019-04-11 | 2019-06-18 | 清华大学深圳研究生院 | 一种除草机器人的定位方法及*** |
CN110377033A (zh) * | 2019-07-08 | 2019-10-25 | 浙江大学 | 一种基于rgbd信息的小型足球机器人识别与追踪抓取方法 |
CN110618682A (zh) * | 2019-09-24 | 2019-12-27 | 河海大学常州校区 | 一种集控式足球机器人色标结构设计及其识别算法 |
CN111168681A (zh) * | 2020-01-10 | 2020-05-19 | 山东大学 | 面向人机安全交互的机械臂智能避障方法、***及机器人 |
WO2020098532A1 (zh) * | 2018-11-12 | 2020-05-22 | 杭州萤石软件有限公司 | 移动机器人的定位方法和移动机器人 |
CN113377108A (zh) * | 2021-06-09 | 2021-09-10 | 乐聚(深圳)机器人技术有限公司 | 双足机器人的控制方法、装置、设备及存储介质 |
-
2008
- 2008-10-30 CN CNB2008102020042A patent/CN100573388C/zh not_active Expired - Fee Related
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102375416B (zh) * | 2010-08-13 | 2013-10-23 | 同济大学 | 基于快速搜索树的人型机器人踢球动作信息处理方法 |
CN102375416A (zh) * | 2010-08-13 | 2012-03-14 | 同济大学 | 基于快速搜索树的人型机器人踢球动作信息处理方法 |
CN102997910B (zh) * | 2012-10-31 | 2016-04-13 | 上海交通大学 | 一种基于地面路标的定位导引***及方法 |
CN102997910A (zh) * | 2012-10-31 | 2013-03-27 | 上海交通大学 | 一种基于地面路标的定位导引***及方法 |
CN103056864A (zh) * | 2013-01-24 | 2013-04-24 | 上海理工大学 | 轮式运动机器人位置与角度的实时检测装置及方法 |
CN103927511A (zh) * | 2014-02-25 | 2014-07-16 | 华北电力大学(保定) | 基于差异特征描述的图像识别方法 |
CN103927511B (zh) * | 2014-02-25 | 2017-02-15 | 华北电力大学(保定) | 基于差异特征描述的图像识别方法 |
CN103970134A (zh) * | 2014-04-16 | 2014-08-06 | 江苏科技大学 | 多移动机器人***协作实验平台及其视觉分割和定位方法 |
CN103970134B (zh) * | 2014-04-16 | 2017-01-18 | 江苏科技大学 | 多移动机器人***协作实验平台及其视觉分割和定位方法 |
CN104154997A (zh) * | 2014-07-16 | 2014-11-19 | 北京空间机电研究所 | 一种无人机载轻小型自稳定航空多光谱成像*** |
CN104154997B (zh) * | 2014-07-16 | 2016-02-10 | 北京空间机电研究所 | 一种无人机载轻小型自稳定航空多光谱成像*** |
CN104253981A (zh) * | 2014-09-28 | 2014-12-31 | 武汉烽火众智数字技术有限责任公司 | 一种用于视频侦查的运动目标按颜色排序的方法 |
CN104318297A (zh) * | 2014-09-28 | 2015-01-28 | 广西南宁推特信息技术有限公司 | 一种基于色标定位电子标签的机器人定位***及方法 |
CN105518560B (zh) * | 2014-10-31 | 2018-02-02 | 深圳市大疆创新科技有限公司 | 一种基于位置的控制方法、装置、可移动机器以及机器人 |
CN105518560A (zh) * | 2014-10-31 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 一种基于位置的控制方法、装置、可移动机器以及机器人 |
US10627829B2 (en) | 2014-10-31 | 2020-04-21 | SZ DJI Technology Co., Ltd. | Location-based control method and apparatus, movable machine and robot |
WO2016169404A1 (zh) * | 2015-04-23 | 2016-10-27 | 广州广电运通金融电子股份有限公司 | 有价文件识别装置自修正识别方法及装置 |
US10452941B2 (en) | 2015-04-23 | 2019-10-22 | Grg Banking Equipment Co., Ltd. | Self-correction recognition method and device for valuable document recognition device |
CN105095895A (zh) * | 2015-04-23 | 2015-11-25 | 广州广电运通金融电子股份有限公司 | 有价文件识别装置自修正识别方法 |
CN105095895B (zh) * | 2015-04-23 | 2018-09-25 | 广州广电运通金融电子股份有限公司 | 有价文件识别装置自修正识别方法 |
RU2679383C1 (ru) * | 2015-04-23 | 2019-02-07 | Джи Ар Джи БЭНКИНГ ЭКВИПМЕНТ КО., ЛТД. | Самокорректирующиеся способ и устройство распознавания для устройства распознавания ценных документов |
EP3287950A4 (en) * | 2015-04-23 | 2018-05-09 | GRG Banking Equipment Co., Ltd. | Self-correction recognition method and device for valuable document recognition device |
CN105136302A (zh) * | 2015-05-04 | 2015-12-09 | 北京佰能电气技术有限公司 | 一种基于色彩传感器的定位装置 |
CN108369419A (zh) * | 2015-09-10 | 2018-08-03 | X开发有限责任公司 | 使用移动机器人的对象观测来生成时空对象清单并且使用该清单来确定用于移动机器人的监测参数 |
CN109196433A (zh) * | 2016-04-01 | 2019-01-11 | 轨迹机器人公司 | 使用规划的机器人行进路径的导航 |
CN107491714B (zh) * | 2016-06-13 | 2022-04-05 | 中科晶锐(苏州)科技有限公司 | 智能机器人及其目标物体识别方法和装置 |
CN107491714A (zh) * | 2016-06-13 | 2017-12-19 | 深圳光启合众科技有限公司 | 智能机器人及其目标物体识别方法和装置 |
CN107831758A (zh) * | 2016-09-16 | 2018-03-23 | 天津思博科科技发展有限公司 | 具有自适应功能的机器人装置 |
CN107831675A (zh) * | 2016-09-16 | 2018-03-23 | 天津思博科科技发展有限公司 | 基于智能学习技术的在线机器人控制装置 |
CN107336251A (zh) * | 2016-09-20 | 2017-11-10 | 苏州小璐机器人有限公司 | 一种机器人队列的控制方法及*** |
CN106426171A (zh) * | 2016-11-01 | 2017-02-22 | 河池学院 | 一种自行走式智能踢足球机器人 |
CN106541404A (zh) * | 2016-11-03 | 2017-03-29 | 四川阿泰因机器人智能装备有限公司 | 一种机器人视觉定位导航方法 |
CN106541404B (zh) * | 2016-11-03 | 2018-11-20 | 四川阿泰因机器人智能装备有限公司 | 一种机器人视觉定位导航方法 |
CN108280842A (zh) * | 2017-12-29 | 2018-07-13 | 广州海昇计算机科技有限公司 | 一种克服光照突变的前景分割方法 |
CN108280842B (zh) * | 2017-12-29 | 2020-07-10 | 广州海昇计算机科技有限公司 | 一种克服光照突变的前景分割方法 |
CN109458977A (zh) * | 2018-10-21 | 2019-03-12 | 合肥优控科技有限公司 | 机器人定向方法、***与计算机可读存储介质 |
CN109202911A (zh) * | 2018-11-08 | 2019-01-15 | 北京理工大学 | 一种基于全景视觉的集群两栖机器人三维定位方法 |
WO2020098532A1 (zh) * | 2018-11-12 | 2020-05-22 | 杭州萤石软件有限公司 | 移动机器人的定位方法和移动机器人 |
CN109901594A (zh) * | 2019-04-11 | 2019-06-18 | 清华大学深圳研究生院 | 一种除草机器人的定位方法及*** |
CN110377033A (zh) * | 2019-07-08 | 2019-10-25 | 浙江大学 | 一种基于rgbd信息的小型足球机器人识别与追踪抓取方法 |
CN110618682A (zh) * | 2019-09-24 | 2019-12-27 | 河海大学常州校区 | 一种集控式足球机器人色标结构设计及其识别算法 |
CN111168681A (zh) * | 2020-01-10 | 2020-05-19 | 山东大学 | 面向人机安全交互的机械臂智能避障方法、***及机器人 |
CN113377108A (zh) * | 2021-06-09 | 2021-09-10 | 乐聚(深圳)机器人技术有限公司 | 双足机器人的控制方法、装置、设备及存储介质 |
CN113377108B (zh) * | 2021-06-09 | 2024-05-28 | 乐聚(深圳)机器人技术有限公司 | 双足机器人的控制方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN100573388C (zh) | 2009-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100573388C (zh) | 实时颜色自动采集的机器人控制方法及机器人 | |
Beltrán et al. | Automatic extrinsic calibration method for lidar and camera sensor setups | |
WO2021233029A1 (en) | Simultaneous localization and mapping method, device, system and storage medium | |
CN109598765B (zh) | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 | |
Liu et al. | Targetless extrinsic calibration of multiple small FoV LiDARs and cameras using adaptive voxelization | |
CN110176032B (zh) | 一种三维重建方法及装置 | |
CN112785702A (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
Plebe et al. | Localization of spherical fruits for robotic harvesting | |
García-Moreno et al. | LIDAR and panoramic camera extrinsic calibration approach using a pattern plane | |
CN103733022A (zh) | 3d机器视觉扫描信息提取*** | |
CN102693543B (zh) | 室外环境下变焦云台摄像机全自动标定方法 | |
CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
CN114689038A (zh) | 基于机器视觉的果实检测定位与果园地图构建方法 | |
CN116817891A (zh) | 一种实时多模态感知的高精地图构建方法 | |
Jiao et al. | Lce-calib: automatic lidar-frame/event camera extrinsic calibration with a globally optimal solution | |
CN114419259B (zh) | 一种基于物理模型成像仿真的视觉定位方法及*** | |
CN115546594A (zh) | 一种基于激光雷达和相机数据融合的实时目标检测方法 | |
Wang et al. | P2O-Calib: Camera-LiDAR Calibration Using Point-Pair Spatial Occlusion Relationship | |
Ge et al. | LiDAR and Camera Calibration Using Near-Far Dual Targets | |
Kim et al. | Automatic Extrinsic Calibration of a Camera and a 2D LiDAR with Point-Line Correspondences | |
dos Santos Rosa et al. | Prerequisite study for the development of embedded instrumentation for plant phenotyping using computational vision | |
Yudin et al. | Cloudvision: Dnn-based visual localization of autonomous robots using prebuilt lidar point cloud | |
US20230298203A1 (en) | Method for selecting surface points from a cad model for locating industrial 3d objects, application of this method to the location of industrial 3d objects, and augmented reality system usi | |
CN117406185B (zh) | 雷达与相机间的外参标定方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091223 Termination date: 20121030 |