CN113255455B - 基于矢量去光照影响算法的单目相机物体识别与定位方法 - Google Patents

基于矢量去光照影响算法的单目相机物体识别与定位方法 Download PDF

Info

Publication number
CN113255455B
CN113255455B CN202110463617.7A CN202110463617A CN113255455B CN 113255455 B CN113255455 B CN 113255455B CN 202110463617 A CN202110463617 A CN 202110463617A CN 113255455 B CN113255455 B CN 113255455B
Authority
CN
China
Prior art keywords
image
target object
illumination
robot
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110463617.7A
Other languages
English (en)
Other versions
CN113255455A (zh
Inventor
萧毅鸿
李俊
王道伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Speed China Technology Co Ltd
Original Assignee
Speed Space Time Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Speed Space Time Information Technology Co Ltd filed Critical Speed Space Time Information Technology Co Ltd
Priority to CN202110463617.7A priority Critical patent/CN113255455B/zh
Publication of CN113255455A publication Critical patent/CN113255455A/zh
Application granted granted Critical
Publication of CN113255455B publication Critical patent/CN113255455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于矢量去光照影响算法的单目相机物体的识别与定位方法，包括步骤：S1采用机器人采集影像图，并对影像图进行去光照处理；S2对经去光照处理后的影像图进行滤波处理，获得滤波后的图像；S3将图像进行色彩空间转换，再根据目标物体的颜色阈值，获得二值图像；S4排除目标区域外的干扰物，确定目标物体，获得目标物体的图像坐标；S5根据目标物体的图像坐标，判断目标区域内是否存在目标物体，若不存在则返回空并结束此次识别与定位；若存在则返回目物体的中心坐标，再调整机器人的头部角度和身***姿，使目标物体的中心坐标与图像的中心位置重合，然后根据计算模型求出目标物体到机器人的距离，获得目标物体的识别结果。

Description

基于矢量去光照影响算法的单目相机物体识别与定位方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于矢量去光照影响算法的单目相机物体识别与定位方法。
背景技术
基于计算机视觉的定位识别研究是近些年发展迅速的一项前沿科技课题，其在诸多领域都有着多方面的应用和十分广阔的开发前景。但是光照对于物体的识别总有着极大的影响，同样的物体，在不同的光照强度，不同的光照角度，其识别的成功率相差甚远。在物体的定位测距方面，通常需要双目相机、RGBD深度相机或者激光雷达等设备，设备昂贵且易受外界因素干扰。
因此，有必要开发一种基于矢量运算去光照算法的单目相机物体识别与定位，通过矢量算法去除图像的光照影响，再排除目标区域的干扰，从而精准的识别到目标区域内的目标物体，该方法可运用于无人机定位目标物体，或乒乓球、高尔夫球等自动拾取等生活场景，应用效果表明该方法准确可靠，识别率高，识别速度快，定位误差在3厘米范围内。
发明内容
本发明要解决的技术问题是提供一种基于矢量去光照影响算法的单目相机物体的识别与定位方法，通过矢量算法去除图像的光照影响，再排除目标区域的干扰，提高对物体的识别效率，从而精准的识别到目标区域内的目标物体，该方法准确可靠，识别率高，识别速度快，定位误差在3厘米范围内。
为了解决上述技术问题，本发明采用的技术方案是：该基于矢量去光照影响算法的单目相机物体的识别与定位方法，具体包括以下步骤：
具体包括以下步骤：
S1：采用机器人采集影像图，并对所述影像图进行去光照处理；
S2：对所述步骤S1中经去光照处理后的所述影像图进行滤波处理，获得滤波后的图像；
S3：将所述步骤S2的图像进行色彩空间转换，再根据目标物体的颜色阈值，获得二值图像；
S4：排除目标区域外的干扰物，确定目标物体，获得目标物体的图像坐标；
S5：根据所述目标物体的图像坐标，判断目标区域内是否存在目标物体，若不存在，则返回空，并结束此次识别与定位；若存在，则返回目物体的中心坐标，再调整所述机器人的头部角度和身***姿，使得目标物体的中心坐标与图像的中心位置重合，然后根据计算模型求出目标物体到所述机器人的距离，获得目标物体的识别结果。
采用上述技术方案，借助机器人的采集装置，获得有效的影像资料；再通对影像资料的自动分析、识别和定位技术；对机器人所采集到的影像图进行识别、分析和定位，以机器人采集的影像图作为数据源，然后利用影像自动识别技术对影像进行分类，最后对分类图进行目标物体识别判断；从而得知目标物体的具***置，该基于矢量去光照影响算法的单目相机物体识别与定位方法能够有效的减少光照的影响，提高对物体的识别效率，本方法可有效的应用于乒乓球场的乒乓球拾取等生活场景，应用效果表明该方法准确可靠，识别率高，识别速度快，定位误差在3厘米范围内，为生活带来便利。
本发明的进一步改进在于，该基于矢量去光照影响算法的单目相机物体的识别与定位方法还包括步骤S6对步骤S5中获得的目标物体的识别结果进行修正，并输出修正后的识别结果。
作为本发明的优选技术方案，所述步骤S1中机器人通过采集装置采集影像图，并对获得的影像图通过矢量去光照影响的算法进行去光照处理，具体步骤为：
S11：首先假设影图像中的光照由均衡光照和不均衡光照两部分组成，按照坐标将影像图转化成矢量I，即影图像用下式表示：
Figure 100002_DEST_PATH_IMAGE001
（1）；
其中，
Figure 100002_DEST_PATH_IMAGE002
代表均衡光照，
Figure 100002_DEST_PATH_IMAGE003
代表不均衡光照；
Figure 100002_DEST_PATH_IMAGE004
代表物体的反射 能力，P代表系数，
Figure 100002_DEST_PATH_IMAGE005
为影像图矢量坐标；再将式（1）变换成下式（2）：
Figure 100002_DEST_PATH_IMAGE006
（2）；
设：
Figure 100002_DEST_PATH_IMAGE007
；
Figure 100002_DEST_PATH_IMAGE008
；
求解得式（3）：
Figure 100002_DEST_PATH_IMAGE009
（3）；
其中
Figure 100002_DEST_PATH_IMAGE010
是物体在均衡光照下的影像图；
Figure 100002_DEST_PATH_IMAGE011
是物体在不均衡光照下的 影像图，属于干扰部分，表现为不均衡的亮度；
通过对影像图亮度分布的计算，得出不均衡的光照分量，则定义影像图的亮度
Figure 100002_DEST_PATH_IMAGE012
为影像图的HSV色彩空间中的亮度值v，即：
Figure 100002_DEST_PATH_IMAGE013
；再计算平均亮度：
Figure 100002_DEST_PATH_IMAGE014
（4）；
其中，N和M是一个取平均的范围常量，N和M相等或不等，它与影像图的分辨率有关；
再定义暗度D，即D=D（x，y），其计算公式为：
Figure 100002_DEST_PATH_IMAGE015
（5）；
通过亮度V、平均亮度Hv和暗度D的高斯核函数加权，获得不均衡的光照分量，计算公式为：
Figure 100002_DEST_PATH_IMAGE016
  （6）；
其中，σ是一个衰减速度常量，α是补偿参数，α的值决定是光照均衡情况，即表示光照不足或过亮，它的值由平均亮度Hv和亮度V决定；|D-V|表示不均衡的光照分量的绝对值，当亮度V和暗度D相差大时，其值越大，表示光照越不均衡；exp{- ||V-Hv||^2/(2*σ^2) }是个高斯核函数，表示补偿速度；当光照很不均衡时， 即亮度V的最大值与平均亮度Hv相差越大，能让迭代比较快地达到收敛；当亮度V的最大值与平均亮度Hv相差大时，则认为光照很不均衡，则需要进行补偿；相反，当亮度V的最大值与平均亮度Hv相同时，则不需要补偿；
其中当需要进行补偿时，因当亮度V的最大值低于平均亮度Hv的50%时，则认为光照不足，则应当得到正0.5的增益；当亮度V的最大值超过平均亮度Hv的50%时，则认为光照过亮，则应抑制，应当得到负0.5的增益；否则根据亮度V和平均亮度Hv，在-0.5～0.5线性变化；故补偿参数α的计算公式为式（7） 所示，
Figure 100002_DEST_PATH_IMAGE017
（7）；
S12：根据式（6）计算I2（x，y）；
S13：根据I2（x，y）计算I1（x，y）；即I1（x，y）=I（x，y）-I2（x，y）；
S14：设I（x，y）= I1（x，y），并返回步骤S12中进行迭代，直至不满足迭代条件，结束迭代；
S15：再按照坐标将矢量I还原为图像，即获得去光照的影像图。
去除光照影响后得到地影像图仍然是RGB图像，在运用矢量去光照影响的计算方法时，将干扰部分去除得到均衡下的图像，但一次估计是无法完全去除不均衡光照分量的，需要通过设定阈值，进行多次迭代。
作为本发明的优选技术方案，所述步骤S2中对经去光照处理后的所述影像图进行滤波处理的具体过程为：首先进行高斯模糊处理，使得影像图平滑；再进行形态学操作，采用腐蚀膨胀，用以消除小的噪声点，获得滤波后的图像。
作为本发明的优选技术方案，所述步骤S4的具体步骤为：
S41：将目标区域内外以边界线作为分割，利用霍夫直线变换提取边界；
S42：在图像坐标系中，利用点线关系，排除和机器人在边界线的异侧的物体，在同侧的物体则确认为目标物体；
S43：再根据在图像坐标系中目标物体的中心坐标点与边界线的上下关系来判定，假定直线的表示为 L：Ax+Ky+C=0，目标物体的中心坐标点为P（m，n），由于图像坐标系与常规坐标轴的y轴是相反的；因此在把目标物体的中心坐标P（m，n）代入边界线时，若满足Am+Kn+C>0，则是满足要求的目标物体的中心坐标，从而获得目标物体在图像坐标系中的中心坐标。
作为本发明的优选技术方案，所述步骤S5中当目标区域内存在目标物体，调整所述机器人的头部角度和身***姿时，目标物体的中心与机器人的采集装置的垂直夹角的计算公式为：
Figure 100002_DEST_PATH_IMAGE018
；
其中，g1为目标物体的中心与机器人的采集装置的光轴的垂直夹角；
Figure 100002_DEST_PATH_IMAGE019
为目标物 体的中心在图像坐标系中的纵坐标，p1为图像垂直像素大小；a1为采集装置垂直视角大小；
目标物体的中心与机器人的采集装置的光轴的水平夹角计算公式为：
Figure 100002_DEST_PATH_IMAGE020
；
其中，g2为目标物体的中心与机器人的采集装置的光轴的水平夹角；
Figure 100002_DEST_PATH_IMAGE021
为目标物 体的中心在图像坐标系中的横坐标；p2为图像水平像素大小；a2为采集装置水平视角大小； 通过g1和g2调整机器人头部的角度可将目标物体的中心置于机器人的视野的中心。
作为本发明的优选技术方案，所述步骤S5中的所述计算模型的公式为：
Figure 100002_DEST_PATH_IMAGE022
；
其中β表示采集装置和水平面之间的夹角，γ表示采集装置的垂直视野角度的一半，H为采集装置距离地面的高度，h为球的半径,d为机器人距离目标物体中心的距离。
作为本发明的优选技术方案，所述步骤S3中图像色彩空间的转换是将图像由RGB色彩空间转换到HSV色彩空间，再根据目标物体的颜色阈值，获得二值图像。
作为本发明的优选技术方案，所述步骤S1中的所述采集装置为摄像头，设置在所述机器人的头部。
作为本发明的优选技术方案，由RGB色彩空间转换到HSV色彩空间的算法为：
Figure 100002_DEST_PATH_IMAGE023
；
Figure 100002_DEST_PATH_IMAGE024
；
Figure 100002_DEST_PATH_IMAGE025
；
Figure 100002_DEST_PATH_IMAGE026
；
其中R为RGB色彩空间中的红色，G为RGB色彩空间中的绿色，B为RGB色彩空间中的蓝色；H为HSV色彩空间的色相Hue、S为HSV色彩空间的饱和度Saturation、V为HSV色彩空间的亮度Value；然后根据目标物体的颜色阈值，得到二值图像。
与现有技术相比，本发明具有的有益效果为：在计算机视觉中，光照对于物体的识别总有着极大的影响，同样的物体，在不同的光照强度，不同的光照角度，其识别的成功率相差甚远；利用基于矢量去光照算法，可以有效的减少光照影响，提高检测的准确率，并且运用了特定的计算模型，排除干扰物体，提高检测效率；该基于矢量去光照影响算法的单目相机物体的识别与定位方法可有效的应用于乒乓球场的乒乓球拾取等生活场景，应用效果表明该方法准确可靠，识别率高，识别速度快，定位误差在3厘米范围内，为生活带来便利。
附图说明
图1为本发明的基于矢量去光照影响算法的单目相机物体识别与定位方法工作流程图；
图2为本发明的基于矢量去光照影响算法的单目相机物体识别与定位方法的图像与光照矢量算法示意图；
图3为本发明的基于矢量去光照影响算法的单目相机物体识别与定位方法的NAO摄像头垂直视角图；
图4为本发明的基于矢量去光照影响算法的单目相机物体识别与定位方法的NAO摄像头水平视角图；
图5为本发明的基于矢量去光照影响算法的单目相机物体识别与定位方法的物体距离求解模型图；
图6为本发明的基于矢量去光照影响算法的单目相机物体识别与定位方法的图片处理过程产生的部分图像，其中：图（a）为原图；图（b）为根据识别物体红色区域所产生的二值图像，白色部分代表识别的红色；图（c）为边界线的提取，标记为黑色线；图（d）为识别结果图，最终识别的球体用黑色圆圈标出轮廓，黑色标出球心位置；
图7为本发明的基于矢量去光照影响算法的单目相机物体识别与定位方法的程序运行结果图。
具体实施方式
下面将结合本发明的实施例图中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
实施例：如图1所示，该基于矢量去光照影响算法的单目相机物体的识别与定位方法，具体包括以下步骤：
S1：采用机器人采集影像图（如图6中的（a）所示），并对所述影像图进行去光照处理；
如图2所示，所述步骤S1中机器人通过采集装置即设置在所述机器人的头部的摄像头采集影像图，并对获得的影像图通过矢量去光照影响的算法进行去光照处理，具体步骤为：
S11：首先假设影图像中的光照由均衡光照和不均衡光照两部分组成，按照坐标将影像图转化成矢量I，即影图像用下式表示：
Figure 588894DEST_PATH_IMAGE001
（1）；
其中，
Figure 709297DEST_PATH_IMAGE002
代表均衡光照，
Figure 957876DEST_PATH_IMAGE003
代表不均衡光照；
Figure 618664DEST_PATH_IMAGE004
代表物体的反射 能力，P代表系数，
Figure 901878DEST_PATH_IMAGE005
为影像图矢量坐标；再将式（1）变换成下式（2）：
Figure 943914DEST_PATH_IMAGE006
（2）；
设：
Figure 414210DEST_PATH_IMAGE007
；
Figure 81952DEST_PATH_IMAGE008
；
求解得式（3）：
Figure 219672DEST_PATH_IMAGE009
（3）；
其中
Figure 478615DEST_PATH_IMAGE010
是物体在均衡光照下的影像图；
Figure 951053DEST_PATH_IMAGE011
是物体在不均衡光照下的 影像图，属于干扰部分，表现为不均衡的亮度；
通过对影像图亮度分布的计算，得出不均衡的光照分量，则定义影像图的亮度
Figure DEST_PATH_IMAGE027
为影像图的HSV色彩空间中的亮度值v，即：
Figure DEST_PATH_IMAGE028
；再计算平均亮度：
Figure DEST_PATH_IMAGE029
（4）；
其中，N和M是一个取平均的范围常量，N和M相等或不等，它与影像图的分辨率有关；
再定义暗度D，即D=D（x，y），其计算公式为：
Figure DEST_PATH_IMAGE030
（5）；
通过亮度V、平均亮度Hv和暗度D的高斯核函数加权，获得不均衡的光照分量，计算公式为：
Figure DEST_PATH_IMAGE031
  （6）；
其中，σ是一个衰减速度常量，α是补偿参数，α的值决定是光照均衡情况，即表示光照不足或过亮，它的值由平均亮度Hv和亮度V决定；|D-V|表示不均衡的光照分量的绝对值，当亮度V和暗度D相差大时，其值越大，表示光照越不均衡；exp{- ||V-Hv||^2/(2*σ^2) }是个高斯核函数，表示补偿速度；当光照很不均衡时， 即亮度V的最大值与平均亮度Hv相差越大，能让迭代比较快地达到收敛；当亮度V的最大值与平均亮度Hv相差大时，则认为光照很不均衡，则需要进行补偿；相反，当亮度V的最大值与平均亮度Hv相同时，则不需要补偿；
其中当需要进行补偿时，因当亮度V的最大值低于平均亮度Hv的50%时，则认为光照不足，则应当得到正0.5的增益；当亮度V的最大值超过平均亮度Hv的50%时，则认为光照过亮，则应抑制，应当得到负0.5的增益；否则根据亮度V和平均亮度Hv，在-0.5～0.5线性变化；故补偿参数α的计算公式为式（7） 所示，
Figure DEST_PATH_IMAGE032
（7）；
S12：根据式（6）计算I2（x，y）；
S13：根据I2（x，y）计算I1（x，y）；即I1（x，y）=I（x，y）-I2（x，y）；
S14：设I（x，y）= I1（x，y），并返回步骤S12中进行迭代，直至不满足迭代条件，结束迭代；
S15：再按照坐标将矢量I还原为图像，即获得去光照的影像图；
去除光照影响后得到地影像图仍然是RGB图像；
S2：对所述步骤S1中经去光照处理后的所述影像图进行滤波处理，获得滤波后的图像；
所述步骤S2中对经去光照处理后的所述影像图进行滤波处理的具体过程为：首先进行高斯模糊处理，使得影像图平滑；再进行形态学操作，采用腐蚀膨胀，用以消除小的噪声点，获得滤波后的图像；
S3：将所述步骤S2的图像进行色彩空间转换，再根据目标物体的颜色阈值，获得二值图像；
所述步骤S3中图像色彩空间的转换是将图像由RGB色彩空间转换到HSV色彩空间，再根据目标物体的颜色阈值，获得二值图像；
由RGB色彩空间转换到HSV色彩空间的算法为：
Figure 983338DEST_PATH_IMAGE023
；
Figure 975565DEST_PATH_IMAGE024
；
Figure 670988DEST_PATH_IMAGE025
；
Figure 630723DEST_PATH_IMAGE026
；
其中R为RGB色彩空间中的红色，G为RGB色彩空间中的绿色，B为RGB色彩空间中的蓝色；H为HSV色彩空间的色相Hue、S为HSV色彩空间的饱和度Saturation、V为HSV色彩空间的亮度Value；然后根据目标物体的颜色阈值，得到二值图像；
S4：排除目标区域外的干扰物，确定目标物体，获得目标物体的图像坐标；
所述步骤S4的具体步骤为：
S41：将目标区域内外以边界线作为分割，利用霍夫直线变换提取边界；
S42：在图像坐标系中，利用点线关系，排除和机器人在边界线的异侧的物体，在同侧的物体则确认为目标物体；
S43：再根据在图像坐标系中目标物体的中心坐标点与边界线的上下关系来判定，假定直线的表示为 L：Ax+Ky+C=0，目标物体的中心坐标点为P（m，n），由于图像坐标系与常规坐标轴的y轴是相反的；因此在把目标物体的中心坐标P（m，n）代入边界线时，若满足Am+Kn+C>0，则是满足要求的目标物体的中心坐标，从而获得目标物体在图像坐标系中的中心坐标；
S5：根据所述目标物体的图像坐标，判断目标区域内是否存在目标物体，若不存在，则返回空，并结束此次识别与定位；若存在，则返回目物体的中心坐标，再调整所述机器人的头部角度和身***姿，使得目标物体的中心坐标与图像的中心位置重合，然后根据计算模型求出目标物体到所述机器人的距离，获得目标物体的识别结果；
如图3所示 ，所述步骤S5中当目标区域内存在目标物体，调整所述机器人的头部角度和身***姿时，目标物体的中心与机器人的采集装置的垂直夹角的计算公式为：
Figure 109109DEST_PATH_IMAGE018
；
其中，g1为目标物体的中心与机器人的采集装置的光轴的垂直夹角；
Figure 221421DEST_PATH_IMAGE019
为目标物 体的中心在图像坐标系中的纵坐标，p1为图像垂直像素大小；a1为采集装置垂直视角大小；
目标物体的中心与机器人的采集装置的光轴的水平夹角计算公式为：
Figure 822167DEST_PATH_IMAGE020
；
其中，g2为目标物体的中心与机器人的采集装置的光轴的水平夹角；
Figure 19930DEST_PATH_IMAGE021
为目标物 体的中心在图像坐标系中的横坐标；p2为图像水平像素大小；a2为采集装置水平视角大小； 通过g1和g2调整机器人头部的角度可将目标物体的中心置于机器人的视野的中心；
如图5所示，所述步骤S5中的所述计算模型的公式为：
Figure 318319DEST_PATH_IMAGE022
；
其中β表示采集装置和水平面之间的夹角，γ表示采集装置的垂直视野角度的一半，H为采集装置距离地面的高度，h为球的半径,d为机器人距离目标物体中心的距离；计算结果如图7所示；
S6：对步骤S5中获得的目标物体的识别结果进行修正，并输出修正后的识别结果。
应用实施例：以NAO机器人高尔夫球比赛为例，该基于矢量去光照影响算法的单目相机物体的识别与定位方法，具体包括以下步骤：
S1：采用机器人采集影像图（如图6中的（a）所示），并对所述影像图进行去光照处理；所述步骤S1中机器人通过采集装置即设置在所述机器人的头部的摄像头采集影像图；
由于物体反射能力和光照的有关，相同光照条件下，物体的反射能力越大，图像的 亮度就越高；相同的反射能力，光照越强，图像的亮度就越高。即：
Figure DEST_PATH_IMAGE033
；
其中，反射能力
Figure DEST_PATH_IMAGE034
由物体的材料、形状、姿态等因素决定，与光照无关；而
Figure DEST_PATH_IMAGE035
代表光照，P代表系数。
从计算公式中可以看出原始图像
Figure DEST_PATH_IMAGE036
、反射能力
Figure DEST_PATH_IMAGE037
和光照
Figure 409771DEST_PATH_IMAGE035
是一个不定 方程组求解问题；一般的算法都是通过增加一个约束条件来解决，因此，约束条件的不同得 出的解就不同；把物体的反射系数与光照分离，完全地从图像中提取出来是很困难的；如果 完全去除光照，把物体放在黑屋子里，那将得到一张全黑得图像；因此，反应物体的反射系 数需要一定得光照，且需要均衡光照，使用光照均衡，减少不均衡的光照对图像得影响，是 处理光照问题的本质；
因此，该矢量去光照影响的算法中，首先假设影图像中的光照由均衡光照和不均衡光照两部分组成，该矢量去光照影响的算法的具体步骤为：
S11：按照坐标将影像图转化成矢量I，即影图像用下式（1）表示：
Figure 384681DEST_PATH_IMAGE001
（1）；
其中，
Figure 804161DEST_PATH_IMAGE002
代表均衡光照，
Figure 952245DEST_PATH_IMAGE003
代表不均衡光照；
Figure 521373DEST_PATH_IMAGE004
代表物体的反射 能力，P代表系数，
Figure 932763DEST_PATH_IMAGE005
为影像图矢量坐标；再将式（1）变换成下式（2）：
Figure 573960DEST_PATH_IMAGE006
（2）；
设：
Figure 463419DEST_PATH_IMAGE007
；
Figure 201568DEST_PATH_IMAGE008
；
求解得式（3）：
Figure 33126DEST_PATH_IMAGE009
（3）；
其中
Figure 427198DEST_PATH_IMAGE010
是物体在均衡光照下的影像图；
Figure 120348DEST_PATH_IMAGE011
是物体在不均衡光照下的 影像图，表现为不均衡的亮度，属于干扰部分；其在高维空间中得关系可以用二位的矢量图 来示意，如图2所示（图中弧线表示迭代过程）；
在样本图像中，不均衡光照表现为不均衡的亮度。通过对影像图亮度分布的计算， 得出不均衡的光照分量，则定义影像图的亮度
Figure 385107DEST_PATH_IMAGE012
为影像图的HSV色彩空间中的亮度值v， 即：
Figure 889032DEST_PATH_IMAGE013
；再计算平均亮度：
Figure 770400DEST_PATH_IMAGE014
（4）；
其中，N和M是一个取平均的范围常量，N和M相等或不等，它与影像图的分辨率有关；一般以图像尺寸的1/32比较合适；
再定义暗度D，即D=D（x，y），其计算公式为：
Figure 63978DEST_PATH_IMAGE015
（5）；
通过亮度V、平均亮度Hv和暗度D的高斯核函数加权，获得不均衡的光照分量，计算公式为：
Figure 714403DEST_PATH_IMAGE016
  （6）；
其中，σ是一个衰减速度常量，其值应根据实际实验决定， 一般取4～8；α是补偿参数，α的值决定是光照均衡情况，即表示光照不足或过亮，它的值由平均亮度Hv和亮度V决定；|D-V|表示不均衡的光照分量的绝对值，当亮度V和暗度D相差大时，其值越大，表示光照越不均衡；exp{- ||V-Hv||^2/(2*σ^2) } 是个高斯核函数，表示补偿速度；当光照很不均衡时， 即亮度V的最大值与平均亮度Hv相差越大，能让迭代比较快地达到收敛；当亮度V的最大值与平均亮度Hv相差大时，则认为光照很不均衡，则需要进行补偿；相反，当亮度V的最大值与平均亮度Hv相同时，则不需要补偿；
其中当需要进行补偿时，因当亮度V的最大值低于平均亮度Hv的50%时，则认为光照不足，则应当得到正0.5的增益；当亮度V的最大值超过平均亮度Hv的50%时，则认为光照过亮，则应抑制，应当得到负0.5的增益；否则根据亮度V和平均亮度Hv，在-0.5～0.5线性变化；故补偿参数α的计算公式为式（7） 所示，
Figure 372917DEST_PATH_IMAGE017
（7）；
S12：根据式（6）计算I2（x，y）；
S13：根据I2（x，y）计算I1（x，y）；即I1（x，y）=I（x，y）-I2（x，y）；
S14：设I（x，y）= I1（x，y），并返回步骤S12中进行迭代，直至不满足迭代条件，结束迭代；
S15：再按照坐标将矢量I还原为图像，即获得去光照的影像图；
迭代结束条件可设为I2（x，y）的模或者一范数（即max{I2(x,y)}<=threshold）；当I2（x，y）的模很小时，I（x，y）和I1（x，y）非常接近，表示图像的光照均匀；另一个I2（x，y）的一范数条件是控制图像噪点的，在迭代过程中，产生噪点的时候就应该停止迭代；去除光照影响后得到地影像图仍然是RGB图像；
S2：对所述步骤S1中经去光照处理后的所述影像图进行滤波处理，获得滤波后的图像；所述步骤S2中对经去光照处理后的所述影像图进行滤波处理的具体过程为：首先进行高斯模糊处理，使得影像图平滑；再进行形态学操作，采用腐蚀膨胀，用以消除小的噪声点，获得滤波后的图像；
S3：将所述步骤S2的图像进行色彩空间转换，再根据目标物体的颜色阈值，获得二值图像；
所述步骤S3中图像色彩空间的转换是将图像由RGB色彩空间转换到HSV色彩空间，HSV即色相Hue、饱和度Saturation、明度Value，明度V表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关；再根据目标物体的颜色阈值，获得二值图像；
由RGB色彩空间转换到HSV色彩空间的算法为：
Figure 725270DEST_PATH_IMAGE023
；
Figure 760222DEST_PATH_IMAGE024
；
Figure 530732DEST_PATH_IMAGE025
；
Figure 156885DEST_PATH_IMAGE026
；
其中R为RGB色彩空间中的红色，G为RGB色彩空间中的绿色，B为RGB色彩空间中的蓝色；H为HSV色彩空间的色相Hue、S为HSV色彩空间的饱和度Saturation、V为HSV色彩空间的亮度Value；然后根据目标物体的颜色阈值，得到二值图像；我们可以得到二值图像如图6中的（b）所示，在二值图像中白色的部分对应的是备选球（可能是我们要找的球）；
S4：排除目标区域外的干扰物，确定目标物体，获得目标物体的图像坐标；
所述步骤S4的具体步骤为：
S41：将目标区域内外以边界线作为分割，利用霍夫直线变换提取边界，如图6中的（c）所示，黑色线条即为提取到的白色边界线；
S42：在图像坐标系中，利用点线关系，排除和机器人在边界线的异侧的物体，在同侧的物体则确认为目标物体；
S43：再根据在图像坐标系中目标物体的中心坐标点与边界线的上下关系来判定，假定直线的表示为 L：Ax+Ky+C=0，目标物体的中心坐标点为P（m，n），由于图像坐标系与常规坐标轴的y轴是相反的；因此在把目标物体的中心坐标P（m，n）代入边界线时，若满足Am+Kn+C>0，则是满足要求的目标物体的中心坐标，从而获得目标物体在图像坐标系中的中心坐标；
在一般的xy直角坐标系中，任何一条直线的方程可以用Ay+Kx+C=0来表示，一个点M的坐标为（a,b），则将点M带入方程，若Ab+Ka+C>0，则说明点M在直线的上方，若Ab+Ka+C<0则说明点M在直线的下方；当图像中存在白色边线，则机器人是在白色线的下方，而机器人总是在场地内的，所以，可以得出，只要球心坐标也处在白线的下方，则可以说明球心是在球场内的；而在图像的坐标中，原点是图像的左上角，横轴的右方为y轴增大方向，纵轴下方为x周增大的方向； 这与一般的坐标轴是相反的；所以当把球心的坐标（m,n）代入白色边线时，满足An+Km+C>0 时，就是满足要求的球心坐标；如图6中的（d）所示，目标球体检测结果用黑色圆圈标记；
S5定位目标物体：根据所述目标物体的图像坐标，判断目标区域内是否存在目标物体，若不存在，则返回空，并结束此次识别与定位；若存在，则返回目物体的中心坐标，再调整所述机器人的头部角度和身***姿，使得目标物体的中心坐标与图像的中心位置重合，然后根据计算模型求出目标物体到所述机器人的距离，获得目标物体的识别结果；
如图3所示，NAO摄像头的垂直视角范围为34.80度，如图4所示，NAO摄像头的水平视角范围为60.97度，由于NAO摄像头光轴与图像平面的交点为图像平面的中心点，所以根据NAO摄像头成像的视角范围以及图像的大小可以从目标中心在图像坐标系的位置推导出目标与摄像头光轴的垂直、水平夹角；因此，所述步骤S5中当目标区域内存在目标物体，调整所述机器人的头部角度和身***姿时，目标物体的中心与机器人的采集装置的垂直夹角的计算公式为：
Figure DEST_PATH_IMAGE038
；
其中，g1为目标物体的中心与机器人的采集装置的光轴的垂直夹角；
Figure 229490DEST_PATH_IMAGE019
为目标物 体的中心在图像坐标系中的纵坐标，p1为图像垂直像素大小；由于本实验在捕获图像时采 用的大小为640*480分线率，所以p1的值为480；a1的为NAO摄像头垂直视角大小，其值为 47.64度；
目标物体的中心与机器人的采集装置的光轴的水平夹角计算公式为：
Figure DEST_PATH_IMAGE039
；
其中，g2为目标物体的中心与机器人的采集装置的光轴的水平夹角；
Figure 271395DEST_PATH_IMAGE021
为目标物 体的中心在图像坐标系中的横坐标；p2为图像水平像素大小，值为640；a2的为NAO摄像头水 平视角大小，其值为60.97度；通过g1和g2调整机器人头部的角度可将红球的中心置于机器 人视野的中心；
如图5所示，所述步骤S5中的所述计算模型的公式为：
Figure DEST_PATH_IMAGE040
；
其中β表示采集装置和水平面之间的夹角，γ表示采集装置的垂直视野角度的一半，H为采集装置距离地面的高度，h为球的半径,d为机器人距离目标物体中心的距离；计算结果如图7所示；
S6：对步骤S5中获得的目标物体的识别结果进行修正，并输出修正后的识别结果。
应用效果表明该方法准确可靠，识别率高，识别速度快，定位误差在3厘米范围内。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于矢量去光照影响算法的单目相机物体的识别与定位方法，其特征在于，具体包括以下步骤：
S1：采用机器人采集影像图，并对所述影像图进行去光照处理；
S2：对所述步骤S1中经去光照处理后的所述影像图进行滤波处理，获得滤波后的图像；
S3：将所述步骤S2的图像进行色彩空间转换，再根据目标物体的颜色阈值，获得二值图像；
S4：排除目标区域外的干扰物，确定目标物体，获得目标物体的图像坐标；
S5：根据所述目标物体的图像坐标，判断目标区域内是否存在目标物体，若不存在，则返回空，并结束此次识别与定位；若存在，则返回目物体的中心坐标，再调整所述机器人的头部角度和身***姿，使得目标物体的中心坐标与图像的中心位置重合，然后根据计算模型求出目标物体到所述机器人的距离，获得目标物体的识别结果；
所述步骤S1中机器人通过采集装置采集影像图，并对获得的影像图通过矢量去光照影响的算法进行去光照处理，具体步骤为：
S11：首先假设影图像中的光照由均衡光照和不均衡光照两部分组成，按照坐标将影像图转化成矢量I，即影图像用下式表示：
Figure DEST_PATH_IMAGE001
（1）；
其中，
Figure DEST_PATH_IMAGE002
代表均衡光照，
Figure DEST_PATH_IMAGE003
代表不均衡光照；
Figure DEST_PATH_IMAGE004
代表物体的反射能力， P代表系数，
Figure DEST_PATH_IMAGE005
为影像图矢量坐标；再将式（1）变换成下式（2）：
Figure DEST_PATH_IMAGE006
（2）；
设：
Figure DEST_PATH_IMAGE007
；
Figure DEST_PATH_IMAGE008
；
求解得式（3）：
Figure DEST_PATH_IMAGE009
（3）；
其中
Figure DEST_PATH_IMAGE010
是物体在均衡光照下的影像图；
Figure DEST_PATH_IMAGE011
是物体在不均衡光照下的影像 图，属于干扰部分，表现为不均衡的亮度；
通过对影像图亮度分布的计算，得出不均衡的光照分量，则定义影像图的亮度
Figure DEST_PATH_IMAGE012
为 影像图的HSV色彩空间中的亮度值v，即：
Figure DEST_PATH_IMAGE013
；再计算平均亮度：
Figure DEST_PATH_IMAGE014
（4）；
其中，N和M是一个取平均的范围常量，N和M相等或不等，它与影像图的分辨率有关；
再定义暗度D，即D=D（x，y），其计算公式为：
Figure DEST_PATH_IMAGE015
（5）；
通过亮度V、平均亮度Hv和暗度D的高斯核函数加权，获得不均衡的光照分量，计算公式为：
Figure DEST_PATH_IMAGE016
  （6）；
其中，σ是一个衰减速度常量，α是补偿参数，α的值决定是光照均衡情况，即表示光照不足或过亮，它的值由平均亮度Hv和亮度V决定；|D-V|表示不均衡的光照分量的绝对值，当亮度V和暗度D相差大时，其值越大，表示光照越不均衡；exp{- ||V-Hv||^2/(2*σ^2) } 是个高斯核函数，表示补偿速度；当亮度V的最大值与平均亮度Hv相差大时，则认为光照很不均衡，则需要进行补偿；相反，当亮度V的最大值与平均亮度Hv相同时，则不需要补偿；
其中当需要进行补偿时，因当亮度V的最大值低于平均亮度Hv的50%时，则认为光照不足，则应当得到正0.5的增益；当亮度V的最大值超过平均亮度Hv的50%时，则认为光照过亮，则应抑制，应当得到负0.5的增益；否则根据亮度V和平均亮度Hv，在-0.5～0.5线性变化；故补偿参数α的计算公式为式（7） 所示，
Figure DEST_PATH_IMAGE017
（7）；
S12：根据式（6）计算I2（x，y）；
S13：根据I2（x，y）计算I1（x，y）；即I1（x，y）=I（x，y）-I2（x，y）；
S14：设I（x，y）= I1（x，y），并返回步骤S12中进行迭代，直至不满足迭代条件，结束迭代；
S15：再按照坐标将矢量I还原为图像，即获得去光照的影像图。
2.根据权利要求1所述的基于矢量去光照影响算法的单目相机物体的识别与定位方法，其特征在于，该基于矢量去光照影响算法的单目相机物体的识别与定位方法还包括步骤S6对步骤S5中获得的目标物体的识别结果进行现场核实，根据现场核实对所述识别结果进行修正，并输出修正后的识别结果。
3.根据权利要求2所述的基于矢量去光照影响算法的单目相机物体的识别与定位方法，其特征在于，所述步骤S2中对经去光照处理后的所述影像图进行滤波处理的具体过程为：首先进行高斯模糊处理，使得影像图平滑；再进行形态学操作，采用腐蚀膨胀，用以消除小的噪声点，获得滤波后的图像。
4.根据权利要求3所述的基于矢量去光照影响算法的单目相机物体的识别与定位方法，其特征在于， 所述步骤S4的具体步骤为：
S41：将目标区域内外以边界线作为分割，利用霍夫直线变换提取边界；
S42：在图像坐标系中，利用点线关系，排除和机器人在边界线的异侧的物体，在同侧的物体则确认为目标物体；
S43：再根据在图像坐标系中目标物体的中心坐标点与边界线的上下关系来判定，假定直线的表示为 L：Ax+Ky+C=0，目标物体的中心坐标点为P（m，n），由于图像坐标系与常规坐标轴的y轴是相反的；因此在把目标物体的中心坐标P（m，n）代入边界线时，若满足Am+Kn+C>0，则是满足要求的目标物体的中心坐标，从而获得目标物体在图像坐标系中的中心坐标。
5.根据权利要求4所述的基于矢量去光照影响算法的单目相机物体的识别与定位方法，其特征在于，所述步骤S5中当目标区域内存在目标物体，调整所述机器人的头部角度和身***姿时，目标物体的中心与机器人的采集装置的垂直夹角的计算公式为：
Figure DEST_PATH_IMAGE018
；
其中，g1为目标物体的中心与机器人的采集装置的光轴的垂直夹角；
Figure DEST_PATH_IMAGE019
为目标物体的 中心在图像坐标系中的纵坐标，p1为图像垂直像素大小；a1为采集装置垂直视角大小；
目标物体的中心与机器人的采集装置的光轴的水平夹角计算公式为：
Figure DEST_PATH_IMAGE020
；
其中，g2为目标物体的中心与机器人的采集装置的光轴的水平夹角；
Figure DEST_PATH_IMAGE021
为目标物体的 中心在图像坐标系中的横坐标；p2为图像水平像素大小；a2为采集装置水平视角大小；通过 g1和g2调整机器人头部的角度可将目标物体的中心置于机器人的视野的中心。
6.根据权利要求5所述的基于矢量去光照影响算法的单目相机物体的识别与定位方法，其特征在于，所述步骤S5中的所述计算模型的公式为：
Figure DEST_PATH_IMAGE022
；
其中β表示采集装置和水平面之间的夹角，γ表示采集装置的垂直视野角度的一半，H为采集装置距离地面的高度，h为球的半径,d为机器人距离目标物体中心的距离。
7.根据权利要求6所述的基于矢量去光照影响算法的单目相机物体的识别与定位方法，其特征在于，所述步骤S3中图像色彩空间的转换是将图像由RGB色彩空间转换到HSV色彩空间，再根据目标物体的颜色阈值，获得二值图像。
8.根据权利要求6所述的基于矢量去光照影响算法的单目相机物体的识别与定位方法，其特征在于，所述步骤S1中的所述采集装置为摄像头，设置在所述机器人的头部。
9.根据权利要求7所述的基于矢量去光照影响算法的单目相机物体的识别与定位方法，其特征在于，由RGB色彩空间转换到HSV色彩空间的算法为：
Figure DEST_PATH_IMAGE023
；
Figure DEST_PATH_IMAGE024
；
Figure DEST_PATH_IMAGE025
；
Figure DEST_PATH_IMAGE026
；
其中R为RGB色彩空间中的红色，G为RGB色彩空间中的绿色，B为RGB色彩空间中的蓝色；H为HSV色彩空间的色相Hue、S为HSV色彩空间的饱和度Saturation、V为HSV色彩空间的亮度Value；然后根据目标物体的颜色阈值，得到二值图像。
CN202110463617.7A 2021-04-28 2021-04-28 基于矢量去光照影响算法的单目相机物体识别与定位方法 Active CN113255455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110463617.7A CN113255455B (zh) 2021-04-28 2021-04-28 基于矢量去光照影响算法的单目相机物体识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110463617.7A CN113255455B (zh) 2021-04-28 2021-04-28 基于矢量去光照影响算法的单目相机物体识别与定位方法

Publications (2)

Publication Number Publication Date
CN113255455A CN113255455A (zh) 2021-08-13
CN113255455B true CN113255455B (zh) 2021-10-22

Family

ID=77222325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110463617.7A Active CN113255455B (zh) 2021-04-28 2021-04-28 基于矢量去光照影响算法的单目相机物体识别与定位方法

Country Status (1)

Country Link
CN (1) CN113255455B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114558308B (zh) * 2022-03-04 2023-04-28 东莞理工学院 一种球门瞄准装置的控制方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107009357A (zh) * 2017-04-05 2017-08-04 武汉科技大学 一种基于nao机器人抓取物体的方法
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107009357A (zh) * 2017-04-05 2017-08-04 武汉科技大学 一种基于nao机器人抓取物体的方法
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于矢量运算的图像光照处理算法;朱君波等;《计算机应用》;20100630;第30卷(第06期);全文 *
移动单目相机下基于单应的动态手势轨迹识别;张墨逸等;《华中科技大学学报》;20160531;第44卷(第05期);全文 *

Also Published As

Publication number Publication date
CN113255455A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN108319973B (zh) 一种树上柑橘果实检测方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN111415363B (zh) 一种图像边缘识别方法
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
CN107784669A (zh) 一种光斑提取及其质心确定的方法
WO2022205525A1 (zh) 基于双目视觉自主式水下机器人回收导引伪光源去除方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉***
CN111144207A (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN115661110B (zh) 一种透明工件识别与定位的方法
CN112861654A (zh) 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN113255455B (zh) 基于矢量去光照影响算法的单目相机物体识别与定位方法
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN112288780B (zh) 多特征动态加权的目标跟踪算法
CN102024264B (zh) 一种基于直方图统计的触摸笔颜色识别方法
CN111161219B (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
CN111192280A (zh) 一种基于局部特征的视盘边缘检测方法
Xiang et al. Research on target detection method based on HSV fusion Gaussian mixture model
CN112541471B (zh) 一种基于多特征融合的遮挡目标识别方法
CN114820718A (zh) 一种视觉动态定位跟踪算法
CN114066993A (zh) 基于机器视觉的配电柜控制面板分割方法
Chen A PCB Image Self-adaption Threshold Segmentation Method Fusing Color Information and OTSU Theory
O'Riordan et al. A comparitive study of Image Filters and Machine Learning for use in Machined Part Recognition
CN113096188B (zh) 一种基于高光像素检测的视觉里程计位姿优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 210042 8 Blocks 699-22 Xuanwu Avenue, Xuanwu District, Nanjing City, Jiangsu Province

Patentee after: Speed Technology Co.,Ltd.

Address before: 210042 8 Blocks 699-22 Xuanwu Avenue, Xuanwu District, Nanjing City, Jiangsu Province

Patentee before: SPEED TIME AND SPACE INFORMATION TECHNOLOGY Co.,Ltd.