CN104484324A - 一种多模型和模糊颜色的行人检索方法 - Google Patents

一种多模型和模糊颜色的行人检索方法 Download PDF

Info

Publication number
CN104484324A
CN104484324A CN201410502268.5A CN201410502268A CN104484324A CN 104484324 A CN104484324 A CN 104484324A CN 201410502268 A CN201410502268 A CN 201410502268A CN 104484324 A CN104484324 A CN 104484324A
Authority
CN
China
Prior art keywords
color
pedestrian
value
fuzzy
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410502268.5A
Other languages
English (en)
Other versions
CN104484324B (zh
Inventor
徐晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ropt Technology Group Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201410502268.5A priority Critical patent/CN104484324B/zh
Publication of CN104484324A publication Critical patent/CN104484324A/zh
Application granted granted Critical
Publication of CN104484324B publication Critical patent/CN104484324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多模型和模糊颜色的行人检索方法，步骤一：对输入的行人检测结果进行界定，以获得初步前景，然后对初步前景进行计算以得到最终前景并保存；步骤二：综合步骤一中得出的前景和输入的行人检测结果中的位置信息，计算每个行人的CEDD特征和模糊颜色特征并保存；步骤三：根据给定的搜索特征对数据库内所储存的对象进行检索，若给定为行人和前景特征，则计算给定行人的CEDD特征，并与CEDD特征库的每条记录比较得出特征距离，并将记录按照特征距离进行排序以得到检索结果；若给定为颜色特征，则计算给定颜色的模糊颜色直方图，并与模糊颜色特征库的每条记录比较得出特征距离，并将记录按照特征距离进行排序以得到检索结果。

Description

一种多模型和模糊颜色的行人检索方法
技术领域
本发明涉及一种多模型和模糊颜色的行人检索方法。
背景技术
目前针对静态图像的行人检测和前景提取是一个技术难点。虽然行人检测方法很多，但是易于前景提取的检测方法很少，主要是DPM，即：
可变形部件模型(DPM:Deformable Part Model)
Object Detection with Discriminatively Trained Part Based Models，P.Felzenszwalb,R.Girshick,2010；
Cascade Object Detection with Deformable Part Models,P.Felzenszwalb,R.Girshick,2010。
目前许多行人检测和前景提取都基于视频，其原因是利用了其中的运动信息以达到较好的检测效果。
大多数行人检测的结果是一个行人的***方框，从中提取行人前景是难点，目前的方法有：基于DPM的部件，基于level-set的方法。
但是，从检索的角度，前景提取需要达到什么样的精确度，是否需要分析行人的各个部分，以及这些方法能否适应实际的监控和拍摄的图像，目前的研究很少。
对于前景提取后的行人，采取何种特征是另一个难题，实际行人有各种典型的特征，如：纹理、单色、多色等；而实际情况是希望能用1种方法尽可能多的包含上述行人特征。目前许多研究是对1个图像建立几种特征，如：建立颜色特征，纹理特征，形成多个分类检索结果，导致应用起来低效和复杂。还有一些检索方法基于整个行人方框，导致检索误差较大。
另外对于一些只有模糊特征，而没有给定行人目标的情况，如：找一个穿红衣服的人；这种检索的目的是希望尽可能多的提供具有相似性的结果，这就需要一种精确性不太强，但是覆盖面广的检索方法，但目前尚未有相应的方法能达到较好的检索效果。
发明内容
为了克服目前对于静态图像的行人检测方法检测率低、误报率高，且不能达到根据综合特征进行行人检索的技术问题，本发明提供一种针对静态图像实现高效前景提取，且检测率高、误报率低，能实现综合特征检索的多模型和模糊颜色的行人检索方法。
为了实现上述技术目的，本发明的技术方案是，
一种多模型和模糊颜色的行人检索方法，包括以下步骤：
步骤一：输入行人检测结果作为需要检索的对象并进行前景提取，首先以人体上半身作为所需要的检索敏感区域即前景范围进行界定，以获得初步前景，然后对初步前景进行canny边缘计算以得到最终前景；
步骤二：综合步骤一中得出的最终前景和输入的行人检测结果中检测方框所表示的位置信息，计算每个行人的改进CEDD特征和模糊颜色特征，并将这两个特征分别存入改进CEDD特征库和模糊颜色特征库中；这里的位置信息表示行人在一帧图像中的位置；
步骤三：根据给定的搜索特征对特征数据库内所储存的对象进行检索，若给定为行人图像和前景特征，则计算给定行人的改进CEDD特征，并与改进CEDD特征库中的每条记录比较得出特征距离，再将记录按照特征距离进行排序以得到检索结果；若给定为颜色特征，则计算给定颜色的模糊颜色特征，并与模糊颜色特征库的每条记录比较得出特征距离，并将记录按照特征距离进行排序以得到检索结果。
所述的一种多模型和模糊颜色的行人检索方法，所述的步骤一中，输入的行人检测结果由DPM模型进行检测获得。
所述的一种多模型和模糊颜色的行人检索方法，所述的步骤一中，获得最终前景的步骤包括：
首先将行人检测结果中的部件方框按图片上的纵坐标自上而下排序，并按照顺序选择预设的多个部件作为人体的上半身，然后将组成人体上半身的各部件方框转换为前景掩码图，并充部件间的空隙以形成DPM初步前景；
对DPM初步前景计算canny边缘，得到边缘图，然后在边缘图的DPM初步前景区域内逐行扫描，在每一行中，从初步前景的左右两个边界点向人体中间寻找组成canny边缘的像素点，若在一定邻域范围内找到边缘像素点，则将该边缘像素点作为该行的左或右边界点，完成后即得到DPM最终前景。
所述的一种多模型和模糊颜色的行人检索方法，所述的步骤一中，输入的行人检测结果由ICF模型进行检测获得。
所述的一种多模型和模糊颜色的行人检索方法，所述的步骤一中，获得最终前景的步骤包括：
首先对检测结果中的行人方框进行上半身范围界定，然后取一个高度等同上半身范围、宽度为预设像素的左右滑动窗口，在界定的上半身范围内由宽度方向的一端向另一端移动；再取一个宽度等同上半身范围、高度为预设像素的上下滑动窗口，在界定的上半身范围内由高度方向的一端向另一端移动；
在左右滑动窗口移动过程中统计窗口内的边缘像素点的数目，形成一个以图像x轴坐标为x值、以每个x坐标处的边缘点数目为y值的2维曲线，然后在图像的左半部分和右半部分中分别找到最大峰值，作为左右边界；同样统计上下滑动窗口内的边缘像素点的数目，形成一个以图像y轴坐标为x值、以每个y坐标的边缘点数目为y值的2维曲线，然后在图像的上半部分和下半部分中分别找到最大峰值，作为上下边界，即得到ICF初步前景；
对ICF初步前景计算canny边缘，得到边缘图，然后在边缘图的ICF初步前景区域内逐行扫描，在每一行中，从初步前景的左右两个边界点向人体中间寻找组成canny边缘的像素点，若在一定邻域范围内找到边缘像素点，则将该边缘像素点作为该行的左或右边界点，完成后即得到ICF最终前景。
所述的一种多模型和模糊颜色的行人检索方法，步骤二和步骤三中计算行人的改进CEDD特征的步骤包括：
首先输入行人检测方框和最终前景，然后将行人检测方框平均划分为64个方格，对每个方格进行检查，若方格内像素点全部为最终前景中像素点，则定位为有效方格，并计算此方格的CEDD特征，否则不进行计算，最后将有效方格的CEDD特征累加，即得到前景区域的改进CEDD特征。
所述的一种多模型和模糊颜色的行人检索方法，步骤二和步骤三中计算行人的模糊颜色特征的步骤包括：
首先输入行人检测方框和最终前景，然后在前景区域采用模糊颜色算法计算包含10个模糊颜色分量的直方图，再计算前景区域内的平均亮度，组成11维的模糊颜色特征向量；“模糊颜色算法”是“改进CEDD特征”计算算法中的一个步骤；所述的平均亮度计算过程为：先将rgb颜色值转换为HSV颜色值，再计算前景区域内的V值的平均值。这里提及的模糊颜色算法是CEDD算法中的第一步，属于公知方法。
所述的一种多模型和模糊颜色的行人检索方法，所述的步骤三中，根据所计算的给定行人和前景特征得出的改进CEDD特征与改进CEDD特征库中每条记录的特征距离的步骤包括：
将给定行人和前景特征所计算出的改进CEDD特征和步骤二中存入特征库中的一条改进CEDD特征进行比较，先用Tanimoto法计算特征距离distance1，若未超过预设的最大值M，则将distance1输出为最终结果distance；M可以取任意的正数，一般取100；
若distance1超过最大值M，则计算distance2，并令distance＝distance2+M，作为输出的特征距离。
所述的一种多模型和模糊颜色的行人检索方法，所述的distance2的计算方法为：对于输入特征t1和t2中所包含的每个元素对应一个维序号，将包含的元素按元素值以降序排序，取排序为前3个元素值所对应的维序号，形成1个3维向量，这样得到2个3维向量，求这2个3维向量的对应元素的差值的绝对值，并对绝对值根据排序次序取权值后求和，将和作为distance2。
所述的一种多模型和模糊颜色的行人检索方法，所述的步骤三中，根据给定颜色特征来得出与模糊颜色特征库中每条记录的特征距离的步骤包括：
首先根据给定颜色来计算给定颜色的模糊颜色特征；
然后将模糊颜色特征与模糊颜色特征库的记录逐一单个比较，模糊颜色特征作为特征向量，维数为颜色的数目，每个元素表示1种颜色，元素值即为颜色值；找出其中颜色值大于预设阈值且颜色值最大的k个颜色元素，其中k不大于4且大于0，将基本距离d1预设为k，接下来逐一检测这k个颜色元素，按照每个颜色元素对应的颜色序号即维序号，从模糊颜色特征库的1个记录中得到对应颜色元素值，若获得的颜色元素值也大于上述的预设阈值，则距离值减1，这样检查完k个颜色成分后，得到1个距离值，设为h，则基本距离d1＝(h/k)，这里提及的1个记录即为1个特征向量；
若给定颜色为黑色、灰色或白色，则计算2个模糊颜色特征的亮度成分之差；其中亮度为利用hsv特征计算的平均v值得到；最终距离为：distance＝d1+亮度差；否则计算模糊直方图前3个主要颜色成分的颜色值之差的绝对值之和，再与基本距离相加，即最终距离为：d1+(直方图第1主要成分颜色值之差)+(直方图第2主要成分颜色值之差)+(直方图第3主要成分颜色值之差)。
本发明的技术效果在于：(1)可用于静态图像；(2)高效准确的前景分析算法，可以适应各种行人检测模型；(3)采用“广义上半身”作为检索敏感区域，既包含了身体主要部分的颜色和纹理特征，又删去了对检索效果影响不大且难以分析的身体部件；(4)采用统一的特征同时表示纹理和颜色，特征计算和特征距离的计算都比较高效；(5)较高的综合检索准确率；
附图说明
图1为本发明前景提取和特征库建立原理图；
图2为给定目标的检索原理图；
图3为检索敏感区域，前景和掩码图的说明示意图；
图4为DPM部件掩码图；
图5为初步前景的计算原理图，图5A为包含部件的检测结果图，图5B为基本前景图，图5C为填充缝隙后的初步前景图,其中图5A和图5B中的绿色部分为“广义上半身”前景区域和原图像融合后的显示效果；
图6为基于边缘的前景优化计算原理即DPM前景提取的最终结果示意图，其中图6A为待检测图片中的行人检测方框图，图6B为已得到的初步前景图，图6C为边缘图，图6D为边缘融合初步前景优化前的示意图，图6E为优化后示意图，图6F为优化后的最终前景图，其中图片中绿色部分为“广义上半身”前景区域和原图像融合后的显示效果；
图7为基于边缘点统计特征的前景提取算法原理图；
图8为基于边缘点统计的前景分析原理图，其中图8A为检测方框示意图，图8B为边缘图，图8C为确定左右边界示意图，图8D为确定肩部和腰部示意图，图8E为初步前景图；
图9为支持ROI的CEDD特征计算原理图，其中图9A为基本CEDD的计算示意图，图9B为支持ROI的CEDD特征计算示意图；
图10为改进的CEDD特征距离计算过程示意图；
图11为模糊颜色特征距离计算过程示意图；
图12为CEDD和模糊颜色检索对比效果图，其中图12A为使用使用CEDD特征的检索结果示意图，图12B为使用模糊颜色特征距离的检索结果示意图。
具体实施方式
本发明中提及的简称包括：
HOG：Histograms of Oriented Gradients；
FHOG：Felzenszwalb’s HOG；
DPM:Deformable Part Model；可变形部件模型；开源软件；
ICF:Integral Channel Features；集成通道模型；开源软件；
FCTH:FUZZY COLOR AND TEXTURE HISTOGRAM；模糊颜色和纹理直方图；开源软件；
CEDD:Color and Edge Directivity Descriptor；颜色和边缘方向描述符；开源软件；
ROI:Region Of Interest；感兴趣区域；
CBIR：Content-based image retrieval；基于内容的图像检索；
lire：Lucene Image REtrieval；开源cbir引擎，集成了多种图像特征；
本发明中提及的前景提取，可在以下公开文献中获得相关说明：
[a]Level-Set Person Segmentation and Tracking with Multi-RegionAppearance Models and Top-Down Shape Information,Esther Horbert,Konstantinos Rematas,Bastian Leibe,2011；
[b]Semantic Segmentation with Second-Order Pooling,Jo～ao Carreira,2012；
本发明中提及的特征计算，可在以下公开文献中获得相关说明：
[a]FCTH:FUZZY COLOR AND TEXTURE HISTOGRAM A LOW LEVELFEATURE FOR ACCURATE IMAGE RETRIEVAL,Savvas A.Chatzichristofisand Yiannis S.Boutalis,2008；
[b]CEDD:Color and Edge Directivity Descriptor.A Compact Descriptor forImage Indexing and Retrieval,Savvas A.Chatzichristofis and Yiannis S.Boutalis,2008；
[b]Image retrieval based on fuzzy color histogram processing,K.Konstantinidis,2004；
本发明中提及的检索和匹配，可在以下公开文献中获得相关说明：
[a]Part-based Clothing Segmentation for Person Retrieval,Michael Weber,2011；
[b]Person Re-identification Using Spatial Covariance Regions of HumanBody Parts,Bak,2004；
[c]Person Reidentification Using Spatiotemporal Appearance,NiloofarGheissari,2006；
本发明方法包括三个主要步骤：
(1)“检索敏感区域”的提取；(2)特征计算并存入特征数据库；(3)根据给定信息检索相似的行人。
本文的检索***的输入可以是2种行人检测结果：(1)DPM模型的检测结果，包含行人***方框和各个身体部件的小方框；(2)ICF模型或其他行人检测模型的检测结果，只包含行人的***方框。
在“检索敏感区域”(也就是前景)的提取阶段，根据检测结果的种类，分别采取不同的提取算法。检索敏感区域为从肩至大腿的“广义上半身”，不包含头部。
对于分析完毕的每一个“检索敏感区域”，计算2种特征：(1)基于ROI的改进的CEDD，由1个特征同时包含颜色和纹理；(2)模糊颜色。并将这2种存入特征数据库。特征库中为每一个检测到的行人建立一条记录，记录中包含以下信息：行人对象所属图像编号，行人对象在所属图像中的位置，行人对象的前景掩码图，行人对象的改进的CEDD特征，行人对象的模糊颜色特征。
特征库创建之后，在检索阶段，待查询信息可以表示为2种：(1)给定的行人，并手工或自动标记行人的“检索敏感区域”，自动方法可用行人检测和前景分析方法；(2)无给定的行人，只给定颜色。对于情况(1)，根据给定行人的“检索敏感区域”，计算改进的CEDD特征，并与特征库中的每个对象的CEDD比较，然后按相似度排序，作为主要的检索结果；再计算模糊颜色特征，并与特征库中的每个对象的模糊颜色特征比较，然后按相似度排序，作为辅助的检索结果。对于情况(2)，根据给定的颜色，计算模糊颜色特征，并与特征库中的每个对象的模糊颜色特征比较，然后按相似度排序。
行人前景提取完成后，希望选择其中的部分区域，使得搜索的准确度最高，搜索方法最简单。
一些方法对于整个人体计算特征，效果不理想，原因在于：完整人体前景提取比较困难，尤其在人群中，腿部的前景分析误差较大，同时绝多数人的头部特征都相似。
一些方法将人体分为2个部分，即：上下半身，这对于一些比较简单的服装和颜色效果较好，但是对于复杂情况搜索的准确性较差，原因在于：有些着装难以判断上下半身，比如：短裤，连衣裙，大衣，而且有时衣服有大块的颜色分段。图8中为一种难分析的情况，对于腰间的另外一件衣服，算作上半身还是下半身，似乎比较难决定，冬天的“短裙+长裤”的着装也存在类似问题。分为2个部分后，如何形成检索结果也成为一个难题，因为可能有3种结果：[a]仅上身；[b]仅下身；[c]上下半身；这增加了应用的复杂性。
本文选择的敏感区域为从肩至大腿的“广义上半身”，不包含头部，这一部分区域的前景分析的准确性较高，避免了易引起前景分析错误的小腿和脚；这一部分也去掉了区分性能不大的头部；同时也避免了上下半身的判断，可以较好的处理复杂着装的情况。
这里的检索敏感区域，也可以称为前景，前景指图像中对于用户或者应用有价值的区域，而不是前景的区域则为背景，在图像和视频中都可以存在前景和背景。对于行人检测，前景可以为包含行人的方框；对于行人检索，前景可以进一步精确为行人所占据的图像区域；而从检索的敏感性和准确性角度，可以选取上述前景中的一部分，即“广义上半身”，下文中的前景提取，都指的是分析检索敏感区域。对于已提取前景的图像，可以生成关联的掩码图(或称为Mask，ROI)，掩码图的用途是标记前景和背景，掩码图的尺寸和输入图像相同。掩码图一般为二值图像，其中前景区域为1，背景区域为0；在有些情况，掩码图也可以是彩色图像，而不是二值图像，这时前景为某一种颜色(如红色、蓝色等)，背景为另一种颜色(如黑色)。
本文提出的基于DPM模型的前景提取过程，主要包括3个步骤：
1、人工标注DPM的人体部件的前景掩码；
2、对于行人检测结果中的人体部件，用DPM模型的部件掩码进行替换，并将除人体部件之外的区域都设为背景，这样得到初步的前景；
3、用边缘优化算法对初步的前景进行优化，消除前景中的错误部分(就是应为背景，错判为前景的部分)。DPM模型包含8个部件，表示人体的8个部位，这些部件的位置可以在一定范围内变化。
DPM模型的检测结果包含9个方框：1个***方框和8个部件小方框，如图4中所示。检测结果的8个部件与DPM模型的8个部件一一对应。对于DPM模型中的每个部件，都具有FHOG特征，而FHOG特征体现了人体部件的轮廓，可以沿部件的轮廓和人体结构常识用手工方法标注每个“部件小方框”内的前景和背景。如图4中的左肩部件小方框，先根据人体结构常识和模型的轮廓线，可以估计肩部轮廓的大致范围，然后在此范围内选择并连接亮度值较大的FHOG特征线段，组成轮廓，对于左肩，将轮廓的左边标记为背景，将轮廓的右边标记为前景。
对于DPM模型的检测结果，共包含8个部件，前景分析时先将这个8个部件按纵座标(y轴)从上向下排序，然后选择第2～5个部件组成“广义上半身”，这里认为第1个部件(也就是最高位置的部件)为头部，第2～5个部件的序号可见图4。
然后将包含部件小方框的图像转换为以“广义上半身”为前景的掩码图，方法为：先将图像中除第2～5个部件之外的区域标记为背景，可以规定将背景标记为黑色，然后将第2～5个部件的小方框用部件的前景掩码图代替，这样将部件2～5进行融合，得到基本的前景。再填充部件之间的缝隙，形成初步的前景。计算过程如图5所示。
由于初步前景由DPM模型的部件的掩码构成，和实际的行人前景有一些误差，需要进一步的处理，消除初步前景中的错误部分(实际为背景，误判为前景)。
对于初步的前景，使用“边缘收缩算法”来优化前景。计算过程可见图6，过程为：先计算初步前景内的canny边缘，得到边缘图，然后在边缘图的初步前景区域内扫描每一行，在每一行中，先得到初步前景的左右边界，图6中的蓝色横线表示一行被扫描的像素，左右边界即前景区域(绿色区域)的左右边界，然后从左右两个边界点向人体中间寻找组成canny边缘的像素点，若在边界点的一定邻域范围内找到canny边缘像素点，则将新的左或右边界点移到canny边缘像素点；对于左边界点，则邻域为此边界点和边界点右侧的一部分区域；对于右边界点，则邻域为此边界点和边界点左侧的一部分区域。
用这种方法，可以删除每一行的左右边界附近的错误前景，得到优化后的最终前景。这种方法简单高效，准确性高。
除了DPM模型的行人检测方法之外，还有类似ICF的多种行人检测方法，这些方法的特点是只能得到行人的***方框，不能提供各个人体部件的位置，这样需要一种与DPM不同的前景提取算法，故提出一种基于边缘点统计特征的前景提取方法，流程为：
1、计算行人方框内图像的canny边缘图；
2、求“广义上半身”的左右边界；
图7和图8中，对于y坐标轴，方框顶部对应y座标值0，方框底部对应y座标值的最大值(即方框高度)。首先估计上半身在方框中的范围，此为预定义值，可以用行人方框y座标值与y座标值最大值(即方框高度)之间的比例来表示，一般为30％～70％，可见图8；然后在此y座标值范围内定义一个高度等于预定义范围、宽度为3个像素的滑动窗口，从左向右移动；此滑动窗口即为图8中“c.确定左右边界”中的绿色方框；
图8中，x座标值为整数，0对应行人方框的左边界，x座标值的最大值为行人方框的一行所包含的像素点的数目。在滑动窗口的移动过程中，步长为1个像素，统计滑动窗口内的组成边缘的像素点(即图8中的“b.边缘图”中的白色像素点)的数目；这样，对于每个x座标值，都对应1个统计值。当滑动窗口从行人方框的左端移动到右端，得到1个由二维数据元素组成的数组：{(x1,统计值1),(x2,统计值2),(x3,统计值3)…}，可以将此数组表示为曲线，如图7所示，然后将曲线分为左半部分和右半部分，如图7中的垂直蓝色线表示x座标值变化范围的中间点(即行人方框的水平方向的中间点)；在左半部分曲线和右半部分曲线中分别找到最大峰值，以这2个峰值点处的x座标值作为行人的左右边界。
图7中的多条曲线，是在垂直方向(y轴)上分段统计的结果，如将上半身预定义范围划分为4段，每段的高度为预定义范围高度的1/4，这样形成4个分段滑动窗口得到的曲线和1个整个高度范围的滑动窗口得到的曲线，然后将这5个曲线累加，得到最终的检测曲线，以期望得到更加稳定的检测。图7中标记了曲线1～3的滑动窗口在y轴方向的位置。
3、求肩和腰的水平线；
肩和腰的范围都是预设值，分别为行人方框垂直y轴的10％～30％和40％～70％。
此时仍然使用和(2)类似的滑动窗口法，移动方向改为从上向下，滑动窗口的左右边界为(2)中分析的结果，高度为3个像素；得到由二维数据元素组成的数组：{(y1,统计值1),(y2,统计值2),(y3,统计值3)…}，然后表示为曲线，再根据曲线峰值判断肩和腰的水平线的y座标值；
4、得到整个“广义上半身”的范围，形成由一个矩形区域表示的初步前景，如图8中所示的蓝色斜线区域；
5、按照前述的基于边缘的前景优化对4中的范围进行优化，得到最终结果，与图6类似。
目前存在许多种类的颜色和纹理特征，表示颜色的有：rgb直方图等，表示纹理的有：小波、gabor，综合表示颜色和纹理的有：mpeg-7-color-layout、CEDD、FCTH。
对于给定行人的情况，希望有一种特征能够综合颜色和纹理，同时有较高的检索效率。经过测试和论文的介绍，CEDD符合这一要求。
CEDD指：Color and Edge Directivity Descriptor，为144维的向量，特征中包含了边缘的颜色，可以同时体现纹理和颜色的特征。基本CEDD为开源软件，原理来自论文：“CEDD:Color and Edge Directivity Descriptor.A CompactDescriptor for Image Indexing and Retrieval,Savvas A.Chatzichristofis andYiannis S.Boutalis,2008”，
算法程序来自：“http://chatzichristofis.info/？page_id＝15”。
基本的CEDD针对矩形区域，而上述的行人前景为不规则区域，所以需要对基本CEDD算法进行改进。
基本CEDD算法提供了推荐的特征距离(体现相似度)计算方法，此方法对于一些特征会达到最大值，导致无法排序，也需要进行改进。
另外，mpeg-7-color-layout的原理和算法可见：
http://en.wikipedia.org/wiki/Color_Layout_Descriptor；
小波纹理和gabor纹理的算法可见：http://www.semanticmetadata.net/lire/；
根据论文介绍和测试，FCTH和CEDD的检索效率相差较小，所以本文中只考虑CEDD，不考虑FCTH；
下文中用特征距离来表示相似度，2个图像区域的特征距离越小，表示相似程度越大，即越相似；而特征距离越大，表示差别的程度越大，即越“不相似”。
基本的CEDD算法为针对整个图像，即方形区域，现在改为支持ROI。
基本的CEDD将一个方形区域分为64个小方格，分别计算每个小方格的特征，再将这些特征进行累加，得到总的特征。为支持ROI，现在改为只计算位于ROI内的小方格的特征。这里的ROI可以是前景区域。
基本算法和改进算法的原理可见图9，原理图中仅标识了方格作为示意，没有画出64个方格。改进算法计算过程为：
(1)输入为行人的方框和“广义上半身”的前景，如图6中所示；
(2)按照基本CEDD相同的方法将行人方框划分为64个方格；
(3)检查每个方格，若方格内的像素点全部属于前景，则定位有效方格，并计算此方格的CEDD特征；
(4)将有效方格的CEDD特征累加，得到前景区域的CEDD特征。
基本CEDD采用Tanimoto方法计算相似度(与特征距离成反比)，即：公式中的xi和xj为2个CEDD特征，Tij的范围为[0,1]。而特征距离表示为：distance＝M-M*Tij，这里M为特征距离的最大值。
对于一些图像，有时出现多个特征距离为最大值的情况，如：图像query和图像b1、b2、b3的特征距离都为上述的最大值M，这样导致无法进行相似度排序。这是因为有多种情况可以使Tij为0，如图像query的特征为(1,0,0)，而图像b1和b2的特征为(0,2,0)和(0,0,3)，则(1,0,0)和(0,2,0)、(0,0,3)的内积都为0，即Tij都为0，导致特征距离取最大值，这里的特征只是3维向量，仅用作原理的说明。此时虽然query和b1、b2的距离都为最大值，但是CEDD特征的每一维之间实际上可以评价距离，仍以上述的3维特征为例，若3维的颜色分别表示(红，紫，蓝)，则可以认为query和b1的距离比query和b2的距离小，即红色和紫色更相像，而红色和蓝色则差别较大。
为此进行了改进，改进后的特征距离计算过程如图10。改进后的算法为：
(1)输入为2个CEDD特征；
(2)先用Tanimoto法计算特征距离distance1，若未超过最大值M，则输出为最终结果distance；
(3)若distance1超过最大值M，则计算distance2，并令distance＝distance2+M，作为输出的特征距离。
distance2的计算方法为：将CEDD特征视为直方图，每一维表示一定条件下的颜色，每一维的值表示满足此条件的颜色的像素点的数目。对于输入特征t1和t2，分别找出值最大的3个维，然后直接计算向量的维的序号的加权距离之和。如：t1为(10,20,0,70,30)，t2为(0,30,50,100,10)，这里的CEDD特征为5维，仅用作说明计算原理，t1和t2按值降序排列的维的序号为{4,5,2,1,3}和{4,3,2,5,1}，然后找出排在前面的3个维的序号，分别为{4,5,2}和{4,3,2}，再计算对应的维的序号的差值的绝对值之和，同时根据排序设置权值，将结果作为distance2，即distance2＝|4-4|+|5-3|*0.5+|2-2|*0.25。
CEDD特征同时包含了颜色和纹理，适合有给定行人的检索。对于未提供给定行人的情况，只提供一些模糊信息，如：红色上衣等，如图2所示，这时希望能有一种检索特征，具有精确度不太高、覆盖面广的特点。给定的模糊颜色可以从类似windows调色板中得到。
本文选择一种模糊颜色直方图来表示特征，而未使用纹理，因为纹理相对比较复杂，导致覆盖面不广。CEDD特征中已包含了模糊颜色的计算，可将颜色分为10个或者24个模糊颜色(称为bin颜色)，组成模糊颜色直方图，bin颜色为普通和易理解的，如：黑色，灰色，红色，绿色，蓝色等，下文中将CEDD中包含的模糊颜色特征简称为模糊颜色特征。
测试中发现，若采用模糊颜色特征并按上述的“改进的特征距离计算方法”计算特征距离，或者采用mpeg-7-colorlayout,普通rgb直方图等特征计算特征距离，准确度都不理想，尤其是单色和灰色的情况，主要的问题是覆盖面的广度较小。关于覆盖面的一个例子可见图12。
本文对于给定信息为模糊颜色的情况，使用模糊颜色特征，而不考虑纹理，并提出一种新的特征计算方法，可以达到更广的覆盖面。“模糊颜色特征距离”和CEDD特征距离进行相似度排序的比较如图12，图中，特征距离从小到大的排序为：上一行小于下一行，每一行中左边小于右边。可见，2者都可以检索到目标，CEDD检索的精确度更高，而“模糊颜色相似度”覆盖面更广。
本文方法的模糊颜色特征(或称为模糊颜色直方图)对CEDD的模糊颜色进行了扩展，包含CEDD中的10个模糊颜色(如：红，紫，蓝，黑，灰，白，绿等)，并增加1项：平均亮度，组成11维的模糊颜色特征。
模糊颜色特征的特征距离的计算方法如下，可参见图11。
1、根据给定颜色计算模糊颜色特征(或称为模糊颜色直方图)；
2、根据模糊直方图主要颜色序号是否重叠来计算基本距离d1；
先找出给定颜色直方图中颜色值大于一定阈值的4个主要颜色成分(不包括11维中的亮度成分)，将d1预设距离为4，然后逐一检测每个颜色成分，按照此颜色成分序号从特征库的特征颜色直方图中得到对应颜色值，若也大于一定阈值，则距离值减1。这样检查4个颜色成分之后，基本距离d1的最大值为4，最小值为0。如给定颜色和特征库中的某个颜色的直方图分别为(10,20,50,40,30)和(10,20,0,30,0)，这里为5维数据，仅用于说明原理。对于给定颜色直方图，若将阈值选为10，并选择颜色值最大的4个颜色成分，则得到的颜色成分序号为{3,4,5,2}，对应的颜色值为(50,40,30,20)。而对于来自特征库的特征中，与这4个序号对应的颜色值为(0,30,0,20)。比较这2个4维的颜色向量，只有第2个和第4个颜色值都大于0，则基本距离d1＝4-2＝2。
3、若给定颜色为黑色、灰色或白色，则计算2个模糊颜色特征的亮度成分之差；其中亮度为利用hsv特征计算的平均v值(value part of hsv)得到；最终距离为：distance＝d1+亮度差；
4、若给定颜色不是：黑色、灰色或白色，则计算模糊直方图前3个主要颜色成分的颜色值之差的绝对值之和，再与基本距离相加，即最终距离为：d1+(直方图第1主要成分颜色值之差)+(直方图第2主要成分之差)+(直方图第3主要成分之差)。
这里主要成分是从给定颜色计算得来。如(2)中的例子，将给定颜色按颜色值排序，并取前3个颜色值的颜色序号和颜色值分别为{3,4,5}和(50,40,30)，按此颜色成分序号，从来自特征库的颜色特征中取得的颜色值为(0,30,0)，则颜色差＝|50-0|+|40-30|+|30-0|＝90，最终距离为：distance＝d1+90。
下面给出相关对比实验数据：
在目前开源cbir引擎中，lire性能最好，提供了很多特征和比较方法，但是不支持ROI，在这里用作一种对比方法；
对于ROI(即前景掩码)的比较，根据主流的方法编制了程序，和本文的方法进行比较，包括：mpeg-7-colorlayout，普通rgb直方图，gabor纹理；
测试集来自实际监控视频截图和各种场景拍摄的图像，共计约5000张，检测的行人约25000个；选择2000个在不同场景或画面中重复出现的行人作为检索的给定对象。
关于检索准确率的计算，采用一种比较简单的方式，只针对给定行人计算准确率，对于只给定颜色的情况，则不考虑。
对于给定行人，若在检索的特征距离最小的前30个结果中，出现了给定目标，则认为检索成功。
另外，根据论文介绍，FCTH和CEDD来自同一个开源软件系列，检索性能几乎相同，所以对比测试中没有FCTH。
直接使用***方框，使用lire中的：CEDD，mpeg-7-color-layout，普通color直方图，gabor纹理：
(1)CEDD的检索准确率最高，约70％；
(2)mpeg-7-color-layout准确率第二高，约60％；
(3)普通rgb直方图，约50％；
(4)gabor纹理，约40％；
使用本发明方法：
(1)支持ROI的CEDD；准确率约95％；
(2)模糊颜色直方图和模糊颜色相似度；准确率约75％；
(3)mpeg-7-color-layout；准确率约70％；
(4)普通rgb直方图，约60％；
(5)gabor纹理，约50％。

Claims (10)

1.一种多模型和模糊颜色的行人检索方法，其特征在于，包括以下步骤：
步骤一：输入行人检测结果作为需要检索的对象并进行前景提取，首先以人体上半身作为所需要的检索敏感区域即前景范围进行界定，以获得初步前景，然后对初步前景进行canny边缘计算以得到最终前景；
步骤二：综合步骤一中得出的最终前景和输入的行人检测结果中检测方框所表示的位置信息，计算每个行人的改进CEDD特征和模糊颜色特征，并将这两个特征分别存入改进CEDD特征库和模糊颜色特征库中；
步骤三：根据给定的搜索特征对特征数据库内所储存的对象进行检索，若给定为行人图像和前景特征，则计算给定行人的改进CEDD特征，并与改进CEDD特征库中的每条记录比较得出特征距离，再将记录按照特征距离进行排序以得到检索结果；若给定为颜色特征，则计算给定颜色的模糊颜色特征，并与模糊颜色特征库的每条记录比较得出特征距离，并将记录按照特征距离进行排序以得到检索结果。
2.根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述的步骤一中，输入的行人检测结果由DPM模型进行检测获得。
3.根据权利要求2所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述的步骤一中，获得最终前景的步骤包括：
首先将行人检测结果中的部件方框按图片上的纵坐标自上而下排序，并按照顺序选择预设的多个部件作为人体的上半身，然后将组成人体上半身的各部件方框转换为前景掩码图，并充部件间的空隙以形成DPM初步前景；
对DPM初步前景计算canny边缘，得到边缘图，然后在边缘图的DPM初步前景区域内逐行扫描，在每一行中，从初步前景的左右两个边界点向人体中间寻找组成canny边缘的像素点，若在一定邻域范围内找到边缘像素点，则将该边缘像素点作为该行的左或右边界点，完成后即得到DPM最终前景。
4.根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述的步骤一中，输入的行人检测结果由ICF模型进行检测获得。
5.根据权利要求4所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述的步骤一中，获得最终前景的步骤包括：
首先对检测结果中的行人方框进行上半身范围界定，然后取一个高度等同上半身范围、宽度为预设像素的左右滑动窗口，在界定的上半身范围内由宽度方向的一端向另一端移动；再取一个宽度等同上半身范围、高度为预设像素的上下滑动窗口，在界定的上半身范围内由高度方向的一端向另一端移动；
在左右滑动窗口移动过程中统计窗口内的边缘像素点的数目，形成一个以图像x轴坐标为x值、以每个x坐标处的边缘点数目为y值的2维曲线，然后在图像的左半部分和右半部分中分别找到最大峰值，作为左右边界；同样统计上下滑动窗口内的边缘像素点的数目，形成一个以图像y轴坐标为x值、以每个y坐标的边缘点数目为y值的2维曲线，然后在图像的上半部分和下半部分中分别找到最大峰值，作为上下边界，即得到ICF初步前景；
对ICF初步前景计算canny边缘，得到边缘图，然后在边缘图的ICF初步前景区域内逐行扫描，在每一行中，从初步前景的左右两个边界点向人体中间寻找组成canny边缘的像素点，若在一定邻域范围内找到边缘像素点，则将该边缘像素点作为该行的左或右边界点，完成后即得到ICF最终前景。
6.根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，步骤二和步骤三中计算行人的改进CEDD特征的步骤包括：
首先输入行人检测方框和最终前景，然后将行人检测方框平均划分为64个方格，对每个方格进行检查，若方格内像素点全部为最终前景中像素点，则定位为有效方格，并计算此方格的CEDD特征，否则不进行计算，最后将有效方格的CEDD特征累加，即得到前景区域的改进CEDD特征。
7.根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，步骤二和步骤三中计算行人的模糊颜色特征的步骤包括：
首先输入行人检测方框和最终前景，然后在前景区域采用模糊颜色算法计算包含10个模糊颜色分量的直方图，再计算前景区域内的平均亮度，组成11维的模糊颜色特征向量；“模糊颜色算法”是“改进CEDD特征”计算算法中的一个步骤；所述的平均亮度计算过程为：先将rgb颜色值转换为HSV颜色值，再计算前景区域内的V值的平均值。
8.根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述的步骤三中，根据所计算的给定行人和前景特征得出的改进CEDD特征与改进CEDD特征库中每条记录的特征距离的步骤包括：
将给定行人和前景特征所计算出的改进CEDD特征和步骤二中存入特征库中的一条改进CEDD特征进行比较，先用Tanimoto法计算特征距离distance1，若未超过预设的最大值M，则将distance1输出为最终结果distance；
若distance1超过最大值M，则计算distance2，并令distance＝distance2+M，作为输出的特征距离。
9.根据权利要求8所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述的distance2的计算方法为：对于输入特征t1和t2中所包含的每个元素对应一个维序号，将包含的元素按元素值以降序排序，取排序为前3个元素值所对应的维序号，形成1个3维向量，这样得到2个3维向量，求这2个3维向量的对应元素的差值的绝对值，并对绝对值根据排序次序取权值后求和，将和作为distance2。
10.根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述的步骤三中，根据给定颜色特征来得出与模糊颜色特征库中每条记录的特征距离的步骤包括：
首先根据给定颜色来计算给定颜色的模糊颜色特征；
然后将模糊颜色特征与模糊颜色特征库的记录逐一单个比较，模糊颜色特征作为特征向量，维数为颜色的数目，每个元素表示1种颜色，元素值即为颜色值；找出其中颜色值大于预设阈值且颜色值最大的k个颜色元素，其中k不大于4且大于0，将基本距离d1预设为k，接下来逐一检测这k个颜色元素，按照每个颜色元素对应的颜色序号即维序号，从模糊颜色特征库的1个记录中得到对应颜色元素值，若获得的颜色元素值也大于上述的预设阈值，则距离值减1，这样检查完k个颜色成分后，得到1个距离值，设为h，则基本距离d1＝(h/k)；
若给定颜色为黑色、灰色或白色，则计算2个模糊颜色特征的亮度成分之差,其中亮度为利用hsv特征计算的平均v值得到,最终距离为：distance＝d1+亮度差；否则计算模糊直方图前3个主要颜色成分的颜色值之差的绝对值之和，再与基本距离相加，即最终距离为：d1+(直方图第1主要成分颜色值之差)+(直方图第2主要成分颜色值之差)+(直方图第3主要成分颜色值之差)。
CN201410502268.5A 2014-09-26 2014-09-26 一种多模型和模糊颜色的行人检索方法 Active CN104484324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410502268.5A CN104484324B (zh) 2014-09-26 2014-09-26 一种多模型和模糊颜色的行人检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410502268.5A CN104484324B (zh) 2014-09-26 2014-09-26 一种多模型和模糊颜色的行人检索方法

Publications (2)

Publication Number Publication Date
CN104484324A true CN104484324A (zh) 2015-04-01
CN104484324B CN104484324B (zh) 2017-11-21

Family

ID=52758865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410502268.5A Active CN104484324B (zh) 2014-09-26 2014-09-26 一种多模型和模糊颜色的行人检索方法

Country Status (1)

Country Link
CN (1) CN104484324B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085609A (zh) * 2017-04-24 2017-08-22 国网湖北省电力公司荆州供电公司 一种基于神经网络进行多特征融合的行人检索方法
CN111612808A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 前景区域获取方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN103473542A (zh) * 2013-09-16 2013-12-25 清华大学 多线索融合的目标跟踪方法
CN103942563A (zh) * 2014-03-31 2014-07-23 北京邮电大学 一种多模态行人再辨识技术

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN103473542A (zh) * 2013-09-16 2013-12-25 清华大学 多线索融合的目标跟踪方法
CN103942563A (zh) * 2014-03-31 2014-07-23 北京邮电大学 一种多模态行人再辨识技术

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHAEL WEBER等: "Part-based Clothing Segmentation for Person Retrieval", 《2011 8TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085609A (zh) * 2017-04-24 2017-08-22 国网湖北省电力公司荆州供电公司 一种基于神经网络进行多特征融合的行人检索方法
CN111612808A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 前景区域获取方法、装置、电子设备和存储介质
CN111612808B (zh) * 2019-02-26 2023-12-08 北京嘀嘀无限科技发展有限公司 前景区域获取方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN104484324B (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
Liu et al. A detection method for apple fruits based on color and shape features
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN104866616B (zh) 监控视频目标搜索方法
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
CN105069466B (zh) 基于数字图像处理的行人服饰颜色识别方法
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN106933816A (zh) 基于全局特征和局部特征的跨镜头目标检索***及方法
CN103281477A (zh) 基于多级别特征数据关联的多目标视觉跟踪方法
CN106991370B (zh) 基于颜色和深度的行人检索方法
CN103824059A (zh) 一种基于视频图像序列的人脸表情识别方法
CN107066972B (zh) 基于多通道极值区域的自然场景文本检测方法
CN103679154A (zh) 基于深度图像的三维手势动作的识别方法
CN104077605A (zh) 一种基于颜色拓扑结构的行人搜索识别方法
CN105718882A (zh) 一种分辨率自适应特征提取与融合的行人重识别方法
CN103996046A (zh) 基于多视觉特征融合的人员识别方法
CN109271932A (zh) 基于颜色匹配的行人再识别方法
Bhuiyan et al. Person re-identification by discriminatively selecting parts and features
CN105243356A (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN110334675A (zh) 一种基于人体骨骼关键点分割和列卷积的行人重识别方法
CN105405138A (zh) 基于显著性检测的水面目标跟踪方法
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN103077383B (zh) 基于时空梯度特征的分部位的人体运动识别方法
CN105404682B (zh) 一种基于数字图像内容的图书检索方法
Walicka et al. Automatic segmentation of individual grains from a terrestrial laser scanning point cloud of a mountain river bed
Dwina et al. Skin segmentation based on improved thresholding method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 410004 Hunan province Changsha Tianxin new Yao Road No. 168 Tianxin Jiayuan two room 107 4

Applicant after: Xu Xiaohui

Address before: 410004, No. 25, No. 168, Yao Yao Road, Tianxin Yao Road, Tianxin District, Hunan, Changsha, No. 105

Applicant before: Xu Xiaohui

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Xiang

Inventor before: Xu Xiaohui

TA01 Transfer of patent application right

Effective date of registration: 20171019

Address after: 361008 Fujian City, Xiamen Software Park, No. three Cheng Yi Avenue, unit 366, 0006

Applicant after: Ropt (Xiamen) Technology Group Co., Ltd.

Address before: 410004 Hunan province Changsha Tianxin new Yao Road No. 168 Tianxin Jiayuan two room 107 4

Applicant before: Xu Xiaohui

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 361008, Xiamen Software Park, Fujian Province, three, 0006, Yi Cheng street, unit 366

Patentee after: ROPT TECHNOLOGY GROUP Co.,Ltd.

Address before: 361008, Xiamen Software Park, Fujian Province, three, 0006, Yi Cheng street, unit 366

Patentee before: Roput (Xiamen) Technology Group Co.,Ltd.

CP01 Change in the name or title of a patent holder