CN110647818A - 一种遮挡目标物体的识别方法及装置 - Google Patents

一种遮挡目标物体的识别方法及装置 Download PDF

Info

Publication number
CN110647818A
CN110647818A CN201910797534.4A CN201910797534A CN110647818A CN 110647818 A CN110647818 A CN 110647818A CN 201910797534 A CN201910797534 A CN 201910797534A CN 110647818 A CN110647818 A CN 110647818A
Authority
CN
China
Prior art keywords
target
target object
image
shielding
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910797534.4A
Other languages
English (en)
Inventor
李高杨
林拥军
郝燕茹
高于超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing E Hualu Information Technology Co Ltd
Original Assignee
Beijing E Hualu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing E Hualu Information Technology Co Ltd filed Critical Beijing E Hualu Information Technology Co Ltd
Priority to CN201910797534.4A priority Critical patent/CN110647818A/zh
Publication of CN110647818A publication Critical patent/CN110647818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种遮挡目标物体的识别方法,其中,该方法包括:获取目标物体图像和至少部分遮挡目标物体的遮挡物体图像;根据目标物体图像和遮挡物体图像,判断目标物体和遮挡物体在同一目标位置是否为同一物体;根据判断结果,识别目标物体和遮挡物体。本发明通过目标物体图像和遮挡物体图像,确定二者在同一目标位置是否为同一物体,可以准确识别出同一位置的目标物体或遮挡物体,以免在识别目标物体的过程中因外界遮挡物体的干扰,误将同一位置的目标物体识别成两个不同的物体,进而可以显著提高识别的精确性。

Description

一种遮挡目标物体的识别方法及装置
技术领域
本发明涉及物体识别技术领域,具体涉及一种遮挡目标物体的识别方法及装置。
背景技术
随着计算机网络的迅速发展,物体的图像识别在物联网通信中也发挥着重要作用,准确识别物体图像,可以给人们的日常生活带来诸多方面。例如:通过图像识别可以搜捕犯罪分子,通过图像识别可以跟踪目标物体。但是在图像识别的过程中,往往存在一些遮挡因素的影响物体图像的识别结果,因此,在识别物体图像的过程中需要考虑一些遮挡因素对识别结果的影响程度。
目前现有技术中主要利用YOLO模型或HOG与SVM模型等人工智能算法对目标物体进行智能识别,即向YOLO模型或HOG与SVM模型中输入相邻的两帧视频图像数据,通过该相邻两帧视频图像数据在目标候选框中的交并比从而识别该两帧的视频图像数据是否为同一物体,当不存在遮挡物体时,利用上述方式对识别结果影响不大,但在目标候选框中如果出现遮挡物体遮挡目标物体时,导致目标候选框中的视频图像发生丢帧现象,按照上述方式很容易将同一目标物体识别成两不同物体,其显然会存在一定的误差,导致识别结果不够精确。例如:在违法停车识别中,当目标车辆被行人或其它车辆遮挡,导致同一目标物体在遮挡前和遮挡后被认定为两个不同的物体,显然,最终导致错误识别违法停车的现象,因此,现有技术中基于上述识别方式识别道路违法停车不够准确,即其识别精度较低,容易发生误判现象。
发明内容
有鉴于此,本发明实施例提供了一种遮挡目标物体的识别方法,以解决现有技术中出现遮挡物体遮挡目标物体时,导致目标候选框中的视频图像发生丢帧现象,现有技术很容易将同一目标物体识别成两个不同物体,其显然会存在一定的误差,导致识别结果不够精确的问题。
根据第一方面,本发明实施例提供了一种遮挡目标物体的识别方法,包括:获取目标物体图像和至少部分遮挡目标物体的遮挡物体图像;根据所述目标物体图像和所述遮挡物体图像,判断所述目标物体和所述遮挡物体在同一目标位置是否为同一物体;根据判断结果,识别所述目标物体和所述遮挡物体。
结合第一方面,在第一方面第一实施方式中,根据目标物体图像和遮挡物体图像,判断目标物体和遮挡物体在同一目标位置是否为同一物体的步骤还包括:构建孪生网络模型;将所述目标物体图像和所述遮挡物体图像输入至所述孪生网络模型进行检测,并输出检测结果对应的第一检测参数;判断所述第一检测参数是否小于或等于预设阈值;当所述第一检测参数小于或等于预设阈值时,所述目标物体和所述遮挡物体在同一目标位置为同一物体;当所述第一检测参数小于预设阈值时,所述目标物体和所述遮挡物体在同一位置不为同一物体。
结合第一方面,在第一方面第二实施方式中,获取目标物体图像步骤还包括:构建YOLO神经网络模型;将所述目标物体视频图像数据输入至所述YOLO神经网络模型进行检测,并输出相邻两帧的目标物体图像数据分别对应的第一目标区域参数和第二目标区域参数;根据所述第一目标区域参数和第二目标区域参数,通过IOU算法计算所述目标物体图像对应的第二检测参数;根据所述第二检测参数,确定所述目标视频图像数据中的所述目标物体图像。
结合第一方面,在第一方面第三实施方式中,获取至少部分遮挡目标物体的遮挡物体图像的步骤还包括:构建YOLO神经网络模型;将所述遮挡物体视频图像数据输入至所述YOLO神经网络模型进行检测,并输出相邻两帧的遮挡物体图像数据分别对应的第三目标区域参数和第四目标区域参数;根据所述第三目标区域参数和第四目标区域参数,通过IOU算法计算所述遮挡物体图像对应的第三检测参数;根据所述第三检测参数,确定所述遮挡物体视频图像数据中的所述遮挡物体图像。
结合第一方面或第一方面任一实施方式,在第一方面第四实施方式中,所述目标物体图像包括车辆图像或人物图像或动物图像或植物图像或景色图像或固定物体图像。
结合第一方面第四实施方式,在第一方面第五实施方式中,当所述目标物体图像为车辆图像时,用于检测所述车辆图像对应的目标车辆在所述目标位置是否发生违法停车现象以及违法停车的次数。
根据第二方面,本发明实施例提供了一种遮挡目标物体的识别装置,包括:获取模块,用于获取目标物体图像和至少部分遮挡目标物体的遮挡物体图像;判断模块,用于根据所述目标物体图像和所述遮挡物体图像,判断所述目标物体和所述遮挡物体在同一目标位置是否为同一物体;识别模块,用于根据判断结果,识别所述目标物体和所述遮挡物体。
根据第三方面,本发明实施例提供了图像识别设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或第一方面任一实施方式中遮挡目标物体的识别方法的步骤。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质存储计算机指令,计算机指令用于使计算机执行上述第一方面或第一方面任一实施方式中遮挡目标物体的识别方法的步骤。
本发明实施方式具有如下优点:
本发明实施例提供了一种遮挡目标物体的识别方法、装置、存储介质及一种图像识别模块,其中,该识别方法包括:获取目标物体图像和至少部分遮挡目标物体的遮挡物体图像;根据目标物体图像和遮挡物体图像,判断目标物体和遮挡物体在同一目标位置是否为同一物体;根据判断结果,识别目标物体和遮挡物体。本发明通过目标物体图像和遮挡物体图像,确定二者在同一目标位置是否为同一物体,可以准确识别出同一位置的目标物体或遮挡物体,以免在识别目标物体的过程中因外界遮挡物体的干扰,误将同一位置的目标物体识别成两个不同的物体,进而可以显著提高识别的精确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中遮挡目标物体的识别方法第一流程图;
图2是本发明实施例中遮挡目标物体的识别方法第二流程图;
图3是本发明实施例中遮挡目标物体的识别方法第三流程图;
图4是本发明实施例中IOU算法示意图;
图5是本发明实施例中遮挡目标物体的识别方法第四流程图;
图6是本发明实施例中的遮挡目标物体的识别装置结构框图;
图7是本发明实施例中的遮挡目标物体的识别装置的判断模块的结构框图;
图8是本发明实施例中的遮挡目标物体的识别装置的获取模块的结构框图;
图9是本发明实施例中图像识别设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明实施例提供一种遮挡目标物体的识别方法,用于道路违法停车的具体应用场景中,如图1所示,包括如下步骤:
步骤S1:获取目标物体图像和至少部分遮挡目标物体的遮挡物体图像;当本实施例中的遮挡目标物体的识别方法应用在道路违法停车场景中时,此处的目标物体图像为车辆图像,当然,如果本实施例中的遮挡目标物体的识别方法应用在其它应用场景中时,此处的目标物体图像包括人物图像或动物图像或植物图像或景色图像或固定物体图像。
上述中的至少部分遮挡目标物体的遮挡物体图像包括遮挡物体遮挡目标物体的一小部分区域和完全遮挡目标物体的全部区域。例如:在某个位置停放一辆机动车时,在该机动车的前方出现一个行人经过或另一辆机动车驶过时,造成在此位置停放的机动车被另一辆机动车或者行人小部分区域遮挡或者完全遮挡。
在一具体实施例中,如图2所示,上述步骤S1在执行的过程中检测目标物体图像,可具体包括如下步骤:
步骤S101:构建YOLO神经网络模型;该YOLO神经网络模型是一个可以一次性预测多个位置和类别的卷积神经网络,能够实现端到端的目标检测和识别,因此,该YOLO神经网络模型在图像识别中应用较为广泛。
步骤S102:将目标物体视频图像数据输入至YOLO神经网络模型进行检测,并输出相邻两帧的目标物体图像数据分别对应的第一目标区域参数和第二目标区域参数;此处目标物体视频图像数据为连续的多帧视频数据,摄像设备采集连续的100帧视频图像数据作为目标视频图像数据用于识别出目标物体图像,该100帧视频图像数据可以存储在图像识别设备的高速缓冲存储器中(cache)。
步骤S103:根据第一目标区域参数和第二目标区域参数,通过IOU算法计算目标物体图像对应的第二检测参数;此处的第一目标区域参数为相邻两帧的目标物体图像数据中第一帧目标物体图像数据对应的坐标检测框参数,第二目标区域参数为相邻的目标物体图像数据中第二目标物体图像数据对应的坐标检测框参数,如图4所示,第一目标区域为矩形框ABCD,其对应的第一目标区域参数为A:(x1,y1)、B:(x2,y1)、C:(x2,y2)、D:(x1,y2),第二目标区域为矩形框EFGH,其对应的第二目标区域参数为E:(x3,y3)、F:(x4,y3)、G:(x4,y4)、H:(x3,y4),其中,第一目标区域与第二目标区域相交区域的交点的坐标为J(x3,y1),I(x2,y4)。
步骤S104:根据第二检测参数,确定目标视频图像数据中的目标物体图像。
上述中的IOU算法为基于第一目标区域与第二目标区域参数所对应的两个矩形坐标框的交集面积与并集面积的比值,即在图4中,利用IOU算法计算矩形框ABCD与矩形框EFGH的相交区域JBIH与矩形框ABCD与矩形框EFGH并集的区域的比值,这个比值越大,证明两个矩形坐标框的重合度越高。第一目标区域与第二目标区域的IOU计算具体过程如下:
第一目标区域参数对应的矩形(ABCD)面积=(x2-x1)*(y2-y1);
第二目标区域参数对应的矩形(EFGH)面积=(x4-x3)*(y4-y3);
重叠面积(JBIH)=(x2-x3)*(y4-y1);
YIOU=重叠面积(JBIH)/[第一目标区域参数对应的矩形(ABCD)面积+第二目标区域参数对应的矩形(EFGH)面积-重叠面积(JBIH)]=(x2-x3)*(y4-y1)/[(x2-x1)*(y2-y1)+(x4-x3)*(y4-y3)-(x2-x3)*(y4-y1)]。
在一具体实施例中,上述步骤S1在执行的过程中检测遮挡物体图像,可具体包括如下步骤:
第一步,构建YOLO神经网络模型;
第二步,将遮挡物体视频图像数据输入至YOLO神经网络模型进行检测,并输出相邻两帧的遮挡物体图像数据分别对应的第三目标区域参数和第四目标区域参数;
第三步,根据第三目标区域参数和第四目标区域参数,通过IOU算法计算遮挡物体图像对应的第三检测参数。
第四步,根据第三检测参数,确定遮挡物体视频图像数据中的遮挡物体图像。
具体识别过程如下:
如图3所示。
一、视频原帧图像输入到YOLO网络中进行物体检测;
二、判断当前程序是否为第一帧,即是否有前一帧的数据;
三、如果经二判断,当前是程序运行的第一帧,则需要初始化一个高速缓冲存储器cache,这个高速缓冲存储器cache用于存储当前帧(第一帧)的所有的检测物体截图、检测框坐标以及当前的视频帧数(frame_id);
四、如果经二判断,当前不是程序运行的第一帧,那么对高速缓冲存储器cache中上一帧的所有机动车,运用IOU算法判断这一帧是否有对应的机动车检测框;
五、如果经四判断,这一帧有上一帧某个机动车的对应检测框,则更新高速缓冲存储器cache中该机动车的帧数(frame_id),车辆截图和检测框坐标值;
六、如果经四判断,这一帧没有上一帧某个机动车的对应检测框,则再判断当前的帧数(frame_id)是否大于高速缓冲存储器cache中该机动车的帧数(frame_id)+100;
七、如果经六判断,确定当前的帧数(frame_id)大于高速缓冲存储器cache中存储的该物体帧数(frame_id)+100,则判定该机动车已经驶出了画面,将该机动车从高速缓冲存储器cache中删除;
八、如果经六判断,确定当前的帧数(frame_id)小于等于高速缓冲存储器cache中存储的该物体帧数(frame_id)+100,则执行空操作
以上所有步骤对目标视频图像数据中的100帧的每一帧都要循环执行一次。
上述步骤S103中的第二检测参数或上述中第三检测参数通常具体为0-1之间的数字。例如:具体地,该步骤的具体训练过程是从目标视频图像数据中抽取的单帧车辆图像通过YOLO算法进行检测,并且返回坐标检测框对应数值,每帧车辆图像的坐标检测框都会被检测并返回相应的数值,然后,将相邻两帧车辆图像的坐标检测框进行IOU计算(交并比计算),该IOU计算是以两个物体图像的坐标检测框为输入,返回一个0-1之间的数字,这个数字表示的是两个矩形坐标检测框的交集面积与并集面积的比值,比值越大,证明两个矩形重合度越高,比值越小,证明两个矩形重合度越小。
上述中的步骤S104:根据第二检测参数,确定目标视频图像数据中的目标物体图像或根据第三检测参数,确定遮挡物体视频图像数据中的遮挡物体图像。例如:目标视频图像数据是包含目标物体(车辆)、遮挡物体(行人、车辆)以及其它的建筑物体,因为一个物体其相邻位置是连续的,所以往往该物体相邻的两帧图像的重合度很大,因此,如果该第二检测参数或第三检测参数为0.9,说明相邻的两帧图像的重合度很大,则在目标视频图像中可以确定目标视频图像数据中的目标物体图像。
步骤S2:根据目标物体图像和遮挡物体图像,判断目标物体和遮挡物体在同一目标位置是否为同一物体;此处的同一目标位置可以认为是在图像识别过程中的同一个目标坐标检测框或同一个目标候选框。
在一优选的具体实施例中,如图5所示,上述步骤S2在执行的过程中可具体包括如下步骤:
步骤S201:构建孪生网络模型;此处的孪生神经网络模型是将两幅图像输入神经网络模型中,从而分析两幅图像的相似度。
步骤S202:将目标物体图像和遮挡物体图像输入至孪生网络模型进行检测,并输出检测结果对应的第一检测参数;事实上,是将在同一位置,遮挡前后的两幅图像输入至孪生网络模型进行检测,此处的第一检测参数也为0-1之间的数值,该数值代表一个距离值(浮点数)。例如:将遮挡前的车辆图像和遮挡后的车辆图像分别输入至训练好的孪生网络模型中,输出一个距离值,该距离值越大则表示两张图像越不同,即在同一位置遮挡前后的目标物体不是同一物体。
步骤S203:判断第一检测参数是否小于或等于预设阈值。例如:预设阈值为0.47,该预设阈值可以认为是一个参考值。将第一检测参数与预设阈值进行比较,判断二者是都小于等于预设阈值。
步骤S204:当第一检测参数小于或等于预设阈值时,目标物体和遮挡物体在同一目标位置为同一物体。例如:预设阈值为0.47,第一检测参数为0.35,由于0.35<0.47,则目标物体和遮挡物体在同一位置为同一物体,例如:在某一位置停放一辆机动车,因其它车辆驶过使其被遮挡,当第一检测参数小于或者等于预设阈值0.47时,可以判定在同一位置遮挡前后的车辆为同一车辆,该车辆在预设的100帧目标视频图像的时间内没有驶离该位置,此时只报出一次违法停车事件。
步骤S205:当第一检测参数小于预设阈值时,目标物体和遮挡物体在同一位置不为同一物体。当遮挡物体将车辆遮挡时,此时第一检测参数大于预设阈值0.47时,可以判定在同一位置遮挡前后的车辆为两辆不同的车辆,此时该车辆在预设的100帧目标视频图像的时间内驶离该位置后,再次出现另一辆车辆停放在该位置时,此时则报出两次违法停车事件。本实施例中预设目标视频图像数据中100帧视频图像均按照上述步骤S201至步骤S205检测目标物体和遮挡物体在同一位置是否为同一物体。
上述步骤S2在执行的过程中还可以采用其他方式进行识别,不仅仅限于孪生网络模型。
步骤S3:根据判断结果,识别目标物体和遮挡物体。此处的判断结果就是两种情况,一种情况是目标物体与遮挡物体为同一物体,第二种情况是目标物体与被遮挡物体不为同一物体。在本实施例中即出现以下两种情况,一种情况是在同一位置遮挡前后的违法车辆为同一车辆,则报出一次违法停车事件;第二种情况是在同一位置遮挡前后的违法车辆不为同一车辆,则报出两次违法停车事件。
本发明实施例通过目标物体图像和遮挡物体图像,确定二者在同一目标位置是否为同一物体,可以准确识别出同一位置的目标物体或遮挡物体,以免在识别目标物体的过程中因外界遮挡物体的干扰,误将同一位置的目标物体识别两个不同的物体,进而可以显著提高识别的精确性,同时当本实施例应用于道路违法停车的具体应用场景中,可以准确识别出遮挡前后的车辆是否为同一车辆,该同一车辆在同一位置是否发生违法停车现象,防止错误识别违法停车的现象,即提高违法停车的识别精度。
实施例2
本发明实施例提供一种遮挡目标物体的识别方法,用于犯罪嫌疑人及其同伙检测的具体应用场景中,在图1中,包括如下步骤:
步骤S1:获取目标物体图像和至少部分遮挡目标物体的遮挡物体图像;当本实施例中的用于犯罪嫌疑人的具体应用场景中时,此处的目标物体图像为犯罪嫌疑人图像,当然,如果本实施例中的遮挡目标物体的识别方法应用在其它应用场景中时,此处的目标物体图像包括车辆图像或动物图像或植物图像或景色图像或固定物体图像。
上述中的至少部分遮挡目标物体的遮挡物体图像包括遮挡物体遮挡目标物体的一小部分区域和完全遮挡目标物体的全部区域。例如:在某个位置停留一个犯罪嫌疑人时,在该犯罪嫌疑人前方出现另一个人经过或被另一个物体遮挡时,此时发生犯罪嫌疑人被遮挡的现象。
在一具体实施例中,如图2所示,上述步骤S1中在执行的过程中检测目标物体图像,可具体包括如下步骤:
步骤S101:构建YOLO神经网络模型;该YOLO神经网络模型是一个可以一次性预测多个位置和类别的卷积神经网络,能够实现端到端的目标检测和识别;
步骤S102:将目标物体视频图像数据输入至YOLO神经网络模型进行检测,并输出相邻两帧的目标物体图像数据分别对应的第一目标区域参数和第二目标区域参数;此处目标物体视频图像数据为连续的多帧视频数据,摄像设备采集连续的100帧视频图像数据作为目标视频图像数据用于识别出目标物体图像,该100帧视频图像数据可以存储在图像识别设备的高速缓冲存储器中(cache)。
步骤S103:根据第一目标区域参数和第二目标区域参数,通过IOU算法计算目标物体图像对应的第二检测参数。此处的第一目标区域参数为相邻两帧的目标物体图像数据中第一帧目标物体图像数据对应的坐标检测框参数,第二目标区域参数为相邻的目标物体图像数据中第二目标物体图像数据对应的坐标检测框参数。如图4所示,第一目标区域为矩形框ABCD,其对应的第一目标区域参数为A:(x1,y1)、B:(x2,y1)、C:(x2,y2)、D:(x1,y2),第二目标区域为矩形框EFGH,其对应的第二目标区域参数为E:(x3,y3)、F:(x4,y3)、G:(x4,y4)、H:(x3,y4),第一目标区域与第二目标区域交点的坐标为J(x3,y1),I(x2,y4)。
步骤S104:根据第二检测参数,确定目标视频图像数据中的目标物体图像;即将前后两帧图像数据的同一嫌疑犯进行匹配,得出嫌疑犯在图像数据中的物体检测框。
上述中的IOU算法是基于第一目标区域与第二目标区域参数所对应的两个矩形坐标框的交集面积与并集面积的比值,即在图4中,利用IOU算法计算矩形框ABCD与矩形框EFGH的相交区域JBIH与矩形框ABCD与矩形框EFGH并集的区域的比值,这个比值越大,证明两个矩形坐标框的重合度越高。就上述第一目标区域与第二目标区域的IOU计算具体过程如下:
第一目标区域参数对应的矩形(ABCD)面积=(x2-x1)*(y2-y1);
第二目标区域参数对应的矩形(EFGH)面积=(x4-x3)*(y4-y3);
重叠面积(JBIH)=(x2-x3)*(y4-y1);
YIOU=重叠面积(JBIH)/[第一目标区域参数对应的矩形(ABCD)面积+第二目标区域参数对应的矩形(EFGH)面积-重叠面积(JBIH)]=(x2-x3)*(y4-y1)/[(x2-x1)*(y2-y1)+(x4-x3)*(y4-y3)-(x2-x3)*(y4-y1)]。
在一具体实施例中,上述步骤S1在执行的过程中检测遮挡物体图像,可具体包括如下步骤:
第一步,构建YOLO神经网络模型;
第二步,将遮挡物体视频图像数据输入至YOLO神经网络模型进行检测,并输出相邻两帧的遮挡物体图像数据分别对应的第三目标区域参数和第四目标区域参数;
第三步,根据第三目标区域参数和第四目标区域参数,通过IOU算法计算遮挡物体图像对应的第三检测参数;
第四步,根据第三检测参数,确定遮挡物体视频图像数据中的遮挡物体图像。
上述步骤S103中的第二检测参数或上述中第三检测参数通常具体为0-1之间的数字。例如:具体地,该步骤的具体训练过程是从目标视频图像数据中抽取的单帧嫌疑人图像通过YOLO算法进行检测,并且返回坐标检测框对应数值,每帧嫌疑人图像的坐标检测框都会被检测并返回相应的数值,然后,将相邻两帧嫌疑人图像的坐标检测框进行IOU计算(交并比计算),该IOU计算是以两个物体图像的坐标检测框为输入,返回一个0-1之间的数字,这个数字表示的是两个矩形坐标检测框的交集面积与并集面积的比值,比值越大,证明两个矩形重合度越高,比值越小,证明两个矩形重合度越小。
上述中的步骤S104:根据第二检测参数,确定目标视频图像数据中的目标物体图像或根据第三检测参数,确定遮挡物体视频图像数据中的遮挡物体图像。例如:目标视频图像数据是包含目标物体(嫌疑人)、遮挡物体(行人、车辆)以及其它的建筑物体,因为一个物体其相邻位置是连续的,所以往往该物体相邻的两帧图像的重合度很大,因此,如果该第二检测参数为0.9,说明相邻的两帧图像的重合度很大,则在目标视频图像中可以确定遮挡物体视频图像数据中的遮挡物体图像。
步骤S2:根据目标物体图像和遮挡物体图像,判断目标物体和遮挡物体在同一目标位置是否为同一物体;此处的同一目标位置可以认为是在图像识别过程中的同一个目标坐标检测框或同一个目标候选框。
在一优选的具体实施例中,如图5所示,上述步骤S2在执行的过程中可具体包括如下步骤:
步骤S201:构建孪生网络模型;此处的孪生神经网络模型是将两幅图像输入神经网络模型中,从而分析两幅图像的相似度。
步骤S202:将目标物体图像和遮挡物体图像输入至孪生网络模型进行检测,并输出检测结果对应的第一检测参数。事实上,是将在同一位置,遮挡前后的两幅图像输入至孪生网络模型进行检测,此处的第一检测参数也为0-1之间的数值,该数值代表一个距离值(浮点数)。例如:将遮挡前的嫌疑人图像和遮挡后的嫌疑人图像分别输入至训练好的孪生网络模型中,输出一个距离值,该距离值越大则表示两张图像越不同,即在同一位置遮挡前后的目标物体不是同一嫌疑人。
步骤S203:判断第一检测参数是否小于或等于预设阈值。例如:预设阈值为0.47,该预设阈值可以认为是一个参考值。将第一检测参数与预设阈值进行比较,判断二者是否小于等于预设阈值。
步骤S204:当第一检测参数小于或等于预设阈值时,目标物体和遮挡物体在同一目标位置为同一物体。例如:预设阈值为0.47,第一检测参数为0.35,由于0.35<0.47,则目标物体和遮挡物体在同一位置为同一物体,例如:嫌疑犯在某一位置因其它车辆驶过或者行人使其被遮挡,当第一检测参数小于或者等于预设阈值0.47时,可以判定在同一位置遮挡前后的嫌疑人为同一嫌疑人,可以发出一次警报。
步骤S205:当第一检测参数小于预设阈值时,目标物体和遮挡物体在同一位置不为同一物体。当遮挡物体将嫌疑人遮挡时,此时第一检测参数大于预设阈值0.47时,可以判定在同一位置遮挡前后的嫌疑人为两不同的人,此时该嫌疑人在预设的100帧目标视频图像的时间内已离开该位置,此时,又在该位置出现另一嫌疑人时,说明该另一嫌疑人是刚刚驶离该位置的那个嫌疑人的同伙,则发出两次警报。
上述步骤S2在执行的过程中还可以采用其他方式进行识别,不仅仅限于孪生网络模型。
步骤S3:根据判断结果,识别目标物体和遮挡物体。此处的判断结果就是两种情况,一种情况是目标物体与遮挡物体为同一物体,第二种情况是目标物体与被遮挡物体不为同一物体。在本实施例中即出现以下两种情况,一种情况是在同一位置遮挡前后的嫌疑人为同一人,则发出一次警报;第二种情况是在同一位置遮挡前后的嫌疑人不为同一人,则发出两次警报。
本发明实施例通过目标物体图像和遮挡物体图像,确定二者在同一目标位置是否为同一物体,可以准确识别出同一位置的目标物体或遮挡物体,以免在识别目标物体的过程中因外界遮挡物体的干扰,误将同一位置的目标物体识别两个不同的物体,进而可以显著提高识别的精确性,同时当本实施例应用于跟踪犯罪嫌疑人具体应用场景中,可以准确识别出遮挡前后的嫌疑人是否为同一嫌疑人,若为同一嫌疑犯则发出一次警报,若不为同一嫌疑犯则发出两次警报,有利于警察追踪嫌疑犯及其同伙。
本发明实施例中的遮挡目标物体的识别方法还可以应用在其它应用场景中,识别被遮挡的目标物体。
实施例3
本实施例提供一种遮挡目标物体的识别装置,如图6所示,包括:
获取模块41,用于获取目标物体图像和至少部分遮挡目标物体的遮挡物体图像;
判断模块42,用于根据目标物体图像和遮挡物体图像,判断目标物体和遮挡物体在同一目标位置是否为同一物体;
识别模块43,用于根据判断结果,识别目标物体和遮挡物体。
优选的,如图7所示,上述判断模块42还包括:
第一构建子模块421,用于构建孪生网络模型,该孪生网络模型是将遮挡前检测截图与遮挡消失后的检测截图作为输入。
第一检测子模块422,用于将目标物体图像和遮挡物体图像输入至孪生网络模型进行检测,并输出检测结果对应的第一检测参数。
第一判断子模块423,用于判断检测参数是否小于或等于预设阈值;
优选的,如图8所示,上述获取模块41还包括:
第二构建子模块411,用于构建YOLO神经网络模型,YOLO神经网络模型用于检测以及跟踪目标物体;
第二检测子模块412,用于将目标物体视频图像数据输入至YOLO神经网络模型进行检测,并输出相邻两帧的目标物体图像数据分别对应的第一目标区域参数和第二目标区域参数;
第一计算子模块413,根据第一目标区域参数和第二目标区域参数,用于通过IOU算法计算目标物体图像对应的第二检测参数;
第一确定子模块414,用于根据第二检测参数,确定目标视频图像数据中的目标物体图像或者遮挡物体图像。
上述装置,通过目标物体图像和遮挡物体图像,确定二者在同一目标位置是否为同一物体,可以准确识别出同一位置的目标物体或遮挡物体,以免在识别目标物体的过程中因外界遮挡物体的干扰,误将同一位置的目标物体识别两个不同的物体,进而可以显著提高识别的精确性。
实施例4
本实施例提供一种图像识别设备,包括存储器和处理器,处理器用于读取存储器中存储的指令,以执行程序时实现实施例1或实施例2的遮挡目标物体的识别方法的步骤。
该图像识别设备可代表实施例1中的主图像识别设备或其备用图像识别设备以及实施例2中的各从图像识别设备。如图9所示,包括存储器920、处理器910及存储在存储器920上并可在处理器910上运行的计算机程序,处理器910执行程序时实现实施例1或实施例2中方法的步骤。
图9是本发明实施例提供的执行列表项操作的处理方法的一种图像识别设备的硬件结构示意图,如图9所示,该图像识别设备包括一个或多个处理器910以及存储器920,图9中以一个处理器910为例。
执行列表项操作的处理方法的图像识别设备还可以包括:输入装置930和输出装置940。
处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接,图9中以通过总线连接为例。
处理器910可以为中央处理器(Central Processing Unit,CPU)。处理器910还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
实施例5
本实施例提供一种存储介质,包括存储器与处理器其上存储有计算机指令,该指令被处理器执行时实现实施例1或实施例2的遮挡目标物体的识别方法的步骤。该存储介质上还存储有目标物体图像、遮挡物体图像、目标视频图像数据、第一检测参数、第二检测参数等其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种遮挡目标物体的识别方法,其特征在于,包括如下步骤:
获取目标物体图像和至少部分遮挡目标物体的遮挡物体图像;
根据所述目标物体图像和所述遮挡物体图像,判断所述目标物体和所述遮挡物体在同一目标位置是否为同一物体;
根据判断结果,识别所述目标物体和所述遮挡物体。
2.根据权利要求1所述的遮挡目标物体的识别方法,其特征在于,所述根据所述目标物体图像和所述遮挡物体图像,判断所述目标物体和所述遮挡物体在同一目标位置是否为同一物体的步骤还包括:
构建孪生网络模型;
将所述目标物体图像和所述遮挡物体图像输入至所述孪生网络模型进行检测,并输出检测结果对应的第一检测参数;
判断所述第一检测参数是否小于或等于预设阈值;
当所述第一检测参数小于或等于预设阈值时,所述目标物体和所述遮挡物体在同一目标位置为同一物体;
当所述第一检测参数小于预设阈值时,所述目标物体和所述遮挡物体在同一位置不为同一物体。
3.根据权利要求1所述的遮挡目标物体的识别方法,其特征在于,所述获取目标物体图像的步骤还包括:
构建YOLO神经网络模型;
将所述目标物体视频图像数据输入至所述YOLO神经网络模型进行检测,并输出相邻两帧的目标物体图像数据分别对应的第一目标区域参数和第二目标区域参数;
根据所述第一目标区域参数和第二目标区域参数,通过IOU算法计算所述目标物体图像对应的第二检测参数;
根据所述第二检测参数,确定所述目标视频图像数据中的所述目标物体图像。
4.根据权利要求1所述的遮挡目标物体的识别方法,其特征在于,所述获取至少部分遮挡目标物体的遮挡物体图像的步骤还包括:
构建YOLO神经网络模型;
将所述遮挡物体视频图像数据输入至所述YOLO神经网络模型进行检测,并输出相邻两帧的遮挡物体图像数据分别对应的第三目标区域参数和第四目标区域参数;
根据所述第三目标区域参数和第四目标区域参数,通过IOU算法计算所述遮挡物体图像对应的第三检测参数;
根据所述第三检测参数,确定所述遮挡物体视频图像数据中的所述遮挡物体图像。
5.根据权利要求1-4任一项所述的遮挡目标物体的识别方法,其特征在于,所述目标物体图像包括车辆图像或人物图像或动物图像或植物图像或景色图像或固定物体图像。
6.根据权利要求5所述的遮挡目标物体的识别方法,其特征在于,当所述目标物体图像为车辆图像时,用于检测所述车辆图像对应的目标车辆在所述目标位置是否发生违法停车现象以及违法停车的次数。
7.一种遮挡目标物体的识别装置,其特征在于,包括:
获取模块,用于获取目标物体图像和至少部分遮挡目标物体的遮挡物体图像;
判断模块,用于根据所述目标物体图像和所述遮挡物体图像,判断所述目标物体和所述遮挡物体在同一目标位置是否为同一物体;
识别模块,用于根据判断结果,识别所述目标物体和所述遮挡物体。
8.一种存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-6任一项所述的遮挡目标物体的识别方法的步骤。
9.一种图像识别设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-6任一项所述的遮挡目标物体的识别方法的步骤。
CN201910797534.4A 2019-08-27 2019-08-27 一种遮挡目标物体的识别方法及装置 Pending CN110647818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910797534.4A CN110647818A (zh) 2019-08-27 2019-08-27 一种遮挡目标物体的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910797534.4A CN110647818A (zh) 2019-08-27 2019-08-27 一种遮挡目标物体的识别方法及装置

Publications (1)

Publication Number Publication Date
CN110647818A true CN110647818A (zh) 2020-01-03

Family

ID=69009874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910797534.4A Pending CN110647818A (zh) 2019-08-27 2019-08-27 一种遮挡目标物体的识别方法及装置

Country Status (1)

Country Link
CN (1) CN110647818A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111959526A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 基于无人车的控制方法、装置、无人车和电子设备
CN112157653A (zh) * 2020-09-11 2021-01-01 北京如影智能科技有限公司 一种遮挡检测的方法及装置
CN112885108A (zh) * 2020-12-23 2021-06-01 爱泊车美好科技有限公司 一种基于深度学习算法的停车位上车辆换车检测方法及***
CN113469173A (zh) * 2020-03-31 2021-10-01 珠海格力电器股份有限公司 一种信号灯遮挡检测方法、装置、终端及计算机可读介质
CN113591592A (zh) * 2021-07-05 2021-11-02 珠海云洲智能科技股份有限公司 水上目标识别方法、装置、终端设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512618A (zh) * 2015-11-27 2016-04-20 北京航空航天大学 视频跟踪方法
CN106875425A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种基于深度学习的多目标追踪***及实现方法
CN108090918A (zh) * 2018-02-12 2018-05-29 天津天地伟业信息***集成有限公司 一种基于深度全卷积孪生网络的实时人脸跟踪方法
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技(深圳)有限公司 车辆识别方法、装置及存储介质
CN108875600A (zh) * 2018-05-31 2018-11-23 银江股份有限公司 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN109816701A (zh) * 2019-01-17 2019-05-28 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及***
CN110084831A (zh) * 2019-04-23 2019-08-02 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512618A (zh) * 2015-11-27 2016-04-20 北京航空航天大学 视频跟踪方法
CN106875425A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种基于深度学习的多目标追踪***及实现方法
CN108090918A (zh) * 2018-02-12 2018-05-29 天津天地伟业信息***集成有限公司 一种基于深度全卷积孪生网络的实时人脸跟踪方法
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技(深圳)有限公司 车辆识别方法、装置及存储介质
CN108875600A (zh) * 2018-05-31 2018-11-23 银江股份有限公司 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN109816701A (zh) * 2019-01-17 2019-05-28 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及***
CN110084831A (zh) * 2019-04-23 2019-08-02 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈首兵等: "基于孪生网络和重排序的行人重识别", 《计算机应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469173A (zh) * 2020-03-31 2021-10-01 珠海格力电器股份有限公司 一种信号灯遮挡检测方法、装置、终端及计算机可读介质
CN111959526A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 基于无人车的控制方法、装置、无人车和电子设备
CN111959526B (zh) * 2020-06-30 2022-02-15 北京百度网讯科技有限公司 基于无人车的控制方法、装置、无人车和电子设备
CN112157653A (zh) * 2020-09-11 2021-01-01 北京如影智能科技有限公司 一种遮挡检测的方法及装置
CN112157653B (zh) * 2020-09-11 2022-02-01 北京如影智能科技有限公司 一种遮挡检测的方法及装置
CN112885108A (zh) * 2020-12-23 2021-06-01 爱泊车美好科技有限公司 一种基于深度学习算法的停车位上车辆换车检测方法及***
CN112885108B (zh) * 2020-12-23 2022-02-01 爱泊车美好科技有限公司 一种基于深度学习算法的停车位上车辆换车检测方法及***
CN113591592A (zh) * 2021-07-05 2021-11-02 珠海云洲智能科技股份有限公司 水上目标识别方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN110647818A (zh) 一种遮挡目标物体的识别方法及装置
CN109816701B (zh) 一种目标跟踪方法及装置、存储介质
CN110210302B (zh) 多目标跟踪方法、装置、计算机设备及存储介质
US10212397B2 (en) Abandoned object detection apparatus and method and system
CN111369590A (zh) 多目标跟踪方法、装置、存储介质及电子设备
US20120274776A1 (en) Fault tolerant background modelling
CN111259868B (zh) 基于卷积神经网络的逆行车辆检测方法、***及介质
CN108647587B (zh) 人数统计方法、装置、终端及存储介质
US20210056710A1 (en) Video object detection
CN113034541A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN111738240A (zh) 区域监测方法、装置、设备及存储介质
CN111160187B (zh) 一种遗留物体检测的方法、装置及***
CN111079621B (zh) 检测对象的方法、装置、电子设备和存储介质
CN110866428B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112183304A (zh) 离位检测方法、***及计算机存储介质
CN113762220B (zh) 目标识别方法、电子设备、计算机可读存储介质
CN113256683B (zh) 目标跟踪方法及相关设备
CN113869137A (zh) 事件检测方法、装置、终端设备及存储介质
CN113470013A (zh) 一种搬移物品的检测方法及装置
CN110799984A (zh) 跟踪控制方法、设备、计算机可读存储介质
WO2023184833A1 (zh) 检测结果处理方法和装置、设备、介质及计算机程序产品
JP2007510994A (ja) ビデオ画像内でのオブジェクトトラッキング
CN112927258A (zh) 一种目标跟踪方法及装置
CN115410153A (zh) 一种门开关状态的判定方法、装置、电子终端及存储介质
CN114550060A (zh) 周界入侵识别方法、***及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Gaoyang

Inventor after: Lin Yongjun

Inventor after: Hao Yanru

Inventor after: Gao Yuchao

Inventor after: Sun Jianhong

Inventor after: Zhao Yang

Inventor after: Zhu Tao

Inventor before: Li Gaoyang

Inventor before: Lin Yongjun

Inventor before: Hao Yanru

Inventor before: Gao Yuchao

CB03 Change of inventor or designer information