CN107944017B - 一种视频中非机动车的检索方法 - Google Patents

一种视频中非机动车的检索方法 Download PDF

Info

Publication number
CN107944017B
CN107944017B CN201711308824.5A CN201711308824A CN107944017B CN 107944017 B CN107944017 B CN 107944017B CN 201711308824 A CN201711308824 A CN 201711308824A CN 107944017 B CN107944017 B CN 107944017B
Authority
CN
China
Prior art keywords
unstructured
image
motor vehicle
target
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711308824.5A
Other languages
English (en)
Other versions
CN107944017A (zh
Inventor
尚凌辉
郑永宏
王弘玥
张兆生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lishi Industrial Interconnection Technology Co ltd
Original Assignee
Zhejiang Icare Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Icare Vision Technology Co ltd filed Critical Zhejiang Icare Vision Technology Co ltd
Priority to CN201711308824.5A priority Critical patent/CN107944017B/zh
Publication of CN107944017A publication Critical patent/CN107944017A/zh
Application granted granted Critical
Publication of CN107944017B publication Critical patent/CN107944017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频中非机动车的检索方法，包括如下步骤：步骤一：获取图像库中含有非机动车和驾驶员的图像，将每张图像中的非机动车和驾驶员作为一个目标，对每个目标计算和提取非结构化特征，将所有目标的非结构化特征***检索库；步骤二：对于一个待检索图像，计算和提取该待检索图像中目标的非结构化特征；步骤三：计算和比较待检索图像中目标和检索库中所有目标的非结构化特征的相似度，得到相似度排序，将相似度排序作为检索结果。本发明可以有效提高对非机动车的跟踪和排查效率；提高了检索准确率；充分利用治安相机收集的数据，提高监控数据的使用效率，本发明降低了使用成本、实施和执行非常方便。

Description

一种视频中非机动车的检索方法
技术领域
本发明涉及一种视频图像检索方法，具体涉及一种视频中非机动车的检索方法。属于智能交通、刑事侦查领域。
背景技术
目前道路交通卡口、电子警察、一般的治安摄像头等监控设备在国内已经大量的安装和使用，在已有设备采集到的视频数据上进行数据挖掘、目标内容分析和后期的目标检索已经成为科研和工业界的一个研究热点。
非机动车是人们使用非常广泛的一类交通工具，与机动车相比，非机动车没有规范的管理规章和有效的执行单位，无法有效的管理，也无法有效的关联车主身份和信息，很多违法犯罪活动中的都是非机动车，因为非机动车更容易隐匿一些违法犯罪的事实，逃避其所造成的严重后果的惩罚，对人民生命财产和公共安全造成了极大的威胁。因此在海量的治安监控视频中分析、查找和定位非机动车及其驾驶员，对公安交警侦查和分析非法犯罪活动具有重要意义。
申请本专利时尚未检索到公开的通过治安监控视频查找非机动车及其驾驶员的方法，相关的管理和查找非机动车的方法《非机动车管理方法、装置及***》106447009A中，主要是预先录入非机动车上绑定的RFID标签所携带的标识信息，收集监测点的RFID检测结果数据和环境视频数据，根据预先录入的标识信息，结合当前监测点的RFID检测结果数据和环境视频数据定位非机动车。该方法中非机动车必须绑定RFID标签，还要在需要检测的路段建立监测点，成本高、实施和执行难度也非常大。
发明内容
为解决现有技术的不足，本发明的目的在于提供一种视频中非机动车的检索方法。
为了实现上述目标，本发明采用如下的技术方案：
一种视频中非机动车的检索方法，其特征在于，包括如下步骤：
步骤一：获取图像库中含有非机动车和驾驶员的图像，将每张图像中的非机动车和驾驶员作为一个目标，对每个目标计算和提取非结构化特征，将所有目标的非结构化特征***检索库；
步骤二：对于一个待检索图像，计算和提取该待检索图像中目标的非结构化特征；
步骤三：计算和比较待检索图像中目标和检索库中所有目标的非结构化特征的相似度，得到相似度排序，将相似度排序作为检索结果。
前述的一种视频中非机动车的检索方法，其特征在于，计算和提取非结构化特征包括如下步骤：
自动检测和定位图像中的非机动车和驾驶员；
定位和分割出非机动车区域和驾驶员区域；
分别计算非机动车部分和驾驶员部分的非结构化特征，合并得到一个目标的非结构化特征。
前述的一种视频中非机动车的检索方法，其特征在于，
根据训练得到的神经网络模型自动检测和定位图像中的非机动车和驾驶员；
根据训练得到的神经网络模型定位和分割出非机动车区域和驾驶员区域；
根据训练得到的神经网络模型分别计算非机动车部分和驾驶员部分的非结构化特征。
前述的一种视频中非机动车的检索方法，其特征在于，训练神经网络模型包括如下步骤：
收集具有目标的多个图像，构成图像样本集；
标注图像样本集中非机动车和驾驶员位置，并将其分割成非机动车区域和驾驶员区域；
标注不同非机动车和驾驶员的类别标签，作为标注信息；
由所有图像样本集和对应的标注信息组成训练样本集N；
基于训练样本集N，训练得到用于自动检测和定位图像中非机动车和驾驶员的检测器D；
基于训练样本集N，分别训练得到用于计算非机动车非结构化特征的模型M1和用于计算驾驶员非结构化特征的模型M2。
前述的一种视频中非机动车的检索方法，其特征在于，步骤一包括：
对每张图像利用检测器D检测得到目标位置，定位和分割出非机动车区域和驾驶员区域；
对非机动车部分使用模型M1计算得到非结构化特征F1，对驾驶员部分使用模型M2计算得到非结构化特征F2，合并得到整体目标的非结构化特征F；
将非结构化特征F***检索库Θ。
前述的一种视频中非机动车的检索方法，其特征在于，步骤二包括：
对于一个待检索图像，利用检测器D检测得到目标位置，定位和分割出待检索图像中非机动车区域和驾驶员区域；
对待检索图像中非机动车部分使用模型M1计算得到非结构化特征f1，对驾驶员部分使用模型M2计算得到非结构化特征f2，合并得到待检索图像目标的非结构化特征f。
前述的一种视频中非机动车的检索方法，其特征在于，步骤三包括：计算待检索图像目标的非结构化特征f和检索库Θ中的每个目标非结构化特征F的相似度，并对相似度结果进行排序，对应排序结果的目标顺序即为检索结果。
本发明的有益之处在于：本发明可以有效提高对非机动车的跟踪和排查效率；提高了检索准确率；充分利用治安相机收集的数据，提高监控数据的使用效率，本发明降低了使用成本、实施和执行非常方便。
附图说明
图1是本发明实施例中非机动车检索方法的流程图；
图2是本发明实施例中非机动车的检索方法的具体流程图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示，本发明一种视频中非机动车的检索方法，包括如下步骤：
步骤一：获取图像库中含有非机动车和驾驶员的图像，将每张图像中的非机动车和驾驶员作为一个目标，对每个目标计算和提取非结构化特征，将所有目标的非结构化特征***检索库；
步骤二：对于一个待检索图像，计算和提取该待检索图像中目标的非结构化特征；
步骤三：计算和比较待检索图像中目标和检索库中所有目标的非结构化特征的相似度，得到相似度排序，将相似度排序作为检索结果。
可见，本发明采用了用现有技术原理不同的新技术，基于图像和视频数据实现了非机动车与其驾驶员的查找和检索的功能。这种技术相对于现有技术来说，非机动车不需要绑定任何识别模块，也不需要在需要检测的路段建立监测点，只需要利用现有广泛设置的治安相机收集的数据就可以进行数据的分析和处理，并从中检索出相关的非机动车与其驾驶员，因此提高了现有监控数据的使用效率，另一方面降低了技术的使用成本，实施和执行非常方便。
在基于图像的处理这一块，一般来说，基于图像的目标检索使用的主要特征是颜色和纹理，非机动车与其驾驶员在实际监控场景下由于环境、姿态、衣着和配件等信息变化导致目标的颜色和一般的纹理信息很难用来进行匹配和检索。为此我们对非机动车和驾驶员进行定位和分割，分别对非机动车和驾驶员收集和标注大量样本，利用神经网络分别学习能够描述非机动车和驾驶员的非结构化特征。通过大量数据迭代训练得到的非结构化特征相比一般的颜色和纹理特征对目标的区分性能明显提升；同时对非机动车本身和驾驶员的定位和分割能够非常有效的降低不同目标的类内方差，提高检索和匹配准确率。
展开来说，本发明步骤一和步骤二中，计算和提取非结构化特征包括如下步骤：
自动检测和定位图像中的非机动车和驾驶员；
定位和分割出非机动车区域和驾驶员区域；
分别计算非机动车部分和驾驶员部分的非结构化特征，合并得到一个目标的非结构化特征。
进一步，作为优选，上述计算和提取非结构化特征包括如下步骤：根据训练得到的神经网络模型自动检测和定位图像中的非机动车和驾驶员；根据训练得到的神经网络模型定位和分割出非机动车区域和驾驶员区域；根据训练得到的神经网络模型分别计算非机动车部分和驾驶员部分的非结构化特征。
这里提出了神经网络模型，本发明不限制该模型的训练方法，但是作为优选，训练神经网络模型包括如下步骤：
收集具有目标的多个图像，构成图像样本集；
标注图像样本集中非机动车和驾驶员位置，并将其分割成非机动车区域和驾驶员区域；
标注不同非机动车和驾驶员的类别标签，作为标注信息；
由所有图像样本集和对应的标注信息组成训练样本集N；
基于训练样本集N，训练得到用于自动检测和定位图像中非机动车和驾驶员的检测器D；
基于训练样本集N，分别训练得到用于计算非机动车非结构化特征的模型M1和用于计算驾驶员非结构化特征的模型M2。
下面结合一个实施示例说明。本实施例基于图像的非机动车与其驾驶员的检索方法一种实施方案，具体步骤如下：
第1，收集大量的包含非机动车和驾驶员目标的图像样本集；人工标注图像样本集中的非机动车和驾驶员位置，并将其分割成非机动车和驾驶员两个部分；人工标注不同非机动车和驾驶员的类别标签，由所有图像样本集和对应的标注信息组成训练样本集N。
第2，利用深度学习理论和方法，结合标注好的训练样本集N，训练得到可以检测图像中非机动车和驾驶员目标的检测器D。
第3，利用深度学习理论和方法，结合标注好的训练样本集N，分别训练得到可以计算非机动车非结构化特征的模型M1和计算驾驶员非结构化特征的模型M2。
第4，对每张需要作为检索源的图像利用检测器D检测得到目标位置，定位和分割出非机动车区域和驾驶员区域；对非机动车部分使用模型M1计算得到非结构化特征F1，对驾驶员部分使用模型M2计算得到非结构化特征F2，合并得到整体目标的非结构化特征F；
第5，将非结构化特征F***检索库Θ。具体来说，即使用第4中的方法处理所有需要作为检索源的图像，得到所有非机动车和驾驶员目标的非结构化特征检索库Θ。
第6，对一次检索请求的图像目标，使用第4中方法生成待检索目标的非结构化特征f。具体来说，对于一个待检索图像，利用检测器D检测得到目标位置，定位和分割出待检索图像中非机动车区域和驾驶员区域；对待检索图像中非机动车部分使用模型M1计算得到非结构化特征f1，对驾驶员部分使用模型M2计算得到非结构化特征f2，合并得到待检索图像目标的非结构化特征f。
第7，计算待检索图像目标的非结构化特征f和检索库Θ中的每个目标非结构化特征F的相似度，并对相似度结果进行排序，对应排序结果的目标顺序即为检索结果。
本发明应用在刑侦工作等领域，可以有效提高对非机动车的跟踪和排查效率；本发明原理上充分利用人和车两方面的信息，提高了检索准确率；充分利用治安相机收集的数据，提高监控数据的使用效率，本发明降低了使用成本、实施和执行非常方便。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种视频中非机动车的检索方法，其特征在于，包括如下步骤：
步骤一：获取图像库中含有非机动车和驾驶员的图像，将每张图像中的非机动车和驾驶员作为一个目标，对每个目标计算和提取非结构化特征，将所有目标的非结构化特征***检索库；
步骤二：对于一个待检索图像，计算和提取该待检索图像中目标的非结构化特征；
步骤三：计算和比较待检索图像中目标和检索库中所有目标的非结构化特征的相似度，得到相似度排序，将相似度排序作为检索结果；
计算和提取非结构化特征包括如下步骤：
自动检测和定位图像中的非机动车和驾驶员；
定位和分割出非机动车区域和驾驶员区域；
分别计算非机动车部分和驾驶员部分的非结构化特征，合并得到一个目标的非结构化特征；
对于一个待检索图像，利用检测器D检测得到目标位置，定位和分割出待检索图像中非机动车区域和驾驶员区域；
对待检索图像中非机动车部分使用模型M1计算得到非结构化特征f1，对驾驶员部分使用模型M2计算得到非结构化特征f2，合并得到待检索图像目标的非结构化特征f。
2.根据权利要求1所述的视频中非机动车的检索方法，其特征在于，
根据训练得到的神经网络模型自动检测和定位图像中的非机动车和驾驶员；
根据训练得到的神经网络模型定位和分割出非机动车区域和驾驶员区域；
根据训练得到的神经网络模型分别计算非机动车部分和驾驶员部分的非结构化特征。
3.根据权利要求2所述的视频中非机动车的检索方法，其特征在于，训练神经网络模型包括如下步骤：
收集具有目标的多个图像，构成图像样本集；
标注图像样本集中非机动车和驾驶员位置，并将其分割成非机动车区域和驾驶员区域；
标注不同非机动车和驾驶员的类别标签，以此作为标注信息；
由所有图像样本集和对应的标注信息组成训练样本集N；
基于训练样本集N，训练得到用于自动检测和定位图像中非机动车和驾驶员的检测器D；
基于训练样本集N，分别训练得到用于计算非机动车非结构化特征的模型M1和用于计算驾驶员非结构化特征的模型M2。
4.根据权利要求3所述的视频中非机动车的检索方法，其特征在于，步骤一包括：
对每张图像利用检测器D检测得到目标位置，定位和分割出非机动车区域和驾驶员区域；
对非机动车部分使用模型M1计算得到非结构化特征F1，对驾驶员部分使用模型M2计算得到非结构化特征F2，合并得到整体目标的非结构化特征F；
将非结构化特征F***检索库Θ。
5.根据权利要求3所述的一种视频中非机动车的检索方法，其特征在于，步骤三包括：计算待检索图像目标的非结构化特征f和检索库Θ中的每个目标非结构化特征F的相似度，并对相似度结果进行排序，对应排序结果的目标顺序即为检索结果。
CN201711308824.5A 2017-12-11 2017-12-11 一种视频中非机动车的检索方法 Active CN107944017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711308824.5A CN107944017B (zh) 2017-12-11 2017-12-11 一种视频中非机动车的检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711308824.5A CN107944017B (zh) 2017-12-11 2017-12-11 一种视频中非机动车的检索方法

Publications (2)

Publication Number Publication Date
CN107944017A CN107944017A (zh) 2018-04-20
CN107944017B true CN107944017B (zh) 2021-06-25

Family

ID=61946516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711308824.5A Active CN107944017B (zh) 2017-12-11 2017-12-11 一种视频中非机动车的检索方法

Country Status (1)

Country Link
CN (1) CN107944017B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516518A (zh) * 2018-05-22 2019-11-29 杭州海康威视数字技术股份有限公司 一种非机动车违法载人检测方法、装置及电子设备
CN109829073B (zh) * 2018-12-29 2020-11-24 深圳云天励飞技术有限公司 一种图像搜索的方法及装置
CN110427814A (zh) * 2019-06-24 2019-11-08 深圳云天励飞技术有限公司 一种骑行者重识别方法、装置及设备
CN111191561A (zh) * 2019-12-25 2020-05-22 北京迈格威科技有限公司 用于非机动车的重识别的方法、装置及计算机存储介质
CN111898572A (zh) * 2020-08-05 2020-11-06 杭州云栖智慧视通科技有限公司 一种基于形体识别的案件智能串并方法
CN112347307B (zh) * 2020-09-17 2023-05-12 浙江大华技术股份有限公司 非机动车图像的检索方法、装置、***和存储介质
CN114550492B (zh) * 2022-04-21 2022-08-05 深圳市龙光云众智慧科技有限公司 一种车辆信息的处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156707A (zh) * 2011-02-01 2011-08-17 刘中华 一种视频摘要形成和搜索的方法、***
CN103824067A (zh) * 2014-03-18 2014-05-28 北京理工大学 一种图像主要目标的定位与识别方法
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664515B2 (en) * 2015-05-29 2020-05-26 Microsoft Technology Licensing, Llc Task-focused search by image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156707A (zh) * 2011-02-01 2011-08-17 刘中华 一种视频摘要形成和搜索的方法、***
CN103824067A (zh) * 2014-03-18 2014-05-28 北京理工大学 一种图像主要目标的定位与识别方法
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置

Also Published As

Publication number Publication date
CN107944017A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107944017B (zh) 一种视频中非机动车的检索方法
CN109657552B (zh) 基于迁移学习实现跨场景冷启动的车型识别装置与方法
CN105321350B (zh) ***检测方法及装置
CN102610102B (zh) 一种嫌疑车辆查控方法及***
Li et al. Robust people counting in video surveillance: Dataset and system
CN111078946A (zh) 一种基于多目标区域特征聚合的卡口车辆检索方法及***
CN112541372B (zh) 一种困难样本筛选方法及装置
CN106126680A (zh) 一种视频图像侦察方法及***
CN109857878B (zh) 物品标注方法及装置、电子设备及存储介质
CN103914682A (zh) 一种车牌识别方法及***
Tung et al. Large-scale object detection of images from network cameras in variable ambient lighting conditions
Gunawan et al. Design of automatic number plate recognition on android smartphone platform
Kiew et al. Vehicle route tracking system based on vehicle registration number recognition using template matching algorithm
Shuai et al. Large scale real-world multi-person tracking
CN110688895B (zh) 基于多模板学习的井下跨视域目标检测跟踪方法
Kumar et al. The Real Time Vehicle License Plate Identification System
Tumrani et al. PEVR: pose estimation for vehicle re-identification
CN105320704B (zh) 跨区域相似车辆检索方法及装置
CN113536928A (zh) 一种高效率的无监督行人重识别方法和装置
Senthil Murugan et al. Computer vision-based vehicle detection and tracking
Zhu et al. Person re-identification in the real scene based on the deep learning
CN112052824A (zh) 基于YOLOv3算法的煤气管道特定物体目标检测告警方法、装置、***及存储介质
Li et al. Correlation based identity filter: An efficient framework for person search
CN113408428B (zh) 行人图像不变性特征提取和无监督行人重识别方法与装置
Asghar et al. Pakvehicle-reid: a multi-perspective benchmark for vehicle re-identification in unconstrained urban road environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230616

Address after: Room 802, Building 18, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Zhejiang Lishi industrial Interconnection Technology Co.,Ltd.

Address before: East Building, building 7, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province 310000

Patentee before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.