CN112989896A - 跨镜头追踪方法 - Google Patents
跨镜头追踪方法 Download PDFInfo
- Publication number
- CN112989896A CN112989896A CN201911309360.9A CN201911309360A CN112989896A CN 112989896 A CN112989896 A CN 112989896A CN 201911309360 A CN201911309360 A CN 201911309360A CN 112989896 A CN112989896 A CN 112989896A
- Authority
- CN
- China
- Prior art keywords
- cross
- human face
- tracking method
- face
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 241000282414 Homo sapiens Species 0.000 claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 6
- 230000007547 defect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及视觉识别技术领域，尤其是跨镜头追踪方法；它包括以下步骤：步骤一，视频图像可以清晰看到人脸照片时候用人脸识别技术去识别；步骤二，当看不到人脸的时候用ReID识别技术去识别。将人脸识别技术和ReID识别技术相结合，根据不同的识别难度使用不同的技术，减少人力的投入，间接地降低监视所需成本，并且提高了监视的可靠性以及预警能力。
Description
技术领域
本发明涉及视觉识别技术领域，尤其是跨镜头追踪方法。
背景技术
虽然目前监控摄像机在商业应用中己经普遍存在，但并没有充分发挥其实时主动的监督作用，因为它们通常是将摄像机的输出结果记录下来，当异常情况(如逃票、危险人员、危险行为)发生后，各站点人员才通过一记录的结果观察发生的事实，但往往为时已晚。而我们需要的监控***应能够每天连续24小时的实时智能监视，并自动分析摄像机捕捉的图像数据，当异常发生时，***能向保卫人员准确及时地发出警报，从而避免犯罪的发生，同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入。
发明内容
针对现有技术的不足，本发明提供一种跨镜头追踪方法。
本发明的技术方案为：
跨镜头追踪方法，它包括以下步骤：
步骤一，视频图像可以清晰看到人脸照片时候用人脸识别技术去识别；
步骤二，当看不到人脸的时候用ReID识别技术去识别。
所述步骤一人脸识别技术包括：数据预处理和人脸识别流程。
所述数据预处理是识别过程中的一个重要环节。输入图像由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，往往存在有噪声，对比度不够等缺点。另外，距离远近，焦距大小等又使得人脸/REID特征在整幅图像中间的大小和位置不确定。为了保证图像大小，位置以及图像质量的一致性，必须对图像进行以下预处理。
s1直方图均衡：
直方图是一种点操作，它逐点改变图像的灰度值，尽量使各个灰度级别都具有相同的数量的像素点，使直方图趋于平衡。直方图均衡可以使输入图像转换为在每一个灰度级上都有相同像素点数的输出图像(即输出的直方图是平的)。这对于图像比较或分割是十分有用的。
s2中值滤波
无论是直接获取的灰度图像，还是由彩色图像转换得到的灰度图像，里面都有噪声的存在，噪声对图像质量有很大的影响。进行中值滤波不仅可以去除孤点噪声，而且可以保持图像的边缘特性，不会使图像产生显著的模糊，比较适合于实验中的人脸图像。中值滤波是一种非线性的信号处理方法，因此中值滤波器也就是一种非线性的滤波器。
s3归一化
图像的归一化，目的是使不同成像条件(光照强度，方向，距离，姿势等)下拍摄的同一个人的照片具有一致性。人脸归一化包括两个方面的内容：一是几何归一化，二是灰度归一化。灰度归一化用来对不同光强，光源方向下得到的图像进行补偿。以减弱单纯由于光照变化造成的图像信号的变化。
所述人脸识别流程包括：首先要检测到人脸，检测到之后一般会做关键点的定位，把他的眼睛、鼻子、嘴角等信息都定位出来，利用这个信息对人脸做个矫正，把它变换到比较正情形，便于后面模型分析或者处理时各个部分更好的对齐。最终会提取得到一个人脸的描述特征，通常是一个100多维到几百维的特征表达，然后我们用不同人脸特征之间的相似度或者距离，相似度是越高越好，距离是越小越好，去刻画两个人之间的关系，再卡一个域值，来判断这两个人是否为一个人。简要的说就是：人脸检测、人脸关键点定位、人脸矫正和人脸特征提取(如图2所示)。
所述步骤二ReID识别技术包括骨架关键点检测及姿态识别、动作识别和行人属性结构化。
跨镜头追踪方法还包括N:N搜索，大量的摄像头，都在实时抓拍有很多待确认人脸及ReID特征。将抓怕的特征与数据库N:N比对，输出人物ID或新增人物ID。
跨镜头追踪方法还包括跨镜头追踪及行人再识别，行人再识别：给定一张切好块的行人图像(probe image,即图像大部分内容只包含这个人),从一大堆切好块的图像(gallery images)中找到跟probe image中同一身份的人的图像。这些图像通常是由不同摄像头拍摄的不连续帧。行人跟踪：给定一张切好块的行人图像(probe image),从一段全景视频(panorama track,视野中只有一小部分是这个行人)中找到probe所在的位置。这段全景视频是由单个摄像头拍摄的连续帧。
本发明的有益效果为：将人脸识别技术和ReID识别技术相结合，根据不同的识别难度使用不同的技术，减少人力的投入，间接地降低监视所需成本，并且提高了监视的可靠性以及预警能力。
附图说明
图1为本发明的结构示意图；
图2为人脸识别流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
如图1、2所示，第一步将视频数据源进行数据预处理，预处理是识别过程中的一个重要环节。输入图像由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，往往存在有噪声，对比度不够等缺点。另外，距离远近，焦距大小等又使得人脸/REID特征在整幅图像中间的大小和位置不确定。为了保证图像大小，位置以及图像质量的一致性，必须对图像进行以下预处理。
直方图均衡：
直方图是一种点操作，它逐点改变图像的灰度值，尽量使各个灰度级别都具有相同的数量的像素点，使直方图趋于平衡。直方图均衡可以使输入图像转换为在每一个灰度级上都有相同像素点数的输出图像(即输出的直方图是平的)。这对于图像比较或分割是十分有用的。
中值滤波
无论是直接获取的灰度图像，还是由彩色图像转换得到的灰度图像，里面都有噪声的存在，噪声对图像质量有很大的影响。进行中值滤波不仅可以去除孤点噪声，而且可以保持图像的边缘特性，不会使图像产生显著的模糊，比较适合于实验中的人脸图像。中值滤波是一种非线性的信号处理方法，因此中值滤波器也就是一种非线性的滤波器。
归一化
图像的归一化，目的是使不同成像条件(光照强度，方向，距离，姿势等)下拍摄的同一个人的照片具有一致性。人脸归一化包括两个方面的内容：一是几何归一化，二是灰度归一化。灰度归一化用来对不同光强，光源方向下得到的图像进行补偿。以减弱单纯由于光照变化造成的图像信号的变化。
第二步，人脸识别基本流程人脸识别的基本流程，首先要检测到人脸，检测到之后一般会做关键点的定位，把他的眼睛、鼻子、嘴角等信息都定位出来，利用这个信息对人脸做个矫正，把它变换到比较正情形，便于后面模型分析或者处理时各个部分更好的对齐。最终会提取得到一个人脸的描述特征，通常是一个100多维到几百维的特征表达，然后我们用不同人脸特征之间的相似度或者距离，相似度是越高越好，距离是越小越好，去刻画两个人之间的关系，再卡一个域值，来判断这两个人是否为一个人。
人脸检测
人脸关键点定位
人脸矫正
人脸特征提取
第三步，ReID识别基本方法：
骨架关键点检测及姿态识别：
一般识别出人体的几个关键点，比如头部、肩部、手掌、脚掌，用到行人姿态识别的任务中，这些技术可以应用在互动娱乐的场景中，类似于Kinnect人机互动方面，关键点检测技术是非常有价值的。
动作识别：
动作识别是基于视频的内容理解做的，技术更加复杂一点，但是它与人类的认知更加接近，应用场景会更多，这个技术目前并不成熟。动作识别可以有非常多的应用，比如闯红灯，还有公共场合突发事件的智能认知，像偷窃、聚众斗殴，摄像头识别出这样的行为之后可以采取智能措施，比如自动报警，这有非常大的社会价值。
行人属性结构化：
把行人的属性提炼出来，比如他衣服的颜色、裤子的类型、背包的颜色。
第四步，N:N搜索(需要有个相对比较大的库)：
大量的摄像头，都在实时抓拍有很多待确认人脸及ReID特征。将抓怕的特征与数据库N:N比对，输出人物ID或新增人物ID；
第五步，跨境追踪及行人再识别：
通行人再识别：给定一张切好块的行人图像(probe image,即图像大部分内容只包含这个人),从一大堆切好块的图像(gallery images)中找到跟probe image中同一身份的人的图像。这些图像通常是由不同摄像头拍摄的不连续帧。
行人跟踪：给定一张切好块的行人图像(probe image),从一段全景视频(panorama track,视野中只有一小部分是这个行人)中找到probe所在的位置。这段全景视频是由单个摄像头拍摄的连续帧。
上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (7)
1.跨镜头追踪方法，其特征在于：它包括以下步骤：
步骤一，视频图像可以清晰看到人脸照片时候用人脸识别技术去识别；
步骤二，当看不到人脸的时候用ReID识别技术去识别。
2.根据权利要求1所述的跨镜头追踪方法，其特征在于：所述步骤一人脸识别技术包括：数据预处理和人脸识别流程。
3.根据权利要求2所述的跨镜头追踪方法，其特征在于：所述数据预处理包括：
s1直方图均衡：
逐点改变图像的灰度值，使各个灰度级别都具有相同的数量的像素点，使直方图趋于平衡；
s2中值滤波；
s3归一化
人脸归一化包括两个方面的内容：一是几何归一化，二是灰度归一化，灰度归一化用来对不同光强，光源方向下得到的图像进行补偿，以减弱单纯由于光照变化造成的图像信号的变化。
4.根据权利要求3所述的跨镜头追踪方法，其特征在于：所述人脸识别流程包括：首先要检测到人脸，检测到之后一般会做关键点的定位，把他的眼睛、鼻子、嘴角等信息都定位出来，利用这个信息对人脸做个矫正，把它变换到比较正情形，最终会提取得到一个人脸的描述特征，然后用不同人脸特征之间的相似度或者距离，相似度是越高越好，距离是越小越好，去刻画两个人之间的关系，再选取一个域值，来判断这两个人是否为一个人。
5.根据权利要求4所述的跨镜头追踪方法，其特征在于：所述步骤二ReID识别技术包括骨架关键点检测及姿态识别、动作识别和行人属性结构化。
6.根据权利要求5所述的跨镜头追踪方法，其特征在于：跨镜头追踪方法还包括N:N搜索，摄像头实时抓拍有待确认人脸及ReID特征，将抓怕的特征与数据库N:N比对，输出人物ID或新增人物ID。
7.根据权利要求6所述的跨镜头追踪方法，其特征在于：跨镜头追踪方法还包括跨镜头追踪及行人再识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911309360.9A CN112989896A (zh) | 2019-12-18 | 2019-12-18 | 跨镜头追踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911309360.9A CN112989896A (zh) | 2019-12-18 | 2019-12-18 | 跨镜头追踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112989896A true CN112989896A (zh) | 2021-06-18 |
Family
ID=76343914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911309360.9A Pending CN112989896A (zh) | 2019-12-18 | 2019-12-18 | 跨镜头追踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112989896A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017000115A1 (zh) * | 2015-06-29 | 2017-01-05 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| CN109145734A (zh) * | 2018-07-17 | 2019-01-04 | 深圳市巨龙创视科技有限公司 | 基于4k平台的ipc智能人脸识别抓拍算法 |
| CN109214315A (zh) * | 2018-08-21 | 2019-01-15 | 北京深瞐科技有限公司 | 人车跨镜头追踪方法及装置 |
| CN109344787A (zh) * | 2018-10-15 | 2019-02-15 | 浙江工业大学 | 一种基于人脸识别与行人重识别的特定目标跟踪方法 |
| CN109583373A (zh) * | 2018-11-29 | 2019-04-05 | 成都索贝数码科技股份有限公司 | 一种行人重识别实现方法 |
| CN109934176A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人识别***、识别方法及计算机可读存储介质 |
| CN110472551A (zh) * | 2019-08-09 | 2019-11-19 | 视云融聚（广州）科技有限公司 | 一种提高准确度的跨镜追踪方法、电子设备及存储介质 |
-
2019
- 2019-12-18 CN CN201911309360.9A patent/CN112989896A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017000115A1 (zh) * | 2015-06-29 | 2017-01-05 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| CN109145734A (zh) * | 2018-07-17 | 2019-01-04 | 深圳市巨龙创视科技有限公司 | 基于4k平台的ipc智能人脸识别抓拍算法 |
| CN109214315A (zh) * | 2018-08-21 | 2019-01-15 | 北京深瞐科技有限公司 | 人车跨镜头追踪方法及装置 |
| CN109344787A (zh) * | 2018-10-15 | 2019-02-15 | 浙江工业大学 | 一种基于人脸识别与行人重识别的特定目标跟踪方法 |
| CN109583373A (zh) * | 2018-11-29 | 2019-04-05 | 成都索贝数码科技股份有限公司 | 一种行人重识别实现方法 |
| CN109934176A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人识别***、识别方法及计算机可读存储介质 |
| CN110472551A (zh) * | 2019-08-09 | 2019-11-19 | 视云融聚（广州）科技有限公司 | 一种提高准确度的跨镜追踪方法、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ZHENG TANG等: "CityFlow：A City-scale Benchmark for multi-Target Multi-Camera Vehicle tracking and Re-Identification", 《ARXIV：1903.09254》, 21 March 2019 (2019-03-21), pages 1 - 12 * |
| 徐梦洋: "基于深度学习的行人再识别研究综述", 《中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文》, 8 November 2018 (2018-11-08), pages 125 - 128 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI759286B (zh) | 用於藉由機器學習訓練物件分類器之系統及方法 | |
| CN110569720B (zh) | 一种基于音视频处理***的音视频智能识别处理方法 | |
| WO2018130016A1 (zh) | 一种基于监控视频的停车检测方法及装置 | |
| US8055018B2 (en) | Object image detection method | |
| US8326000B2 (en) | Apparatus and method for detecting facial image | |
| US8243991B2 (en) | Method and apparatus for detecting targets through temporal scene changes | |
| US9245187B1 (en) | System and method for robust motion detection | |
| US20020176609A1 (en) | System and method for rapidly tacking multiple faces | |
| Lai et al. | An efficient real-time traffic sign recognition system for intelligent vehicles with smart phones | |
| JP5726596B2 (ja) | 画像監視装置 | |
| CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
| KR20170015639A (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| US20220122360A1 (en) | Identification of suspicious individuals during night in public areas using a video brightening network system | |
| CN108230607A (zh) | 一种基于区域特征分析的图像火灾探测方法 | |
| Beghdadi et al. | Towards the design of smart video-surveillance system | |
| Raju et al. | Processing of egocentric camera images from a wearable food intake sensor | |
| CN110677619A (zh) | 一种智能监控视频处理方法 | |
| CN113657250A (zh) | 一种基于监控视频的火焰检测方法及*** | |
| KR102423934B1 (ko) | 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션 | |
| Alcantara et al. | Head detection and tracking using OpenCV | |
| CN112770090A (zh) | 一种基于异动检测与目标跟踪的监控方法 | |
| CN112989896A (zh) | 跨镜头追踪方法 | |
| Landabaso et al. | Robust tracking and object classification towards automated video surveillance | |
| CN107403192B (zh) | 一种基于多分类器的快速目标检测方法及*** | |
| CN108197579B (zh) | 防护舱中人数的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |