CN113496175A - 一种人形上半身检测分块设计方法 - Google Patents
一种人形上半身检测分块设计方法 Download PDFInfo
- Publication number
- CN113496175A CN113496175A CN202010264080.7A CN202010264080A CN113496175A CN 113496175 A CN113496175 A CN 113496175A CN 202010264080 A CN202010264080 A CN 202010264080A CN 113496175 A CN113496175 A CN 113496175A
- Authority
- CN
- China
- Prior art keywords
- input
- image
- blocks
- wlen
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000000638 solvent extraction Methods 0.000 title claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 238000010276 construction Methods 0.000 claims abstract description 4
- 239000000126 substance Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种人形上半身检测分块设计方法，所述方法包括以下步骤：S1，级联卷积网络对图像进行图像金字塔构建，以M*N为输入分辨率，以scale为i的缩放系数进行构造图像金字塔，金字塔图像列表计算公式为：input_w*i的n次方，input_h*i的n次方；S2，以16+3的设计理念进行分块优化，其中，16指的是图像宽的方向分为四块，高的方向分为四块，3是指的金字塔列表里的最后三个，且16块的分块标准按以下公式计算：(INPUT_W‑WLEN_W)/INC_W+1＝FN_W(1)(INPUT_H‑WLEN_H)/INC_H+1＝FN_H(2)；其中，INPUT_W/INPUT_H为输入图像的宽/高；WLEN_W/WLEN_H为分块的宽/高长度；INC_W/INC_H为块移；FN_W/FN_H是我们在横向/纵向要分的块数。本发明改变传统方案都是基于全帧去检测的方法，单纯依靠CPU工作却能够降低CPU负载，提升用户体验。
Description
技术领域
本发明涉及神经网络领域，特别涉及一种人形上半身检测分块设计方法。
背景技术
人工智能领域中神经网络技术日益发展迅猛。其中MTCNN技术也是近年来较为流行的技术之一。MTCNN，Multi-task convolutional neural network(多任务卷积神经网络)，将人脸区域检测与人脸关键点检测放在了一起，总体可分为P-Net、R-Net、和O-Net三层网络结构。用于人脸检测任务的多任务神经网络模型，该模型主要采用了三个级联的网络，采用候选框加分类器的思想，进行快速高效的人脸检测。这三个级联的网络分别是快速生成候选窗口的P-Net、进行高精度候选窗口过滤选择的R-Net和生成最终边界框与人脸关键点的O-Net。
但是，在现有技术中，也存在如下缺点：传统方案都是基于全帧去检测，当前深度学***台上纯粹靠CPU运行会非常吃力，客户体验也会非常不好，CPU占用率居高不下，落地困难。
此外，现有技术中常用的技术术语包括：
级联卷积网络：就是设计N阶网络，由粗到精对任务进行处理。
图像金字塔：就是将图像按一定尺度进行变换，以适应对不同大小的人脸进行检测。
最小检测大小：如果检测目标宽高小于最小检测大小，模型没有检测能力。
发明内容
为了解决上述问题，本发明的目的在于：改变传统方案都是基于全帧去检测的方法，单纯依靠CPU工作却能够降低CPU负载，提升用户体验。
具体地，本发明提供一种人形上半身检测分块设计方法，所述方法包括以下步骤：
S1，级联卷积网络对图像进行图像金字塔构建，以M*N为输入分辨率，以scale为i的缩放系数进行构造图像金字塔，金字塔图像列表计算公式为：input_w*i的n次方，input_h*i的n次方；
S2，以16+3的设计理念进行分块优化，其中，16指的是图像宽的方向分为四块，高的方向分为四块，3是指的金字塔列表里的最后三个，且16块的分块标准按以下公式计算：
(INPUT_W-WLEN_W)/INC_W+1＝FN_W (1)
(INPUT_H-WLEN_H)/INC_H+1＝FN_H (2)
其中，
INPUT_W/INPUT_H为输入图像的宽/高；
WLEN_W/WLEN_H为分块的宽/高长度；
INC_W/INC_H为块移；
FN_W/FN_H是在横向/纵向要分的块数。
所述步骤S1中,所述的以M*N为输入分辨率，M＝640，N＝360；所述的i＝0.6。
所述步骤S1中，人形检测最小检测大小为40，输入分辨率640*360对应的列表为(640，360)，(384，216)，(230，130)，(138，78)，(83，47)，因为47再以0.6的比例缩放已经小于最小检测大小，所以(83，47)作为最后一个金字塔图像。
所述的步骤S2中，所述的块移的计算通过以下公式计算：
MIN_OBJECT_SIZE为最小检测物体大小
INC_W＝(INPUT_W–MIN_OBJECT_SIZE)/FN_W (3)
MIN_OBJECT_SIZE，其保证跨越两块之间的最小物体不漏检。
所述的以M*N为输入分辨率，M＝640，N＝360；所述的i＝0.6，则
INPUT_W＝640
FN_W＝4
根据公式(3)
INC_W＝(640–40)/4＝150
根据公式(1)
WLEN_W＝190。
所述的WLEN_W为190，取图像金字塔的最后三个(230，130)，(138，78)，(83，47)作为16+3的设计理念的后面的3。
同理：
INPUT_H＝360
FN_H＝4
根据公式(3)
INC_H＝(360–40)/4＝80
根据公式(1)
WLEN_H＝120。
由此，本申请的优势在于：
1采用分块设计的方法，会大大提升用户体验，把每帧所需要的算力平摊到多帧，大大降低CPU负载；
2本发明的分块设计方法，充分考虑到了大小目标的检测范围，与整帧检测效果没有差异。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是本发明方法的示意流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图1所示，本发明涉及一种人形上半身检测分块设计方法，所述方法包括以下步骤：
S1，级联卷积网络对图像进行图像金字塔构建，项目以M*N为输入分辨率，以scale为i的缩放系数进行构造图像金字塔，金字塔图像列表计算公式为：input_w*i的n次方，input_h*i的n次方；
S2，以16+3的设计理念进行分块优化，其中，16指的是图像宽的方向分为四块，高的方向分为四块，3是指的金字塔列表里的最后三个，且16块的分块标准按以下公式计算：
(INPUT_W-WLEN_W)/INC_W+1＝FN_W (1)
(INPUT_H-WLEN_H)/INC_H+1＝FN_H (2)
其中，
INPUT_W/INPUT_H为输入图像的宽/高；
WLEN_W/WLEN_H为分块的宽/高长度；
INC_W/INC_H为块移；
FN_W/FN_H是我们在横向/纵向要分的块数。
所述的步骤S2中，所述的块移的计算通过以下公式计算：
MIN_OBJECT_SIZE为最小检测物体大小
INC_W＝(INPUT_W–MIN_OBJECT_SIZE)/FN_W (3)
MIN_OBJECT_SIZE，其保证跨越两块之间的最小物体不漏检。
具体地，可以按照以下描述方式解释本申请：
1级联卷积网络需要对图像进行图像金字塔构建，项目以640*360为输入分辨率，以scale为0.6的缩放系数进行构造图像金字塔，金字塔图像列表计算公式为(input_w*0.6的n次方，input_h*0.6的n次方)；
以人形检测最小检测大小为40为例，640*360对应的列表为(640，360)，(384，216)，(230，130)，(138，78)，(83，47)，因为47再以0.6的比例缩放已经小于最小检测大小，所以(83，47)为最后一个金字塔图像；
2分块设计：
因为640*360的大分辨率图计算量占整体计算量的70％以上，所以重点对640*360进行分块优化；
16+3的设计理念：16指的是图像宽的方向分为四块，高的方向分为四块，3是指的金字塔列表里的最后三个。
16块的分块标准以以下公式计算：
(INPUT_W-WLEN_W)/INC_W+1＝FN_W (1)
(INPUT_H-WLEN_H)/INC_H+1＝FN_H (2)
INPUT_W/INPUT_H为输入图像的宽和高
WLEN_W/WLEN_H为分块的宽和高长度
INC_W/INC_H为块移
FN_W/FN_H是在横向和纵向要分的块数
块移的计算通过以下公式计算：
MIN_OBJECT_SIZE为最小检测物体大小
INC_W＝(INPUT_W–MIN_OBJECT_SIZE)/FN_W (3)
尤为重要的是MIN_OBJECT_SIZE，其保证跨越两块之间的最小物体不漏检；
以640*360为例：
INPUT_W＝640
FN_W＝4
根据公式(3)
INC_W＝(640–40)/4＝150
根据公式(1)
WLEN_W＝190
此例中WLEN_W为190，取金字塔的最后三个(230，130)，(138，78)，(83，47)作为16+3后面的3的设计理念，对于跨越两块的大目标有检测能力并且计算量很小。
同理：
INPUT_H＝360
FN_H＝4
INC_H＝(360–40)/4＝80
WLEN_H＝120。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种人形上半身检测分块设计方法，其特征在于，所述方法包括以下步骤：
S1，级联卷积网络对图像进行图像金字塔构建，以M*N为输入分辨率，以scale为i的缩放系数进行构造图像金字塔，金字塔图像列表计算公式为：input_w*i的n次方，input_h*i的n次方；
S2，以16+3的设计理念进行分块优化，其中，16指的是图像宽的方向分为四块，高的方向分为四块，3是指的图像金字塔列表里的最后三个，且16块的分块标准按以下公式计算：
(INPUT_W-WLEN_W)/INC_W+1＝FN_W (1)
(INPUT_H-WLEN_H)/INC_H+1＝FN_H (2)
其中，
INPUT_W/INPUT_H为输入图像的宽/高；
WLEN_W/WLEN_H为分块的宽/高长度；
INC_W/INC_H为块移；
FN_W/FN_H是在横向/纵向要分的块数。
2.根据权利要求1所述的一种人形上半身检测分块设计方法，其特征在于，所述步骤S1中,所述的以M*N为输入分辨率，M＝640，N＝360；所述的i＝0.6。
3.根据权利要求2所述的一种人形上半身检测分块设计方法，其特征在于，所述步骤S1中，人形检测最小检测大小为40，输入分辨率640*360对应的列表为(640，360)，(384，216)，(230，130)，(138，78)，(83，47)，因为47再以0.6的比例缩放已经小于最小检测大小，所以(83，47)作为最后一个金字塔图像。
4.根据权利要求1所述的一种人形上半身检测分块设计方法，其特征在于，所述的步骤S2中，所述的块移的计算通过以下公式计算：
MIN_OBJECT_SIZE为最小检测物体大小
INC_W＝(INPUT_W–MIN_OBJECT_SIZE)/FN_W (3)
MIN_OBJECT_SIZE，其保证跨越两块之间的最小物体不漏检。
5.根据权利要求4所述的一种人形上半身检测分块设计方法，其特征在于，所述的以M*N为输入分辨率，M＝640，N＝360；所述的i＝0.6，则INPUT_W＝640
FN_W＝4
根据公式(3)
INC_W＝(640–40)/4＝150
根据公式(1)
WLEN_W＝190。
6.根据权利要求5所述的一种人形上半身检测分块设计方法，其特征在于，所述的WLEN_W为190，取图像金字塔的最后三个(230，130)，(138，78)，(83，47)作为16+3的设计理念的后面的3。
7.根据权利要求5所述的一种人形上半身检测分块设计方法，其特征在于，进一步同理：
INPUT_H＝360
FN_H＝4
根据公式(3)
INC_H＝(360–40)/4＝80
根据公式(1)
WLEN_H＝120。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010264080.7A CN113496175A (zh) | 2020-04-07 | 2020-04-07 | 一种人形上半身检测分块设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010264080.7A CN113496175A (zh) | 2020-04-07 | 2020-04-07 | 一种人形上半身检测分块设计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113496175A true CN113496175A (zh) | 2021-10-12 |
Family
ID=77995429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010264080.7A Pending CN113496175A (zh) | 2020-04-07 | 2020-04-07 | 一种人形上半身检测分块设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496175A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101550665B1 (ko) * | 2014-03-27 | 2015-09-07 | 서강대학교산학협력단 | 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법 |
| US20160098619A1 (en) * | 2014-10-02 | 2016-04-07 | Xerox Corporation | Efficient object detection with patch-level window processing |
| US20170147905A1 (en) * | 2015-11-25 | 2017-05-25 | Baidu Usa Llc | Systems and methods for end-to-end object detection |
| US20170364757A1 (en) * | 2016-06-20 | 2017-12-21 | Delphi Technologies, Inc. | Image processing system to detect objects of interest |
| WO2018030593A1 (ko) * | 2016-08-10 | 2018-02-15 | 한국과학기술원 | 라플라시안 패치 기반 이미지 합성 방법 및 장치 |
| CN108509898A (zh) * | 2018-03-29 | 2018-09-07 | 中国电子科技集团公司第五十四研究所 | 一种基于图像流的近实时遥感图像在线目标检测方法 |
| CN108537235A (zh) * | 2018-03-27 | 2018-09-14 | 北京大学 | 一种低复杂度尺度金字塔提取图像特征的方法 |
| US20180300880A1 (en) * | 2017-04-12 | 2018-10-18 | Here Global B.V. | Small object detection from a large image |
-
2020
- 2020-04-07 CN CN202010264080.7A patent/CN113496175A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101550665B1 (ko) * | 2014-03-27 | 2015-09-07 | 서강대학교산학협력단 | 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법 |
| US20160098619A1 (en) * | 2014-10-02 | 2016-04-07 | Xerox Corporation | Efficient object detection with patch-level window processing |
| US20170147905A1 (en) * | 2015-11-25 | 2017-05-25 | Baidu Usa Llc | Systems and methods for end-to-end object detection |
| US20170364757A1 (en) * | 2016-06-20 | 2017-12-21 | Delphi Technologies, Inc. | Image processing system to detect objects of interest |
| WO2018030593A1 (ko) * | 2016-08-10 | 2018-02-15 | 한국과학기술원 | 라플라시안 패치 기반 이미지 합성 방법 및 장치 |
| US20180300880A1 (en) * | 2017-04-12 | 2018-10-18 | Here Global B.V. | Small object detection from a large image |
| CN108537235A (zh) * | 2018-03-27 | 2018-09-14 | 北京大学 | 一种低复杂度尺度金字塔提取图像特征的方法 |
| CN108509898A (zh) * | 2018-03-29 | 2018-09-07 | 中国电子科技集团公司第五十四研究所 | 一种基于图像流的近实时遥感图像在线目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Munjiza et al. | Penalty function method for combined finite–discrete element systems comprising large number of separate bodies | |
| EP2693300A2 (en) | Device and method for recognizing gesture based on direction of gesture | |
| Feng et al. | An augmented spatial digital tree algorithm for contact detection in computational mechanics | |
| CN108596944A (zh) | 一种提取运动目标的方法、装置及终端设备 | |
| CN109815876A (zh) | 基于地址事件流特征的手势识别方法 | |
| CN111079604A (zh) | 面向大尺度遥感图像的微小目标快速检测方法 | |
| CN112528904A (zh) | 一种用于砂石颗粒物粒径检测***的图像分割方法 | |
| CN109032667B (zh) | 一种分子动力学模拟中邻接表快速建立方法和*** | |
| CN113496175A (zh) | 一种人形上半身检测分块设计方法 | |
| EP2987069B1 (en) | Detection of pan and scaling during multi-finger touch interactions | |
| CN113554651A (zh) | 一种级联检测中分块优化的方法 | |
| CN109657577B (zh) | 一种基于熵和运动偏移量的动物检测方法 | |
| Das et al. | Computing the straight skeleton of a monotone polygon in O (n log n) time. | |
| Károlyi et al. | New features of doubly transient chaos: complexity of decay | |
| Yamamoto et al. | New approach for pedestrian dynamics by real-coded cellular automata (RCA) | |
| Bandini et al. | Generation of pedestrian groups distributions with probabilistic cellular automata | |
| Li et al. | Hierarchical path-finding based on decision tree | |
| JP2613961B2 (ja) | 索引の分割率変更処理方式 | |
| Kanewala et al. | Distributed, shared-memory parallel triangle counting | |
| Bakhtin et al. | Weakly mixing smooth planar vector field without asymptotic directions | |
| Yanagisawa et al. | Conflicts at an exit in pedestrian dynamics | |
| Louat et al. | On the theory of normal grain growth | |
| Andersson et al. | Sequencing of contract types for anytime task reallocation | |
| Smith et al. | Efficient polygonal intersection determination with applications to robotics and vision | |
| TW421973B (en) | Fast global optimal template comparing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |