CN103093214A - 一种基于车载红外相机的行人检测方法 - Google Patents
一种基于车载红外相机的行人检测方法 Download PDFInfo
- Publication number
- CN103093214A CN103093214A CN201310041477XA CN201310041477A CN103093214A CN 103093214 A CN103093214 A CN 103093214A CN 201310041477X A CN201310041477X A CN 201310041477XA CN 201310041477 A CN201310041477 A CN 201310041477A CN 103093214 A CN103093214 A CN 103093214A
- Authority
- CN
- China
- Prior art keywords
- camera
- ordinate
- pedestrian
- bounding box
- infrared camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims description 15
- 235000007164 Oryza sativa Nutrition 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 235000009566 rice Nutrition 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 240000007594 Oryza sativa Species 0.000 claims 1
- 241000209094 Oryza Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种基于车载红外相机的行人检测方法。传统的方法比较耗时。本发明首先在汽车车头标位置水平架设红外相机并进行相机标定。其次预设相机检测距离范围，确定上下边界。然后筛选候选包围盒，提取剩余候选包围盒的HOG特征，并利用预训练的SVM分类器判定是否为行人。最后利用尺度和距离聚类步骤5中判定为行人的包围盒，平滑后得到最终行人检测与跟踪。本发明耗时低，误检率低，便于嵌入式实时应用。
Description
技术领域
本发明属于智能视频监控领域，具体涉及一种基于车载红外相机的行人检测方法。
背景技术
对于车载相机下行人检测，目前方法或者基于运动相机的背景差方法[1]，或者基于全图搜索的模式识别方法[2]，都是比较耗时的方法。基于双（多）目相机的方法[3]虽然可以利用深度信息提取感兴趣区域后检测，但获取深度信息本身就是一个耗时的过程。
有的方法[4]通过提取人的某些特征，如头部等进行初步定位后再进行检测以降低耗时，但往往会造成检测率下降等问题。
相关文献和专利：
[1]Online Moving Camera Background Subtraction. Ali Elqursh, Ahmed Elgammal, ECCV, 2012.
[2]基于机器视觉的行人检测方法及行人防撞预警***，公开号： 102765365A。
[3]Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite. Andreas Geiger, Philip Lenz, Raquel Urtasun, CVPR, 2012.
[4]Pedestrian Detection and Tracking in Far Infrared Images. Masahiro Yasuno, Noboru Yasuda,Masayoshi Aoki, ITSC, 2005.
发明内容
针对上述问题，本发明使用红外相机并引入动态规划算法，采用先提取感兴趣区域后检测的方法，同时满足耗时和准确性的要求。
本发明解决技术问题所采取的技术方案为：
1.在汽车车头标位置水平架设红外相机，其高度取值为0.5-0.7米。
2.标定相机，具体是：测量相机实际架设高度H，即相机光轴到地面的距离。寻找空旷平地停好车辆后，调用标定程序标注地平线并输入相机架设高度后得到相机标定结果。称图像纵坐标与图像高度的比值为图像归一化纵坐标，标定程序需输入相机高度H与地平线的图像归一化纵坐标Y0，相机垂直视场角 
，预设行人平均高度DH=1.7m。系数为：
，
其中。
假设地面上某点到相机的水平距离为Z1，则其对应的图像归一化纵坐标
。类似地，假设高度DH水平面上的某点到相机的水平距离为Z2，则其对应的图像归一化纵坐标
。
3.预设相机检测距离范围，通过步骤2得到的纵向坐标Y与水平距离Z的公式，可以得到预设的检测水平距离范围所对应的图像归一化纵坐标范围及图像纵坐标对应的待检测目标高度。根据预设横向和纵向步长在纵坐标范围内生成候选包围盒，将所有候选包围盒向上和向下按预设位移平移3-4组。
4.每帧图像输入后，首先通过DP算法确定上下边界。规划时在步骤3得到的纵坐标范围内从左向右进行，代价函数采用带方向的梯度，列方向上允许一定程度的阶跃。
5.得到上下边界也就确定了感兴趣区域所在，根据该区域筛选步骤3中得到的候选包围盒，提取剩余候选包围盒的HOG特征，并利用预训练的SVM分类器判定是否为行人。
6.利用尺度和距离聚类步骤5中判定为行人的包围盒。
7.将步骤6的结果在时间上平滑后得到最终行人检测与跟踪效果。
8.根据步骤7结果做相应显示及报警。
本发明的有益效果：本发明耗时低，误检率低，便于嵌入式实时应用。
附图说明
图1为本发明方法流程图。
具体实施方式
以下结合附图和实施例对本发明作进一步说明。
如图1所示，本发明方法包括以下步骤：
1.在汽车车头标位置水平架设红外相机，其高度根据具体车型略有差异，一般在0.5-0.7米。
2.标定相机，具体是：测量相机实际架设高度H，即相机光轴到地面的距离。寻找空旷平地停好车辆后，调用标定程序标注地平线并输入相机架设高度后得到相机标定结果。称图像纵坐标与图像高度的比值为图像归一化纵坐标，标定程序需输入相机高度H与地平线的图像归一化纵坐标Y0，相机垂直视场角
，预设行人平均高度DH=1.7m。
系数为，
其中
。
假设地面上某点到相机的水平距离为Z1，则其对应的图像归一化纵坐标
。类似地，假设高度DH水平面上的某点到相机的水平距离为Z2，则其对应的图像归一化纵坐标。
3.预设相机检测距离范围，通过步骤2得到的纵向坐标Y与水平距离Z的公式，可以得到预设的检测水平距离范围所对应的图像归一化纵坐标范围及图像纵坐标对应的待检测目标高度。根据预设横向和纵向步长在纵坐标范围内生成候选包围盒，同时考虑到行人高度波动及车辆行驶过程颠簸所造成的图像上下波动，将所有候选包围盒向上和向下按预设位移平移3-4组。
4.每帧图像输入后，首先通过DP算法确定上下边界。规划时在步骤3得到的纵坐标范围内从左向右进行，代价函数采用带方向的梯度，列方向上允许一定程度的阶跃以便容许人体上的一些阶梯，如头肩等。
5.得到上下边界也就确定了感兴趣区域所在，根据该区域筛选步骤3中得到的候选包围盒，提取剩余候选包围盒的HOG特征，并利用预训练的SVM分类器判定是否为行人。
6.利用尺度和距离聚类步骤5中判定为行人的包围盒。
7.将步骤6的结果在时间上平滑后得到最终行人检测与跟踪效果。
8.根据步骤7结果做相应显示及报警灯。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。
Claims (1)
1. 一种基于车载红外相机的行人检测方法，其特征在于该方法包括以下步骤：
步骤1.在汽车车头标位置水平架设红外相机，其高度取值为0.5-0.7米；
步骤2.标定相机，具体是：测量相机实际架设高度H，即相机光轴到地面的距离；寻找空旷平地停好车辆后，调用标定程序标注地平线并输入相机架设高度后得到相机标定结果；称图像纵坐标与图像高度的比值为图像归一化纵坐标，标定程序需输入相机高度H与地平线的图像归一化纵坐标Y0，相机垂直视场角 
，预设行人平均高度DH=1.7m；系数为：
其中
；假设地面上某点到相机的水平距离为Z1，则其对应的图像归一化纵坐标
；类似地，假设高度DH水平面上的某点到相机的水平距离为Z2，则其对应的图像归一化纵坐标
；
步骤3.预设相机检测距离范围，通过步骤2得到的纵向坐标Y与水平距离Z的公式，可以得到预设的检测水平距离范围所对应的图像归一化纵坐标范围及图像纵坐标对应的待检测目标高度；根据预设横向和纵向步长在纵坐标范围内生成候选包围盒，将所有候选包围盒向上和向下按预设位移平移3-4组；
步骤4.每帧图像输入后，首先通过DP算法确定上下边界；规划时在步骤3得到的纵坐标范围内从左向右进行，代价函数采用带方向的梯度，列方向上允许一定程度的阶跃；
步骤5.得到上下边界也就确定了感兴趣区域所在，根据该区域筛选步骤3中得到的候选包围盒，提取剩余候选包围盒的HOG特征，并利用预训练的SVM分类器判定是否为行人；
步骤6.利用尺度和距离聚类步骤5中判定为行人的包围盒；
步骤7.将步骤6的结果在时间上平滑后得到最终行人检测与跟踪效果；
步骤8.根据步骤7结果做相应显示及报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310041477.XA CN103093214B (zh) | 2013-02-01 | 2013-02-01 | 一种基于车载红外相机的行人检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310041477.XA CN103093214B (zh) | 2013-02-01 | 2013-02-01 | 一种基于车载红外相机的行人检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103093214A true CN103093214A (zh) | 2013-05-08 |
| CN103093214B CN103093214B (zh) | 2015-08-19 |
Family
ID=48205762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310041477.XA Expired - Fee Related CN103093214B (zh) | 2013-02-01 | 2013-02-01 | 一种基于车载红外相机的行人检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103093214B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886583A (zh) * | 2014-02-14 | 2014-06-25 | 杭州电子科技大学 | 一种基于场景几何约束的目标检测滑窗扫描方法 |
| CN105046197A (zh) * | 2015-06-11 | 2015-11-11 | 西安电子科技大学 | 基于聚类的多模板行人检测方法 |
| WO2017079972A1 (en) * | 2015-11-13 | 2017-05-18 | Xiaogang Wang | A method and a system for classifying objects in images |
| WO2018233205A1 (zh) * | 2017-06-21 | 2018-12-27 | 北京大学深圳研究生院 | 使用高斯惩罚检测图像中行人的方法 |
| CN110309819A (zh) * | 2019-07-30 | 2019-10-08 | 天津艾思科尔科技有限公司 | 一种人群拥挤估计*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080166023A1 (en) * | 2007-01-05 | 2008-07-10 | Jigang Wang | Video speed detection system |
| CN102765365A (zh) * | 2011-05-06 | 2012-11-07 | 香港生产力促进局 | 基于机器视觉的行人检测方法及行人防撞预警*** |
| US20120314030A1 (en) * | 2011-06-07 | 2012-12-13 | International Business Machines Corporation | Estimation of object properties in 3d world |
| CN102840853A (zh) * | 2012-07-25 | 2012-12-26 | 中国航空工业集团公司洛阳电光设备研究所 | 一种用于车载夜视***的障碍物检测及报警方法 |
-
2013
- 2013-02-01 CN CN201310041477.XA patent/CN103093214B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080166023A1 (en) * | 2007-01-05 | 2008-07-10 | Jigang Wang | Video speed detection system |
| CN102765365A (zh) * | 2011-05-06 | 2012-11-07 | 香港生产力促进局 | 基于机器视觉的行人检测方法及行人防撞预警*** |
| US20120314030A1 (en) * | 2011-06-07 | 2012-12-13 | International Business Machines Corporation | Estimation of object properties in 3d world |
| CN102840853A (zh) * | 2012-07-25 | 2012-12-26 | 中国航空工业集团公司洛阳电光设备研究所 | 一种用于车载夜视***的障碍物检测及报警方法 |
Non-Patent Citations (2)
| Title |
|---|
| MASAHIRO YASUNO 等: "Pedestrian Detection and Tracking in Far Infrared Images", 《PROCEEDINGS OF THE 8TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
| 程如中 等: "实时行人检测预警***", 《交通运输工程学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886583A (zh) * | 2014-02-14 | 2014-06-25 | 杭州电子科技大学 | 一种基于场景几何约束的目标检测滑窗扫描方法 |
| CN105046197A (zh) * | 2015-06-11 | 2015-11-11 | 西安电子科技大学 | 基于聚类的多模板行人检测方法 |
| CN105046197B (zh) * | 2015-06-11 | 2018-04-17 | 西安电子科技大学 | 基于聚类的多模板行人检测方法 |
| WO2017079972A1 (en) * | 2015-11-13 | 2017-05-18 | Xiaogang Wang | A method and a system for classifying objects in images |
| CN108475339A (zh) * | 2015-11-13 | 2018-08-31 | 北京市商汤科技开发有限公司 | 用于对图像中的对象分类的方法和*** |
| CN108475339B (zh) * | 2015-11-13 | 2022-08-02 | 北京市商汤科技开发有限公司 | 用于对图像中的对象分类的方法和*** |
| WO2018233205A1 (zh) * | 2017-06-21 | 2018-12-27 | 北京大学深圳研究生院 | 使用高斯惩罚检测图像中行人的方法 |
| CN110309819A (zh) * | 2019-07-30 | 2019-10-08 | 天津艾思科尔科技有限公司 | 一种人群拥挤估计*** |
| CN110309819B (zh) * | 2019-07-30 | 2023-10-13 | 天津艾思科尔科技有限公司 | 一种人群拥挤估计*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103093214B (zh) | 2015-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11604076B2 (en) | Vision augmented navigation | |
| Luvizon et al. | A video-based system for vehicle speed measurement in urban roadways | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及*** | |
| De Charette et al. | Real time visual traffic lights recognition based on spot light detection and adaptive traffic lights templates | |
| CN105260712B (zh) | 一种车辆前方行人检测方法及*** | |
| US9846927B2 (en) | Systems and methods for haziness detection | |
| CN110379168B (zh) | 一种基于Mask R-CNN的交通车辆信息获取方法 | |
| KR101350922B1 (ko) | 열화상 카메라를 사용한 객체 추적 방법 및 장치 | |
| CN105512720A (zh) | 一种公交车辆客流统计方法和*** | |
| Nguyen et al. | Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system | |
| CN102609720B (zh) | 一种基于位置校正模型的行人检测方法 | |
| CN103093214A (zh) | 一种基于车载红外相机的行人检测方法 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及*** | |
| CN107315095A (zh) | 基于视频处理的具有光照适应性的多车辆自动测速方法 | |
| CN104615986A (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN111160220B (zh) | 一种基于深度学习的包裹检测方法、装置、存储介质 | |
| US11657592B2 (en) | Systems and methods for object recognition | |
| CN103164958A (zh) | 车辆监控方法及*** | |
| CN113449632A (zh) | 一种基于融合感知的视觉与雷达感知算法优化方法、***及汽车 | |
| CN104613928A (zh) | 一种光学测风经纬仪自动跟踪及测风方法 | |
| CN109241855A (zh) | 基于立体视觉的智能车辆可行驶区域探测方法 | |
| Mijić et al. | Traffic sign detection using YOLOv3 | |
| Tarko et al. | Tscan: Stationary lidar for traffic and safety studies—object detection and tracking | |
| CN111238490B (zh) | 视觉定位方法、装置以及电子设备 | |
| Coronado et al. | Detection and classification of road signs for automatic inventory systems using computer vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East Applicant after: Zhejiang iCare Vision Technology Co., Ltd. Address before: 310013, Zhejiang, Xihu District, Hangzhou, Tian Shan Road, No. 398, Kun building, four floor, South Block Applicant before: Zhejiang iCare Vision Technology Co., Ltd. |
|
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East Applicant after: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD. Address before: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East Applicant before: Zhejiang iCare Vision Technology Co., Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: HANGZHOU ICARE VISION TECHNOLOGY CO., LTD. TO: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Pedestrian detection method based on on-board infrared camera Effective date of registration: 20190821 Granted publication date: 20150819 Pledgee: Hangzhou Yuhang Small and Medium-sized Enterprise Transfer Service Co., Ltd. Pledgor: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD. Registration number: Y2019330000020 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150819 Termination date: 20210201 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |