CN103700140B - 用于单枪机‑多球机联动的空间建模方法 - Google Patents
用于单枪机‑多球机联动的空间建模方法 Download PDFInfo
- Publication number
- CN103700140B CN103700140B CN201410004951.6A CN201410004951A CN103700140B CN 103700140 B CN103700140 B CN 103700140B CN 201410004951 A CN201410004951 A CN 201410004951A CN 103700140 B CN103700140 B CN 103700140B
- Authority
- CN
- China
- Prior art keywords
- ball machine
- gunlock
- target
- calculated
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000012544 monitoring process Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种用于单枪机‑多球机联动的空间建模方法，涉及视频监控、计算机视觉和模式识别等领域。本方法包括下列步骤：①对监控场景进行3d空间建模‑201；②计算枪机画面坐标点到真实监控地面坐标点的映射关系‑202；③枪机的跟踪检测结果‑203；④获得跟踪目标的空间位置信息‑204；⑤计算球机的偏移量‑205；⑥球机控制‑206；⑦球机跟踪结果输出‑207。本发明跟踪目标始终处于球机画面中心区域，并克服了跟踪画面不连续和球机画面抖动的缺点；运用相关的数学原理，通过一次性场景标定就可以准确快速地计算出真实目标的位置；采用空间建模的方法，可以用空间几何的数学公式精确的计算出球机的偏移量，使目标跟踪更加连续更加准确。
Description
技术领域
本发明涉及视频监控、计算机视觉和模式识别等领域，具体涉及一种用于单枪机-多球机联动的空间建模方法；该方法特别适合单枪机-多球机的联动智能视觉监控***（枪机指枪型摄像机、球机指球型摄像机）。
背景技术
视频监控作为现代化管理监控以及安全防范中极为有效的手段，已经广泛地应用于银行、车站和办公楼等各种公共场所。近些年来，由于公共安全防范的迫切需求以及计算机技术的不断发展，视频监控正在从传统模式向智能化监控的方向转变，其相关技术逐渐成为计算机视觉的研究热点，国内外也相继有一些智能监控***出现。枪球联动是智能监控***的一种重要监控模式。枪球联动是指：用枪机对目标进行检测并在枪机中选择目标，球机对该目标进行跟踪。
网格法是枪球联动常用的方法，它需要多个预置位并经过多次标定，大约估算出球机的偏移量，并且普通的网格法只能使目标在球机画面中而不能保证在球机画面中心，导致跟踪画面不连续、球机画面抖动比较严重，一些改进后的网格法也需要用多次运算和并且标定多个特征点来相对估算球机的偏移量，使得操作过程繁复并且运算结果并不一定准确。
发明内容
本发明提供一种用于单枪机-多球机联动的空间建模方法，旨在针对现有技术存在的问题，如何克服枪球联动过程中球机跟踪画面不连续、目标偏离球机画面中心等缺点，并且使操作过程更简单便捷各参数可一次性标定好、球机偏移量计算更准确符合真实数据。
本发明的目的是这样实现的：
具体地说，本方法包括下列步骤：
①对监控场景进行3d空间建模
将枪机监控的梯形地面区域的中心作为三维空间坐标系的原点，枪机立杆点到中心的连线方向作为x轴，枪机监控区域的近边界和远边界的方向作为y轴方向，垂直于地面的立杆方向即为z轴方向；建立好空间坐标系后，将球机的预置位设置为坐标原点处，然后将枪机的地面立杆点、枪机摄像头的位置、枪机监控的梯形地面区域的四个点、球机的立杆点以及球机摄像头的位置等空间坐标都标定出来；
②计算枪机画面坐标点到真实监控地面坐标点的映射关系
将真实监控场景与枪机画面建立关系，相当于一个等腰梯形的画面投影到一个矩形画面中，利用透视变换原理，计算枪机画面坐标点到真实监控地面坐标点的映射关系；
③枪机的跟踪检测
枪机采用目标检测跟踪算法对目标进行检测，并返回目标中心坐标；
④获得跟踪目标的空间位置信息；
将目标在枪机画面中的坐标代入到步骤②中计算出来的映射关系中，从而得到目标在真实监控地面的坐标位置信息；
⑤计算球机的偏移量；
将目标的上一个位置信息和当前位置信息作为输入，并标定出球机的空间坐标信息，构建起一个空间立体几何模型，利用几何关系，可计算出球机的偏移量。
⑥球机控制；
将步骤⑤计算得到的球机偏移量根据需要做相关处理后输入球机自带接口函数，用三维定位功能控制球机转动，使指定目标位于球机画面的中心区域。
⑦球机跟踪结果输出。
本发明具有下列优点和积极效果：
1、跟踪目标始终处于球机画面中心区域，并克服了跟踪画面不连续和球机画面抖动的缺点；
2、运用相关的数学原理，通过一次性场景标定就可以准确快速地计算出真实目标的位置；
3、采用空间建模的方法，可以用空间几何的数学公式精确的计算出球机的偏移量，使目标跟踪更加连续更加准确。
附图说明
图1是本***的结构示意图；
图2是本方法的工作流程图；
图3是球机与目标前后位置的空间几何关系图；
图4是计算枪机画面坐标点到真实监控地面坐标点映射关系的流程图；
图5是计算球机偏移量的流程图；
图6是智能网络摄像机的结构方框图。
具体实施方式
下面结合附图和实施例对本发明详细说明：
一、用于单枪机-多球机联动的空间建模***（简称***）
1、总体
如图1，本***包括枪机101、球机102和交换机103；
单个抢机101和多个球机102分别与交换机103连接。
2、功能部件
1）枪机101
如图6，抢机101是现有的智能网络摄像机A，包括LENS光学镜头1、CCD图像传感器2、信号采集转换器3、HV信号驱动器4、FPGA可编程逻辑处理器5、H264录像编码器6、SDRAM存储器7和ARM中心处理器8；
设置有DSP图像处理器9；
LENS光学镜头1和CCD图像传感器2前后连接，CCD图像传感器2、信号采集转换器3、FPGA可编程逻辑处理器5、HV信号驱动器4和CCD图像传感器2依次连接构成回路实现图像序列采集功能；
FPGA可编程逻辑处理器5、H264录像编码器6和ARM中心处理器8依次连接，实现图像视频编码存储功能；
FPGA可编程逻辑处理器5、SDRAM存储器7、DSP图像处理器9和ARM中心处理器8依次相连，实现对图像序列智能分析功能。
DSP图像处理器9是主频800Mhz的高性能DSP图像处理器，本装置选用TMS320DM64X、TMS320DM81X等系列的DSP处理器。
DSP图像处理器9实现本发明提出的基于视频分析的红绿灯状态检测方法，并将运动车辆捕获记录和闯红灯检测结果输出给ARM中心处理器8。
其功能是实现对视频数据进行采集并智能分析，即目标的检测和跟踪都在这里完成。
2）球机102
球机102是一种通用产品，其功能是对目标的画面进行实时跟踪。
3）交换机103
交换机103是一种通用产品，其功能是对枪机101和球机102的数据进行传输。
二、方法
1、总步骤
如图2，本方法包括下列步骤：
①对监控场景进行3d空间建模-201；
②计算枪机画面坐标点到真实监控地面坐标点的映射关系-202；
③枪机的跟踪检测结果-203；
④获得跟踪目标的空间位置信息-204；
⑤计算球机的偏移量-205；
⑥球机控制-206；
⑦球机跟踪结果输出-207。
2、分步骤
1）步骤②计算枪机画面坐标点到真实监控地面坐标点的映射关系
如图4，具体步骤如下：
A、通过标定获得枪机监控地面的四个顶点的坐标值-401；
B、将枪机画面4个边界点的坐标和监控地面的4个顶点坐标分别代入投影变换的数学公式中，得到4个矩阵等式-402；
C、根据4个矩阵等式可以计算出里面的8个参数，即得到投影变换的表达式-403。
2）步骤⑤计算球机的偏移量-205
如图5，具体步骤如下：
a、将球机和目标的前后位置作为输入-501
如图3，将球机的空间位置信息、目标的上一个位置信息和当前位置信息，即点A、B、O、D分别作为已知输入；
b、建立立体几何模型-502
如图3，在BO边的方向上添一个辅助点C，使得BC=BD，即球机从O到C是垂直方向的偏移，从C到D只有水平方向的偏移，α、β角即为球机的偏移角；
c、计算偏移角
或计算垂直偏移角所在三角形的三条边-503
如图3，计算ΔOAC的三边：
OA：ΔOAB中运用勾股定理，
OC：OC＝BC-OB＝BD-OB，如果BD大于OB，
或者OC＝OB-BC＝OB-BD，如果OB大于BD，
AC：ΔABC中运用勾股定理，
在ΔOAC运用三角形余弦定理，计算出α角-504；
或计算水平偏移角所在三角形的三条边-505
如图3，计算出ΔCAD的三边：
AC：已经计算出
AD：AD＝AC，ΔABC与ΔABD全等三角形，
CD：
计算∠OBD，已知三边，在三角形ΔBOD中运用三角形余弦定理，
计算CD，已知两边和夹角，在三角形ΔBCD中运用三角形余弦定理，
在ΔCAD运用三角形余弦定理，计算出β角-506。
Claims (1)
1.一种用于单枪机-多球机联动的空间建模方法，其特征在于包括下列步骤：
①对监控场景进行3d空间建模(201)
将枪机监控的梯形地面区域的中心作为三维空间坐标系的原点，枪机立杆点到中心的连线方向作为x轴，枪机监控区域的近边界和远边界的方向作为y轴方向，垂直于地面的立杆方向即为z轴方向；建立好空间坐标系后，将球机的预置位设置为坐标原点处，然后将枪机的地面立杆点、枪机摄像头的位置、枪机监控的梯形地面区域的四个点、球机的立杆点以及球机摄像头的位置的空间坐标都标定出来；
②计算枪机画面坐标点到真实监控地面坐标点的映射关系(202)
利用透视变换原理，计算枪机画面坐标点到真实监控地面坐标点的映射关系；
③枪机的跟踪检测(203)
枪机采用目标检测跟踪算法对目标进行检测，并返回目标中心坐标；
④获得跟踪目标的空间位置信息(204)
将目标在枪机画面中的坐标代入到步骤②中计算出来的映射关系中，从而得到目标在真实监控地面的坐标位置信息；
⑤计算球机的偏移量(205)
将目标的上一个位置信息和当前位置信息作为输入，并标定出球机的空间坐标信息，构建起一个空间立体几何模型，利用几何关系，可计算出球机的偏移量；
⑥球机控制(206)
将步骤⑤计算得到的球机偏移量根据需要做相关处理后输入球机自带接口函数，用三维定位功能控制球机转动，使指定目标位于球机画面的中心区域；
⑦球机跟踪结果输出(207)；
所述步骤②：
A、通过标定获得枪机监控地面的四个顶点的坐标值(401)；
B、将枪机画面4个边界点的坐标和监控地面的4个顶点坐标分别代入投影变换的数学公式中，得到4个矩阵等式(402)；
C、根据4个矩阵等式可以计算出里面的8个参数，即得到投影变换的表达式(403)；
所述步骤⑤：
a、将球机和目标的前后位置作为输入(501)
将球机的空间位置信息、目标的上一个位置信息和当前位置信息，即点A、B、O、D分别作为已知输入；
b、建立立体几何模型(502)
在BO边的方向上添一个辅助点C，使得BC＝BD，即球机从O到C是垂直方向的偏移，从C到D只有水平方向的偏移，α、β角即为球机的偏移角；
c、计算偏移角
或计算垂直偏移角所在三角形的三条边(503)
计算ΔOAC的三边：
OA：ΔOAB中运用勾股定理，
OC：OC＝BC-OB＝BD-OB，如果BD大于OB，
或者OC＝OB-BC＝OB-BD，如果OB大于BD，
AC：ΔABC中运用勾股定理，
在ΔOAC中运用三角形余弦定理，计算出α角(504)；
或计算水平偏移角所在三角形的三条边(505)
计算出ΔCAD的三边：
AC：已经计算出
AD：AD＝AC，ΔABC与ΔABD全等三角形，
CD：
计算∠OBD，已知三边，在ΔBOD中运用三角形余弦定理，
计算CD，已知两边和夹角，在ΔBCD中运用三角形余弦定理，
在ΔCAD中运用三角形余弦定理，计算出β角(506)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410004951.6A CN103700140B (zh) | 2014-01-06 | 2014-01-06 | 用于单枪机‑多球机联动的空间建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410004951.6A CN103700140B (zh) | 2014-01-06 | 2014-01-06 | 用于单枪机‑多球机联动的空间建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103700140A CN103700140A (zh) | 2014-04-02 |
| CN103700140B true CN103700140B (zh) | 2017-04-12 |
Family
ID=50361657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410004951.6A Expired - Fee Related CN103700140B (zh) | 2014-01-06 | 2014-01-06 | 用于单枪机‑多球机联动的空间建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103700140B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103929624B (zh) * | 2014-04-29 | 2017-07-04 | 深圳金三立视频科技股份有限公司 | 枪机、球机协同跟踪监控方法 |
| CN105744227B (zh) * | 2016-02-22 | 2018-07-06 | 北京深博达智能***有限公司 | 一种开放式1+n枪球联动*** |
| CN106780602B (zh) * | 2016-12-05 | 2019-09-17 | 浙江华睿科技有限公司 | 一种枪球定位方法及装置 |
| CN107046623B (zh) * | 2017-03-02 | 2019-11-26 | 上海斐讯数据通信技术有限公司 | 一种实时摄像方法及*** |
| CN107071363A (zh) * | 2017-04-28 | 2017-08-18 | 星际控股集团有限公司 | 一种云台球机与固定摄像头的联动方法及*** |
| CN108055522A (zh) * | 2017-12-15 | 2018-05-18 | 河南亚视软件技术有限公司 | 一种双目三维视觉成像方法 |
| CN110113560B (zh) * | 2018-02-01 | 2021-06-04 | 中兴飞流信息科技有限公司 | 视频智能联动的方法及服务器 |
| CN108416285A (zh) * | 2018-03-02 | 2018-08-17 | 深圳市佳信捷技术股份有限公司 | 枪球联动监控方法、装置及计算机可读存储介质 |
| CN110581979B (zh) * | 2018-06-08 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 一种图像采集***、方法及装置 |
| US20210250549A1 (en) * | 2019-01-07 | 2021-08-12 | Gosuncn Technology Group Co., Ltd. | Camera link method and computer storage medium |
| CN110414443A (zh) * | 2019-07-31 | 2019-11-05 | 苏州市科远软件技术开发有限公司 | 一种目标跟踪方法、装置及枪球联动跟踪方法 |
| CN113660464A (zh) * | 2021-08-16 | 2021-11-16 | 北京中安瑞力科技有限公司 | 一对多枪球联动方法及联动*** |
| CN114630047B (zh) * | 2022-03-03 | 2024-02-02 | 北京佳服信息科技有限公司 | 一种多球机调用方法、装置、设备及可读存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102447835A (zh) * | 2011-10-29 | 2012-05-09 | 合肥博微安全电子科技有限公司 | 无盲区多目标协同跟踪方法及*** |
| CN102497505A (zh) * | 2011-12-08 | 2012-06-13 | 合肥博微安全电子科技有限公司 | 基于改进的Meanshift算法的多球机联动目标跟踪方法及*** |
| CN102497543A (zh) * | 2012-01-06 | 2012-06-13 | 合肥博微安全电子科技有限公司 | 一种基于dsp的多目标跟踪方法及*** |
| CN103473926B (zh) * | 2013-09-11 | 2016-01-27 | 无锡加视诚智能科技有限公司 | 枪球联动道路交通参数采集及违章抓拍*** |
-
2014
- 2014-01-06 CN CN201410004951.6A patent/CN103700140B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN103700140A (zh) | 2014-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103700140B (zh) | 用于单枪机‑多球机联动的空间建模方法 | |
| CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
| CN110458897B (zh) | 多摄像头自动标定方法及***、监控方法及*** | |
| Carrera et al. | SLAM-based automatic extrinsic calibration of a multi-camera rig | |
| US20170287166A1 (en) | Camera calibration method using a calibration target | |
| CN102622767B (zh) | 双目非标定空间定位方法 | |
| WO2020093436A1 (zh) | 管道内壁的三维重建方法 | |
| CN111025283B (zh) | 雷达与球机联动的方法及装置 | |
| US20150187140A1 (en) | System and method for image composition thereof | |
| CN106600627A (zh) | 一种基于标志点的刚体运动捕捉方法及*** | |
| WO2021129305A1 (zh) | 光学动捕***中标定杆检测方法、装置、设备和存储介质 | |
| WO2019164498A1 (en) | Methods, devices and computer program products for global bundle adjustment of 3d images | |
| CN104075688A (zh) | 一种双目立体凝视监控***的测距方法 | |
| CN104463969B (zh) | 一种对航空倾斜拍摄的地理照片的模型的建立方法 | |
| CN110827321B (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
| CN103795935B (zh) | 一种基于图像校正的摄像式多目标定位方法及装置 | |
| CN107066975B (zh) | 基于深度传感器的视频识别与跟踪***及其方法 | |
| JP2002236909A (ja) | 画像データ処理方法およびモデリング装置 | |
| CN112967344A (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| CN112085838A (zh) | 自动清洁设备控制方法、装置及存储介质 | |
| JP2009210331A (ja) | カメラキャリブレーション装置およびカメラキャリブレーション方法 | |
| CN113487726B (zh) | 动作捕捉***和方法 | |
| JP4227037B2 (ja) | 撮像システム及び校正方法 | |
| Pollok et al. | A visual SLAM-based approach for calibration of distributed camera networks | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170412 |