CN106781601A - 基于三维视觉拼接的船舱内车辆定位跟踪***与方法 - Google Patents

基于三维视觉拼接的船舱内车辆定位跟踪***与方法 Download PDF

Info

Publication number
CN106781601A
CN106781601A CN201611052835.7A CN201611052835A CN106781601A CN 106781601 A CN106781601 A CN 106781601A CN 201611052835 A CN201611052835 A CN 201611052835A CN 106781601 A CN106781601 A CN 106781601A
Authority
CN
China
Prior art keywords
vision
cabin
vehicle
probe
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611052835.7A
Other languages
English (en)
Inventor
陶卫
葛莉华
赵辉
严传续
卢俊国
刘雨轩
孙可扬
钱宏
谢锋明
马国喜
李明杰
邓凯鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
708th Research Institute of CSIC
Original Assignee
Shanghai Jiaotong University
708th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, 708th Research Institute of CSIC filed Critical Shanghai Jiaotong University
Priority to CN201611052835.7A priority Critical patent/CN106781601A/zh
Publication of CN106781601A publication Critical patent/CN106781601A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种基于三维视觉拼接的船舱内车辆定位跟踪***与方法,包括探测***、传输电缆和定位***,探测***由多个视觉探头、多个光源和交换机组成,所有视觉探头的视频信号经交换机后由传输电缆送到定位***,定位***由计算机、网卡、显示器构成;探测***将整个船舱划分为若干个大小相等的分区,每个分区的四角分别布置一视觉探头,每个视觉探头同时对着该分区的船舱空间,视觉探头倾斜安装,每个视觉探头的测量边界点高度均应高于舱内所有车辆高度,从而保证视觉探头不存在探测盲点和目标缺失现象。本发明采用计算机视觉技术和分区方法实现舱内车辆的准确定位与跟踪,不仅提高探测效率,而且最大限度地回避人工因素的干扰。

Description

基于三维视觉拼接的船舱内车辆定位跟踪***与方法
技术领域
本发明涉及一种船舱内车辆定位跟踪***与方法,具体地,是一种基于三维视觉拼接技术的船舱内车辆定位跟踪***与方法。
背景技术
在货船的船舱里面,会运输各种类型的车辆(例如运输车、救援车、各类装甲车等)。为了保证所有的驶入车辆都能够安全迅速地到达到各自指定的位置,并且高效安全可靠地驶离船舱,需要对整个船舱进的车辆进行监控,确定每个车辆的所在位置与姿态,并对运动之中的车辆运行轨迹进行跟踪,提高船舶数字化水平。
在各种运动目标定位与跟踪探测技术中,基于计算机视觉的定位与跟踪技术具有最高的准确性与智能化程度,成为首先技术手段。但是,相对于常规的大范围运动目标定位与跟踪有所不同,船舱内车辆的定位与跟踪具有非常特殊之处和难点。特别是船舱内的空间具有狭长而低矮的特点,如果仅仅采用一个视觉探测设备,即使采用了超广角镜头,也无法满足全舱车辆的定位与跟踪,势必采用多视觉探头图像拼接技术实现全舱范围内的车辆定位与跟踪。由此,多个视觉探测设备势必造成整个***的成本剧增,***复杂性也随之增大。因此,如何减小视觉探头的数量,降低成本,降低***复杂性,成为一个难题。
另一方面,常规的多视场拼接都是针对平面目标的,即目标高度可以忽略不计。但是在船舱内部,车辆的高度与船舱内部的舱顶十分接近。因此,目标的高度不仅不能忽略,而且二维平面目标变为三维立体目标,传统的二维图像拼接方法完全失效,目标信息丢失严重,无法实现可靠拼接。
发明内容
针对目前船舱内车辆定位与跟踪技术存在的诸多问题,本发明提出一种基于三维视觉拼接技术的船舱车辆定位跟踪***与相应的方法,不仅可以有效减少所需的视觉探测***数量,而且可以实现三维目标的可靠拼接。
本发明是通过以下技术方案实现的:
根据本发明的一个方面,提供一种基于三维视觉拼接的船舱内车辆定位跟踪***,所述***包括探测***、传输电缆和定位***,探测***位于船舱内,定位***位于监控室,探测***与定位***通过传输电缆相连;
所述探测***包括多个视觉探头、多个光源和交换机,所述视觉探头和所述光源安置于船舱内顶部,所有所述视觉探头的视频信号经过所述交换机后由所述传输电缆送到所述定位***;所述的探测***将整个船舱划分为若干个大小相等的分区,每个分区的四角分别布置一个所述视觉探头,每个所述视觉探头同时对着该分区的船舱空间,捕获该分区内的所有车辆信息与舱内环境信息;
所述定位***包括计算机、网卡、显示器,上述网卡用于接收所有所述视觉探头的视频信号并传递给所述计算机,所述计算机用于处理各个所述视觉探头传输的图像信息,最终得到所有车辆的位置与姿态信息,并显示于所述显示器上。
优选地,所述的视觉探头不是竖直安装的,而是倾斜安装的,每个所述视觉探头的测量边界点的高度均应高于舱内所有车辆的高度,从而保证所述视觉探头不存在探测盲点和目标缺失现象,保证分区内所有车辆的全覆盖。
更优选地,所述的视觉探头采用超广角镜头,从而获得更大范围的车辆信息,减少所述视觉探头的总数量。
优选地,所述的视觉探头采用工业级摄像机,其像素数以满足测量精度的需求。
优选地,所述的光源采用LED光源,以减少其他热光源因发热而带来的测量误差。
优选地,所述的计算机采用工业控制计算机来实现数据处理,保证性能稳定,满足测量环境的要求。
根据本发明的另一个方面,提供一种基于三维视觉拼接的船舱内车辆定位跟踪方法,所述方法如下:
计算机采用多线程处理方式,线程数与视觉探头数一致,即每个线程对应一个视觉探头,每个线程分别对传输到计算机的视频信息同步、独立进行处理;其中:
每个线程对于视觉探头传输来的一幅图像进行滤波去噪声、提取特征纹理预处理,将提取到的特征纹理信息与事先预存的车辆信息进行比对和匹配,从而判定该车辆的位置信息;
每个线程根据目标车辆在视觉探头内距离中心的距离作为该视觉探头的权重;
计算机单独设置另外一个独立线程,采用同一分区内同一目标车辆的所有视觉探头的定位结果的加权算数平均值作为该车辆的最终定位结果;
利用相邻两次车辆的位置信息可以计算出此时车辆的运行方向即姿态信息。
本发明与现有技术相比较,具有如下有益效果:
本发明采用计算机视觉技术和分区方法实现舱内车辆的准确定位与跟踪,不仅提高探测效率,而且最大限度地回避人工因素的干扰。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明一实施例的***组成原理示意图;
图2为本发明一实施例的船舱两分区原理与布局示意图;
图3为本发明一实施例的视觉探头倾斜安装视角示意图;
图4为本发明一实施例的软件***多线程工作原理示意图;
图5为本发明一实施例的车辆姿态角计算原理示意图;
图中:
1-探测***,2-传输电缆,3-定位***;4-视觉探头,5-光源,6-交换机,7-网卡,8-计算机,9-显示器。
具体实施方式
下面结合附图对本发明的实施例作详细说明,本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,一种基于三维视觉拼接的船舱内车辆定位跟踪***,所述***由探测***1、传输电缆2和定位***3三个部分组成,所述探测***1位于船舱内,所述定位***3位于监控室,所述探测***1与所述定位***3通过所述传输电缆2相连。
如图1所示,所述探测***1由多个视觉探头4、多个光源5和交换机6组成,其中:多个所述视觉探头4和所述光源5均安置于船舱内顶部,用于获取车辆及舱内环境信息;所有视觉探头4的视频信号均经过交换机6后由传输电缆2送到定位***3;
如图1所示,所述定位***3由网卡7、计算机8、显示器9构成,其中:所述网卡7用于接收所有视觉探头4经传输电缆2传输的视频信号并传递给所述计算机8,所述计算机8处理各个视觉探头4传输的视频信息,最终可以得到所有车辆的位置与姿态信息,并显示在所述显示器9上。
作为优选地,所述探测***1将整个船舱划分为若干个大小相等的分区,每个分区的四角分别布置一个视觉探头4,每个视觉探头4同时对着该分区的船舱空间,捕获该分区内的所有车辆信息与舱内环境信息;
如图2所示为船舱两分区原理与布局示意图,每个分区的大小为半个船舱空间,每个半舱分区的四角分别布置一个视觉探头4,每个视觉探头4同时对着该半舱分区的船舱空间,用于捕获该半舱分区内的所有车辆信息与舱内环境信息;整个船舱共布置8个视觉探头。
作为优选地,所述探测***1中的视觉探头4不是竖直安装的,而是倾斜安装的;每个视觉探头4的测量边界点的高度均高于舱内所有车辆的高度,从而保证视觉探头4不存在探测盲点和目标缺失现象,保证了分区内所有车辆的全覆盖。
如图3所示为一个具体船舱两分区的视觉探头安装示意图,船舱总长80m、高5.2m,半舱长度40m,车辆高度为2.5m,所述视觉探头4视角上边界线的俯仰角约为3°、下边界线的摆角约为9°,由此可知:所述视觉探头4的垂直视角约为90°-3°+9°=96°,所述视觉探头4光轴的俯仰角为3°+96°/2=51°。
所述的视觉探头4采用超广角镜头,可以获得更大范围的车辆信息、减少视觉探头4的总数量。例如,采用二分区方案,所述视觉探头4的视角约为96°*1.4=134°。
所述的视觉探头4采用工业级摄像机,其像素数应该满足测量精度的需求。
所述的光源5采用LED光源,以减少其他热光源因发热而带来的测量误差。
所述的计算机8采用工业控制计算机来实现数据处理,保证性能稳定,满足测量环境的要求。
基于上述的***,提供一种基于三维视觉拼接的船舱内车辆定位跟踪***的数据处理方法,即上述计算机得到所有车辆的位置与姿态信息的具体数据处理方法,具体为:
计算机8采用多线程处理方式,线程数与视觉探头4的数量一致,每个线程对应一个视觉探头4。图1所示***为例,全舱共八个视觉探头4,计算机8软件开始八个线程与八个视觉探头4向对应,每个线程分别对传输到计算机8的视频信息同步、独立进行处理,最终进行融合处理,如图4所示;
每个线程对于视觉探头4传输来的一幅图像进行预处理,包括滤波去噪声、提取特征纹理;
每个线程将提取到的特征纹理信息与事先预存的车辆信息进行比对和匹配,从而判定该车辆的位置信息。例如对于实施例一中的一个分区,四个视觉探头4对应的线程给出的该车辆位置坐标分别为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4);
考虑到车辆不同位置具有不同的定位精度与可靠性,每个线程根据目标车辆在视觉探头4距离中心的距离作为该视觉探头4权重;例如对于实施例一中的一个分区,四个视觉探头4对应的线程给出的该车辆位置与中心的距离分别为:d1、d2、d3、d4
计算机8单独设置另外一个独立线程,采用同一分区内同一目标车辆的所有视觉探头4定位结果的加权算数平均值作为该车辆的最终定位结果;例如对于实施例一中的一个分区,目标车辆的最终位置坐标:
x=(d1x1+d2x2+d3x3+d4x4)/(d1+d2+d3+d4)
y=(d1y1+d2y2+d3y3+d4y4)/(d1+d2+d3+d4)
利用相邻两次车辆的位置信息可以计算出此时车辆的运行方向(即姿态)。例如,假设相邻两次测量所得的车辆坐标分别为(x1,y1)和(x2,y2),如图5所示,则当前车辆的运行方向(即姿态角)为:
θ=arctan[(y2-y1)/(x2-x1)]
本发明采用计算机视觉技术和分区方法实现舱内车辆的准确定位与跟踪,无需人工参与,不仅探测效率大幅度提高,而且可以最大限度地回避人工因素的干扰。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (7)

1.一种基于三维视觉拼接的船舱内车辆定位跟踪***,其特征在于,所述***包括探测***、传输电缆和定位***,探测***位于船舱内,定位***位于监控室,探测***与定位***通过传输电缆相连;
所述探测***包括多个视觉探头、多个光源和交换机,所述视觉探头和所述光源安置于船舱内顶部,所有所述视觉探头的视频信号经过所述交换机后由所述传输电缆送到所述定位***;所述的探测***将整个船舱划分为若干个大小相等的分区,每个分区的四角分别布置一个所述视觉探头,每个所述视觉探头同时对着该分区的船舱空间,捕获该分区内的所有车辆信息与舱内环境信息;
所述定位***包括计算机、网卡、显示器,上述网卡用于接收所有所述视觉探头的视频信号并传递给所述计算机,所述计算机用于处理各个所述视觉探头传输的图像信息,最终得到所有车辆的位置与姿态信息,并显示于所述显示器上。
2.根据权利要求1所述的一种基于三维视觉拼接的船舱内车辆定位跟踪***,其特征在于:所述的视觉探头倾斜安装,每个所述视觉探头的测量边界点的高度均应高于舱内所有车辆的高度,从而保证所述视觉探头不存在探测盲点和目标缺失现象,保证分区内所有车辆的全覆盖。
3.根据权利要求2所述的一种基于三维视觉拼接的船舱内车辆定位跟踪***,其特征在于:所述的视觉探头采用超广角镜头。
4.根据权利要求3所述的一种基于三维视觉拼接的船舱内车辆定位跟踪***,其特征在于:所述的视觉探头采用工业级摄像机。
5.根据权利要求1-4任一项所述的一种基于三维视觉拼接的船舱内车辆定位跟踪***,其特征在于:所述的光源采用LED光源。
6.根据权利要求1-4任一项所述的一种基于三维视觉拼接的船舱内车辆定位跟踪***,其特征在于:所述的计算机采用工业控制计算机。
7.一种根据权利要求1-6任一项所述的基于三维视觉拼接的船舱内车辆定位跟踪***的数据处理方法,其特征在于,所述方法如下:
计算机采用多线程处理方式,线程数与视觉探头数一致,即每个线程对应一个视觉探头,每个线程分别对传输到计算机的视频信息同步、独立进行处理;其中:
每个线程对于视觉探头传输来的一幅图像进行滤波去噪声、提取特征纹理预处理,将提取到的特征纹理信息与事先预存的车辆信息进行比对和匹配,从而判定该车辆的位置信息;
每个线程根据目标车辆在视觉探头内距离中心的距离作为该视觉探头的权重;
计算机单独设置另外一个独立线程,采用同一分区内同一目标车辆的所有视觉探头的定位结果的加权算数平均值作为该车辆的最终定位结果;
利用相邻两次车辆的位置信息计算出此时车辆的运行方向即姿态信息。
CN201611052835.7A 2016-11-24 2016-11-24 基于三维视觉拼接的船舱内车辆定位跟踪***与方法 Pending CN106781601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611052835.7A CN106781601A (zh) 2016-11-24 2016-11-24 基于三维视觉拼接的船舱内车辆定位跟踪***与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611052835.7A CN106781601A (zh) 2016-11-24 2016-11-24 基于三维视觉拼接的船舱内车辆定位跟踪***与方法

Publications (1)

Publication Number Publication Date
CN106781601A true CN106781601A (zh) 2017-05-31

Family

ID=58911116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611052835.7A Pending CN106781601A (zh) 2016-11-24 2016-11-24 基于三维视觉拼接的船舱内车辆定位跟踪***与方法

Country Status (1)

Country Link
CN (1) CN106781601A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301369A (zh) * 2017-09-04 2017-10-27 南京航空航天大学 基于航拍图像的道路交通拥堵分析方法
CN111610484A (zh) * 2020-04-28 2020-09-01 吉林大学 一种基于occ的自动驾驶车辆跟踪定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448164A (zh) * 2011-09-01 2012-05-09 中国科学院软件研究所 一种基于传感器网络定位的视频跟踪方法及***
DE102011100628A1 (de) * 2011-05-05 2012-11-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters
CN104570770A (zh) * 2015-01-04 2015-04-29 上海交通大学 基于缩微智能车的交通流仿真实验平台
CN105005089A (zh) * 2015-06-08 2015-10-28 上海交通大学 基于计算机视觉的机场道面异物探测***与方法
CN105096591A (zh) * 2014-05-14 2015-11-25 杭州海康威视数字技术股份有限公司 道路智能监控***和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011100628A1 (de) * 2011-05-05 2012-11-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters
CN102448164A (zh) * 2011-09-01 2012-05-09 中国科学院软件研究所 一种基于传感器网络定位的视频跟踪方法及***
CN105096591A (zh) * 2014-05-14 2015-11-25 杭州海康威视数字技术股份有限公司 道路智能监控***和方法
CN104570770A (zh) * 2015-01-04 2015-04-29 上海交通大学 基于缩微智能车的交通流仿真实验平台
CN105005089A (zh) * 2015-06-08 2015-10-28 上海交通大学 基于计算机视觉的机场道面异物探测***与方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301369A (zh) * 2017-09-04 2017-10-27 南京航空航天大学 基于航拍图像的道路交通拥堵分析方法
CN111610484A (zh) * 2020-04-28 2020-09-01 吉林大学 一种基于occ的自动驾驶车辆跟踪定位方法
CN111610484B (zh) * 2020-04-28 2023-04-07 吉林大学 一种基于occ的自动驾驶车辆跟踪定位方法

Similar Documents

Publication Publication Date Title
JP5048912B2 (ja) エスカレータ及び動く歩道のビデオカメラ監視
KR101776823B1 (ko) 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템
JP3895238B2 (ja) 障害物検出装置及びその方法
EP2526376B1 (en) Optical overhead wire measurement
US7321386B2 (en) Robust stereo-driven video-based surveillance
US9454816B2 (en) Enhanced stereo imaging-based metrology
US20050196034A1 (en) Obstacle detection system and method therefor
CN112036210B (zh) 一种检测障碍物的方法、装置、存储介质和移动机器人
CN1963867A (zh) 监视装置
CN110119698A (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN103716687A (zh) 使用指纹以在视频中追踪移动对象的***和方法
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
Yang et al. Infrared LEDs-based pose estimation with underground camera model for boom-type roadheader in coal mining
Dusha et al. Fixed-wing attitude estimation using computer vision based horizon detection
CN104743419B (zh) 图像监视装置以及电梯监视装置
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN106781601A (zh) 基于三维视觉拼接的船舱内车辆定位跟踪***与方法
CN112639803B (zh) 用于识别设施处的物体的方法和组件
CN205726180U (zh) 末端制导视频图像三维数据采集***
CN110457803A (zh) 一种无人驾驶协同探测方法
CN111144415B (zh) 一种微小行人目标的检测方法
Bian et al. A robust vanishing point detection method for UAV autonomous power line inspection
CN115857040A (zh) 一种机车车顶异物动态视觉检测装置及方法
Yang et al. Locator slope calculation via deep representations based on monocular vision
CN116958195A (zh) 物件追踪整合方法及整合装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication