CN113191974A - 一种基于机器视觉获取船舶全景影像的方法及*** - Google Patents
一种基于机器视觉获取船舶全景影像的方法及*** Download PDFInfo
- Publication number
- CN113191974A CN113191974A CN202110476679.1A CN202110476679A CN113191974A CN 113191974 A CN113191974 A CN 113191974A CN 202110476679 A CN202110476679 A CN 202110476679A CN 113191974 A CN113191974 A CN 113191974A
- Authority
- CN
- China
- Prior art keywords
- camera
- ship
- view
- color correction
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012937 correction Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000012805 post-processing Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 9
- 238000002156 mixing Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000265 homogenisation Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 239000000463 material Substances 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002265 prevention Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于机器视觉获取船舶全景影像的方法及***，所述方法包括：所述船舶的船首、船尾、船身两侧设置有摄像头，包括：获取船舶上的摄像头所采集的图像数据；基于所述图像数据以及预先获取的各个摄像头的内参矩阵以及畸变系数对各个摄像头所采集的图像数据进行畸变矫正处理，获取各个摄像头所对应的第二图像数据；所述第二图像数据为畸变矫正处理后的图像数据；根据预先获取的世界坐标系到摄像头的像素坐标系映射的单应矩阵，将船舶上的摄像头所对应的第二图像数据转变为相应的俯视图；将各个摄像头的俯视图映射到预先获取的配准图上，获取拼接后的图像；针对所述拼接后的图像进行后处理，获取到船舶的全景影像图像。
Description
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于机器视觉获取船舶全景影像的方法及***。
背景技术
伴随着海洋运输行业的高速发展，国际间货运量有三分之二通过海洋运输，海上交通运输安全事故时有发生，给人民生命安全和社会经济造成了重大损失。船舶碰撞事故给人的生命财产及海洋环境造成极大的危害。造成碰撞的原因归结起来，不外乎是人为因素和客观因素两大类。据调查，绝大海上安全事故的发生是由人为因素所造成的，碰撞事故发生的原因绝大部分是因为船员没有在碰撞事故发生之前及时的做出正确合理的避让措施所导致的。
现如今，全景影像***在智能船舶领域的应用相对较少且不成熟，主要原因是，船舶在航行过程中都会受到风波涌流的影响，造成摄像头无法稳定获取固定视角的图像数据，导致在图像数据获取方面有较大的误差；其次，海上及内陆航道，气候多变使摄像头在获取图像数据时常常受到天气因素的影响。
着力提高船舶航行安全的要求显得尤为迫切。在降低人为错误、保证避碰和航行安全方面，船舶全景影像***实时监控周边水域的安全情况对航行安全能够起到关键作用。通过船只搭载鱼眼摄像头实现对船只周边海域的海况进行实时监控辅助安全航行。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于机器视觉获取船舶全景影像的方法及***。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于机器视觉获取船舶全景影像的方法，所述船舶的船首、船尾、船身两侧设置有摄像头，包括：
S1、获取船舶上的摄像头所采集的图像数据；
S2、基于所述图像数据以及预先获取的各个摄像头的内参矩阵以及畸变系数对各个摄像头所采集的图像数据进行畸变矫正处理，获取各个摄像头所对应的第二图像数据；
所述第二图像数据为畸变矫正处理后的图像数据；
S3、根据预先获取的世界坐标系到摄像头的像素坐标系映射的单应矩阵，将船舶上的摄像头所对应的第二图像数据转变为相应的俯视图；
S4、将各个摄像头的俯视图映射到预先获取的配准图上，获取拼接后的图像；
S5、针对所述拼接后的图像进行后处理，获取到船舶的全景影像图像；
所述后处理包括：边缘融合处理、亮度均一化处理。
优选的，
所述摄像头为广角180度的鱼眼网络摄像头。
其中，所述广角180度的鱼眼网络摄像头可通过IP独立访问，具备红外夜视功能，可在夜晚环境中采集画面，防水等级为较高，可应用于海上环境，具有网线供电功能，接入POE交换机即可实现供电与信号传输，可连续长时间工作。
优选的，
所述各个摄像头的内参矩阵以及畸变系数是预先采用张正友标定法获取得到的。
优选的，所述步骤S1之前还包括：
S0、根据预先获取的四组角点的坐标信息，获取世界坐标系到摄像头的像素坐标系映射的单应矩阵；
所述角点为船泊位靠浮桥时在摄像头画面中所采集的视角范围内浮桥最边界的点；
所述每组角点的坐标信息包括：船泊位靠浮桥时摄像头画面中角点的像素坐标和与所述摄像头中角点所对应的浮桥上实际的位置坐标以及与所述角点对应预先设置的标定板的坐标。
优选的，
所述预先获取的配准图是以船体中心为坐标原点并基于水平面的统一坐标系所生成的一张配准图；
其中配准图的尺寸是根据船舶尺寸以及四组角点分别所对应的预先设置的标定板的坐标计算得出的。
优选的，
所述边缘融合处理具体包括：
在两幅俯视图的重合的区域建立相应的直角坐标系并获取重合的区域尺寸；
所述重合的区域为矩形；
所述重合的区域内各像素点坐标为(x，y)；
其中，x为像素所在的列；y为像素所在的行；
通过所述重合的区域尺寸，求取第一直线斜率；
基于所述第一直线斜率确定所述第一直线的表达式；
所述第一直线为所述重合的区域的对角线；
基于所述直线表达式获取所述重合的区域内任一像素点在不同的俯视图中的权重；
然后根据公式(1)获取重合的区域内任一像素点在重合区域融合后的图像的RGB分量取值；
公式(1)为：
P＝P1*ω1+P2*(1-ω1)；
P表示重合的区域内任一像素点在重合区域融合后的图像的RGB分量取值；
P1、P2分别代表的重合的区域内任一像素点在不同的俯视图中的RGB取值分量；
ω1、(1-ω1)分别代表重合的区域内任一像素点在不同的俯视图中的权重；
遍历整个重合区域，实现平滑过渡。
优选的，
所述亮度均一化处理具体包括：图像直方图均衡化处理或Gamma颜色矫正处理。
优选的，
所述亮度均一化处理具体包括：
基于预先设定的目标函数，获取颜色矫正系数的值；
所述颜色校正系数包括：前向视图颜色矫正系数fF；左向视图颜色矫正系数fL；右向视图颜色矫正系数fR；后向视图颜色矫正系数fB；
所述前向视图为设置在船首的摄像头所对应的俯视图；
所述后向视图为设置在船尾的摄像头所对应的俯视图；
所述右向视图为设置在船身右侧的摄像头所对应的俯视图；
所述左向视图为设置在船身左侧的摄像头所对应的俯视图；
其中，所述预先设定的目标函数为：
F＝(fFAF-fLAL)2+(fFBF-fRBR)2+(fLCL-fBCB)2+(fRDR-fBDB)2；
其中，AF表示前向视图在左前侧重叠区域A中所有像素点的均值；
AL表示左向视图在左前侧重叠区域A中所有像素点的均值；
BF表示前向视图在右前侧重叠区域B中所有像素点的均值；
BR表示右向视图在右前侧重叠区域B中所有像素点的均值；
CL表示左向视图在左后侧重叠区域C中所有像素点的均值；
CB表示后向视图在左后侧重叠区域C中所有像素点的均值；
DR表示右向视图在右后侧重叠区域D中所有像素点的均值；
DB表示后向视图在右后侧重叠区域D中所有像素点的均值；
根据所述颜色矫正系数的值和RGB通道相应的灰度值，进行拼图颜色校正。
优选的，所述基于预先设定的目标函数，获取颜色矫正系数的值，具体包括：
基于预先设定的目标函数，分别对前向视图颜色矫正系数fF；左向视图颜色矫正系数fL；右向视图颜色矫正系数fR；后向视图颜色矫正系数fB求偏导数，将其转化为矩阵形式：
通过奇异值分解方法，获取前向视图颜色矫正系数fF、左向视图颜色矫正系数fL、右向视图颜色矫正系数fR、后向视图颜色矫正系数fB的值。
另一方面，本实施例还提供一种基于机器视觉获取船舶全景影像的***，所述***包括：
至少一个处理器；
以及与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述任一的基于机器视觉获取船舶全景影像的方法。
(三)有益效果
本发明的有益效果是：本发明的一种基于机器视觉获取船舶全景影像的方法和***，由于将船舶四周全方位无死角的图像拼接，可实时获取船舶的全景影像图像，在一定程度上可以降低海上以及内陆水域风波涌流对图像所带来的影响。本发明可辅助船舶在港内靠泊，亦可在船舶防撞避碰方面发挥一定作用，降低了碰撞危险度，极大地提高了船舶在航行及靠泊过程中的安全性。
本发明的一种基于机器视觉获取船舶全景影像的方法和***在船舶防撞避碰方面有着重要的意义，可提供给船员作为安全航行的参考，帮助船员迅速掌握获取船身四周较大范围的场景信息，从而有效地降低碰撞危险度，亦可辅助船舶在港内靠泊，提前看到水面周围情况，观测到船舶四周的死角位置，有效的消除盲区避免刮蹭。本发明极大地提高了船舶在航行及靠泊过程中的安全性，在智能船舶领域处于领先地位，具有较强的先进性，且智能船舶领域市场需求量较大，在国内具有极大的市场空间。
附图说明
图1为本发明中一种基于机器视觉获取船舶全景影像方法的流程图；
图2为本发明实施例中基于机器视觉获取船舶全景影像方法的示意图。
图3为本发明中船舶的摄像头布置的位置的示意图；
图4为本发明中船舶摄像头图像采集的示意图；
图5为本发明中基于张正友标定法获取畸变校正图像的流程图；
图6为本发明中图像俯视图变换原理图；
图7为本发明实施例中标定方法流程图；
图8为本发明实施例中角点的示意图；
图9为本发明的基于水平面的统一坐标系的配备图；
图10为本发明实施例中的融合法示意图；
图11为本发明实施例中基于RGB三通道系数矫正的亮度均一化方法的示意图；
图12为采用本发明的方法获取的船舶全景影像效果图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
参见图1和图2，本实施例中提供一种基于机器视觉获取船舶全景影像的方法，所述船舶的船首、船尾、船身两侧设置有摄像头，包括：
S1、获取船舶上的摄像头所采集的图像数据。
在本实施例的实际应用中，由于船舶体积庞大及工作环境等因素，在船舶摄像头的选择上，选取广角180度的鱼眼网络摄像头。因为鱼眼摄像头拥有焦距小、视角大的特点，与使用普通摄像头相比，弥补了普通摄像头视角小，死角多的问题，可用更少的鱼眼摄像头观察到同样的区域，可减少摄像头的使用数量。鱼眼摄像头设置在船首、船尾、船身两侧四个方位如图3所示。各摄像头通过网线及电源线与船舶服务器连接，船舶摄像头布置位置示意图如图3所示。船舶摄像头图像数据的采集利用RSTP协议来访问摄像头并通过ffmpeg进行视频数据采集，可实现接近实时的采集速率，延时时间低于0.5s，满足本实施例中视频图像数据采集的延时性要求。船舶摄像头图像采集如图4所示。
S2、基于所述图像数据以及预先获取的各个摄像头的内参矩阵以及畸变系数对各个摄像头所采集的图像数据进行畸变矫正处理，获取各个摄像头所对应的第二图像数据。
所述第二图像数据为畸变矫正处理后的图像数据。
S3、根据预先获取的世界坐标系到摄像头的像素坐标系映射的单应矩阵，将船舶上的摄像头所对应的第二图像数据转变为相应的俯视图。
参见图6，在本实施例的实际应用中为了获得更大的视角，需将摄像头与水平面呈一定夹角布置，经过透视变换将图像转换为俯视图。由于摄像机斜视拍摄一物体后，形成的图像会发生变形，如果将图像映射到拍摄物体平面上，相当于将相机垂直于拍摄平面，这样就会得到图像的真实形状。由于这种映射相当于将原图重新透视到另一个平面，这种称之为“重投影”。俯视图的本质就是将图像平面中的信息“重投影”到平面上。
S4、将各个摄像头的俯视图映射到预先获取的配准图上，获取拼接后的图像。
S5、针对所述拼接后的图像进行后处理，获取到船舶的全景影像图像。
所述后处理包括：边缘融合处理、亮度均一化处理。
优选的，在本实施例中所述摄像头为广角180度的鱼眼网络摄像头。
本实施例中，所述广角180度的鱼眼网络摄像头可通过IP独立访问，具备红外夜视功能，可在夜晚环境中采集画面，防水等级为较高，可应用于海上环境；具有网线供电功能，接入POE交换机即可实现供电与信号传输，可连续长时间工作。
优选的，在本实施例中所述各个摄像头的内参矩阵以及畸变系数是预先采用张正友标定法获取得到的。
在本实施例的实际应用中，利用张正友标定法来对船舶四方位鱼眼摄像头进行畸变矫正，参见图5，首先，利用船舶四路摄像头采集各个含有标定板的视频，并截取若干张相关模板图片，并保存在文件中；接着，通过MatLab进行摄像头参数的获取，需在其命令窗口输入cameraCalibrator调用相机校正工具箱，添加保存文件中的四组模板图片，输入标定板中方格的大小，选取合适的校正参数，由相关函数处理后并导出，获取到摄像头内参及畸变矫正参数；最后，将获取到的各个内参矩阵以及畸变系数借助OpenCV输入相应的畸变矫正函数中，根据效果选取最佳校正函数，即可实现船舶四路摄像头的畸变矫正，可获取畸变程度较小的图像数据。
优选的，所述步骤S1之前还包括：
S0、根据预先获取的四组角点的坐标信息，获取世界坐标系到摄像头的像素坐标系映射的单应矩阵。
参见图8，所述角点为船泊位靠浮桥时在摄像头中所采集的视角范围内浮桥最边界的点。
所述每组角点的坐标信息包括：船泊位靠浮桥时摄像头中角点的像素坐标和与所述摄像头中角点所对应的浮桥上实际的位置坐标以及与所述角点对应预先设置的标定板的坐标。
在本实施例的实际应用中，获取世界坐标系到摄像头的像素坐标系映射的单应矩阵的过程，具体参见图7，根据船载摄像机确定角点位置，用于标定前预处理。在标定范围内，船泊位靠浮桥的两角点处设置标定板，每个角点各设置四个标定板以矩形布置；测量单个角点处标定板围成的矩形范围内的长和宽的距离，以及两角点之间的距离，并估算角点到船舶中心轴的距离，以便船舶调头转向确定舶船位置位置；以测量单个角点处围成的矩形范围内的长和宽为基准，调整浮桥上布置的标定板之间以及两角点之间的尺寸距离；在摄像头图像显示界面(即像素坐标系)中人为选取标定板坐标，手动选取坐标点来获取两组标定物坐标点的坐标信息，并保存在文件中；利用角点到船舶中心轴的距离，将船舶调头转向一百八十度并停靠在之前位置，并同样获取两组标定物坐标点的坐标信息，保存在文件中，此时文件中保存有四组标定物的坐标信息；由获取到的标定物距离信息与人为选取的标定物坐标，利用OpenCV中warpPerspective函数来获取世界坐标系到像素坐标系映射的单应矩阵，相机的成像平面(即像素坐标系)上的点坐标表示为齐次坐标
，水平面(即世界坐标系)上的对应点坐标表示为齐次坐标
，即：
其中，aij表示单应矩阵各个元素，i为矩阵所在的行，j为矩阵所在的列，这是一个从二维空间变换到三维空间的转换，因为图像在二维平面，故除以Z，X′，Y′，Z′表示图像上的点：
令a33＝1，展开上面公式，即可解出单应矩阵。
获取单应矩阵。利用单应矩阵将船舶四路摄像头拍获取的图像转变为俯视图；利用船舶全景影像***获取文件中保存的角点信息并检验标定效果，若效果不好可重复步骤，效果较好则结束标定过程。
以往技术都是将标定板固定在陆地等或者可便于附着的物体，而船舶所处的水面与陆地环境大不相同，一侧为靠水侧，另一侧为浮桥或者两侧均为水侧，传统的标定方法就难以实现，本实施例中标定的方法的优点在于，船舶全景影像***通过浮桥布置标定板标定的方法，采用了简便、实用、安全、可靠性高的方案，可以通过在浮桥布置标定板并使船舶调头旋转一百八十度，获取四组角点坐标信息，就可以解决在难以固定标定板的水面的问题以及实现船舶全景影像***摄像头的标定，且该方法使用方便，极大的解决了在水面无法进行合理使用标定板标定，在水面难以固定标定板的问题，在一定程度上克服了波浪及风力等环境所带来的影响，同时避免了人下水标定，保障了实验人员的安全性，通过船舶全景影像***实时标定，提高了标定的效率、准确性，以及***的可靠性。
本实施例中，所述预先获取的配准图是以船体中心为坐标原点的基于水平面的统一坐标系所生成的一张配准图。
其中配准图的尺寸是根据船舶尺寸以及四组角点分别所对应的预先设置的标定板的坐标计算得出的。
在本实施例的实际应用中，为了实现图像拼接与配准的过程，以船体中心为坐标原点，建立基于水平面的统一坐标系的一张配准图，其中配准图尺寸是根据输入的船舶尺寸以及浮桥两角点处标定板距离计算得出的，配准图示意图，如图9所示。将获取的船舶不同区域的摄像头俯视图图像拷贝到配准图的对应区域中，实现图像拼接与配准，得到需后处理的全景拼接图像。
在本实施例的实际应用中，拼接后的图像还存在着拼接缝、亮度不均等问题需对其进行后处理。
优选的，所述边缘融合处理具体包括：
在两幅俯视图的重合的区域建立相应的直角坐标系并获取重合的区域尺寸。
所述重合的区域为矩形。
所述重合的区域内各像素点坐标为(x，y)。
其中，x为像素所在的列；y为像素所在的行。
通过所述重合的区域尺寸，求取第一直线斜率。
基于所述第一直线斜率确定所述第一直线的表达式。
所述第一直线为所述重合的区域的对角线。
基于所述直线表达式获取所述重合的区域内任一像素点在不同的俯视图中的权重。
然后根据公式(1)获取重合的区域内任一像素点在重合区域融合后的图像的RGB分量取值。
公式(1)为：
P＝P1*ω1+P2*(1-ω1)；
P表示重合的区域内任一像素点在重合区域融合后的图像的RGB分量取值。
P1、P2分别代表的重合的区域内任一像素点在不同的俯视图中的RGB取值分量。
ω1、(1-ω1)分别代表重合的区域内任一像素点在不同的俯视图中的权重。
遍历整个重合区域，实现平滑过渡。
本实施例中，边缘融合处理，对于拼接后得到的俯视图，在拼接相邻两图拼接处存在一条拼接缝，在全景图像实时显示的过程中会在拼接缝处会有明显的跳跃情况，因此需消除拼接缝对全景图像所带来的的影响。
消除拼接缝的方法有多种，主要的两种有：1、中值滤波法消除拼接缝。2、利用加权平均融合消除拼接缝。对于拼接缝的消除有两点要求：一是拼接区域过渡平滑，二是拼接区域亮度跳跃变化不大，在边缘融合处理部分主要解决拼接区域过渡平滑的问题，而拼接区域亮度跳跃问题将在亮度均一化处理部分得以解决。
本发明提出基于直角坐标系的加权平均法根据过渡方向利用重叠区进行平滑过渡处理来消除拼接缝，获取不同的权重值，来实现不同图像间的光滑过渡。该方法是在两幅图像的重合区域建立相应的直角坐标系，通过重合区域尺寸，求取直线斜率，重合区域内各像素点坐标为(x，y)，x为像素所在列，y与像素所在行，结合直线斜率即可求出直线表达式。如图10所示，根据B、C两点坐标求出L1直线斜率，L4平行于L1，过D点交L2、L3于F、E两点，|DE|/|FE|为该像素点在左侧图像中的权重，|FD|/|FE|为该像素点在前侧图像中的权重，以此类推，遍历整个重合区域即可实现平滑过渡。
在本实施例的实际应用中，船舶四路鱼眼摄像头在进行画面拼接时，摄像头的安装位置、安装角度，以及在传感器的噪音，感光度等之间存在一定的差异，特别是感光度，对于船舶来说每个方向的场景光照亮度都存在不同，会导致拼接后的全景图像存在明显的亮暗以及颜色差异，极容易造成视觉观察困难，对于船身周边情况观察不清晰等问题，因此需要对拼接融合处理后的全景图像进行光照均一化处理。
所述亮度均一化处理具体包括：图像直方图均衡化处理或Gamma颜色矫正处理。
优选的，所述亮度均一化处理具体包括：
基于预先设定的目标函数，获取颜色矫正系数的值。
所述颜色校正系数包括：前向视图颜色矫正系数fF；左向视图颜色矫正系数fL；右向视图颜色矫正系数fR；后向视图颜色矫正系数fB。
所述前向视图为设置在船首的摄像头所对应的俯视图。
所述后向视图为设置在船尾的摄像头所对应的俯视图。
所述右向视图为设置在船身右侧的摄像头所对应的俯视图。
所述左向视图为设置在船身左侧的摄像头所对应的俯视图。
其中，所述预先设定的目标函数为：
F＝(fFAF-fLAL)2+(fFBF-fRBR)2+(fLCL-fBCB)2+(fRDR-fBDB)2；
其中，AF表示前向视图在左前侧重叠区域A中所有像素点的均值。
AL表示左向视图在左前侧重叠区域A中所有像素点的均值。
BF表示前向视图在右前侧重叠区域B中所有像素点的均值。
BR表示右向视图在右前侧重叠区域B中所有像素点的均值。
CL表示左向视图在左后侧重叠区域C中所有像素点的均值。
CB表示后向视图在左后侧重叠区域C中所有像素点的均值。
DR表示右向视图在右后侧重叠区域D中所有像素点的均值。
DB表示后向视图在右后侧重叠区域D中所有像素点的均值。
根据所述颜色矫正系数的值和RGB通道相应的灰度值，进行拼图颜色校正。
本实施例中，所述基于预先设定的目标函数，获取颜色矫正系数的值，具体包括：
基于预先设定的目标函数，分别对前向视图颜色矫正系数fF；左向视图颜色矫正系数fL；右向视图颜色矫正系数fR；后向视图颜色矫正系数fB求偏导数，将其转化为矩阵形式：
通过奇异值分解方法，获取前向视图颜色矫正系数fF、左向视图颜色矫正系数fL、右向视图颜色矫正系数fR、后向视图颜色矫正系数fB的值。
本实施例还提供一种基于机器视觉获取船舶全景影像的***，所述***包括：
至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述任一的基于机器视觉获取船舶全景影像的方法。
本实施例中的一种基于机器视觉获取船舶全景影像的方法和***，由于将船舶四周全方位无死角的图像拼接，可实时获取船舶的全景影像图像，在一定程度上可以降低海上以及内陆水域风波涌流对图像所带来的影响。本发明可辅助船舶在港内靠泊，亦可在船舶防撞避碰方面发挥一定作用，降低了碰撞危险度，极大地提高了船舶在航行及靠泊过程中的安全性。本发明在智能船舶领域处于领先地位，具有较强的先进性，且智能船舶领域市场需求量较大，在国内具有极大的市场空间。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连；可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”，可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”，可以是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”，可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度低于第二特征。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行改动、修改、替换和变型。
Claims (10)
1.一种基于机器视觉获取船舶全景影像的方法，其特征在于，所述船舶的船首、船尾、船身两侧设置有摄像头，包括：
S1、获取船舶上的摄像头所采集的图像数据；
S2、基于所述图像数据以及预先获取的各个摄像头的内参矩阵以及畸变系数对各个摄像头所采集的图像数据进行畸变矫正处理，获取各个摄像头所对应的第二图像数据；
所述第二图像数据为畸变矫正处理后的图像数据；
S3、根据预先获取的世界坐标系到摄像头的像素坐标系映射的单应矩阵，将船舶上的摄像头所对应的第二图像数据转变为相应的俯视图；
S4、将各个摄像头的俯视图映射到预先获取的配准图上，获取拼接后的图像；
S5、针对所述拼接后的图像进行后处理，获取到船舶的全景影像图像；
所述后处理包括：边缘融合处理、亮度均一化处理。
2.根据权利要求1所述的方法，其特征在于，
所述摄像头为广角180度的鱼眼网络摄像头。
3.根据权利要求2所述的方法，其特征在于，
所述各个摄像头的内参矩阵以及畸变系数是预先采用张正友标定法获取得到的。
4.根据权利要求3所述的方法，其特征在于，所述步骤S1之前还包括：
S0、根据预先获取的四组角点的坐标信息，获取世界坐标系到摄像头的像素坐标系映射的单应矩阵；
所述角点为船泊位靠浮桥时在摄像头画面中所采集的视角范围内浮桥最边界的点；
所述每组角点的坐标信息包括：船泊位靠浮桥时摄像头中角点的像素坐标和与所述摄像头画面中角点所对应的浮桥上实际的位置坐标以及与所述角点对应预先设置的标定板的坐标。
5.根据权利要求4所述的方法，其特征在于，
所述预先获取的配准图是以船体中心为坐标原点的基于水平面的统一坐标系生成一张配准图；
其中配准图的尺寸是根据船舶尺寸以及四组角点分别所对应的预先设置的标定板的坐标计算得出的。
6.根据权利要求1所述的方法，其特征在于，
所述边缘融合处理具体包括：
在两幅俯视图的重合的区域建立相应的直角坐标系并获取重合的区域尺寸；
所述重合的区域为矩形；
所述重合的区域内各像素点坐标为(x，y)；
其中，x为像素所在的列；y为像素所在的行；
通过所述重合的区域尺寸，求取第一直线斜率；
基于所述第一直线斜率确定所述第一直线的表达式；
所述第一直线为所述重合的区域的对角线；
基于所述直线表达式获取所述重合的区域内任一像素点在不同的俯视图中的权重；
然后根据公式(1)获取重合的区域内任一像素点在重合区域融合后的图像的RGB分量取值；
公式(1)为：
P＝P1*ω1+P2*(1-ω1)；
P表示重合的区域内任一像素点在重合区域融合后的图像的RGB分量取值；
P1、P2分别代表的重合的区域内任一像素点在不同的俯视图中的RGB取值分量；
ω1、(1-ω1)分别代表重合的区域内任一像素点在不同的俯视图中的权重；
遍历整个重合区域，实现平滑过渡。
7.根据权利要求1所述的方法，其特征在于，
所述亮度均一化处理具体包括：图像直方图均衡化处理或Gamma颜色矫正处理。
8.根据权利要求1所述的方法，其特征在于，
所述亮度均一化处理具体包括：
基于预先设定的目标函数，获取颜色矫正系数的值；
所述颜色校正系数包括：前向视图颜色矫正系数fF；左向视图颜色矫正系数fL；右向视图颜色矫正系数fR；后向视图颜色矫正系数fB；
所述前向视图为设置在船首的摄像头所对应的俯视图；
所述后向视图为设置在船尾的摄像头所对应的俯视图；
所述右向视图为设置在船身右侧的摄像头所对应的俯视图；
所述左向视图为设置在船身左侧的摄像头所对应的俯视图；
其中，所述预先设定的目标函数为：
F＝(fFAF-fLAL)2+(fFBF-fRBR)2+(fLCL-fBCB)2+(fRDR-fBDB)2；
其中，AF表示前向视图在左前侧重叠区域A中所有像素点的均值；
AL表示左向视图在左前侧重叠区域A中所有像素点的均值；
BF表示前向视图在右前侧重叠区域B中所有像素点的均值；
BR表示右向视图在右前侧重叠区域B中所有像素点的均值；
CL表示左向视图在左后侧重叠区域C中所有像素点的均值；
CB表示后向视图在左后侧重叠区域C中所有像素点的均值；
DR表示右向视图在右后侧重叠区域D中所有像素点的均值；
DB表示后向视图在右后侧重叠区域D中所有像素点的均值；
根据所述颜色矫正系数的值和RGB通道相应的灰度值，进行拼图颜色校正。
9.根据权利要求8所述的方法，其特征在于，所述基于预先设定的目标函数，获取颜色矫正系数的值，具体包括：
基于预先设定的目标函数，分别对前向视图颜色矫正系数fF；左向视图颜色矫正系数fL；右向视图颜色矫正系数fR；后向视图颜色矫正系数fB求偏导数，将其转化为矩阵形式：
通过奇异值分解方法，获取前向视图颜色矫正系数fF、左向视图颜色矫正系数fL、右向视图颜色矫正系数fR、后向视图颜色矫正系数fB的值。
10.一种基于机器视觉获取船舶全景影像的***，其特征在于，所述***包括：
至少一个处理器；
以及与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至9任一所述的基于机器视觉获取船舶全景影像的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110476679.1A CN113191974B (zh) | 2021-04-29 | 2021-04-29 | 一种基于机器视觉获取船舶全景影像的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110476679.1A CN113191974B (zh) | 2021-04-29 | 2021-04-29 | 一种基于机器视觉获取船舶全景影像的方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113191974A true CN113191974A (zh) | 2021-07-30 |
| CN113191974B CN113191974B (zh) | 2023-02-03 |
Family
ID=76980701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110476679.1A Active CN113191974B (zh) | 2021-04-29 | 2021-04-29 | 一种基于机器视觉获取船舶全景影像的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191974B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113916234A (zh) * | 2021-10-25 | 2022-01-11 | 中国人民解放军海军大连舰艇学院 | 一种复杂动态条件下的船舶避碰航线自动规划方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413141A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法 |
| CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
| CN107274336A (zh) * | 2017-06-14 | 2017-10-20 | 电子科技大学 | 一种针对车载环境的全景图像拼接方法 |
| CN107424118A (zh) * | 2017-03-28 | 2017-12-01 | 天津大学 | 基于改进径向畸变校正的球状全景拼接方法 |
| CN109087251A (zh) * | 2018-08-30 | 2018-12-25 | 上海大学 | 一种车载全景图像显示方法及*** |
| CN109435852A (zh) * | 2018-11-08 | 2019-03-08 | 湖北工业大学 | 一种针对大型卡车的全景式辅助驾驶***及方法 |
| CN109883433A (zh) * | 2019-03-21 | 2019-06-14 | 中国科学技术大学 | 基于360度全景视图的结构化环境中车辆定位方法 |
| CN110287884A (zh) * | 2019-06-26 | 2019-09-27 | 长安大学 | 一种辅助驾驶中压线检测方法 |
| CN110689506A (zh) * | 2019-08-23 | 2020-01-14 | 深圳市智顺捷科技有限公司 | 一种全景拼接方法、一种车用全景拼接方法及其全景*** |
-
2021
- 2021-04-29 CN CN202110476679.1A patent/CN113191974B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413141A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法 |
| CN104574339A (zh) * | 2015-02-09 | 2015-04-29 | 上海安威士科技股份有限公司 | 一种用于视频监控的多尺度柱面投影全景图像生成方法 |
| CN107424118A (zh) * | 2017-03-28 | 2017-12-01 | 天津大学 | 基于改进径向畸变校正的球状全景拼接方法 |
| CN107274336A (zh) * | 2017-06-14 | 2017-10-20 | 电子科技大学 | 一种针对车载环境的全景图像拼接方法 |
| CN109087251A (zh) * | 2018-08-30 | 2018-12-25 | 上海大学 | 一种车载全景图像显示方法及*** |
| CN109435852A (zh) * | 2018-11-08 | 2019-03-08 | 湖北工业大学 | 一种针对大型卡车的全景式辅助驾驶***及方法 |
| CN109883433A (zh) * | 2019-03-21 | 2019-06-14 | 中国科学技术大学 | 基于360度全景视图的结构化环境中车辆定位方法 |
| CN110287884A (zh) * | 2019-06-26 | 2019-09-27 | 长安大学 | 一种辅助驾驶中压线检测方法 |
| CN110689506A (zh) * | 2019-08-23 | 2020-01-14 | 深圳市智顺捷科技有限公司 | 一种全景拼接方法、一种车用全景拼接方法及其全景*** |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113916234A (zh) * | 2021-10-25 | 2022-01-11 | 中国人民解放军海军大连舰艇学院 | 一种复杂动态条件下的船舶避碰航线自动规划方法 |
| CN113916234B (zh) * | 2021-10-25 | 2024-04-02 | 中国人民解放军海军大连舰艇学院 | 一种复杂动态条件下的船舶避碰航线自动规划方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191974B (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107844750B (zh) | 一种水面全景图像目标检测识别方法 | |
| CN109283538B (zh) | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 | |
| CN103763479B (zh) | 实时高速高清全景视频的拼接装置及其方法 | |
| CN112224132B (zh) | 一种车用全景环视障碍物预警方法 | |
| CN109087251B (zh) | 一种车载全景图像显示方法及*** | |
| CN109146947B (zh) | 海洋鱼类三维图像获取及处理方法、装置、设备及介质 | |
| CN103226822B (zh) | 医疗影像拼接方法 | |
| CN109741455A (zh) | 一种车载立体全景显示方法、计算机可读存储介质及*** | |
| US11050932B2 (en) | Using real time ray tracing for lens remapping | |
| CN112233188B (zh) | 一种激光雷达和全景相机的数据融合***的标定方法 | |
| CN104778695A (zh) | 一种基于梯度显著性的水天线检测方法 | |
| CN107843251A (zh) | 移动机器人的位姿估计方法 | |
| CN113223075A (zh) | 一种基于双目摄像头式的船舶高度测量***及方法 | |
| CN114926739B (zh) | 内河航道水上水下地理空间信息无人化协同采集处理方法 | |
| CN113301274A (zh) | 一种船舶实时视频全景拼接方法及*** | |
| CN113191974B (zh) | 一种基于机器视觉获取船舶全景影像的方法及*** | |
| CN106403901A (zh) | 一种浮标姿态测量装置及方法 | |
| Hurtós et al. | A novel blending technique for two-dimensional forward-looking sonar mosaicing | |
| CN113525631A (zh) | 一种基于光视觉引导的水下终端对接***及方法 | |
| CN115239820A (zh) | 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法 | |
| CN112927233A (zh) | 一种船用激光雷达与视频联合目标捕捉方法 | |
| CN115936995A (zh) | 一种车辆四路鱼眼摄像头全景拼接方法 | |
| CN110667783A (zh) | 一种无人艇辅助驾驶***及其方法 | |
| CN115131720A (zh) | 一种基于人工智能的船舶靠泊辅助方法 | |
| CN111860632B (zh) | 多路图像一致性融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |