CN112565608B - 一种船舶全景图像自动拼接*** - Google Patents

Abstract

本发明公开了一种船舶全景图像自动拼接***，包含摄像头装置、图像处理模块、控制模块和无线传输模块。将可升降的摄像头装置安装于船舶四周的不同位置，获取船舶周围的环境信息，拍摄到的图像通过无线模块传给图像处理模块；图像处理模块将获取到的图像拼接为一幅全景图像，计算其拼接缝梯度，传递给控制模块；控制模块计算出各个摄像头应该调节的高度，通过无线模块传递给摄像头装置内的电机，调节摄像头高度，获得更好的全景拼接图像。此外，航行过程中，本***可根据实际需要调节摄像头焦距，获取不同缩放比例的图像，并实时显示对应焦距下的全景拼接图像。本发明公开的***可以辅助船舶驾驶员全方位了解船舶周围情况，使船舶出航更加安全。

Description

一种船舶全景图像自动拼接***

技术领域

本发明涉及船舶航行过程中的安全保障领域，是一种可根据图像拼接缝梯度自适应调节摄像头高度，最终获得最佳的图像拼接效果的船舶驾驶辅助***。

背景技术

船舶在航行过程中，除AIS(Automatic Identification System)***之外，多采用微波雷达，当近距离探测时，无法满足航行的安全探测需求，需要依靠摄像头获取船舶周围近处的环境信息，为安全航行时的决策控制提供重要保障。但是由于船舶本身的船体庞大，船长位于船舱内，监控存在过多的视觉盲区，单摄像头拍摄画面已不能满足航行控制决策过程中需要的信息要求，因此有必要通过全景图像拼接技术获取完整的船舶周围的环境图像信息。

在船舶图像***中，图像拼接技术可以生成高分辨率的船舶全景图像，以辅助船长驾驶船舶，是一项重要的船舶驾驶辅助技术。图像拼接的效果与摄像头本身的分辨率、拼接算法、各个摄像头高度以及分布位置都有关系。由于摄像头高度不同，且拍摄范围集中在船舶周围的近处水域，因此摄像头的拍摄方向与拍摄高度会影响图像的景深，导致同一倾斜角方向但不同高度的摄像头拍摄到的重叠区域的环境图像存在大小不一的情况，这会对全景图像的拼接效果产生极大的影响。因此，需要通过调节摄像头的高度，获得一致大小的环境图像，进一步优化图像拼接的效果。

现有的船舶图像***中要么采用单摄像头***，只捕捉部分环境信息，要么采用多摄像头，以九宫格的形式显示在驾驶舱内，虽然可以看到船舶周围的情况，但不具有360°全景重现的功能，容易给航行人员造成视觉疲劳。

发明内容

为解决上述问题，本发明提供一种船舶全景图像自动拼接***，通过拼接效果自适应调节摄像头的高度，以达到优化拼接效果、获得最佳的全景拼接图像。

为实现本发明的发明目的，本发明所采用的技术方案内容具体如下：

设计一种船舶全景图像自动拼接***，包括：多组可升降的摄像头装置，图像处理模块、控制模块；

其中，所述可升降的摄像头装置包括摄像头、导轨、电机、摄像头保护舱、滚珠和支撑架；所述支撑架固定设置于摄像头保护舱和电机之间，包括平行设置的两条架体，另一端通过一挡板进行拦挡；支撑架的两架体上表面对应设置导轨；所述摄像头底面对称设置多个滚珠，通过设置对称的滚珠之间的距离与两架体上设置的导轨之间的距离相等，以使对称设置的滚珠分别沿两架体上设置的其中一条导轨滑动，所述摄像头通过滚珠，在挡板和摄像头保护舱之间，沿支撑架移动；所述电机连接至摄像头，以控制摄像头沿导轨移动；一艘船上需要在船舶四周不同的位置安装此装置，摄像头的拍摄方向均斜向下一定角度，方便拍摄船舶周边的环境图像。

所述图像处理模块连接至每一可升降的摄像头装置中的摄像头，用于接收摄像头拍摄的图像并进行图像拼接处理；

所述控制模块连接至可升降的摄像头装置中的电机，用于通过图像处理模块的拼接处理结果，通过电机调节摄像头的高度。

在上述方案中，图像处理模块通过图像拼接算法，对若干个安装在船舶上的摄像头拍摄的画面进行图像拼接，并计算拼接缝处的图像梯度。

在上述方案中，控制模块根据图像处理模块计算的拼接图像的图像梯度，调节多个摄像头其中一者或几者的位置高度，使相邻拼接图像之间的梯度最小。

在上述方案中，可升降的摄像头装置、图像处理模块和控制模块通过无线通信的方式传输数据。

在上述方案中，电机连接一电源模块，所述电源模块与电机均与支撑架固定连接，所述电源模块用于向电机供电源。

在上述方案中，导轨在支撑架与摄像头保护舱连接的位置，延伸进入摄像头保护舱内部，以使摄像头沿导轨滑动至摄像头保护舱内部。

在上述方案中，多组可升降的摄像头装置设置于所述船舶周围，分别拍摄船舶周围不同方向的环境图像；摄像头焦距调至最大时，相邻摄像头的拍摄画面必须存在重叠区域。

在上述方案中，航行过程中，船长可以根据需求，调节某一特定拍摄方向的摄像头焦距，以获得近处或远处的环境图像，同时控制或通过控制模块自动调节其余摄像头改变高度和焦距，匹配对应焦距下的环境图像，实时展示对应焦距下的全景拼接图像。

区别于现有技术，本发明的船舶全景图像自动拼接***，包含可升降的摄像头装置、图像处理模块、控制模块和无线传输模块。将多个可升降的摄像头装置安装于船舶四周的不同位置，获取船舶周围的环境信息，拍摄到的图像通过无线模块传给图像处理模块；图像处理模块将获取到的图像拼接为一幅全景图像，并计算各个相邻拼接图像之间的拼接缝的梯度，传递给控制模块；控制模块根据预设的拼接缝梯度计算出各个摄像头应该调节的高度，并将控制信号通过无线模块传递给可升降的摄像头装置内的电机，进而控制摄像头高度，改变拍摄到的环境图像的大小，更好地与相邻摄像头拍摄到的画面大小进行匹配，减小图像拼接处的梯度，以获得更好的全景拼接图像。本发明公开的***可以辅助船舶驾驶员，使驾驶员在船仓内也可以全方位的了解船舶周围的情况，使船舶出航更加安全。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是可升降的摄像头装置示意图；

图2是图像拼接***在船舶上的安装示意图；

图3是本发明所述图像拼接***的结构框架示意图；

图4是图像拼接***的工作流程示意图；

图中，1.摄像头；2.导轨；3.电机；4.摄像头保护舱；5.滚珠；6.支撑架；7.可升降的摄像头装置；8.图像处理模块；9.控制模块；10.船舶控制室。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。

参阅图1-图4，本发明提供了一种船舶全景图像自动拼接***，包括：多组可升降的摄像头装置7，图像处理模块8、控制模块9；

其中，所述可升降的摄像头装置7包括摄像头1、导轨2、电机3、摄像头保护舱4、滚珠5和支撑架6；所述支撑架6固定设置于摄像头保护舱4和电机3之间，包括平行设置的两条架体，另一端通过一挡板进行拦挡；支撑架6的两架体上表面对应设置导轨2；所述摄像头1底面对称设置两个滚珠5，两个滚珠5之间的距离与两架体上设置的导轨2之间的距离相等，以使两个滚珠5分别沿两架体上设置的其中一条导轨2滑动，所述摄像头1通过滚珠5，在挡板和摄像头保护舱4之间，沿支撑架6移动；所述电机3连接至摄像头1，以控制摄像头1沿导轨2移动；一艘船上需要在不同的位置安装可升降的摄像头装置7，拍摄船舶不同方向的图像。

其中，同一艘船上的摄像头1都使用相同规格的摄像头，可以在一定程度上提升全景图像的清晰度和拼接效果。作为上述方案的优选，摄像头1选取工业级线阵CCD摄像头，采用IPX9级防水，以保证船舶在湿度较大的环境中航行，甚至有浪花打到摄像头上时也能正常使用。

在上述方案中，所述导轨2固定在支撑架6上，滚珠5嵌入导轨2中；摄像头1通过连接装置与所述滚珠5和导轨2固定在一起，利用电机3驱动滚珠5在导轨2上移动，滚珠5带动摄像头1上下移动。所述电源模块为电机3提供驱动力。

所述图像处理模块8连接至每一可升降的摄像头装置7中的摄像头1，用于接收摄像头1拍摄的图像并进行图像拼接处理；

图像处理模块8包含图像采集、图像拼接和全景图像显示的功能。图像处理模块8获取到各个摄像头1拍摄的图像之后，调用图像拼接算法，将获取到的各个单摄像头图像拼接为全景图像，并显示在船舶控制室10的显示屏上，同时计算全景图像中存在的各个拼接缝的梯度信息，通过无线通信的方式传输给控制模块9进行后续操作。

所述控制模块9连接至可升降的摄像头装置7中的电机3，用于通过图像处理模块8的拼接处理结果，通过电机3调节摄像头1的高度。

具体的，控制模块9接收到图像处理模块8发送的全景图像拼接缝梯度信息之后，根据预设的梯度阈值，当某处拼接缝的梯度大于设定值时，向所述可升降的摄像头装置7内的电机发送控制信号，调节摄像头高度以减小拼接缝处的梯度，反之说明全景图像拼接效果已达到较好的程度，向图像处理模块8发送完成的信号，由图像处理模块8将全景图像信息显示在船舶控制室10的显示屏上。作为上述方案的优选，拼接缝梯度的阈值可以根据当前图像的实际情况自适应计算阈值，以保证***可以根据当前实际环境情况自动计算并设定阈值，更进一步实现无人化和自动化。

在上述方案中，图像处理模块8通过图像拼接算法，对若干个安装在船舶上的摄像头拍摄的画面进行图像拼接，并计算拼接缝处的图像梯度。

在上述方案中，控制模块9根据图像处理模块8计算的拼接图像的图像梯度，调节多个摄像头1其中一者或几者的位置高度，使相邻拼接图像之间的梯度最小。

在上述方案中，可升降的摄像头装置7、图像处理模块8和控制模块9通过无线通信的方式传输数据。

在上述方案中，电机3连接一电源模块，所述电源模块与电机3均与支撑架6固定连接，所述电源模块用于向电机3提供电源。

在上述方案中，导轨2在支撑架6与摄像头保护舱4连接的位置，延伸进入摄像头保护舱4内部，以使摄像头1沿导轨2滑动至摄像头保护舱4内部。

摄像头保护舱4可以放置不工作时的摄像头1，当船舶出航时，摄像头保护舱4打开，摄像头1升起之后再关闭；船舶停靠在码头时，摄像头保护舱4打开。摄像头1下降至摄像头保护舱4内，关闭保护仓，最大程度地降低环境对摄像头1的影响。摄像头保护舱4和电机3分别位于支撑架6的两侧，且安装在支撑架6的底部。

在上述方案中，通过5G信息传输技术，获取船舶上的若干个摄像头1拍摄到的图像发送给图像处理模块8，获取图像处理模块8计算出的拼接缝梯度信息发送给控制模块9，获取各个摄像头1的高度信息，发送给控制模块9，获取控制模9发出的电机控制信号，发送给各个电机3，保证各个模块之间数据传输的速度和精度。

实施例一

如图1所示，本实施例公开了一种可升降的摄像头装置7，包含摄像头1，导轨2，电机3，摄像头保护舱4，滚珠5，支撑架6。导轨2安装在支撑架6上，滚珠5嵌入到导轨2中，摄像头1通过连接装置与滚珠2固定在一起，利用电机3驱动滚珠5在导轨2上移动，滚珠5带动摄像头1沿导轨移动。

摄像头1首先获取所拍摄范围内的图像信息，通过无线传输方式传送至图像处理模块8，图像处理模块8将多张图像拼接为一张全景图像，并计算拼接缝处的图像梯度，发送到控制模块9。经过图像拼接算法处理后，发送摄像头1的高度调节信息至电机3，在电源模块的驱动下，驱动摄像头1在导轨2上移动，改变摄像头1在支撑架6上的拍摄高度，优化拼接图像的拼接梯度。需要注意的是，一艘船上需要安装多个可升降的摄像头装置，相互配合获取船舶全景图像。

如图2所示，本发明提供一种船舶全景图像自动拼接***，包含可升降的摄像头装置7，图像处理模块8，控制模块9。图像处理模块8首先对摄像头1采集到的所有图像进行拼接，并将图像拼接后的拼接梯度传递至控制模块9，所述控制模块9判定拼接梯度是否符合要求，并对不符合要求的摄像头1发出高度调节的控制信息，传输至可升降的摄像头装置7，所述可升降的摄像头装置7根据调节信息，在电源模块提供的驱动力下，通过电机3调节相应摄像头1的拍摄高度，并将调节后的高度信息传送至控制模块9，将实时采集的环境图像传输至图像处理模块8，再次检测图像拼接的全景图是否满足控制模块9设定的图像梯度要求，重复以上过程，直至图像拼接处的拼接缝梯度全部小于设定的梯度阈值，输出全景图像至船舶控制室10的显示屏上，辅助船长的驾驶决策。

为保证航行过程中全景拼接图的拼接效果，船舶在出海航行之前，可以通过本发明的图像拼接***对拼接效果进行检测，同时标定摄像头1的使用高度。对船舶周围的环境图像进行采集，通过图像拼接***进行初次拼接，针对拼接图像处不理想的对应摄像头，进行高度的调节，直至达到设定的拼接梯度，并将此时摄像头的高度信息加以储存，在航行过程中保持高度不变，以实现最佳的图像拼接效果。

为应对航行过程中船舶周围出现的不同状况，船长可以通过调节某一拍摄方向的摄像头焦距，获取近处或远处的环境图像，控制模块也将根据该摄像头即时拍摄的图像大小，通过控制可程控调节焦距的摄像头，同步控制调节其余摄像头的高度及焦距，实时显示对应焦距下的全景拼接图像。

实施例二

本发明提供的一种船舶全景图像自动拼接***，此***共设计安装6处可升降的摄像头装置7，分别位于船头一个、船尾一个以及船身两侧各两个，但要求六个摄像头中，相邻的摄像头拍摄的图像存在重叠区域，以便后续的拼接处理。作为上述全景图像拼接算法的优选，在进行图像拼接时，先将六幅图像两两拼接，得到三幅图像，达到较好效果后，再将两个已拼接好的图像的摄像头作为一个整体，与另外的两幅图像拼接。整个***工作流程如图3所示，接通电源，***开始工作：

经过步骤1，船舶不同位置的摄像头分别获取对应拍摄范围内的环境图像。

经过步骤2，图像处理***提取所拍摄的环境图像的特征点。

经过步骤3，图像处理***对提取到的特征点进行匹配。

经过步骤4，图像处理***对两幅图像的特征点进行配准。

经过步骤5，图像处理***根据两幅图像特征点的配准，实现将一幅图像拷贝至另一幅图像的特定位置。

经过步骤6，图像处理模块检测拷贝后的拼接图像在重叠边界的拼接缝梯度。

经过步骤7，控制模块得到拼接图像的拼接梯度，用于后续拼接效果的判断。

经过步骤8，若输出图像的拼接梯度大于设定要求的图像梯度，则控制模块发出指令，电机驱动滚珠调节摄像头的高度，直至图像拼接梯度小于等于预设的拼接缝梯度，并将调节高度后采集到的图像信息传输至图像拼接***。返回步骤2，进行再一次的拼接处理，已拼接完成的图像作为新的整体，检测与相邻图像的拼接梯度，并自适应调节摄像头的高度，重复以上过程，直至所有相邻摄像头得到的拼接梯度均达到预设的梯度值，全景图达到预期的效果。

经过步骤9，若输出图像的拼接梯度符合预设要求的图像梯度，则输出对应的全景拼接图像。

经过步骤10，得到理想的全景图后，储存对应的摄像头高度，作为之后图像采集时的参考高度，便于航行时的快速调用。

附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (3)

1.一种船舶全景图像自动拼接***，其特征在于，包括：多组可升降的摄像头装置（7），图像处理模块（8）、控制模块（9）；

其中，所述可升降的摄像头装置（7）包括摄像头（1）、导轨（2）、电机（3）、摄像头保护舱（4）、滚珠（5）和支撑架（6）；所述支撑架（6）固定设置于摄像头保护舱（4）和电机（3）之间，包括平行设置的两条架体，另一端通过一挡板进行拦挡；支撑架（6）的两架体上表面对应设置导轨（2）；所述摄像头（1）底面对称设置多个滚珠（5），通过设置对称的滚珠（5）之间的距离与两架体上设置的导轨（2）之间的距离相等，以使对称设置的滚珠（5）分别沿两架体上设置的其中一条导轨（2）滑动，所述摄像头（1）通过滚珠（5），在挡板和摄像头保护舱（4）之间，沿支撑架（6）移动；所述电机（3）连接至摄像头（1），以控制摄像头（1）沿导轨（2）移动；

所述图像处理模块（8）连接至每一可升降的摄像头装置（7）中的摄像头（1），用于接收摄像头（1）拍摄的图像并进行图像拼接处理；

所述控制模块（9）连接至可升降的摄像头装置（7）中的电机（3），用于通过图像处理模块（8）的拼接处理结果，通过电机（3）调节摄像头（1）的高度；

所述图像处理模块（8）通过图像拼接算法，对若干个安装在船舶上的摄像头拍摄的画面进行图像拼接，并计算拼接缝处的图像梯度；

所述控制模块（9）根据图像处理模块（8）计算的拼接图像的图像梯度，调节多个摄像头（1）其中一者或几者的位置高度，使相邻拼接图像之间的梯度最小；

所述导轨（2）在支撑架（6）与摄像头保护舱（4）连接的位置，延伸进入摄像头保护舱（4）内部，以使摄像头（1）沿导轨（2）滑动至摄像头保护舱（4）内部；

多组可升降的摄像头装置（7）设置于所述船舶周围，分别拍摄船舶周围不同方向的环境图像；摄像头焦距调至最大时，相邻摄像头的拍摄画面必须存在重叠区域；

航行过程中，根据需求，调节某一特定拍摄方向的摄像头焦距，以获得近处或远处的环境图像，同时通过控制模块（9）自动调节其余摄像头（1）改变高度和焦距，匹配对应焦距下的环境图像，实时展示对应焦距下的全景拼接图像。

2.根据权利要求1所述的船舶全景图像自动拼接***，其特征在于，所述可升降的摄像头装置（7）、图像处理模块（8）和控制模块（9）通过无线通信的方式传输数据。

3.根据权利要求1所述的船舶全景图像自动拼接***，其特征在于，所述电机（3）连接一电源模块，所述电源模块与电机（3）均与支撑架（6）固定连接，所述电源模块用于向电机（3）提供电源。

Images