CN116543398B - 一种船名和违章识别方法及*** - Google Patents

Abstract

本发明公开一种船名和违章识别方法及***。其中，该方法引入了激光，夜间进行定点补光；通过全景相机和特写相机中船舶的相对位置来处理多船情景；通过人工智能分别识别船头、船身、船尾、船牌、字符等元素，以尽可能规避背景的影响；对缺损、遮挡引入备选AIS数据以及数据库模糊查询，同时综合分析字符的出现频率等因素，来计算候选匹配度和数字匹配度，根据匹配度得分判断是否被套牌、是否没有登记船名、是否未开AIS；通过候选识别船名和匹配结果船名的偏差距离，最终确定实际候选识别船名是否符合匹配结果船名。本发明的方法能够准确的识别船名并判断出违章的情况。

Description

一种船名和违章识别方法及***

技术领域

本发明涉及船舶技术领域，具体而言，涉及一种船名和违章识别方法及***。

背景技术

在常见的***中，通常仅仅使用人工智能来进行船名识别，受夜间光照不足、多船交汇无法分辨、受背景干扰大（背景中有店招牌、横幅，船载集装箱印刷其他字符）、受污损或遮挡干扰（船名被悬挂轮胎遮挡等）等因素影响，识别率不高，也就很难真正应用于违章识别当中。传统方法中，由于不能准确判断识别到的船名内容，通常引入数据库查询来补全识别，则不能有效地满足用户对船名内容实际完整性查验的需求。

针对现有技术中不能准确判断识别出船名内容的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例中提供一种船名和违章识别方法及***，以解决现有技术中不能准确判断识别出船名内容的问题。

为达到上述目的，一方面，本发明提供了一种船名和违章识别方法，该方法包括：S1、通过激光识别***、全景相机和特写相机获取当前船舶的全景图像和多张特写图像；通过AIS基站获取指定半径范围所有船舶的AIS数据，作为备选AIS数据；S2、根据所述全景图像判定船舶类别；对所述多张特写图像进行船牌识别，并将无效图像删除，得到多张有效船牌图像；S3、当判断有效船牌图像为空时，以未识别到船名告警；反之，将多张有效船牌图像进行字符识别，得到多个识别候选以及每个识别候选对应的置信度；根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度；S4、当判断全部候选识别的置信度均不超过第一预设阈值时，以未识别到船名告警；反之，将全部候选识别根据置信度从高到低进行排序并与备选AIS数据匹配；S5、当判断备选AIS数据为空时，以未开AIS告警，并进入步骤S6；反之，计算每个候选识别与备选AIS数据的候选匹配度和数字匹配度；当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌，并进入步骤S6；反之，取候选匹配度最高的备选AIS数据作为匹配AIS数据；并判断该匹配AIS数据是否已被匹配过，若是，以套牌告警；并进入步骤S7；S6、将全部候选识别根据置信度从高到低进行排序并与数据库中的船名匹配，并计算每个候选识别与数据库船名的候选匹配度和数字匹配度；当判断数字匹配度不超过第三预设阈值时，以非登记船名告警；反之，取候选匹配度最高的数据库船名作为匹配船名，进入步骤S7；S7、判断匹配AIS数据或匹配船名与对应的候选识别的匹配度是否为100%，若是，则得到船舶的船名，反之，根据匹配AIS数据或匹配船名与对应的候选识别的偏差距离判断是否发生船牌遮挡、污损。

可选的，所述无效图像包括：至少有船头、船身、船尾中任意一个，否则为无效图像；不包括船牌的图像认为为无效图像；船牌的识别框的四角至少有一个在船头或船身或船尾中，且船牌的识别框的中心点在船头或船身或船尾中，否则认为为无效图像；船牌的识别框中心像素坐标距离特写图像中心像素坐标的相对偏移量大于第四预设阈值的认为为无效图像；船牌的最大长度小于第五预设阈值的认为为无效图像。

可选的，所述根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度包括：将识别候选中的所有字组合生成多个候选结果；在全部候选结果中加通配符生成模糊结果以进行模糊匹配；将全部模糊结果进行逆序处理得到逆序结果；将模糊结果和逆序结果作为多个候选识别。

可选的，所述当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌包括：等待所有船舶开出所述指定半径范围后，若有剩余未匹配的且方向相同的备选AIS数据，则认为当前船舶被套牌；若无剩余未匹配的备选AIS数据，以未开AIS告警。

可选的，所述当判断数字匹配度不超过第三预设阈值时，以非登记船名告警包括：当判断数字匹配度不超过第三预设阈值时，调整每个候选识别中各字的缺省再与数据库中的船名匹配，若仍匹配不成功，以非登记船名告警。

可选的，所述S1包括：通过激光识别***识别出船舶的位置，并在船舶行驶到预设范围前的预设距离处开始亮灯通过特写相机连续拍摄多张特写图像；将激光识别***和全景相机的中轴线对齐，以使船舶行驶到激光防区时通过全景相机连续拍摄多张图像，并取拍摄时间正中的图像作为全景图像。

另一方面，本发明提供了一种船名和违章识别***，该***包括：获取单元，用于通过激光识别***、全景相机和特写相机获取当前船舶的全景图像和多张特写图像；通过AIS基站获取指定半径范围所有船舶的AIS数据，作为备选AIS数据；删除单元，用于根据所述全景图像判定船舶类别；对所述多张特写图像进行船牌识别，并将无效图像删除，得到多张有效船牌图像；第一判断单元，用于当判断有效船牌图像为空时，以未识别到船名告警；反之，将多张有效船牌图像进行字符识别，得到多个识别候选以及每个识别候选对应的置信度；根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度；第二判断单元，用于当判断全部候选识别的置信度均不超过第一预设阈值时，以未识别到船名告警；反之，将全部候选识别根据置信度从高到低进行排序并与备选AIS数据匹配；第三判断单元，用于当判断备选AIS数据为空时，以未开AIS告警，并进入数据库匹配单元；反之，计算每个候选识别与备选AIS数据的候选匹配度和数字匹配度；当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌，并进入数据库匹配单元；反之，取候选匹配度最高的备选AIS数据作为匹配AIS数据；并判断该匹配AIS数据是否已被匹配过，若是，以套牌告警；并进入匹配度计算单元；数据库匹配单元，用于将全部候选识别根据置信度从高到低进行排序并与数据库中的船名匹配，并计算每个候选识别与数据库船名的候选匹配度和数字匹配度；当判断数字匹配度不超过第三预设阈值时，以非登记船名告警；反之，取候选匹配度最高的数据库船名作为匹配船名，进入匹配度计算单元；匹配度计算单元，用于判断匹配AIS数据或匹配船名与对应的候选识别的匹配度是否为100%，若是，则得到船舶的船名，反之，根据匹配AIS数据或匹配船名与对应的候选识别的偏差距离判断是否发生船牌遮挡、污损。

可选的，所述根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度包括：将识别候选中的所有字组合生成多个候选结果；在全部候选结果中加通配符生成模糊结果以进行模糊匹配；将全部模糊结果进行逆序处理得到逆序结果；将模糊结果和逆序结果作为多个候选识别。

可选的，所述当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌包括：等待所有船舶开出所述指定半径范围后，若有剩余未匹配的且方向相同的备选AIS数据，则认为当前船舶被套牌；若无剩余未匹配的备选AIS数据，以未开AIS告警。

可选的，所述当判断数字匹配度不超过第三预设阈值时，以非登记船名告警包括：当判断数字匹配度不超过第三预设阈值时，调整每个候选识别中各字的缺省再与数据库中的船名匹配，若仍匹配不成功，以非登记船名告警。

本发明的有益效果：

本发明提供了一种船名和违章识别方法及***，其中，该方法引入了激光，夜间进行定点补光；通过全景相机和特写相机中船舶的相对位置来处理多船情景；通过人工智能分别识别船头、船身、船尾、船牌、字符等元素，以尽可能规避背景的影响；对缺损、遮挡引入备选AIS数据以及数据库模糊查询，同时综合分析字符的出现频率等因素，来计算候选匹配度和数字匹配度，根据匹配度得分判断是否被套牌、是否没有登记船名、是否未开AIS；通过候选识别船名和匹配结果船名的偏差距离，最终确定实际候选识别船名是否符合匹配结果船名。本发明的方法能够准确的识别船名并判断出违章的情况。

附图说明

图1是本发明实施例提供的一种船名和违章识别方法的流程图；

图2是本发明实施例提供的一种船名和违章识别***的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在常见的***中，通常仅仅使用人工智能来进行船名识别，受夜间光照不足、多船交汇无法分辨、受背景干扰大（背景中有店招牌、横幅，船载集装箱印刷其他字符）、受污损或遮挡干扰（船名被悬挂轮胎遮挡等）等因素影响，识别率不高，也就很难真正应用于违章识别当中。传统方法中，由于不能准确判断识别到的船名内容，通常引入数据库查询来补全识别，则不能有效地满足用户对船名内容实际完整性查验的需求。

因而，本发明提供了一种船名和违章识别方法，图1是本发明实施例提供的一种船名和违章识别方法的流程图，如图1所示，该方法包括：

S1、通过激光识别***、全景相机和特写相机获取当前船舶的全景图像和多张特写图像；通过AIS基站获取指定半径范围所有船舶的AIS数据，作为备选AIS数据；

具体的，所述S1包括：

S11、通过激光识别***识别出船舶的位置，并在船舶行驶到预设范围前的预设距离处开始亮灯通过特写相机连续拍摄多张特写图像；

具体的，激光识别***可以识别到船舶相对的三维位置，并预估出船舶的速度、方向。由于位置不一定确定，且夜间光照条件有限，可预估船舶即将行驶到的位置（即船舶能够出现在特写相机画面上）时，提前若干距离处开始亮灯通过特写相机连续拍摄船舶的特写图像（需要注意的是，白天不用亮灯）；连续拍摄的时间间隔为1-1.5s，以尽可能的确保拍摄到的船名（即船牌上的名字）在特写图像的正中间。由于提前了若干距离，拍摄到的特写图像中也可能无船舶。直到激光识别***显示船舶离开特写画面位置若干距离时，结束拍摄。

S12、将激光识别***和全景相机的中轴线对齐，以使船舶行驶到激光防区时通过全景相机连续拍摄多张图像，并取拍摄时间正中的图像作为全景图像。

将激光识别***和全景相机的中轴线对齐，当船舶进入激光防区时通过全景相机连续拍摄多张图像，连续拍摄的时间间隔为1-1.5s，当船舶离开激光防区时结束拍摄，挑选拍摄时间正中的图像作为全景图像。

记录AIS基站收到的指定半径范围内所有船舶的AIS数据，作为备选AIS数据（例如：A数据、B数据和C数据）。

具体的，例如：当前船舶在0~49s出现在激光防区里，则取0~49s时处于指定半径范围的AIS数据作为备选AIS数据。

AIS数据包括：船舶船名、业务标识码、船长、船舶类型、航速、方向等等。

S2、根据所述全景图像判定船舶类别；对所述多张特写图像进行船牌识别，并将无效图像删除，得到多张有效船牌图像；

具体的，根据人工智能识别出全景图像中船舶的类型作为该船舶的类别（例如：运沙船）；对当前船舶的多张特写图像通过人工智能进行船牌识别，并将无效图像删除，得到多张有效船牌图像。

具体识别时，可识别出船头、船身、船尾和船牌（用识别框标出）；在船头范围的船牌为船头船牌、在船身范围的船牌为船身船牌、在船尾范围的船牌为船尾船牌。当特写图像中有多个船头、多个船身、多个船尾和多个船牌时，将不是当前船舶的船头（包含船头船牌）、船身（包含船身船牌）和船尾（包含船尾船牌）过滤，具体可通过全景相机和特写相机中船舶的相对位置来过滤不是当前船舶的船头、船身、船尾。

过滤后，特写图像中应至少有当前船舶的船头、船身、船尾中任意一个，否则为无效图像；

特写图像中应有船牌（船头船牌或船身船牌或船尾船牌），否则认为为无效图像；

船牌的识别框的四角至少有一个在船头或船身或船尾中，且船牌的识别框的中心点在船头或船身或船尾中，否则认为为无效图像；

船牌的识别框中心像素坐标距离特写图像中心像素坐标/>的相对偏移量/>，若相对偏移量/>大于第四预设阈值的认为为无效图像；

船牌的最大长度小于第五预设阈值的认为为无效图像；具体的，获取所有船头船牌在特写图像中的最大长度，去除小于第五预设阈值（例如船头船牌最大长度的0.8倍）的船头船牌；类似的，获取所有船身船牌在特写图像中的最大长度，去除小于第五预设阈值（例如船身船牌最大长度的0.8倍）的船身船牌；获取所有船尾船牌在特写图像中的最大长度，去除小于第五预设阈值（例如船尾船牌最大长度的0.8倍）的船尾船牌。

将无效照片删除后剩下的多张有效船牌图像中取船牌置信度较高的前若干张图像。其中，张数与船舶速度成反比，当船舶速度越快时，特写相机能捕捉到的有效照片越少。

S3、当判断有效船牌图像为空时，以未识别到船名告警；反之，将多张有效船牌图像进行字符识别，得到多个识别候选以及每个识别候选对应的置信度；根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度；

S31、当通过S2判断后，发现无符合的有效船牌图像时，以未识别到船名告警，并提供给用户预估匹配的AIS数据（需要注意的是，该预估匹配的AIS数据不计为与当前船舶已匹配，只是预估的有可能的一种AIS信息），该预估匹配的AIS数据是根据激光识别***识别的当前船舶方向与AIS基站获取的方向一样，其位置距离、速度等等最接近的备选AIS数据。例如：A数据、B数据、C数据中A数据的方向与激光识别***识别的当前船舶的方向一样，并且A数据中的位置与激光识别***识别的当前船舶的位置最接近，则将A数据提供给用户。

反之，S321、将船牌置信度较高（人工智能识别时可得到）的多张有效船牌图像通过人工智能进行字符识别，得到多个识别候选以及每个识别候选对应的置信度；

具体的，通过人工智能识别可获取多个识别候选以及每个识别候选（船牌船名）对应的置信度、每个识别候选中单个字符的置信度/>、每个识别候选的识别框、每个识别候选中单个字符的识别框。需要注意的是，提取字符时字符间的相对位置不应改变（即在每个船牌中识别到的字符根据识别框的中心像素坐标排序）。

例如：识别候选有“浙博航运6079”（）、“浙博舟运60791”（）、“浙博运6079”（/> ）、“浙博”（/>）。

S322、根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度；

所述S322包括：

S3221、将识别候选中的所有字组合生成多个候选结果；

具体的，识别候选有“浙”“博”“航”“舟”“运”这五个字，根据相对位置，可知浙在第一位，博在第二位，第三位可能是航/舟/运，第四位也可能是航/舟/运，最后一位为运，其可能的候选结果为：“浙博航运”、“浙博舟运”、“浙博运”、“浙博航舟运”、“浙博舟航运”。

S3222、在全部候选结果中加通配符生成模糊结果以进行模糊匹配；

具体的，候选结果为“浙博航运”其对应的识别候选为“浙博航运6079”，对候选结果加通配符为“浙博%航%运”，即“浙博%航%运”有可能为“浙博航运”、“浙博舟航运”、“浙博航舟运”；

候选结果为“浙博舟运”其对应的识别候选为“浙博舟运60791”，对候选结果加通配符为“浙博%舟%运”，即“浙博%舟%运”有可能为“浙博航运”、“浙博舟航运”、“浙博航舟运”；

候选结果为“浙博运”其对应的识别候选为“浙博运6079”，对候选结果加通配符为“浙博%运”，即“浙博%运”有可能为“浙博航运”、“浙博运”；

候选结果为“浙博航舟运”其对应的识别候选为“浙博航运6079”， 具体的，“浙博航舟运”可来源于“浙博航运”的“浙博航运”和“浙博舟运”的“舟”，其置信度为；也可来源于“浙博航运”的“航”和“浙博舟运”的“浙博舟运”，其置信度为/>；选取置信度高的来源路线，即候选结果为“浙博航舟运”其来源为“浙博航运”的“浙博航运”和“浙博舟运”的“舟”，对应的识别候选为“浙博航运6079”；

候选结果为“浙博舟航运”其对应的识别候选为“浙博航运6079”， 具体的，“浙博舟航运”可来源于“浙博航运”的“浙博航运”和“浙博舟运”的“舟”，其置信度为；也可来源于“浙博航运”的“航”和“浙博舟运”的“浙博舟运”，其置信度为/>；选取置信度高的来源路线，即候选结果为“浙博舟航运”其来源为“浙博航运”的“浙博航运”和“浙博舟运”的“舟”，对应的识别候选为“浙博航运6079”；

综上，模糊结果为“浙博%航%运”、“浙博%舟%运”、“浙博%运”、“浙博航舟运”、“浙博舟航运”。

S3223、将全部模糊结果进行逆序处理得到逆序结果；

即逆序结果为：“运%航%博浙”、“运%舟%博浙”、“运%博浙”、“运舟航博浙”、“运航舟博浙”。

S3224、将模糊结果和逆序结果作为多个候选识别。

该实施例中，总共有10个候选识别，如下面表格所示：

S4、当判断全部候选识别的置信度均不超过第一预设阈值时，以未识别到船名告警；反之，将全部候选识别根据置信度从高到低进行排序并与备选AIS数据匹配；

具体的，若全部候选识别的置信度均不超过第一预设阈值时，以未识别到船名告警，并提供给用户预估匹配的AIS数据，（需要注意的是，该预估匹配的AIS数据不计为与当前船舶已匹配，只是预估的有可能的一种AIS信息），该预估匹配的AIS数据是根据激光识别***识别的当前船舶方向与AIS基站获取的方向一样，其位置距离、速度等等最接近的备选AIS数据。

反之，将全部候选识别根据置信度从高到低进行排序并与备选AIS数据匹配。

S5、当判断备选AIS数据为空时，以未开AIS告警，并进入步骤S6；反之，计算每个候选识别与备选AIS数据的候选匹配度和数字匹配度；当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为该船未开AIS或被套牌，并进入步骤S6；反之，取候选匹配度最高的备选AIS数据作为匹配AIS数据；并判断该匹配AIS数据是否已被匹配过，若是，以套牌告警；并进入步骤S7；

具体的，当备选AIS数据为空时，说明当前船舶未开AIS，以未开AIS告警，并进入步骤S6；

反之，在具体实施例中，计算10个候选识别分别与3个备选AIS数据的候选匹配度和数字匹配度；

候选匹配度=；其中，Sum为当前船牌中所有字的求和，/>为当前船牌/>的置信度，/>为当前船牌/>中字/>的置信度，当前船牌/>中字/>匹配正确时/>=1，匹配错误时/>=0；/>为（船名-AIS-船舶类型）数据库中当前船舶类型c对应的所有船牌中（根据人工智能识别出全景图像中当前船舶的类型：运沙船，将其作为当前船舶的类别），字/>出现在第n位的概率，/>，/>为在该船舶类型c中，字/>出现在第n位的次数；/>为在该船舶类型c中，字/>出现的次数；/>为人工智能训练数据库中，字的频度得分；即人工智能训练数据库中，共收集训练数据文字/>个，字/>占比为/>；/>为字/>的总共数量；将所有文字根据占比（/>）排序，，/>为排序后的中位数，/>为排序后的第三四分位数，/>为排序后的第一四分位数。将/>小于第六预设阈值（如0.9倍的第一四分位数）的字的/>=0，将/>大于第七预设阈值（如1倍的第三四分位数）的字的/>=1。其余字的/>依然是计算得到的/>，不做改变。需要注意的是，上述的字不包括数字。

假设候选识别：浙博%航%运与备选AIS数据：浙博航舟运计算候选匹配度，分母是浙、博、航、舟、运5个字的置信度，在船舶类型c中出现在第n位的次数，频度得分；分子是浙、博、航、运4个字的置信度，在船舶类型c中出现在第n位的次数，频度得分；因为=0。

数字匹配度=；其中，Sum为当前船牌中所有数字的求和，/>为当前船牌/>的置信度，/>为当前船牌/>中数字/>的置信度，当前船牌/>中数字/>匹配正确时/>=1，匹配错误时/>=0；

特别的，当候选识别的数字部分相对备选AIS数据中船名的数字部分出现冗余时，认为可能是船舷外部悬挂物体或夜间反光等因素造成的，如“6079”相对“679”，此时数字匹配度记为100%。

取匹配中候选匹配度最高且候选匹配度高于第二预设阈值以及数字匹配度高于第三预设阈值的结果（指备选AIS数据中的船名）；若结果为空，则认为当前船舶未开AIS或被套牌，并进入步骤S6；

具体的，等待所有船舶（指所有备选AIS数据对应的船舶）开出所述指定半径范围后，若有剩余未匹配的且方向相同的备选AIS数据，则认为当前船舶被套牌；若无剩余未匹配的备选AIS数据，以未开AIS告警。

以下通过一个具体的例子进行说明：

若总共有3只船舶（A船舶、B船舶、C船舶），激光识别***在激光防区内识别到当前船舶C，当船舶ABC均开出AIS基站指定半径范围后，AIS基站在指定半径范围内共获取三个备选AIS数据（A数据、B数据、C数据），船舶AB均已与备选AIS数据中的A数据、B数据匹配；C数据未匹配过，但当前船舶C与备选AIS数据中的C数据距离相近、速度相近、方向相同，则认为当前船舶C可以与备选AIS数据中的C数据匹配，并认为当前船舶C被套牌；

若总共有4只船舶（A船舶、B船舶、C船舶、D船舶），激光识别***在激光防区内识别到当前船舶D，当船舶ABCD均开出AIS基站指定半径范围后，AIS基站在指定半径范围内共获取三个备选AIS数据（A数据、B数据、C数据），船舶ABC均已与备选AIS数据中的A数据、B数据、C数据匹配，无剩余未匹配的备选AIS数据，则认为当前船舶D未开AIS。

若结果非空，并且候选识别与备选AIS数据中的C数据最匹配，则更改最初预估匹配的AIS数据（例如上述中的A数据）将C数据作为匹配AIS数据；并判断该匹配的C数据是否已被匹配过，若是，以套牌告警；例如：短时间内前一个船舶刚经过一次已与C数据匹配，之后被当前船舶套牌后又与数据C匹配则以套牌告警；反之，则认为当前船舶与备选AIS数据的C数据匹配，并标记C数据已使用。进入步骤S7。

S6、将全部候选识别根据置信度从高到低进行排序并与数据库中的船名匹配，并计算每个候选识别与数据库船名的候选匹配度和数字匹配度；当判断数字匹配度不超过第三预设阈值时，以非登记船名告警；反之，取候选匹配度最高的数据库船名作为匹配船名，进入步骤S7；

将全部候选识别根据置信度从高到低进行排序并与（船名-AIS-船舶类型）数据库中的船名匹配，并计算每个候选识别与数据库船名的候选匹配度和数字匹配度；其计算方法同上述一样；取匹配中候选匹配度最高且数字匹配度高于第三预设阈值的结果（指数据库中船名）。

若结果为空，调整每个候选识别中各字的缺省再与数据库中的船名匹配，首选如候选识别中某字的小于第八预设阈值，则将该字记为%，再与数据库中的船名匹配；若结果仍为空，如候选识别中某字的/>=0，但后移一位则/>>0，则在该字前加入%，若结果仍为空，则匹配失败，以非登记船名告警，并提供给用户预估匹配的AIS数据（需要注意的是，该预估匹配的AIS数据不计为与当前船舶已匹配，只是预估的有可能的一种AIS信息），该预估匹配的AIS数据是根据激光识别***识别的当前船舶方向与AIS基站获取的方向一样，其位置距离、速度等等最接近的备选AIS数据。

反之，取候选匹配度最高的数据库船名作为匹配船名，进入步骤S7；

S7、判断匹配AIS数据或匹配船名与对应的候选识别的匹配度是否为100%，若是，则得到船舶的船名，反之，以船牌遮挡、污损告警。

具体的，将匹配AIS数据或数据库匹配船名统称为匹配结果，对比对应的候选识别与匹配结果；

对于文字部分，可能发生错字、漏字、多字三种情况：

1、对于候选识别少字，检查正确字B的的偏差距离/>，若该值大于阈值T，认为船牌上可能确实没有正确字，以船牌遮挡、污损告警；反之正常;

2、对于候选识别多字，检查错误字A的的偏差距离，/>为A字的置信度，/>为A字的频度得分，/>为在船舶类型c中A字出现在第n位的概率，若该值大于阈值，认为船牌上可能确实存在错误字，以船牌遮挡、污损告警；反之正常；

3、对于候选识别错字，计算正确字B与错误字A的偏差距离，若该值大于阈值，认为船牌上可能确实存在错误字，以船牌遮挡、污损告警；反之正常。

对于数字部分，可能发生错字、漏字、多字三种情况：

1、对于候选识别少字，检查候选识别中两个数字间的间隔情况，若该间隔大于n倍的平均间隔，认为船牌上可能确实没有正确字B，以船牌遮挡、污损告警，反之正常；

2、对于候选识别多字，认为可能是船舷外部悬挂物或夜间反光等因素造成的误差，如“6709”相对“679”，正常；

3、对于候选识别错字，计算正确字B与错误字A的偏差距离，若该值大于阈值，认为船牌上可能确实存在错误字，以船牌遮挡、污损告警；反之正常。

图2是本发明实施例提供的一种船名和违章识别***的结构示意图，如图2所示，该***包括：

获取单元201，用于通过激光识别***、全景相机和特写相机获取当前船舶的全景图像和多张特写图像；通过AIS基站获取指定半径范围所有船舶的AIS数据，作为备选AIS数据；

所述获取单元201包括：

第一获取子单元，用于通过激光识别***识别出船舶的位置，并在船舶行驶到预设范围前的预设距离处开始亮灯通过特写相机连续拍摄多张特写图像；

第二获取子单元，用于将激光识别***和全景相机的中轴线对齐，以使船舶行驶到激光防区时通过全景相机连续拍摄多张图像，并取拍摄时间正中的图像作为全景图像。

删除单元202，用于根据所述全景图像判定船舶类别；对所述多张特写图像进行船牌识别，并将无效图像删除，得到多张有效船牌图像；

所述无效图像包括：

至少有船头、船身、船尾中任意一个，否则为无效图像；

不包括船牌的图像认为为无效图像；

船牌的识别框的四角至少有一个在船头或船身或船尾中，且船牌的识别框的中心点在船头或船身或船尾中，否则认为为无效图像；

船牌的识别框中心像素坐标距离特写图像中心像素坐标的相对偏移量大于第四预设阈值的认为为无效图像；

船牌的最大长度小于第五预设阈值的认为为无效图像。

第一判断单元203，用于当判断有效船牌图像为空时，以未识别到船名告警；反之，将多张有效船牌图像进行字符识别，得到多个识别候选以及每个识别候选对应的置信度；根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度；

所述根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度包括：

将识别候选中的所有字组合生成多个候选结果；

在全部候选结果中加通配符生成模糊结果以进行模糊匹配；

将全部模糊结果进行逆序处理得到逆序结果；

将模糊结果和逆序结果作为多个候选识别。

第二判断单元204，用于当判断全部候选识别的置信度均不超过第一预设阈值时，以未识别到船名告警；反之，将全部候选识别根据置信度从高到低进行排序并与备选AIS数据匹配；

第三判断单元205，用于当判断备选AIS数据为空时，以未开AIS告警，并进入数据库匹配单元；反之，计算每个候选识别与备选AIS数据的候选匹配度和数字匹配度；当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌，并进入数据库匹配单元；反之，取候选匹配度最高的备选AIS数据作为匹配AIS数据；并判断该匹配AIS数据是否已被匹配过，若是，以套牌告警；并进入匹配度计算单元；

所述当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌包括：

具体的，等待所有船舶（指所有备选AIS数据对应的船舶）开出指定半径范围后，若有剩余未匹配的且方向相同的备选AIS数据，则认为当前船舶被套牌；若无剩余未匹配的备选AIS数据，以未开AIS告警。

数据库匹配单元206，用于将全部候选识别根据置信度从高到低进行排序并与数据库中的船名匹配，并计算每个候选识别与数据库船名的候选匹配度和数字匹配度；当判断数字匹配度不超过第三预设阈值时，以非登记船名告警；反之，取候选匹配度最高的数据库船名作为匹配船名，进入匹配度计算单元；

所述当判断数字匹配度不超过第三预设阈值时，以非登记船名告警包括：

当判断数字匹配度不超过第三预设阈值时，调整每个候选识别中各字的缺省再与数据库中的船名匹配，若仍匹配不成功，以非登记船名告警。

匹配度计算单元207，用于判断匹配AIS数据或匹配船名与对应的候选识别的匹配度是否为100%，若是，则得到船舶的船名，反之，根据匹配AIS数据或匹配船名与对应的候选识别的偏差距离判断是否发生船牌遮挡、污损。

本发明的有益效果：

本发明提供了一种船名和违章识别方法及***，其中，该方法引入了激光，夜间进行定点补光；通过全景相机和特写相机中船舶的相对位置来处理多船情景；通过人工智能分别识别船头、船身、船尾、船牌、字符等元素，以尽可能规避背景的影响；对缺损、遮挡引入备选AIS数据以及数据库模糊查询，同时综合分析字符的出现频率等因素，来计算候选匹配度和数字匹配度，根据匹配度得分判断是否被套牌、是否没有登记船名、是否未开AIS；通过候选识别船名和匹配结果船名的偏差距离，最终确定实际候选识别船名是否符合匹配结果船名。本发明的方法能够准确的识别船名并判断出违章的情况。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种船名和违章识别方法，其特征在于，包括：

S1、通过激光识别***、全景相机和特写相机获取当前船舶的全景图像和多张特写图像；通过AIS基站获取指定半径范围所有船舶的AIS数据，作为备选AIS数据；

S2、根据所述全景图像判定船舶类别；对所述多张特写图像进行船牌识别，并将无效图像删除，得到多张有效船牌图像；

S3、当判断有效船牌图像为空时，以未识别到船名告警；反之，将多张有效船牌图像进行字符识别，得到多个识别候选以及每个识别候选对应的置信度；根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度；

S4、当判断全部候选识别的置信度均不超过第一预设阈值时，以未识别到船名告警；反之，将全部候选识别根据置信度从高到低进行排序并与备选AIS数据匹配；

S5、当判断备选AIS数据为空时，以未开AIS告警，并进入步骤S6；反之，计算每个候选识别与备选AIS数据的候选匹配度和数字匹配度；当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌，并进入步骤S6；反之，取候选匹配度最高的备选AIS数据作为匹配AIS数据；并判断该匹配AIS数据是否已被匹配过，若是，以套牌告警；并进入步骤S7；

S6、将全部候选识别根据置信度从高到低进行排序并与数据库中的船名匹配，并计算每个候选识别与数据库船名的候选匹配度和数字匹配度；当判断数字匹配度不超过第三预设阈值时，以非登记船名告警；反之，取候选匹配度最高的数据库船名作为匹配船名，进入步骤S7；

S7、判断匹配AIS数据或匹配船名与对应的候选识别的匹配度是否为100%，若是，则得到船舶的船名，反之，根据匹配AIS数据或匹配船名与对应的候选识别的偏差距离判断是否发生船牌遮挡、污损；

其中，所述候选匹配度根据以下公式计算：

候选匹配度=；

Sum为当前船牌中所有字的求和，为当前船牌/>的置信度，/>为当前船/>中字/>的置信度，当前船牌/>中字/>匹配正确时/>=1，匹配错误时=0；/>为数据库中当前船舶类型c对应的所有船牌中，字/>出现在第n位的概率；/>，/>为在该船舶类型c中，字/>出现在第n位的次数；/>为在该船舶类型c中，字/>出现的次数；/>为人工智能训练数据库中，字的频度得分；候选匹配度中字/>不包括数字；

所述数字匹配度根据以下公式计算：

数字匹配度=；

其中，Sum为当前船牌中所有数字的求和，为当前船牌/>的置信度，/>为当前船牌/>中数字/>的置信度，当前船牌/>中数字/>匹配正确时=/>=1，匹配错误时/>=0。

2.根据权利要求1所述的方法，其特征在于，所述无效图像包括：

至少有船头、船身、船尾中任意一个，否则为无效图像；

不包括船牌的图像认为为无效图像；

船牌的识别框的四角至少有一个在船头或船身或船尾中，且船牌的识别框的中心点在船头或船身或船尾中，否则认为为无效图像；

船牌的识别框中心像素坐标距离特写图像中心像素坐标的相对偏移量大于第四预设阈值的认为为无效图像；

船牌的最大长度小于第五预设阈值的认为为无效图像。

3.根据权利要求1所述的方法，其特征在于，所述根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度包括：

将识别候选中的所有字组合生成多个候选结果；

在全部候选结果中加通配符生成模糊结果以进行模糊匹配；

将全部模糊结果进行逆序处理得到逆序结果；

将模糊结果和逆序结果作为多个候选识别。

4.根据权利要求1所述的方法，其特征在于，所述当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌包括：

等待所有船舶开出所述指定半径范围后，若有剩余未匹配的且方向相同的备选AIS数据，则认为当前船舶被套牌；若无剩余未匹配的备选AIS数据，以未开AIS告警。

5.根据权利要求1所述的方法，其特征在于，所述当判断数字匹配度不超过第三预设阈值时，以非登记船名告警包括：

当判断数字匹配度不超过第三预设阈值时，调整每个候选识别中各字的缺省再与数据库中的船名匹配，若仍匹配不成功，以非登记船名告警。

6.根据权利要求1所述的方法，其特征在于，所述S1包括：

通过激光识别***识别出船舶的位置，并在船舶行驶到预设范围前的预设距离处开始亮灯通过特写相机连续拍摄多张特写图像；

将激光识别***和全景相机的中轴线对齐，以使船舶行驶到激光防区时通过全景相机连续拍摄多张图像，并取拍摄时间正中的图像作为全景图像。

7.一种船名和违章识别***，其特征在于，包括：

获取单元，用于通过激光识别***、全景相机和特写相机获取当前船舶的全景图像和多张特写图像；通过AIS基站获取指定半径范围所有船舶的AIS数据，作为备选AIS数据；

删除单元，用于根据所述全景图像判定船舶类别；对所述多张特写图像进行船牌识别，并将无效图像删除，得到多张有效船牌图像；

第一判断单元，用于当判断有效船牌图像为空时，以未识别到船名告警；反之，将多张有效船牌图像进行字符识别，得到多个识别候选以及每个识别候选对应的置信度；根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度；

第二判断单元，用于当判断全部候选识别的置信度均不超过第一预设阈值时，以未识别到船名告警；反之，将全部候选识别根据置信度从高到低进行排序并与备选AIS数据匹配；

第三判断单元，用于当判断备选AIS数据为空时，以未开AIS告警，并进入数据库匹配单元；反之，计算每个候选识别与备选AIS数据的候选匹配度和数字匹配度；当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌，并进入数据库匹配单元；反之，取候选匹配度最高的备选AIS数据作为匹配AIS数据；并判断该匹配AIS数据是否已被匹配过，若是，以套牌告警；并进入匹配度计算单元；

数据库匹配单元，用于将全部候选识别根据置信度从高到低进行排序并与数据库中的船名匹配，并计算每个候选识别与数据库船名的候选匹配度和数字匹配度；当判断数字匹配度不超过第三预设阈值时，以非登记船名告警；反之，取候选匹配度最高的数据库船名作为匹配船名，进入匹配度计算单元；

匹配度计算单元，用于判断匹配AIS数据或匹配船名与对应的候选识别的匹配度是否为100%，若是，则得到船舶的船名，反之，根据匹配AIS数据或匹配船名与对应的候选识别的偏差距离判断是否发生船牌遮挡、污损；

其中，所述候选匹配度根据以下公式计算：

候选匹配度=；

Sum为当前船牌中所有字的求和，为当前船牌/>的置信度，/>为当前船牌中字/>的置信度，当前船牌/>中字/>匹配正确时/>=1，匹配错误时=0；/>为数据库中当前船舶类型c对应的所有船牌中，字/>出现在第n位的概率；/>，/>为在该船舶类型c中，字/>出现在第n位的次数；/>为在该船舶类型c中，字/>出现的次数；/>为人工智能训练数据库中，字的频度得分；候选匹配度中字/>不包括数字；

所述数字匹配度根据以下公式计算：

数字匹配度=；

其中，Sum为当前船牌中所有数字的求和，为当前船牌/>的置信度，/>为当前船牌/>中数字/>的置信度，当前船牌/>中数字/>匹配正确时/>=1，匹配错误时/>=0。

8.根据权利要求7所述的***，其特征在于，所述根据识别候选生成多个候选结果；对候选结果进行模糊处理和逆序处理，得到多个候选识别以及每个候选识别对应的置信度包括：

将识别候选中的所有字组合生成多个候选结果；

在全部候选结果中加通配符生成模糊结果以进行模糊匹配；

将全部模糊结果进行逆序处理得到逆序结果；

将模糊结果和逆序结果作为多个候选识别。

9.根据权利要求7所述的***，其特征在于，所述当判断候选匹配度不超过第二预设阈值或数字匹配度不超过第三预设阈值时，则认为当前船舶未开AIS或被套牌包括：

等待所有船舶开出所述指定半径范围后，若有剩余未匹配的且方向相同的备选AIS数据，则认为当前船舶被套牌；若无剩余未匹配的备选AIS数据，以未开AIS告警。

10.根据权利要求7所述的***，其特征在于，所述当判断数字匹配度不超过第三预设阈值时，以非登记船名告警包括：

当判断数字匹配度不超过第三预设阈值时，调整每个候选识别中各字的缺省再与数据库中的船名匹配，若仍匹配不成功，以非登记船名告警。