CN112053360B - 图像分割方法、装置、计算机设备及存储介质 - Google Patents

图像分割方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112053360B
CN112053360B CN202011079909.2A CN202011079909A CN112053360B CN 112053360 B CN112053360 B CN 112053360B CN 202011079909 A CN202011079909 A CN 202011079909A CN 112053360 B CN112053360 B CN 112053360B
Authority
CN
China
Prior art keywords
corrugated
feature
type
plate image
corrugated plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011079909.2A
Other languages
English (en)
Other versions
CN112053360A (zh
Inventor
郭双双
龚星
李斌
陈会娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011079909.2A priority Critical patent/CN112053360B/zh
Publication of CN112053360A publication Critical patent/CN112053360A/zh
Application granted granted Critical
Publication of CN112053360B publication Critical patent/CN112053360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30161Wood; Lumber
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像分割方法、装置、计算机设备及存储介质,属于计算机技术领域。该方法包括:对波纹板图像进行特征提取,得到波纹板图像的特征信息,特征信息包括分割线特征及类型特征,根据分割线特征指示的分割线,将波纹板图像分割成多个参考波纹区域,根据类型特征,对多个参考波纹区域进行调整,得到波纹板图像的多个目标波纹区域,以使相邻的每两个目标波纹区域对应的波纹面所属的类型不同。通过获取波纹板图像的分割线特征及类型特征,以确定波纹板图像中的分割线及每个像素点对应的波纹面类型,使按照分割线及每个像素点对应的类型划分得到的多个波纹区域中,通过对波纹板图像进行数据计算,从而提高了波纹区域的准确性。

Description

图像分割方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种图像分割方法、装置、计算机设备及存储介质。
背景技术
波纹板是具有波纹形状的板材,波纹板上具有多个波纹面,不同的波纹面不在一个平面上,多个波纹面按照固定规则排列,构成具有波纹形状的波纹板。波纹板具有非常广泛的应用,如应用于装修板材、集装箱等。在使用波纹板之前,通常需要对波纹板中的波纹进行质量分析,以保证由波纹板制作的产品的质量。
相关技术中,对波纹板图像进行平面分割处理,得到波纹板图像的多个波纹区域,从而对波纹板图像中多个波纹区域进行质量分析。由于上述方法中仅通过平面分割处理的方式来获取波纹区域,处理方式简单,导致波纹区域的准确性差。
发明内容
本申请实施例提供了一种图像分割方法、装置、计算机设备及存储介质,能够提高波纹区域的准确性。所述技术方案如下:
一方面,提供了一种图像分割方法,所述方法包括:
对波纹板图像进行特征提取,得到所述波纹板图像的特征信息,所述特征信息包括分割线特征及类型特征,所述分割线特征用于指示所述波纹板图像中的不同波纹面之间的分割线,所述类型特征用于指示所述波纹板图像中每个像素点对应的类型,所述类型为所述像素点所在的波纹面所属的类型;
根据所述分割线特征指示的分割线,将所述波纹板图像分割成多个参考波纹区域;
根据所述类型特征,对所述多个参考波纹区域进行调整,得到所述波纹板图像的多个目标波纹区域,以使相邻的每两个目标波纹区域对应的波纹面所属的类型不同。
在一种可能实现方式中,所述关键点特征用于指示所述波纹板图像中位于分割线上的关键点及所述关键点的置信度,所述根据所述关键点特征中多个关键点的位置,及所述参考波纹区域在所述波纹板图像中的位置,确定位于所述参考波纹区域内的至少两个目标关键点,包括:
根据所述关键点特征中多个关键点的位置及所述参考波纹区域在所述波纹板图像中的位置,确定位于所述参考波纹区域内的多个参考关键点;
根据所述关键点特征中所述多个参考关键点的置信度,从所述多个参考关键点中选取所述至少两个目标关键点。
在另一种可能实现方式中,所述根据所述多个参考波纹区域对应的类型,对所述多个参考波纹区域进行调整,得到所述多个目标波纹区域,还包括:
响应于任一参考波纹区域对应的置信度大于参考置信度,将所述任一参考波纹区域作为目标波纹区域。
在另一种可能实现方式中,所述根据所述参考波纹区域中的每个像素点对应的类型,确定所述参考波纹区域对应的类型之后,所述方法还包括:
获取所述参考波纹区域中,类型与所述参考波纹区域对应的类型相同的像素点数目;
将所述像素点数目与所述参考波纹区域中像素点总数目之间的比值,作为所述参考波纹区域对应的类型的置信度。
在另一种可能实现方式中,所述类型特征包括所述波板纹图像中每个像素点所在的波纹面属于每个类型的置信度;
所述根据所述类型特征,确定所述波纹板图像中每个像素点对应的类型,包括:
对于任一像素点,根据所述像素点所在的波纹面属于每个类型的置信度,将最大置信度对应的类型,确定为所述像素点所在的波纹面所属的类型。
在另一种可能实现方式中,所述特征检测子模型包括分割线检测子模型及类型检测子模型;
所述调用所述特征检测子模型,对所述第二特征图进行特征检测,得到所述特征信息,包括:
调用所述分割线检测子模型,对所述第二特征图进行分割线检测,得到所述分割线特征;
调用所述类型检测子模型,对所述第二特征图进行类型检测,得到所述类型特征。
在另一种可能实现方式中,所述特征检测子模型还包括关键点检测子模型;所述调用所述特征检测子模型,对所述第二特征图进行特征检测,得到所述特征信息,还包括:
调用所述关键点检测子模型,对所述第二特征图进行关键点检测,得到所述关键点特征。
另一方面,提供了一种图像分割装置,所述装置包括:
特征提取模块,用于对波纹板图像进行特征提取,得到所述波纹板图像的特征信息,所述特征信息包括分割线特征及类型特征,所述分割线特征用于指示所述波纹板图像中的不同波纹面之间的分割线,所述类型特征用于指示所述波纹板图像中每个像素点对应的类型,所述类型为所述像素点所在的波纹面所属的类型;
图像分割模块,用于根据所述分割线特征指示的分割线,将所述波纹板图像分割成多个参考波纹区域;
区域调整模块,用于根据所述类型特征,对所述多个参考波纹区域进行调整,得到所述波纹板图像的多个目标波纹区域,以使相邻的每两个目标波纹区域对应的波纹面所属的类型不同。
在一种可能实现方式中,所述图像分割模块,包括:
位置确定单元,用于根据所述分割线特征,确定所述波纹板图像中的多条分割线的位置;
区域确定单元,用于根据所述多条分割线的位置,将相邻的每两条分割线之间的区域确定为一个参考波纹区域,得到所述多个参考波纹区域。
在另一种可能实现方式中,所述区域调整模块,包括:
第一确定单元,用于根据所述类型特征,确定所述波纹板图像中每个像素点对应的类型;
第二确定单元,用于根据每个参考波纹区域中的像素点,及所述每个像素点对应的类型,分别确定所述每个参考波纹区域对应的类型;
区域调整单元,用于根据所述多个参考波纹区域对应的类型,对所述多个参考波纹区域进行调整,得到所述多个目标波纹区域。
在另一种可能实现方式中,所述区域调整单元,包括:
区域合并子单元,用于响应于相邻的任两个参考波纹区域对应的类型相同,将所述任两个参考波纹区域进行合并,得到一个目标波纹区域;
第一确定子单元,用于响应于任一参考波纹区域与相邻参考波纹区域对应的类型不同,将所述任一参考波纹区域确定为目标波纹区域。
在另一种可能实现方式中,所述第二确定单元,用于根据所述每个参考波纹区域中的像素点,及所述每个像素点对应的类型,分别确定所述每个参考波纹区域对应的类型及所述类型的置信度。
在另一种可能实现方式中,所述特征信息还包括关键点特征,所述关键点特征用于指示所述波纹板图像中位于分割线上的关键点;
所述区域调整单元,包括:
第二确定子单元,用于响应于任一参考波纹区域对应的置信度小于参考置信度,根据所述关键点特征,确定位于所述参考波纹区域内的至少两个目标关键点;
分割处理子单元,用于根据所述至少两个关键点构成的分割线,对所述参考波纹区域进行分割处理,得到目标波纹区域。
在另一种可能实现方式中,所述第二确定子单元,用于根据所述关键点特征中多个关键点的位置,及所述参考波纹区域在所述波纹板图像中的位置,确定位于所述参考波纹区域内的至少两个目标关键点。
在另一种可能实现方式中,所述关键点特征用于指示所述波纹板图像中位于分割线上的关键点及所述关键点的置信度,所述第二确定子单元,用于根据所述关键点特征中多个关键点的位置及所述参考波纹区域在所述波纹板图像中的位置,确定位于所述参考波纹区域内的多个参考关键点;根据所述关键点特征中所述多个参考关键点的置信度,从所述多个参考关键点中选取所述至少两个目标关键点。
在另一种可能实现方式中,所述区域调整单元,还包括:
第三确定子单元,用于响应于任一参考波纹区域对应的置信度大于参考置信度,将所述任一参考波纹区域作为目标波纹区域。
在另一种可能实现方式中,所述第二确定单元,包括:
第四确定子单元,用于对于任一参考波纹区域,根据所述参考波纹区域中的像素点,及所述每个像素点对应的类型,确定所述参考波纹区域中每个像素点对应的类型;
第五确定子单元,用于根据所述参考波纹区域中的每个像素点对应的类型,确定所述参考波纹区域对应的类型。
在另一种可能实现方式中,所述第五确定子单元,用于根据所述参考波纹区域中的每个像素点对应的类型,将对应的像素点数目最大的类型,确定为所述参考波纹区域对应的类型。
在另一种可能实现方式中,所述装置还包括:
数目获取模块,用于获取所述参考波纹区域中,类型与所述参考波纹区域对应的类型相同的像素点数目;
置信度确定模块,用于将所述像素点数目与所述参考波纹区域中像素点总数目之间的比值,作为所述参考波纹区域对应的类型的置信度。
在另一种可能实现方式中,所述类型特征包括所述波板纹图像中每个像素点所在的波纹面属于每个类型的置信度;
所述第一确定单元,包括:
类型确定子单元,用于对于任一像素点,根据所述像素点所在的波纹面属于每个类型的置信度,将最大置信度对应的类型,确定为所述像素点所在的波纹面所属的类型。
在另一种可能实现方式中,所述特征提取模块,包括:
特征提取单元,用于调用特征提取模型,对所述波纹板图像进行特征提取,得到所述特征信息。
在另一种可能实现方式中,所述特征提取模型包括特征提取子模型、尺度转换子模型及特征检测子模型;
所述特征提取单元,包括:
第一提取子单元,用于调用所述特征提取子模型,对所述波纹板图像进行特征提取,得到所述波纹板图像的第一特征图;
第二提取子单元,用于调用所述尺度转换子模型,对所述第一特征图进行尺度转换,得到所述波纹板图像的第二特征图;
第三提取子单元,用于调用所述特征检测子模型,对所述第二特征图进行特征检测,得到所述特征信息。
在另一种可能实现方式中,所述特征检测子模型包括分割线检测子模型及类型检测子模型;
所述第三提取子单元,用于调用所述分割线检测子模型,对所述第二特征图进行分割线检测,得到所述分割线特征;调用所述类型检测子模型,对所述第二特征图进行类型检测,得到所述类型特征。
在另一种可能实现方式中,所述特征检测子模型还包括关键点检测子模型;所述第三提取子单元,还用于调用所述关键点检测子模型,对所述第二特征图进行关键点检测,得到所述关键点特征。
在另一种可能实现方式中,所述第二提取子单元,用于调用所述尺度转换子模型,对所述第一特征图进行尺度转换处理,得到所述第一特征图对应的多个尺度的参考特征图;将所述多个尺度的参考特征图进行融合处理,得到所述波纹板图像的第二特征图。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行以实现如上述方面所述的图像分割方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如上述方面所述的图像分割方法中所执行的操作。
再一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机程序代码,所述计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行所述计算机程序代码,使得所述计算机设备实现如上述方面所述的图像分割方法中所执行的操作。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例提供的方法、装置、计算机设备及存储介质,考虑到波纹板中相邻的波纹面所属的类型不同,且相邻的波纹面之间具有分割线,则在对波纹板图像进行图像分割时,通过获取波纹板图像的分割线特征及类型特征,以确定波纹板图像中的分割线及每个像素点对应的波纹面类型,丰富了波纹板图像的特征,使按照分割线及每个像素点对应的类型划分得到的多个波纹区域中,相邻的每两个波纹区域对应的类型不同,从而提高了波纹区域的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的结构示意图;
图2是本申请实施例提供的一种图像分割方法的流程图;
图3是本申请实施例提供的一种图像分割方法的流程图;
图4是本申请实施例提供的一种尺度转换子模型的结构示意图;
图5是本申请实施例提供的一种特征提取模型的结构示意图;
图6是本申请实施例提供的一种波纹区域的示意图;
图7是本申请实施例提供的一种对波纹板图像进行图像分割的流程图;
图8是本申请实施例提供的一种波纹板缺陷分析的流程图;
图9是本申请实施例提供的一种波纹板图像中关键点的示意图;
图10是本申请实施例提供的一种波纹板图像中多条分割线的示意图;
图11是本申请实施例提供的一种波纹板图像中多个波纹区域的示意图;
图12是本申请实施例提供的一种图像分割装置的结构示意图;
图13是本申请实施例提供的一种图像分割装置的结构示意图;
图14是本申请实施例提供的一种终端的结构示意图;
图15是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一特征图称为第二特征图,且类似地,可将第二特征图称为第一特征图。
本申请所使用的术语“至少两个”、“多个”、“每个”、“任一”,至少两个包括两个或两个以上,多个包括两个或两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个关键点包括3个关键点,而每个是指这3个关键点中的每一个关键点,任一是指这3个关键点中的任意一个关键点,可以是第一个关键点,可以是第二个关键点、也可以是第三个关键点。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台***进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的***后盾支撑,只能通过云计算来实现。
大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临,大数据也吸引了越来越多的关注,大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理数据库、数据挖掘、分布式文件***、分布式数据库、云计算平台、互联网和可扩展的存储***。本申请利用了云技术和大数据,对波纹图像进行数据计算,从而实现了图像分割的方法。
本申请实施例提供的图像分割方法,能够用于计算机设备中。可选地,该计算机设备为终端或服务器。可选地,该服务器是独立的物理服务器,或者,是多个物理服务器构成的服务器集群或者分布式***,或者,是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地,该终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
图1是本申请实施例提供的一种实施环境的结构示意图,如图1所示,该***包括终端101和服务器102,终端101与服务器102之间能够通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
终端101用于获取波纹板图像,例如终端101通过拍摄波纹板得到波纹板图像,能够将波纹板图像发送至服务器102。服务器102提供对波纹板图像处理的功能,能够将终端101发送的波纹板图像进行图像分割。
本申请实施例提供的方法,可用于多种场景。
例如,集装箱检测场景下:
由于集装箱的表面是由波纹板构成的,为了对集装箱进行质量检测,通过拍摄集装箱表面,得到波纹板图像,采用本申请实施例提供的图像分割方法,得到波纹板图像的多个波纹区域,后续能够按照多个波纹区域进行质量检测,确定波纹板的缺陷,从而确定集装箱的质量。
再例如,波纹板质量监控场景下:
在生成波纹板的过程中,为了保证生成的波纹板的质量,通过拍摄波纹板表面,得到波纹板图像,采用本申请实施例提供的图像分割方法,得到波纹板图像的多个波纹区域,后续按照多个波纹区域对该波纹板进行缺陷分析,以确定波纹板是否存在缺陷,从而保证生成的波纹板的质量。
图2是本申请实施例提供的一种图像分割方法的流程图,应用于计算机设备中,如图2所示,该方法包括:
201、计算机设备对波纹板图像进行特征提取,得到波纹板图像的特征信息,特征信息包括分割线特征及类型特征。
在本申请实施例中,波纹板是具有波纹形状的板材,波纹板上具有多个波纹面,每个波纹面是一个平面,不同的波纹面不在一个平面上,多个波纹面按照固定规则排列,构成具有波纹形状的波纹板。例如,波纹板中多个波纹面包括凹面、左斜面、凸面、右斜面,该波纹板中的一个凹面相邻的两个波纹面为右斜面和左斜面,一个凸面相邻的两个波纹面为左斜面和右斜面,以波纹板包括8个波纹面为例,在该波纹板中,8个波纹面的排列顺序依次为凹面、左斜面、凸面、右斜面、凹面、左斜面、凸面、右斜面,波纹板的表面呈现波纹形状。再例如,通过对平板压制成型,得到具有波纹形状的波纹板。再例如,在实际应用中,集装箱的箱体表面呈现波纹形状的板材,即为波纹板。例如,波纹板包括多个不同类型的波纹面,该波纹面的类型包括凹面类型、斜面类型及凸面类型等。在波纹板的多个波纹面中,任一波纹面与相邻波纹面的类型不同,从而将不同类型的波纹面区分开来,因此,根据波纹板图像的分割线特征及类型特征,将波纹板图像分割成多个波纹区域,每个波纹区域对应一个波纹面,以使相邻的每两个波纹面所属的类型不同,后续能够按照分割的多个波纹区域对波纹板进行质量检测。
其中,分割线特征用于指示波纹板图像中的不同波纹面之间的分割线,类型特征用于指示波纹板图像中每个像素点对应的类型,该类型为像素点所在的波纹面所属的类型。
202、计算机设备根据分割线特征指示的分割线,将波纹板图像分割成多个参考波纹区域。
由于在波纹板中,相邻的波纹面之间具有分割线,通过分割线特征指示的分割线,将波纹板图像分割成多个参考波纹区域,每个参考波纹区域可能包括一个波纹面。
203、计算机设备根据类型特征,对多个参考波纹区域进行调整,得到波纹板图像的多个目标波纹区域,以使相邻的每两个目标波纹区域对应的波纹面所属的类型不同。
由于在波纹板中相邻的两个波纹面所属的类型不同,则通过类型特征中指示波纹图像中每个像素点所在的波纹面所属的类型,对多个参考波纹区域进行调整,以使相邻的每个波纹区域对应的波纹面所属的类型不同。
本申请实施例提供的方法,考虑到波纹板中相邻的波纹面所属的类型不同,且相邻的波纹面之间具有分割线,则在对波纹板图像进行图像分割时,通过获取波纹板图像的分割线特征及类型特征,以确定波纹板图像中的分割线及每个像素点对应的波纹面类型,丰富了波纹板图像的特征,使按照分割线及每个像素点对应的类型划分得到的多个波纹区域中,相邻的每两个波纹区域对应的类型不同,从而提高了波纹区域的准确性。
图3是本申请实施例提供的一种图像分割方法的流程图,应用于计算机设备中,如图3所示,该方法包括:
301、计算机设备调用特征提取模型,对波纹板图像进行特征提取,得到特征信息,该特征信息包括分割线特征及类型特征。
其中,波纹板图像是包含有波纹板的图像,可选地,该波纹板图像是通过拍摄波纹板得到的。例如,通过线扫相机对波纹板进行扫描,通过线扫成像,得到该波纹板图像,或其,通过他相机拍摄波纹板,得到该波纹板图像。特征提取模型用于提取波纹板图像的特征信息,该特征信息用于描述波纹板图像中的波纹面的特征。分割线特征用于指示波纹板图像中的不同波纹面之间的分割线,每条分割线为相邻的两个波纹面之间的交线。类型特征用于指示波纹板图像中每个像素点对应的类型,该类型为像素点所在的波纹面所属的类型。
由于波纹板中包括多个波纹面,相邻的波纹面之间具有分割线,相邻的两个波纹面所属的类型不同,因此,通过提取波纹板图像中的分割线特征及类型特征,能够根据该分割特征及类型特征对波纹板图像进行分割处理。
在一种可能实现方式中,该分割线特征包括波纹板图像中每个像素点位于分割线上的概率。概率越大,表示对应的像素点位于分割线上的可能性越大,概率越小,表示对应的像素点位于分割线上的可能性越小。
在一种可能实现方式中,该类型特征包括波纹图像中每个像素点所在波纹面属于每个类型的概率。例如,该波纹图像中包括3种类型的波纹面,则对于任一像素点,该类型特征包括该像素点对应的3个概率,该3个概率分别表示该像素点所在波纹面属于3种类型中的每种类型的概率。
像素点所在波纹面属于任一类型的概率越大,表示该像素点所在波纹面属于该类型的可能性越大,像素点所在波纹面属于任一类型的概率越小,表示该像素点所在波纹面属于该类型的可能性越小。
在一种可能实现方式中,特征提取模型包括特征提取子模型、尺度转换子模型及特征检测子模型,则该步骤301包括以下步骤3011-3013:
3011、调用特征提取子模型,对波纹板图像进行特征提取,得到波纹板图像的第一特征图。
其中,第一特征图用于描述波纹板图像中波纹板的特征。该特征提取子模型用于获取波纹板图像的特征图,该特征图用于描述该波纹板图像中的波纹面的信息,可选地,该特征提取子模型为卷积模型。可选地,该卷积模型包括卷积层、归一化层及激活层。其中,该卷积层具有卷积参数,该卷积参数包括卷积核大小、输出通道数目及卷积步长。例如,该卷积层的卷积核大小7×7,该卷积层的输出通道数目为64,该卷积层的卷积步长为2。
3012、调用尺度转换子模型,对第一特征图进行尺度转换,得到波纹板图像的第二特征图。
尺度转换子模型用于对波纹板图像的特征图进行尺度转换,以获取波纹板图像的另一特征图。该第二特征图具有该波纹板图像对应的多个尺度的特征。其中,尺度转换得到的第二特征图与第一特征图的尺度可能相同,也可能不同。
通过尺度转换子模型,对第一特征图进行尺度转换,使第二特征图中包含多个尺度的特征信息,以增强波纹板图像中的波纹面的特征,提高了波纹板图形的特征图的准确性。
在一种可能实现方式中,该步骤3012包括:调用尺度转换子模型,对第一特征图进行尺度转换处理,得到第一特征图对应的多个尺度的参考特征图,将多个尺度的参考特征图进行融合处理,得到波纹板图像的第二特征图。
由于不同尺度的特征图中包含的特征信息可能会不同,因此,通过尺度转换子模型,获取第一特征图对应的多个尺度的参考特征图,并将多个尺度的参考特征图进行融合处理,以使该第二特征图中包含了多个尺度的特征信息,从而提高了特征图的准确性。
可选地,该尺度转换子模型包括多个分支,第一个分支对第一特征图进行卷积处理及尺度变换,得到第一参考特征图,之后,后一个分支对前一个分支尺度变换后的参考特征图进行卷积处理及尺度变换处理,得到一个参考特征图,直至最后一个分支对前一个分支尺度变换后的特征图进行卷积处理,得到最后一个参考特征图,将多个分支得到的多个尺度的参考特征图进行融合,得到该波纹板图像的第二特征图。
如图4所示,以尺度转换子模型包括3个分支为例,第一个分支包括6个卷积层,第二个分支包括4个卷积层,第三个分支包括2个卷积层,通过第一个分支中的第一个和第二个卷积层对第一特征图进行卷积处理,得到特征图1,对特征图1进行尺度变换处理,得到特征图2;通过第一分支中的第三个和第四个个卷积层对特征图1进行卷积处理,得到特征图3;通过第二分支中的第一个和第二个卷积层对特征图2进行卷积处理,得到特征图4,对特征图4进行尺度转换处理,得到特征图5和特征图6;通过第一分支将特征图3与特征图5进行融合处理,并通过第五个和第六个卷积层对融合后的参考特征图进行卷积处理,得到特征图7;通过第二分支中的第三个和第四个卷积层对特征图4进行卷积处理,得到特征图8;通过第三分支中的两个卷积层对特征图6进行卷积处理,得到特征图9,通过对特征图9、特征图8进行尺度变换,使变换后的参考特征图的尺度与特征图7的尺度相同,并将特征图8和特征图9尺度变换后的参考特征图与特征图7进行融合处理,得到该第二特征图。
3013、调用特征检测子模型,对第二特征图进行特征检测,得到特征信息。
其中,特征检测子模型用于检测第二特征图中的特征信息。
通过特征提取子模型及尺度转换子模型,增强了第二特征图中的波纹特征,则通过特征检测子模型来检测第二特征图中的特征信息,能够得到准确的特征信息。
在一种可能实现方式中,特征检测子模型包括分割线检测子模型及类型检测子模型;则该步骤3013包括:调用分割线检测子模型,对第二特征图进行分割线检测,得到分割线特征,调用类型检测子模型,对第二特征图进行类型检测,得到类型特征。
其中,分割线检测子模型用于检测特征图中的分割线特征,类型检测子模型用于检测特征图中的类型特征。通过分割线检测子模型及类型检测子模型,分别对第二特征图进行特征检测,以得到特征图中的分割线特征及类型特征,提高了分割线特征及类型特征的准确性。
在一种可能实现方式中,该特征信息还包括关键点特征,特征检测子模型还包括关键点检测子模型;则该步骤3013还包括:调用关键点检测子模型,对第二特征图进行关键点检测,得到关键点特征。
其中,关键点检测子模型用于检测特征图中的关键点特征,该关键点特征用于指示波纹板图像中位于分割线上的关键点。通过关键点检测子模型获取特征图中的关键点特征,后续能够根据关键点特征对波纹板图像进行分割处理。
如图5所示,通过两个卷积模块对波纹板图像进行特征提取,得到波纹板图像的第一特征图,通过三个高分辨率网络对第一特征图进行尺度转换,得到该波纹板图像的第二特征图,后续分别由关键点检测子模型、分割线检测子模型及类型检测子模型对第二特征图进行特征检测,分别得到关键点特征、分割线特征及类型特征。其中,关键点检测子模型、分割线检测子模型及类型检测子模型均包括两个卷积层。可选地,该高分辨率网络为Hrnet(High Resolution Net,高分辨率网络)。
可选地,调用关键点检测子模型,对第二特征图进行关键点检测,得到关键点初始特征,对该关键点初始特征中的像素点进行筛选处理,得到该关键点特征。
其中,该关键点初始特征中包括该波纹板图像中的每个像素点对应的置信度,该关键点特征中包括该波纹板图像中的部分像素点对应的置信度。通过对关键点初始特征中的像素点进行筛选处理,以提高关键点特征的准确性。
对关键点初始特征中的像素点进行筛选处理的方式,包括以下三种:
第一种方式:根据该关键点初始特征中每个像素点为关键点的概率,选取概率大于参考概率的像素点,生成关键点特征。
其中,参考概率为任意的数值,如0.8或者0.9等。该关键点初始特征包括每个像素点为关键点的概率,该概率表示对应的像素点为关键点的可能性。通过该关键点初始特征,选取概率大的像素点作为关键点,从而提高了关键点特征的准确性。
第二种方式:根据关键点初始特征中每个像素点的位置,对关键点初始特征中的多个像素点进行筛选处理,以使筛选后的像素点中任两个像素点之间的距离大于参考距离,根据筛选后的像素点,生成该关键点特征。
其中,该参考距离为任意的数值,如3或6等,该关键点特征中包括筛选后的每个像素点的位置。
第三种方式:根据该关键点初始特征中每个像素点为关键点的概率,选取概率大于参考概率的像素点,生成关键点参考特征,根据关键点参考特征中每个像素点的位置,对关键点参考特征中的多个像素点进行筛选处理,以使筛选后的像素点中任两个像素点之间的距离大于参考距离,根据筛选后的像素点,生成该关键点特征。
其中,该关键点特征中包括筛选后的每个像素点对应的概率及每个像素点对应的位置。
可选地,在对关键点参考特征中的多个像素点进行筛选处理时,根据多个像素点的位置,确定每两个像素点之间的距离,响应于任两个像素点之间的距离小于参考距离,将该两个像素点中概率较小的像素点进行筛除,根据剩余的像素点的概率及位置,生成该关键点特征。
302、计算机设备根据分割线特征指示的分割线,将波纹板图像分割成多个参考波纹区域。
在本申请实施例中,相邻的每两个波纹面之间具有分割线,因此通过分割线特征指示的分割线,对波纹板图像进行分割,得到多个参考波纹区域,每个参考波纹区域可能表示一个波纹面。
在一种可能实现方式中,该步骤302包括:根据分割线特征,确定波纹板图像中的多条分割线的位置,根据多条分割线的位置,将相邻的每两条分割线之间的区域确定为一个参考波纹区域,得到多个参考波纹区域。
通过分割线特征确定波纹板图像中多条分割线所处的位置,按照多条分割线所处的位置,将相邻的每两条分割线之间的区域确定为一个参考波纹区域,从而能够得到多个参考波纹区域。
可选地,根据该分割线特征,确定波纹板图像中每条分割线的两个端点的坐标,对于相邻的任两条分割线,确定每条分割线的两个端点的坐标,将每条分割线两个端点的坐标,作为参考波纹区域的坐标,由该四个端点的坐标构成参考波纹区域。
例如,第一条分割线的两端的坐标为(1,2)、(1,11),第二条分割线的两端的坐标为(8,2)、(8,11),则由坐标(1,2)、(1,11)、(8,2)、(8,11)构成的矩形作为一个参考波纹区域。
在一种可能实现方式中,该分割线特征中包括波纹板图像中每个像素点位于分割线上的概率,则对该分割线特征中每个像素点位于分割线上的概率进行变换处理,得到该波纹板图像中多条分割线。
例如,通过霍夫变换技术,利用了直线在直角坐标系和极坐标系下的对应关系,对该分割线特征中每个像素点对应的概率进行处理,得到分割线特征对应的多条分割线。
可选地,对该分割线特征中每个像素点位于分割线上的概率进行变换处理,得到多个分割线段,响应于任两条分割线段的两端之间的距离小于参考距离,将该两条分割线段进行连接,得到一条分割线。
303、计算机设备根据类型特征,确定波纹板图像中每个像素点对应的类型。
在本申请实施例中,波纹板图像中包括多个类型的波纹面,例如,波纹面的类型包括凹面、左斜面、凸面、右斜面。通过类型特征,能够获知每个像素点,对应的类型,即每个像素点可能位于对应的类型的波纹面上。
在一种可能实现方式中,类型特征包括波纹板图像中每个像素点所在的波纹面属于每个类型的置信度;该步骤303包括:对于任一像素点,根据像素点所在的波纹面属于每个类型的置信度,将最大置信度对应的类型,确定为像素点所在的波纹面所属的类型。
其中,该类型的置信度用于表示像素点所在的波纹面为该类型的波纹面的可能性,该类型的置信度越高,表示像素点所在的波纹面为该类型的波纹面可能性大,该类型的置信度越低,表示像素点所在的波纹面为该类型的波纹面可能性小。可选地,该置信度用概率表示。
由于波纹板图像中包括多个类型的波纹面,该类型特征能够表示任一像素点所在的波纹面属于每个类型的置信度,则根据该多个置信度,能够确定该像素点对应的类型。例如,多个类型的波纹面包括凹面、左斜面、凸面及右斜面,对于任一像素点,根据该类型特征确定,该像素点位于凹面上的置信度为0.3,该像素点位于左斜面上的置信度为0.5,该像素点位于凸面上的置信度为0.7,该像素点位于右斜面上的置信度为0.9,则能够确定该像素点位于右斜面上,即该像素点对应的类型为右斜面类型。
304、计算机设备根据每个参考波纹区域中的像素点,及每个像素点对应的类型,分别确定每个参考波纹区域对应的类型。
对于波纹板图像对应的任一参考波纹区域,能够确定该参考波纹区域中每个像素点对应的类型,从而根据每个参考波纹区域对应的类型来确定该参考波纹区域对应的类型。
在一种可能实现方式中,对于任一参考波纹区域,根据该参考波纹区域的坐标信息,确定属于该参考波纹区域中的每个像素点,确定该参考波纹区域中的每个像素点对应的类型,根据该每个像素点对应的类型,确定该参考波纹区域对应的类型。
其中,该参考波纹区域的坐标信息用于表示该参考波纹区域所在的位置。可选地,该参考波纹区域的坐标信息包括构成该参考波纹区域的两条分割线的坐标。其中,该两条分割线是多条分割线中相邻的两条分割线,该两条分割线构成该参考波纹区域。
在一种可能实现方式中,该步骤304包括:根据每个参考波纹区域中的像素点,及波纹板图像中每个像素点对应的类型,分别确定每个参考波纹区域对应的类型及类型的置信度。
其中,该类型的置信度用于表示参考波纹区域为该类型的波纹面的可能性,该类型的置信度越高,表示参考波纹区域为该类型的波纹面可能性大,该类型的置信度越低,表示参考波纹区域为该类型的波纹面可能性小。
通过参考波纹区域中的像素点对应的类型,能够确定该参考波纹区域对应的类型,由于参考波纹区域中的不同的像素点对应的类型可能不同,即该参考波纹区域中每个像素点对应的类型可能不完全相同,因此,该参考波纹区域对应的类型可能不准确,为了准确体现该参考波纹区域对应的类型准确与否,采用该类型的置信度来表示其准确度。
在一种可能实现方式中,该步骤304包括以下步骤3041-3044:
3041、对于任一参考波纹区域,根据参考波纹区域中的像素点,及波纹板图像中每个像素点对应的类型,确定参考波纹区域中每个像素点对应的类型。
通过类型特征,能够得到该波纹板图像中每个像素点对应的类型,通过参考波纹区域,能够确定位于该参考波纹区域中的像素点,从而确定该参考波纹区域中每个像素点对应的类型。
3042、根据参考波纹区域中的每个像素点对应的类型,确定参考波纹区域对应的类型。
在确定该参考波纹区域中每个像素点对应的类型后,通过每个像素点对应的类型,能够确定出参考波纹区域对应的类型。
在一种可能实现方式中,该步骤3042包括:根据参考波纹区域中的每个像素点对应的类型,将对应的像素点数目最大的类型,确定为参考波纹区域对应的类型。
在该参考波纹区域中,每个像素点对应的类型可能不同,则通过确定每个类型对应的像素点数目,从中选取对应的像素点数目最大的类型,作为该参考波纹区域对应的类型。例如,对于任一参考波纹区域,第一类型对应的像素点数目为10,第二类型对应的像素点数目为8,第三类型对应的像素点数目为80,则将第三类型确定该参考波纹区域对应的类型。
3043、获取参考波纹区域中,类型与参考波纹区域对应的类型相同的像素点数目。
通过该参考波纹区域中每个像素点对应的类型,能够确定出类型与参考波纹区域对应的类型相同的像素点数目。
3044、将像素点数目与参考波纹区域中像素点总数目之间的比值,作为参考波纹区域对应的类型的置信度。
其中,该置信度能够表示该参考波纹区域对应的类型的准确性,置信度越大,准确性越高,置信度越小,准确度越低。
305、计算机设备根据多个参考波纹区域对应的类型,对多个参考波纹区域进行调整,得到多个目标波纹区域。
由于根据分割线特征指示的分割线,得到的多个参考波纹区域中可能存在不准确的波纹区域,因此,为了提高波纹区域的准确性,通过多个参考波纹区域对应的类型,对多个参考波纹区域进行调整,以使相邻的每两个目标波纹区域对应的波纹面所属的类型不同,从而提高目标波纹区域的准确性。
在一种可能实现方式中,该步骤305包括:响应于相邻的任两个参考波纹区域对应的类型相同,将任两个参考波纹区域进行合并,得到一个目标波纹区域;响应于任一参考波纹区域与相邻参考波纹区域对应的类型不同,将任一参考波纹区域确定为目标波纹区域。
在波纹板中包括多个类型的波纹面,且任两个相邻的波纹面对应的类型不同。因此,在确定多个参考波纹区域对应的类型后,通过根据多个参考波纹区域位置及每个参考波纹区域对应的类型,如果存在相邻两个参考波纹区域对应的类型相同,则将该两个参考波纹区域进行合并,作为一个目标波纹区域,如果相邻参考波纹区域的类型均不同,则将该参考波纹区域作为一个目标波纹区域,从而保证多个目标波纹区域的准确性。图6中包括3个图,每个图中包括波纹板的多个波纹区域的俯视图及对应的波纹板的形状。在图6的第一个图中,波纹板包括5个波纹区域,通过该波纹板的形状,可知该5个波纹区域从左至右依次为凹面、左斜面、凸面、右斜面和凹面。图6中的第三个图中的参考波纹区域601和参考波纹区域602在同一个凹面上,即该参考波纹区域601和参考波纹区域602为过分割的参考波纹区域,通过将参考波纹区域601和参考波纹区域602进行合并,作为一个目标波纹区域603,如图6中的第一个图所示。
可选地,在响应于相邻的任两个参考波纹区域对应的类型相同,将任两个参考波纹区域进行合并,得到合并波纹区域,该合并波纹区域对应的类型与该两个参考波纹区域对应的类型相同,响应于该合并波纹区域与相邻的两个参考波纹区域对应的类型不同,则将该合并波纹区域作为一个目标波纹区域,响应于该合并波纹区域与任一相邻的相邻参考波纹区域对应的类型相同,则将该合并波纹区域与该相邻参考波纹区域进行合并,直至得到的合并波纹区域与相邻参考区域对应的类型均不相同,则将得到的合并波纹区域作为一个目标波纹区域。
在一种可能实现方式中,特征信息还包括关键点特征,关键点特征用于指示波纹板图像中位于分割线上的关键点;该步骤305包括以下步骤3051-3053:
3051、响应于任一参考波纹区域对应的置信度小于参考置信度,根据关键点特征,确定位于参考波纹区域内的至少两个目标关键点。
其中,参考置信度为任意置信度,如0.8或0.9等。该参考波纹区域对应的置信度即为参考波纹区域对应的类型的置信度,用于表示该参考波纹区域对应的类型的准确性。
在本申请实施例中,如果任意参考波纹区域对应的置信度小于参考置信度,表示该参考波纹区域对应的类型的准确度低,则后续需要对该参考波纹区域进行调整,因此,确定位于该参考波纹区域内的至少两个目标关键点,以使后续根据该至少两个目标关键点对该参考波纹区域进行调整。
在一种可能实现方式中,该步骤3051包括:根据关键点特征中多个关键点的位置,及参考波纹区域在波纹板图像中的位置,确定位于参考波纹区域内的至少两个目标关键点。
可选地,关键点特征用于指示波纹板图像中位于分割线上的关键点及关键点的置信度,则根据关键点特征中多个关键点的位置及参考波纹区域在波纹板图像中的位置,确定位于参考波纹区域内的多个参考关键点,根据关键点特征中多个参考关键点的置信度,从多个参考关键点中选取至少两个目标关键点。
其中,目标关键点为该参考波纹区域中还可能存在的分割线上的关键点。
3052、根据至少两个关键点构成的分割线,对参考波纹区域进行分割处理,得到目标波纹区域。
通过该至少两个关键点,构成至少一条分割线,通过该至少一条分割线对该参考波纹区域进行分割处理,得到至少两个目标波纹区域。
在一种可能实现方式中,该步骤3052包括:根据至少两个关键点构成的分割线,对参考波纹区域进行分割处理,得到至少两个分割波纹区域,确定每个分割波纹区域的类型及类型的置信度,响应于任一分割波纹区域对应的置信度大于参考置信度,将该分割波纹区域作为一个目标波纹区域,响应于任一分割波纹区域对应的置信度小于参考置信度,则重复上述步骤,对该分割波纹区域继续进行分割。图6中的第二个图中的参考波纹区域604需要根据目标关键点进行分割,通过分割处理后得到的目标波纹区域605和目标波纹区域606,如图6中的第一个图所示。
3053、响应于任一参考波纹区域对应的置信度大于参考置信度,将任一参考波纹区域作为目标波纹区域。
如果任一参考波纹区域对应的置信度大于参考置信度,表示该参考波纹区域对应的类型准确,即可将该参考波纹区域作为一个目标波纹区域。
需要说明的是,本申请实施例是以通过确定每个像素点的类型及每个参考波纹区域的类型,对多个参考波纹区域进行调整进行说明的,而在另一实施例中,无需执行步骤303-305,能够采取其他方式,根据类型特征,对多个参考波纹区域进行调整,得到波纹板图像的多个目标波纹区域。
需要说明的是,本申请实施例仅是通过对波纹板图像进行图像分割处理,得到波纹板图像的多个波纹区域进行说明的,而在另一实施例中,还能够提取波纹板图像的点云数据,后续通过特征提取模型对波纹板图像的点云数据进行分析,以得到波纹板图像的特征信息,从而得到波纹板图像的多个波纹区域。
通过本申请实施例提供的方法,利用了图像处理技术和图像分割技术来对采集到的波纹板图像进行波纹区域定位,提高了图像分割的准确性和鲁棒性。并且,特征提取模型包括高分辨率网络、分割线检测子模型、类型检测子模型及关键点检测子模型,通过多任务学习的方式对特征提取模型进行训练,使得训练后的特征提取模型能够准确输出波纹板图像中的关键点特征、分割线特征及类型特征,并且利用了三种特征之间的协同促进效应,同时结合关键点特征、分割线特征及类型特征,避免了仅使用分割线特征带来的区域定位错误问题,提高了图像波纹区域的准确性。
本申请实施例提供的方法,考虑到波纹板中相邻的波纹面所属的类型不同,且相邻的波纹面之间具有分割线,则在对波纹板图像进行图像分割时,通过获取波纹板图像的分割线特征及类型特征,以确定波纹板图像中的分割线及每个像素点对应的波纹面类型,丰富了波纹板图像的特征,使按照分割线及每个像素点对应的类型划分得到的多个波纹区域中,相邻的每两个波纹区域对应的类型不同,从而提高了波纹区域的准确性。
并且,通过波纹板图像中的分割线特征、类型特征及关键点特征对波纹板图像进行分割处理,丰富了波纹板图像中的特征,从而提高了波纹区域的准确性。
基于上述实施例,图7示出了一种对波纹板图像进行图像分割的流程,如图7所示,该流程包括:
1、通过线扫相机拍摄波纹板,得到波纹板图像。
2、将得到的波纹板图像输入特征提取模型中,通过对波纹板图像进行关键点检测,得到关键点特征;通过对波纹板图像进行分割线检测,得到分割线特征;通过对波纹板图像进行类型检测,得到波纹板图像的类型特征。
3、通过分割线特征指示的多条分割线,将波纹板图像分割成多个参考波纹区域,并根据该关键点特征及该类型特征对多个参考波纹区域进行调整,得到该波纹板图像中的多个目标波纹区域及每个目标波纹区域的类型。
需要明的是,本申请实施例仅是以使用分割线检测子模型、类型检测子模型及关键点检测子模型进行说明的,而在调用分割线检测子模型、类型检测子模型及关键点检测子模型之前,需要对分割线检测子模型、类型检测子模型及关键点检测子模型进行训练。本申请实施例中,通过采用多任务的方式,对分割线检测子模型、类型检测子模型及关键点检测子模型进行同步训练,以使这三个子模型相互同促进,从而得到具有相关性的分割线检测子模型、类型检测子模型及关键点检测子模型。对该分割线检测子模型、类型检测子模型及关键点检测子模型的训练过程,如下所示:
1、获取样本波纹板图像的样本特征图,及该样本波纹板图像对应的样本分割线特征、样本类型特征及样本关键点特征。
其中,样本分割线特征、样本类型特征及样本关键点特征均是通过对样本波纹板图像进行标注得到的,该样本分割线特征用于指示样本波纹板图像中真实的分割线的特征,该样本类型特征用于指示样本波纹板图像中每个像素点对应的真实的类型,该样本关键点特征用于指示样本波纹板图像中真实的关键点。
2、调用分割线检测子模型,对该样本特征图进行分割线检测,得到预测分割线特征,根据该预测分割线特征及该样本分割线特征,对该分割线检测子模型进行训练。
在一种可能实现方式中,在对该分割线检测子模型进行训练时,根据该预测分割线特征及该样本分割线特征,确定该分割线检测子模型的第一损失值,根据该第一损失值对该分割线检测子模型进行训练。
可选地,该第一损失值为交叉熵损失值。
可选地,该预测分割线特征、该样本分割线特征及该第一损失值满足以下关系:
其中,L1表示第一损失值;N表示样本波纹板图像中像素点的总个数;x、y表示样本波纹板图像中像素点的坐标,用于指示样本波纹板图像中的像素点;c表示像素点的类别,该类别用于指示像素点是否为分割线上的像素点;Mxyc表示坐标为x、y的像素点属于类别c的真实概率;表示坐标为x、y的像素点属于类别c的预测概率。
3、调用类型检测子模型,对该样本特征图进行类型检测,得到预测类型特征,根据该预测类型特征及该样本类型特征,对该类型检测子模型进行训练。
在一种可能实现方式中,在对该类型检测子模型进行训练时,根据该预测类型特征及该样本类型特征,确定该类型检测子模型的第二损失值,根据该第二损失值对该类型检测子模型进行训练。
4、调用关键点检测子模型,对该样本第二特征图进行关键点检测,得到预测关键点特征,根据该预测关键点特征及该样本关键点特征,对该关键点检测子模型进行训练。
在一种可能实现方式中,在对该关键点检测子模型进行训练时,根据该预测关键点特征及该样本关键点特征,确定该关键点检测子模型的第三损失值,根据该第三损失值对该关键点检测子模型进行训练。
可选地,该预测关键点特征、该样本关键点特征及该第三损失值满足以下关系:
其中,L2表示第三损失值;N表示样本波纹板图像中像素点的总个数;x、y表示样本波纹板图像中像素点的坐标,用于指示样本波纹板图像中的像素点;Zxy表示坐标为x、y的像素点为关键点的真实概率;Zxy=1表示坐标为x、y的像素点为真实的关键点;Zxy≠1表示坐标为x、y的像素点不是真实的关键点;表示坐标为x、y的像素点为关键点的预测概率;α、β为调整参数,均可以为任意数值。
在本申请实施例中,在对分割线检测子模型、类型检测子模型及关键点检测子模型进行训练过程中,同时利用波纹板图像中的关键点、分割线、波纹面,对分割线检测子模型、类型检测子模型及关键点检测子模型进行训练,提高了特征提取模型的鲁棒性,避免利用单一信息而造成的特征提取模型的性能不稳定。采用多任务学习的策略,通过波纹板图像的关键点、分割线、波纹面,分别对分割线检测子模型、类型检测子模型及关键点检测子模型进行训练,有利于三者信息相互借鉴、相互促进。通过一个统一的网络结构输出三种信息,既可以减小网络模型的占用空间,也可以减少特征提取时的冗余计算,加快特征提取模型的处理速度。且在该特征提取模型中,采用高分辨率网络,重复使用自底向上和自顶向下的处理方式来获得每张输入波纹板图像的多尺度信息,有利于获得更加精确的像素级预测结果,从而提高了特征提取模型的准确性。
基于上述实施例提供的图像分割方法,应用于对波纹板进行缺陷分析的场景下,如图8所示,通过采集波纹板图像,基于上述实施例提供的图像分割方法,对采集到的波纹板图像进行特征提取,得到该波纹板图像的关键点特征、分割线特征及类型特征。如图9所示,在波纹板图像中包括该关键点特征指示的多个关键点901;如图10所示,在波纹板图像中包括该分割线特征指示的多条分割线1001。通过该波纹板图像的关键点特征、分割线特征及类型特征,对波纹板图像进行图像分割,定位出该波纹板图像中的多个波纹区域。如图11所示,在波纹板图像中包括定位得到的多个波纹区域1101。在定位出波纹板图像中的多个波纹区域后,后续通过定位的波纹区域对波纹板进行缺陷分析,以确定波纹板的质量。
图12是本申请实施例提供的一种图像分割装置的结构示意图,如图12所示,该装置包括:
特征提取模块1201,用于对波纹板图像进行特征提取,得到波纹板图像的特征信息,特征信息包括分割线特征及类型特征,分割线特征用于指示波纹板图像中的不同波纹面之间的分割线,类型特征用于指示波纹板图像中每个像素点对应的类型,类型为像素点所在的波纹面所属的类型;
图像分割模块1202,用于根据分割线特征指示的分割线,将波纹板图像分割成多个参考波纹区域;
区域调整模块1203,用于根据类型特征,对多个参考波纹区域进行调整,得到波纹板图像的多个目标波纹区域,以使相邻的每两个目标波纹区域对应的波纹面所属的类型不同。
在一种可能实现方式中,如图13所示,图像分割模块1202,包括:
位置确定单元1221,用于根据分割线特征,确定波纹板图像中的多条分割线的位置;
区域确定单元1222,用于根据多条分割线的位置,将相邻的每两条分割线之间的区域确定为一个参考波纹区域,得到多个参考波纹区域。
在另一种可能实现方式中,如图13所示,区域调整模块1203,包括:
第一确定单元1231,用于根据类型特征,确定波纹板图像中每个像素点对应的类型;
第二确定单元1232,用于根据每个参考波纹区域中的像素点,及每个像素点对应的类型,分别确定每个参考波纹区域对应的类型;
区域调整单元1233,用于根据多个参考波纹区域对应的类型,对多个参考波纹区域进行调整,得到多个目标波纹区域。
在另一种可能实现方式中,如图13所示,区域调整单元1233,包括:
区域合并子单元12331,用于响应于相邻的任两个参考波纹区域对应的类型相同,将任两个参考波纹区域进行合并,得到一个目标波纹区域;
第一确定子单元12332,用于响应于任一参考波纹区域与相邻参考波纹区域对应的类型不同,将任一参考波纹区域确定为目标波纹区域。
在另一种可能实现方式中,第二确定单元1232,用于根据每个参考波纹区域中的像素点,及每个像素点对应的类型,分别确定每个参考波纹区域对应的类型及类型的置信度。
在另一种可能实现方式中,特征信息还包括关键点特征,关键点特征用于指示波纹板图像中位于分割线上的关键点;
如图13所示,区域调整单元1233,包括:
第二确定子单元12333,用于响应于任一参考波纹区域对应的置信度小于参考置信度,根据关键点特征,确定位于参考波纹区域内的至少两个目标关键点;
分割处理子单元12334,用于根据至少两个关键点构成的分割线,对参考波纹区域进行分割处理,得到目标波纹区域。
在另一种可能实现方式中,第二确定子单元12333,用于根据关键点特征中多个关键点的位置,及参考波纹区域在波纹板图像中的位置,确定位于参考波纹区域内的至少两个目标关键点。
在另一种可能实现方式中,关键点特征用于指示波纹板图像中位于分割线上的关键点及关键点的置信度,第二确定子单元12333,用于根据关键点特征中多个关键点的位置及参考波纹区域在波纹板图像中的位置,确定位于参考波纹区域内的多个参考关键点;根据关键点特征中多个参考关键点的置信度,从多个参考关键点中选取至少两个目标关键点。
在另一种可能实现方式中,如图13所示,区域调整单元1233,还包括:
第三确定子单元12335,用于响应于任一参考波纹区域对应的置信度大于参考置信度,将任一参考波纹区域作为目标波纹区域。
在另一种可能实现方式中,如图13所示,第二确定单元1232,包括:
第四确定子单元12321,用于对于任一参考波纹区域,根据参考波纹区域中的像素点,及每个像素点对应的类型,确定参考波纹区域中每个像素点对应的类型;
第五确定子单元12322,用于根据参考波纹区域中的每个像素点对应的类型,确定参考波纹区域对应的类型。
在另一种可能实现方式中,第五确定子单元12322,用于根据参考波纹区域中的每个像素点对应的类型,将对应的像素点数目最大的类型,确定为参考波纹区域对应的类型。
在另一种可能实现方式中,如图13所示,装置还包括:
数目获取模块1204,用于获取参考波纹区域中,类型与参考波纹区域对应的类型相同的像素点数目;
置信度确定模块1205,用于将像素点数目与参考波纹区域中像素点总数目之间的比值,作为参考波纹区域对应的类型的置信度。
在另一种可能实现方式中,类型特征包括波板纹图像中每个像素点所在的波纹面属于每个类型的置信度;
第一确定单元1231,包括:
类型确定子单元12311,用于对于任一像素点,根据像素点所在的波纹面属于每个类型的置信度,将最大置信度对应的类型,确定为像素点所在的波纹面所属的类型。
在另一种可能实现方式中,如图13所示,特征提取模块1201,包括:
特征提取单元1211,用于调用特征提取模型,对波纹板图像进行特征提取,得到特征信息。
在另一种可能实现方式中,特征提取模型包括特征提取子模型、尺度转换子模型及特征检测子模型;
如图13所示,特征提取单元1211,包括:
第一提取子单元12111,用于调用特征提取子模型,对波纹板图像进行特征提取,得到波纹板图像的第一特征图;
第二提取子单元12112,用于调用尺度转换子模型,对第一特征图进行尺度转换,得到波纹板图像的第二特征图;
第三提取子单元12113,用于调用特征检测子模型,对第二特征图进行特征检测,得到特征信息。
在另一种可能实现方式中,特征检测子模型包括分割线检测子模型及类型检测子模型;
第三提取子单元12113,用于调用分割线检测子模型,对第二特征图进行分割线检测,得到分割线特征;调用类型检测子模型,对第二特征图进行类型检测,得到类型特征。
在另一种可能实现方式中,特征检测子模型还包括关键点检测子模型;第三提取子单元12113,还用于调用关键点检测子模型,对第二特征图进行关键点检测,得到关键点特征。
在另一种可能实现方式中,第二提取子单元12112,用于调用尺度转换子模型,对第一特征图进行尺度转换处理,得到第一特征图对应的多个尺度的参考特征图;将多个尺度的参考特征图进行融合处理,得到波纹板图像的第二特征图。
需要说明的是:上述实施例提供的图像分割装置仅以上述各功能模块的划分进行举例说明,实际应用中,能够根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像分割装置与图像分割方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行以实现上述实施例的图像分割方法中所执行的操作。
可选地,该计算机设备提供为终端。图14示出了本申请一个示例性实施例提供的终端1400的结构框图。该终端1400可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
电子设备1400包括有:处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1401可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1402中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器1401所执行以实现本申请中方法实施例提供的图像分割方法。
在一些实施例中,电子设备1400还可选包括有:***设备接口1403和至少一个***设备。处理器1401、存储器1402和***设备接口1403之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1403相连。具体地,***设备包括:射频电路1404、显示屏1405、摄像头组件1406、音频电路1407、定位组件1408和电源1409中的至少一种。
***设备接口1403可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1401和存储器1402。在一些实施例中,处理器1401、存储器1402和***设备接口1403被集成在同一芯片或电路板上;在一些其他实施例中,处理器1401、存储器1402和***设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1404包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时,显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时,显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1405可以为一个,设置在电子设备1400的前面板;在另一些实施例中,显示屏1405可以为至少两个,分别设置在电子设备1400的不同表面或呈折叠设计;在另一些实施例中,显示屏1405可以是柔性显示屏,设置在电子设备1400的弯曲表面上或折叠面上。甚至,显示屏1405还可以设置成非矩形的不规则图形,也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1406用于采集图像或视频。可选地,摄像头组件1406包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1401进行处理,或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1407还可以包括耳机插孔。
定位组件1408用于定位电子设备1400的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件1408可以是基于美国的GPS(Global Positioning System,全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1409用于为电子设备1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,电子设备1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于:加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。
加速度传感器1411可以检测以电子设备1400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1411采集的重力加速度信号,控制显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1412可以检测电子设备1400的机体方向及转动角度,陀螺仪传感器1412可以与加速度传感器1411协同采集用户对电子设备1400的3D动作。处理器1401根据陀螺仪传感器1412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1413可以设置在电子设备1400的侧边框和/或显示屏1405的下层。当压力传感器1413设置在电子设备1400的侧边框时,可以检测用户对电子设备1400的握持信号,由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在显示屏1405的下层时,由处理器1401根据用户对显示屏1405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1414用于采集用户的指纹,由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份,或者,由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1414可以被设置在电子设备1400的正面、背面或侧面。当电子设备1400上设置有物理按键或厂商Logo时,指纹传感器1414可以与物理按键或厂商Logo集成在一起。
光学传感器1415用于采集环境光强度。在一个实施例中,处理器1401可以根据光学传感器1415采集的环境光强度,控制显示屏1405的显示亮度。具体地,当环境光强度较高时,调高显示屏1405的显示亮度;当环境光强度较低时,调低显示屏1405的显示亮度。在另一个实施例中,处理器1401还可以根据光学传感器1415采集的环境光强度,动态调整摄像头组件1406的拍摄参数。
接近传感器1416,也称距离传感器,设置在电子设备1400的前面板。接近传感器1416用于采集用户与电子设备1400的正面之间的距离。在一个实施例中,当接近传感器1416检测到用户与电子设备1400的正面之间的距离逐渐变小时,由处理器1401控制显示屏1405从亮屏状态切换为息屏状态;当接近传感器1416检测到用户与电子设备1400的正面之间的距离逐渐变大时,由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图14中示出的结构并不构成对电子设备1400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
可选地,该计算机设备提供为服务器。图15是本申请实施例提供的一种服务器的结构示意图,该服务器1500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)1501和一个或一个以上的存储器1502,其中,存储器1502中存储有至少一条程序代码,至少一条程序代码由处理器1501加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器1500可以用于执行上述图像分割方法中服务器所执行的步骤。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行以实现上述实施例的图像分割方法中所执行的操作。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备实现如上述实施例的图像分割方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像分割方法,其特征在于,所述方法包括:
对波纹板图像进行特征提取,得到所述波纹板图像的特征信息,所述特征信息包括分割线特征及类型特征,所述分割线特征用于指示所述波纹板图像中的不同波纹面之间的分割线,所述类型特征用于指示所述波纹板图像中每个像素点对应的类型,所述类型为所述像素点所在的波纹面所属的类型;
根据所述分割线特征指示的分割线,将所述波纹板图像分割成多个参考波纹区域;
根据所述类型特征,对所述多个参考波纹区域进行调整,得到所述波纹板图像的多个目标波纹区域,以使相邻的每两个目标波纹区域对应的波纹面所属的类型不同。
2.根据权利要求1所述的方法,其特征在于,所述根据所述分割线特征指示的分割线,将所述波纹板图像分割成多个参考波纹区域,包括:
根据所述分割线特征,确定所述波纹板图像中的多条分割线的位置;
根据所述多条分割线的位置,将相邻的每两条分割线之间的区域确定为一个参考波纹区域,得到所述多个参考波纹区域。
3.根据权利要求1所述的方法,其特征在于,所述根据所述类型特征,对所述多个参考波纹区域进行调整,得到所述波纹板图像的多个目标波纹区域,包括:
根据所述类型特征,确定所述波纹板图像中每个像素点对应的类型;
根据每个参考波纹区域中的像素点,及所述每个像素点对应的类型,分别确定所述每个参考波纹区域对应的类型;
根据所述多个参考波纹区域对应的类型,对所述多个参考波纹区域进行调整,得到所述多个目标波纹区域。
4.根据权利要求3所述的方法,其特征在于,所述根据所述多个参考波纹区域对应的类型,对所述多个参考波纹区域进行调整,得到所述多个目标波纹区域,包括:
响应于相邻的任两个参考波纹区域对应的类型相同,将所述任两个参考波纹区域进行合并,得到一个目标波纹区域;
响应于任一参考波纹区域与相邻参考波纹区域对应的类型不同,将所述任一参考波纹区域确定为目标波纹区域。
5.根据权利要求3所述的方法,其特征在于,所述根据每个参考波纹区域中的像素点,及所述每个像素点对应的类型,分别确定所述每个参考波纹区域对应的类型,包括:
根据所述每个参考波纹区域中的像素点,及所述每个像素点对应的类型,分别确定所述每个参考波纹区域对应的类型及所述类型的置信度。
6.根据权利要求5所述的方法,其特征在于,所述特征信息还包括关键点特征,所述关键点特征用于指示所述波纹板图像中位于分割线上的关键点;
所述根据所述多个参考波纹区域对应的类型,对所述多个参考波纹区域进行调整,得到所述多个目标波纹区域,包括:
响应于任一参考波纹区域对应的置信度小于参考置信度,根据所述关键点特征,确定位于所述参考波纹区域内的至少两个目标关键点;
根据所述至少两个关键点构成的分割线,对所述参考波纹区域进行分割处理,得到目标波纹区域。
7.根据权利要求6所述的方法,其特征在于,所述根据所述关键点特征,确定位于所述参考波纹区域内的至少两个目标关键点,包括:
根据所述关键点特征中多个关键点的位置,及所述参考波纹区域在所述波纹板图像中的位置,确定位于所述参考波纹区域内的至少两个目标关键点。
8.根据权利要求3所述的方法,其特征在于,所述根据每个参考波纹区域中的像素点,及所述每个像素点对应的类型,分别确定所述每个参考波纹区域对应的类型,包括:
对于任一参考波纹区域,根据所述参考波纹区域中的像素点,及所述每个像素点对应的类型,确定所述参考波纹区域中每个像素点对应的类型;
根据所述参考波纹区域中的每个像素点对应的类型,确定所述参考波纹区域对应的类型。
9.根据权利要求8所述的方法,其特征在于,所述根据所述参考波纹区域中的每个像素点对应的类型,确定所述参考波纹区域对应的类型,包括:
根据所述参考波纹区域中的每个像素点对应的类型,将对应的像素点数目最大的类型,确定为所述参考波纹区域对应的类型。
10.根据权利要求1所述的方法,其特征在于,所述对波纹板图像进行特征提取,得到所述波纹板图像的特征信息,包括:
调用特征提取模型,对所述波纹板图像进行特征提取,得到所述特征信息。
11.根据权利要求10所述的方法,其特征在于,所述特征提取模型包括特征提取子模型、尺度转换子模型及特征检测子模型;
所述调用特征提取模型,对所述波纹板图像进行特征提取,得到所述特征信息,包括:
调用所述特征提取子模型,对所述波纹板图像进行特征提取,得到所述波纹板图像的第一特征图;
调用所述尺度转换子模型,对所述第一特征图进行尺度转换,得到所述波纹板图像的第二特征图;
调用所述特征检测子模型,对所述第二特征图进行特征检测,得到所述特征信息。
12.根据权利要求11所述的方法,其特征在于,所述调用所述尺度转换子模型,对所述第一特征图进行尺度转换,得到所述波纹板图像的第二特征图,包括:
调用所述尺度转换子模型,对所述第一特征图进行尺度转换处理,得到所述第一特征图对应的多个尺度的参考特征图;
将所述多个尺度的参考特征图进行融合处理,得到所述波纹板图像的第二特征图。
13.一种图像分割装置,其特征在于,所述装置包括:
特征提取模块,用于对波纹板图像进行特征提取,得到所述波纹板图像的特征信息,所述特征信息包括分割线特征及类型特征,所述分割线特征用于指示所述波纹板图像中的不同波纹面之间的分割线,所述类型特征用于指示所述波纹板图像中每个像素点对应的类型,所述类型为所述像素点所在的波纹面所属的类型;
图像分割模块,用于根据所述分割线特征指示的分割线,将所述波纹板图像分割成多个参考波纹区域;
区域调整模块,用于根据所述类型特征,对所述多个参考波纹区域进行调整,得到所述波纹板图像的多个目标波纹区域,以使相邻的每两个目标波纹区域对应的波纹面所属的类型不同。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至12任一权利要求所述的图像分割方法中所执行的操作。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至12任一权利要求所述的图像分割方法中所执行的操作。
CN202011079909.2A 2020-10-10 2020-10-10 图像分割方法、装置、计算机设备及存储介质 Active CN112053360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011079909.2A CN112053360B (zh) 2020-10-10 2020-10-10 图像分割方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011079909.2A CN112053360B (zh) 2020-10-10 2020-10-10 图像分割方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112053360A CN112053360A (zh) 2020-12-08
CN112053360B true CN112053360B (zh) 2023-07-25

Family

ID=73606056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011079909.2A Active CN112053360B (zh) 2020-10-10 2020-10-10 图像分割方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112053360B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223019B (zh) * 2021-05-21 2024-03-26 深圳乐居智能电子有限公司 一种清扫区域的分区方法、装置及清扫设备
CN113223020B (zh) * 2021-05-21 2024-03-26 深圳乐居智能电子有限公司 一种清扫区域的分区方法、装置及清扫设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247583A (en) * 1989-11-01 1993-09-21 Hitachi, Ltd. Image segmentation method and apparatus therefor
CN101826204A (zh) * 2009-03-04 2010-09-08 中国人民解放军63976部队 基于改进的水线算法的快速颗粒图像分割方法
CN107767412A (zh) * 2017-09-11 2018-03-06 西安中兴新软件有限责任公司 一种图像处理方法及装置
CN109523553A (zh) * 2018-11-13 2019-03-26 华际科工(北京)卫星通信科技有限公司 一种基于lsd直线检测分割算法的集装箱异动监测方法
CN111091572A (zh) * 2019-12-18 2020-05-01 上海众源网络有限公司 一种图像处理方法、装置、电子设备及存储介质
WO2020134010A1 (zh) * 2018-12-27 2020-07-02 北京字节跳动网络技术有限公司 对图像关键点提取模型的训练及图像关键点提取
CN111445486A (zh) * 2020-03-25 2020-07-24 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技(深圳)有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10330608B2 (en) * 2012-05-11 2019-06-25 Kla-Tencor Corporation Systems and methods for wafer surface feature detection, classification and quantification with wafer geometry metrology tools

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247583A (en) * 1989-11-01 1993-09-21 Hitachi, Ltd. Image segmentation method and apparatus therefor
CN101826204A (zh) * 2009-03-04 2010-09-08 中国人民解放军63976部队 基于改进的水线算法的快速颗粒图像分割方法
CN107767412A (zh) * 2017-09-11 2018-03-06 西安中兴新软件有限责任公司 一种图像处理方法及装置
CN109523553A (zh) * 2018-11-13 2019-03-26 华际科工(北京)卫星通信科技有限公司 一种基于lsd直线检测分割算法的集装箱异动监测方法
WO2020134010A1 (zh) * 2018-12-27 2020-07-02 北京字节跳动网络技术有限公司 对图像关键点提取模型的训练及图像关键点提取
CN111091572A (zh) * 2019-12-18 2020-05-01 上海众源网络有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111445486A (zh) * 2020-03-25 2020-07-24 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技(深圳)有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置

Also Published As

Publication number Publication date
CN112053360A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN111091132B (zh) 基于人工智能的图像识别方法、装置、计算机设备及介质
CN109299315B (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
CN110059685B (zh) 文字区域检测方法、装置及存储介质
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
CN111489378B (zh) 视频帧特征提取方法、装置、计算机设备及存储介质
CN110059652B (zh) 人脸图像处理方法、装置及存储介质
CN111897996B (zh) 话题标签推荐方法、装置、设备及存储介质
CN111931877B (zh) 目标检测方法、装置、设备及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110162604B (zh) 语句生成方法、装置、设备及存储介质
CN111104980B (zh) 确定分类结果的方法、装置、设备及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN111209377B (zh) 基于深度学习的文本处理方法、装置、设备及介质
CN113378705B (zh) 车道线检测方法、装置、设备及存储介质
CN111178343A (zh) 基于人工智能的多媒体资源检测方法、装置、设备及介质
CN112053360B (zh) 图像分割方法、装置、计算机设备及存储介质
CN110991445B (zh) 竖排文字识别方法、装置、设备及介质
CN111325220A (zh) 图像生成方法、装置、设备及存储介质
CN112818979B (zh) 文本识别方法、装置、设备及存储介质
CN110990728B (zh) 兴趣点信息的管理方法、装置、设备及存储介质
CN111639639B (zh) 检测文本区域的方法、装置、设备及存储介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN111611414B (zh) 车辆检索方法、装置及存储介质
CN113343709B (zh) 意图识别模型的训练方法、意图识别方法、装置及设备
CN114925667A (zh) 内容分类方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035791

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant