CN111028261B - 高精度半自动化图像数据标注方法、电子装置及存储介质 - Google Patents
高精度半自动化图像数据标注方法、电子装置及存储介质 Download PDFInfo
- Publication number
- CN111028261B CN111028261B CN201911117406.7A CN201911117406A CN111028261B CN 111028261 B CN111028261 B CN 111028261B CN 201911117406 A CN201911117406 A CN 201911117406A CN 111028261 B CN111028261 B CN 111028261B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- executing
- coordinate point
- area
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种高精度半自动化图像数据标注方法、电子装置及存储介质,通过在步骤S200中获取未选择区域坐标点及第一范围值,通过鼠标在未选择区域上点击获取到鼠标的坐标作为未选择区域坐标点。通过多次选择未选择区域坐标点及第一范围值,可以在每一次grabcut分割后再执行边缘跟踪算法获得当前边缘坐标,利用每一次获得的当前边缘坐标更新局部坐标集合。由于步骤S800可以在出现误选区域的情况下,接受用户误选区域坐标点及第二范围值,并相应的把误选区域删除,提供了修正功能,进一步提升了图像标注的精度。
Description
技术领域
本发明涉及计算机图像处理技术领域,特别涉及一种高精度半自动化图像数据标注方法、电子装置及存储介质。
背景技术
grabcut图像分割算法是一种有效的从复杂背景中提取前景目标的图像分割算法,利用了图像中的纹理(颜色)信息和边界(反差)信息,图像分割效果比较好。输入一个包含目标的图像,使用grabcut算法进行图像切割,即可将前景目标从背景图像中分离出来,输出目标为白色和背景为黑色的二值化图片。
grabcut算法的交互方法是通过用户画框来实现。用户画一个框,框住前景物体,鼠标释放以后,前景就可以被分割出来。如图5所示,为现有技术中,使用grabcut算法进行图像分割的效果图。一般可以通过grabcut算法来将前景分割出来,从而获得前景图像的标注数据。但是在采用grabcut算法获取标注数据的时候,只能对前景图像画一个框,导致在对某些轮廓形状比较特别的前景图像使用grabcut算法时,画的框范围特别大,从而在框内存在较多的背景像素,导致grabcut算法精度下降。同时,由于传统的grabcut算法缺少对图像分割得到的目标图像进行修正的功能,即如果数据标注过程中的图像分割效果不好,出现了目标图像边缘附近将部分背景图像包含在内的情况,对其修正的方法效率较低。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种高精度半自动化图像数据标注方法、电子装置及存储介质,能够多次对待标注图像执行grabcut算法获取前景图像的轮廓坐标,并且在获取的前景图像存在误选区域的情况下运行修正,提升了获取到的图像标注数据的精度。
第一方面,本发明实施例提供一种高精度半自动化图像数据标注方法,包括以下步骤:
步骤S100:显示待标注图像,所述待标注图像包括已选择区域和未选择区域;
步骤S200:获取未选择区域坐标点及第一范围值;
步骤S300:基于获取的获取未选择区域坐标点及第一范围值执行grabcut算法并获得grabcut算法分割后二值化图片;
步骤S400:对二值化图片执行边缘跟踪算法获取当前边缘坐标;
步骤S500:基于获取的当前边缘坐标更新局部坐标集合;
步骤S600:基于获取的局部坐标集合更新所述待标注图像的已选择区域;
步骤S700:判断是否收到全选中指令,若是,则生成全部坐标集合,若否,则返回步骤S200;
步骤S800:判断是否收到存在误选区域指令,若是,则执行步骤S900;若否,则执行步骤S1000;
步骤S900:获取误选区域坐标点及第二范围值,由所述误选区域坐标点及第二范围值在待标注图像上显示第二正方形;
步骤S910:判断第二正方形范围内是否存在全局坐标集合中的坐标,若否,则返回步骤S900,若是,则执行步骤S920;
步骤S920:获取全局坐标集合中与第二正方形边缘上的坐标重复的第一坐标点和第二坐标点,删除全局坐标集合中与第二正方形范围内重复的坐标点,将第一坐标点、第二坐标点以及第三坐标点加入到全局坐标集合中,所述第三坐标点为第二正方形的四个对角点中的沿着第二正方形边缘到达第一坐标和第二坐标点路径之和最短的对角点,返回步骤S700;
步骤S1000:获取类别信息,并将类别信息与全部坐标集合保存为json文件。
根据本发明实施例的一种高精度半自动化图像数据标注方法,至少具有如下有益效果:通过在步骤S200中获取未选择区域坐标点及第一范围值,通过鼠标在未选择区域上点击获取到鼠标的坐标作为未选择区域坐标点,并以未选择区域坐标点为基准点,根据用户输入的第一范围值来构建第一正方形,这个第一正方形就是grabcut算法中的画框操作。通过多次选择未选择区域坐标点及第一范围值,可以在每一次grabcut分割后再执行边缘跟踪算法获得当前边缘坐标,利用每一次获得的当前边缘坐标更新局部坐标集合,最后在用户确认前景区域被全选中后,会在键盘上按下某个键从而发送出全选中指令,则此时的局部坐标集合就被作为全部坐标集合,由用户输入对应于该前景图像的类别信息,并将类别信息与全部坐标集合保存为json文件用于后续的神经网络训练。因此,本实施例提供的高精度半自动化图像数据标注方法,可以在利用grabcut算法进行自动分割的基础上,又可以接受人工的实时干预,提高了图像数据标注的精度。同时,由于步骤S800可以在出现误选区域的情况下,接受用户误选区域坐标点及第二范围值,并相应的把误选区域删除,提供了修正功能,进一步提升了图像标注的精度。
本发明的一个特定实施例中,所述第一范围值用于构建第一正方形,获取所述第一范围值包括以下步骤:
步骤S210:判断已选择区域是否为空,若是,则执行步骤S300,若否,则执行步骤S220;
步骤S220:判断由第一范围值构建的第一正方形范围内是否包含局部坐标集合内的坐标,若是,则执行步骤S300。
本发明的一个特定实施例中,所述基于获取的局部坐标集合更新所述待标注图像的已选择区域,包括以下步骤:
将所述局部坐标集合里的坐标围起来的区域进行高亮或阴影显示。
本发明的一个特定实施例中,所述基于获取的当前边缘坐标更新局部坐标集合,包括以下步骤:
步骤S510:判断已选择区域是否为空,若是,则将当前边缘坐标加入到局部坐标集合中,若否,则执行步骤S520;
步骤S520:将当前边缘坐标中与局部坐标集合中重复的坐标删除后加入到局部坐标集合中。
本发明的一个特定实施例中,所述生成全部坐标集合,包括以下步骤:
步骤S710:建立集合A',将局部坐标集合中的任一个坐标点p0添加到集合A'中,将局部坐标集合中除了p0之外的其他坐标点建立集合A2,将第一标记坐标点p置为p0;
步骤S720:判断集合A2中元素数量是否为零,若否,则执行步骤S720a,若是,则执行步骤S720b;
步骤S720a:计算集合A2中的所有坐标点与第一标记坐标点p的距离d,将第一标记坐标点p置为集合A2中对应于距离d的最小值的坐标点,将集合A2中对应于距离d的最小值的坐标点添加到集合A'中并从集合A2中删除,返回步骤S720;
步骤S720b:按照坐标点添加到所述集合A'中的顺序将坐标点进行排序;
步骤S730:建立全部坐标集合,将p0添加到全部坐标集合中并从集合A'删除,将第二标记坐标点p'置为p0;
步骤S740:判断集合A'中的元素数量是否为一,若否,则执行步骤S740a,若是,则执行步骤S740b;
步骤S740a:判断第二标记坐标点p'与集合A'中排序位于最前两位的两个坐标点是否三点共线,若是,则执行步骤S740a1,若否,则执行步骤S740a2;
步骤S740a1:将集合A'中排序位于最前一位的坐标点从集合A'中删除,返回步骤S740;
步骤S740a2:将第二标记坐标点p'置为集合A'中排序位于最前一位的坐标点,将集合A'中排序位于最前一位的坐标点添加到全部坐标集合中并从集合A'中删除,返回步骤S740;
步骤S740b:将集合A'中的坐标点添加到全部坐标集合中,输出全部坐标集合。
第二方面,本发明实施例提供了一种电子装置,包括:存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一方面中任一项所述的一种高精度半自动化图像数据标注方法。
由于本发明实施例的一种电子装置执行如本发明第一方面中任一项所述的一种高精度半自动化图像数据标注方法,因此具有本发明第一方面的所有有益效果。
第三方面,本发明实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如上述第一方面中任一项所述的一种高精度半自动化图像数据标注方法。
由于本发明实施例的计算机可读存储介质上存储有用于执行如本发明第一方面中任一项所述的一种高精度半自动化图像数据标注方法的计算机可执行指令,因此具有本发明第一方面的所有有益效果。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明第一实施例提供的一种电子装置的结构示意图;
图2为本发明第二实施例提供的一种高精度半自动化图像数据标注方法的流程图;
图3为本发明第三实施例的构建第一正方形的效果图;
图4为本发明第四实施例提供的一种半自动图像数据标注方法的效果图;
图5为为现有技术中使用grabcut算法进行图像分割的效果图;
图6为本发明第二实施例中对误选区域修正的效果图;
图7为本发明第二实施例中对步骤S920的效果示意图;
附图标记:
电子装置100、处理器101、存储器102。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本,而不能理解为对本的限制。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
随着计算机技术不断突破,人工智能已经成为了这个时代的主题,深度学习更是成为了最近几年突破巨大的技术,而基于深度学习的图像分割网络的训练需要大量的图像标注数据,例如智能垃圾分类***,这个***需要图像标注数据进行学习才能识别出垃圾及其种类,如果想要这个***能够识别出废纸这种垃圾,那就需要对大量的包含废纸的图像(如地面上的废纸)进行图像切割,得到废纸图像和背景图像,再对废纸图像进行数据标注,再把得到的图像标注数据交由***学习。
由此可知,许多需要智能识别的***如上述的智能垃圾分类***,表面缺陷检测***和自动驾驶都需要大量的图像标注数据,而这些图像标注数据正必须从图像分割而来。图像标注数据的需求越来越大,而图像标注数据的获取,首先需要对包含目标的图像进行图像分割,将其分成目标图像和背景图像两部分,再对目标图像进行数据标注。
为了满足基于深度学***台应运而生、有的公司招聘上万数据标注员,但由于现有数据标注方法的一些缺点,使得获取大量的图像标注数据同样需要消耗大量的人力、物力、财力。
现有的数据标注方法是使用开源的图像分割数据标注工具(如Labelme,Labelimg等)对目标图像的边缘进行打点标绘(通过鼠标点击把图像中的目标物体的边缘描绘出来,如要对形状复杂的目标物体进行打点标绘,则可能需要点击鼠标上百次),然后把目标图像从背景中分离出来,即对图像进行分割,得到目标图像,后对所得到的目标图像进行数据标注。
本发明涉及以传统图像分割算法grabcut为主要算法的图像分割技术,提供了一种开创性的半自动化数据标注方法,大幅度地减少了打点标绘即点击鼠标的次数,同时由于grabcut算法的一些色差分析机制,可以提高数据标注的效率、精确度,满足基于深度学习的图像分割网络的训练对图像数据的需求。
同时,某些情况下,grabcut算法对目标边缘的提取效果不理想;目标图像边缘还可能会包含一部分背景图像;其中重要的是它缺少对图像分割得到的目标图像进行修正的功能,即如果数据标注过程中的图像分割效果不好,出现了目标图像边缘附近将部分背景图像包含在内的情况,对其修正的方法效率较低。
基于此,本发明提供了一种高精度半自动化图像数据标注方法、电子装置及存储介质,通过将待标注图像显示在电子屏幕上,根据用户多次使用鼠标在待标注图像上点击产生未选择区域坐标点以及根据用户在每次产生未选择区域坐标点后输入的第一范围值,可以对前景图像轮廓形状复杂的图像分次、分区域获取轮廓的当前边缘坐标,最后再将分次、分区域获取的当前边缘坐标合并为局部坐标集合,并在用户确认前景图像被完全选中后,由用户发送全选中指令。同时在前景图像中包含有背景图像时,提供了修正的功能,通过存在误选区域指令可以启动修正功能,将误选区域删除。在删除误选区域后,重新开始把删除误选区域过程中被同时删除的正确的前景区域在重新通过grabcut算法选中,计算机在接收到全选中指令后,则把当前的局部坐标集合作为全部坐标集合,并通过键盘接收用户输入的分类信息,例如足球等,最后将类别信息与全部坐标集合保存为j son文件,便于以后用于神经网络的训练。
下文提供了许多不同的实施方式或例子用来实现本发明的不同方案,值得理解的是,下述描述仅是示例性说明,而不是对发明的具体限制。
参照图1所示,为本发明第一实施例提供的一种电子装置100,包括存储器102、处理器101,图4中以一个处理器101和一个存储器102为例。
处理器和存储器可以通过总线或者其他方式连接,图1中以通过总线连接为例。
存储器102作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器102可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器102可选包括相对于处理器远程设置的存储器102,这些远程存储器可以通过网络连接至该电子装置100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
参照图2所示,为本发明第一实施例的电子装置,在该实施例中,电子装置100中处理器101可以用于调用存储器102中存储的一种高精度半自动化图像数据标注方法,并执行以下步骤:
步骤S100:显示待标注图像,所述待标注图像包括已选择区域和未选择区域;
步骤S200:获取未选择区域坐标点及第一范围值;
步骤S300:基于获取的获取未选择区域坐标点及第一范围值执行grabcut算法并获得grabcut算法分割后二值化图片;
步骤S400:对二值化图片执行边缘跟踪算法获取当前边缘坐标;
步骤S500:基于获取的当前边缘坐标更新局部坐标集合;
步骤S600:基于获取的局部坐标集合更新所述待标注图像的已选择区域;
步骤S700:判断是否收到全选中指令,若是,则生成全部坐标集合,若否,则返回步骤S200;
步骤S800:判断是否收到存在误选区域指令,若是,则执行步骤S900;若否,则执行步骤S1000;
步骤S900:获取误选区域坐标点及第二范围值,由所述误选区域坐标点及第二范围值在待标注图像上显示第二正方形;
步骤S910:判断第二正方形范围内是否存在全局坐标集合中的坐标,若否,则返回步骤S900,若是,则执行步骤S920;
步骤S920:获取全局坐标集合中与第二正方形边缘上的坐标重复的第一坐标点和第二坐标点,删除全局坐标集合中与第二正方形范围内重复的坐标点,将第一坐标点、第二坐标点以及第三坐标点加入到全局坐标集合中,所述第三坐标点为第二正方形的四个对角点中的沿着第二正方形边缘到达第一坐标和第二坐标点路径之和最短的对角点,返回步骤S700;
步骤S1000:获取类别信息,并将类别信息与全部坐标集合保存为json文件。
本实施例中,可以通过PC电脑屏幕或者平板电脑屏幕将待标注图像显示给标注员,标注图像上包括前景区域和背景区域,标注员通过鼠标在前景区域点击产生一个鼠标事件,从而获得该鼠标在待标注图像上点击的坐标作为未选择区域坐标点。然后由标注员从键盘输入数值作为第一范围值。第一范围值包括标注员从键盘输入的距离值和角度值,这个距离值表示待标注图像上与未选择区域坐标点满足该距离值的像素点,然后以未选择区域坐标点为圆心转动该角度值选定符合距离值的像素点作为第一正方形的一个对角点,从而确定一个第一正方形,形成这个第一正方形相当于grabcut算法中的画框交互方式。
在通过获取未选择区域坐标点及第一范围值生成第一正方形后,执行grabc ut算法获得分割后的二值化图片。图像分割后,图像会被分为目标物体(即前景)和背景两部分,然后***内部将目标物体的所有像素设置为黑色,背景的所有像素设置为白色,所以该图像的所有像素也就被分为了两个数值,黑色和白色,这就是二值化图片。将这些数据保存在***内部,然后对二值化的图片进行边缘跟踪算法获取当前边缘坐标,当前边缘坐标就是当前二值化图片的轮廓像素坐标。
把当前边缘坐标保存为局部坐标集合,将局部坐标集合中的坐标围起来的区域进行高亮或者阴影显示,这部分被高亮或者阴影显示的区域就是已选择区域。在前景图像复杂的情况下,执行第一次grabcut算法的时候,已选择区域可能只是前景的一部分,因此如果标注员没有发送全选中指令的话,就会重新捕捉鼠标的位置形成新的未选择区域坐标点,并等待用户输入新的第一范围值,对未选择区域做grabcut算法获取新的当前边缘坐标。在获取到新的当前边缘坐标后,将新的边缘坐标与前一轮获取的局部坐标集合中的坐标对比,去除掉相同的当前边缘坐标后将剩下的当前边缘坐标加入到局部坐标集合中,再根据这一轮局部坐标集合中的坐标围起来的区域进行高亮或者阴影处理。这一轮的已选择区域就会增大,根据标注员的判断,如果认为当前的已选择区域还未满足精度要求,则会继续重复步骤步骤S200。直到标注员认为已选择区域与前进的重合程度达到要求,就可以发送全选中指令,完成一张待标注图像的标注工作。采用本实施例方法,可以实现多次小范围的图像分割算法,对于轮廓形状复杂的图像可以提高半自动标注的精度。
参照图6所示,为本发明第二实施例中对误选区域修正的效果图,当已选择区域中存在背景图像时,可以通过步骤S800至步骤S920来删除修正。
参照图7所示,为本发明第二实施例中对步骤S920的效果示意图,在确认前景图像被全部被选中的情况,已选择区域中可能会包含背景图像,此时,如果标注员希望修正已选择区域,则通过键盘发送存在误选区域指令,此时就会执行步骤S900,获取用户鼠标在已选择区域的误选区域点击位置的坐标点作为误选区域坐标点,并接收用键盘输入的值作为第二范围值,通过第二范围值生成第二正方形,第二范围值包括标注员从键盘输入的距离值和角度值,这个距离值表示待标注图像上与误选区域坐标点满足该距离值的像素点,然后以误选区域坐标点为圆心转动该角度值选定符合距离值的像素点作为第二正方形的一个对角点,从而确定一个第二正方形。要求第二正方形范围内要包括全部坐标集合内的坐标点,即要求已选择区域的轮廓要与第二正方形的边缘相交。删除掉位于第二正方形范围内的全部坐标集合内的坐标点,并将第二正方形边缘上的第一坐标点、第三坐标点、第二坐标点依次连线形成已选择区域新的轮廓。
参照图3所示,为本发明第三实施例的构建第一正方形的效果图,本发明的第三实施例提供了一种高精度半自动化图像数据标注方法,所述第一范围值用于构建第一正方形,获取所述第一范围值包括以下步骤:
步骤S210:判断已选择区域是否为空,若是,则执行步骤S300,若否,则执行步骤S220;
步骤S220:判断由第一范围值构建的第一正方形范围内是否包含局部坐标集合内的坐标,若是,则执行步骤S300。
本实施例中,第一次获取未选择区域坐标点的时候,已选择区域为空,判断的依据是局部坐标集合是否为空,若局部坐标集合中有坐标存在,则判断已选择区域不为空。
在第二次获取未选择区域坐标点的时候,已选择区域不为空。如图3中的3-a、3-b、3-c所示,在第二次用鼠标点击未选择区域以及获取第一范围值之后,会执行grabcut算法获取该第一正方形范围的二值化图片,然后获取当前边缘坐标,再将当前边缘坐标与第一次的局部坐标集合合并,这个过程叫做更新局部坐标集合。
如图3中的3-d所示,本实施例中规定,若第二次通过未选择区域坐标点和第一范围值形成的第一正方形的范围内不包括第一次的局部坐标集合中的任一个坐标的,则无法选中,需要标号员重新输入第一范围值。
本发明的第四实施例提供了一种高精度半自动化图像数据标注方法,所述基于获取的局部坐标集合更新所述待标注图像的已选择区域,包括以下步骤:
将所述局部坐标集合里的坐标围起来的区域进行高亮或阴影显示。
本实施例中,将局部坐标集合里的坐标围起来的区域进行高亮或阴影显示,便于标注员确认已选择区域和未选择区域。对局部坐标集合里的坐标围起来的区域内的像素进行亮度调高、颜色调白的操作,方便用户识别目前选中区域。
参照图4所示,是本发明第四实施例提供的一种半自动图像数据标注方法的效果图,对局部坐标集合里的坐标围起来的区域内所有的像素使用阴影算法,使得该区域加上阴影,输出为局部区域变暗的图像,作用是方便用户识别目标物体中被选中的局部区域。
本发明的第五实施例提供了一种高精度半自动化图像数据标注方法,所述基于获取的当前边缘坐标更新局部坐标集合,包括以下步骤:
步骤S510:判断已选择区域是否为空,若是,则将当前边缘坐标加入到局部坐标集合中,若否,则执行步骤S520;
步骤S520:将当前边缘坐标中与局部坐标集合中重复的坐标删除后加入到局部坐标集合中。
本实施例中,每一轮更新一次局部坐标集合,并对局部坐标集合中的坐标围起来的区域进行高亮或者阴影显示,实时反馈给标注员,便于标注员操作。
本发明的第六实施例提供了一种高精度半自动化图像数据标注方法,所述生成全部坐标集合,包括以下步骤:
步骤S710:建立集合A',将局部坐标集合中的任一个坐标点p0添加到集合A'中,将局部坐标集合中除了p0之外的其他坐标点建立集合A2,将第一标记坐标点p置为p0;
步骤S720:判断集合A2中元素数量是否为零,若否,则执行步骤S720a,若是,则执行步骤S720b;
步骤S720a:计算集合A2中的所有坐标点与第一标记坐标点p的距离d,将第一标记坐标点p置为集合A2中对应于距离d的最小值的坐标点,将集合A2中对应于距离d的最小值的坐标点添加到集合A'中并从集合A2中删除,返回步骤S720;
步骤S720b:按照坐标点添加到所述集合A'中的顺序将坐标点进行排序;
步骤S730:建立全部坐标集合,将p0添加到全部坐标集合中并从集合A'删除,将第二标记坐标点p'置为p0;
步骤S740:判断集合A'中的元素数量是否为一,若否,则执行步骤S740a,若是,则执行步骤S740b;
步骤S740a:判断第二标记坐标点p'与集合A'中排序位于最前两位的两个坐标点是否三点共线,若是,则执行步骤S740a1,若否,则执行步骤S740a2;
步骤S740a1:将集合A'中排序位于最前一位的坐标点从集合A'中删除,返回步骤S740;
步骤S740a2:将第二标记坐标点p'置为集合A'中排序位于最前一位的坐标点,将集合A'中排序位于最前一位的坐标点添加到全部坐标集合中并从集合A'中删除,返回步骤S740;
步骤S740b:将集合A'中的坐标点添加到全部坐标集合中,输出全部坐标集合。
纯人工标注的时候,对于前景区域的部分轮廓是直线的情况,例如,对于真实目标区域是正方形的情况,标注员一般只取用鼠标点击该正方形的四个顶点,两个相邻顶点之间拉一条直线。因此,表示该正方形的坐标只需要四个像素点,极大减少了数据量。而使用半自动化标注方式时,由于使用grabcut算法实现自动分割,并对分割后获得的二值化图片进行边缘跟踪算法获取二值化图片的边缘像素坐标作为当前边缘坐标,因此当前边缘坐标都是一系列互为邻域的像素点组成,而全部坐标集合又是由多次获得的当前边缘坐标构成,造成全部坐标集合的数据量很大。
本实施例提供了将获得的全部坐标集合中的坐标进行简化的算法。该算法包括两部分,第一部分是步骤S710至步骤S720,这些步骤将全部坐标集合中的坐标点按照其添加到集合A'中的顺序进行排序,如果按照添加到集合A'中的顺序依次经过这些全部坐标集合中的坐标点,刚好围成了已选择区域的轮廓。因此步骤S730至步骤S740组成的第二部分,就是按照添加到集合A'中的顺序依次检验该已选择区域轮廓上的相邻的三个点是否共线,如果共线则把中间的点去掉,只保留首尾两个点,实现人工标注时的效果,减少了半自动标注产生的数据量。
本发明第七实施例的计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如上述第二至第六实施例任一项所述的高精度半自动化图像数据标注方法。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所述技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (7)
1.一种高精度半自动化图像数据标注方法,其特征在于,包括以下步骤:
步骤S100:显示待标注图像,所述待标注图像包括已选择区域和未选择区域;
步骤S200:获取未选择区域坐标点及第一范围值;
步骤S300:基于获取的获取未选择区域坐标点及第一范围值执行grabcut算法并获得grabcut算法分割后二值化图片;
步骤S400:对二值化图片执行边缘跟踪算法获取当前边缘坐标;
步骤S500:基于获取的当前边缘坐标更新局部坐标集合;
步骤S600:基于获取的局部坐标集合更新所述待标注图像的已选择区域;
步骤S700:判断是否收到全选中指令,若是,则生成全部坐标集合,若否,则返回步骤S200;
步骤S800:判断是否收到存在误选区域指令,若是,则执行步骤S900;若否,则执行步骤S1000;
步骤S900:获取误选区域坐标点及第二范围值,由所述误选区域坐标点及第二范围值在待标注图像上显示第二正方形;
步骤S910:判断第二正方形范围内是否存在全局坐标集合中的坐标,若否,则返回步骤S900,若是,则执行步骤S920;
步骤S920:获取全局坐标集合中与第二正方形边缘上的坐标重复的第一坐标点和第二坐标点,删除全局坐标集合中与第二正方形范围内重复的坐标点,将第一坐标点、第二坐标点以及第三坐标点加入到全局坐标集合中,所述第三坐标点为第二正方形的四个对角点中的沿着第二正方形边缘到达第一坐标和第二坐标点路径之和最短的对角点,返回步骤S700;
步骤S1000:获取类别信息,并将类别信息与全部坐标集合保存为json文件。
2.根据权利要求1所述的一种高精度半自动化图像数据标注方法,其特征在于,所述第一范围值用于构建第一正方形,获取所述第一范围值包括以下步骤:
步骤S210:判断已选择区域是否为空,若是,则执行步骤S300,若否,则执行步骤S220;
步骤S220:判断由第一范围值构建的第一正方形范围内是否包含局部坐标集合内的坐标,若是,则执行步骤S300。
3.根据权利要求1所述的一种高精度半自动化图像数据标注方法,其特征在于,所述基于获取的局部坐标集合更新所述待标注图像的已选择区域,包括以下步骤:
将所述局部坐标集合里的坐标围起来的区域进行高亮或阴影显示。
4.根据权利要求1所述的一种高精度半自动化图像数据标注方法,其特征在于,所述基于获取的当前边缘坐标更新局部坐标集合,包括以下步骤:
步骤S510:判断已选择区域是否为空,若是,则将当前边缘坐标加入到局部坐标集合中,若否,则执行步骤S520;
步骤S520:将当前边缘坐标中与局部坐标集合中重复的坐标删除后加入到局部坐标集合中。
5.根据权利要求1所述的一种高精度半自动化图像数据标注方法,其特征在于,所述生成全部坐标集合,包括以下步骤:
步骤S710:建立集合A',将局部坐标集合中的任一个坐标点p0添加到集合A'中,将局部坐标集合中除了p0之外的其他坐标点建立集合A2,将第一标记坐标点p置为p0;
步骤S720:判断集合A2中元素数量是否为零,若否,则执行步骤S720a,若是,则执行步骤S720b;
步骤S720a:计算集合A2中的所有坐标点与第一标记坐标点p的距离d,将第一标记坐标点p置为集合A2中对应于距离d的最小值的坐标点,将集合A2中对应于距离d的最小值的坐标点添加到集合A'中并从集合A2中删除,返回步骤S720;
步骤S720b:按照坐标点添加到所述集合A'中的顺序将坐标点进行排序;
步骤S730:建立全部坐标集合,将p0添加到全部坐标集合中并从集合A'删除,将第二标记坐标点p'置为p0;
步骤S740:判断集合A'中的元素数量是否为一,若否,则执行步骤S740a,若是,则执行步骤S740b;
步骤S740a:判断第二标记坐标点p'与集合A'中排序位于最前两位的两个坐标点是否三点共线,若是,则执行步骤S740a1,若否,则执行步骤S740a2;
步骤S740a1:将集合A'中排序位于最前一位的坐标点从集合A'中删除,返回步骤S740;
步骤S740a2:将第二标记坐标点p'置为集合A'中排序位于最前一位的坐标点,将集合A'中排序位于最前一位的坐标点添加到全部坐标集合中并从集合A'中删除,返回步骤S740;
步骤S740b:将集合A'中的坐标点添加到全部坐标集合中,输出全部坐标集合。
6.电子装置,包括:存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现如权利要求1至5中任一项所述的一种高精度半自动化图像数据标注方法。
7.计算机可读存储介质,存储有计算机可执行指令,其特征在于:所述计算机可执行指令用于执行如权利要求1至5中任一项所述的一种高精度半自动化图像数据标注方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911117406.7A CN111028261B (zh) | 2019-11-15 | 2019-11-15 | 高精度半自动化图像数据标注方法、电子装置及存储介质 |
US17/772,843 US20220414892A1 (en) | 2019-11-15 | 2020-07-06 | High-precision semi-automatic image data labeling method, electronic apparatus, and storage medium |
PCT/CN2020/100349 WO2021093345A1 (zh) | 2019-11-15 | 2020-07-06 | 高精度半自动化图像数据标注方法、电子装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911117406.7A CN111028261B (zh) | 2019-11-15 | 2019-11-15 | 高精度半自动化图像数据标注方法、电子装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111028261A CN111028261A (zh) | 2020-04-17 |
CN111028261B true CN111028261B (zh) | 2023-03-17 |
Family
ID=70200203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911117406.7A Active CN111028261B (zh) | 2019-11-15 | 2019-11-15 | 高精度半自动化图像数据标注方法、电子装置及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220414892A1 (zh) |
CN (1) | CN111028261B (zh) |
WO (1) | WO2021093345A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110992384B (zh) * | 2019-11-15 | 2023-04-11 | 五邑大学 | 半自动化图像数据标注方法、电子装置及存储介质 |
CN111028261B (zh) * | 2019-11-15 | 2023-03-17 | 五邑大学 | 高精度半自动化图像数据标注方法、电子装置及存储介质 |
CN113806573A (zh) * | 2021-09-15 | 2021-12-17 | 上海商汤科技开发有限公司 | 标注方法、装置、电子设备、服务器及存储介质 |
CN114663940A (zh) * | 2022-03-17 | 2022-06-24 | 北京玉盛元科技有限公司 | 视频处理方法、装置和设备 |
CN117253231B (zh) * | 2023-11-15 | 2024-01-26 | 四川弘和数智集团有限公司 | 一种油气站图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7720282B2 (en) * | 2005-08-02 | 2010-05-18 | Microsoft Corporation | Stereo image segmentation |
CN103714077B (zh) * | 2012-09-29 | 2017-10-20 | 日电(中国)有限公司 | 物体检索的方法、检索校验的方法及装置 |
US10089740B2 (en) * | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US9443316B1 (en) * | 2015-07-21 | 2016-09-13 | Sony Corporation | Semi-automatic image segmentation |
US11568627B2 (en) * | 2015-11-18 | 2023-01-31 | Adobe Inc. | Utilizing interactive deep learning to select objects in digital visual media |
US10580140B2 (en) * | 2016-05-23 | 2020-03-03 | Intel Corporation | Method and system of real-time image segmentation for image processing |
CN106780517B (zh) * | 2017-01-04 | 2020-02-14 | 努比亚技术有限公司 | 一种实现交互式图像分割的方法、装置及终端 |
GB201709672D0 (en) * | 2017-06-16 | 2017-08-02 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
US10706556B2 (en) * | 2018-05-09 | 2020-07-07 | Microsoft Technology Licensing, Llc | Skeleton-based supplementation for foreground image segmentation |
CN108875020A (zh) * | 2018-06-20 | 2018-11-23 | 第四范式(北京)技术有限公司 | 用于实现标注的方法、装置、设备及存储介质 |
US11189031B2 (en) * | 2019-05-14 | 2021-11-30 | Matterport, Inc. | Importance sampling for segmentation network training modification |
CN110232713B (zh) * | 2019-06-13 | 2022-09-20 | 腾讯数码(天津)有限公司 | 一种图像目标定位修正方法及相关设备 |
CN111028261B (zh) * | 2019-11-15 | 2023-03-17 | 五邑大学 | 高精度半自动化图像数据标注方法、电子装置及存储介质 |
-
2019
- 2019-11-15 CN CN201911117406.7A patent/CN111028261B/zh active Active
-
2020
- 2020-07-06 US US17/772,843 patent/US20220414892A1/en active Pending
- 2020-07-06 WO PCT/CN2020/100349 patent/WO2021093345A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021093345A1 (zh) | 2021-05-20 |
US20220414892A1 (en) | 2022-12-29 |
CN111028261A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028261B (zh) | 高精度半自动化图像数据标注方法、电子装置及存储介质 | |
CN110992384B (zh) | 半自动化图像数据标注方法、电子装置及存储介质 | |
CN106909902B (zh) | 一种基于改进的层次化显著模型的遥感目标检测方法 | |
CN110163198A (zh) | 一种表格识别重建方法、装置和存储介质 | |
EP2779094A2 (en) | Segmentation of an image based on color and color differences | |
CN110910401A (zh) | 半自动化图像分割数据标注方法、电子装置及存储介质 | |
WO2014156425A1 (ja) | 領域分割方法および検査装置 | |
JP2019036167A (ja) | 画像処理装置、画像処理方法 | |
CN110910414B (zh) | 图像轮廓生成方法、图像标注方法、电子装置及存储介质 | |
JP2002202838A (ja) | 画像処理装置 | |
JP2019207535A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN113343976B (zh) | 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法 | |
CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
CN112037180B (zh) | 染色体分割方法及装置 | |
CN110321837A (zh) | 一种试题得分的识别方法、装置、终端及存储介质 | |
CN112396701A (zh) | 卫星图像的处理方法、装置、电子设备和计算机存储介质 | |
CN115830025A (zh) | 白细胞分类计数方法、***、存储介质及计算机设备 | |
CN112435274B (zh) | 一种基于面向对象分割的遥感影像面状地物提取方法 | |
CN110874170A (zh) | 一种图像区域修正方法、图像分割方法及装置 | |
CN113361530A (zh) | 使用交互手段的图像语义精准分割及优化方法 | |
Ziems et al. | Multiple-model based verification of road data | |
CN114219871A (zh) | 一种基于深度图像的障碍物检测方法、装置和移动机器人 | |
CN113807315A (zh) | 一种构建待识别对象识别模型的方法、装置、设备及介质 | |
CN111382645B (zh) | 电子地图中识别过期建筑的方法和*** | |
CN111179284A (zh) | 交互式图像分割方法、***及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |