CN110189333A - 一种图片语义分割半自动标注方法及装置 - Google Patents
一种图片语义分割半自动标注方法及装置 Download PDFInfo
- Publication number
- CN110189333A CN110189333A CN201910430851.2A CN201910430851A CN110189333A CN 110189333 A CN110189333 A CN 110189333A CN 201910430851 A CN201910430851 A CN 201910430851A CN 110189333 A CN110189333 A CN 110189333A
- Authority
- CN
- China
- Prior art keywords
- picture
- tracked
- image
- classification
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000002372 labelling Methods 0.000 claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 42
- 238000012986 modification Methods 0.000 claims description 32
- 230000004048 modification Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 description 21
- 230000008901 benefit Effects 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001746 injection moulding Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图片语义分割半自动标注方法及装置，该方法包括获取包含多帧图片的一组图像，从获取到的图像中选择第一帧图片；将第一帧图片语义分割为多个图像块，接收标注人员对第一帧图片中的各图像块的类别标注操作；将第一帧图片作为初始图片，将多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片，采用预设跟踪算法在被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别；以当前标注后的被跟踪图片作为新的初始图片，继续对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注，直到多帧图片均标注完成。本发明能够有效提升标注效率，降低人工标注成本。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图片语义分割半自动标注方法及装置。
背景技术
目前基于深度学习的目标检测和场景语义分割已经成为自动驾驶领域主要的视觉感知方法。其中，语义分割可以针对输入的图片，分割出图片中的路面、汽车、车道线等等不同类别的内容，其实质是针对图片中每一个像素点的分类。
无论是基于深度学习的目标检测还是场景语义分割，都需要涉及大量的图片和图片标注操作，特别是场景语义分割，目前比较流行的分割方式是多边形分割方式，但是这种分割方式耗时耗力，人工成本巨大，而且标注的效果并不理想，容易出现分割的物体边缘比较粗糙等问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图片语义分割半自动标注方法及装置。
依据本发明一方面，提供了一种图片语义分割半自动标注方法，包括：
获取包含多帧图片的一组图像，从获取到的图像中选择第一帧图片；
将所述第一帧图片语义分割为多个图像块，接收标注人员对所述第一帧图片中的各图像块的类别标注操作；
将所述第一帧图片作为初始图片，将所述多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片，采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别；
以当前标注后的被跟踪图片作为新的初始图片，继续对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注，直到所述多帧图片均标注完成。
可选地，所述方法还包括：
在任一次对所述被跟踪图片标注之后，判断所述被跟踪图片的标注结果中是否存在标注错误；
若是，展示对所述被跟踪图片进行标注修改的多种修改方式选项；
接收所述标注人员选择的任一选项，依据被选择选项对应的修改方式对所述被跟踪图片进行标注修改。
可选地，对所述被跟踪图片进行标注修改的多种修改方式选项，包括：
对所述被跟踪图片进行人工标注修改的选项；
对所述被跟踪图片进行重新跟踪标注的选项。
可选地，将所述第一帧图片语义分割为多个图像块，接收标注人员对所述第一帧图片中的各图像块的类别标注操作，包括：
将所述第一帧图片语义分割为多个多边形块作为所述图像块；
接收标注人员对所述第一帧图片中任意多边形块的类别标注操作。
可选地，将所述第一帧图片语义分割为多个图像块，接收标注人员对所述第一帧图片中的各图像块的类别标注操作，包括：
将所述第一帧图片语义分割为多个超像素块作为所述图像块；
接收标注人员对所述第一帧图片中任意超像素块的类别标注操作。
可选地，所述方法还包括：将所述第一帧图片中标注类别相同的超像素块合并为组合块；
采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别包括：
采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的组合块对应的图像区域，将跟踪到的图像区域标注为相应类别。
可选地，所述方法还包括：在所述第一帧图片中的每一标注类别的超像素块中选择典型超像素块，所述典型超像素块周边包含多个属于同一标注类别的超像素块；
采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别包括：
采用预设跟踪算法在所述被跟踪图片中跟踪与所述典型超像素块对应的图像区域，将跟踪到的图像区域标注为相应类别；
接收标注人员以标注类别后的典型超像素块为基准的连续选取操作，将连续选取操作对应的超像素块标注为与典型超像素块类别相同的类别。
可选地，将跟踪到的图像区域标注为相应类别之后，还包括：
接收标注人员以标注类别后的任意超像素块为基准的连续选取操作，将连续选取操作对应的超像素块标注为与基准超像素块类别相同的类别。
可选地，所述方法还包括：
若所述被跟踪图片中还存在未跟踪到的图像区域，按照预设聚类算法将未跟踪到的图像区域与所述被跟踪图片中标注类别后的图像块进行聚类；
依据与所述未跟踪到的图像区域属于同一聚类的图像块的类别，对所述未跟踪到的图像区域进行类别标注。
依据本发明另一方面，还提供了一种图片语义分割半自动标注装置，包括：
选取模块，适于从预先采集的视频中按照指定图片帧数间隔依次选取多帧图片，获取所述多帧图片中的第一帧图片；
分割标注模块，适于将所述第一帧图片语义分割为多个图像块，接收标注人员对所述第一帧图片中的各图像块的类别标注操作；
跟踪标注模块，适于将所述第一帧图片作为初始图片，将所述多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片，采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别；
所述跟踪标注模块，还适于以当前标注后的被跟踪图片作为新的初始图片，继续对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注，直到所述多帧图片均标注完成。
依据本发明另一方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行上文任意实施例所述的图片语义分割半自动标注方法。
在本发明实施例中，通过从获取的一组图像中选择第一帧图片，并由标注人员对第一帧图片中的各图像块进行类别标注之后，将第一帧图片作为初始图片，且将多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片，从而采用预设跟踪算法在被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别。进而，再次以当前标注后的被跟踪图片作为新的初始图片，继续对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注，直到多帧图片均标注完成。由此，本发明实施例对于连续视频中的多帧图片，可以基于已经标注类别的图片采用预设跟踪算法实现半自动的图片语义分割标注，不仅大大提高了对图片的标注效率，还保证了图片标注的准确性。特别是对于在视频中依次采样的待标注图片中相邻的前后两张或者前后几张存在场景相似的图片，本发明方案极大地节省了重复或相似的人力标注成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的图片语义分割半自动标注方法的流程示意图；
图2示出了根据本发明一个实施例的图片语义分割半自动标注装置的结构示意图；
图3示出了根据本发明另一个实施例的图片语义分割半自动标注装置的结构示意图；
图4示出了根据本发明再一个实施例的图片语义分割半自动标注装置的结构示意图；
图5示出了根据本发明又一个实施例的图片语义分割半自动标注装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
通常在对实际采集图片进行标注时，先采集连续的视频，然后从连续视频中间隔一定帧数选取有一定差异的图片进行标注，虽然对视频做了一定的间隔采样，但通常摄像头帧频较快，且一般情况同一个摄像头在同一个场景下的一定时间内采集的图像不会有很大差异，因此同一段视频中经过间隔采样清理后的图片仍然存在很大相似性，这无疑会给图片标注工作带来的巨大的重复性工作。为了有效地提高图片标注效率，本发明实施例提供了一种图片语义分割半自动标注方法。图1示出了根据本发明一个实施例的图片语义分割半自动标注方法的流程示意图。参见图1，该方法至少包括步骤S102至步骤S108。
步骤S102，获取包含多帧图片的一组图像，从获取到的图像中选择第一帧图片。
步骤S104，将第一帧图片语义分割为多个图像块，接收标注人员对第一帧图片中的各图像块的类别标注操作。
步骤S106，将第一帧图片作为初始图片，将多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片，采用预设跟踪算法在被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别。
步骤S108，以当前标注后的被跟踪图片作为新的初始图片，继续对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注，直到多帧图片均标注完成。
本发明实施例对于连续视频中的多帧图片，先将其中的第一帧图片作为初始图片，与初始图片相邻的下一帧图片作为被跟踪图片，通过在被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，以对跟踪到的图像区域进行类别标注。然后再将刚标注完成的被跟踪图片作为新的初始图片，与新的初始图片相邻的下一帧图片作为新的被跟踪图片，通过在新的被跟踪图片中跟踪与新的初始图片中带有标注类别的图像块对应的图像区域，并对跟踪到的图像区域进行类别标注，如此继续执行直到多帧图片均标注完成，从而实现了基于已经标注类别的图片采用预设跟踪算法进行半自动的图片语义分割标注，不仅大大提高了对图片的标注效率，还保证了图片标注的准确性。特别是对于在视频中依次采样的图片中相邻的且存在场景相似的图片，本发明方案可以极大地节省重复或相似的人力标注成本。
参见上文步骤S102，在本发明一实施例中，获取的包含多帧图片的一组图像可以从预先采集的一段连续的视频中按照指定图片帧数间隔依次选取的多帧图片的组合。其中，指定图片帧数可以是三帧、五帧等等任意帧数，目的是选取出视频中具有一定差异的图片，并进行相应的标注，本发明实施例对指定图片帧数不做具体的限定。另外需要说明的是，这里的第一帧图片不一定是完整视频的第一帧图片，而是按照指定图片帧数间隔采样选取的多帧图片中，在视频时间上排列第一的图片。
在本发明一实施例中，在任一次对被跟踪图片标注之后，还可以判断当前被标注完成的图片的标注结果中是否存在标注错误。若存在标注错误，则可以展示对被跟踪图片进行标注修改的多种修改方式选项。继而通过接收标注人员选择的任一选项，依据被选择选项对应的修改方式对被跟踪图片进行标注修改。
在该实施例中，对被跟踪图片进行标注修改的多种修改方式选项可以包括对被跟踪图片进行人工标注修改的选项、对被跟踪图片进行重新跟踪标注的选项。标注人员可以根据需求进行相应的选择，若标注结果中存在的标注错误较少，则可以选择人工标注修改，若标注结果中存在的标注错误较多，则可以选择对被跟踪图片进行重新跟踪标注，以减少标注人员标注修改的工作量。
当然，若通过判断得知标注结果中不存在标注错误，那么如果获取的一组图像中还存在未进行跟踪标注的图片，那么继续对下一帧图片进行跟踪标注，如果获取的一组图像中的全部图片均标注过，则可以将最终的标注结果进行展示。
当对预先采集的视频中的多帧图片均标注完成之后，还可以将标注的结果展示给标注人员，标注人员可以对标注结果进行检查，如果经检测标注正确，则标注完成，如果存在少量标注错误，标注人员可以矫正错误部分，无需重头对图片进行标注。
具体的，在对预先采集的视频中的多帧图片均标注完成之后，展示跟踪图片的标注结果，并发出是否对标注结果进行修改的提示信息，若接收到标注人员对标注结果的修改指示，依据修改指示对标注结果进行相应的修改操作。
参见上文步骤S104，在本发明一实施例中，可以将第一帧图片语义分割为多个多边形块作为图像块，即将图片语义分割为多个多边形区域，每个多边形区域定义为一个多边形块，并对应一个图像块。进而，可以接收标注人员对第一帧图片中任意多边形块的类别标注操作。
在本发明另一实施例中，可以将第一帧图片语义分割为多个超像素块作为图像块，即将图片语义分割为多个超像素块，每个多个超像素块作为一个图像块。进而，可以接收标注人员对第一帧图片中任意超像素块的类别标注操作。
当然，本发明实施例也可以采用其他分割方式将第一帧图片分割为多个子单位以作为图像块，本发明实施例对此不做具体的限定。
下面以超像素块作为图像块为例，介绍对第一帧图片中的各图像块的类别标注的过程。
为了提高标注效率，标注人员在对图片的超像素块进行标注过程中，可以仅对图片中的小部分超像素块进行标注，而采用连续选取操作的方式实现对其他超像素块的统一标注。具体的，首先，接收标注人员对任意超像素块的类别标注操作，并为任意超像素块分配相应的标注类别。然后，标注人员以已标注类别的超像素块为基准的连续选取操作，将连续选取操作对应的超像素块标注为与基准超像素块类别相同的类别。并且，当监测到连续选取操作对应的超像素块形成闭环时，还可以将闭环以内的超像素块标注为与选取操作对应超像素块类别相同的类别。
另外，还可以接收标注人员调整超像素块中超像素阈值大小的操作，以使超像素阈值符合标注人员的标注需求。例如，若鼠标滚轮由下至上转动，则超像素阈值由大到小调整，若鼠标滚轮由上至下转动，则超像素阈值由小到大调整。又例如，若鼠标滚轮由上至下转动，则超像素阈值由大到小调整，若鼠标滚轮由下至上转动，则超像素阈值由小到大调整。
在该实施例中，当调整超像素的阈值大小时，若一个超像素块所占区域与已标注类别的超像素块所占区域的重叠区域大于该超像素块所占区域的1/2，将该超像素块标注为与重叠区域的超像素块类别相同的类别。
参见上文步骤S106并结合上文实施例，基于超像素块的标注方式，如果选取被跟踪图片中所有的超像素块进行跟踪，则需要跟踪的超像素块数量较多，从而导致算法计算量大，计算机运行速度慢等问题，因此，为了减少跟踪计算量，节约跟踪计算时间，在本发明实施例还可以采用如下两种方式节约跟踪计算量。
方式一、在对被跟踪图片进行跟踪标注之前，先将第一帧图片中标注类别相同的超像素块合并为组合块，也就是将已标注类别的超像素块按照同一类别合并为若干个不规则的大的组合块。进而，后续可以采用预设跟踪算法在被跟踪图片中跟踪与带有标注类别的组合块对应的图像区域，将跟踪到的图像区域标注为相应类别。
方式二、在对被跟踪图片进行跟踪标注之前，先在第一帧图片中的每一标注类别的超像素块中筛选出典型超像素块，作为跟踪的对象。进而，后续采用预设跟踪算法在被跟踪图片中跟踪与典型超像素块对应的图像区域，将跟踪到的图像区域标注为相应类别。
在筛选典型超像素块时，可以采用聚类方式来选取比较典型的同一类别的像素块，例如，如果某一个超像素块周围的大多数或全部超像素块都属于同类别，那么可以选择此超像素块作为典型超像素块。另外，该实施例在筛选出典型超像素块时，可以从同类别相连接的超像素块区域中选择出一个典型超像素块，当然也可以选择出多个典型超像素，本实施例对选择出的典型超像素块的数量不做具体的限定。
在该方式中，由于仅对典型超像素块进行了跟踪，因此，在将跟踪到的图像区域标注为相应类别之后，还可以由标注人员对剩余的超像素块进行类别标注。例如，接收标注人员以标注类别后的典型超像素块为基准的连续选取操作，将连续选取操作对应的超像素块标注为与典型超像素块类别相同的类别。当然，在监测到连续选取操作对应的超像素块形成闭环时，也可以将闭环以内的超像素块标注为与典型超像素块类别相同的类别。
在本发明实施例中，预设跟踪算法可以采用现有的跟踪算法，本发明实施例对此不做具体的限定。例如，分割得到的图像块为超像素块，可以通过构建吸收态马尔科夫链图(AMC graph)来实现超像素块跟踪。又例如，分割得到的图像块为超像素块，还可以通过建立判决性外貌模型(即可以表示和区分目标与背景的外貌模型)、获得区域置信图(即根据一帧图片中所有超像素的置信值得到的置信图)、建立对象***观测模型等步骤来实现超像素块跟踪。
在本发明一实施例中，若由于图片中的图像场景、物***置或物体大小变化较大等原因，在当前被跟踪图片中跟踪不到与带有标注类别的图像块对应的图像区域，或者跟踪失败，则可以重新针对本帧被追踪图片进行聚类，将与无法追踪到的图像区域最接近的已标注图像块(跟踪成功的图像块)的类别，直接应用到无法追踪到的图像区域中。
具体的，若被跟踪图片中还存在未跟踪到的图像区域，则可以按照预设聚类算法将未跟踪到的图像区域与被跟踪图片中标注类别后的图像块进行聚类，进而，依据与未跟踪到的图像区域属于同一聚类的图像块的类别，对未跟踪到的图像区域进行类别标注。在该实施例中，预设聚类算法可以包括k-means方法，当然，也可以采用其他聚类算法，本发明实施例对此不做具体的限定。
基于同一发明构思，本发明实施例还提供了一种图片语义分割半自动标注装置，图2示出了根据本发明一个实施例的图片语义分割半自动标注装置的结构示意图。参见图2，图片语义分割半自动标注装置200包括选取模块210、分割标注模块220、跟踪标注模块230。
现介绍本发明实施例的图片语义分割半自动标注装置200的各组成或器件的功能以及各部分间的连接关系：
选取模块210，适于获取包含多帧图片的一组图像，从获取到的图像中选择第一帧图片；
分割标注模块220，与选取模块210耦合，适于将第一帧图片语义分割为多个图像块，接收标注人员对第一帧图片中的各图像块的类别标注操作；
跟踪标注模块230，与分割标注模块220耦合，适于将第一帧图片作为初始图片，将多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片，采用预设跟踪算法在被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别；
跟踪标注模块230，还适于以当前标注后的被跟踪图片作为新的初始图片，继续对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注，直到多帧图片均标注完成。
在本发明一实施例中，分割标注模块220还适于将第一帧图片语义分割为多个多边形块作为图像块，接收标注人员对第一帧图片中任意多边形块的类别标注操作。
在本发明另一实施例中，分割标注模块220还适于将第一帧图片语义分割为多个超像素块作为图像块，接收标注人员对第一帧图片中任意超像素块的类别标注操作。
若分割标注模块220将第一帧图片语义分割为多个超像素块作为图像块，在一个实施例中，参见图3，图片语义分割半自动标注装置200还可以包括组合模块240，与分割标注模块220和跟踪标注模块230分别耦合，组合模块240适于将第一帧图片中标注类别相同的超像素块合并为组合块。跟踪标注模块230还适于采用预设跟踪算法在被跟踪图片中跟踪与带有标注类别的组合块对应的图像区域，将跟踪到的图像区域标注为相应类别。
若分割标注模块220将第一帧图片语义分割为多个超像素块作为图像块，在另一个实施例中，参见图4，图片语义分割半自动标注装置200还可以包括选择模块250，与分割标注模块220和跟踪标注模块230分别耦合，选择模块250适于在第一帧图片中的每一标注类别的超像素块中选择典型超像素块，典型超像素块周边包含多个属于同一标注类别的超像素块。跟踪标注模块230还适于采用预设跟踪算法在被跟踪图片中跟踪与典型超像素块对应的图像区域，将跟踪到的图像区域标注为相应类别。
继续参见图4，在该实施例中，图片语义分割半自动标注装置200还可以包括连续选取模块260，适于在跟踪标注模块230将跟踪到的图像区域标注为相应类别之后，接收标注人员以标注类别后的典型超像素块为基准的连续选取操作，将连续选取操作对应的超像素块标注为与典型超像素块类别相同的类别。
本发明实施例还提供了另一种图片语义分割半自动标注装置，图5示出了根据本发明一个实施例的图片语义分割半自动标注装置的结构示意图。参见图5，图片语义分割半自动标注装置200包括选取模块210、分割标注模块220、跟踪标注模块230、判断模块271、展示模块270、修改模块280、聚类模块290。其中，关于选取模块210、分割标注模块220、跟踪标注模块230的介绍请参见上文实施例。
判断模块271，与跟踪标注模块230耦合，适于在任一次对被跟踪图片标注之后，判断被跟踪图片的标注结果中是否存在标注错误。
展示模块270，与判断模块271耦合，适于若被跟踪图片的标注结果中存在标注错误，则展示对被跟踪图片进行标注修改的多种修改方式选项。
其中，对被跟踪图片进行标注修改的多种修改方式选项，包括对被跟踪图片进行人工标注修改的选项、对被跟踪图片进行重新跟踪标注的选项。
修改模块280，与展示模块270耦合，适于接收标注人员选择的任一选项，并依据被选择选项对应的修改方式对被跟踪图片进行标注修改。
聚类模块290，与跟踪标注模块230耦合，若被跟踪图片中还存在未跟踪到的图像区域，按照预设聚类算法将未跟踪到的图像区域与被跟踪图片中标注类别后的图像块进行聚类。依据与未跟踪到的图像区域属于同一聚类的图像块的类别，对未跟踪到的图像区域进行类别标注。
本发明还提供了一种计算机存储介质，计算机存储介质存储有计算机程序代码，当计算机程序代码在计算设备上运行时，导致计算设备执行上文任意实施例的图片语义分割半自动标注方法。
根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：
在本发明实施例中，通过从预先采集的视频中按照指定图片帧数间隔依次选取多帧图片，并由标注人员对第一帧图片中的各图像块进行类别标注之后，将第一帧图片作为初始图片，且将多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片，从而采用预设跟踪算法在被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别。进而，再次以当前标注后的被跟踪图片作为新的初始图片，继续对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注，直到多帧图片均标注完成。由此，本发明实施例对于连续视频中的多帧图片，可以基于已经标注类别的图片采用预设跟踪算法实现半自动的图片语义分割标注，不仅大大提高了对图片的标注效率，还保证了图片标注的准确性。特别是对于在视频中依次采样的待标注图片中相邻的前后两张或者前后几张存在场景相似的图片，本发明方案极大地节省了重复或相似的人力标注成本。
所属领域的技术人员可以清楚地了解到，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行指令时执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，程序指令可以存储于一计算机可读取存储介质中，当程序指令被计算设备的处理器执行时，计算设备执行本发明各实施例方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。
Claims (10)
1.一种图片语义分割半自动标注方法，包括：
获取包含多帧图片的一组图像，从获取到的图像中选择第一帧图片；
将所述第一帧图片语义分割为多个图像块，接收标注人员对所述第一帧图片中的各图像块的类别标注操作；
将所述第一帧图片作为初始图片，将所述多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片，采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别；
以当前标注后的被跟踪图片作为新的初始图片，继续对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注，直到所述多帧图片均标注完成。
2.根据权利要求1所述的方法，其中，还包括：
在任一次对所述被跟踪图片标注之后，判断所述被跟踪图片的标注结果中是否存在标注错误；
若是，展示对所述被跟踪图片进行标注修改的多种修改方式选项；
接收所述标注人员选择的任一选项，依据被选择选项对应的修改方式对所述被跟踪图片进行标注修改。
3.根据权利要求2所述的方法，其中，对所述被跟踪图片进行标注修改的多种修改方式选项，包括：
对所述被跟踪图片进行人工标注修改的选项；
对所述被跟踪图片进行重新跟踪标注的选项。
4.根据权利要求1-3任一项所述的方法，其中，将所述第一帧图片语义分割为多个图像块，接收标注人员对所述第一帧图片中的各图像块的类别标注操作，包括：
将所述第一帧图片语义分割为多个多边形块作为所述图像块；
接收标注人员对所述第一帧图片中任意多边形块的类别标注操作。
5.根据权利要求1-3任一项所述的方法，其中，将所述第一帧图片语义分割为多个图像块，接收标注人员对所述第一帧图片中的各图像块的类别标注操作，包括：
将所述第一帧图片语义分割为多个超像素块作为所述图像块；
接收标注人员对所述第一帧图片中任意超像素块的类别标注操作。
6.根据权利要求5所述的方法，其中，还包括：将所述第一帧图片中标注类别相同的超像素块合并为组合块；
采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别包括：
采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的组合块对应的图像区域，将跟踪到的图像区域标注为相应类别。
7.根据权利要求5所述的方法，其中，还包括：在所述第一帧图片中的每一标注类别的超像素块中选择典型超像素块，所述典型超像素块周边包含多个属于同一标注类别的超像素块；
采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别包括：
采用预设跟踪算法在所述被跟踪图片中跟踪与所述典型超像素块对应的图像区域，将跟踪到的图像区域标注为相应类别；
接收标注人员以标注类别后的典型超像素块为基准的连续选取操作，将连续选取操作对应的超像素块标注为与典型超像素块类别相同的类别。
8.根据权利要求1-3任一项所述的方法，其中，还包括：
若所述被跟踪图片中还存在未跟踪到的图像区域，按照预设聚类算法将未跟踪到的图像区域与所述被跟踪图片中标注类别后的图像块进行聚类；
依据与所述未跟踪到的图像区域属于同一聚类的图像块的类别，对所述未跟踪到的图像区域进行类别标注。
9.一种图片语义分割半自动标注装置，包括：
选取模块，适于获取包含多帧图片的一组图像，从获取到的图像中选择第一帧图片；
分割标注模块，适于将所述第一帧图片语义分割为多个图像块，接收标注人员对所述第一帧图片中的各图像块的类别标注操作；
跟踪标注模块，适于将所述第一帧图片作为初始图片，将所述多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片，采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域，将跟踪到的图像区域标注为相应类别；
所述跟踪标注模块，还适于以当前标注后的被跟踪图片作为新的初始图片，继续对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注，直到所述多帧图片均标注完成。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行权利要求1-8任一项所述的图片语义分割半自动标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910430851.2A CN110189333B (zh) | 2019-05-22 | 2019-05-22 | 一种图片语义分割半自动标注方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910430851.2A CN110189333B (zh) | 2019-05-22 | 2019-05-22 | 一种图片语义分割半自动标注方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110189333A true CN110189333A (zh) | 2019-08-30 |
| CN110189333B CN110189333B (zh) | 2022-03-15 |
Family
ID=67717297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910430851.2A Active CN110189333B (zh) | 2019-05-22 | 2019-05-22 | 一种图片语义分割半自动标注方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110189333B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037255A (zh) * | 2020-08-12 | 2020-12-04 | 深圳市道通智能航空技术有限公司 | 目标跟踪方法和装置 |
| CN112418335A (zh) * | 2020-11-27 | 2021-02-26 | 北京云聚智慧科技有限公司 | 基于连续图像帧跟踪标注的模型训练方法及电子设备 |
| CN113178079A (zh) * | 2021-04-06 | 2021-07-27 | 青岛以萨数据技术有限公司 | 一种用于信号灯和车道线的标注***、方法及存储介质 |
| CN113343857A (zh) * | 2021-06-09 | 2021-09-03 | 浙江大华技术股份有限公司 | 标注方法、装置、存储介质及电子装置 |
| WO2022160736A1 (zh) * | 2021-01-28 | 2022-08-04 | 上海商汤智能科技有限公司 | 图像标注方法、装置、电子设备、存储介质及程序 |
| WO2023024959A1 (zh) * | 2021-08-27 | 2023-03-02 | 广州市网星信息技术有限公司 | 图像标注方法、***、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559237A (zh) * | 2013-10-25 | 2014-02-05 | 南京大学 | 基于目标跟踪的半自动图像标注样本生成方法 |
| CN106023145A (zh) * | 2016-05-06 | 2016-10-12 | 哈尔滨工程大学 | 基于超像素标注的遥感图像的分割与识别方法 |
| CN108986134A (zh) * | 2018-08-17 | 2018-12-11 | 浙江捷尚视觉科技股份有限公司 | 一种基于相关滤波跟踪的视频目标半自动标注方法 |
| CN109409248A (zh) * | 2018-09-30 | 2019-03-01 | 上海交通大学 | 基于深度语义网络的语义标注方法、装置及*** |
| CN109766830A (zh) * | 2019-01-09 | 2019-05-17 | 深圳市芯鹏智能信息有限公司 | 一种基于人工智能图像处理的舰船目标识别***及方法 |
-
2019
- 2019-05-22 CN CN201910430851.2A patent/CN110189333B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559237A (zh) * | 2013-10-25 | 2014-02-05 | 南京大学 | 基于目标跟踪的半自动图像标注样本生成方法 |
| CN106023145A (zh) * | 2016-05-06 | 2016-10-12 | 哈尔滨工程大学 | 基于超像素标注的遥感图像的分割与识别方法 |
| CN108986134A (zh) * | 2018-08-17 | 2018-12-11 | 浙江捷尚视觉科技股份有限公司 | 一种基于相关滤波跟踪的视频目标半自动标注方法 |
| CN109409248A (zh) * | 2018-09-30 | 2019-03-01 | 上海交通大学 | 基于深度语义网络的语义标注方法、装置及*** |
| CN109766830A (zh) * | 2019-01-09 | 2019-05-17 | 深圳市芯鹏智能信息有限公司 | 一种基于人工智能图像处理的舰船目标识别***及方法 |
Non-Patent Citations (2)
| Title |
|---|
| SZIL´ARD VAJDA 等: "Label the many with a few: Semi-automatic medical image modality discovery in a large image collection", 《2014 IEEE SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE IN HEALTHCARE AND E-HEALTH (CICARE)》 * |
| 曹奇敏: "网络信息文本挖掘若干问题研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037255A (zh) * | 2020-08-12 | 2020-12-04 | 深圳市道通智能航空技术有限公司 | 目标跟踪方法和装置 |
| CN112418335A (zh) * | 2020-11-27 | 2021-02-26 | 北京云聚智慧科技有限公司 | 基于连续图像帧跟踪标注的模型训练方法及电子设备 |
| CN112418335B (zh) * | 2020-11-27 | 2024-04-05 | 北京云聚智慧科技有限公司 | 基于连续图像帧跟踪标注的模型训练方法及电子设备 |
| WO2022160736A1 (zh) * | 2021-01-28 | 2022-08-04 | 上海商汤智能科技有限公司 | 图像标注方法、装置、电子设备、存储介质及程序 |
| CN113178079A (zh) * | 2021-04-06 | 2021-07-27 | 青岛以萨数据技术有限公司 | 一种用于信号灯和车道线的标注***、方法及存储介质 |
| CN113178079B (zh) * | 2021-04-06 | 2022-08-23 | 青岛以萨数据技术有限公司 | 一种用于信号灯和车道线的标注***、方法及存储介质 |
| CN113343857A (zh) * | 2021-06-09 | 2021-09-03 | 浙江大华技术股份有限公司 | 标注方法、装置、存储介质及电子装置 |
| CN113343857B (zh) * | 2021-06-09 | 2023-04-18 | 浙江大华技术股份有限公司 | 标注方法、装置、存储介质及电子装置 |
| WO2023024959A1 (zh) * | 2021-08-27 | 2023-03-02 | 广州市网星信息技术有限公司 | 图像标注方法、***、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110189333B (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189333A (zh) | 一种图片语义分割半自动标注方法及装置 | |
| US9014467B2 (en) | Image processing method and image processing device | |
| RU2637989C2 (ru) | Способ и устройство для идентификации целевого объекта на изображении | |
| Wang et al. | Videosnapping: Interactive synchronization of multiple videos | |
| CN102694966B (zh) | 一种全自动视频编目***的构建方法 | |
| CN110443210A (zh) | 一种行人跟踪方法、装置以及终端 | |
| CN103347167A (zh) | 一种基于分段的监控视频内容描述方法 | |
| EP2774119A1 (en) | Improving image matching using motion manifolds | |
| CN110619284B (zh) | 一种视频场景划分方法、装置、设备及介质 | |
| Höferlin et al. | Uncertainty-aware video visual analytics of tracked moving objects | |
| Barthel et al. | Navigating a graph of scenes for exploring large video collections | |
| CN101286230B (zh) | 图像处理设备和图像处理方法 | |
| CN110136166A (zh) | 一种多路画面的自动跟踪方法 | |
| Zhao et al. | Automatic blur region segmentation approach using image matting | |
| CN110196917A (zh) | 个性化logo版式定制方法、***和存储介质 | |
| CN106447656B (zh) | 基于图像识别的渲染瑕疵图像检测方法 | |
| CN110008900A (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
| CN111429512B (zh) | 图像处理方法和装置、存储介质及处理器 | |
| Szemenyei et al. | Real-time scene understanding using deep neural networks for RoboCup SPL | |
| Hu et al. | Instance segmentation based semantic matting for compositing applications | |
| CN109215047B (zh) | 基于深海视频的运动目标检测方法和装置 | |
| CN101425074A (zh) | 分析多个存储图像的方法和设备 | |
| CN106503740A (zh) | 图片分类方法及装置 | |
| Lu et al. | Real-time video stylization using object flows | |
| CN108682021A (zh) | 快速手部跟踪方法、装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220325 Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province Patentee after: Yikatong (Hubei) Technology Co.,Ltd. Address before: No.c101, chuanggu start up area, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic Development Zone, Hubei Province Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |