CN112529830B - 图像标注方法、装置、电子设备和存储介质 - Google Patents

图像标注方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112529830B
CN112529830B CN201910814719.1A CN201910814719A CN112529830B CN 112529830 B CN112529830 B CN 112529830B CN 201910814719 A CN201910814719 A CN 201910814719A CN 112529830 B CN112529830 B CN 112529830B
Authority
CN
China
Prior art keywords
hole
foreground region
image
binary image
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910814719.1A
Other languages
English (en)
Other versions
CN112529830A (zh
Inventor
余雪兵
康勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN201910814719.1A priority Critical patent/CN112529830B/zh
Publication of CN112529830A publication Critical patent/CN112529830A/zh
Application granted granted Critical
Publication of CN112529830B publication Critical patent/CN112529830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像标注方法、装置、电子设备和存储介质，该方法包括：根据已标注图像中目标对象的像素坐标，生成目标对象对应的前景区域；在前景区域生成假设空洞，并根据假设空洞是否为真实空洞的判断结果更新前景区域，更新后的前景区域中包括真实空洞；根据更新后的前景区域中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞。本申请提供的图像标注方法可以确定标注为目标对象的前景区域中的真实空洞，进而能够将目标对象中的空洞进行重新标注，提高了图像标注的准确性。

Description

图像标注方法、装置、电子设备和存储介质
技术领域
本申请涉及图像标注技术领域，尤其涉及一种图像标注方法、装置、电子设备和存储介质。
背景技术
图像标注，是对图像中包含的像素块进行分类的过程，该过程实质上是将图像中属于不同对象的像素块进行分类。例如，标注哪些像素块属于人物，哪些像素块属于树木，哪些像素块属于车道等。目前，多采用图像标注模型对图像进行标注。图像标注模型是通过训练数据集进行训练获取的，其中，训练数据集中包括大量的已标注图像。
现有技术中，为了保证训练获取的图像标注模型的准确性，多采用人工标注的方式对图像进行标注，以获取准确的训练数据集。图像中的同一对象中可能包含有空洞，该空洞中对应的像素块属于其他对象。例如，图像中树木的枝叶间可能包含有空洞，该空洞可能为天空、房子等，而并非树木。为了节省人力，人工标注时将包含空洞的像素块全部标注为同一对象，如将包含有空洞的像素块全部标注为树木。但这种标注方式的标注准确性低，会对图像标注模型的训练结果造成不利影响。
发明内容
本申请提供一种图像标注方法、装置、电子设备和存储介质，可以确定标注为目标对象的前景区域中的真实空洞，进而能够将目标对象中的空洞进行重新标注，提高了图像标注的准确性。
本申请的第一方面提供一种图像标注方法，包括：
根据已标注图像中目标对象的像素坐标，生成所述目标对象对应的前景区域；
在所述前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述前景区域，更新后的前景区域中包括真实空洞；
根据所述更新后的前景区域中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞。
所述前景区域为二值图中的前景区域，所述在所述前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述前景区域，包括：
在所述二值图中的前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述二值图，更新后的二值图中的前景区域为所述更新后的前景区域；
所述根据所述更新后的前景区域中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞，包括：
根据所述更新后的二值图中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞。
可选的，所述在所述二值图中的前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述二值图，包括：
A、在迭代周期i对应的二值图Pi的前景区域以预设概率随机生成假设空洞，其中，i为大于或等于1的整数；
B、根据所述假设空洞的像素坐标，在所述已标注图像中根据假设空洞的分布与真实空洞的分布的对应关系，判断所述Pi的前景区域上的假设空洞是否为真实空洞；
C、根据所述Pi的前景区域上的假设空洞是否为真实空洞的判断结果，对所述Pi依次进行标注、腐蚀和膨胀处理，得到所述迭代周期i对应的更新后的二值图Pi”；
D、判断所述i是否等于预设值，若是，执行E，若否，则将所述Pi”作为下一迭代周期对应的二值图，并返回执行所述A；
E、将所述迭代周期i对应的更新后的二值图Pi”作为所述更新后的二值图。
可选的，所述根据所述Pi的前景区域上的假设空洞是否为真实空洞的判断结果，对所述Pi依次进行标注、腐蚀和膨胀处理，得到所述迭代周期i对应的更新后的二值图Pi”，包括：
将所述Pi的前景区域上为真实空洞的假设空洞对应的像素块标注为背景区域，将所述Pi的前景区域上的不为真实空洞的假设空洞对应的像素块标注为前景区域，得到迭代周期i对应的标注后的二值图；
对所述迭代周期i对应的标注后的二值图进行腐蚀处理，得到所述迭代周期i对应的腐蚀处理后的二值图Pi'；
对所述迭代周期i对应的腐蚀处理后的二值图Pi'进行膨胀处理，得到所述Pi”。
可选的，所述根据所述更新后的二值图中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞之前，还包括：
通过对比第一个迭代周期对应的前景区域，以及最后一个迭代周期对应的前景区域，获取所述更新后的二值图中真实空洞的像素坐标，所述真实空洞的像素坐标为：在第一个迭代周期中属于前景区域，在所述最后一个迭代周期中属于背景区域的像素块对应的像素坐标。
所述在所述二值图中的前景区域生成假设空洞之前，还包括：
接收用户输入的第一指令，所述第一指令用于指示对所述二值图的前景区域进行膨胀处理，所述第一指令是在所述已标注图像中目标对象的标注轮廓面积小于第一预设轮廓面积时输入的；和/或，
接收所述用户输入的第二指令，所述第二指令用于指示对所述二值图的前景区域进行腐蚀处理，所述第二指令是在所述已标注图像中目标对象的标注轮廓面积大于第二预设轮廓面积时输入的，所述第二预设轮廓面积大于所述第一预设轮廓面积。
可选的，所述根据所述更新后的二值图中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞之后，所述方法还包括：
接收用户输入的标注指令，所述标注指令中包括：所述已标注图像中被标注为空洞的像素块中的目标像素块对应的对象；
根据所述标注指令，将所述目标像素块标注为所述目标像素块对应的对象。
本申请的第二方面提供一种图像标注装置，包括：
第一处理模块，用于根据已标注图像中目标对象的像素坐标，生成所述目标对象对应的前景区域；在所述前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述前景区域，更新后的前景区域中包括真实空洞；
第二处理模块，用于根据所述更新后的前景区域中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞。
可选的，所述前景区域为二值图中的前景区域。
对应的，所述第一处理模块，具体用于在所述二值图中的前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述二值图，更新后的二值图中的前景区域为所述更新后的前景区域。
所述第二处理模块，用于根据所述更新后的二值图中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞。
可选的，所述第一处理模块，具体用于：
A、在迭代周期i对应的二值图Pi的前景区域以预设概率随机生成假设空洞，其中，i为大于或等于1的整数；
B、根据所述假设空洞的像素坐标，在所述已标注图像中根据假设空洞的分布与真实空洞的分布的对应关系，判断所述Pi的前景区域上的假设空洞是否为真实空洞；
C、根据所述Pi的前景区域上的假设空洞是否为真实空洞的判断结果，对所述Pi依次进行标注、腐蚀和膨胀处理，得到所述迭代周期i对应的更新后的二值图Pi”；
D、判断所述i是否等于预设值，若是，执行E，若否，则将所述Pi”作为下一迭代周期对应的二值图，并返回执行所述A；
E、将所述迭代周期i对应的更新后的二值图Pi”作为所述更新后的二值图。
可选的，所述第一处理模块，具体用于：将所述Pi的前景区域上为真实空洞的假设空洞对应的像素块标注为背景区域，将所述Pi的前景区域上的不为真实空洞的假设空洞对应的像素块标注为前景区域，得到迭代周期i对应的标注后的二值图；对所述迭代周期i对应的标注后的二值图进行腐蚀处理，得到所述迭代周期i对应的腐蚀处理后的二值图Pi'；对所述迭代周期i对应的腐蚀处理后的二值图Pi'进行膨胀处理，得到所述Pi”。
可选的，所述第一处理模块，还用于通过对比第一个迭代周期对应的前景区域，以及最后一个迭代周期对应的前景区域，获取所述更新后的二值图中真实空洞的像素坐标，所述真实空洞的像素坐标为：在第一个迭代周期中属于前景区域，在所述最后一个迭代周期中属于背景区域的像素块对应的像素坐标。
可选的，所述图像标注装置还包括：收发模块。
所述收发模块，用于在所述前景区域生成假设空洞之前，接收用户输入的第一指令，所述第一指令用于指示对所述二值图的前景区域进行膨胀处理，所述第一指令是在所述已标注图像中目标对象的标注轮廓面积小于第一预设轮廓面积时输入的；和/或，
还用于接收所述用户输入的第二指令，所述第二指令用于指示对所述二值图的前景区域进行腐蚀处理，所述第二指令是在所述已标注图像中目标对象的标注轮廓面积大于第二预设轮廓面积时输入的，所述第二预设轮廓面积大于所述第一预设轮廓面积。
可选的，所述收发模块，还用于接收用户输入的标注指令，所述标注指令中包括：所述已标注图像中被标注为空洞的像素块中的目标像素块对应的对象。
对应的，所述第二处理模块，用于根据所述标注指令，将所述目标像素块标注为所述目标像素块对应的对象。
本申请的第三方面提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行上述图像标注方法。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现上述图像标注方法。
本申请提供一种图像标注方法、装置、电子设备和存储介质，该方法包括：根据已标注图像中目标对象的像素坐标，生成目标对象对应的前景区域；在前景区域生成假设空洞，并根据假设空洞是否为真实空洞的判断结果更新前景区域，更新后的前景区域中包括真实空洞；根据更新后的前景区域中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞。本申请提供的图像标注方法可以确定标注为目标对象的前景区域中的真实空洞，进而能够将目标对象中的空洞进行重新标注，提高了图像标注的准确性。
附图说明
图1为本申请提供的图像标注方法的流程示意图一；
图2为本申请提供的未标注图像的示意图；
图3为本申请提供的已标注图像对应的二值图的示意图；
图4为本申请提供的更新后的二值图的示意图；
图5为本申请提供的图像标注方法的流程示意图二；
图6为本申请提供的图像标注装置的结构示意图；
图7为本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的实施例，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术中图像标注准确性低的问题，本申请中提供一种图像标注方法，通过确定已标注图像中目标对象对应的前景区域的真实空洞，进而根据真实空洞的像素坐标对已标注图像进行重新标注，使得对已标注图像中的目标对象中的空洞进行标注，以达到提高标注准确性的目的。
图1为本申请提供的图像标注方法的流程示意图一。图1所示方法流程的执行主体可以为图像标注装置，该图像标注装置可由任意的软件和/或硬件实现。如图1所示，本实施例提供的图像标注方法可以包括：
S101，根据已标注图像中目标对象的像素坐标，生成目标对象对应的前景区域。
本实施例中的已标注图像为经过粗标注的图像。其中，粗标注指的是根据现有技术中的标注技术，可选的，该标注技术可以为人工标注，或者根据图像标注模型进行的标注。且该已标注图像指的是未标注目标对象中的空洞、而是将目标对象和其中包含的空洞均作为目标对象进行标注。本实施例中对已标注图像的标注方法不做限制。
目标对象为预先设置的对象，该预先设置的对象为通常携带有空洞的对象。例如，树木、栅栏、自行车等。本实施例中对包含有目标对象的图像进行粗标注后，可以确定该已标注图像中目标对象的像素坐标。例如，目标对象为树木，则在图像中标注树木即为：将属于树木的像素块标注为树木。对应的，可以在已标注图像中确定属于树木的像素块，即可获取树木的像素坐标。
本实施例中可以根据已标注图像中目标对象的像素坐标，生成目标对象的前景区域。其中，目标对象的前景区域为已标注图像中的目标对象对应的像素块组成的区域。本实施例中为了便于将前景区域和已标注图像的中的像素块进行对应，可以根据像素块的比例为1：1生成目标对象的前景区域。
在一种可能的实施方式中，前景区域为二值图中的前景区域，即本实施例中生成已标注图像对应的二值图，该二值图的前景区域为该目标对象对应的像素块。其中，为了便于将二值图和已标注图像的中的像素块进行对应，生辰的二值图可以与已标注图像具有相同大小。
应理解，二值图中除目标对象对应的像素块区域(前景区域)之外，均为背景区域。可选的，本实施例中的前景区域的灰度值可以为0或255，即前景区域可以为黑色或白色，对应的，背景区域的灰度值可以为255或0，即背景区域可以为白色或黑色。
示例性的，根据已标注图像中树木的像素坐标，生成与已标注图像大小相同的二值图，该二值图的前景区域为树木的像素坐标对应的像素块组成的区域。图2为本申请提供的未标注图像的示意图，图3为本申请提供的已标注图像对应的二值图的示意图。图2为未标注图像，在将图2中的图像进行粗标注后对应的二值图如图3中所示。如图3所示，目标对象为树木，现有技术中将树木中可能携带的空洞也均被标注为树木(即图3中的树木未标注空洞)。应理解，图3中示例性的示出了生成的二值图中的前景区域为黑色。
可选的，本实施例中可以对已标注的图像(粗标注的图像)对应的二值图进行细标注。
示例性的，对图像中的目标对象进行粗标注可以确定已标注图像中目标对象的标注轮廓面积，若粗标注结果较为准确，则已标注图像中目标对象的标注轮廓面积应处于预设轮廓面积范围内。该预设轮廓面积范围可以为大于第一预设轮廓面积且小于第二预设轮廓面积，其中，第二预设轮廓面积大于第一预设轮廓面积。
可选的，本实施例中还可以接收用户输入的第一指令，其中，第一指令用于指示对二值图的前景区域进行膨胀处理。值得注意的是，第一指令是在已标注图像中目标对象的标注轮廓面积小于第一预设轮廓面积时输入的。
若用户确定二值图中的前景区域的面积，即目标对象的标注轮廓面积小于第一预设轮廓面积时，由于粗标注未将图像中的目标对象均标注完全，则对二值图的前景区域进行膨胀处理，以增大目标对象对应的前景区域，提高粗标注结果的准确性。其中，用户确定目标对象的标注轮廓面积小于第一预设轮廓面积，则可以输入第一指令，指示对二值图的前景区域进行膨胀处理。可选的，该第一指令中包括有膨胀因子，图像标注装置可以根据该膨胀因子对二值图的前景区域进行相应的膨胀处理。
可选的，本实施例中还可以接收用户输入的第二指令，第二指令用于指示对二值图的前景区域进行腐蚀处理，第二指令是在在已标注图像中目标对象的标注轮廓面积大于第二预设轮廓面积时输入的。
示例性的，若用户确定二值图中的前景区域的面积，即目标对象的标注轮廓面积大于第二预设轮廓面积时，由于粗标注将图像中的目标对象周围不少用户与目标对象的像素块也标注为目标对象，则需要对二值图的前景区域进行腐蚀处理，以减小目标对象对应的前景区域，提高粗标注结果的准确性。其中，用户确定目标对象的标注轮廓面积大于第二预设轮廓面积，则可以输入第二指令，指示对二值图的前景区域进行腐蚀处理。可选的，该第二指令中包括有腐蚀因子，图像标注装置可以根据该腐蚀因子对二值图的前景区域进行相应的腐蚀处理。应理解，当目标对象为至少一个时，可以同时接收到上述第一指令和第二指令。
S102，在前景区域生成假设空洞，并根据假设空洞是否为真实空洞的判断结果更新前景区域，更新后的前景区域中包括真实空洞。
本实施例中可以在前景区域生成假设空洞，其中，假设空洞是随机生成的。可选的，本实施例中可以采用预设概率在前景区域生成假设空洞。示例性的，如预设概率为2％，则对应的可以在前景区域对应的像素块中以2％的概率生成假设空洞。如，前景区域对应的像素块有100个，则在该100个像素块中确定2个像素块为空洞对应的像素块。
在前景区域生成假设空洞后，需要判断生成的假设空洞是否为真实空洞。其中，本实施例中可以采用条件随机场(Conditional random field algorithm，CRF)算法判断假设空洞是否为真实空洞。假设空洞是否为真实空洞的判断结果可以包括：哪些假设空洞为真实空洞，以及哪些假设空洞不为真实空洞。
应理解，本实施例中采用的CRF算法可以在已知假设空洞的像素坐标的前提下，即获取假设空洞的分布情况后，可以预测真实空洞的分布，即可以确定真实空洞的像素坐标，进而能够确定假设空洞是否为真实空洞，进而能够获取假设空洞是否为真实空洞的判断结果。本实施例中对CRF算法的原理不做赘述。
本实施例中，可以根据假设空洞是否为真实空洞的判断结果更新前景区域，得到更新后的前景区域。其中，更新前景区域可以为将前景区域中确定为真实空洞的假设空洞对应的像素块标记为空洞。值得注意的是，本实施例中更新后的前景区域中包括真实空洞。
在一种可能的实施方式中，当前景区域为二值图中的前景区域时，上述实施例中的“在前景区域生成假设空洞，并根据假设空洞是否为真实空洞的判断结果更新前景区域”，即为“在二值图中的前景区域生成假设空洞，并根据假设空洞是否为真实空洞的判断结果更新二值图”，其中该更新后的二值图中的前景区域为更新后的前景区域。对应的，上述的“根据更新后的前景区域中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞”，即为“根据更新后的二值图中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞”。
与图3对应的更新后的二值图如图4所示，图4为本申请提供的更新后的二值图的示意图。其中，前景区域为树木，本实施例中在更新后的二值图中可以将前景区域树木中的真实空洞标注出来，空洞如图4中的黑色树木中白色部分所示。
S103，根据更新后的前景区域中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞。
本实施例中在获取更新后前景区域后，即可确定前景区域中真实空洞的像素坐标。其中，可以根据更新后的前景区域中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞。
应理解，由于更新后的前景区域中的像素块与已标注图像中的像素块具有对象关系，因此，可以在已标注图像中将真实空洞的像素坐标对应的像素块确定为真实空洞，进而将对应像素坐标的像素块重新标注为空洞。
示例性的，更新后的前景区域中的像素块A为真实空洞，则在已标注图像中该像素块A对应的像素块标注为真实空洞。其中，该像素块A对应的像素块即为像素坐标相同的像素块。
在一种可能的实施方式中，当前景区域为二值图中的前景区域时，上述“根据更新后的前景区域中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞”，即为“更新后的二值图中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞”。
在一种可能的实时方式中，当前景区域为二值图中的前景区域时，在所述已标注图像中将对应像素坐标的像素块标注为空洞后，还可以通过人工检查的方式，进一步确定已标注图像中被标注为空洞的像素块是否真正属于空洞部分。
本实施例中，可以接收用户输入的标注指令。其中，标注指令中包括：已标注图像中被标注为空洞的像素块中的目标像素块对应的对象。其中，目标对象指的是已标注图像中被标注为空洞的像素块，但实际上该像素块对应的为非空洞。例如该目标像素块对应的对象为道路、房屋等。
在该种场景下，本实施例中显示已标注图像，以及已标注图像中被标注为空洞的像素块，本实施例中，用户可以通过点击或者其他选择方式对目标像素块进行选择，以触发向图像标注装置发送标注指令。其中，该标注指令中包括：目标像素块对应的对象。对应的，图像标注装置接收用户输入的标注指令，在已标注图像中可以根据该标注指令，将目标像素块标注为目标像素块对应的对象，能够提高像素块的标注准确性。
本实施例中提供的图像标注方法包括：根据已标注图像中目标对象的像素坐标，生成目标对象对应的前景区域；在前景区域生成假设空洞，并根据假设空洞是否为真实空洞的判断结果更新前景区域，更新后的前景区域中包括真实空洞；根据更新后的前景区域中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞。本实施例提供的图像标注方法可以确定标注为目标对象的前景区域中的真实空洞，进而能够将目标对象中的空洞进行重新标注，提高了图像标注的准确性。
在上述实施例的基础上，下述以前景区域为二值图中前景区域为例结合图5对本申请提供的图像标注方法进行进一步说明，图5为本申请提供的图像标注方法的流程示意图二。如图5所示，本实施例提供的可以包括：
S501，根据已标注图像中目标对象的像素坐标，生成二值图，该二值图的前景区域为目标对象。
本实施例中可以多次生成假设空洞，并根据每次生成的假设空洞是否为真实空洞的判断结果更新二值图的前景区域，在多次更新处理后得到更新后的二值图。下述结合S502-S506对该过程进行详细说明。应理解，本实施例中多次生成假设空洞的目的是为了生成的假设空洞可以将前景区域的像素块遍历完全，以使能够准确的获取前景区域中的真实空洞。
S502，在迭代周期i对应的二值图Pi的前景区域以预设概率随机生成假设空洞，其中，i为大于或等于1的整数。
将已标注图像生成的二值图为迭代周期1对应的二值图P1。应理解，在根据迭代周期1对应的二值图P1中假设空洞是否为真实空洞的判断结果，对迭代周期1对应的二值图P1的前景区域进行更新后得到的二值图为迭代周期2对应的二值图P2。
本实施例中可以以预设概率在迭代周期i对应的二值图Pi的前景区域随机生成假设空洞。i为大于或等于1的整数。其中，在每个迭代周期i对应的二值图Pi的前景区域随机生成假设空洞的方式可以参照上述实施例中S102中相关描述，在此不做赘述。
S503，根据假设空洞的像素坐标，在已标注图像中根据假设空洞的分布与真实空洞的分布的对应关系，在已标注图像中确定Pi的前景区域上的假设空洞是否为真实空洞。
本实施例中在二值图的前景图像中获取了假设空洞，对应的能够确定假设空洞的像素坐标。由于二值图与已标注图像具有相同的尺寸，因此可以根据假设空洞的像素坐标，在所述已标注图像中确定假设空洞在已标注图像中的位置(即像素坐标)。在已标注图像中根据假设空洞的分布与真实空洞的分布的对应关系，即根据上述的CRF算法(该CRF算法用于表征假设空洞的分布与真实空洞的分布的对应关系)，可以确定已标注图像中的假设空洞是否为真实空洞，对应的，可以确定Pi的前景区域上的假设空洞是否为真实空洞。
S504，根据Pi的前景区域上的假设空洞是否为真实空洞的判断结果，对Pi依次进行标注、腐蚀和膨胀处理，得到迭代周期i对应的更新后的二值图Pi”。
本实施例中在获取Pi的前景区域上的假设空洞是否为真实空洞的判断结果后，可以对Pi进行处理。其中该处理为依次对Pi依次进行标注、腐蚀和膨胀处理，进而能够得到迭代周期i对应的更新后的二值图Pi”。
可选的，本实施例中可以将Pi的前景区域上为真实空洞的假设空洞对应的像素块标注为背景区域，将Pi的前景区域上的不为真实空洞的假设空洞对应的像素块标注为前景区域，得到迭代周期i对应的标注后的二值图，即对二值图中的真实空洞进行重新标注。
进一步的，本实施例中对迭代周期i对应的标注后的二值图进行腐蚀处理，得到迭代周期i对应的腐蚀处理后的二值图Pi'。其中，进行腐蚀处理是为了减小前景区域的面积，其目的实际上是为了将相邻的微小空洞连接成大的空洞，以避免在下个迭代周期进一步生成假设空洞后，将该微小空洞重新标注为前景区域，导致做了无用功。本实施例中将相邻的微小空洞连接成大的空洞，可以使得在迭代周期i标注的真实空洞具有更高的稳定性。
进一步的，本实施例中还可以对迭代周期i对应的腐蚀处理后的二值图Pi'进行膨胀处理，得到Pi”。其中，由于在此之前进行了腐蚀处理，前景区域对应的标注轮廓面积减小，在此进行膨胀处理是为了使得前景区域的对应的标注轮廓面积恢复至未进行腐蚀处理之前。应理解，本实施例中该步骤中的膨胀因子和腐蚀因子相同。
S505，判断i是否等于预设值，若是，执行E，若否，则将Pi”作为下一迭代周期对应的二值图，并返回执行A。
本实施例中可以预先设置迭代周期的预设值，以期望随机生成的假设空洞可以遍历前景区域对应的像素块。其中，需要i是否等于预设值，若确定i为预设值，则确定迭代结束，将迭代周期i对应的更新后的二值图Pi”作为更新后的二值图。若确定i不为预设值，则确定还需要继续进行迭代，即将i加1，将Pi”作为下一迭代周期对应的二值图，并返回执行S502，直至i为预设值。
S506，将迭代周期i对应的更新后的二值图Pi”作为更新后的二值图。
本实施例中，在迭代结束时，即迭代周期i为预设值时，将迭代周期i对应的更新后的二值图Pi”作为更新后的二值图。
S507，通过对比第一个迭代周期对应的前景区域，以及最后一个迭代周期对应的前景区域，获取更新后的二值图中真实空洞的像素坐标，真实空洞的像素坐标为：在第一个迭代周期中属于前景区域，在最后一个迭代周期中属于背景区域的像素块对应的像素坐标。
在迭代结束时，通过对比第一个迭代周期对应的前景区域，以及最后一个迭代周期对应的前景区域，可以确定在第一个迭代周期中属于前景区域，在最后一个迭代周期中属于背景区域的像素块对应的像素坐标。该像素坐标即为更新后的二值图中真实空洞的像素坐标。因此，本实施例中通过对比对比第一个迭代周期对应的前景区域，以及最后一个迭代周期对应的前景区域，可以获取更新后的二值图中真实空洞的像素坐标。
示例性的，在第一个迭代周期对应的前景区域中不包括有真实空洞，即前景区域中的像素块均属于目标对象。而在最后一个迭代周期中原属于前景区域的像素块，被标注为背景区域的像素块A即为真实空洞，对应的，像素块A的像素坐标即为真实空洞的像素坐标。
可选的，本实施例中也可以通过对比第一个迭代周期对应的背景区域，以及最后一个迭代周期对应的背景区域，可以确定在第一个迭代周期中属于背景区域，在最后一个迭代周期中属于前景区域的像素块对应的像素坐标。该像素坐标对应的像素块为：在已标注图像中原被标注为背景区域，但应标注为目标对象的像素块。
对应的，本实施例中可以获取该像素坐标，在已标注图像中将该像素坐标对应的像素块标注为目标对象。
本实施例中，可以在二值图的前景区域中多次生成假设空洞，并根据每次生成的假设空洞是否为真实空洞的判断结果更新二值图的前景区域，进而多次处理后获取更新后的二值图。其中多次生成假设空洞的目的是为了生成的假设空洞可以将前景区域的像素块遍历完全，以使能够准确的获取前景区域中的真实空洞。进一步的，在每个迭代周期确定前景区域的真实空洞后，可以对前景区域进行腐蚀和膨胀处理，目的是为了将相邻的微小空洞连接成大的空洞，以避免在下个迭代周期进一步生成假设空洞后，将该微小空洞重新标注为前景区域，使得在迭代周期标注的真实空洞具有更高的稳定性，以此提高空洞标注的准确性。
图6为本申请提供的图像标注装置的结构示意图。该图像标注装置可以为服务器或终端(比如智能手机、平板电脑、计算机等)等电子设备。如图6所示，该图像标注装置600包括：第一处理模块601、第二处理模块602和收发模块603。
第一处理模块601，用于根据已标注图像中目标对象的像素坐标，生成目标对象对应的前景区域，以及在前景区域生成假设空洞，并根据假设空洞是否为真实空洞的判断结果更新前景区域，更新后的前景区域中包括真实空洞。
第二处理模块602，用于根据更新后的前景区域中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞。
可选的，前景区域为二值图中的前景区域。
对应的，第一处理模块601，具体用于在二值图中的前景区域生成假设空洞，并根据假设空洞是否为真实空洞的判断结果更新二值图，更新后的二值图中的前景区域为更新后的前景区域。
以及，第二处理模块602，具体用于根据更新后的二值图中真实空洞的像素坐标，在已标注图像中将对应像素坐标的像素块标注为空洞。
可选的，第一处理模块601，具体用于：
A、在迭代周期i对应的二值图Pi的前景区域以预设概率随机生成假设空洞，其中，i为大于或等于1的整数；
B、根据假设空洞的像素坐标，在已标注图像中根据假设空洞的分布与真实空洞的分布的对应关系，判断Pi的前景区域上的假设空洞是否为真实空洞；
C、根据Pi的前景区域上的假设空洞是否为真实空洞的判断结果，对Pi依次进行标注、腐蚀和膨胀处理，得到迭代周期i对应的更新后的二值图Pi”；
D、判断i是否等于预设值，若是，执行E，若否，则将Pi”作为下一迭代周期对应的二值图，并返回执行A；
E、将迭代周期i对应的更新后的二值图Pi”作为更新后的二值图。
可选的，第一处理模块601，具体用于：将Pi的前景区域上为真实空洞的假设空洞对应的像素块标注为背景区域，将Pi的前景区域上的不为真实空洞的假设空洞对应的像素块标注为前景区域，得到迭代周期i对应的标注后的二值图；对迭代周期i对应的标注后的二值图进行腐蚀处理，得到迭代周期i对应的腐蚀处理后的二值图Pi'；对迭代周期i对应的腐蚀处理后的二值图Pi'进行膨胀处理，得到Pi”。
可选的，第一处理模块601，还用于通过对比第一个迭代周期对应的前景区域，以及最后一个迭代周期对应的前景区域，获取更新后的二值图中真实空洞的像素坐标，真实空洞的像素坐标为：在第一个迭代周期中属于前景区域，在最后一个迭代周期中属于背景区域的像素块对应的像素坐标。
可选的，图像标注装置还包括：收发模块603。
收发模块603，用于在前景区域生成假设空洞之前，接收用户输入的第一指令，第一指令用于指示对二值图的前景区域进行膨胀处理，第一指令是在已标注图像中目标对象的标注轮廓面积小于第一预设轮廓面积时输入的；和/或，
还用于接收用户输入的第二指令，第二指令用于指示对二值图的前景区域进行腐蚀处理，第二指令为：在已标注图像中目标对象的标注轮廓面积大于第二预设轮廓面积时输入的，第二预设轮廓面积大于第一预设轮廓面积。
可选的，收发模块603，还用于接收用户输入的标注指令，标注指令中包括：已标注图像中被标注为空洞的像素块中的目标像素块对应的对象。
对应的，第二处理模块602，还用于根据标注指令，将目标像素块标注为目标像素块对应的对象。
本实施例提供的图像标注装置与上述图像标注方法实现的原理和技术效果类似，在此不作赘述。
图7为本申请提供的电子设备的结构示意图。如图7所示，该电子设备700包括：存储器701和至少一个处理器702。
存储器701，用于存储程序指令。
处理器702，用于在程序指令被执行时实现本实施例中的图像标注方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。
该电子设备700还可以包括及输入/输出接口703。
输入/输出接口703可以包括独立的输出接口和输入接口，也可以为集成输入和输出的集成接口。其中，输出接口用于输出数据，输入接口用于获取输入的数据。
本申请还提供一种可读存储介质，可读存储介质中存储有执行指令，当电子设备的至少一个处理器执行该执行指令时，当计算机执行指令被处理器执行时，实现上述实施例中的图像标注方法。
本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的图像标注方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁盘或者光盘等各种可以存储程序代码的介质。
在上述电子设备的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种图像标注方法，其特征在于，包括：
根据已标注图像中目标对象的像素坐标，生成所述目标对象对应的前景区域；
在所述前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述前景区域，更新后的前景区域中包括真实空洞；
根据所述更新后的前景区域中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞。
2.根据权利要求1所述的方法，其特征在于，所述前景区域为所述已标注图像对应的二值图中的前景区域，所述在所述前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述前景区域，包括：
在所述二值图中的前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述二值图，更新后的二值图中的前景区域为所述更新后的前景区域；
所述根据所述更新后的前景区域中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞，包括：
根据所述更新后的二值图中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞。
3.根据权利要求2所述的方法，其特征在于，所述在所述二值图中的前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述二值图，包括：
A、在迭代周期i对应的二值图Pi的前景区域以预设概率随机生成假设空洞，其中，i为大于或等于1的整数；
B、根据所述假设空洞的像素坐标，在所述已标注图像中根据假设空洞的分布与真实空洞的分布的对应关系，判断所述Pi的前景区域上的假设空洞是否为真实空洞；
C、根据所述Pi的前景区域上的假设空洞是否为真实空洞的判断结果，对所述Pi依次进行标注、腐蚀和膨胀处理，得到所述迭代周期i对应的更新后的二值图Pi”；
D、判断所述i是否等于预设值，若是，执行E，若否，则将所述Pi”作为下一迭代周期对应的二值图，并返回执行所述A；
E、将所述迭代周期i对应的更新后的二值图Pi”作为所述更新后的二值图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述Pi的前景区域上的假设空洞是否为真实空洞的判断结果，对所述Pi依次进行标注、腐蚀和膨胀处理，得到所述迭代周期i对应的更新后的二值图Pi”，包括：
将所述Pi的前景区域上为真实空洞的假设空洞对应的像素块标注为背景区域，将所述Pi的前景区域上的不为真实空洞的假设空洞对应的像素块标注为前景区域，得到迭代周期i对应的标注后的二值图；
对所述迭代周期i对应的标注后的二值图进行腐蚀处理，得到所述迭代周期i对应的腐蚀处理后的二值图Pi'；
对所述迭代周期i对应的腐蚀处理后的二值图Pi'进行膨胀处理，得到所述Pi”。
5.根据权利要求4所述的方法，其特征在于，所述根据所述更新后的二值图中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞之前，还包括：
通过对比第一个迭代周期对应的前景区域，以及最后一个迭代周期对应的前景区域，获取所述更新后的二值图中真实空洞的像素坐标，所述真实空洞的像素坐标为：在第一个迭代周期中属于前景区域，在所述最后一个迭代周期中属于背景区域的像素块对应的像素坐标。
6.根据权利要求2所述的方法，其特征在于，所述在所述二值图中的前景区域生成假设空洞之前，还包括：
接收用户输入的第一指令，所述第一指令用于指示对所述二值图的前景区域进行膨胀处理，所述第一指令是在所述已标注图像中目标对象的标注轮廓面积小于第一预设轮廓面积时输入的；和/或，
接收所述用户输入的第二指令，所述第二指令用于指示对所述二值图的前景区域进行腐蚀处理，所述第二指令是在所述已标注图像中目标对象的标注轮廓面积大于第二预设轮廓面积时输入的，所述第二预设轮廓面积大于所述第一预设轮廓面积。
7.根据权利要求2所述的方法，其特征在于，所述根据所述更新后的二值图中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞之后，所述方法还包括：
接收用户输入的标注指令，所述标注指令中包括：所述已标注图像中被标注为空洞的像素块中的目标像素块对应的对象；
根据所述标注指令，将所述目标像素块标注为所述目标像素块对应的对象。
8.一种图像标注装置，其特征在于，包括：
第一处理模块，用于根据已标注图像中目标对象的像素坐标，生成所述目标对象对应的前景区域；在所述前景区域生成假设空洞，并根据所述假设空洞是否为真实空洞的判断结果更新所述前景区域进行处理，更新后的前景区域中包括真实空洞；
第二处理模块，用于根据所述更新后的前景区域中真实空洞的像素坐标，在所述已标注图像中将对应像素坐标的像素块标注为空洞。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求1-7任一项所述的方法。
CN201910814719.1A 2019-08-30 2019-08-30 图像标注方法、装置、电子设备和存储介质 Active CN112529830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910814719.1A CN112529830B (zh) 2019-08-30 2019-08-30 图像标注方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910814719.1A CN112529830B (zh) 2019-08-30 2019-08-30 图像标注方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112529830A CN112529830A (zh) 2021-03-19
CN112529830B true CN112529830B (zh) 2023-11-14

Family

ID=74974098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910814719.1A Active CN112529830B (zh) 2019-08-30 2019-08-30 图像标注方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112529830B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1104916A1 (de) * 1999-12-04 2001-06-06 Luratech Gesellschaft für Luft-und Raumfahrt-Technologie & Multimedia mbH Verfahren zur Kompression von gescannten Farb- und/oder Graustufendokumenten
CN107909138A (zh) * 2017-11-14 2018-04-13 江苏大学 一种基于安卓平台的类圆颗粒物计数方法
CN108961246A (zh) * 2018-07-10 2018-12-07 吉林大学 一种基于人工智能的扫描电镜图像孔隙识别方法
CN109308456A (zh) * 2018-08-31 2019-02-05 北京字节跳动网络技术有限公司 目标对象的信息确定方法、装置、设备及存储介质
CN109583444A (zh) * 2018-11-22 2019-04-05 博志生物科技有限公司 空洞区域定位方法、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130073459A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 멀티-뷰 생성 방법 및 장치
US10032092B2 (en) * 2016-02-02 2018-07-24 Adobe Systems Incorporated Training data to increase pixel labeling accuracy
EP3396370B1 (en) * 2017-04-28 2021-11-17 Fujitsu Limited Detecting portions of interest in images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1104916A1 (de) * 1999-12-04 2001-06-06 Luratech Gesellschaft für Luft-und Raumfahrt-Technologie & Multimedia mbH Verfahren zur Kompression von gescannten Farb- und/oder Graustufendokumenten
CN107909138A (zh) * 2017-11-14 2018-04-13 江苏大学 一种基于安卓平台的类圆颗粒物计数方法
CN108961246A (zh) * 2018-07-10 2018-12-07 吉林大学 一种基于人工智能的扫描电镜图像孔隙识别方法
CN109308456A (zh) * 2018-08-31 2019-02-05 北京字节跳动网络技术有限公司 目标对象的信息确定方法、装置、设备及存储介质
CN109583444A (zh) * 2018-11-22 2019-04-05 博志生物科技有限公司 空洞区域定位方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
新闻视频静态图形标识分割;王建;贺翼虎;周源华;;上海交通大学学报(第05期);全文 *

Also Published As

Publication number Publication date
CN112529830A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112580623B (zh) 图像生成方法、模型训练方法、相关装置及电子设备
CN109840477B (zh) 基于特征变换的受遮挡人脸识别方法及装置
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN110008997B (zh) 图像纹理相似度识别方法、装置及计算机可读存储介质
CN113705461B (zh) 人脸清晰度检测方法、装置、设备及存储介质
CN112419132B (zh) 视频水印检测方法、装置、电子设备及存储介质
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN115101069A (zh) 语音控制方法、装置、设备、存储介质以及程序产品
CN113780297B (zh) 图像处理方法、装置、设备以及存储介质
CN112529830B (zh) 图像标注方法、装置、电子设备和存储介质
CN116166583B (zh) 一种数据精度的转换方法、装置、dma控制器及介质
CN117216591A (zh) 三维模型匹配、多模态特征映射模型的训练方法及装置
CN115439850B (zh) 基于审单的图文字符识别方法、装置、设备及存储介质
CN115018734B (zh) 视频修复方法和视频修复模型的训练方法、装置
CN113128696A (zh) 分布式机器学习通信优化方法、装置、服务器及终端设备
CN115861255A (zh) 用于图像处理的模型训练方法、装置、设备、介质及产品
CN113379592B (zh) 图片中敏感区域的处理方法、装置和电子设备
CN112861678B (zh) 一种图像识别方法及装置
CN114463361A (zh) 网络模型训练方法、装置、设备、介质及程序产品
CN110414845B (zh) 针对目标交易的风险评估方法及装置
CN115700519A (zh) 一种文本到图像的生成方法、装置、存储介质及终端
CN114359645B (zh) 基于特征区域的图像拓展方法、装置、设备及存储介质
CN115100659B (zh) 文本识别方法、装置、电子设备和存储介质
CN116468985B (zh) 模型训练方法、质量检测方法、装置、电子设备及介质
CN113688645B (zh) 一种识别方法、***及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant