CN109165645A - 一种图像处理方法、装置以及相关设备 - Google Patents
一种图像处理方法、装置以及相关设备 Download PDFInfo
- Publication number
- CN109165645A CN109165645A CN201810865247.8A CN201810865247A CN109165645A CN 109165645 A CN109165645 A CN 109165645A CN 201810865247 A CN201810865247 A CN 201810865247A CN 109165645 A CN109165645 A CN 109165645A
- Authority
- CN
- China
- Prior art keywords
- target
- region
- image
- size
- reference zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像处理方法、装置以及相关设备，方法包括：获取包含目标对象和参考对象的目标图像，检测目标对象在目标图像中的像素尺寸，作为目标像素尺寸，并检测参考对象在目标图像中的像素尺寸，作为参考像素尺寸；获取参考对象的参考实际尺寸，根据目标像素尺寸、参考像素尺寸和参考实际尺寸，确定目标对象的目标实际尺寸。采用本发明，自动化地确定业务对象的尺寸，提高测量目标对象尺寸的效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像处理方法、装置以及相关设备。
背景技术
在农业保险中，若农户为养殖的家禽或者为种植的农作物投保，且在受保对象发生自然灾害或者事故时，就需要向保险机构发起理赔请求以获得保险赔偿。为了获取到农户的损失量以及确定理赔金额，保险机构的保险业务员需要到发生事故的现场测量受保对象的体积大小，进而根据测量到的体积大小确定赔偿金额。但是由业务员到现场测量受保对象的体积会耗费大量的人力成本，且会花费业务员大量的时间。
发明内容
本发明实施例提供一种图像处理方法、装置以及相关设备，可以自动化地确定业务对象的尺寸，提高测量业务对象尺寸的效率。
本发明实施例一方面提供了一种图像处理方法，包括：
获取包含目标对象和参考对象的目标图像，检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸，并检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸；
获取所述参考对象的参考实际尺寸，根据所述目标像素尺寸、所述参考像素尺寸和所述参考实际尺寸，确定所述目标对象的目标实际尺寸。
本发明实施例一方面提供了一种图像处理装置，包括：
获取模块，用于获取包含所述目标对象和参考对象的目标图像；
第一检测模块，用于检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸；
第二检测模块，用于检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸；
确定模块，用于获取所述参考对象的参考实际尺寸，根据所述目标像素尺寸、所述参考像素尺寸和所述参考实际尺寸，确定所述目标对象的目标实际尺寸。
其中，所述第一检测模块，包括：
第一卷积单元，用于基于第一完全卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第一卷积特征信息组合而成的第一卷积特征图；
搜索单元，用于在所述第一卷积特征图中搜索多个第一兴趣区域；
所述第一卷积单元，还用于对每个第一兴趣区域中包含的第一卷积特征信息进行池化处理，得到第一结构特征信息，识别每个第一兴趣区域中包含的第一结构特征信息与所述第一完全卷积神经网络模型中多个属性类型特征的第一匹配度；
所述第一卷积单元，还用于在每个第一兴趣区域对应的多个第一匹配度中，将最大第一匹配度作为第一兴趣区域对应的置信度；
所述第一卷积单元，还用于在多个第一兴趣区域对应的置信度中，将最大置信度对应的第一兴趣区域作为第一目标区域，并将所述第一目标区域的尺寸作为所述目标像素尺寸。
其中，所述搜索单元，包括：
得分计算子单元，用于在所述第一卷积特征图上滑动窗口，在每个窗口中基于不同尺度下的锚点框确定多个候选区域；
所述得分计算子单元，还用于分别计算每个候选区域中第一卷积特征信息的目标前景得分；
得分确定子单元，用于根据所述每个候选区域的目标前景得分，确定所述多个第一兴趣区域。
其中，所述得分确定子单元，包括：
第一确定子单元，用于将所述目标前景得分大于得分阈值的候选区域确定为第一辅助区域；
所述第一确定子单元，还用于在所述第一辅助区域中，将具有最大目标前景得分的第一辅助区域确定为第二辅助区域；
删除保留子单元，用于分别计算所述第二辅助区域与其余的第一辅助区域之间的重叠面积，将重叠面积大于面积阈值的第一辅助区域删除，并保留重叠面积小于或者等于所述面积阈值的第一辅助区域；
所述第一确定子单元，还用于将所述第二辅助区域和保留的第一辅助区域确定为所述第一兴趣区域。
其中，所述第二检测模块，包括：
转换单元，用于将所述目标图像转换为目标灰度图像；
区域确定单元，用于将所述目标灰度图像中的联通区域作为第一参考区域；
所述转换单元，还用于将多个第一参考区域内的灰度图像分别输入分类模型中，识别每个第一参考区域内包含所述参考对象的第一概率；
选择单元，用于根据所述第一概率，在所述多个第一参考区域中选取满足匹配条件的第一参考区域，作为第二参考区域；
尺寸确定单元，用于根据所述第二参考区域的尺寸，确定所述参考像素尺寸。
其中，所述区域确定单元，包括：
梯度计算子单元，用于根据梯度算子，计算所述目标灰度图像对应的第一梯度图，并对所述第一梯度图进行闭运算，得到第二梯度图；
第一检测子单元，用于分别检测所述第一梯度图和所述第二梯度图的联通区域，并将检测出来的联通区域转正处理，得到多个辅助参考区域；
所述第一检测子单元，还用于将在所述目标灰度图像中具有和所述辅助参考区域相同位置信息的区域，作为所述第一参考区域。
其中，所述选择单元，包括：
第一提取子单元，用于在多个第一概率中提取最大第一概率；
第二确定子单元，用于若所述最大第一概率小于或等于概率阈值，则根据所述第一参考区域所在的位置信息、所述第一参考区域的长宽比例、所述第一参考区域的尺寸，确定所述第一参考区域的权重，将权重最大的第一参考区域确定为满足所述匹配条件的第一参考区域，并将所述权重最大的第一参考区域确定为所述第二参考区域；
所述第二确定子单元，还用于若所述最大第一概率大于所述概率阈值，则将所述最大第一概率对应的第一参考区域确定为满足所述匹配条件的第一参考区域，并将所述最大第一概率对应的第一参考区域确定为所述第二参考区域。
其中，所述尺寸确定单元，包括：
第二提取子单元，用于当所述参考对象属于形状固定的第一参考对象时，提取所述第二参考区域内的灰度图像边缘信息，得到辅助梯度图像；
第二检测子单元，用于检测所述辅助梯度图像中的连续曲线，作为第一目标曲线，根据所述第一目标曲线确定第一目标直径；
所述第二检测子单元，还用于将所述第一目标直径确定为所述参考像素尺寸。
其中，所述尺寸确定单元，还包括：
聚类子单元，用于当所述参考对象属于形状不固定的第二参考对象时，将在所述目标图像中，具有和所述第二参考区域相同位置信息的区域，作为第三参考区域；
所述聚类子单元，还用于根据所述第三参考区域内的图像的颜色，对所述第三参考区域内的图像进行颜色聚类处理，得到聚类结果区域；
尺寸确定子单元，用于根据所述聚类结果区域的尺寸，确定所述参考像素尺寸。
其中，所述第二检测模块，还包括：
第二卷积单元，用于当所述参考对象属于形状不固定的第二参考对象时，基于掩码区域卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第二卷积特征信息组合而成的第二卷积特征图；
识别单元，用于在所述第二卷积特征图中搜索多个第二兴趣区域，对每个第二兴趣区域中包含的第二卷积特征信息进行池化处理，得到第二结构特征信息；
所述识别单元，还用于根据每个第二兴趣区域中包含的第二特征信息，识别所述每个第二兴趣区域中包含所述第二参考对象的第二概率；
计算单元，用于将最大第二概率对应的第二兴趣区域确定为辅助目标区域，并计算所述辅助目标区域中每个像素的二元掩码；
所述计算单元，还用于将属于前景掩码的二元掩码所对应的所有像素组合为目标子图，并根据所述目标子图的尺寸确定为所述参考像素尺寸。
其中，所述第二检测模块，还包括：
第三卷积单元，用于当所述参考对象属于形状固定的第一参考对象时，基于第二完全卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第三卷积特征信息组合而成的第三卷积特征图；
所述第三卷积单元，还用于在所述第三卷积特征图中搜索多个第三兴趣区域，对每个第三兴趣区域中包含的第三卷积特征信息进行池化处理，得到第三结构特征信息；
所述第三卷积单元，还用于根据每个第三兴趣区域中包含的第三特征信息，识别所述每个第三兴趣区域中包含所述第一参考对象的第三概率；
所述第三卷积单元，还用于在多个第三兴趣区域对应的第三概率中，将具有最大第三概率的第三兴趣区域确定为第二目标区域；
提取单元，用于提取所述第二目标区域内的图像的边缘信息，得到边缘梯度图像；
所述第三卷积单元，还用于检测所述边缘梯度图像中的连续曲线，作为第二目标曲线，根据所述第二目标曲线确定第二目标直径，并将所述第二目标直径确定为所述参考像素尺寸。
其中，所述获取模块，具体用于：
接收与所述目标对象相关联的业务请求，根据所述业务请求获取包含所述目标对象和所述参考对象的目标图像。
则所述图像处理装置还包括：
显示模块，用于将所述第一目标区域的置信度对应的属性类型特征的属性类别，作为所述第一目标区域对应标签信息，根据所述第一目标区域对应的标签信息，以及所述目标实际尺寸，确定与所述业务请求相关联的目标业务数据；
所述显示模块，还用于显示所述目标业务数据，并存储所述目标业务数据；所述目标业务数据包括：业务理赔额度，以及所述目标对象的体征信息；
发送模块，用于将所述目标业务数据发送至与所述业务请求相关联的业务终端。
本发明实施例一方面提供了一种电子设备，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如本发明实施例中的方法。
本发明实施例一方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本发明实施例中的方法。
本发明实施例通过获取包含目标对象和参考对象的目标图像，检测目标对象在目标图像中的像素尺寸，作为目标像素尺寸，并检测参考对象在目标图像中的像素尺寸，作为参考像素尺寸；获取参考对象的参考实际尺寸，根据目标像素尺寸、参考像素尺寸和参考实际尺寸，确定目标对象的目标实际尺寸。上述可知，从包含目标对象以及参考对象的图像中分别检测目标对象在图像中的像素尺寸，以及参考对象在图像中像素尺寸，再获取参考对象的真实尺寸，根据比例关系可以确定目标对象的真实尺寸，从而可以自动化地确定目标对象的真实尺寸，避免以人工的方式测量业务对象的尺寸，提高测量业务对象尺寸的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种图像处理方法的***架构图；
图1b-图1d是本发明实施例提供的一种图像处理方法的场景示意图；
图2是本发明实施例提供的一种图像处理方法的流程示意图；
图3本发明实施例提供的一种检测参考像素尺寸的流程示意图；
图4是本发明实施例提供的一种图像处理方法的流程示意图；
图5是本发明实施例提供的一种图像处理装置的结构示意图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1a，是本发明实施例提供的一种图像处理方法的***架构图，服务器10a为用户终端集群提供服务，用户终端集群可以包括：用户终端10b、用户终端10c、...、用户终端10d。下述以在农业保险中，农户向保险机构发起理赔请求为场景进行说明，当用户(可以是用户10e、10f或者10g)需要向保险机构发起理赔请求时，用户可以基于用户终端(可以是用户终端10b、用户终端10c或用户终端10d)拍摄包含目标对象以及参考对象的图片，用户终端获取到图片后，发送至服务器10a。服务器10a分别检测图片中目标对象以及参考对象的像素尺寸，并根据参考对象的实际尺寸、以及比例关系，确定目标对象的真实尺寸，进而根据目标对象的真实尺寸确定与目标对象相关联的体征信息以及理赔额度。服务器10a将确定的体征信息以及理赔额度关联存储至数据库，并发送至用户终端，以使用户知晓本次理赔请求的目标对象的体征信息，以及所获得的理赔金额。当然，如果用户终端自身可以检测图片中目标对象以及参考对象的像素尺寸，也可以在用户终端中直接确定目标对象的体征信息以及理赔额度，只需发送至服务器10a用于存储确定的体征信息以及理赔额度。下述图1b-图1d以一个用户终端10b以及服务器10a为例，说明如何确定目标对象和参考对象的像素尺寸，以及目标对象的真实尺寸。
其中，用户终端可以包括手机、平板电脑、笔记本电脑、掌上电脑、智能音响、移动互联网设备(MID，mobile internet device)、POS(Point Of Sales，销售点)机、可穿戴设备(例如智能手表、智能手环等)等。
请参见图1b，是本发明实施例提供的一种图像处理方法的场景示意图。当目标对象(可以是家禽、牲畜等)发生事故时，农户向保险公司发起理赔请求。首先在用户终端10b的界面20a中，填写报案基本信息，如购买保险时的单号、发生事故的原因和时间等。在界面20b中，拍摄包含目标对象的照片，为了精确计算出目标对象的真实尺寸，在拍摄照片前，还需在目标对象的旁边或者目标对象的上面放置一个参考对象，参考对象可以是身份证、公交卡等尺寸标准的标准卡片或者一元硬币。准备工作完成后，可以拍摄一张包含了目标对象和参考对象的图片。为了使拍摄的图片中目标对象处于图片的中央，方便后续检测目标对象的尺寸，如界面20c所示，在拍摄照片时，可以提示用户将目标对象以及参考对象对准预设的矩形框拍摄。
如图1c所示，当用户终端10b获取到拍摄的图片20d时，将图片20d发送至服务器10a，在服务器10a中存储了可以检测图片中目标对象的像素尺寸的识别模型20e，以及可以检测图片中参考对象的像素尺寸的识别模型20g。将图片20d输入识别模型20e中，基于识别模型20e中的卷积层，对图片20d执行卷积运算，可以得到卷积特征图，该卷积特征图中包含的是图片20d中目标对象的卷积特征信息。一般说来，得到的卷积特征图的尺寸是要小于图片20d的尺寸，为了统一卷积特征图的尺寸，可以将每个卷积特征图的边界都填充上数值“0”，使得卷积特征图的尺寸和图片20d的尺寸一致，且填充的数值“0”不会影响后续的计算结果。在卷积特征图上以按照预设步长(步长可以为1)滑动窗口(窗口大小可以是3×3)，在每个窗口中，根据预设的的锚点框(锚点框大小可以是16×16)以及多个尺度确定多个候选框，多尺度可以是调整锚点框的长宽比分别为0.5，1，2，以及将长宽比调整后的锚点框分别缩放0.5倍，1倍，2倍。可以知道，每一个滑动窗口内可以对应多个候选框。根据每一个候选框中所包含的卷积特征信息计算每个候选框的前景得分，前景得分越高说明对应的候选框中包含目标对象的概率越高。将前景得分大于预设得分阈值的候选框作为第一兴趣区域。由于多个第一兴趣区域之间会存在大量的重叠面积，可以将那些与最高前景得分对应的第一兴趣区域之间具有大量重叠面积的第一兴趣区域进行删除，只保留与最高前景得分对应的第一兴趣区域之间具有少量重叠面积或者没有重叠面积的第一兴趣区域。确定了多个第一兴趣区域后，后续对每一个第一兴趣区域中的卷积特征信息进行池化处理以及全连接处理，基于识别模型20e中的分类器计算全连接处理后的特征信息与分类器中所包含的多个属性类型特征的匹配度，匹配度越高，说明对应第一兴趣区域中所包含的对象的属性类别是分类器中对应属性类型特征的属性类别的概率就越高。每个第一兴趣区域都可以得到多个匹配度，将匹将最大匹配度作为该第一兴趣区域的置信度，且将最大匹配度对应的属性类别作为该第一兴趣区域的标签信息，即是一个第一兴趣区域对应一个标签信息，且对应一个置信度。其中，标签信息是第一兴趣区域中对象所具有的属性类别，例如，属性类别可以是猪、羊、牛等牲畜。在多个第一兴趣区域分别对应的置信度中，选取最大置信度所对应的第一兴趣区域作为第一目标区域20f，且该第一目标区域20f携带标签信息“猪”，该标签信息“猪”就是目标对象的属性类别。由第一目标区域20f的尺寸就可以确定目标对象在图片20d中的像素尺寸，例如可以将目标区域20f的长作为目标对象在图片20d中的像素尺寸。上述识别模型20e是基于目标检测算法RFCN(Region-based Fully ConvolutionalNetworks，基于区域的完全卷积网络)训练而来的，目标检测算法还可以包括：RCNN(Regions with CNN，区域卷积神经网络)，FAST RCNN(快的区域卷积神经网络)，FASTERRCNN(更快的区域卷积神经网络)，上述目标检测算法都可以实现在图片20d中的标识出第一目标区域，以及识别出第一目标区域中目标对象的属性类别。
如图1c所示，将图片20d输入识别模型20g中，基于识别模型20g中的卷积层，对图片20d执行卷积运算，可以得到卷积特征图，该卷积特征图中包含的是图片20d中参考对象的卷积特征信息。同样，在卷积特征图的边界填充数值“0”，使得卷积特征图的尺寸和图片20d的尺寸一致，且填充的数值“0”不会影响后续的计算结果。在上述卷积特征图像中搜索第二兴趣区域，搜索第二兴趣区域的具体过程可以参将上述搜索第一兴趣区域的相关步骤。对每个第二兴趣区域中的卷积特征信息分别进行池化处理和全连接处理，分类器计算全连接处理后的特征信息与参考对象的属性类别的匹配概率(即是计算每个第二兴趣区域中包含参考对象的概率)，将最大匹配概率对应的第二兴趣区域作为目标辅助区域。基于识别模型20g中的回归掩码层，计算目标辅助区域中每个像素的二元掩码。二元掩码包括前景掩码和背景掩码，前景掩码表示对应的像素属于参考对象，背景掩码表示对应的像素属于背景。将属于前景掩码的像素组合作为目标子图20h，根据目标子图20h的尺寸就可以确定参考对象在图片20d中的像素尺寸，例如可以将目标子图20h的对角线长作为参考对象在图片20d中的像素尺寸。上述识别模型20g是基于实体分割算法Mask-RCNN(Mask Region-based Fully Convolutional Networks，基于掩码区域的完全卷积网络)训练而来的，Mask-RCNN可以精确的得到参考对象的在图片中的位置和形状，对于测量体积较小的参考对象，精确的像素尺寸可以保证后续确定赔偿金额时，具有更小的误差。其中，确定目标子图20h以及确定第一目标区域20f的先后顺序没有限定，且目标对象是属性类别是通过识别模型20e确定的。
如图1d所示，服务器10a根据图片20d中目标对象“猪”的像素尺寸、参考对象的像素尺寸、参考对象的实际尺寸，可以确定目标对象的真实尺寸(包括真实体长和真实体宽)，例如在界面30a中所显示的猪体的真实体长为：80cm，根据真实体长以及目标对象的属性类别确定目标对象的体重：70kg，进而根据目标对象的体重、目标对象的属性类别确定本次理赔请求的赔偿金额为：900元。服务器10a可以将目标对象的体长、体重、赔偿金额发送至用户终端10b，在用户终端的界面30b中显示从服务器10a中所接收到的数据。通过检测图像中目标对象和参考对象的像素尺寸，进而确定目标对象的真实尺寸。可以自动化地确定目标对象的真实尺寸，避免以人工的方式测量尺寸，提高测量目标对象尺寸的效率。
其中，检测图像中目标对象以及参考对象的像素尺寸的具体过程可以参见以下图2至图4所对应的实施例。
进一步地，请参见图2，是本发明实施例提供的一种图像处理方法的流程示意图。如图2所示，所述图像处理方法可以包括：
步骤S101，获取包含所述目标对象和参考对象的目标图像，检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸。
具体的，终端设备(可以是上述图1d中的服务器)接收与目标对象相关联的业务请求(例如上述图1a中的保险理赔请求)，根据业务请求获取目标图像(可以是上述图1c中的图片20d)，该目标图像中包括目标对象(可以是上述图1c中的猪体)以及参考对象(可以是上述图1c中的卡片)，其中用于待计算真实尺寸的对象称为目标对象，用于和目标对象作比较的对象称为参考对象。基于在终端设备中构建完成的第一完全卷积神经网络模型中的卷积层，终端设备对目标图像进行卷积处理，即随机选取目标图像中的一小部分特征信息作为样本(卷积核)，将这个样本作为一个窗口依次滑过所有的目标图像，也就是上述样本和目标图像做卷积运算，从而获得目标图像中的关于目标对象的卷积特征信息。卷积处理后，终端设备可以得到卷积特征图，该卷积特征图中包含的是目标图像中目标对象的卷积特征信息，终端设备将目标对象的卷积特征信息称为第一卷积特征信息，且将由第一卷积特征信息组合而成的卷积特征图像称为第一卷积特征图。基于RPN(Region Proposal Network，区域选取网络)算法，在第一卷积特征图中搜索多个兴趣区域，称为第一兴趣区域。下面以一个第一兴趣区域为例进行说明，若有多个第一兴趣区域终端设备可以采用相同的方式计算每个第一兴趣区域的置信度以及每个第一兴趣中对象的标签信息。对第一兴趣区域中包含的第一卷积特征信息进行池化处理，即是聚合统计第一卷积特征信息，聚合统计后可以得到关于目标图像中目标对象的静态结构特征信息，称为第一结构特征信息。池化处理是为了减少后续的计算量以及共享权值。基于第一完全卷积神经网络模型中的分类器，识别第一兴趣区域中聚合统计后的第一结构特征信息和第一完全卷积神经网络模型中的多个属性类型特征的匹配度，称为第一匹配度，也就是每个第一兴趣区域都要对应多个第一匹配度，且每个第一兴趣区域对应第一匹配度的数量和第一完全卷积神经网络模型中的属性类型特征的数量相同，其中每个属性类型特征对应一个属性类别。在每个第一兴趣区域对应的多个第一匹配度中，终端设备将最大第一匹配度作为第一兴趣区域的置信度，且终端设备将最大第一匹配度对应的属性类型特征的属性类别作为该第一兴趣区域中对象的标签信息。例如，第一完全卷积神经网络模型中包括属性类别“猪”对应属性类型特征；属性类别“羊”对应属性类型特征；以及属性类别“牛”对应属性类型特征，分类器识别第一结构特征信息A与上述3个属性类别对应的属性类型特征之间的第一匹配度可以得到：第一结构特征信息A与属性类别“猪”的第一匹配度为0.1；第一结构特征信息A与属性类别“羊”的第一匹配度为0.7；第一结构特征信息A与属性类别“牛”的第一匹配度为0.9。因此第一结构特征信息A对应的第一兴趣区域的置信度为0.9，且上述第一兴趣区域中对象的标签信息为：牛。
采用上述方式，终端设备可以分别为每个第一兴趣区域确定对应的置信度以及标签信息，接下来可以将最大置信度对应的第一兴趣区域确定为第一目标区域(例如上述图1c中的第一目标区域20f)，并将第一目标区域在目标图像中的像素尺寸作为目标像素的尺寸，例如将第一目标区域的像素长或者将第一目标区域的像素面积作为目标像素尺寸。上述第一完全卷积神经网络模型基于目标检测算法RFCN训练而来的。
基于RPN算法，在第一卷积特征图中搜索多个第一兴趣区域的具体过程可以是：预设置窗口尺寸(例如窗口尺寸为3*3)，终端设备在第一卷积特征图上按照预设步长(步长可以为1)依次滑动窗口，在每个窗口中，根据预设的的锚点框(锚点框大小可以是16×16)以及多个尺度确定多个候选框，多尺度可以是调整锚点框的长宽比或者缩放锚点框的大小。可以知道，每一个滑动窗口内可以对应多个候选框。终端设备计算每个候选区域中第一卷积特信息的目标前景得分，即是由分类器计算对应的候选区域中属于前景区域的概率，若目标前景得分越高，说明该候选区域属于前景区域的概率就越高。由于每张目标图像都会对应大量的候选区域(数量可能超过2000个)，而这些候选区域又存在大量的重叠区域，因此可以采用NMS(non maximum suppression，非极大值抑制)算法剔除一部分重叠的候选区域。NMS的具体过程可以是：首先终端设备将目标前景得分大于预设的得分阈值的候选区域作为第一辅助区域，在所有第一辅助区域对应的目标前景得分中，选择具有最大目标前景得分的第一辅助区域确定为第二辅助区域。可以采用公式(1)(计算IOU)或者采用公式(2)(计算overlap)分别计算第二辅助区域和每一个第一辅助区域之间的重叠面积，
其中，A表示第二辅助区域的面积，B表示第一辅助区域的面积，IOU等于第一辅助面积和第二辅助面的交集除以第一辅助面积和第二辅助面积的并集；overlap等于第一辅助面积和第二辅助面的交集除以第二辅助面积。不论是公式(1)计算出来的IOU或者公式(2)计算出来的overlap，数值越高说明重叠面积越大。将重叠面积大于预设的的面积阈值的第一辅助区域删除，对应的就保留重叠面积小于或等于面积阈值的第一辅助区域，将第二辅助区域以及保留下来的第一辅助区域作为第一兴趣区域。上述过程就是RPN算法搜索第一兴趣区域的全部过程，且为了减少后续的计算量，在RPN算法中还嵌套了一个NMS算法，用于删除重叠面积过多了候选区域。
步骤S102，检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸。
在确定了第一目标区域中目标对象的标签信息以及由第一目标区域确定了目标对象的目标像素尺寸后，终端设备继续检测目标图像中参考对象的像素尺寸，称为参考像素尺寸。首先终端设备检测目标图像是否为彩色图像，若目标图像是彩色图像，首先需要将目标图像灰度化，并将灰度化后的图像称为目标灰度图像；若目标图像本来就是灰度图像，就不用作任何处理，但此时仍将目标图像称为目标灰度图像。将彩色图像转换为灰度图像即是将彩色图像的3个通道(R通道、G通道、B通道)转换为只有一个单一的通道图像。终端设备基于边缘检测，识别目标灰度图像中的联通区域，称为第一参考区域。其中，边缘检测可以标识出目标灰度图像中目标对象以及参考对象的轮廓线条，可以将连续且闭合的轮廓线条所对应的区域作为联通区域。下面以一个第一参考区域为例进行说明如何确定对应的第一概率，终端设备将第一参考区域中的灰度图像输入预先训练好的分类模型中，该分类模型中的分类器是一个二分类器，该二分类器可以计算出第一参考区域中包含参考对象的概率，称为第一概率。例如，参考对象是卡片；那么二分类器可以识别出第一参考区域中包括卡片的第一概率，当然第一概率越高，说明对应的第一参考区域就越有可能包含参考对象。在训练分类模型中的分类器时，只需要两类样本(正样本和负样本)，正样本是包含有参考对象的参考区域，负样本是不包含参考对象的参考区域。
若有多个第一参考区域，终端设备都可以采用上述方式确定每个第一参考区域对应的第一概率。根据分类器计算得到的第一概率，终端设备在多个第一参考区域中选择满足匹配条件的第一参考区域，并将选择出来的第一参考区域作为第二参考区域。根据第二参考区域在目标图像中的像素尺寸确定参考像素的尺寸，例如将第二参考区域的像素长或者将第二参考区域的像素面积作为目标像素尺寸。
步骤S103，获取所述参考对象的参考实际尺寸，根据所述目标像素尺寸、所述参考像素尺寸和所述参考实际尺寸，确定所述目标对象的目标实际尺寸。
具体的，终端设备获取参考对象的实际尺寸(称为参考实际尺寸)，根据目标对象的目标像素尺寸、参考对象的参考像素尺寸、以及参考对象的参考实际尺寸，按照比例关系(比例关系具体为：参考像素尺寸和参考实际尺寸之间的比值与目标像素尺寸和目标实际尺寸之间的比值相同)，计算目标对象的实际尺寸，称为目标实际尺寸。其中，可以根据公式(3)计算得到目标实际尺寸：
其中，A1表示参考像素尺寸；A2表示参考实际尺寸；B1表示目标像素尺寸；B2表示目标实际尺寸。
可选的，后续可以根据目标对象的目标实际尺寸，进一步地确定目标业务数据，而目标对象的属性类别又对目标业务数据起着决定性作用，因此终端设备还需确定目标对象的属性，确定属性类别的具体过程是：终端设备获取第一目标区域所对应的标签信息，上述标签信息是根据第一目标区域的置信度对应的属性类型特征的属性类别确定的。终端设备根据第一目标区域对应的标签信息，以及目标实际尺寸，确定与业务请求相关联的目标业务数据。例如，当业务请求是保险理赔请求时，目标业务数据可以是业务理赔额度，目标对象的体重、体积等体征信息，也就是，根据目标对象的实际尺寸确定目标对象的体重等体征信息，进而根据体征信息以及第一目标区域中目标对象的标签信息确定业务理赔额度。
可选的，终端设备确定了目标业务数据后，可以显示目标业务数据，目标业务数据包括：业务理赔额度，以及与目标对象的体征信息(体重，体积等)。终端设备将目标业务数据发送至于业务请求相关联的业务终端(如上述图1d所对应实施例中的用户终端10b)。
进一步地，请参见图3，图3本发明实施例提供的一种检测参考像素尺寸的流程示意图。如图3所示，检测参考像素尺寸的具体过程包括如下步骤S201-步骤S204，且步骤S201-步骤S204为图2所对应实施例中步骤S102的一个具体实施例：
步骤S201，将所述目标图像转换为目标灰度图像，并将所述目标灰度图像中的联通区域作为第一参考区域。
具体的，终端设备将目标图像转换为灰度图像，称为目标灰度图像。根据预设的梯度算子，梯段算子可以是sobel梯度算子、canny梯度算子、laplace梯度算子等。利用梯度算子，可以快速地计算目标图像中每个像素点的梯度，组合每个像素点的梯度得到的图像称为梯度图，由目标图像得到的梯度图称为第一梯度图。终端设备对第一梯度图进行闭运算，得到的梯度图像称为第二梯度图，闭运算即是将第一梯度图先膨胀后腐蚀，执行闭运算后可以填补第一梯度图中的细小空洞、以及连接第一梯度图中的邻近物体。第一梯度图和第二梯度图中包括目标图像中所有对象(包括目标对象和参考对象)的轮廓线条，终端设备将第一梯度图中连续且闭合的轮廓线条所标识的区域称为称作为联通区域，同样将第二梯度图中连续且闭合的轮廓线条所标识的区域称为作为联通区域。由于上述联通区域可能是不规则的区域图形，还需终端设备将确定的联通区域作转正处理，使得转正处理后的联通区域是规则的区域图形(例如，矩形)。将转正处理后的联通区域称为辅助参考区域。由于辅助参考区域是对应于第一梯度图以及第二梯度图的，因此还需映射到目标灰度图中，即是将在目标灰度图中具有和辅助参考区域相同位置信息的区域，作为第一参考区域。例如，辅助参考区域在第一梯度图中的坐标分别为(3，3，20，20)，其中上述坐标中的第一项表示辅助参考区域的起始横坐标；第二项表示辅助参考区域的起始纵坐标；第三项表示辅助参考区域的长度；第四项表示辅助参考区域的宽度。将在目标灰度图中，坐标“(3，3，20，20)”标识的区域作为第一参考区域。
步骤S202，将多个第一参考区域内的灰度图像分别输入分类模型中，识别每个第一参考区域内包含所述参考对象的第一概率。
具体的，下面以一个第一参考区域为例进行说明终端设备如何计算第一参考区域对应的第一概率。终端设备将第一参考区域中的灰度图像输入预先训练好的分类模型中，该分类模型中的分类器是一个二分类器，该二分类器可以计算出第一参考区域中包含参考对象的概率，称为第一概率。例如，参考对象是卡片；那么二分类器可以识别出第一参考区域中包括卡片的第一概率，当然第一概率越高，说明对应的第一参考区域就越有可能包含参考对象。其中，分类模型可以是基于深度学习中的卷积神经网络训练而成的。若有多个第一参考区域，都可以基于分类模型，分别识别每个第一参考区域对应的第一概率。
步骤S203，根据所述第一概率，在所述多个第一参考区域中选取满足匹配条件的第一参考区域，作为第二参考区域。
具体的，在多个第一概率中，终端设备提取最大第一概率。检测最大第一概率，若最大第一概率小于或等于预设的概率阈值，说明由分类模型确定的第一概率不能作为筛选第一参考区域的前提条件，因此终端设备需要根据每个第一参考区域所在的位置信息、每个第一参考区域的长宽比例、每个第一参考区域的尺寸，确定每个第一参考区域的权重，其中，若第一参考区域的位置越靠近目标图像的中央，那么权重越大；若第一参考区域的长宽比越接近预的设长宽比条件，那么权重越大；若第一参考区域的尺寸越接近预的尺寸条件，那么权重越大。计算得到每个第一参考区域对应的权重后，将权重最大的第一参考区域作为满足匹配条件的第一参考区域，且将满足匹配条件的第一参考区域作为第二参考区域，即是将权重最大的第一参考区域作为第二参考区域。
若最大第一概率大于预设的概率阈值，说明由分类模型确定的第一概率可以作为筛选第一参考区域的前提条件，因此终端设备将最大第一概率对应的第一参考区域确定为满足匹配条件的第一参考区域，且将满足匹配条件的第一参考区域作为第二参考区域，即是将最大第一匹配概率对应的第一参考区域作为第二参考区域。上述可知，不论最大第一概率满足哪个条件，只从多个第一参考区域中选取了一个第一参考区域作为第二参考区域，其余的第一参考区域不必参见后续运算。
步骤S204，根据所述第二参考区域的尺寸，确定所述参考像素尺寸。
具体的，参考对象分为形状固定的第一参考对象，以及形状不固定的第二参考对象。例如，硬币就是形状固定的第一参考对象，而卡片(由于纸质卡片可能存在卷边或者折痕等)就是形状不固定的第二参考对象。不同的参考对象，对应不同的计算方式。当参考对象属于形状固定的第一参考对象时，同样终端设备基于梯度算子，提取第二参考区域内的灰度图像的边缘信息，可以得到与第二参考区域内的灰度图像对应的梯度图像，称为辅助梯度图像。基于等步长hough变换，终端设备确定辅助梯度图像中的连续曲线以及圆心，将上述连续曲线称为第一目标曲线。根据第一目标曲线以及圆心，可以确定与第一目标曲线对应的直径，称为第一目标直径。将第一目标直径作为参考对象的参考像素尺寸。
当参考对象属于形状不固定的第二参考对象时，由第二参考区域所在的目标灰度图像映射回目标图像，即是终端设备将在目标图像中具有和第二参考区域相同位置信息的区域，作为第三参考区域。根据第三参考区域内图像的颜色，终端设备对第三参考区域内的图像的颜色进行聚类处理，以消除第三参考区域边界的阴影部分，提高后续计算第二参考对象的参考像素尺寸的精度。终端设备将颜色聚类处理后的区域称为聚类结果区域，根据聚类结果区域的尺寸，确定参考对象的参考像素尺寸。例如将聚类结果区域的像素长或者将聚类结果区域的像素面积或者聚类结果区域的对角线长作为目标像素尺寸。
本发明实施例通过获取包含目标对象和参考对象的目标图像，检测目标对象在目标图像中的像素尺寸，作为目标像素尺寸，并检测参考对象在目标图像中的像素尺寸，作为参考像素尺寸；获取参考对象的参考实际尺寸，根据目标像素尺寸、参考像素尺寸和参考实际尺寸，确定目标对象的目标实际尺寸。上述可知，从包含目标对象以及参考对象的图像中分别检测目标对象在图像中的像素尺寸，以及参考对象在图像中像素尺寸，再获取参考对象的真实尺寸，根据比例关系可以确定目标对象的真实尺寸，从而可以自动化地确定目标对象的真实尺寸，避免以人工的方式测量尺寸，提高测量目标对象尺寸的效率。
请一并参见图4，是本发明实施例提供的一种图像处理方法的流程示意图，图像处理方法包括如下步骤：
步骤S301，获取包含所述目标对象和参考对象的目标图像，检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸。
其中，步骤S301的具体实现方式可以参见上述图2所对应实施例中的步骤S101。
步骤S302，当所述参考对象属于形状不固定的第二参考对象时，基于掩码区域卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第二卷积特征信息组合而成的第二卷积特征图。
具体的，当参考对象属于形状不固定的第二参考对象时，基于在终端设备中构建完成的掩码区域卷积神经网络模型(如上述图1c中的识别模型20g)中的卷积层，终端设备对目标图像进行卷积处理，即随机选取目标图像中的一小部分特征信息作为样本(卷积核)，将这个样本作为一个窗口依次滑过所有的目标图像，也就是上述样本和目标图像做卷积运算，从而获得目标图像中的关于第二参考对象的卷积特征信息。卷积处理后，终端设备可以得到卷积特征图，该卷积特征图中包含的是目标图像中第二参考对象的卷积特征信息，终端设备将上述得到的卷积特征信息称为第二卷积特征信息，且将上述得到的卷积特征图像称为第二卷积特征图。
步骤S303，在所述第二卷积特征图中搜索多个第二兴趣区域，对每个第二兴趣区域中包含的第二卷积特征信息进行池化处理，得到第二结构特征信息。
具体的，基于RPN算法，终端设备在第二卷积特征图中搜索多个兴趣区域，称为第二兴趣区域，其中基于RPN算法搜索兴趣区域的具体过程可以参见上述图2对应实施例中的步骤S101。下面以一个第二兴趣区域为例进行说明，若有多个第二兴趣区域终端设备可以采用相同的方式计算每个第二兴趣区域中的第二结构特征信息。对第二兴趣区域中包含的第二卷积特征信息进行池化处理，即是聚合统计第二卷积特征信息，聚合统计后可以得到关于目标图像中第二参考对象的静态结构特征信息，称为第二结构特征信息。
步骤S304，根据每个第二兴趣区域中包含的第二特征信息，识别所述每个第二兴趣区域中包含所述第二参考对象的第二概率。
具体的，基于掩码区域卷积神经网络模型中的分类器，上述分类器可以输出每个第二结构特征信息与第二参考对象的匹配概率(称为第二概率)，也就是终端设备识别每个第二兴趣区域中包括第二参考对象的第二概率。当然第二概率越高，说明对应的第二兴趣区域就越有可能包含第二参考对象。在训练分类模型中的分类器时，只需要两类样本(正样本和负样本)，正样本是包含有第二参考对象的兴趣区域，负样本是不包含第二参考对象的兴趣区域。
步骤S305，将最大第二概率对应的第二兴趣区域确定为辅助目标区域，并计算所述辅助目标区域中每个像素的二元掩码。
具体的，由于存在多个第二兴趣区域，且每个第二兴趣区域对应一个第二概率，终端设备将最大第二概率对应的第二兴趣区域作为辅助目标区域。确定了辅助目标区域即完成了对目标图像中第二参考对象的位置检测，由于第二参考对象是不规则的图形，为了提高计算第二参考对象的像素尺寸的精度，还需终端设备进一步地分割出辅助目标区域中的第二参考对象具体对应的像素点。基于掩码区域卷积神经网络模型中的回归掩码层，计算目标辅助区域中每个像素的二元掩码。二元掩码包括前景掩码和背景掩码，前景掩码表示对应的像素属于第二参考对象，背景掩码表示对应的像素属于背景。
步骤S306，将属于前景掩码的二元掩码所对应的所有像素组合为目标子图，并根据所述目标子图的尺寸确定为所述参考像素尺寸。
具体的，终端设备将属于前景掩码的像素组合为而成的图像称为目标子图(如上述图1c中的目标子图20h)，根据目标子图的尺寸，确定第二参考对象的参考像素尺寸。例如将目标子图的像素长或者将目标子图的像素面积或者将目标子图的对角线长作为目标像素尺寸。上述掩码区域卷积神经网络模型基于实体分割算法Mask-RCNN训练而来的，Mask-RCNN可以精确的得到第二参考对象在目标图像中的位置和形状，对于测量体积较小的第二参考对象，更精确的像素尺寸可以保证后续确定目标对象的实际尺寸时，具有更小的误差。
可选的，当参考对象属于形状不固定的第一参考对象时，基于在终端设备中构建完成的第二完全卷积神经网络模型中的卷积层，终端设备对目标图像进行卷积处理，即随机选取目标图像中的一小部分特征信息作为样本(卷积核)，将这个样本作为一个窗口依次滑过所有的目标图像，也就是上述样本和目标图像做卷积运算，从而获得目标图像中的关于第一参考对象的卷积特征信息。卷积处理后，终端设备可以得到卷积特征图，该卷积特征图中包含的是目标图像中第一参考对象的卷积特征信息，将上述得到的卷积特征信息称为第三卷积特征信息，且将上述得到的卷积特征图像称为第三卷积特征图。基于RPN算法，终端设备在第三卷积特征图中搜索多个兴趣区域，称为第三兴趣区域，其中基于RPN算法搜索兴趣区域的具体过程可以参见上述图2对应实施例中的步骤S101。分别对第三兴趣区域中包含的第三卷积特征信息进行池化处理，即是聚合统计第三卷积特征信息，聚合统计后可以得到关于目标图像中第一参考对象的静态结构特征信息，称为第三结构特征信息。基于第二完全卷积神经网络模型中的分类器，终端设备识别每个第三特征信息与第一参考对象的匹配概率(称为第三概率)，也即是识别每个第三兴趣区域中包含第一参考对象的第三概率。当然第三概率越高，说明对应的第三兴趣区域就越有可能包含第一参考对象。在训练分类模型中的分类器时，只需要两类样本(正样本和负样本)，正样本是包含有第一参考对象的兴趣区域，负样本是不包含第一参考对象的兴趣区域。上述第二完全卷积神经网络模型基于目标检测算法RFCN训练而来的。由于存在多个第三兴趣区域，且每个第三兴趣区域对应一个第三概率，终端设备将最大第三概率对应的第三兴趣区域作为第二目标区域。终端设备将第二目标区域内的图像转换为灰度图像，同样基于梯度算子，提取上述灰度图像的边缘信息，可以得到与第二目标区域内的图像对应的梯度图像，称为边缘梯度图像。基于等步长hough变换，终端设备可以确定边缘梯度图像中的连续曲线以及圆心，将上述连续曲线称为第二目标曲线。终端设备根据第二目标曲线以及圆心，可以确定与第二目标曲线对应的直径，称为第二目标直径。将第二目标直径作为参考对象的参考像素尺寸。
步骤S307，获取所述参考对象的参考实际尺寸，根据所述目标像素尺寸、所述参考像素尺寸和所述参考实际尺寸，确定所述目标对象的目标实际尺寸。
其中，步骤S307的具体实现方式可以参见上述图2所对应实施例中的步骤S103。
本发明实施例通过获取包含目标对象和参考对象的目标图像，检测目标对象在目标图像中的像素尺寸，作为目标像素尺寸，并检测参考对象在目标图像中的像素尺寸，作为参考像素尺寸；获取参考对象的参考实际尺寸，根据目标像素尺寸、参考像素尺寸和参考实际尺寸，确定目标对象的目标实际尺寸。上述可知，从包含目标对象以及参考对象的图像中分别检测目标对象在图像中的像素尺寸，以及参考对象在图像中像素尺寸，再获取参考对象的真实尺寸，根据比例关系可以确定目标对象的真实尺寸，从而可以自动化地确定目标对象的真实尺寸，避免以人工的方式测量尺寸，提高测量目标对象尺寸的效率。
进一步的，请参见图5，是本发明实施例提供的一种图像处理装置的结构示意图。如图5所示，图像处理装置1可以包括：获取模块11、第一检测模块12、第二检测模块13、确定模块14。
获取模块11，获取包含所述目标对象和参考对象的目标图像；
具体的，获取模块11接收与目标对象相关联的业务请求，根据业务请求获取目标图像，该目标图像中包括目标对象以及参考对象，其中用于待计算真实尺寸的对象称为目标对象，用于和目标对象作比较的对象称为参考对象。
第一检测模块12，用于检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸；
具体的，基于构建完成的第一完全卷积神经网络模型中的卷积层，第一检测模块12对目标图像进行卷积处理，第一检测模块12可以得到卷积特征图，该卷积特征图中包含的是目标图像中目标对象的卷积特征信息，第一检测模块12将目标对象的卷积特征信息称为第一卷积特征信息，且将由第一卷积特征信息组合而成的卷积特征图像称为第一卷积特征图。基于RPN(Region Proposal Network，区域选取网络)算法，在第一卷积特征图中搜索多个兴趣区域，称为第一兴趣区域。对第一兴趣区域中包含的第一卷积特征信息进行池化处理，即是聚合统计第一卷积特征信息，聚合统计后可以得到关于目标图像中目标对象的静态结构特征信息，称为第一结构特征信息。基于第一完全卷积神经网络模型中的分类器，识别第一兴趣区域中聚合统计后的第一结构特征信息和第一完全卷积神经网络模型中的多个属性类型特征的匹配度，称为第一匹配度，也就是每个第一兴趣区域都要对应多个第一匹配度，且每个第一兴趣区域对应第一匹配度的数量和第一完全卷积神经网络模型中的属性类型特征的数量相同，其中每个属性类型特征对应一个属性类别。在每个第一兴趣区域对应的多个第一匹配度中，第一检测模块12将最大第一匹配度作为第一兴趣区域的置信度，且终端设备将最大第一匹配度对应的属性类型特征的属性类别作为该第一兴趣区域中对象的标签信息。
第二检测模块13，用于检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸；
具体的，第二检测模块13继续检测目标图像中参考对象的像素尺寸，称为参考像素尺寸。首先第二检测模块13检测目标图像是否为彩色图像，若目标图像是彩色图像，首先需要将目标图像灰度化，并将灰度化后的图像称为目标灰度图像；若目标图像本来就是灰度图像，就不用作任何处理，但此时仍将目标图像称为目标灰度图像。第二检测模块13基于边缘检测，识别目标灰度图像中的联通区域，称为第一参考区域。其中，边缘检测可以标识出目标灰度图像中目标对象以及参考对象的轮廓线条，可以将连续且闭合的轮廓线条所对应的区域作为联通区域。第二检测模块13将第一参考区域中的灰度图像输入预先训练好的分类模型中，该分类模型中的分类器是一个二分类器，该二分类器可以计算出第一参考区域中包含参考对象的概率，称为第一概率，当然第一概率越高，说明对应的第一参考区域就越有可能包含参考对象。
确定模块14，用于获取所述参考对象的参考实际尺寸，根据所述目标像素尺寸、所述参考像素尺寸和所述参考实际尺寸，确定所述目标对象的目标实际尺寸。
具体的，确定模块14获取参考对象的实际尺寸(称为参考实际尺寸)，根据目标对象的目标像素尺寸、参考对象的参考像素尺寸、以及参考对象的参考实际尺寸，按照比例关系(比例关系具体为：参考像素尺寸和参考实际尺寸之间的比值与目标像素尺寸和目标实际尺寸之间的比值相同)，计算目标对象的实际尺寸，称为目标实际尺寸。
其中，获取模块11、第一检测模块12、第二检测模块13、确定模块14的具体功能实现方式可以参见上述图2对应实施例中的步骤S101-步骤S103，这里不再进行赘述。
请参见图5，第一检测模块12可以包括：第一卷积单元121、搜索单元122。
第一卷积单元121，用于基于所述第一完全卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第一卷积特征信息组合而成的第一卷积特征图；
搜索单元122，用于在所述第一卷积特征图中搜索多个第一兴趣区域；
所述第一卷积单元121，还用于对每个第一兴趣区域中包含的第一卷积特征信息进行池化处理，得到第一结构特征信息，识别每个第一兴趣区域中包含的第一结构特征信息与所述第一完全卷积神经网络模型中多个属性类型特征的第一匹配度；
所述第一卷积单元121，还用于在每个第一兴趣区域对应的多个第一匹配度中，将最大第一匹配度作为第一兴趣区域对应的置信度；
所述第一卷积单元121，还用于在多个第一兴趣区域对应的置信度中，将最大置信度对应的第一兴趣区域作为第一目标区域，并将所述第一目标区域的尺寸作为所述目标像素尺寸。
其中，第一卷积单元121、搜索单元122的具体功能实现方式可以参见上述图2对应实施例中的步骤S101，这里不再进行赘述。
请参见图5，搜索单元122可以包括：得分计算子单元1221、得分确定子单元1222。
得分计算子单元1221，用于在所述第一卷积特征图上滑动窗口，在每个窗口中基于不同尺度下的锚点框确定多个候选区域；
所述得分计算子单元1221，还用于分别计算每个候选区域中第一卷积特征信息的目标前景得分；
得分确定子单元1222，用于根据所述每个候选区域的目标前景得分，确定所述多个第一兴趣区域。
其中，得分计算子单元1221、得分确定子单元1222的具体功能实现方式可以参见上述图2对应实施例中的步骤S101，这里不再进行赘述。
请参见图5，得分确定子单元1222可以包括：第一确定子单元12221、删除保留子单元12222。
第一确定子单元12221，用于将所述目标前景得分大于得分阈值的候选区域确定为第一辅助区域；
所述第一确定子单元12221，还用于在所述第一辅助区域中，将具有最大目标前景得分的第一辅助区域确定为第二辅助区域；
删除保留子单元12222，用于分别计算所述第二辅助区域与其余的第一辅助区域之间的重叠面积，将重叠面积大于面积阈值的第一辅助区域删除，并保留重叠面积小于或者等于所述面积阈值的第一辅助区域；
所述第一确定子单元12221，还用于将所述第二辅助区域和保留的第一辅助区域确定为所述第一兴趣区域。
其中，第一确定子单元12221、删除保留子单元12222的具体功能实现方式可以参见上述图2对应实施例中的步骤S101，这里不再进行赘述。
请参见图5，第二检测模块13可以包括：转换单元131、区域确定单元132、选择单元133、尺寸确定单元134。
转换单元131，用于将所述目标图像转换为目标灰度图像；
区域确定单元132，用于将所述目标灰度图像中的联通区域作为第一参考区域；
所述转换单元131，还用于将多个第一参考区域内的灰度图像分别输入分类模型中，识别每个第一参考区域内包含所述参考对象的第一概率；
选择单元133，用于根据所述第一概率，在所述多个第一参考区域中选取满足匹配条件的第一参考区域，作为第二参考区域；
尺寸确定单元134，用于根据所述第二参考区域的尺寸，确定所述参考像素尺寸。
其中，转换单元131、区域确定单元132、选择单元133、尺寸确定单元134的具体功能实现方式可以参见上述图2对应实施例中的步骤S102，这里不再进行赘述。
请参见图5，区域确定单元132可以包括：梯度计算子单元1321、第一检测子单元1322。
梯度计算子单元1321，用于根据梯度算子，计算所述目标灰度图像对应的第一梯度图，并对所述第一梯度图进行闭运算，得到第二梯度图；
第一检测子单元1322，用于分别检测所述第一梯度图和所述第二梯度图的联通区域，并将检测出来的联通区域转正处理，得到多个辅助参考区域；
所述第一检测子单元1322，还用于将在所述目标灰度图像中具有和所述辅助参考区域相同位置信息的区域，作为所述第一参考区域。
其中，梯度计算子单元1321、第一检测子单元1322的具体功能实现方式可以参见上述图3对应实施例中的步骤S201，这里不再进行赘述。
请参见图5，选择单元133可以包括：第一提取子单元1331、第二确定子单元1332。
第一提取子单元1331，用于在多个第一概率中提取最大第一概率；
第二确定子单元1332，用于若所述最大第一概率小于或等于概率阈值，则根据所述第一参考区域所在的位置信息、所述第一参考区域的长宽比例、所述第一参考区域的尺寸，确定所述第一参考区域的权重，将权重最大的第一参考区域确定为满足所述匹配条件的第一参考区域，并将所述权重最大的第一参考区域确定为所述第二参考区域；
所述第二确定子单元1332，还用于若所述最大第一概率大于所述概率阈值，则将所述最大第一概率对应的第一参考区域确定为满足所述匹配条件的第一参考区域，并将所述最大第一概率对应的第一参考区域确定为所述第二参考区域。
其中，第一提取子单元1331、第二确定子单元1332的具体功能实现方式可以参见上述图3对应实施例中的步骤S203，这里不再进行赘述。
请参见图5，尺寸确定单元134可以包括：第二提取子单元1341、第二检测子单元1342。
第二提取子单元1341，用于当所述参考对象属于形状固定的第一参考对象时，提取所述第二参考区域内的灰度图像边缘信息，得到辅助梯度图像；
第二检测子单元1342，用于检测所述辅助梯度图像中的连续曲线，作为第一目标曲线，根据所述第一目标曲线确定第一目标直径；
所述第二检测子单元1342，还用于将所述第一目标直径确定为所述参考像素尺寸。
其中，第二提取子单元1341、第二检测子单元1342的具体功能实现方式可以参见上述图3对应实施例中的步骤S204，这里不再进行赘述。
请参见图5，尺寸确定单元134可以包括：第二提取子单元1341、第二检测子单元1342；还可以包括：聚类子单元1343、尺寸确定子单元1344。
聚类子单元1343，用于当所述参考对象属于形状不固定的第二参考对象时，将在所述目标图像中，具有和所述第二参考区域相同位置信息的区域，作为第三参考区域；
所述聚类子单元1343，还用于根据所述第三参考区域内的图像的颜色，对所述第三参考区域内的图像进行颜色聚类处理，得到聚类结果区域；
尺寸确定子单元1344，用于根据所述聚类结果区域的尺寸，确定所述参考像素尺寸。
其中，聚类子单元1343、尺寸确定子单元1344的具体功能实现方式可以参见上述图3对应实施例中的步骤S204，这里不再进行赘述。
请参见图5，第二检测模块13可以包括：转换单元131、区域确定单元132、选择单元133、尺寸确定单元134，还可以包括：第二卷积单元135、识别单元136、计算单元137。
第二卷积单元135，用于当所述参考对象属于形状不固定的第二参考对象时，基于掩码区域卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第二卷积特征信息组合而成的第二卷积特征图；
识别单元136，用于在所述第二卷积特征图中搜索多个第二兴趣区域，对每个第二兴趣区域中包含的第二卷积特征信息进行池化处理，得到第二结构特征信息；
所述识别单元136，还用于根据每个第二兴趣区域中包含的第二特征信息，识别所述每个第二兴趣区域中包含所述第二参考对象的第二概率；
计算单元137，用于将最大第二概率对应的第二兴趣区域确定为辅助目标区域，并计算所述辅助目标区域中每个像素的二元掩码；
所述计算单元137，还用于将属于前景掩码的二元掩码所对应的所有像素组合为目标子图，并根据所述目标子图的尺寸确定为所述参考像素尺寸。
其中，第二卷积单元135、识别单元136、计算单元137的具体功能实现方式可以参见上述图4对应实施例中的步骤S302-步骤S306，这里不再进行赘述。
请参见图5，第二检测模块13可以包括：转换单元131、区域确定单元132、选择单元133、尺寸确定单元134，第二卷积单元135、识别单元136、计算单元137，还可以包括：第三卷积单元138、提取单元139。
第三卷积单元138，用于当所述参考对象属于形状固定的第一参考对象时，基于所述第二完全卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第三卷积特征信息组合而成的第三卷积特征图；
所述第三卷积单元138，还用于在所述第三卷积特征图中搜索多个第三兴趣区域，对每个第三兴趣区域中包含的第三卷积特征信息进行池化处理，得到第三结构特征信息；
所述第三卷积单元138，还用于根据每个第三兴趣区域中包含的第三特征信息，识别所述每个第三兴趣区域中包含所述第一参考对象的第三概率；
所述第三卷积单元138，还用于在多个第三兴趣区域对应的第三概率中，将具有最大第三概率的第三兴趣区域确定为第二目标区域；
提取单元139，用于提取所述第二目标区域内的图像的边缘信息，得到边缘梯度图像；
所述第三卷积单元138，还用于检测所述边缘梯度图像中的连续曲线，作为第二目标曲线，根据所述第二目标曲线确定第二目标直径，并将所述第二目标直径确定为所述参考像素尺寸。
其中，第三卷积单元138、提取单元139的具体功能实现方式可以参见上述图4对应实施例中的步骤S306，这里不再进行赘述。
请参见图5，获取模块11具体用于：
接收与所述目标对象相关联的业务请求，根据所述业务请求获取包含所述目标对象和所述参考对象的目标图像。
则所述图像检测装置还包括：
显示模块15，用于将所述第一目标区域的置信度对应的属性类型特征的属性类别，作为所述第一目标区域对应标签信息，根据所述第一目标区域对应的标签信息，以及所述目标实际尺寸，确定与所述业务请求相关联的目标业务数据。
所述显示模块15，还用于显示目标业务数据，并存储所述目标业务数据；所述目标业务数据包括：业务理赔额度，以及所述目标对象的体征信息；
发送模块16，用于将所述目标业务数据发送至与所述业务请求相关联的业务终端。
其中，获取模块11的具体功能实现方式可以参见上述图2对应实施例中的步骤S101，这里不再进行赘述；显示模块15、发送模块16的具体功能实现方式可以参见上述图2对应实施例中的步骤S103，这里不再进行赘述。
从包含目标对象以及参考对象的图像中分别检测目标对象在图像中的像素尺寸，以及参考对象在图像中像素尺寸，再获取参考对象的真实尺寸，根据比例关系可以确定目标对象的真实尺寸，从而可以自动化地确定目标对象的真实尺寸，避免以人工的方式测量尺寸，提高测量目标对象尺寸的效率。
进一步地，请参见图6，是本发明实施例提供的一种电子设备的结构示意图。如图6所示，上述图6中的图像处理装置1可以应用于所述电子设备1000，所述电子设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，所述电子设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在图6所示的电子设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取包含所述目标对象和参考对象的目标图像，检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸，并检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸；
获取所述参考对象的参考实际尺寸，根据所述目标像素尺寸、所述参考像素尺寸和所述参考实际尺寸，确定所述目标对象的目标实际尺寸。
在一个实施例中，所述处理器1001在执行检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸时，具体执行以下步骤：
基于第一完全卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第一卷积特征信息组合而成的第一卷积特征图；
在所述第一卷积特征图中搜索多个第一兴趣区域，对每个第一兴趣区域中包含的第一卷积特征信息进行池化处理，得到第一结构特征信息；
识别每个第一兴趣区域中包含的第一结构特征信息与所述第一完全卷积神经网络模型中多个属性类型特征的第一匹配度；
在每个第一兴趣区域对应的多个第一匹配度中，将最大第一匹配度作为第一兴趣区域对应的置信度；
在多个第一兴趣区域对应的置信度中，将最大置信度对应的第一兴趣区域作为第一目标区域，并将所述第一目标区域的尺寸作为所述目标像素尺寸。
在一个实施例中，所述处理器1001在执行在所述第一卷积特征图中搜索多个第一兴趣区域时，具体执行以下步骤：
在所述第一卷积特征图上滑动窗口，在每个窗口中基于不同尺度下的锚点框确定多个候选区域；
分别计算每个候选区域中第一卷积特征信息的目标前景得分，根据所述每个候选区域的目标前景得分，确定所述多个第一兴趣区域。
在一个实施例中，所述处理器1001在执行根据所述每个候选区域的目标前景得分，确定所述多个第一兴趣区域时，具体执行以下步骤：
将所述目标前景得分大于得分阈值的候选区域确定为第一辅助区域；
在所述第一辅助区域中，将具有最大目标前景得分的第一辅助区域确定为第二辅助区域；
分别计算所述第二辅助区域与其余的第一辅助区域之间的重叠面积，将重叠面积大于面积阈值的第一辅助区域删除，并保留重叠面积小于或者等于所述面积阈值的第一辅助区域；
将所述第二辅助区域和保留的第一辅助区域确定为所述第一兴趣区域。
在一个实施例中，所述处理器1001在执行检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸时，具体执行以下步骤：
将所述目标图像转换为目标灰度图像，并将所述目标灰度图像中的联通区域作为第一参考区域；
将多个第一参考区域内的灰度图像分别输入分类模型中，识别每个第一参考区域内包含所述参考对象的第一概率；
根据所述第一概率，在所述多个第一参考区域中选取满足匹配条件的第一参考区域，作为第二参考区域；
根据所述第二参考区域的尺寸，确定所述参考像素尺寸。
在一个实施例中，所述处理器1001在执行将所述目标灰度图像中的联通区域作为第一参考区域时，具体执行以下步骤：
根据梯度算子，计算所述目标灰度图像对应的第一梯度图，并对所述第一梯度图进行闭运算，得到第二梯度图；
分别检测所述第一梯度图和所述第二梯度图的联通区域，并将检测出来的联通区域转正处理，得到多个辅助参考区域；
将在所述目标灰度图像中具有和所述辅助参考区域相同位置信息的区域，作为所述第一参考区域。
在一个实施例中，所述处理器1001在执行根据所述第一概率，在所述多个第一参考区域中选取满足匹配条件的第一参考区域，作为第二参考区域时，具体执行以下步骤：
在多个第一概率中提取最大第一概率；
若所述最大第一概率小于或等于概率阈值，则根据所述第一参考区域所在的位置信息、所述第一参考区域的长宽比例、所述第一参考区域的尺寸，确定所述第一参考区域的权重，将权重最大的第一参考区域确定为满足所述匹配条件的第一参考区域，并将所述权重最大的第一参考区域确定为所述第二参考区域；
若所述最大第一概率大于所述概率阈值，则将所述最大第一概率对应的第一参考区域确定为满足所述匹配条件的第一参考区域，并将所述最大第一概率对应的第一参考区域确定为所述第二参考区域。
在一个实施例中，所述处理器1001在执行根据所述第二参考区域的尺寸，确定所述参考像素尺寸时，具体执行以下步骤：
当所述参考对象属于形状固定的第一参考对象时，提取所述第二参考区域内的灰度图像边缘信息，得到辅助梯度图像；
检测所述辅助梯度图像中的连续曲线，作为第一目标曲线，根据所述第一目标曲线确定第一目标直径；
将所述第一目标直径确定为所述参考像素尺寸。
在一个实施例中，所述处理器1001在执行根据所述第二参考区域的尺寸，确定所述参考像素尺寸时，具体执行以下步骤：
当所述参考对象属于形状不固定的第二参考对象时，将在所述目标图像中，具有和所述第二参考区域相同位置信息的区域，作为第三参考区域；
根据所述第三参考区域内的图像的颜色，对所述第三参考区域内的图像进行颜色聚类处理，得到聚类结果区域；
根据所述聚类结果区域的尺寸，确定所述参考像素尺寸。
在一个实施例中，所述处理器1001在执行检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸时，具体执行以下步骤：
当所述参考对象属于形状不固定的第二参考对象时，基于掩码区域卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第二卷积特征信息组合而成的第二卷积特征图；
在所述第二卷积特征图中搜索多个第二兴趣区域，对每个第二兴趣区域中包含的第二卷积特征信息进行池化处理，得到第二结构特征信息；
根据每个第二兴趣区域中包含的第二特征信息，识别所述每个第二兴趣区域中包含所述第二参考对象的第二概率；
将最大第二概率对应的第二兴趣区域确定为辅助目标区域，并计算所述辅助目标区域中每个像素的二元掩码；
将属于前景掩码的二元掩码所对应的所有像素组合为目标子图，并根据所述目标子图的尺寸确定为所述参考像素尺寸。
在一个实施例中，所述处理器1001在检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸时，具体执行以下步骤：
当所述参考对象属于形状固定的第一参考对象时，基于第二完全卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第三卷积特征信息组合而成的第三卷积特征图；
在所述第三卷积特征图中搜索多个第三兴趣区域，对每个第三兴趣区域中包含的第三卷积特征信息进行池化处理，得到第三结构特征信息；
根据每个第三兴趣区域中包含的第三特征信息，识别所述每个第三兴趣区域中包含所述第一参考对象的第三概率；
在多个第三兴趣区域对应的第三概率中，将具有最大第三概率的第三兴趣区域确定为第二目标区域；
提取所述第二目标区域内的图像的边缘信息，得到边缘梯度图像；
检测所述边缘梯度图像中的连续曲线，作为第二目标曲线，根据所述第二目标曲线确定第二目标直径，并将所述第二目标直径确定为所述参考像素尺寸。
在一个实施例中，所述处理器1001在获取包含目标对象和参考对象的目标图像时，具体执行以下步骤：
接收与所述目标对象相关联的业务请求，根据所述业务请求获取包含所述目标对象和所述参考对象的目标图像；
所述处理器1001还执行以下步骤：
将所述第一目标区域的置信度对应的属性类型特征的属性类别，作为所述第一目标区域对应标签信息，根据所述第一目标区域对应的标签信息，以及所述目标实际尺寸，确定与所述业务请求相关联的目标业务数据；
显示目标业务数据，并存储所述目标业务数据；所述目标业务数据包括：业务理赔额度，以及所述目标对象的体征信息；
将所述目标业务数据发送至与所述业务请求相关联的业务终端。
本发明实施例通过获取包含目标对象和参考对象的目标图像，检测目标对象在目标图像中的像素尺寸，作为目标像素尺寸，并检测参考对象在目标图像中的像素尺寸，作为参考像素尺寸；获取参考对象的参考实际尺寸，根据目标像素尺寸、参考像素尺寸和参考实际尺寸，确定目标对象的目标实际尺寸。上述可知，从包含目标对象以及参考对象的图像中分别检测目标对象在图像中的像素尺寸，以及参考对象在图像中像素尺寸，再获取参考对象的真实尺寸，根据比例关系可以确定目标对象的真实尺寸，从而可以自动化地确定目标对象的真实尺寸，避免以人工的方式测量尺寸，提高测量目标对象尺寸的效率。
应当理解，本发明实施例中所描述的电子设备1000可执行前文图2到图4所对应实施例中对所述图像处理方法的描述，也可执行前文图5所对应实施例中对所述图像处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的图像处理装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图2到图4所对应实施例中对所述图像处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (15)
1.一种图像处理方法，其特征在于，包括：
获取包含目标对象和参考对象的目标图像，检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸，并检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸；
获取所述参考对象的参考实际尺寸，根据所述目标像素尺寸、所述参考像素尺寸和所述参考实际尺寸，确定所述目标对象的目标实际尺寸。
2.根据权利要求1所述的方法，其特征在于，所述检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸，包括：
基于第一完全卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第一卷积特征信息组合而成的第一卷积特征图；
在所述第一卷积特征图中搜索多个第一兴趣区域，对每个第一兴趣区域中包含的第一卷积特征信息进行池化处理，得到第一结构特征信息；
识别每个第一兴趣区域中包含的第一结构特征信息与所述第一完全卷积神经网络模型中多个属性类型特征的第一匹配度；
在每个第一兴趣区域对应的多个第一匹配度中，将最大第一匹配度作为第一兴趣区域对应的置信度；
在多个第一兴趣区域对应的置信度中，将最大置信度对应的第一兴趣区域作为第一目标区域，并将所述第一目标区域的尺寸作为所述目标像素尺寸。
3.根据权利要求2所述的方法，其特征在于，所述在所述第一卷积特征图中搜索多个第一兴趣区域，包括：
在所述第一卷积特征图上滑动窗口，在每个窗口中基于不同尺度下的锚点框确定多个候选区域；
分别计算每个候选区域中第一卷积特征信息的目标前景得分，根据所述每个候选区域的目标前景得分，确定所述多个第一兴趣区域。
4.根据权利要求3所述的方法，其特征在于，所述根据所述每个候选区域的目标前景得分，确定所述多个第一兴趣区域，包括：
将所述目标前景得分大于得分阈值的候选区域确定为第一辅助区域；
在所述第一辅助区域中，将具有最大目标前景得分的第一辅助区域确定为第二辅助区域；
分别计算所述第二辅助区域与其余的第一辅助区域之间的重叠面积，将重叠面积大于面积阈值的第一辅助区域删除，并保留重叠面积小于或者等于所述面积阈值的第一辅助区域；
将所述第二辅助区域和保留的第一辅助区域确定为所述第一兴趣区域。
5.根据权利要求1所述的方法，其特征在于，所述检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸，包括：
将所述目标图像转换为目标灰度图像，并将所述目标灰度图像中的联通区域作为第一参考区域；
将多个第一参考区域内的灰度图像分别输入分类模型中，识别每个第一参考区域内包含所述参考对象的第一概率；
根据所述第一概率，在所述多个第一参考区域中选取满足匹配条件的第一参考区域，作为第二参考区域；
根据所述第二参考区域的尺寸，确定所述参考像素尺寸。
6.根据权利要求5所述的方法，其特征在于，所述将所述目标灰度图像中的联通区域作为第一参考区域，包括：
根据梯度算子，计算所述目标灰度图像对应的第一梯度图，并对所述第一梯度图进行闭运算，得到第二梯度图；
分别检测所述第一梯度图和所述第二梯度图的联通区域，并将检测出来的联通区域转正处理，得到多个辅助参考区域；
将在所述目标灰度图像中具有和所述辅助参考区域相同位置信息的区域，作为所述第一参考区域。
7.根据权利要求5所述的方法，其特征在于，所述根据所述第一概率，在所述多个第一参考区域中选取满足匹配条件的第一参考区域，作为第二参考区域，包括：
在多个第一概率中提取最大第一概率；
若所述最大第一概率小于或等于概率阈值，则根据所述第一参考区域所在的位置信息、所述第一参考区域的长宽比例、所述第一参考区域的尺寸，确定所述第一参考区域的权重，将权重最大的第一参考区域确定为满足所述匹配条件的第一参考区域，并将所述权重最大的第一参考区域确定为所述第二参考区域；
若所述最大第一概率大于所述概率阈值，则将所述最大第一概率对应的第一参考区域确定为满足所述匹配条件的第一参考区域，并将所述最大第一概率对应的第一参考区域确定为所述第二参考区域。
8.根据权利要求5所述的方法，其特征在于，所述根据所述第二参考区域的尺寸，确定所述参考像素尺寸，包括：
当所述参考对象属于形状固定的第一参考对象时，提取所述第二参考区域内的灰度图像边缘信息，得到辅助梯度图像；
检测所述辅助梯度图像中的连续曲线，作为第一目标曲线，根据所述第一目标曲线确定第一目标直径；
将所述第一目标直径确定为所述参考像素尺寸。
9.根据权利要求5所述的方法，其特征在于，所述根据所述第二参考区域的尺寸，确定所述参考像素尺寸，包括：
当所述参考对象属于形状不固定的第二参考对象时，将在所述目标图像中，具有和所述第二参考区域相同位置信息的区域，作为第三参考区域；
根据所述第三参考区域内的图像的颜色，对所述第三参考区域内的图像进行颜色聚类处理，得到聚类结果区域；
根据所述聚类结果区域的尺寸，确定所述参考像素尺寸。
10.根据权利要求1所述的方法，其特征在于，所述检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸，包括：
当所述参考对象属于形状不固定的第二参考对象时，基于掩码区域卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第二卷积特征信息组合而成的第二卷积特征图；
在所述第二卷积特征图中搜索多个第二兴趣区域，对每个第二兴趣区域中包含的第二卷积特征信息进行池化处理，得到第二结构特征信息；
根据每个第二兴趣区域中包含的第二特征信息，识别所述每个第二兴趣区域中包含所述第二参考对象的第二概率；
将最大第二概率对应的第二兴趣区域确定为辅助目标区域，并计算所述辅助目标区域中每个像素的二元掩码；
将属于前景掩码的二元掩码所对应的所有像素组合为目标子图，并根据所述目标子图的尺寸确定为所述参考像素尺寸。
11.根据权利要求1所述的方法，其特征在于，所述检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸，包括：
当所述参考对象属于形状固定的第一参考对象时，基于第二完全卷积神经网络模型中的卷积层，对所述目标图像进行卷积处理，得到由第三卷积特征信息组合而成的第三卷积特征图；
在所述第三卷积特征图中搜索多个第三兴趣区域，对每个第三兴趣区域中包含的第三卷积特征信息进行池化处理，得到第三结构特征信息；
根据每个第三兴趣区域中包含的第三特征信息，识别所述每个第三兴趣区域中包含所述第一参考对象的第三概率；
在多个第三兴趣区域对应的第三概率中，将具有最大第三概率的第三兴趣区域确定为第二目标区域；
提取所述第二目标区域内的图像的边缘信息，得到边缘梯度图像；
检测所述边缘梯度图像中的连续曲线，作为第二目标曲线，根据所述第二目标曲线确定第二目标直径，并将所述第二目标直径确定为所述参考像素尺寸。
12.根据权利要求2所述的方法，其特征在于，所述获取包含目标对象和参考对象的目标图像，包括：
接收与所述目标对象相关联的业务请求，根据所述业务请求获取包含所述目标对象和所述参考对象的目标图像；
则所述方法还包括：
将所述第一目标区域的置信度对应的属性类型特征的属性类别，作为所述第一目标区域对应标签信息，根据所述第一目标区域对应的标签信息，以及所述目标实际尺寸，确定与所述业务请求相关联的目标业务数据；
显示所述目标业务数据，并存储所述目标业务数据；所述目标业务数据包括：业务理赔额度，以及所述目标对象的体征信息；
将所述目标业务数据发送至与所述业务请求相关联的业务终端。
13.一种图像处理装置，其特征在于，包括：
获取模块，用于获取包含所述目标对象和参考对象的目标图像；
第一检测模块，用于检测所述目标对象在所述目标图像中的像素尺寸，作为目标像素尺寸；
第二检测模块，用于检测所述参考对象在所述目标图像中的像素尺寸，作为参考像素尺寸；
确定模块，用于获取所述参考对象的参考实际尺寸，根据所述目标像素尺寸、所述参考像素尺寸和所述参考实际尺寸，确定所述目标对象的目标实际尺寸。
14.一种电子设备，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-12任一项所述的方法。
15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810865247.8A CN109165645B (zh) | 2018-08-01 | 2018-08-01 | 一种图像处理方法、装置以及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810865247.8A CN109165645B (zh) | 2018-08-01 | 2018-08-01 | 一种图像处理方法、装置以及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109165645A true CN109165645A (zh) | 2019-01-08 |
| CN109165645B CN109165645B (zh) | 2023-04-07 |
Family
ID=64898622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810865247.8A Active CN109165645B (zh) | 2018-08-01 | 2018-08-01 | 一种图像处理方法、装置以及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109165645B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767448A (zh) * | 2019-01-17 | 2019-05-17 | 上海长征医院 | 分割模型训练方法及装置 |
| CN109840905A (zh) * | 2019-01-28 | 2019-06-04 | 山东鲁能软件技术有限公司 | 电力设备锈迹检测方法及*** |
| CN110111382A (zh) * | 2019-03-21 | 2019-08-09 | 北京弘和中科健康科技发展有限公司 | 不规则区域面积计算方法、装置、计算机设备和存储介质 |
| CN110175503A (zh) * | 2019-04-04 | 2019-08-27 | 财付通支付科技有限公司 | 长度获取方法、装置、保险理赔***、介质及电子设备 |
| CN111091536A (zh) * | 2019-11-25 | 2020-05-01 | 腾讯科技（深圳）有限公司 | 医学图像处理方法、装置、设备、介质以及内窥镜 |
| CN111160470A (zh) * | 2019-12-30 | 2020-05-15 | 四川慈石召铁科技有限公司 | 考古器物形态处理与分析方法、装置和计算机存储介质 |
| CN111402320A (zh) * | 2020-03-17 | 2020-07-10 | 北京和众视野科技有限公司 | 一种基于深度学习的纤维截面直径检测方法 |
| CN111507432A (zh) * | 2020-07-01 | 2020-08-07 | 四川智迅车联科技有限公司 | 农险理赔智能称重方法、***、电子设备和存储介质 |
| CN111723830A (zh) * | 2019-03-20 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 一种图像映射方法、装置及设备、存储介质 |
| CN111753766A (zh) * | 2020-06-28 | 2020-10-09 | 平安科技（深圳）有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN111985477A (zh) * | 2020-08-27 | 2020-11-24 | 平安科技（深圳）有限公司 | 基于单目摄像头的动物体在线核赔方法、装置及存储介质 |
| CN112153320A (zh) * | 2020-09-23 | 2020-12-29 | 北京京东振世信息技术有限公司 | 一种物品尺寸的测量方法、装置、电子设备和存储介质 |
| CN112183461A (zh) * | 2020-10-21 | 2021-01-05 | 广州市晶华精密光学股份有限公司 | 一种车辆内部监控方法、装置、设备及存储介质 |
| CN112257506A (zh) * | 2020-09-21 | 2021-01-22 | 北京豆牛网络科技有限公司 | 果蔬大小识别方法、装置、电子设备以及计算机可读介质 |
| WO2022217834A1 (en) * | 2021-04-15 | 2022-10-20 | Zhejiang Dahua Technology Co., Ltd. | Method and system for image processing |
| WO2023070946A1 (zh) * | 2021-10-25 | 2023-05-04 | 上海杏脉信息科技有限公司 | 基于超声图像的测量设备、方法、介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104103062A (zh) * | 2013-04-08 | 2014-10-15 | 富士通株式会社 | 图像处理设备和图像处理方法 |
| CN105486233A (zh) * | 2015-11-11 | 2016-04-13 | 丁克金 | 利用相机像素与物体距离的关系来测量物体大小的方法 |
| CN105486234A (zh) * | 2015-11-11 | 2016-04-13 | 丁克金 | 利用相机像素与参考目标的关系来测量物体长度的方法 |
| US20170023362A1 (en) * | 2015-07-20 | 2017-01-26 | Xiaomi Inc. | Method and apparatus for determining spatial parameter based on image and terminal device |
-
2018
- 2018-08-01 CN CN201810865247.8A patent/CN109165645B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104103062A (zh) * | 2013-04-08 | 2014-10-15 | 富士通株式会社 | 图像处理设备和图像处理方法 |
| US20170023362A1 (en) * | 2015-07-20 | 2017-01-26 | Xiaomi Inc. | Method and apparatus for determining spatial parameter based on image and terminal device |
| CN105486233A (zh) * | 2015-11-11 | 2016-04-13 | 丁克金 | 利用相机像素与物体距离的关系来测量物体大小的方法 |
| CN105486234A (zh) * | 2015-11-11 | 2016-04-13 | 丁克金 | 利用相机像素与参考目标的关系来测量物体长度的方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767448B (zh) * | 2019-01-17 | 2021-06-01 | 上海长征医院 | 分割模型训练方法及装置 |
| CN109767448A (zh) * | 2019-01-17 | 2019-05-17 | 上海长征医院 | 分割模型训练方法及装置 |
| CN109840905A (zh) * | 2019-01-28 | 2019-06-04 | 山东鲁能软件技术有限公司 | 电力设备锈迹检测方法及*** |
| CN111723830B (zh) * | 2019-03-20 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 一种图像映射方法、装置及设备、存储介质 |
| CN111723830A (zh) * | 2019-03-20 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 一种图像映射方法、装置及设备、存储介质 |
| CN110111382A (zh) * | 2019-03-21 | 2019-08-09 | 北京弘和中科健康科技发展有限公司 | 不规则区域面积计算方法、装置、计算机设备和存储介质 |
| CN110111382B (zh) * | 2019-03-21 | 2021-09-14 | 北京弘和中科健康科技发展有限公司 | 不规则区域面积计算方法、装置、计算机设备和存储介质 |
| CN110175503A (zh) * | 2019-04-04 | 2019-08-27 | 财付通支付科技有限公司 | 长度获取方法、装置、保险理赔***、介质及电子设备 |
| CN111091536A (zh) * | 2019-11-25 | 2020-05-01 | 腾讯科技（深圳）有限公司 | 医学图像处理方法、装置、设备、介质以及内窥镜 |
| CN111091536B (zh) * | 2019-11-25 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 医学图像处理方法、装置、设备、介质以及内窥镜 |
| CN111160470A (zh) * | 2019-12-30 | 2020-05-15 | 四川慈石召铁科技有限公司 | 考古器物形态处理与分析方法、装置和计算机存储介质 |
| CN111160470B (zh) * | 2019-12-30 | 2024-01-23 | 四川慈石召铁科技有限公司 | 考古器物形态处理与分析方法、装置和计算机存储介质 |
| CN111402320A (zh) * | 2020-03-17 | 2020-07-10 | 北京和众视野科技有限公司 | 一种基于深度学习的纤维截面直径检测方法 |
| CN111753766A (zh) * | 2020-06-28 | 2020-10-09 | 平安科技（深圳）有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN111507432A (zh) * | 2020-07-01 | 2020-08-07 | 四川智迅车联科技有限公司 | 农险理赔智能称重方法、***、电子设备和存储介质 |
| CN111985477A (zh) * | 2020-08-27 | 2020-11-24 | 平安科技（深圳）有限公司 | 基于单目摄像头的动物体在线核赔方法、装置及存储介质 |
| CN112257506A (zh) * | 2020-09-21 | 2021-01-22 | 北京豆牛网络科技有限公司 | 果蔬大小识别方法、装置、电子设备以及计算机可读介质 |
| CN112153320A (zh) * | 2020-09-23 | 2020-12-29 | 北京京东振世信息技术有限公司 | 一种物品尺寸的测量方法、装置、电子设备和存储介质 |
| CN112153320B (zh) * | 2020-09-23 | 2022-11-08 | 北京京东振世信息技术有限公司 | 一种物品尺寸的测量方法、装置、电子设备和存储介质 |
| CN112183461A (zh) * | 2020-10-21 | 2021-01-05 | 广州市晶华精密光学股份有限公司 | 一种车辆内部监控方法、装置、设备及存储介质 |
| WO2022217834A1 (en) * | 2021-04-15 | 2022-10-20 | Zhejiang Dahua Technology Co., Ltd. | Method and system for image processing |
| WO2023070946A1 (zh) * | 2021-10-25 | 2023-05-04 | 上海杏脉信息科技有限公司 | 基于超声图像的测量设备、方法、介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109165645B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109165645A (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| US9349076B1 (en) | Template-based target object detection in an image | |
| CN108304835A (zh) | 文字检测方法和装置 | |
| CN109977956A (zh) | 一种图像处理方法、装置、电子设备以及存储介质 | |
| CN111126258A (zh) | 图像识别方法及相关装置 | |
| CN106096542B (zh) | 基于距离预测信息的图像视频场景识别方法 | |
| CN111709816A (zh) | 基于图像识别的服务推荐方法、装置、设备及存储介质 | |
| CN110457677A (zh) | 实体关系识别方法及装置、存储介质、计算机设备 | |
| CN108984555A (zh) | 用户状态挖掘和信息推荐方法、装置以及设备 | |
| CN111353325A (zh) | 关键点检测模型训练方法及装置 | |
| CN109711441A (zh) | 图像分类方法、装置、存储介质及电子设备 | |
| CN115239508A (zh) | 基于人工智能的场景规划调整方法、装置、设备及介质 | |
| CN113673369A (zh) | 遥感图像场景规划方法、装置、电子设备和存储介质 | |
| CN112668675A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN111738186A (zh) | 目标定位方法、装置、电子设备及可读存储介质 | |
| CN116704324A (zh) | 基于水下图像的目标检测方法、***、设备以及存储介质 | |
| CN113269730B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111046883B (zh) | 一种基于古钱币图像的智能评估方法及*** | |
| CN115205877A (zh) | 一种不规则排版***单据布局预测方法、装置及存储介质 | |
| CN114708462A (zh) | 多数据训练的检测模型生成方法、***、设备及存储介质 | |
| CN114511877A (zh) | 一种行为识别方法、装置、存储介质及终端 | |
| CN114118127A (zh) | 一种视觉场景标志检测与识别方法及装置 | |
| CN112036268A (zh) | 构件识别方法及相关装置 | |
| Odat et al. | Deep Transfer Learning and Image Segmentation for Fruit Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |