CN111985477B - 基于单目摄像头的动物体在线核赔方法、装置及存储介质 - Google Patents

Abstract

本案涉及人工智能，提供一种基于单目摄像头的动物体在线核赔方法、装置及存储介质，方法包括：单目摄像头对焦动物体和标定板，动物体侧放于地面,标定板置于动物体腹部下方，拍摄画面中有动物体区域框和标定板区域框，动物体置于动物体区域框中；若当前帧动物体最小外包矩形区域和动物体区域框的IOU大于预设的交并阈值则继续执行，否则提示重新对焦；拍摄包含动物体和标定板的图像，将图像输入Cascade网络模型进行动物体区域识别，输出动物体最小外包矩形区域掩模；以动物体为中心分割出预分割图像送入体重识别模型，输出体长和体重信息，并结合动物体的面部图像识别获得的种类信息进行核赔。本发明通过模型在线核赔，保证公平性准则，且降低核赔成本。

Description

基于单目摄像头的动物体在线核赔方法、装置及存储介质

技术领域

本发明涉及人工智能，尤其涉及一种基于单目摄像头的动物体在线核赔方法、装置及存储介质。

背景技术

在农险行业中，对家畜的投保是一项很庞大且稳定的险种，一般农户会在家畜，比如猪、牛幼年时期即针对每一个体进行投保，或者，农户在运输家畜时也会对家畜进行投保。在家畜死亡时，保险公司会针对每一个动物体进行核赔，保险核赔是指保险人核实投保的标的信息，决定是否赔付以及赔付数额的过程。这通常需要获取动物体的面部特征、体尺、体重特征来辅助。

相对于人险和车险，动物的核赔具有很大的个体辨识区分困难度，在线通过业务人员肉眼估计的方法，对业务员的经验要求很高，培养成本大，同时也违背了对维护各被保险个体之间的公平的保险准则，不利于公司业务发展。

针对动物核赔，业界主流方案有如下几种：

1、业务员现场传统方法人工核赔：

一般通过投保人联系公司，公司派遣业务员前往现场核赔。

业务员一般通过自带的工具来测量动物的体尺、体重等信息，建立保险档案，完成核赔的工作。

(1)优点：业务员现场核赔是最传统的核赔方法，有着各项完整的流程，不容易出现未知的问题。而且随着业务员处理的经验增多，同一业务员处理的效果会越来越好，达到一个熟练的水平。

(2)缺点：农险家畜的投保，特点是单体金额相对人、车较小，一般涉及的金额也只是几百元人民币，但频次很高，单次投入核赔的人力、交通成本比城市人、车的核赔，成本占比高很多。如果业务员业务水平不高或者和投保人达成协议，也容易造成骗保。

2、业务员现场采集数据远程辅助核赔：

针对方案1对业务员水平的较高要求以及不可控的风险存在，在业界各公司，开始加入一些信息化的举措，比如业务员拍摄的图片、测量的体重同步上传公司数据库，公司采用申请或抽检的方式，由高级专业专员远程核赔。

(1)优点：这样使得高经验水平的人员可以远程协助现场业务员，加上信息的线上化，可以提高核赔的下限水平。同时多人的核赔机制，使得核赔的标准，从多数业务员各异，做到主要取决于数量较少的高级专员，这样一定程度可以保障核赔的公平性。

(2)缺点：还是需要投入相当多的人力来进行现场数据采集，通过少量丰富经验人员和现场多数业务员的协同，依然还是依赖人来评价核赔的标准。不利于业务的自动化。

综上，申请人发现，截至目前还未有能够适应移动端应用动物体的测量，便捷的应用在动物体在线核赔上的技术，随着深度学习技术的发展与手机功能的成熟，利用手机进行动物身份鉴别、体尺、体重识别成为了可能。有鉴于此，有必要开发一种能够基于移动端获得动物体的体尺、体重进行在线核赔的方法。

发明内容

本发明提供一种基于单目摄像头的动物体在线核赔方法、装置及存储介质，其主要目的在于通过识别动物体的二维图像，获得动物体的体尺和体重信息。

为实现上述目的，本发明提供的一种基于单目摄像头的动物体在线核赔方法，包括以下步骤：

控制单目摄像头对焦动物体和标定板，其中，动物体侧放于地面,标定板置于动物体腹部下方，单目摄像头的拍摄画面中显示有动物体区域框和标定板区域框，动物体置于动物体区域框中；

判断当前帧的动物体最小外包矩形区域和拍摄画面中显示的动物体区域框的IOU是否大于预设的交并阈值，若大于，则继续执行，否则提示重新对焦；

控制单目摄像头拍摄包含动物体和标定板的图像，将图像输入Cascade RCNN网络模型进行动物体区域的识别，输出动物体最小外包矩形区域掩模；

以动物体为中心分割出预设尺寸的预分割图像送入经过训练的体重识别模型，输出体长和体重信息，并结合动物体的面部图像识别获得的种类信息，确定核赔结果。

可选地，在判断当前帧的动物体最小外包矩形区域和拍摄画面中显示的动物体区域框的IOU是否大于预设的交并阈值之前，先进行拍摄画面预判定，包括对画面的分辨率、画面的模糊程度和动物体区域框中的动物体是否齐全的判定，

其中，检测画面模糊程度是采用拉普拉斯算子进行检测，将画面的各点像素与拉普拉斯算子进行卷积计算输出方差，当连续2s的方差都小于模糊阈值则视为模糊。

可选地，在拍摄前还采用Opencv的FindChessboardCorners函数寻找标定板的角点，获得标定板的面积计算比例尺度I，并在所述比例尺度I小于预设的比例尺度阈值时提示重新对焦，比例尺度I的公式为：

其中，S_b1代表为当前帧获得的标定板的面积；

S_b2代表为画面中预设的标定板区域面积。

可选地，动物体最小外包矩形区域和拍摄画面中预设的动物体区域框的IOU的计算公式为：

其中，S_h1是当前帧的动物体最小外包矩形区域；

S_h2是画面中预设的动物体区域框的区域；

IOU是S_h1与S_h2的相交重合区域面积与S_h1、S_h2覆盖区域面积的比值。

可选地，以动物体为中心分割出预分割图像包括根据比例尺度I获得预分割图像的尺寸D_宽度、D_高度，其中，

其中，D_预设宽度、D_预设高度是比例尺度I为1时的预分割图像的尺寸。

可选地，所述体重识别模型为RESNET-50网络，利用体重识别模型进行体重识别的方法包括：

收集多张标注有动物体的体长、体重信息的预分割图像，设定参考体长和参考体重，并将每张动物体图像标注的体长除以参考体长获取归一化的标注体长，每张动物体图像标注的体重除以参考体重获取归一化的标注体重，

将所述预分割图像中一部分作为训练图像，一部分作为验证图像；

将训练图像输入RESNET-50网络进行训练，RESNET-50网络输出体长识别分支和体重识别分支，将验证图像输入RESNET-50网络，直至输出达到预设的准确率阈值；

将预分割图像输入至经过验证的RESNET-50网络，输出体长和体重的相对指标L_0和W_0，并分别与对应的参考体长、体重参数相乘，从而得到识别的体长L、体重W。

可选地，在控制单目摄像头对焦动物体和标定板之前，先调用单目摄像头供应商提供的AI接口，获取包括地理位置、相机参数、IMU参数，并根据投保人拍摄的多角度图片、相机参数和IMU参数，进行场景三维重建，获得标定板的实际尺寸，根据手机的位移传感器获得拍摄距离，进而根据获取的拍摄距离、标定板的实际尺寸判定标定板是否为指定标定板。

本发明还提供一种基于单目摄像头的动物体在线核赔装置，包括：

对焦模块，用于控制单目摄像头对焦动物体和标定板，其中，动物体侧放于地面,标定板置于动物体腹部下方，单目摄像头的拍摄画面中显示有动物体区域框和标定板区域框，动物体置于动物体区域框中；

拍摄合规判定模块，判断当前帧的动物体最小外包矩形区域和拍摄画面中显示的动物体区域框的IOU是否大于预设的交并阈值，若大于，则继续执行，否则提示重新对焦；

动物体分割模块，用于控制单目摄像头拍摄包含动物体和标定板的图像，将图像输入Cascade RCNN网络模型进行动物体区域的识别，输出动物体最小外包矩形区域掩模；

体重识别模块，以动物体为中心分割出预设尺寸的预分割图像送入经过训练的体重识别模型，输出体长和体重信息，并结合动物体的面部图像识别获得的种类信息，确定核赔结果。

本发明还提供一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于单目摄像头的动物体在线核赔方法。

本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于单目摄像头的动物体在线核赔方法。

而本方案针对远程动物核赔的问题，提出一套远程端对端的解决方案，具有以下有益的技术效果：

1、通过统一模型的识别结果作为核赔指标，从而保证了核赔最根本的准则对所有用户的公平性准则。

2、将业务员现场核赔的人力节省采用现阶段人人配备的智能手机的单目摄像头作为采集设备，不需要为投保人额外配备采集设备，节省了公司经费，同时智能手机作为最新科技的集中平台，具有非常高的可信度，通过智能手机官方的AI接口获取的指标，亦可以作为防伪的输入。

3、利用深度学习的相关模型进行核赔，是一种可训练、可迭代的方法，并且每一次核赔输入的数据亦可以作为训练集的扩充，这样随着采集的数据不断扩增，能够不断的提高核赔测量的准确性。能节省高额的熟练业务员人力成本和指标的误赔开支(人工方法或者传统算法不具备可持续的迭代优化能力，投保人如果测得指标对其不利，比如体重测量较实际值偏轻则一定会申诉，如果对其有利，比如较实际值偏重，则会给公司造成额外的赔付金额)。

附图说明

通过结合下面附图对其实施例进行描述，本发明的上述特征和技术优点将会变得更加清楚和容易理解。

图1是本发明实施例的基于单目摄像头的动物体在线核赔方法的步骤示意图；

图2是标定板比动物体区域框小的示意图；

图3是标定板与动物体区域框重合的示意图；

图4是标定板比动物体区域框大的示意图；

图5是电子设备的示意图；

图6是基于单目摄像头的动物体在线核赔装置的模块构成图。

具体实施方式

下面将参考附图来描述本发明所述的基于单目摄像头的动物体在线核赔方法、装置及存储介质的实施例。本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。

本实施例提出一种基于单目摄像头的动物体在线核赔方法，包括以下步骤：

步骤S1，控制单目摄像头对焦动物体和标定板，如图2所示，动物体50侧放于地面，标定板20置于动物体50腹部下方，使得动物体的侧面与标定板20都在水平方向上，单目摄像头的拍摄画面60中显示有动物体区域框30和标定板区域框80，标定板区域框80位于动物体区域框内，动物体50置于动物体区域框30中。

其中，优选地，是拍摄时使得标定板20与标定板区域80完全重合，可以使得拍摄的动物体的大小参照的尺度相同，以利于后期的体重识别。从图4、图5可以看出，在同样的动物体区域框30的情况下，由于拍摄距离不同，导致得到的动物体最小外包矩形不同。而不采用标定板20来锁定拍摄的动物体的比例的话，则可能由于单目摄像头距离动物体的距离不同，导致拍摄的相同的动物体呈现出大小不同的形式，会造成体尺、体重识别误差。通过固定标定板20作为标记物，使得所拍摄的动物体的大小都是以标定板为基准的，可以防止由于拍摄距离不同导致相同的动物体却得到不同的动物体大小导致体重识别出现偏差。

动物体区域框和标定板区域框的尺寸坐标可以为：动物体区域框坐标左上、右上、右下、左下分别为(0.2*Width，0.1*height)、(0.8*Width，0.1*height)、(0.2*Width，0.6*height)、(0.2*Width，0.6*height)，标定板区域框坐标左上、右上、右下、左下分别为(0.4*Width，0.65*height)、(0.6*Width，0.65*height)、(0.4*Width，0.8*height)、(0.6*Width，0.8*height)，其中，Width为宽度参数，height为高度参数。

步骤S2，对拍摄画面进行图像质量判定，包括标定尺度判定、目标动物体区域判定。

其中，标定尺度判定是指拍摄画面中检测的标定板面积与标定板区域框面积之间的比例尺度I大于设定的比例尺度阈值，例如比例尺度阈值为0.8。如果小于设定的比例尺度阈值，则提示重新对焦。比例尺度I的含义是S_b1与S_b2的相交重合区域面积与S_b1、S_b2覆盖区域面积的比值，物理意义的是两者吻合程度，比例尺度I的计算公式如下：

其中，S_b1代表为当前帧获得的标定板的面积；

S_b2代表为画面中预设的标定板区域面积。

目标动物体区域的判断条件是当前帧的动物体最小外包矩形区域40和画面中预设的动物体区域框30的IOU(IOU是交并比的缩写)大于交并阈值，此处选取交并阈值为0.75，若小于，则提示重新对焦，IOU的具体公式为：

其中，S_h1是当前帧的动物体最小外包矩形区域；

S_h2是画面中预设的动物体区域框的区域；

IOU是S_h1与S_h2的相交重合区域面积与S_h1、S_h2覆盖区域面积的比值。

具体地，可以是调用FindChessboardCorners进行标定板的检测判定，(FindChessboardCorners是常用的图像处理库Opencv的内置方法，例如采用40x40cm的标定板，由8x8个方格组成。因而设定检测角点(黑色方块相交的点为角点)个数的阈值为49个，当满足要求时通过标定板检测，按照8x8的对应区域计算出标定板所占的像素区域集合。

优选地，在进行标定尺度判定、目标动物体区域判定之前还进行拍摄画面预判定，拍摄画面预判定包括对将要拍摄的图像的通用质量属性的判定，包括图像的分辨率、图像的模糊程度和检测画面中动物体情况，包括如下步骤：

B.检测当前拍摄画面的分辨率，如果分辨率设定小于阈值则弹出提示分辨率小于阈值(如1280*960)，提醒用户修改。

C.满足B中条件后，提醒用户对焦动物体，逐帧检测画面模糊程度，可以采用拉普拉斯算子检测画面模糊程度，Opencv(基于BSD许可发行的跨平台计算机视觉库，BSD是Unix的衍生***)中提供了对拉普拉斯算子的封装方法，可以直接调用，其中，拉普拉斯算子是用来衡量图片的二阶导数，能够体现图片中密度快速变化的区域(即边界)，将画面的各点像素与拉普拉斯算子进行卷积，然后计算输出的方差，通常清晰图片的边界方差会比较大，而模糊图片中包含的边界信息少，方差较小。当连续2s的方差都小于模糊阈值则视为模糊，方差越小，画面模糊程度越高。

D.检测画面中有无动物体。如果检测不存在，则弹出提示对应目标检测失败，提醒用户将单目摄像头对准合格的动物体。

步骤S3，控制单目摄像头拍摄包含动物体和标定板的图像，对图像进行动物体区域和标定板识别，具体说，是采用图像识别，将通过图像质量判定的图像输入Cascade RCNN网络模型进行动物体区域的识别，输出为动物体最小外包矩形区域掩模，获得了动物体最小外包矩形区域的四个角点的坐标(X1，Y1)、(X2，Y2)、(X3，Y3)、(X4，Y4)，其中，X1、X2、X3、X4是动物体最小外包矩形区域的左上角横坐标、右上角横坐标、左下角横坐标、右下角横坐标，Y1、Y2、Y3、Y4是动物体最小外包矩形区域的左上角纵坐标、右上角纵坐标、左下角纵坐标、右下角纵坐标。其中，Cascade RCNN网络模型是集成在mmdetection(基于PyTorch的开源目标检测工具包)中的一个目标检测模型。

步骤S4，以动物体为中心分割出一个预设尺寸的长方形区域作为预分割图像，以便体重识别模型计算，获取包含动物体的预分割图像的具体步骤为：

S41，理论上说，都以标定板的面积恰好与动物体区域框30的区域重合进行拍摄，则得到的动物体大小的基准应该都是一样的，但实际中，由于拍摄角度、拍摄手法、视觉上的差异，标定板与动物体区域框30的重合度肯定是有误差的。所以以检测标定板的面积与动物体区域框的比例尺度I，将人为拍摄的误差通过比例尺度来补偿。由此计算出各图像需要分割出的预分割图像的尺寸D_宽度、D_高度，

其中，D_预设宽度、D_预设高度是比例尺度I为1时的预分割图像的尺寸。

S42，计算动物体最小外包矩形的中心坐标P_h，其具体计算公式为：

P_h＝(X_h，Y_h)

其中：

X_h＝0.25*(X1+X2+X3+X4)

Y_h＝0.25*(Y1+Y2+Y3+Y4)

S43，计算分割的预分割图像的四个顶点坐标：

四个角点坐标的计算如下：

1)

P_hg＝(X_hgxs，Y_hgxs)

X_hgxs＝X_h-0.5*D_宽度

Y_hgxs＝Y_h-0.5*D_高度

其中，P_hgxs是预分割图像左下角坐标；

X_hgxs是预分割图像左下角横坐标；

Y_hgxs是预分割图像左下角纵坐标。

2)

P_hgyx＝(X_hgyx，Y_hgyx)

X_hgyx＝X_h+0.5*D_宽度

Y_hgyx＝Y_h-0.5*D_高度

其中，P_hgyx是预分割图像右下角坐标；

X_hgyx是预分割图像右下角横坐标；

X_hgyx是预分割图像右下角纵坐标。

3)

P_hgys＝(X_hgys，Y_hgys)

X_hgys＝X_h+0.5*D_宽度

Y_hgys＝Y_h+0.5*D_高度

P_hgys是预分割图像右上角坐标；

X_hgys是预分割图像右上角横坐标；

Y_hgys是预分割图像右上角纵坐标。

4)

P_hgzs＝(X_hgzs，Y_hgzs)

X_hgzs＝X_h-0.5*D_宽度

Y_hgzs＝Y_h+0.5*D_高度

其中，P_hgzs是预分割图像左上角坐标；

X_hgzs是预分割图像左上角横坐标；

Y_hgzs是预分割图像左上角纵坐标。

S44，以S43中获得的预分割图像对应的四个角坐标来对图像裁剪，获取的裁剪图像即为预分割图像。

步骤S5，将获取的预分割图像送入体重识别模型，体重识别模型是RESNET-50网络，RESNET-50网络是一种深度学习模型，其经过了多任务训练和验证，由此可以输出动物体的体长和体重信息，并结合动物体的种类信息输出核赔结果。例如不同种类的猪以及根据不同的体尺和体重特征对应有不同的赔付价格，在此根据动物体的种类信息、体尺和体重信息可以做出赔付价格的确定。

体重识别模型的训练、验证以及识别体重的具体步骤为：

S51，训练阶段：

A.收集多张预分割图像，每张具有标注信息，标注信息有动物体的体长、体重，随机划分一部分作为训练用，另一部分作为验证用，本实施例是采用预分割图像2000张，其中，1800张作为训练图像，200张作为验证图像。

B.进行归一化处理，具体地，是设定参考体长2M，每张图片标注的体长除以参考体长，获取归一化的标注参数，设定参考体重300KG，每张图片的标注的体重除以参考体重，获取归一化的标注参数。

C.对每张预分割图像统一缩放至合理大小，本实施例缩放至640x640大小。

D.训练过程中，网络输出两个分支，体长识别分支和体重识别分支，其中体长识别分支作为体重识别分支的辅助输入信息，经过训练和验证后，达到预设的准确率阈值后，该模型即可进行识别。

S52，使用阶段：

E.将通过步骤S1至S4得到图像缩放至640x640。

G.将经过缩放的图像输入至RESNET-50网络，输出体长和体重的相对指标L_0和W_0。

H.读取***设定的参考体长、参考体重参数，以上的训练步骤中已将参考体长、参考体重参数设定为2M，300KG，所以将得到的相对指标L_0和W_0分别与对应的参考体长、参考体重相乘，从而得到识别的体长L、体重W。

进一步地，在步骤S1之前还包括步骤S0，拍摄投保动物的脸部照片，利用细粒度分类算法来确定动物体的类别，所述细粒度分类算法可以区分生物特征非常相似的各品种的猪、牛图片。例如属于什么品种的猪(不同种类的猪对应不同的赔付价格)。所述细粒度分类算法可以是MTCNN，B-CNN算法，B-CNN算法在CUB鸟类数据集上有着很高的分类准确率。

在一个可选实施例中，对于核赔过程的真实性判断，可能会由于标定板的伪造使得最终获得的动物体的体重及体尺数据不真实。比如正常情况下应该是投保人使用保险公司指定的标定板来进行动物体拍摄。而投保人为了获取较大的动物体重测量值，可以仿造标定板，缩小标定板的尺寸，通过拉近拍摄距离使得其标定板充满手机的标定板参考区域，从而使得按照指定大小的标定板结合算法获得的体重、体尺计算模型的参考性失真、得到较大的预测误差。

本实施例采用以下方式来确保可以识别是否有伪造标定板的情况：通过手机调用手机供应商提供的AI接口，获取包括地理位置、相机参数、IMU参数(惯性测量单元)，并根据投保人拍摄的多角度图片、相机参数和IMU参数，进行场景三维重建，获得标定板的实际尺寸，根据手机的位移传感器可以获得拍摄距离，根据获取的拍摄高度、标定板的实际尺寸判定标定板是否为指定的标定板。具体说，对于同一块标定板，单目摄像头在固定的拍摄高度，其拍摄的图像尺寸应是一样的，对于保险公司指定的标定板，对应的根据不同的拍摄高度具有其拍摄尺寸的数据，而根据三维场景获得的标定板尺寸应与该数据相符，否则则认为其标定板不是指定标定板。

获得三维场景包括以下步骤：

(1)摄像头标定：其中，关于相机的内参，由于手机内部集成了很多的传感器，比如IMU、摄像头甚至结构光模组，各个手机公司或者提供支持的企业也针对的提供了AI的接口平台，比如谷歌的AI_core、Facebook的、华为的HUAWEI_AI,苹果的AR_KIT都可以通过app调用手机供应商的AI接口。使得各应用可以按需调用该AI接口获取相应的数据。根据相机内参并结合位姿估计算法可以获得相机外参。

(2)采用sift算子计算图片每个像素点的特征，对多张图片像素做匹配对应，通过像素点的特征，结合相机参数，得到稀疏点云信息，可以使用Bundler(能够利用无序的图片集合重建出3D的模型)和VisualSFM(一种三维重建软件)生成稀疏点云。

(3)使用PMVS对稀疏点云做范围扩展、范围滤波，得到稠密点云，并对稠密点云网格化，得到三维场景。

如图5所示，是本发明基于单目摄像头的动物体在线核赔装置的功能模块图。基于单目摄像头的动物体在线核赔装置200可以安装于电子设备中。根据实现的功能，所述基于单目摄像头的动物体在线核赔装置200可以包括对焦模块201、拍摄合规判定模块202、动物体分割模块203、体重识别模块204。本发所述模块是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块的功能如下：

其中，对焦模块201用于控制单目摄像头对焦动物体和标定板，如图2所示，动物体50侧放于地面，标定板20置于动物体50腹部下方，使得动物体的侧面与标定板20都在水平方向上，单目摄像头的拍摄画面60中显示有动物体区域框30和标定板区域框80，标定板区域框80位于动物体区域框内，动物体50置于动物体区域框30中。

其中，优选地，是拍摄时使得标定板20与标定板区域80完全重合，可以使得拍摄的动物体的大小参照的尺度相同，以利于后期的体重识别。从图4、图5可以看出，在同样的动物体区域框30的情况下，由于拍摄距离不同，导致得到的动物体最小外包矩形不同。而不采用标定板20来锁定拍摄的动物体的比例的话，则可能由于单目摄像头距离动物体的距离不同，导致拍摄的相同的动物体呈现出大小不同的形式，会造成体尺、体重识别误差。通过固定标定板20作为标记物，使得所拍摄的动物体的大小都是以标定板为基准的，可以防止由于拍摄距离不同导致相同的动物体却得到不同的动物体大小导致体重识别出现偏差。

拍摄合规判定模块202用于对拍摄画面进行图像质量判定，包括标定尺度判定、目标动物体区域判定。

其中，标定尺度判定是指拍摄画面中检测的标定板面积与标定板区域框面积之间的比例尺度I大于设定的比例尺度阈值，例如比例尺度阈值为0.8。如果小于设定的比例尺度阈值，则提示重新对焦。比例尺度I的含义是S_b1与S_b2的相交重合区域面积与S_b1、S_b2覆盖区域面积的比值，物理意义的是两者吻合程度，比例尺度I的计算公式如下：

其中，S_b1代表为当前帧获得的标定板的面积；

S_b2代表为画面中预设的标定板区域面积。

目标动物体区域的判断条件是当前帧的动物体最小外包矩形区域40和画面中预设的动物体区域框30的IOU(IOU是交并比的缩写)大于交并阈值，此处选取交并阈值为0.75，若小于，则提示重新对焦，IOU的具体公式为：

其中，S_h1是当前帧的动物体最小外包矩形区域；

S_h2是画面中预设的动物体区域框的区域；

IOU是S_h1与S_h2的相交重合区域面积与S_h1、S_h2覆盖区域面积的比值。

具体地，可以是调用Opencv的FindChessboardCorners函数进行标定板的检测判定，(FindChessboardCorners是常用的图像处理库Opencv的内置方法，例如采用40x40cm的标定板，由8x8个方格组成。因而设定检测角点(黑色方块相交的点为角点)个数的阈值为49个，当满足要求时通过标定板检测，按照8x8的对应区域计算出标定板所占的像素区域集合。

优选地，在进行标定尺度判定、目标动物体区域判定之前还进行拍摄画面预判定，拍摄画面预判定包括对将要拍摄的图像的通用质量属性的判定，包括图像的分辨率、图像的模糊程度和检测画面中动物体情况，包括如下步骤：

B.检测当前拍摄画面的分辨率，如果分辨率设定小于阈值则弹出提示分辨率小于阈值(如1280*960)，提醒用户修改。

C.满足B中条件后，提醒用户对焦动物体，逐帧检测画面模糊程度，可以采用拉普拉斯算子检测画面模糊程度，Opencv(基于BSD许可发行的跨平台计算机视觉库，BSD是Unix的衍生***)中提供了对拉普拉斯算子的封装方法，可以直接调用，其中，拉普拉斯算子是用来衡量图片的二阶导数，能够体现图片中密度快速变化的区域(即边界)，将画面的各点像素与拉普拉斯算子进行卷积，然后计算输出的方差，通常清晰图片的边界方差会比较大，而模糊图片中包含的边界信息少，方差较小。当连续2s的方差都小于模糊阈值则视为模糊，方差越小，画面模糊程度越高。

D.检测画面中有无动物体。如果检测不存在，则弹出提示对应目标检测失败，提醒用户将单目摄像头对准合格的动物体。

其中，动物体分割模块203控制单目摄像头拍摄包含动物体和标定板的图像，对图像进行动物体区域和标定板识别，具体说，是采用图像识别，将通过图像质量判定的图像输入Cascade RCNN网络模型进行动物体区域的识别，输出为动物体最小外包矩形区域掩模，获得了动物体最小外包矩形区域的四个角点的坐标(X1，Y1)、(X2，Y2)、(X3，Y3)、(X4，Y4)，其中，X1、X2、X3、X4是动物体最小外包矩形区域的左上角横坐标、右上角横坐标、左下角横坐标、右下角横坐标，Y1、Y2、Y3、Y4是动物体最小外包矩形区域的左上角纵坐标、右上角纵坐标、左下角纵坐标、右下角纵坐标。其中，Cascade RCNN网络模型是集成在mmdetection(基于PyTorch的开源目标检测工具包)中的一个目标检测模型。

步骤S4，以动物体为中心分割出一个预设尺寸的长方形区域作为预分割图像，以便体重识别模型计算，获取包含动物体的预分割图像的具体步骤为：

S41，理论上说，都以标定板的面积恰好与动物体区域框30的区域重合进行拍摄，则得到的动物体大小的基准应该都是一样的，但实际中，由于拍摄角度、拍摄手法、视觉上的差异，标定板与动物体区域框30的重合度肯定是有误差的。所以以检测标定板的面积与动物体区域框的比例尺度I，将人为拍摄的误差通过比例尺度来补偿。由此计算出各图像需要分割出的预分割图像的尺寸D_宽度、D_高度，

其中，D_预设宽度、D_预设高度是比例尺度I为1时的预分割图像的尺寸。

S42，计算动物体最小外包矩形的中心坐标P_h，其具体计算公式为：

P_h＝(X_h，Y_h)

其中：

X_h＝0.25*(X1+X2+X3+X4)

Y_h＝0.25*(Y1+Y2+Y3+Y4)

S43，计算分割的预分割图像的四个顶点坐标：

四个角点坐标的计算如下：

1)

P_hg＝(X_hgxs，Y_hgxs)

X_hgxs＝X_h-0.5*D_宽度

Y_hgxs＝Y_h-0.5*D_高度

其中，P_hgxs是预分割图像左下角坐标；

X_hgxs是预分割图像左下角横坐标；

Y_hgxs是预分割图像左下角纵坐标。

2)

P_hgyx＝(X_hgyx，Y_hgyx)

X_hgyx＝X_h+0.5*D_宽度

Y_hgyx＝Y_h-0.5*D_高度

其中，P_hgyx是预分割图像右下角坐标；

X_hgyx是预分割图像右下角横坐标；

X_hgyx是预分割图像右下角纵坐标。

3)

P_hgys＝(X_hgys，Y_hgys)

X_hgys＝X_h+0.5*D_宽度

Y_hgys＝Y_h+0.5*D_高度

P_hgys是预分割图像右上角坐标；

X_hgys是预分割图像右上角横坐标；

Y_hgys是预分割图像右上角纵坐标。

4)

P_hgzs＝(X_hgzs，Y_hgzs)

X_hgzs＝X_h-0.5*D_宽度

Y_hgzs＝Y_h+0.5*D_高度

其中，P_hgzs是预分割图像左上角坐标；

X_hgzs是预分割图像左上角横坐标；

Y_hgzs是预分割图像左上角纵坐标。

S44，以S43中获得的预分割图像对应的四个角坐标来对图像裁剪，获取的裁剪图像即为预分割图像。

其中，体重识别模块204用于将获取的预分割图像送入体重识别模型，体重识别模型是RESNET-50网络，RESNET-50网络是一种深度学习模型，其经过了多任务训练和验证，由此可以输出动物体的体长和体重信息。并结合动物体的种类信息输出核赔结果。例如不同种类的猪以及根据不同的体尺和体重特征对应有不同的赔付价格，在此根据动物体的种类信息、体尺和体重信息可以做出赔付价格的确定。

体重识别模型的训练、验证以及识别体重的具体步骤为：

S51，训练阶段：

A.收集多张预分割图像，每张具有标注信息，标注信息有动物体的体长、体重，随机划分一部分作为训练用，另一部分作为验证用，本实施例是采用预分割图像2000张，其中，1800张作为训练图像，200张作为验证图像。

B.进行归一化处理，具体地，是设定参考体长2M，每张图片标注的体长除以参考体长，获取归一化的标注参数，设定参考体重300KG，每张图片的标注的体重除以参考体重，获取归一化的标注参数。

C.对每张预分割图像统一缩放至合理大小，本实施例缩放至640x640大小。

D.训练过程中，网络输出两个分支，体长识别分支和体重识别分支，其中体长识别分支作为体重识别分支的辅助输入信息，经过训练和验证后，达到预设的准确率阈值后，该模型即可进行识别。

S52，使用阶段：

E.将通过步骤S1至S4得到图像缩放至640x640。

G.将经过缩放的图像输入至RESNET-50网络，输出体长和体重的相对指标L_0和W_0。

H.读取***设定的参考体长、参考体重参数，以上的训练步骤中已将参考体长、参考体重参数设定为2M，300KG，所以将得到的相对指标L_0和W_0分别与对应的参考体长、参考体重相乘，从而得到识别的体长L、体重W。

本发明还提供一种电子设备，参阅图6所示，是本发明电子设备的实施例的硬件架构示意图。本实施例中，所述电子设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能移动设备、平板电脑、笔记本电脑等易于携带的移动设备。如图6所示，所述电子设备2至少包括通过线路相互通信连接的存储器21、处理器22，所述单目摄像头与处理器连接其中：所述存储器21可以是所述电子设备2的内部存储单元，例如该电子设备2的硬盘或内存。在另一些实施例中，所述存储器21也可以是所述电子设备2的外部存储设备，例如该电子设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

当然，所述存储器21还可以既包括所述电子设备2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器21通常用于存储安装于所述电子设备2的操作***和各类应用软件，例如基于单目摄像头的动物体在线核赔程序的代码等。此外，所述存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。用于运行所述存储器21中存储的程序代码或者处理数据，例如运行基于单目摄像头的动物体在线核赔程序。

需要指出的是，图6仅示出了具有存储器21、处理器22的电子设备2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

包含可读存储介质的存储器21中可以包括操作***、基于单目摄像头的动物体在线核赔程序等。处理器22执行存储器21中的基于单目摄像头的动物体在线核赔程序时实现如上所述的S1至S5的步骤，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括基于单目摄像头的动物体在线核赔程序等，所述基于单目摄像头的动物体在线核赔程序被处理器22执行时实现如下操作：

S1，控制单目摄像头对焦动物体和标定板，其中，动物体侧放于地面,标定板置于动物体腹部下方，单目摄像头的拍摄画面中显示有动物体区域框和标定板区域框，动物体置于动物体区域框中；

S2，对拍摄画面进行图像质量判定，包括标定尺度判定、目标动物体区域判定；

S3，控制单目摄像头拍摄包含动物体和标定板的图像，将图像输入Cascade RCNN网络模型进行动物体区域的识别，输出动物体最小外包矩形区域掩模；

S4，以动物体为中心分割出预设尺寸的预分割图像送入经过训练的体重识别模型，输出体长和体重信息，并结合动物体的面部图像识别获得的种类信息，确定核赔结果。

本发明之计算机可读存储介质的具体实施方式与上述基于单目摄像头的动物体在线核赔方法以及电子设备2的具体实施方式大致相同，在此不再赘述。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于单目摄像头的动物体在线核赔方法，其特征在于，包括以下步骤：

控制单目摄像头对焦动物体和标定板，其中，动物体侧放于地面,标定板置于动物体腹部下方，单目摄像头的拍摄画面中显示有动物体区域框和标定板区域框，动物体置于动物体区域框中；

判断当前帧的动物体最小外包矩形区域和拍摄画面中显示的动物体区域框的IOU是否大于预设的交并阈值，若大于，则继续执行，否则提示重新对焦；

控制单目摄像头拍摄包含动物体和标定板的图像，将图像输入Cascade RCNN网络模型进行动物体区域的识别，输出动物体最小外包矩形区域掩模；

以动物体为中心分割出预设尺寸的预分割图像送入经过训练的体重识别模型，输出体长和体重信息，并结合动物体的面部图像识别获得的种类信息，确定核赔结果，

在拍摄前还采用Opencv的FindChessboardCorners函数寻找标定板的角点，获得标定板的面积计算比例尺度I，并在所述比例尺度I小于预设的比例尺度阈值时提示重新对焦，比例尺度I的公式为：

其中，S_b1代表为当前帧获得的标定板的面积；

S_b1代表为画面中预设的标定板区域面积，

以动物体为中心分割出预分割图像包括根据比例尺度I获得预分割图像的尺寸D_宽度、D_高度，其中，

其中，D_预设宽度、D_预设高度是比例尺度I为1时的预分割图像的尺寸，

所述体重识别模型为RESNET-50网络，利用体重识别模型进行体重识别的方法包括：

收集多张标注有动物体的体长、体重信息的预分割图像，设定参考体长和参考体重，并将每张动物体图像标注的体长除以参考体长获取归一化的标注体长，每张动物体图像标注的体重除以参考体重获取归一化的标注体重，

将所述预分割图像中一部分作为训练图像，一部分作为验证图像；

将训练图像输入RESNET-50网络进行训练，RESNET-50网络输出体长识别分支和体重识别分支，将验证图像输入RESNET-50网络，直至输出达到预设的准确率阈值；

将预分割图像输入至经过验证的RESNET-50网络，输出体长和体重的相对指标L_0和W_0，并分别与对应的参考体长、体重参数相乘，从而得到识别的体长L、体重W。

2.根据权利要求1所述的基于单目摄像头的动物体在线核赔方法，其特征在于，在判断当前帧的动物体最小外包矩形区域和拍摄画面中显示的动物体区域框的IOU是否大于预设的交并阈值之前，先进行拍摄画面预判定，包括对画面的分辨率、画面的模糊程度和动物体区域框中的动物体是否齐全的判定，

其中，检测画面模糊程度是采用拉普拉斯算子进行检测，将画面的各点像素与拉普拉斯算子进行卷积计算输出方差，当连续2s的方差都小于模糊阈值则视为模糊。

3.根据权利要求1所述的基于单目摄像头的动物体在线核赔方法，其特征在于，

动物体最小外包矩形区域和拍摄画面中预设的动物体区域框的IOU的计算公式为:

其中，S_h1是当前帧的动物体最小外包矩形区域；

S_h2是画面中预设的动物体区域框的区域；

IOU是S_h1与S_h2的相交重合区域面积与S_h1、S_h2覆盖区域面积的比值。

4.根据权利要求1所述的基于单目摄像头的动物体在线核赔方法，其特征在于，

在控制单目摄像头对焦动物体和标定板之前，先调用单目摄像头供应商提供的AI接口，获取包括地理位置、相机参数、IMU参数，并根据投保人拍摄的多角度图片、相机参数和IMU参数，进行场景三维重建，获得标定板的实际尺寸，根据手机的位移传感器获得拍摄距离，进而根据获取的拍摄距离、标定板的实际尺寸判定标定板是否为指定标定板。

5.一种基于单目摄像头的动物体在线核赔装置，其特征在于，包括：

对焦模块，用于控制单目摄像头对焦动物体和标定板，其中，动物体侧放于地面,标定板置于动物体腹部下方，单目摄像头的拍摄画面中显示有动物体区域框和标定板区域框，动物体置于动物体区域框中；

拍摄合规判定模块，判断当前帧的动物体最小外包矩形区域和拍摄画面中显示的动物体区域框的IOU是否大于预设的交并阈值，若大于，则继续执行，否则提示重新对焦；

动物体分割模块，用于控制单目摄像头拍摄包含动物体和标定板的图像，将图像输入Cascade RCNN网络模型进行动物体区域的识别，输出动物体最小外包矩形区域掩模；

体重识别模块，以动物体为中心分割出预设尺寸的预分割图像送入经过训练的体重识别模型，输出体长和体重信息，并结合动物体的面部图像识别获得的种类信息，确定核赔结果，

在拍摄前还采用Opencv的FindChessboardCorners函数寻找标定板的角点，获得标定板的面积计算比例尺度I，并在所述比例尺度I小于预设的比例尺度阈值时提示重新对焦，比例尺度I的公式为：

其中，S_b1代表为当前帧获得的标定板的面积；

S_b1代表为画面中预设的标定板区域面积，

以动物体为中心分割出预分割图像包括根据比例尺度I获得预分割图像的尺寸D_宽度、D_高度，其中，

其中，D_预设宽度、D_预设高度是比例尺度I为1时的预分割图像的尺寸，

所述体重识别模型为RESNET-50网络，利用体重识别模型进行体重识别的方法包括：

收集多张标注有动物体的体长、体重信息的预分割图像，设定参考体长和参考体重，并将每张动物体图像标注的体长除以参考体长获取归一化的标注体长，每张动物体图像标注的体重除以参考体重获取归一化的标注体重，

将所述预分割图像中一部分作为训练图像，一部分作为验证图像；

将训练图像输入RESNET-50网络进行训练，RESNET-50网络输出体长识别分支和体重识别分支，将验证图像输入RESNET-50网络，直至输出达到预设的准确率阈值；

将预分割图像输入至经过验证的RESNET-50网络，输出体长和体重的相对指标L_0和W_0，并分别与对应的参考体长、体重参数相乘，从而得到识别的体长L、体重W。

6.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一所述的基于单目摄像头的动物体在线核赔方法。

7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一所述的基于单目摄像头的动物体在线核赔方法。