CN112507768A - 目标物检测方法、装置和图像采集方法、装置 - Google Patents

Abstract

本发明提供了一种目标物检测方法、装置和图像采集方法、装置，涉及图像检测应用的技术领域，获取高度一致的采样图像，动态调节图像采集设备的采样姿态以采集符合要求的采样图像，标注该采样图像并训练深度学习模型以准确识别目标物，利用训练成功的深度学习模型检测采样图像以获取残余目标物的数量及比例，从而确定该植株区域的目标物去除程度，并由此保证种子纯度。本发明通过机器取代人工进行自动地样本采集，目标物识别和去除程度统计，大幅提高目标物去除检测效率，大幅缩短目标物去除检测时间，大幅降低目标物检测成本，并彻底避免由于目标物去除检测人员必需深入田间工作时所带来的一切风险。

Description

目标物检测方法、装置和图像采集方法、装置

技术领域

本发明涉及图像检测应用的技术领域，尤其是涉及一种目标物检测方法、装置和图像采集方法、装置。

背景技术

制种公司在培育种子时，对种子纯度的要求达99.7％以上。对于玉米作物来说，为了获取高纯度种子，种业公司需要彻底去除玉米母本的雄穗，目前采用机械去雄或人工去雄的方法，并且在去雄的同时，及时检测去雄效果，确保去雄率，并在纯度不满足要求时重新去雄。

现有制种公司的去雄检测的方法一般是：人工行走至若干采样点，抽检区域内的若干株植株，检查是否已经完成去除雄穗，检测效果较差。需要多天重复抽检，否则无法保证去雄率。这种方法既浪费时间，又增加人力成本。由于费时费力，成本高，难以大量取样保证去雄纯度。

发明内容

有鉴于此，本发明的目的在于提供一种目标物检测方法、装置和图像采集方法、装置，通过机器控制方式采集高度一致性的采样图像，目标物识别和去除程度统计，大幅提高目标物去除检测效率，大幅缩短目标物去除检测时间，大幅降低目标物检测成本，并彻底避免由于目标物去除检测人员必需深入田间工作时所带来的一切风险。

第一方面，实施例提供一种目标物检测方法，包括：

获取规则种植的植株区域的采样点的采样图像，所述植株区域包括父本行植株和母本行植株，所述采样图像从所述植株的正上方采集，包括除父本行植株外的全部母本行植株；

根据所述采样图像识别所述植株的目标物以进行目标物去除检测。

在可选的实施例中，所述采样图像的水平轴与所述植株种植行呈预设角度。

在可选的实施例中，所述植株区域中包括多个采样点，每个所述采样点对应的所述采样图像互不重叠。

在可选的实施例中，所述采样图像包括位置信息。

在可选的实施例中，所述目标物包括雄穗和花苞中的任一种或两种。

在可选的实施例中，根据所述采样图像识别所述植株的目标物以进行目标物去除检测，包括：

根据所述采样图像训练深度学习模型，以获得目标物模型；

根据所述目标物模型识别所述采样图像中的目标物。

在可选的实施例中，所述深度学习模型包括任意开源或自行开发的基于深度学习的目标物检测的神经网络。

在可选的实施例中，根据所述采样图像训练深度学习模型的步骤，包括：标注所述采样图像形成已标注采样图像的训练集，以训练深度学习模型，进而获得目标物模型；根据所述目标物模型识别所述采样图像中的目标物的步骤，包括：根据所述目标物模型识别未标注采样图像中的目标物。

在可选的实施例中，根据所述采样图像识别所述植株的目标物以进行目标物去除检测，还包括：

确定所述采样图像的植株数量；

根据识别的目标物统计目标物数量；

根据所述植株数量和所述目标物数量确定目标物去除程度。

在可选的实施例中，确定所述采样图像的植株数量的步骤，包括：

对所述采样图像中的植株数量进行统计；

或者，

对所述采样图像中的植株进行识别，得到植株数量；

或者，

获取预设数量的采样图像中的植株数，计算所述采样图像中的植株平均数量，根据所述植株平均数量与所述采样图像的总数量确定所述采样图像中的植株数量。

第二方面，实施例提供一种目标物检测装置，包括：

采样图像获取模块，获取规则种植的植株区域的采样点的采样图像，所述植株区域包括父本行植株和母本行植株，所述采样图像从所述植株的正上方采集，所述采样图像包括除父本行植株外的全部母本行植株；

去除检测模块，根据所述采样图像识别所述植株的目标物以进行目标物去除检测。

第三方面，实施例提供一种图像采集方法，包括：

获取规则种植的植株区域的采样点的图像信息，所述植株区域包括父本行植株和母本行植株；

根据所述图像信息确定图像采集设备的目标采样姿态，所述目标采样姿态至少包括以下的一种或多种：采集高度，采集角度，其中所述采集角度为所述图像采集设备的图像水平轴与植株种植行的角度；

基于所述目标采样姿态获取所述采样点对应的采样图像。

在可选的实施方式中，所述采样图像包括位置信息。

在可选的实施方式中，根据所述图像信息确定图像采集设备的目标采样姿态的步骤，包括：

调整所述图像采集设备的当前高度直至所述图像信息中包括除父本行植株外的全部母本行植株，确定所述目标采样姿态中的采样高度。

在可选的实施方式中，根据所述图像信息确定图像采集设备的目标采样姿态的步骤，包括：

调整所述图像采集设备的当前采集方向直至所述图像采集设备的图像水平轴与所述图像信息中植株种植行呈预设角度，确定所述目标采样姿态中的采集角度。

在可选的实施方式中，所述目标采样姿态还包括采集方向，所述采集方向为图像采集设备朝向地面的方向，其中，所述采集方向竖直向下。

在可选的实施方式中，获取规则种植的植株区域的采样点的图像信息步骤，包括：

获取规则种植的植株区域中的采样点以及所述采样点的位置坐标；

根据所述采样点的位置坐标，规划所述图像采集设备到所述位置坐标的飞行路径；

基于所述飞行路径获得所述图像信息。

在可选的实施方式中，所述方法还包括：

根据所述图像信息的亮度控制所述采样图像的曝光度。

第二方面，实施例还提供一种图像采集装置，包括：

图像获取模块，用于获取规则种植的植株区域的采样点的图像信息，所述植株区域包括父本行植株和母本行植株；

姿态确定模块，用于根据所述图像信息确定图像采集设备的目标采样姿态，所述目标采样姿态至少包括以下的一种或两种：采集高度，采集角度，其中所述采集角度为所述图像采集设备的图像水平轴与植株种植行的角度；

图像确定模块，用于基于所述目标采样姿态获取所述采样点对应的采样图像。

本发明实施例提供的一种目标物检测方、装置和图像采集方法、装置，获取高度一致的采样图像，利用训练成功的深度学习模型检测采样图像以获取残余目标物的数量及比例，从而确定该植株区域的目标物去除程度，通过机器取代人工进行自动地样本采集，目标物识别和去除程度统计，大幅提高目标物去除检测效率，大幅缩短目标物去除检测时间，大幅降低目标物检测成本，彻底避免由于目标物去除检测人员必需深入田间工作时所带来的一切风险。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种父本母本植株种植示意图；

图2为本发明实施例提供的一种图像采集方法流程图；

图3为本发明实施例提供的一种图像采集设备处于准备位置的图像信息示意图；

图4为本发明实施例提供的一种图像采集设备处于采样位置的图像信息示意图；

图5为本发明实施例提供的一种目标物检测方法流程图；

图6为本发明实施例提供的一种用于去雄检测的用户界面示意图；

图7为本发明实施例提供的一种去雄检测方法应用场景示意图；

图8为本发明实施例提供的一种图像采集装置的功能模块图；

图9为本发明实施例提供的一种目标物检测装置的功能模块图；

图10为本发明实施例提供的一种电子设备的硬件架构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

去除检测广泛应用于农业育种领域，这里，以玉米去雄为例，进行说明。当制种公司制种时，一般种植区域达1000亩以上，种植区域地块边界达1公里以上，而植株都是成行种植，在去雄时，首先通过机械设备去雄，来去除母本行上的雄穗，保留父本行雄穗用于授粉，但是在机械设备去雄厚母本行上往往会存在遗漏未去除的雄穗，或者未长成后续生长出的雄穗，此时为了保证母本行的去雄率，通过人力行走、人力检测来抽检这1000亩地的去雄情况，并且需要间隔一段时间的多次抽检，不仅花费巨大的时间，也花费巨大的人力物力。

在玉米制种时，由于是间行种植，即将父本行和母本行间隔种植，如图1所示。在授粉期间，将母本行的雄穗去除，只留下父本行的雄穗，授粉时，母本行植株株上结的果实都是父本的花粉和母本的卵子结合而成，如此实现杂交制种。如果母本行去雄不好，母本花粉授到自身的果穗上，形成自交种子，会极大影响种子纯度。基于此，要保证母本行上的雄穗完全去除，进而需要进行去雄检测，以实现较好的种子纯度。其中，植株的种植规律可如图1中所示，例如：母本行4行，父本行2行，母本行4行，父本行2行间隔种植，并且行距确定；也可以母本行6行，父本行2行，母本行6行，父本行2行间隔种植。这里仅为一种示例，母本行的行数和父本行的行数不做限制，其行间距也不做限制。

对于去雄检测的工作人员来说，需要人工行走至采样点，费时费力，玉米等作物的种植区域里情况复杂，可能存在遇到蛇虫，遭遇中暑等危险情况，在通过人工检查是否去雄，效率较低，成本较高的同时，由于受成本限制，不能对植株进行大量取样，导致难以保证种子纯度。

由于人工去雄检测方法的以上局限性，经过发明人研究实验，可利用自动控制设备控制图像采集设备，如飞行器航拍，来获取去雄后的种田图片从而识别去雄率，并通过深度学习的方法进行解读。但是该方案由于存在以下技术难点，故未能被成功运用到生产实践中：

1.通过机器学习图像识别难以自动高精度分开植株父母本；

2.由于花期玉米枝叶交错，机器学习图像识别难以自动准确的数清玉米株数从而给出遗漏雄穗占比；

3.对于离地高度，所含植株数，曝光程度不同的图像难以准确进行识别；

4.由于田间情况复杂，图片间差异巨大，难以高精度检测大数量种类的玉米的遗漏雄穗；

5.检测流程复杂，人工参与度高，难以真正有效提高去雄检测效率和精度。

基于此，本发明实施例提供的一种目标物检测方法、装置和图像采集方法、装置，通过机器控制方式采集高度一致性的采样图像，保证目标物去除检测的效率和准确性，省时省力，又降低了检测成本。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像采集方法进行详细介绍，其主要应用于控制设备，如飞行器，适应于规则种植的植株场景中，此处规则种植包括但不限于沿行种植或者小区种植，比如规则种植的玉米、水稻、大豆、油菜等，本发明实施例以玉米去雄为例进行说明。

图2为本发明实施例提供的一种图像采集方法流程图。

参照图2，图像采集方法，主要包括以下步骤：

步骤S102，获取规则种植的植株区域的采样点的图像信息，植株区域包括父本行植株和母本行植株。

步骤S104，根据图像信息确定图像采集设备的目标采样姿态，目标采样姿态至少包括以下的一种或多种：采集高度和采集角度，其中采集角度为图像采集设备的图像水平轴与植株种植行的角度。

步骤S106，基于目标采样姿态获取采样点对应的采样图像。

在实际应用的优选实施例中，根据获取的植株区域采集点的图像信息确定图像采集设备的采集高度、采集角度达到目标采样姿态，根据目标采样姿态在采样点采集的高度一致的采样图像，以根据采样图像中的植株情况进行目标物去除检测，如去雄检测，本发明实施例通过机器控制方式采集高度一致性的采样图像，进而准确识别遗漏雄穗和植株数量，提高了去雄检测的自动化程度，同时保证去雄检测的准确性，省时省力。

需要说明的是，本发明实施例以去雄检测为例进行说明，并不局限于此，还适用于其他的目标物去除检测场景。

具体地，通过机器控制方式标准化地采集高度一致性的采样图像，主要针对规则种植的植株场景(种植规则一致性较高)，通过本发明的图像采集方法(采集方式高度一致)，进而可以获得高度一致性的采样图像(确保每张采样图像的实际面积相同)，进而采样的植株株数一致性高(一般每张采样图像的植株数相同)，从而可以很好的进行抽样检查。

作为一种可选的实施例，对于种植区域中规则种植的植株，可通过遥控控制设备并且人为确定飞行器拍摄的平面位置以及高度位置，以此保证拍摄图像的一致性，进而排除其他植株行的干扰，提高采样图像的一致性。通过人眼确认父母本行的边界，在采样时排除父本行的干扰的情况下，确定采集高度和采集角度，保证了准确性，避免了由于父本母本行的外形极为相似，机器识别难以准确分辨的难点。获得采样图像后，得到其中一张采样图像中显示的植株株数(可以通过人为计数，也可以通过图像识别，此处不做限制)，就可以得到所有采样图像中的植株总数，以便后续统计。通过图像采集设备采集母本行的雄穗图像检测去雄是否符合要求，提高了检测效率，节省了人力物力。通过遥控飞行器采集雄穗图像进行雄穗抽检，避免人工作业，避免深入农田的风险，节省了人力物力，提高了检测效果和检测效率。

作为另一种可选的实施例，可通过上位机控制飞行器的姿态，即采集高度、采集角度等，进而飞行器搭载图像采集设备(相机)进行图像采集。

在可选的实施方式中，步骤S104，还包括以下步骤：

步骤1.1)，调整图像采集设备的当前高度直至图像信息中包括除父本行植株外的全部母本行植株，确定目标采样姿态中的采样高度。

如图4所示，要求当图像信息中刚刚看不到父本行而保留相邻父本行间的所有母本行时，此时的航拍高度即为目标采样姿态中的采样高度。其中，在玉米去雄的场景中，拍摄的边界以父本植株为边界，在其他连续植株种植行的应用场景中，可以根据需要进行设定。

在可选的实施方式中，目标采样姿态包括相同的采集方向，其中，采集方向为图像采集设备朝向地面的方向，如竖直向下。

作为一种优选实施例，要求航拍镜头方向垂直向下对植株进行拍摄，进而获得采样图像，以便识别雄穗的顶端，提高雄穗的识别率，如果倾斜，会识别到雄穗的部分本体，重叠在一起的雄穗会影响识别准确率。

在可选的实施方式中，步骤S104，还可通过以下步骤进行实现：

步骤1.2)，调整图像采集设备的当前采集方向直至图像采集设备的图像水平轴与所述图像信息中植株种植行呈预设角度，确定目标采样姿态中的采集角度。这里，获取采样图像时，要求图像信息中植株行的方向与图形水平轴的预设角度不超过±15°，以保证图像识别的准确性和鲁棒性。在一种优选实施例中，调整图像采集设备的当前采集方向直至图像采集设备的图像水平轴平行或垂直于图像信息中植株种植行，确定目标采样姿态中的采集角度，其中，采集角度为0°或90°。即采集的图像中植株行平行或者垂直于图像边界线，进而图像采集设备的采集角度优选为0°或90°v

在可选的实施方式中，本发明实施例提供的方法还包括：

步骤1.3)，根据图像信息的亮度控制采样图像的曝光度。

这里，根据图像信息中最亮处不能有明显白斑的要求，来控制航拍亮度。进而保证采样图像的质量，防止图像无法识别的情况。

在可选的实施方式中，植株区域中包括多个采样点，每个采样点对应的所述采样图像互不重叠。

具体地，为了较为准确地对植株区域进行去除检测，一般植株区域可包括多个采样点，需要保证每个采样点区域采集的采样图像互不重叠，避免雄穗数量以及植株数量统计误差，进而确保去雄检测结果的准确性。

作为一种可选的实施例，先控制(飞行器遥控或上位机控制)航拍飞行器飞至要进行采集的目标采样点上方，悬停并调整飞行器的飞行高度，镜头采集角度和飞行采集方向达到上述要求，并且保证目标母本行以及母本行两侧的父本行全部位于画面内，如图3所示的航拍飞行器的准备位置。再缓慢降低航拍飞行器的高度并调整飞行器位置和姿态，直到父本行刚刚移出画面而父本行中间的所有的母本行完全保留在画面内为止，并且采样图像的画面水平轴平行于植株种植的延伸方向，至如图4所示的航拍飞行器位置，调节曝光度至画面最亮处没有大块白斑，进行图像拍摄采集。需要说明的是，如果仅采样图像中仅包含部分母本行，如图中3行母本行，或者2行母本行，会影响抽样准确性。

可以理解的是，本发明实施例中的去雄检测采样图像以及深度学习训练集图片都需要依照同样的上述办法进行图像采集，以保证雄穗图形检测准确性。在可选的实施方式中，步骤S102，还包括以下步骤：

步骤2.1)，获取规则种植的植株区域中的采样点以及采样点的位置坐标；

步骤2.2)，根据采样点的位置坐标，规划图像采集设备到位置坐标的飞行路径；

步骤2.3)，基于飞行路径获得图像信息。

这里，获取采样图像方法的执行主体为飞控(控制搭载图像采集设备的飞行器)或搭载图像采集设备的飞行器，通过控制飞行器达到采样点，控制图像采集设备采集采样图像来实现。

作为一种可选的实施例，飞行器接收种植区域中的采样点的位置坐标，飞行器根据飞行路径到达该采样点上空；其中，采样点可以是随机的，也可以是预设的。这里，飞行器可以通过操作人员遥控达到各采样点，或者飞行器根据预先设置或随机设置的种植区域的各采样点位置规划飞行路径，根据规划的路径自动到达各个采样点进而进行图像采集。

在实际应用的图像采集场景中，还通过降低飞行器飞行高度至预设值，判断(机器判断或者人工判断)图像采集设备拍摄的图像中是否存在父本行植株，此时母本行植株可能存在若干未去除的雄穗，而父本行的植株上雄穗未经过去雄，如果识别到父本行植株，会对识别结果造成影响。同时，若图像中存在父本行，还可以控制飞行器调整采集角度，包括但不限于调整飞行器飞行姿态、或者图像采集设备的姿态等等，从而使得图像采集设的画面水平轴与种植行的角度呈0°，直到图像采集设备采集到的都是母本行植株为止，确定该位置为采样位置，确定该采样位置的目标采样姿态。

可以理解的是，基于上述方式采集的图像信息中包括采样点的位置坐标，在可选的实施例中，采样图像包括位置信息，如采样点对应的位置信息。基于采样点的位置信息，以便定位目标物的准确位置。

在上述实施例的基础上，控制图像采集设备采集该采样位置的图像信息，获得采样图像，并进行保存。重复前述步骤操作，直到获得的采样图像的数量符合要求。其中，为了更加准确地获得去雄检测结果，需要采集大量的采样图像。

在一些实施例中，在间隔预设时间后，需要在上述种植区域中重复上述图像采样步骤，该步骤需要重复多次，以保证在植株生长期间，持续去雄检测，防止后长出的雄穗没有检测到。

进一步的，在确定为采样位置之前，还需要确认拍摄图像中是否包括所有连续种植行的母本行植株(机器判断或者人工判断)，例如，若已知连续种植的母本行的行数为4行，则判断拍摄图像中是否包含四行的母本行，如果仅包含三行，遗漏一行未抽检，这种情况会对抽检结果的正确性造成影响。这里，可以理解的是，行数是已知的，可以根据种植规律进行具体预设。

对于采样图像来说，如图4所示，其采样图像为下视图，为镜头竖直向下视角的图像，并且采集不同的图像时图像采集设备镜头的姿态均固定(相同)。可以固定图像采集设备镜头的轴线为竖直方向，在采集图像时，保持飞行器的姿态不变，保证图像采集设备采集图像的姿态相同，也可以通过云台来控制图像采集设备镜头，随着飞行器姿态的变化而变化，保证图像采集设备镜头在采集图像时姿态相同、采集方向相同。

当实际作业时，如图7所示，操作人员可以遥控飞行器达到种植区域的某一个随机或者设定的采样点后，调整采集方向，遥控飞行器降低飞行高度，在高度降低的同时，通过图像采集设备拍摄到的实时图像，确认待采集图像是否仅包括母本行，并且玉米行的方向平行或垂直于画面水平轴，如果满足条件，并且包含所有连续种植的母本行，则控制图像采集设备采集图像；若还包括父本行或者仅包含少量连续母本行，或者植株种植行的方向不平行或垂直于画面水平轴，在高度降低的同时调整飞行器的位置，直至拍摄图像中仅包含母本行且包含所有的连续母本行后，并且植株种植行的方向平行或垂直于画面水平轴，可以采集该位置的图像。需要说明的是，其中飞行器飞行高度不预先进行设定，而是根据植株行间距、种植母本行的行数、植株的列间距、航拍图像采集设备视场大小等在拍摄时动态确定的。在实际去雄检测时，图像采集设备可以在采样点获得80张图片，每张图片可包含30颗植株，则一个采样点可以获得2400颗植株的去雄信息，极大提高了去雄检测的效率，其中，图片的数量和植株的数量不做限制，仅示例。当该采样点完成采集后，操作人员遥控飞行器达到另一个随机或设定的采样点，重复上述操作，直到完成若干个采样点的采集。采样点个数可以为10个，20个，30个，40个，50个，60个，70个，80个，90个，100个等等，不做限制。

作为一种可选的实施例，如果实现获得了种植区域的位置信息，以及行间距、列间距、母本行行数、父本行行数等等信息，可以规划飞行器采集图片的飞行路径，实现自动采集。此时，先根据预设或者随机的方式确定种植区域内的采样点的位置，规划飞行路径，同时根据采样点位置信息规划采样路径(包括预设飞行高度)，当飞行器获得该飞行路径和采样路径后，根据飞行路径飞至采样点，并根据每个采样点的采样路径降低至预设高度(计算好的仅能看到母本行并且看到所有连续母本行)，获得采样图像，当完成该采样点后，根据飞行路径飞至下一个采样点，采集图像，直至完成所有采样点的采集后飞回终点。

在一些实施例中，基于前述实施例的图像采集方法获得的一致性较高的采样图像后，可执行目标物检测方法，进而实现对目标物进行去除的目的，如图5所示，具体包括以下步骤：

步骤S202，获取规则种植的植株区域的采样点的采样图像，植株区域包括父本行植株和母本行植株，采样图像从植株的正上方采集，包括除父本行植株外的全部母本行植株；

步骤S204，根据采样图像识别植株的目标物以进行目标物去除检测。

通过目标物检测方法，基于高度一致的采样图像，动态调节图像采集设备的采样姿态以采集符合要求的采样图像，标注该采样图像并训练深度学习模型以准确识别目标物，利用训练成功的深度学习模型检测采样图像以获取残余目标物的数量及比例，从而确定该植株区域的目标物去除程度，并由此保证种子纯度。本发明通过机器取代人工进行自动地样本采集，目标物识别和去除程度统计，大幅提高目标物去除检测效率，大幅缩短目标物去除检测时间，大幅降低目标物检测成本，并彻底避免由于目标物去除检测人员必需深入田间工作时所带来的一切风险。

在实际应用的优选实施例中，通过从植株正上方采集的包括有除父本行植株外的全部母本行植株的采集图像，来进行目标识别，进而实现目标物去除情况的检测。

在可选的实施例中，采样图像的水平轴与植株种植行呈预设角度。以便提高目标物检测准确度，防止漏检。

在可选的实施例中，植株区域中包括多个采样点，每个采样点对应的采样图像互不重叠。进一步提高目标物识别检测效率和准确度。

在可选的实施例中，采样图像包括位置信息，以便后续定位目标物。

在可选的实施例中，目标物包括雄穗和花苞中的任一种或两种。在玉米去雄检测中，既可以检测雄穗、也可以检测花苞，需要知道的是，花苞的检测难度远远大于雄穗，故可以作为一种参考检测方案。

这里，满足前述实施例的采样图像具有更高的一致性，进而在图像识别过程中，能够更加准确地对目标物去除情况进行检测，获得更加准确的检测结果。

一般的，飞行器图像采集设备在采集到采样图像后，存储于存储器中以便在采样结束后，导入预设识别模型，进行识别处理，降低飞行器成本；当然，也可以在飞行器上设置计算处理设备，飞行时实时计算处理采样图像，快速获得识别结果。

本发明实施例提供的方法通过规定目标物采集的高度、角度和方向来采集图像，保证了获得图像的一致性，从而提高了识别精确性；同时通过控制预设飞行高度来排除父本行的干扰，可以保证识别所有连续种植的母本行，避免母本行的遗漏，进一步提高识别检测精确性。

在可选的实施例中，步骤S204还可用以下步骤实现：

步骤3.1)，根据采样图像训练深度学习模型，以获得目标物模型。

具体地，可通过标注采样图像形成已标注采样图像的训练集，以训练深度学习模型，进而获得目标物模型。

步骤3.2)，根据目标物模型识别采样图像中的目标物。

进而，可根据目标物模型识别未标注采样图像中的目标物。

在可选的实施例中，深度学习模型包括任意开源或自行开发的基于深度学习的目标物检测的神经网络。基于同一标准的采样图像以训练深度学习模型、以及识别检测目标物，进一步提高目标物检测的准确性。

在可选的实施例中，步骤S204，还包括：

步骤4.1)，确定采样图像的植株数量；

作为一种可选的实施例，获得的每个采样图像的植株数量为c1，c2，c3….cn，该植株数量是已知的，可以是自动识别的，或者是手动人工读取的，求得采样点所有的植株总数c＝c1+c2…+cn，如果采样图像的大小一致，则获得植株数量c0，以及采样图像的数量N，则c＝c0*N。

作为一种可选的实施例，在种植区域中选择某一采样点，进行图像采集，采集完成后，到达下一个采样点，再次进行图像采集，如此重复，抽检整个种植区域内的目标物去除图像信息。可以随机选择采样点，可以根据种植区域预先确定采样点，不做限制。采样点的数量不做限制，为了提高检测准确性，可以适当提高采样点的数量。采样点的数量还可以根据图像采集设备分辨率、飞行高度、种植行间距、种植列间距等来确定，以提高抽检准确率。

采样图像可以存储于飞行器的存储器中，也可以实时回传，不做限制。特别的，采样图像仅包括母本行植株，排除父本行植株，提高识别准确度，避免了父本行的干扰。同时，采样图像包括所有的连续种植行的母本行植株，避免遗漏，防止漏检。并且，采样图像包括的植株数量大于等于预设数值，避免植株数量过小而检测效率低，同时植株数量也小于第二预设数值，避免分辨率过低而检测不准确，保证抽样统计的准确性。图像可以由测绘设备、照相机等图像采集设备提供，图像包括测绘图像信息、图片信息中的一种或多种，不仅限于此。

步骤4.2)，根据识别的目标物统计目标物数量。

具体地，可根据深度学习模型识别采样图像中的雄穗纹理特征，得到采样图像中的雄穗数量；

其中，利用大量的历史数据(训练图像)对预设的识别模型进行训练，获得雄穗的深度网络模型，该深度学习模型通过训练图像对采样图像中的雄穗进行识别，其中，这里的训练图像的采集方式与前述实施例中标准化图像采集方式相同，在此不再赘述，训练图像和采样图像保持一致，提高检测精度。

这里，将采样图像输入预设识别模型，预设识别模型对采样图像进行检测，得到雄穗信息。具体的，从获得的采样图像中提取待测雄穗图形特征，利用深度网络模型对待测雄穗图形特性进行处理，获得雄穗信息。可以一次性获得多个采样点的采样图像后，在专门的计算处理设备上进行图像处理；也可以每次获得采样图像时，实时处理，这取决于飞行器是否配备计算处理器，以及其计算能力。

步骤4.3)，根据植株数量和目标物数量确定目标物去除程度。

具体地，可根据植株总量和雄穗数量确定去雄率；进而判断去雄率是否达到去雄率阈值；若达到，则去雄合格；若未达到，则去雄不合格。

作为一种可选的实施例，通过手动人工读取的方式，求得采样点所有的植株总数c，此时识别到的雄穗总数为b＝b1+b2…+bn，则去雄率d计算方式为d＝b/c，可以根据d的数值大小来确定是否已经完成去雄。比如，当d≤预设阈值时，预设阈值为确保种子达到纯度要求的雄穗比例，当d小于等于预设阈值时，则表示符合去雄的要求，无需再次去雄，否则还需要再次去雄。在间隔预设时间后，在同一种植区域重复前述采样图像采集步骤，此时获得同一个种植区域的采样图像，该采样图像反应了植株生长了一段时间后的雄穗情况，在原来的采样点或者同一种植区域的其他采样点重新采集的，避免后长出的雄穗未检测到，并在此基础上，重复若干次，保证在一段时间的生长期内，所有生长的雄穗都能检测到，都符合去雄要求。

本发明所采集的采样图像具有分辨率高，一致性好的优点。高分辨率可以保持雄穗的纹理特征，高一致性使训练集和检测集的图片特征更加接近，这样运用目前成熟的深度学习目标检测技术，在对大量的历史图片的训练的基础上，可以很容易提取图片特征，识别雄穗，由计算机自动获取每张图片里的雄穗个数。同时由于每张图片里只有母本行，从而完全避免了父本对雄穗计数的干扰。

进一步的，根据采集到的母本行植株图像中识别到的雄穗数量，对雄穗的高精度识别计数，计算去雄率。本发明实施例中的去雄纯度估计方法，在以上的植株计数方法和高精度玉米雄穗识别计数方法的基础上，通过如下公式即可得到所检测植株区域的玉米去雄纯度估计值：

去除率＝检测到的所有图片里的总目标物数/(图片总数*平均每张图片里的植株株数)

其中，该去除率可以按地块按时间(天)分别计算，从而发现变化趋势，上述母本行植株图像为种植区域中随机区域(采样点)的图像或者预设区域(采样点)的图像，数量不做限制。一般来说，数量越多，获得的去除率越准确。

在可选的实施例中，步骤4.1)，还可包括以下步骤：

步骤4.1.1)，对采样图像中的植株数量进行统计；

或者，

步骤4.1.2)，对采样图像中的植株进行识别，得到植株数量；

或者，

步骤4.1.3)，获取预设数量的采样图像中的植株数，计算采样图像中的植株平均数量，根据植株平均数量与采样图像的总数量确定采样图像中的植株数量。

这里，根据采样图像能够获得在种植区域采集到的母本行植株图像中的植株总数，仅包括母本行，并且包括所有连续种植行的母本行。

其中，由于根据上述实施例采样图像具有高度一致性，而同一制种田块的植株的种植距离基本固定，每张图像里的植株数基本一致，从而可以从多张图像提前手工计数获取每张图像的平均植株数。该图像-植株数对映关系一般根据田块和植株种类而变化。对于一个田块，植株种类一般只需要计数一次即可，从而避免了人工识图计数的高成本或机器识图计数带来的准确性问题；还可以通过机器自动识别图像来获得植株数；或者手工对每张图像计数，统计获得植株数。

作为一种可选的实施例，对每一地块或同一种种植方式和密度的地块集合，随机抽取几张采样图像，人工数出每张该图像所含的植株数并计算平均每图所含植株数C，此时通过目标物检测方法检测出每张图像i所含目标物数量，雄穗数Ti和花苞数Bi(i＝1，2…N，N为该地块所获得的采样图像总数)。

则该地块的遗漏雄穗比例为：Rt＝Sum(Ti)/(N*C)；

遗漏花苞比例为：Rb＝Sum(Bi)/(N*C)；

目标物去除彻底程度为：D＝(1-Sum(Ti+Bi)。

需要说明的是，目标物检测不限于一种，可以在同一地块上同时检测多种不同的目标物，获得彻底去除程度结果。

本发明实施例提供的检测方法利用预设深度学习模型对采样图像进行处理，获得采样点的目标物信息，简化了目标物的统计过程，从而提高目标物的统计效率，避免了人工统计种植区域的目标物数据所导致的统计效率低下，以及统计过程繁复的问题。

作为另一种可能的实施例，如图6所示，操作人员可通过用户界面实现去雄检测，去雄检测***用户界面包括用户登录及管理***、图片上传及管理***、AI雄穗识别***、识别结果呈现及报表***、用户反馈***、面积及计费***，AI雄穗识别模型、去雄检测数据库和去雄检测图片文件***，可实现对采样图像中雄穗和植株进行识别，进而计算去除率的操作。

在一些实施例中，计算去除率后，还可通过抽检的方式自动检测植株种植区域中是否存在目标物，判断是否符合去除要求。

本发明实施例基于深度学习和航拍图片实现目标物去除检测，着眼于解决以下几个问题：1.父母本识别问题2.识别精度问题3.目标物比例问题4.操作效率问题。通过本申请的目标物检测方法，控制飞行器航拍飞行高度，拍摄角度，拍摄方向、感光程度等采集姿态，从而获取标准化的高度一致性的航拍采样图片，实现植株株数计数，并且降低采样图像的识别难度，提高检测精度，达到准确高效的目标物去除检测效果。

如图8所示，实施例还提供一种图像采集装置，包括：

图像获取模块801，用于获取规则种植的植株区域的采样点的图像信息,植株区域包括父本行植株和母本行植株；

姿态确定模块802，用于根据图像信息确定图像采集设备的目标采样姿态，目标采样姿态至少包括以下的一种或多种：采集高度和采集角度，其中采集角度为图像采集设备的图像水平轴与植株种植行的角度；

图像确定模块803，用于基于目标采样姿态获取采样点对应的采样图像，其中，针对采样图像中的植株进行目标物去除检测。

在可选的实施方式中，所述采样图像包括位置信息。

在可选的实施方式中，姿态确定模块还用于调整图像采集设备的当前高度直至图像信息中包括除父本行植株外的全部母本行植株，确定目标采样姿态中的采样高度。

在可选的实施方式中，目标采样姿态包括相同的采集方向，采集方向为图像采集设备朝向地面的方向，其中，采集方向竖直向下。

在可选的实施方式中，姿态确定模块还用于调整图像采集设备的当前采集方向直至图像采集设备的图像水平轴与所述图像信息中植株种植行呈预设角度，确定目标采样姿态中的采集角度。

在可选的实施方式中，图像获取模块还用于获取规则种植的植株区域中的采样点以及采样点的位置坐标；根据采样点的位置坐标，规划图像采集设备到位置坐标的飞行路径；基于飞行路径获得图像信息。

在可选的实施方式中，图像确定模块还用于根据图像信息的亮度控制采样图像的曝光度。

如图9所示，实施例还提供一种目标物检测装置900，包括：

采样图像获取模块901，用于获取规则种植的植株区域的采样点的采样图像，所述植株区域包括父本行植株和母本行植株，所述采样图像从所述植株的正上方采集，包括除父本行植株外的全部母本行植株；

去除检测模块902，用于根据所述采样图像识别所述植株的目标物以进行目标物去除检测。

在可选的实施方式中，所述采样图像的水平轴与所述植株种植行呈预设角度。

在可选的实施方式中，植株区域中包括多个采样点，每个采样点对应的所述采样图像互不重叠。

在可选的实施方式中，所述采样图像包括位置信息。

在可选的实施方式中，所述目标物包括雄穗和花苞中的任一种或两种。

在可选的实施方式中，去除检测模块还用于根据所述采样图像训练深度学习模型，以获得目标物模型；根据所述目标物模型识别所述采样图像中的目标物。

在可选的实施方式中，所述深度学习模型包括任意开源或自行开发的基于深度学习的目标物检测的神经网络。

在可选的实施方式中，去除检测模块还用于标注所述采样图像形成已标注采样图像的训练集，以训练深度学习模型，进而获得目标物模型；根据所述目标物模型识别未标注采样图像中的目标物。

在可选的实施方式中，去除检测模块还用于确定所述采样图像的植株数量；根据识别的目标物统计目标物数量；根据所述植株数量和所述目标物数量确定目标物去除程度。

在可选的实施方式中，去除检测模块还用于对采样图像中的植株数量进行统计；或者，对采样图像中的植株进行识别，得到植株数量；或者，获取预设数量的采样图像中的植株数，计算采样图像中的植株平均数量，根据植株平均数量与采样图像的总数量确定采样图像中的植株数量。

图10为本发明实施例提供的电子设备1000的硬件架构示意图。参见图10所示，该电子设备包括：机器可读存储介质1001和处理器1002，还可以包括非易失性存储介质1003、通信接口1004和总线1005；其中，机器可读存储介质1001、处理器1002、非易失性存储介质1003和通信接口1004通过总线1005完成相互间的通信。处理器1002通过读取并执行机器可读存储介质1001中目标物去除检测的机器可执行指令，可执行上文实施例描述目标物去除检测方法。

本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的非易失性存储介质，或者它们的组合。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

本发明实施例所提供计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序代码被执行时可实现上述任一实施例所述的去雄检测方法方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (19)

1.一种目标物检测方法，其特征在于，包括：

获取规则种植的植株区域的采样点的采样图像，所述植株区域包括父本行植株和母本行植株，所述采样图像从所述植株的正上方采集，包括除父本行植株外的全部母本行植株；

根据所述采样图像识别所述植株的目标物以进行目标物去除检测。

2.根据权利要求1所述的目标物检测方法，其特征在于，所述采样图像的水平轴与所述植株种植行呈预设角度。

3.根据权利要求1所述的目标物检测方法，其特征在于，所述植株区域中包括多个采样点，每个所述采样点对应的所述采样图像互不重叠。

4.根据权利要求1所述的目标物检测方法，其特征在于，所述采样图像包括位置信息。

5.根据权利要求1所述的目标物检测方法，其特征在于，所述目标物包括雄穗和花苞中的任一种或两种。

6.根据权利要求1所述的目标物检测方法，其特征在于，根据所述采样图像识别所述植株的目标物以进行目标物去除检测，包括：

根据所述采样图像训练深度学习模型，以获得目标物模型；

根据所述目标物模型识别所述采样图像中的目标物。

7.根据权利要求6所述的目标物检测方法，其特征在于，所述深度学习模型包括任意开源或自行开发的基于深度学习的目标物检测的神经网络。

8.根据权利要求6所述的目标物检测方法，其特征在于，根据所述采样图像训练深度学习模型的步骤，包括：标注所述采样图像形成已标注采样图像的训练集，以训练深度学习模型，进而获得目标物模型；根据所述目标物模型识别所述采样图像中的目标物的步骤，包括：根据所述目标物模型识别未标注采样图像中的目标物。

9.根据权利要求6所述的目标物检测方法，其特征在于，根据所述采样图像识别所述植株的目标物以进行目标物去除检测，还包括：

确定所述采样图像的植株数量；

根据识别的目标物统计目标物数量；

根据所述植株数量和所述目标物数量确定目标物去除程度。

10.根据权利要求9所述的目标物检测方法，其特征在于，确定所述采样图像的植株数量的步骤，包括：

对所述采样图像中的植株数量进行统计；

或者，

对所述采样图像中的植株进行识别，得到植株数量；

或者，

获取预设数量的采样图像中的植株数，计算所述采样图像中的植株平均数量，根据所述植株平均数量与所述采样图像的总数量确定所述采样图像中的植株数量。

11.一种目标物检测装置，其特征在于，包括：

采样图像获取模块，获取规则种植的植株区域的采样点的采样图像，所述植株区域包括父本行植株和母本行植株，所述采样图像从所述植株的正上方采集，所述采样图像包括除父本行植株外的全部母本行植株；

去除检测模块，根据所述采样图像识别所述植株的目标物以进行目标物去除检测。

12.一种图像采集方法，其特征在于，包括：

获取规则种植的植株区域的采样点的图像信息，所述植株区域包括父本行植株和母本行植株；

根据所述图像信息确定图像采集设备的目标采样姿态，所述目标采样姿态至少包括以下的一种或两种：采集高度，采集角度，所述采集角度为所述图像采集设备的图像水平轴与植株种植行的角度；

基于所述目标采样姿态获取所述采样点对应的采样图像。

13.根据权利要求12所述的图像采集方法，其特征在于，所述采样图像包括位置信息。

14.根据权利要求12所述的图像采集方法，其特征在于，根据所述图像信息确定图像采集设备的目标采样姿态的步骤，包括：

调整所述图像采集设备的当前高度直至所述图像信息中包括除父本行植株外的全部母本行植株，确定所述目标采样姿态中的采样高度。

15.根据权利要求12所述的图像采集方法，其特征在于，根据所述图像信息确定图像采集设备的目标采样姿态的步骤，包括：

调整所述图像采集设备的当前采集方向直至所述图像采集设备的图像水平轴与所述图像信息中植株种植行呈预设角度，确定所述目标采样姿态中的采集角度。

16.根据权利要求12所述的图像采集方法，其特征在于，所述目标采集姿态还包括采集方向，所述采集方向为图像采集设备朝向地面的方向，其中，所述采集方向竖直向下。

17.根据权利要求12所述的图像采集方法，其特征在于，获取规则种植的植株区域的采样点的图像信息的步骤，包括：

获取规则种植的植株区域中的采样点以及所述采样点的位置坐标；

根据所述采样点的位置坐标，规划所述图像采集设备到所述位置坐标的飞行路径；

基于所述飞行路径获得所述图像信息。

18.根据权利要求12所述的图像采集方法，其特征在于，所述方法还包括：

根据所述图像信息的亮度控制所述采样图像的曝光度。

19.一种图像采集装置，其特征在于，包括：

图像获取模块，用于获取规则种植的植株区域的采样点的图像信息，所述植株区域包括父本行植株和母本行植株；

姿态确定模块，用于根据所述图像信息确定图像采集设备的目标采样姿态，所述目标采样姿态至少包括以下的一种或两种：采集高度，采集角度，其中所述采集角度为所述图像采集设备的图像水平轴与植株种植行的角度；

图像确定模块，用于基于所述目标采样姿态获取所述采样点对应的采样图像。

Images