CN112215893B - 目标二维中心坐标点确定方法、装置、设备及测距*** - Google Patents

目标二维中心坐标点确定方法、装置、设备及测距*** Download PDF

Info

Publication number
CN112215893B
CN112215893B CN202011170842.3A CN202011170842A CN112215893B CN 112215893 B CN112215893 B CN 112215893B CN 202011170842 A CN202011170842 A CN 202011170842A CN 112215893 B CN112215893 B CN 112215893B
Authority
CN
China
Prior art keywords
designated area
traversal
search box
target
traversal search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011170842.3A
Other languages
English (en)
Other versions
CN112215893A (zh
Inventor
李绍稳
张乐
徐静
孟余耀
李志强
梁晋欣
金�秀
傅雷扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202011170842.3A priority Critical patent/CN112215893B/zh
Publication of CN112215893A publication Critical patent/CN112215893A/zh
Application granted granted Critical
Publication of CN112215893B publication Critical patent/CN112215893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机视觉技术领域，提供一种目标二维中心坐标点确定方法、装置、设备及测距***。目标二维中心坐标点确定方法包括：获取原始图像中的目标的轮廓边缘图像；对轮廓边缘图像进行第一遍历，并确定轮廓边缘图像中的第一指定区域；对第一指定区域进行第二遍历，并确定第二指定区域；在第二指定区域内选取符合第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在原始图像中的坐标。在农作物或杂草的轮廓边缘图像中，越接近目标中心位置单位区域内像素点越密集，本发明通过两次遍历提取像素点最密集的区域，并在该区域内选取一个像素点作为目标的二维中心坐标点，提高农田除草机器人对目标定位的准确度。

Description

目标二维中心坐标点确定方法、装置、设备及测距***
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种目标二维中心坐标点确定方法、装置、设备及测距***。
背景技术
为了实现田间农作物全生命周期绿色无公害的生长，以及农业的可持续性发展。众多科研工作者将研究的重心投入到农业移动机器人的全自动除草领域。农业移动机器人的出现与使用，不仅可以代替人类完成枯燥无味和重复性的农业作业，而且可以在不同户外环境中高效持续作业，还能够提高生产效率和有效解放了人类的双手。因此，在自然生长环境条件下，农业移动机器人如何准确快速的识别与清除田间农作物的杂草目标对于实现田间智能化管理起到重要作用。
现有的除草机器人，大多是通过图像识别农作物与杂草，然后按照预设的路径行走实现除草。
但是，现有除草机器人对杂草的定位准确度低，除草效果差。
发明内容
本发明实施例的目的在于提供一种目标二维中心坐标点确定方法，旨在解决现有除草机器人对杂草的定位准确度低，除草效果差的技术问题。
本发明实施例是这样实现的，所述目标二维中心坐标点确定方法包括：
获取原始图像中的目标的轮廓边缘图像；
对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，所述第一指定区域满足：该区域内符合第一预设条件的像素点的数量最多；
对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，所述第二指定区域满足：该区域内符合第二预设条件的像素点的数量最多；
在所述第二指定区域内选取符合所述第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在所述原始图像中的坐标。
本发明实施例的另一目的在于提供一种目标二维中心坐标点确定装置，所述目标二维中心坐标点确定装置包括：
获取单元，用于获取原始图像中的目标的轮廓边缘图像；
第一遍历单元，用于对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，所述第一指定区域满足：该区域内符合第一预设条件的像素点的数量最多；
第二遍历单元，用于对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，所述第二指定区域满足：该区域内符合第二预设条件的像素点的数量最多；以及
坐标信息确定单元，用于在所述第二指定区域内选取符合所述第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在所述原始图像中的坐标。
本发明实施例的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述目标二维中心坐标点确定方法的步骤。
本发明实施例的另一目的在于提供一种测距***，用于多目标之间的立体测距，所述测距***包括：深度相机Realsense D435i、距离计算单元以及上述的计算机设备；
所述计算机设备用于确定目标的二维中心坐标点；
所述深度相机Realsense D435i用于将位于像素坐标系下的目标二维中心坐标点转化为位于相机坐标系下的三维坐标点；
所述距离计算单元用于根据目标的三维坐标点信息计算目标与目标之间在三维立体空间中的距离：
Figure BDA0002747253570000031
其中，(fx,fy)为像素坐标系下目标的二维中心坐标点在所述原始图像中的坐标信息，camera_cx、camera_cy、camera_fx、camera_fy为获取的所述深度相机Realsense D435i的内参，可以通过深度相机标定完成相机内参的获取工作，(camera_cx,camera_cy)表示成像坐标系下的主点坐标，用于实现像素坐标系与成像坐标系间的转换，camera_fx和camera_fy表示深度相机的焦距，用于实现成像坐标系与相机坐标系间的转换，depth_scale为深度像素与现实单位比例，d为在深度相机Realsense D435i存储在彩色图像所对齐的深度图像中目标的二维中心坐标点(fx,fy)所对应的深度信息，(X,Y,Z)为通过坐标系转换生成位于相机坐标系下相对应的三维坐标点信息。
本发明所提供的一种目标二维中心坐标点确定方法，在农作物或杂草的轮廓边缘图像中，一般越接近目标中心位置单位区域内的像素点越密集，本发明通过对目标的轮廓边缘图像进行第一遍历，提取像素点最密集的第一指定区域，然后对第一指定区域进行第二遍历，在第一指定区域内进一步提取像素点最密集的第二指定区域，从而进一步缩小了目标二维中心坐标点的区域，当在第二指定区域内选取一个像素点作为目标的二维中心坐标点，提高了除草机器人对目标定位的准确度，进而提高机器人的除草效果。
附图说明
图1为本发明实施例提供的一种目标二维中心坐标点确定方法的应用***结构框图；
图2为本发明实施例提供的一种目标二维中心坐标点确定方法的流程图；
图3为本发明实施例提供的一种获取目标的轮廓边缘图像的流程图；
图4为本发明实施例提供的一种确定所述第一指定区域的流程图；
图5为本发明实施例提供的一种确定所述第二指定区域的流程图；
图6为本发明实施例提供的一种目标二维中心坐标点确定装置的结构框图；
图7为一个实施例中计算机设备的内部结构框图；
图8为不同边缘检测算子提取的目标轮廓边缘图像；
图9为本发明实施例提供的一种目标二维中心坐标点确定方法确定目标二维中心坐标点的过程示意图。
图10为本发明实施例提供的一种回算目标二维中心坐标点在原始图像中的坐标信息的过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
图1为本发明实施例提供的一种目标二维中心坐标点确定方法的应用***结构示意图，如图1所示，在该应用***中，包括深度相机110以及计算机设备120以及除草机器人130。
深度相机110可以选用Realsense D435i，但并不局限于此。
计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
除草机器人130至少包括移动机构、除草机构以及控制单元，本实施例对除草机器人的具体结构不做限制，除草机器人130的控制单元、计算机设备120以及深度相机110可以进行通信连接，本发明在此不做限制。
如图2所示，在一个实施例中，提出了一种目标二维中心坐标点确定方法，本发明实施例主要以该方法应用于上述图1中的计算机设备120来举例说明。一种目标二维中心坐标点确定方法，具体可以包括以下步骤：
步骤S202，获取原始图像中的目标的轮廓边缘图像。
在本发明实施例中，计算机设备120可以从其他外界设备上直接获取目标的轮廓边缘图像，也可以是计算机设备120中预存有目标的轮廓边缘图像，或者是计算机设备120通过对RGB彩色图像进行处理得到目标的轮廓边缘图像。以目标二维中心坐标点的确定方法应用于图1中的***为例说明，则目标可以为杂草和农作物，通过分别确定杂草和农作物的二维中心坐标点，再将其位于像素坐标系下的二维中心坐标点转换为位于相机坐标系下的三维坐标点，从而可以计算出多个目标之间的空间立体距离，便于根据农作物与杂草之间的距离以及杂草与杂草之间距离规划除草机器人的除草路径以及控制除草机构进行除草作业，从而实现准确除草。
在本发明实施例中，深度相机110可以从彩色图像视频流中提取关键帧图像(640×480像素大小)作为RGB彩色图像发送给计算机设备120，该关键帧图像即为原始图像。计算机设备120可以对原始图像进行预处理，将原始图像压缩处理为500×400像素大小并导入训练完成的深度网络模型进行目标识别——识别彩色图像中的玉米和杂草，并分别剪切玉米的图像和杂草的图像，此时剪切后的玉米图像和杂草图像为原始图像中剪切的目标图像。如图9中的(c-5cut image)，首先记录在原始图像中剪切出的目标图像的长L和宽WL×W为在原始图像中目标识别框的尺寸)；然后对其进行放缩处理，放缩为640×480像素大小，最后对放缩后图像进行剪切处理，剪切中心区域为500×400像素大小。通过采用RGB颜色空间下的EXG方法对玉米图像和杂草图像进行灰度化处理，并利用OTSU算法对灰度化处理后的玉米图像和杂草图像进行处理得到其对应的二值化图像，然后利用边缘检测算法对玉米和杂草的轮廓提取，从而可以获取目标的轮廓边缘图像。其中边缘检测算法可以使用二阶边缘检测算子Canny算子和Laplacian算子或者一阶边缘检测算子：Sobel算子、Roberts算子和Prewitt算子等，但不限于此。不同边缘检测算子对应的目标轮廓边缘图像如图8所示，优选地，利用Canny算子的边缘检测算法提取的目标轮廓边缘图像最为清晰。
如图3所示，在本发明一个实施例中，以利用基于Canny算子的边缘检测算法对玉米和杂草的轮廓提取为例说明，利用基于Canny算子的边缘检测算法对玉米和杂草的轮廓提取又包括如下步骤：
步骤S302，利用经典的二阶边缘检测Canny算子对目标的二值化图像进行边缘检测；
步骤S304，利用Open CV中的cv.findContours库函数记录边缘检测后的所述目标的轮廓边缘坐标；
步骤S306，将所述目标的轮廓边缘坐标的RGB赋值为(255,255,255)。
本发明实施例优选利用经典的二阶边缘检测Canny算子对目标的二值化图像进行边缘检测，相比于其他的边缘检测算法能够得到更加完整有效的图像轮廓边缘信息，为目标二维中心坐标点的精准选取提供了保障。
步骤S204，对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，所述第一指定区域满足：该区域内符合第一预设条件的像素点的数量最多。
在本发明实施例中，第一预设条件为像素点的R、G、B数值大于预设值，例如可以设置像素点的R、G、B数值均大于250。在第一遍历过程中通过计算每个搜索框内R、G、B数值均大于250的像素点的数量，找到R、G、B数值大于250的像素点的数量最多的第一遍历搜索框，该第一遍历搜索框对应的区域即为第一指定区域，从而确定目标轮廓边缘图像中R、G、B数值大于250的像素点最密集的区域。对于农作物或者杂草，其中心位置一般应该为主干茎位置，而农作物或者杂草的枝叶一般都是从主干茎顶部向外延伸生长，根据农作物或杂草的轮廓边缘图像也可以看出其R、G、B数值大于250的像素点越密集的区域越接近目标的中心位置，确定第一指定区域相当于初步确定了目标中心位置的区域。
如图4所示，在本发明一个实施例中，步骤S204可以包括如下步骤：
步骤S402，计算所述第一遍历中行向第一遍历搜索框的数量
Figure BDA0002747253570000081
和列向第一遍历搜索框的数量
Figure BDA0002747253570000082
在本发明实施例中，第一遍历可以为优先行向遍历或优先列向遍历，本实施例以按照优先行向前进的方式遍历为例说明，预先定义第一遍历的行向步长、列向步长以及第一遍历搜索框的大小等遍历参数，本实施例对第一遍历的遍历参数不做限制，例如，可以预先设定第一遍历的行向步长为5像素大小，列向步长为5像素大小，第一遍历搜索框的大小为100×100像素。例如，剪切的目标轮廓边缘图像的大小为500×400像素，则第一遍历中行向第一遍历搜索框的数量为81个，列向第一遍历搜索框的数量为61个。通过计算第一遍历中行向第一遍历搜索框的数量
Figure BDA0002747253570000083
和列向第一遍历搜索框的数量
Figure BDA0002747253570000084
便于确定第一指定区域对应的第一遍历搜索框的位置。在第一遍历中可以将在第一遍历中每一步的第一遍历搜索框看成在目标轮廓边缘图像中呈81×61的阵列排列，通过确定第一指定区域对应的第一遍历搜索框所在的行和列的位置从而可以确定其在目标轮廓边缘图像中的位置。
步骤S404，利用所述第一遍历搜索框对所述轮廓边缘图像按照优先行向前进的方式遍历，并依次存储所述第一遍历搜索框中符合所述第一预设条件的像素点的数量。
在本发明实施例，第一预设条件为像素点的R、G、B值大于250，通过遍历计算每一个第一遍历搜索框中的符合第一预设条件的像素点的数量并存储，从而可以通过对比找到符合第一预设条件的像素点的数量最多的第一遍历搜索框。
步骤S406，确定所述第一指定区域对应的所述第一遍历搜索框的位置序号
Figure BDA0002747253570000091
位置序号
Figure BDA0002747253570000092
是从数字1开始计数的正整数，所述第一指定区域对应的所述第一遍历搜索框为：包括符合所述第一预设条件的像素点的数量最多的第一遍历搜索框。
在本发明实施例中，第一遍历搜索框的位置序号指在第一遍历中按照优先行向的计数规则，该第一遍历搜索框是第
Figure BDA0002747253570000093
个，
Figure BDA0002747253570000094
即为该第一遍历搜索框的位置序号。例如，在第一遍历中，第100个第一遍历搜索框对应的位置序号即为100。
步骤S408，根据
Figure BDA0002747253570000095
以及
Figure BDA0002747253570000096
计算所述第一指定区域对应的所述第一遍历搜索框在所述轮廓边缘图像中的位置信息
Figure BDA0002747253570000097
Figure BDA0002747253570000098
和
Figure BDA0002747253570000099
均是从数字0开始计数的自然数，用于表示所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列的位置信息：
Figure BDA00027472535700000910
在本发明实施例中，第一指定区域对应的第一遍历搜索框在轮廓边缘图像中的位置信息指第一指定区域对应的第一遍历搜索框在81×61的阵列中位于第
Figure BDA00027472535700000911
行，第
Figure BDA00027472535700000912
列，其中，
Figure BDA00027472535700000913
和
Figure BDA00027472535700000914
均是从数字0开始计数的自然数。例如，第一指定区域对应的第一遍历搜索框的位置序号为100，则，
Figure BDA00027472535700000915
为1，
Figure BDA00027472535700000916
为18，从而可以确定第一指定区域对应的第一遍历搜索框在轮廓边缘图像中的位置为第1行第18列。
步骤S410，根据所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列位置信息确定所述第一指定区域。
在本发明实施例中，已知第一指定区域对应的第一遍历搜索框在轮廓边缘图像中的位置，从而可以确定第一指定区域，具体地：可以根据第一指定区域对应的第一遍历搜索框在轮廓边缘图像中的位置确定该第一遍历搜索框的左上端点和右下端点的二维坐标信息，从而可以根据该第一遍历搜索框对角点的位置确定第一遍历搜索框对应的第一指定区域。第一指定区域对应的第一遍历搜索框左上端点和右下端点的二维坐标信息可以表示为：
Figure BDA0002747253570000101
Figure BDA0002747253570000102
其中，
Figure BDA0002747253570000103
为所述第一指定区域对应的所述第一遍历搜索框左上端点的二维坐标，
Figure BDA0002747253570000104
为所述第一指定区域对应的所述第一遍历搜索框右下端点的二维坐标，l1为所述第一遍历的行向步长，w1为所述第一遍历的列向步长，L1为所述第一遍历搜索框的行向尺寸大小，W1为所述第一遍历搜索框的列向尺寸大小。
步骤S206，对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，所述第二指定区域满足：该区域内符合第二预设条件的像素点的数量最多。
在本发明实施例中，第二预设条件为在第一指定区域内的像素点的R、G、B数值大于预设值，例如，第二预设条件可以为像素点的R、G、B数值均大于250。在第二遍历过程中通过计算每个第二遍历搜索框内R、G、B数值均大于250的像素点的数量，找到R、G、B数值大于250的像素点的数量最多的第二遍历搜索框，该第二遍历搜索框对应的区域即为第二指定区域，从而确定第一指定区域内R、G、B数值大于250的像素点最密集的区域，从而在第一指定区域的基础上进一步缩小了目标中心位置的区域，进一步提高了目标中心位置的定位。
如图5所示，在本发明一个实施例中，步骤S206可以包括如下步骤：
步骤S502，计算所述第二遍历中行向第二遍历搜索框的数量
Figure BDA0002747253570000111
和列向第二遍历搜索框的数量
Figure BDA0002747253570000112
在本发明实施例中，第二遍历可以为优先行向遍历或优先列向遍历，本实施例以按照优先行向前进的方式遍历为例说明，预先定义第二遍历的行向步长、列向步长以及第二遍历搜索框的大小等遍历参数，本实施例对第二遍历的遍历参数不做限制，例如，可以预先设定第二遍历的行向步长为2像素大小，列向步长为2像素大小，遍历搜索框的大小为10×10像素。由于第一指定区域为其所对应的第一遍历搜索框对应区域，所以第一指定区域的大小为100×100像素，则在第二遍历中行向第二遍历搜索框的数量为46，列向第二遍历搜索框的数量也为46，通过计算第二遍历中行向第二遍历搜索框的数量
Figure BDA0002747253570000113
和列向第二遍历搜索框的数量
Figure BDA0002747253570000114
便于确定第二指定区域对应的第二遍历搜索框的位置。
步骤S504，利用所述第二遍历搜索框对所述第一指定区域按照优先行向前进的方式遍历，并依次存储所述第二遍历搜索框中符合所述第二预设条件的像素点的数量。
在本发明实施例中，第二预设条件为像素点的R、G、B值大于250，通过第二遍历计算每一个第二遍历搜索框中的符合第二预设条件的像素点的数量并存储，从而可以通过对比找到符合第二预设条件的像素点的数量最多的第二遍历搜索框。可以将第一遍历中计算的每一个第一遍历搜索框中的符合第一预设条件的像素点的数量和第二遍历中计算的每一个第二遍历搜索框中的符合第二预设条件的像素点的数量存储在不同的数据库中。
步骤S506，确定所述第二指定区域对应的所述第二遍历搜索框的位置序号
Figure BDA0002747253570000115
位置序号
Figure BDA0002747253570000116
是从数字1开始计数的正整数，所述第二指定区域对应的所述第二遍历搜索框为：包括符合所述第二预设条件的像素点的数量最多的第二遍历搜索框。
在本发明实施例中，第二遍历搜索框的位置序号指在第二遍历中按照优先行向的计数规则，该第二遍历搜索框是第
Figure BDA0002747253570000121
个，
Figure BDA0002747253570000122
即为该第二遍历搜索框的位置序号，例如，在第二遍历中，第50个第二遍历搜索框对应的位置序号即为50。
步骤S508，根据
Figure BDA0002747253570000123
以及
Figure BDA0002747253570000124
计算所述第二指定区域对应的所述第二遍历搜索框在所述第一指定区域中的位置信息
Figure BDA0002747253570000125
Figure BDA0002747253570000126
和
Figure BDA0002747253570000127
均是从数字0开始计数的自然数，用于表示所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息：
Figure BDA0002747253570000128
在本发明实施例中，第二指定区域对应的第二遍历搜索框在第一指定区域中的位置信息指第二指定区域对应的第二遍历搜索框在46×46的阵列中位于第
Figure BDA0002747253570000129
行，第
Figure BDA00027472535700001210
列，其中，
Figure BDA00027472535700001211
和
Figure BDA00027472535700001212
均是从数字0开始计数的自然数。例如，第二指定区域对应的第二遍历搜索框的位置序号为50，则，
Figure BDA00027472535700001213
为1，
Figure BDA00027472535700001214
为3，从而可以确定第一指定区域对应的第二遍历搜索框在第二指定区域中的位置为第1行第3列。
步骤S510，根据所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息确定所述第二指定区域。
在本发明实施例中，已知第二指定区域对应的第二遍历搜索框在第一指定区域中的位置，从而可以确定第二指定区域。具体地，可以根据第二指定区域对应的第二遍历搜索框在轮廓边缘图像中位置确定该第二遍历搜索框的左上端点和右下端点的二维坐标信息，从而可以根据第二遍历搜索框对角点的位置确定第二遍历搜索框对应的第二指定区域，第二指定区域对应的第二遍历搜索框左上端点和右下端点的二维坐标信息可以表示为：
Figure BDA0002747253570000131
Figure BDA0002747253570000132
其中，
Figure BDA0002747253570000133
为所述第二指定区域对应的所述第二遍历搜索框左上端点的二维坐标，
Figure BDA0002747253570000134
为所述第二指定区域对应的所述第二遍历搜索框右下端点的二维坐标，l2为所述第二遍历的行向步长，w2为所述第二遍历的列向步长，L2为所述第二遍历搜索框的行向尺寸大小，W2为所述第二遍历搜索框的列向尺寸大小。
步骤S208，在所述第二指定区域内选取符合所述第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在所述原始图像中的坐标。
在本发明实施例中，通过对第一指定区域进行第二遍历，在第一指定区域内找到符合第二预设条件最多的像素点的第二指定区域，相当于将目标二维中心坐标点的区域缩至第二指定区域内，从而可以从第二指定区域内随机选取一个符合第二预设条件的像素点作为目标二维中心坐标点。优选地，可以在第二指定区域内靠近中心位置处选取符合第二预设条件的像素点作为目标二维中心坐标点，进一步提高目标二维中心坐标点确定位置的准确度。
在本发明实施例中，在第一遍历和第二遍历中，不仅计算每一个遍历搜索框内符合第一、第二预设条件的像素点的数量，还可以获取每一个符合第一、第二预设条件的像素点的坐标，例如在第二指定区域内选取的作为目标二维中心坐标点的像素点的坐标为(fi,fj)，则该像素点在原始图像中对应的二维坐标信息(fx,fy)为：
Figure BDA0002747253570000141
其中，L为原始图像中目标识别框的长度尺寸，W为原始图像中目标识别框的宽度尺寸(也可以理解为从原始图像中剪切出的目标图像的尺寸)，70为对放缩处理后的图像进行剪切时长度方向单边剪切掉的尺寸大小，40为对放缩处理后的图像进行剪切时宽度方向单边剪切掉的尺寸大小，640×480为深度相机采集的原始图像的像素大小，500×400为对原始图像进行压缩处理后的像素大小，(xmin,ymin)为目标识别框在原始图像中左上端点的二维坐标，从而可以确定目标二维中心坐标点的坐标。
在本发明实施例中，为了便于理解回算目标二维中心坐标点在原始图像中的坐标，如图10所示，图10(a)显示了数据预处理部分的准备过程，同时在图像上标注了对应关键信息。其中，图10(a)中的下方图像为对原始图像进行压缩后的玉米与杂草目标识别结果图像，图10(a)中的上方图像为从目标识别结果图像中剪切玉米目标并的处理后结果图像。图10(b)介绍了该二次遍历算法的核心步骤流程以及标注了对应位置信息。图10(b)下方图像为遍历搜索框大小为100×100的局部区域放大图像，像素点坐标(fi,fj)位于x1-y1坐标系下，遍历搜索框(10×10)左上端
Figure BDA0002747253570000142
和右下端
Figure BDA0002747253570000143
二维坐标位于x2-y2坐标系下。图10(b)上方图像为保留有主要信息区域的玉米目标轮廓边缘图像，遍历搜索框(100×100)左上端
Figure BDA0002747253570000144
和右下端
Figure BDA0002747253570000145
二维坐标位于x3-y3坐标系下。图10(c)为利用公式
Figure BDA0002747253570000151
将像素点坐标(fi,fj)回算为原始图像(也可以理解为关键帧图像)上对应的二维坐标信息(fx,fy)的显示结果，二维坐标信息(fx,fy)位于x4-y4坐标系下。
本发明实施例提供的一种目标二维中心坐标点确定方法，在农作物或杂草的轮廓边缘图像中，一般越接近目标中心位置单位区域内的像素点越密集，本发明通过对目标的轮廓边缘图像进行第一遍历，提取像素点最密集的第一指定区域，然后对第一指定区域进行第二遍历，在第一指定区域内进一步提取像素点最密集的第二指定区域，从而进一步缩小了目标二维中心坐标点的区域，当在第二指定区域内选取一个像素点作为目标的二维中心坐标点，提高了除草机器人对目标定位的准确度，进而提高机器人的除草效果。
如图6所示，在一个实施例中，提供了一种目标二维中心坐标点确定装置，该目标二维中心坐标点确定装置可以集成于上述的计算机设备120中，具体可以包括获取单元610、第一遍历单元620、第二遍历单元630以及坐标信息确定单元640。
获取单元610，用于获取原始图像中的目标的轮廓边缘图像；
第一遍历单元620，用于对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，所述第一指定区域满足：该区域内符合第一预设条件的像素点的数量最多。
第二遍历单元630，用于对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，所述第二指定区域满足：该区域内符合第二预设条件的像素点的数量最多。
坐标信息确定单元640，用于在所述第二指定区域内选取符合所述第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在所述原始图像中的坐标。
在本发明实施例中，目标二维中心坐标点确定装置所包含第一遍历单元620、第一遍历单元620、第二遍历单元630以及坐标信息确定单元640的功能实现与上文的目标二维中心坐标点确定方法中的步骤S202、步骤S204、步骤S206以及步骤S208一一对应，对于该目标二维中心坐标点确定装置中的具体解释，以及相关的细化、优化的内容参见上文目标二维中心坐标点确定方法的具体实施例，此处不再赘述。
本发明实施例提供的一种目标二维中心坐标点确定装置，通过设置第一遍历单元620和第二遍历单元630，通过第一遍历单元620对目标轮廓边缘图像进行第一遍历，确定第一指定区域，再通过第二遍历单元630对第一指定区域进行第二遍历，确定第二指定区域，从而进一步缩小了目标二维中心坐标点的区域，当在第二指定区域内选取一个像素点作为目标的二维中心坐标点，提高了除草机器人对目标定位的准确度，进而提高机器人的除草效果。
图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的计算机设备120。如图7所示，该计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现目标二维中心坐标点确定方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行目标二维中心坐标点确定方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明相关的部分结构的框图，并不构成对本发明所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本发明提供的目标二维中心坐标点确定装置可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成该目标二维中心坐标点确定装置的各个程序模块，比如，图6所示的获取单元610、第一遍历单元620、第二遍历单元630以及坐标信息确定单元640。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的目标二维中心坐标点确定方法中的步骤。
例如，图7所示的计算机设备可以通过如图6所示的目标二维中心坐标点确定装置中的获取单元610执行步骤S202。计算机设备可通过第一遍历单元620执行步骤S204。计算机设备可通过第二遍历单元630执行步骤S206。计算机设备可通过坐标信息确定单元640执行步骤S208。
在本发明一个实施例中，本发明提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
步骤S202，获取原始图像中的目标的轮廓边缘图像；
步骤S204，对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，所述第一指定区域满足：该区域内符合第一预设条件的像素点的数量最多；
步骤S206，对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，所述第二指定区域满足：该区域内符合第二预设条件的像素点的数量最多；
步骤S208，在所述第二指定区域内选取符合所述第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在所述原始图像中的坐标。
在本发明一个实施例中，本发明提供一种测距***，用于多目标之间的空间立体测距，其特征在于，所述测距***包括：深度相机Realsense D435i、距离计算单元以及上述的计算机设备120；
所述计算机设备用于确定目标的二维中心坐标点；
所述深度相机Realsense D435i用于将位于像素坐标系下的目标二维中心坐标点转化为位于相机坐标系下的三维坐标点；
所述距离计算单元用于根据目标的三维坐标点信息计算目标与目标之间在三维立体空间中的距离：
Figure BDA0002747253570000181
其中，(fx,fy)为像素坐标系下目标的二维中心坐标点在所述原始图像中的坐标信息，camera_cx、camera_cy、camera_fx、camera_fy为获取的所述深度相机Realsense D435i的内参，可以通过深度相机标定完成相机内参的获取工作，(camera_cx,camera_cy)表示成像坐标系下的主点坐标，用于实现像素坐标系与成像坐标系间的转换，camera_fx和camera_fy表示深度相机的焦距，用于实现成像坐标系与相机坐标系间的转换，depth_scale为深度像素与现实单位比例，d为在深度相机Realsense D435i存储在彩色图像所对齐的深度图像中目标的二维中心坐标点(fx,fy)所对应的深度信息，(X,Y,Z)为通过坐标系转换生成位于相机坐标系下相对应的三维坐标点信息。
在本发明实施例中，计算机设备中的处理器可以执行上述的目标二维中心坐标点的确定方法，从而确定目标的二维中心坐标点，目标的二维中心坐标点指目标二维中心坐标点在所述原始图像中的坐标。
在本发明实施例中，深度相机Realsense D435i、距离计算单元以及上述的计算机设备相互之间可以进行数据通信，本实施例对其相互之间的数据通信方式不做限制。
本发明实施例提供的一种测距***，通过设置上述的计算机设备，可以准确获取目标的二维中心坐标点，再通过深度相机Realsense D435i将位于像素坐标系下的目标二维中心坐标点转化为位于相机坐标系下的三维坐标点，从而可以计算多目标之间的三维立体空间中的距离，提高多目标立体测距的准确性。当本发明实施例提供的测距***应用于除草***，可以准确获得农作物与杂草之间，以及杂草与杂草之间的立体距离，从而可以方便规划除草机器人的除草路径以及除草机构动作进行除草，提高除草作业的除草效果。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种目标二维中心坐标点确定方法，其特征在于，所述目标二维中心坐标点确定方法包括：
获取原始图像中的农作物或杂草的轮廓边缘图像；
对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，所述第一指定区域满足：该区域内符合第一预设条件的像素点的数量最多；
对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，所述第二指定区域满足：该区域内符合第二预设条件的像素点的数量最多；
在所述第二指定区域内选取符合所述第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在所述原始图像中的坐标；
所述对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，包括：
计算所述第一遍历中行向第一遍历搜索框的数量
Figure FDA0003861143610000011
和列向第一遍历搜索框的数量
Figure FDA0003861143610000012
利用所述第一遍历搜索框对所述轮廓边缘图像按照优先行向前进的方式遍历，并依次存储所述第一遍历搜索框中符合所述第一预设条件的像素点的数量；
确定所述第一指定区域对应的所述第一遍历搜索框的位置序号
Figure FDA0003861143610000013
位置序号
Figure FDA0003861143610000014
是从数字1开始计数的正整数，所述第一指定区域对应的所述第一遍历搜索框为：包括符合所述第一预设条件的像素点的数量最多的第一遍历搜索框；
根据
Figure FDA0003861143610000021
以及
Figure FDA0003861143610000022
计算所述第一指定区域对应的所述第一遍历搜索框在所述轮廓边缘图像中的位置信息
Figure FDA0003861143610000023
Figure FDA0003861143610000024
和
Figure FDA0003861143610000025
均是从数字0开始计数的自然数，用于表示所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列的位置信息：
Figure FDA0003861143610000026
根据所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列位置信息确定所述第一指定区域；
所述对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，包括：
计算所述第二遍历中行向第二遍历搜索框的数量
Figure FDA0003861143610000027
和列向第二遍历搜索框的数量
Figure FDA0003861143610000028
利用所述第二遍历搜索框对所述第一指定区域按照优先行向前进的方式遍历，并依次存储所述第二遍历搜索框中符合所述第二预设条件的像素点的数量；
确定所述第二指定区域对应的所述第二遍历搜索框的位置序号
Figure FDA0003861143610000029
位置序号
Figure FDA00038611436100000210
是从数字1开始计数的正整数，所述第二指定区域对应的所述第二遍历搜索框为：包括符合所述第二预设条件的像素点的数量最多的第二遍历搜索框；
根据
Figure FDA0003861143610000031
以及
Figure FDA0003861143610000032
计算所述第二指定区域对应的所述第二遍历搜索框在所述第一指定区域中的位置信息
Figure FDA0003861143610000033
Figure FDA0003861143610000034
和
Figure FDA0003861143610000035
均是从数字0开始计数的自然数，用于表示所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息：
Figure FDA0003861143610000036
根据所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息确定所述第二指定区域；
第一预设条件为像素点的R、G、B数值大于预设值；
第二预设条件为在第一指定区域内的像素点的R、G、B数值大于预设值。
2.根据权利要求1所述的一种目标二维中心坐标点确定方法，其特征在于，根据所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列的位置信息确定所述第一指定区域，包括：
计算所述第一指定区域对应的所述第一遍历搜索框左上端点和右下端点的二维坐标信息：
Figure FDA0003861143610000037
Figure FDA0003861143610000038
其中，
Figure FDA0003861143610000039
为所述第一指定区域对应的所述第一遍历搜索框左上端点的二维坐标，
Figure FDA00038611436100000310
为所述第一指定区域对应的所述第一遍历搜索框右下端点的二维坐标，l1为所述第一遍历的行向步长，w1为所述第一遍历的列向步长，L1为所述第一遍历搜索框的行向尺寸大小，W1为所述第一遍历搜索框的列向尺寸大小；
根据所述第一遍历搜索框左上端点和右下端点的二维坐标信息确定所述第一指定区域。
3.根据权利要求1所述的一种目标二维中心坐标点确定方法，其特征在于，根据所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息确定所述第二指定区域，包括：
计算所述第二指定区域对应的所述第二遍历搜索框左上端点和右下端点的二维坐标信息：
Figure FDA0003861143610000041
Figure FDA0003861143610000042
其中，
Figure FDA0003861143610000043
为所述第二指定区域对应的所述第二遍历搜索框左上端点的二维坐标，
Figure FDA0003861143610000044
为所述第二指定区域对应的所述第二遍历搜索框右下端点的二维坐标，l2为所述第二遍历的行向步长，w2为所述第二遍历的列向步长，L2为所述第二遍历搜索框的行向尺寸大小，W2为所述第二遍历搜索框的列向尺寸大小；
根据所述第二遍历搜索框左上端点和右下端点的二维坐标信息确定所述第二指定区域。
4.根据权利要求3所述的一种目标二维中心坐标点确定方法，其特征在于，所述回算目标二维中心坐标点在所述原始图像中的坐标的回算公式为：
Figure FDA0003861143610000051
其中，(fi,fj)为在所述第二指定区域内选取的目标二维中心坐标点，L为原始图像中目标识别框的长度尺寸大小，W为原始图像中目标识别框的宽度尺寸大小，70为对放缩处理后的图像进行剪切时长度方向单边剪切掉的尺寸大小，40为对放缩处理后的图像进行剪切时宽度方向单边剪切掉的尺寸大小，640×480为深度相机采集的原始图像的像素大小，500×400为对原始图像进行压缩处理后的像素大小，xmin,ymin)为目标识别框在原始图像中左上端点的二维坐标。
5.根据权利要求1所述的一种目标二维中心坐标点确定方法，其特征在于，获取农作物或杂草的轮廓边缘图像包括：
利用经典的二阶边缘检测Canny算子对目标的二值化图像进行边缘检测；
利用Open CV中的cv.findContours库函数记录边缘检测后的所述目标的轮廓边缘坐标；
将所述目标的轮廓边缘坐标的RGB赋值为(255,255,255)。
6.一种目标二维中心坐标点确定装置，其特征在于，所述目标二维中心坐标点确定装置包括：
获取单元，用于获取原始图像中的农作物或杂草的轮廓边缘图像；
第一遍历单元，用于对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，所述第一指定区域满足：该区域内符合第一预设条件的像素点的数量最多；
第二遍历单元，用于对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，所述第二指定区域满足：该区域内符合第二预设条件的像素点的数量最多；以及
坐标信息确定单元，用于在所述第二指定区域内选取符合所述第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在所述原始图像中的坐标；
所述对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，包括：
计算所述第一遍历中行向第一遍历搜索框的数量
Figure FDA0003861143610000061
和列向第一遍历搜索框的数量
Figure FDA0003861143610000062
利用所述第一遍历搜索框对所述轮廓边缘图像按照优先行向前进的方式遍历，并依次存储所述第一遍历搜索框中符合所述第一预设条件的像素点的数量；
确定所述第一指定区域对应的所述第一遍历搜索框的位置序号
Figure FDA0003861143610000063
位置序号
Figure FDA0003861143610000064
是从数字1开始计数的正整数，所述第一指定区域对应的所述第一遍历搜索框为：包括符合所述第一预设条件的像素点的数量最多的第一遍历搜索框；
根据
Figure FDA0003861143610000065
以及
Figure FDA0003861143610000066
计算所述第一指定区域对应的所述第一遍历搜索框在所述轮廓边缘图像中的位置信息
Figure FDA0003861143610000067
Figure FDA00038611436100000610
Figure FDA0003861143610000068
Figure FDA0003861143610000069
均是从数字0开始计数的自然数，用于表示所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列的位置信息：
Figure FDA0003861143610000071
根据所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列位置信息确定所述第一指定区域；
所述对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，包括：
计算所述第二遍历中行向第二遍历搜索框的数量
Figure FDA0003861143610000072
和列向第二遍历搜索框的数量
Figure FDA0003861143610000073
利用所述第二遍历搜索框对所述第一指定区域按照优先行向前进的方式遍历，并依次存储所述第二遍历搜索框中符合所述第二预设条件的像素点的数量；
确定所述第二指定区域对应的所述第二遍历搜索框的位置序号
Figure FDA0003861143610000074
位置序号
Figure FDA0003861143610000075
是从数字1开始计数的正整数，所述第二指定区域对应的所述第二遍历搜索框为：包括符合所述第二预设条件的像素点的数量最多的第二遍历搜索框；
根据
Figure FDA0003861143610000076
以及
Figure FDA0003861143610000077
计算所述第二指定区域对应的所述第二遍历搜索框在所述第一指定区域中的位置信息
Figure FDA0003861143610000078
Figure FDA0003861143610000079
和
Figure FDA00038611436100000710
均是从数字0开始计数的自然数，用于表示所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息：
Figure FDA00038611436100000711
根据所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息确定所述第二指定区域；
第一预设条件为像素点的R、G、B数值大于预设值；
第二预设条件为在第一指定区域内的像素点的R、G、B数值大于预设值。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至5中任一项权利要求所述目标二维中心坐标点确定方法的步骤。
8.一种测距***，用于多目标之间的立体测距，其特征在于，所述测距***包括：深度相机Realsense D435i、距离计算单元以及权利要求7所述的计算机设备；
所述计算机设备用于确定目标的二维中心坐标点；
所述深度相机Realsense D435i用于将位于像素坐标系下的目标二维中心坐标点转化为位于相机坐标系下的三维坐标点；
所述距离计算单元用于根据目标的三维坐标点信息计算目标与目标之间在三维立体空间中的距离：
Figure FDA0003861143610000081
其中，(fx,fy)为像素坐标系下目标的二维中心坐标点在所述原始图像中的坐标信息，camera_cx、camera_cy、camera_fx、camera_fy为获取的所述深度相机Realsense D435i的内参，可以通过深度相机标定完成相机内参的获取工作，(camera_cx,camera_cy)表示成像坐标系下的主点坐标，用于实现像素坐标系与成像坐标系间的转换，camera_fx和camera_fy表示深度相机的焦距，用于实现成像坐标系与相机坐标系间的转换，depth_scale为深度像素与现实单位比例，d为在深度相机Realsense D435i存储在彩色图像所对齐的深度图像中目标的二维中心坐标点(fx,fy)所对应的深度信息，(X,Y,Z)为通过坐标系转换生成位于相机坐标系下相对应的三维坐标点信息。
CN202011170842.3A 2020-10-28 2020-10-28 目标二维中心坐标点确定方法、装置、设备及测距*** Active CN112215893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011170842.3A CN112215893B (zh) 2020-10-28 2020-10-28 目标二维中心坐标点确定方法、装置、设备及测距***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011170842.3A CN112215893B (zh) 2020-10-28 2020-10-28 目标二维中心坐标点确定方法、装置、设备及测距***

Publications (2)

Publication Number Publication Date
CN112215893A CN112215893A (zh) 2021-01-12
CN112215893B true CN112215893B (zh) 2022-10-28

Family

ID=74057294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011170842.3A Active CN112215893B (zh) 2020-10-28 2020-10-28 目标二维中心坐标点确定方法、装置、设备及测距***

Country Status (1)

Country Link
CN (1) CN112215893B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578627B (zh) * 2022-09-21 2023-05-09 凌度(广东)智能科技发展有限公司 一种单目图像边界识别方法、装置、介质及幕墙机器人
CN117649420B (zh) * 2023-11-14 2024-07-23 北京医百科技有限公司 确定图像中目标区域的膨胀域的方法、装置及电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167611A (ja) * 1993-12-10 1995-07-04 Glory Ltd 硬貨中心位置決定方式
KR20000009660A (ko) * 1998-07-27 2000-02-15 윤종용 부품의 중심 좌표를 구하는 방법
CN103761731A (zh) * 2014-01-02 2014-04-30 河南科技大学 一种基于非下采样轮廓波变换的红外空中小目标检测方法
CN103793712A (zh) * 2014-02-19 2014-05-14 华中科技大学 一种基于边缘几何特征的图像识别方法及***
CN107240118A (zh) * 2017-05-19 2017-10-10 成都信息工程大学 一种基于rgb颜色直方图的判别式跟踪方法
CN107273905A (zh) * 2017-06-14 2017-10-20 电子科技大学 一种结合运动信息的目标主动轮廓跟踪方法
WO2018105530A1 (ja) * 2016-12-08 2018-06-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
CN109389601A (zh) * 2018-10-19 2019-02-26 山东大学 基于像素间相似性的彩色图像超像素分割方法
CN109631758A (zh) * 2019-01-02 2019-04-16 中国科学院上海光学精密机械研究所 样品中心的检测装置及检测方法
CN110349216A (zh) * 2019-07-18 2019-10-18 合肥泰禾光电科技股份有限公司 货箱位置检测方法及装置
CN110599544A (zh) * 2019-08-08 2019-12-20 佛山科学技术学院 一种基于机器视觉的工件定位方法及装置
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN111028257A (zh) * 2019-11-06 2020-04-17 北京航空航天大学 微透镜子图像几何中心及边缘的提取方法及装置
CN111630565A (zh) * 2018-09-10 2020-09-04 深圳配天智能技术研究院有限公司 图像处理方法、边缘提取方法、处理设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953842B2 (ja) * 2012-03-14 2016-07-20 オムロン株式会社 画像検査方法および検査領域設定方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167611A (ja) * 1993-12-10 1995-07-04 Glory Ltd 硬貨中心位置決定方式
KR20000009660A (ko) * 1998-07-27 2000-02-15 윤종용 부품의 중심 좌표를 구하는 방법
CN103761731A (zh) * 2014-01-02 2014-04-30 河南科技大学 一种基于非下采样轮廓波变换的红外空中小目标检测方法
CN103793712A (zh) * 2014-02-19 2014-05-14 华中科技大学 一种基于边缘几何特征的图像识别方法及***
WO2018105530A1 (ja) * 2016-12-08 2018-06-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
CN107240118A (zh) * 2017-05-19 2017-10-10 成都信息工程大学 一种基于rgb颜色直方图的判别式跟踪方法
CN107273905A (zh) * 2017-06-14 2017-10-20 电子科技大学 一种结合运动信息的目标主动轮廓跟踪方法
CN111630565A (zh) * 2018-09-10 2020-09-04 深圳配天智能技术研究院有限公司 图像处理方法、边缘提取方法、处理设备及存储介质
CN109389601A (zh) * 2018-10-19 2019-02-26 山东大学 基于像素间相似性的彩色图像超像素分割方法
CN109631758A (zh) * 2019-01-02 2019-04-16 中国科学院上海光学精密机械研究所 样品中心的检测装置及检测方法
CN110349216A (zh) * 2019-07-18 2019-10-18 合肥泰禾光电科技股份有限公司 货箱位置检测方法及装置
CN110599544A (zh) * 2019-08-08 2019-12-20 佛山科学技术学院 一种基于机器视觉的工件定位方法及装置
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN111028257A (zh) * 2019-11-06 2020-04-17 北京航空航天大学 微透镜子图像几何中心及边缘的提取方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Fast Recognition and Precise Centroiding of Artificial Targets;Qiqiang Feng等;《2009 2nd International Congress on Image and Signal Processing》;20091030;1-4 *
Image signal processing, analysis and detection for robotic system;Jiri Haska等;《2014 14th International Conference on Control, Automation and Systems (ICCAS 2014)》;20141218;1060-1063 *
基于深度学习的机器人抓取位姿检测***研究;徐焯基;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200215;第2020年卷(第2期);I140-308 *
数码印花精准叠印***及关键技术研究;任津雄;《中国博士学位论文全文数据库 信息科技辑》;20181215;第2018年卷(第12期);I138-96 *

Also Published As

Publication number Publication date
CN112215893A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
JP7307743B2 (ja) 作業対象領域境界の取得方法および装置、並びに作業経路の計画方法
Gené-Mola et al. Fruit detection and 3D location using instance segmentation neural networks and structure-from-motion photogrammetry
Duan et al. Dynamic quantification of canopy structure to characterize early plant vigour in wheat genotypes
CN112380926B (zh) 一种田间除草机器人除草路径规划***
CN114332415B (zh) 基于多视角技术的输电线路廊道的三维重建方法及装置
CN112215893B (zh) 目标二维中心坐标点确定方法、装置、设备及测距***
Elfiky et al. Automation of dormant pruning in specialty crop production: An adaptive framework for automatic reconstruction and modeling of apple trees
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN113888501B (zh) 一种基于注意力定位网络的无参考型图像质量评价方法
CN109992809A (zh) 一种建筑模型的构建方法、装置及存储装置
Xiang et al. Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks
Xiang et al. PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation
Zou et al. Density estimation method of mature wheat based on point cloud segmentation and clustering
CN111046730A (zh) 植株数据处理方法、装置、计算机设备和存储介质
Meyer et al. CherryPicker: Semantic skeletonization and topological reconstruction of cherry trees
CN107133260A (zh) 一种地标图像的匹配识别方法和装置
Jiang et al. Thin wire segmentation and reconstruction based on a novel image overlap-partitioning and stitching algorithm in apple fruiting wall architecture for robotic picking
CN108109125A (zh) 基于遥感图像的信息提取方法和装置
CN107590829A (zh) 一种适用于多视角密集点云数据配准的种子点拾取方法
Liu et al. Super-Resolution Based on Residual Dense Network for Agricultural Image
CN116071653A (zh) 基于自然图像的树木多级枝干结构自动提取方法
Marcal et al. Evaluation of satellite image segmentation using synthetic images
Saeed et al. PeanutNeRF: 3D radiance field for peanuts
Li et al. Automatic reconstruction and modeling of dormant jujube trees using three-view image constraints for intelligent pruning applications
Wang et al. Visual measurement method of crop height based on color feature in harvesting robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant