CN110476037B - 距离信息处理装置、距离信息处理方法以及距离信息处理程序 - Google Patents

Abstract

距离信息处理装置(100)基于表示立体物上的各点的三维坐标的三维点群数据，生成将各点的二维坐标与各点的进深建立对应关系的图像数据。距离信息处理装置(100)将与图像数据的轮廓部分所包含的轮廓像素对应的三维点群数据的点确定为关注点，并将与轮廓像素的周边的像素对应的三维点群数据的点确定为周边点。距离信息处理装置(100)基于与关注点的距离小于规定距离的周边点的数目，删除关注点。

Description

距离信息处理装置、距离信息处理方法以及距离信息处理 程序

技术领域

本发明涉及距离信息处理装置等。

背景技术

若使用距离传感器测定立体物的形状，则有在立体物的轮廓部分与实际的位置相比在进深方向产生边缘噪声的情况。图15以及图16是用于说明边缘噪声的图。如图15所示，若使用距离传感器10，测量立体物15，则得到图16所示的三维点群数据20。在图16所示的例子中，三维点群数据中，各点21成为边缘噪声。

对除去边缘噪声的现有技术的一个例子进行说明。图17是用于说明现有技术的一个例子的图。现有技术通过对三维点群数据20所包含的各点求出与其它点的距离，来计算点群密度。现有技术留下点群密度比阈值高的点，并删除点群密度比阈值低的点。点群密度是以关注的点为中心的半径r的球所包含的点的个数。

例如，由于以点22为中心的半径r的球所包含的点较多，所以点22可以说点群密度较高。因此，现有技术留下点22。另一方面，由于以点23为中心的半径r的球所包含的点较少，所以点23可以说点群密度较低。因此，现有技术删除点23。现有技术通过对三维点群数据20所包含的各点反复上述处理，删除成为边缘噪声的各点21，生成没有边缘噪声的三维点群数据25。

此外，在计算立体物的三维点群数据的情况下，执行背景差分处理。图18是表示背景差分处理的一个例子的图。如图18所示，通过取得背景的三维点群数据5a与背景+立体物的三维点群数据5b的差分，得到仅立体物的三维点群数据5c。放大了三维点群数据5c的立体物附近的数据成为放大数据5d。在放大数据5d包含有边缘噪声5e。

专利文献1：日本特开2009－204615号公报

专利文献2：日本特开2009－229182号公报

然而，在上述的现有技术中，有从三维点群数据删除噪声的情况下的计算量较多这样的问题。

如上述那样，在现有技术中，为了计算点群密度，分别计算关注的点与其它的点的距离，之后对以关注的点为中心的半径r的球所包含的点数进行计数。因此，若点数增加则计算量增加。例如，若将三维点数数据的点数设为N，则计算量为“O(N²)”。

发明内容

在一个侧面，本发明的目的在于提供能够抑制从三维点群数据删除噪声的情况下的计算量的距离信息处理装置、距离信息处理方法以及距离信息处理程序。

在第一方案中，距离信息处理装置具有生成部、确定部、以及删除部。生成部基于表示立体物上的各点的三维坐标的三维点群数据，生成将各点的二维坐标与各点的进深建立对应关系的图像数据。确定部将与图像数据的轮廓部分所包含的轮廓像素对应的三维点群数据的点确定为关注点，并将与轮廓像素的周边的像素对应的三维点群数据的点确定为周边点。删除部基于与关注点的距离小于规定距离的周边点的数目，删除关注点。

能够抑制从三维点群数据删除噪声的情况下的计算量。

附图说明

图1是表示本实施例所涉及的距离信息处理装置的构成的功能框图。

图2是表示距离传感器的一个例子的图。

图3是用于说明光栅扫描的一个例子的图。

图4是表示三维点群数据的数据结构的一个例子的图。

图5是表示2.5D图像数据的数据结构的一个例子的图。

图6是表示参数的数据结构的一个例子的图。

图7是用于补充说明参数的图(1)。

图8是用于补充说明参数的图(2)。

图9是用于说明确定关注点的处理的图。

图10是用于说明确定周边点的处理的图。

图11是表示本实施例所涉及的距离信息处理装置的处理顺序的流程图(1)。

图12是表示本实施例所涉及的距离信息处理装置的处理顺序的流程图(2)。

图13是用于说明三维点群数据的使用用途的一个例子的图。

图14是表示实现与距离信息处理装置相同的功能的计算机的硬件构成的一个例子的图。

图15是用于说明边缘噪声的图(1)。

图16是用于说明边缘噪声的图(2)。

图17是用于说明现有技术的一个例子的图。

图18是表示背景差分处理的一个例子的图。

具体实施方式

以下，基于附图对本发明所涉及的距离信息处理装置、距离信息处理方法以及距离信息处理程序的实施例进行详细说明。此外，并不通过该实施例限定该发明。

实施例

图1是表示本实施例所涉及的距离信息处理装置的构成的功能框图。如图1所示，该距离信息处理装置100与距离传感器50连接。距离传感器50将表示立体物上的各点的三维坐标的三维点群数据输出给距离信息处理装置100。

图2是表示距离传感器的一个例子的图。距离传感器50具有发光单元11、和受光单元12。发光单元11是对立体物15发出激光的装置。受光单元12是接收从立体物15反射的激光的装置。

发光单元11具有控制电路11a、发光电路11b、反射镜11c、以及透镜11d。控制电路11a是通过控制反射镜11c的方向，来控制激光的发光目的地的装置。另外，控制电路11a对发光电路11b指示发光时刻，并对距离测量电路12b通知发光时刻。发光电路11b是根据从控制电路11a指示的发光时刻，使激光发光的装置。从发光电路11发出的激光经由反射镜11c、透镜11d，到达立体物15。

受光单元12具有透镜12a和距离测量电路12b。从立体物15反射的激光经由透镜12a，到达距离测量电路12b。距离测量电路12b是根据从激光的发光时刻到激光的受光时刻为止的时间，测量激光到达的立体物15上的点与距离传感器50的距离的装置。另外，距离测量电路12b基于距离传感器50的三维位置、激光到达的立体物15上的点与距离传感器50的距离，计算立体物15上的点的三维坐标。

距离传感器50通过变更激光的照射位置，并反复执行上述处理，生成表示立体物15上的各点的三维坐标的三维点群数据。此外，本实施例所涉及的距离传感器50通过执行光栅扫描(Raster scan)，生成三维点群数据。

图3是用于说明光栅扫描的一个例子的图。光栅扫描从立体物15存在的空间上的左端朝向右端进行扫描(移动激光的照射位置)，若到达右端，则移至下一行，并反复执行上述处理。通过执行光栅扫描，三维点群数据所包含的各点的三维坐标按照通过光栅扫描进行扫描的顺序排列。

距离传感器50通过执行在图18进行说明的背景差分处理，生成立体物的三维点群数据。

返回到图1的说明。距离信息处理装置100具有存储部110、和控制部120。存储部110具有三维点群数据110a、2.5D图像数据110b、以及参数110c。存储部110与RAM(RandomAccess Memory：随机存储器)、ROM(Read Only Memory：只读存储器)、闪存(Flash Memory)等半导体存储器元件，或者HDD(Hard Disk Drive：硬盘驱动器)等存储装置对应。

三维点群数据110a是表示立体物上的各点的三维坐标的数据。图4是表示三维点群数据的数据结构的一个例子的图。如图4所示，该三维点群数据110a将识别编号、x坐标、y坐标、以及z坐标建立对应关系。识别编号是唯一地识别三维空间上的立体物15的点的数据。x坐标、y坐标、以及z坐标表示与识别编号对应的点的三维坐标。三维点群数据110a例如从上开始按照光栅扫描的顺序排列。

2.5D图像数据110b是将根据立体物15的各点的三维坐标计算出的二维坐标与进深建立对应关系的数据。图5是表示2.5D图像数据的数据结构的一个例子的图。该2.5D图像数据110b将进深与通过u轴以及v轴表示的像素建立对应关系。另外，例如，2.5D图像数据的各像素也可以与三维点群数据110a的识别编号建立对应关系。

参数110c是为了生成2.5D图像数据110b而利用的参数。图6是表示参数的数据结构的一个例子的图。图7以及图8是用于补充说明参数的图。

如图6所示，参数110c将参数的种类与值建立对应关系。参数包含width、height、θx、θy、depth_resolution、以及r。其中，使用图7对width、θx进行说明。图7是从上方观察距离传感器50的图。“width”表示距离传感器50进行光栅扫描的x轴方向的范围，与x轴方向的获取点数对应。“θx”是线段1a与线段1b所成的角度。线段1a是通过进行x轴方向的光栅扫描的范围的左端和距离传感器50的线段。线段1b是通过进行x轴方向的光栅扫描的范围的右端和距离传感器50的线段。

使用图8对height、fy、θy进行说明。图8是从侧面观察距离传感器50的图。“height”表示距离传感器50进行光栅扫描的y轴方向的范围，与y轴方向的获取点数对应。“θy”是线段2a与线段2b所成的角度。线段2a是通过进行y轴方向的光栅扫描的范围的上端和距离传感器50的线段。线段2b是通过进行y轴方向的光栅扫描的范围的下端和距离传感器50的线段。此外，“depth_resolution”表示z轴的分辨率。“r”表示计算点群密度的情况下的范围(半径)。

控制部120具有获取部120a、生成部120b、确定部120c、以及删除部120d。能够通过CPU(Central Processing Unit：中央处理器)、MPU(Micro Processing Unit：微控制器)等实现控制部120。另外，也能够通过ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等以硬连线逻辑实现控制部120。

获取部120a是从距离传感器50获取三维点群数据110a的处理部。获取部120a将获取的三维点群数据110a登记于存储部110。

生成部120b是基于三维点群数据110a以及参数110c，生成2.5D图像数据110b的处理部。以下，对生成部120b的处理的一个例子进行说明。

生成部120b从三维点群数据110a选择一个点，并基于式(1)～式(3)，计算与选择的点对应的2.5D图像数据110b上的u轴的值、v轴的值、进深。生成部120b基于计算结果，将进深映射在与选择的点对应的2.5D图像数据110b上的u轴的值以及v轴的值所对应的位置。生成部120b在映射到2.5D图像数据110b的像素时，与选择的点的识别编号建立对应关系。生成部120b通过对三维点群数据110a所包含的全部的点反复执行上述处理，生成2.5D图像数据110b。

u＝pc[idx].x*fx/pc[idx].z+cx+1···(1)

v＝pc[idx].y*fy/pc[idx].z+cy+1···(2)

depth[u][v]＝pc[idx].z/depth_resolution···(3)

式(1)计算u轴的值。式(2)计算v轴的值。depth[u][v]计算与u轴的值以及v轴的值对应的进深。在式(1)～(3)中，pc[idx].x、pc[idx].y、pc[idx].z表示从三维点群数据110a选择的第idx个点的三维坐标(x坐标值，y坐标值，z坐标值)。

式(1)所包含的fx表示x轴方向的焦距。生成部120b根据式(4)计算fx。式(2)所包含的fy表示y轴方向的焦距。生成部120b根据式(5)计算fy。

fx＝width/(2*tan(θx/2))···(4)

fy＝height/(2*tan(θy/2))···(5)

式(1)所包含的cx表示x轴方向的图像中心。生成部120b根据式(6)计算cx。式(2)所包含的cy表示y轴方向的图像中心。生成部120b根据式(7)计算cy。

cx＝width/2···(6)

cy＝height/2···(7)

确定部120c基于2.5D图像数据110b，将与轮廓部分的像素对应的三维点群数据110a的点确定为“关注点”。另外，确定部120c将与轮廓部分的像素的周边的像素对应的三维点群数据110a的点确定为“周边点”。

图9是用于说明确定关注点的处理的图。如图9所示，若对2.5D图像数据110b执行轮廓提取，则从2.5D图像数据110b提取轮廓部分130。例如，确定部120c对2.5D图像数据110b进行扫描，并确定进深“depth”的值不为0的区域。确定部120c将进深“depth”的值不为0的区域中外侧(轮廓)的像素和与外侧的像素相邻的像素确定为轮廓部分130。此外，能够适当地调整到何处为止作为轮廓部分130。例如，也可以将轮廓的上下左右±3像素作为轮廓部分130。

确定部120c根据三维点群数据确定与轮廓部分130所包含的各像素对应的各点。图9所示的三维点群数据111以图像示出三维点群数据110a。与轮廓部分130所包含的各像素对应的各点成为各点135。各点135分别成为关注点。

图10是用于说明确定周边点的处理的图。确定部120c选择轮廓部分所包含的像素中的一个像素作为关注像素。在图10所示的例子中，确定部120选择关注像素A。确定部120从参数110c获取用于计算点群密度的半径r的值，并设定以关注像素A为基准的相当于半径r的圆的矩形范围140。

确定部120c为了确定矩形范围140，求出每一个像素(要素)的x轴的距离ix、和每一个像素的y轴的距离iy。例如，确定部120c根据式(8)计算距离ix，并根据式(9)计算距离iy。

ix＝(pc[width*height-1].x-pc[0].x)/width···(8)

iy＝(pc[width*height-1].y-pc[0].y)/height···(9)

这里为了方便，设为距离ix＝0.010m，距离iy＝0.020m。另外，若将用于判定点群密度的半径设为半径r＝0.040m，则矩形范围在上下分别为两个像素，在左右分别为四个像素，成为图10所示的矩形范围140。此外，在图10中，将与关注像素A对应的三维点群数据上的点的x坐标设为“－0.030”，将与像素B对应的三维点群数据的点的x坐标设为“－0.020”，将与像素C对应的三维点群数据的点的x坐标设为“－0.010”，将与像素D对应的三维点群数据的点的x坐标设为“0”，并将与图像E对应的三维点群数据的点的x坐标设为“0.010”。将与关注像素A对应的三维点群数据的点的y坐标设为“0.020”，将与像素F对应的三维点群数据的点的y坐标设为“0.040”，并将与像素G对应的三维点群数据的点的y坐标设为“0.060”。

确定部120c将2.5D图像数据110b的矩形区域140所包含的各像素中关注像素A以外的像素确定为周边像素。此外，确定部120c从周边像素除去虽然是矩形区域140所包含的像素，但进深(depth)的值为0的像素。确定部120c将使与关注像素对应的三维点群数据110a的关注点的信息(识别编号)和与各周边像素对应的三维点群数据110a的周边点的信息(识别编号)建立了对应关系的信息输出给删除部120d。

确定部120c通过对轮廓部分130所包含的各像素反复执行上述处理，将关注点的信息和与这样的关注点对应的周边点的信息输出给删除部120d。

删除部120d是基于关注点的点群密度，删除关注点的处理部。以下，对删除部120d的处理的一个例子进行说明。删除部120d获取关注点的信息、和与该关注点对应的多个周边点的信息，计算关注点与各周边点的距离。删除部120d从三维点群数据110a获取关注点和各周边点的三维坐标。

删除部120d对与关注点的距离小于半径r的周边点的数目进行计数作为点群密度。删除部120d在点群密度在阈值以上的情况下，不进行关注点的删除。另一方面，删除部120d在点群密度小于阈值的情况下，删除关注点。例如，删除部120d从三维点群数据110a删除成为删除对象的关注点的记录。

删除部120d通过对其它的关注点也反复执行上述处理，计算点群密度，并根据点群密度与阈值的比较，进行关注点的删除。

接下来，对本实施例所涉及的距离信息处理装置100的处理顺序的一个例子进行说明。图11以及图12是表示本实施例所涉及的距离信息处理装置的处理顺序的流程图。如图11所示，与距离信息处理装置100连接的距离传感器50通过执行光栅扫描，测量三维点群数据110a(步骤S101)。

距离信息处理装置100的生成部120b基于三维点群数据110a，生成2.5D图像数据110b(步骤S102)。距离信息处理装置100的确定部120c对2.5D图像数据110b执行轮廓提取(步骤S103)。确定部120c将与轮廓部分的像素对应的三维点群数据的点设定为关注点(步骤S104)。

确定部120c根据x轴、y轴各自的视角θx、θy计算焦距fx、fy(步骤S105)。确定部120c计算每一个像素的x轴y轴的距离ix、iy(步骤S106)，并移至图12的步骤S107A。

距离信息处理装置100的确定部120c以及删除部120d对所有关注点反复执行步骤S107A～S107B的处理。确定部120c提取周边点(步骤S108)。

删除部120d对全部周边点反复执行步骤S109A～S109B的处理。删除部120d计算关注点与周边点的距离(步骤S110)。删除部120d在距离不在r＝rx＝ry的球内的情况下(步骤S111，否)，移至步骤S109B。另一方面，删除部120d在距离在r＝rx＝ry的球内的情况下(步骤S111，是)，对以关注点为中心的球所包含的周边点的个数进行计数(步骤S112)，并移至步骤S109B。

删除部120d计算关注点的点群密度(步骤S113)。删除部120d在点群密度在阈值以上的情况下(步骤S114，是)，留下关注点(步骤S115)，并移至步骤S107B。另一方面，删除部120d在点群密度小于阈值的情况下(步骤S114，否)，删除关注点(步骤S116)，并移至步骤S107B。

接下来，对本实施例所涉及的距离信息处理装置100的效果进行说明。距离信息处理装置100在计算三维点群数据110a的点群密度的情况下，将计算对象限定为关注点以及周边点进行计算，所以能够削减计算对象。

例如，在图9所示的2.5D图像数据110b的各像素所对应的点的数目为114点的情况下，由于将关注像素限定为轮廓部分130，所以能够将关注点的数目从114点(N)削减至85点。另外，周边点能够从每一个关注点的113点(N－1)削减至矩形区域所包含的45点。

另外，由于距离信息处理装置100的距离传感器50在生成三维点群数据110a的情况下，执行光栅扫描，所以三维点群数据110a的记录按照执行光栅扫描的顺序排列。因此，能够容易地确定出各三维点群数据110a所包含的某一点周边所存在的其它的点。

接下来，对通过本实施例所涉及的距离信息处理装置100除去了边缘噪声的三维点群数据110a的使用用途的一个例子进行说明。图13是用于说明三维点群数据的使用用途的一个例子的图。在进行体育比赛的判定等的情况下利用三维点群数据110a。

例如，如图13所示，对从距离信息处理装置100输出的除去了边缘噪声的三维点群数据110a进行2.5D转换，生成2.5D图像数据130a。2.5D图像数据130a通过与机械学习的结果得到的辞典80进行比较，识别为多个部分区域，生成识别数据130b。辞典80是3D人体建模、CG建模以及渲染、机械学习的结果得到的信息。

识别数据130b通过骨骼拟合，确定立体物(选手)15的骨骼130c。通过反复执行上述的处理，能够确定骨骼130c的移动，例如能够识别技术动作等。

接下来，对实现与上述实施例所示的距离信息处理装置100相同的功能的计算机的硬件构成的一个例子进行说明。图14是表示实现与距离信息处理装置相同的功能的计算机的硬件构成的一个例子的图。

如图14所示，计算机200具有执行各种运算处理的CPU201、接受来自用户的数据的输入的输入装置202、以及显示器203。另外，计算机200具有从存储介质读取程序等的读取装置204、和经由网络在与其它的计算机之间进行数据的授受的接口装置205。计算机200具有距离传感器206。另外，计算机200具有暂时存储各种信息的RAM207、和硬盘装置308。而且，各装置201～208与总线209连接。

硬盘装置208具有生成程序208a、确定程序208b、以及删除程序208c。CPU201读出生成程序208a、确定程序208b、以及删除程序208c并展开在RAM207。

生成程序208a作为生成工序207a发挥作用。确定程序208b作为确定工序207b发挥作用。删除程序208c作为删除工序207c发挥作用。

生成工序207a的处理与生成部120b的处理对应。确定工序207b的处理与确定部120c的处理对应。删除工序207c的处理与删除部120d的处理对应。

此外，也可以并不一定从最初开始使各程序208a～208c存储于硬盘装置208。例如，也可以在***计算机200的软盘(FD)、CD－ROM、DVD盘、光磁盘、IC卡等“可移动的物理介质”存储各程序。然后，计算机200读出各程序208a～208c并执行。

附图标记说明

50…距离传感器，100…距离信息处理装置，110…存储部，110a…三维点群数据，110b…2.5D图像数据，110c…参数，120…控制部，120a…获取部，120b…生成部，120c…确定部，120d…删除部。

Claims (9)

1.一种距离信息处理装置，其特征在于，具有：

生成部，基于表示立体物上的各点的三维坐标的三维点群数据，生成将各点的二维坐标与各点的进深建立对应关系的图像数据；

确定部，将与上述图像数据的轮廓部分所包含的轮廓像素对应的上述三维点群数据的点确定为关注点，并将与上述轮廓像素的周边的像素对应的上述三维点群数据的点确定为周边点；以及

删除部，对与上述关注点的距离小于规定距离的上述周边点的数目进行计数作为点群密度，在上述点群密度小于规定量的情况下，删除上述关注点。

2.根据权利要求1所述的距离信息处理装置，其特征在于，

还具有从距离传感器获取上述三维点群数据的获取部，上述距离传感器通过对上述立体物执行光栅扫描，以规定的顺序获取上述立体物的各点的三维坐标，来生成上述三维点群数据。

3.根据权利要求2所述的距离信息处理装置，其特征在于，

上述确定部基于上述距离传感器的焦距，计算上述图像数据的每一个像素的距离，并根据上述每一个像素的距离与上述规定距离的关系，确定与上述周边点对应的上述轮廓像素上的像素的范围。

4.一种距离信息处理方法，是计算机执行的距离信息处理方法，其特征在于，执行以下处理，即

基于表示立体物上的各点的三维坐标的三维点群数据，生成将各点的二维坐标与各点的进深建立对应关系的图像数据，

将与上述图像数据的轮廓部分所包含的轮廓像素对应的上述三维点群数据的点确定为关注点，

将与上述轮廓像素的周边的像素对应的上述三维点群数据的点确定为周边点，

对与上述关注点的距离小于规定距离的上述周边点的数目进行计数作为点群密度，在上述点群密度小于规定量的情况下，删除上述关注点。

5.根据权利要求4所述的距离信息处理方法，其特征在于，

还执行从距离传感器获取上述三维点群数据的处理，上述距离传感器通过对上述立体物执行光栅扫描，以规定的顺序获取上述立体物的各点的三维坐标，来生成上述三维点群数据。

6.根据权利要求5所述的距离信息处理方法，其特征在于，

上述确定的处理基于上述距离传感器的焦距，计算上述图像数据的每一个像素的距离，并根据上述每一个像素的距离与上述规定距离的关系，确定与上述周边点对应的上述轮廓像素上的像素的范围。

7.一种存储介质，存储距离信息处理程序，其特征在于，

上述距离信息处理程序使计算机执行以下处理，即

基于表示立体物上的各点的三维坐标的三维点群数据，生成将各点的二维坐标与各点的进深建立对应关系的图像数据，

将与上述图像数据的轮廓部分所包含的轮廓像素对应的上述三维点群数据的点确定为关注点，

将与上述轮廓像素的周边的像素对应的上述三维点群数据的点确定为周边点，

对与上述关注点的距离小于规定距离的上述周边点的数目进行计数作为点群密度，在上述点群密度小于规定量的情况下，删除上述关注点。

8.根据权利要求7所述的存储介质，其特征在于，

还执行从距离传感器获取上述三维点群数据的处理，上述距离传感器通过对上述立体物执行光栅扫描，以规定的顺序获取上述立体物的各点的三维坐标，来生成上述三维点群数据。

9.根据权利要求8所述的存储介质，其特征在于，

上述确定的处理基于上述距离传感器的焦距，计算上述图像数据的每一个像素的距离，并根据上述每一个像素的距离与上述规定距离的关系，确定与上述周边点对应的上述轮廓像素上的像素的范围。

Images