CN111198384B - 具有测距装置的物体监视*** - Google Patents

具有测距装置的物体监视*** Download PDF

Info

Publication number
CN111198384B
CN111198384B CN201911008057.5A CN201911008057A CN111198384B CN 111198384 B CN111198384 B CN 111198384B CN 201911008057 A CN201911008057 A CN 201911008057A CN 111198384 B CN111198384 B CN 111198384B
Authority
CN
China
Prior art keywords
value
monitoring
ranging
monitoring system
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911008057.5A
Other languages
English (en)
Other versions
CN111198384A (zh
Inventor
中村稔
渡边淳
高桥祐辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN111198384A publication Critical patent/CN111198384A/zh
Application granted granted Critical
Publication of CN111198384B publication Critical patent/CN111198384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种具有测距装置的物体监视***，该物体监视***具备：基于对象空间中的外部物体的测距值求出外部物体的配置，并根据求出的配置来推定外部物体引起的测距值的移位量的单元；以及基于推定出的移位量，对判定进行校正的单元。

Description

具有测距装置的物体监视***
技术领域
本发明涉及具有测距装置的物体监视***，特别是涉及考虑了多路径的影响的物体监视***。
背景技术
作为测定到物体为止的距离的测距装置，公知基于光的飞行时间输出距离的TOF(time of flight，飞行时间)照相机。TOF照相机多采用将在规定周期内调制了强度的参照光向对象空间照射，基于参照光与来自对象空间的反射光之间的相位差，输出对象空间的测距值的相位差方式。
这种TOF照相机基于相位差间接地测定参照光的路径长来进行测距，因此公知有相对于某测距点，在经由其他的物体进行了多重反射的参照光强烈地产生影响的情况下，测距值错误并增大的现象(所谓多路径)。作为与多路径的影响的抑制或者减少有关的技术，例如公知下述的专利文献。
日本再公表专利2014/097539号公开了每隔至少2个照射区域具备构成为能够调节照射光量的光源部的三维测定装置。三维测定装置对在各照射区域a、b、c将规定的基本光量设定为照射光量的照射图案A的曝光量的总和与作为各照射区域中的至少一个的照射区域b的照射光量小于基本光量的照射图案B的曝光量的总和进行差分，将差值扩大2倍，由此计算混入照射图案A的不需要的反射光的曝光成分。
日本特表2015-513825号公报公开了具备仅对拍摄传感器的视场中的任意的区域进行照明的照明模块(条纹(stripe)照明)的飞行时间型照相机。在每个像素区域中相互独立地进行照明和测定的结构减少不是直接的光路、多重反射，与此同时，像素区域能够接受更加直接的光，因此关于多重反射(多路径反射)变得有利。
在利用TOF照相机，基于测距值判定监视物体是否存在于在对象空间中决定的监视区域内的物体监视***中，当在监视区域附近存在引起多路径的外部物体的情况下，从TOF照相机输出的测距值往往错误并增大。在该情况下，特别是，在监视区域的远方位置中，即使监视物体存在于监视区域中，也导致误判定为没有监视物体。
另一方面，即使在监视区域附近存在外部物体，也存在取决于外部物体的配置、外部物体的反射率，外部物体不对监视区域内的物体测距产生较大的影响的情况。
因此，要求考虑多路径的影响来进行更加准确的物体监视的技术。
发明内容
本公开的一个方式提供一种物体监视***，其具备基于向对象空间照射的参照光与来自对象空间的反射光的相位差来输出对象空间的测距值的测距装置，并且，基于测距值来判定监视物体是否存在于在对象空间中决定的监视区域内，其中，上述物体监视***具备：基于对象空间中的监视区域外的外部物体的测距值求出外部物体的配置，并根据求出的配置来推定外部物体引起的测距值的移位量的单元；以及基于推定出的移位量，对判定进行校正的单元。
附图说明
图1是表示一个实施方式的物体监视***的结构的框图。
图2是表示物体监视***的应用例的平面图。
图3是表示可能引起多路径的外部物体的一个例子的平面图。
图4是表示按照对象空间中的外部物体的配置(向量Ai、向量Bi以及法线向量si)推定对象空间(点Pj)中的测距值的移位量的原理的概念图。
图5A是表示按照外部物体的反射率(ρ)推定对象空间(点Pj)中的测距值的移位量的原理的概念图。
图5B是表示按照外部物体的反射率(ρ’)推定对象空间(点Pj)中的测距值的移位量的原理的概念图。
图6是用于对测距值的移位量的计算式进行说明的概念图。
图7是用于对多重反射光的光强度值(Lf)和去路延迟(Tf)的计算式进行说明的概念图。
图8是用于对来自外部物体的微小面(Δsi)的反射光成分的光强度值(ΔLi)和去路延迟(ΔTi)的计算式进行说明的概念图。
图9是表示测距值的移位量的简易计算方法的概念图。
图10是表示测距装置的视线方向的监视区域的范围的平面图。
图11是表示测距装置的视线方向的监视区域的范围的范围值表的图。
图12是表示外部物体引起的测距值的移位量的等高线图。
图13是表示监视区域的校正的平面图。
图14是校正后的监视区域的放大图。
图15是表示物体监视***的动作的一个例子的概要流程图。
图16是表示外部物体引起的测距值的校正量的等高线图。
图17是表示受到稍微进入到监视区域的监视物体的多路径的影响的测距点群的平面图。
图18是表示推定测距值的校正量(移位量)的监视物体的检测区域的图。
图19是表示校正监视物体的测距点群的样子的放大图。
图20是表示物体监视***的动作的一个例子的概要流程图。
具体实施方式
以下，参照附图对本公开的实施方式进行详细说明。在各附图中，对相同或者类似的构成要素标注相同或者类似的符号。另外，以下记载的实施方式不限定请求专利保护的范围所记载的发明的技术范围和用语的意义。
图1是表示一个实施方式的物体监视***1的结构的框图。物体监视***1具备测距装置10、计算机装置20以及信号输出部27，构成为监视在监视区域内有无物体。测距装置10、计算机装置20以及信号输出部27经由有线、无线等网络等连接，能够相互进行通信。在其他的实施方式中，测距装置10、信号输出部27以及计算机装置20的至少一部分也可以通过总线连接等而被一体化。信号输出部27具有向外部设备输出一个或者多个信号的信号输出功能，另外，有时还具有一个或者多个信号输入功能的情况。作为网络的通信控制，例如存在以太网(注册商标)、USB等通信控制。
测距装置10例如是TOF照相机，基于向对象空间照射的参照光与来自对象空间的反射光之间的相位差，输出对象空间的测距值数据11。并且，测距装置10有时输出从对象空间反射的参照光的光强度值数据12。
计算机装置20具备：CPU21、RAM22、ROM23、输入输出部24、非易失性存储器25以及显示部26。非易失性存储器25存储包含由用户设定的监视区域的三维信息的监视区域数据31。CPU21在将RAM22设为工作RAM而执行存储于ROM23的物体监视程序30时，从非易失性存储器25读出监视区域数据31，并且经由输入输出部24从测距装置10读出测距值数据11、光强度值数据12等。CPU21基于测距值数据11和监视区域数据31判定监视区域内有无物体，在监视区域内存在监视物体的情况下，使信号输出部27发挥作用而输出物体检测信号。另外，显示部26显示来自测距装置10的测距值数据11或者光强度值数据12作为图像。
并且，本实施方式的物体监视***1具有如下功能：推定监视区域外的外部物体引起的测距值的移位量，基于推定出的移位量，校正监视区域内的物体有无判定。CPU21基于外部物体的测距值数据11求出对象空间内的外部物体的配置，按照求出的配置，计算出外部物体引起的测距值的移位量数据32。另外，根据需要，CPU21除了外部物体的配置之外，还根据外部物体的光强度值数据12计算出测距值的移位量数据32。也可以将测距值的移位量数据32与外部物体数据33关联起来存储于非易失性存储器25作为物体监视日志。
图2是表示物体监视***1的应用例的平面图。在本例中，为了避免搬运载置于作业台40的工件41的机器人42与工作人员43之间的干涉，用户设定监视区域44，物体监视***1基于测距装置10的测距值数据等来判定在监视区域44内是否存在工作人员43。本例的监视区域44在安全护栏45的开口部附近规定为立方体形状，但若在测距装置10的对象空间46中，则能够以任意的形状设定于任意的场所。另外，物体监视***1输出的物体检测信号通常使用为考虑安全而通过监视区域44的监视使与工作人员43分离的机器人、机床等危险源的动力停止的信号。
图3是表示可能引起多路径的外部物体47的一个例子的平面图。将外部物体47定义为位于测距装置10的对象空间46内，并且存在于监视区域44的外部的物体。外部物体47可以是墙壁、柱等不动物体，也可以是图3所示的硬纸板、椅子等可动物体。因此，在对象空间46内有可能存在多个可能引起多路径的外部物体47。
因图3所示的外部物体47的影响，工作人员等的监视物体36的测距值发生移位(增大)。因此，特别是在监视区域44的远方区域48，即便实际的监视物体36’存在于监视区域44内的情况下，也误判定为受到多路径的影响的监视物体36不存在于监视区域44内。能够基于下述的原理推定该测距值的移位量。
图4是表示根据对象空间中的外部物体的配置(向量Ai、向量Bi以及法线向量si(i为整数))推定对象空间(点Pj(j为整数))中的测距值的移位量的原理的概念图。向量Ai是从测距装置10的光源连结外部物体47的微小面Δsi的向量，向量Bi是从外部物体47的微小面Δsi连结点Pj的向量。在图4中，简要代表地示出了点A-点D这4点的微小面，但应留意实际上从外部物体47的表面整体反射的光照亮点Pj。另外，法线向量si是相对于外部物体47的微小面Δsi垂直的向量。
测距装置10基于光的飞行时间进行测距，因此点Pj的物体测距不仅受从点Pj直接反射过来的单反射光的距离延迟Td的影响，还受经由外部物体47从点Pj反射过来的多重反射光的去路延迟Tf的影响。因此，多重反射光的去路延迟Tf取决于向量Ai的大小和向量Bi的大小的和。另外，点Pj的物体测距不仅受从点Pj直接反射过来的单反射光的光强度Lo的影响，还受经由外部物体47从点Pj反射过来的多重反射光的光强度值Lf的影响。在考虑外部物体47的微小面Δsi的情况下，微小面Δsi的法线向量si越朝向测距装置10，测距装置10的参照光越向微小面Δsi强烈地照射。另外，微小面Δsi的法线向量si越朝向点Pj，点Pj越受到强烈的影响。换言之，点Pj处的物体测距取决于对象空间中的(即相对于点Pj的)外部物体47的微小面Δsi的配置(向量Ai、向量Bi以及法线向量si)。因此，能够基于外部物体47的测距值求出对象空间中的外部物体47的配置，根据求出的配置来推定外部物体47所引起的测距值的移位量。
图5A和图5B是表示根据外部物体的反射率(ρ和ρ’(ρ＜ρ’))推定对象空间(例如点Pj)中的测距值的移位量的原理的概念图。图5A示出了黑色等低反射率ρ的外部物体47，图5B示出了白色等高反射率ρ’的外部物体47。在低反射率ρ的外部物体47的情况下，点Pj中的物体测距几乎不受外部物体47的影响，大体仅取决于从点Pj直接反射来的单反射光的光强度值Lo。但是，在高反射率ρ’的外部物体47的情况下，点Pj中的物体测距也取决于经由外部物体47从点Pj反射来的多重反射光的光强度值Lf。因此，外部物体47所引起的测距值的移位量除了上述的配置之外，还根据需要基于外部物体47的反射率(ρ和ρ’)进行推定。由此，测距值的移位量的计算精度提高。此外，在本申请中虽未详细提到，但根据物体的反射率、配置关系，也存在产生在物体之间多次反射而成的参照光的影响的情况。该影响虽不大，但加上这些进行计算，由此能够期待精度进一步的提高。以下，对这种移位量的理论的计算式或者简易的计算式进行说明。应留意这些计算式回顾计算机装置20的计算性能等，基于实机中的验证，校正系数等后使用。
图6是用于对测距值的移位量的计算式进行说明的概念图。图6的图表示出了通过测距装置接受的光的脉冲波。图表的纵轴表示光强度，横轴表示时间。以周期Tp调制参照光的强度，从点Pj直接反射来的单反射光(i)具有脉冲宽度Tp/2、光强度值Lo以及距离延迟Td。除了该本来的单反射光之外，经由外部物体从点Pj反射来的多重反射光(ii)由在外部物体的微小面Δsi反射，并具有延迟的相位的反射光成分的和构成。在图7中，代表性地示出了图5所示的点A-点D这4点的反射光成分的和。实际上，接受将单反射光(i)和多重反射光(ii)复合的变形了的复合反射光(iv)。
测距装置10在接受变形了的复合反射光(iv)的情况下，根据其测距原理，作为矩形状的等效光(vi)进行测距。即使考虑将多重反射光(ii)设为去路延迟Tf、光强度值Lf、时间宽度Tp/2的矩形状的等效光(iii)，等效光(iii)相对于实际接受的变形了的复合反射光(iv)的影响也如(v)和(vi)所示那样成为等效。此时，根据阴影部a和阴影部b的面积相等的关系，将阴影部a的时间宽度设为t时，获得下述式。
t·Lo＝(Tf-Td/2-t)·Lf…式1
另外，若将式1变形，则能够获得下述式。
t＝(Tf-Td/2)·Lf/(Lo+Lf)…式2
其中，阴影部a的时间宽度t与受到外部物体的影响的复合反射光的等效光(vi)的距离延迟Td’和未受到外部物体的影响的单反射光(i)的距离延迟Td的差值相等，因此能够获得下述式。
Td′-Td＝(Tf-Td/2)·Lf/(Lo+Lf)…式3
上述的距离延迟之间的差值Td’-Td是往返路的距离延迟之间的差值，因此如下述式那样乘以光速c后除以2，由此推定外部物体引起的测距值的实际的移位量Ds。因此，若求出式3的右边，则能够推定测距值的移位量Ds。
在式3中，根据预先决定的点Pj的位置求出单反射光(i)的距离延迟Td。另外，能够根据预先决定的点Pj的位置和在物体监视***1中规定的监视物体的反射率假定影响最大的反射率来计算单反射光(i)的光强度值Lo。因此，求出式3中的多重反射光的光强度值Lf和去路延迟Tf，由此能够求出距离延迟之间的差值Td’-Td，进而求出测距值的移位量Ds。
图7是用于对多重反射光的光强度值Lf和去路延迟Tf的计算式进行说明的概念图。来自外部物体的微小面Δsi的反射光成分具有脉冲宽度Tp/2、光强度ΔLi以及去路延迟ΔTi。在考虑将这些反射光成分设为脉冲宽度Tp/2、光强度Lf、去路延迟Tf的等效光的情况下，Lf、Tf成为如下述式那样。
Lf＝∑ΔLi…式5
在此，对式5、式6的ΔLi、ΔTi进行研究。图8是用于对来自外部物体47的微小面Δsi的反射光成分的光强度值ΔLi和去路延迟ΔTi的计算式进行说明的概念图。将外部物体47的微小面Δsi的面积设为Δsi，将各微小面Δsi的反射率设为ρi，将向量Ai与法线向量si所成的角设为θi，将向量Bi与法线向量si所成的角设为αi。经由微小面Δsi从点Pj反射来的反射光成分的光强度值ΔLi与反射率ρi对应地变化，与距离的平方成反比例，与θi、αi各自的余弦对应地变化。另外，根据向量Ai和向量Bi的大小、光速c求出经由微小面Δsi从点Pj反射来的反射光成分的去路延迟ΔTi。因此，根据下述式求出ΔLi、ΔTi。其中，k为比例系数。
因此，式6中的ΔTi·ΔLi的关系式根据式7、式8而成为下述那样。
在此，能够使用测距装置输出的微小面Δsi的周边的多个距离信息来推定法线向量si。因此，若求出法线向量si，则能够求出与向量Ai所成的角θi、与向量Bi所成的角αi。
另外，基于测距装置输出的测距值检测出外部物体47的微小面Δsi，因此微小面Δsi的法线向量si一定朝向测距装置侧。因此，成为0°≤θi≤90°。另外，成为0°＜αi＜90°的范围外的外部物体47的微小面Δsi是不朝向点Pj的方向的面，因此也可以从测距值的移位量Ds的计算中排除。
若将式7、式9代入式5、式6，则能够根据下述式求出多重反射光的光强度值Lf和去路延迟Tf。
式10、式11中的i为整数，因此这些式以离散的值计算出了多重反射光的光强度值Lf和去路延迟Tf。并且，若将式10、式11如下述式那样表现为积分式，则以连续的值计算出了Lf、Tf。即，下述的积分式更加精密地计算出了经由外部物体47的全部反射面S从点Pj反射来的多重反射光的光强度值Lf、去路延迟Tf。换言之，基于从外部物体47的测距值推定出的形状计算出测距值的移位量Ds。此外，应留意在下述的积分式中，还将反射面S的反射率设为固定值ρs。另外，根据反射面S的任意的位置决定下述式中的cosθs、cosαs、向量As以及向量Bs。
另外，如上所述，假定外部物体47的光的反射为兰伯特反射(Lambertreflection)时，在反射面S的反射率ρs、光强度值数据Ls以及测距值数据As(即，向量As的大小)之间，下述的关系式成立。在此，ks为比例系数。
因此，若将式14变形，则如下述式所示那样，也能够根据反射面S的代表点的光强度值数据Li和测距值数据Ai求出反射面S的反射率ρs。
另外，在外部物体47的反射面S具有多个，即具有m个(m为2以上的整数)的情况下，也能够针对在式12、式13中求出的各个Lfj、Tfj(1≤j≤m)，进一步进行下述式的计算，而推定多个反射面S所引起的测距值的移位量Ds。若应用下述式，则即便在对象空间中存在多个外部物体47的情况下，也能够推定测距值的移位量。此外，应留意对于来自测距装置10的参照光经由多个外部物体47从点Pj多重反射来的情况下的测距值的移位量Ds，考虑多个外部物体的配置与根据需要的多个外部物体的反射率来进行推定。
图9是表示测距值的移位量的简易计算方法的概念图。以下，对回顾计算机装置的计算性能等，注目于测距装置的图像传感器50的像素单位的简易计算方法进行说明。在图像传感器50的各像素中分别存在伴随视线方向的视场范围。因此，能够认为上述的微小面Δsi相当于在像素ui的视场范围内存在的外部物体的一部分的面。
在各像素的视场范围内，在将从测距装置的透镜51的中心起位于单位距离，且相对于图像传感器50正对的平面的单位面积设为s0的情况下，位于任意的像素ui的测距值Ai所示的位置的外部物体47的一部分的面的面积Δsi与距离的平方成正比，且与和法线向量si所成的角θi的余弦大体成反比例，因此能够根据下述的近似式求出。此外，k为比例系数。
因此，将式18代入到式10、式11，使用新的比例系数kp时，多重反射光的光强度值Lf、去路延迟Tf能够根据以构成外部物体47的各像素为单位简化了的下述式求出。
作为测距装置10无法输出光强度值数据的情况，或者将计算式进一步简化的方法，在式19、式20中，将反射率ρi设为固定值，使用新的比例系数kp1时，多重反射光的光强度值Lf、去路延迟Tf能够根据进一步简化了的下述式求出。
式21、式22成为仅以测距装置输出的各像素的测距值计算点Pj的测距值的移位量Ds的方法。此外，基于实际测量并鉴于实用性来决定比例系数kp1。
另外，如上所述，假定外部物体47的光的反射为兰伯特反射时，各像素的光强度值Ii反映各像素担当的外部物体47的一部分的面的反射率。因此，将式15代入到式19、式20，使用新的比例系数kp2时，能够获得下述式。
式23、式24成为针对式21、式22使用测距装置输出的各像素的外部物体47的光强度值来计算点Pj的测距值的移位量Ds的方法。由此，能够加上外部物体的反射率的影响，因此测距值的移位量Ds的计算精度提高。此外，比例系数kp2基于实际测量并鉴于实用性决定。另外，根据与注目像素ui邻接的多个像素的测距值求出法线向量si。为了将计算式进一步简化，也可以将cosαi设为最大值的1。
以下，说明基于如上所述推定出的移位量Ds，校正监视区域内有无物体的判定的2个实施例。
图10是表示测距装置10的视线方向上的监视区域44的范围的图，图11是表示图10的监视区域44的范围的范围值表52的图。作为判定监视区域44内有无监视物体36的方法之一，有如下的方法：针对用户设定的监视区域44，预先制作表示测距装置10的图像传感器的各像素u(i，j)的视线方向上的监视区域44的范围的范围值表52，判定在每个像素u(i，j)中测定出的测距值是否在范围值表52的近位值(near value)Dnear与远位值(far value)Dfar的范围内，由此进行监视区域44的物体监视。在图10所示的例子中，监视物体36的第1测距点群53在范围值表52的范围外，但监视物体36的第2测距点群54在范围值表52的范围内，因此判定为监视物体36存在于监视区域内。此外，也存在不使用近位值Dnear，而通过远位值Dfar以内来判定为监视物体36存在于监视区域内的物体监视***。
＜实施例1(监视区域的校正)＞
图12是表示外部物体47引起的测距值的移位量的等高线图。为了使理解变得容易，在图12中，针对监视区域44及其周边区域，也示出了测距值的移位量的等高线，但应留意仅针对监视区域44的远方侧边缘55推定本例中的测距值的移位量。此外，只要是立方体形状的监视区域44，则监视区域44的远方侧边缘55定义为监视区域44的背面、右侧面、左侧面、上表面以及下表面。仅针对监视区域44的远方侧边缘55推定测距值的移位量，由此能够抑制计算机装置的计算成本。
图13是表示监视区域44的校正的平面图，图14是校正后的监视区域44’的放大图。在本例中，仅对监视区域44校正(扩张)与仅针对监视区域44的远方侧边缘55推定出的移位量对应的量，而生成校正后的监视区域44’。即，校正图11的范围值表52的远位值Dfar。如图14所示，监视区域44’中的第1远位值56扩张了约25mm，第2远位值57扩张了约100mm。校正监视区域44后，基于校正后的范围值表52，进行校正后的监视区域44’内有无物体的判定。由此，能够进行考虑了多路径的影响的物体监视。
图15是表示本例的物体监视***的动作的概要流程图。在步骤S10中，从测距装置取得外部物体的测距值数据。在步骤S11中，根据需要从测距装置取得外部物体的光强度值数据。在步骤S12中，基于外部物体的测距值求出对象空间中的外部物体的配置(向量Ai、向量Bi以及法线向量si)。
在步骤S13中，基于求出的配置与根据需要的外部物体的光强度值(Li)，仅针对监视区域的远方侧边缘推定测距值的移位量(Ds)。在步骤S14中，基于推定出的移位量校正监视区域。在步骤S15中，判定监视物体是否在校正后的监视区域内。当监视物体不在校正后的监视区域内的情况下(步骤S15的“否”)，基于校正后的监视区域反复进行有无物体的判定(步骤S15)。当监视物***于校正后的监视区域内的情况下(步骤S15的“是”)，在步骤S16中输出物体检测信号。
＜实施例2(监视物体的测距值的校正)＞
图16是表示外部物体47引起的测距值的校正量的等高线图，图17是表示受到了稍微进入到监视区域的监视物体36’的多路径的影响的测距点群58的平面图。图16和图17所示的校正量的等高线以测距装置10测距的测距值，即测距值表示的测距点(位置)为基准，表示测距值的校正量(移位量)的分布，应留意分布和符号与图12和图13所示的移位量的等高线不同。这样，推定测距装置10测距的测距值的校正量(移位量)，判定校正了测距值的监视物体是否在监视区域内。
为了使理解变得容易，在图16和图17中，针对监视区域44及其周边区域也示出了测距值的校正量的等高线，但本例的测距值的校正量(移位量)仅针对在测距装置10的对象空间46进入到监视区域44前的监视物体的测距点群58进行推定。例如作为方法之一，本例的物体监视***能够将在测距装置10的对象空间46中移动的物体作为监视物体进行校正量(移位量)的推定。由此，能够抑制计算机装置的计算成本。
另外，作为其他的方法，本例的测距值的校正量(移位量)也可以如监视物体的测距点群58那样仅针对监视区域44的周边区域的测距点进行推定。图18是表示推定测距值的校正量(移位量)的监视物体的检测区域的图。例如，监视物体能够如图18所示能够检测为在使监视区域以预定的扩张距离r扩张后的区域内被测距的物体。扩张距离r可以是预先基于真机的验证等而求出的固定的距离，或者，也可以设为通过本例的外部物体47推定出的等高线的最低值部分的距离，即校正量的最大值。由此，能够抑制计算机装置的计算成本。
图19是表示校正监视物体的测距点群58的方式的放大图。将测距点群58的各测距点(位置)与表示测距值的校正量的等高线图进行对照，或者，根据测距点群58推定测距值的校正量(移位量)，由此能够获得测距点群58的各测距点的校正量，获得校正后的测距点群61。在图19所示的例子中，监视物体的第1测距值59被校正(减少)了约50mm，第2测距值60被校正(减少)了约60mm。在校正监视物体的测距值后，基于校正后的测距值，进行监视区域44内有无物体的判定。由此，能够进行考虑了多路径的影响的物体监视。
图20是表示本例的物体监视***的动作的概要流程图。在步骤S20中，从测距装置取得外部物体的测距值数据。在步骤S21中，根据需要从测距装置取得外部物体的光强度值数据。在步骤S22中，基于外部物体的测距值求出对象空间中的外部物体的配置(向量Ai、向量Bi以及法线向量si)。
在步骤S23中，基于求出的配置与根据需要的外部物体的光强度值(Li)，仅针对进入到监视区域前的监视物体推定测距值的校正量(移位量)。在步骤S24中，基于推定出的校正量(移位量)校正监视物体的测距值。在步骤S25中，判定校正测距值后的监视物体是否在监视区域内。当校正了测距值的监视物体不在监视区域内的情况下(步骤S25的“否”)，返回到监视物体的测距值的校正量(移位量)的推定(步骤S23)。在校正了测距值的监视物体在监视区域内的情况下(步骤S25的“是”)，在步骤S26中输出物体检测信号。
根据以上的实施方式，能够考虑多路径的影响地进行更准确的物体监视。
执行上述的流程图的程序也可以记录于计算机可读取的非暂时记录介质，例如CD-ROM等并提供。
在本说明书中，对各种实施方式进行了说明，但本发明不限定于上述的实施方式，应识别能够在以下的权利要求书所记载的范围内进行各种变更。

Claims (8)

1.一种物体监视***，其具备基于向对象空间照射的参照光与来自所述对象空间的反射光的相位差来输出所述对象空间的测距值的测距装置，并且，基于所述测距值来判定监视物体是否存在于在所述对象空间中决定的监视区域内，其特征在于，所述物体监视***具备：
基于所述对象空间中的所述监视区域外的外部物体的所述测距值求出所述外部物体的配置，并根据求出的所述配置来推定经由所述外部物体反射过来的多重反射光所引起的所述测距值的移位量的单元；以及
基于所述推定出的移位量，对所述判定进行校正的单元。
2.根据权利要求1所述的物体监视***，其特征在于，
所述测距装置还输出所述对象空间的光强度值，除了所述配置之外，还根据所述外部物体的所述光强度值来推定所述移位量。
3.根据权利要求1或2所述的物体监视***，其特征在于，
仅针对所述监视区域的远方侧边缘推定所述移位量。
4.根据权利要求1或2所述的物体监视***，其特征在于，
通过校正所述监视区域来进行所述判定的校正。
5.根据权利要求1或2所述的物体监视***，其特征在于，
基于表示所述测距装置的视线方向上的所述监视区域的范围的范围值表来进行所述判定，并通过校正所述范围值表来进行所述判定的校正。
6.根据权利要求1或2所述的物体监视***，其特征在于，
通过校正所述监视物体的所述测距值来进行所述判定的校正。
7.根据权利要求1或2所述的物体监视***，其特征在于，
仅针对在所述对象空间内移动的所述监视物体推定所述移位量。
8.根据权利要求1或2所述的物体监视***，其特征在于，
所述监视物体被检测为将所述监视区域以预定的扩张距离扩张后的区域内的物体。
CN201911008057.5A 2018-10-31 2019-10-22 具有测距装置的物体监视*** Active CN111198384B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018205753A JP7025317B2 (ja) 2018-10-31 2018-10-31 測距装置を有する物体監視システム
JP2018-205753 2018-10-31

Publications (2)

Publication Number Publication Date
CN111198384A CN111198384A (zh) 2020-05-26
CN111198384B true CN111198384B (zh) 2024-04-05

Family

ID=70327039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911008057.5A Active CN111198384B (zh) 2018-10-31 2019-10-22 具有测距装置的物体监视***

Country Status (4)

Country Link
US (1) US11454721B2 (zh)
JP (1) JP7025317B2 (zh)
CN (1) CN111198384B (zh)
DE (1) DE102019007414A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7404983B2 (ja) 2020-04-10 2023-12-26 株式会社オートネットワーク技術研究所 給電制御装置
JP7446921B2 (ja) * 2020-05-29 2024-03-11 株式会社東芝 移動体、距離計測方法および距離計測プログラム
CN111596694B (zh) 2020-07-21 2020-11-17 追创科技(苏州)有限公司 自动回充方法、装置、存储介质及***
CN113820720B (zh) * 2021-11-22 2022-01-25 成都星宇融科电力电子股份有限公司 基于多参考基点的三维激光中心测距方法、***及终端
CN115600034B (zh) * 2022-12-12 2023-03-10 深圳酷源数联科技有限公司 一种目标图像检测方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655197A (zh) * 2002-03-13 2005-08-17 欧姆龙株式会社 监视装置
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
CN102113013A (zh) * 2009-07-22 2011-06-29 松下电器产业株式会社 视差检测装置、测距装置及视差检测方法
JP2012021822A (ja) * 2010-07-12 2012-02-02 Takenaka Electronic Industrial Co Ltd 光位相差検出式の物体検知センサ
JP2018205030A (ja) * 2017-05-31 2018-12-27 富士通株式会社 距離測定装置、距離測定方法および距離測定プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113624A (ja) * 1995-10-20 1997-05-02 Nikon Corp 光波測距装置
JPH09113623A (ja) * 1995-10-20 1997-05-02 Nikon Corp 光波測距装置
US7212160B2 (en) * 2004-02-17 2007-05-01 Polytechnic University Locating an object of interest using back tracked-rays derived from multipath signals
JP5812713B2 (ja) * 2011-06-20 2015-11-17 三菱電機株式会社 レーザ測距装置
JP6309459B2 (ja) * 2012-02-15 2018-04-11 ヘプタゴン・マイクロ・オプティクス・ピーティーイー・エルティーディーＨｅｐｔａｇｏｎ Ｍｉｃｒｏ Ｏｐｔｉｃｓ Ｐｔｅ．Ｌｔｄ． ストライプ照明の飛行時間型カメラ
JP6241793B2 (ja) 2012-12-20 2017-12-06 パナソニックＩｐマネジメント株式会社 ３次元測定装置および３次元測定方法
WO2017138033A1 (en) * 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
WO2017138032A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US10234561B2 (en) * 2016-05-09 2019-03-19 Microsoft Technology Licensing, Llc Specular reflection removal in time-of-flight camera apparatus
JP2019015706A (ja) * 2017-07-11 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及びモニタリング装置
CN110456369B (zh) 2019-07-30 2022-03-08 炬佑智能科技(苏州)有限公司 飞行时间传感***及其测距方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655197A (zh) * 2002-03-13 2005-08-17 欧姆龙株式会社 监视装置
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
CN102113013A (zh) * 2009-07-22 2011-06-29 松下电器产业株式会社 视差检测装置、测距装置及视差检测方法
JP2012021822A (ja) * 2010-07-12 2012-02-02 Takenaka Electronic Industrial Co Ltd 光位相差検出式の物体検知センサ
JP2018205030A (ja) * 2017-05-31 2018-12-27 富士通株式会社 距離測定装置、距離測定方法および距離測定プログラム

Also Published As

Publication number Publication date
US11454721B2 (en) 2022-09-27
JP2020071143A (ja) 2020-05-07
CN111198384A (zh) 2020-05-26
DE102019007414A1 (de) 2020-04-30
US20200132846A1 (en) 2020-04-30
JP7025317B2 (ja) 2022-02-24

Similar Documents

Publication Publication Date Title
CN111198384B (zh) 具有测距装置的物体监视***
EP3552180B1 (en) Distance sensor including adjustable focus imaging sensor
US10430956B2 (en) Time-of-flight (TOF) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection
EP3100002B1 (en) Camera calibration method
US9134117B2 (en) Distance measuring system and distance measuring method
US10242438B2 (en) Information processing apparatus, control method of information processing apparatus, and storage medium for image recognition of the assembly of an object
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
US11415686B2 (en) Method of modelling a scanning distance sensor for prototyping parameters of such sensor and/or for prototyping software processing the output of such sensor
WO2014074003A1 (ru) Способ контроля линейных размеров трехмерных объектов
Cain et al. Laser based rangefinder for underwater applications
US11846708B2 (en) Object monitoring system including distance measuring device
JP6920159B2 (ja) 車両の周辺監視装置と周辺監視方法
KR101266394B1 (ko) 거리측정 센서의 입사각 영향에 따른 오차 보정방법
KR20200065945A (ko) 라이다 데이터와 카메라 객체 인식 데이터를 결합한 정지 신호 발생 방법
EP3748395B1 (en) Method and apparatus for compensating stray light caused by an object in a scene that is sensed by a time-of-flight camera
KR20220079406A (ko) 선박 보조 교정 시스템 및 그 운용 방법
JP2018179654A (ja) 距離画像の異常を検出する撮像装置
Denisov et al. Three-beam triangulating sensor
US20210048286A1 (en) Detection device
Spiess et al. A data-driven sensor model for lidar range measurements used for mobile robot navigation
US20240233154A1 (en) Remote distance estimation system and method
CN116068581A (zh) 车辆激光雷达获得的激光雷达点云中的边缘点和平面点的识别的虚拟波束
KR20170008133A (ko) 회전 모듈과 거리 센서간의 위치 변환 관계 추정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant