CN111343418A - 具有测距装置的物体监视*** - Google Patents
具有测距装置的物体监视*** Download PDFInfo
- Publication number
- CN111343418A CN111343418A CN201911299576.1A CN201911299576A CN111343418A CN 111343418 A CN111343418 A CN 111343418A CN 201911299576 A CN201911299576 A CN 201911299576A CN 111343418 A CN111343418 A CN 111343418A
- Authority
- CN
- China
- Prior art keywords
- determination
- image
- distance
- invalid
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 59
- 238000003384 imaging method Methods 0.000 claims abstract description 46
- 238000005259 measurement Methods 0.000 claims description 46
- 239000002131 composite material Substances 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 10
- 230000000052 comparative effect Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种具有测距装置的物体监视***,该物体监视***具备测距装置以及计算机装置,测距装置一边重复包含不同的拍摄模式的拍摄周期一边针对每个拍摄模式生成对象空间的距离图像,每当针对每个拍摄模式生成距离图像时,计算机装置判断对象空间中划定的监视区域内有无物体。
Description
技术领域
本发明涉及具有测距装置的物体监视***,尤其涉及解决多重拍摄时的各种问题的物体监视***。
背景技术
作为测量距物体的距离的测距装置,已知基于光的飞行时间来输出距离的TOF(time of flight:飞行时间)照相机。TOF照相机多采用如下相位差方式:向对象空间照射以预定周期强度调制的参照光,基于参照光与来自对象空间的反射光之间的相位差来输出对象空间的测距值。
在现有的TOF照相机中,存在由于图像传感器的动态范围不足而无法在期望的测距范围内1次性拍摄到特定反射率的物体(例如,白色材料、黑色材料、逆反射材料等)的情况。为了应对这样的问题,存在使参照光的发光量、曝光时间、光阑值或他们的组合等(以下称为拍摄模式)变化来进行多次拍摄的方法。例如,如图10所示,设定曝光小的拍摄模式#1、曝光中等小的拍摄模式#2、曝光中等大的拍摄模式#3以及曝光大的拍摄模式#4这4种拍摄模式并进行多次拍摄,由此能够满足所需的动态范围。
在以不同的拍摄模式进行多次拍摄的情况下,TOF照相机输出多张距离图像。例如,如图11所示,在将白色圆柱、黑色三角棱柱以及逆反射板配置在背景板的前方并以4种拍摄模式进行拍摄的情况下,生成如图12所示的4种距离图像#1~#4。在这些距离图像中,黑色为由于过远或曝光不足而不能测距的像素,白色为由于饱和而不能测距的像素,灰色为能够测距的像素。此外,图中的白色以及黑色的虚线是为了表示各物体的位置而添加的虚拟线。浅灰色是测距值小而表示较近的物体的像素,浓灰色是测距值大而表示较远的物体的像素。可知在曝光小的距离图像#1中仅能对逆反射板进行测距,而在曝光大的距离图像#4中仅能对黑色三角棱柱的较暗的部分进行测距。通过合成这4种距离图像,能够获得期望的距离图像。作为这样的多重拍摄技术,已知日本特开2017-181488号公报,作为利用TOF照相机的物体检测技术,已知日本特表2015-513825号公报。
日本特开2017-181488号公报中记载了如下内容:在以不同的拍摄条件获取的多个距离图像之间,基于与距离图像内的各像素对应的受光强度来提取表示较大的受光强度的像素,将所提取的像素用于多个距离图像的合成距离图像。
在日本特表2015-513825号公报中记载了适当地设定TOF照相机的曝光时间来获取距离图像以及基于检测用距离图像对检测区域内的对象物进行检测。
发明内容
在利用TOF照相机等测距装置并基于距离图像对监视区域内的物体进行检测的物体监视***中,当基于受光强度合成以多种拍摄模式获取的多张距离图像时,会发生后述的问题。
例如,如图13A所示,考虑在低反射率的物体60相对于背景从左向右高速移动时TOF照相机61以2倍的曝光差进行2次拍摄的情况。此时,如图13B所示,假定在曝光大的拍摄模式#1中背景的受光强度为1000,低反射率的物体的受光强度为400,在曝光小的拍摄模式#2中背景的受光强度为500。将拍摄模式#1中的物体的受光强度400与拍摄模式#2中的同一位置的受光强度500进行比较,采用更大的受光强度即拍摄模式#2的像素的测距值来合成2个距离图像。因此,在合成距离图像中不存在物体。即,当存在n倍的曝光差且相对于背景反射率小于1/n的物体高速移动时,会发生合成距离图像中物体消失这一问题。
另一方面,在被用作安全装置的物体监视***中,期望尽早检测出物体,但在这样的距离图像的合成方法中,若多种拍摄没有轮完一次则无法判定物体的有无,因此也会存在物体检测延误这样的问题。同样地,在以不同的拍摄模式获取的多张距离图像中针对每个像素参照受光强度并比较受光强度来生成合成距离图像的方法成为处理繁重、物体检测延误的一个原因。
因此,需要解决多重拍摄时的各种问题的技术。
本公开的一个实施方式提供一种物体监视***,其具备测距装置以及计算机装置,测距装置一边重复包含不同的拍摄模式的拍摄周期一边针对每个拍摄模式生成对象空间的距离图像,计算机装置基于距离图像判断对象空间中划定的监视区域内有无物体,每当针对每个拍摄模式生成距离图像时,计算机装置基于距离图像内的各像素的测距值是否有效且测距值是否在监视区域内的判定结果来判断监视区域内有无物体。
附图说明
图1是安装有3种物体判定方法的物体监视***的框图。
图2是表示特定反射率的物体的立体图。
图3是表示侵入监视区域的物体的立体图。
图4是表示方法1的物体判定的示意图。
图5是表示方法1的物体检测信号的一个例子的时序图。
图6A是表示方法1的效果的时序图。
图6B是比较例的时序图。
图7是表示方法2的物体判定的示意图。
图8是表示方法2的效果以及比较例的示意图。
图9是表示方法3的物体判定的示意图。
图10是表示4种拍摄模式的示意图。
图11是表示特定反射率的物体的立体图。
图12是表示以不同的拍摄模式获取的被摄体的多个距离图像以及合成该距离图像而得的合成距离图像的示意图。
图13A是表示对低反射率的物体相对于背景从左向右高速移动的方式进行拍摄的TOF照相机的立体图。
图13B是表示以曝光时间相差2倍的拍摄模式获取的受光强度图像以及距离图像的示意图。
具体实施方式
以下,参照附图详细地说明本公开的实施方式。在各附图中,对相同或类似的结构要素标注相同或类似的符号。另外,以下所记载的实施方式并不用于限定请求专利保护的范围所记载的发明的技术范围以及术语的含义。
参照图1对解决多重拍摄时的各种问题的3种物体判定方法进行说明。图1是安装有3种物体判定方法(方法1~3)的物体监视***的框图。以下,依次说明方法1~3中的物体监视***的结构。
<方法1>
物体监视***1具备测距装置10以及计算机装置20。测距装置10与计算机装置20经由有线网络或无线网络以能够相互通信的方式连接,或者可以通过总线连接等一体化地构成。
测距装置10是由TOF照相机、激光扫描仪等构成的测距装置,一边重复包含不同的拍摄模式的拍摄周期一边针对每个拍摄模式依次生成距离图像。测距装置10具备输入输出部11、发光拍摄控制部12、照射部13、受光部14、A/D变换部15以及距离图像生成部16。
输入输出部11将拍摄模式、拍摄周期等的设定值从计算机装置20输入到测距装置10,并将针对每个拍摄模式生成的距离图像从测距装置10依次输出给计算机装置20。作为代替实施方式,拍摄模式、拍摄周期等的设定值也可以在测距装置10侧输入并输出到计算机装置20侧。
拍摄模式由参照光的发光量、曝光时间、光阑值或者它们的组合等构成。例如,根据被摄体的反射率、外部光等外部因素设定为拍摄模式#1:发光量大且曝光小,拍摄模式#2:发光量大且曝光中等,拍摄模式#3:发光量大且曝光大。
拍摄周期为包含多种拍摄模式的1个周期,既可以如#1→#2→#3这样仅以不同的拍摄模式来设定,或者也可以如#1→#1→#2→#4这样以包含同一拍摄模式的方式来设定。在前者中,以#1→#2→#3→#1→#2→#3···这样的方式重复拍摄周期,在后者中,以#1→#1→#2→#4→#1→#1→#2→#4这样的方式重复拍摄周期。
发光拍摄控制部12基于拍摄模式以及拍摄周期控制照射部13的发光以及受光部14的拍摄。照射部13具备发出进行了强度调制的参照光的光源、向对象空间照射参照光的扩散板或MEMS镜等扫描机构。受光部14具备对来自对象空间的反射光进行聚光的聚光透镜、仅使特定波长的参照光透过的光学滤光片、接收反射光的受光元件等。受光部14在相对于参照光的发光定时将相位例如偏移0°、90°、180°、270°而得的4种曝光定时反复接收光,并针对每个相位蓄积电荷量Q1~Q4。
A/D变换部15将蓄积在受光部14的电荷量Q1~Q4进行放大并进行A/D变换。此时,如果饱和或曝光不足,则代替A/D变换值输出表示不能测距的奇异值(例如,饱和:9999,曝光不足:9998)。距离图像生成部16基于电荷量Q1~Q4的A/D变换值求出参照光与反射光的相位差,并根据相位差计算出测距值并生成距离图像。以下示出相位差Td及测距值L的计算公式的一个例子。在下式中,c为光速,f为参照光的调制频率。此外,在不能测距的情况下,代替测距值生成包含奇异值的距离图像。
本示例的测距装置10还可以具备精度计算部17。精度计算部17针对距离图像内的各像素基于电荷量Q1~Q4的关系来计算出测距值的精度,并依次生成与距离图像对应的精度图像。以下示出精度P的计算公式的一个例子。在下式中,D为电荷量Q1、Q3的和与电荷量Q2、Q4的和的差值,I为受光强度,h为百分率化等中使用的修正系数,e为根据测距装置10的构造误差、部件特性、温度特性、经年劣化、环境条件等预测的其他误差。在没有误差的理想环境下,根据4种曝光定时的相位关系,差值D成为0。因此,根据受光强度I对差值D进行比例调整,利用修正系数h进行百分绿化,并且加入其他误差e,由此能够计算出测距值的精度P。此外,其他误差e可使用实际机器实验求出。
D=|(Q1+Q3)-(Q2+Q4)|
输入输出部11也可以除了针对每个拍摄模式生成的距离图像外,还将与距离图像对应的精度图像从测距装置10依次输出给计算机装置20。
计算机装置20是由CPU(central processing unit:中央处理器)、RAM(randomaccess memory:随机存取存储器),ASIC(application specific integrated circuit:专用集成电路),FPGA(field-programmable gate array:现场可编程门阵列)等构成的计算机装置,基于距离图像判断对象空间中划定的监视区域内的物体有无。计算机装置20具备设定存储器21、输入输出部22、有效判定部23、侵入判定部24以及信号输出部25。
设定存储器21存储有预先设定的拍摄模式、拍摄周期、测距值的精度阈值、用户预先设定的监视区域等的设定值。精度阈值可以针对距离图像内的各像素的测距值统一地设定(例如,仅为±2.2%),或者也可以针对距离图像内的特定区域的像素设定多个(例如,区域A:±2.1%,区域B:±3.3%等)。监视区域被设定为测距装置10的对象空间中相对于测距装置10的三维位置,并被变换为距离图像内的各像素所眺望的监视区域的距离范围表(像素A:1.2m~2.3m,像素B:1.4m~2.4m等)而被存储。
输入输出部22将拍摄模式、拍摄周期等的设定值从计算机装置20输出给测距装置10,并且将针对每个拍摄模式生成的距离图像以及根据需要与距离图像对应的精度图像从测距装置10依次输出给计算机装置20。
有效判定部23判定距离图像内的各像素的测距值是否有效。所谓测距值的有效是指测距装置10能够测距(即,不是奇异值),或者测距值在精度阈值内(并且也不是奇异值)。在后者的场合,通过将精度图像内的各像素的精度与精度阈值进行比较来判定测距值是否有效。作为代替实施方式,也可以是测距装置10将电荷量Q1~Q4的信息输出给计算机装置20,有效判定部23与前述的精度计算部17同样地计算出各像素的测距值的精度。
侵入判定部24判定距离图像内的各像素的有效的测距值是否在监视区域内。具体地,参照监视区域的距离范围表来判定各像素的有效的测距值是否在监视区域内。这里,在方法1中,即使在判定结果是1个像素为真的情况下,侵入判定部24也直接作用于信号输出部25来输出物体检测信号。物体检测信号例如考虑到侵入监视区域的作业者的安全而用作停止与作业者隔开的机器人、机床等危险源的动力的信号。
对方法1的实施例进行说明。在本示例中,如图2所示在测距装置的对象空间中划定监视区域50,如图3所示,假定具有特定的反射特性的物体(配置于背景板43的前方的白色圆柱40、黑色三角棱柱41以及逆反射(retroreflection)板42)中的白色圆柱40的一部分及黑色三角棱柱41的一部分持续侵入监视区域50中的情况。此外,白色材料、黑色材料以及逆反射材料通常是以作业者的头发、身体、工作服等素材来假定的各种反射特性的代表性例子,用于确认测距装置所需的动态范围。
如图4所示,假定测距装置一边重复包含4种拍摄模式#1~#4的拍摄周期一边生成距离图像#1~#4。在曝光小的距离图像#1中,仅逆反射板42的测距值有效,但由于逆反射板42的测距值不在监视区域50内,因此在生成距离图像#1的时间点监视区域50内的物体有无不详。在曝光中等小的距离图像#2中,白色圆柱40以及背景板43的测距值有效且白色圆柱40的测距值在监视区域50内,因此在生成距离图像#2的时间点输出物体检测信号。
在曝光中等大的距离图像#3中,白色圆柱40的一部分、黑色三角棱柱41的一部分以及背景板43的测距值有效且白色圆柱40的测距值以及黑色三角棱柱41的测距值在监视区域50内,因此在生成距离图像#3的时间点输出物体检测信号。在曝光大的距离图像#4中,仅黑色三角棱柱41的一部分的测距值有效,但由于黑色三角棱柱41的测距值不在监视区域50内,因此在生成距离图像#4的时间点监视区域内的物体有无不详。
如此,在方法1中,在生成距离图像#2或距离图像#3的时间点输出物体检测信号。因此,在方法1中,与以往那样从基于受光强度而生成的合成距离图像检测出物体的情况相比,能够防止物体的看漏。但是,由于在生成距离图像#1,#4的时间点监视区域内的物体有无不详,因此,如图5所示,通常附加将物体检测信号保持1个周期以上的功能或者直到用户进行重置为止对物体检测信号进行锁存(latch)的功能。
图6A是表示方法1的效果的时序图,图6B是在生成合成处理图像后进行判定处理的比较例的时序图。这里,作为最坏的响应时间的情况,假定仅在拍摄模式#1未有效测距的物体在拍摄模式#1之后紧接着侵入监视区域内的情况。
在方法1中,由于针对每个拍摄模式进行判定处理,因此以4×T+α(T为拍摄模式之间的时间间隔)的响应速度来输出物体检测信号。相比之下,在比较例中,由于在生成合成距离图像之后进行判定处理,因此在2个周期后的合成距离图像中初次检测出物体。即,在比较例中以7×T+β的响应速度来输出物体检测信号。因此,与比较例相比,方法1能够提早约3×T分检测出物体。即,根据方法1的物体判定,最坏的响应速度高速化。由于设定在机器人、机床等危险源的周围的监视区域是预测作业者的移动速度而决定的,因此当响应速度慢时需要将监视区域设定地更宽,在方法1中,由于响应速度快,因此能够将监视区域设定地较小,进而能够容易地进行设备、监视区域的布局设计。作为物体监视***,该最坏的响应时间是重要的规格之一,通过使响应速度高速化能够提供安全性且便利性高的物体监视***。
<方法2>
再次参照图1说明方法2中的物体监视***1的结构。在方法2中,计算机装置20还具备第1存储器26、侵入判定合成部27以及像素群尺寸检测部28。每当针对每个拍摄模式生成距离图像时,第1存储器26将距离图像内的各像素的有效的测距值是否在监视区域内的判定结果(例如,黑色:1:监视区域内有物体,白色:0:除此以外)作为侵入判定图像进行存储。
侵入判定合成部27对规定数量的侵入判定图像进行逻辑或(logical OR)来生成侵入判定合成图像。所谓规定数量是指满足通常所需的动态范围的多种拍摄模式数量,但不限于此,例如当包含3种拍摄模式#1、#2、#4的拍摄周期为#1→#1→#2→#4时,可以是4个,或者也可以是2个周期、3个周期等的拍摄模式数量(例如,8个、12个等)。另外,请注意:虽然通常每当生成侵入判定图像时,就以最新的侵入判定图像为起点使用规定数量的侵入判定图像来生成(或者更新)侵入判定合成图像,但是并不限定生成(或者更新)的定时、作为起点的侵入判定图像。
每当针对每个拍摄模式生成距离图像时,像素群尺寸检测部28根据侵入判定合成图像判定表示监视区域内有物体的像素群的图像上的尺寸是否为规定像素群尺寸以上。根据该判定方法,降低了测距装置的距离图像的测距值的偏差、尘埃或雾这些不必要的小物体引起的误检测,能够进行稳定的物体判定。作为通常使用的规定像素群尺寸存在n×n(n为整数)的像素区域,确认在侵入判定合成图像内的任意的规定像素群尺寸的区域中是否存在像素全部表示有物体的区域。当根据侵入判定合成图像判定为存在表示有物体的规定像素群尺寸的像素区域时,像素群尺寸检测部28作用于信号输出部25来输出物体检测信号。虽然例示的n×n的规定像素群尺寸为正方形,但也可以是n×m(m为与n不同的整数)这样的长方形,也可以是排除正方形、长方形的角部的像素而得的接近圆形的形状,只要是相邻的像素的集合体,作为规定像素群尺寸可设想为一切形状。通常规定像素群尺寸的大小、形状等与作为物体监视***能够检测的物体的大小、形状等密切相关,因此,在研究这些的基础上来决定。
对方法2的实施例进行说明。在本示例中,与方法1相同,如图3所示,假定特定反射率的物体中的白色圆柱40的一部分以及黑色三角棱柱41的一部分持续侵入监视区域50中的情况。此时,如图7所示,假定测距装置一边重复包含4种拍摄模式#1~#4的拍摄周期一边生成距离图像#1~#4以及对应的侵入判定图像#1~#4。在曝光小的侵入判定图像#1中,仅逆反射板42的测距值有效,但由于逆反射板42的测距值不在监视区域50内,因此不存在侵入像素(黑色:1)。在曝光中等小的侵入判定图像#2中,白色圆柱40以及背景板43的测距值有效且白色圆柱40的测距值在监视区域50内,因此存在侵入像素(黑色:1)。
在曝光中等大的侵入判定图像#3中,白色圆柱40的一部分、黑色三角棱柱41的一部分以及背景板43的测距值有效且白色圆柱40的测距值以及黑色三角棱柱41的测距值在监视区域50内,因此存在侵入像素(黑色:1)。在曝光大的侵入判定图像#4中,仅黑色三角棱柱41的一部分的测距值有效,但由于黑色三角棱柱41的测距值不在监视区域50内,因此不存在侵入像素(黑色:1)。当对这些侵入判定图像#1~#4进行逻辑或来生成侵入判定合成图像时,可确定侵入监视区域内的物体的尺寸。
图8是表示方法2的效果以及比较例的示意图。这里,假定黑色三角棱柱41的一部分侵入到监视区域内而黑色三角棱柱41的侵入区域51、52被分割在2种侵入判定图像#3、#4的情况。此时,假定侵入区域51、52由2×7的像素区域54、55构成,规定像素群尺寸为3×3的像素区域53。虽然在生成距离图像#3、#4的时间点无法从侵入判定图像#3、#4检测出规定像素群尺寸,但根据方法2的物体判定,生成了对侵入判定图像#3、#4进行逻辑或而得的侵入判定合成图像,因此可确定侵入到监视区域内的物体的尺寸。即,由于能够从侵入判定合成图像检测出规定像素群尺寸(3×3的像素区域53),因此即使在发生了侵入物体分割在多种拍摄模式的侵入判定图像并被检测这样的情况的场合下,也能够防止侵入物体的看漏。
<方法3>
再次参照图1来说明方法3中的物体监视***1的结构。在方法3中,计算机装置20还具备第2存储器29、无效判定合成部30以及综合判定合成部31。每当针对每个拍摄模式生成距离图像时,第2存储器29将距离图像内的各像素的测距值是否无效的判定结果(例如,黑色:1:测距无效像素,白:0:测距有效像素)作为无效判定图像进行存储。
无效判定合成部30对规定数量的无效判定图像进行逻辑与(logical AND)来生成无效判定合成图像。对于规定数量、合成对象的无效判定图像,与方法2中说明的相同,因此省略其说明。
综合判定合成部31对侵入判定合成图像以及无效判定合成图像进行逻辑或来生成综合判定合成图像。每当针对每个拍摄模式生成距离图像时,像素群尺寸检测部28从综合判定合成图像检测出规定像素群尺寸。规定像素群尺寸与方法2中说明的相同,因此省略其说明。当从综合判定合成图像检测出规定像素群尺寸时,像素群尺寸检测部28作用于信号输出部25来输出物体检测信号。
对方法3的实施例进行说明。在本示例中,与方法1相同,如图3所示,假定特定反射率的物体中的白色圆柱40的一部分以及黑色三角棱柱41的一部分持续侵入监视区域50中的情况。此时,如图9所示,假定测距装置一边重复包含4种拍摄模式#1~#4的拍摄周期一边生成距离图像#1~#4、对应的侵入判定图像#1~#4以及对应的无效判定图像#1~#4。在曝光小的无效判定图像#1中,逆反射板42以外的区域为测距无效像素(黑色:1)。在曝光中等小的无效判定图像#2中,白色圆柱40以及背景板43以外的区域为测距无效像素(黑色:1)。
在曝光中等大的无效判定图像#3中,白色圆柱40的一部分、黑色三角棱柱41的一部分以及背景板43以外的区域为测距无效像素(黑色:1)。在曝光大的无效判定图像#4中,黑色三角棱柱41的一部分以外的区域为测距无效像素(黑色:1)。当对这些无效判定图像#1~#4进行逻辑与来生成无效判定合成图像时,可确定本来的测距无效像素。
对方法3的效果进行说明。通常在眺望监视区域的像素为测距无效时,物体监视***1作为安全装置视为有物体并输出物体检测信号(即,进行故障保护)。但是,由于为了确保期望的动态范围而进行多重拍摄,因此有时针对每个拍摄模式获取的各个距离图像中自然包含多个作为测距无效的像素。因此,若眺望监视区域的像素为测距无效而输出物体检测信号,则很可能出现误检测,从而无法实现故障安全的本来的效果。根据方法3的物体判定,由于对满足期望的动态范围的拍摄模式数量的无效判定图像进行逻辑与来生成无效判定合成图像,因此无效判定合成图像上的测距无效像素表示即使拍摄周期轮完一次测距值一次也不会有效的像素,由此,能够确定监视区域内的本来的测距无效像素。并且,生成对侵入判定合成图像与无效判定合成图像进行逻辑或而得的综合判定合成图像,因此,例如在作业者的工作服等中存在具有作为物体监视***的规格而划定的范围内的反射特性的部分以及具有范围外的反射特性的部分,即使在分别分割在侵入判定合成图像与无效判定合成图像而出现的场合下,也能够作为1个物体(工作服)来进行规定像素群尺寸的检测。即,能够准确地检测出物体侵入监视区域内的状况与测距无效状况,即使在发生测距无效的情况下,也能够视为有物体而使用1个物体检测信号将机器人、机床等危险源控制在安全侧。
<方法3’>
再次参照图1对作为方法3的变形例的方法3’进行说明。在方法3’中,计算机装置20还具备无效像素群尺寸判定部32。无效像素群尺寸判定部32根据无效判定合成图像判定表示测距无效的像素群的图像上的尺寸是否为规定无效像素群尺寸(例如,1个像素或2×2的像素区域)以上。当判定为存在规定无效像素群尺寸的像素区域时,无效像素群尺寸判定部32作用于信号输出部25来输出无效检测信号。规定无效像素群尺寸与前述的规定像素群尺寸同样可假定为一切形状,但是通过设为比规定像素群尺寸小的尺寸,不至于进行针对监视区域的物体检测就能够对检测出测距无效的情况进行通知。由此,物体监视***的使用者能够实施去除测距无效的原因等的对策。
前述的计算机装置20的结构要素也可以构成为由CPU等执行的程序。能够以记录在计算机可读非临时记录介质,例如CD-ROM等中的方式来提供这样的程序。
在本说明书中对各种实施方式进行了说明,但希望认识到本发明并不限于前述的实施方式,能够在请求权利要保护的范围所记载的范围内进行各种变更。
Claims (9)
1.一种物体监视***,其具备测距装置以及计算机装置,所述测距装置一边重复包含不同的拍摄模式的拍摄周期一边针对每个所述拍摄模式生成对象空间的距离图像,所述计算机装置基于所述距离图像判断所述对象空间中划定的监视区域内有无物体,其特征在于,
每当针对每个所述拍摄模式生成所述距离图像时,所述计算机装置基于所述距离图像内的各像素的测距值是否有效且所述测距值是否在所述监视区域内的判定结果来判断所述监视区域内有无物体。
2.根据权利要求1所述的物体监视***,其特征在于,
即使在所述判定结果为只有1个像素为真的情况下,所述计算机装置也判断为所述监视区域内有物体。
3.根据权利要求1所述的物体监视***,其特征在于,
所述计算机装置将所述判定结果作为侵入判定图像进行存储,并基于将规定数量的所述侵入判定图像进行合成而得的侵入判定合成图像来判断所述监视区域内有无物体。
4.根据权利要求3所述的物体监视***,其特征在于,
所述计算机装置还将所述距离图像内的各像素的测距值是否无效的判定结果作为无效判定图像进行存储,并基于将规定数量的所述无效判定图像进行合成而得的无效判定合成图像来判断所述监视区域内的测距无效。
5.根据权利要求1所述的物体监视***,其特征在于,
所述计算机装置将所述判定结果作为侵入判定图像进行存储并生成将规定数量的所述侵入判定图像进行合成而得的侵入判定合成图像,将所述距离图像内的各像素的测距值是否无效的判定结果作为无效判定图像进行存储并生成将规定数量的所述无效判定图像进行合成而得的无效判定合成图像,并且基于将所述侵入判定合成图像和所述无效判定合成图像进行合成而得的综合判定合成图像来判断所述监视区域内有无物体。
6.根据权利要求3至5中任一项所述的物体监视***,其特征在于,
所述规定数量为所述拍摄模式的数量。
7.根据权利要求5所述的物体监视***,其特征在于,
当从所述侵入判定合成图像或所述综合判定合成图像检测出规定像素群尺寸时,所述计算机装置判断为所述监视区域内有物体。
8.根据权利要求4、5或7所述的物体监视***,其特征在于,
当从所述无效判定合成图像检测出规定无效像素群尺寸时,所述计算机装置输出无效检测信号。
9.根据权利要求1至8中任一项所述的物体监视***,其特征在于,
所述测距值有效是指所述测距装置能够进行测距或者所述测距值在精度阈值内。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-237734 | 2018-12-19 | ||
JP2018237734A JP6912449B2 (ja) | 2018-12-19 | 2018-12-19 | 測距装置を有する物体監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111343418A true CN111343418A (zh) | 2020-06-26 |
CN111343418B CN111343418B (zh) | 2024-05-07 |
Family
ID=70969846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911299576.1A Active CN111343418B (zh) | 2018-12-19 | 2019-12-17 | 具有测距装置的物体监视*** |
Country Status (4)
Country | Link |
---|---|
US (1) | US11567205B2 (zh) |
JP (1) | JP6912449B2 (zh) |
CN (1) | CN111343418B (zh) |
DE (1) | DE102019008627A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020112430B4 (de) * | 2020-05-07 | 2021-12-23 | Sick Ag | Kamera und Verfahren zur Erfassung von Objekten |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012085093A (ja) * | 2010-10-12 | 2012-04-26 | Panasonic Corp | 撮像装置および取得方法 |
JP2012208878A (ja) * | 2011-03-30 | 2012-10-25 | Secom Co Ltd | 画像監視装置 |
US20150109414A1 (en) * | 2013-10-17 | 2015-04-23 | Amit Adam | Probabilistic time of flight imaging |
CN106461763A (zh) * | 2014-06-09 | 2017-02-22 | 松下知识产权经营株式会社 | 测距装置 |
US20170242126A1 (en) * | 2014-11-11 | 2017-08-24 | Panasonic Intellectual Property Management Co., Ltd. | Distance detection device and distance detection method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4727388B2 (ja) * | 2005-10-28 | 2011-07-20 | セコム株式会社 | 侵入検知装置 |
US20200186751A1 (en) * | 2010-02-26 | 2020-06-11 | Optimization Strategies, Llc | System and method(s) for processor utilization-based encoding |
JP6309459B2 (ja) | 2012-02-15 | 2018-04-11 | ヘプタゴン・マイクロ・オプティクス・ピーティーイー・エルティーディーHeptagon Micro Optics Pte.Ltd. | ストライプ照明の飛行時間型カメラ |
EP2990276B1 (en) * | 2013-04-23 | 2019-07-17 | Toyota Jidosha Kabushiki Kaisha | Vehicle speed control device |
JP2017181488A (ja) | 2016-03-23 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 距離画像生成装置、距離画像生成方法及びプログラム |
US11525918B2 (en) * | 2017-04-04 | 2022-12-13 | pmdtechnologies ag | Time-of-flight camera |
US11619723B2 (en) * | 2019-09-23 | 2023-04-04 | Microsoft Technology Licensing, Llc | Multiple-mode frequency sharing for time-of-flight camera |
-
2018
- 2018-12-19 JP JP2018237734A patent/JP6912449B2/ja active Active
-
2019
- 2019-10-28 US US16/665,166 patent/US11567205B2/en active Active
- 2019-12-12 DE DE102019008627.9A patent/DE102019008627A1/de active Pending
- 2019-12-17 CN CN201911299576.1A patent/CN111343418B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012085093A (ja) * | 2010-10-12 | 2012-04-26 | Panasonic Corp | 撮像装置および取得方法 |
JP2012208878A (ja) * | 2011-03-30 | 2012-10-25 | Secom Co Ltd | 画像監視装置 |
US20150109414A1 (en) * | 2013-10-17 | 2015-04-23 | Amit Adam | Probabilistic time of flight imaging |
CN106461763A (zh) * | 2014-06-09 | 2017-02-22 | 松下知识产权经营株式会社 | 测距装置 |
US20170242126A1 (en) * | 2014-11-11 | 2017-08-24 | Panasonic Intellectual Property Management Co., Ltd. | Distance detection device and distance detection method |
Also Published As
Publication number | Publication date |
---|---|
US11567205B2 (en) | 2023-01-31 |
DE102019008627A1 (de) | 2020-06-25 |
CN111343418B (zh) | 2024-05-07 |
JP6912449B2 (ja) | 2021-08-04 |
US20200200908A1 (en) | 2020-06-25 |
JP2020101373A (ja) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8735792B2 (en) | Optoelectronic sensor | |
US10928518B2 (en) | Range image generation apparatus and range image generation method | |
WO2016189808A1 (ja) | 測距撮像装置、その測距方法及び固体撮像装置 | |
US10255682B2 (en) | Image detection system using differences in illumination conditions | |
WO2020009011A1 (ja) | 光測距装置 | |
EP2927710B1 (en) | Ranging system, information processing method and program thereof | |
TWI393980B (zh) | The method of calculating the depth of field and its method and the method of calculating the blurred state of the image | |
JP6138861B2 (ja) | 距離算出装置 | |
JP2013186042A (ja) | 距離算出装置及び距離算出方法 | |
JP2006322853A (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
CN111343418B (zh) | 具有测距装置的物体监视*** | |
JP7401211B2 (ja) | 外光照度測定機能を備えた測距装置及び外光照度測定方法 | |
JP6920159B2 (ja) | 車両の周辺監視装置と周辺監視方法 | |
JP6398218B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
CN110927736B (zh) | 具有测距装置的物体监视*** | |
JP7167708B2 (ja) | 距離情報生成装置 | |
JP2017174015A (ja) | 移動軌跡検出装置、移動物体検出装置、移動軌跡検出方法 | |
EP1887314B1 (en) | Light detecting apparatus and method | |
JP6615691B2 (ja) | 速度測定装置 | |
US20210396876A1 (en) | Optical distance measurement apparatus | |
JP2007174113A (ja) | 障害物検出システム及び障害物検出方法 | |
JP6985872B2 (ja) | 車両の周辺監視装置と周辺監視方法 | |
KR20170073917A (ko) | 운전지원장치 및 운전지원방법 | |
WO2017199676A1 (ja) | ステレオカメラ装置 | |
JP7306840B2 (ja) | 測距装置を有する物体監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |