CN113671513A - 测距***以及测距传感器的校准方法 - Google Patents
测距***以及测距传感器的校准方法 Download PDFInfo
- Publication number
- CN113671513A CN113671513A CN202110382150.3A CN202110382150A CN113671513A CN 113671513 A CN113671513 A CN 113671513A CN 202110382150 A CN202110382150 A CN 202110382150A CN 113671513 A CN113671513 A CN 113671513A
- Authority
- CN
- China
- Prior art keywords
- person
- distance
- calibration
- distance measuring
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005259 measurement Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000009471 action Effects 0.000 claims abstract description 20
- 238000009434 installation Methods 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000002366 time-of-flight method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 239000003550 marker Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/51—Display arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供测距***以及测距传感器的校准方法。能够减轻用于测距传感器的校准作业的作业者的负荷,能够与测定环境无关地容易地实施校准。在设置多个测距传感器(1a、1b)来生成测定区域内的对象物的距离图像的测距***中,具备进行测距传感器间的位置对齐,合成来自多个测距传感器的距离数据来显示对象物的距离图像的协作处理装置(2)。协作处理装置(2)为了进行测距传感器间的位置对齐,通过多个测距传感器取得在测定区域内移动的人物(9)的轨迹即动线,并进行各测距传感器的设置位置的校准,使得由各测距传感器取得的动线在共同的坐标系中一致。
Description
技术领域
本发明涉及使用多台测距传感器来测定到对象物的距离的测距***以及测距传感器的校准方法。
背景技术
已知基于光的传播时间来测定到对象物的距离的方式(以下,也称为TOF法:时间飞行法)的测距传感器(以下,也称为TOF传感器)。根据TOF传感器所取得的距离数据的特征量,例如检测人物等,并追踪该检测到的人物等的时间变化,由此能够求出移动路径。TOF传感器的原理是通过测量从光源射出的照射光被对象物反射并返回到受光部为止的时间来计算到对象物的距离。TOF传感器通过1台能够测定的距离和视角(视场角)存在极限,因此在测定大的空间的情况下,配置多台传感器来进行测定。
与此相关,例如专利文献1所记载的距离图像照相机的目的在于,具备多个照相机单元(TOF传感器),具有比单一的摄像部的视角更大的视角并且得到距离精度高的距离图像。作为其结构,公开了“具有:二维位置修正部,其根据由距离信息置换部求出的所述平均距离信息和所述各距离图像的各像素的二维像素位置来修正各像素的二维位置信息;以及距离图像合成部,其通过将由该二维位置修正部修正后的各像素的所述二维位置信息和所述距离信息转换为共同的三维坐标系,求出合成了所述各距离图像后得到的合成距离图像”。
在专利文献1中,记载了在对各照相机单元(TOF传感器)的距离图像进行坐标转换并进行合成的情况下,“根据通过各照相机单元10设置时的校准而得到的照相机参数(内部以及外部),将各距离图像的各像素的X值、Y值、Z值分别坐标转换为照相机坐标系或者世界坐标系,从而合成各距离图像”。作为该校准的一般方法,已知在测定空间配置特定的对象物(标记)并用各照相机单元(TOF传感器)测定标记的位置,进行坐标转换以成为共同的坐标值。但是,现实中有时难以适当地配置标记。
例如,作为校准用的所述标记,已知使用由回归反射性材料构成的反射带,但需要将该反射带粘贴在测定现场的地面上的作业。随着TOF传感器的台数变多,该作业的作业者的负荷增大。进而,根据测定环境,在地面存在凹凸、障碍物,有时会难以将反射带粘贴在所希望的位置。
另外,专利文献1所记载的技术是对多个照相机单元的距离图像进行合成的技术,但各照相机单元从对象物(箱)观察被设置在同一方向上,该对象物(箱)具有与各照相机单元的照射方向垂直的面。因此,是位置关系被限定的图像合成,其所需的校准也被限定。
专利文献1:日本特开2012-247226号公报
发明内容
本发明的目的在于提供一种测距***以及校准方法,能够减轻用于测距传感器的校准作业的作业者的负荷,能够与测定环境无关地容易地实施校准。
本发明在设置多个测距传感器来生成测定区域内的对象物的距离图像的测距***中具备协作处理装置,该协作处理装置进行测距传感器间的位置对齐,合成来自多个测距传感器的距离数据并显示对象物的距离图像。协作处理装置为了进行测距传感器间的位置对齐,通过多个测距传感器取得在测定区域内移动的人物的轨迹(以下,称为动线),进行各测距传感器的设置位置的校准,使得由各测距传感器取得的动线在共同的坐标系中一致。
另外,本发明在设置多个测距传感器来生成测定区域内的对象物的距离图像时的测距传感器的校准方法中,具备:为了进行测距传感器间的位置对齐,通过多个测距传感器检测在测定区域内移动的人物并取得其轨迹(动线)的步骤;以及进行各测距传感器的传感器设置信息的校准,使得各测距传感器取得的动线在共同的坐标系中一致的步骤。
根据本发明,具有如下效果:用于测距传感器的校准作业的作业者的负荷减轻,与测定环境无关而能够容易地实施校准。
附图说明
图1是表示本实施例的测距***的结构的图。
图2是表示测距传感器(TOF传感器)的结构的图。
图3是对基于TOF法的距离测定的原理进行说明的图。
图4是表示协作处理装置的结构的图。
图5A是对使用了反射带的校准方法进行说明的图。
图5B是对使用了反射带的校准方法进行说明的图。
图6A是对使用了动线数据的校准方法进行说明的图。
图6B是对使用了动线数据的校准方法进行说明的图。
图7是表示动线数据的可靠度的评价及其显示例的图。
图8是表示校准处理的步骤的流程图。
附图标记的说明
1:1a,1b:测距传感器(TOF传感器)、
2:协作处理装置、
3:网络、
4:地面、
8:反射带、
9:对象物(人物)、
9a、9b、91~94:动线、
11:发光部、
12:受光部、
13:发光控制部、
14:距离计算部、
21:数据输入部、
22:坐标转换部、
23:图像合成部、
24:显示部、
25:人物检测部、
26:校准部。
具体实施方式
以下,对本发明的实施方式进行说明。在本实施例的测距传感器的校准中,通过各测距传感器取得在测定空间移动的人物的轨迹数据(动线数据),以由各测距传感器取得的轨迹数据在共同的坐标系中一致的方式进行各传感器间的位置对齐(设置位置信息的修正)。
图1是表示本实施例的测距***的结构的图。测距***通过网络3连接多台测距传感器(以下,也称为“TOF传感器”或者简称为“传感器”)1a、1b和控制它们的协作处理装置2。协作处理装置2对由各传感器1取得的距离数据进行合成来生成1个距离图像,为此,进行修正各传感器1的位置信息的校准处理。在协作处理装置2中,例如使用个人计算机(PC)或服务器。
在图1所示的例子中,将2台传感器1a、1b安装于顶棚5,测定到存在于地面4的对象物9(在此为人物)的距离,生成作为人物9的移动轨迹(动线)的距离图像。通过1台传感器可测定的距离和视角受到限制,因此通过配置多台传感器,不仅能够扩大测定区域,还能够高精度地测定对象物9的位置。因此,必须精度良好地进行各传感器中的测定值的坐标转换,因此需要传感器间的校准。
图2是表示测距传感器(TOF传感器)1的结构的图。测距传感器1具备:发光部11,其从激光二极管(LD)或发光二极管(LED)等光源照射红外光的脉冲光;受光部12,其利用CCD传感器或CMOS传感器等接收从对象物反射的脉冲光;发光控制部13,其进行发光部11的点亮/熄灭和发光量的控制;以及距离计算部14,其根据受光部12的检测信号(受光数据)计算到对象物的距离。由距离计算部14计算出的距离数据被发送到协作处理装置2。另外,测距传感器1的发光控制部13按照来自协作处理装置2的测定指令信号开始发光。
图3是说明TOF法的距离测定原理的图。测距传感器(TOF传感器)1从发光部11向对象物9(例如人物)射出距离测定用的照射光31。受光部12利用二维传感器12a接收由对象物9反射的反射光32。二维传感器12a是对CCD传感器等的多个像素进行二维排列而得,距离计算部14根据各像素中的受光数据来计算二维状的距离数据。
对象物9存在于从发光部11和受光部12离开距离D的位置。在此,若将光速设为c,将从发光部11射出照射光31到受光部12接收反射光32为止的时间差设为t,则到对象物9的距离D由D=c×t/2求出。此外,在距离计算部14进行的实用的距离测定中,代替时间差t而射出预定宽度的照射脉冲,利用二维传感器12a一边使曝光栅极的定时错开一边接收该照射脉冲。并且,根据不同定时的受光量(蓄积量)的值来计算距离D(曝光栅极方式)。
图4是表示协作处理装置2的结构的图。协作处理装置2的结构具备:数据输入部21,其输入来自各测距传感器1a、1b的距离数据;坐标转换部22,其将输入的各距离数据转换为共同的坐标系的位置数据;图像合成部23,其对各位置数据进行合成来生成1个距离图像;以及显示部24,其显示合成后的距离图像。进一步,为了进行传感器1a、1b间的校准,还具备:人物检测部25,其根据所输入的各传感器的距离数据来检测对校准有效的人物(动线);以及校准部26,其基于合成图像的结果来修正在坐标转换部22使用的转换参数(传感器设置信息)。另外,具有对各传感器1a、1b发送测定指示信号的未图示的发送部。
在协作处理装置2中进行坐标转换、图像合成、校准这样的运算处理,将在其中使用的程序保存在ROM中,将其在RAM中展开并由CPU执行,由此实现所述功能(未图示)。另外,关于人物检测处理和校准处理,也可以经由用户调整部(未图示),由作业者(用户)一边观察显示于显示部24的动线的图像一边进行适当调整。
接着,对校准方法进行说明。在本实施例中,使用人物的动线作为用于校准处理的测定对象物(标记),但为了进行比较,从使用反射带的方式进行说明。
图5A和图5B是说明使用了反射带的校准方法的图。
图5A的(1)表示将反射带8配置(粘贴)于测定空间的地面4的状态。传感器1a、1b设置于测定空间(以xyz坐标表示)的水平位置(x1,y1)、(x2,y2)。两者的设置高度z为了简单而设为相同,但即使不同,也能够通过运算进行修正。另外,用θ1、θ2表示传感器1a、1b的测定方向(视角的中心方向)的方位角。另外,两者的俯仰角设为相同,但即使不同也能够通过运算进行修正。反射带8由具有将入射的光向入射方向反射的特性的回归反射性材料构成,例如以十字状粘贴于地面4。
图5A的(2)表示利用传感器1a、1b进行了反射带8的距离测定的状态。用8a表示用传感器1a测定的反射带8的位置,用8b(为了区别而用双重线表示)表示用传感器1b测定的反射带8的位置。测定位置8a、8b是使用传感器的设置位置(x1,y1)、(x2,y2)和方位角θ1,θ2将从各个传感器得到的距离数据进行坐标转换,并显示在共同的坐标系上的位置,换言之,是反射带8的假想的测定图像。在为相同的反射带8的同时,有时其测定位置(测定图像)如8a、8b那样不一致。这是因为,传感器的设置位置(x1,y1)、(x2,y2)和方位角θ1,θ2的信息存在误差。另外,若传感器的设置高度、俯仰角的信息存在误差,则测定位置8a、8b与地面4不一致。
在校准处理中,以反射带8的测定位置8a、8b一致的方式修正传感器的设置位置和方位角的信息。并且,基于修正后的设置信息进行坐标转换并再次显示假想的测定图像,反复进行直到它们一致为止。以下,对校准的步骤进行说明。
图5B的(1)表示进行了视点转换的状态。即,表示从z方向(正上方)俯视测定空间时的xy面上的测定位置(测定图像)8a、8b,两者的位置和方向偏离。
图5B的(2)表示为了测定位置8a、8b的位置对齐而对传感器的方位角信息进行旋转修正后的状态。在此,传感器1a的方位角θ1固定不变,通过将传感器1b的方位角信息从θ2修正为θ2’,使测定位置8a、8b的方向(十字的方向)一致。
图5B的(3)表示为了测定位置8a、8b的位置对齐而对传感器的位置信息进行移动修正后的状态。传感器1a的位置(x1,y1)固定不变,通过将传感器1b的位置信息从(x2,y2)修正为(x2’,y2’),从而使测定位置8a、8b一致。
在以上的使用反射带8的校准方法中,需要将成为标记的反射带粘贴于测定现场的作业。此时,若传感器的台数增加,则粘贴作业的负荷增大,另外,根据测定环境,有时地面会不平坦或者存在障碍物而难以粘贴反射带。因此,在本实施例中,其特征在于不是利用反射带而是利用移动的人物的动线数据。以下,对使用了动线数据的校准方法进行说明。
图6A和图6B是说明使用了动线数据的校准方法的图。
图6A的(1)表示人物9在测定空间的地面4上移动的状态。另外,传感器1a、1b的设定位置(x1、y1)、(x2、y2)和测定方向(方位角)θ1、θ2与所述图5A相同。人物9从时刻t0到t2,在地面4上如虚线那样移动。
图6A的(2)表示通过传感器1a、1b进行到人物9的距离测定的状态。此外,作为到人物9的距离,例如从人物图像中提取头部,以到头部的距离数据来代表。然后,取得在地面4上移动的人物9的移动轨迹(动线)的数据。用9a表示用传感器1a测定出的人物9的动线,用9b(为了区别而用双重线表示)表示用传感器1b测定出的人物9的动线。在该情况下,动线9a、9b也使用传感器的设置位置(x1,y1)、(x2,y2)和方位角θ1,θ2对从各个传感器得到的距离数据进行坐标转换,并显示在共同的坐标系上,是人物9的动线的假想的测定图像。存在尽管是同一人物9移动,但其动线(测定图像)如9a、9b那样不一致的情况。这是因为,传感器的设置位置(x1,y1)、(x2,y2)和方位角θ1,θ2的信息存在误差。另外,若传感器的设置高度、俯仰角的信息存在误差,则动线9a、9b在地面不一致。
在校准处理中,以人物9的动线9a、9b一致的方式修正传感器的设置位置和方位角的信息。并且,基于修正后的设置信息进行坐标转换并再次显示动线,重复进行直到它们一致为止。以下,对校准的步骤进行说明。
图6B的(1)表示进行了视点转换的状态。即,表示从z方向(正上方)俯视测定空间时的xy面上的动线9a、9b,两者的位置和方向偏离。此外,在该例子中,由于动线9a的开始时刻t0与动线9b的开始时刻t1不同,因此动线的长度也不同。
图6B的(2)表示为了动线9a、9b的位置对齐而对传感器的方位角信息进行旋转修正后的状态。在此,传感器1a的方位角θ1固定不变,通过将传感器1b的方位角信息从θ2修正为θ2’,使动线9a、9b的方向一致。此时,通过参照时刻信息,以两者的动线的共同部分(即时刻t1~t2的区间)成为平行的方式进行修正。
图6B的(3)表示为了动线9a、9b的位置对齐而对传感器的位置信息进行移动修正后的状态。传感器1a的位置(x1,y1)固定不变,通过将传感器1b的位置信息从(x2,y2)修正为(x2’,y2’),使动线9a、9b一致。在本例中,动线9a、9b的时刻t1~t2的区间一致。
这样,在本实施例中,利用作为人物的移动轨迹的动线数据来进行校准,不需要如比较例那样,由作业者将反射带粘贴于地面。因此,用于校准作业的作业者的负荷减轻,能够与测定环境无关地容易地实施校准。另外,能够容易地得到各种形状的校准用的轨迹数据,能够期待校准的精度提高。
另外,在本实施例中,由于使用人物头部的动线数据,所以能够进行在人物头部的高度位置的校准。因此,与如比较例那样粘贴反射带的地面上的校准相比,更适合作为测定对象为人物的情况下的校准,并且能够期待精度提高。
在本实施例中,为了取得人物的动线数据,也可以使特定的人物移动,但也能够利用任意的人物在测定空间中移动的情况。因此,需要通过测距传感器得到各种动线数据,从其中提取用于校准的有效的动线数据。另外,假设也有作业者(用户)提取有效的动线数据的情况,需要研究动线数据的显示方法。考虑到这些,在本实施例中如以下那样进行处理。
(1)取得身高信息作为从距离数据检测出的人物的附带信息,提取身高一致的人物彼此间的动线数据来进行动线的位置对齐。由此,即使在不确定的多个人物在测定空间移动的情况下,也能够筛选为同一人物来进行位置对齐。
(2)作为动线数据的附带信息,参照取得了距离数据的时刻信息,以时刻一致的动线上的点的位置一致的方式进行动线的位置对齐。因此,在显示动线数据时,取得时刻的同步并进行动画显示。
(3)评价动线数据的可靠度,提取可靠度高的动线数据。这里所说的可靠度是指检测出的人物数据的测定准确度的高度,如果是离传感器的距离近的人物、点组量多的人物、或者人物的检测方向靠近视角内的中央,则可靠度高。相反,越远离传感器,或者在视角内的端部位置,则TOF方式的受光强度越下降,测定值的可靠性越降低。并且,若检测到的人物的区域变小,则点组量(受光部的检测像素数)减少,或者若在人物的跟前存在障碍物,则有可能丢失(隐藏)动线数据的一部分(遮挡发生),因此也使可靠性降低。若评价了动线数据的可靠度,则在显示部24根据评价结果来区别显示动线。例如,可靠度高的动线较浓地显示,可靠度低的动线较淡地显示(或者,也可以改变显示颜色)。
(4)在将多个传感器的动线数据显示于显示部24时,能够对每个传感器进行动线数据显示的开/关(On/Off)切换。另外,预先保存过去测定出的多次的动线数据,之后读出所希望的数据并显示。通过使用多次的数据进行校准调整,校准的精度提高。
关于所述(3)中所述的动线数据的可靠度,使用附图进行说明。
图7是示出动线数据的可靠度的评价及其显示例的图。作为由传感器1a测定的动线数据示出4个例子91~94。动线91位于离传感器1a近的位置,动线92是检测位置位于视角的端部的情况。另外,动线93位于远离传感器1a的位置,动线94是在移动路径的跟前存在障碍物95的情况。若以动线91为基准进行比较,则由于动线92位于视角的端部,因此受光量少,由于动线93位于较远的位置,因此点组量少,动线94的动线的一部分欠缺。因此,在显示这些动线91~94时,可靠度高的动线91较浓地显示,可靠度低的其他动线92~94较淡地显示。或者,也可以根据可靠度改变动线的颜色来进行显示。由此,作业者能够从多个动线中选择可靠度高的动线,并用于校准。
另外,在利用动线数据的情况下,也可以考虑动线的形状。即,若动线的长度短,则方向(旋转)的位置对齐变得困难,因此需要预定以上的长度。另外,在动线的形状为直线状的情况下,能够明确地进行与其垂直的方向的位置对齐,但与其平行的方向的位置对齐变得不明确。因此,动线的形状优选为曲线状,可以说可靠度高。
图8是表示本实施例的校准处理的步骤的流程图。校准处理由协作处理装置2对各测距传感器发出指示来实施。以下,按照步骤顺序说明处理的内容。
S101:协作处理装置2设定各测距传感器1的设置参数。在设置参数中有传感器的设置位置(x,y,z)和测定方向(方位角)(θx,θy,θz)等。
S102:根据来自协作处理装置2的指示,各传感器1在预定时间内取得测定空间的距离数据,并发送到协作处理装置2。
S103:在协作处理装置2的人物检测部25中,根据接收到的距离数据检测人物。在人物检测中,通过图像识别技术检测人物头部的位置。另外,作为附带信息,取得并保持检测出的人物的时刻、身高、点组量(人物区域所包含的像素数)等。如果检测到多个人物,则针对各个人物取得位置信息和附带信息。
S104:进一步在人物检测部25中,对检测出的人物(动线数据)评价其可靠度。这是为了提取在校准处理中使用时准确度最高的数据的评价,以离传感器的距离近的人物、点组量多的人物、或者检测方向靠近视角的中央等为条件进行评价。
S105:坐标转换部22将由各传感器检测到的人物的位置数据转换为共同的坐标空间。在坐标转换中,使用在S101中设定的设置参数。
S106:判定坐标转换后的人物数据是否充分。即,判定由各传感器检测出的人物的附带信息(时刻、身高)在传感器之间是否相互一致。如果数据充分,则进入S107,如果不充分,则返回S102,再次取得距离数据。
S107:图像合成部23将在S105中坐标转换后的来自各传感器的人物的位置数据取得时刻的同步,合成到共同的坐标空间并描绘在显示部24上。即,显示由各传感器取得的动线。如果检测到的人物有多个,则显示多组动线。
S108:校准部26计算由各传感器取得的动线的类似度。即,提取动线的形状(图案)彼此类似的部位。因此,比较时刻对应的来自各传感器的动线部分,通过图案匹配法求出动线的类似度。
S109:校准部26针对动线的类似度(对应关系)高的部分,进行各传感器的位置对齐(移动、旋转),以使动线一致。即,将各传感器的设置参数修正为设置位置(x’,y’,z’)和测定方向(方位角)(θx’,θy’,θz’)。在此,在传感器存在多个(3台以上)时,决定成为基准的传感器,相对于此,将其他传感器1台1台进行位置对齐,或者对修正完毕的传感器依次进行其他未修正传感器的位置对齐。
S110:校准结果通过坐标转换部22再次对动线位置进行坐标转换,并描绘在显示部24上。作业者观察修正后的动线位置来判定是否充分。如果充分,则就此结束校准处理,如果不充分,则返回S107,重复进行位置对齐。
在所述流程中,在S104的可靠度的评价和S109的校准的工序中,作业者也可以通过用户调整部一边观察显示于显示部24的动线一边辅助性地进行。即,在S104中,作业者判定动线的可靠度并选择可靠度高的动线,由此能够提高以后的校准处理的效率。另外,在S109的校准工序中,作业者手动对设置参数进行微调,能够进一步提高校准处理的精度。
如上所述,在本实施例中的测距传感器的校准中,利用各测距传感器取得在测定空间中移动的人物的轨迹数据(动线数据),以由各测距传感器取得的轨迹数据在共同的坐标系中一致的方式进行各传感器间的位置对齐(设置位置信息的修正)。由此,作业者为了校准作业而设置标记(反射带)的负荷减轻,能够与测定环境无关地容易地实施校准。
Claims (15)
1.一种测距***,设置多个测距传感器来生成测定区域内的对象物的距离图像,其特征在于,
所述测距传感器是基于光的传播时间来测定到对象物的距离的方式,
所述测距***具备:协作处理装置,其进行所述测距传感器间的位置对齐,合成来自所述多个测距传感器的距离数据并显示对象物的距离图像,
所述协作处理装置为了进行所述测距传感器间的位置对齐,通过所述多个测距传感器取得在测定区域内移动的人物的轨迹即动线,并进行各测距传感器的设置位置的校准,使得由各测距传感器取得的动线在共同的坐标系中一致。
2.根据权利要求1所述的测距***,其特征在于,
所述协作处理装置具备:
坐标转换部,其使用所述多个测距传感器的传感器设置信息,将来自所述多个测距传感器的距离数据转换为共同的坐标系的位置数据;
图像合成部,其合成各测定数据来生成1个距离图像;
显示部,其显示合成后的距离图像;
人物检测部,其根据从所述多个测距传感器输入的距离数据来检测对校准有效的人物的动线;以及
校准部,其基于对所述人物的动线进行合成而得到的距离图像的结果,对在所述坐标转换部中使用的所述传感器设置信息进行修正。
3.根据权利要求2所述的测距***,其特征在于,
所述人物检测部取得人物的身高信息作为检测到的人物的附带信息,
所述校准部在进行由所述多个测距传感器取得的人物的动线的位置对齐时,计算动线的类似度,并且参照由所述人物检测部取得的人物的身高信息和取得了距离数据的时刻信息,在该身高信息或该时刻信息一致的动线之间进行位置对齐。
4.根据权利要求2所述的测距***,其特征在于,
所述人物检测部取得从所述测距传感器到人物的距离作为检测到的人物的附带信息,并且针对检测到的人物,根据从所述测距传感器到人物的距离来评价动线的可靠度,
所述校准部在由所述人物检测部评价为可靠度高的动线之间进行位置对齐。
5.根据权利要求2所述的测距***,其特征在于,
所述人物检测部取得人物区域中包含的点组量作为检测到的人物的附带信息,并且针对检测到的人物,根据人物区域中包含的点组量来评价动线的可靠度,
所述校准部在由所述人物检测部评价为可靠度高的动线之间进行位置对齐。
6.根据权利要求2所述的测距***,其特征在于,
所述人物检测部取得视角内的人物的检测方向作为检测到的人物的附带信息,并且针对检测到的人物,根据视角内的人物的检测方向来评价动线的可靠度,
所述校准部在由所述人物检测部评价为可靠度高的动线之间进行位置对齐。
7.根据权利要求2所述的测距***,其特征在于,
所述人物检测部取得在人物的跟前是否存在障碍物作为检测到的人物的附带信息,并且针对检测到的人物,根据在人物的跟前是否存在障碍物来评价动线的可靠度,
所述校准部在由所述人物检测部评价为可靠度高的动线之间进行位置对齐。
8.根据权利要求4至7中任一项所述的测距***,其特征在于,
根据由所述人物检测部评价的动线的可靠度,在所述显示部改变动线的浓度或颜色来进行显示。
9.根据权利要求2所述的测距***,其特征在于,
该测距***具备:用户调整部,其用于在用户从由所述人物检测部检测到的人物的动线中选择对校准有效的动线,并通过所述校准部修正所述传感器设置信息时由用户进行微调。
10.一种测距传感器的校准方法,是在设置多个测距传感器来生成测定区域内的对象物的距离图像时的所述测距传感器的校准方法,其特征在于,
所述测距传感器是基于光的传播时间来测定到对象物的距离的方式,
该测距传感器的校准方法具备以下步骤:
为了进行所述测距传感器间的位置对齐,通过所述多个测距传感器检测在测定区域内移动的人物并取得其轨迹即动线的步骤;以及
进行各测距传感器的传感器设置信息的校准,使得由各测距传感器取得的动线在共同的坐标系中一致的步骤。
11.根据权利要求10所述的测距传感器的校准方法,其特征在于,
在取得所述动线的步骤中,取得人物的身高信息作为检测到的人物的附带信息,
在进行所述校准的步骤中,计算由所述多个测距传感器取得的动线的类似度,并且参照所述检测到的人物的身高信息和测定了距离的时刻信息,在该身高信息或该时刻信息一致的动线之间进行位置对齐。
12.根据权利要求10所述的测距传感器的校准方法,其特征在于,
在取得所述动线的步骤中,取得从所述测距传感器到人物的距离作为检测到的人物的附带信息,并且针对检测到的人物,根据从所述测距传感器到人物的距离来评价动线的可靠度,
在进行所述校准的步骤中,在通过取得所述动线的步骤被评价为可靠度高的动线之间进行位置对齐。
13.根据权利要求10所述的测距传感器的校准方法,其特征在于,
在取得所述动线的步骤中,取得人物区域中包含的点组量作为检测到的人物的附带信息,并且针对检测到的人物,根据人物区域中包含的点组量来评价动线的可靠度,
在进行所述校准的步骤中,在通过取得所述动线的步骤被评价为可靠度高的动线之间进行位置对齐。
14.根据权利要求10所述的测距传感器的校准方法,其特征在于,
在取得所述动线的步骤中,取得视角内的人物的检测方向作为检测到的人物的附带信息,并且针对检测到的人物,根据视角内的人物的检测方向来评价动线的可靠度,
在进行所述校准的步骤中,在通过取得所述动线的步骤被评价为可靠度高的动线之间进行位置对齐。
15.根据权利要求10所述的测距传感器的校准方法,其特征在于,
在取得所述动线的步骤中,取得在人物的跟前是否存在障碍物作为检测到的人物的附带信息,并且针对检测到的人物,根据在人物的跟前是否存在障碍物来评价动线的可靠度,
在进行所述校准的步骤中,在通过取得所述动线的步骤被评价为可靠度高的动线之间进行位置对齐。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-085253 | 2020-05-14 | ||
JP2020085253A JP7286586B2 (ja) | 2020-05-14 | 2020-05-14 | 測距システム及び測距センサのキャリブレーション方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113671513A true CN113671513A (zh) | 2021-11-19 |
CN113671513B CN113671513B (zh) | 2024-02-23 |
Family
ID=78511259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110382150.3A Active CN113671513B (zh) | 2020-05-14 | 2021-04-09 | 测距***以及测距传感器的校准方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210356593A1 (zh) |
JP (1) | JP7286586B2 (zh) |
CN (1) | CN113671513B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7245767B2 (ja) * | 2019-12-23 | 2023-03-24 | 株式会社日立エルジーデータストレージ | 全方位測距装置 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001056853A (ja) * | 1999-08-19 | 2001-02-27 | Matsushita Electric Ind Co Ltd | 挙動検出装置および種類識別装置、並びに挙動検出方法および挙動検出用プログラムが記録された記録媒体 |
JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
CN102334142A (zh) * | 2009-02-24 | 2012-01-25 | 三菱电机株式会社 | 人物追踪装置以及人物追踪程序 |
JP2012088135A (ja) * | 2010-10-19 | 2012-05-10 | Advanced Telecommunication Research Institute International | 距離センサのキャリブレーション装置、キャリブレーションプログラムおよびキャリブレーション方法 |
JP2013037406A (ja) * | 2011-08-03 | 2013-02-21 | Sogo Keibi Hosho Co Ltd | 身長推定装置、身長推定方法、及び身長推定プログラム |
JP2013156718A (ja) * | 2012-01-27 | 2013-08-15 | National Institute Of Advanced Industrial & Technology | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム |
CN105874350A (zh) * | 2013-12-27 | 2016-08-17 | 株式会社国际电气通信基础技术研究所 | 校准装置、校准方法及校准程序 |
JP2016162409A (ja) * | 2015-03-05 | 2016-09-05 | 沖電気工業株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP2017106749A (ja) * | 2015-12-07 | 2017-06-15 | 株式会社Hielero | 点群データ取得システム及びその方法 |
CN107590439A (zh) * | 2017-08-18 | 2018-01-16 | 湖南文理学院 | 基于监控视频的目标人物识别追踪方法和装置 |
CN109671101A (zh) * | 2018-11-30 | 2019-04-23 | 江苏文化投资管理集团有限公司 | 行为轨迹采集装置及智能终端 |
CN111046834A (zh) * | 2019-12-24 | 2020-04-21 | 南京烽火天地通信科技有限公司 | 一种基于自动学习分析的监控视频人物比例矫正方法 |
WO2020085142A1 (ja) * | 2018-10-22 | 2020-04-30 | 国立大学法人大阪大学 | 計測装置及び計測システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5034733B2 (ja) | 2007-07-13 | 2012-09-26 | カシオ計算機株式会社 | 特徴点追跡装置及びプログラム |
JP4982343B2 (ja) | 2007-12-04 | 2012-07-25 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像評価方法、プログラム及び情報記憶媒体 |
JP6903987B2 (ja) | 2017-03-24 | 2021-07-14 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
JP2020507137A (ja) * | 2017-12-11 | 2020-03-05 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | 車両周辺の物体を識別して測位するためのシステムおよび方法 |
US10771690B2 (en) | 2018-02-10 | 2020-09-08 | Goodrich Corporation | Distributed aperture systems for obstacle avoidance |
-
2020
- 2020-05-14 JP JP2020085253A patent/JP7286586B2/ja active Active
-
2021
- 2021-03-29 US US17/215,221 patent/US20210356593A1/en active Pending
- 2021-04-09 CN CN202110382150.3A patent/CN113671513B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001056853A (ja) * | 1999-08-19 | 2001-02-27 | Matsushita Electric Ind Co Ltd | 挙動検出装置および種類識別装置、並びに挙動検出方法および挙動検出用プログラムが記録された記録媒体 |
JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
CN102334142A (zh) * | 2009-02-24 | 2012-01-25 | 三菱电机株式会社 | 人物追踪装置以及人物追踪程序 |
JP2012088135A (ja) * | 2010-10-19 | 2012-05-10 | Advanced Telecommunication Research Institute International | 距離センサのキャリブレーション装置、キャリブレーションプログラムおよびキャリブレーション方法 |
JP2013037406A (ja) * | 2011-08-03 | 2013-02-21 | Sogo Keibi Hosho Co Ltd | 身長推定装置、身長推定方法、及び身長推定プログラム |
JP2013156718A (ja) * | 2012-01-27 | 2013-08-15 | National Institute Of Advanced Industrial & Technology | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム |
CN105874350A (zh) * | 2013-12-27 | 2016-08-17 | 株式会社国际电气通信基础技术研究所 | 校准装置、校准方法及校准程序 |
JP2016162409A (ja) * | 2015-03-05 | 2016-09-05 | 沖電気工業株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP2017106749A (ja) * | 2015-12-07 | 2017-06-15 | 株式会社Hielero | 点群データ取得システム及びその方法 |
WO2017098966A1 (ja) * | 2015-12-07 | 2017-06-15 | 株式会社Hielero | 点群データ取得システム及びその方法 |
CN107590439A (zh) * | 2017-08-18 | 2018-01-16 | 湖南文理学院 | 基于监控视频的目标人物识别追踪方法和装置 |
WO2020085142A1 (ja) * | 2018-10-22 | 2020-04-30 | 国立大学法人大阪大学 | 計測装置及び計測システム |
JPWO2020085142A1 (ja) * | 2018-10-22 | 2021-10-21 | 国立大学法人大阪大学 | 計測装置及び計測システム |
CN109671101A (zh) * | 2018-11-30 | 2019-04-23 | 江苏文化投资管理集团有限公司 | 行为轨迹采集装置及智能终端 |
CN111046834A (zh) * | 2019-12-24 | 2020-04-21 | 南京烽火天地通信科技有限公司 | 一种基于自动学习分析的监控视频人物比例矫正方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7286586B2 (ja) | 2023-06-05 |
US20210356593A1 (en) | 2021-11-18 |
CN113671513B (zh) | 2024-02-23 |
JP2021179376A (ja) | 2021-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1903304B1 (en) | Position measuring system, position measuring method and position measuring program | |
US20190018141A1 (en) | Determining positional information of an object in space | |
US6609451B1 (en) | Mine detector and inspection apparatus | |
US6542840B2 (en) | Calibration system, target apparatus and calibration method | |
US9443308B2 (en) | Position and orientation determination in 6-DOF | |
US9189858B2 (en) | Determining coordinates of a target in relation to a survey instrument having at least two cameras | |
US7954953B2 (en) | Scanned beam overlay projection | |
EP3086283A1 (en) | Providing a point cloud using a surveying instrument and a camera device | |
US20070075892A1 (en) | Forward direction monitoring device | |
EP1584946A2 (en) | Method of adjusting monitor axis of optical sensors | |
CN113406655B (zh) | 测距装置的测量值修正方法和测距装置 | |
EP3258290B1 (en) | Survey system | |
CN111238368A (zh) | 三维扫描方法及装置 | |
CN101322092A (zh) | 特别用于结合大面积非crt显示器使用的光笔输入***和方法 | |
JP7064163B2 (ja) | 3次元情報取得システム | |
JP2017181209A (ja) | 距離測定装置、距離測定方法及びプログラム | |
US20190320886A1 (en) | Endoscope apparatus | |
US12025468B2 (en) | Optical sensor with overview camera | |
US10890430B2 (en) | Augmented reality-based system with perimeter definition functionality | |
CN113671513B (zh) | 测距***以及测距传感器的校准方法 | |
CN108474854A (zh) | 信息处理装置、信息处理方法和程序 | |
CN109143167A (zh) | 一种障碍信息获取装置及方法 | |
JP7411539B2 (ja) | 測距システム及びその座標キャリブレーション方法 | |
EP4036596A1 (en) | High resolution lidar scanning | |
US20220090916A1 (en) | Measurement device and method for controlling measurement device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |