CN110389334A - 图像处理装置、图像处理方法以及距离测量*** - Google Patents

图像处理装置、图像处理方法以及距离测量*** Download PDF

Info

Publication number
CN110389334A
CN110389334A CN201910147861.5A CN201910147861A CN110389334A CN 110389334 A CN110389334 A CN 110389334A CN 201910147861 A CN201910147861 A CN 201910147861A CN 110389334 A CN110389334 A CN 110389334A
Authority
CN
China
Prior art keywords
value
pixel
reliability
signal
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910147861.5A
Other languages
English (en)
Other versions
CN110389334B (zh
Inventor
久保田宽
松本展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Publication of CN110389334A publication Critical patent/CN110389334A/zh
Application granted granted Critical
Publication of CN110389334B publication Critical patent/CN110389334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

实施方式涉及图像处理装置、图像处理方法以及距离测量***。实施方式的图像处理装置具备信息取得电路和可靠度生成电路。信息取得电路取得将测定距离作为像素值的二维的距离图像以及与和二维的距离图像中的每个像素的测定距离对应的信号值相关的信号信息。可靠度生成电路针对二维的距离图像的每个像素，将各像素作为中心像素，生成基于在距中心像素规定范围内的像素中具有与中心像素的距离值在规定范围内的距离值的像素的信息和与中心像素对应的信号值的可靠度。

Description

图像处理装置、图像处理方法以及距离测量***
相关申请
本申请享有以日本专利申请2018-79090号(申请日：2018年4月17日)为基础申请的优先权。本申请通过参照该基础申请而包含基础申请的全部内容。
技术领域
实施方式涉及图像处理装置、图像处理方法以及距离测量***。
背景技术
已知被称为LIDAR(Light Detection and Ranging,Laser Imaging Detectionand Ranging，激光成像检测和测距)的距离测量***。在该距离测量装置中，对测量对象物照射激光光束，将由测量对象物反射的反射光的强度基于传感器输出来转换为时间序列的数字信号。据此，基于激光光束的发光的时间点和与数字信号的信号值的波峰对应的时间点的时间差，来测量到测量对象物的距离。由物体散射的太阳光等环境光也入射于传感器，成为随机发生的噪声。
在距离测量***中，进行将基于在邻接的方向照射的激光光束的多个数字信号累积而提高S/N比的处理。但是，在累积多个数字信号时，有可能产生噪声的群集(cluster)化。
发明内容
实施方式提供能够生成包含群集化的噪声的距离图像的每个像素的可靠度的图像处理装置、图像处理方法、距离测量装置以及距离测量***。
本实施方式的图像处理装置具备信息取得电路和可靠度生成电路。信息取得电路取得以固定距离作为像素值的二维的距离图像，以及与和二维的距离图像中的每个像素的测定距离对应的信号值相关的信号信息。可靠度生成电路针对二维的距离图像的每个像素，将各像素作为中心像素，生成基于在距中心像素规定范围内的像素中具有与中心像素的距离值在规定范围内的距离值的像素的信息和与中心像素对应的信号值的可靠度。
附图说明
图1为示出本实施方式的距离测量装置的概略的整体结构的图。
图2为示出本实施方式的距离测量装置的结构例的图。
图3为示意性地示出光源的发射模式的图。
图4为放大示出各个激光光束在测量对象物上的照射位置的示意图。
图5为示出AD转换电路的电气信号的采样值的一个示例的图。
图6为示出测量处理电路的详细的结构的框图。
图7为示意性地示出成为基准的激光光束和在邻接的第二照射方向照射的激光光束的图。
图8A和图8B为示意性地示出基于图7中所示出的反射光而得到的数字信号的图。
图9A至图9D为示出图8中所示出的数字信号的规定时间内的累积值的示例的图。
图10A至图10D为示出基于图8中所示出的数字信号得到的数字信号的峰值的示意图。
图11为示出累积处理电路的详细的结构的框图。
图12A至图12C为示意性地示出将相似性高的第二数字信号加权累积后的情况的图。
图13A至图13C为示意性地示出将相似性低的第二数字信号加权累积后的情况的图。
图14为示出图像处理装置的详细的结构的图。
图15A为示出二维的距离图像的示例的图。
图15B为区域1400的放大图。
图16为说明计算可靠度的像素范围的图。
图17为示出群集尺寸以及亮度值与距离测定的成功率的关系的图。
图18为示出系数C(i，j)的配置模式例的图。
图19为示出第二可靠度R2i的所使用的C(i，j)的值的配置模式例的图。
图20A至图20C为示出各可靠度与失败率1％线的关系的图。
图21为示出基于可靠度而进行了99％的去噪的结果的测距成功率的图。
图22为示出进行噪声降低处理而去除了噪声后的测距成功率的图。
图23A至图23D为进行了噪声降低处理的图。
图24为说明距离测量***的处理动作的流程图。
图25为示出第一变形例的图像处理装置的结构的图。
具体实施方式
以下，参照附图对本发明的实施方式的图像处理装置、图像处理方法、距离测量装置以及距离测量***进行详细说明。此外，以下所示的实施方式为本发明的实施方式的一个示例，本发明不应被解释为限定于这些实施方式。另外，在本实施方式所参照的附图中，存在对同一电路部分或者具有同样的功能的电路部分附加同一附图标记或者相似附图标记并省略其重复的说明的情况。另外，为了便于说明，存在附图的尺寸比率与实际的比率不同的情况、从附图省略结构的一个电路的情况。
(一个实施方式)
图1为示出本实施方式的驾驶支持***1的概略的整体结构的图。如该图1所示，驾驶支持***1进行基于距离图像的驾驶支持。驾驶支持***1构成为具备距离测量***2、驾驶支持装置500、声音装置502、制动装置504和显示装置506。距离测量***2生成测量对象物10的距离图像，具备距离测量装置5和图像处理装置400。
距离测量装置5使用扫描方式以及TOF(Time Of Flight，飞行时间)方式，测量到测量对象物10的距离。更具体而言，该距离测量装置5构成为具备发射电路100、光学机构***200、测量电路300和图像处理装置400。
发射电路100间歇地发射激光光束L1。光学机构***200对测量对象物10照射发射电路100发射的激光光束L1，并且使在测量对象物10上反射的激光光束L1的反射光L2入射于测量电路300。在此，所谓激光光束意味着相位及频率一致的光。
测量电路300基于经由光学机构***200接收的反射光L2，测量到测量对象物10的距离。也就是说，该测量电路300基于发射电路100对测量对象物10照射激光光束L1的时间点与测量到反射光L2的时间点的时间差，测量到测量对象物10的距离。
图像处理装置400进行噪声的降低处理，基于到测量对象物10上的多个测定点的距离来输出距离图像数据。也可以将图像处理装置400的一个电路或者全部嵌入于距离测量装置5的壳体内。关于图像处理装置400的详细的结构后述。
驾驶支持装置500根据图像处理装置400的输出信号来支持车辆的驾驶。驾驶支持装置500连接有声音装置502、制动装置504、显示装置506等。
声音装置502为例如扬声器，被配置于从车辆内的驾驶席能够聆听的位置。驾驶支持装置500基于图像处理装置400的输出信号，例如使声音装置502发生“距对象物5米”等声音。据此，即使在例如驾驶员的注意力低下的情况下，也能够通过聆听声音而唤起驾驶员的注意。
制动装置504为例如辅助制动器。驾驶支持装置500基于图像处理装置400的输出信号，在例如对象物接近规定的距离例如3米的情况下，使制动装置504制动车辆。
显示装置506为例如液晶显示器。驾驶支持装置500基于图像处理装置400的输出信号，将图像显示于显示装置506。据此，即使在例如逆光时等，通过参照显示装置506所显示的图像，也能够更准确地掌握外电路信息。
接下来，基于图2，对本实施方式的距离测量装置5的发射电路100、光学机构***200以及测量电路300的更详细的结构例进行说明。图2为示出第一实施方式的距离测量装置5的结构例的图。如图2所示，距离测量装置5构成为具备发射电路100、光学机构***200、测量电路300和图像处理装置400。在此，将在散射光L3中的规定方向的散射光称为反射光L2。
发射电路100具有光源11、振荡器11a、第一驱动电路11b、控制电路16和第二驱动电路16a。
光学机构***200具有照射光学***202和接收光学***204。照射光学***202具有透镜12、第一光学元件13、透镜13a、镜(反射设备)15。
接收光学***204具有第二光学元件14和镜15。也就是说，这些照射光学***202以及接收光学***204共有镜15。
测量电路300具有光检测器17、传感器18、透镜18a、第一放大器19、AD转换电路20、存储电路21和测量处理电路22。此外，作为扫描光的现有方法，存在使距离测量装置5旋转的方法(以下，称为旋转方法)。另外，作为其他扫描的现有方法，存在OPA方法(OpticalPhased array，光学相控阵)。本实施方式由于不依存于扫描光的方法，因此也可以通过旋转方法、OPA方法来扫描光。
发射电路100的振荡器11a基于控制电路16的控制来生成脉冲信号。第一驱动电路11b基于振荡器11a生成的脉冲信号来驱动光源11。光源11为例如激光二极管等激光光源，根据第一驱动电路11b的驱动间歇地发出激光光束L1。
图3为示意性地示出光源11的发射模式的图。在图3中，横轴示出时刻，竖线示出光源11的发射定时。下侧的图为上侧的图中的电路部分放大图。如该图3所示，光源11以例如T＝几微秒～几十微秒的间隔间歇地重复发出激光光束L1(n)(0≤n＜N)。在此，将在第n次发出的激光光束L1标示为L1(n)。N示出用于测定测量对象物10而照射的激光光束L1(n)的照射次数。
如图2所示，在照射光学***202的光轴O1上，依次配置有光源11、透镜12、第一光学元件13、第二光学元件14以及镜15。据此，透镜12将间歇地发射的激光光束L1进行准直，并导光至第一光学元件13。
第一光学元件13使激光光束L1透过，并且使激光光束L1的一个回路沿着光轴O3入射于光检测器17。第一光学元件13为例如分束器。
第二光学元件14进一步地透过已透过了第一光学元件13的激光光束L1，使激光光束L1入射于镜15。第二光学元件14为例如半反射镜。
镜15具有反射从光源11间歇地发射的激光光束L1的反射面15a。例如，反射面15a能够以相互交叉的2个转动轴线RA1、RA2为中心转动。据此，镜15周期地变更激光光束L1的照射方向。
控制电路16具有例如CPU(Central Processing Unit，中央处理单元)，对第二驱动电路16a进行连续地变更反射面15a的倾斜角度的控制。第二驱动电路16a根据从控制电路16提供的驱动信号来驱动镜15。也就是说，控制电路16控制第二驱动电路16a，从而变更激光光束L1的照射方向。
图4为放大示出激光光束L1的测量对象物10上的照射位置的示意图。如该图4所示，反射面15a变更每个激光光束L1的照射方向使之沿着测量对象物10上的大致平行的多个直线路径P1～Pm(m为2以上的自然数)离散地照射。像这样，本实施方式的距离测量装置5变更激光光束L1(n)(0≤n＜N)的照射方向O(n)(0≤n＜N)，并向着测量对象物10逐次照射。在此，以O(n)来标示激光光束L1(n)的照射方向。也就是说，在本实施方式的距离测量装置5中，激光光束L1(n)在照射方向O(n)照射一次。此外，本实施方式的激光光束L1(n)依次逐点照射，但不限定于此，也可以同时照射多个点。例如也可以使用一维状的激光光源同时照射纵向一列。
激光光束L1(n)与L1(n+1)在测量对象物10上的照射位置的间隔与激光光束L1间的照射间隔T＝几微秒～几十微秒(图3)对应。像这样，在各直线路径P1～Pm上离散地照射照射方向不同的激光光束L1。此外，直线路径的数量、扫描方向并无特殊限定。
如图2所示，在接收光学***204的光轴O2上，按反射光L2入射的顺序配置有镜15的反射面15a、第二光学元件14、透镜18a、传感器18。在此，所谓光轴O1是通过透镜12的中心位置的透镜12的焦点轴。所谓光轴O2是通过透镜18a的中心位置的透镜18a的焦点轴。
反射面15a使在测量对象物10上散射的散射光L3中的沿着光轴O2前进的反射光L2入射于第二光学元件14。第二光学元件14改变在反射面15a反射的反射光L2的行进方向，使之沿着光轴O2入射于测量电路300的透镜18a。透镜18a使沿着光轴O2入射的反射光L2准直于传感器18。
另一方面，散射光L3中的被反射向与激光光束L1不同的方向的光的行进方向偏离接收光学***204的光轴O2。因此，即使假设散射光L3中的反射向与光轴O2不同的方向的光入射于接收光学***204内，也会被配置有接收光学***204的壳体内的黑体等吸收，或是入射于从传感器18的入射面偏离的位置。对此，在由某些物体散射的太阳光等环境光中存在沿着光轴O2行进的光，这些光随机的入射于传感器18的入射面，成为随机的噪声。
此外，在图2中，为了明确起见将激光光束L1和反射光L2的光路分开图示，但实际上这些是重叠的。另外，将激光光束L1的光束的中心的光路作为光轴O1而图示。同样地，将反射光L2的光束的中心的光路作为光轴O2而图示。
传感器18检测从透镜18a入射的反射光L2。该传感器18将经由接收光学***204接收的反射光L2转换为电气信号。
AD转换电路20将传感器18输出的电气信号以规定的采样间隔转换为数字信号。AD转换电路20例如包括AD转换器(ADC：Analog to Digital Convertor，模数装换器)和放大基于反射光L2的电气信号的放大器，放大器将传感器18的电气信号放大，AD转换器在多个采样定时对放大后的电气信号进行采样，转换为与激光光束L1的照射方向对应的数字信号。
图5为示出AD转换电路20对电气信号的采样值的一个示例的图。图5的横轴示出采样定时，纵轴示出采样值(亮度)，也就是数字信号的值。采样定时与距离对应。例如，对采样定时t0～t32加上了消隐时间是为了与从照射激光光束L1开始到照射接下来的激光光束L1的经过时间T(图3)对应。图中的波峰为基于反射光L2的采样值，示出该波峰的采样定时TL2与到测量对象物10的距离的2倍的距离对应。
更具体而言，以距离＝光速×(采样定时TL2-光检测器17检测到激光光束L1的定时)/2的式子求出距离。在此，采样定时为从激光光束L1的发出开始时刻起的经过时间，光检测器17检测到激光光束L1的定时为激光光束L1的发出开始时刻。
此外，图示出的采样定时的数量、进行采样的时间范围为一个示例，也可以变更采样定时的数量、进行采样的时间范围。
如图2所示，存储电路21由例如RAM(Random Access Memory，随机存取存储器)、闪存等半导体存储元件、硬盘、光盘等来实现。控制电路16将激光光束L1的数字信号与照射激光光束L1的定时的镜15的照射方向的信息对应并按时间序列存储于存储电路21。也就是说，存储电路21将AD转换电路20转换后的第一数字信号分别与激光光束L1的每个照射方向对应并按时间序列存储。
测量处理电路22为例如MPU(Micro Processing Unit，微处理单元)，基于光检测器17检测激光光束L1的定时与传感器18检测反射光L2的定时的时间差来测量距离。
图6为示出测量处理电路22的详细的结构的框图，基于图6，说明测量处理电路22的详细的结构。如图6所示，该测量处理电路22具有积算处理电路220和距离测量电路222。
积算处理电路220进行获得将存储电路21中所存储的每个激光光束L1的数字信号的S/N比改善后的测量用数字信号的处理。积算处理电路220具有取得电路220A和积算电路220B。
取得电路220A基于第一数字信号与第二数字信号的相似性，生成或者取得第二数字信号的权重值。该第一数字信号被存储于存储电路21，是将在第一照射方向照射的激光光束L1的反射光L2数字化而成的。该第二数字信号是将在与第一照射方向不同的第二照射方向照射的激光光束L1的反射光L2数字化而成的。
积算电路220B将以由取得电路220A生成的权重值对第二数字信号进行加权后的信号累积于第一数字信号而生成测量用数字信号(第三数字信号)。关于取得电路220A以及积算电路220B的详细的处理后述。
距离测量电路222基于改善S/N比后的时间序列的第三数字信号，测量到测量对象物10的距离。更具体而言，根据基于激光光束L1的照射的时间点与基于第三数字信号的信号值的波峰位置的时间点的时间差，测量到测量对象物10的距离。距离测量电路222将包含每个激光光束L1即每个照射方向的距离信息和与第三数字信号的波峰位置对应的信号值的信息的信号D1(图2)提供给图像处理装置400。也就是说，距离测量电路222针对每个照射方向，将测定距离的信息和与基于距离测定所使用的多个时间序列的数字信号(第一数字信号和第二数字信号)的时间序列的第三数字信号的与测定距离对应的信号值(波峰位置的亮度值)的信息提供给图像处理装置400。
在此，基于图7，对成为基准的激光光束L1(n)的第一照射方向和与第一照射方向不同的第二照射方向的关系进行说明。
图7示意性地示出成为基准的激光光束L1(n)和在第二照射方向照射的激光光束L1(n+ma)、L1(n+mb)、L1(n+mc)、L1(n+md)、L1(n+mf)、L1(n+mg)、L1(n+mh)、L1(n+mi)。在此，将成为基准的激光光束L1(n)的照射方向称为第一照射方向，将与第一照射方向不同的照射方向称为第二照射方向。如图7所示，成为基准的L1(n)与L1E对应。同样地，L1(i+ma)与L1A对应，L1(i+mb)与L1B对应，L1(i+mc)与L1C对应，L1(i+md)与L1D对应，L1(i+mf)与L1F对应，L1(i+mg)与L1G对应，L1(i+mf)与L1F对应。
示出在第二照射方向照射的激光光束L1的照射顺序的n+ma、n+mb、n+mc为(0≤n≤N)中的连续的自然数。如上所述，N示出用于测定测量对象物10而照射的激光光束L1(n)的照射次数。同样地，n+md、n、n+mf也是连续的自然数，n+mg、n+mh、n+mi也是连续的自然数。如图4所示，在将多个直线路径P1～Pm(m为2以上的自然数)的一个直线路径上的测定点的数量设为L＝N/m时，存在n+md＝n+ma+L，n+mg＝n+md+L的关系。
对在第二照射方向照射的激光光束L1(n+ma)、L1(n+mb)、L1(n+mc)、L1(n+mf)、L1(n+mi)的行进目的地存在同一的测量对象物10，而在第二照射方向照射的激光光束L1(n+md)、L1(n+mg)、L1(n+mh)的行进目的地在比测量对象物10更靠面前存在与测量对象物10不同的物体的示例进行说明。也就是说，照射有成为基准的激光光束L1(n)的测量对象物10上的测定点为E，照射有在与激光光束L1(n)邻接的第二照射方向照射的激光光束L1(n+ma)、L1(n+mb)、L1(n+mc)、L1(n+mf)、L1(n+mi)的测量对象物10上的测定点为A、B、C、F、I。另一方面，与照射有激光光束L1(n+md)、L1(n+mg)、L1(n+mh)的测量对象物10不同的物体上的测定点为D、G、H。这些测定点不在同一平面上，但是在图7中示意性地显示了将测定点投影在同一平面上。
像这样，由于ma～mi根据直线路径上的测定点的数量L而变更，因此为了简化说明，在实施方式中，通过L1(n+m(Z))(0≤Z≤(M-1))来标示在与激光光束L1(n)邻接的照射方向照射的激光光束L1(n+ma)～L1(n+mi)。也就是说，以n+m(Z)来标示以n为中心的第二照射方向的照射顺序。Z为自然数，M示出了与第一照射方向邻接的第二照射方向的数量。例如，在图7中，邻接的照射方向的数量为M＝8，因此以L1(n+m(Z))(0≤Z≤7))来标示邻接的第二照射方向。据此，能够以ma＝m(0)、mb＝m(1)、mc＝m(2)、md＝m(3)、mf＝m(4)、mg＝m(5)、mh＝m(6)、mi＝m(7)的方式来表示。此外，M为任意的数量。
在以下的说明中，以D(n)来标示基于第一照射方向的激光光束L1(n)的反射光L2(n)的第一数字信号。另外，以L2(n+m(Z))(0≤Z≤(M-1))来标示与激光光束L1(n)邻接的第二照射方向的激光光束L1(n+m(Z))(0≤Z≤(M-1))的反射光，以O(n+m(Z))(0≤Z≤(M-1))来标示第二照射方向的激光光束L1(n+m(Z))(0≤Z≤(M-1))的照射方向，以D(n+m(Z))(0≤Z≤(M-1))来标示基于反射光L2(n+m(Z))(0≤Z≤(M-1))的第二数字信号。另外，以第一累积值At(n)(t)来标示第一数字信号D(n)中的规定期间TA的累积值，以第二累积值At(n+m(Z))(t)(0≤Z≤(M-1))来标示第二数字信号D(n+m(Z))(0≤Z≤(M-1))中的规定期间TA的累积值。t示出了采样定时。
接下来参照图7，且基于图8来说明第一数字信号和第二数字信号的特性。图8A和图8B为示意性地示出基于图7中所示出的激光光束L1(n+ma)、L1(n+mb)、L1(n+mc)、L1(n+md)、L1(n)、L1(n+mf)、L1(n+mg)、L1(n+mh)、L1(n+mi)的反射光而得到的数字信号DA、DB、DC、DD、DE、DF、DG、DH、DI的图。也就是说，以第一数字信号DE示出第一数字信号D(n)，以第二数字信号DA、DB、DC、DD、DF、DG、DH、DI示出第二数字信号D(n+m(Z))、(0≤Z≤7)中的各个信号。
图8A示意性地示出基于从同一测量对象物10上反射的反射光而得到的数字信号DA、DB、DC、DE、DF、DI，图8B示意性地示出基于从与测量对象物10不同的物体反射的反射光而得到的数字信号DD、DG、DH。纵轴为信号值(亮度值)，横轴为采样定时。
如图8A所示，基于从测量对象物10上反射的反射光L2而得到的第二数字信号DA、DB、DC、DF、DI呈现与第一数字信号DE相似的倾向。另一方面，如图8B所示，基于从与测量对象物10不同的物体反射的反射光而得到的第二数字信号DD、DG、DH呈现与第一数字信号DE的相似性变低的倾向。
接下来参照图7以及图8A、图8B且基于图9，对数字信号DA、DB、DC、DD、DE、DF、DG、DH、DI的规定时间TA内的累积值进行说明。图9为示出图8中所示出的数字信号DA、DB、DC、DD、DE、DF、DG、DH、DI的规定时间TA内的累积值的示例的图。图9为例如白天的测定结果，为受到太阳光等环境光的影响的示例。纵轴为信号值(亮度值)，横轴为采样定时。
图9A为示出基于第一数字信号DE的第一累积值At(n)(t)的图。箭头的时间范围TA示出进行累积的时间范围。图9A中的第一累积值At(n)(t)示出一边将该时间范围TA按顺序从0到采样的结束时移动，一边进行第一数字信号DE的累积的结果。
图9B示出基于第二数字信号DA、DB、DC、DF、DI的第二累积值At(n+m(Z))(t)(Z＝0、1、2、4、7)，图9C示出基于第二数字信号DD、DG、DH的第二累积值At(n+m(Z))(t)(Z＝3、5、6)。关于第一累积值At(n)(t)以及第二累积值At(n+m(Z))(t)的详情后述。
图9D示出基于权重值将第二数字信号DA、DB、DC、DD、DF、DG、DH、DI累积于第一数字信号DE从而得到的第三数字信号的示例。
如图9A、图9B所示，将该规定时间TA内的第一数字信号DE累积而成的第一累积值At(n)(t)呈现与在时间范围TA内分别累积了第二数字信号DA、DB、DC、DF、DI而成的第二累积值At(n+m(Z))(t)(Z＝0、1、2、4、7)示出大致相同的值的倾向。另一方面，如图9C所示，第一累积值At(n)(t)呈现与在规定时间TA内分别累积了第二数字信号DD、DG、DH而成的第二累积值At(n+m(Z))(t)(Z＝3、5、6)示出不同的值的倾向。可以认为这是因为由不同的反射对象物反射的环境光等的强度针对每个对象物而不同所产生的影响。例如，存在当测定点D、G、H比测定点A、B、C、E、F、I距离更近，或是为反射系数高的物体时，规定时间TA内的数字信号的累积值变高的倾向。
接下来参照图7以及图8A、图8B且基于图10，对数字信号DA、DB、DC、DD、DE、DF、DG、DH、DI的峰值进行说明。图10A至图10D为示出基于图8所示出的数字信号DA、DB、DC、DD、DE、DF、DG、DH、DI而得到的数字信号的峰值的示意图。横轴示出采样定时，纵轴示出信号值。图10为例如夜间的测定结果，为降低了太阳光等环境光的影响的示例。
图10A示出基于第一数字信号DE的第一峰值，图10B示出基于第二数字信号DA、DB、DC、DF、DI的第二峰值，图10C示出基于第二数字信号DD、DG、DH的峰值，图10D示出基于权重值而累积后的第三数字信号。在此，将基于第一数字信号D(n)的峰值称为第一峰值，将基于第二数字信号D(n+m(Z))，(0≤Z≤(M-1))的峰值称为第二峰值。
如图10A、图10B所示，第一数字信号DE的第一峰值呈现与基于从同一测量对象物10反射的反射光的第二数字信号DA、DB、DC、DF、DI的第二峰值示出相同值的倾向。另一方面，如图10B所示，第一数字信号DE的第一峰值呈现与基于从不同的测量对象物10反射的反射光的第二数字信号DD、DG、DH的第二峰值示出不同值的倾向。
如图10D所示，如果将相似性高的第二数字信号DA、DB、DC、DF、DI的权重值增大，将相似性低的第二数字信号DD、DG、DH的权重值减小，并累积于第一数字信号DE，则能够改善第三数字信号Ad的S/N比。尤其地，能够在夜间的测定中进一步提高测定精度。
接下来参照图7、图9A至图9D以及图10A至图10D且基于图11，说明取得电路220A的详细的结构。图11为示出取得电路220A的详细的结构的框图。如图11所示，取得电路220A具有第一累积值运算电路2200、第二累积值运算电路2202、第一比率运算电路2204、第一峰值检测电路2206、第二峰值检测电路2208和第二比率运算电路2210。
如图9A所示，第一累积值运算电路2200求出在规定期间TA内对将在第一照射方向间歇地照射的激光光束L1(n)的反射光L2(n)分别数字化而成的多个第一数字信号D(n)(t)进行累积而成的第一累积值At(n)(t)。例如，第一累积值运算电路2200根据(1)式求出第一累积值At(n)。在此，以采样定时t的函数D(n)(t)来标示D(n)。
K1为任意的常数，n为0≤n＜N间的自然数。
如图9B、图9C所示，第二累积值运算电路2202求出在规定期间TA内对将在第二照射方向间歇地照射的激光光束L1(n+m(Z))(0≤Z≤(M-1))的反射光分别数字化而成的多个第二数字信号D(n+m(Z))(0≤Z≤(M-1))进行累积而成的第二累积值At(n+m(Z))(t)(0≤Z≤(M-1))。第二累积值运算电路2202根据(2)式求出第二累积值At(n+m(Z))(t)。在此，以采样定时t的函数D(n+m(Z))(t)来标示第二数字信号D(n+m(Z))。如上所述，Z为0≤Z≤(M-1)范围的自然数，M示出与第一照射方向邻接的第二照射方向的数量。
第一比率运算电路2204求出第一累积值运算电路2200累积的第一累积值At(n)(t)与第二累积值运算电路2202累积的第二累积值At(n+m(Z))(t)(0≤Z≤(M-1))的第一比率ERa1(n，n+m(Z))。第一比率运算电路2204将任意固定时间T代入(1)、(2)式的t，根据(3)式运算第一比率ERa1(n，n+m(Z))。也就是说，在本实施方式的第一比率运算电路2204中，第一比率ERa1(n，n+m(Z))的运算使用在任意固定时间T期间测定出的数字信号的累积值。在此，不只是比率，也能够加入偏移、最小值处理，该情况下成为(3-2)式。
例如如图10A所示，第一峰值检测电路2206检测第一数字信号D(n)(0≤n＜N)的信号振幅成为最大或者最小的第一峰值Peak(n)(0≤n＜N)。在此，以Peak(n)来标示第一数字信号D(n)的第一峰值。
同样地，例如如图10B、图10C所示，第二峰值检测电路2208检测第二数字信号D(n+m(Z))的信号振幅成为最大或者最小的第二峰值Peak(n+m(Z))(0≤n＜N)。在此，Z示出邻接的第二照射方向的数量。另外，通过Peak(n+m(Z))来标示第二数字信号D(n+m(Z))的第二峰值。
第二比率运算电路2210求出第一峰值检测电路2206检测到的第一峰值Peak(n)与第二峰值检测电路2208检测到的第二峰值Peak(n+m(Z))的第二比率ERa2(n，n+m(Z))。更具体而言，第二比率运算电路2210根据(4)式求出第二比率ERa2(n，n+m(Z))。在此，不只是比率，也能够加入偏移、最小值处理，该情况下成为(4-2)式。
如图6所示，取得电路220A基于这些第一比率ERa1(n，n+m(Z))、第二比率R2(n，n+m(Z))中的任意比率，取得第一评价值Ev(n，n+m(Z))。例如如(5)式所示，取得电路220A基于第一比率ERa1(n，n+m(Z))和第一累积值A，取得示出第一数字信号D(n)与第二数字信号(n+m(Z))间的相似性的第一评价值Ev(n，n+m(Z))。
Ev(n,n+m(z))＝F1(ERa1(n,n+m(z)),At(n)(T)) (5)式
在此，函数F1(x)为例如在x为1时示出最大值，并随着x的值偏离1而值变小的非线性函数。据此，第一评价值Ev(n，n+m(Z))在第一累积值与第二累积值的比率为1时示出最高值，随着偏离1而值变小。另外，如(5)式所示，由于使用累积值的第一评价值Ev(n，n+m(Z))使用累积值，因此不易受到随机的噪声的影响，所以适合易受到太阳光等环境光的影响的白天的测量处理。
另外，例如如(6)式所示，取得电路220A也可以基于第二比率ERa2(n，n+m(Z))与第一峰值Peak(n)来取得第一评价值Ev(n，n+m(Z))。
Ev(n,n+m(z))＝F1(ERa2(n,n+m(z)),Peak(n)) (6)式
也就是说，第一评价值Ev(n，n+m(Z))在第一峰值Peak(n)与第二峰值Peak(n+m(Z))的比率为1时示出最高值，随着偏离1而值变小。另外，如(6)式所示，使用峰值的第一评价值Ev(n，n+m(Z))适合峰值的测定精度更高、没有环境光的夜间的测量处理。
此外，只要第一评价值Ev(n，n+m(Z))为示出第一峰值Peak(n)与第二峰值Peak(n+m(Z))的相似性的值，则不限定于第一峰值Peak(n)与第二峰值Peak(n+m(Z))的第二比率ERa2(n，(n+m(Z))。例如，也可以将第一峰值Peak(n)与第二峰值Peak(n+m(Z))的差分值的绝对值与第一峰值Peak(n)的比率作为第一评价值Ev(n，n+m(Z))。在该情况下，第一评价值Ev(n，n+m(Z))在第一峰值Peak(n)与第二峰值Peak(n+m(Z))的差分值的绝对值与第一峰值Peak(n)的比率为0时，示出最高值，随着变得比0大而值变小。
另外，取得电路220A也可以基于第一比率ERa1(n，n+m(Z))和第二比率ERa2(n，n+m(Z))来取得第一评价值Ev(n，n+m(Z))。在该情况下，如果第一比率ERa1(n，n+m(Z))及第二比率ERa2(n，n+m(Z))这双方都接近1，则第一评价值Ev(n，n+m(Z))示出最高值，随着任意一方的比率变得比1大或者变得比1小而值降低。像这样，使用积算值以及峰值的第一评价值Ev(n，n+m(Z))适合白天黑夜间的任意的时间带的测量处理。
例如如(7)式至(9)式所示，取得电路220A基于第一评价值Ev(n，n+m(Z))来生成第一数字信号D(n)与第二数字信号D(n+m(Z))间的权重值W(n，n+m(Z))。也就是说，(7)式示出使用第一比率ERa1(n，(n+m(Z))生成权重值W(n，n+m(Z))的情况，(8)式示出使用第二比率ERa2(n，n+m(Z))生成权重值W(n，n+m(Z))的情况，(9)式示出使用第一比率ERa1(n，n+m(Z))和第二比率ERa2(n，n+m(Z))生成权重值W(n，n+m(Z))的情况。
W(n,n+m(z))＝F2(Ev(n,n+m(z)))＝F2(F1(ERa1(n,n+m(z)))) (7)式
W(n,n+m(z))＝F2(Ev(n,n+m(z)))＝F2(F1(ERa2(n,n+m(z)))) (8)式
W(n,n+m(z))＝F2(Ev(n,n+m(z)))＝F2(F3(ERa1(n,n+m(z)),ERa2(n,n+m(z))))(9)式
此外，在根据(3)式或者(3-2)式来运算第一比率ERa1(n，n+m(Z))时，代替累积值也可以使用作为表示数字信号的S/N的信号的标准偏差、方差、振幅值、与平均值的差的绝对值的积算等。也就是说，取得电路220A也可以将作为表示第一数字信号规定期间内的S/N的信号的标准偏差、方差、振幅值以及与平均值的差的绝对值的积算值内的任意一个作为第一运算值来运算，将作为表示第二数字信号规定期间内的S/N的信号的标准偏差、方差、振幅值以及与平均值的差的绝对值的积算值内的任意一个作为第二运算值来运算，基于第一运算值与第二运算值的比率，来生成第二数字信号的权重值。
在此，函数F2(x)例如为X的单调递增函数，最大值例如为1.0，最小值为0。F3(x1，x2)为第一比率ERa1(n，(n+m(Z))和第二比率ERa2(n，n+m(Z))的二元函数，是如果第一比率ERa1(n，(n+m(Z))和第二比率ERa2(n，n+m(Z))这双方都接近1，则该值变得更大，随着任意一方的比率变得比1更大或者变得比1更小，该值变得更小的函数。像这样，取得电路220A将与第一数字信号D(n)相似性高的第二数字信号D(n+m(Z))的权重值W(n，n+m(Z))生成为更大的值。
另外，在为了取得第一评价值Ev(n，n+m(Z))而使用的第一比率ERa1(n，n+m(Z))或者第二比率ERa2(n，n+m(Z))超过规定的范围的情况下，取得电路220A使权重值为0。也就是说，不累积权重值变成0的第二数字信号。据此，能够抑制特性差异大的数字信号的影响。此外，本实施方式的第一评价值Ev(n，n+m(Z))是基于规定的时间范围的累积值的比率、峰值的比率等而取得的，但不限定于此，只要为示出数字信号间的相似性的数值即可。此外，也可以通过其他计算电路、CPU来处理示出第一、第二数字信号的相似性的第一评价值Ev(n，n+m(Z))等。
如以下的(10)式所示，积算电路220B将以权重值W(n，n+m(Z))对第二数字信号D(n+m(Z))进行加权后的信号累积于第一数字信号D(n)而生成第三数字信号Ad(n)。如上所述，M示出与第一照射方向邻接的第二照射方向的数量。
W(n+m(Z))，(0≤n＜N，0≤Z≤(M-1)) (11)式
另外，取得电路220A将(11)式所示的权重值的信息输出至图像处理装置400。能够将该权重值的信息用于后述的可靠度的生成。
首先，基于图12A至图12C，对累积了与第一数字信号相似性高的第二数字信号的第三数字信号进行说明。图12A至图12C示意性地示出将第一数字信号DE和第二数字信号DA(图8)进行了加权累积的情况的图。
图12A示意性地示出基于测量对象物10的反射光L2得到的第一数字信号DE，图12B示意性地示出基于测量对象物10的反射光L2得到的第二数字信号DA。图12C示意性地示出将第一数字信号DE和第二数字信号DA进行加权累积而成的第三数字信号。由于在此第一数字信号DE与第二数字信号DA的相似性高，因此对权重值赋予例如接近最大值1.0的值。
如图12C所示，对于来自测量对象物10的反射光L2以大致相同的采样定时进行采样，因此通过累积从而信号的强度增加。另一方面，由于太阳光、漫反射的光等随机的噪声没有再现性，因此通过累积与来自测量对象物10的反射光L2相比较从而被相对地降低。信号值S12示出累积的时间序列的数字信号的与测定距离对应的时间点的值。
接下来，基于图13A至图13C，对将相似性低的第二数字信号累积于第一数字信号而成的第三数字信号进行说明。图13A至图13C为示出将第二数字信号DD(图8)加权累积于第一数字信号DE的情况的图。图13A示意性地示出基于测量对象物10的反射光得到的第一数字信号DE，图13B示意性地示出基于从与测量对象物10不同的物体反射的反射光得到的第二数字信号DD。由于第一数字信号DE与第二数字信号DD的相似性低，因此对权重值赋予例如接近最小值0的值。
像这样，基于将在第一照射方向照射的激光光束的反射光数字化而成的第一数字信号与将在与第一照射方向不同的第二照射方向照射的激光光束的反射光数字化而成的第二数字信号的相似性，来生成第二数字信号的权重值。据此，取得电路220A能够在相似性高的情况下增大第二数字信号的权重。将加权后的第二数字信号累积于第一数字信号而生成第三数字信号，从而能够基于第三数字信号中的波峰位置的定时与激光光束的照射定时的时间差，不受噪声影响地高精度且稳定地测量到对象物的距离。
接下来，基于图14说明图像处理装置400的详细的结构。图14为示出图像处理装置400的详细的结构的图。如图14所示，图像处理装置400为能够进行噪声降低处理的装置，构成为具备存储电路402和图像处理电路404。
如上所述，第三数字信号Ad(n)(0≤n＜N)的n示出激光光束L1(n)的照射的顺序。在此，将基于第三数字信号Ad(n)(0≤n＜N)得到的测定距离Dis(n)(0≤n＜N)标示为Di(0≤i＜N)，Di(0≤i＜N)示出构成二维的距离图像的像素值。也就是说，本实施方式的测定的顺序n与构成距离图像的像素的顺序i对应。
同样地，将与示出测定距离的像素值Di(0≤i＜N)对应的第三数字信号Ad(n)(0≤n＜N)的波峰时的信号值标示为Li(0≤i＜N)。同样地，通过与距离图像对应的权重值W(i，j)，(0≤i＜N，j∈A)来标示(11)式所示出的权重值W(n+m(Z))，(0≤n＜N，0≤Z≤(M-1))。A意味着距后述的图16的中心像素MP规定范围A内。在例如标示为W(i，j)，j∈A时，示出像素i与像素j之间的权重值，j意味着距中心像素i规定范围A内的像素。
通过例如RAM(Random Access Memory)、闪存等半导体存储元件、硬盘、光盘等来实现存储电路402。存储电路402存储从测量电路300提供的信息。
存储电路402从测量电路300取得并存储示出测定距离的像素值Di(0≤i＜N)、与测定距离Di对应的信号值Li(0≤i＜N)、用于累积第三数字信号Ad(i)(0≤i＜N)的权重值W(i，j)，(0≤i＜N，j∈A)。
图像处理电路404具有图像生成电路406、图像取得电路408、可靠度生成电路410、噪声降低处理电路412和图像评价电路414。
图像生成电路406基于存储电路402中所存储的信息，生成将测定距离Di(0≤i＜N)作为像素值的二维的距离图像和与二维的距离图像的每个像素对应关联的信号值Li(0≤i＜N)的信息，并输出至存储电路402。
信息取得电路408从存储电路402取得将测定距离Di(0≤i＜N)作为像素值的二维的距离图像和与二维的距离图像的每个像素对应关联的信号值Li(0≤i＜N)的信息。另外，信息取得电路408从存储电路402取得权重值W(i，j)，(0≤i＜N，j∈A)。此外，信息取得电路408也可以经由网络从其他装置取得二维的距离图像和与二维的距离图像的每个像素对应关联的信号值、权重值的信息。
可靠度生成电路410针对二维的距离图像的每个像素生成可靠度。例如随着该可靠度的值变小，该像素为噪声的可能性变高。换言之，随着可靠度的值变大，该像素不是噪声的可能性变高。
图15A为示出二维的距离图像的示例的图，区域1400示出天空等噪声区域。在此以深浅来示出距离信息。
图15B为区域1400的放大图，区域1402为噪声群集化的区域。也就是说，可靠度生成电路410能够以例如这样的噪声群集化的区域的可靠度比大致不是噪声的其他区域变得更低的方式来生成可靠度。
如上所述(10)式所示，将以权重值W(n，n+m(Z))对第二数字信号D(n+m(Z))(0≤Z≤(M-1))进行加权后的信号累积于第一数字信号D(n)而生成第三数字信号Ad(n)。M示出与第一照射方向邻接的第二照射方向的数量。因此，在以M示出的权重值W(n，n+m(Z))(0≤Z≤(M-1))的范围中存在具有强亮度值的噪声NH时，将具有强亮度值的噪声NH加算于将噪声NH作为加算范围的多个第三数字信号Ad。据此，在多个第三数字信号Ad中产生由噪声NH引起的峰值，该峰值作为多个第三数字信号Ad的各个信号的测定距离而被测定，可认为产生了噪声的群集化。
图16为说明计算可靠度的像素范围的图。如图16所示，像素范围A内的像素被用于像素中心Mp的可靠度的生成。该像素范围A为例如像素中心Mp的8邻接、24邻接等范围。
图17为示出群集尺寸及亮度值与距离测定的成功率的关系的仿真结果的图。纵轴示出群集尺寸，横轴示出亮度值。更详细而言，为对于二维的距离图像的全部像素i(0≤i≤N，N为全部像素数量)求出根据后述的(12)式、(13)式计算出的群集尺寸Ni和信号值Li的组合，并将与该组合对应的各像素i(0≤i≤N，N为全部像素数量)为真正的距离值的比例作为测距成功率而示出的图。
例如G5为测距成功率为90％的线，G4为测距成功率为80％的线，G3为测距成功率为70％的线，G2为测距成功率为0％的线。线G1为信号值L的平方×N＝常数的线，与线G2～G5的倾向一致。此外，0％相当于不存在能够测距的物体的情况(例如为天空)。
线G5上的群集尺寸与亮度的组合的情况示出不是噪声的可能性为90％的情形，线G4上的群集尺寸与亮度的组合的情况示出不是噪声的可能性为80％的情形，线G3上的群集尺寸与亮度的组合的情况示出不是噪声的可能性为70％的情形，线G2上的群集尺寸与亮度的组合的情况示出不是噪声的可能性为0％的情形。如该图17的箭头1700所示，越向着右上，测距成功率变得越高。可知随着亮度与群集尺寸的大小变大，可靠度应该变大。
p(i，j)：|Dj-Di|≤k (12)式
如果像素j的距离Dj与像素i的距离Di的距离为k以内，则P(i，j)示出1，如果比k大，则P(i，j)示出0。例如k为2米。
Ni＝∑j∈A p(i，j) (13)式
如(13)式所示，Ni示出在距中心像素i规定范围A内(图16)的像素中具有与中心像素i的距离值Di在规定范围k内的距离值Dj的像素数量。Ni也被称为群集尺寸。
可靠度生成电路410生成像素i的第一可靠度R1i(0≤i＜N)。更详细而言，如(14)式所示，像素i的第一可靠度R1i(0≤i＜N)为中心像素i的信号值Li(0≤i＜N)乘以(13)式所示的像素数量Ni的平方根而成的值。也就是说，像素i的第一可靠度R1i为基于在距中心像素i规定范围A内、例如8邻接的像素中具有与像素i的距离值Di在规定范围k((12)式)内的距离值Dj的像素数量Ni和与中心像素i对应的信号值Li的值。
在上述测定距离的测定所使用的第三数字信号Ad(i)(0≤i＜N)没有累积多个数字数据的情况下，Li成为与像素i对应关联的信号值Li自身的值。
另一方面，在第三数字信号Ad(i)(0≤i＜N)累积了多个数字数据的情况下，通过(15)式或者(16)式计算信号值Li。(15)式为将与像素范围A内的各像素对应关联的信号值Lj乘以(12)式所示的P(i，j)的值分别加算，再除以(13)式所示的Ni而成的值。在该情况下，作为(13)式所示的距中心像素i规定范围的A与累积了例如第三数字信号Ad(i)(0≤i＜N)的数字信号的范围一致，也就是说与权重值W(i，j)，(0≤i＜N，j∈A)的范围A一致。
据此，将(15)式代入了(14)式而成的可靠度R1i(0≤i＜N)为如下的值：将与在距中心像素i规定范围A内的像素中具有与中心像素i的距离值Di在规定范围k((12)式)内的距离值Dj的像素j对应的信号值Lj分别加算而成的加算值除以像素数量Ni，再乘以像素数量Ni的平方根而成的值。
也可以如(16)式所示再乘以系数C(i，j)。据此，将(16)式代入了(14)式而成的可靠度R1i为如下的值：将与在距中心像素i规定范围A内的像素中具有与中心像素i的距离值Di在规定范围k((12)式)内的距离值Dj的像素j对应的信号值Lj乘以规定的系数C(i，j)而成的乘算值分别加算而成的加算值，除以将与信号值Lj相乘的规定的系数C(i，j)分别加算而成的加算值，再乘以像素数量Ni的平方根而成的值。
图18为示出系数C(i，j)的配置模式例的图。以11b示出中心像素i的系数，以01b示出加算范围A内的周边像素的系数。例如，系数11b为1，系数01b可从1、1/2、1/4等中选择。
Li＝[∑j∈A Lj×p(i，j)]/[∑j∈A p(i，j)] (15)式
Li＝[∑j∈A Lj×p(i，j)×c(i，j)]/[∑j∈A p(i，j)×c(i，j)]
(16)式
另外，可靠度生成电路410生成第二可靠度R2i。如(17)式所示，第二可靠度R2i(0≤i＜N)为基于将与在距中心像素i规定范围A内的像素中具有与中心像素i的距离值Di在规定范围k((12)式)内的距离值Dj的像素j对应的信号值Li的取幂分别加算而成的加算值的值。更具体而言，第二可靠度R2i为基于将与在距中心像素i规定范围A内的像素中具有与中心像素i的距离值Di在规定范围k((12)式)内的距离值Dj的像素j对应的信号值Li的取幂乘以规定的系数C(i，j)而成的值分别加算而成的加算值的值。
图19为示出第二可靠度R2i所使用的的C(i，j)的值的配置模式例的图。以11b示出中心像素i的系数，以01b示出加算范围A内的周边像素的系数。例如，系数11b为1，系数01b可从1、1/2、1/4等中选择。00b为0，参照权重值W(i，j)，(0≤i＜N，j∈A)，将与没有加算的数字信号对应的像素的系数设为0。另外，也可以为对例如图18中所示出的系数的模式乘以权重值W(i，j)，(0≤i＜N，j∈A)来作为系数的模式。
R0i＝Li (18)式
如(18)式所示，像素i的第三可靠度R0i为中心像素i的信号值Li。
如图14所示，噪声降低处理电路412使用第一可靠度R1i(0≤i＜N)、第二可靠度R2i(0≤i＜N)来进行距离图像的噪声降低处理。例如，噪声降低处理电路412将噪声降低的失败率为1％的阈值设定为第一可靠度R1i(0≤i＜N)或者第二可靠度R2i(0≤i＜N)，将阈值以下的可靠度的像素作为噪声而去除。由于本实施方式的噪声降低处理电路412的处理仅进行数据的选择和放弃，因此不必担心会生成实际上不存在的数据，从而能够进行安全性更高的噪声降低处理。
图像评价电路414评价图像的画质。图像评价电路414生成构成距离图像的各像素i(0≤i≤N，N为全部像素数量)的评价位置第一可靠度R1i(0≤i＜N)、第二可靠度R2i(0≤i＜N)的平均值作为距离图像的图像评价值。根据该图像评价值，能够客观地评价距离图像的画质。
图20A至图20C为示出各可靠度与失败率1％线的关系的图。图20A示出第三可靠度R0((18)式)与失败率1％线的关系，图20B示出第一可靠度R1((14)式)与失败率1％线的关系，图20C示出第二可靠度R2((17)式)与失败率1％线的关系。横轴示出可靠度的值，纵轴示出失败率。失败率1％线为示出作为噪声去除的像素的99％为噪声的线。也就是说，相当于进行99％去噪的情况下的阈值。GL1为4像素平均的失败率1％线，GL2为9像素平均的失败率1％线，GL3为16像素平均的失败率1％线，GL4为25像素平均的失败率1％线。
如图20A所示，在使用了第三可靠度R0的情况下，失败率1％线的值依存于平均化后的像素数量而变动。换言之，第三可靠度R0受到聚类(clustering)的影响。此外，第三可靠度R0示出所谓可靠性。
另一方面，可知第一可靠度R1、第二可靠度R2不依存于作为聚类的原因的测定用的数字信号的积算范围的宽窄，也就是说不依存于平均化的强弱。此外，将积算范围设为1的情况下，例如第三数字信号Ad(n)的累积范围为1，即不累积的情况下，第一可靠度R1、第二可靠度R2与第三可靠度R0一致。
图21为示出基于可靠度而进行了99％的去噪的结果的测距成功率的图。纵轴示出测距成功率，横轴示出测定距离。实线的圆形记号示出使用了第三可靠度R0的情况下的测距成功率，虚线的三角形记号示出使用了第一可靠度R1的情况下的测距成功率，实线的方形记号示出使用了第二可靠度R2的情况下的测距成功率，实线的大一圈的方形记号示出使用了二次回归的第二可靠度R2的情况下的测距成功率，虚线的圆形记号示出不进行去噪的情况下的测距成功率。将成功率90％作为能够测距的条件的情况下，可知在使用第一可靠度R1i、第二可靠度R2i时，能够测距的距离成为使用可靠度R0的情况下的约2倍。二次回归意味着第三数字信号Ad(i)((10)式)的第二大的波峰信号。使用二次回归的距离值D2i(0≤i＜N)和信号值L2i(0≤i＜N)，也能够运算第一可靠度R1、第二可靠度R2。
图22为示出噪声降低处理电路412将噪声去除前成功率90％的距离图像作为对象进行噪声降低处理、去除噪声后的测距成功率的图。纵轴示出测距成功率，横轴示出用于运算第一可靠度R1i、第二可靠度R2i所使用的的像素范围A内的像素数量。实线的圆形记号示出使用了第三可靠度R0的情况下的测距成功率，虚线的三角形记号示出使用了第一可靠度R1的情况下的测距成功率，实线方形记号示出使用了第二可靠度R2的情况下的测距成功率，实线的大一圈的方形记号示出使用了二次回归的第二可靠度R2的情况下的测距成功率，虚线的圆形记号示出不进行去噪的情况下的测距成功率。在不进行去噪的情况下，由于示出原来的距离图像，因此成功率为90％。也就是说示出了距离图像的全部像素中的不是噪声的像素为90％的情形。
如图22所示，在与使用了作为比较对象的第三可靠度R3的噪声降低处理相比较时，在使用了第一可靠度R1、第二可靠度R2的噪声降低处理中成功率飞跃性地提高。通过并用二次回归的第一可靠度R1、第二可靠度R2，能够进一步地提高成功率。
图23A至图23D为噪声降低处理电路412进行了噪声降低处理的图。上侧的图23A以及图23C为使用第三可靠度R0进行了99％去噪的示例，下侧的图23B以及图23D为使用第一可靠度R1进行了99％去噪的示例。可知在使用第一可靠度R1的情况下，与使用了第三可靠度R0的情况相比较，明晰地检测到远处的物体(车辆等)。
在本实施方式中，图像处理电路404例如由处理器构成。在此，所谓处理器这个用语意味着例如CPU(Central Processing Unit)、GPU(Graphics Processing Unit，图形处理单元)，或者面向特定用途的集成电路(Application Specific Integrated Circuit：ASIC)、可编程逻辑设备(例如，简单可编程逻辑设备(Simple Programmable LogicDevice：SPLD)、复合可编程逻辑设备(Complex Programmable Logic Device：CPLD)以及现场可编程门阵列(Field Programmable Gate Array：FPGA)等电路。处理器通过读出并执行存储电路402中所保存的程序来实现图像生成电路406、信息取得电路408、可靠度生成电路410、噪声降低处理电路412和图像评价电路414。此外，代替将程序保存于存储电路402，也可以构成为将程序直接嵌入于处理器的电路内。在该情况下，处理器通过读出并执行被嵌入于电路内的程序来实现功能。此外，处理器不限于构成为处理器单一电路的情况，也可以组合多个独立的电路构成1个处理器，实现其功能。而且，也可以将图14中的多个结构要素统合于1个处理器来实现其功能。另外，也可以通过独立的电路来构成图像生成电路406、信息取得电路408、可靠度生成电路410、噪声降低处理电路412和图像评价电路414。另外，本实施方式的图像处理电路404的处理由于能够安装为高速的HW，因此也能够使用于像障碍物检测这样的紧急性高的应用。在将图14中的多个结构要素统合于1个处理器的情况下，能够构成为例如电路规模为113Kgates，功耗为15.8mW(20ch(通道))。28nm的情况下，在将1.2mm2/1484Kgates(16ch)变为113Kgates时，为0.098mm2，例如实际尺寸变为3.1×2.9mm。
以上为本实施方式的结构的说明，以下详细说明本实施方式的距离测量***2的动作例。
图24为说明本实施方式的距离测量***2的处理动作的流程图，基于图24，说明距离测量***2的距离测量装置5以及图像处理装置400中的整体的处理动作。
首先，发射电路100内的控制电路16将n设定为0，控制第二驱动电路16a将镜15的位置变更为向着照射方向O(n)(步骤S100、S102)。
接下来，控制电路16控制振荡器11a以及第一驱动电路11b使激光光束L1(n)发出(步骤S104)。
接下来，沿着接收光学***的光轴O2行进的反射光L2(n)经由镜15、第二光学元件14以及透镜18a被传感器18接收，并被转换为电气信号(步骤S106)。
接下来，AD转换电路20进行与反射光L2(n)对应的电气信号的采样，控制电路16将与照射方向O(n)对应的数字信号D(n)按时间序列存储于存储电路21(步骤S108)。
接下来，控制电路16判定n是否为N以下(步骤S110)，在n为N以下的情况下(步骤S110的YES)，对n追加1(步骤S108)，重复从步骤S102开始的处理。
另一方面，在n变得比N更大的情况下(步骤S110的NO)，测量处理电路22将n设定为0，取得存储电路21中所存储的数字信号D(n)的第三数字信号Ad(n)(步骤S114、S116)。接下来，测量处理电路22将权重值W(n+m(Z))，(0≤Z≤(M-1))提供给图像处理装置400。
接下来，测量处理电路22测量基于第三数字信号Ad(n)的照射方向O(n)中的到测量对象物10的距离Dis(n)，将距离Dis(n)和峰值的亮度信号L(n)提供给图像处理装置400(步骤S118)。
接下来，测量处理电路22判定n是否为N以下(步骤S120)，在n为N以下的情况下(步骤S120的YES)，对n追加1(步骤S122)，重复从(步骤S116)开始的处理。
另一方面，在n变得比N更大的情况下(步骤S120的NO)，图像处理装置400的图像生成电路406基于从存储电路402取得的距离Dis(n)、亮度信号L(n)(0≤n≤N)，生成二维的距离图像、以及作为与二维的距离图像的各像素n对应的信号而与亮度信号L(n)的信息对应关联的信号信息，并提供给存储电路402(步骤S124)。
接下来，信息取得电路408从存储电路402取得二维的距离图像、与二维的距离图像的各像素n对应的亮度信号L(n)(0≤n≤N)和权重值W(n+m(Z))，(0≤n＜N，0≤Z≤(M-1))，并提供给可靠度生成电路410。可靠度生成电路410基于作为二维的距离图像距离的像素值的Dis(n)(0≤n≤N)、亮度信号L(n)(0≤n≤N)和权重值W(n+m(Z))，(0≤n＜N，0≤Z≤(M-1))，生成第一可靠度R1(n)、第二可靠度R2(n)(步骤S126)。在此，将R1i(0≤i＜N)标示为R1(n)(0≤n＜N)，将R2i(0≤i＜N)标示为R2(n)(0≤n＜N)。
接下来，噪声降低处理电路412使用第一可靠度R1(n)及第二可靠度R2(n)中的一方来从距离图像降低噪声，也就是说进行排除处理(步骤S128)，并结束整体处理。
像这样，首先，距离测量装置5进行激光光束L1(n)(0≤n≤N)的数字信号D(n)(0≤n≤N)的采样。其后，取得作为数字信号D(n)(0≤n≤N)的加权累积值的第三数字信号Ad(n)(0≤n≤N)，且测量基于Ad(n)(0≤n≤N)的距离Dis(n)(0≤n≤N)。然后，图像处理装置400的可靠度生成电路410基于距离Dis(n)(0≤n≤N)、亮度信号L(n)(0≤n≤N)和权重值W(n+m(Z))，(0≤n＜N，0≤Z≤(M-1)，生成第一可靠度R1(n)、第二可靠度R2(n)。然后，噪声降低处理电路412使用第一可靠度R1(n)及第二可靠度R2(n)中的一方来从距离图像降低噪声。
如上所述根据本实施方式的图像处理装置400，可靠度生成电路410针对二维的距离图像的每个像素i，将各像素i作为中心像素，生成基于在距中心像素i规定范围A内的像素j中具有与中心像素i的距离值Dj在规定范围k内的距离值的像素j的像素数量Ni和与中心像素i对应的信号值Li的可靠度R1、R2。据此，能够更高精度地生成包含群集化的噪声的二维的距离图像中的每个像素的可靠度。
(一个实施方式的第一变形例)
一个实施方式的第一变形例在噪声降低处理中使用神经网络，这与一个实施方式不同。图25为示出第一变形例的图像处理装置400B的结构的图。在代替噪声降低处理电路412而具备神经网络处理电路416这一点与一个实施方式有差异。
神经网络处理电路416为通过所谓深度学习而学习的神经网络(DNN)。该DNN为给出已知噪声的位置的距离图像和其第一可靠度R1及第二可靠度R2中的一方的数据作为输入数据、给出噪声位置作为正确的答案而学习过的网络。
神经网络处理电路416在被输入了通过图像生成电路生成的距离图像和通过可靠度生成电路生成的第一可靠度R1及第二可靠度R2中的一方时，输出噪声的位置和实施了噪声降低处理的距离图像。
如上所述一个实施方式的第一变形例利用给出已知噪声的位置的距离图像和其可靠度的数据作为输入数据、给出噪声位置作为正确的答案而学习过的DNN来进行噪声降低处理。据此，即使不设定可靠度的阈值也能够进行噪声降低处理。
以上，说明了本发明的几个实施方式，但是这些实施方式为作为示例而提出的，并不意图限定发明的范围。这些新的实施方式能够以其他各种方式实施，在不脱离发明的意思的范围内，能够进行各种省略、替换、变更。这些实施方式、其变形例被包含于发明的范围、意思，且被包含于权利要求的范围所记载的发明以及其等同的范围。

Claims (20)

1.一种图像处理装置，具备：
信息取得电路，取得将测定距离作为像素值的二维的距离图像以及与和所述二维的距离图像中的每个像素的所述测定距离对应的信号值相关的信号信息；以及
可靠度生成电路，针对所述二维的距离图像的每个像素，将各所述像素作为中心像素，生成基于在距所述中心像素规定范围内的像素中具有与所述中心像素的距离值在规定范围内的距离值的像素的信息和与所述中心像素对应的所述信号值的可靠度。
2.根据权利要求1所述的图像处理装置，其中，
所述可靠度为所述中心像素的所述信号值乘以具有与所述中心像素的距离值在规定范围内的距离值的像素的像素数量的平方根而成的值。
3.根据权利要求1所述的图像处理装置，其中，
所述可靠度为如下的值：将与具有所述规定范围内的距离值的像素对应的所述信号值分别加算而成的加算值除以具有与所述中心像素的距离值在规定范围内的距离值的像素的像素数量，再乘以所述像素数量的平方根而成的值。
4.根据权利要求1所述的图像处理装置，其中，
所述可靠度为如下的值：将与具有所述规定范围内的距离值的像素对应的所述信号值乘以规定的系数而成的乘算值分别加算而成的加算值，除以将与所述信号值相乘的所述规定的系数分别加算而成的加算值，再乘以具有所述规定范围内的距离值的像素的像素数量的平方根而成的值。
5.根据权利要求1所述的图像处理装置，其中，
所述可靠度基于将与具有所述规定范围内的距离值的像素对应的所述信号值的取幂分别加算而成的加算值。
6.根据权利要求1所述的图像处理装置，其中，
所述可靠度基于将与具有所述规定范围内的距离值的像素对应的所述信号值的取幂乘以规定的系数而成的值分别加算而成的加算值。
7.根据权利要求6所述的图像处理装置，其中，
所述信号值为基于权重值累积多个时间序列的数字信号而成的时间序列的数字信号的与所述测定距离对应的时间点的值，
所述系数为基于所述权重值的值。
8.根据权利要求5所述的图像处理装置，其中，
所述可靠度基于所述加算值的平方根。
9.根据权利要求1～8中的任意一项所述的图像处理装置，其中，
还具备噪声降低处理电路，该噪声降低处理电路基于所述可靠度进行噪声降低处理。
10.根据权利要求1～8中的任意一项所述的图像处理装置，其中，
还具备图像评价电路，该图像评价电路基于所述可靠度进行所述距离图像的评价。
11.根据权利要求1～8中的任意一项所述的图像处理装置，其中，
还具备神经网络型的神经网络处理电路，该神经网络处理电路基于所述可靠度输出规定的结果。
12.一种图像处理方法，具备：
信息取得工序，取得将测定距离作为像素值的二维的距离图像以及与和所述二维的距离图像中的每个像素的所述测定距离对应的信号值相关的信号信息；以及
可靠度生成工序，针对所述二维的距离图像的每个像素，将各所述像素作为中心像素，生成基于在距所述中心像素规定范围内的像素中具有与所述中心像素的距离值在规定范围内的距离值的像素的信息和与所述中心像素对应的所述信号值的可靠度。
13.根据权利要求12所述的图像处理方法，其中，
所述可靠度为所述中心像素的所述信号值乘以具有与所述中心像素的距离值在规定范围内的距离值的像素的像素数量的平方根而成的值。
14.根据权利要求12所述的图像处理方法，其中，
所述可靠度为以下的值：将与具有所述规定范围内的距离值的像素对应的所述信号值分别加算而成的加算值除以具有与所述中心像素的距离值在规定范围内的距离值的像素的像素数量，再乘以所述像素数量的平方根而成的值。
15.根据权利要求12所述的图像处理方法，其中，
所述可靠度为如下的值：将与具有所述规定范围内的距离值的像素对应的所述信号值乘以规定的系数而成的乘算值分别加算而成的加算值，除以将与所述信号值相乘的所述规定的系数分别加算而成的加算值，再乘以具有所述规定范围内的距离值的像素的像素数量的平方根而成的值。
16.根据权利要求12所述的图像处理方法，其中，
所述可靠度基于将与具有所述规定范围内的距离值的像素对应的所述信号值的取幂分别加算而成的加算值。
17.根据权利要求12所述的图像处理方法，其中，
所述可靠度基于将与具有所述规定范围内的距离值的像素对应的所述信号值的取幂乘以规定的系数而成的值分别加算而成的加算值。
18.根据权利要求17所述的图像处理方法，其中，
所述信号值为基于权重值累积多个时间序列的数字信号而成的时间序列的数字信号的与所述测定距离对应的时间点的值，
所述系数为基于所述权重值的值。
19.根据权利要求16所述的图像处理方法，其中，
所述可靠度基于所述加算值的平方根。
20.一种距离测量***，具备距离测量装置和图像处理装置，其中，
所述距离测量装置具有：
取得部，基于第一数字信号与第二数字信号的相似性，取得所述第二数字信号的权重值，所述第一数字信号是将在第一照射方向照射的激光光束的反射光数字化而成的，所述第二数字信号是将在与所述第一照射方向不同的第二照射方向照射的激光光束的反射光数字化而成的；
积算部，将以所述权重值对所述第二数字信号进行加权而成的信号累积于所述第一数字信号而生成第三数字信号；
距离测量部，基于所述激光光束的照射定时与所述第三数字信号中的波峰位置的定时的时间差，得到距对象物的距离值，并得到与所述第三数字信号中的波峰位置对应的信号值；以及
控制部，变更所述第一照射方向，
所述图像处理装置具有：
信息取得部，取得将所述距离值作为像素值的二维的距离图像以及与和所述二维的距离图像中的每个像素的所述距离值对应的信号值相关的信号信息；以及
可靠度生成部，针对所述二维的距离图像的每个像素，将各所述像素作为中心像素，生成基于在距所述中心像素规定范围内的像素中具有与所述中心像素的距离值在规定范围内的距离值的像素的信息和与所述中心像素对应的所述信号值的可靠度。
CN201910147861.5A 2018-04-17 2019-02-28 图像处理装置、图像处理方法以及距离测量*** Active CN110389334B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018079090A JP7111497B2 (ja) 2018-04-17 2018-04-17 画像処理装置、画像処理方法、距離計測装置、及び距離計測システム
JP2018-079090 2018-04-17

Publications (2)

Publication Number Publication Date
CN110389334A true CN110389334A (zh) 2019-10-29
CN110389334B CN110389334B (zh) 2023-05-16

Family

ID=65766909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910147861.5A Active CN110389334B (zh) 2018-04-17 2019-02-28 图像处理装置、图像处理方法以及距离测量***

Country Status (4)

Country Link
US (1) US11513221B2 (zh)
EP (1) EP3557281A1 (zh)
JP (1) JP7111497B2 (zh)
CN (1) CN110389334B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7317530B2 (ja) 2019-03-14 2023-07-31 株式会社東芝 距離計測装置、距離計測方法、及び信号処理方法
US11448503B2 (en) * 2019-06-12 2022-09-20 Microsoft Technology Licensing, Llc Correction for pixel-to-pixel signal diffusion
JP7425702B2 (ja) * 2020-09-17 2024-01-31 株式会社東芝 距離計測装置、及び距離計測方法
JP7423485B2 (ja) 2020-09-18 2024-01-29 株式会社東芝 距離計測装置
JP7434128B2 (ja) * 2020-09-18 2024-02-20 株式会社東芝 距離計測装置
CN112365741B (zh) * 2020-10-23 2021-09-28 淮阴工学院 一种基于多车道车距检测的安全预警方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
US20090190007A1 (en) * 2008-01-30 2009-07-30 Mesa Imaging Ag Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras
CN102859321A (zh) * 2011-04-25 2013-01-02 三洋电机株式会社 物体检测装置以及信息取得装置
WO2014024364A1 (ja) * 2012-08-09 2014-02-13 パナソニック株式会社 対象物検出装置、対象物検出方法、プログラム
EP2854103A1 (en) * 2013-09-30 2015-04-01 Samsung Electronics Co., Ltd Method of decreasing noise of a depth image, image processing apparatus and image generating apparatus using thereof
CN106068515A (zh) * 2014-03-06 2016-11-02 高通股份有限公司 多频谱超声成像
JP2017138199A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
US20170363740A1 (en) * 2016-06-17 2017-12-21 Kabushiki Kaisha Toshiba Distance measuring device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5323320B2 (ja) * 2006-07-19 2013-10-23 有限会社シマテック 表面検査装置
JP2010164463A (ja) * 2009-01-16 2010-07-29 Mitsubishi Electric Corp レーザ３次元画像計測装置
US9488721B2 (en) 2009-12-25 2016-11-08 Honda Motor Co., Ltd. Image processing apparatus, image processing method, computer program, and movable body
JP5804467B2 (ja) 2010-03-31 2015-11-04 北陽電機株式会社 信号処理装置、及び走査式測距装置
US9300841B2 (en) * 2012-06-25 2016-03-29 Yoldas Askan Method of generating a smooth image from point cloud data
JP6328966B2 (ja) 2014-03-17 2018-05-23 スタンレー電気株式会社 距離画像生成装置、物体検出装置および物体検出方法
JP2018136896A (ja) * 2017-02-24 2018-08-30 キヤノン株式会社 情報処理装置、システム、情報処理方法、および物品の製造方法
JP6845774B2 (ja) 2017-09-15 2021-03-24 株式会社東芝 距離計測装置
WO2019102751A1 (ja) * 2017-11-22 2019-05-31 ソニーセミコンダクタソリューションズ株式会社 距離測定装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122507A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
US20090190007A1 (en) * 2008-01-30 2009-07-30 Mesa Imaging Ag Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras
CN102859321A (zh) * 2011-04-25 2013-01-02 三洋电机株式会社 物体检测装置以及信息取得装置
WO2014024364A1 (ja) * 2012-08-09 2014-02-13 パナソニック株式会社 対象物検出装置、対象物検出方法、プログラム
EP2854103A1 (en) * 2013-09-30 2015-04-01 Samsung Electronics Co., Ltd Method of decreasing noise of a depth image, image processing apparatus and image generating apparatus using thereof
US20150092017A1 (en) * 2013-09-30 2015-04-02 Samsung Electronics Co., Ltd. Method of decreasing noise of a depth image, image processing apparatus and image generating apparatus using thereof
CN106068515A (zh) * 2014-03-06 2016-11-02 高通股份有限公司 多频谱超声成像
JP2017138199A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
US20170363740A1 (en) * 2016-06-17 2017-12-21 Kabushiki Kaisha Toshiba Distance measuring device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EDELER, TORSTEN等: "Uncertainty analysis for optical time-of-flight sensors based on four-phase-shift range calculation", 《UNCERTAINTY ANALYSIS FOR OPTICAL TIME-OF-FLIGHT SENSORS BASED ON FOUR-PHASE-SHIFT RANGE CALCULATION》 *

Also Published As

Publication number Publication date
CN110389334B (zh) 2023-05-16
EP3557281A1 (en) 2019-10-23
US20190317213A1 (en) 2019-10-17
JP7111497B2 (ja) 2022-08-02
US11513221B2 (en) 2022-11-29
JP2019184545A (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
CN110389334A (zh) 图像处理装置、图像处理方法以及距离测量***
EP3457170B1 (en) Distance measuring device
US20240045038A1 (en) Noise Adaptive Solid-State LIDAR System
US20210278540A1 (en) Noise Filtering System and Method for Solid-State LiDAR
EP3709050B1 (en) Distance measuring device, distance measuring method, and signal processing method
US12025705B2 (en) Distance measuring device, distance measuring method, and speed measuring device
JP2022539706A (ja) 適応型多重パルスｌｉｄａｒシステム
US20220196810A1 (en) Time of flight ranging system and ranging method thereof
CN110324544A (zh) 固态摄像设备及其驱动方法、摄像***及可移动体
US20210026012A1 (en) Distance measuring device, and distance measuring method
CN1595197A (zh) 智能自适应激光扫描测距成像装置
WO2022037106A1 (zh) 利用激光雷达探测的方法以及激光雷达
KR20240039215A (ko) 스카우트 펄싱
CN114829968A (zh) 具有多范围通道的lidar
US12025701B2 (en) Dynamic signal control in flash LiDAR
US11460551B2 (en) Virtual array method for 3D robotic vision
US20220082694A1 (en) Distance measuring device and distance measuring method
KR20240055107A (ko) 신호 처리 방법 및 관련 장치
CN116774226A (zh) 一种车辆控制方法、装置、设备及存储介质
JPH02306210A (ja) リモートセンシング用自動焦点調整装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant