JP7468999B2 - Multipath detection device and multipath detection method - Google Patents

Multipath detection device and multipath detection method Download PDF

Info

Publication number
JP7468999B2
JP7468999B2 JP2019102968A JP2019102968A JP7468999B2 JP 7468999 B2 JP7468999 B2 JP 7468999B2 JP 2019102968 A JP2019102968 A JP 2019102968A JP 2019102968 A JP2019102968 A JP 2019102968A JP 7468999 B2 JP7468999 B2 JP 7468999B2
Authority
JP
Japan
Prior art keywords
light
control signal
timing
depth
emission control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019102968A
Other languages
Japanese (ja)
Other versions
JP2020197422A (en
Inventor
恵 永田
圭一 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Priority to JP2019102968A priority Critical patent/JP7468999B2/en
Publication of JP2020197422A publication Critical patent/JP2020197422A/en
Application granted granted Critical
Publication of JP7468999B2 publication Critical patent/JP7468999B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本開示は、測定対象までの距離を測定する際にマルチパスの有無を検出するマルチパス検出装置、および、マルチパス検出方法に関する。 This disclosure relates to a multipath detection device and a multipath detection method that detects the presence or absence of multipath when measuring the distance to a measurement target.

従来、測定対象にあたって返ってくる光の飛行時間に基づいて測定対象までの距離を測定するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラシステムが知られている。このＴＯＦカメラシステムでは、測定対象から直接返ってくる直接光と測定対象と異なる物体を介して返ってくる間接光とが混在する場合、測定誤差が大きくなって測定精度が劣化する。これに対して、例えば非特許文献１は、マルチパスの影響を軽減するＴＯＦカメラシステムを提案している。 Conventionally, a TOF (Time of Flight) camera system is known that measures the distance to a measurement target based on the time of flight of light that hits the measurement target and returns. In this TOF camera system, when direct light returning directly from the measurement target and indirect light returning via an object other than the measurement target are mixed, the measurement error increases and the measurement accuracy deteriorates. In response to this, for example, Non-Patent Document 1 proposes a TOF camera system that reduces the effects of multipath.

D.Freedman,E.Krupka,Y.Smolin,I.Leichter,and M.Schmidt,"SRA:Fast removal of general multipath for ToF sensors." In Proceedings of the 13th European Conference on Computer Vision (ECCV'14).234--249D. Freedman, E. Krupka, Y. Smolin, I. Leichter, and M. Schmidt, "SRA: Fast removal of general multipath for ToF sensors." In Proceedings of the 13th European Conference on Computer Vision (ECCV'14). 234--249

マルチパスの影響を軽減するには、測定環境が直接光と間接光とが混在するマルチパス環境にあるか否かを判定した後、マルチパスの有無に応じた処理を行う必要がある。しかしながら、非特許文献１のＴＯＦカメラシステムでは、マルチパスの有無を判定するための計算量が多く、つまり処理負荷が重いという問題がある。 To reduce the effects of multipath, it is necessary to determine whether the measurement environment is a multipath environment in which direct light and indirect light are mixed, and then perform processing according to the presence or absence of multipath. However, the TOF camera system in Non-Patent Document 1 has a problem in that the amount of calculation required to determine the presence or absence of multipath is large, which means that the processing load is heavy.

本開示のマルチパス検出装置は、発光制御信号および露光制御信号を出力する信号制御部と、前記発光制御信号に従って発光する発光部と、前記露光制御信号に従って露光することで光を受光する受光部と、マルチパスでない環境において、前記信号制御部からの所定の発光制御信号に従って所定のタイミングで露光することで得られる前記受光部の受光量、および、前記所定の発光制御信号と異なる時間帯に出力される前記信号制御部からの発光制御信号に従って前記所定のタイミングと異なるタイミングで露光することで得られる前記受光部の受光量の比によって求まる深度に関する参照データを保持するデータ保持部と、前記信号制御部からの第１の発光制御信号に従って第１のタイミングで露光することで得られる前記受光部の受光量と、前記第１の発光制御信号と異なる時間帯に出力される前記信号制御部からの第２の発光制御信号に従って前記第１のタイミングと異なる第２のタイミングで露光することで得られる前記受光部の受光量との比とによって求まる第１の深度、および、前記信号制御部からの第３の発光制御信号に従って第３のタイミングで露光することで得られる前記受光部の受光量と、前記第３の発光制御信号と異なる時間帯に出力される前記信号制御部からの第４の発光制御信号に従って前記第３のタイミングと異なる第４のタイミングで露光することで得られる前記受光部の受光量との比によって求まる第２の深度を算出する信号処理部と、前記第１の深度および前記第２の深度の差と前記参照データとを用いて前記マルチパスの有無を判定する判定部と、を備え、前記受光部の受光量のそれぞれは、前記受光部の固体撮像素子が反射光を受光し、出力する受光信号の受光信号量であり、前記第１のタイミングは、前記第１の発光制御信号を基準とするタイミングであり、前記第２のタイミングは、前記第２の発光制御信号を基準とするタイミングであり、前記第３のタイミングは、前記第３の発光制御信号を基準とするタイミングであり、前記第４のタイミングは、前記第４の発光制御信号を基準とするタイミングであり、前記第３のタイミングの開始時間は、前記第１のタイミングの開始時間よりも時間Δｔ遅れており、前記第４のタイミングの開始時間は、前記第２のタイミングの開始時間よりも時間Δｔ遅れている。 The multipath detection device disclosed herein includes a signal control unit that outputs a light emission control signal and an exposure control signal, a light emission unit that emits light in accordance with the light emission control signal, a light receiving unit that receives light by exposure in accordance with the exposure control signal, and a data storage unit that stores reference data relating to a depth obtained by a ratio between an amount of light received by the light receiving unit obtained by exposure at a predetermined timing in accordance with a predetermined light emission control signal from the signal control unit in a non-multipath environment and an amount of light received by the light receiving unit obtained by exposure at a timing different from the predetermined timing in accordance with a light emission control signal from the signal control unit that is output in a time period different from the predetermined light emission control signal, a first depth obtained by a ratio between an amount of light received by the light receiving unit obtained by exposure at a first timing in accordance with a first light emission control signal from the signal control unit and an amount of light received by the light receiving unit obtained by exposure at a second timing different from the first timing in accordance with a second light emission control signal from the signal control unit that is output in a time period different from the first light emission control signal, and exposure at a third timing in accordance with a third light emission control signal from the signal control unit. and a determination unit that determines the presence or absence of the multi-path by using a difference between the first depth and the second depth and the reference data, wherein each of the amounts of light received by the light receiving units is a light receiving signal amount of a light receiving signal output by a solid-state imaging element of the light receiving unit when the solid-state imaging element receives reflected light, the first timing is a timing based on the first light emission control signal, the second timing is a timing based on the second light emission control signal, the third timing is a timing based on the third light emission control signal, and the fourth timing is a timing based on the fourth light emission control signal, a start time of the third timing is delayed by a time Δt from the start time of the first timing, and a start time of the fourth timing is delayed by a time Δt from the start time of the second timing.

本開示のマルチパス検出方法は、発光制御信号および露光制御信号を出力するステップと、前記発光制御信号に従って発光するステップと、前記露光制御信号に従って露光することで光を受光するステップと、マルチパスでない環境において、所定の前記発光制御信号に従って所定のタイミングで露光することで得られる受光部の受光量と、所定の前記発光制御信号と異なる時間帯に出力される発光制御信号に従って前記所定のタイミングと異なるタイミングで露光することで得られる前記受光部の受光量との比によって求まる深度に関する参照データを保存するステップと、第１の発光制御信号に従って第１のタイミングで露光することで得られる前記受光部の受光量と、前記第１の発光制御信号と異なる時間帯に出力される第２の発光制御信号に従って前記第１のタイミングと異なる第２のタイミングで露光することで得られる前記受光部の受光量との比によって求まる第１の深度を算出するステップと、第３の発光制御信号に従って第３のタイミングで露光することで得られる前記受光部の受光量と、前記第３の発光制御信号と異なる時間帯に出力される第４の発光制御信号に従って前記第３のタイミングと異なる第４のタイミングで露光することで得られる前記受光部の受光量との比によって求まる第２の深度を算出するステップと、前記第１の深度および前記第２の深度の差と前記参照データとを用いて前記マルチパスの有無を判定するステップと、を含み、前記受光部の受光量のそれぞれは、前記受光部の固体撮像素子が反射光を受光し、出力する受光信号の受光信号量であり、前記第１のタイミングは、前記第１の発光制御信号を基準とするタイミングであり、前記第２のタイミングは、前記第２の発光制御信号を基準とするタイミングであり、前記第３のタイミングは、前記第３の発光制御信号を基準とするタイミングであり、前記第４のタイミングは、前記第４の発光制御信号を基準とするタイミングであり、前記第３のタイミングの開始時間は、前記第１のタイミングの開始時間よりも時間Δｔ遅れており、前記第４のタイミングの開始時間は、前記第２のタイミングの開始時間よりも時間Δｔ遅れている。 The multipath detection method disclosed herein includes the steps of outputting a light emission control signal and an exposure control signal, emitting light in accordance with the light emission control signal, receiving light by exposing in accordance with the exposure control signal, storing reference data relating to a depth calculated by a ratio between an amount of light received by the light receiving unit obtained by exposing at a predetermined timing in accordance with a predetermined light emission control signal in a non-multipath environment and an amount of light received by the light receiving unit obtained by exposing at a timing different from the predetermined timing in accordance with a light emission control signal output in a time period different from the predetermined timing in accordance with the predetermined light emission control signal, calculating a first depth calculated by a ratio between an amount of light received by the light receiving unit obtained by exposing at a first timing in accordance with a first light emission control signal and an amount of light received by the light receiving unit obtained by exposing at a second timing different from the first timing in accordance with a second light emission control signal output in a time period different from the first light emission control signal, and the step of calculating a second depth obtained by a ratio of an amount of light received by the light receiving unit obtained by exposing at a fourth timing different from the third timing in accordance with a fourth light emission control signal outputted at a different time period from the third light emission control signal, and a step of determining the presence or absence of the multi-path by using a difference between the first depth and the second depth and the reference data, wherein each of the amounts of light received by the light receiving unit is an amount of a light receiving signal outputted by a solid-state imaging element of the light receiving unit when the solid-state imaging element receives reflected light, the first timing is a timing based on the first light emission control signal, the second timing is a timing based on the second light emission control signal, the third timing is a timing based on the third light emission control signal, the fourth timing is a timing based on the fourth light emission control signal, a start time of the third timing is delayed by a time Δt from the start time of the first timing, and a start time of the fourth timing is delayed by a time Δt from the start time of the second timing.

本開示に係るマルチパス検出装置およびマルチパス検出方法によれば、マルチパスの有無を判定するための処理負荷を軽減することができる。 The multipath detection device and multipath detection method disclosed herein can reduce the processing load required to determine whether or not a multipath exists.

図１は、一般的な距離情報取得装置の構成例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of a typical distance information acquisition device. 図２は、マルチパスでない環境における距離情報取得装置の動作の一例を示すタイムチャートである。FIG. 2 is a time chart showing an example of the operation of the distance information acquisition device in a non-multipath environment. 図３は、マルチパスでない環境における距離情報取得装置の動作の他の一例を示すタイムチャートである。FIG. 3 is a time chart showing another example of the operation of the distance information acquisition device in a non-multipath environment. 図４は、直接光と間接光が混在するマルチパス環境の一例を示す図である。FIG. 4 is a diagram showing an example of a multipath environment in which direct light and indirect light coexist. 図５は、マルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。FIG. 5 is a time chart showing an example of the operation of the distance information acquisition device in a multipath environment. 図６は、マルチパスでない環境における距離情報取得装置の実際の動作の一例を示すタイムチャートである。FIG. 6 is a time chart showing an example of the actual operation of the distance information acquisition device in a non-multipath environment. 図７Ａは、照射光の発光強度の時間波形を示すグラフである。FIG. 7A is a graph showing the time waveform of the emission intensity of the irradiated light. 図７Ｂは、マルチパスでない環境において、反射光の受光量の時間波形を示すグラフである。FIG. 7B is a graph showing the time waveform of the amount of reflected light received in a non-multipath environment. 図７Ｃは、マルチパスでない環境において、照射光を出射してから反射光を受光するまでの光往復時間と深度との関係を示すグラフである。FIG. 7C is a graph showing the relationship between the time it takes for light to travel from the emission of illumination light to the reception of reflected light and the depth in a non-multipath environment. 図７Ｄは、図７Ｃの深度と深度の傾きとの関係を示すグラフである。FIG. 7D is a graph showing the relationship between depth and depth slope of FIG. 7C. 図８は、間接反射光が直接反射光よりも遅く返ってくるマルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。FIG. 8 is a time chart showing an example of the operation of the distance information acquisition device in a multipath environment in which indirectly reflected light returns slower than directly reflected light. 図９Ａは、図８に示すマルチパス環境において、直接反射光および間接反射光のそれぞれの受光強度の時間波形を示すグラフである。FIG. 9A is a graph showing the time waveforms of the received light intensities of the direct reflected light and the indirect reflected light in the multipath environment shown in FIG. 図９Ｂは、直接反射光および間接反射光を合わせた混合反射光の受光量の時間波形を示すグラフである。FIG. 9B is a graph showing the time waveform of the received light amount of mixed reflected light, which is a combination of directly reflected light and indirectly reflected light. 図９Ｃは、図８に示すマルチパス環境において、照射光を出射してから混合反射光を受光するまでの光往復時間と深度との関係を示すグラフである。FIG. 9C is a graph showing the relationship between the light round trip time from when the irradiated light is emitted until when the mixed reflected light is received and the depth in the multipath environment shown in FIG. 図９Ｄは、図９Ｃの深度と深度の傾きとの関係を示すグラフである。FIG. 9D is a graph showing the relationship between depth and depth slope of FIG. 9C. 図１０は、間接反射光が直接反射光よりも早く返ってくるマルチパス環境の一例を示す図である。FIG. 10 is a diagram showing an example of a multipath environment in which indirectly reflected light returns earlier than directly reflected light. 図１１は、間接反射光が直接反射光よりも早く返ってくるマルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。FIG. 11 is a time chart showing an example of the operation of the distance information acquisition device in a multipath environment in which indirectly reflected light returns earlier than directly reflected light. 図１２Ａは、図１１に示すマルチパス環境において、直接反射光および間接反射光のそれぞれの受光強度の時間波形を示すグラフである。FIG. 12A is a graph showing the time waveforms of the received light intensities of direct reflected light and indirectly reflected light in the multipath environment shown in FIG. 図１２Ｂは、直接反射光および間接反射光を合わせた混合反射光の時間波形を示すグラフである。FIG. 12B is a graph showing the time waveform of mixed reflected light, which is a combination of direct reflected light and indirect reflected light. 図１２Ｃは、図１１に示すマルチパス環境において、照射光を出射してから混合反射光を受光するまでの光往復時間と深度との関係を示すグラフである。FIG. 12C is a graph showing the relationship between the light round trip time from when the irradiated light is emitted until when the mixed reflected light is received and the depth in the multipath environment shown in FIG. 図１２Ｄは、図１２Ｃの深度と深度の傾きとの関係を示すグラフである。FIG. 12D is a graph showing the relationship between depth and depth slope of FIG. 12C. 図１３Ａは、複数の間接光が発生する状態を示す説明図である。FIG. 13A is an explanatory diagram showing a state in which a plurality of indirect lights are generated. 図１３Ｂは、複数の間接光のそれぞれの受光量の時間波形を示すグラフである。FIG. 13B is a graph showing the time waveform of the amount of received light of each of a plurality of indirect lights. 図１３Ｃは、複数の間接光の合計受光量の時間波形を示すグラフである。FIG. 13C is a graph showing a time waveform of the total amount of received indirect light from a plurality of sources. 図１４は、実施例１に係るマルチパス検出装置の構成例を示すブロック図である。FIG. 14 is a block diagram illustrating an example of a configuration of a multipath detection device according to the first embodiment. 図１５は、実施例１に係るマルチパス検出装置の動作を示すタイムチャートである。FIG. 15 is a time chart showing the operation of the multipath detection device according to the first embodiment. 図１６は、実施例１に係るマルチパス検出方法を示すフローチャートである。FIG. 16 is a flowchart illustrating a multipath detection method according to the first embodiment. 図１７は、実施例１の変形例に係るマルチパス検出装置の動作を示すタイムチャートである。FIG. 17 is a time chart showing the operation of the multipath detection device according to the modified example of the first embodiment. 図１８は、実施例２に係るマルチパス検出装置の構成例を示すブロック図である。FIG. 18 is a block diagram illustrating an example of a configuration of a multipath detection device according to the second embodiment. 図１９は、実施例２に係るマルチパス検出装置の動作を示すタイムチャートである。FIG. 19 is a time chart showing the operation of the multipath detection device according to the second embodiment. 図２０は、実施例２に係るマルチパス検出方法を示すフローチャートである。FIG. 20 is a flowchart illustrating a multipath detection method according to the second embodiment.

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本開示の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。 The following embodiments are specifically described with reference to the drawings. Each of the embodiments described below shows a specific example of the present disclosure. The numerical values, shapes, materials, components, the arrangement and connection of the components, steps, and the order of steps shown in the following embodiments are merely examples and are not intended to limit the present disclosure. Furthermore, among the components in the following embodiments, components that are not described in an independent claim showing an embodiment of the present disclosure are described as optional components. The embodiment of the present disclosure is not limited to the current independent claim, and may be expressed by other independent claims.

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。 Note that each figure is a schematic diagram and is not necessarily a precise illustration. In addition, in each figure, the same reference numerals are used for substantially the same configurations, and duplicate explanations may be omitted or simplified.

（本開示の基礎となる知見）
本開示の基礎となる知見について図１～図１３Ｃを参照しながら説明する。なお、本開示の基礎となる知見には、従来技術にはない新たな知見および新たな知見の基礎となる従来の知見も含まれる。 (Foundational knowledge of the present disclosure)
The findings on which the present disclosure is based will be described with reference to Figures 1 to 13C. The findings on which the present disclosure is based include new findings not found in conventional technology and conventional findings on which the new findings are based.

［１．一般的な距離情報取得装置］
まず、一般的な距離情報取得装置について、図１を参照しながら説明する。 [1. General distance information acquisition device]
First, a typical distance information acquisition device will be described with reference to FIG.

図１は、一般的な距離情報取得装置の構成例を示すブロック図である。なお、図１には、測定対象である物体ＯＢＪも図示されている。 Figure 1 is a block diagram showing an example of the configuration of a typical distance information acquisition device. Note that Figure 1 also shows an object OBJ to be measured.

距離情報取得装置は、測定対象にあたって返ってくる光の飛行時間に基づいて測定対象までの距離を測定するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式による測距装置である。距離情報取得装置は、信号制御部１０１、発光部１０２、受光部１０３および信号処理部１０４を備える。 The distance information acquisition device is a distance measuring device using the TOF (Time of Flight) method, which measures the distance to a measurement target based on the time of flight of light that hits the measurement target and returns. The distance information acquisition device includes a signal control unit 101, a light emitting unit 102, a light receiving unit 103, and a signal processing unit 104.

信号制御部１０１は、発光部１０２の発光を制御する発光制御信号を発光部１０２に出力する。また、信号制御部１０１は、受光部１０３の露光を制御する露光制御信号を受光部１０３に出力する。 The signal control unit 101 outputs a light emission control signal to the light emitting unit 102 to control the light emission of the light emitting unit 102. The signal control unit 101 also outputs an exposure control signal to the light receiving unit 103 to control the exposure of the light receiving unit 103.

発光部１０２は、発光制御信号の発光パルスに従って発光する、つまり照射光を出射する。照射光は、例えば近赤外光である。照射光は、物体ＯＢＪにて反射され、反射光となって距離情報取得装置に返る。 The light emitting unit 102 emits light in accordance with the light emitting pulse of the light emission control signal, that is, emits irradiation light. The irradiation light is, for example, near-infrared light. The irradiation light is reflected by the object OBJ and returns to the distance information acquisition device as reflected light.

受光部１０３は、行列状に配列された複数の画素を有する固体撮像素子である。受光部１０３は、露光制御信号の露光パルスに従って反射光を受光し、受光信号を信号処理部１０４に出力する。 The light receiving unit 103 is a solid-state image sensor having a plurality of pixels arranged in a matrix. The light receiving unit 103 receives reflected light in accordance with an exposure pulse of an exposure control signal, and outputs a light receiving signal to the signal processing unit 104.

信号処理部１０４は、後述する３種類の発光露光処理で得られた受光信号列から、受光部１０３の画素毎に深度Ｄおよび輝度Ｂを算出する。この深度Ｄに基づいて距離を求めることができる。深度Ｄおよび輝度Ｂの求め方については後述する。 The signal processing unit 104 calculates the depth D and brightness B for each pixel of the light receiving unit 103 from the light receiving signal sequence obtained by the three types of light emission exposure processing described below. The distance can be calculated based on this depth D. How to calculate the depth D and brightness B will be described later.

次に、マルチパスでない環境における距離情報取得装置の動作について説明する。なお、マルチパスでない環境とは、間接光が無く、直接光のみが存在する環境を意味する。 Next, we will explain the operation of the distance information acquisition device in a non-multipath environment. Note that a non-multipath environment means an environment where there is no indirect light and only direct light.

図２は、マルチパスでない環境における距離情報取得装置の動作の一例を示すタイムチャートである。 Figure 2 is a time chart showing an example of the operation of a distance information acquisition device in a non-multipath environment.

図２には、発光パルスを有する発光制御信号（または照射光）１Ａの波形と、受光部１０３に入射する入射光１Ｃの波形と、露光パルスを有する露光制御信号１Ｄの波形とが示されている。入射光１Ｃの波形は、受光部１０３が受光する受光信号量によって表される。なおこの例では、発光制御信号および照射光の波形の形状は、ほぼ同じとみなしている。 Figure 2 shows the waveform of a light emission control signal (or irradiated light) 1A having a light emission pulse, the waveform of incident light 1C incident on the light receiving unit 103, and the waveform of an exposure control signal 1D having an exposure pulse. The waveform of incident light 1C is represented by the amount of light reception signal received by the light receiving unit 103. Note that in this example, the shapes of the waveforms of the light emission control signal and the irradiated light are considered to be approximately the same.

発光パルスは、ハイレベルでアクティブを示す正論理であり、露光パルスは、ローレベルでアクティブを示す負論理である。入射光１Ｃは、照射光が物体ＯＢＪにあたって返ってくる反射光と、背景光とを含む。反射光は、照射光の照射開始から所定時間遅れて受光部１０３に入射される。この遅れ時間は、距離情報取得装置から物体ＯＢＪまでの距離に依存する。入射光１Ｃのうち同図の黒塗り領域（１か所）および斜線ハッチング領域（２か所）は、画素毎の受光信号量に該当する。 The light emission pulse is a positive logic that indicates active at a high level, and the exposure pulse is a negative logic that indicates active at a low level. The incident light 1C includes background light and reflected light that is returned when the irradiated light hits the object OBJ. The reflected light is incident on the light receiving unit 103 with a predetermined delay from the start of irradiation of the irradiated light. This delay time depends on the distance from the distance information acquisition device to the object OBJ. The black area (one place) and the hatched areas (two places) of the incident light 1C in the figure correspond to the amount of light reception signal for each pixel.

測距を行うための発光露光処理は、例えば、発光および露光を行うＳ０露光と、Ｓ０露光と異なる時間帯に発光および露光を行うＳ１露光と、Ｓ０露光およびＳ１露光と異なる時間帯に露光を行うＢＧ露光とによって実現される。なお、Ｓ０露光およびＳ１露光では、発光制御信号１Ａの開始時間をｔ＝０とし、ＢＧ露光では、露光制御信号１Ｄの開始時間をｔ＝０としている。 The light emission exposure process for distance measurement is realized, for example, by S0 exposure, which involves light emission and exposure, S1 exposure, which involves light emission and exposure at a time different from the S0 exposure, and BG exposure, which involves exposure at a time different from the S0 exposure and S1 exposure. Note that in S0 exposure and S1 exposure, the start time of the light emission control signal 1A is set to t=0, and in BG exposure, the start time of the exposure control signal 1D is set to t=0.

Ｓ０露光では、露光パルスは、発光パルスの開始と同時にアクティブになる。つまり露光は、発光と同時（ｔ＝０）に開始される。露光パルスのパルス幅ＴＳ１は、発光パルスのパルス幅ＴＬの２倍、または、２倍よりも長く設定される。Ｓ０露光では、例えば、反射光の全体を露光可能である。 In S0 exposure, the exposure pulse becomes active at the same time as the start of the light emission pulse. That is, exposure starts at the same time as light emission (t=0). The pulse width T S1 of the exposure pulse is set to be twice or more than the pulse width T L of the light emission pulse. In S0 exposure, for example, the entire reflected light can be exposed.

Ｓ１露光では、露光パルスは、発光パルスの終了と同時にアクティブになる。つまり露光は、発光の終了時点（ｔ＝ＴＬ）に開始される。露光パルスのパルス幅Ｔｓ１は、Ｓ０露光と同じパルス幅である。Ｓ１露光では、例えば、全体の反射光のうち、発光パルスの終了後に入射した反射光を露光可能である。 In S1 exposure, the exposure pulse becomes active at the same time as the end of the light emission pulse. That is, exposure starts at the end of the light emission (t= TL ). The pulse width Ts1 of the exposure pulse is the same as that of the S0 exposure. In S1 exposure, for example, it is possible to expose the reflected light that is incident after the end of the light emission pulse out of the total reflected light.

ＢＧ露光では、露光パルスは、発光パルスの発生無しにアクティブになる。すなわちＢＧ露光では、反射光が存在しない背景光を露光する。露光パルスのパルス幅Ｔｓ１は、Ｓ０露光およびＳ１露光と同じパルス幅である。 In the BG exposure, the exposure pulse becomes active without the generation of a light emission pulse, i.e., in the BG exposure, background light in the absence of reflected light is exposed. The pulse width Ts1 of the exposure pulse is the same as that of the S0 exposure and the S1 exposure.

なお、Ｓ０露光、Ｓ１露光、ＢＧ露光では、実際には複数の発光パルスまたは複数の露光パルスにともなう各処理が実行される。同図には、これらの各処理が積算された結果が示されている。 Note that in S0 exposure, S1 exposure, and BG exposure, each process is actually performed with multiple light emission pulses or multiple exposure pulses. The figure shows the results of these processes being integrated.

信号処理部１０４は、Ｓ０露光、Ｓ１露光、ＢＧ露光における画素毎の受光信号量（受光により生じる信号電荷量）を用いて、画素毎に距離Ｌおよび輝度Ｂを算出する。 The signal processing unit 104 calculates the distance L and brightness B for each pixel using the amount of light received signal (amount of signal charge generated by receiving light) for each pixel in S0 exposure, S1 exposure, and BG exposure.

ここでＳ０露光、Ｓ１露光、ＢＧ露光における画素毎の受光信号量を、それぞれ受光量Ｓ０、受光量Ｓ１、受光量ＢＧとすると、画素毎の距離Ｌは、数式１により算出される。深度Ｄは、数式１の右辺の第２項であり、受光量（Ｓ１－ＢＧ）を受光量（Ｓ０－ＢＧ）で除算して求められる。また、画素毎の輝度Ｂは、数式２により算出される。なお、ｃは光速（約２９９，７９２，４５８ｍ／ｓ）であり、ＴＬは発光パルスのパルス幅である。 Here, assuming that the amounts of light received signals for each pixel in the S0 exposure, S1 exposure, and BG exposure are the amount of light received S0, S1, and BG, respectively, the distance L for each pixel is calculated using Equation 1. The depth D is the second term on the right side of Equation 1, and is calculated by dividing the amount of light received (S1-BG) by the amount of light received (S0-BG). The brightness B for each pixel is calculated using Equation 2. Note that c is the speed of light (approximately 299,792,458 m/s), and T L is the pulse width of the light emission pulse.

Figure 0007468999000001
Figure 0007468999000001

Figure 0007468999000002
Figure 0007468999000002

次に、マルチパスでない環境における距離情報取得装置の動作の他の一例について説明する。 Next, we will explain another example of the operation of a distance information acquisition device in a non-multipath environment.

図３は、マルチパスでない環境における距離情報取得装置の動作の他の一例を示すタイムチャートである。 Figure 3 is a time chart showing another example of the operation of a distance information acquisition device in a non-multipath environment.

図３には、発光制御信号（または照射光）２Ａの波形と、入射光２Ｃの波形と、露光制御信号２Ｄの波形とが示されている。図３に示す他の一例は、露光パルスのパルス幅が、発光パルスのパルス幅と同じである点で、図２に示す例と異なっている。この場合、画素毎の距離Ｌは、数式３により算出され、輝度Ｂは、数式４により算出される。 Figure 3 shows the waveform of a light emission control signal (or irradiated light) 2A, the waveform of incident light 2C, and the waveform of an exposure control signal 2D. The other example shown in Figure 3 differs from the example shown in Figure 2 in that the pulse width of the exposure pulse is the same as the pulse width of the light emission pulse. In this case, the distance L for each pixel is calculated using Equation 3, and the brightness B is calculated using Equation 4.

Figure 0007468999000003
Figure 0007468999000003

Figure 0007468999000004
Figure 0007468999000004

［２．測定誤差が生じる仕組み］
次に、マルチパスが存在する環境において測定誤差が生じる仕組みについて、図４および図５を参照しながら説明する。 2. How measurement errors occur
Next, the mechanism by which measurement errors occur in an environment where a multipath exists will be described with reference to FIGS.

図４は、直接光と間接光とが混在するマルチパス環境の一例を示す図である。 Figure 4 shows an example of a multipath environment where direct and indirect light coexist.

図４に示す物体ＯＢＪ１は、測定対象であり、物体ＯＢＪ２は、間接光の原因となる物体である。距離測定結果ＯＢＪ１Ｅは、距離情報取得装置から物体ＯＢＪ１を観測した場合に、マルチパスに起因する測定誤差によって形成される像である。 Object OBJ1 shown in FIG. 4 is the measurement target, and object OBJ2 is the object that causes indirect light. Distance measurement result OBJ1E is an image formed due to measurement errors caused by multipath when object OBJ1 is observed from a distance information acquisition device.

図４には、直接光の経路および間接光の経路が示されている。 Figure 4 shows the direct and indirect light paths.

直接光の経路は、物体ＯＢＪ１を経由する経路であり、直接照射光（Ｄ－Ｐａｔｈ１）が、物体ＯＢＪ１で反射され直接反射光（Ｄ－Ｐａｔｈ２）となり、受光部１０３の画素１０３ａに到達する経路である。 The path of direct light is the path that passes through object OBJ1, and is the path along which directly irradiated light (D-Path1) is reflected by object OBJ1 to become directly reflected light (D-Path2), and reaches pixel 103a of light receiving unit 103.

間接光の経路は、物体ＯＢＪ２および物体ＯＢＪ１を経由する経路であって、間接照射光（Ｍ－Ｐａｔｈ１）が、物体ＯＢＪ２にて反射されて間接照射光（Ｍ－Ｐａｔｈ２）となり、さらに物体ＯＢＪ１に反射されて間接反射光（Ｍ－Ｐａｔｈ３）となり、受光部１０３の画素１０３ａに到達する経路である。 The path of indirect light is a path that passes through objects OBJ2 and OBJ1, in which indirect illumination light (M-Path1) is reflected by object OBJ2 to become indirect illumination light (M-Path2), and is further reflected by object OBJ1 to become indirect reflected light (M-Path3), and reaches pixel 103a of light receiving unit 103.

図５は、マルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。 Figure 5 is a time chart showing an example of the operation of a distance information acquisition device in a multipath environment.

図５には、発光制御信号（または照射光）３Ａの波形と、直接反射光（Ｄ－Ｐａｔｈ２）３Ｃ１の波形と、間接反射光（Ｍ－Ｐａｔｈ３）３Ｃ２の波形と、直接反射光３Ｃ１および間接反射光３Ｃ２の和である混合反射光３Ｃの波形と、露光制御信号３Ｄの波形とが示されている。このうち、発光制御信号３Ａ、直接反射光３Ｃ１および露光制御信号３Ｄの各波形は、図２に示した発光制御信号２Ａ、入射光２Ｃおよび露光制御信号２Ｄの各波形と同じである。つまり、図５は、図２に対して間接反射光３Ｃ２および混合反射光３Ｃの各波形が追加された図となっている。 Figure 5 shows the waveform of the light emission control signal (or irradiation light) 3A, the waveform of the direct reflected light (D-Path2) 3C1, the waveform of the indirect reflected light (M-Path3) 3C2, the waveform of the mixed reflected light 3C which is the sum of the direct reflected light 3C1 and the indirect reflected light 3C2, and the waveform of the exposure control signal 3D. Of these, the waveforms of the light emission control signal 3A, the direct reflected light 3C1, and the exposure control signal 3D are the same as the waveforms of the light emission control signal 2A, the incident light 2C, and the exposure control signal 2D shown in Figure 2. In other words, Figure 5 is a diagram in which the waveforms of the indirect reflected light 3C2 and the mixed reflected light 3C have been added to Figure 2.

Ｓ０露光における受光量Ｓ０は、直接反射光３Ｃ１による受光量Ｄ０と、間接反射光３Ｃ２による受光量Ｍ０との合計になる。同様に、Ｓ１露光における受光量Ｓ１は、直接反射光３Ｃ１による受光量Ｄ１ａと、間接反射光３Ｃ２による受光量Ｍ１との合計になる。これらを数式１に当てはめると、画素毎の距離Ｌは、数式５で表される。 The amount of light received in S0 exposure S0 is the sum of the amount of light received by direct reflected light 3C1 D0 and the amount of light received by indirect reflected light 3C2 M0. Similarly, the amount of light received in S1 exposure S1 is the sum of the amount of light received by direct reflected light 3C1 D1a and the amount of light received by indirect reflected light 3C2 M1. By applying these to Equation 1, the distance L per pixel is expressed by Equation 5.

Figure 0007468999000005
Figure 0007468999000005

上記の例を、露光パルスおよび発光パルスのパルス幅が同じである図３の他の一例に適用すると以下のようになる。すなわち、Ｓ０露光における受光量Ｓ０は、直接反射光３Ｃ１による受光量Ｄ０と、間接反射光３Ｃ２による受光量Ｍ０との合計となり、Ｓ１露光における受光量Ｓ１は、直接反射光３Ｃ１による受光量Ｄ１ａと、間接反射光３Ｃ２による受光量Ｍ１との合計となる。これらを数式３に当てはめると、図３の他の一例に示す場合の画素毎の距離Ｌは、数式６により算出される。 If the above example is applied to another example in Figure 3 where the pulse widths of the exposure pulse and the light emission pulse are the same, the result is as follows. That is, the amount of light received in S0 exposure is the sum of the amount of light received by direct reflected light 3C1 D0 and the amount of light received by indirect reflected light 3C2 M0, and the amount of light received in S1 exposure is the sum of the amount of light received by direct reflected light 3C1 D1a and the amount of light received by indirect reflected light 3C2 M1. By applying these to Equation 3, the distance L per pixel in the case shown in the other example in Figure 3 is calculated by Equation 6.

Figure 0007468999000006
Figure 0007468999000006

数式５の間接反射光３Ｃ２による受光量Ｍ０、Ｍ１は、物体ＯＢＪ１の距離だけでなく、周辺物体の配置位置および反射率にも依存した値となる。そのため、数式５で算出された距離Ｌは、予測不能な測定誤差を含むことになり、測定精度を小さく劣化させたり大きく劣化させたりする。数式６についても同様である。 The amounts of light received M0 and M1 from indirectly reflected light 3C2 in Equation 5 depend not only on the distance to object OBJ1, but also on the positions and reflectance of surrounding objects. Therefore, the distance L calculated by Equation 5 contains unpredictable measurement errors, which can cause small or large degradations in measurement accuracy. The same is true for Equation 6.

［３．距離情報取得装置の実際の動作］
次に、距離情報取得装置の実際の動作について、図６～図７Ｃを参照しながら説明する。なおここでは、マルチパスでない環境について説明する。 [3. Actual operation of distance information acquisition device]
Next, the actual operation of the distance information acquisition device will be described with reference to Figures 6 to 7C. Note that the description here will be given in a non-multipath environment.

図６は、マルチパスでない環境における距離情報取得装置の実際の動作の一例を示すタイムチャートである。 Figure 6 is a time chart showing an example of the actual operation of a distance information acquisition device in a non-multipath environment.

図６には、発光制御信号４Ａの波形と、照射光４Ｂの波形と、入射光４Ｃの波形と、露光制御信号４Ｄの波形とが示されている。このうち、発光制御信号４Ａおよび露光制御信号４Ｄの各波形は、図２に示した発光制御信号１Ａおよび露光制御信号１Ｄの各波形と同じである。つまり、図６は、図２に対して、照射光４Ｂの波形が追加された図となっている。また、図６の照射光４Ｂおよび入射光４Ｃの波形は、実動作でおこるパルス波形が歪んだ波形となる。 Figure 6 shows the waveforms of the light emission control signal 4A, the waveform of the irradiated light 4B, the waveform of the incident light 4C, and the waveform of the exposure control signal 4D. Of these, the waveforms of the light emission control signal 4A and the exposure control signal 4D are the same as the waveforms of the light emission control signal 1A and the exposure control signal 1D shown in Figure 2. In other words, Figure 6 is a diagram in which the waveform of the irradiated light 4B has been added to Figure 2. Also, the waveforms of the irradiated light 4B and the incident light 4C in Figure 6 are distorted waveforms of the pulse waveforms that occur in actual operation.

発光制御信号４Ａは、時間ｔ＝０で発光を開始し、時間ｔ＝Ｔｒで発光を終了するように制御する信号である。それに対し発光部１０２から実際に発光される照射光４Ｂの波形は、発光開始ｔ＝０から徐々に立ち上がり、発光終了ｔ＝Ｔｒから徐々に立ち下がり、時間ｔ＝Ｔｒ＋Ｔｆで下がりきる。時間Ｔｒはパルスの立ち上がり時間に相当し、時間Ｔｆはパルスの立ち下り時間に相当する。 The light emission control signal 4A is a signal that controls light emission to start at time t=0 and end at time t=Tr. On the other hand, the waveform of the irradiation light 4B actually emitted from the light-emitting unit 102 gradually rises from the start of light emission t=0, gradually falls from the end of light emission t=Tr, and reaches its final fall at time t= Tr + Tf . Time Tr corresponds to the rise time of the pulse, and time Tf corresponds to the fall time of the pulse.

この立ち上がり時間および立下り時間は、距離情報取得装置の制御回路を起因として発生する。立ち上がり時間および立ち下がり時間を考慮するのは、本開示における発光パルスのパルス幅がｎｓｅｃオーダーとなっているからである。例えば、０ｍから３ｍまでの距離を測定する場合、光の往復時間は約２０ｎｓｅｃであるので、発光パルスのパルス幅を２０ｎｓｅｃに設定する必要がある。このように発光パルスのパルス幅が短い場合、立ち上がり時間および立ち下がり時間を無視できなくなる。そのため、発光部１０２から照射される照射光４Ｂの波形は、実際には図６に示すように、単調増加した後、単調減少する歪みパルス波形となる。なお、照射光４Ｂの波形は、三角波状または鋸歯状の波形で表されてもよい。このように、照射光４Ｂの波形が立ち上がり時間および立ち下がり時間を有するパルス波形であるため、入射光４Ｃの波形も立ち上がり時間および立ち下がり時間を有する波形となる。本開示では、この波形の形状を利用してマルチパスの有無の検出を行う。 These rise and fall times are caused by the control circuit of the distance information acquisition device. The reason why the rise and fall times are taken into consideration is because the pulse width of the light emission pulse in this disclosure is on the order of nsec. For example, when measuring a distance from 0 m to 3 m, the round trip time of light is about 20 nsec, so the pulse width of the light emission pulse needs to be set to 20 nsec. When the pulse width of the light emission pulse is short like this, the rise and fall times cannot be ignored. Therefore, the waveform of the irradiation light 4B emitted from the light emitting unit 102 is actually a distorted pulse waveform that increases monotonically and then decreases monotonically, as shown in FIG. 6. The waveform of the irradiation light 4B may be expressed as a triangular or sawtooth waveform. As such, since the waveform of the irradiation light 4B is a pulse waveform having a rise time and a fall time, the waveform of the incident light 4C also has a rise time and a fall time. In this disclosure, the shape of this waveform is used to detect the presence or absence of multipath.

図７Ａは、照射光４Ｂの発光強度Ｉの時間波形を示すグラフである。 Figure 7A is a graph showing the time waveform of the emission intensity I of the irradiated light 4B.

図７Ａに示すように、時間（時刻）ｔにおける発光強度Ｉは、照射光４Ｂの発光開始時間をｔ＝０とすると、数式７～数式１０で表される。 As shown in FIG. 7A, the light emission intensity I at time t is expressed by Equations 7 to 10, assuming that the emission start time of the irradiated light 4B is t=0.

Figure 0007468999000007
Figure 0007468999000007

Figure 0007468999000008
Figure 0007468999000008

Figure 0007468999000009
Figure 0007468999000009

Figure 0007468999000010
Figure 0007468999000010

数式８のτｒは発光パルスの立ち上がりの時定数、数式９のτｆは発光パルスの立ち下がりの時定数、Ｔｒは立ち上がり時間、Ｔｆは立ち下がり時間、ａは立ち下がり開始時における発光強度である。図７Ａのグラフの波形は、時定数τｒ＝３．０ｎｓｅｃ、時定数τｆ＝１．４ｎｓｅｃ、立ち上がり時間Ｔｒ＝１２．７ｎｓｅｃ、立ち下り時間Ｔｆ＝７．３ｎｓｅｃとなっている。 In Equation 8, τr is the time constant of the rise of the light emission pulse, and in Equation 9, τf is the time constant of the fall of the light emission pulse, Tr is the rise time, Tf is the fall time, and a is the light emission intensity at the start of the fall. The waveform of the graph in FIG. 7A has a time constant τr = 3.0 nsec, a time constant τf = 1.4 nsec, a rise time Tr = 12.7 nsec, and a fall time Tf = 7.3 nsec.

図７Ｂは、マルチパスでない環境において、反射光の受光量の時間波形を示すグラフである。なお、反射光の受光量は、図６の入射光４Ｃから背景光を取り除いた光の量である。 Figure 7B is a graph showing the time waveform of the amount of reflected light received in a non-multipath environment. Note that the amount of reflected light received is the amount of light obtained by removing background light from the incident light 4C in Figure 6.

図７Ｂに示すように、時間（時刻）ｔにおける受光量Ｒｄｉｒｅｃｔは、照射光４Ｂの発光開始時間をｔ＝０とし、また、照射光４Ｂが測定対象から直接反射光として返ってくるまでの直接光の光往復時間をｔ１とすると、数式１１で表される。 As shown in FIG. 7B , the amount of received light R direct at time (hour) t is expressed by Equation 11, where t=0 is the emission start time of the irradiated light 4B and t1 is the round-trip time of the irradiated light 4B from the measurement object to being directly reflected light.

Figure 0007468999000011
Figure 0007468999000011

数式１１のａｔ１は立ち下がり開始時における受光強度である。光は距離の二乗で減衰し、かつ、測定対象の反射率に依存するので、受光強度ａｔ１は未知数となる。受光量Ｒｄｉｒｅｃｔの波形は、数式１１が示すように、数式８～数式１０の波形ｆ（ｔ）を測定対象までの光往復時間ｔ１分だけシフトさせた波形に対して、未知数の受光強度ａｔ１で減衰させた波形となっている。 In Equation 11, a t1 is the received light intensity at the start of the fall. Since light attenuates with the square of the distance and depends on the reflectance of the object to be measured, the received light intensity a t1 is an unknown quantity. As shown in Equation 11, the waveform of the received light amount R direct is a waveform obtained by attenuating the unknown received light intensity a t1 with respect to a waveform obtained by shifting the waveform f(t) of Equations 8 to 10 by the round-trip time t1 of light to the object to be measured.

ここで、図６における露光パルスのパルス幅ＴＳ１＝２×（Ｔｒ＋Ｔｆ）とし、数式７において発光強度Ｉおよびａ＝１であるときの波形ｆ（ｔ）の面積をＳとすると、図６のＳ０露光による受光量（Ｓ０－ＢＧ）は、数式１２で表される。 Here, if the pulse width T S1 of the exposure pulse in FIG. 6 is 2×(T r +T f ), and the area of the waveform f(t) when the light emission intensity I and a=1 in Equation 7 is S, then the amount of light received by the S0 exposure in FIG. 6 (S0−BG) is expressed by Equation 12.

Figure 0007468999000012
Figure 0007468999000012

また、図６のＳ１露光による受光量（Ｓ１－ＢＧ）は、数式１３で表される。 The amount of light received by the S1 exposure in Figure 6 (S1-BG) is expressed by equation 13.

Figure 0007468999000013
Figure 0007468999000013

前述したように、深度Ｄは数式１における右辺の第２項であり、受光量（Ｓ１－ＢＧ）を受光量（Ｓ０－ＢＧ）で除算して求められる。したがって深度Ｄを算出する際、未知数である受光強度ａｔ１が相殺され、光往復時間ｔ１を求めることができる。光往復時間ｔ１が求まると、数式１４により距離Ｌが求められる。 As described above, the depth D is the second term on the right side of Equation 1, and is calculated by dividing the amount of received light (S1-BG) by the amount of received light (S0-BG). Therefore, when calculating the depth D, the unknown received light intensity a t1 is cancelled out, and the light round trip time t1 can be calculated. Once the light round trip time t1 is calculated, the distance L can be calculated using Equation 14.

Figure 0007468999000014
Figure 0007468999000014

図７Ｃは、マルチパスでない環境において、照射光４Ｂを出射してから反射光を受光するまでの光往復時間ｔと深度Ｄとの関係を示すグラフである。図７Ｄは、図７Ｃの深度Ｄと深度の傾きαとの関係を示すグラフである。なお、図７Ｄについては後で詳しく説明する。 Figure 7C is a graph showing the relationship between the light round trip time t from when the irradiated light 4B is emitted until the reflected light is received, and the depth D, in a non-multipath environment. Figure 7D is a graph showing the relationship between the depth D in Figure 7C and the depth gradient α. Figure 7D will be explained in detail later.

図７Ｃでは、光往復時間ｔ＝０で受光した場合の深度をＤ（０）とし、光往復時間ｔ＝ｔ１で受光した場合の深度をＤ（ｔ１）とし、これらを通る曲線を実線で示している。深度Ｄおよび光往復時間ｔ１は１対１の関係にあり、光往復時間ｔ１および距離Ｌは１対１の関係にあるため、深度Ｄ（ｔ１）がわかると光往復時間ｔ１がわかり、数式１４を用いて距離Ｌが求められる。また、輝度Ｂは、数式１２を用いて求められる。 7C, the depth when light is received with a round trip time of t=0 is D(0), the depth when light is received with a round trip time of t= t1 is D( t1 ), and the curve passing through these is shown by a solid line. Since the depth D and the round trip time of t1 have a one-to-one relationship, and the round trip time of t1 and the distance L also have a one-to-one relationship, if the depth D( t1 ) is known, the round trip time of t1 can be known, and the distance L can be calculated using Equation 14. Moreover, the brightness B can be calculated using Equation 12.

上記の例を、露光パルスおよび発光パルスのパルス幅が同じである図３の他の一例に適用すると、Ｓ０露光による受光量（Ｓ０－ＢＧ）は、以下の数式１５にて算出される。 If the above example is applied to another example in Figure 3 where the pulse widths of the exposure pulse and the light emission pulse are the same, the amount of light received by the S0 exposure (S0-BG) is calculated using the following formula 15.

Figure 0007468999000015
Figure 0007468999000015

一方、図３の他の一例のＳ１露光による受光量Ｓ１は、反射光の受光量が同じなので、数式１３と同じである。 On the other hand, the amount of light received S1 due to exposure S1 in another example of Figure 3 is the same as equation 13 because the amount of reflected light received is the same.

図３の他の一例の深度Ｄは、数式３における右辺の第２項であり、受光量（Ｓ１－ＢＧ）を、受光量（Ｓ０－ＢＧ）および受光量（Ｓ１－ＢＧ）の加算結果で除算した値となる。数式３の右辺の第２項の分母である数式１５および数式１３を加算すると、以下の数式１６となる。 The depth D of another example in FIG. 3 is the second term on the right side of Equation 3, and is the value obtained by dividing the amount of received light (S1-BG) by the sum of the amount of received light (S0-BG) and the amount of received light (S1-BG). Adding Equation 15 and Equation 13, which are the denominators of the second term on the right side of Equation 3, gives the following Equation 16.

Figure 0007468999000016
Figure 0007468999000016

数式１６は、数式１２と等しいので、数式１４を用いて同様に距離Ｌが求められる。なお、輝度Ｂは、数式１６にて求められる。 Since Equation 16 is equal to Equation 12, distance L can be calculated in the same manner using Equation 14. Note that brightness B can be calculated using Equation 16.

［４．マルチパス環境における距離情報取得装置の実際の動作］
次に、マルチパス環境における距離情報取得装置の実際の動作について、図８～図１３Ｃを参照しながら説明する。 [4. Actual operation of distance information acquisition device in a multipath environment]
Next, the actual operation of the distance information acquisition device in a multipath environment will be described with reference to FIGS. 8 to 13C.

マルチパスには、例えば、間接反射光が直接反射光よりも遅れて受光部１０３に到達する第１例、および、間接反射光が直接反射光よりも早く受光部１０３に到達する第２例がある。 For example, there is a first example of multipath where the indirectly reflected light reaches the light receiving unit 103 later than the directly reflected light, and a second example where the indirectly reflected light reaches the light receiving unit 103 earlier than the directly reflected light.

まず、マルチパスの第１例について説明する。 First, we will explain the first example of multipath.

前述した図４に示すように、物体ＯＢＪ１よりも前に別の物体ＯＢＪ２がある場合にマルチパスとなって測定誤差が生じる。 As shown in Figure 4 above, if there is another object OBJ2 in front of object OBJ1, multipath occurs, resulting in measurement errors.

図８は、間接反射光が直接反射光よりも遅く返ってくるマルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。 Figure 8 is a time chart showing an example of the operation of a distance information acquisition device in a multipath environment in which indirectly reflected light returns slower than directly reflected light.

図８には、発光制御信号５Ａの波形と、照射光５Ｂの波形と、直接反射光（Ｄ－Ｐａｔｈ２）５Ｃ１の波形と、間接反射光（Ｍ－Ｐａｔｈ３）５Ｃ２の波形と、入射光５Ｃの波形と、露光制御信号５Ｄの波形とが示されている。 Figure 8 shows the waveform of the light emission control signal 5A, the waveform of the irradiation light 5B, the waveform of the direct reflected light (D-Path2) 5C1, the waveform of the indirect reflected light (M-Path3) 5C2, the waveform of the incident light 5C, and the waveform of the exposure control signal 5D.

入射光５Ｃは、混合反射光と背景光とを含む。混合反射光は、照射光５Ｂを受けて物体ＯＢＪ１から返ってくる直接反射光、および、物体ＯＢＪ２を介して照射光５Ｂを受けて物体ＯＢＪ１から返ってくる間接反射光の和である。このうち、発光制御信号５Ａ、照射光５Ｂ、直接反射光５Ｃ１、および、露光制御信号５Ｄの各波形は、図６に示した発光制御信号４Ａの波形、照射光４Ｂの波形、入射光４Ｃのうちの反射光の波形、および、露光制御信号４Ｄの波形と同じである。つまり、図８は、図６に対して、間接反射光５Ｃ２、および、入射光５Ｃの各波形を追加した図になっている。 The incident light 5C includes mixed reflected light and background light. The mixed reflected light is the sum of the direct reflected light returning from the object OBJ1 after receiving the irradiation light 5B, and the indirect reflected light returning from the object OBJ1 after receiving the irradiation light 5B via the object OBJ2. Of these, the waveforms of the light emission control signal 5A, the irradiation light 5B, the direct reflected light 5C1, and the exposure control signal 5D are the same as the waveform of the light emission control signal 4A, the waveform of the irradiation light 4B, the waveform of the reflected light of the incident light 4C, and the waveform of the exposure control signal 4D shown in FIG. 6. In other words, FIG. 8 is a diagram in which the waveforms of the indirect reflected light 5C2 and the incident light 5C have been added to FIG. 6.

図９Ａは、図８に示すマルチパス環境において、直接反射光５Ｃ１および間接反射光５Ｃ２のそれぞれの受光強度の時間波形を示すグラフである。 Figure 9A is a graph showing the time waveforms of the received light intensity of direct reflected light 5C1 and indirect reflected light 5C2 in the multipath environment shown in Figure 8.

図９Ａに示すように、間接反射光５Ｃ２は、直接反射光５Ｃ１よりも長い経路を通っているため、時間的な遅れが生じている。直接反射光５Ｃ１の光往復時間を、図７Ｂおよび数式１１で示した通りｔ１とし、この光往復時間ｔ１を基点とした間接反射光５Ｃ２の遅れ時間をマルチパス遅れ時間ｔｂとすると、時間（時刻）ｔにおける間接反射光５Ｃ２の受光量Ｒｉｎｄｉｒｅｃｔは、数式１７で表される。 As shown in Fig. 9A, the indirect reflected light 5C2 travels a longer path than the directly reflected light 5C1, and so a time delay occurs. If the round trip time of the direct reflected light 5C1 is t1 as shown in Fig. 7B and Equation 11, and the delay time of the indirect reflected light 5C2 based on this round trip time t1 is multipath delay time tb , the received light amount R indirect of the indirect reflected light 5C2 at time t is expressed by Equation 17.

Figure 0007468999000017
Figure 0007468999000017

ここで、ｂｔ１は間接反射光５Ｃ２の立ち下がり開始時における受光強度である。光は距離の二乗で減衰し、かつ、測定対象の反射率および通過した経路上の物体の反射率に依存するので受光強度ｂｔ１は未知数となる。 Here, bt1 is the received light intensity at the beginning of the fall of the indirect reflected light 5C2. Since light attenuates in proportion to the square of the distance and depends on the reflectance of the measurement target and the reflectance of objects on the path it passes through, the received light intensity bt1 is an unknown quantity.

図９Ｂは、直接反射光５Ｃ１および間接反射光５Ｃ２を合わせた混合反射光の受光量の時間波形を示すグラフである。実際には図９Ａに示すような直接反射光５Ｃ１および間接反射光５Ｃ２を別々に受光できないため、図９Ｂに示すような波形が観測される。時間（時刻）ｔにおける混合反射光の受光量Ｒｍｉｘは、数式１８で表される。 Fig. 9B is a graph showing the time waveform of the received light amount of mixed reflected light, which is a combination of direct reflected light 5C1 and indirect reflected light 5C2. In reality, the direct reflected light 5C1 and indirect reflected light 5C2 as shown in Fig. 9A cannot be received separately, so the waveform shown in Fig. 9B is observed. The received light amount R mix of the mixed reflected light at time t is expressed by Equation 18.

Figure 0007468999000018
Figure 0007468999000018

ここで、図８における露光パルスのパルス幅ＴＳ１＝２×（Ｔｒ＋Ｔｆ）とし、発光強度Ｉおよびａ＝１であるときの波形ｆ（ｔ）の面積をＳとすると、図８のＳ０露光による受光量（Ｓ０－ＢＧ）は、数式１９で表される。 Here, if the pulse width T S1 of the exposure pulse in FIG. 8 is 2×(T r +T f ), and the area of the waveform f(t) when the light emission intensity is I and a=1 is S, then the amount of light received by the S0 exposure in FIG. 8 (S0−BG) is expressed by Equation 19.

Figure 0007468999000019
Figure 0007468999000019

また、図８のＳ１露光における受光量（Ｓ１－ＢＧ）は、数式２０および数式２１で表される。 The amount of light received during the S1 exposure in FIG. 8 (S1-BG) is expressed by Equations 20 and 21.

Figure 0007468999000020
Figure 0007468999000020

Figure 0007468999000021
Figure 0007468999000021

深度Ｄは、数式１における右辺の第２項であり、数式２０の受光量（Ｓ１－ＢＧ）を数式１９の受光量（Ｓ０－ＢＧ）で除算して求められるが、数式１８および数式２０の一部である数式２１には、未知数の受光強度ｂｔ１＞０およびマルチパス遅れ時間ｔｂ＞０が存在し、その影響を相殺できていない。よって、深度Ｄは、直接光のみを受光した場合に比べて大きな値となる。 The depth D is the second term on the right side of the formula 1, and is calculated by dividing the amount of received light (S1-BG) in formula 20 by the amount of received light (S0-BG) in formula 19, but formula 21, which is a part of formula 18 and formula 20, contains unknown quantities of the received light intensity b t1 >0 and the multipath delay time t b >0, and the effects of these quantities cannot be offset. Therefore, the depth D becomes a larger value than when only direct light is received.

図９Ｃは、図８に示すマルチパス環境において、照射光を出射してから混合反射光を受光するまでの光往復時間ｔと深度Ｄとの関係を示すグラフである。図９Ｄは、図９Ｃの深度Ｄと深度の傾きαとの関係を示すグラフである。 Figure 9C is a graph showing the relationship between the light round trip time t from when the irradiated light is emitted until when the mixed reflected light is received, and the depth D in the multipath environment shown in Figure 8. Figure 9D is a graph showing the relationship between the depth D in Figure 9C and the depth gradient α.

図９Ｃでは、光往復時間ｔ＝０で混合反射光を受光した場合の深度を０とし、光往復時間ｔ＝ｔ１で混合反射光を受光した場合の深度をＤＯ（ｔ１）とし、これらを通る曲線を実線で示している。また、図９Ｃでは、光往復時間ｔ＝０で直接反射光５Ｃ１のみを受光した場合の深度を０とし、光往復時間ｔ＝ｔ１で直接反射光５Ｃ１のみを受光した場合の深度をＤｒｅｆ（ｔ１）とし、これらを通る曲線を点線で示している。なお、この点線は、図７Ｃに示した曲線と同じである。これらの関係を利用し、本開示のマルチパス検出装置１００では図９Ｄに示すように、反射光の深度が直接光のみのときの深度と同じであるか否か、すなわち深度ＤＯ（ｔ１）≠深度Ｄｒｅｆ（ｔ１）であるか否かを判定することで、マルチパスの有無を検出することが可能である。なお、図９Ｄについては後で詳しく説明する。 In FIG. 9C, the depth when the mixed reflected light is received at an optical round trip time t=0 is set to 0, and the depth when the mixed reflected light is received at an optical round trip time t= t1 is set to D O (t 1 ), and the curve passing through these is shown by a solid line. Also, in FIG. 9C, the depth when only the direct reflected light 5C1 is received at an optical round trip time t=0 is set to 0, and the depth when only the direct reflected light 5C1 is received at an optical round trip time t= t1 is set to D ref (t 1 ), and the curve passing through these is shown by a dotted line. Note that this dotted line is the same as the curve shown in FIG. 7C. Using these relationships, the multipath detection device 100 of the present disclosure can detect the presence or absence of multipath by determining whether or not the depth of the reflected light is the same as the depth when only the direct light is received, that is, whether or not the depth D O (t 1 ) ≠ the depth D ref (t 1 ), as shown in FIG. 9D. Note that FIG. 9D will be described in detail later.

次に、間接反射光が直接反射光よりも早く受光部１０３に到達するマルチパスの第２例について説明する。この第２例は、フレアとも呼ばれる。 Next, we will explain a second example of multipath, in which indirectly reflected light reaches the light receiving unit 103 earlier than directly reflected light. This second example is also called flare.

図１０は、間接反射光が直接反射光よりも早く返ってくるマルチパス環境の一例を示す図である。 Figure 10 shows an example of a multipath environment where indirectly reflected light returns earlier than directly reflected light.

図１０では、レンズ１０９が、受光部１０３の前に配置されている。物体ＯＢＪ１は、測定対象であり、物体ＯＢＪ２は、間接光の原因となる物体である。距離測定結果ＯＢＪ１Ｅは、距離情報取得装置から物体ＯＢＪ１を観測した場合に、マルチパスに起因する測定誤差によって形成される像である。 In FIG. 10, a lens 109 is placed in front of the light receiving unit 103. An object OBJ1 is the object to be measured, and an object OBJ2 is the object that causes indirect light. A distance measurement result OBJ1E is an image formed due to measurement errors caused by multipath when object OBJ1 is observed from a distance information acquisition device.

図１０には、２つの直接光の経路、および、１つの間接光の経路が示されている。 Figure 10 shows two direct light paths and one indirect light path.

１つ目の直接光の経路は、物体ＯＢＪ１を経由する経路であり、直接照射光（Ｄ１－Ｐａｔｈ１）が、物体ＯＢＪ１で反射され直接反射光（Ｄ１－Ｐａｔｈ２）となり、レンズ１０９を通過して受光部１０３の画素１０３ａに到達する経路である。 The first direct light path is a path that passes through object OBJ1, where the directly irradiated light (D1-Path1) is reflected by object OBJ1 to become directly reflected light (D1-Path2), passes through lens 109, and reaches pixel 103a of light receiving unit 103.

２つ目の直接光の経路は、物体ＯＢＪ２を経由する経路であり、照射光（Ｄ２－Ｐａｔｈ１）が、物体ＯＢＪ２で反射され反射光（Ｄ２－Ｐａｔｈ２）となり、レンズ１０９を通過して受光部１０３の画素１０３ｂに到達する経路である。 The second direct light path is a path that passes through object OBJ2, in which the irradiated light (D2-Path1) is reflected by object OBJ2 to become reflected light (D2-Path2), passes through lens 109, and reaches pixel 103b of light receiving unit 103.

間接光の経路は、レンズ１０９で反射する経路であり、画素１０３ｂで反射した間接反射光（Ｍ－Ｐａｔｈ１）が、レンズ１０９で散乱し、間接反射光（Ｍ－Ｐａｔｈ２）となって画素１０３ａに到達する経路である。 The path of indirect light is the path that is reflected by lens 109, and is the path along which indirectly reflected light (M-Path1) reflected by pixel 103b is scattered by lens 109, becomes indirectly reflected light (M-Path2), and reaches pixel 103a.

図１１は、間接反射光６Ｃ２が直接反射光６Ｃ１よりも早く返ってくるマルチパス環境における距離情報取得装置の動作の例を示すタイムチャートである。 Figure 11 is a time chart showing an example of the operation of a distance information acquisition device in a multipath environment in which indirectly reflected light 6C2 returns earlier than directly reflected light 6C1.

図１１には、発光制御信号６Ａの波形と、照射光６Ｂの波形と、直接反射光（Ｄ１－Ｐａｔｈ２）６Ｃ１の波形と、間接反射光（Ｍ－Ｐａｔｈ２）６Ｃ２の波形と、入射光６Ｃの波形と、露光制御信号６Ｄの波形とが示されている。 Figure 11 shows the waveform of the light emission control signal 6A, the waveform of the irradiation light 6B, the waveform of the direct reflected light (D1-Path2) 6C1, the waveform of the indirect reflected light (M-Path2) 6C2, the waveform of the incident light 6C, and the waveform of the exposure control signal 6D.

入射光６Ｃは、混合反射光と背景光とを含む。混合反射光は、直接反射光６Ｃ１および間接反射光６Ｃ２の和である。このうち、発光制御信号６Ａ、照射光６Ｂ、直接反射光６Ｃ１および露光制御信号６Ｄの各波形は、図６に示した発光制御信号４Ａの波形、照射光４Ｂの波形、入射光４Ｃのうちの反射光の波形、および、露光制御信号４Ｄの波形と同じである。つまり、図１１は、図６に対して、間接反射光６Ｃ２および入射光６Ｃの各波形を追加した図になっている。 The incident light 6C includes mixed reflected light and background light. The mixed reflected light is the sum of the direct reflected light 6C1 and the indirect reflected light 6C2. Of these, the waveforms of the light emission control signal 6A, the irradiation light 6B, the direct reflected light 6C1, and the exposure control signal 6D are the same as the waveform of the light emission control signal 4A, the waveform of the irradiation light 4B, the waveform of the reflected light of the incident light 4C, and the waveform of the exposure control signal 4D shown in FIG. 6. In other words, FIG. 11 is a diagram in which the waveforms of the indirect reflected light 6C2 and the incident light 6C have been added to FIG. 6.

図１２Ａは、図１１に示すマルチパス環境において、直接反射光６Ｃ１および間接反射光６Ｃ２のそれぞれの受光強度の時間波形を示すグラフである。図１２Ｂは、直接反射光６Ｃ１および間接反射光６Ｃ２を合わせた混合反射光の時間波形を示すグラフである。 Figure 12A is a graph showing the time waveforms of the received light intensity of the direct reflected light 6C1 and the indirect reflected light 6C2 in the multipath environment shown in Figure 11. Figure 12B is a graph showing the time waveform of the mixed reflected light that combines the direct reflected light 6C1 and the indirect reflected light 6C2.

図１２Ａに示すように、間接反射光６Ｃ２は、直接反射光６Ｃ１よりも短い経路を通っているため、時間的な早さが生じている。直接反射光６Ｃ１は、数式１１で示される通りであり、間接反射光６Ｃ２は、図７Ｂの第１例と逆になり、時間ｔｂ早く返ってくるので、数式１７から数式２１にて未知数の時間ｔｂ＜０とすることで、同様に計算できる。 As shown in Fig. 12A, the indirectly reflected light 6C2 travels a shorter path than the directly reflected light 6C1, resulting in an earlier time. The directly reflected light 6C1 is as shown in Equation 11, and the indirectly reflected light 6C2 is the opposite of the first example in Fig. 7B, returning a time tb earlier. Therefore, by setting the unknown time tb < 0 in Equations 17 to 21, the calculations can be performed in the same way.

深度Ｄは数式１における右辺の第２項であり、数式２０の受光量（Ｓ１－ＢＧ）を数式１９の受光量（Ｓ０－ＢＧ）で除算して求められるが、数式１８および数式２０の一部である数式２１には、未知数の受光強度ｂｔ１＞０およびマルチパス早まり時間ｔｂ＜０が存在し、その影響を相殺できていない。よって、深度Ｄは、直接光のみを受光した場合に比べて小さな値となる。 The depth D is the second term on the right side of the formula 1, and is calculated by dividing the amount of received light (S1-BG) in formula 20 by the amount of received light (S0-BG) in formula 19, but formula 21, which is a part of formula 18 and formula 20, contains unknown quantities of the received light intensity b t1 >0 and the multipath advance time t b <0, and the effects of these quantities cannot be offset. Therefore, the depth D has a smaller value than when only direct light is received.

図１２Ｃは、図１１に示すマルチパス環境において、照射光６Ｂを出射してから混合反射光を受光するまでの光往復時間ｔと深度Ｄとの関係を示すグラフである。図１２Ｄは、図１２Ｃの深度Ｄと深度の傾きαとの関係を示すグラフである。 Figure 12C is a graph showing the relationship between the light round trip time t from when the irradiated light 6B is emitted until the mixed reflected light is received and the depth D in the multipath environment shown in Figure 11. Figure 12D is a graph showing the relationship between the depth D in Figure 12C and the depth gradient α.

図１２Ｃでは、光往復時間ｔ＝０で混合反射光を受光した場合の深度を０とし、光往復時間ｔ＝ｔ１で混合反射光を受光した場合の深度をＤＯ（ｔ１）とし、これらを通る曲線を実線で示している。また、図７Ｃに示した曲線を点線で示している。これらの関係を利用し、第２例においても図１２Ｄに示すように、反射光の深度が直接光のみのときの深度と同じであるか否かを判定することで、マルチパスの有無を検出することが可能である。なお、図１２Ｄについては後で詳しく説明する。 In Fig. 12C, the depth when mixed reflected light is received with an optical round trip time t = 0 is 0, and the depth when mixed reflected light is received with an optical round trip time t = t1 is D0 ( t1 ), and the curve passing through these is shown by a solid line. The curve shown in Fig. 7C is also shown by a dotted line. By utilizing these relationships, it is possible to detect the presence or absence of multipath in the second example by determining whether the depth of reflected light is the same as the depth when only direct light is received, as shown in Fig. 12D. Fig. 12D will be described in detail later.

なお、これまで説明したマルチパスは１つの経路の間接反射光であるが、これに限定されるものではなく、以下に示すように、複数経路の間接反射光も本開示に含まれる。 Note that the multipath described above refers to indirectly reflected light from one path, but this is not limited to this, and indirectly reflected light from multiple paths is also included in this disclosure, as described below.

図１３Ａは、複数の間接光が発生する状態を示す説明図である。 Figure 13A is an explanatory diagram showing a state in which multiple indirect lights are generated.

図１３Ａに示す物体ＯＢＪ１は測定対象であり、物体ＯＢＪ２および物体ＯＢＪ３は、間接光の原因となる物体である。距離測定結果ＯＢＪ１Ｅは、距離情報取得装置から物体ＯＢＪ１を観測した場合に、マルチパスによる測定誤差によって形成される像である。この図では、直接光の経路が実線で示され、物体ＯＢＪ２を介した３つの間接光の経路、および、物体ＯＢＪ３を介した３つの間接光の経路が破線で示されている。 Object OBJ1 shown in FIG. 13A is the object to be measured, and objects OBJ2 and OBJ3 are objects that cause indirect light. Distance measurement result OBJ1E is an image formed due to measurement errors caused by multipath when object OBJ1 is observed from a distance information acquisition device. In this figure, the path of direct light is shown by a solid line, and the paths of three indirect lights via object OBJ2 and three indirect lights via object OBJ3 are shown by dashed lines.

図１３Ｂは、複数の間接光のそれぞれの受光量の時間波形を示すグラフである。 Figure 13B is a graph showing the time waveforms of the amount of received light for each of the multiple indirect light beams.

図１３Ｂは、図１３Ａの６つの間接光を受光部１０３で別々に受光したと仮定したときの受光量の時間波形を示すグラフである。この図に示すように、間接光の経路が長いほど受光量の立ち上がりが遅くなり、受光量の高さが低くなっている。 Figure 13B is a graph showing the time waveform of the amount of received light when it is assumed that the six indirect light beams in Figure 13A are received separately by the light receiving unit 103. As shown in this figure, the longer the path of the indirect light, the slower the rise in the amount of received light becomes, and the lower the amount of received light becomes.

図１３Ｃは、複数の間接光の合計受光量の時間波形を示すグラフである。 Figure 13C is a graph showing the time waveform of the total amount of received indirect light from multiple sources.

図１３Ｃに示すように、６つの間接光の受光量を合計した波形でも、図７Ｂと同様の波形傾向を示している。そのため、間接光が複数発生していても、前述した１つの経路の間接光に近似可能である。つまり、間接光が複数発生した場合でも本知見を適用することができる。 As shown in Figure 13C, the waveform obtained by adding up the amount of received indirect light from six sources shows the same waveform trend as Figure 7B. Therefore, even if multiple sources of indirect light are generated, it is possible to approximate the indirect light from one path as described above. In other words, this finding can be applied even when multiple sources of indirect light are generated.

［５．マルチパス有無の判定のしかた］
次に、マルチパスの有無の判定のしかたについて、図７Ｄ、図９Ｄおよび図１２Ｄを参照しながら説明する。このマルチパスの有無の判定では、深度の傾きαまたは２つの深度の差に着目する。 [5. How to determine the presence or absence of multipath]
Next, a method for determining whether or not there is a multipath will be described with reference to Fig. 7D, Fig. 9D, and Fig. 12D. In determining whether or not there is a multipath, attention is paid to the depth gradient α or the difference between two depths.

深度Ｄの傾きα（ｔ１）は、所定の光往復時間ｔ１において深度Ｄを微分した値であり、数式２２で表される。 The gradient α(t 1 ) of the depth D is a value obtained by differentiating the depth D at a predetermined light round trip time t 1 and is expressed by Equation 22.

Figure 0007468999000022
Figure 0007468999000022

数式２２に示すように、傾きα（ｔ１）は、波形を時間ｔと逆方向に反転させ、また、時間Ｔｒ分だけシフトさせ、１／Ｓの項により波形面積が１になるように正規化されていることがわかる。 As shown in Equation 22, the slope α(t 1 ) inverts the waveform in the opposite direction to time t, shifts it by time Tr, and normalizes the waveform area to 1 by the term 1/S.

図７Ｄは、図７Ｃにて示した深度Ｄと深度の傾きαとの関係を、縦軸と横軸を逆にして示したグラフである。深度Ｄの微分である深度の傾きαは、数式２３で表される。 Figure 7D is a graph showing the relationship between the depth D and the depth gradient α shown in Figure 7C, with the vertical and horizontal axes reversed. The depth gradient α, which is the derivative of the depth D, is expressed by Equation 23.

Figure 0007468999000023
Figure 0007468999000023

数式２３において、Δｔ→０とすることで深度の傾きαを求めることができるが、現実ではΔｔを０にすることは難しく、また、Δｔが０に近づくほどノイズの影響を大きく受ける。よって、Δｔは、ある程度大きな値に設定することが望ましい。具体的には、発光パルスの立ち上がり時間Ｔｒの半分または１／３などの時間に設定される。なお、深度の傾きαを使う代わりに、Δｔを固定値とし、２つの深度の差を使うことができる。これによれば、除算による計算負荷を軽減し、更に処理負荷を軽減できる。 In Equation 23, the depth gradient α can be found by setting Δt → 0, but in reality it is difficult to make Δt 0, and the closer Δt is to 0, the greater the effect of noise. Therefore, it is desirable to set Δt to a relatively large value. Specifically, it is set to half or one-third of the rise time Tr of the light emission pulse. Note that instead of using the depth gradient α, Δt can be set to a fixed value and the difference between the two depths can be used. This reduces the calculation load due to division and further reduces the processing load.

図９Ｄは、図９Ｃで示した深度Ｄと深度の傾きαの関係を、縦軸と横軸を逆にして示したグラフである。図９Ｄには、光往復時間ｔ＝ｔ１で混合反射光を受光したときの深度の傾きα０、および、その時の深度Ｄ０（α０）が示されている。また同図には、参照データＤｒｅｆとして、図７Ｄで示した直接反射光のみを受光したときの深度と、深度の傾きとの関係が点線で示されている。 Fig. 9D is a graph showing the relationship between the depth D and the depth gradient α shown in Fig. 9C with the vertical and horizontal axes reversed. Fig. 9D shows the depth gradient α 0 when mixed reflected light is received at a light round trip time t = t 1 , and the depth D 0 (α 0 ) at that time. In the same figure, the relationship between the depth and the depth gradient when only the directly reflected light shown in Fig. 7D is received is also shown by a dotted line as reference data D ref .

図９Ｄで示すように、混合反射光で算出された深度の傾きα０に対応する深度Ｄ０（α０）は、同じ傾きα０に対応する深度Ｄｒｅｆ（α０）とは異なる点となる。このように、例えば、直接反射光のみを受光したときの深度Ｄとその傾きαを参照データＤｒｅｆとしてあらかじめ保持しておき、実際に測定して取得した深度が参照データＤｒｅｆと一致しているか否かを判断することで、マルチパスの有無を判定することができる。 9D , the depth D 0 (α 0 ) corresponding to the gradient α 0 of the depth calculated using the mixed reflected light is a different point from the depth D ref (α 0 ) corresponding to the same gradient α 0. In this way, for example, the depth D and its gradient α when only the directly reflected light is received are stored in advance as reference data D ref , and it is possible to determine whether the depth actually measured matches the reference data D ref , thereby determining whether or not there is a multipath.

図１２Ｄは、図１２Ｃで示した深度Ｄと深度の傾きαの関係を、縦軸と横軸を逆にして示したグラフである。図１２Ｄには、光往復時間ｔ＝ｔ１で混合反射光を受光したときの深度の傾きα０、および、その時の深度Ｄ０（α０）とが示されている。また同図には、参照データＤｒｅｆとして、図７Ｄで示した直接反射光のみを受光したときの深度と、深度の傾きとの関係が点線で示されている。 Fig. 12D is a graph showing the relationship between the depth D and the depth gradient α shown in Fig. 12C with the vertical and horizontal axes reversed. Fig. 12D shows the depth gradient α 0 when mixed reflected light is received at a light round trip time t = t 1 , and the depth D 0 (α 0 ) at that time. In the same figure, the relationship between the depth and the depth gradient when only the directly reflected light shown in Fig. 7D is received is also shown by a dotted line as reference data D ref .

図１２Ｄで示すように、混合反射光で算出された深度の傾きα０に対応する深度Ｄ０（α０）は、同じ傾きα０に対応する深度Ｄｒｅｆ（α０）とは異なる点となる。図１２Ｄの例でも、直接反射光のみを受光したときの深度Ｄとその傾きαを参照データＤｒｅｆとしてあらかじめ保持しておき、実際に測定して取得した深度が参照データＤｒｅｆと一致しているか否かを判断することで、マルチパスの有無を判定することができる。 As shown in Fig. 12D, the depth D0 ( α0 ) corresponding to the gradient α0 of the depth calculated using the mixed reflected light is a different point from the depth Dref ( α0 ) corresponding to the same gradient α0 . In the example of Fig. 12D as well, the depth D and its gradient α when only the directly reflected light is received are stored in advance as reference data Dref , and it is possible to determine the presence or absence of multipath by determining whether the depth actually measured and acquired matches the reference data Dref .

（実施例１）
［１－１．マルチパス検出装置の構成］
本開示の基礎となる知見に基づき、実施例１に係るマルチパス検出装置１００の構成について、図１４および図１５を参照しながら説明する。 Example 1
[1-1. Configuration of multipath detection device]
Based on the knowledge that forms the basis of the present disclosure, a configuration of a multipath detection apparatus 100 according to a first embodiment will be described with reference to FIGS. 14 and 15. FIG.

図１４は、実施例１に係るマルチパス検出装置１００の構成例を示すブロック図である。なお、同図には、物体ＯＢＪ、照射光および反射光も模式的に示されている。 Figure 14 is a block diagram showing an example of the configuration of a multipath detection device 100 according to the first embodiment. In addition, the figure also shows a schematic diagram of an object OBJ, irradiated light, and reflected light.

マルチパス検出装置１００は、ＴＯＦ方式による測距装置である。マルチパス検出装置１００は、信号制御部１０１、発光部１０２、受光部１０３、信号処理部１０４、パルス設定部１１１、判定部１１２およびデータ保持部１１３を備える。なお、マルチパス検出装置１００が備えるこれらの機能は、マイクロコンピュータ、マイクロコントローラまたはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）により実現される。マイクロコンピュータ、マイクロコントローラまたはＤＳＰは、マルチパス検出用のプログラムを格納するメモリと、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とを備える。 The multipath detection device 100 is a distance measuring device using the TOF method. The multipath detection device 100 includes a signal control unit 101, a light emitting unit 102, a light receiving unit 103, a signal processing unit 104, a pulse setting unit 111, a determination unit 112, and a data holding unit 113. These functions of the multipath detection device 100 are realized by a microcomputer, a microcontroller, or a DSP (Digital Signal Processor). The microcomputer, microcontroller, or DSP includes a memory that stores a program for multipath detection, and a CPU (Central Processing Unit) that executes the program.

パルス設定部１１１は、発光パルスおよび露光パルスを設定するためのパルス設定信号を信号制御部１０１に出力する。 The pulse setting unit 111 outputs a pulse setting signal for setting the light emission pulse and the exposure pulse to the signal control unit 101.

信号制御部１０１は、発光部１０２の発光を制御する発光制御信号を発光部１０２に出力する。また、信号制御部１０１は、受光部１０３の露光を制御する露光制御信号を受光部１０３に出力する。 The signal control unit 101 outputs a light emission control signal to the light emitting unit 102 to control the light emission of the light emitting unit 102. The signal control unit 101 also outputs an exposure control signal to the light receiving unit 103 to control the exposure of the light receiving unit 103.

発光部１０２は、発光制御信号の発光パルスに従って発光する、つまり照射光を出射する。照射光は、例えば近赤外光である。照射光は、物体ＯＢＪにて反射され、反射光となってマルチパス検出装置１００に返る。 The light emitting unit 102 emits light in accordance with the light emitting pulse of the light emission control signal, that is, emits irradiation light. The irradiation light is, for example, near-infrared light. The irradiation light is reflected by the object OBJ and returns to the multipath detection device 100 as reflected light.

受光部１０３は、行列状に配列された複数の画素を有する固体撮像素子である。受光部１０３は、露光制御信号の露光パルスに従って反射光を受光し、受光信号を信号処理部１０４に出力する。 The light receiving unit 103 is a solid-state image sensor having a plurality of pixels arranged in a matrix. The light receiving unit 103 receives reflected light in accordance with an exposure pulse of an exposure control signal, and outputs a light receiving signal to the signal processing unit 104.

信号処理部１０４は、３種類の発光露光処理で得られた受光信号列から、受光部１０３の画素毎に第１の深度Ｄ１および第２の深度Ｄ２、ならびに、第１の輝度Ｂ１および第２の輝度Ｂ２を算出する。 The signal processing unit 104 calculates the first depth D1 and the second depth D2, as well as the first brightness B1 and the second brightness B2 for each pixel of the light receiving unit 103 from the light receiving signal sequence obtained by the three types of light emission exposure processing.

図１５は、実施例１に係るマルチパス検出装置１００の動作を示すタイムチャートである。図１５には、発光制御信号７Ａの波形と、照射光７Ｂの波形と、入射光７Ｃの波形と、露光制御信号７Ｄの波形とが示されている。 Figure 15 is a time chart showing the operation of the multipath detection device 100 according to the first embodiment. Figure 15 shows the waveform of the light emission control signal 7A, the waveform of the irradiated light 7B, the waveform of the incident light 7C, and the waveform of the exposure control signal 7D.

マルチパス検出装置１００は、深度の傾きαを算出するために、第１の期間に実行するＳ０露光、Ｓ１露光およびＢＧ露光と、第１の期間と異なる第２の期間に実行するＳ０露光、Ｓ１露光およびＢＧ露光とを有している。なお、第１の期間のＳ０露光、Ｓ１露光、ＢＧ露光は、図６と同じ設定になっている。 To calculate the depth gradient α, the multipath detection device 100 has an S0 exposure, an S1 exposure, and a BG exposure performed in a first period, and an S0 exposure, an S1 exposure, and a BG exposure performed in a second period different from the first period. Note that the S0 exposure, S1 exposure, and BG exposure in the first period are set in the same way as in FIG. 6.

図１５に示す第１の発光制御信号Ｅｓ１、第２の発光制御信号Ｅｓ２、第３の発光制御信号Ｅｓ３および第４の発光制御信号Ｅｓ４のそれぞれは、信号制御部１０１から出力される発光制御信号である。信号制御部１０１は、第１の期間のうちの異なる時間帯に第１の発光制御信号Ｅｓ１および第２の発光制御信号Ｅｓ２を出力し、第２の期間のうちの異なる時間帯に第３の発光制御信号Ｅｓ３および第４の発光制御信号Ｅｓ４を出力する。 The first light-emitting control signal Es1, the second light-emitting control signal Es2, the third light-emitting control signal Es3, and the fourth light-emitting control signal Es4 shown in FIG. 15 are light-emitting control signals output from the signal control unit 101. The signal control unit 101 outputs the first light-emitting control signal Es1 and the second light-emitting control signal Es2 during different time periods in the first period, and outputs the third light-emitting control signal Es3 and the fourth light-emitting control signal Es4 during different time periods in the second period.

第１のタイミングＴｍ１、第２のタイミングＴｍ２、第３のタイミングＴｍ３および第４のタイミングＴｍ４のそれぞれは、露光制御信号７Ｄによって制御される露光タイミングである。信号制御部１０１は、第１の期間において第１のタイミングＴｍ１および第２のタイミングＴｍ２となる露光制御信号を出力し、第２の期間において第３のタイミングＴｍ３および第４のタイミングＴｍ４となる露光制御信号７Ｄを出力する。図１５には、第１のタイミングＴｍ１で受光した受光量Ｒ１、第２のタイミングＴｍ２で受光した受光量Ｒ２、第３のタイミングＴｍ３で受光量Ｒ３、および、第４のタイミングＴｍ４で受光した受光量Ｒ４が示されている。 Each of the first timing Tm1, the second timing Tm2, the third timing Tm3, and the fourth timing Tm4 is an exposure timing controlled by the exposure control signal 7D. The signal control unit 101 outputs the exposure control signal which becomes the first timing Tm1 and the second timing Tm2 in the first period, and outputs the exposure control signal 7D which becomes the third timing Tm3 and the fourth timing Tm4 in the second period. FIG. 15 shows the amount of light received R1 at the first timing Tm1, the amount of light received R2 at the second timing Tm2, the amount of light received R3 at the third timing Tm3, and the amount of light received R4 at the fourth timing Tm4.

図１５に示すように、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３の開始時間は、第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１の開始時間と異なり、第１のタイミングＴｍ１よりも時間Δｔ遅れている。また、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４の開始時間は、第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２の開始時間と異なり、第２のタイミングＴｍ２よりも時間Δｔ遅れている。言い換えれば、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４の開始時間と第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２の開始時間との差は、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３の開始時間と第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１の開始時間との差と同じである。 As shown in FIG. 15, the start time of the third timing Tm3 based on the third light emission control signal Es3 is different from the start time of the first timing Tm1 based on the first light emission control signal Es1, and is delayed by a time Δt from the first timing Tm1. Also, the start time of the fourth timing Tm4 based on the fourth light emission control signal Es4 is different from the start time of the second timing Tm2 based on the second light emission control signal Es2, and is delayed by a time Δt from the second timing Tm2. In other words, the difference between the start time of the fourth timing Tm4 based on the fourth light emission control signal Es4 and the start time of the second timing Tm2 based on the second light emission control signal Es2 is the same as the difference between the start time of the third timing Tm3 based on the third light emission control signal Es3 and the start time of the first timing Tm1 based on the first light emission control signal Es1.

第１の深度Ｄ１および第２の深度Ｄ２は、信号処理部１０４によって以下のように求められる。 The first depth D1 and the second depth D2 are determined by the signal processing unit 104 as follows:

例えば、第１の深度Ｄ１は、信号制御部１０１からの第１の発光制御信号Ｅｓ１に対して第１のタイミングＴｍ１で露光することで得られる受光部１０３の受光量Ｒ１と、信号制御部１０１からの第２の発光制御信号Ｅｓ２に対して第２のタイミングＴｍ２で露光することで得られる受光部１０３の受光量Ｒ２との比によって求められる。なお、第２のタイミングＴｍ２は、第１のタイミングＴｍ１と異なるタイミングであり、第１のタイミングＴｍ１よりも時間Ｔｒ遅く始まる。 For example, the first depth D1 is calculated as a ratio between an amount of light received by the light receiving unit 103 R1 obtained by exposing the light receiving unit 103 at a first timing Tm1 in response to a first light emission control signal Es1 from the signal control unit 101, and an amount of light received by the light receiving unit 103 R2 obtained by exposing the light receiving unit 103 at a second timing Tm2 in response to a second light emission control signal Es2 from the signal control unit 101. Note that the second timing Tm2 is different from the first timing Tm1 and starts a time Tr later than the first timing Tm1.

第２の深度Ｄ２は、信号制御部１０１からの第３の発光制御信号Ｅｓ３に対して第３のタイミングＴｍ３で露光することで得られる受光部１０３の受光量Ｒ３と、信号制御部１０１からの第４の発光制御信号Ｅｓ４に対して第４のタイミングＴｍ４で露光することで得られる受光部１０３の受光量Ｒ４との比によって求められる。なお、第４のタイミングＴｍ４は、第３のタイミングＴｍ３と異なるタイミングであり、第３のタイミングＴｍ３よりも時間Ｔｒ遅く始まる。 The second depth D2 is calculated by the ratio between the amount of light received by the light receiving unit 103 R3 obtained by exposing the light receiving unit 103 at the third timing Tm3 in response to the third light emission control signal Es3 from the signal control unit 101, and the amount of light received by the light receiving unit 103 R4 obtained by exposing the light receiving unit 103 at the fourth timing Tm4 in response to the fourth light emission control signal Es4 from the signal control unit 101. Note that the fourth timing Tm4 is a different timing from the third timing Tm3, and starts a time Tr later than the third timing Tm3.

データ保持部１１３は、マルチパスでない環境における参照データＤｒｅｆをあらかじめ保持する。この参照データＤｒｅｆは、深度に関するデータである。この深度に関するデータは、信号制御部１０１からの所定の発光制御信号に対して所定のタイミングで露光することで得られる受光部１０３の受光量と、所定の発光制御信号と異なる時間帯に出力される信号制御部１０１からの発光制御信号に対して上記所定のタイミングと異なるタイミングで露光することで得られる受光部１０３の受光量との比によって求められる。 The data storage unit 113 stores in advance reference data Dref in a non-multipath environment. This reference data Dref is data related to depth. This data related to depth is calculated by the ratio between the amount of light received by the light receiving unit 103 obtained by exposing the light receiving unit 103 at a predetermined timing in response to a predetermined light emission control signal from the signal control unit 101 and the amount of light received by the light receiving unit 103 obtained by exposing the light receiving unit 103 at a timing different from the predetermined timing in response to a light emission control signal from the signal control unit 101 that is output in a time period different from the predetermined light emission control signal.

判定部１１２は、信号処理部１０４で出力された第１の深度Ｄ１および第２の深度Ｄ２の差と、上記参照データＤｒｅｆに基づいて、マルチパスの有無を判定する。具体的には、判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差から求められる深度の傾きαとデータ保持部１１３に保持されている参照データＤｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄｒｅｆ（α０）を求める。そして、第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさにより、マルチパスの有無を判定する。 The determination unit 112 determines the presence or absence of multipath based on the difference between the first depth D1 and the second depth D2 output by the signal processing unit 104 and the reference data Dref . Specifically, the determination unit 112 obtains a reference depth Dref(α0) in a non-multipath environment based on a depth gradient α obtained from the difference between the first depth D1 and the second depth D2 and the reference data Dref held in the data holding unit 113. Then, the determination unit 112 determines the presence or absence of multipath based on the magnitude of the difference between the first depth D1 and the reference depth Dref ( α0 ).

その際、深度の傾きαを使う代わりに、２つの深度の差を用いることができる。具体的には、判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差とデータ保持部１１３に保持されている参照データＤｒｅｆとに基づいて、マルチパスでない環境における参照深度を求め、第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさにより、マルチパスの有無を判定してもよい。 In this case, the difference between the two depths can be used instead of using the depth gradient α. Specifically, the determination unit 112 may obtain a reference depth in a non-multipath environment based on the difference between the first depth D1 and the second depth D2 and the reference data D ref stored in the data storage unit 113, and determine the presence or absence of multipath based on the magnitude of the difference between the first depth D1 and the reference depth D ref (α 0 ).

なお、上記では、第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさにより、マルチパスの有無を判定しているが、それに限られず、第２の深度Ｄ２と参照深度Ｄｒｅｆ（α０）との差の大きさにより、マルチパスの有無を判定してもよい。また、参照データＤｒｅｆは、数式１２と数式１３を用いた数式で生成されてもよいし、前述した第１の期間のＳ０露光、Ｓ１露光、ＢＧ露光と、第２の期間のＳ０露光、Ｓ１露光、ＢＧ露光とで、測定対象の距離を変え実測することで生成されてもよい。 In the above, the presence or absence of multi-pass is determined based on the magnitude of the difference between the first depth D1 and the reference depth Dref ( α0 ), but the present invention is not limited thereto, and the presence or absence of multi-pass may be determined based on the magnitude of the difference between the second depth D2 and the reference depth Dref ( α0 ). The reference data Dref may be generated by a formula using Formula 12 and Formula 13, or may be generated by actually measuring the distance of the measurement target by changing the distance between the S0 exposure, S1 exposure, and BG exposure in the first period and the S0 exposure, S1 exposure, and BG exposure in the second period.

［１－２．マルチパス検出方法］
図１６は、実施例１に係るマルチパス検出方法を示すフローチャートである。 [1-2. Multipath detection method]
FIG. 16 is a flowchart illustrating a multipath detection method according to the first embodiment.

まず、マルチパスを検出する準備として、マルチパス検出装置１００は、マルチパスでない環境における参照データＤｒｅｆをデータ保持部１１３に保存する（ステップＳ１０）。マルチパスでない環境とは、直接反射光のみを受光したときの受光信号列であり、例えば図７Ｄに示すような直接反射光のみで生成される深度Ｄと傾きαのグラフである。 First, in preparation for detecting multipaths, the multipath detection apparatus 100 stores reference data D ref in a non-multipath environment in the data storage unit 113 (step S10). The non-multipath environment is a light reception signal sequence when only directly reflected light is received, such as a graph of depth D and slope α generated only by directly reflected light as shown in FIG. 7D.

そして、マルチパス検出装置１００は、第１の期間におけるＳ０露光、Ｓ１露光、ＢＧ露光を実行する（ステップＳ１１）。具体的には、受光部１０３は、第１のタイミングＴｍ１の露光によって受光量Ｒ１を取得し、第２のタイミングＴｍ２の露光によって受光量Ｒ２を取得する。受光量Ｒ１および受光量Ｒ２は、信号処理部１０４に出力される。 Then, the multipath detection device 100 executes S0 exposure, S1 exposure, and BG exposure in the first period (step S11). Specifically, the light receiving unit 103 acquires the amount of received light R1 by exposure at the first timing Tm1, and acquires the amount of received light R2 by exposure at the second timing Tm2. The amount of received light R1 and the amount of received light R2 are output to the signal processing unit 104.

次に、信号処理部１０４は、受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を算出する（ステップＳ１２）。第１の深度Ｄ１は、数式１の右辺の第２項によって算出される。 Next, the signal processing unit 104 calculates the first depth D1 from the ratio between the amount of received light R1 and the amount of received light R2 (step S12). The first depth D1 is calculated by the second term on the right side of Equation 1.

次に、マルチパス検出装置１００は、第２の期間におけるＳ０露光、Ｓ１露光、ＢＧ露光を実行する（ステップＳ１３）。具体的には、受光部１０３は、第３のタイミングＴｍ３の露光によって受光量Ｒ３を取得し、第４のタイミングＴｍ４の露光によって受光量Ｒ４を取得する。受光量Ｒ３および受光量Ｒ４は、信号処理部１０４に出力される。 Next, the multipath detection device 100 performs S0 exposure, S1 exposure, and BG exposure in the second period (step S13). Specifically, the light receiving unit 103 obtains the amount of received light R3 by exposure at the third timing Tm3, and obtains the amount of received light R4 by exposure at the fourth timing Tm4. The amount of received light R3 and the amount of received light R4 are output to the signal processing unit 104.

次に、信号処理部１０４は、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出する（ステップＳ１４）。第２の深度Ｄ２は、数式１の右辺の第２項によって算出される。なお、ステップＳ１３およびステップＳ１４は、ステップＳ１１およびステップＳ１２よりも前に実行されてもよい。 Next, the signal processing unit 104 calculates the second depth D2 from the ratio between the amount of received light R3 and the amount of received light R4 (step S14). The second depth D2 is calculated by the second term on the right side of Equation 1. Note that steps S13 and S14 may be performed before steps S11 and S12.

次に、判定部１１２は、第１の深度Ｄ１と第２の深度Ｄ２とから深度の傾きαを算出する（ステップＳ１５）。例えば判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差から求められる深度の傾きαを求める。 Next, the determination unit 112 calculates the depth gradient α from the first depth D1 and the second depth D2 (step S15). For example, the determination unit 112 determines the depth gradient α from the difference between the first depth D1 and the second depth D2.

そして判定部１１２は、深度の傾きα０と一致する参照深度Ｄｒｅｆ（α０）を取得する（ステップＳ１６）。具体的には、判定部１１２は、上記深度の傾きα０と、データ保持部１１３に保持されている参照データＤｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄｒｅｆ（α０）を求める。 Then, the determination unit 112 obtains a reference depth D ref (α 0 ) that coincides with the depth gradient α 0 (step S16). Specifically, the determination unit 112 obtains a reference depth D ref (α 0 ) in a non-multipath environment based on the depth gradient α 0 and the reference data D ref stored in the data storage unit 113.

そして、判定部１１２は、第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさが閾値ＴＨよりも大きいか否かを判断する（ステップＳ１７）。閾値ＴＨは、測定誤差をどこまで許すかの判定基準であり、例えば深度が０．０から１．０までの範囲であるとすると、誤差１０％まで許容するシステムであればＴＨ＝０．１とするなど、後段のシステムが要求する誤差許容量により自由に設定される。 Then, the determination unit 112 determines whether the magnitude of the difference between the first depth D1 and the reference depth Dref ( α0 ) is greater than a threshold value TH (step S17). The threshold value TH is a determination criterion for determining how much measurement error is permitted, and is freely set according to the error tolerance required by the downstream system, for example, if the depth is in the range of 0.0 to 1.0, then TH=0.1 for a system that permits an error of up to 10%.

判定部１１２は、第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさが閾値ＴＨよりも大きい場合（Ｓ１７にてＹｅｓ）、マルチパス有りと判定する（ステップＳ１８）。一方、判定部１１２は、第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさが閾値ＴＨ以下である場合（Ｓ１７にてＮｏ）、マルチパスなしと判定する（ステップＳ１９）。これにより、測定対象の距離を測定する際のマルチパスの有無を判定する。 If the difference between the first depth D1 and the reference depth Dref ( α0 ) is greater than the threshold TH (Yes in S17), the determination unit 112 determines that there is a multipath (step S18). On the other hand, if the difference between the first depth D1 and the reference depth Dref ( α0 ) is equal to or less than the threshold TH (No in S17), the determination unit 112 determines that there is no multipath (step S19). This determines whether there is a multipath when measuring the distance to the measurement target.

マルチパスなしと判定された場合は、数式１２～数式１４を用いて深度Ｄを求め、距離Ｌを求めることができる。 If it is determined that there is no multipath, the depth D can be calculated using Equations 12 to 14, and the distance L can be calculated.

マルチパス有りと判定された場合、以下に示す４つの未知数パラメータを求めて、深度Ｄを補正する。 If it is determined that there is a multipath, the following four unknown parameters are calculated and the depth D is corrected.

４つの未知数パラメータのうち、１つ目は、照射光が測定対象から直接反射光として返ってくるまでの光往復時間ｔ１であり、２つ目は、直接反射光の立ち下がり開始時における受光強度ａｔ１であり、３つ目は、直接光の光往復時間ｔ１を基点とした間接反射光のマルチパス遅れ時間ｔｂであり、４つ目は、間接反射光の立ち下がり開始時における受光強度ｂｔ１である。ここで、マルチパス遅れ時間ｔｂは、間接反射光が直接反射光よりも遅い場合であるのでｔｂ＞０となる。それに対し、図１２Ａに示すマルチパス早まり時間ｔｂは、間接反射光が直接反射光よりも早い場合であるのでｔｂ＜０となる。 Of the four unknown parameters, the first is the light round trip time t1 until the irradiated light returns from the measurement target as direct reflected light, the second is the received light intensity a t1 at the start of the fall of the direct reflected light, the third is the multipath delay time tb of the indirect reflected light based on the light round trip time t1 of the direct light, and the fourth is the received light intensity b t1 at the start of the fall of the indirect reflected light. Here, the multipath delay time tb is tb > 0 when the indirect reflected light is slower than the direct reflected light. On the other hand, the multipath advance time tb shown in FIG. 12A is tb < 0 when the indirect reflected light is faster than the direct reflected light.

ここで、４つの未知数パラメータを求めるために、４つの測定値を利用する。１つ目は第１の深度Ｄ１であり、２つ目は第２の深度Ｄ２であり、３つ目は第１の深度Ｄ１および第２の深度Ｄ２から算出される深度の傾きα０である。４つ目は、信号処理部１０４から出力される輝度情報を用いる。この輝度情報は、第１の期間から算出される第１の輝度Ｂ１でもよいし、第２の期間から算出される第２の輝度Ｂ２でもよいし、その両方の平均を使用してもよい。 Here, four measured values are used to obtain four unknown parameters. The first is the first depth D1, the second is the second depth D2, and the third is the depth gradient α0 calculated from the first depth D1 and the second depth D2. The fourth uses luminance information output from the signal processing unit 104. This luminance information may be the first luminance B1 calculated from the first period, the second luminance B2 calculated from the second period, or the average of both.

そして、数式２４～数式２７に示す４つの方程式を生成し、各方程式が０になるような未知数パラメータｔ１、ａｔ１、ｂｔ１、ｔｂを求める。４つの方程式を解く際、一般的な非線形推定を用いてもよいし、その他高速な推定方法を用いてもよい。 Then, the four equations shown in Formula 24 to Formula 27 are generated, and unknown parameters t 1 , a t1 , b t1 , and t b are obtained so that each equation becomes 0. When solving the four equations, general nonlinear estimation may be used, or other high-speed estimation methods may be used.

Figure 0007468999000024
Figure 0007468999000024

Figure 0007468999000025
Figure 0007468999000025

Figure 0007468999000026
Figure 0007468999000026

Figure 0007468999000027
Figure 0007468999000027

未知数パラメータｔ１、ａｔ１、ｂｔ１、ｔｂが求まると、マルチパスでない環境にあてはめた場合の深度Ｄを求めることができる。 Once the unknown parameters t 1 , a t1 , b t1 , and t b are determined, the depth D when applied to a non-multipath environment can be determined.

このように、信号処理部１０４は、第１のタイミングＴｍ１で露光することで得られる受光部１０３の受光量Ｒ１から求められる第１の輝度Ｂ１、および、第３のタイミングＴｍ３で露光することで得られる受光部１０３の受光量Ｒ３から求められる第２の輝度Ｂ２を算出する。判定部１１２は、マルチパスが有ると判定した場合に、第１の輝度Ｂ１および第２の輝度Ｂ２の少なくとも一方と、第１の深度Ｄ１および第２の深度Ｄ２の差ならびに参照データＤｒｅｆとを用いて、第１の深度Ｄ１または第２の深度Ｄ２を補正する。これにより、マルチパス環境における距離Ｌを求めることができる。 In this way, the signal processing unit 104 calculates the first luminance B1 obtained from the amount of light received by the light receiving unit 103 R1 obtained by exposing at the first timing Tm1, and the second luminance B2 obtained from the amount of light received by the light receiving unit 103 R3 obtained by exposing at the third timing Tm3. When the determination unit 112 determines that there is a multipath, it corrects the first depth D1 or the second depth D2 using at least one of the first luminance B1 and the second luminance B2, the difference between the first depth D1 and the second depth D2, and the reference data D ref . This makes it possible to determine the distance L in a multipath environment.

［１－３．実施例１の変形例］
次に、実施例１の変形例に係るマルチパス検出装置１００について、図１７を参照しながら説明する。 [1-3. Modification of the first embodiment]
Next, a multipath detection apparatus 100 according to a modified example of the first embodiment will be described with reference to FIG.

図１７は、実施例１の変形例に係るマルチパス検出装置１００の動作を示すタイムチャートである。図１７には、発光制御信号８Ａ、照射光８Ｂ、入射光８Ｃ、露光制御信号８Ｄが示されている。 Figure 17 is a time chart showing the operation of a multipath detection device 100 according to a modified example of the first embodiment. Figure 17 shows a light emission control signal 8A, an irradiated light 8B, an incident light 8C, and an exposure control signal 8D.

第１の期間におけるＳ０露光、Ｓ１露光、ＢＧ露光は、図６と同じ設定である。 The S0 exposure, S1 exposure, and BG exposure in the first period are set the same as in Figure 6.

第２の期間におけるＳ０露光、Ｓ１露光、ＢＧ露光は、露光制御信号８Ｄのタイミングが第１の期間と同じであり、発光制御信号８Ａを第１の期間よりもΔｔ早めている点で、第１の期間と異なる。それに伴い、照射光８Ｂ、入射光８Ｃも、第１の期間に示されるタイミングよりもΔｔ早くなっている。 The S0 exposure, S1 exposure, and BG exposure in the second period are different from the first period in that the timing of the exposure control signal 8D is the same as in the first period, and the light emission control signal 8A is advanced by Δt compared to the first period. Accordingly, the illumination light 8B and the incident light 8C are also advanced by Δt compared to the timing shown in the first period.

変形例においても、図１７に示す受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を算出し、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出する。そして、第１の深度Ｄ１および第２の深度Ｄ２の差と、参照データＤｒｅｆに基づいて、マルチパスの有無を判定することができる。 In the modified example, the first depth D1 is calculated from the ratio of the amount of received light R1 to the amount of received light R2 shown in Fig. 17, and the second depth D2 is calculated from the ratio of the amount of received light R3 to the amount of received light R4. Then, the presence or absence of multipath can be determined based on the difference between the first depth D1 and the second depth D2 and the reference data Dref .

［１－４．効果等］
本実施の形態のマルチパス検出装置１００は、発光制御信号７Ａおよび露光制御信号７Ｄを出力する信号制御部１０１と、発光制御信号７Ａに従って発光する発光部１０２と、露光制御信号７Ｄに従って露光することで光を受光する受光部１０３と、マルチパスでない環境において、信号制御部１０１からの所定の発光制御信号に従って所定のタイミングで露光することで得られる受光部１０３の受光量、および、上記所定の発光制御信号と異なる時間帯に出力される信号制御部１０１からの発光制御信号に従って上記所定のタイミングと異なるタイミングで露光することで得られる受光部１０３の受光量の比によって求まる深度に関する参照データＤｒｅｆを保持するデータ保持部１１３と、信号制御部１０１からの第１の発光制御信号Ｅｓ１に従って第１のタイミングＴｍ１で露光することで得られる受光部１０３の受光量Ｒ１と、第１の発光制御信号Ｅｓ１と異なる時間帯に出力される信号制御部１０１からの第２の発光制御信号Ｅｓ２に従って第１のタイミングＴｍ１と異なる第２のタイミングＴｍ２で露光することで得られる受光部１０３の受光量Ｒ２との比とによって求まる第１の深度Ｄ１、および、信号制御部１０１からの第３の発光制御信号Ｅｓ３に従って第３のタイミングＴｍ３で露光することで得られる受光部１０３の受光量Ｒ３と、第３の発光制御信号Ｅｓ３と異なる時間帯に出力される信号制御部１０１からの第４の発光制御信号Ｅｓ４に従って第３のタイミングＴｍ３と異なる第４のタイミングＴｍ４で露光することで得られる受光部１０３の受光量Ｒ４との比によって求まる第２の深度Ｄ２を算出する信号処理部１０４と、第１の深度Ｄ１および第２の深度Ｄ２の差と参照データＤｒｅｆとを用いてマルチパスの有無を判定する判定部１１２と、を備える。 [1-4. Effects, etc.]
The multipath detection device 100 of this embodiment includes a signal control unit 101 that outputs a light emission control signal 7A and an exposure control signal 7D, a light emission unit 102 that emits light in accordance with the light emission control signal 7A, a light receiving unit 103 that receives light by exposure in accordance with the exposure control signal 7D, and reference data D relating to depth obtained by a ratio between an amount of light received by the light receiving unit 103 obtained by exposing at a predetermined timing in accordance with a predetermined light emission control signal from the signal control unit 101 in a non-multipath environment and an amount of light received by the light receiving unit 103 obtained by exposing at a timing different from the predetermined timing in accordance with a light emission control signal from the signal control unit 101 that is output in a time period different from the predetermined light emission control signal. a data storage unit 113 that stores ref ; a first depth D1 calculated by a ratio between an amount of light received by the light receiving unit 103 R1 obtained by exposing at a first timing Tm1 in accordance with a first light emission control signal Es1 from the signal control unit 101 and an amount of light received by the light receiving unit 103 R2 obtained by exposing at a second timing Tm2 different from the first timing Tm1 in accordance with a second light emission control signal Es2 from the signal control unit 101 that is output in a time period different from the first light emission control signal Es1; and a signal processing unit 104 that calculates a second depth D2 calculated from the ratio between an amount of light received by the light receiving unit 103, obtained by exposing the light receiving unit 103 at a third timing Tm3 in accordance with a third light emission control signal Es3 from the signal control unit 101, and an amount of light received by the light receiving unit 103, obtained by exposing the light receiving unit 103 at a fourth timing Tm4 different from the third timing Tm3 in accordance with a fourth light emission control signal Es4 from the signal control unit 101 that is output in a time period different from the third light emission control signal Es3, and a determination unit 112 that determines the presence or absence of multipath using the difference between the first depth D1 and the second depth D2 and reference data D ref .

このように、信号処理部１０４が、受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を求め、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出し、判定部１１２が、第１の深度Ｄ１および第２の深度Ｄ２の差と、参照データＤｒｅｆとに基づいて、マルチパスの有無を判定することで、マルチパスの有無を判定するための処理負荷を軽減することができる。 In this way, the signal processing unit 104 obtains the first depth D1 from the ratio between the amount of received light R1 and the amount of received light R2, and calculates the second depth D2 from the ratio between the amount of received light R3 and the amount of received light R4. The determination unit 112 determines the presence or absence of multipath based on the difference between the first depth D1 and the second depth D2 and the reference data D ref , thereby reducing the processing load for determining the presence or absence of multipath.

また、発光部１０２の照射光の波形は、単調増加した後、単調減少する歪みパルス波形であってもよい。 The waveform of the light emitted by the light-emitting unit 102 may also be a distorted pulse waveform that monotonically increases and then monotonically decreases.

これによれば、深度と深度の傾きとの関係が１対１となり、マルチパス検出の処理負荷を軽減することができる。 This creates a one-to-one relationship between depth and depth gradient, reducing the processing load of multipath detection.

また、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４の開始時間は、第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２の開始時間と異なっていてもよい。 In addition, the start time of the fourth timing Tm4 based on the fourth light emission control signal Es4 may be different from the start time of the second timing Tm2 based on the second light emission control signal Es2.

これによれば、発光パルスおよび露光パルスの設定を調整するＴＯＦ方式によるマルチパス検出装置において、標準的に搭載される機能を拡張使用してマルチパスを検出することが可能となり、マルチパス検出装置１００のコストを低減できる。 As a result, in a multipath detection device using a TOF method that adjusts the settings of the light emission pulse and exposure pulse, it is possible to detect multipaths by expanding the use of the standard functions, thereby reducing the cost of the multipath detection device 100.

また、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３の開始時間は、第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１の開始時間と異なっていてもよい。 In addition, the start time of the third timing Tm3 based on the third light emission control signal Es3 may be different from the start time of the first timing Tm1 based on the first light emission control signal Es1.

これによれば、発光パルスおよび露光パルスの設定を調整するＴＯＦ方式によるマルチパス検出装置において、標準的に搭載される機能を拡張使用してマルチパスを検出することが可能となり、マルチパス検出装置１００のコストを低減できる。 As a result, in a multipath detection device using a TOF method that adjusts the settings of the light emission pulse and exposure pulse, it is possible to detect multipaths by expanding the use of the standard functions, thereby reducing the cost of the multipath detection device 100.

また、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４の開始時間と第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２の開始時間との差は、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３の開始時間と第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１の開始時間との差と同じであってもよい。 In addition, the difference between the start time of the fourth timing Tm4 based on the fourth light-emitting control signal Es4 and the start time of the second timing Tm2 based on the second light-emitting control signal Es2 may be the same as the difference between the start time of the third timing Tm3 based on the third light-emitting control signal Es3 and the start time of the first timing Tm1 based on the first light-emitting control signal Es1.

これによれば、２つの受光量の比によって算出される深度を正確に求めることができる。これにより、２つの深度の差と、参照データＤｒｅｆに基づいて、マルチパスの有無を正確に判定することができる。 This makes it possible to accurately obtain the depth calculated from the ratio between the two amounts of received light, thereby making it possible to accurately determine the presence or absence of multipath based on the difference between the two depths and the reference data D ref .

また、信号制御部１０１は、異なる時間帯に第１の発光制御信号Ｅｓ１および第３の発光制御信号Ｅｓ３を出力してもよい。 The signal control unit 101 may also output the first light-emitting control signal Es1 and the third light-emitting control signal Es3 at different time periods.

これによれば、第１の深度Ｄ１および第２の深度を簡易に求めることができるので、マルチパスの有無を判定するための処理負荷を軽減することができる。 This allows the first depth D1 and the second depth to be calculated easily, thereby reducing the processing load required to determine whether or not there is a multipath.

また、データ保持部１１３は、参照データＤｒｅｆとして、深度と深度の傾きとの関係を保持し、判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差から求められる深度の傾きα０とデータ保持部１１３に保持されている参照データＤｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄｒｅｆ（α０）を求め、第１の深度Ｄ１または第２の深度Ｄ２と参照深度Ｄｒｅｆ（α０）との差の大きさによりマルチパスの有無を判定してもよい。 In addition, the data storage unit 113 stores the relationship between depth and depth gradient as reference data Dref , and the judgment unit 112 calculates a reference depth Dref(α0) in a non-multipath environment based on the depth gradient α0 calculated from the difference between the first depth D1 and the second depth D2 and the reference data Dref stored in the data storage unit 113, and may judge the presence or absence of multipath based on the magnitude of the difference between the first depth D1 or the second depth D2 and the reference depth Dref ( α0 ) .

このように、深度の傾きα０と参照データＤｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄｒｅｆ（α０）を求め、例えば第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさによりマルチパスの有無を判定することで、マルチパスの有無を判定するための処理負荷を軽減することができる。 In this way, the reference depth D ref (α 0 ) in a non-multipath environment is calculated based on the depth gradient α 0 and the reference data D ref , and the presence or absence of multipath is determined, for example, based on the magnitude of the difference between the first depth D1 and the reference depth D ref (α 0 ), thereby reducing the processing load for determining the presence or absence of multipath.

また、判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差とデータ保持部１１３に保持されている参照データＤｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄｒｅｆ（α０）を求め、第１の深度Ｄ１または第２の深度Ｄ２と参照深度Ｄｒｅｆ（α０）との差の大きさによりマルチパスの有無を判定してもよい。 In addition, the determination unit 112 may calculate a reference depth D ref (α 0 ) in a non-multipath environment based on the difference between the first depth D1 and the second depth D2 and the reference data D ref stored in the data storage unit 113, and determine the presence or absence of multipath based on the magnitude of the difference between the first depth D1 or the second depth D2 and the reference depth D ref ( α 0 ) .

このように、２つの深度の差と参照データＤｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄｒｅｆ（α０）を求め、例えば第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさによりマルチパスの有無を判定することで、マルチパスの有無を判定するための処理負荷を軽減することができる。 In this way, the reference depth D ref (α 0 ) in a non-multipath environment is calculated based on the difference between the two depths and the reference data D ref , and the presence or absence of multipath is determined, for example, based on the magnitude of the difference between the first depth D1 and the reference depth D ref (α 0 ), thereby reducing the processing load for determining the presence or absence of multipath.

また、信号処理部１０４は、第１のタイミングＴｍ１で露光することで得られる受光部１０３の受光量Ｒ１から求められる第１の輝度Ｂ１、および、第３のタイミングＴｍ３で露光することで得られる受光部１０３の受光量Ｒ３から求められる第２の輝度Ｂ２を算出し、判定部１１２は、マルチパスが有ると判定した場合に、第１の輝度Ｂ１および第２の輝度Ｂ２の少なくとも一方と、第１の深度Ｄ１および第２の深度Ｄ２の差ならびに参照データＤｒｅｆとを用いて、第１の深度Ｄ１を補正してもよい。 Furthermore, the signal processing unit 104 calculates a first luminance B1 calculated from the amount of light received by the light receiving unit 103 obtained by exposing at a first timing Tm1, and a second luminance B2 calculated from the amount of light received by the light receiving unit 103 obtained by exposing at a third timing Tm3. When it is determined that there is a multipath, the determination unit 112 may correct the first depth D1 using at least one of the first luminance B1 and the second luminance B2, the difference between the first depth D1 and the second depth D2, and the reference data D ref .

これによれば、マルチパスによる測定誤差のない状態での深度を算出することができ、算出した深度にて正しい距離を測定することができる。 This allows the depth to be calculated without any measurement errors caused by multipath, and the correct distance can be measured at the calculated depth.

本実施の形態のマルチパス検出方法は、マルチパスでない環境において、所定の発光制御信号に従って所定のタイミングで露光することで得られる受光量と、上記所定の発光制御信号と異なる時間帯に出力される発光制御信号に従って上記所定のタイミングと異なるタイミングで露光することで得られる受光量との比によって求まる深度に関する参照データＤｒｅｆを保存するステップと、第１の発光制御信号Ｅｓ１に従って第１のタイミングＴｍ１で露光することで得られる受光量Ｒ１と、第１の発光制御信号Ｅｓ１と異なる時間帯に出力される第２の発光制御信号Ｅｓ２に従って第１のタイミングＴｍ１と異なる第２のタイミングＴｍ２で露光することで得られる受光量Ｒ２との比によって求まる第１の深度Ｄ１を算出するステップと、第３の発光制御信号Ｅｓ３に従って第３のタイミングＴｍ３で露光することで得られる受光量Ｒ３と、第３の発光制御信号Ｅｓ３と異なる時間帯に出力される第４の発光制御信号Ｅｓ４に従って第３のタイミングＴｍ３と異なる第４のタイミングＴｍ４で露光することで得られる受光量Ｒ４との比によって求まる第２の深度Ｄ２を算出するステップと、第１の深度Ｄ１および第２の深度Ｄ２の差と参照データＤｒｅｆとを用いてマルチパスの有無を判定するステップと、を含む。 The multipath detection method of the present embodiment is a method for detecting a multipath in a non-multipath environment, in which the amount of received light obtained by exposing at a predetermined timing according to a predetermined light emission control signal is compared with the amount of received light obtained by exposing at a timing different from the predetermined timing according to a light emission control signal output in a time period different from the predetermined light emission control signal. the step of storing reference data Dref ; calculating a first depth D1 obtained by a ratio between an amount of received light R1 obtained by exposing at a first timing Tm1 in accordance with a first light emission control signal Es1 and an amount of received light R2 obtained by exposing at a second timing Tm2 different from the first timing Tm1 in accordance with a second light emission control signal Es2 output in a time period different from the first light emission control signal Es1; calculating a second depth D2 obtained by a ratio between an amount of received light R3 obtained by exposing at a third timing Tm3 in accordance with a third light emission control signal Es3 and an amount of received light R4 obtained by exposing at a fourth timing Tm4 different from the third timing Tm3 in accordance with a fourth light emission control signal Es4 output in a time period different from the third light emission control signal Es3; and determining the presence or absence of multipath using a difference between the first depth D1 and the second depth D2 and the reference data Dref .

このように、受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を求め、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出し、第１の深度Ｄ１および第２の深度Ｄ２の差と、参照データＤｒｅｆとに基づいて、マルチパスの有無を判定することで、マルチパスの有無を判定するための処理負荷を軽減することができる。 In this way, the first depth D1 is calculated from the ratio between the amount of received light R1 and the amount of received light R2, the second depth D2 is calculated from the ratio between the amount of received light R3 and the amount of received light R4, and the presence or absence of multipath is determined based on the difference between the first depth D1 and the second depth D2 and the reference data D ref , thereby reducing the processing load for determining the presence or absence of multipath.

（実施例２）
次に、実施例２に係るマルチパス検出装置１００について、図１８～図２０を参照しながら説明する。実施例１では、第１の期間および第２の期間を時系列で実行する例を説明したが、実施例２では、第１の期間および第２の期間のＳ０露光、Ｓ１露光、ＢＧ露光を２つの画素のそれぞれに対応させて、かつ、一斉に実行する例について説明する。 Example 2
Next, a multi-path detection apparatus 100 according to a second embodiment will be described with reference to Fig. 18 to Fig. 20. In the first embodiment, an example in which the first and second periods are executed in chronological order is described, but in the second embodiment, an example in which the S0 exposure, S1 exposure, and BG exposure in the first and second periods correspond to two pixels, respectively, and are executed simultaneously will be described.

図１８は、実施例２に係るマルチパス検出装置１００の構成例を示すブロック図である。 Figure 18 is a block diagram showing an example of the configuration of a multipath detection device 100 according to the second embodiment.

信号制御部１０１は、図１７の第１の期間および第２の期間に相当するタイミング信号を同時に生成し、出力する。例えば、信号制御部１０１は、露光制御信号９Ｄを受光部１０３の第１画素１０３ａ１に出力し、露光制御信号９Ｆを受光部１０３の第２画素１０３ａ２に出力する。 The signal control unit 101 simultaneously generates and outputs timing signals corresponding to the first and second periods in FIG. 17. For example, the signal control unit 101 outputs an exposure control signal 9D to the first pixel 103a1 of the light receiving unit 103, and outputs an exposure control signal 9F to the second pixel 103a2 of the light receiving unit 103.

受光部１０３は、第１画素１０３ａ１と第２画素１０３ａ２とを含む。第１画素１０３ａ１は、露光制御信号９Ｄを受けることで作動し、第２画素１０３ａ２は、露光制御信号９Ｆを受けることで作動する。 The light receiving unit 103 includes a first pixel 103a1 and a second pixel 103a2. The first pixel 103a1 operates upon receiving an exposure control signal 9D, and the second pixel 103a2 operates upon receiving an exposure control signal 9F.

信号処理部１０４は、画素１０３ａ１から受光量に関する受光信号１を受け取り、第１の深度Ｄ１および第１の輝度Ｂ１を算出する。また、画素１０３ａ２から受光量に関する受光信号２を受け取り、第２の深度Ｄ２と第２の輝度Ｂ２を算出する。そして、第１の深度Ｄ１、第２の深度Ｄ２、第１の輝度Ｂ１および第２の輝度Ｂ２に関する情報を判定部１１２に出力する。 The signal processing unit 104 receives a light receiving signal 1 related to the amount of received light from the pixel 103a1 , and calculates a first depth D1 and a first luminance B1. Also, the signal processing unit 104 receives a light receiving signal 2 related to the amount of received light from the pixel 103a2 , and calculates a second depth D2 and a second luminance B2. Then, the signal processing unit 104 outputs information related to the first depth D1, the second depth D2, the first luminance B1, and the second luminance B2 to the determination unit 112.

図１９は、実施例２に係るマルチパス検出装置１００の動作を示すタイムチャートである。同図には、発光制御信号９Ａ、照射光９Ｂ、入射光９Ｃ、露光制御信号９Ｄ、入射光９Ｅ、露光制御信号９Ｆが示されている。同図にて、発光制御信号９Ａ、照射光９Ｂ、入射光９Ｃ、露光制御信号９Ｄで示されたタイミングは、図６と同じ設定である。 Figure 19 is a time chart showing the operation of the multipath detection device 100 according to the second embodiment. The figure shows a light emission control signal 9A, irradiation light 9B, incident light 9C, exposure control signal 9D, incident light 9E, and exposure control signal 9F. In the figure, the timings shown by the light emission control signal 9A, irradiation light 9B, incident light 9C, and exposure control signal 9D are set in the same way as in Figure 6.

図１９に示すように、第１の発光制御信号Ｅｓ１および第３の発光制御信号Ｅｓ３が、同時に出力され、また、第２の発光制御信号Ｅｓ２および第４の発光制御信号Ｅｓ４が、同時に出力される。 As shown in FIG. 19, the first light-emitting control signal Es1 and the third light-emitting control signal Es3 are output simultaneously, and the second light-emitting control signal Es2 and the fourth light-emitting control signal Es4 are output simultaneously.

また、第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１で露光制御信号９Ｄが出力され、第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２で露光制御信号９Ｄが出力される。また、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３で露光制御信号９Ｆが出力され、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４で露光制御信号９Ｆが出力される。第３のタイミングＴｍ３の開始時間は、第１のタイミングＴｍ１よりも時間Δｔ遅れ、第４のタイミングＴｍ４の開始時間は、第２のタイミングＴｍ２よりも時間Δｔ遅れている。また、第２のタイミングＴｍ２は、発光制御信号９Ａを基準として第１のタイミングＴｍ１よりも時間Ｔｒ遅く始まり、また、第４のタイミングＴｍ４は、発光制御信号９Ａを基準として第３のタイミングＴｍ３よりも時間Ｔｒ遅く始まっている。 Also, the exposure control signal 9D is output at the first timing Tm1 based on the first light emission control signal Es1, and the exposure control signal 9D is output at the second timing Tm2 based on the second light emission control signal Es2. Also, the exposure control signal 9F is output at the third timing Tm3 based on the third light emission control signal Es3, and the exposure control signal 9F is output at the fourth timing Tm4 based on the fourth light emission control signal Es4. The start time of the third timing Tm3 is delayed by a time Δt from the first timing Tm1, and the start time of the fourth timing Tm4 is delayed by a time Δt from the second timing Tm2. Also, the second timing Tm2 starts later than the first timing Tm1 based on the light emission control signal 9A, and the fourth timing Tm4 starts later than the third timing Tm3 based on the light emission control signal 9A, by a time Tr .

図２０は、実施例２に係るマルチパス検出方法を示すフローチャートである。 Figure 20 is a flowchart showing a multipath detection method according to the second embodiment.

まず、マルチパスを検出する準備として、マルチパス検出装置１００は、マルチパスでない環境における参照データＤｒｅｆをデータ保持部１１３に保存する（ステップＳ２０）。 First, in preparation for detecting multipath, multipath detection apparatus 100 stores reference data D ref for a non-multipath environment in data storage unit 113 (step S20).

そして、マルチパス検出装置１００は、第１の期間および第２の期間に相当するＳ０露光、Ｓ１露光、ＢＧ露光を実行する（ステップＳ２１）。具体的には、受光部１０３は、第１のタイミングＴｍ１の露光によって受光量Ｒ１を取得し、第２のタイミングＴｍ２の露光によって受光量Ｒ２を取得し、第３のタイミングＴｍ３の露光によって受光量Ｒ３を取得し、第４のタイミングＴｍ４の露光によって受光量Ｒ４を取得する。受光量Ｒ１～Ｒ４は、信号処理部１０４に出力される。 Then, the multipath detection device 100 executes S0 exposure, S1 exposure, and BG exposure corresponding to the first and second periods (step S21). Specifically, the light receiving unit 103 acquires the amount of received light R1 by exposure at the first timing Tm1, acquires the amount of received light R2 by exposure at the second timing Tm2, acquires the amount of received light R3 by exposure at the third timing Tm3, and acquires the amount of received light R4 by exposure at the fourth timing Tm4. The amounts of received light R1 to R4 are output to the signal processing unit 104.

次に、信号処理部１０４は、受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を算出し、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出する（ステップＳ２２）。 Next, the signal processing unit 104 calculates a first depth D1 from the ratio between the amount of received light R1 and the amount of received light R2, and calculates a second depth D2 from the ratio between the amount of received light R3 and the amount of received light R4 (step S22).

次に、判定部１１２は、第１の深度Ｄ１と第２の深度Ｄ２とから深度の傾きαを算出する（ステップＳ２５）。例えば判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差から求められる深度の傾きαを求める。 Next, the determination unit 112 calculates the depth gradient α from the first depth D1 and the second depth D2 (step S25). For example, the determination unit 112 determines the depth gradient α from the difference between the first depth D1 and the second depth D2.

そして判定部１１２は、深度の傾きα０と一致する参照深度Ｄｒｅｆ（α０）を取得する（ステップＳ２６）。具体的には、判定部１１２は、上記深度の傾きα０と、データ保持部１１３に保持されている参照データＤｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄｒｅｆ（α０）を求める。 Then, the determination unit 112 obtains a reference depth D ref (α 0 ) that coincides with the depth gradient α 0 (step S26). Specifically, the determination unit 112 obtains a reference depth D ref (α 0 ) in a non-multipath environment based on the depth gradient α 0 and the reference data D ref stored in the data storage unit 113.

そして、判定部１１２は、第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさが閾値ＴＨよりも大きいか否かを判断する（ステップＳ２７）。 Then, the determination unit 112 determines whether the magnitude of the difference between the first depth D1 and the reference depth D ref (α 0 ) is greater than a threshold value TH (step S27).

判定部１１２は、第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさが閾値ＴＨよりも大きい場合（Ｓ２７にてＹｅｓ）、マルチパス有りと判定する（ステップＳ２８）。一方、判定部１１２は、第１の深度Ｄ１と参照深度Ｄｒｅｆ（α０）との差の大きさが閾値ＴＨ以下である場合（Ｓ２７にてＮｏ）、マルチパスなしと判定する（ステップＳ２９）。これにより、測定対象の距離を測定する際のマルチパスの有無を判定する。 If the difference between the first depth D1 and the reference depth Dref ( α0 ) is greater than the threshold TH (Yes in S27), the determination unit 112 determines that there is a multipath (step S28). On the other hand, if the difference between the first depth D1 and the reference depth Dref ( α0 ) is equal to or less than the threshold TH (No in S27), the determination unit 112 determines that there is no multipath (step S29). In this way, the presence or absence of a multipath when measuring the distance to the measurement target is determined.

マルチパスなしと判定された場合は、数式１２～数式１４を用いて深度Ｄを求め、距離Ｌを求めることができる。 If it is determined that there is no multipath, the depth D can be calculated using Equations 12 to 14, and the distance L can be calculated.

マルチパスありと判定された場合、前述した深度、輝度、傾きにより、実施例１と同様に補正をすることもできる。さらに、実施例１よりも少ないフレーム数で必要な受光信号を取得することができ、マルチパス検出と補正の高速化が図れる。 If it is determined that there is a multipath, correction can be performed in the same way as in Example 1 using the depth, brightness, and inclination described above. Furthermore, it is possible to obtain the necessary light receiving signals in fewer frames than in Example 1, which speeds up multipath detection and correction.

このように、実施例２に係るマルチパス検出装置１００は、図１９に示す受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を算出し、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出する。そして、第１の深度Ｄ１および第２の深度Ｄ２の差と、参照データＤｒｅｆに基づいて、マルチパスの有無を判定するので、マルチパスの有無を判定するための処理負荷を軽減することができる。 In this way, the multipath detection apparatus 100 according to the second embodiment calculates the first depth D1 from the ratio between the amount of received light R1 and the amount of received light R2 shown in Fig. 19, and calculates the second depth D2 from the ratio between the amount of received light R3 and the amount of received light R4. Then, the presence or absence of multipath is determined based on the difference between the first depth D1 and the second depth D2 and the reference data Dref , so that the processing load for determining the presence or absence of multipath can be reduced.

また、信号制御部１０１は、第１の発光制御信号Ｅｓ１および第３の発光制御信号Ｅｓ３を同時に出力し、第２の発光制御信号Ｅｓ２および第４の発光制御信号Ｅｓ４を同時に出力し、かつ、第１の発光制御信号Ｅｓ１に対する露光および第２の発光制御信号Ｅｓ２に対する露光を行うための露光制御信号９Ｄを受光部１０３の第１画素１０３ａ１に出力し、第３の発光制御信号Ｅｓ３に対する露光および第４の発光制御信号Ｅｓ４に対する露光を行うための露光制御信号９Ｆを受光部１０３の第２画素１０３ａ２に出力する。 The signal control unit 101 also simultaneously outputs the first light emission control signal Es1 and the third light emission control signal Es3, simultaneously outputs the second light emission control signal Es2 and the fourth light emission control signal Es4, and outputs an exposure control signal 9D to the first pixel 103a1 of the light receiving unit 103 for performing exposure in response to the first light emission control signal Es1 and exposure in response to the second light emission control signal Es2, and outputs an exposure control signal 9F to the second pixel 103a2 of the light receiving unit 103 for performing exposure in response to the third light emission control signal Es3 and exposure in response to the fourth light emission control signal Es4.

これによれば、２画素を用いて第１の期間および第２の期間を同時に行うことができ、マルチパス検出動作のリアルタイム処理を簡易化することができる。 This allows the first and second periods to be performed simultaneously using two pixels, simplifying real-time processing of multi-path detection operations.

（その他の実施の形態）
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。 (Other embodiments)
Although the embodiments have been described above, the present disclosure is not limited to the above-mentioned embodiments. The present disclosure also includes forms obtained by applying various modifications to the embodiments that a person skilled in the art can conceive, and forms realized by arbitrarily combining the components and functions of each embodiment within the scope of the present disclosure.

本開示におけるマルチパス検出装置および波マルチパス検出方法は、例えば、ＴＯＦカメラシステムに広く適用可能である。 The multipath detection device and wave multipath detection method disclosed herein can be widely applied to, for example, TOF camera systems.

７Ａ、８Ａ、９Ａ 発光制御信号
７Ｂ、８Ｂ、９Ｂ 照射光
７Ｃ、８Ｃ、９Ｃ、９Ｅ 入射光
７Ｄ、８Ｄ、９Ｄ、９Ｆ 露光制御信号
１００ マルチパス検出装置
１０１ 信号制御部
１０２ 発光部
１０３ 受光部
１０３ａ、１０３ｂ 画素
１０３ａ１ 第１画素
１０３ａ２ 第２画素
１０４ 信号処理部
１０９ レンズ
１１１ パルス設定部
１１２ 判定部
１１３ データ保持部
Ｂ 輝度
Ｂ１ 第１の輝度
Ｂ２ 第２の輝度
Ｄ 深度
Ｄ１ 第１の深度
Ｄ２ 第２の深度
Ｄｒｅｆ 参照データ
Ｅｓ１ 第１の発光制御信号
Ｅｓ２ 第２の発光制御信号
Ｅｓ３ 第３の発光制御信号
Ｅｓ４ 第４の発光制御信号
Ｉ 発光強度
Ｌ 距離
ＯＢＪ、ＯＢＪ１、ＯＢＪ２、ＯＢＪ３ 物体
ＯＢＪ１Ｅ 距離測定結果
Ｒ１、Ｒ２、Ｒ３、Ｒ４ 受光量
Ｔｍ１ 第１のタイミング
Ｔｍ２ 第２のタイミング
Ｔｍ３ 第３のタイミング
Ｔｍ４ 第４のタイミング
ＴＨ 閾値
α 深度の傾き 7A, 8A, 9A Light emission control signals 7B, 8B, 9B Irradiation light 7C, 8C, 9C, 9E Incident light 7D, 8D, 9D, 9F Exposure control signal 100 Multipath detection device 101 Signal control unit 102 Light emission unit 103 Light receiving unit 103a, 103b Pixel 103a1 First pixel 103a2 Second pixel 104 Signal processing unit 109 Lens 111 Pulse setting unit 112 Determination unit 113 Data storage unit B Brightness B1 First brightness B2 Second brightness D Depth D1 First depth D2 Second depth Dref Reference data Es1 First light emission control signal Es2 Second light emission control signal Es3 Third light emission control signal Es4 Fourth light emission control signal I Light emission intensity L Distance OBJ, OBJ1, OBJ2, OBJ3 Object OBJ1E Distance measurement results R1, R2, R3, R4 Received light amount Tm1 First timing Tm2 Second timing Tm3 Third timing Tm4 Fourth timing TH Threshold value α Depth gradient

Claims (11)

発光制御信号および露光制御信号を出力する信号制御部と、
前記発光制御信号に従って発光する発光部と、
前記露光制御信号に従って露光することで光を受光する受光部と、
マルチパスでない環境において、前記信号制御部からの所定の発光制御信号に従って所定のタイミングで露光することで得られる前記受光部の受光量、および、前記所定の発光制御信号と異なる時間帯に出力される前記信号制御部からの発光制御信号に従って前記所定のタイミングと異なるタイミングで露光することで得られる前記受光部の受光量の比によって求まる深度に関する参照データを保持するデータ保持部と、
前記信号制御部からの第１の発光制御信号に従って第１のタイミングで露光することで得られる前記受光部の受光量と、前記第１の発光制御信号と異なる時間帯に出力される前記信号制御部からの第２の発光制御信号に従って前記第１のタイミングと異なる第２のタイミングで露光することで得られる前記受光部の受光量との比とによって求まる第１の深度、および、前記信号制御部からの第３の発光制御信号に従って第３のタイミングで露光することで得られる前記受光部の受光量と、前記第３の発光制御信号と異なる時間帯に出力される前記信号制御部からの第４の発光制御信号に従って前記第３のタイミングと異なる第４のタイミングで露光することで得られる前記受光部の受光量との比によって求まる第２の深度を算出する信号処理部と、
前記第１の深度および前記第２の深度の差と前記参照データとを用いて前記マルチパスの有無を判定する判定部と、
を備え、
前記受光部の受光量のそれぞれは、前記受光部の固体撮像素子が反射光を受光し、出力する受光信号の受光信号量であり、
前記第１のタイミングは、前記第１の発光制御信号を基準とするタイミングであり、
前記第２のタイミングは、前記第２の発光制御信号を基準とするタイミングであり、
前記第３のタイミングは、前記第３の発光制御信号を基準とするタイミングであり、
前記第４のタイミングは、前記第４の発光制御信号を基準とするタイミングであり、
前記第３のタイミングの開始時間は、前記第１のタイミングの開始時間よりも時間Δｔ遅れており、
前記第４のタイミングの開始時間は、前記第２のタイミングの開始時間よりも時間Δｔ遅れている
マルチパス検出装置。 a signal control unit that outputs a light emission control signal and an exposure control signal;
a light emitting unit that emits light in accordance with the light emission control signal;
a light receiving section that receives light by exposing in accordance with the exposure control signal;
a data storage unit that stores reference data relating to a depth obtained by a ratio between an amount of light received by the light receiving unit obtained by exposing the light receiving unit at a predetermined timing in accordance with a predetermined light emission control signal from the signal control unit in a non-multipath environment, and an amount of light received by the light receiving unit obtained by exposing the light receiving unit at a timing different from the predetermined timing in accordance with a light emission control signal from the signal control unit that is output in a time period different from the predetermined light emission control signal;
a signal processing unit that calculates a first depth of field obtained by a ratio between an amount of light received by the light receiving unit obtained by exposing at a first timing in accordance with a first light emission control signal from the signal control unit and an amount of light received by the light receiving unit obtained by exposing at a second timing different from the first timing in accordance with a second light emission control signal from the signal control unit output in a time period different from the first light emission control signal, and a second depth of field obtained by a ratio between an amount of light received by the light receiving unit obtained by exposing at a third timing in accordance with a third light emission control signal from the signal control unit and an amount of light received by the light receiving unit obtained by exposing at a fourth timing different from the third timing in accordance with a fourth light emission control signal from the signal control unit output in a time period different from the third light emission control signal;
a determination unit that determines the presence or absence of the multipath using a difference between the first depth and the second depth and the reference data;
Equipped with
Each of the light receiving amounts of the light receiving units is a light receiving signal amount of a light receiving signal outputted by a solid-state image sensor of the light receiving unit upon receiving reflected light,
the first timing is based on the first light emission control signal,
the second timing is based on the second light emission control signal,
the third timing is based on the third light emission control signal,
the fourth timing is based on the fourth light emission control signal,
a start time of the third timing is delayed by a time Δt from a start time of the first timing,
A start time of the fourth timing is delayed by a time Δt from a start time of the second timing. 前記発光部の照射光の波形は、単調増加した後、単調減少する歪みパルス波形である
請求項１に記載のマルチパス検出装置。 The multipath detection device according to claim 1 , wherein the waveform of the light irradiated by the light emitting unit is a distorted pulse waveform that monotonically increases and then monotonically decreases. 前記第４の発光制御信号を基準とする前記第４のタイミングの開始時間は、前記第２の発光制御信号を基準とする前記第２のタイミングの開始時間と異なる
請求項１または２に記載のマルチパス検出装置。 The multipath detection device according to claim 1 , wherein a start time of the fourth timing based on the fourth light emission control signal is different from a start time of the second timing based on the second light emission control signal. 前記第３の発光制御信号を基準とする前記第３のタイミングの開始時間は、前記第１の発光制御信号を基準とする前記第１のタイミングの開始時間と異なる
請求項３に記載のマルチパス検出装置。 The multipath detection device according to claim 3 , wherein a start time of the third timing based on the third light emission control signal is different from a start time of the first timing based on the first light emission control signal. 前記第４の発光制御信号を基準とする前記第４のタイミングの開始時間と前記第２の発光制御信号を基準とする前記第２のタイミングの開始時間との差は、前記第３の発光制御信号を基準とする前記第３のタイミングの開始時間と前記第１の発光制御信号を基準とする前記第１のタイミングの開始時間との差と同じである
請求項４に記載のマルチパス検出装置。 5. The multipath detection device according to claim 4, wherein a difference between a start time of the fourth timing based on the fourth light emission control signal and a start time of the second timing based on the second light emission control signal is the same as a difference between a start time of the third timing based on the third light emission control signal and a start time of the first timing based on the first light emission control signal. 前記信号制御部は、異なる時間帯に前記第１の発光制御信号および前記第３の発光制御信号を出力する
請求項１～５のいずれか１項に記載のマルチパス検出装置。 6. The multipath detection device according to claim 1, wherein the signal control unit outputs the first light-emission control signal and the third light-emission control signal in different time periods. 前記信号制御部は、前記第１の発光制御信号および前記第３の発光制御信号を同時に出力し、前記第２の発光制御信号および前記第４の発光制御信号を同時に出力し、かつ、前記第１の発光制御信号に対する露光および前記第２の発光制御信号に対する露光を行うための前記露光制御信号を前記受光部の第１画素に出力し、前記第３の発光制御信号に対する露光および前記第４の発光制御信号に対する露光を行うための前記露光制御信号を前記受光部の第２画素に出力する、
請求項１～５のいずれか１項に記載のマルチパス検出装置。 the signal control unit simultaneously outputs the first light-emitting control signal and the third light-emitting control signal, simultaneously outputs the second light-emitting control signal and the fourth light-emitting control signal, and outputs the exposure control signal to a first pixel of the light-receiving unit for performing exposure in response to the first light-emitting control signal and exposure in response to the second light-emitting control signal, and outputs the exposure control signal to a second pixel of the light-receiving unit for performing exposure in response to the third light-emitting control signal and exposure in response to the fourth light-emitting control signal.
A multipath detection device according to any one of claims 1 to 5. 前記データ保持部は、前記参照データとして、前記深度と深度の傾きとの関係を保持し、
前記判定部は、前記第１の深度および前記第２の深度の差から求められる深度の傾きと前記データ保持部に保持されている前記参照データとに基づいて、前記マルチパスでない環境における参照深度を求め、前記第１の深度または前記第２の深度と前記参照深度との差の大きさにより前記マルチパスの有無を判定する
請求項１～７のいずれか１項に記載のマルチパス検出装置。 The data storage unit stores a relationship between the depth and a depth gradient as the reference data,
The multipath detection device according to any one of claims 1 to 7, wherein the determination unit determines a reference depth in the non-multipath environment based on a depth gradient determined from the difference between the first depth and the second depth and the reference data stored in the data storage unit, and determines the presence or absence of the multipath based on the magnitude of the difference between the first depth or the second depth and the reference depth. 前記判定部は、前記第１の深度および前記第２の深度の差と前記データ保持部に保持されている前記参照データとに基づいて、前記マルチパスでない環境における参照深度を求め、前記第１の深度または前記第２の深度と前記参照深度との差の大きさにより前記マルチパスの有無を判定する
請求項１～７のいずれか１項に記載のマルチパス検出装置。 The multipath detection device of any one of claims 1 to 7, wherein the determination unit determines a reference depth in the non-multipath environment based on the difference between the first depth and the second depth and the reference data stored in the data storage unit, and determines the presence or absence of multipath based on the magnitude of the difference between the first depth or the second depth and the reference depth. 前記信号処理部は、前記第１のタイミングで露光することで得られる前記受光部の受光量から求められる第１の輝度、および、前記第３のタイミングで露光することで得られる前記受光部の受光量から求められる第２の輝度を算出し、
前記判定部は、前記マルチパスが有ると判定した場合に、前記第１の輝度および前記第２の輝度の少なくとも一方と、前記第１の深度および前記第２の深度の差ならびに前記参照データとを用いて、前記第１の深度を補正する
請求項１～８のいずれか１項に記載のマルチパス検出装置。 the signal processing unit calculates a first luminance calculated from an amount of light received by the light receiving unit obtained by exposing at the first timing, and a second luminance calculated from an amount of light received by the light receiving unit obtained by exposing at the third timing,
The multipath detection device according to any one of claims 1 to 8, wherein when the determination unit determines that the multipath exists, the determination unit corrects the first depth using at least one of the first luminance and the second luminance, the difference between the first depth and the second depth, and the reference data. 発光制御信号および露光制御信号を出力するステップと、
前記発光制御信号に従って発光するステップと、
前記露光制御信号に従って露光することで光を受光するステップと、
マルチパスでない環境において、所定の前記発光制御信号に従って所定のタイミングで露光することで得られる受光部の受光量と、所定の前記発光制御信号と異なる時間帯に出力される発光制御信号に従って前記所定のタイミングと異なるタイミングで露光することで得られる前記受光部の受光量との比によって求まる深度に関する参照データを保存するステップと、
第１の発光制御信号に従って第１のタイミングで露光することで得られる前記受光部の受光量と、前記第１の発光制御信号と異なる時間帯に出力される第２の発光制御信号に従って前記第１のタイミングと異なる第２のタイミングで露光することで得られる前記受光部の受光量との比によって求まる第１の深度を算出するステップと、
第３の発光制御信号に従って第３のタイミングで露光することで得られる前記受光部の受光量と、前記第３の発光制御信号と異なる時間帯に出力される第４の発光制御信号に従って前記第３のタイミングと異なる第４のタイミングで露光することで得られる前記受光部の受光量との比によって求まる第２の深度を算出するステップと、
前記第１の深度および前記第２の深度の差と前記参照データとを用いて前記マルチパスの有無を判定するステップと、
を含み、
前記受光部の受光量のそれぞれは、前記受光部の固体撮像素子が反射光を受光し、出力する受光信号の受光信号量であり、
前記第１のタイミングは、前記第１の発光制御信号を基準とするタイミングであり、
前記第２のタイミングは、前記第２の発光制御信号を基準とするタイミングであり、
前記第３のタイミングは、前記第３の発光制御信号を基準とするタイミングであり、
前記第４のタイミングは、前記第４の発光制御信号を基準とするタイミングであり、
前記第３のタイミングの開始時間は、前記第１のタイミングの開始時間よりも時間Δｔ遅れており、
前記第４のタイミングの開始時間は、前記第２のタイミングの開始時間よりも時間Δｔ遅れている
マルチパス検出方法。 outputting a light emission control signal and an exposure control signal;
emitting light in accordance with the light emission control signal;
receiving light by exposing in accordance with the exposure control signal;
storing reference data on the depth obtained by a ratio between an amount of light received by the light receiving unit obtained by exposing at a predetermined timing according to a predetermined light emission control signal in a non- multipath environment and an amount of light received by the light receiving unit obtained by exposing at a timing different from the predetermined timing according to a light emission control signal output in a time period different from the predetermined light emission control signal;
calculating a first depth based on a ratio between an amount of light received by the light receiving unit obtained by exposing the light receiving unit at a first timing in accordance with a first light emission control signal and an amount of light received by the light receiving unit obtained by exposing the light receiving unit at a second timing different from the first timing in accordance with a second light emission control signal output in a time period different from the first light emission control signal;
calculating a second depth based on a ratio between an amount of light received by the light receiving unit obtained by exposing the light receiving unit at a third timing in accordance with a third light emission control signal and an amount of light received by the light receiving unit obtained by exposing the light receiving unit at a fourth timing different from the third timing in accordance with a fourth light emission control signal output in a time period different from the third light emission control signal;
determining the presence or absence of the multipath using a difference between the first depth and the second depth and the reference data;
Including,
Each of the light receiving amounts of the light receiving units is a light receiving signal amount of a light receiving signal outputted by a solid-state image sensor of the light receiving unit upon receiving reflected light,
the first timing is based on the first light emission control signal;
the second timing is based on the second light emission control signal,
the third timing is based on the third light emission control signal,
the fourth timing is based on the fourth light emission control signal,
a start time of the third timing is delayed by a time Δt from a start time of the first timing,
A multipath detection method, wherein a start time of the fourth timing is delayed by a time Δt from a start time of the second timing.
JP2019102968A 2019-05-31 2019-05-31 Multipath detection device and multipath detection method Active JP7468999B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019102968A JP7468999B2 (en) 2019-05-31 2019-05-31 Multipath detection device and multipath detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019102968A JP7468999B2 (en) 2019-05-31 2019-05-31 Multipath detection device and multipath detection method

Publications (2)

Publication Number Publication Date
JP2020197422A JP2020197422A (en) 2020-12-10
JP7468999B2 true JP7468999B2 (en) 2024-04-16

Family

ID=73647864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019102968A Active JP7468999B2 (en) 2019-05-31 2019-05-31 Multipath detection device and multipath detection method

Country Status (1)

Country Link
JP (1) JP7468999B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022113429A (en) * 2021-01-25 2022-08-04 凸版印刷株式会社 Distance image pickup device and distance image pickup method
WO2024014547A1 (en) * 2022-07-15 2024-01-18 Ｔｏｐｐａｎホールディングス株式会社 Distance image capturing device, and distance image capturing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014097539A1 (en) 2012-12-20 2014-06-26 パナソニック株式会社 Device for three-dimensional measurement, and method for three-dimensional measurement
JP2017015448A (en) 2015-06-29 2017-01-19 株式会社デンソー Light flight type range-finding device
JP2019504326A (en) 2016-02-08 2019-02-14 株式会社デンソー Time-of-flight distance measuring apparatus and method for detecting multipath errors
WO2020121705A1 (en) 2018-12-14 2020-06-18 パナソニックセミコンダクターソリューションズ株式会社 Imaging device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656765B1 (en) * 2016-03-09 2024-04-11 주식회사 히타치엘지 데이터 스토리지 코리아 Apparatus for measuring distance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014097539A1 (en) 2012-12-20 2014-06-26 パナソニック株式会社 Device for three-dimensional measurement, and method for three-dimensional measurement
JP2017015448A (en) 2015-06-29 2017-01-19 株式会社デンソー Light flight type range-finding device
JP2019504326A (en) 2016-02-08 2019-02-14 株式会社デンソー Time-of-flight distance measuring apparatus and method for detecting multipath errors
WO2020121705A1 (en) 2018-12-14 2020-06-18 パナソニックセミコンダクターソリューションズ株式会社 Imaging device

Also Published As

Publication number Publication date
JP2020197422A (en) 2020-12-10

Similar Documents

Publication Publication Date Title
JP6676866B2 (en) Ranging imaging device and solid-state imaging device
US7408627B2 (en) Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture
JP6241793B2 (en) Three-dimensional measuring apparatus and three-dimensional measuring method
JP6701199B2 (en) Distance measurement imaging device
JP6698655B2 (en) Ranging device
US20180227475A1 (en) Imaging device, and solid-state imaging element used for same
JP6435513B2 (en) Ranging imaging apparatus, ranging method thereof, solid-state imaging device
JP7468999B2 (en) Multipath detection device and multipath detection method
US20160178734A1 (en) Distance measuring device and solid-state image sensor
WO2014208018A1 (en) Distance measuring system
WO2017130996A1 (en) Distance measurement device
JP2020003446A (en) Optical range finder
JP2010091377A (en) Apparatus and method for optical distance measurement
KR20100025228A (en) Apparatus and method for obtaining a depth image
KR20210089735A (en) Analog-to-digital converter
WO2019181518A1 (en) Distance measuring device, distance measuring system, distance measuring method, and program
JP2009192499A (en) Apparatus for generating distance image
JP2020112443A (en) Distance measurement device and distance measurement method
CN109115334A (en) Optical detection device
US20200150271A1 (en) Distance-measurement controller and distance measuring system
CN111896971A (en) TOF sensing device and distance detection method thereof
JP2020160044A (en) Distance measuring device and distance measuring method
WO2019050024A1 (en) Distance measuring method and distance measuring device
WO2021107036A1 (en) Distance measurement and imaging device
CN114545358A (en) Multipath detection device and multipath detection method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200217

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240404

R150 Certificate of patent or registration of utility model

Ref document number: 7468999

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150