WO2023188250A1 - 制御回路、システム、方法およびプログラム - Google Patents
制御回路、システム、方法およびプログラム Download PDFInfo
- Publication number
- WO2023188250A1 WO2023188250A1 PCT/JP2022/016481 JP2022016481W WO2023188250A1 WO 2023188250 A1 WO2023188250 A1 WO 2023188250A1 JP 2022016481 W JP2022016481 W JP 2022016481W WO 2023188250 A1 WO2023188250 A1 WO 2023188250A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sensor
- dtof
- events
- area
- control circuit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000005259 measurement Methods 0.000 claims abstract description 58
- 238000004891 communication Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Definitions
- the present invention relates to a control circuit, system, method, and program.
- ToF sensors which measure the distance to an object based on the time of flight of light, are used, for example, to obtain three-dimensional information about a subject, from the time the irradiation light is irradiated to the time the reflected light is received.
- the spatial resolution of the ToF sensor can be substantially increased by, for example, performing measurement only on that region at a high spatial resolution.
- ROI region of interest
- an object of the present invention is to provide a control circuit, system, method, and program that allow a ToF sensor to appropriately determine a measurement target area with low latency.
- a control circuit for a dToF sensor includes a memory for storing a program code, and a processor for performing operations according to the program code, wherein the operations are performed for the dToF sensor.
- a control circuit includes: counting a number of events detected by an event-based vision sensor in a measurable region; and determining a measurement target region within the measurable region by the dToF sensor depending on the number of events. provided.
- a method for controlling a dToF sensor wherein operations performed by a processor according to program code stored in memory cause an event-based vision sensor to detect in a measurable region of the dToF sensor. and determining a measurement target area within the measurable area by the dToF sensor depending on the number of events.
- a program for controlling a dToF sensor wherein an operation executed by a processor according to the program is an event detected by an event-based vision sensor in a measurable area of the dToF sensor. and determining a measurement target area within the measurable area by the dToF sensor according to the number of events.
- a system comprising a dToF sensor, comprising at least one device comprising a memory for storing a program code and a processor for performing operations in accordance with said program code;
- the above operation includes counting the number of events detected by the event-based vision sensor in the measurable area of the dToF sensor, and causing the dToF sensor to detect a measurement target area within the measurable area according to the number of events.
- a system is provided that includes determining.
- FIG. 1 is a diagram showing an example of a dToF sensor including a control circuit according to an embodiment of the present invention.
- FIG. 2 is a diagram conceptually showing operations performed by the dToF sensor shown in FIG. 1.
- FIG. 3 is a flowchart illustrating an example of operations performed in an embodiment of the present invention.
- FIG. 1 is a diagram showing an example of a dToF sensor including a control circuit according to an embodiment of the present invention.
- the dToF (direct time of flight) sensor 100 includes a VCSEL (Vertical Cavity Surface Emitting Laser) element 110 that is a light source, a mirror 120 that controls the direction of the laser light emitted from the VCSEL element 110, It includes a light receiving unit 130 that receives laser light that is reflected by an object in space and becomes reflected light, and a control circuit 140.
- the laser light generated by the VCSEL element 110 is irradiated toward the object obj using the mirror 120, and the reflected light is received by the light receiving section 130.
- the distance to the object obj can be measured by measuring the time difference between irradiation of the laser beam and reception of the reflected light.
- the control circuit 140 can control the range irradiated with laser light by moving or rotating the VCSEL element 110 and/or the mirror 120 using an actuator or the like.
- the area to which the laser beam is irradiated under such control and the distance to the object obj within the area is measured is also referred to as the measurement target area of the dToF sensor 100.
- an event-based vision sensor (EVS) 200 is connected to the dToF sensor 100.
- the EVS 200 is also called an EDS (Event Driven Sensor), an event camera, or a DVS (Dynamic Vision Sensor), and includes a sensor array 210 made up of sensors including light receiving elements, and a control circuit 220.
- an event signal is generated that includes a timestamp, identification information of the sensor, and information on the polarity of the brightness change. .
- the control circuit 220 of the EVS 200 transmits the generated event signal to the control circuit 140 of the dToF sensor 100.
- control circuit 220 may transmit the event signal to the host device 300 for other uses.
- the host device 300 is, for example, a game machine, a personal computer (PC), or a server device connected to a network.
- the output of the light receiving section 130 of the dToF sensor 100 may also be transmitted to the host device 300 via the control circuit 140. Note that the host devices 300 to which the outputs of the EVS 200 and the dToF sensor 100 are transmitted do not necessarily have to be the same.
- the control circuit 140 of the dToF sensor 100 is configured by a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), and/or an FPGA (Field-Programmable Gate Array).
- a memory 141 configured of, for example, various types of ROM (Read Only Memory) and/or RAM (Random Access Memory) is connected to the control circuit 140 .
- Control circuit 140 performs operations as described below by operating according to program codes stored in memory 141.
- a communication interface 142 for receiving event signals from the EVS 200 is connected to the control circuit 140 .
- the control circuit 220 of the EVS 200 is also configured, for example, by a processing circuit similar to the control circuit 140 of the dToF sensor 100, and is connected to a memory (not shown).
- the event signal that the control circuit 220 of the EVS 200 transmits to the control circuit 140 of the dToF sensor 100 via the communication interface 142 is an example of information indicating the number of events detected by the EVS 200 in the measurable area of the dToF sensor 100.
- FIG. 2 is a diagram conceptually showing operations performed by the dToF sensor shown in FIG. 1.
- the control circuit 140 controls at least one of the direction in which the VCSEL element 110 irradiates the laser beam and the direction in which the mirror 120 reflects the laser beam, thereby determining the measurement target area within the measurable region R. can be moved.
- the VCSEL element 110 and/or the mirror 120 have two modes: a mode in which the entire measurable region R is irradiated with laser light at a low density, and a mode in which a part of the measurable region R is irradiated with laser light at a high density. It may be possible to operate in both modes. In this case, the difference in the measurement target area is performed in a mode in which part of the measurable area R is irradiated with laser light at high density.
- the sensor array 210 of the EVS 200 detects a brightness change event that occurs in the measurable region R of the dToF sensor 100.
- the event signal generated when the sensor array 210 detects an event includes sensor identification information as described above, and is input to the control circuit 140 of the dToF sensor 100 via the control circuit 220 of the EVS 200.
- the control circuit 140 can specify the position where the event is detected within the measurable region R from the identification information of the sensor. More specifically, the control circuit 140 can specify in which of the plurality of sub-regions R sub1 to R sub16 that the measurable region R is divided, the event has been detected.
- the control circuit 140 counts the number of events detected by the EVS 200 in the measurable region R, and the dToF sensor 100 determines a measurement target region within the measurable region R according to the number of events. More specifically, the control circuit 140 counts the number of events detected in each of the plurality of sub-regions R sub1 to R sub16 in a predetermined time window, and selects a sub-region with a relatively large number of events. , determine the area to be measured.
- the control circuit 140 may determine one sub-region with the largest number of events as the measurement target area. Alternatively, the control circuit 140 may sequentially determine a plurality of sub-regions in which a relatively large number of events have occurred as measurement target regions. In the illustrated example, the number of events detected in the sub-region R sub7 was the largest, and the number of events detected in the sub-region R sub9 was the second largest. In such a case, the control circuit 140 may decide only the sub-region R sub7 as the measurement target region, or may first decide the sub-region R sub7 and then the sub-region R sub9 as the measurement target region. good.
- the control circuit 140 identifies a position in the measurable area R where the density of positions where events are detected is highest, and creates a measurement target area around that position. may be determined. Further, as a method for determining the measurement target area without using a predetermined time window, the control circuit 140 continues counting the number of events only when events are detected consecutively less than a predetermined time interval, In other cases, the count may be reset at predetermined time intervals.
- the number of events detected by the EVS 200 during a predetermined time window is small, for example, the number of events per sub-region is below the threshold in any sub-region, or the number of events detected within the measurable region R is below the threshold If the value is less than , the control circuit 140 does not need to determine the measurement target area.
- the dToF sensor 100 may, for example, perform measurement on the entire measurable region R with a lower spatial resolution, or may measure the sub-regions R sub1 in an order set separately from the measurement target region determination procedure. ⁇ R sub16 may be sequentially measured, or measurements may be continued in the measurement target region determined in the previous time window. Alternatively, in this case, the dToF sensor 100 may suspend measurement. Even while the dToF sensor 100 is suspending measurement, the control circuit 140 continues counting the number of events detected by the EVS 200, and when the number of events exceeds a threshold value, the control circuit 140 restarts the measurement of the dToF sensor 100.
- the control circuit 140 directs at least one of the VCSEL element 110 and the mirror 120 toward the determined measurement target area, irradiates the measurement target area with laser light, and waits until the light receiving unit 130 receives the reflected light.
- Distance measurements are performed by measuring time differences. As a result, even if, for example, there is a limit to reducing the pixel interval of the light receiving section 130, measurement can be performed with high spatial resolution by limiting the measurement target area.
- FIG. 3 is a flowchart illustrating an example of operations performed in one embodiment of the invention.
- the control circuit 140 of the dToF sensor 100 counts the number of events detected by the EVS 200 in the measurable region R for each of the sub-regions R sub1 to R sub16 (step S101), and calculates the number of events during a predetermined time window. It is determined whether there is a sub-region in which the value exceeds a threshold (step S102). If there is a sub-region in which the number of events exceeds the threshold, the control circuit 140 determines the measurement target region to be the sub-region in which the number of events exceeds the threshold (step S103), and controls the VCSEL element 110 and/or the light source.
- the mirror 120 is controlled to perform measurement in the measurement target area (step S104). If there are multiple subareas in which the number of events exceeds the threshold, steps S103 and S104 may be executed only for the subarea with the largest number of events, or the subarea with the largest number of events may be executed. Starting from the region, steps S103 and S104 may be repeatedly executed for sub-regions in which the number of events exceeds a threshold value. In this case, the number of sub-regions in which step S103 and step S104 are executed may be limited due to the relationship between the length of the predetermined time window and the time required for measurement.
- the control circuit 140 executes a process for not determining a measurement target region (step S105).
- the dToF sensor 100 may, for example, perform measurement with a lower spatial resolution for the entire measurable region R, or may perform measurement using a method that is set separately from the procedure for determining the measurement target region. Measurements may be sequentially performed on the sub-regions R sub1 to R sub16 in order, or measurements may be continued on the measurement target region determined in the previous time window.
- step S106 The above steps S101 to S105 are repeated until the measurement of the dToF sensor 100 is completed. Note that the count of the number of events in each of the sub-regions R sub1 to R sub16 is reset for each time window, for example. More specifically, the count of the number of events is reset when the measurement target area determination procedure (step S102) is started, and in parallel with the subsequent steps S102 to S105, the count of the number of events in the next time window is reset. counting (step S101) may be performed.
- the control circuit 140 of the dToF sensor 100 determines the measurement target area based on the number of events detected by the EVS 200. Since the EVS 200 has high temporal and spatial resolution, it is possible to accurately and quickly identify the region where the object has moved based on the number of events, and appropriately determine the measurement target region of the dToF sensor 100. Furthermore, for example, the control circuit 140 of the dToF sensor 100 executes the above processing based on the event signal input from the EVS 200, rather than via the host device, so that the measurement target area can be determined with low latency. .
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
dToFセンサの制御回路であって、プログラムコードを格納するためのメモリ、および上記プログラムコードに従って動作を実行するためのプロセッサを備え、上記動作は、上記dToFセンサの測定可能領域でイベントベースのビジョンセンサが検出したイベントの数をカウントすること、および上記イベントの数に応じて上記dToFセンサが上記測定可能領域内で測定対象領域を決定することを含む制御回路が提供される。
Description
本発明は、制御回路、システム、方法およびプログラムに関する。
光の飛行時間に基づいてオブジェクトまでの距離を測定するToF(Time of Flight)センサは、例えば被写体の三次元情報を取得するために利用され、照射光を照射してから反射光を受光するまでの時間差を計測するdToF(direct ToF)方式と、反射光を蓄積して発光との位相差を検出することで距離を測定するiToF(indirect ToF)方式に大別される。ToFセンサに関する技術は、例えば特許文献1に記載されている。
上記のようなToFセンサでは画素あたりの集光面積をある程度大きくする必要があるため、画素間隔を小さくすることには限界がある。それゆえ、ToFセンサの測定領域の広さと空間解像度の高さとを両立することは容易ではない。測定にあたって適切な対象領域(ROI:Region of Interest)を決定できれば、例えば当該領域についてのみ高い空間解像度で測定を実行して、実質的にToFセンサの空間解像度を上げることができる。ただし、適切な対象領域を、しかも低いレイテンシーで決定できるような技術は、未だ提案されていない。
そこで、本発明は、ToFセンサが測定対象領域を適切に、かつ低いレイテンシーで決定することが可能な制御回路、システム、方法およびプログラムを提供することを目的とする。
本発明のある観点によれば、dToFセンサの制御回路であって、プログラムコードを格納するためのメモリ、および上記プログラムコードに従って動作を実行するためのプロセッサを備え、上記動作は、上記dToFセンサの測定可能領域でイベントベースのビジョンセンサが検出したイベントの数をカウントすること、および上記イベントの数に応じて上記dToFセンサが上記測定可能領域内で測定対象領域を決定することを含む制御回路が提供される。
本発明の別の観点によれば、dToFセンサを制御する方法であって、プロセッサがメモリに格納されたプログラムコードに従って実行する動作によって、上記dToFセンサの測定可能領域でイベントベースのビジョンセンサが検出したイベントの数をカウントすること、および上記イベントの数に応じて上記dToFセンサが上記測定可能領域内で測定対象領域を決定することを含む方法が提供される。
本発明のさらに別の観点によれば、dToFセンサを制御するためのプログラムであって、プロセッサが上記プログラムに従って実行する動作が、上記dToFセンサの測定可能領域でイベントベースのビジョンセンサが検出したイベントの数をカウントすること、および上記イベントの数に応じて上記dToFセンサが上記測定可能領域内で測定対象領域を決定することを含むプログラムが提供される。
本発明のさらに別の観点によれば、dToFセンサを含むシステムであって、プログラムコードを格納するためのメモリ、および上記プログラムコードに従って動作を実行するためのプロセッサを備える少なくとも1つの装置を含み、上記動作は、上記dToFセンサの測定可能領域でイベントベースのビジョンセンサが検出したイベントの数をカウントすること、および上記イベントの数に応じて上記dToFセンサが上記測定可能領域内で測定対象領域を決定することを含むシステムが提供される。
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図1は、本発明の一実施形態に係る制御回路を含むdToFセンサの例を示す図である。図示された例において、dToF(direct Time of Flight)センサ100は、光源であるVCSEL(Vertical Cavity Surface Emitting Laser)素子110と、VCSEL素子110から照射されたレーザー光の向きを制御するミラー120と、空間内のオブジェクトに反射して反射光になったレーザー光を受光する受光部130と、制御回路140とを含む。dToFセンサ100では、VCSEL素子110が発生させたレーザー光が、ミラー120を用いてオブジェクトobjに向けて照射され、反射光が受光部130によって受光される。レーザー光を照射してから反射光が受光されるまでの時間差を計測することによって、オブジェクトobjまでの距離を測定することができる。制御回路140は、アクチュエータなどを用いてVCSEL素子110および/またはミラー120を移動または回転させることによって、レーザー光が照射される範囲を制御することができる。このような制御によってレーザー光が照射され、領域内のオブジェクトobjまでの距離が測定される領域を、本明細書ではdToFセンサ100の測定対象領域ともいう。
本実施形態において、dToFセンサ100にはイベントベースのビジョンセンサ(EVS;Event-based Vision Sensor)200が接続される。EVS200は、EDS(Event Driven Sensor)、イベントカメラまたはDVS(Dynamic Vision Sensor)とも呼ばれ、受光素子を含むセンサで構成されるセンサアレイ210と、制御回路220とを含む。EVS200では、センサが入射する光の強度変化、より具体的にはオブジェクト表面の輝度変化を検出したときに、タイムスタンプ、センサの識別情報および輝度変化の極性の情報を含むイベント信号が生成される。EVS200の制御回路220は、生成されたイベント信号をdToFセンサ100の制御回路140に送信する。これとは別に、制御回路220は、イベント信号を他の用途で利用するためにホスト装置300に送信してもよい。ホスト装置300は、例えばゲーム機、パーソナルコンピュータ(PC)またはネットワーク接続されたサーバ装置である。dToFセンサ100の受光部130の出力も、制御回路140を介してホスト装置300に送信されてもよい。なお、EVS200およびdToFセンサ100の出力が送信されるホスト装置300は、必ずしも同一でなくてもよい。
dToFセンサ100の制御回路140は、例えばDSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、および/またはFPGA(Field-Programmable Gate Array)などの処理回路によって構成される。制御回路140には、例えば各種のROM(Read Only Memory)および/またはRAM(Random Access Memory)などによって構成されるメモリ141が接続される。制御回路140は、メモリ141に格納されたプログラムコードに従って動作することによって、以下で説明するような動作を実行する。さらに、制御回路140には、EVS200からイベント信号を受信するための通信インターフェース142が接続される。EVS200の制御回路220も、例えばdToFセンサ100の制御回路140と同様の処理回路によって構成され、メモリ(図示せず)が接続される。EVS200の制御回路220が通信インターフェース142を介してdToFセンサ100の制御回路140に送信するイベント信号は、dToFセンサ100の測定可能領域でEVS200が検出したイベントの数を示す情報の例である。
図2は、図1に示されたdToFセンサで実行される動作を概念的に示す図である。dToFセンサ100では、VCSEL素子110がレーザー光を照射する向き、またはミラー120がレーザー光を反射する向きの少なくともいずれかを制御回路140が制御することによって、測定可能領域Rの中で測定対象領域を移動させることができる。なお、VCSEL素子110および/またはミラー120は、測定可能領域Rの全体に対して低い密度でレーザー光を照射するモードと、測定可能領域Rの一部に対して高い密度でレーザー光を照射するモードとの両方で動作可能であってもよい。この場合、測定対象領域の異同は、測定可能領域Rの一部に対して高い密度でレーザー光を照射するモードで実行される。
EVS200のセンサアレイ210は、dToFセンサ100の測定可能領域Rで発生した輝度変化のイベントを検出する。センサアレイ210がイベントを検出したときに生成されるイベント信号は、上記のようにセンサの識別情報を含み、EVS200の制御回路220を介してdToFセンサ100の制御回路140に入力される。制御回路140は、センサの識別情報から、測定可能領域R内でイベントが検出された位置を特定することができる。より具体的には、制御回路140は、測定可能領域Rを分割した複数のサブ領域Rsub1~Rsub16のどの領域でイベントが検出されたかを特定することができる。制御回路140は、測定可能領域RでEVS200が検出したイベントの数をカウントし、イベントの数に応じてdToFセンサ100が測定可能領域R内で測定対象領域を決定する。より具体的には、制御回路140は、所定の時間窓で複数のサブ領域Rsub1~Rsub16のそれぞれで検出されたイベントの数をカウントし、イベントの数が相対的に多かったサブ領域を、測定対象領域に決定する。
ここで、測定対象領域を決定する方法として、制御回路140は、イベントの数が最も多かった1つのサブ領域を測定対象領域に決定してもよい。あるいは、制御回路140は、イベントの数が相対的に多かった複数のサブ領域を順次、測定対象領域に決定してもよい。図示された例では、サブ領域Rsub7で検出されたイベントの数が最も多く、サブ領域Rsub9で検出されたイベントの数が次に多かった。このような場合に、制御回路140は、サブ領域Rsub7だけを測定対象領域に決定してもよいし、まずサブ領域Rsub7を、次にサブ領域Rsub9を測定対象領域に決定してもよい。
サブ領域によらずに測定対象領域を決定する方法として、制御回路140は、測定可能領域R内でイベントが検出された位置の密度が最も高い位置を特定し、その位置の周りを測定対象領域に決定してもよい。また、所定の時間窓によらずに測定対象領域を決定する方法として、制御回路140は、所定の時間間隔未満で連続してイベントが検出された場合にのみイベントの数のカウントを継続し、それ以外の場合は所定の時間間隔でカウントをリセットしてもよい。
所定の時間窓の間にEVS200によって検出されたイベントの数が少なく、例えばサブ領域ごとのイベントの数がどのサブ領域でも閾値を下回ったり、測定可能領域R内で検出されたイベントの数が閾値を下回ったりした場合には、制御回路140は測定対象領域を決定しなくてもよい。この場合、dToFセンサ100は、例えば測定可能領域Rの全体に対して空間解像度を下げて測定を実行してもよいし、測定対象領域の決定手順とは別に設定された順番でサブ領域Rsub1~Rsub16について順次測定を実行してもよいし、前の時間窓で決定された測定対象領域での測定を継続してもよい。あるいは、この場合、dToFセンサ100は測定を休止してもよい。dToFセンサ100が測定を休止している間も制御回路140はEVS200で検出されたイベントの数のカウントを継続し、イベントの数が閾値を超えるとdToFセンサ100の測定を再開させる。
制御回路140は、決定された測定対象領域にVCSEL素子110またはミラー120の少なくともいずれかを向けることによって、測定対象領域に対してレーザー光を照射し、受光部130が反射光を受光するまでの時間差を計測することによって距離の測定を実行する。これによって、例えば受光部130の画素間隔を小さくすることに限界があるような場合であっても、測定対象領域を限定することによって高い空間解像度で測定を実行することができる。
図3は、本発明の一実施形態において実行される動作の例を示すフローチャートである。dToFセンサ100の制御回路140は、測定可能領域RでEVS200が検出したイベントの数を、サブ領域Rsub1~Rsub16のそれぞれについてカウントし(ステップS101)、所定の時間窓の間にイベントの数が閾値を超えたサブ領域が存在するか否かを判定する(ステップS102)。イベントの数が閾値を超えたサブ領域が存在する場合、制御回路140は、測定対象領域をイベントの数が閾値を超えたサブ領域に決定し(ステップS103)、光源であるVCSEL素子110および/またはミラー120を制御して測定対象領域での測定を実行する(ステップS104)。イベントの数が閾値を超えた複数のサブ領域が存在する場合は、イベントの数が最も多いサブ領域についてのみ上記のステップS103およびステップS104が実行されてもよいし、イベントの数が最も多いサブ領域から順に、イベントの数が閾値を超えたサブ領域についてステップS103およびステップS104が繰り返し実行されてもよい。この場合、所定の時間窓の長さと測定の所要時間との関係から、ステップS103およびステップS104を実行するサブ領域の数が制限されていてもよい。
上記のステップS102でイベントの数が閾値を超えたサブ領域が存在しない場合、制御回路140は、測定対象領域を決定しない場合の処理を実行する(ステップS105)。既に述べたように、この場合、dToFセンサ100は、例えば測定可能領域Rの全体に対して空間解像度を下げて測定を実行してもよいし、測定対象領域の決定手順とは別に設定された順番でサブ領域Rsub1~Rsub16について順次測定を実行してもよいし、前の時間窓で決定された測定対象領域での測定を継続してもよい。
上記のステップS101~S105の手順が、dToFセンサ100の測定が終了するまで繰り返される(ステップS106)。なお、サブ領域Rsub1~Rsub16のそれぞれにおけるイベントの数のカウントは、例えば時間窓ごとにリセットされる。より具体的には、イベント数のカウントは測定対象領域の判定手順(ステップS102)が開始されたときにリセットされ、それ以降のステップS102~S105に並行して、次の時間窓のイベントの数のカウント(ステップS101)が実行されてもよい。
以上で説明したような本発明の一実施形態によれば、dToFセンサ100の制御回路140がEVS200で検出されたイベントの数に基づいて測定対象領域を決定する。EVS200は時間解像度および空間解像度が高いため、イベントの数からオブジェクトに動きがあった領域を正確かつ迅速に特定し、dToFセンサ100の測定対象領域を適切に決定することができる。また、例えばホスト装置を介するのではなく、dToFセンサ100の制御回路140がEVS200から入力されるイベント信号に基づいて上記の処理を実行することによって、低いレイテンシーで測定対象領域を決定することができる。
以上、添付図面を参照しながら本発明の実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
100…dToFセンサ、110…VCSEL素子、120…ミラー、130…受光部、140…制御回路、141…メモリ、142…通信インターフェース、200…EVS、210…センサアレイ、220…処理回路、300…ホスト装置。
Claims (9)
- dToFセンサの制御回路であって、
プログラムコードを格納するためのメモリ、および前記プログラムコードに従って動作を実行するためのプロセッサを備え、前記動作は、
前記dToFセンサの測定可能領域でイベントベースのビジョンセンサが検出したイベントの数をカウントすること、および
前記イベントの数に応じて前記dToFセンサが前記測定可能領域内で測定対象領域を決定すること
を含む制御回路。 - 前記イベントの数は、所定の時間窓で前記測定可能領域を分割した複数の領域のそれぞれについてカウントされ、
前記測定対象領域は、前記複数の領域のうち前記イベントの数が相対的に多かった領域に決定される、請求項1に記載の制御回路。 - 前記イベントの数が相対的に多かった領域は、第1の領域と、前記第1の領域よりもイベントの数が少なかった第2の領域とを含み、
前記測定対象領域は、前記第1の領域および前記第2の領域の順に順次決定される、請求項2に記載の制御回路。 - 前記動作は、前記測定対象領域に前記dToFセンサに含まれる光源またはミラーの少なくともいずれかを向けることをさらに含む、請求項1から請求項3のいずれか1項に記載の制御回路。
- 前記測定対象領域は、前記イベントの数が閾値を下回った場合には決定されない、請求項1から請求項4のいずれか1項に記載の制御回路。
- dToFセンサを含むシステムであって、
プログラムコードを格納するためのメモリ、および前記プログラムコードに従って動作を実行するためのプロセッサを備える少なくとも1つの装置を含み、前記動作は、
前記dToFセンサの測定可能領域でイベントベースのビジョンセンサが検出したイベントの数をカウントすること、および
前記イベントの数に応じて前記dToFセンサが前記測定可能領域内で測定対象領域を決定すること
を含むシステム。 - 前記dToFセンサと、前記イベントベースのビジョンセンサとを含み、
前記プロセッサは、前記dToFセンサの制御回路に含まれ、
前記ビジョンセンサの制御回路は、前記ビジョンセンサと前記dToFセンサとの間の通信インターフェースを介して、前記dToFセンサの制御回路に少なくとも前記イベントの数を示す情報を送信する、請求項6に記載のシステム。 - dToFセンサを制御する方法であって、プロセッサがメモリに格納されたプログラムコードに従って実行する動作によって、
前記dToFセンサの測定可能領域でイベントベースのビジョンセンサが検出したイベントの数をカウントすること、および
前記イベントの数に応じて前記dToFセンサが前記測定可能領域内で測定対象領域を決定すること
を含む方法。 - dToFセンサを制御するためのプログラムであって、プロセッサが前記プログラムに従って実行する動作が、
前記dToFセンサの測定可能領域でイベントベースのビジョンセンサが検出したイベントの数をカウントすること、および
前記イベントの数に応じて前記dToFセンサが前記測定可能領域内で測定対象領域を決定すること
を含むプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/016481 WO2023188250A1 (ja) | 2022-03-31 | 2022-03-31 | 制御回路、システム、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/016481 WO2023188250A1 (ja) | 2022-03-31 | 2022-03-31 | 制御回路、システム、方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023188250A1 true WO2023188250A1 (ja) | 2023-10-05 |
Family
ID=88199816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/016481 WO2023188250A1 (ja) | 2022-03-31 | 2022-03-31 | 制御回路、システム、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023188250A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004109150A (ja) * | 2002-09-13 | 2004-04-08 | Canon Inc | 合焦制御装置、撮像装置、プログラム、及び記憶媒体 |
JP2006138782A (ja) * | 2004-11-15 | 2006-06-01 | Nikon Corp | 画像測定機 |
US20150120138A1 (en) * | 2013-10-28 | 2015-04-30 | GM Global Technology Operations LLC | Path planning for evasive steering manuever employing a virtual potential field technique |
JP2017124790A (ja) * | 2016-01-15 | 2017-07-20 | 三菱重工業株式会社 | 移動物体観測システム、および、移動物体観測方法 |
JP2019049514A (ja) * | 2017-09-12 | 2019-03-28 | 株式会社Ihi | 物体検知装置及び物体検知方法 |
JP2019534444A (ja) * | 2016-08-15 | 2019-11-28 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | オブジェクト検出のための顕著性ベースのビームフォーミング |
JP2021169947A (ja) * | 2020-04-15 | 2021-10-28 | 株式会社日立製作所 | 物体認識装置及び物体認識方法 |
-
2022
- 2022-03-31 WO PCT/JP2022/016481 patent/WO2023188250A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004109150A (ja) * | 2002-09-13 | 2004-04-08 | Canon Inc | 合焦制御装置、撮像装置、プログラム、及び記憶媒体 |
JP2006138782A (ja) * | 2004-11-15 | 2006-06-01 | Nikon Corp | 画像測定機 |
US20150120138A1 (en) * | 2013-10-28 | 2015-04-30 | GM Global Technology Operations LLC | Path planning for evasive steering manuever employing a virtual potential field technique |
JP2017124790A (ja) * | 2016-01-15 | 2017-07-20 | 三菱重工業株式会社 | 移動物体観測システム、および、移動物体観測方法 |
JP2019534444A (ja) * | 2016-08-15 | 2019-11-28 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | オブジェクト検出のための顕著性ベースのビームフォーミング |
JP2019049514A (ja) * | 2017-09-12 | 2019-03-28 | 株式会社Ihi | 物体検知装置及び物体検知方法 |
JP2021169947A (ja) * | 2020-04-15 | 2021-10-28 | 株式会社日立製作所 | 物体認識装置及び物体認識方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109791195B (zh) | 用于光达的自适应发射功率控制 | |
JP5617554B2 (ja) | 距離測定装置、および距離測定プログラム | |
CN112204420A (zh) | 结构化光***的飞行时间测距仪 | |
KR20140079733A (ko) | 거리 측정 장치, 거리 측정 방법 및 컴퓨터 판독 가능한 기억 매체 | |
WO2012133457A1 (ja) | 物体認識装置 | |
EP2770297B1 (en) | Shape measuring apparatus | |
JP2017181105A (ja) | レーザレーダ装置 | |
JP6950276B2 (ja) | 距離測定装置 | |
WO2023188250A1 (ja) | 制御回路、システム、方法およびプログラム | |
JP2020109400A (ja) | 光学的物質検知機器の制御方法、装置及び光学的物質検知機器 | |
JP2014219250A (ja) | 測距装置及びプログラム | |
WO2020059685A1 (ja) | センサシステム、および、傾き検出方法 | |
JP2019158525A (ja) | 光学式安全センサ | |
TWI500950B (zh) | 光學式位移感測器 | |
KR20160092289A (ko) | 시차 결정 방법 및 장치 | |
JP4973836B2 (ja) | 計測領域の自動設定手段を備えた変位センサ | |
WO2023181308A1 (ja) | コンピュータシステム、方法およびプログラム | |
JP5760938B2 (ja) | 光学式センサ | |
WO2023187951A1 (ja) | コンピュータシステム、方法およびプログラム | |
WO2023175890A1 (ja) | センサシステムおよびセンシング方法 | |
JP2020101373A (ja) | 測距装置を有する物体監視システム | |
WO2022168903A1 (ja) | 異常検出装置、異常検出方法、及びプログラム | |
US20230243937A1 (en) | Optical detection device, optical distance measurement device, and non-transitory computer readable medium | |
WO2023176646A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110308460B (zh) | 传感器的参数确定方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22935395 Country of ref document: EP Kind code of ref document: A1 |