WO2020116417A1 - 電子機器、補正方法およびプログラム - Google Patents

電子機器、補正方法およびプログラム Download PDF

Info

Publication number
WO2020116417A1
WO2020116417A1 PCT/JP2019/047133 JP2019047133W WO2020116417A1 WO 2020116417 A1 WO2020116417 A1 WO 2020116417A1 JP 2019047133 W JP2019047133 W JP 2019047133W WO 2020116417 A1 WO2020116417 A1 WO 2020116417A1
Authority
WO
WIPO (PCT)
Prior art keywords
imu
measurement result
event signal
electronic device
event
Prior art date
Application number
PCT/JP2019/047133
Other languages
English (en)
French (fr)
Inventor
洋輔 栗原
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to KR1020217015757A priority Critical patent/KR20210083297A/ko
Priority to CN201980078582.6A priority patent/CN113167810A/zh
Priority to US17/296,843 priority patent/US20220018710A1/en
Priority to EP19892473.0A priority patent/EP3893004B1/en
Publication of WO2020116417A1 publication Critical patent/WO2020116417A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0295—Constructional arrangements for removing other types of optical noise or for performing calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/444—Compensating; Calibrating, e.g. dark current, temperature drift, noise reduction or baseline correction; Adjusting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means

Definitions

  • the present invention relates to an electronic device, a correction method and a program.
  • An event-driven vision sensor in which pixels that detect changes in the intensity of incident light generate signals asynchronously in time.
  • the event-driven vision sensor is advantageous in that it can operate at high speed with low power as compared with a frame-type vision sensor that scans all pixels at a predetermined cycle, specifically, an image sensor such as CCD or CMOS. Is. Technologies related to such event-driven vision sensors are described in, for example, Patent Documents 1 and 2.
  • the present invention uses an event-driven vision sensor to improve the accuracy of an inertial measurement unit (IMU: Inertial Measurement Unit) measurement result or an estimated value based on the IMU measurement result.
  • IMU Inertial Measurement Unit
  • the purpose is to provide a device, a correction method, and a program.
  • an event-driven vision sensor including a sensor array including a sensor that generates an event signal when a change in the intensity of incident light is detected, and an inertial measurement device that is displaced together with the vision sensor.
  • an electronic device including (IMU) and a correction processing unit that corrects an IMU measurement result or an estimated value based on the IMU measurement result according to the frequency of an event signal.
  • receiving an event signal from an event-driven vision sensor including a sensor array configured by a sensor that generates an event signal when detecting a change in the intensity of incident light
  • a correction method including a step of receiving a measurement result from an inertial measurement unit (IMU) that is displaced together with a vision sensor, and a step of correcting the measurement result of the IMU or an estimated value based on the measurement result of the IMU according to the frequency of an event signal.
  • IMU inertial measurement unit
  • receiving an event signal from an event-driven vision sensor including a sensor array configured by a sensor that generates an event signal when detecting a change in intensity of incident light.
  • the electronic device includes a step of receiving a measurement result from an inertial measurement unit (IMU) that is displaced together with the vision sensor, and a step of correcting the measurement result of the IMU or an estimated value based on the measurement result of the IMU according to the frequency of the event signal.
  • IMU inertial measurement unit
  • the electronic device it is possible to determine that the electronic device is stationary, for example, based on the frequency of the event signal.
  • the accuracy of the estimated value can be improved.
  • FIG. 3 is a diagram for conceptually explaining a correction timing in the electronic device shown in FIG. 1.
  • FIG. 3 is a block diagram showing a functional configuration of a processing circuit in the electronic device shown in FIG. 1.
  • 3 is a schematic flowchart showing an example of processing in the electronic device shown in FIG. 1.
  • FIG. 1 is a block diagram showing a schematic configuration of an electronic device including a sensor module according to the first embodiment of the present invention.
  • the electronic device 10 includes a vision sensor 100, a control unit 200, and an IMU 300.
  • the event-driven vision sensor 100 includes a sensor array 110 composed of sensors 110A, 110B,... Corresponding to pixels of an image, and a processing circuit 120 connected to the sensor array 110.
  • the sensors 110A, 110B,... include a light receiving element, and generate an event signal when a change in the intensity of incident light, more specifically, a change in brightness is detected.
  • the event signal is output from the processing circuit 120 as information indicating, for example, a time stamp, sensor identification information (for example, pixel position), and the polarity (increase or decrease) of brightness change.
  • the intensity of light reflected or scattered by the subject changes, so that the subject moves according to an event signal generated by the sensors 110A, 110B,... Corresponding to the edges of the subject, for example. Can be detected in time series.
  • the control unit 200 includes a communication interface 210, a processing circuit 220, and a memory 230.
  • the communication interface 210 receives the event signal transmitted from the processing circuit 120 of the vision sensor 100 and the measurement result such as acceleration and angular velocity transmitted from the IMU 300, and outputs it to the processing circuit 220.
  • the processing circuit 220 operates according to a program stored in the memory 230, for example, and processes the received event signal and measurement result. For example, the processing circuit 220 may time-sequentially generate an image in which the position where the brightness change occurs is mapped based on the event signal, temporarily or permanently store the image in the memory 230, or further via the communication interface 210. Send to another device. Further, for example, the processing circuit 220 estimates the posture angle and displacement of the electronic device 10 by integrating the measurement results such as acceleration and angular velocity.
  • the IMU 300 (inertial measurement device) includes, for example, a gyro sensor and an acceleration sensor, and detects the angular velocity and acceleration generated in the electronic device 10.
  • the IMU 300 is housed in at least the same housing of the electronic device 10 as the vision sensor 100, and is displaced together with the vision sensor 100.
  • the IMU 300 detects angular velocity and acceleration, and the positional relationship between the sensors 110A, 110B,... And the subject changes, so that, for example, the sensors 110A, 110B,. Generates an event signal. That is, when the electronic device 10 is displaced, the vision sensor 100 also generates an event signal according to the displacement.
  • FIG. 2 is a diagram for conceptually explaining the correction timing in the electronic device shown in FIG.
  • IMU300 acceleration a x, a y, a z and the angular velocity ⁇ ⁇ , ⁇ ⁇ it detects the omega [psi.
  • the processing circuit 220 of the control unit 200 estimates the attitude angle and displacement of the electronic device 10 by integrating the acceleration and the angular velocity, respectively.
  • drift error, bias error, etc. are integrated, and the estimation accuracy of the attitude angle and the displacement decreases.
  • the control unit 200 executes a process of correcting the measurement result of the IMU 300 or the estimated value based on the measurement result according to the frequency of the event signal received from the vision sensor 100. More specifically, for example, the control unit 200 cancels the drift error and the bias error included in the measurement result when the frequency of the event signal is low. Alternatively, when the frequency of the event signal is low, the control unit 200 may remove the error component from the estimated values of the posture angle and the displacement based on the measurement result. As described above, the vision sensor 100 is displaced together with the IMU 300, and when the electronic device 10 is displaced, the vision sensor 100 also generates an event signal according to the displacement.
  • the electronic device 10 is stationary while the vision sensor 100 does not generate an event signal. Since the event-driven vision sensor 100 operates at a higher speed than, for example, a frame-type vision sensor, the above processing allows the moment of stillness to be accurately identified even when the electronic device 10 momentarily stops. Then, the measurement result or the estimated value can be corrected. As a result, the measurement result or the estimated value can be corrected with higher frequency, and as a result, the measurement result itself and the estimation accuracy of the attitude angle and displacement of the electronic device 10 in the control unit 200 are improved.
  • the processing circuit 220 of the control unit 200 includes an event signal analysis unit 221, a measurement result analysis unit 222, and a function implemented by operating according to a program stored in the memory 230, for example.
  • a correction timing determination unit 223 and a correction processing unit 224 are included.
  • the event signal analysis unit 221 analyzes the event signal received from the vision sensor 100 via the communication interface 210. Specifically, for example, the event signal analysis unit 221 calculates the frequency of the event signal based on the time stamp included in the event signal.
  • the measurement result analysis unit 222 analyzes the measurement results such as acceleration and angular velocity received from the IMU 300 via the communication interface 210. Specifically, for example, the measurement result analysis unit 222 calculates the estimated value 231 of the posture angle and the displacement by integrating the acceleration and the angular velocity, respectively.
  • the acceleration/angular velocity measurement result 232 and the time-series data of the estimated value 231 are stored in the memory 230, for example.
  • the correction timing determination unit 223 determines the correction timing corresponding to the stationary state of the electronic device 10 based on the frequency of the event signal calculated by the event signal analysis unit 221.
  • the correction processing unit 224 executes the correction process of the measurement result 232 of the IMU 300 or the estimated value 231 based on the measurement result when the correction timing is determined by the correction timing determination unit 223.
  • the correction processing unit 224 causes the electronic device 10 to be in a stationary state, specifically, a theoretical measurement result and an actual measurement result in a state where the acceleration other than the gravitational acceleration and the angular velocity are all 0.
  • a value corresponding to the difference between and is specified as an error, and an offset for canceling the error is given to the measurement result 232 of the acceleration and the angular velocity by the IMU 300.
  • the correction processing unit 224 may correct the measurement result 232 input to the measurement result analysis unit 222 in real time after the correction timing, or in the time series data of the already processed measurement result 232, the correction result after the correction timing. The data may be corrected afterwards.
  • the measurement result analysis unit 222 may execute the calculation of the estimated value 231 again.
  • the event signal analysis unit 221 calculates the frequency of the event signal (step S101).
  • the event signal analysis unit 221 may calculate the frequency from the number of event signals received during the most recent predetermined time while sequentially moving the time window, for example.
  • the event signal analysis unit 221 may calculate the frequency from the number of event signals received in the latest cycle in a predetermined cycle.
  • the correction timing determination unit 223 determines whether or not the frequency of the event signal calculated in step S101 is less than the threshold value (step S102).
  • the frequency of the event signal is equal to or higher than the threshold value, it is determined that the electronic device 10 is not stationary, and the process ends.
  • the correction timing determination unit 223 may further determine whether the measurement value included in the measurement result of the IMU 300 is less than the threshold value (step). S103). For example, when the surroundings of the electronic device 10 are dark or the angle of view of the sensor array 110 is shielded, the electronic device 10 may not be stationary although the frequency of the event signal is low. In order to prevent the measurement result or the estimated value from being corrected in such a case, the correction timing determination unit 223 determines that the detection value included in the measurement result of the IMU 300, specifically, the acceleration or angular velocity value is less than the threshold value. The correction timing may be determined only when the movement of the electronic device 10 is estimated to be small to some extent.
  • the correction timing determination unit 223 determines the correction timing (step S104), and the correction processing unit 224 executes the correction process according to the correction timing (Ste S105).
  • the correction processing unit 224 may correct the measurement result 232 input to the measurement result analysis unit 222 in real time after the correction timing, or of the time series data of the already processed measurement result 232. The data after the correction timing may be corrected afterwards.
  • a step (not shown) in which the measurement result analysis unit 222 executes the calculation of the estimated value 231 again may be executed.
  • the correction processing unit 224 may correct the estimated value 231 based on the measurement result.
  • the control unit 200 executes the process of correcting the measurement result of the IMU 300 according to the frequency of the event signal received from the vision sensor 100.
  • the control unit 200 executes the process of correcting the measurement result of the IMU 300 according to the frequency of the event signal received from the vision sensor 100.
  • 10 Electronic device, 100... Vision sensor, 110... Sensor array, 110A, 110B... Sensor, 120... Processing circuit, 200... Control section, 210... Communication interface, 220... Processing circuit, 221... Event signal analysis section, 222... Measurement result analysis unit, 223... Correction timing determination unit, 224... Correction processing unit, 230... Memory, 231... Estimated value.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Gyroscopes (AREA)
  • Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)

Abstract

入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）と、イベント信号の頻度に応じてＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値を補正する補正処理部とを備える電子機器が提供される。

Description

電子機器、補正方法およびプログラム
　本発明は、電子機器、補正方法およびプログラムに関する。
　入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはＣＣＤやＣＭＯＳなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献１および特許文献２に記載されている。
特表２０１４－５３５０９８号公報 特開２０１８－８５７２５号公報
　しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、従来のビジョンセンサ、例えばフレーム型ビジョンセンサとは異なる特性を考慮した周辺技術については、まだ十分に提案されているとは言いがたい。
　そこで、本発明は、イベント駆動型のビジョンセンサを利用して慣性計測装置（ＩＭＵ：Inertial Measurement Unit）の計測結果、またはＩＭＵの計測結果に基づく推定値の精度を向上させることを可能にする電子機器、補正方法およびプログラムを提供することを目的とする。
　本発明のある観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）と、イベント信号の頻度に応じてＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値を補正する補正処理部とを備える電子機器が提供される。
　本発明の別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサからイベント信号を受信するステップと、ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）から計測結果を受信するステップと、イベント信号の頻度に応じてＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値を補正するステップとを含む補正方法が提供される。
　本発明のさらに別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサからイベント信号を受信するステップと、ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）から計測結果を受信するステップと、イベント信号の頻度に応じてＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値を補正するステップとを電子機器の制御部を構成する処理回路に実行させるためのプログラムが提供される。
　上記の構成によれば、例えばイベント信号の頻度から電子機器が静止していると判定することができるため、イベント駆動型のビジョンセンサを利用してＩＭＵの計測結果、またはＩＭＵの計測結果に基づく推定値の精度を向上させることができる。
本発明の一実施形態に係る電子機器の概略的な構成を示すブロック図である。 図１に示す電子機器における補正のタイミングについて概念的に説明するための図である。 図１に示す電子機器における処理回路の機能構成を示すブロック図である。 図１に示す電子機器における処理の例を示す概略的なフローチャートである。
　以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　図１は、本発明の第１の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。図１に示されるように、電子機器１０は、ビジョンセンサ１００と、制御部２００と、ＩＭＵ３００とを含む。
　イベント駆動型のビジョンセンサ１００は、画像のピクセルに対応するセンサ１１０Ａ，１１０Ｂ，…で構成されるセンサアレイ１１０と、センサアレイ１１０に接続される処理回路１２０とを含む。センサ１１０Ａ，１１０Ｂ，…は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成する。イベント信号は、例えば、タイムスタンプと、センサの識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）とを示す情報として処理回路１２０から出力される。センサアレイ１１０の画角内で被写体が移動すると、被写体によって反射または散乱される光の強度が変化するため、例えば被写体のエッジに対応するセンサ１１０Ａ，１１０Ｂ，…が生成するイベント信号によって被写体の移動を時系列で検出することができる。
　制御部２００は、通信インターフェース２１０と、処理回路２２０と、メモリ２３０とを含む。通信インターフェース２１０は、ビジョンセンサ１００の処理回路１２０から伝送されたイベント信号、およびＩＭＵ３００から伝送された加速度や角速度などの計測結果を受信して処理回路２２０に出力する。処理回路２２０は、例えばメモリ２３０に格納されたプログラムに従って動作し、受信されたイベント信号や計測結果を処理する。例えば、処理回路２２０は、イベント信号に基づいて、輝度変化が発生した位置をマッピングした画像を時系列で生成し、メモリ２３０に一時的または持続的に格納したり、通信インターフェース２１０を介してさらに別の装置に送信したりする。また、例えば、処理回路２２０は、加速度や角速度などの計測結果を積分することによって電子機器１０の姿勢角や変位を推定する。
　ＩＭＵ３００（慣性計測装置）は、例えばジャイロセンサと加速度センサとを含み、電子機器１０に生じた角速度および加速度を検出する。ここで、ＩＭＵ３００は、少なくともビジョンセンサ１００と同じ電子機器１０の筐体に収容され、ビジョンセンサ１００とともに変位する。電子機器１０に変位が発生すると、ＩＭＵ３００が角速度および加速度を検出するとともに、センサ１１０Ａ，１１０Ｂ，…と被写体との位置関係が変化することによって、例えば被写体のエッジに対応するセンサ１１０Ａ，１１０Ｂ，…がイベント信号を生成する。つまり、電子機器１０に変位が発生しているときには、ビジョンセンサ１００でも変位に応じたイベント信号が生成される。
　図２は、図１に示す電子機器における補正のタイミングについて概念的に説明するための図である。電子機器１０に並進および回転の変位が発生すると、ＩＭＵ３００が加速度ａｘ，ａｙ，ａｚおよび角速度ωφ，ωθ，ωψを検出する。上述のように、制御部２００の処理回路２２０は、これらの加速度および角速度をそれぞれ積分することによって電子機器１０の姿勢角や変位を推定する。ところが、積分する時間が長くなるほど、ＩＭＵ３００の計測結果に含まれる誤差（ドリフト誤差、バイアス誤差などと呼ばれる）が積算され、姿勢角や変位の推定精度が低下する。電子機器１０が静止（ｖ＝０）したタイミングでは、加速度、角速度とも０になることがわかっているため、計測結果に含まれる誤差をキャンセルすることができる。ただし、上記の通りＩＭＵ３００の計測結果自体に誤差が含まれるため、計測結果から電子機器１０が静止したタイミングを特定することは必ずしも容易ではない。
　そこで、本実施形態では、制御部２００が、ビジョンセンサ１００から受信されるイベント信号の頻度に応じてＩＭＵ３００の計測結果、または計測結果に基づく推定値を補正する処理を実行する。より具体的には、例えば、制御部２００は、イベント信号の頻度が低い場合に、計測結果に含まれるドリフト誤差やバイアス誤差をキャンセルする。あるいは、制御部２００は、イベント信号の頻度が低い場合に、計測結果に基づく姿勢角や変位の推定値から誤差成分を除いてもよい。上述のように、ビジョンセンサ１００はＩＭＵ３００とともに変位しており、電子機器１０に変位が発生している時には、ビジョンセンサ１００でも変位に応じたイベント信号が生成される。逆にいえば、ビジョンセンサ１００でイベント信号が生成されない間は、電子機器１０が静止していると推定することができる。イベント駆動型のビジョンセンサ１００は、例えばフレーム型のビジョンセンサに比べて高速に動作するため、上記の処理によって、電子機器１０が瞬間的に静止した場合であっても静止の瞬間を正確に特定して計測結果または推定値を補正することができる。これによって、より高い頻度で計測結果または推定値を補正することが可能になり、結果として計測結果そのもの、および制御部２００における電子機器１０の姿勢角や変位の推定精度が向上する。
　図３は、図１に示す電子機器における処理回路の機能構成を示すブロック図である。図３に示された例において、制御部２００の処理回路２２０は、例えばメモリ２３０に格納されたプログラムに従って動作することによって実装される機能として、イベント信号解析部２２１と、計測結果解析部２２２と、補正タイミング決定部２２３と、補正処理部２２４とを含む。イベント信号解析部２２１は、通信インターフェース２１０を介してビジョンセンサ１００から受信されたイベント信号を解析する。具体的には、例えば、イベント信号解析部２２１は、イベント信号に含まれるタイムスタンプに基づいて、イベント信号の頻度を算出する。一方、計測結果解析部２２２は、通信インターフェース２１０を介してＩＭＵ３００から受信された加速度や角速度などの計測結果を解析する。具体的には、例えば、計測結果解析部２２２は、加速度および角速度をそれぞれ積分して、姿勢角および変位の推定値２３１を算出する。加速度および角速度の計測結果２３２、および推定値２３１の時系列データは、例えばメモリ２３０に格納される。
　補正タイミング決定部２２３は、イベント信号解析部２２１が算出したイベント信号の頻度に基づいて、電子機器１０の静止状態に対応する補正タイミングを決定する。補正処理部２２４は、補正タイミング決定部２２３によって補正タイミングが決定されたときに、ＩＭＵ３００の計測結果２３２、または計測結果に基づく推定値２３１の補正処理を実行する。具体的には、例えば、補正処理部２２４は、電子機器１０の静止状態、具体的には重力加速度以外の加速度および角速度がいずれも０である状態での理論上の計測結果と実際の計測結果との差分に対応する値を誤差として特定し、ＩＭＵ３００による加速度および角速度の計測結果２３２に誤差をキャンセルするようなオフセットを与える。補正処理部２２４は、補正タイミング以降に計測結果解析部２２２に入力された計測結果２３２をリアルタイムで補正してもよいし、既に処理された計測結果２３２の時系列データのうち、補正タイミング以降のデータを事後的に補正してもよい。計測結果２３２が事後的に補正された場合、計測結果解析部２２２は推定値２３１の算出を再度実行してもよい。
　図４は、図１に示す電子機器における処理の例を示す概略的なフローチャートである。図４に示された例では、まず、イベント信号解析部２２１がイベント信号の頻度を算出する（ステップＳ１０１）。ここで、イベント信号解析部２２１は、例えばタイムウインドウを順次移動させながら、直近の所定時間の間に受信されたイベント信号の数から頻度を算出してもよい。あるいは、イベント信号解析部２２１は、所定の周期で、直近の周期の間に受信されたイベント信号の数から頻度を算出してもよい。次に、補正タイミング決定部２２３が、ステップＳ１０１で算出されたイベント信号の頻度が閾値未満であるか否かを判定する（ステップＳ１０２）。ここで、イベント信号の頻度が閾値以上である場合、電子機器１０は静止していないと判定され、処理は終了する。
　一方、ステップＳ１０２においてイベント信号の頻度が閾値未満である場合、さらに、補正タイミング決定部２２３は、ＩＭＵ３００の計測結果に含まれる測定値が閾値未満であるか否かを判定してもよい（ステップＳ１０３）。例えば、電子機器１０の周囲が暗かったり、センサアレイ１１０の画角が遮蔽されていたりした場合には、イベント信号の頻度が低いにもかかわらず電子機器１０が静止していない場合がありうる。そのような場合に計測結果または推定値の補正が実行されないように、補正タイミング決定部２２３は、ＩＭＵ３００の計測結果に含まれる検出値、具体的には加速度や角速度の値が閾値未満であり、電子機器１０の動きがある程度小さいことが推定される場合に限って補正タイミングの決定を実行してもよい。
　ステップＳ１０３においてＩＭＵ３００の計測結果に含まれる検出値が閾値未満である場合、補正タイミング決定部２２３が補正タイミングを決定し（ステップＳ１０４）、補正処理部２２４が当該補正タイミングに従って補正処理を実行する（ステップＳ１０５）。具体的には、補正処理部２２４は、補正タイミング以降に計測結果解析部２２２に入力された計測結果２３２をリアルタイムで補正してもよいし、既に処理された計測結果２３２の時系列データのうち、補正タイミング以降のデータを事後的に補正してもよい。計測結果２３２が事後的に補正された場合、計測結果解析部２２２が推定値２３１の算出を再度実行するステップ（図示せず）が実行されてもよい。あるいは、補正処理部２２４は、計測結果に基づく推定値２３１を補正してもよい。
　上記で説明したような本発明の第１の実施形態では、制御部２００が、ビジョンセンサ１００から受信されるイベント信号の頻度に応じてＩＭＵ３００の計測結果を補正する処理を実行する。これによって、例えば、電子機器１０が静止した瞬間を正確に特定して計測結果に含まれる誤差をキャンセルすることができ、より高い頻度で誤差をキャンセルすることによって、計測結果そのもの、および電子機器１０の姿勢角や変位の推定精度を向上させることができる。
　以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１０…電子機器、１００…ビジョンセンサ、１１０…センサアレイ、１１０Ａ，１１０Ｂ…センサ、１２０…処理回路、２００…制御部、２１０…通信インターフェース、２２０…処理回路、２２１…イベント信号解析部、２２２…計測結果解析部、２２３…補正タイミング決定部、２２４…補正処理部、２３０…メモリ、２３１…推定値。

Claims (7)

  1. 　入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、
    　前記ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）と、
    　前記イベント信号の頻度に応じて前記ＩＭＵの計測結果、または前記ＩＭＵの計測結果に基づく推定値を補正する補正処理部と
    　を備える電子機器。
  2. 　前記イベント信号の頻度に基づいて前記電子機器の静止状態に対応する補正タイミングを決定する補正タイミング決定部をさらに備え、
    　前記補正処理部は、前記補正タイミングが決定されたときに前記ＩＭＵの計測結果または前記推定値を補正する、請求項１に記載の電子機器。
  3. 　前記補正タイミング決定部は、前記イベント信号の頻度が閾値未満である場合に前記補正タイミングを決定する、請求項２に記載の電子機器。
  4. 　前記補正タイミング決定部は、前記ＩＭＵの計測結果に含まれる検出値が閾値未満である場合に前記補正タイミングを決定する、請求項２または請求項３に記載の電子機器。
  5. 　前記ＩＭＵの計測結果は、角速度を含み、
    　前記推定値は、前記電子機器の姿勢角を含む、請求項１から請求項４のいずれか１項に記載の電子機器。
  6. 　入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサから前記イベント信号を受信するステップと、
    　前記ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）から計測結果を受信するステップと、
    　前記イベント信号の頻度に応じて前記ＩＭＵの計測結果、または前記ＩＭＵの計測結果に基づく推定値を補正するステップと
    　を含む補正方法。
  7. 　入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサから前記イベント信号を受信するステップと、
    　前記ビジョンセンサとともに変位する慣性計測装置（ＩＭＵ）から計測結果を受信するステップと、
    　前記イベント信号の頻度に応じて前記ＩＭＵの計測結果、または前記ＩＭＵの計測結果に基づく推定値を補正するステップと
    　を電子機器の制御部を構成する処理回路に実行させるためのプログラム。
PCT/JP2019/047133 2018-12-05 2019-12-03 電子機器、補正方法およびプログラム WO2020116417A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020217015757A KR20210083297A (ko) 2018-12-05 2019-12-03 전자 기기, 보정 방법 및 프로그램
CN201980078582.6A CN113167810A (zh) 2018-12-05 2019-12-03 电子装置，校正方法和程序
US17/296,843 US20220018710A1 (en) 2018-12-05 2019-12-03 Electronic apparatus, correction method, and program
EP19892473.0A EP3893004B1 (en) 2018-12-05 2019-12-03 Electronic device, correction method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-227780 2018-12-05
JP2018227780A JP7152285B2 (ja) 2018-12-05 2018-12-05 電子機器、補正方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2020116417A1 true WO2020116417A1 (ja) 2020-06-11

Family

ID=70975338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047133 WO2020116417A1 (ja) 2018-12-05 2019-12-03 電子機器、補正方法およびプログラム

Country Status (6)

Country Link
US (1) US20220018710A1 (ja)
EP (1) EP3893004B1 (ja)
JP (1) JP7152285B2 (ja)
KR (1) KR20210083297A (ja)
CN (1) CN113167810A (ja)
WO (1) WO2020116417A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145019A1 (ja) * 2022-01-28 2023-08-03 株式会社ソニー・インタラクティブエンタテインメント 電子機器、情報処理方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002267685A (ja) * 2001-03-12 2002-09-18 Canon Inc 振動検出装置及び像振れ補正装置
WO2014046204A1 (ja) * 2012-09-19 2014-03-27 株式会社ニコン 電子機器、及びプログラム
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
JP2016125988A (ja) * 2015-01-08 2016-07-11 富士通株式会社 携帯端末装置及びキャリブレーション方法
US20170089948A1 (en) * 2011-11-04 2017-03-30 Google Inc. Calibrating Intertial Sensors Using an Image Sensor
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676498B2 (en) * 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
CN108289721B (zh) * 2014-09-05 2020-12-15 伊西康有限责任公司 外科器械
CN107430402B (zh) * 2015-03-31 2021-01-01 深圳市大疆创新科技有限公司 用于对地理围栏设备进行标识和认证的***和方法
TWI730975B (zh) * 2015-08-19 2021-06-21 日商半導體能源研究所股份有限公司 資訊處理裝置
US10260862B2 (en) * 2015-11-02 2019-04-16 Mitsubishi Electric Research Laboratories, Inc. Pose estimation using sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002267685A (ja) * 2001-03-12 2002-09-18 Canon Inc 振動検出装置及び像振れ補正装置
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
US20170089948A1 (en) * 2011-11-04 2017-03-30 Google Inc. Calibrating Intertial Sensors Using an Image Sensor
WO2014046204A1 (ja) * 2012-09-19 2014-03-27 株式会社ニコン 電子機器、及びプログラム
JP2016125988A (ja) * 2015-01-08 2016-07-11 富士通株式会社 携帯端末装置及びキャリブレーション方法
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3893004A4

Also Published As

Publication number Publication date
US20220018710A1 (en) 2022-01-20
KR20210083297A (ko) 2021-07-06
EP3893004B1 (en) 2024-07-17
EP3893004A4 (en) 2022-08-24
CN113167810A (zh) 2021-07-23
JP7152285B2 (ja) 2022-10-12
JP2020091163A (ja) 2020-06-11
EP3893004A1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
EP2214403A1 (en) Image processing device, photographing device, reproducing device, integrated circuit, and image processing method
US10737384B2 (en) Robot system
KR102496300B1 (ko) 전자 장치, 액추에이터 제어 방법, 및 프로그램
US20170013198A1 (en) Camera shaking correction device and imaging apparatus
CN109716062B (zh) 姿势估计装置
JP5434608B2 (ja) 測位装置及び測位方法
US11119112B2 (en) Method for compensating gyroscope drift on an electronic device
EP3731514B1 (en) Event camera
KR20160095911A (ko) 카메라 모듈 손떨림 보정 장치 및 이의 게인 조정 방법
US10983635B2 (en) Control parameter adjustment device
CN112771841B (zh) 传感器模块、电子设备、视觉传感器校准方法、对象检测方法和程序
KR20210061875A (ko) 포인트 클라우드 데이터를 이용한 3d lidar 센서 결함 검출 방법
CN114600417B (zh) 同步装置、同步方法以及存储有同步程序的存储装置
JP2007057981A5 (ja)
WO2020116417A1 (ja) 電子機器、補正方法およびプログラム
CA2988843C (en) Traffic signal detection device and traffic signal detection method
JP2016017796A (ja) 車輌位置計測装置及び方法
US11656242B2 (en) Angular velocity detection device, image display apparatus, angular velocity detection method, and storage medium
KR20210058703A (ko) 차량용 관성 측정 유닛을 교정하기 위한 교정값을 생성하는 방법 및 장치
KR101573641B1 (ko) 6자유도 구조물 변위 측정 시스템 및 방법
CN112889270A (zh) 信息处理方法、信息处理装置、信息处理程序以及信息处理***
CN111982179B (zh) 异常检测设备、异常检测方法以及计算机可读介质
WO2017042995A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
US20240085453A1 (en) Method for evaluating sensor data, processing unit for evaluating sensor data, and sensor system
KR102392122B1 (ko) 이동 로봇 및 이의 위치 추정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19892473

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217015757

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019892473

Country of ref document: EP

Effective date: 20210705