KR20210069646A - 전자 장치, 액추에이터 제어 방법, 및 프로그램 - Google Patents

전자 장치, 액추에이터 제어 방법, 및 프로그램 Download PDF

Info

Publication number
KR20210069646A
KR20210069646A KR1020217009992A KR20217009992A KR20210069646A KR 20210069646 A KR20210069646 A KR 20210069646A KR 1020217009992 A KR1020217009992 A KR 1020217009992A KR 20217009992 A KR20217009992 A KR 20217009992A KR 20210069646 A KR20210069646 A KR 20210069646A
Authority
KR
South Korea
Prior art keywords
actuator
sensor
control signal
event
event signal
Prior art date
Application number
KR1020217009992A
Other languages
English (en)
Other versions
KR102496300B1 (ko
Inventor
히로마사 나가누마
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20210069646A publication Critical patent/KR20210069646A/ko
Application granted granted Critical
Publication of KR102496300B1 publication Critical patent/KR102496300B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N5/353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N5/369—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

센서가 입사광 강도의 변화을 감지할 경우 이벤트 신호를 생성하는 센서가 있는 센서 어레이를 포함하는 이벤트 구동 비전 센서, 비전 센서를 포함하는 모듈을 변위시키는 액추에이터, 및 액추에이터가 제어 신호에서 모듈을 이동시킬 경우 생성된 이벤트 신호에 기반하여 액추에이터에 제어 신호를 전송하고 보정된 값을 반영하는 제어 유닛을 포함하는 전자 장치가 제공된다.

Description

전자 장치, 액추에이터 제어 방법, 및 프로그램
본 발명은 전자 장치, 액추에이터 제어 방법, 및 프로그램에 관한 것이다.
입사광의 강도 변화를 감지하는 픽셀이 시간에 따라 비동기적으로 신호를 생성하는 이벤트 구동 비전 센서가 알려져 있다. 센서가 미리 정해진 주기로 모든 픽셀을 스캔하는 프레임 형태의 비전 센서, 특히, 전하 결합 장치(CCD, Charge-coupled Device) 또는 상보성 금속 산화막 반도체(CMOS, Complementary Metal Oxide Semiconductor)와 같은, 이미지 센서에 비해 저전력 및 고속으로 작동할 수 있다는 것에 있어서, 이벤트 구동 비전 센서가 유리하다. 이러한 이벤트 구동 비전 센서에 관한 기술은 예를 들어, 특허문헌 1 및 특허문헌 2에 설명되어 있다.
JP-T-2014-535098 JP 2018-85725 A
그러나, 위에서 언급한 이점이 이벤트 구동 비전 센서와 관련하여 알려져 있지만, 프레임 형태의 비전 센서와 같은 기존 비전 센서와는 다른 특성을 고려한 주변 기술이 충분히 제안되었다고 하기는 어렵다.
따라서, 본 발명의 목적은, 이벤트 구동 비전 센서와 액추에이터의 상호 작용으로 편리함을 제공하는, 전자 장치, 액추에이터 제어 방법, 및 프로그램을 제공하는 것이다.
본 발명의 일 측면에 따르면, 센서-여기서 센서는 입사광 강도의 변화를 감지할 경우, 이벤트 신호를 생성함-를 구비한 센서 어레이를 포함하는 이벤트 구동 비전 센서, 및 비전 센서를 포함하는 모듈을 변위시키는 액추에이터, 및 액추에이터가 제어 신호 내에서 모듈을 변위시킬 때 제어 신호를 액추에이터에 전송하고 생성된 이벤트 신호에 기반하여 보정 값을 반영하는 제어 유닛을 포함하는 전자 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 센서-여기서 센서는 입사광의 강도의 변화를 감지할 경우, 이벤트 신호를 생성함-를 구비한 센서 어레이를 포함하는 이벤트 구동 비전 센서를 사용하는 액추에이터 제어 방법이 제공되며, 방법은 비전 센서를 포함하는 모듈을 변위시키기 위해 액추에이터를 구동하는 단계, 및 액추에이터가 액추에이터의 제어 신호 내에서 모듈을 변위시킬 때 생성된 이벤트 신호를 반영하는 단계를 포함한다.
본 발명의 또 다른 측면에 따르면, 센서-여기서 센서는 입사광의 강도의 변화를 감지할 경우, 이벤트 신호를 생성함-를 구비한 센서 어레이를 포함하는 이벤트 구동 비전 센서에 연결된 처리 회로가, 비전 센서를 포함하는 모듈을 변위시키기 위해 액추에이터를 구동하는 단계, 및 액추에이터가 액추에이터의 제어 신호 내에서 모듈을 변위시킬 때 생성된 이벤트 신호를 반영하는 단계를 실행하게 하는 프로그램이 제공된다.
위의 구성에 따르면, 이벤트 구동 비전 센서와 액추에이터의 상호 작용으로 편리함이 제공될 수 있다.
도 1은, 본 발명의 제1 실시예에 따른, 센서 모듈을 포함하는 전자 장치의 개략적인 구성을 나타내는 블록도이다.
도 2는, 본 발명의 제1 실시예에 따른, 센서 모듈의 동작의 제1 예를 나타내는 순서도이다.
도 3은, 본 발명의 제1 실시예에 따른, 센서 모듈의 동작의 제2 예를 나타내는 순서도이다.
도 4는, 본 발명의 제1 실시예에 따른, 센서 모듈의 동작의 제3 예를 나타내는 순서도이다.
도 5는, 본 발명의 제2 실시예에 따른, 센서 모듈을 포함하는 전자 장치의 개략적인 구성을 나타내는 블록도이다.
도 6은, 본 발명의 제2 실시예에 따른, 센서 모듈의 동작의 제1 예를 나타내는 순서도이다.
도 7은, 본 발명의 제2 실시예에 따른, 센서 모듈 동작의 제2 예를 나타내는 순서도이다.
도 8은, 본 발명의 제2 실시예에서, 이동 예측을 실행하는 경우의 제어 유닛의 처리 회로의 구성의 예를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일부 실시예를 상세히 설명한다. 부수적으로, 본 명세서 및 도면에서, 실질적으로 동일한 기능적 구성을 갖는 구성요소는 동일한 도면 부호로 표시되므로 중복되는 설명이 생략된다.
(제1 실시예)
도 1은, 본 발명의 제1 실시예에 따른, 센서 모듈을 포함하는 전자 장치의 개략적인 구성을 나타내는 블록도이다. 도 1에 도시된 바와 같이, 전자 장치(10)는 센서 모듈(100) 및 제어 유닛(200)을 포함한다.
센서 모듈(100)은 이벤트 구동 비전 센서(110), 액추에이터(120), 및 셔터(130)를 포함한다. 비전 센서(110)는 이미지의 픽셀에 대응하는 센서(111A, 111B,...)를 구비한 센서 어레이(111), 및 센서 어레이(111)에 연결된 처리 회로(112)를 포함한다. 센서(111A, 111B,...)는 광 수신 요소를 포함하고, 입사광의 강도 변화, 더 구체적으로 밝기 변화를 감지할 경우, 이벤트 신호를 생성한다. 이벤트 신호는 타임 스탬프, 센서 식별 정보(예: 픽셀 위치), 및 예를 들어, 밝기 변화의 극성(증가 또는 감소)을 나타내는 정보로서 처리 회로(112)로부터 출력된다. 피사체가 센서 어레이(111)의 화각 내에서 이동하면, 피사체에 의해 반사되거나 산란되는 빛의 강도가 변하기 때문에, 예를 들어, 피사체의 가장자리에 대응하는 센서(111A, 111B,...)에 의해 생성된 이벤트 신호로 인해, 피사체의 이동이 시간순으로 감지될 수 있다.
여기서, 이미 전술한 바와 같이, 센서가 프레임 형태의 비전 센서에 비해 낮은 전력 소비로 고속으로 동작할 수 있다는 것에 있어서, 이벤트 구동 비전 센서(110)가 유리하다. 이는 센서 어레이(111)를 구성하는 센서(111A, 111B, ...) 중 밝기 변화를 감지한 센서만이 이벤트 신호를 발생시키기 때문이다. 밝기 변화를 감지하지 않는 센서는 이벤트 신호를 발생하시키 않기 때문에, 처리 회로(112)는 밝기 변화를 감지한 센서의 이벤트 신호만을 고속으로 처리하여 전송할 수 있다. 또한, 밝기 변화가 없는 경우, 처리 및 전송 처리가 발생하지 않으므로 저전력으로 동작이 가능하다. 다른 한편으로, 피사체가 센서 어레이(111)의 화각 내에 존재하더라도, 피사체가 움직이지 않는 한 밝기는 변하지 않으며, 따라서, 센서(111A, 111B, ...)에 의해 생성된 이벤트 신호를 이용하여 이동하지 않는 피사체를 캡처하기가 어렵다. 즉, 비전 센서(110)만으로는 정지된 피사체를 포함한 주변 환경에 대한 정보를 얻기가 어렵다.
본 실시예에서, 센서 모듈(100)은 비전 센서(110)에 연결된 액추에이터(120)를 포함한다. 액추에이터(120)는 제어부(200)로부터 전달되는 제어 신호에 따라 구동되며, 예를 들어, 센서(111A, 111B,...)의 광축 방향에 수직인 방향으로 센서 어레이(111)를 변위시키도록 구성된다. 액추에이터(120)가 센서 어레이(111)를 변위시키면, 모든 센서(111A, 111B,...)와 피사체 간의 위치 관계가 변경된다. 즉, 이 시점에서, 모든 피사체가 센서 어레이(111)의 화각 내에서 이동했을 때와 동일한 변경이 발생한다. 따라서, 피사체가 실제로 이동하는지 여부에 관계없이, 예를 들어, 피사체의 가장자리에 대응하는 센서(111A, 111B,...)에 의해 생성된 이벤트 신호에 의해 피사체가 감지될 수 있다. 전술한 변경을 발생시키는데 필요한 센서 어레이(111)의 변위량이 크지 않기 때문에, 액추에이터(120)는 센서 어레이(111)를 약간 변위시키거나 진동시키는 진동기와 같은 장치일 수 있다.
전술한 설명에서, 액추에이터(120)가 센서 어레이(111)를 변위시키는 방향의 예는 센서(111A, 111B,...)의 광축 방향에 수직인 것으로 설명되었으나, 변위 방향이 광축 방향에 수직이 아닌 경우, 즉, 예를 들어, 변위 방향이 광축 방향과 평행하더라도, 모든 센서(111A, 111B,...)와 피사체 간의 위치 관계가 변경된다는 것에 주의한다. 따라서, 액추에이터(120)는 주어진 방향으로 센서 어레이(111)를 변위시킬 수 있다. 변위 방향이 광축 방향에 수직 또는 거의 수직인 구성에서, 전술한 변경을 생성하는 데 필요한 센서 어레이(111)의 변위량이 최소화된다는 것에 있어서 유리하고, 피사체와의 위치 관계가 센서(111A, 111B,...)에 걸쳐서 실질적으로 균일한 방식으로 변경된다는 것에 주의한다.
또한, 본 실시예에서, 센서 모듈(100)은 셔터(130)를 포함한다. 셔터(130)는 비전 센서(110)의 센서 어레이(111)의 전체 화각이 차폐 및 개방될 수 있도록 배열된다. 셔터(130)는 초점 평면 셔터 또는 렌즈 셔터와 같은 기계식 셔터, 또는 액정 셔터와 같은 전자 셔터일 수 있다. 개방되어 있던 셔터(130)가 폐쇄되면, 센서 어레이(111)의 전체 화각이 차폐되고, 따라서 모든 센서(111A, 111B,...)에 입사되는 빛의 강도는 원칙적으로 최소화되고 일정해진다. 또한, 패쇄되어 있던 셔터(130)가 개방되면, 원칙적으로 모든 센서(111A, 111B,...) 내의 밝기를 높이도록 변화를 발생시키는, 센서 어레이(111)의 전체 화각이 개방된다. 이후에 설명되는 바와 같이, 본 실시예에서, 이러한 동작은 센서 어레이(111)를 교정하고 자체 발광 피사체를 감지하는데 사용된다.
제어 유닛(200)은 통신 인터페이스(210), 처리 회로(220), 및 메모리(230)를 포함한다. 통신 인터페이스(210)는 비전 센서(110)의 처리 회로(112)로부터 전송 된 이벤트 신호를 수신하여 이벤트 신호를 처리 회로(220)로 출력한다. 또한, 통신 인터페이스(210)는 처리 회로(220)에 의해 생성된 제어 신호를 액추에이터(120)로 전송한다. 처리 회로(220)는, 예를 들어, 메모리(230)에 저장된 프로그램에 따라 동작하고 수신된 이벤트 신호를 처리한다. 예를 들어, 처리 회로(220)는 이벤트 신호에 기반하여 밝기 변화가 발생하는 위치를 시간순으로 매핑하는 이미지를 생성하고, 이미지를 메모리(230) 내에 일시적 또는 연속적으로 저장하거나, 또는 통신 인터페이스(210)를 통해 이미지를 다른 장치로 전송한다. 또한, 처리 회로(220)는 액추에이터(120) 및 셔터(130)를 구동하기 위한 각각의 제어 신호를 생성한다.
도 2는, 본 발명의 제1 실시예에 따른, 센서 모듈의 동작의 제1 예를 나타내는 순서도이다. 도시된 예에서, 최초로, 제어 유닛(200)의 처리 회로(220)에 의해 생성된 제어 신호는 액추에이터(120)로 전송된다(S101). 제어 신호를 수신한 액추에이터(120)가 구동되면(S102), 센서 어레이(111)는 미리 정해진 방향으로 변위되고, 원칙적으로 모든 피사체의 가장자리에 대응하는 센서(111A, 111B,...)에 의해 생성된 이벤트 신호가 비전 센서(110)로부터 제어 유닛(200)으로 전송된다(S103). 처리 회로(220)는 수신된 이벤트 신호로부터 피사체를 감지한다(S104). 전술한 바와 같이, 이 시점에서, 피사체가 실제로 움직이는지 여부에 관계없이 피사체가 감지 될 수 있다. 처리 회로(220)는 제어 신호를 액추에이터(120)로 전송(S101)하는 것으로부터 이벤트 신호 수신(S103)까지의 절차, 및 일련의 절차로서의 이벤트 신호(S104)에 기반하여 환경 정보를 캡처하는 절차를 실행할 수 있다. 예를 들어, 처리 회로(220)는, 한 번에 수신되는 이벤트 신호와는 별도로 환경 정보를 나타내는 이벤트 신호로서, 액추에이터(120)로의 제어 신호의 전송으로부터(S101), 미리 정의된 시간 기간 동안에 수신된 이벤트 신호를 처리할 수 있다.
도 3은, 본 발명의 제1 실시예에 따른, 센서 모듈 동작의 제2 예를 나타내는 순서도이다. 도시된 예에서, 최초로, 셔터(130)가 개방된 상태에서, 제어부(200)의 처리 회로(220)에 의해 생성된 제어 신호는 셔터(130)로 전송된다(S111). 제어 신호를 수신한 셔터(130)를 폐쇄함으로써(S112), 센서 어레이(111)의 전체 시야각이 차폐되며, 모든 센서(111A, 111B,...)에 입사되는 빛의 강도는 최소화되고 일정해진다. 따라서, 빛이 차단되어 밝기가 감소했음을 알리는 이벤트 신호가 비전 센서(110)에서 제어부(200)로 전송된 후(S113), 원칙적으로 이벤트 신호가 수신하지 않아야 한다. 그러나, 센서에 결함이 있는 경우 또는 센서 내에서 이벤트 신호를 생성하기 위해 밝기 변화 임계 값을 잘못 설정하여 밝기 변화로 노이즈가 감지되는 경우, 예를 들어, 셔터(130)가 센서 어레이(111)의 화각을 차폐하는 동안 이벤트 신호가 생성될 수 있다. 따라서, 제어 유닛(200)에서, 처리 회로(220)는 미리 정해진 시간 동안 셔터(130)가 폐쇄되도록 유지되고, 셔터(130)가 센서 어레이(111)의 화각을 차폐하는 동안에, 수신된 이벤트 신호를 모니터한다. 이러한 기간 동안 이벤트 신호가 수신되는 경우(S114), 처리 회로(220)는 수신된 이벤트 신호에 기반하여 비전 센서(110)를 교정한다(S115). 구체적으로, 처리 회로(220)는 이벤트 신호를 생성한 센서를 결함 픽셀(발광 스폿)로 식별하거나, 또는 센서 내에서 이벤트 신호를 생성하기 위해 밝기 변화의 임계 값을 조정한다.
도 4는, 본 발명의 제1 실시예에 따른, 본 발명의 제1 실시예에 따른 센서 모듈의 동작의 제3 예를 나타내는 순서도이다. 도시된 예에서, 최초로, 셔터(130)가 폐쇄된 상태에서. 제어 유닛(200)의 처리 회로(220)에 의해 생성된 제어 신호는 셔터(130)로 전송된다(S121). 제어 신호를 수신한 셔터(130)가 개방되면(S122), 센서 어레이(111)의 전체 화각이 개방되며, 원칙적으로 모든 센서(111A, 111B,...) 내에서 밝기가 증가했음을 나타내는 이벤트 신호는 비전 센서(110)로부터 제어 유닛(200)으로 전송된다(S123). 이어서, 제어 유닛(200)의 처리 회로(220)에 의해 생성된 제어 신호는 다시 셔터(130)로 전송되며(S125), 셔터(130)가 폐쇄되면(S126), 따라서 센서 어레이(111)의 전체 화각이 차폐되고, 모든 센서(111A, 111B,...)에서 밝기가 감소했음을 나타내는 이벤트 신호가 비전 센서(110)로부터 제어 유닛(200)으로 전송된다(S127). 이러한 방식으로, 제어 유닛(200)은 센서 어레이(111)의 화각 차폐 및 개방을 반복하기 위한 제어 신호를 셔터(130)로 전송하고, 한편으로는, 특히 시야각의 개방부터 차폐까지의 기간 동안, 비전 센서(110)에 의해 생성된 이벤트 신호를 수신한다.
여기서, 셔터(130)에 의한 화각의 개방(S122)부터 차폐(S126)까지의 기간 t1이 짧은 경우(구체적으로, 예를 들어, 300msec 이하), 피사체가 거의 이동하지 않으므로 피사체가 이동하고 있음을 나타내는 이벤트 신호가 수신되지 않아야 한다. 예외적으로, 조명이나 디스플레이와 같은 자체 발광 피사체에서 광원의 점멸주기가 t1 기간보다 짧은 경우, 이러한 피사체의 깜박임을 알리는 이벤트 신호가 수신된다(S124). 따라서, 기간을 t1으로 하여, 즉, (전술한 대로 기간 t1을 짧게 유지하면서) 자체 발광 피사체에 포함된 광원의 점멸 주기보다 더 긴 시야각의 차폐 및 개방을 반복하는 주기, 제어 유닛(200)은 수신된 이벤트 신호에 기초하여 자체 발광 피사체를 식별할 수 있다(S128).
전술한 바와 같은 본 발명의 제1 실시예에서, 액추에이터(120)가 센서 어레이(111)를 변위시키기 때문에, 비전 센서(110) 내에서 강제로 이벤트가 발생하고, 예를 들어, 정지된 피사체를 포함한 주변 환경에 대한 정보가 얻어질 수 있다. 또한, 본 실시예에서, 센서 어레이(111)는 센서 어레이(111)의 전체 화각을 차폐하는 셔터(130)로 인해 교정될 수 있다. 또한, 미리 정의된 주기로 셔터(130)의 개폐를 반복하여, 조명이나 디스플레이와 같은 자체 발광 피사체가 감지될 수 있다.
위의 예에서, 센서 모듈(100)은 액추에이터(120)와 셔터(130)를 모두 포함하나, 이들의 기능은 서로 독립적이므로, 액추에이터(120) 또는 셔터(130)는 센서 모듈(100)에 포함될 수 있다는 것에 주의한다. 또한, 위의 예에서는 제어 유닛(200)이 센서 모듈(100)과 별도로 도시되고 설명되었지만, 제어 유닛(200)은 센서 모듈(100) 내에 포함될 수 있다. 이러한 경우, 센서 모듈(100)의 처리 회로(112)와 제어 유닛(200)의 처리 회로(220)는 별도로 구성될 수도 있고 공통일 수도 있다.
(제2 실시예)
도 5는, 본 발명의 제2 실시예에 따른, 센서 모듈을 포함하는 전자 장치의 개략적인 구성을 나타내는 블록도이다. 도 5에 도시된 바와 같이, 전자 장치(20)는 센서 모듈(300), 제어 유닛(200), 및 이동 가능한 지지 기구(400)를 포함한다.
센서 모듈(300)은 제1 실시예와 유사한 이벤트 구동 비전 센서(110) 및 셔터(130)를 포함한다. 센서 모듈(300)은 프레임(410A, 410B, 410C) 및 액추에이터 (420A, 420B)를 포함하는 이동 가능한 지지 기구(400)에 의해 지지된다. 도시된 예에서, 액추에이터(420A, 420B)는 제어 유닛(200)으로부터 전달되는 제어 신호에 따라 구동되는 회전 액추에이터이다. 액추에이터(420A)는 제어 신호에 따라 프레임(410A, 410B) 사이에 미리 정해진 각도의 회전 변위를 일으키며, 액추에이터(420B)는 유사하게 프레임들(410B, 410C) 사이에서 미리 결정된 각도의 회전 변위가 일어나게 한다. 이에 따라, 액추에이터(420A, 420B)는 비전 센서(110)를 포함하는 센서 모듈(300)을 변위시킨다.
또한 본 실시예에서, 예를 들어, 제1 실시예의 액추에이터(120)와 동일한 방식으로 액추에이터(420B)를 사용하여 비전 센서(110) 내에서 이벤트를 강제로 생성함으로써, 예를 들어, 고정된 피사체를 포함한 주변 환경에 대한 정보가 얻어질 수 있다. 이러한 경우, 예를 들어, 액추에이터(420B)는 센서 모듈(300)에 포함되는 것으로 이해될 수 있다. 또한, 본 실시예에서, 아래 설명된 예에서와 같이, 액추에이터(420A, 420B)가 센서 모듈(300)을 변위시킬 경우, 제어 유닛(200)은 비전 센서(110)에 의해 생성된 이벤트 신호를 기반으로 액추에이터(420A, 420B)의 제어 신호에 보정 값을 반영할 수 있다.
도 6은, 본 발명의 제2 실시예에 따른, 센서 모듈 동작의 제1 예를 나타내는 순서도이다. 도시된 예에서, 최초로, 제어 유닛(200)의 처리 회로(220)에 의해 생성된 제어 신호는 액추에이터(420A, 420B) 중 하나 또는 양쪽 모두에 전송된다(S131). 액추에이터(420A, 420B)가 제어 신호에 따라 구동되면(S132), 센서 모듈(300)이 변위되고, 센서(111A, 111B,...)와 피사체 간의 위치 관계가 변경된다. 이 시점에서, 센서(111A, 111B,...)에 의해 생성된 이벤트 신호는 비전 센서(110)에서 제어 유닛(200)으로 전송된다(S133). 제어 유닛(200)에서, 처리 회로(220)는 제어 신호를 액추에이터(420A, 420B)로 전송하는 것에서(S131) 이벤트 신호의 수신(S133)까지 지연 시간 d1을 측정하고, 지연 시간 d1에 기반하여 액추에이터 (420A, 420B)를 보정한다(S134). 구체적으로, 처리 회로(220)는 지연 시간 d1에 따라 제어 신호의 보정 값을 결정하고, 결정된 보정 값은 처리 회로에 의해 후속적으로 생성되는 제어 신호에 반영된다.
전술한 예에서, 예를 들어, 제어 신호가 액추에이터(420A 또는 420B)로 전송되면, 액추에이터(420A) 또는 액추에이터(420B)는 독립적으로 교정될 수 있다. 또한, 제어 신호가 액추에이터(420A, 420B) 모두에 전송되면, 액추에이터(420A, 420B)를 포함하는 복합 시스템이 교정될 수 있다. 예를 들어, 액추에이터(420A, 420B)가 특정 패턴에 따라 변위를 구현할 필요가 있는 경우에서, 제어 유닛(200)이 실행된 비례 적분 미분(PID) 제어의 파라미터를 보정하는 경우, 지연 시간 d1에 따라 결정된 제어 신호의 보정 값이 사용된다.
도 7은, 본 발명의 제2 실시예에 따른, 센서 모듈 동작의 제2 예를 나타내는 순서도이다. 도시된 예에서, 위의 도 6에 도시된 예와 유사하게, 제어 신호가 전송되고(S131), 제어 신호를 수신한 액추에이터(420A, 420B)는 비전 센서(110) 내에서 회전 변위가 발생하게 한다(S132). 여기서, 예를 들어, 액추에이터(420A, 420B)가 마모된 경우, 비전 센서(110)의 회전 변위가 순간적으로 안정되지 않고, 예를 들어, 진동이 발생한다. 이러한 경우, 센서(111A, 111B,...)와 피사체 간의 위치 관계의 변경으로 인해 센서(111A, 111B, ...)에 의해서 생성된 이벤트 신호는 비전 센서(110)에서 제어부(200)로 복수의 타이밍으로 전송된다(S133-1, S133-2). 처리 회로(220)는 제어 신호의 액추에이터(420A, 420B)로의 전송(S131)부터 이벤트 신호의 복수의 타이밍(S133-1, S133-2) 각각으로의 수신까지의 지연 시간 d1 및 d2를 측정한다. 이로 인하여, 결과적으로, 처리 회로(220)는 이벤트 신호 수신 시작(S133-1)부터 수신 종료까지의 경과 시간 d2-d1을 측정한다(S133-2). 처리 회로(220)는 경과 시간 d2-d1에 따라 보정 값을 결정하고, 결정된 보정 값은 그 후 처리 회로에 의해 생성된 제어 신호에 반영된다. 구체적으로, 처리 회로(220)는 액추에이터(420A, 420B)가 경과 시간 d2-d1이 임계 값을 초과하는 경우에 마모됨을 나타내는 플래그를 설정한다. 이러한 경우에, 처리 회로(220)는, 마모가 발생한 액추에이터(420A, 420B)에 대하여, 다른 액추에이터의 동작 토크와 다른 동작 토크 등의 값을 설정할 수 있다.
도 8은, 본 발명의 제2 실시예에서, 이동 예측을 실행하는 경우에서, 제어 유닛의 처리 회로의 구성 예를 나타내는 블록도이다. 도시된 예에서, 제어 유닛(200)의 처리 회로(220)는, 예를 들어, 메모리(230) 내에 저장된 프로그램에 따른 동작에 의해 구현되는 기능으로서, 구동 패턴 생성부(221), 제어 신호 생성부(222), 이벤트 신호 분석부(223), 오차 계산부(224), 및 이동 예측부(225)를 포함한다. 구동 패턴 생성부(221)는 액추에이터(420A, 420B)에 대한 구동 패턴을 생성한다. 여기서, 구동 패턴은, 예를 들어, 메모리(230) 내에 저장된 프로그램에 의해 미리 결정될 수 있거나, 또는 전자 장치(20) 내에 포함된 가속도 센서와 같은 다른 센서의 측정 값에 기초하여 결정된다. 제어 신호 생성부(222)는 구동 패턴 생성부(221)에 의해 생성된 구동 패턴에 따라 액추에이터(420A, 420B)에 대한 제어 신호를 생성한다.
액추에이터(420A, 420B)가 제어 신호 생성부(222)에서 생성된 제어 신호에 따라 구동되면, 이벤트 신호는 비전 센서(110)에서 제어부(200)로 전송된다. 처리 회로(220)에서, 이벤트 신호 분석부(223)는 수신된 이벤트 신호로부터 센서 모듈(300)의 변위의 역 계산을 실행한다. 구체적으로, 예를 들어, 이벤트 신호 분석 부(223)는 이벤트 신호를 분석하여 획득된 피사체의 이동 벡터로부터 비전 센서(110)의 이동 벡터의 역 계산을 실행한다. 이벤트 신호 분석부(223)는 역 계산에 의해 얻어진 센서 모듈(300)의 변위를 포함하는 정보를 오차 계산부(224)에 제공한다. 오차 계산부(224)는, 예를 들어, 도 6을 참조하여 전술한 예에서 특정된 액추에이터(420A, 420B)의 동작 지연 시간 d1을 고려하면서, 역 계산에 의해 얻어진 센서 모듈(300)의 변위와 구동 패턴 생성부(221)에 의해 생성된 구동 패턴 간의 차이로부터, 액추에이터(420A, 420B)의 오차 특성을 계산한다. 예를 들어, 메모리(230) 내에 저장되어야 할 오차 특성은 액추에이터(420A, 420B) 각각의 이동 형태(구체적으로, 각각의 축 방향의 병진 및 회전)에 대해 정규화될 수 있다.
이어서, 구동 패턴 생성부(221)가 액추에이터(420A, 420B)에 대한 새로운 구동 패턴을 생성하는 경우, 제어 신호 생성부(222)는, 제어 신호를 출력하기 전에, 생성된 제어 신호를 움직임 예측부(225)에 입력한다. 이동 예측부(225)는, 오차 계산부(224)에 의해 계산된 액추에이터(420A, 420B)의 오차 특성에 기반하여, 입력 제어 신호에 대한 액추에이터(420A, 420B)의 이동을 예측한다. 제어 신호 생성부(222)는, 이동 예측부(225)에 의해 예측된 이동과 구동 패턴 생성부(221)에 의해 생성된 구동 패턴의 차이가 작아지도록, 제어 신호를 보정한다. 또한, 제어 신호생성부(222)는 보정된 제어 신호를 다시 이동 예측부(225)에 입력하며, 이동 예측부(225)는 오차 특성을 기반으로 수정된 제어 신호에 대하여 액추에이터(420A, 420B)의 이동을 다시 예측하고, 이어서, 제어 신호 생성부(222)는 다시 예측된 이동과 드라이브 패턴의 차이가 작아지도록 제어 신호를 다시 보정할 수 있다.
본 발명의 전술한 바와 같은 제2 실시예에서, 전술한 제1 실시예의 효과에 추가하여, 제어 유닛(200)의 처리 회로(220)는 액추에이터(420A, 420B)의 지연량을 교정할 수 있고, 제어 신호의 액추에이터(420A, 420B)로의 전송에서 이벤트 신호 수신까지의 지연 시간 d1 및 d2을 측정하여 액추에이터(420A, 420B)의 내부 부품 마모로 인한 진동을 감지할 수 있다. 또한, 본 실시예에서, 처리 회로(220)는 액추에이터(420A, 420B)의 이동에서 발생하는 오차를 고려하여 제어 신호를 수정하기 위해 오차 계산부(224) 및 이동 예측부(225)의 기능을 구현하고, 의도된 구동 패턴에 대해 액추에이터(420A, 420B)를 보다 정확하게 동작시킬 수 있다.
전술한 예에서, 액추에이터(420A, 420B)의 지연량 교정, 진동 감지, 및 제어 신호 보정이 동일한 실시예에서 설명되었으나, 이러한 동작이 서로 독립적으로 수행될 수 있으므로, 이들 중 일부가 구현될 수 있고 나머지는 전자 장치(20) 또는 센서 모듈(300)에서 구현되지 않을 수 있다는 것에 주의한다. 또한, 전술한 예에서, 비전 센서(110)는 제1 실시예와 유사하게 이벤트를 강제로 생성할 수 있는 것으로 설명되었으나, 이러한 기능이 반드시 필요한 것은 아니다. 셔터(130)도 반드시 필요한 것은 아니기 때문에, 비전 센서(110)는 본 실시예에서 셔터(130)를 포함 할 필요가 없다.
이상 본 발명의 일부 실시예가 첨부된 도면을 참조하여 상세하게 설명되었지만, 본 발명은 이러한 예에 제한되지 않는다. 본 발명이 속하는 기술 분야의 통상의 지식을 가진자는 특허 청구 범위에 기재된 기술적 사상의 범위 내에서 다양한 변형 예 또는 변경의 예를 제시할 수 있음이 자명하며, 이들은 또한 본 발명의 기술적 범위에 속한다는 것이 당연히 이해된다.
10, 20 전자 장치
100, 300 센서 모듈
110 비전 센서
111 센서 어레이
111A, 111B 센서
112 처리 회로
120 액추에이터
130 셔터
200 제어 유닛
210 통신 인터페이스
220 처리 회로
221 구동 패턴 생성부
222 제어 신호 생성부
223 이벤트 신호 분석부
224 오차 계산부
225 이동 예측부
230 메모리
300 센서 모듈
400 이동 가능한 지지 기구
410A, 410B, 410C 프레임
420A, 420B 액추에이터

Claims (8)

  1. 전자 장치로서, 상기 전자 장치는:
    센서-여기서 센서는 입사광의 강도의 변화를 감지할 경우, 이벤트 신호를 생성함-를 구비한 센서 어레이를 포함하는 이벤트 구동 비전 센서;
    상기 비전 센서를 포함하는 모듈을 변위시키는 액추에이터; 및
    제어 신호를 상기 액추에이터에 전송하고, 상기 액추에이터가 상기 제어 신호 내에서 상기 모듈을 변위시킬 때 생성된 상기 이벤트 신호에 기반하여 보정 값을 반영하는 제어 유닛
    을 포함하는 것을 특징으로 하는 전자 장치.
  2. 제1항에 있어서, 상기 제어 유닛은 상기 제어 신호의 전송에서 상기 이벤트 신호의 수신까지의 지연 시간 기간을 측정하고,
    상기 보정 값은 상기 지연 시간 기간에 따라 결정되는 것을 특징으로 하는 전자 장치.
  3. 제1항 또는 제2항에 있어서, 상기 제어 유닛은 상기 이벤트 신호의 수신의 시작에서 상기 수신의 종료까지의 경과된 시간 기간을 측정하고,
    상기 보정 값은 상기 경과된 시간 기간에 따라 결정되는 것을 특징으로 하는 전자 장치.
  4. 제3항에 있어서, 상기 보정 값은 상기 액추에이터가 마모된 것을 나타내는 플래그를 포함하고,
    상기 경과된 시간 기간이 임계 값을 초과할 경우, 상기 제어 유닛은 상기 플래그를 설정하는 것을 특징으로 하는 전자 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제어 유닛은:
    상기 액추에이터에 대한 구동 패턴을 생성하는 구동 패턴 결정부,
    상기 이벤트 신호로부터 상기 모듈의 변위의 역 계산을 실행하는 이벤트 신호 분석부,
    역 계산으로 얻어진 상기 모듈의 변위와 상기 구동 패턴 간의 차이로부터 상기 액추에이터의 오차 특성을 계산하는 오차 계산부,
    상기 오차 특성에 기반하여, 상기 액추에이터의 상기 제어 신호에 대한 이동을 예측하는 이동 예측부, 및
    상기 예측된 이동과 상기 구동 패턴 간의 차이가 작아지도록, 상기 제어 신호를 보정하는 제어 신호 생성부
    를 포함하는 것을 특징으로 하는 전자 장치.
  6. 제5항에 있어서, 상기 이동 예측부는 상기 오차 특성에 기반하여 상기 보정된 제어 신호에 대한 상기 액추에이터의 상기 이동을 다시 예측하며, 상기 제어 신호 생성부는, 상기 다시 예측된 이동과 상기 구동 패턴 간의 차이가 작아지도록, 상기 제어 신호를 다시 보정하는 것을 특징으로 하는 전자 장치.
  7. 센서-여기서 센서는 입사광의 강도의 변화를 감지할 경우, 이벤트 신호를 생성함-를 구비한 센서 어레이를 포함하는 이벤트 구동 비젼 센서를 사용하는 액추에이터 제어 방법으로서, 상기 방법은:
    상기 비전 센서를 포함하는 모듈을 변위시키기 위해 상기 액추에이터를 구동하는 단계; 및
    상기 액추에이터가 상기 액추에이터의 제어 신호 내에서 상기 모듈을 변위시킬 때 생성된 상기 이벤트 신호를 반영하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  8. 프로그램으로서, 상기 프로그램은, 센서-여기서 센서는 입사광의 강도의 변화를 감지할 경우, 이벤트 신호를 생성함-를 구비한 센서 어레이를 포함하는 이벤트 구동 비전 센서에 연결된 처리 회로가:
    상기 비전 센서를 포함하는 모듈을 변위시키기 위해 액추에이터를 구동하는 단계; 및
    상기 액추에이터가 상기 액추에이터의 제어 신호 내에서 상기 모듈을 변위시킬 때 생성된 상기 이벤트 신호를 반영하는 단계
    를 실행하게 하는, 프로그램.
KR1020217009992A 2018-10-04 2019-09-27 전자 장치, 액추에이터 제어 방법, 및 프로그램 KR102496300B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018188936A JP7023209B2 (ja) 2018-10-04 2018-10-04 電子機器、アクチュエータの制御方法およびプログラム
JPJP-P-2018-188936 2018-10-04
PCT/JP2019/038116 WO2020071268A1 (ja) 2018-10-04 2019-09-27 電子機器、アクチュエータの制御方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20210069646A true KR20210069646A (ko) 2021-06-11
KR102496300B1 KR102496300B1 (ko) 2023-02-06

Family

ID=70054487

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217009992A KR102496300B1 (ko) 2018-10-04 2019-09-27 전자 장치, 액추에이터 제어 방법, 및 프로그램

Country Status (6)

Country Link
US (1) US11336850B2 (ko)
EP (1) EP3863279A4 (ko)
JP (1) JP7023209B2 (ko)
KR (1) KR102496300B1 (ko)
CN (1) CN112771846A (ko)
WO (1) WO2020071268A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101978938B1 (ko) * 2018-07-25 2019-05-16 한국에너지기술연구원 실리콘 카바이드 제조방법 및 이를 이용하여 제조된 실리콘 카바이드
JP7318150B2 (ja) * 2020-09-25 2023-07-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
JP7317783B2 (ja) * 2020-09-25 2023-07-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
WO2023145019A1 (ja) * 2022-01-28 2023-08-03 株式会社ソニー・インタラクティブエンタテインメント 電子機器、情報処理方法およびプログラム
WO2024080226A1 (ja) * 2022-10-14 2024-04-18 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07226873A (ja) * 1994-02-16 1995-08-22 Hitachi Ltd 自動追尾撮像装置
JP2002131797A (ja) * 2000-10-20 2002-05-09 Canon Inc 撮像装置及び振動抑制方法
KR20140129893A (ko) * 2013-04-30 2014-11-07 삼성전자주식회사 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
KR101685423B1 (ko) * 2012-03-12 2016-12-12 한화테크윈 주식회사 광역 감시 시스템 및 이동 물체 촬영 방법
KR20170061438A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 객체를 추적하여 영상을 수신하는 방법 및 장치
JP2018501675A (ja) * 2014-09-30 2018-01-18 クアルコム，インコーポレイテッド センサ素子アレイにおける特徴計算
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3014895B2 (ja) 1993-06-02 2000-02-28 株式会社日立製作所 ビデオカメラ
JP4115574B2 (ja) 1998-02-02 2008-07-09 オリンパス株式会社 撮像装置
JP4487640B2 (ja) 2004-06-01 2010-06-23 ソニー株式会社 撮像装置
US8237824B1 (en) 2007-03-28 2012-08-07 Ambarella, Inc. Fixed pattern noise and bad pixel calibration
JP2009139724A (ja) 2007-12-07 2009-06-25 Sony Corp 撮像装置
JP2009210784A (ja) 2008-03-04 2009-09-17 Sony Corp 撮像装置
JP5699561B2 (ja) 2010-01-27 2015-04-15 ソニー株式会社 撮像装置
JP5038448B2 (ja) 2010-02-22 2012-10-03 オリンパス株式会社 カメラ
EP2574511B1 (en) 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
JP2013183282A (ja) 2012-03-01 2013-09-12 Sony Corp 欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
US9924116B2 (en) 2014-08-05 2018-03-20 Seek Thermal, Inc. Time based offset correction for imaging systems and adaptive calibration control
US9883122B2 (en) 2014-09-16 2018-01-30 Qualcomm Incorporated Event-based down sampling
DE112015005599T5 (de) 2015-01-20 2017-09-28 Olympus Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
KR102402678B1 (ko) 2015-03-18 2022-05-26 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
KR102373088B1 (ko) 2016-03-03 2022-03-11 소니 어드밴스드 비주얼 센싱 아게 이벤트 기반의 비전 센서
US10306148B2 (en) 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
CN106597463B (zh) * 2016-12-29 2019-03-29 天津师范大学 基于动态视觉传感器芯片的光电式接近传感器及探测方法
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10237481B2 (en) 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
US10466779B1 (en) 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
US11244464B2 (en) 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
KR20190133465A (ko) 2018-05-23 2019-12-03 삼성전자주식회사 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07226873A (ja) * 1994-02-16 1995-08-22 Hitachi Ltd 自動追尾撮像装置
JP2002131797A (ja) * 2000-10-20 2002-05-09 Canon Inc 撮像装置及び振動抑制方法
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
KR101685423B1 (ko) * 2012-03-12 2016-12-12 한화테크윈 주식회사 광역 감시 시스템 및 이동 물체 촬영 방법
KR20140129893A (ko) * 2013-04-30 2014-11-07 삼성전자주식회사 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법
JP2018501675A (ja) * 2014-09-30 2018-01-18 クアルコム，インコーポレイテッド センサ素子アレイにおける特徴計算
KR20170061438A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 객체를 추적하여 영상을 수신하는 방법 및 장치
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Also Published As

Publication number Publication date
KR102496300B1 (ko) 2023-02-06
US20210274116A1 (en) 2021-09-02
EP3863279A1 (en) 2021-08-11
CN112771846A (zh) 2021-05-07
WO2020071268A1 (ja) 2020-04-09
US11336850B2 (en) 2022-05-17
JP7023209B2 (ja) 2022-02-21
JP2020057990A (ja) 2020-04-09
EP3863279A4 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
KR102496300B1 (ko) 전자 장치, 액추에이터 제어 방법, 및 프로그램
CN112771841B (zh) 传感器模块、电子设备、视觉传感器校准方法、对象检测方法和程序
US12010448B2 (en) Sensor module, electronic device, subject detection method, and program
US10447930B2 (en) Monitoring camera and swing correction method
US20180262656A1 (en) Measurement device, processing device, and article manufacturing method
US12033354B2 (en) Sensor calibration system, display control apparatus, program, and sensor calibration method
US9426366B2 (en) Digital photographing apparatus and method of controlling the same
US20160295186A1 (en) Wearable projecting device and focusing method, projection method thereof
US10785402B2 (en) Imaging device and focusing control method of imaging device
EP1939681B1 (en) Optical apparatus and image-pickup system
US11889191B2 (en) Blur correction device, imaging apparatus, monitoring system, and program
US11800071B2 (en) Control device, projection apparatus, control method, and control program
US20210400252A1 (en) Imaging method, imaging system, manufacturing system, and method for manufacturing a product
JP5241019B2 (ja) 防振用シフトレンズを備えたレンズ装置
JPH1164909A (ja) 振れ補正機能付きカメラ
US20210368089A1 (en) Apparatus and method thereof, and storage medium
US20220272256A1 (en) Information processing device, visual line detection system, visual line detection method, and visual line detection program
KR20210083297A (ko) 전자 기기, 보정 방법 및 프로그램
US20240236488A1 (en) Imaging device and imaging method
EP3994494B1 (en) Time-of-flight sensor and system
JP2018173599A (ja) レンズ装置、撮像システム、およびレンズ装置の制御方法、制御プログラム
JP2023047943A (ja) 撮像装置、撮像方法及びプログラム
JP2023047714A (ja) 撮像装置、撮像方法及びプログラム
JP2018014544A (ja) 車両番号監視用撮像装置
JPH11231370A (ja) ブレ補正カメラ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant