KR102513670B1 - 센서 보정 시스템, 디스플레이 제어 장치, 프로그램, 및 센서 보정 방법 - Google Patents

센서 보정 시스템, 디스플레이 제어 장치, 프로그램, 및 센서 보정 방법 Download PDF

Info

Publication number
KR102513670B1
KR102513670B1 KR1020217011477A KR20217011477A KR102513670B1 KR 102513670 B1 KR102513670 B1 KR 102513670B1 KR 1020217011477 A KR1020217011477 A KR 1020217011477A KR 20217011477 A KR20217011477 A KR 20217011477A KR 102513670 B1 KR102513670 B1 KR 102513670B1
Authority
KR
South Korea
Prior art keywords
luminance
correction pattern
sensor
area
display unit
Prior art date
Application number
KR1020217011477A
Other languages
English (en)
Other versions
KR20210093233A (ko
Inventor
히로마사 나가누마
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20210093233A publication Critical patent/KR20210093233A/ko
Application granted granted Critical
Publication of KR102513670B1 publication Critical patent/KR102513670B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G01M11/0264—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested by using targets or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G09G2360/142—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element the light being detected by light detection means within each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

입사광 강도의 변화의 감지시 이벤트 신호를 생성하는 센서로 구성된 센서 어레이를 포함하는 이벤트 구동 비전 센서를 포함하는 센서 장치, 및 센서의 보정 패턴에 따라 평면 영역의 휘도를 미리 정해진 공간 해상도로 순간적으로 변화시키도록 구성된 디스플레이부를 포함하는 디스플레이 장치를 포함하는 센서 보정 시스템이 제공된다.

Description

센서 보정 시스템, 디스플레이 제어 장치, 프로그램, 및 센서 보정 방법
본 발명은 센서 보정 시스템, 디스플레이 제어 장치, 프로그램 및 센서 보정 방법에 관한 것이다.
입사광 강도의 변화를 감지하는 픽셀이 시간 비동기 방식으로 신호를 생성하도록 하는 이벤트 구동 비전 센서가 알려져 있다. 이벤트 구동 비전 센서는, 저전력에서 고속으로 실행될 수 있기 때문에, 특히 전하 결합 장치(CCD, Charge-Coupled Device) 또는 상보성 금속산화물 반도체(CMOS, Complementary Metal-Oxide Semiconductor) 이미지 센서의 경우와 같이, 미리 정해진 간격으로 모든 픽셀을 스캔하는 프레임형 비전 센서보다 유리하다. 이벤트 구동 비전 센서와 관련된 기술은 예를 들어 특허 문헌 1과 2에 설명되어 있다.
JP 2014-535098T JP 2018-85725A
그러나, 위에서 언급한 이벤트 구동 비전 센서의 장점은 잘 알려져 있으나, 예를 들어, 프레임형 비전 센서와는 다른 특성을 고려한 주변 기술은 아직 충분히 제안되지 않았다.
위의 관점에서, 본 발명은 이벤트 구동 비전 센서를 효율적으로 보정하기 위한 센서 보정 시스템, 디스플레이 제어 장치, 프로그램, 및 센서 보정 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 측면에 따르면, 입사광 강도 변화 감지시 이벤트 신호를 생성하는 센서로 구성된 센서 어레이를 포함하는 이벤트 구동 비전 센서를 포함하는 센서 장치, 및 센서의 보정 패턴에 따라 평면 영역의 휘도를 미리 결정된 공간 해상도로 순간적으로 변화시키도록 구성된 디스플레이부를 포함하는 디스플레이 장치를 포함하는 센서 보정 시스템이 제공된다.
본 발명의 또 다른 측면에 따르면, 센서의 보정 패턴에 대응하는 이미지 신호에 따라 평면 영역의 휘도를 미리 결정된 공간 해상도로 순간적으로 변화시키도록 구성된 디스플레이부에 이미지 신호를 출력하도록 구성된 디스플레이 제어부를 포함하는 디스플레이 제어 장치가 제공된다.
본 발명의 추가적인 측면에 따르면, 디스플레이부에 연결된 처리 회로가 입사광 강도의 변화를 감지시 이벤트 신호를 생성하는 센서의 보정 패턴에 대응하는 이미지 신호에 따라, 미리 결정된 공간 해상도로 평면 영역의 휘도를 순간적으로 변화시키도록 구성된 이미지 신호를 디스플레이부에 출력하는 프로세스를 실행하도록 하는 프로그램이 제공된다.
본 발명의 추가적인 측면에 따르면, 보정 패턴에 따라 센서 어레이의 화각(angle of view)에 대응하는 공간 내 평면 영역의 휘도를 순간적으로 변화시키는 단계, 센서 어레이를 구성하는 센서가 입사광 강도의 변화를 감지시 이벤트 신호를 생성하게 하는 단계를 포함하는 센서 보정 방법이 제공된다.
위에서 설명한 구성에 따라, 이벤트 구동 비전 센서를 효율적으로 보정하기 위해 디스플레이부에 보정 패턴을 디스플레이한 결과 발생하는 휘도 변화가 감지된다.
도 1은, 본 발명의 제1 실시예로서 구현된, 센서 보정 시스템의 개략적 인 구성을 도시하는 블록도이다.
도 2는 보정 패턴의 제1 예를 도시한 도면이다.
도 3은 보정 패턴의 제2 예를 도시한 도면이다.
도 4는 보정 패턴의 제3 예를 도시한 도면이다.
도 5는 보정 패턴의 제4 예를 도시한 도면이다.
본 발명의 일부 바람직한 실시예는 첨부된 도면을 참조하여 아래에서 상세하게 설명된다. 이어지는 설명과 도면을 통해, 실질적으로 동일한 기능 및 구성을 갖는 구성 요소는 동일한 참조 부호로 표시되며 중복 설명은 반복되지 않는다.
도 1은 본 발명의 제1 실시예로서 구현된 센서 보정 시스템의 개략적인 구성을 도시하는 블록도이다. 도 1에 도시된 바와 같이, 보정 시스템(10)은 센서 장치(100) 및 디스플레이 장치(200)를 포함한다. 센서 장치(100)는 이벤트 구동 비전 센서(110) 및 제어부(120)를 포함한다. 디스플레이 장치(200)는 디스플레이부(210) 및 디스플레이 제어부(220)를 포함한다.
센서 장치(100)에서, 비전 센서(110)는 서로 연결된 센서 어레이(111) 및 처리 회로(112)를 포함하고, 센서 어레이(111)는, 이미지 픽셀에 대응하는, 센서(111A, 111B, 등)로 구성된다. 센서(111A, 111B 등)는 입사광 강도의 변화를 감지할 때, 특히 휘도의 변화를 감지할 때, 이벤트 신호를 생성하는 수광 소자를 포함한다. 이벤트 신호는, 예를 들어, 타임 스탬프, 센서 식별 정보(예: 픽셀 위치), 및 휘도 변화 극성(증가 또는 감소)을 나타내는 정보로서 처리 회로(112)로부터 출력된다. 센서 어레이(111)의 화각 내에서 이동하는 피사체는 반사되거나 산란되는 빛의 강도를 변화시킨다. 이를 통해, 예를 들어, 피사체의 가장자리에 대응하는 센서(111A, 111B 등)에서 생성된 이벤트 신호를 사용하여 시간순으로 피사체의 움직임이 감지될 수 있다.
제어부(120)는 통신 인터페이스(121), 처리 회로(122), 및 메모리(123)를 포함한다. 통신 인터페이스(121)는 비전 센서(110)의 처리 회로(112)로부터 전송된 이벤트 신호를 수신하고 수신된 이벤트 신호를 처리 회로(122)로 출력한다. 또한, 통신 인터페이스(121)는 유선 또는 무선 통신망을 통해 디스플레이 장치(200)와 통신할 수 있다. 처리 회로(122)는 일반적으로 메모리(123)에 저장된 프로그램을 유지하면서 동작함으로써 수신된 이벤트 신호를 처리한다. 예를 들어, 이벤트 신호를 기반으로, 처리 회로(122)는 휘도 변화가 발생한 위치를 매핑하는 이미지를 시간순으로 생성하고, 생성된 이미지를 메모리(123)에 일시적 또는 영구적으로 저장하며, 통신 인터페이스(121)를 통해 이미지를 다른 장치로 전송한다. 이후에 설명하겠지만, 제어부(120)는 보정 패턴을 기반으로 이벤트 신호를 분석할 수 있다.
디스플레이 장치(200)에서, 디스플레이부(210)는, 액정 디스플레이(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light-Emitting Diode) 디스플레이, 또는 프로젝터와 같은, 미리 결정된 공간 해상도로 평면 영역의 휘도를 순간적으로 변화시키도록 구성된 장치이다. 이어지는 설명에서, "미리 결정된 공간 해상도로 휘도 변화"라는 표현은 공간에서 주어진 영역(예: 평면 영역)을 미리 결정된 수의 영역으로 분할하며, 각각의 분할된 영역의 휘도가 변화하는 것을 의미한다. 또한, "순간적인 휘도 변화"라는 단어는 전자 스위칭을 통해 단시간에 휘도 변화를 일으키는 것을 의미한다. 여기에서 디스플레이부(210)의 예로 인용된 LCD 또는 OLED 디스플레이는 백라이트 또는 자연광 방출기와 같은 전자 발광기를 포함한다. 이러한 경우에, 방출된 빛의 휘도가 순간적으로 변화할 수 있다. 다른 예에서, 프로젝터가 디스플레이부(210)로 사용될 수 있다. 디스플레이부(210)는 보정을 수행할 때 센서 어레이(111)의 화각 내에서 평면 영역의 휘도를 변화시키는 방식으로 배열된다. 디스플레이부(210)에 의해 휘도가 변화하는 평면 영역은, 예를 들어, 디스플레이면에 대응한다. 프로젝터의 경우, 휘도가 변화하는 평면 영역이 투영면이다. 이러한 경우, 디스플레이부(210)를 구성하는 프로젝터의 본체는 센서 어레이(111)의 화각 밖에 위치할 수 있다. 후술하는 바와 같이, 디스플레이부(210)는 보정 패턴에 따라 평면 영역의 휘도를 변화시키도록 구성된다.
디스플레이 제어부(220)는 통신 인터페이스(221), 처리 회로(222), 및 메모리(223)를 포함한다. 통신 인터페이스(221)는 처리 회로(222)에 의해 생성된 이미지 신호를 디스플레이부(210)에 출력하도록 구성된다. 통신 인터페이스(221)는 유선 또는 무선 통신망을 통해 센서 장치(100)와 통신할 수 있다. 처리 회로(222)는 일반적으로 메모리(223) 내에 저장된 프로그램과 함께 동작하도록 구성되며, 이에 따라 디스플레이부(210)에 디스플레이된 보정 패턴에 대응하는 이미지 신호가 생성된다. 보정 패턴에 대응하는 이미지 신호는 통신 인터페이스(221)를 통해 디스플레이부(210)에 출력된다. 예를 들어, 처리 회로(222)는 메모리(223)로부터 보정 패턴을 나타내는 데이터를 판독하거나 통신 인터페이스(221)를 통해 다른 장치로부터 그러한 데이터를 수신한다.
전술한 바와 같이, 저전력에서 고속으로 작동힐 수 있는 능력으로, 이벤트 구동형 비전 센서(110)는 프레임형 비전 센서보다 유리하다. 그 이유는 센서 어레이(111)를 구성하는 센서(111A, 111B, 등) 중에서 휘도 변화를 감지한 센서만이 이벤트 신호를 발생시키기 때문이다. 휘도 변화를 감지하지 않는 센서는 이벤트 신호를 생성하지 않기 때문에, 처리 회로(112)는 휘도 변화를 감지한 센서의 이벤트 신호만을 고속으로 처리하고 전송할 수 있다. 휘도 변화가 없는 경우에는 처리도 신호 전송도 발생하지 않기 때문에 센서가 저전력으로 동작할 수 있다. 반면에, 피사체가 센서 어레이(111)의 화각 내에 있더라도, 피사체가 움직이지 않는 한 휘도 변화가 일어나지 않는다. 이는, 예를 들어, 고정된 보정 패턴이 피사체로 사용될 때 비전 센서(110)를 보정하기 어렵게 한다.
위의 관점에서, 보정 시스템(10)은 디스플레이부(210)가 보정 패턴을 표시하게 함으로써 비전 센서(110)를 보정한다. 특히, 디스플레이부(210)에 표시된 보정 패턴을 나타내는 데이터는 디스플레이 장치(200)에서 센서 장치(100)로 전송되거나, 또는 특정한 보정 패턴을 나타내는 데이터를 표시하라는 명령이 센서 장치(100)로부터 디스플레이 장치(200)로 전송된다. 이는 센서 장치(100)의 처리 회로(122)가 보정 패턴에 기초하여 이벤트 신호를 분석할 수 있게 한다. 센서 어레이(111)를 구성하는 센서(111A, 111B, 등)는, 디스플레이부(210) 상의 평면 영역 내의 휘도 변화에 따른 입사광 강도의 변화를 감지하여, 이벤트 신호를 생성한다. 이를 통해 보정 패턴을 기반으로 이벤트 신호를 분석하여 비전 센서(110)를 보정할 수 있다. 예를 들어, 디스플레이부(210)는 비전 센서(110)에 대한 다양한 형태의 보정을 수행하기 위해 후술할 보정 패턴을 디스플레이할 수 있게 된다. 부수적으로, 보정 패턴에 기초한 이벤트 신호의 분석은 전술한 바와 같이 센서 장치(100)에 의해, 디스플레이 장치(200)에 의해, 또는 보정 패턴 및 이벤트 신호를 나타내는 데이터가 전송되는 다른 장치에 의해 수행될 수 있다.
도 2는 본 실시예에 대한 보정 패턴의 제1 예를 도시한 도면이다. 이러한 도시된 예에서, 디스플레이부(210)는 보정 패턴(211A) 및 보정 패턴(211B)을 스위칭 방식으로 표시한다. 즉, 디스플레이부(210)는 프로젝터의 투영면에 대응하는 디스플레이 표면 또는 평면 영역의 휘도를, 최초로 보정 패턴(211A)에 따라, 이어서, 보정 패턴(211B)에 따라 변화시킨다. 결과적으로, 평면 영역에서, 보정 패턴(211A)에 따른 휘도의 공간적 분포가 최초로 나타나고, 이어서 보정 패턴(211B)에 따른 휘도의 공간적 분포가 나타난다. 보정 패턴(211A, 211B) 각각은 격자형 패턴으로 배열된 고휘도 영역(212) 및 저휘도 영역(213)을 포함한다. 보정 패턴(211B)의 고휘도 영역(212) 및 저휘도 영역(213)은 보정 패턴(211A)의 대응 부분의 반전 (inverse)이다. 추가적으로, 다른 예에서, 고휘도 영역(212) 및 저휘도 영역(213)은 격자형 패턴에 제한되지 않고 임의의 원하는 공간 패턴으로 배열될 수 있다.
전술한 보정 시스템(10)의 디스플레이부(210) 상에 표시된 이미지가 보정 패턴(211A)에서 보정 패턴(211B)으로 스위칭될 때, 보정 패턴(211B) 내의 고휘도 영역(212)에 대응하는 이들 센서(111A, 111B 등)는 휘도 증가를 나타내는 이벤트 신호를 생성한다. 이와 같이, 저휘도 영역(213)에 대응하는 센서는 휘도 감소를 나타내는 이벤트 신호를 생성한다. 각각의 이벤트 신호를 생성하는 센서의 위치 관계를 보정 패턴(211A, 211B)과 비교하는 것은, 예를 들어, 비전 센서(110)의 광학 시스템(도 1에 도시되지 않음)으로 인한 이미지 왜곡을 감지할 수 있게 하여, 이에 따라, 일반 카메라와 유사한 방식으로 정의된 내부 및 외부 파라미터와 왜곡 요인이 수정된다.
도 3은 본 실시예에 대한 보정 패턴의 제2 예를 도시한 도면이다. 이러한 도시된 예에서, 디스플레이부(210)는 보정 패턴(211C)으로부터 보정 패턴(211D)으로, 보정 패턴(211E)으로, 보정 패턴(211F)으로 디스플레이를 성공적으로 스위칭한다. 즉, 디스플레이부(210)는 보정 패턴(211C 내지 211F)에 따라 디스플레이 표면 또는 투영의 투영면에 대응하는 평면 영역의 휘도를 연속적으로 변화시킨다. 결과적으로, 평면 영역에서, 보정 패턴(211C 내지 211F)에 따른 휘도의 공간적 분포가 연속적으로 나타나며, 하나의 패턴에서 다른 패턴으로 순간적으로 스위칭된다. 보정 패턴(211C, 211D, 211E, 211F)은 휘도가 균일하고 디스플레이부(210)의 전체 영역에 걸쳐 서로 다른 휘도 값을 갖는다. 보정 패턴(211C)은 가장 낮은 휘도 값을 가지며, 그리고 보정 패턴의 휘도 값이 오름차순인 보정 패턴(211D, 211E, 211F)으로 이어지고, 보정 패턴(211F)은 가장 높은 휘도 값을 갖는다. 부수적으로, 도시된 예에서는 4개의 휘도 값이 서로 스위칭되지만, 더 많은 휘도 값이 사용될 수 있으며 서로간에 연속적으로 스위칭될 수 있다. 도시된 예에서는, 표시될 때 보정 패턴이 단조롭게 증가하는 방식으로 서로 스위칭되는 반면, 보정 패턴은 선택적으로 표시되고 단조롭게 감소하는 방식으로 서로 스위칭될 수 있다.
위의 보정 시스템(10)에서, 디스플레이부(210)가 보정 패턴(C)으로부터 보정 패턴(F)로 연속적으로 이미지를 스위칭할 때, 피사체에 대한 디스플레이부(210)를 취하는 센서(111A, 111B 등)는 스위칭 동안 일부 지점에서 이벤트 신호를 생성한다. 예를 들어, 보정 패턴(211D)으로부터 보정 패턴(211E)으로 스위칭시 이벤트 신호가 발생하는 경우, 센서가 휘도의 변화를 감지하는 임계 값(th)은 보정 패턴(211D)의 휘도 값과 보정 패턴(211E)의 휘도 값 사이이다. 따라서, 식별된 임계 값이 비전 센서(110)의 생산 시점에서의 설계 범위에 속하지 않는 경우, 예를 들어, 센서(111A, 111B, 등)는 조정되거나 교체될 수 있다.
도 4는 본 실시예에 대한 보정 패턴의 제3 예를 도시한 도면이다. 도시된 예에서, 도 2를 참조하여 위에서 설명한 예에서와 같이, 디스플레이부(210)는 보정 패턴(211C) 및 보정 패턴(211F)을 스위칭 방식으로 표시한다. 여기서, 보정 패턴(211C)은 균일한 저휘도 영역과 균일한 고휘도 영역을 갖는 보정 패턴(211F)으로 구성된다.
위의 보정 시스템(10)에서, 디스플레이부(210)가 보정 패턴(211C)에서 보정 패턴(211F)으로 이미지를 스위칭할 때, 이론적으로 피사체에 대한 디스플레이부(210)를 취하는 모든 센서(111A, 111B 등)는 휘도의 증가를 나타내는 이벤트 신호를 생성한다. 따라서, 균일한 신호를 생성하지 못했거나 휘도 감소를 나타내는 이벤트 신호를 생성한 센서는 결함이 있는 픽셀(발광점)로 식별된다. 이와 같이, 디스플레이부(210)가 보정 패턴(211F)에서 보정 패턴(211C)으로 이미지를 전환할 때, 이론적으로 피사체에 대한 디스플레이부(210)를 취하는 모든 센서는 휘도 감소를 나타내는 이벤트 신호를 생성한다. 이 시점에서, 이벤트 신호를 생성하지 못했거나 휘도 증가를 나타내는 이벤트 신호를 생성한 센서도 결함이 있는 픽셀(발광 점)로 식별된다.
도 5는 본 실시예에 대한 보정 패턴의 제4 예를 도시하는 도면이다. 이러한 도시된 예에서, 도 2를 참조하여 위에서 설명한 예에서와 같이, 디스플레이부(210)는 보정 패턴(211G) 및 보정 패턴(211H)을 스위칭 방식으로 표시한다. 보정 패턴(211G)은 평면 영역의 제1 부분, 특히 휘도 반전 영역으로서 고휘도 영역(212A)이 있는 영역의 좌측 상단 부분을 제외하고 저휘도 영역(213)으로 전체적으로 구성된다. 한편으로, 보정 패턴(211G)은 또한 평면 영역의 제1 부분과 다른 제2 부분, 특히 휘도 반전 영역으로서 고휘도 영역(212B)이 있는 영역의 우측 하단 부분을 제외하고 저휘도 영역(213)으로 전체적으로 구성된다. 다른 예에서, 휘도 반전 영역은 위치가 좌측 상단 모서리 또는 우측 하단 모서리로 제한되지 않으며, 영역은 어디에나 있을 수 있다. 도시된 예의 반대인 추가적인 예에서, 보정 패턴은, 휘도 반전 영역으로서 저휘도 영역(213)으로 이루어진 영역의 일부를 제외하고, 고휘도 영역(212)으로 완전히 구성될 수 있다.
전술한 보정 시스템(10)에서, 디스플레이부(210)가 보정 패턴(211G)에서 보정 패턴(211H)으로 이미지를 전환할 때, 평면 영역의 제1 부분에서 휘도 변화를 감지하는 센서 어레이(111)의 센서는 고휘도 영역(212A)이 저휘도 영역(213)으로 대체된 결과 휘도 감소가 발생했음을 나타내는 이벤트 신호를 생성한다. 한편으로, 평면 영역의 제2 부분에서 휘도 변화를 감지하는 센서 어레이(111)의 센서는 저휘도 영역(213)이 고휘도 영역(212B)으로 대체된 결과 휘도 증가가 발생했음을 나타내는 이벤트 신호를 생성한다. 노이즈 효과가 있거나 픽셀 결함이 있는 경우를 제외하고, 제1 부분 또는 제2 부분 이외의 영역에서 휘도 변화를 감지하는 센서는 이벤트 신호를 생성하지 않는다. 센서 어레이(111)의 화각의 일부에서만 휘도 변화의 결과로 일부 센서만이 이벤트 신호를 생성했던 경우에, 위에서 언급한 각각의 센서에 의해 생성된 이벤트 신호의 타임 스탬프를 비교하면 각각의 센서에 대한 타임 스탬프의 오프셋 양을 비교할 수 있다.
본 발명의 일부 바람직한 실시예가 첨부된 도면을 참조하여 상세하게 설명되었지만, 이들 실시예는 본 발명을 제한하지 않는다. 당업자는 첨부된 청구 범위에 기술된 기술 사상의 범위 내에서 실시예의 변형 또는 대안을 용이하게 구상할 수 있음이 자명하다. 그러한 변형, 대안, 및 기타 파급 효과도 본 발명의 기술적 범위 내에 속한다는 것을 이해해야 한다.
10 보정 시스템
100 센서 장치
110 비전 센서
111 센서 어레이
111A, 111B 센서
112 처리 회로
120 제어부
121 통신 인터페이스
122 처리 회로
123 메모리
200 디스플레이 장치
210 디스플레이부
220 디스플레이 제어부
221 통신 인터페이스
222 처리 회로
223 메모리
211A 내지 211H 보정 패턴
212 고휘도 영역
213 저휘도 영역

Claims (18)

  1. 센서 보정 시스템으로서, 상기 센서 보정 시스템은:
    입사광 강도 변화 감지시 이벤트 신호를 생성하는 센서로 구성된 센서 어레이를 포함하는 이벤트 구동 비전 센서를 포함하는 센서 장치; 및
    상기 센서의 보정 패턴에 따라 평면 영역의 휘도를 미리 결정된 공간 해상도로 순간적으로 변화시키도록 구성된 디스플레이부를 포함하는 디스플레이 장치
    를 포함하는 것을 특징으로 하는 센서 보정 시스템.
  2. 제1항에 있어서,
    상기 평면 영역은 상기 센서 어레이의 화각(angle of view) 내에 있는 것을 특징으로 하는 센서 보정 시스템.
  3. 제1항에 있어서,
    상기 디스플레이 장치는 상기 보정 패턴에 대응하는 이미지 신호를 상기 디스플레이부에 출력하도록 구성된 디스플레이 제어부를 더 포함하고,
    상기 센서 장치는 상기 보정 패턴을 기반으로 상기 이벤트 신호를 분석하도록 구성된 제어부를 더 포함하는 것을 특징으로 하는 센서 보정 시스템.
  4. 제1항에 있어서,
    상기 디스플레이부는 전자 발광기를 포함하는 것을 특징으로 하는 센서 보정 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 보정 패턴은 제1 보정 패턴 및 제2 보정 패턴을 포함하고,
    상기 디스플레이부는 상기 제1 보정 패턴에 따라 상기 평면 영역의 휘도를 변화시키고, 이어서 상기 제2 보정 패턴에 따라 상기 평면 영역의 휘도를 변화시키는 것을 특징으로 하는 센서 보정 시스템.
  6. 제5항에 있어서,
    상기 제1 보정 패턴은 각각이 공간 패턴에 따라 배열된 고휘도 영역과 저휘도 영역을 포함하고,
    상기 제2 보정 패턴은 상기 고휘도 영역과 상기 저휘도 영역을 포함하되, 이들 상기 고휘도 영역과 상기 저휘도 영역은 상기 제1 보정 패턴 내의 대응 부분의 반전(inverse)인 것을 특징으로 하는 센서 보정 시스템.
  7. 제5항에 있어서,
    상기 제1 보정 패턴은 균일한 저휘도 영역으로 구성되고,
    상기 제2 보정 패턴은 균일한 고휘도 영역으로 구성되는 것을 특징으로 하는 센서 보정 시스템.
  8. 제5항에 있어서,
    상기 제1 보정 패턴은 상기 평면 영역의 제1 부분에 휘도 반전 영역을 포함하고,
    상기 제2 보정 패턴은 상기 평면 영역의 상기 제1 부분과는 다른 상기 평면 영역의 제2 부분에 휘도 반전 영역을 포함하는 것을 특징으로 하는 센서 보정 시스템.
  9. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 보정 패턴은 서로 다른 휘도 값을 갖는, 균일한 휘도를 갖는 복수의 보정 패턴을 포함하고, 상기 디스플레이부는 상기 복수의 보정 패턴에 따라 상기 휘도 값이 단조롭게 증가하거나 또는 감소하는 방식으로 상기 평면 영역의 휘도를 연속적으로 변화시키는 것을 특징으로 하는 센서 보정 시스템.
  10. 디스플레이 제어 장치로서, 상기 디스플레이 제어 장치는:
    입사광 강도의 변화를 감지시 이벤트 신호를 생성하는 센서의 보정 패턴에 대응하는 이미지 신호에 따라, 평면 영역의 휘도를 미리 결정된 공간 해상도로 순간적으로 변화시키도록 구성된 디스플레이부에 상기 이미지 신호를 출력하도록 구성된 디스플레이 제어부;
    를 포함하는 것을 특징으로 하는 디스플레이 제어 장치.
  11. 제10항에 있어서,
    상기 디스플레이부는 전자 발광기를 포함하는 것을 특징으로 하는 디스플레이 제어 장치.
  12. 제10항 또는 제11항에 있어서,
    상기 보정 패턴은 제1 보정 패턴 및 제2 보정 패턴을 포함하고,
    상기 이미지 신호가 상기 디스플레이부에 출력되어, 상기 디스플레이부가 상기 제1 보정 패턴에 따라 상기 평면 영역의 휘도를 변화시키고 이어서 상기 제2 보정 패턴에 따라 상기 평면 영역의 휘도를 변화시키도록 하는 것을 특징으로 하는 디스플레이 제어 장치.
  13. 제12항에 있어서,
    상기 제1 보정 패턴은 각각이 공간 패턴에 따라 배열된 고휘도 영역 및 저휘도 영역을 포함하고,
    상기 제2 보정 패턴은 상기 고휘도 영역과 상기 저휘도 영역을 포함하되, 이들 상기 고휘도 영역과 상기 저휘도 영역은 상기 제1 보정 패턴 내의 대응 부분의 반전인 것을 특징으로 하는 디스플레이 제어 장치.
  14. 제12항에 있어서,
    상기 제1 보정 패턴은 균일한 저휘도 영역으로 구성되고,
    상기 제2 보정 패턴은 균일한 고휘도 영역으로 구성된 것을 특징으로 하는 디스플레이 제어 장치.
  15. 제12항에 있어서,
    상기 제1 보정 패턴은 상기 평면 영역의 제1 부분에 휘도 반전 영역을 포함하고,
    상기 제2 보정 패턴은 상기 평면 영역의 상기 제1 부분과는 다른 상기 평면 영역의 제2 부분에 휘도 반전 영역을 포함하는 것을 특징으로 하는 디스플레이 제어 장치.
  16. 제10항 또는 제11항에 있어서,
    상기 보정 패턴은 서로 다른 휘도 값을 갖는, 균일한 휘도를 갖는 복수의 보정 패턴을 포함하고, 상기 이미지 신호는 상기 디스플레이부에 출력되어 상기 디스플레이부가 상기 복수의 보정 패턴에 따라 상기 휘도 값이 단조롭게 증가하거나 또는 감소하는 방식으로 상기 평면 영역의 휘도를 연속적으로 변화시키는 것을 특징으로 하는 디스플레이 제어 장치.
  17. 기록매체에 저장된 컴퓨터 프로그램으로서,
    상기 프로그램은 디스플레이부에 연결된 처리 회로가 입사광 강도의 변화를 감지시 이벤트 신호를 생성하는 센서의 보정 패턴에 대응하는 이미지 신호에 따라, 미리 정해진 공간 해상도로 평면 영역의 휘도를 순간적으로 변화시키도록 구성된 상기 이미지 신호를 상기 디스플레이부에 출력하는 프로세스를 실행하게 하는 기록매체에 저장된 컴퓨터 프로그램.
  18. 센서 보정 방법으로서, 상기 센서 보정 방법은:
    보정 패턴에 따라 센서 어레이의 화각 내에서 평면 영역의 휘도를 순간적으로 변화시키는 단계; 및
    상기 센서 어레이를 구성하는 센서가 입사광 강도의 변화를 감지시 이벤트 신호를 생성하게 하는 단계
    를 포함하는 것을 특징으로 하는 센서 보정 방법.
KR1020217011477A 2018-10-17 2019-10-10 센서 보정 시스템, 디스플레이 제어 장치, 프로그램, 및 센서 보정 방법 KR102513670B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-195505 2018-10-17
JP2018195505A JP7251942B2 (ja) 2018-10-17 2018-10-17 センサの校正システム、表示制御装置、プログラム、およびセンサの校正方法
PCT/JP2019/039932 WO2020080237A1 (ja) 2018-10-17 2019-10-10 センサの校正システム、表示制御装置、プログラム、およびセンサの校正方法

Publications (2)

Publication Number Publication Date
KR20210093233A KR20210093233A (ko) 2021-07-27
KR102513670B1 true KR102513670B1 (ko) 2023-03-24

Family

ID=70283469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217011477A KR102513670B1 (ko) 2018-10-17 2019-10-10 센서 보정 시스템, 디스플레이 제어 장치, 프로그램, 및 센서 보정 방법

Country Status (4)

Country Link
US (1) US12033354B2 (ko)
JP (1) JP7251942B2 (ko)
KR (1) KR102513670B1 (ko)
WO (1) WO2020080237A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020161987A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 車両用撮影システム
CN112532870B (zh) * 2020-11-09 2021-11-30 福建福瑞康信息技术有限公司 多终端自适应数据处理***、方法及计算机可读存储介质
JP2022188987A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20230015889A1 (en) * 2021-07-15 2023-01-19 Summer Robotics, Inc. Automatic parameter adjustment for scanning event cameras
US11704835B2 (en) 2021-07-29 2023-07-18 Summer Robotics, Inc. Dynamic calibration of 3D acquisition systems
CN118176739A (zh) 2021-08-27 2024-06-11 夏日机器人公司 多传感器超分辨率扫描和捕获***
WO2023177692A1 (en) 2022-03-14 2023-09-21 Summer Robotics, Inc. Stage studio for immersive 3-d video capture
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071618A (ja) * 2005-09-06 2007-03-22 Mitsubishi Electric Corp 画質検査装置
JP2015115962A (ja) * 2013-12-11 2015-06-22 アンリツ カンパニー 自動露出モードで作動するカメラの輝度応答を測定するためのシステム及び方法
JP2018501675A (ja) 2014-09-30 2018-01-18 クアルコム，インコーポレイテッド センサ素子アレイにおける特徴計算
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3705180B2 (ja) * 2001-09-27 2005-10-12 セイコーエプソン株式会社 画像表示システム、プログラム、情報記憶媒体および画像処理方法
US20100201275A1 (en) * 2009-02-06 2010-08-12 Cok Ronald S Light sensing in display device
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US20160111062A1 (en) * 2014-10-15 2016-04-21 Intel Corporation Ambient light-based image adjustment
US9489735B1 (en) * 2015-09-17 2016-11-08 Qualcomm Incorporated Multiplexed temporal calibration for event-based cameras
KR102155895B1 (ko) 2015-11-26 2020-09-14 삼성전자주식회사 객체를 추적하여 영상을 수신하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071618A (ja) * 2005-09-06 2007-03-22 Mitsubishi Electric Corp 画質検査装置
JP2015115962A (ja) * 2013-12-11 2015-06-22 アンリツ カンパニー 自動露出モードで作動するカメラの輝度応答を測定するためのシステム及び方法
JP2018501675A (ja) 2014-09-30 2018-01-18 クアルコム，インコーポレイテッド センサ素子アレイにおける特徴計算
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Also Published As

Publication number Publication date
KR20210093233A (ko) 2021-07-27
US20210327090A1 (en) 2021-10-21
JP7251942B2 (ja) 2023-04-04
JP2020065149A (ja) 2020-04-23
WO2020080237A1 (ja) 2020-04-23
US12033354B2 (en) 2024-07-09

Similar Documents

Publication Publication Date Title
KR102513670B1 (ko) 센서 보정 시스템, 디스플레이 제어 장치, 프로그램, 및 센서 보정 방법
US10878552B2 (en) Method and device for material web monitoring and material web inspection
US8390586B2 (en) Image display apparatus that detects pointing element using imaging device
KR20180006586A (ko) 표시 장치 및 이의 영상 표시 방법
KR20060046264A (ko) 화상 취득 기능을 구비한 디스플레이 장치
JP5347845B2 (ja) 画像処理プログラムおよび画像処理装置
JP5379664B2 (ja) 画像表示装置およびその制御方法
KR101465801B1 (ko) 표시 장치
CN103369265A (zh) 像素信息管理装置及使用该管理装置的图像拍摄装置
JP2020065149A5 (ko)
US9286859B2 (en) Brightness measurement method and brightness adjustment device for display elements
US10638916B2 (en) Endoscope device
JP5838081B2 (ja) 光特性ムラ測定装置及び光特性ムラ測定方法
JP7207416B2 (ja) フリッカ測定装置、フリッカ測定方法、フリッカ測定プログラム
US9389731B2 (en) Optical touch system having an image sensing module for generating a two-dimensional image and converting to a one-dimensional feature
JP2019152616A (ja) 光測距センサ
JP6045138B2 (ja) 画像表示装置及びその制御方法
US20170364723A1 (en) Position specifying apparatus and position specifying method
JP2017225094A (ja) 画像読取装置及び画像読取プログラム
JP5634473B2 (ja) パネル評価システム及びパネル評価方法
JP2007279213A (ja) 表示パネルの輝度検査装置、及びこれを用いた表示パネルの製造方法
JP2016177643A (ja) 情報コード読取装置
JP2014235676A (ja) 二次元カラーコード表示装置、及びその表示方法、二次元カラーコード読み取り装置、及びその読み取り方法
JP2017107052A (ja) 表示システム、表示装置測定方法、表示装置測定プログラムならびに表示装置
US20220198687A1 (en) Spectrometry method, spectrometry system, and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant