KR20100087108A - 비전 시스템에서의 주변 광 레벨의 검출 - Google Patents

비전 시스템에서의 주변 광 레벨의 검출 Download PDF

Info

Publication number
KR20100087108A
KR20100087108A KR1020107008544A KR20107008544A KR20100087108A KR 20100087108 A KR20100087108 A KR 20100087108A KR 1020107008544 A KR1020107008544 A KR 1020107008544A KR 20107008544 A KR20107008544 A KR 20107008544A KR 20100087108 A KR20100087108 A KR 20100087108A
Authority
KR
South Korea
Prior art keywords
ambient light
display screen
level
image
threshold
Prior art date
Application number
KR1020107008544A
Other languages
English (en)
Inventor
프라풀라 마살카르
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20100087108A publication Critical patent/KR20100087108A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

광학적 터치-감응 장치에서의 주변 광의 검출이 개시된다. 예를 들어, 한가지 개시된 실시예는 표시 장치 내에 위치한 카메라로 표시 화면의 최소한 일부의 이미지를 캡처하는 단계, 및 이미지 내의 주변 광이 표시 화면 동작에 대해 수용 가능한 레벨인지 판정하는 단계를 포함한다. 그 다음, 주변 광 레벨이 표시 화면 동작에 대해 수용 가능한지의 여부를 나타내는 시각적 표현이 표시된다.

Description

비전 시스템에서의 주변 광 레벨의 검출{DETECTING AMBIENT LIGHT LEVELS IN A VISION SYSTEM}
터치-감응(touch-sensitive) 장치는 광학적, 저항성 및 용량성 메커니즘을 포함하는(이에 제한되는 것은 아님) 몇 가지 상이한 메커니즘을 통해 터치를 검출할 수 있다. 몇 가지 광학적 터치-감응 장치는 이미지 센서를 통해 터치 스크린의 후면의 이미지를 캡처함으로써 터치를 검출한 다음에, 스크린상에 위치한 물체를 검출하도록 이미지를 처리한다. 이러한 장치는 화면상의 물체가 입사 광을 이미지 센서 쪽으로 반사시킴으로써 물체가 검출될 수 있게 하도록, 표시 화면의 후면을 비추기 위해 장치 내에 발광체를 포함할 수 있다.
광학적 터치 스크린 장치가 직면할 수 있는 한 가지 어려움은 외부 (주변) 광과 장치 내의 광원으로부터 반사된 광 사이를 구별해야 하는 것을 포함한다. 일반적으로, 주변 광 레벨이 높을수록, 관심 있는 물체를 검출하기가 더욱 어려울 수 있다. 주변 광은 배경 잡음 잔류레벨(background noise floor)을 형성하는데, 이는 콘트라스트(contrast)를 감소시키고, 물체로부터 신호를 분리하기 어렵게 한다. 주변 광에 대해 이미지를 보정하는 것은 카메라 기반 주변 광 검출이 주변 광 소스, 크기, 카메라로부터의 거리, 입사 각, 스펙트럼 분포 등과 같은 요인에 의존하는 상당히 복잡한 함수일 수 있으므로, 어려움을 초래할 수 있다. 더욱이, 이러한 시스템에 미치는 주변 광의 영향의 측정은 많은 경우에 광도계 또는 기타 이러한 조도계로 측정하기 어려울 수 있다.
따라서, 광학적 터치-감응 장치에서 주변 광을 검출하는 다양한 방법이 아래의 상세한 설명에서 개시된다. 예를 들어, 한가지 개시된 실시예는 표시 장치 내에 위치한 카메라로 표시 화면의 최소한 일부의 이미지를 캡처하는 단계, 및 이미지 내의 주변 광이 표시 화면 동작에 대해 수용 가능한 레벨인지 판정하는 단계를 포함한다. 그 다음, 주변 광 레벨이 표시 화면 동작에 대해 수용 가능한지의 여부를 나타내는 시각적 표현이 표시된다.
이 요약은 아래의 상세한 설명에서 더욱 설명되는 개념들의 선택된 개념을 단순화된 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 중요한 특징이나 본질적인 특징을 식별하고자 하는 것도 아니고, 청구된 주제의 범위를 제한하는데 사용되고자 하는 것도 아니다. 더욱이, 청구된 주제는 이 명세서의 임의의 부분에 명시된 임의의 또는 모든 단점을 해결하는 구현에 제한되지 않는다.
도 1은 광학적 터치-감응 장치의 실시예를 도시한 도면.
도 2는 광학적 터치-감응 장치의 한 실시예에 비치는 주변 광의 소스의 한 예를 도시한 도면.
도 3은 광학적 터치-감응 장치의 한 실시예에 비치는 주변 광의 소스의 다른 예를 도시한 도면.
도 4는 광학적 터치-감응 장치에 입사되는 주변 광에 관해 시각적 피드백을 제공하는 시각적 표시기의 실시예를 도시한 도면.
도 5는 광학적 터치-감응 장치에 입사되는 주변 광에 관해 피드백을 제공하는 시각적 표시기의 다른 실시예를 도시한 도면.
도 6은 주변 광 상태에 관련된 비전(vision) 시스템 성능을 측정하는 방법의 실시예를 나타낸 흐름도.
도 7은 주변 광 상태에 관련된 비전 시스템 성능을 측정하는 방법의 다른 실시예를 나타낸 흐름도.
광학적 터치-감응 장치에서의 주변 광 수용 가능성(acceptability)의 검출을 설명하기 전에, 적합한 사용 환경의 실시예가 설명된다. 도 1은 대화형 표시 장치(100)의 형태로 된 광학적 터치-감응 장치의 실시예의 개략도를 도시한 것이다. 광학적 터치-감응 표시 장치(100)는 이미지 소스(102)를 갖는 프로젝션 디스플레이 시스템, 및 이미지가 투사되는 표시 화면(106)을 포함한다. 프로젝션 디스플레이 시스템과 관련하여 도시되었지만, 여기에 설명된 실시예는 또한 LCD 패널 시스템을 포함하여(이에 제한되지 않음) 기타 적합한 디스플레이 시스템으로 구현될 수 있다는 것을 알 수 있을 것이다.
이미지 소스(102)는 램프(도시됨), LED 어레이 또는 기타 적합한 광원과 같은 광원(108)을 포함한다. 이미지 소스(102)는 또한 도시된 LCD(liquid crystal display), LCOS(liquid crystal on silicon) 디스플레이, DLP(digital light processing) 디스플레이 또는 임의의 다른 적합한 이미지 생성 소자와 같은 이미지 생성 소자(110)를 포함한다.
표시 화면(106)은 유리 시트와 같은 깨끗하고 투명한 부분(112), 및 깨끗하고 투명한 부분(112) 위에 배치된 디퓨저 스크린(diffuser screen) 층(114)을 포함한다. 도시된 바와 같이, 디퓨저 스크린 층(114)은 터치 표면으로서 작용한다. 그외 다른 실시예에서, 추가 투명 층(도시 생략)은 표시 표면에 매끄러운 룩 앤드 필을 제공하기 위해 터치 표면으로서 디퓨저 스크린 층(114) 위에 배치될 수 있다. 또한, 표시 화면(106) 상에 이미지를 표시하기 위해 프로젝션 이미지 소스보다는 오히려 LCD 패널을 이용하는 실시예에서, 디퓨저 스크린 층(114)은 생략될 수 있다.
도 1을 계속 참조하면, 표시 장치(100)는 메모리(118) 및 마이크로프로세서(120)를 포함하는 전자 제어기(116)를 더 포함한다. 제어기(116)는 아래에 설명되는 바와 같이, 하나 이상의 수용 가능한 주변 광 검출 또는 피드백 동작을 행하도록 구성된, ASIC(application-specific integrated circuits)(도시 생략), DSP(digital signal processors)(도시 생략), FPGA(field-programmable gate arrays) 등을 포함하는 임의의 다른 적합한 전자 부품을 더 포함할 수 있다. 또한, 메모리(118)에는 여기에 설명된 방법 및 프로세스를 실행하도록 장치(100)의 다양한 부분을 제어하기 위해 프로세서(120)에 의해 실행가능한 명령어가 저장되어 있을 수 있다는 것을 이해할 것이다.
표시 화면(106) 상에 배치된 물체를 감지하기 위해, 표시 장치(100)는 표시 화면(106)의 전체 후면의 이미지를 캡처하고, 이미지에 나타나는 물체의 검출을 위해 전자 제어기(116)에 이미지를 제공하도록 구성된 이미지 센서(124)를 포함한다. 디퓨저 스크린 층(114)은 표시 화면(106)과 접촉하지 않거나 표시 화면(106)의 수 밀리미터 내에 위치하지 않는 물체의 이미징을 방지하도록 돕고, 따라서 반드시 표시 화면(106)을 터치하고 있거나 표시 화면(106)에 가까이 있는 물체만이 이미지 센서(124)에 의해 검출된다고 보장하도록 돕는다.
이미지 센서(124)는 임의의 적합한 이미지 감지 메커니즘을 포함할 수 있다. 적합한 이미지 감지 메커니즘의 예는 CCD 및 CMOS 이미지 센서를 포함하는데, 이에 제한되는 것은 아니다. 더욱이, 이미지 감지 메커니즘은 표시 화면(106) 전체에 걸쳐 물체의 움직임을 검출하기 위해 표시 화면(106)의 이미지를 충분한 빈도로 캡처할 수 있다. 도 1의 실시예가 하나의 이미지 센서를 도시하지만, 2개 이상의 이미지 센서가 표시 화면(106)의 이미지를 캡처하기 위해 사용될 수 있다는 것을 알게 될 것이다.
이미지 센서(124)는 적외선 및 가시광선 파장을 포함하여(이에 제한되지는 않음), 임의의 적합한 파장의 광을 검출하도록 구성될 수 있다. 표시 화면(106) 상에 배치된 물체의 검출을 돕기 위해, 이미지 센서(124)는 표시 화면(106)의 후면을 비추기 위해 적외선 또는 가시광선을 생성하도록 구성된 하나 이상의 발광 다이오드(LED)(126)와 같은 발광체(126)를 더 포함할 수 있다. 발광체(126)로부터의 광은 표시 화면(106) 상에 배치된 물체에 의해 반사된 다음에, 이미지 센서(124)에 의해 검출될 수 있다. 가시광선 LED와 대조적인 적외선 LED의 사용은 표시 화면(106) 상에 투사된 이미지 모습의 유실을 방지하도록 도울 수 있다. 더욱이, 적외선 대역통과 필터(127)는 발광체(126)에 의해 방출된 주파수의 광은 통과시키지만, 대역통과 주파수 밖의 주파수에서의 광은 이미지 센서(124)에 도달하지 못하게 하도록 이용될 수 있는데, 이로 인해 이미지 센서(124)에 도달하는 주변 광의 양을 감소시킬 수 있다.
도 1은 또한 표시 화면(106) 상에 배치된 물체(130)를 도시하고 있다. 물체(130)에 의해 반사된 발광체(126)로부터의 광은 이미지 센서(124)에 의해 검출될 수 있고, 이로 인해 물체(130)가 화면상에서 검출될 수 있게 한다. 물체(130)는 손가락, 브러시, 광학적으로 판독가능한 태그 등을 포함하여(이에 제한되지는 않음), 표시 화면(106)과 접촉할 수 있는 임의의 물체를 나타낸다.
몇몇 사용 환경에서, 주변 광 소스는 대역통과 필터(127)에 의해 통과된 대역에서 광을 방출할 수 있다. "주변 광"이라는 용어는 발광체(126)로부터의 광 이외의 광을 설명하기 위해 여기에서 사용된다. 이러한 주변 광 소스의 예는 햇빛, 백열 램프 광, 할로겐 램프 광 등과 같은 광범위한 스펙트럼 광원을 포함하는데, 이에 제한되는 것은 아니다. 이러한 광은 대역 통과 주파수에서 충분한 강도를 가질 수 있어서, 주변 광이 발광체(126)로부터 반사된 광과 구별되기 어렵게 한다. 그러므로, 이러한 주변 광은 표시 장치(100)가 주변 광을 표시 화면(106) 상의 물체로 잘못 식별하게 할 수 있다.
예를 들어, 도 2에 도시된 예시적인 환경(200)과 같은 몇몇 사용 환경은 머리 위의 백열 또는 할로겐 전구(210)로부터의 주변 광(220)을 포함할 수 있다. 이러한 환경에서, 표시 장치(100)의 성능은 전구(210)에 대한 표시 장치(100)의 위치에 의해 영향을 받을 수 있다. 이와 같이, 표시 장치(100)의 성능은 화살표(230)로 표시된 바와 같이, 전구(210)로부터 보다 적은 주변 광(220)이 표시 화면에 도달하는 위치로 표시 장치(100)를 이동시킴으로써 개선될 수 있다.
이와 마찬가지로, 도 3에 도시된 예시적인 사용 환경(300)과 같은 그외 사용 환경에서, 태양 또는 기타 외부 광원으로부터의 주변 광(320)이 표시 장치(100)에 비칠 수 있다. 이 도면에 도시된 바와 같이, 이러한 주변 광은 창(325), 문 등을 통과함으로써 표시 장치(100)에 도달할 수 있다. 도 2와 관련하여 위에서 설명된 바와 같이, 환경(300)에서의 표시 장치의 성능은 표시 장치(100)가 주변 광(320)을 피하기 위해 이동될 수 있는 한 방향을 나타내는 화살표(330)로 표시된 바와 같이, 보다 적은 외부 주변 광(320)이 표시 화면에 도달하는 위치로 표시 장치를 이동시킴으로써 개선될 수 있다.
사용자 또는 설치자가 특정 사용 환경에서 과도한 주변 광을 피해 표시 장치(100)를 배치하기 적합한 위치를 결정하는 것을 돕기 위해, 표시 장치(100)는 주변 광의 레벨을 판정한 다음에, 판정된 주변 광의 레벨이 만족스럽지 못한지의 여부 및/또는 낮은 주변 광 레벨을 갖는 사용 환경 내의 위치로 표시 장치(100)를 이동시키는 방법에 관해 사용자에게 피드백을 제공하도록 구성될 수 있다. 도 4는 주변 광 레벨, 및 또한 주변 광 노출을 감소시키기 위해 표시 장치를 이동시키는 방향에 관해 피드백을 제공하기 위해 표시 장치(100) 상에 표시될 수 있는 시각적 표시기(405)의 한 실시예를 도시한 것이다. 시각적 표시기(405)는 4개의 방향 화살표를 포함하는데, 한 화살표는 다른 화살표와 상이한 모양을 갖는 강조된 화살표(430)이다. 강조된 화살표(430)는 수용 불가능한 레벨로 판정된 주변 광을 피하기 위해 표시 장치(100)가 이동될 수 있는 방향을 표시 장치(100)의 사용자에게 표시해준다.
시각적 표시기(405)는 또한 검출된 주변 광의 강도에 관련된 피드백을 제공하도록 구성된 다수의 강도 바(412 및 414로 표시됨)를 포함한다. 예를 들어, 도 4는 검출된 주변 광의 레벨을 나타내는 위로 뻗어 있는 모양의 바(412)인 조명된 3개의 짧은 바, 및 주변 광의 잠재적으로 더 높은 레벨을 나타내는 위로 뻗어 있는 모양의 바(414)인 조명되지 않은 2개의 높은 바가 도시된다. 바의 높이는 또한 표시 화면(106) 전역에서의 주변 광 레벨의 변화율의 강도(즉, 변화도)를 나타낼 수 있다. 표시 장치(100)가 이동될 때, 조명된 강도 바의 수는 장치가 이동됨에 따라 주변 광 레벨의 피드백을 제공하기 위해 실시간으로 갱신될 수 있다. 강도 바는 표시 화면(106) 전역에서의 평균 주변 레벨, 검출된 가장 높은 주변 레벨, 또는 주변 광 강도의 임의의 다른 적합한 측정치를 나타낼 수 있다. 다른 실시예는 수용 가능한 광의 레벨, 및 주변 광 노출을 감소시키기 위해 취할 수 있는 조치를 나타내기 위해, 소리 등을 포함하는(이에 제한되지는 않음) 기타 기호 또는 시각적 피드백 방법을 사용할 수 있다는 것을 알게 될 것이다.
도 5는 표시 장치(100)에 입사되는 주변 광의 레벨에 관해 피드백을 제공하는 시각적 표시기(555)의 제2 실시예를 도시한 것이다. 도시된 시각적 표시기(555)는 표시 화면(106)의 그래픽 표현(560)을 포함한다. 표시 화면(106)의 그래픽 표현(560)은 등고선(565 및 585)에 의해 분리된 주변 광 강도 영역(570, 580 및 590)의 단순한 표현으로서 표시 장치(100) 전역에서의 주변 광 강도의 묘사를 보여준다. 주변 광 강도(570, 580 및 590)의 영역은 주변 광의 수용 가능한 레벨, 수용 불가능한 레벨, 또는 바람직하지 않지만 수용가능한(즉 임계치) 레벨에 노출되는 표시 장치(100)의 영역을 나타낸다. 이러한 방식으로, 사용자 또는 설치자는 장치에 도달하는 주변 광의 양을 감소시키기 위해 표시 장치(100)를 이동시키는 방향을 결정할 수 있다. 광 강도의 3개의 영역이 도 5에 도시되지만, 더 많거나 더 적은 광 강도 영역이 도시될 수 있다는 것을 알게 될 것이다.
도 6은 주변 광 상태에 관련된 비전 시스템 성능을 측정하는 방법(600)의 실시예를 나타낸 흐름도를 도시한 것이다. 여기에 개시된 방법(600) 및 그외 다른 방법은 예를 들어, 방법(600)을 구현하기 위해 프로세서(120)에 의해 실행가능한 메모리(118) 또는 기타 적합한 기계 판독가능 매체에 저장된 명령어를 포함하는 소프트웨어를 통해 실행될 수 있다는 것을 알게 될 것이다.
방법(600)은 먼저, 블록(610)에 나타낸 바와 같이, 표시 화면의 최소한 일부를 비추는 주변 광의 이미지를 캡처하기 위해 표시 장치 내의 최소한 하나의 카메라를 사용하는 단계를 포함한다. 다음에, 블록(620)에 나타낸 바와 같이, 주변 광이 표시 화면 동작에 대해 수용 가능한 레벨인지에 대한 판정이 행해진다. 그 다음, 블록(630)에 나타낸 바와 같이, 판정된 주변 광 레벨의 수용 가능성에 관련된 시각적 표현이 표시 장치상에 표시된다. 시각적 표현은 예를 들어, 검출된 주변 광 레벨이 너무 높은지, 적절한 표시 장치 성능에 적합하게 낮은지의 여부를 시각적으로 표현할 수 있다. 더욱이, 시각적 표현은 표시 장치가 표시 장치에 입사되는 주변 광의 양을 감소시키기 위해 이동될 수 있는 방향을 표시할 수 있다. 이러한 방식으로, 표시 장치(100)는 적합하게 낮은 주변 광 레벨을 갖는 위치로 이동될 수 있다. 대안적으로 또는 추가로, 주변 광 소스는 더욱 적합한 레벨로 어두워질 수 있다.
도 7은 주변 광 상태에 관련된 비전 시스템 성능을 측정하는 방법(700)의 다른 실시예를 나타낸 흐름도를 도시한 것이다. 방법(700)은 예를 들어, 사용 환경에서 표시 장치(100)를 설치할 때 사용될 수 있다. 블록(710)에 나타낸 바와 같이, 방법(700)은 먼저, 발광체(126)로 표시 화면(106)을 비추고, 표시 화면(106) 위에 위치한 블랙 스크린을 통해 제1 그레이 레벨(gray level) 값을 측정하며, 표시 화면(106) 위에 위치한 화이트 스크린을 통해 제2 그레이 레벨 값을 측정함으로써, 표시 장치(100)를 보정하는 단계를 포함한다.
다음에, 블록(720)에 나타낸 바와 같이, 임계 주변 광 레벨은 제1 및 제2 그레이 레벨 값을 사용하여 결정된다. 이것은 임의의 적합한 방식으로 실행될 수 있다. 예를 들어, 임계치는 동적 범위를 적절하게 나눔으로써 결정된 블랙 레벨 값보다 높은 15-25 퍼센트의 범위 내의 값을 포함하는(이에 제한되지는 않음) 설정된 양으로 선택될 수 있다. 더욱이, 2개 이상의 임계치는 표시 화면(106) 전역에서의 주변 광 레벨의 등고선(contour) 맵 표현을 생성하기 위해 사용될 수 있다. 임계 주변 광 레벨을 결정하는 이러한 방법은 임계치 레벨을 결정하는 한가지 적합한 방법의 예일 뿐이고, 그외 다른 방법이 다른 실시예에서 사용될 수 있다는 것을 알게 될 것이다. 예를 들어, 몇몇 실시예에서, 비전 시스템은 적극적인 주변 광 제거 방식을 가질 수 있다. 이러한 적극적인 주변 광 제거 방식 실시예는 시스템에서 사용된 이미지 센서를 포화시키지 않는 주변 광 레벨에서는 정확하게 동작할 수 있지만, 이미지 센서를 포화시키기에 충분한 주변 광 레벨에서는 정확하게 동작할 수 없다. 그러므로, 몇몇 실시예에서, 임계치는 이미지 센서 포화상태에서 또는 그 근처에서 주변 광 레벨에 대해 설정될 수 있다.
도 7을 계속 참조하면, 방법(700)은 다음에, 블록(730)에 나타낸 바와 같이, 주변 광의 레벨을 판정하기 위해, 관심 있는 물체가 표시 화면(106) 위에 하나도 없는 동안에, 표시 장치(100) 내의 이미지 센서 또는 센서들로 표시 화면의 하나 이상의 이미지를 캡처하는 단계를 포함한다. 표시 화면의 이미지를 캡처한 후, 방법(700)은 다음에, 블록(740)에 나타낸 바와 같이, 화면상의 주변 광의 레벨을 임계치와 비교하는 단계를 포함한다. 그 다음, 블록(750)에서, 방법은 임계치와의 비교에 기초하여 주변 광 레벨이 수용 가능한지 나타내는 시각적 표현을 제공한다. 예를 들어, 도 4에 도시된 바와 같이, 최고 측정된 주변 레벨 또는 평균 주변 레벨은 단순한 바-그래프, 파이-그래프, 주변 레벨이 임계치 레벨보다 높은지 또는 낮은지 보여주는 온도계-스타일 그래프 등으로 표시될 수 있거나, 도 5에 나타낸 바와 같이 맵으로 표시될 수 있다. 이러한 강도 표현은 임의의 적합한 방식으로 생성될 수 있다. 예를 들어, 한 실시예에서, 주변 광 레벨의 변화도는 각 픽셀마다 계산되거나, 다수의 변화도가 계산되도록 픽셀 그룹마다 계산되는 등등으로 된다. 그 다음, 결과적인 방향 벡터가 변화도로부터 생성된다. 방향 벡터의 일반적인 방향은 (도 4의 화살표(430)와 같은) 강조된 화살표로 표시될 수 있고, 방향 벡터의 크기는 화살표의 길이, 화면상에 표시된 하나 이상의 그래픽 바의 높이 등등에 의해 생성될 수 있다. 대안적으로, 변화도 또는 상대 주변 광 레벨은 도 5에 도시된 것과 같은 맵으로 표시될 수 있다. 더욱이, 몇몇 실시예는 비전 시스템이 이동되고 있는 동안, 예를 들어 설치 동안 등등에 피드백을 제공하기 위해 실시간으로 시각적 표현을 제공할 수 있다.
다른 실시예에서, 화면상의 주변 광의 레벨과 임계치의 비교는 주변 광 레벨이 임계치 위의 선택된 양보다 많은지, 또는 임계치 아래의 선택된 양보다 많은지 판정하는 단계를 포함할 수 있다. 선택된 양은 +/- 5-15 퍼센트 범위 내의 퍼센트를 포함하는(이에 제한되지는 않음) 임의의 값일 수 있다. 한 특정 실시예에서, 주변 광 레벨의 제1 시각적 표현은 임계치 위로 10 퍼센트보다 많은 레벨에 대해 제공되고, 제2 시각적 표현은 임계치 아래로 10 퍼센트보다 많은 주변 광 레벨에 대해 제공되며, 제3 시각적 표현은 임계치의 10 퍼센트 내의 주변 광 레벨에 대해 제공된다. 이러한 표현의 예는 도 5에 도시되는데, 영역(570)은 임계치 아래로 10 퍼센트보다 많은 주변 광 강도를 나타낼 수 있고, 영역(580)은 임계치 위 또는 아래로 10 퍼센트 내의 주변 광 강도를 나타낼 수 있으며, 영역(590)은 임계 위로 10 퍼센트보다 많은 주변 광 강도를 나타낼 수 있다. 이러한 계산은 개별 픽셀에서 실행될 수 있고, 또는 효율성을 위해 (16x16 또는 32x32 픽셀 블록과 같은) 픽셀의 블록에서 실행될 수 있다.
본 실시예의 다른 변형에서, 제1 시각적 표현은 적색일 수 있고, 제2 시각적 표현은 녹색일 수 있으며, 제3 시각적 표현은 황색이다. 다른 실시예는 검출된 주변 광의 상이한 레벨을 반영하기 위해 상이한 색을 사용할 수 있다. 몇몇 실시예에서, 색은 그 밖의 잘 알려진 색 부호화(color-coded) 강도 범위 또는 스케일에 대응할 수 있다.
광학적 터치-감응 표시 장치와 관련하여 여기에 설명되었지만, 개시된 실시예는 또한, 배경 신호 보정이 장치 성능을 개선하기 위해 실행될 수 있는 임의의 다른 기계 비전 장치에서뿐만 아니라, 임의의 다른 적합한 광학적 터치-감응 장치에서 사용될 수 있다는 것을 알게 될 것이다.
여기에 설명된 구성 및/또는 방법은 사실상 예시적이고, 이들 특정 실시예 또는 예는 다양한 변형이 가능하기 때문에 제한적인 의미로 생각되어서는 안 된다는 것이 더욱 이해될 것이다. 여기에 설명된 특정 루틴 또는 방법은 임의의 수의 처리 전략 중의 하나 이상을 나타낼 수 있다. 이와 같이, 도시된 다양한 동작은 도시된 순서로, 그 밖의 다른 순서로, 또는 병행하여 실행되거나, 몇몇 경우에 생략될 수 있다. 이와 마찬가지로, 상기 설명된 임의의 프로세스의 순서는 여기에 설명된 실시예의 특징 및/또는 결과를 달성하기 위해 반드시 요구되는 것이 아니라, 도시 및 설명을 용이하게 하기 위해 제공된 것이다.
본 발명의 주제는 여기에 개시된 다양한 프로세스, 시스템 및 구성, 및 그외 다른 특징, 기능, 동작 및/또는 특성의 모든 새롭고 자명하지 않은 조합과 부조합(subcombination)뿐만 아니라, 그것의 임의의 및 모든 등가물을 포함한다.

Claims (20)

  1. 광학적 터치-감응 표시 장치(optical touch-sensitive display device)에서 주변 광(ambient light)을 검출하는 방법에 있어서 - 상기 광학적 터치-감응 표시 장치는 표시 화면, 발광체 및 이미지 센서를 포함함-,
    상기 이미지 센서로 상기 표시 화면의 최소한 일부의 이미지를 캡처하는 단계;
    상기 이미지 내의 주변 광 레벨이 표시 화면 동작에 대해 수용 가능한 레벨인지 판정하는 단계; 및
    상기 주변 광 레벨이 표시 화면 동작에 대해 수용 가능한지의 여부를 나타내는 시각적 표현을 표시하는 단계
    를 포함하는 주변 광 검출 방법.
  2. 제1항에 있어서, 상기 주변 광 레벨이 표시 화면 동작에 대해 수용 가능한지의 여부를 나타내는 시각적 표현은 실시간으로 갱신되는 주변 광 검출 방법.
  3. 제1항에 있어서, 시각적 표현은 상기 표시 화면 전역의 상대 주변 광 강도들의 맵을 포함하는 주변 광 검출 방법.
  4. 제3항에 있어서, 상기 시각적 표현은 색 부호화(color-coded)되고, 상기 시각적 표현에서의 하나의 색은 하나의 상대 주변 광 레벨을 나타내는 주변 광 검출 방법.
  5. 제1항에 있어서, 수용 불가능한 주변 광 레벨에 대해 보정하기 위해 상기 표시 장치를 이동시키기 위한 방향의 시각적 표시기를 제공하는 단계를 더 포함하는 주변 광 검출 방법.
  6. 제5항에 있어서, 상기 표시 장치를 이동시키기 위한 방향은 상기 표시 화면상의 다수의 주변 강도들의 변화도들(gradients of ambient intensities)을 판정하고, 상기 변화도들로부터 방향 벡터를 생성함으로써 판정되는 주변 광 검출 방법.
  7. 광학적 터치-감응 장치를 설치하는 방법에 있어서 - 상기 광학적 터치-감응 장치는 표시 화면, 상기 표시 화면의 후면을 비추도록 구성된 발광체, 및 상기 표시 화면의 후면의 이미지를 캡처하도록 구성된 이미지 센서를 포함함-,
    상기 표시 화면상에 위치한 블랙 스크린(black screen)으로 제1 그레이 레벨(gray level) 값을 측정하는 동안, 및 상기 표시 화면상에 위치한 화이트 스크린(white screen)으로 제2 그레이 레벨 값을 측정하는 동안에 상기 발광체로 상기 표시 화면을 비추는 단계;
    상기 제1 및 제2 그레이 레벨 값들을 사용하여 임계치 레벨을 계산하는 단계;
    상기 표시 화면의 이미지를 캡처하는 단계;
    상기 이미지 내의 주변 광의 레벨을 판정하는 단계;
    상기 화면상의 주변 광의 레벨을 상기 임계치와 비교하는 단계; 및
    상기 임계치와의 비교에 기초하여, 상기 주변 광 레벨이 상기 표시 화면 동작에 대해 수용 가능한지의 여부를 나타내는 시각적 표현을 제공하는 단계
    를 포함하는 설치 방법.
  8. 제7항에 있어서, 상기 표시 화면의 이미지는 상기 표시 화면이 상기 화면상에 위치한 물체들이 없는 동안에 캡처되는 설치 방법.
  9. 제7항에 있어서, 상기 화면상의 주변 광의 레벨을 상기 임계치와 비교하는 단계는
    상기 주변 광 레벨이 상기 임계치 위의 선택된 양보다 많은지, 또는 상기 임계치 아래의 선택된 양보다 많은지 비교하는 단계; 및
    상기 임계치 위의 상기 선택된 양보다 많은 주변 광 레벨의 제1 시각적 표현, 상기 임계치 아래의 상기 선택된 양보다 많은 주변 광 레벨의 제2 시각적 표현, 및 상기 주변 광 레벨이 상기 임계치 위의 상기 선택된 양보다 많지 않고, 상기 임계치 아래의 상기 선택된 양보다 많지 않은 경우의 제3 시각적 표현을 표시하는 단계
    를 더 포함하는 설치 방법.
  10. 제9항에 있어서, 상기 임계치 위의 상기 선택된 양은 5-15 퍼센트 범위 내의 퍼센트를 포함하는 설치 방법.
  11. 제7항에 있어서, 상기 표시 화면의 이미지를 캡처하는 단계는 상기 발광체가 상기 표시 화면을 비추고 있는 동안에 상기 표시 화면의 이미지를 캡처하는 단계를 포함하는 설치 방법.
  12. 제7항에 있어서, 상기 시각적 표현은 상기 표시 화면상의 주변 광 레벨들의 맵(map), 또는 상기 표시 화면상의 주변 광 레벨의 바 그래프(bar graph)를 통해 표시되는 설치 방법.
  13. 제7항에 있어서, 상기 시각적 표현은 실시간으로 갱신하도록 구성되는 설치 방법.
  14. 제7항에 있어서, 상기 임계치는 상기 블랙 스크린으로 측정된 상기 그레이 레벨 값 위로 15-25 퍼센트의 범위 내의 값을 포함하는 설치 방법.
  15. 제7항에 있어서, 상기 임계치를 계산하는 단계는 상기 임계치를 상기 이미지 센서에 대한 포화 주변 광 레벨로 설정하는 단계를 포함하는 설치 방법.
  16. 광학적 터치-감응 장치에 있어서,
    터치 표면 및 후면을 갖는 표시 화면;
    상기 화면의 후면의 이미지를 캡처하도록 구성된 이미지 센서;
    상기 화면의 후면을 비추도록 구성된 발광체; 및
    제어기
    를 포함하는데,
    상기 제어기는
    상기 표시 화면의 이미지를 캡처하도록 상기 이미지 센서를 동작시키고;
    상기 이미지 내의 주변 광 레벨을 판정하며;
    상기 주변 광 레벨이 표시 화면 동작에 대해 수용 가능한지의 여부를 나타내는 시각적 표현을 표시하도록
    구성되는 광학적 터치-감응 장치.
  17. 제16항에 있어서, 상기 시각적 표현은 상기 표시 화면상의 주변 광 강도 레벨들의 맵을 포함하는 광학적 터치-감응 장치.
  18. 제16항에 있어서, 상기 제어기는 상기 시각적 표현을 실시간으로 갱신하도록 구성되는 광학적 터치-감응 장치.
  19. 제16항에 있어서, 상기 시각적 표현은 상기 주변 광 레벨을 감소시키기 위해 상기 표시 장치를 이동시키기 위한 방향의 표시기를 포함하는 광학적 터치-감응 장치.
  20. 제19항에 있어서, 상기 제어기는 상기 표시 화면상의 다수의 주변 강도들의 변화도들을 판정하고, 상기 변화도들로부터 방향 벡터를 판정함으로써 상기 표시 장치를 이동시키기 위한 방향을 판정하도록 구성되는 광학적 터치-감응 장치.
KR1020107008544A 2007-10-26 2008-10-22 비전 시스템에서의 주변 광 레벨의 검출 KR20100087108A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/924,633 US7973779B2 (en) 2007-10-26 2007-10-26 Detecting ambient light levels in a vision system
US11/924,633 2007-10-26

Publications (1)

Publication Number Publication Date
KR20100087108A true KR20100087108A (ko) 2010-08-03

Family

ID=40580361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107008544A KR20100087108A (ko) 2007-10-26 2008-10-22 비전 시스템에서의 주변 광 레벨의 검출

Country Status (7)

Country Link
US (2) US7973779B2 (ko)
EP (1) EP2217991A2 (ko)
JP (1) JP5432911B2 (ko)
KR (1) KR20100087108A (ko)
CN (1) CN101836180B (ko)
CA (1) CA2699695C (ko)
WO (1) WO2009055464A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371736B1 (ko) * 2012-08-22 2014-03-07 현대자동차(주) 터치스크린의 터치 인식방법
KR20170018826A (ko) * 2014-06-24 2017-02-20 브라이트웨이 비젼 엘티디. 센서 노출들 사이의 최소화된 지연 시간을 갖는 게이트된 센서 기반 이미징 시스템
US11147896B2 (en) 2018-01-03 2021-10-19 Slyder Tray LLC Medical sterilization and storage cabinet with multidirectional access

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI406045B (zh) * 2008-06-30 2013-08-21 Ibm 具有ｓｍｔ元件作為光閘之光學接觸面板及在該面板上之形成光閘的方法
US10278579B2 (en) * 2008-11-17 2019-05-07 Eyes4Lives, Inc. Vision protection method and system thereof
JP2010181487A (ja) * 2009-02-03 2010-08-19 Sanyo Electric Co Ltd 表示装置
JP5275956B2 (ja) * 2009-10-15 2013-08-28 株式会社ジャパンディスプレイウェスト 情報入力装置、情報入力プログラムおよび電子機器
CN101887326B (zh) * 2010-06-13 2012-02-22 友达光电股份有限公司 图像扫描***及其控制方法
DE102010062660A1 (de) 2010-12-08 2012-06-14 Bombardier Transportation Gmbh Schienenfahrzeug mit einem Maschinenraum sowie mit mindestens einem Führerraum sowie Verfahren zur Erzeugung eines Überdrucks im Maschinenraum in Verbindungmit einer Klimatisierung mindestens eines Führerraumes
US8970767B2 (en) * 2011-06-21 2015-03-03 Qualcomm Mems Technologies, Inc. Imaging method and system with angle-discrimination layer
TWI525505B (zh) * 2011-12-06 2016-03-11 緯創資通股份有限公司 無邊框光學觸控裝置及用於無邊框光學觸控裝置之影像處理方法
US20150102993A1 (en) * 2013-10-10 2015-04-16 Omnivision Technologies, Inc Projector-camera system with an interactive screen
US9478157B2 (en) 2014-11-17 2016-10-25 Apple Inc. Ambient light adaptive displays
US9530362B2 (en) 2014-12-23 2016-12-27 Apple Inc. Ambient light adaptive displays with paper-like appearance
US20190266869A1 (en) * 2015-02-19 2019-08-29 Smoke Detective, Llc Smoke Detection System and Method Using a Camera
US10304306B2 (en) * 2015-02-19 2019-05-28 Smoke Detective, Llc Smoke detection system and method using a camera
US10901548B2 (en) * 2015-04-07 2021-01-26 Omnivision Technologies, Inc. Touch screen rear projection display
WO2020146655A1 (en) 2019-01-09 2020-07-16 Dolby Laboratories Licensing Corporation Display management with ambient light compensation
US11455942B2 (en) 2020-12-04 2022-09-27 Microsoft Technology Licensing, Llc Systems and methods for providing human interface device information via a camera sensor

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3818495A (en) * 1972-02-28 1974-06-18 Fuji Photo Optical Co Ltd Exposure value indicating means for photographic camera
US5003288A (en) * 1988-10-25 1991-03-26 Nartron Corporation Ambient light sensing method and apparatus
US5355149A (en) * 1992-05-27 1994-10-11 Spacelabs Medical, Inc. Scanning system for touch screen keyboards
US5388059A (en) 1992-12-30 1995-02-07 University Of Maryland Computer vision system for accurate monitoring of object pose
US5786803A (en) 1994-05-09 1998-07-28 Apple Computer, Inc. System and method for adjusting the illumination characteristics of an output device
JPH09197999A (ja) * 1996-01-19 1997-07-31 Canon Inc 画像表示システムおよびその表示方法
JPH10187115A (ja) * 1996-12-19 1998-07-14 Nec Eng Ltd ディスプレイ制御装置
US5889582A (en) 1997-03-10 1999-03-30 Virtek Vision Corporation Image-directed active range finding system
JP3645714B2 (ja) * 1998-07-22 2005-05-11 関東自動車工業株式会社 カーナビゲーション装置画面の傾斜度制御装置
US6617559B1 (en) 2000-01-13 2003-09-09 Hewlett-Packard Development Company, L.P. Light arrangement for vision systems
US20050037815A1 (en) * 2003-08-14 2005-02-17 Mohammad Besharat Ambient light controlled display and method of operation
US20070152977A1 (en) * 2005-12-30 2007-07-05 Apple Computer, Inc. Illuminated touchpad
US7049575B2 (en) 2003-09-09 2006-05-23 Apple Computer Inc. System for sensing ambient light having ambient stability probability
US20050057484A1 (en) 2003-09-15 2005-03-17 Diefenbaugh Paul S. Automatic image luminance control with backlight adjustment
US7064492B1 (en) 2003-10-10 2006-06-20 National Semiconductor Corporation Automatic ambient light compensation for display backlighting
US7221374B2 (en) 2003-10-21 2007-05-22 Hewlett-Packard Development Company, L.P. Adjustment of color in displayed images based on identification of ambient light sources
US7071456B2 (en) 2004-03-30 2006-07-04 Poplin Dwight D Camera module with ambient light detection
JP4588366B2 (ja) * 2004-06-08 2010-12-01 株式会社リコー 画像表示装置
US7576767B2 (en) 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
US7675683B2 (en) 2004-09-22 2010-03-09 Motion Research Corporation Ambient light display and system for displaying data
US7456829B2 (en) * 2004-12-03 2008-11-25 Hewlett-Packard Development Company, L.P. Methods and systems to control electronic display brightness
US20060274161A1 (en) 2005-06-03 2006-12-07 Intel Corporation Method and apparatus to determine ambient light using a camera
US20070063981A1 (en) * 2005-09-16 2007-03-22 Galyean Tinsley A Iii System and method for providing an interactive interface
US7501960B2 (en) * 2005-10-20 2009-03-10 Dell Products L.P. Control of indicator lights in portable information handling system using ambient light sensors
US7614753B2 (en) * 2005-10-31 2009-11-10 Hewlett-Packard Development Company, L.P. Determining an adjustment
JP2007140260A (ja) 2005-11-21 2007-06-07 Alpine Electronics Inc 表示装置
US7916218B2 (en) 2006-01-27 2011-03-29 Samsung Electronics Co., Ltd. Image display apparatus and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371736B1 (ko) * 2012-08-22 2014-03-07 현대자동차(주) 터치스크린의 터치 인식방법
KR20170018826A (ko) * 2014-06-24 2017-02-20 브라이트웨이 비젼 엘티디. 센서 노출들 사이의 최소화된 지연 시간을 갖는 게이트된 센서 기반 이미징 시스템
US11147896B2 (en) 2018-01-03 2021-10-19 Slyder Tray LLC Medical sterilization and storage cabinet with multidirectional access

Also Published As

Publication number Publication date
WO2009055464A2 (en) 2009-04-30
WO2009055464A3 (en) 2009-07-23
CA2699695C (en) 2014-12-30
US7973779B2 (en) 2011-07-05
CN101836180B (zh) 2013-06-26
CA2699695A1 (en) 2009-04-30
JP2011504601A (ja) 2011-02-10
US20110227879A1 (en) 2011-09-22
JP5432911B2 (ja) 2014-03-05
US20090109193A1 (en) 2009-04-30
EP2217991A2 (en) 2010-08-18
CN101836180A (zh) 2010-09-15

Similar Documents

Publication Publication Date Title
CA2699695C (en) Detecting ambient light levels in a vision system
EP2206033B1 (en) Correcting for ambient light in an optical touch-sensitive device
CN107238484B (zh) 透明显示屏清晰度的检测方法和检测装置
KR20110123257A (ko) 능동 디스플레이 피드백에 의한 터치 포인터 명확화
KR20120049230A (ko) 롤링 이미지 캡처 시스템에서의 주변 보정
US8659577B2 (en) Touch system and pointer coordinate detection method therefor
US20100265216A1 (en) Optical touch apparatus and operating method thereof
JP2008073158A (ja) 画像処理装置
US8654103B2 (en) Interactive display
US10325377B2 (en) Image depth sensing method and image depth sensing apparatus
TWI521410B (zh) 物件影像擷取裝置以及擷取指示物之物件影像的方法
JP4570145B2 (ja) 位置検出平面外に撮像部を有する光学式位置検出装置
CN106576136B (zh) 摄像装置、摄像装置的工作方法
JP2018500576A (ja) 光学測定の構成
JP3755319B2 (ja) 主被写体検出装置およびそれを用いた機器
TWI510087B (zh) 電子系統
JP7074400B2 (ja) 光学測定装置
TWI547848B (zh) 影像感測陣列的有效畫素的設定方法
US20140176964A1 (en) Optical touch system
JP2006019901A (ja) 視覚センサ
KR101488090B1 (ko) 휴대용 휘도 측정기
CN111680779A (zh) 光电计数传感器
KR20180001774A (ko) 자동 화이트 밸런스 조정 기능을 갖는 프로젝터
JP2014158247A (ja) 画像入力装置、及び画像入力方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right