KR101938648B1 - 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법 - Google Patents

이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법 Download PDF

Info

Publication number
KR101938648B1
KR101938648B1 KR1020120117760A KR20120117760A KR101938648B1 KR 101938648 B1 KR101938648 B1 KR 101938648B1 KR 1020120117760 A KR1020120117760 A KR 1020120117760A KR 20120117760 A KR20120117760 A KR 20120117760A KR 101938648 B1 KR101938648 B1 KR 101938648B1
Authority
KR
South Korea
Prior art keywords
sensing
image sensor
subject
dimensional image
mobile device
Prior art date
Application number
KR1020120117760A
Other languages
English (en)
Other versions
KR20140051572A (ko
Inventor
박윤동
김원주
진영구
권동욱
김경일
김민호
이기상
이상보
이진경
최진욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120117760A priority Critical patent/KR101938648B1/ko
Priority to DE102013111558.6A priority patent/DE102013111558A1/de
Priority to CN201310504921.7A priority patent/CN103777750B/zh
Priority to US14/061,036 priority patent/US9829983B2/en
Publication of KR20140051572A publication Critical patent/KR20140051572A/ko
Application granted granted Critical
Publication of KR101938648B1 publication Critical patent/KR101938648B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

모바일 기기는 3차원 이미지 센서 및 디스플레이 장치를 포함한다. 3차원 이미지 센서는 모바일 기기의 제1 면에 장착되고, 피사체의 근접 여부를 감지하는 제1 센싱 및 피사체에 대한 거리 정보를 획득하여 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 수행한다. 디스플레이 장치는 모바일 기기의 제1 면에 장착되고, 제1 센싱의 결과 및 제2 센싱의 결과를 표시한다.

Description

이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법{MOBILE SYSTEM INCLUDING IMAGE SENSOR, METHOD OF OPERATING IMAGE SENSOR AND METHOD OF OPERATING MOBILE SYSTEM}
본 발명은 이미지 센서에 관한 것으로서, 더욱 상세하게는 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 이미지 센서를 포함하는 모바일 기기의 구동 방법에 관한 것이다.
이미지 센서는 영상(Image) 또는 거리(Distance, Depth) 정보를 포함하는 광 신호를 전기적인 신호로 변환하는 장치이다. 정밀하면서도 정확하게 원하는 정보를 제공하기 위하여 이미지 센서에 대한 연구가 진행 중이며, 특히, 영상 정보뿐만 아니라 거리 정보를 제공하는 3차원 이미지 센서(3D Image Sensor)에 대한 연구 및 개발이 활발하게 진행되고 있다. 3차원 이미지 센서는 동작 인식 또는 몸짓 인식(gesture recognition)을 수행하기 위해 주로 사용된다. 한편, 향후 모바일 기기에 3차원 디스플레이가 도입되면 공간 터치 방식의 사용자 인터페이스가 요구될 수 있으며, 이에 따라 3차원 이미지 센서를 모바일 기기에 효과적으로 장착하기 위한 기술 및 3차원 이미지 센서의 전력 소모를 감소시키기 위한 기술들이 개발되고 있다.
본 발명의 일 목적은 3차원 이미지 센서를 장착하여 크기 증가 없이 근접 감지 및 동작 인식을 수행할 수 있는 모바일 기기를 제공하는 것이다.
본 발명의 다른 목적은 근접 감지 및 동작 인식을 수행할 수 있는 이미지 센서의 구동 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 근접 감지 및 동작 인식을 수행할 수 있는 이미지 센서를 포함하는 모바일 기기의 구동 방법을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 모바일 기기는 3차원 이미지 센서 및 디스플레이 장치를 포함한다. 상기 3차원 이미지 센서는 모바일 기기의 제1 면에 장착되고, 피사체의 근접 여부를 감지하는 제1 센싱 및 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 수행한다. 상기 디스플레이 장치는 상기 모바일 기기의 제1 면에 장착되고, 상기 제1 센싱의 결과 및 상기 제2 센싱의 결과를 표시한다.
트리거 신호에 기초하여 상기 제1 센싱을 수행하는 제1 동작 모드가 활성화될 수 있다. 상기 제1 센싱의 결과 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제2 센싱을 선택적으로 수행할 수 있다.
상기 모바일 기기는 사용자의 입력을 수신하는 입력 장치를 더 포함할 수 있다. 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에, 상기 제2 센싱에 기초하여 제1 목표 동작을 수행하는 제2 동작 모드 및 상기 입력 장치에 의해 발생된 입력 신호에 기초하여 제2 목표 동작을 수행하는 제3 동작 모드 및 중 적어도 하나가 활성화될 수 있다.
일 실시예에서, 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제2 동작 모드가 활성화되며, 상기 제1 목표 동작에 기초하여 상기 모바일 기기의 동작 모드가 상기 제2 동작 모드로 유지되거나 상기 제2 동작 모드에서 상기 제3 동작 모드로 전환될 수 있다.
일 실시예에서, 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제3 동작 모드가 활성화되며, 상기 제2 목표 동작에 기초하여 상기 모바일 기기의 동작 모드가 상기 제3 동작 모드로 유지되거나 상기 제3 동작 모드에서 상기 제2 동작 모드로 전환될 수 있다.
일 실시예에서, 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제2 동작 모드 및 상기 제3 동작 모드가 동시에 활성화될 수 있다.
상기 모바일 기기는 2차원 이미지 센서를 더 포함할 수 있다. 상기 2차원 이미지 센서는 상기 모바일 기기의 제1 면에 장착되고, 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱을 수행할 수 있다.
트리거 신호에 기초하여 상기 제1 센싱을 수행하는 제1 동작 모드가 활성화될 수 있다. 상기 제1 센싱의 결과 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제2 센싱 및 상기 제3 센싱 중 적어도 하나를 수행할 수 있다.
상기 3차원 이미지 센서는 복수의 거리 픽셀들을 포함하고, 상기 제1 동작 모드에서 상기 복수의 거리 픽셀들 중 인접하는 제1 거리 픽셀들에 기초하여 상기 제1 센싱을 수행할 수 있다.
상기 3차원 이미지 센서는 복수의 거리 픽셀들을 포함하고, 상기 2차원 이미지 센서는 복수의 컬러 픽셀들을 포함할 수 있다. 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에, 상기 복수의 거리 픽셀들 중 부분 어레이(partial array)를 형성하고 인접하는 제1 거리 픽셀들에 기초하여 상기 제2 센싱을 수행하는 제2 동작 모드, 상기 복수의 거리 픽셀들에 기초하여 상기 제2 센싱을 수행하는 제3 동작 모드, 상기 복수의 컬러 픽셀들에 기초하여 상기 제3 센싱을 수행하는 제4 동작 모드, 및 상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들에 기초하여 상기 제2 센싱 및 상기 제3 센싱을 동시에 수행하는 제5 동작 모드 중 하나가 활성화될 수 있다.
일 실시예에서, 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제2 동작 모드가 활성화될 수 있다. 상기 제2 동작 모드에서 수행되는 상기 제2 센싱의 결과에 기초하여 상기 모바일 기기의 동작 모드가 상기 제2 동작 모드에서 상기 제3 내지 제5 동작 모드들 중 하나로 전환될 수 있다.
일 실시예에서, 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제3 동작 모드가 활성화될 수 있다. 상기 제3 동작 모드에서 수행되는 상기 제2 센싱의 결과에 기초하여 상기 모바일 기기의 동작 모드가 상기 제3 동작 모드로 유지되거나 상기 제3 동작 모드에서 상기 제4 및 제5 동작 모드들 중 하나로 전환될 수 있다.
일 실시예에서, 상기 제2 동작 모드가 활성화된 경우에 상기 복수의 컬러 픽셀들 중 적어도 일부에 기초하여 상기 제3 센싱을 더 수행할 수 있다.
일 실시예에서, 상기 3차원 이미지 센서 및 상기 2차원 이미지 센서는 하나의 집적 회로 칩으로 제조되거나 또는 두 개의 분리된 집적 회로 칩들로 제조될 수 있다.
일 실시예에서, 상기 3차원 이미지 센서는 복수의 거리 픽셀들을 포함하고, 상기 2차원 이미지 센서는 복수의 컬러 픽셀들을 포함할 수 있다. 상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들은 하나의 픽셀 어레이를 형성하거나 또는 두 개의 분리된 픽셀 어레이들을 형성할 수 있다.
일 실시예에서, 상기 3차원 이미지 센서는 광원(light source)부를 포함할 수 있다. 상기 광원부는, 상기 제1 센싱을 수행하는 경우에 비활성화되고 상기 제2 센싱을 수행하는 경우에 활성화될 수 있다.
일 실시예에서, 상기 3차원 이미지 센서는 광원부를 포함할 수 있다. 상기 광원부는, 상기 제1 센싱을 수행하는 경우에 저 휘도의 광을 방출하고, 상기 제2 센싱을 수행하는 경우에 고 휘도의 광을 방출할 수 있다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 3차원 이미지 센서의 구동 방법에서는, 트리거 신호에 기초하여 피사체의 근접 여부를 감지하는 제1 센싱을 수행한다. 상기 제1 센싱의 결과 상기 피사체가 3차원 이미지 센서에 근접한 것으로 판단된 경우에, 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 수행한다.
상기 제2 센싱에 기초하여 목표 동작을 더 수행할 수 있다.
상기 3차원 이미지 센서는 복수의 거리 픽셀들을 포함할 수 있다. 상기 복수의 거리 픽셀들 중 일부에 기초하여 상기 제1 센싱이 수행되며, 상기 복수의 거리 픽셀들 전부에 기초하여 상기 제2 센싱이 수행될 수 있다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 복수의 거리 픽셀들 및 복수의 컬러 픽셀들을 포함하는 이미지 센서의 구동 방법에서는, 트리거 신호에 기초하여 피사체의 근접 여부를 감지하는 제1 센싱을 수행한다. 상기 제1 센싱의 결과 상기 피사체가 상기 이미지 센서에 근접한 것으로 판단된 경우에, 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱 및 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱 중 적어도 하나를 수행한다.
상기 제2 센싱 및 상기 제3 센싱 중 적어도 하나를 선택적으로 수행하는데 있어서, 상기 복수의 거리 픽셀들 중 부분 어레이(partial array)를 형성하고 인접하는 제1 거리 픽셀들에 기초하여 상기 제2 센싱을 수행할 수 있다. 상기 복수의 거리 픽셀들에 기초하여 상기 제2 센싱을 수행할 수 있다. 상기 복수의 컬러 픽셀들에 기초하여 상기 제3 센싱을 수행할 수 있다. 상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들에 기초하여 상기 제2 센싱 및 상기 제3 센싱을 동시에 수행할 수 있다.
상기 제2 센싱 및 상기 제3 센싱 중 적어도 하나를 선택적으로 수행하는데 있어서, 상기 제1 거리 픽셀들을 기초로 수행된 상기 제2 센싱의 결과에 기초하여 상기 이미지 센서의 동작 모드를 변경할 수 있다.
상기 또 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 3차원 이미지 센서를 포함하는 모바일 기기의 구동 방법에서는, 트리거 신호에 기초하여 피사체의 근접 여부를 감지하는 제1 센싱을 수행한다. 상기 제1 센싱의 결과 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에, 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 선택적으로 수행한다.
상기 모바일 기기는 사용자의 입력을 수신하는 입력 장치를 더 포함할 수 있다. 상기 제2 센싱을 선택적으로 수행하는데 있어서, 상기 제2 센싱에 기초하여 제1 목표 동작을 수행할 수 있다. 상기 입력 장치에 의해 발생된 입력 신호에 기초하여 제2 목표 동작을 수행할 수 있다.
상기와 같은 본 발명의 실시예들에 따른 모바일 기기는, 근접 센서 및 깊이 센서를 모두 구비하지 않고 근접 감지 및 동작 인식을 수행하는 3차원 이미지 센서만을 구비함으로써, 근접 감지 기능을 가지면서 크기 증가 없이 동작 인식 기능을 추가적으로 가질 수 있다.
본 발명의 실시예들에 따른 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법에서는, 동작 모드에 따라서 복수의 거리 픽셀들의 일부 또는 전부 및 광원부가 선택적으로 활성화되며, 동작 모드에 따라서 복수의 컬러 픽셀들이 선택적으로 활성화됨으로써, 이미지 센서 및 모바일 기기의 전력 소모가 감소될 수 있다.
도 1은 본 발명의 실시예들에 따른 모바일 기기를 나타내는 평면도이다.
도 2는 도 1의 모바일 기기의 일 예를 나타내는 블록도이다.
도 3은 도 1의 모바일 기기에 포함되는 3차원 이미지 센서의 일 예를 나타내는 블록도이다.
도 4는 본 발명의 실시예들에 따른 이미지 센서의 구동 방법을 나타내는 순서도이다.
도 5a, 5b, 5c, 6a, 6b, 6c 및 6d는 도 4의 이미지 센서의 구동 방법을 설명하기 위한 도면들이다.
도 7a 및 7b는 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도들이다.
도 8a, 8b, 8c, 8d 및 8e는 도 7a 및 7b의 모바일 기기의 구동 방법을 설명하기 위한 도면들이다.
도 9a 및 9b는 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도들이다.
도 10a 및 10b는 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도들이다.
도 11a 및 11b는 도 10a 및 10b의 모바일 기기의 구동 방법을 설명하기 위한 도면들이다.
도 12a 및 12b는 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도들이다.
도 13은 본 발명의 실시예들에 따른 모바일 기기를 나타내는 평면도이다.
도 14는 도 13의 모바일 기기의 일 예를 나타내는 블록도이다.
도 15는 도 13의 모바일 기기에 포함되는 2차원 이미지 센서의 일 예를 나타내는 블록도이다.
도 16a 및 16b는 본 발명의 실시예들에 따른 이미지 센서의 구동 방법을 나타내는 순서도들이다.
도 17, 18a, 18b, 18c, 18d, 19a, 19b 및 20은 도 16a 및 16b의 이미지 센서의 구동 방법을 설명하기 위한 도면들이다.
도 21a 및 21b는 본 발명의 실시예들에 따른 이미지 센서의 구동 방법을 나타내는 순서도들이다.
도 22a 및 22b는 본 발명의 실시예들에 따른 이미지 센서의 구동 방법을 나타내는 순서도들이다.
도 23은 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도이다.
도 24는 본 발명의 실시예들에 따른 모바일 기기를 나타내는 평면도이다.
도 25는 도 24의 모바일 기기의 일 예를 나타내는 블록도이다.
도 26은 본 발명의 실시예들에 따른 모바일 기기를 나타내는 평면도이다.
도 27은 도 26의 모바일 기기의 일 예를 나타내는 블록도이다.
도 28은 도 27의 모바일 기기에 포함되는 이미지 센서의 일 예를 나타내는 블록도이다.
도 29a 및 29b는 도 28의 이미지 센서에 포함되는 센싱부의 예들을 나타내는 도면들이다.
도 30은 본 발명의 실시예들에 따른 모바일 기기에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 모바일 기기를 나타내는 평면도이다.
도 1을 참조하면, 모바일 기기(1000)는 3차원 이미지 센서(100) 및 디스플레이 장치(1041)를 포함한다. 모바일 기기(1000)는 터치 스크린(1044), 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048)를 더 포함할 수 있다.
3차원 이미지 센서(100)는 모바일 기기(1000)의 제1 면(예를 들어, 전면)에 장착된다. 3차원 이미지 센서(100)는 피사체의 근접 여부를 감지하는 제1 센싱 및 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 수행한다. 즉, 3차원 이미지 센서(100)는 근접 감지 기능 및 동작 인식 기능을 가질 수 있다.
3차원 이미지 센서(100)는 복수의 거리 픽셀들을 구비하는 센싱부(110) 및 적외선 광 또는 근적외선 광을 방출하는 광원부(140)를 포함할 수 있다. 광원부(140)는 동작 모드에 따라서 선택적으로 활성화되거나 다른 휘도의 광을 방출할 수 있다. 또한, 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들은 상기 동작 모드에 따라서 일부 또는 전부가 활성화될 수 있다. 3차원 이미지 센서(100)의 구체적인 동작 및 구조에 대해서는 후술하도록 한다.
일 실시예에서, 3차원 이미지 센서(100)는 TOF(Time of Flight) 방식, 스트럭처드 라이트(structured light) 또는 패턴드 라이트(patterned light) 방식, 인텐시티 맵(intensity map)을 이용하는 방식 등 광원을 필요로 하는 다양한 타입의 깊이 센서(depth sensor)들 중 하나일 수 있다.
도 1에서는 3차원 이미지 센서(100)가 모바일 기기(1000)의 전면의 좌측 상단부에 배치되는 것으로 도시하였으나, 3차원 이미지 센서(100)는 모바일 기기(1000) 내의 임의의 위치에 배치되어 근접 감지 및 동작 인식을 수행할 수 있다.
디스플레이 장치(1041)는 모바일 기기(1000)의 상기 제1 면에 장착되며, 상기 제1 센싱의 결과 및 상기 제2 센싱의 결과를 표시한다. 디스플레이 장치(1041)는 이미지(영상)를 표시하도록 구성된 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 디스플레이, FED(Field Emission Display) 등의 다양한 타입의 디스플레이 패널을 포함할 수 있다.
터치 스크린(1044) 및 버튼들(1043, 1045)은 사용자의 입력을 수신할 수 있으며, 상기 사용자의 입력에 기초하여 사용자가 의도한 기능(예를 들어, 목표 동작)을 수행하기 위한 입력 신호를 발생할 수 있다. 예를 들어, 사용자의 손가락, 스타일러스 펜 등이 터치 스크린(1044)의 표면에 접촉됨으로써 사용자가 의도한 기능이 수행될 수 있고, 사용자의 손가락 등이 버튼들(1043, 1045)을 누름으로써 사용자가 의도한 기능이 수행될 수 있다. 버튼(1043)은 모바일 기기(1000)를 활성화 또는 비활성화시키는 전원 버튼일 수 있다. 마이크(1047)는 음성 인식을 수행할 수 있고, 스피커(1048)는 음성 출력을 수행할 수 있다.
일 실시예에서, 터치 스크린(1044)은 정전용량(capacitive) 방식, 저항(resistive) 방식, 초음파 방식 등과 같은 다양한 방식의 터치 스크린들 중 하나일 수 있으며, 터치 스크린(1044)과 디스플레이 장치(1041)는 서로 중첩되도록 일체적으로 배치될 수 있다. 실시예에 따라서, 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048) 중 적어도 하나는 생략될 수 있다.
종래의 모바일 기기는, 근접 감지를 수행하는 근접 센서, 디스플레이 장치, 터치 스크린, 버튼, 마이크, 스피커 등과 같은, 모바일 기기의 전면에 장착되는 다양한 입출력 장치들을 포함하였다. 따라서, 모바일 기기에 동작 인식 기능을 추가하고자 하는 경우에, 모바일 기기의 크기 증가 없이 3차원 이미지 센서를 모바일 기기에 장착하기 어렵다는 문제가 있었다.
본 발명의 실시예들에 따른 모바일 기기(1000)는, 근접 감지 및 동작 인식을 수행하는 3차원 이미지 센서(100)를 포함한다. 3차원 이미지 센서(100)는 상기 제1 센싱을 수행하는 경우에 근접 센서로서 동작할 수 있으며, 상기 제2 센싱을 수행하는 경우에 일반적인 깊이 센서로서 동작할 수 있다. 모바일 기기(1000)가 근접 센서 및 깊이 센서를 모두 구비하지 않고 하나의 3차원 이미지 센서(100)만을 구비함으로써, 모바일 기기(1000)는 근접 감지 기능을 가지면서 크기 증가 없이 동작 인식 기능을 추가적으로 가질 수 있다. 또한 3차원 이미지 센서(100)는 동작 모드에 따라서 다른 방식으로 구동될 수 있다. 예를 들어, 상기 제1 센싱이 수행되는 경우에, 광원부(140)는 비활성화되거나 저 휘도의 광을 방출하고 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들은 일부만 활성화됨으로써, 3차원 이미지 센서(100) 및 모바일 기기(1000)의 전력 소모가 감소될 수 있다. 또한, 상기 제2 센싱이 수행되는 경우에, 광원부(140)는 활성화되거나 고 휘도의 광을 방출하고 상기 복수의 거리 픽셀들은 전부 활성화됨으로써, 3차원 이미지 센서(100) 및 모바일 기기(1000)는 피사체의 동작을 정확하게 인식할 수 있다.
도 2는 도 1의 모바일 기기의 일 예를 나타내는 블록도이다.
도 2를 참조하면, 모바일 기기(1000)는 어플리케이션 프로세서(1010), 통신(Connectivity)부(1020), 메모리 장치(1030), 3차원 이미지 센서(100), 사용자 인터페이스(1040) 및 파워 서플라이(1050)를 포함한다. 실시예에 따라서, 모바일 기기(1000)는 휴대폰(Mobile Phone), 스마트 폰(Smart Phone), 태블릿(Tablet) PC, 노트북(Laptop Computer), 개인 정보 단말기(Personal Digital Assistant; PDA), 휴대형 멀티미디어 플레이어(Portable Multimedia Player; PMP), 디지털 카메라(Digital Camera), 음악 재생기(Music Player), 휴대용 게임 콘솔(Portable Game Console), 네비게이션(Navigation) 시스템 등과 같은 임의의 모바일 기기일 수 있다.
어플리케이션 프로세서(1010)는 모바일 기기(1000)를 구동하기 위한 운영 체제(Operating System; OS)를 실행할 수 있다. 또한, 어플리케이션 프로세서(1010)는 인터넷 브라우저, 게임, 동영상 등을 제공하는 다양한 어플리케이션들을 실행할 수 있다. 실시예에 따라서, 어플리케이션 프로세서(1010)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 또한, 실시예에 따라서, 어플리케이션 프로세서(1010)는 내부 또는 외부에 위치한 캐시 메모리(Cache Memory)를 더 포함할 수 있다.
통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 예를 들어, 통신부(1020)는 범용 직렬 버스(Universal Serial Bus; USB) 통신, 이더넷(Ethernet) 통신, 근거리 무선 통신(Near Field Communication; NFC), 무선 식별(Radio Frequency Identification; RFID) 통신, 이동 통신(Mobile Telecommunication), 메모리 카드 통신 등을 수행할 수 있다. 예를 들어, 통신부(1020)는 베이스밴드 칩 셋(Baseband Chipset)을 포함할 수 있고, GSM, GPRS, WCDMA, HSxPA 등의 통신을 지원할 수 있다.
메모리 장치(1030)는 어플리케이션 프로세서(1010)에 의해 처리되는 데이터를 저장하거나, 동작 메모리(Working Memory)로서 작동할 수 있다. 또한, 메모리 장치(1030)는 모바일 기기(1000)를 부팅하기 위한 부트 이미지(boot image), 모바일 기기(1000)를 구동하기 위한 상기 운영 체제와 관련된 파일 시스템(file system), 모바일 기기(1000)와 연결되는 외부 장치와 관련된 장치 드라이버(device driver), 모바일 기기(1000)에서 실행되는 상기 어플리케이션 등을 저장할 수 있다. 예를 들어, 메모리 장치(1030)는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), 모바일 DRAM, DDR SDRAM, LPDDR SDRAM, GDDR SDRAM, RDRAM 등과 같은 휘발성 메모리를 포함할 수도 있고, EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리(Flash Memory), PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), NFGM(Nano Floating Gate Memory), PoRAM(Polymer Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) 등과 같은 비휘발성 메모리를 포함할 수도 있다.
3차원 이미지 센서(100)는 상기 제1 센싱 및 상기 제2 센싱을 수행할 수 있다. 예를 들어, 3차원 이미지 센서(100)는 상기 제1 센싱을 먼저 수행하고, 상기 제1 센싱의 결과에 기초하여 상기 제2 센싱을 항상 또는 선택적으로 수행할 수 있다.
사용자 인터페이스(1040)는 키패드, 버튼(도 1의 1043, 1045), 터치 스크린(도 1의 1044)과 같은 하나 이상의 입력 장치, 및/또는 스피커(도 1의 1048), 디스플레이 장치(도 1의 1041)와 같은 하나 이상의 출력 장치를 포함할 수 있다. 파워 서플라이(1050)는 모바일 기기(1000)의 동작 전압을 공급할 수 있다.
모바일 기기(1000) 또는 모바일 기기(1000)의 구성요소들은 다양한 형태들의 패키지를 이용하여 실장될 수 있는데, 예를 들어, PoP(Package on Package), BGAs(Ball grid arrays), CSPs(Chip scale packages), PLCC(Plastic Leaded Chip Carrier), PDIP(Plastic Dual In-Line Package), Die in Waffle Pack, Die in Wafer Form, COB(Chip On Board), CERDIP(Ceramic Dual In-Line Package), MQFP(Plastic Metric Quad Flat Pack), TQFP(Thin Quad Flat-Pack), SOIC(Small Outline Integrated Circuit), SSOP(Shrink Small Outline Package), TSOP(Thin Small Outline Package), TQFP(Thin Quad Flat-Pack), SIP(System In Package), MCP(Multi Chip Package), WFP(Wafer-level Fabricated Package), WSP(Wafer-Level Processed Stack Package) 등과 같은 패키지들을 이용하여 실장될 수 있다.
도 3은 도 1의 모바일 기기에 포함되는 3차원 이미지 센서의 일 예를 나타내는 블록도이다.
도 3을 참조하면, 3차원 이미지 센서(100)는 센싱부(110), 로우 구동부(RD)(120), 아날로그-디지털 변환(Analog-to-Digital Converting; ADC)부(130), 광원부(140), 디지털 신호 처리(Digital Signal Processing; DSP)부(150) 및 제어부(160)를 포함할 수 있다.
광원부(140)는 소정의 파장을 가진 광(TX)(예를 들어, 적외선 또는 근적외선)을 출력할 수 있다. 광원부(140)는 동작 모드에 따라서 선택적으로 활성화되거나 다른 휘도의 광을 방출할 수 있다.
광원부(140)는 광원(141) 및 렌즈(143)를 포함할 수 있다. 광원(141)은 광(TX)을 발생할 수 있다. 예를 들어, 광원(141)은 발광 다이오드(light emitting diode, LED), 레이저 다이오드 등으로 구현될 수 있다. 일 실시예에서, 광원(141)은 세기가 주기적으로 변하도록 변조된 광을 발생할 수 있다. 예를 들어, 방출되는 광(TX)의 세기는 연속적인 펄스들을 가지는 펄스 파, 사인 파, 코사인 파 등과 같은 형태를 가지도록 변조될 수 있다. 다른 실시예에서, 광원(141)은 세기가 일정한, 변조되지 않은 광을 발생할 수 있다. 렌즈(143)는 광원(141)에서 방출된 광(TX)을 피사체(180)에 집중시킬 수 있다. 광원부(140)에서 방출되는 광(TX)의 파형에 대해서는 도 6b, 6c 및 6d를 참조하여 후술하도록 한다.
센싱부(110)는 피사체(180)에서 반사되어 되돌아온 광(RX)을 수신하고 수신된 광(RX)을 전기적인 신호로 변환할 수 있다. 일 실시예에서, 수신된 광(RX)은 광원부(140)에서 방출되는 적외선 또는 근적외선(TX)에 기초하여 발생될 수 있다. 다른 실시예에서, 수신된 광(RX)은 주변 광(ambient light)에 포함되는 적외선 또는 근적외선에 기초하여 발생될 수 있다. 또 다른 실시예에서, 수신된 광(RX)은 주변 광에 포함되는 가시광선에 기초하여 발생될 수 있다. 또 다른 실시예에서, 수신된 광(RX)은 적외선 또는 근적외선 및 가시광선 모두에 기초하여 발생될 수 있다.
센싱부(110)는 복수의 거리 픽셀들(depth pixel)(111)을 포함할 수 있다. 복수의 거리 픽셀들(111)은 동작 모드에 따라서 일부 또는 전부가 활성화될 수 있다. 복수의 거리 픽셀들(111)은 픽셀 어레이의 형태로 배치되며, 3차원 이미지 센서(100)로부터 피사체(180)까지의 거리에 대한 정보를 제공할 수 있다. 예를 들어, 적외선 필터 또는 근적외선 필터가 복수의 거리 픽셀들(111) 상에 형성될 수 있다.
로우 구동부(120)는 센싱부(110)의 각 로우에 연결되고, 상기 각 로우를 구동하는 구동 신호를 생성할 수 있다. 예를 들어, 로우 구동부(120)는 센싱부(110)에 포함되는 복수의 거리 픽셀들(111)을 로우 단위로 구동할 수 있다.
ADC부(130)는 센싱부(110)의 각 컬럼에 연결되고, 센싱부(110)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 일 실시예에서, ADC부(130)는 복수의 아날로그-디지털 변환기들을 포함하며, 각 컬럼 라인마다 출력되는 아날로그 신호들을 병렬로(즉, 동시에) 디지털 신호들로 변환하는 컬럼 ADC를 수행할 수 있다. 다른 실시예에서, ADC부(130)는 단일의 아날로그-디지털 변환기를 포함하며, 상기 아날로그 신호들을 순차적으로 디지털 신호들로 변환하는 단일 ADC를 수행할 수 있다.
실시예에 따라서, ADC부(130)는 유효 신호 성분을 추출하기 위한 상관 이중 샘플링(Correlated Double Sampling; CDS)부를 포함할 수 있다. 일 실시예에서, 상기 CDS부는 리셋 성분을 나타내는 아날로그 리셋 신호와 신호 성분을 나타내는 아날로그 데이터 신호의 차이에 기초하여 상기 유효 신호 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다. 다른 실시예에서, 상기 CDS부는 상기 아날로그 리셋 신호와 상기 아날로그 데이터 신호를 디지털 신호들로 각각 변환한 후 상기 유효 신호 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다. 또 다른 실시예에서, 상기 CDS부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.
DSP부(150)는 ADC부(130)로부터 출력된 디지털 신호를 수신하고, 상기 디지털 신호에 대하여 이미지 데이터 처리를 수행할 수 있다. 예를 들어, DSP부(150)는 이미지 보간(Image Interpolation), 색 보정(Color Correction), 화이트 밸런스(White Balance), 감마 보정(Gamma Correction), 색 변환(Color Conversion) 등을 수행할 수 있다.
제어부(160)는 로우 구동부(120), ADC부(130), 광원부(140) 및 DSP부(150)를 제어할 수 있다. 제어부(160)는 로우 구동부(120), ADC부(130), 광원부(140) 및 DSP부(150)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다. 일 실시예에서, 제어부(160)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.
도 4는 본 발명의 실시예들에 따른 이미지 센서의 구동 방법을 나타내는 순서도이다. 도 4에 도시된 이미지 센서의 구동 방법은, 모바일 기기(1000)에 장착되어 근접 감지 및 동작 인식을 수행하는 3차원 이미지 센서(100)를 구동하는데 적용될 수 있다. 도 5a, 5b, 5c, 6a, 6b, 6c 및 6d는 도 4의 이미지 센서의 구동 방법을 설명하기 위한 도면들이다. 도시의 편의상, 도 5a, 5b, 5c 및 6a에서 이미지 센서(100) 및 디스플레이 장치(1041)만이 나타나도록 모바일 기기를 도시하였다.
도 1, 4, 5a, 5b, 5c, 6a, 6b, 6c 및 6d를 참조하면, 이미지 센서를 구동하는데 있어서, 트리거 신호가 활성화되었는지 여부를 판단한다(단계 S110). 예를 들어, 도 5a에 도시된 것처럼, 동작 초기에 모바일 기기(1000) 및 3차원 이미지 센서(100)는 비활성화되어 있다. 사용자가 전원 버튼(1043)을 눌러서 모바일 기기(1000)를 활성화시키거나 모바일 기기(1000)가 휴대폰 또는 스마트 폰인 경우에 다른 사용자로부터 전화가 걸려 오는 것과 같이, 모바일 기기(1000)가 조만간 사용될 예정인 것으로 판단된 경우에 상기 트리거 신호가 활성화될 수 있다.
상기 트리거 신호가 비활성화된 경우에(단계 S110: 아니오), 3차원 이미지 센서(100)는 상기 트리거 신호의 활성화를 계속 대기한다.
상기 트리거 신호가 활성화된 경우에(단계 S110: 예), 제1 동작 모드(예를 들어, 근접 감지 모드)가 활성화된다. 3차원 이미지 센서(100)는 피사체의 근접 여부를 감지하는 제1 센싱을 수행한다(단계 S120). 예를 들어, 도 5b에 도시된 것처럼 다른 사용자로부터 전화가 걸려 오는 경우에, 상기 트리거 신호가 활성화되고 상기 제1 동작 모드가 활성화되며 상기 제1 센싱이 수행될 수 있다. 도 5b의 실시예에서, 상기 제1 동작 모드가 활성화되는 경우에, 광원부(140)는 비활성화되어 광을 방출하지 않을 수 있다. 또한 센싱부(110)에 포함되는 복수의 거리 픽셀들 중 일부, 예를 들어 서로 인접하는 제1 거리 픽셀들만이 활성화될 수 있다. 상기 활성화된 제1 거리 픽셀들에 기초하여 상기 제1 센싱이 수행되며, 상기 활성화된 제1 거리 픽셀들은 주변 광에 포함되는 적외선 또는 근적외선에 기초하여 상기 피사체의 근접 여부에 대한 정보를 제공할 수 있다. 예를 들어, 상기 제1 거리 픽셀들은 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들 중 하나의 로우 또는 하나의 컬럼에 배치되는 거리 픽셀들의 전부 또는 일부일 수 있다.
상기 제1 센싱에 기초하여 상기 피사체의 근접 여부를 판단한다(단계 S130). 예를 들어, 상기 피사체가 3차원 이미지 센서(100)에 근접하지 않은 경우(즉, 상기 피사체와 3차원 이미지 센서(100)의 거리가 기준 거리보다 큰 경우)와 상기 피사체가 3차원 이미지 센서(100)에 근접한 경우(즉, 상기 피사체와 3차원 이미지 센서(100)의 거리가 기준 거리보다 작은 경우)에 센싱부(110)에 입사되는 적외선 또는 근적외선의 양은 서로 다를 수 있다. 상기 활성화된 제1 거리 픽셀들은 입사되는 적외선 또는 근적외선의 양의 변화를 감지하여 상기 피사체의 근접 여부에 대한 정보를 제공할 수 있다.
상기 피사체가 3차원 이미지 센서(100)에 근접하지 않은 것으로 판단된 경우에(단계 S130: 아니오), 3차원 이미지 센서(100)는 상기 제1 센싱을 계속 수행한다.
상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에(단계 S130: 예), 제2 동작 모드(예를 들어, 3D 동작 모드 또는 거리 모드)가 활성화된다. 3차원 이미지 센서(100)는 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식하는 제2 센싱을 수행한다(단계 S140). 예를 들어, 도 5c에 도시된 것처럼 다른 사용자로부터 전화가 걸려 오는 도중에 피사체(180)가 3차원 이미지 센서(100)에 근접하는 경우에, 상기 제2 동작 모드가 활성화될 수 있다. 도 5c의 실시예에서, 상기 제2 동작 모드가 활성화되는 경우에, 광원부(140)는 활성화되어 광(예를 들어, 고 휘도의 광)을 방출할 수 있다. 또한 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들 전부가 활성화될 수 있다. 상기 활성화된 복수의 거리 픽셀들에 기초하여 상기 제2 센싱이 수행될 수 있다. 상기 활성화된 복수의 거리 픽셀들은 광원부(140)에서 방출된 후 피사체에서 반사되어 되돌아온 광에 기초하여 상기 피사체에 대한 거리 정보 및 상기 피사체의 움직임에 대한 정보를 제공할 수 있다.
모바일 기기(1000)는 상기 제2 센싱에 기초하여 목표 동작을 수행한다(단계 S150). 예를 들어, 상기 목표 동작은 동작 인식에 기초하여 메뉴 및/또는 어플리케이션을 선택 또는 실행하는 동작(예를 들어, 3D 인터페이스 동작), 실행된 메뉴 및/또는 어플리케이션 상에서 동작 인식에 기초하여 사용자가 의도한 기능을 수행하는 동작(예를 들어, 게임 조작 또는 멀티미디어 파일 재생 등과 같은 3D 응용 동작), 3차원 입체 영상을 촬영하는 동작(예를 들어, 3D 촬영 동작) 등과 같은 다양한 동작들 중 하나일 수 있다.
한편, 도 5b의 실시예와 다르게, 상기 제1 동작 모드가 활성화되는 경우에, 광원부(140)는 활성화될 수 있다. 예를 들어, 도 6a에 도시된 것처럼 다른 사용자로부터 전화가 걸려 오는 경우에, 상기 트리거 신호가 활성화되고 상기 제1 동작 모드가 활성화될 수 있다. 도 6a의 실시예에서, 상기 제1 동작 모드가 활성화되는 경우에, 광원부(140)는 활성화되어 광(예를 들어, 저 휘도의 광)을 방출할 수 있다. 센싱부(110)에 포함되는 복수의 거리 픽셀들 중 상기 제1 거리 픽셀들만이 활성화되고, 상기 활성화된 제1 거리 픽셀들에 기초하여 상기 제1 센싱이 수행될 수 있다. 상기 활성화된 제1 거리 픽셀들은 광원부(140)에서 방출된 후 피사체에서 반사되어 되돌아온 광에 기초하여 상기 피사체의 근접 여부에 대한 정보를 제공할 수 있다.
광원부(140)가 상기 제1 동작 모드 및 상기 제2 동작 모드에서 모두 활성화되는 경우에, 광원부(140)는 동작 모드에 따라서 다른 휘도의 광을 방출할 수 있다. 예를 들어, 도 6b에 도시된 것처럼 광원부(140)는 상기 제2 센싱이 수행되는 상기 제2 동작 모드에서 고 휘도의 광(TXH)을 방출할 수 있다. 고 휘도의 광(TXH)은 진폭(A1)에 상응하는 휘도를 가지며, 세기가 주기적으로 변하도록(즉, 펄스 파와 같이 연속적인 펄스들을 가지도록) 변조될 수 있다. 일 실시예에서, 도 6c에 도시된 것처럼 광원부(140)는 상기 제1 센싱이 수행되는 상기 제1 동작 모드에서 저 휘도의 광(TXL1)을 방출할 수 있다. 저 휘도의 광(TXL1)은 진폭(A2)에 상응하는 휘도를 가지며, 세기가 주기적으로 변하도록 변조될 수 있다. 다른 실시예에서, 도 6d에 도시된 것처럼 광원부(140)는 상기 제1 센싱이 수행되는 상기 제1 동작 모드에서 저 휘도의 광(TXL2)을 방출할 수 있다. 저 휘도의 광(TXL2)은 진폭(A2)에 상응하는 휘도를 가지며, 변조되지 않고 일정한 세기를 가짐으로써, 상기 제1 동작 모드에서 3차원 이미지 센서(100) 및 모바일 기기(1000)의 전력 소모가 더욱 감소될 수 있다.
한편, 도 7a, 7b, 10a, 10b, 12a 및 12b를 참조하여 후술하는 것처럼, 상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에(단계 S130: 예), 3차원 이미지 센서(100)는 상기 제2 센싱을 선택적으로 수행할 수도 있다.
한편, 실시예에 따라서, 도 4의 이미지 센서의 구동 방법은 3차원 이미지 센서(100)를 포함하는 모바일 기기(1000)를 구동하는데 적용될 수도 있다.
도 7a 및 7b는 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도들이다. 도 7a 및 7b에 도시된 모바일 기기의 구동 방법은, 근접 감지 및 동작 인식을 수행하는 3차원 이미지 센서(100)와 터치 스크린(1044) 및 버튼들(1043, 1045)과 같은 입력 장치를 포함하는 모바일 기기(1000)를 구동하는데 적용될 수 있다. 도 8a, 8b, 8c, 8d 및 8e는 도 7a 및 7b의 모바일 기기의 구동 방법을 설명하기 위한 도면들이다. 도시의 편의상, 도 8a, 8b, 8c, 8d 및 8e에서 이미지 센서(100), 디스플레이 장치(1041), 전원 버튼(1043) 및 터치 스크린(1044)만이 나타나도록 모바일 기기를 도시하였다.
도 1, 7a, 7b, 8a, 8b, 8c, 8d 및 8e를 참조하면, 모바일 기기를 구동하는데 있어서, 트리거 신호가 활성화되었는지 여부를 판단한다(단계 S110). 상기 트리거 신호가 비활성화된 경우에(단계 S110: 아니오), 모바일 기기(1000)는 상기 트리거 신호의 활성화를 계속 대기한다. 상기 트리거 신호가 활성화된 경우에(단계 S110: 예), 제1 동작 모드(예를 들어, 근접 감지 모드)가 활성화되며(단계 S115), 제1 센싱이 수행된다(단계 S120). 예를 들어, 도 8a에 도시된 것처럼 사용자가 전원 버튼(1043)을 누르는 경우에, 상기 트리거 신호가 활성화되고 상기 제1 동작 모드가 활성화되며 상기 제1 센싱이 수행될 수 있다. 상기 제1 센싱에 기초하여 피사체의 근접 여부를 판단한다(단계 S130). 단계 S110, S120 및 S130은 도 4의 단계 S110, S120 및 S130과 각각 실질적으로 동일할 수 있다.
상기 피사체가 3차원 이미지 센서(100)에 근접하지 않은 것으로 판단된 경우에(단계 S130: 아니오), 3차원 이미지 센서(100)는 상기 제1 센싱을 계속 수행한다.
상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에(단계 S130: 예), 제2 동작 모드(예를 들어, 3D 동작 모드)가 활성화된다(단계 S210). 3차원 이미지 센서(100)는 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식하는 제2 센싱을 수행한다(단계 S220). 모바일 기기(1000)는 상기 제2 센싱에 기초하여 제1 목표 동작을 수행한다(단계 S230). 예를 들어, 피사체(180)가 3차원 이미지 센서(100)에 근접하는 경우에, 도 8b 및 8d에 도시된 것처럼 메뉴 및/또는 어플리케이션을 선택하는 화면이 디스플레이 장치(1041)에 표시되며, 상기 3D 동작 모드가 활성화될 수 있다. 광원부(140)는 활성화되어 광(예를 들어, 고 휘도의 광)을 방출할 수 있다. 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들 전부가 활성화될 수 있다. 3차원 이미지 센서(100)는, 메뉴 및/또는 어플리케이션 아이콘을 공간 상에서 집거나(pick up) 클릭하는(click) 것과 같은, 피사체(180)의 움직임을 인식하는 상기 제2 센싱을 수행할 수 있다. 모바일 기기(1000)는 상기 제2 센싱에 기초하여 메뉴 및/또는 어플리케이션을 선택 또는 실행할 수 있다. 즉, 상기 제1 목표 동작은 상기 제2 센싱에 기초하여 메뉴 및/또는 어플리케이션을 선택 또는 실행하는 3D 인터페이스 동작일 수 있다.
상기 제1 목표 동작에 기초하여 모바일 기기(1000)의 동작 모드가 변경 또는 유지된다(단계 S235).
상기 제1 목표 동작의 결과 터치 스크린(1044) 및 버튼들(1043, 1045)과 같은 입력 장치에 의한 동작이 요구되는 경우에(단계 S235: U2), 제3 동작 모드(예를 들어, 2D 동작 모드)가 활성화된다(단계 S240). 상기 입력 장치는 사용자의 입력에 기초하여 입력 신호를 발생한다(단계 S250). 모바일 기기(1000)는 상기 입력 신호에 기초하여 제2 목표 동작을 수행한다(단계 S260). 예를 들어, 도 8b에 도시된 것처럼 문자 어플리케이션이 선택된 경우에, 도 8c에 도시된 것처럼 문자 입력 화면이 디스플레이 장치(1041)에 표시되며, 상기 2D 동작 모드가 활성화될 수 있다. 터치 스크린(1044)은, 사용자의 손(180)이 터치 스크린(1044)에 접촉되는 것과 같은, 터치 이벤트에 기초하여 상기 입력 신호를 발생할 수 있다. 모바일 기기(1000)는 상기 입력 신호에 기초하여 문자를 입력할 수 있다. 즉, 상기 제2 목표 동작은 실행된 메뉴 및/또는 어플리케이션 상에서 상기 입력 장치에 기초하여 사용자가 의도한 기능을 수행하는 동작(예를 들어, 문자 입력 등과 같은 2D 응용 동작)일 수 있다. 한편, 상기 제3 동작 모드에서 광원부(140) 및 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들은 비활성화될 수 있다.
상기 제1 목표 동작의 결과 여전히 상기 제2 센싱이 요구되는 경우에(단계 S235: U3), 상기 제2 동작 모드가 유지된다(단계 S270). 3차원 이미지 센서(100)는 상기 제2 센싱을 수행한다(단계 S280). 모바일 기기(1000)는 상기 제2 센싱에 기초하여 제3 목표 동작을 수행한다(단계 S290). 예를 들어, 도 8d에 도시된 것처럼 카메라 어플리케이션이 선택된 경우에, 도 8e에 도시된 것처럼 3차원 이미지 센서(100)는 상기 제2 센싱을 수행하여 3차원 입체 영상을 촬영할 수 있다. 즉, 상기 제3 목표 동작은 3차원 입체 영상을 촬영하는 3D 촬영 동작일 수 있다. 실시예에 따라서, 상기 제3 목표 동작은 동작 인식에 기초하여 사용자가 의도한 기능을 수행하는 3D 응용 동작일 수도 있고, 상기 제1 목표 동작과 실질적으로 동일한 3D 인터페이스 동작일 수도 있다. 한편, 광원부(140) 및 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들은 활성화 상태를 유지할 수 있다.
도 7a 및 7b의 실시예에서, 상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에 상기 3D 동작 모드가 활성화되며, 상기 3D 동작 모드에서 수행되는 상기 3D 인터페이스 동작에 기초하여 모바일 기기(1000)의 동작 모드가 상기 3D 동작 모드로 유지되거나 상기 3D 동작 모드에서 상기 2D 동작 모드로 전환될 수 있다.
한편, 도시하지는 않았지만, 단계 S220에서 상기 복수의 거리 픽셀들 중 부분 어레이(partial array)를 형성하는 거리 픽셀들에 기초하여 제2 센싱을 수행함으로써, 3차원 이미지 센서(100) 및 모바일 기기(1000)의 전력 소모가 더욱 감소될 수 있다.
도 9a 및 9b는 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도들이다.
도 9a 및 9b를 참조하면, 모바일 기기를 구동하는데 있어서, 도 7a 및 7b의 실시예와 비교하였을 때 단계 S215, S265 및 S295가 더 포함될 수 있다. 도 9a 및 도 9b의 단계 S110, S115, S120, S130, S210, S220, S230, S240, S250, S260, S270, S280 및 S290은 도 7a 및 7b의 단계 S110, S115, S120, S130, S210, S220, S230, S240, S250, S260, S270, S280 및 S290과 각각 실질적으로 동일할 수 있으며, 중복되는 설명은 생략하도록 한다.
상기 제2 동작 모드가 활성화된 이후에(단계 S210), 제1 종료 커맨드가 발생하였는지 여부를 판단한다(단계 S215). 상기 제1 종료 커맨드가 발생되지 않은 경우에(단계 S215: 아니오), 3차원 이미지 센서(100)는 상기 제2 센싱을 수행한다(단계 S220). 상기 제1 종료 커맨드가 발생된 경우에(단계 S215: 예), 상기 제2 동작 모드가 종료되고 상기 제1 동작 모드가 다시 활성화된다(단계 S115). 예를 들어, 도 8b 및 8d에 도시된 것과 같은 메뉴 및/또는 어플리케이션을 선택 또는 실행하는 화면이 사라지고 동작 인식이 종료되며, 근접 감지가 다시 수행될 수 있다.
상기 제2 목표 동작이 수행된 이후에(단계 S260), 제2 종료 커맨드가 발생하였는지 여부를 판단한다(단계 S265). 상기 제2 종료 커맨드가 발생되지 않은 경우에(단계 S265: 아니오), 상기 사용자의 입력을 대기하고, 상기 사용자의 입력이 발생된 경우에 상기 입력 신호를 발생하고(단계 S250) 상기 제2 목표 동작을 수행하는(단계 S260) 동작을 반복한다. 상기 제2 종료 커맨드가 발생된 경우에(단계 S265: 예), 상기 제3 동작 모드가 종료되고 상기 제2 동작 모드가 다시 활성화된다(단계 S210). 예를 들어, 도 8c에 도시된 것과 같은 문자 입력 화면이 사라지며, 도 8b 및 8d에 도시된 것과 같은 메뉴 및/또는 어플리케이션을 선택 또는 실행하는 화면이 나타나고 3D 인터페이스 동작을 위한 동작 인식이 다시 수행될 수 있다.
상기 제3 목표 동작이 수행된 이후에(단계 S290), 제3 종료 커맨드가 발생하였는지 여부를 판단한다(단계 S295). 상기 제3 종료 커맨드가 발생되지 않은 경우에(단계 S295: 아니오), 상기 피사체의 움직임을 대기하고, 상기 피사체의 움직임이 발생된 경우에 상기 제2 센싱을 수행하고(단계 S280) 상기 제3 목표 동작을 수행하는(단계 S290) 동작을 반복한다. 상기 제3 종료 커맨드가 발생된 경우에(단계 S295: 예), 단계 S210으로 돌아가서 상기 제2 동작 모드가 다시 활성화된다. 예를 들어, 도 8e에 도시된 것과 같은 영상 촬영 화면이 사라지며, 도 8b 및 8d에 도시된 것과 같은 메뉴 및/또는 어플리케이션을 선택 또는 실행하는 화면이 나타나고 3D 인터페이스 동작을 위한 동작 인식이 다시 수행될 수 있다.
도 10a 및 10b는 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도들이다. 도 10a 및 10b에 도시된 모바일 기기의 구동 방법은, 3차원 이미지 센서(100) 및 입력 장치를 포함하는 모바일 기기(1000)를 구동하는데 적용될 수 있다. 도 11a 및 11b는 도 10a 및 10b의 모바일 기기의 구동 방법을 설명하기 위한 도면들이다. 도시의 편의상, 도 11a 및 11b에서 이미지 센서(100), 디스플레이 장치(1041), 전원 버튼(1043) 및 터치 스크린(1044)만이 나타나도록 모바일 기기를 도시하였다.
도 1, 10a, 10b, 11a 및 11b를 참조하면, 모바일 기기를 구동하는데 있어서, 트리거 신호가 활성화되었는지 여부를 판단한다(단계 S110). 상기 트리거 신호가 비활성화된 경우에(단계 S110: 아니오), 모바일 기기(1000)는 상기 트리거 신호의 활성화를 계속 대기한다. 상기 트리거 신호가 활성화된 경우에(단계 S110: 예), 제1 동작 모드(예를 들어, 근접 감지 모드)가 활성화되고(단계 S115), 제1 센싱이 수행되며(단계 S120), 피사체의 근접 여부가 판단된다(단계 S130). 단계 S110, S115, S120 및 S130은 도 7a의 단계 S110, S115, S120 및 S130과 각각 실질적으로 동일할 수 있다.
상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에(단계 S130: 예), 제3 동작 모드(예를 들어, 2D 동작 모드)가 활성화된다(단계 S310). 터치 스크린(1044) 및 버튼들(1043, 1045)과 같은 입력 장치는 사용자의 입력에 기초하여 입력 신호를 발생한다(단계 S320). 모바일 기기(1000)는 상기 입력 신호에 기초하여 제1 목표 동작을 수행한다(단계 S330). 예를 들어, 피사체(180)가 3차원 이미지 센서(100)에 근접하는 경우에, 도 11a 및 11b에 도시된 것처럼 메뉴 및/또는 어플리케이션을 선택하는 화면이 디스플레이 장치(1041)에 표시되며, 상기 2D 동작 모드가 활성화될 수 있다. 터치 스크린(1044)은, 사용자의 손(180)이 터치 스크린(1044)에 접촉되는 것과 같은, 터치 이벤트에 기초하여 상기 입력 신호를 발생할 수 있다. 모바일 기기(1000)는 상기 입력 신호에 기초하여 메뉴 및/또는 어플리케이션을 선택 또는 실행할 수 있다. 즉, 상기 제1 목표 동작은 상기 입력 장치에 기초하여 메뉴 및/또는 어플리케이션을 선택 또는 실행하는 동작(예를 들어, 2D 인터페이스 동작)일 수 있다. 한편, 상기 제3 동작 모드에서 광원부(140) 및 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들은 비활성화될 수 있다.
상기 제1 목표 동작에 기초하여 모바일 기기(1000)의 동작 모드가 변경 또는 유지된다(단계 S335).
상기 제1 목표 동작의 결과 상기 제2 센싱이 요구되는 경우에(단계 S335: U3), 제2 동작 모드(예를 들어, 3D 동작 모드)가 활성화된다(단계 S340). 3차원 이미지 센서(100)는 상기 제2 센싱을 수행한다(단계 S350). 모바일 기기(1000)는 상기 제2 센싱에 기초하여 제2 목표 동작을 수행한다(단계 S360). 예를 들어, 도 11b에 도시된 것처럼 카메라 어플리케이션이 선택된 경우에, 상기 3D 동작 모드가 활성화될 수 있다. 상기 3D 동작 모드에서 광원부(140)는 활성화되어 광(예를 들어, 고 휘도의 광)을 방출하고 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들 전부가 활성화될 수 있다. 도 8e에 도시된 것처럼 3차원 이미지 센서(100)는 상기 제2 센싱을 수행하여 3차원 입체 영상을 촬영할 수 있다. 즉, 상기 제2 목표 동작은 3차원 입체 영상을 촬영하는 3D 촬영 동작일 수 있다. 실시예에 따라서, 상기 제2 목표 동작은 동작 인식에 기초하여 사용자가 의도한 기능을 수행하는 3D 응용 동작일 수도 있다.
상기 제1 목표 동작의 결과 여전히 상기 입력 장치에 의한 동작이 요구되는 경우에(단계 S335: U2), 상기 제3 동작 모드(예를 들어, 2D 동작 모드)가 활성화된다(단계 S370). 상기 입력 장치는 사용자의 입력에 기초하여 입력 신호를 발생한다(단계 S380). 모바일 기기(1000)는 상기 입력 신호에 기초하여 제3 목표 동작을 수행한다(단계 S390). 예를 들어, 도 11a에 도시된 것처럼 문자 어플리케이션이 선택된 경우에, 도 8c에 도시된 것처럼 문자 입력 화면이 디스플레이 장치(1041)에 표시될 수 있다. 터치 스크린(1044)은 터치 이벤트에 기초하여 상기 입력 신호를 발생하며, 모바일 기기(1000)는 상기 입력 신호에 기초하여 문자를 입력할 수 있다. 즉, 상기 제3 목표 동작은 상기 입력 장치에 기초하여 사용자가 의도한 기능을 수행하는 2D 응용 동작일 수 있다. 실시예에 따라서, 상기 제3 목표 동작은 상기 제1 목표 동작과 실질적으로 동일한 2D 인터페이스 동작일 수도 있다. 한편, 광원부(140) 및 센싱부(110)에 포함되는 상기 복수의 거리 픽셀들은 비활성화 상태를 유지할 수 있다.
도 10a 및 10b의 실시예에서, 상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에 상기 2D 동작 모드가 활성화되며, 상기 2D 동작 모드에서 수행되는 상기 2D 인터페이스 동작에 기초하여 모바일 기기(1000)의 동작 모드가 상기 2D 동작 모드로 유지되거나 상기 2D 동작 모드에서 상기 3D 동작 모드로 전환될 수 있다.
도 10a 및 10b에 도시하지는 않았지만, 모바일 기기를 구동하는데 있어서, 도 9a 및 9b의 실시예와 유사하게 제1 종료 커맨드가 발생하였는지 여부를 판단하는 단계, 제2 종료 커맨드가 발생하였는지 여부를 판단하는 단계, 및 제3 종료 커맨드가 발생하였는지 여부를 판단하는 단계가 더 포함될 수 있다.
도 12a 및 12b는 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도들이다. 도 12a 및 12b에 도시된 모바일 기기의 구동 방법은, 3차원 이미지 센서(100) 및 입력 장치를 포함하는 모바일 기기(1000)를 구동하는데 적용될 수 있다.
도 1, 12a 및 12b를 참조하면, 모바일 기기를 구동하는데 있어서, 트리거 신호가 활성화되었는지 여부를 판단한다(단계 S110). 상기 트리거 신호가 비활성화된 경우에(단계 S110: 아니오), 모바일 기기(1000)는 상기 트리거 신호의 활성화를 계속 대기한다. 상기 트리거 신호가 활성화된 경우에(단계 S110: 예), 제1 동작 모드(예를 들어, 근접 감지 모드)가 활성화되고(단계 S115), 제1 센싱이 수행되며(단계 S120), 피사체의 근접 여부가 판단된다(단계 S130). 단계 S110, S115, S120 및 S130은 도 7a의 단계 S110, S115, S120 및 S130과 각각 실질적으로 동일할 수 있다.
상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에(단계 S130: 예), 제2 동작 모드(예를 들어, 3D 동작 모드) 및 제3 동작 모드(예를 들어, 2D 동작 모드)가 동시에 활성화된다(단계 S410). 상기 제2 센싱이 수행되거나, 사용자의 입력에 기초하여 입력 신호가 발생된다(단계 S420). 상기 제2 센싱 또는 상기 입력 신호에 기초하여 제1 목표 동작이 수행된다(단계 S430). 예를 들어, 피사체(180)가 3차원 이미지 센서(100)에 근접하는 경우에, 메뉴 및/또는 어플리케이션을 선택하는 화면이 디스플레이 장치(1041)에 표시되며, 상기 3D 동작 모드 및 상기 2D 동작 모드가 동시에 활성화될 수 있다. 이 때, 도 8b 및 8d에 도시된 것처럼 피사체(180)의 움직임을 인식하는 상기 제2 센싱이 수행될 수도 있고, 도 11a 및 11b에 도시된 것처럼 터치 이벤트에 기초하여 상기 입력 신호가 발생될 수도 있다. 모바일 기기(1000)는 상기 제2 센싱 또는 상기 입력 신호에 기초하여 메뉴 및/또는 어플리케이션을 선택 또는 실행할 수 있다. 즉, 상기 제1 목표 동작은 3D 인터페이스 동작 또는 2D 인터페이스 동작일 수 있다.
상기 제1 목표 동작에 기초하여 상기 모바일 기기의 동작 모드들 중 하나가 선택된다(단계 S435). 상기 제1 목표 동작의 결과 상기 제2 센싱이 요구되는 경우에(단계 S435: U3), 상기 제2 동작 모드가 선택되고(단계 S440), 3차원 이미지 센서(100)는 상기 제2 센싱을 수행하며(단계 S450), 모바일 기기(1000)는 상기 제2 센싱에 기초하여 제2 목표 동작을 수행한다(단계 S460). 상기 제1 목표 동작의 결과 상기 입력 장치에 의한 동작이 요구되는 경우에(단계 S435: U2), 상기 제3 동작 모드가 선택되고(단계 S470), 상기 입력 장치는 사용자의 입력에 기초하여 입력 신호를 발생하며(단계 S480), 모바일 기기(1000)는 상기 입력 신호에 기초하여 제3 목표 동작을 수행한다(단계 S490).
도 13은 본 발명의 실시예들에 따른 모바일 기기를 나타내는 평면도이다.
도 13을 참조하면, 모바일 기기(1100)는 3차원 이미지 센서(100), 2차원 이미지 센서(200) 및 디스플레이 장치(1041)를 포함한다. 모바일 기기(1100)는 터치 스크린(1044), 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048)를 더 포함할 수 있다.
도 1의 모바일 기기(1000)와 비교하였을 때, 도 13의 모바일 기기(1100)는 2차원 이미지 센서(200)를 더 포함할 수 있다.
3차원 이미지 센서(100)는 모바일 기기(1100)의 제1 면(예를 들어, 전면)에 장착되며, 피사체의 근접 여부를 감지하는 제1 센싱 및 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 수행한다. 3차원 이미지 센서(100)는 복수의 거리 픽셀들을 구비하는 제1 센싱부(110) 및 적외선 광 또는 근적외선 광을 방출하는 광원부(140)를 포함할 수 있다.
2차원 이미지 센서(200)는 모바일 기기(1100)의 상기 제1 면에 장착되며, 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱을 수행할 수 있다. 2차원 이미지 센서(200)는 복수의 컬러 픽셀들을 구비하는 제2 센싱부(210)를 포함할 수 있다.
도 13의 실시예에서, 3차원 이미지 센서(100) 및 2차원 이미지 센서(200)는 두 개의 분리된 집적 회로 칩들로 제조될 수 있다. 즉, 모바일 기기(1100)는 두 개의 센싱 모듈들을 포함할 수 있다. 이 경우, 상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들은 두 개의 분리된 픽셀 어레이들을 형성할 수 있다.
디스플레이 장치(1041)는 모바일 기기(1100)의 상기 제1 면에 장착되며, 상기 제1 센싱의 결과, 상기 제2 센싱의 결과 및 상기 제3 센싱의 결과를 표시한다.
본 발명의 실시예들에 따른 모바일 기기(1100)는, 상기 제1 센싱 및 상기 제2 센싱을 수행하는 3차원 이미지 센서(100)를 포함함으로써, 근접 감지 기능을 가지면서 크기 증가 없이 동작 인식 기능을 추가적으로 가질 수 있다. 또한, 3차원 이미지 센서(100)는 동작 모드에 따라서 제1 센싱부(110)에 포함되는 복수의 거리 픽셀들의 일부 또는 전부 및 광원부(140)가 선택적으로 활성화되며, 2차원 이미지 센서는 동작 모드에 따라서 선택적으로 활성화될 수 있다. 따라서, 이미지 센서들(100, 200) 및 모바일 기기(1100)의 전력 소모가 감소될 수 있다.
한편, 2차원 이미지 센서(200)가 비활성화된 경우에, 모바일 기기(1100)는 도 1의 모바일 기기(1000)와 실질적으로 동일할 수 있다. 이 경우, 실시예에 따라서, 모바일 기기(1100)는 도 4 내지 11을 참조하여 상술한 실시예들에 기초하여 구동될 수도 있다.
도 14는 도 13의 모바일 기기의 일 예를 나타내는 블록도이다.
도 14를 참조하면, 모바일 기기(1100)는 어플리케이션 프로세서(1010), 통신부(1020), 메모리 장치(1030), 3차원 이미지 센서(100), 2차원 이미지 센서(200), 사용자 인터페이스(1040) 및 파워 서플라이(1050)를 포함한다.
도 2의 모바일 기기(1000)와 비교하였을 때, 도 14의 모바일 기기(1100)는 2차원 이미지 센서(200)를 더 포함할 수 있다.
3차원 이미지 센서(100)는 상기 제1 센싱 및 상기 제2 센싱을 수행할 수 있고, 2차원 이미지 센서(200)는 상기 제3 센싱을 수행할 수 있다. 예를 들어, 3차원 이미지 센서(100)가 상기 제1 센싱을 먼저 수행하고, 상기 제1 센싱의 결과에 기초하여 제2 센싱 및 상기 제3 센싱 중 적어도 하나가 수행될 수 있다.
도 15는 도 13의 모바일 기기에 포함되는 2차원 이미지 센서의 일 예를 나타내는 블록도이다.
도 15를 참조하면, 2차원 이미지 센서(200)는 제2 센싱부(210), 로우 구동부(220), ADC부(230), DSP부(250) 및 제어부(260)를 포함할 수 있다.
제2 센싱부(210)는 입사광(예를 들어, 가시광선)을 전기적인 신호로 변환할 수 있다. 제2 센싱부(210)는 복수의 컬러 픽셀들(211)을 포함할 수 있다. 복수의 컬러 픽셀들(211)은 픽셀 어레이의 형태로 배치되며, 피사체에 대한 컬러 영상 정보를 제공할 수 있다. 예를 들어, 레드 필터, 그린 필터 및 그린 필터가 복수의 컬러 픽셀들(211) 상에 형성될 수 있다. 다른 예에서, 옐로우 필터, 시안 필터 및 마젠타 필터가 복수의 컬러 픽셀들(211) 상에 형성될 수 있다.
로우 구동부(220)는 제2 센싱부(210)의 각 로우에 연결되고, 상기 각 로우를 구동하는 구동 신호를 생성할 수 있다. ADC부(230)는 제2 센싱부(210)의 각 컬럼에 연결되고, 제2 센싱부(210)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 실시예에 따라서, ADC부(230)는 유효 신호 성분을 추출하기 위한 CDS부를 포함할 수 있다. DSP부(250)는 ADC부(230)로부터 출력된 디지털 신호를 수신하고, 상기 디지털 신호에 대하여 이미지 데이터 처리를 수행할 수 있다. 제어부(260)는 로우 구동부(220), ADC부(230) DSP부(250)를 제어할 수 있다.
도 16a 및 16b는 본 발명의 실시예들에 따른 이미지 센서의 구동 방법을 나타내는 순서도들이다. 도 16a 및 16b에 도시된 이미지 센서의 구동 방법은, 모바일 기기(1100)에 장착되는 3차원 이미지 센서(100) 및 2차원 이미지 센서(200)를 구동하는데 적용될 수 있다. 3차원 이미지 센서(100)는 복수의 거리 픽셀들을 포함하고 근접 감지 및 동작 인식을 수행하며, 2차원 이미지 센서(200)는 복수의 컬러 픽셀들을 포함하고 컬러 영상 정보를 제공할 수 있다.
도 13, 16a 및 16b를 참조하면, 이미지 센서를 구동하는데 있어서, 트리거 신호가 활성화되었는지 여부를 판단한다(단계 S110). 상기 트리거 신호가 비활성화된 경우에(단계 S110: 아니오), 모바일 기기(1100)는 상기 트리거 신호의 활성화를 계속 대기한다. 상기 트리거 신호가 활성화된 경우에(단계 S110: 예), 제1 동작 모드(예를 들어, 근접 감지 모드)가 활성화된다(단계 S115). 3차원 이미지 센서(100)는 상기 복수의 거리 픽셀들 중 인접하는 제1 거리 픽셀들에 기초하여 피사체의 근접 여부를 감지하는 제1 센싱을 수행한다(단계 S120a). 예를 들어, 다른 사용자로부터 전화가 걸려 오거나 사용자가 전원 버튼(1043)을 누르는 경우에, 상기 트리거 신호가 활성화되고 상기 제1 동작 모드가 활성화되며 상기 제1 센싱이 수행될 수 있다.
상기 제1 센싱에 기초하여 상기 피사체의 근접 여부를 판단한다(단계 S130). 상기 피사체가 3차원 이미지 센서(100)에 근접하지 않은 것으로 판단된 경우에(단계 S130: 아니오), 3차원 이미지 센서(100)는 상기 제1 센싱을 계속 수행한다.
상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에(단계 S130: 예), 제2 동작 모드(예를 들어, 스킴(skim) 모드)가 활성화된다(단계 S510). 3차원 이미지 센서(100)는 상기 복수의 거리 픽셀들 중 부분 어레이(partial array)를 형성하고 인접하는 제2 거리 픽셀들에 기초하여, 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식하는 제2 센싱을 수행한다(단계 S520). 상기 제2 센싱에 기초하여 제1 목표 동작을 수행한다(단계 S530). 예를 들어, 상기 피사체가 3차원 이미지 센서(100)에 근접한 경우에, 걸려온 전화를 받거나 메뉴 및/또는 어플리케이션을 선택하는 화면이 디스플레이 장치(1041)에 표시되며, 상기 제2 거리 픽셀들에 의한 제2 센싱에 기초하여 메뉴 및/또는 어플리케이션이 선택 또는 실행될 수 있다. 즉, 상기 제1 목표 동작은 3D 인터페이스 동작일 수 있다. 상기 제2 동작 모드에서는 상대적으로 간단한 동작 인식이 수행될 수 있다.
일 실시예에서, 상기 제2 거리 픽셀들의 개수는 상기 제1 거리 픽셀들의 개수보다 많을 수 있다.
상기 제1 목표 동작에 기초하여 모바일 기기(1100)의 동작 모드가 변경된다(단계 S535).
상기 제1 목표 동작의 결과 상대적으로 복잡한 동작 인식이 요구되는 경우에(단계 S535: MD), 제3 동작 모드(예를 들어, 거리(depth) 모드)가 활성화된다(단계 S540). 3차원 이미지 센서(100)는 상기 복수의 거리 픽셀들 전부에 기초하여 상기 제2 센싱을 수행한다(단계 S545). 모바일 기기(1100)는 상기 제2 센싱에 기초하여 제2 목표 동작을 수행한다(단계 S550). 예를 들어, 상기 제1 목표 동작에 기초하여 게임 어플리케이션이 실행된 경우에, 상기 복수의 거리 픽셀들 전부에 의한 제2 센싱에 기초하여 게임 조작이 수행될 수 있다. 즉, 상기 제2 목표 동작은 3D 응용 동작일 수 있다.
상기 제1 목표 동작의 결과 컬러 영상의 촬영이 요구되는 경우에(단계 S535: MC), 제4 동작 모드(예를 들어, 컬러(color) 모드)가 활성화된다(단계 S560). 2차원 이미지 센서(200)는 상기 복수의 컬러 픽셀들 전부에 기초하여 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱을 수행한다(단계 S565). 모바일 기기(1100)는 상기 제3 센싱에 기초하여 제3 목표 동작을 수행한다(단계 S570). 예를 들어, 상기 제1 목표 동작에 기초하여 2D 카메라 어플리케이션 실행된 경우에, 상기 제3 센싱에 기초하여 2차원 컬러 영상이 촬영될 수 있다. 즉, 상기 제3 목표 동작은 2차원 컬러 영상을 촬영하는 동작(예를 들어, 2D 촬영 동작)일 수 있다.
상기 제3 동작 모드에서는 상기 복수의 거리 픽셀들 전부만이 활성화되고 상기 제4 동작 모드에서는 상기 복수의 컬러 픽셀들 전부만이 활성화되므로, 상기 제3 및 제4 동작 모드들은 개별(individual) 모드라고 불릴 수 있다.
상기 제1 목표 동작의 결과 컬러 입체 영상의 촬영이 요구되는 경우에(단계 S535: MCC), 제5 동작 모드(예를 들어, 동시(concurrent) 모드)가 활성화된다(단계 S580). 3차원 이미지 센서(100)는 상기 복수의 거리 픽셀들 전부에 기초하여 상기 제2 센싱을 수행하고, 이와 동시에 2차원 이미지 센서(200)는 상기 복수의 컬러 픽셀들 전부에 기초하여 상기 제3 센싱을 수행한다(단계 S585). 상기 제2 센싱 및 상기 제3 센싱에 기초하여 제4 목표 동작을 수행한다(단계 S590). 예를 들어, 상기 제1 목표 동작에 기초하여 3D 카메라 어플리케이션 실행된 경우에, 상기 제2 센싱 및 상기 제3 센싱에 기초하여 3차원 컬러 입체 영상이 촬영될 수 있다. 즉, 상기 제4 목표 동작은 3차원 컬러 입체 영상을 촬영하는 동작(예를 들어, 3D 촬영 동작)일 수 있다.
도 16a 및 16b의 실시예에서, 상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에 상기 스킴 모드가 활성화되며, 상기 스킴 모드에서 수행되는 3D 인터페이스 동작에 기초하여 모바일 기기(1100)의 동작 모드가 상기 스킴 모드에서 상기 거리 모드, 상기 컬러 모드 또는 상기 동시 모드로 전환될 수 있다.
도 16a 및 16b에 도시하지는 않았지만, 실시예에 따라서 상기 제2 동작 모드가 활성화된 경우에(단계 S510), 상기 복수의 컬러 픽셀들 중 적어도 일부가 더 활성화될 수 있다. 예를 들어, 화상 통화를 하면서 3D 인터페이스 동작을 수행하고자 하는 경우에, 상기 제2 거리 픽셀들 및 상기 복수의 컬러 픽셀들 중 적어도 일부가 동시에 활성화될 수 있다. 2차원 이미지 센서(200)는 상기 제2 동작 모드에서 상기 활성화된 적어도 일부의 컬러 픽셀들에 기초하여 상기 제3 센싱을 더 수행할 수 있다.
도 17, 18a, 18b, 18c, 18d, 19a, 19b 및 20은 도 16a 및 16b의 이미지 센서의 구동 방법을 설명하기 위한 도면들이다. 도시의 편의상, 도 17, 18a, 18b, 18c, 18d, 19a, 19b 및 20에서 광원부(140), 복수의 거리 픽셀들을 포함하는 제1 센싱부(110) 및 복수의 컬러 픽셀들을 포함하는 제2 센싱부(210)만이 나타나도록 이미지 센서들을 도시하였다.
도 16a 및 17을 참조하면, 상기 제1 동작 모드가 활성화된 경우에(단계 S115), 제1 센싱부(110)에 포함되는 복수의 거리 픽셀들 중 제1 거리 픽셀들(113)이 활성화될 수 있으며, 광원부(140)는 비활성화되어 광을 방출하지 않을 수 있다. 제2 센싱부(210)에 포함되는 복수의 컬러 픽셀들은 전부 비활성화될 수 있다. 따라서, 근접 감지를 수행하는 경우에 이미지 센서들(100, 200) 및 모바일 기기(1100)의 전력 소모가 감소될 수 있다.
도 17에서는 제1 거리 픽셀들(113)이 상기 복수의 거리 픽셀들 중 하나의 컬럼에 상응하는 것으로 도시하였지만, 실시예에 따라서 상기 제1 거리 픽셀들은 하나의 로우에 상응할 수도 있고 하나의 로우 또는 컬럼의 일부분에 상응할 수도 있다. 또한 실시예에 따라서, 도 6c 및 6d에 도시된 것처럼 광원부(140)는 상기 제1 동작 모드에서 저 휘도의 광을 방출할 수도 있다.
도 16a 및 18a를 참조하면, 상기 제2 동작 모드가 활성화된 경우에(단계 S510), 제1 센싱부(110)에 포함되는 복수의 거리 픽셀들 중 제2 거리 픽셀들(115)이 활성화될 수 있으며, 광원부(140)는 도 6b에 도시된 것처럼 고 휘도의 광을 방출할 수 있다. 제2 센싱부(210)에 포함되는 복수의 컬러 픽셀들은 전부 비활성화될 수 있다. 따라서, 상대적으로 간단한 동작 인식을 수행하는 경우에 이미지 센서들(100, 200) 및 모바일 기기(1100)의 전력 소모가 감소될 수 있다. 특히 도 18a의 실시예에서는 제1 센싱부(110)의 전력 소모가 감소될 수 있다.
도 16a, 18b 및 18c를 참조하면, 상기 제2 동작 모드가 활성화된 경우에(단계 S510), 제1 센싱부(110)에 포함되는 복수의 거리 픽셀들 중 제2 거리 픽셀들(115)이 활성화될 수 있으며, 광원부(140)는 도 6b에 도시된 것처럼 고 휘도의 광을 방출할 수 있다. 이 때, 제2 센싱부(210)에 포함되는 복수의 컬러 픽셀들 중 제2 거리 픽셀들(115)에 상응하는 제1 컬러 픽셀들(215)이 활성화되거나(도 18b), 상기 복수의 컬러 픽셀들 전부(219)가 활성화될 수 있다(도 18c).
도 16a 및 18d를 참조하면, 상기 제2 동작 모드가 활성화된 경우에(단계 S510), 제1 센싱부(110)에 포함되는 복수의 거리 픽셀들에 대한 비닝(binning) 동작이 수행될 수 있다. 예를 들어, 도 18d에 도시된 것처럼 인접한 4개의 픽셀들을 결합하여 하나의 픽셀로 형성하고(즉, 2 x 2 비닝), 결합된 픽셀들 전부(117)를 활성화하여 상기 제2 센싱을 수행할 수 있다. 광원부(140)는 도 6c에 도시된 것처럼 저 휘도의 광을 방출할 수 있다. 제2 센싱부(210)에 포함되는 복수의 컬러 픽셀들은 전부 비활성화될 수 있다. 따라서, 상대적으로 간단한 동작 인식을 수행하는 경우에 이미지 센서들(100, 200) 및 모바일 기기(1100)의 전력 소모가 감소될 수 있다. 특히 도 18d의 실시예에서는 광원부(140)의 전력 소모가 감소될 수 있다.
실시예에 따라서, 제1 센싱부(110)에 포함되는 복수의 거리 픽셀들에 대한 비닝(binning) 동작이 수행되는 경우에, 제2 센싱부(210)에 포함되는 복수의 컬러 픽셀들 중 일부(예를 들어, 제1 컬러 픽셀들(도 18b의 215)) 또는 전부(도 18c의 219)가 활성화될 수도 있다.
도 16b 및 19a를 참조하면, 상기 제3 동작 모드가 활성화된 경우에(단계 S540), 제1 센싱부(110)에 포함되는 복수의 거리 픽셀들 전부(119)가 활성화될 수 있으며, 광원부(140)는 도 6b에 도시된 것처럼 고 휘도의 광을 방출할 수 있다. 제2 센싱부(210)에 포함되는 복수의 컬러 픽셀들은 전부 비활성화될 수 있다. 따라서, 상대적으로 복잡한 동작 인식이 정확하게 수행될 수 있다.
도 16b 및 19b를 참조하면, 상기 제4 동작 모드가 활성화된 경우에(단계 S560), 제2 센싱부(210)에 포함되는 복수의 컬러 픽셀들 전부(219)가 활성화될 수 있다. 제1 센싱부(110)에 포함되는 복수의 거리 픽셀들 전부 및 광원부(140)는 비활성화될 수 있다. 따라서, 2차원 컬러 영상이 효과적으로 촬영될 수 있다.
도 16b 및 20을 참조하면, 상기 제5 동작 모드가 활성화된 경우에(단계 S560), 제1 센싱부(110)에 포함되는 복수의 거리 픽셀들 전부(119)가 활성화될 수 있으며, 광원부(140)는 도 6b에 도시된 것처럼 고 휘도의 광을 방출할 수 있다. 또한 제2 센싱부(210)에 포함되는 복수의 컬러 픽셀들 전부(219)가 활성화될 수 있다. 따라서, 3차원 컬러 입체 영상이 효과적으로 촬영될 수 있다.
상술한 바와 같이, 동작 모드에 따라서 3차원 이미지 센서(100)에 포함되는 복수의 거리 픽셀들 및/또는 2차원 이미지 센서(200)에 포함된 복수의 컬러 픽셀들의 일부 또는 전부를 선택적으로 활성화시키고, 동작 모드에 따라서 광원부(140)를 선택적으로 활성화시키거나 다른 휘도의 광을 방출시킴으로써, 이미지 센서들(100, 200) 및 이를 포함하는 모바일 기기(1100)의 전력 소모가 감소될 수 있다.
도 21a 및 21b는 본 발명의 실시예들에 따른 이미지 센서의 구동 방법을 나타내는 순서도들이다.
도 21a 및 21b를 참조하면, 이미지 센서를 구동하는데 있어서, 도 16a 및 16b의 실시예와 비교하였을 때 단계 S515, S555, S575 및 S595가 더 포함될 수 있다. 도 21a 및 21b의 단계 S110, S115, S120a, S130, S510, S520, S530, S540, S545, S550, S560, S565, S570, S580, S585 및 S590은 도 16a 및 16b의 단계 S110, S115, S120a, S130, S510, S520, S530, S540, S545, S550, S560, S565, S570, S580, S585 및 S590과 각각 실질적으로 동일할 수 있으며, 중복되는 설명은 생략하도록 한다.
상기 제2 동작 모드가 활성화된 이후에(단계 S510), 제1 종료 커맨드가 발생하였는지 여부를 판단한다(단계 S515). 상기 제1 종료 커맨드가 발생되지 않은 경우에(단계 S515: 아니오), 3차원 이미지 센서(100)는 상기 제2 거리 픽셀들에 기초하여 상기 제2 센싱을 수행한다(단계 S520). 상기 제1 종료 커맨드가 발생된 경우에(단계 S515: 예), 상기 제2 동작 모드가 종료되고 상기 제1 동작 모드가 다시 활성화된다(단계 S115).
상기 제2 목표 동작이 수행된 이후에(단계 S550), 제2 종료 커맨드가 발생하였는지 여부를 판단한다(단계 S555). 상기 제2 종료 커맨드가 발생되지 않은 경우에(단계 S555: 아니오), 상기 피사체의 움직임을 대기하고, 상기 피사체의 움직임이 발생된 경우에 상기 제2 센싱을 수행하고(단계 S545) 상기 제2 목표 동작을 수행하는(단계 S550) 동작을 반복한다. 상기 제2 종료 커맨드가 발생된 경우에(단계 S555: 예), 상기 제3 동작 모드가 종료되고 상기 제2 동작 모드가 다시 활성화된다(단계 S510).
상기 제3 목표 동작이 수행된 이후에(단계 S570), 제3 종료 커맨드가 발생하였는지 여부를 판단한다(단계 S575). 상기 제3 종료 커맨드가 발생되지 않은 경우에(단계 S575: 아니오), 사용자의 입력에 따라 상기 제3 센싱을 수행하고(단계 S565) 상기 제3 목표 동작을 수행하는(단계 S570) 동작을 반복한다. 상기 제3 종료 커맨드가 발생된 경우에(단계 S575: 예), 상기 제4 동작 모드가 종료되고 상기 제2 동작 모드가 다시 활성화된다(단계 S510).
상기 제4 목표 동작이 수행된 이후에(단계 S590), 제4 종료 커맨드가 발생하였는지 여부를 판단한다(단계 S595). 상기 제4 종료 커맨드가 발생되지 않은 경우에(단계 S595: 아니오), 사용자의 입력에 따라 상기 제2 센싱 및 제3 센싱을 동시에 수행하고(단계 S585) 상기 제4 목표 동작을 수행하는(단계 S590) 동작을 반복한다. 상기 제4 종료 커맨드가 발생된 경우에(단계 S595: 예), 상기 제5 동작 모드가 종료되고 상기 제2 동작 모드가 다시 활성화된다(단계 S510).
도 22a 및 22b는 본 발명의 실시예들에 따른 이미지 센서의 구동 방법을 나타내는 순서도들이다. 도 22a 및 22b에 도시된 이미지 센서의 구동 방법은, 모바일 기기(1100)에 장착되는 3차원 이미지 센서(100) 및 2차원 이미지 센서(200)를 구동하는데 적용될 수 있다.
도 13, 22a 및 22b를 참조하면, 이미지 센서를 구동하는데 있어서, 트리거 신호가 활성화되었는지 여부를 판단한다(단계 S110). 상기 트리거 신호가 비활성화된 경우에(단계 S110: 아니오), 모바일 기기(1000)는 상기 트리거 신호의 활성화를 계속 대기한다. 상기 트리거 신호가 활성화된 경우에(단계 S110: 예), 제1 동작 모드(예를 들어, 근접 감지 모드)가 활성화되고(단계 S115), 제1 거리 픽셀들에 기초하여 제1 센싱이 수행되며(단계 S120a), 피사체의 근접 여부가 판단된다(단계 S130). 단계 S110, S115, S120a 및 S130은 도 16a의 단계 S110, S115, S120a 및 S130과 각각 실질적으로 동일할 수 있다.
상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에(단계 S130: 예), 제3 동작 모드(예를 들어, 거리 모드)가 활성화된다(단계 S610). 3차원 이미지 센서(100)는 상기 복수의 거리 픽셀들 전부에 기초하여 상기 제2 센싱을 수행한다(단계 S620). 모바일 기기(1100)는 상기 제2 센싱에 기초하여 제1 목표 동작을 수행한다(단계 S630). 상기 제1 목표 동작은 3D 인터페이스 동작일 수 있으며, 상대적으로 간단한 동작 인식에 기초하여 3D 인터페이스 동작이 수행될 수 있다.
상기 제1 목표 동작에 기초하여 모바일 기기(1100)의 동작 모드가 유지 또는 변경된다(단계 S635).
상기 제1 목표 동작의 결과 상대적으로 복잡한 동작 인식이 요구되는 경우에(단계 S635: MD), 상기 제3 동작 모드가 유지된다(단계 S640). 3차원 이미지 센서(100)는 상기 복수의 거리 픽셀들 전부에 기초하여 상기 제2 센싱을 수행한다(단계 S545). 모바일 기기(1100)는 상기 제2 센싱에 기초하여 제2 목표 동작을 수행한다(단계 S550). 상기 제1 목표 동작의 결과 컬러 영상의 촬영이 요구되는 경우에(단계 S635: MC), 제4 동작 모드(예를 들어, 컬러 모드)가 활성화된다(단계 S560). 2차원 이미지 센서(200)는 상기 복수의 컬러 픽셀들 전부에 기초하여 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱을 수행한다(단계 S565). 모바일 기기(1100)는 상기 제3 센싱에 기초하여 제3 목표 동작을 수행한다(단계 S570). 상기 제1 목표 동작의 결과 컬러 입체 영상의 촬영이 요구되는 경우에(단계 S635: MCC), 제5 동작 모드(예를 들어, 동시 모드)가 활성화된다(단계 S580). 3차원 이미지 센서(100)는 상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들 전부에 기초하여 상기 제2 센싱 및 상기 제3 센싱을 동시에 수행한다(단계 S585). 상기 제2 센싱 및 상기 제3 센싱에 기초하여 제4 목표 동작을 수행한다(단계 S590). 단계 S545, S550, S560, S565, S570, S580, S585 및 S590은 도 16b의 단계 S545, S550, S560, S565, S570, S580, S585 및 S590과 각각 실질적으로 동일할 수 있다.
도 22a 및 22b의 실시예에서, 상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에 상기 스킴 모드가 활성화되는 대신에 상기 거리 모드가 활성화되며, 상기 거리 모드에서 수행되는 상기 3D 인터페이스 동작에 기초하여 모바일 기기(1100)의 동작 모드가 상기 거리 모드로 유지되거나 상기 거리 모드에서 상기 컬러 모드 또는 상기 동시 모드로 전환될 수 있다.
도 22a 및 22b에 도시하지는 않았지만, 이미지 센서를 구동하는데 있어서, 도 21a 및 21b의 실시예와 유사하게 제1 내지 제4 종료 커맨드들이 발생하였는지 여부를 판단하는 단계들이 더 포함될 수 있다.
한편, 실시예에 따라서, 도 16a, 16b, 21a, 21b, 22a 및 22b의 이미지 센서의 구동 방법들은 3차원 이미지 센서(100) 및 2차원 이미지 센서(200)를 포함하는 모바일 기기(1100)를 구동하는데 적용될 수도 있다.
도 23은 본 발명의 실시예들에 따른 모바일 기기의 구동 방법을 나타내는 순서도이다. 도 23에 도시된 모바일 기기의 구동 방법은, 3차원 이미지 센서(100), 2차원 이미지 센서(200) 및 입력 장치를 포함하는 모바일 기기(1100)를 구동하는데 적용될 수 있다.
도 13, 16b 및 23을 참조하면, 모바일 기기를 구동하는데 있어서, 트리거 신호가 활성화되었는지 여부를 판단한다(단계 S110). 상기 트리거 신호가 비활성화된 경우에(단계 S110: 아니오), 모바일 기기(1000)는 상기 트리거 신호의 활성화를 계속 대기한다. 상기 트리거 신호가 활성화된 경우에(단계 S110: 예), 제1 동작 모드(예를 들어, 근접 감지 모드)가 활성화되고(단계 S115), 제1 거리 픽셀들에 기초하여 제1 센싱이 수행되며(단계 S120a), 피사체의 근접 여부가 판단된다(단계 S130). 단계 S110, S115, S120a 및 S130은 도 16a의 단계 S110, S115, S120a 및 S130과 각각 실질적으로 동일할 수 있다.
상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에(단계 S130: 예), 2D 동작 모드가 활성화된다(단계 S710). 터치 스크린(1044) 및 버튼들(1043, 1045)과 같은 입력 장치는 사용자의 입력에 기초하여 입력 신호를 발생한다(단계 S720). 상기 입력 신호에 기초하여 제1 목표 동작을 수행한다(단계 S730). 예를 들어, 상기 피사체가 3차원 이미지 센서(100)에 근접한 경우에, 메뉴 및/또는 어플리케이션을 선택하는 화면이 디스플레이 장치(1041)에 표시되며, 터치 스크린(1044)에 접촉되는 터치 이벤트에 의한 상기 입력 신호에 기초하여 메뉴 및/또는 어플리케이션이 선택 또는 실행될 수 있다. 즉, 상기 제1 목표 동작은 2D 인터페이스 동작일 수 있다.
상기 제1 목표 동작에 기초하여 모바일 기기(1100)의 동작 모드가 변경된다(단계 S535).
상기 제1 목표 동작의 결과 상대적으로 복잡한 동작 인식이 요구되는 경우에(단계 S535: MD), 상기 제3 동작 모드가 유지된다(단계 S540). 상기 제1 목표 동작의 결과 컬러 영상의 촬영이 요구되는 경우에(단계 S535: MC), 제4 동작 모드(예를 들어, 컬러 모드)가 활성화된다(단계 S560). 상기 제1 목표 동작의 결과 컬러 입체 영상의 촬영이 요구되는 경우에(단계 S535: MCC), 제5 동작 모드(예를 들어, 동시 모드)가 활성화된다(단계 S580).
도 23 및 16b의 실시예에서, 상기 피사체가 3차원 이미지 센서(100)에 근접한 것으로 판단된 경우에 상기 스킴 모드가 활성화되는 대신에 상기 2D 동작 모드가 활성화되며, 상기 2D 동작 모드에서 수행되는 상기 2D 인터페이스 동작에 기초하여 모바일 기기(1100)의 동작 모드가 상기 2D 동작 모드에서 상기 거리 모드, 상기 컬러 모드 또는 상기 동시 모드로 전환될 수 있다.
도 23 및 16b에 도시하지는 않았지만, 모바일 기기를 구동하는데 있어서, 도 21a 및 21b의 실시예와 유사하게 제1 내지 제4 종료 커맨드들이 발생하였는지 여부를 판단하는 단계들이 더 포함될 수 있다.
도 24는 본 발명의 실시예들에 따른 모바일 기기를 나타내는 평면도이다.
도 24를 참조하면, 모바일 기기(1200)는 이미지 센서(300) 및 디스플레이 장치(1041)를 포함한다. 모바일 기기(1200)는 터치 스크린(1044), 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048)를 더 포함할 수 있다.
이미지 센서(300)는 모바일 기기(1200)의 제1 면(예를 들어, 전면)에 장착되며, 피사체의 근접 여부를 감지하는 제1 센싱, 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱 및 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱을 수행한다. 이미지 센서(300)는 복수의 거리 픽셀들을 구비하는 제1 센싱부(110), 적외선 광 또는 근적외선 광을 방출하는 광원부(140) 및 복수의 컬러 픽셀들을 구비하는 제2 센싱부(210)를 포함할 수 있다.
도 24의 실시예에서, 3차원 이미지 센서 및 2차원 이미지 센서는 하나의 집적 회로 칩으로 제조될 수 있다. 즉, 모바일 기기(1200)는 하나의 센싱 모듈을 포함할 수 있다. 이 경우, 상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들은 두 개의 분리된 픽셀 어레이들을 형성할 수 있다.
디스플레이 장치(1041)는 모바일 기기(1200)의 상기 제1 면에 장착되며, 상기 제1 센싱의 결과, 상기 제2 센싱의 결과 및 상기 제3 센싱의 결과를 표시한다.
도 24의 모바일 기기(1200)는 3차원 이미지 센서 및 2차원 이미지 센서가 하나의 집적 회로 칩으로 제조되는 것을 제외하면 도 13의 모바일 기기(1100)와 실질적으로 동일할 수 있다. 따라서, 모바일 기기(1200)는 도 16a 내지 23을 참조하여 상술한 실시예들에 기초하여 구동될 수 있으며, 상기 2차원 이미지 센서(즉, 제2 센싱부(210))가 비활성화된 경우에 도 4 내지 11을 참조하여 상술한 실시예들에 기초하여 구동될 수도 있다.
도 25는 도 24의 모바일 기기의 일 예를 나타내는 블록도이다.
도 25를 참조하면, 모바일 기기(1200)는 어플리케이션 프로세서(1010), 통신부(1020), 메모리 장치(1030), 이미지 센서(300), 사용자 인터페이스(1040) 및 파워 서플라이(1050)를 포함한다.
도 14의 모바일 기기(1100)와 비교하였을 때, 도 25의 모바일 기기(1200)는 3차원 이미지 센서(100) 및 2차원 이미지 센서(200)가 통합된 하나의 이미지 센서(300)를 포함할 수 있다.
이미지 센서(300)는 상기 제1 센싱, 상기 제2 센싱 및 상기 제3 센싱을 수행할 수 있다. 예를 들어, 이미지 센서(300)는 상기 제1 센싱을 먼저 수행하고, 상기 제1 센싱의 결과에 기초하여 제2 센싱 및 상기 제3 센싱 중 적어도 하나를 수행할 수 있다.
도 26은 본 발명의 실시예들에 따른 모바일 기기를 나타내는 평면도이다.
도 26을 참조하면, 모바일 기기(1300)는 이미지 센서(400) 및 디스플레이 장치(1041)를 포함한다. 모바일 기기(1300)는 터치 스크린(1044), 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048)를 더 포함할 수 있다.
이미지 센서(400)는 모바일 기기(1300)의 제1 면(예를 들어, 전면)에 장착되며, 피사체의 근접 여부를 감지하는 제1 센싱, 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱 및 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱을 수행한다. 이미지 센서(400)는 복수의 거리 픽셀들 및 복수의 컬러 픽셀들을 구비하는 센싱부(410), 및 적외선 광 또는 근적외선 광을 방출하는 광원부(440)를 포함할 수 있다.
도 26의 실시예에서, 3차원 이미지 센서 및 2차원 이미지 센서는 하나의 집적 회로 칩으로 제조될 수 있다. 즉, 모바일 기기(1300)는 하나의 센싱 모듈을 포함할 수 있다. 이 경우, 상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들은 하나의 픽셀 어레이를 형성할 수 있다. 즉, 이미지 센서(400)는 3차원 컬러 이미지 센서일 수 있으며, 예를 들어 RGBZ 센서일 수 있다.
디스플레이 장치(1041)는 모바일 기기(1300)의 상기 제1 면에 장착되며, 상기 제1 센싱의 결과, 상기 제2 센싱의 결과 및 상기 제3 센싱의 결과를 표시한다.
도 26의 모바일 기기(1300)는 3차원 이미지 센서 및 2차원 이미지 센서가 하나의 집적 회로 칩으로 제조되고 복수의 거리 픽셀들 및 복수의 컬러 픽셀들이 하나의 픽셀 어레이를 형성하는 것을 제외하면 도 13의 모바일 기기(1100)와 실질적으로 동일할 수 있다. 따라서, 모바일 기기(1300)는 도 16a 내지 23을 참조하여 상술한 실시예들에 기초하여 구동될 수 있으며, 상기 복수의 컬러 픽셀들이 비활성화된 경우에 도 4 내지 11을 참조하여 상술한 실시예들에 기초하여 구동될 수도 있다.
도 27은 도 26의 모바일 기기의 일 예를 나타내는 블록도이다.
도 27을 참조하면, 모바일 기기(1300)는 어플리케이션 프로세서(1010), 통신부(1020), 메모리 장치(1030), 이미지 센서(400), 사용자 인터페이스(1040) 및 파워 서플라이(1050)를 포함한다.
도 14의 모바일 기기(1100)와 비교하였을 때, 도 27의 모바일 기기(1300)는 3차원 이미지 센서 및 2차원 이미지 센서가 통합되고 복수의 거리 픽셀들 및 복수의 컬러 픽셀들이 하나의 픽셀 어레이를 형성하는 3차원 컬러 이미지 센서(400)를 포함할 수 있다.
이미지 센서(400)는 상기 제1 센싱, 상기 제2 센싱 및 상기 제3 센싱을 수행할 수 있다. 예를 들어, 이미지 센서(400)는 상기 제1 센싱을 먼저 수행하고, 상기 제1 센싱의 결과에 기초하여 제2 센싱 및 상기 제3 센싱 중 적어도 하나를 수행할 수 있다.
도 28은 도 27의 모바일 기기에 포함되는 이미지 센서의 일 예를 나타내는 블록도이다. 도 29a 및 29b는 도 28의 이미지 센서에 포함되는 센싱부의 예들을 나타내는 도면들이다.
도 28을 참조하면, 이미지 센서(400)는 센싱부(410), 제1 로우 구동부(420a), 제2 로우 구동부(420b), 제1 ADC부(430a), 제2 ADC부(430b), 광원부(440), DSP부(450) 및 제어부(460)를 포함할 수 있다.
광원부(440)는 소정의 파장을 가진 광(TX)(예를 들어, 적외선 또는 근적외선)을 출력할 수 있다. 광원부(440)는 동작 모드에 따라서 선택적으로 활성화되거나 다른 휘도의 광을 방출할 수 있다. 광원부(440)는 광(TX)을 발생하는 광원(441) 및 방출된 광(TX)을 피사체(180)에 집중시키는 렌즈(443)를 포함할 수 있다.
센싱부(410)는 피사체(180)에서 반사되어 되돌아온 광(RX)을 수신하고 수신된 광(RX)을 전기적인 신호로 변환하여 거리 정보를 제공할 수 있다. 또한 센싱부(410)는 입사광(예를 들어, 가시광선)을 전기적인 신호로 변환하여 컬러 영상 정보를 제공할 수 있다.
센싱부(410)는 복수의 거리 픽셀들 및 복수의 컬러 픽셀들을 포함할 수 있다. 실시예에 따라서, 센싱부(410)는 다양한 개수 비 및 사이즈 비로 거리 픽셀들 및 컬러 픽셀들을 포함할 수 있다. 예를 들어, 도 29a에 도시된 것처럼 센싱부(410a)는 거리 픽셀들(411a) 및 컬러 픽셀들(413a)을 포함할 수도 있고, 도 29b에 도시된 것처럼 센싱부(410b)는 거리 픽셀들(411b) 및 컬러 픽셀들(413b)을 포함할 수도 있다. 일 실시예에서, 적외선(또는 근적외선) 필터가 상기 거리 픽셀들 상에 형성되고, 컬러 필터(예를 들어, 레드, 그린 및 블루 필터들)가 상기 컬러 픽셀들 상에 형성될 수 있다.
제1 로우 구동부(420a)는 상기 컬러 픽셀들의 각 로우에 연결되고, 상기 컬러 픽셀들의 각 로우를 구동하는 제1 구동 신호를 생성할 수 있다. 제2 로우 구동부(420b)는 상기 거리 픽셀들의 각 로우에 연결되고, 상기 거리 픽셀들의 각 로우를 구동하는 제2 구동 신호를 생성할 수 있다. 제1 ADC부(430a)는 상기 컬러 픽셀들의 각 컬럼에 연결되고, 상기 컬러 픽셀들의 각 컬럼으로부터 출력되는 제1 아날로그 신호를 제1 디지털 신호로 변환할 수 있다. 제2 ADC부(430b)는 상기 거리 픽셀들의 각 컬럼에 연결되고, 상기 거리 픽셀들의 각 컬럼으로부터 출력되는 제2 아날로그 신호를 제2 디지털 신호로 변환할 수 있다. DSP부(450)는 제1 및 제2 ADC부들(430a, 430b)로부터 출력된 제1 및 제2 디지털 신호들을 수신하고, 상기 제1 및 제2 디지털 신호들에 대하여 이미지 데이터 처리를 수행할 수 있다. 제어부(460)는 제1 로우 구동부(420a), 제2 로우 구동부(420b), 제1 ADC부(430a), 제2 ADC부(430b), 광원부(440) 및 DSP부(450)를 제어할 수 있다.
도 30은 본 발명의 실시예들에 따른 모바일 기기에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 30을 참조하면, 모바일 기기(2000)는 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치(예를 들어, 휴대폰, 개인 정보 단말기, 휴대형 멀티미디어 플레이어, 스마트 폰 등)로 구현될 수 있고, 어플리케이션 프로세서(2110), 이미지 센서(2140) 및 디스플레이(2150) 등을 포함할 수 있다.
어플리케이션 프로세서(2110)의 CSI 호스트(2112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 이미지 센서(2140)의 CSI 장치(2141)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, CSI 호스트(2112)는 광 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(2141)는 광 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(2110)의 DSI 호스트(2111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(2150)의 DSI 장치(2151)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, DSI 호스트(2111)는 광 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(2151)는 광 디시리얼라이저(DES)를 포함할 수 있다.
또한, 모바일 기기(2000)는 어플리케이션 프로세서(2110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(2160)을 더 포함할 수 있다. 모바일 기기(2000)의 PHY(2113)와 RF 칩(2160)의 PHY(2161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(2110)는 PHY(2161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(2114)를 더 포함할 수 있고, RF 칩(2160)은 DigRF MASTER(2114)를 통하여 제어되는 DigRF SLAVE(2162)를 더 포함할 수 있다.
한편, 모바일 기기(2000)는 지피에스(Global Positioning System; GPS)(2120), 스토리지(2170), 마이크(2180), 디램(Dynamic Random Access Memory; DRAM)(2185) 및 스피커(2190)를 포함할 수 있다. 또한, 모바일 기기(2000)는 초광대역(Ultra WideBand; UWB)(2210), 무선랜(Wireless Local Area Network; WLAN)(2220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(2230) 등을 이용하여 통신을 수행할 수 있다. 다만, 모바일 기기(2000)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
본 발명은 근접 감지 및 동작 인식을 수행할 수 있는 3차원 이미지 센서 및 이를 포함하는 모바일 기기에서 이용될 수 있다. 예를 들어, 본 발명은 휴대폰(Mobile Phone), 스마트 폰(Smart Phone), 태블릿(Tablet) PC, 노트북(Laptop Computer), 개인 정보 단말기(personal digital assistant; PDA), 휴대형 멀티미디어 플레이어(portable multimedia player; PMP), 디지털 카메라(Digital Camera), 음악 재생기(Music Player), 휴대용 게임 콘솔(portable game console), 네비게이션(Navigation) 등과 같은 다양한 단말기에 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 모바일 기기의 제1 면에 장착되고, 복수의 거리 픽셀들을 포함하고, 상기 복수의 거리 픽셀들 중 제1 거리 픽셀들을 활성화하여 피사체의 근접 여부를 감지하는 제1 센싱을 수행하며, 상기 제1 센싱의 결과 상기 피사체가 근접한 것으로 판단된 경우에 상기 복수의 거리 픽셀들 중 상기 제1 거리 픽셀들보다 많은 개수의 제2 거리 픽셀들을 활성화하여 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 수행하는 3차원 이미지 센서; 및
    상기 모바일 기기의 제1 면에 장착되고, 상기 제1 센싱의 결과 및 상기 제2 센싱의 결과를 표시하는 디스플레이 장치를 포함하는 모바일 기기.
  2. 제 1 항에 있어서,
    트리거 신호에 기초하여 상기 제1 센싱을 수행하는 제1 동작 모드가 활성화되는 것을 특징으로 하는 모바일 기기.
  3. 제 2 항에 있어서,
    상기 모바일 기기는 사용자의 입력을 수신하는 입력 장치를 더 포함하고,
    상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에, 상기 제2 센싱에 기초하여 제1 목표 동작을 수행하는 제2 동작 모드 및 상기 입력 장치에 의해 발생된 입력 신호에 기초하여 제2 목표 동작을 수행하는 제3 동작 모드 및 중 적어도 하나가 활성화되는 것을 특징으로 하는 모바일 기기.
  4. 제 3 항에 있어서,
    상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제2 동작 모드가 활성화되며, 상기 제1 목표 동작에 기초하여 상기 모바일 기기의 동작 모드가 상기 제2 동작 모드로 유지되거나 상기 제2 동작 모드에서 상기 제3 동작 모드로 전환되는 것을 특징으로 하는 모바일 기기.
  5. 제 3 항에 있어서,
    상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제3 동작 모드가 활성화되며, 상기 제2 목표 동작에 기초하여 상기 모바일 기기의 동작 모드가 상기 제3 동작 모드로 유지되거나 상기 제3 동작 모드에서 상기 제2 동작 모드로 전환되는 것을 특징으로 하는 모바일 기기.
  6. 제 1 항에 있어서,
    상기 모바일 기기의 제1 면에 장착되고, 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱을 수행하는 2차원 이미지 센서를 더 포함하는 것을 특징으로 하는 모바일 기기.
  7. 삭제
  8. 삭제
  9. 모바일 기기의 제1 면에 장착되고, 피사체의 근접 여부를 감지하는 제1 센싱 및 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 수행하는 3차원 이미지 센서;
    상기 모바일 기기의 제1 면에 장착되고, 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱을 수행하는 2차원 이미지 센서; 및
    상기 모바일 기기의 제1 면에 장착되고, 상기 제1 센싱의 결과, 상기 제2 센싱의 결과 및 상기 제3 센싱의 결과를 표시하는 디스플레이 장치를 포함하고,
    트리거 신호에 기초하여 상기 제1 센싱을 수행하는 제1 동작 모드가 활성화되고, 상기 제1 센싱의 결과 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제2 센싱 및 상기 제3 센싱 중 적어도 하나를 수행하며,
    상기 3차원 이미지 센서는 복수의 거리 픽셀들을 포함하고, 상기 2차원 이미지 센서는 복수의 컬러 픽셀들을 포함하며,
    상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에, 상기 복수의 거리 픽셀들 중 부분 어레이(partial array)를 형성하고 인접하는 제1 거리 픽셀들에 기초하여 상기 제2 센싱을 수행하는 제2 동작 모드, 상기 복수의 거리 픽셀들에 기초하여 상기 제2 센싱을 수행하는 제3 동작 모드, 상기 복수의 컬러 픽셀들에 기초하여 상기 제3 센싱을 수행하는 제4 동작 모드, 및 상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들에 기초하여 상기 제2 센싱 및 상기 제3 센싱을 동시에 수행하는 제5 동작 모드 중 하나가 활성화되는 것을 특징으로 하는 모바일 기기.
  10. 제 9 항에 있어서,
    상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제2 동작 모드가 활성화되며, 상기 제2 동작 모드에서 수행되는 상기 제2 센싱의 결과에 기초하여 상기 모바일 기기의 동작 모드가 상기 제2 동작 모드에서 상기 제3 내지 제5 동작 모드들 중 하나로 전환되는 것을 특징으로 하는 모바일 기기.
  11. 제 9 항에 있어서,
    상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에 상기 제3 동작 모드가 활성화되며, 상기 제3 동작 모드에서 수행되는 상기 제2 센싱의 결과에 기초하여 상기 모바일 기기의 동작 모드가 상기 제3 동작 모드로 유지되거나 상기 제3 동작 모드에서 상기 제4 및 제5 동작 모드들 중 하나로 전환되는 것을 특징으로 하는 모바일 기기.
  12. 제 6 항에 있어서,
    상기 3차원 이미지 센서 및 상기 2차원 이미지 센서는 하나의 집적 회로 칩으로 제조되거나 또는 두 개의 분리된 집적 회로 칩들로 제조되는 것을 특징으로 하는 모바일 기기.
  13. 제 6 항에 있어서,
    상기 3차원 이미지 센서는 복수의 거리 픽셀들을 포함하고, 상기 2차원 이미지 센서는 복수의 컬러 픽셀들을 포함하며,
    상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들은 하나의 픽셀 어레이를 형성하거나 또는 두 개의 분리된 픽셀 어레이들을 형성하는 것을 특징으로 하는 모바일 기기.
  14. 제 1 항에 있어서,
    상기 3차원 이미지 센서는 광원(light source)부를 포함하고,
    상기 광원부는, 상기 제1 센싱을 수행하는 경우에 비활성화되고 상기 제2 센싱을 수행하는 경우에 활성화되는 것을 특징으로 하는 모바일 기기.
  15. 제 1 항에 있어서,
    상기 3차원 이미지 센서는 광원부를 포함하고,
    상기 광원부는, 상기 제1 센싱을 수행하는 경우에 저 휘도의 광을 방출하고, 상기 제2 센싱을 수행하는 경우에 고 휘도의 광을 방출하는 것을 특징으로 하는 모바일 기기.
  16. 트리거 신호에 기초하여 3차원 이미지 센서에 포함되는 복수의 거리 픽셀들 중 제1 거리 픽셀들을 활성화하여, 피사체의 근접 여부를 감지하는 제1 센싱을 수행하는 단계; 및
    상기 제1 센싱의 결과 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에, 상기 복수의 거리 픽셀들 중 상기 제1 거리 픽셀들보다 많은 개수의 제2 거리 픽셀들을 활성화하여, 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 수행하는 단계를 포함하는 3차원 이미지 센서의 구동 방법.
  17. 삭제
  18. 복수의 거리 픽셀들 및 복수의 컬러 픽셀들을 포함하는 이미지 센서의 구동 방법에 있어서,
    트리거 신호에 기초하여 상기 복수의 거리 픽셀들 중 제1 거리 픽셀들을 활성화하여, 피사체의 근접 여부를 감지하는 제1 센싱을 수행하는 단계; 및
    상기 제1 센싱의 결과 상기 피사체가 상기 이미지 센서에 근접한 것으로 판단된 경우에, 상기 복수의 거리 픽셀들 중 상기 제1 거리 픽셀들보다 많은 개수의 제2 거리 픽셀들을 활성화하여 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱 및 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱 중 적어도 하나를 수행하는 단계를 포함하는 이미지 센서의 구동 방법.
  19. 복수의 거리 픽셀들 및 복수의 컬러 픽셀들을 포함하는 이미지 센서의 구동 방법에 있어서,
    트리거 신호에 기초하여 피사체의 근접 여부를 감지하는 제1 센싱을 수행하는 단계; 및
    상기 제1 센싱의 결과 상기 피사체가 상기 이미지 센서에 근접한 것으로 판단된 경우에, 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱 및 상기 피사체에 대한 컬러 영상 정보를 획득하는 제3 센싱 중 적어도 하나를 수행하는 단계를 포함하고,
    상기 제2 센싱 및 상기 제3 센싱 중 적어도 하나를 선택적으로 수행하는 단계는,
    상기 복수의 거리 픽셀들 중 부분 어레이(partial array)를 형성하고 인접하는 제1 거리 픽셀들에 기초하여 상기 제2 센싱을 수행하는 단계;
    상기 복수의 거리 픽셀들에 기초하여 상기 제2 센싱을 수행하는 단계;
    상기 복수의 컬러 픽셀들에 기초하여 상기 제3 센싱을 수행하는 단계; 및
    상기 복수의 거리 픽셀들 및 상기 복수의 컬러 픽셀들에 기초하여 상기 제2 센싱 및 상기 제3 센싱을 동시에 수행하는 단계를 포함하는 것을 특징으로 하는 이미지 센서의 구동 방법.
  20. 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서 및 사용자의 입력을 수신하는 입력 장치를 포함하는 모바일 기기의 구동 방법에 있어서,
    트리거 신호에 기초하여 상기 복수의 거리 픽셀들 중 제1 거리 픽셀들을 활성화하여, 피사체의 근접 여부를 감지하는 제1 센싱을 수행하는 단계; 및
    상기 제1 센싱의 결과 상기 피사체가 상기 3차원 이미지 센서에 근접한 것으로 판단된 경우에, 상기 복수의 거리 픽셀들 중 상기 제1 거리 픽셀들보다 많은 개수의 제2 거리 픽셀들을 활성화하여, 상기 피사체에 대한 거리 정보를 획득하여 상기 피사체의 움직임을 인식(gesture recognition)하는 제2 센싱을 선택적으로 수행하는 단계를 포함하고,
    상기 제2 센싱을 선택적으로 수행하는 단계는,
    상기 제2 센싱에 기초하여 제1 목표 동작을 수행하는 단계; 및
    상기 입력 장치에 의해 발생된 입력 신호에 기초하여 제2 목표 동작을 수행하는 단계를 포함하는 모바일 기기의 구동 방법.
KR1020120117760A 2012-10-23 2012-10-23 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법 KR101938648B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120117760A KR101938648B1 (ko) 2012-10-23 2012-10-23 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
DE102013111558.6A DE102013111558A1 (de) 2012-10-23 2013-10-21 Mobilsystem mit Bildsensoren, Verfahren zum Betreiben von Bildsensoren und Verfahren zum Betreiben von Mobilsystemen
CN201310504921.7A CN103777750B (zh) 2012-10-23 2013-10-23 包括图像传感器的移动***和图像传感器的操作方法
US14/061,036 US9829983B2 (en) 2012-10-23 2013-10-23 Mobile systems including image sensors, methods of operating image sensors, and methods of operating mobile systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120117760A KR101938648B1 (ko) 2012-10-23 2012-10-23 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법

Publications (2)

Publication Number Publication Date
KR20140051572A KR20140051572A (ko) 2014-05-02
KR101938648B1 true KR101938648B1 (ko) 2019-01-15

Family

ID=50484889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120117760A KR101938648B1 (ko) 2012-10-23 2012-10-23 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법

Country Status (4)

Country Link
US (1) US9829983B2 (ko)
KR (1) KR101938648B1 (ko)
CN (1) CN103777750B (ko)
DE (1) DE102013111558A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102290287B1 (ko) * 2014-10-24 2021-08-17 삼성전자주식회사 이미지 신호와 근접 신호를 동시에 생성하는 이미지 센서
KR102248404B1 (ko) 2014-11-17 2021-05-07 삼성전자주식회사 움직임 분석 방법 및 움직임 분석 장치
US9581696B2 (en) 2014-12-22 2017-02-28 Google Inc. Image sensor and light source driver integrated in a same semiconductor package
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
WO2016204363A1 (en) * 2015-06-17 2016-12-22 Lg Electronics Inc. Mobile terminal and method for controlling the same
KR102311688B1 (ko) * 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102432620B1 (ko) 2015-11-12 2022-08-16 삼성전자주식회사 외부 객체의 근접에 따른 동작을 수행하는 전자 장치 및 그 방법
US11417002B2 (en) 2016-06-17 2022-08-16 Pixart Imaging Inc. Image recognition system, sensor module, and method for image recognition
TW201800901A (zh) * 2016-06-17 2018-01-01 原相科技股份有限公司 偵測動作資訊的方法及感光陣列
US10168459B2 (en) 2016-11-30 2019-01-01 Viavi Solutions Inc. Silicon-germanium based optical filter
CN108632513A (zh) * 2018-05-18 2018-10-09 北京京东尚科信息技术有限公司 智能照相机
US10970922B2 (en) 2018-09-28 2021-04-06 Apple Inc. Generating a 3D model of a fingertip for visual touch detection
US20210185284A1 (en) * 2019-12-13 2021-06-17 Sony Semiconductor Solutions Corporation EBS/ToF/RGB CAMERA FOR SMART SURVEILLANCE AND INTRUDER DETECTION
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
WO2021160024A1 (en) * 2020-02-14 2021-08-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system of identifying a user selection at a display of a user device
WO2022008067A1 (en) * 2020-07-10 2022-01-13 Telefonaktiebolaget Lm Ericsson (Publ) Visual feedback from a user equipment
DE102021201074A1 (de) 2021-02-05 2022-08-11 Robert Bosch Gesellschaft mit beschränkter Haftung Detektorbaugruppe und optischer Sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120127128A1 (en) * 2010-11-18 2012-05-24 Microsoft Corporation Hover detection in an interactive display device

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265249A (ja) 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US7053937B1 (en) 1999-05-21 2006-05-30 Pentax Corporation Three-dimensional image capturing device and recording medium
KR100608800B1 (ko) * 2004-06-19 2006-08-08 엘지전자 주식회사 이동 통신 단말기의 사진 촬영 장치와 방법
JP4566930B2 (ja) * 2006-03-03 2010-10-20 富士通株式会社 撮像装置
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
JP5308088B2 (ja) 2008-07-24 2013-10-09 パナソニック株式会社 距離画像センサ
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
KR20100018449A (ko) * 2008-08-06 2010-02-17 삼성전자주식회사 입체 이미지 센서의 픽셀 어레이
JPWO2010021090A1 (ja) 2008-08-20 2012-01-26 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
KR20100054540A (ko) 2008-11-14 2010-05-25 삼성전자주식회사 픽셀 회로, 광전 변환장치, 및 이를 포함하는 이미지 센싱 시스템
JP5431810B2 (ja) 2009-07-03 2014-03-05 株式会社豊田中央研究所 画像センサとその画像センサに用いられる受光装置
KR101646908B1 (ko) 2009-11-27 2016-08-09 삼성전자주식회사 거리 정보를 감지할 수 있는 이미지 센서
EP2504399A1 (de) 2009-11-27 2012-10-03 Basf Se Verfahren zur herstellung von polymerhaltigen beschichtungen
US8279418B2 (en) * 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8823776B2 (en) * 2010-05-20 2014-09-02 Cisco Technology, Inc. Implementing selective image enhancement
JP5689630B2 (ja) 2010-09-01 2015-03-25 日本電産サンキョー株式会社 撮影用光学装置および撮影用光学システム
KR20120051213A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 영상촬영방법 및 그에 따른 멀티미디어 장치
KR101694797B1 (ko) * 2010-12-21 2017-01-11 삼성전자주식회사 3차원 이미지 센서의 구동 방법
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
KR20140002034A (ko) * 2011-05-12 2014-01-07 애플 인크. 존재 감지
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US8976110B2 (en) * 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
CN102508546B (zh) * 2011-10-31 2014-04-09 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN202433830U (zh) * 2011-10-31 2012-09-12 北京德信互动网络技术有限公司 人机互动***
CN102662460B (zh) * 2012-03-05 2015-04-15 清华大学 移动终端的非接触式控制装置及其控制方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120127128A1 (en) * 2010-11-18 2012-05-24 Microsoft Corporation Hover detection in an interactive display device

Also Published As

Publication number Publication date
US20140111423A1 (en) 2014-04-24
US9829983B2 (en) 2017-11-28
DE102013111558A1 (de) 2014-05-08
KR20140051572A (ko) 2014-05-02
CN103777750A (zh) 2014-05-07
CN103777750B (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
KR101938648B1 (ko) 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
US20130229491A1 (en) Method of operating a three-dimensional image sensor
KR102633876B1 (ko) 이벤트들-기반 시각 센서를 이용한 저-전력 상시-온 얼굴 검출, 추적, 인식 및/또는 분석
KR101694797B1 (ko) 3차원 이미지 센서의 구동 방법
KR102364084B1 (ko) 이동단말기 및 그 제어방법
KR102311688B1 (ko) 이동단말기 및 그 제어방법
US11743571B2 (en) Electronic device and operating method thereof
KR101896666B1 (ko) 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US20120236121A1 (en) Methods of Operating a Three-Dimensional Image Sensor Including a Plurality of Depth Pixels
JP6930700B2 (ja) 適応可能な深度検知システム
US20140232921A1 (en) Method and apparatus for processing image
US20200278768A1 (en) Electronic blackboard and control method thereof
KR102396711B1 (ko) 이동 단말기 및 그것의 제어방법
US10855911B2 (en) Method for setting image capture conditions and electronic device performing the same
KR102382478B1 (ko) 전자 장치 및 그 제어 방법
US9380214B2 (en) Image photographing apparatus and method thereof
US20140263953A1 (en) Image sensor, operation method thereof, and system including the same
KR20120111013A (ko) 3차원 이미지 센서 및 이를 이용한 거리 측정 방법
US20150199098A1 (en) Method for setting image capture conditions and electronic device performing the same
CN115643485B (zh) 拍摄的方法和电子设备
US20150054919A1 (en) Three-dimensional image sensor module and method of generating three-dimensional image using the same
KR20120111092A (ko) 촬상 장치
CN118140169A (zh) 用于显示内容的电子装置和方法
WO2022111690A1 (zh) 一种共享输入设备的方法、电子设备及***
EP3879388B1 (en) Display panel and control method thereof, electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant