KR20140118826A - 전자 기기 및 전자 기기의 제어 방법 - Google Patents

전자 기기 및 전자 기기의 제어 방법 Download PDF

Info

Publication number
KR20140118826A
KR20140118826A KR1020140034458A KR20140034458A KR20140118826A KR 20140118826 A KR20140118826 A KR 20140118826A KR 1020140034458 A KR1020140034458 A KR 1020140034458A KR 20140034458 A KR20140034458 A KR 20140034458A KR 20140118826 A KR20140118826 A KR 20140118826A
Authority
KR
South Korea
Prior art keywords
sensor
display
image data
information
sensor surface
Prior art date
Application number
KR1020140034458A
Other languages
English (en)
Other versions
KR101635261B1 (ko
Inventor
조우지 야마다
히로후미 나까가와
미찌오 야마모또
고헤이 아즈미
마꼬또 하야시
히로시 미즈하시
고조 이께노
요시또시 기다
Original Assignee
가부시키가이샤 재팬 디스프레이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 재팬 디스프레이 filed Critical 가부시키가이샤 재팬 디스프레이
Publication of KR20140118826A publication Critical patent/KR20140118826A/ko
Application granted granted Critical
Publication of KR101635261B1 publication Critical patent/KR101635261B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

일 실시 형태에 따른 전자 기기는, 표시면과 센서면을 일체로 가진 센서가 구비된 표시 디바이스(100)와, 데이터 전송 디바이스(200)와, 이미지 데이터 생성 모듈과, 처리 모듈을 구비한다. 상기 데이터 전송 디바이스는, 3차원 정보를 생성하고 출력한다. 상기 이미지 데이터 생성 모듈은, 상기 3차원 정보를 바탕으로 상기 센서면의 복수의 감지점에 있어서의 3차원의 이미지 데이터를 생성한다. 상기 처리 모듈은, 상기 이미지 데이터를 바탕으로 상기 센서면의 상방을 조작한 도체의 조작 내용을 해석한다.

Description

전자 기기 및 전자 기기의 제어 방법{ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE SAME}
본 발명의 실시 형태는, 전자 기기 및 전자 기기의 제어 방법에 관한 것이다.
휴대 전화, 태블릿, 퍼스널 디지털 어시스턴트(PDA) 및 소형의 휴대용 퍼스널 컴퓨터 등이 보급되고 있다. 이들 전자 기기는, 표시 패널과 일체로 된 조작 입력 패널을 갖는다.
조작 입력 패널은, 유저가 표시면 상에 접촉하였을 때, 접촉한 위치를, 예를 들어 정전 용량의 변화로서 검출한다. 검출 신호는, 조작 입력 패널을 위해 전용으로 설계되고, 집적 회로(IC)화된 터치 신호 처리 IC에 입력된다. 터치 신호 처리 IC는, 상기 검출 신호를 미리 준비한 계산 알고리즘으로 처리하고, 유저가 접촉한 위치를 좌표 데이터로 변환하여 출력하고 있다.
일본 특허 출원 공개 제2012-48295호 공보
제조 기술의 진보와 함께, 표시 패널의 해상도는 고해상도화하고, 또한 표시 패널의 대형화도 진행되고 있다. 표시 패널의 고해상도화나 대형화에 수반하여, 조작 입력 패널의 위치 검출 정밀도도 고정밀화가 요구되고 있다. 또한, 어플리케이션에 따라서는, 조작 입력 패널의 조작 입력에 대한 데이터 처리 속도도 고속화가 요구되고 있다. 또한, 어플리케이션을 용이하게 변경할 수 있는 방식의 장치가 요망되고 있다.
따라서 본 발명에 따른 일 실시 형태에서는, 다양한 어플리케이션에 대해 유연하게 적응할 수 있도록 하고, 어플리케이션에 대한 입력 정보도 풍부하게 할 수 있는 전자 기기 및 전자 기기의 제어 방법을 제공하는 것을 목적으로 한다.
일 실시 형태에 따른 전자 기기는, 표시 정보를 출력하는 표시면과 조작 정보를 입력하는 센서면을 일체로 가진 센서가 구비된 표시 디바이스와, 상기 센서면에서 감지된 신호를 바탕으로 3차원 정보를 생성하고 출력하는 데이터 전송 디바이스와, 상기 데이터 전송 디바이스가 출력한 상기 3차원 정보를 바탕으로 상기 센서면의 복수의 감지점에 있어서의 3차원의 이미지 데이터를 생성하는 이미지 데이터 생성 모듈과, 상기 이미지 데이터 생성 모듈이 생성한 이미지 데이터를 바탕으로 상기 센서면의 상방을 조작한 도체의 조작 내용을 해석하는 이미지 해석 처리 모듈을 구비하고 있다.
또한, 일 실시 형태에 따른 전자 기기의 제어 방법은, 표시 정보를 출력하는 표시면과 조작 정보를 입력하는 센서면을 일체로 가진 센서가 구비된 표시 디바이스를 갖는 전자 기기의 제어 방법으로서, 상기 센서면에서 감지된 신호를 바탕으로 생성된 3차원 정보를 취득하고, 상기 취득한 3차원 정보를 바탕으로 상기 센서면의 복수의 감지점에 있어서의 3차원의 이미지 데이터를 생성하고, 상기 생성한 이미지 데이터를 바탕으로 상기 센서면의 상방을 조작한 도체의 조작 내용을 인식하고, 상기 인식한 조작 내용에 따라 어플리케이션 동작을 제어한다.
도 1은 일 실시 형태의 전자 기기의 블록 구성도.
도 2a는 표시면 혹은 표시 패널, 및 조작면 혹은 조작 입력 패널을 일체로 가진 센서 일체형 표시 디바이스를 설명하기 위해 도시한 단면도.
도 2b는 조작 입력 패널로부터 출력되는 신호로부터 터치 검출 신호를 얻기 위한 원리를 설명하기 위해 도시하는 설명도.
도 3은 조작 입력 패널의 센서 구성 부품과 그 구동 방법을 설명하기 위해 도시한 사시도.
도 4는 도 1에 나타낸 데이터 전송 디바이스의 블록 구성예 및 어플리케이션 동작 디바이스의 각종 어플리케이션에 의해 실현되는 기능의 몇 개의 예를 블록화하여 나타내는 도면.
도 5a는 도 1 및 도 4의 드라이브로부터 출력되는 표시용의 신호와 센서용 검출 전극의 구동 신호의 출력 타이밍의 예를 나타내는 도면.
도 5b는 센서용 검출 전극과 공통 전극의 구동 상태를 설명하기 위해 도시한 모식도.
도 6은 조작 입력이 없는 경우의 센서 출력의 미가공 데이터(검출 데이터)를 그래프화한 일례를 나타내는 모식도.
도 7은 조작 입력이 있었던 경우의 센서 출력의 미가공 데이터(검출 데이터)를 그래프화한 일례를 나타내는 모식도.
도 8은 본 실시 형태에 따른 휴대 단말기의 사용예를 설명하기 위한 도면.
도 9는 본 실시 형태에 따른 휴대 단말기의 사용예를 설명하기 위한 흐름도.
도 10은 본 실시 형태에 따른 휴대 단말기의 구체적인 사용예(예 1)를 설명하기 위한 흐름도.
도 11은 본 실시 형태에 따른 휴대 단말기의 구체적인 사용예(예 1)를 설명하기 위한 흐름도.
도 12는 본 실시 형태에 따른 휴대 단말기의 구체적인 사용예(예 2)를 설명하기 위한 흐름도.
도 13은 본 실시 형태에 따른 휴대 단말기의 구체적인 사용예(예 2)를 설명하기 위한 흐름도.
도 14는 본 실시 형태에 따른 휴대 단말기의 구체적인 사용예(예 3)를 설명하기 위한 조작 설명도.
도 15는 본 실시 형태에 따른 휴대 단말기의 구체적인 사용예(예 4)를 설명하기 위한 조작 설명도.
도 16은 본 실시 형태에 따른 휴대 단말기의 구체적인 사용예(예 5)를 설명하기 위한 조작 설명도.
이하, 실시 형태에 대해 도면을 참조하여 설명한다.
도 1에는, 일 실시 형태가 적용된 휴대 단말기(1)를 나타내고 있다. 휴대 단말기(1)는, 센서 일체형 표시 디바이스(100), 데이터 전송 디바이스(200) 및 어플리케이션 동작 디바이스(300)를 구비한 전자 기기를 구성하고 있다.
센서 일체형 표시 디바이스(100)는, 표시 정보를 출력하는 표시면과 조작 정보를 입력하는 센서면을 일체로 갖고 있다. 센서 일체형 표시 디바이스(100)는 센서가 구비된 표시 디바이스로서 이용된다. 데이터 전송 디바이스(200)는, 상기 센서면에서 감지된 신호를 바탕으로 3차원 정보(RAW-D)를 생성하고 출력한다. 어플리케이션 동작 디바이스(300)는, 데이터 전송 디바이스가 출력한 3차원 정보(RAW-D)를 바탕으로 상기 센서면의 복수의 감지점에 있어서의 3차원의 이미지 데이터를 생성하고, 생성한 이미지 데이터를 바탕으로 상기 센서면 상을 조작한 도체의 조작 내용을 해석하는 처리 기능을 갖고 있다. 어플리케이션 동작 디바이스(300)는, 이미지 데이터 생성 모듈 및 처리 모듈로서 이용된다.
센서 일체형 표시 디바이스(100)는, 표시면(또는 표시 패널)과 조작면(또는 조작 입력 패널)을 일체로 갖고, 이를 위해 표시 소자 구성 부품(110) 및 센서 구성 부품(150)을 갖는다.
이 센서 일체형 표시 디바이스(100)에는, 후술하는 드라이버(210)로부터 표시용 신호(또는 화소 신호)가 공급된다. 그리고 드라이버(210)로부터 게이트 신호가 공급되면, 표시 소자 구성 부품(110)의 화소에 대해 화소 신호 Sigx가 기입된다. 이 화소 신호 Sigx에 따라, 화소 전극과 공통 전극간의 전압이 정해지고, 이 전압에 의해 전극간의 액정 분자가 변위하고, 액정 분자의 변위에 따른 휘도가 얻어진다.
센서 일체형 표시 디바이스(100)의 명칭은, 이것에 한정되는 것이 아니라, 입력 센서 일체형 표시부, 유저 인터페이스 등이라고 칭해도 된다.
표시 소자 구성 부품(110)은, 액정 표시 패널, LED, 유기 EL 등의 발광 소자에 의한 표시부를 채용해도 된다. 표시 소자 구성 부품(110)은, 단순하게 디스플레이라고 칭해져도 된다. 센서 구성 부품(150)은, 정전 용량 변화 검지 방식, 광량 변화 검지 방식 등이 있고, 어느 것이 채용되어도 된다. 센서 구성 부품(150)은 터치 입력을 검출하기 위한 패널이라고 칭해져도 된다.
센서 일체형 표시 디바이스(100)는, 데이터 전송 디바이스(200)를 통해 어플리케이션 동작 디바이스(300)에 접속된다.
데이터 전송 디바이스(200)는, 드라이버(210), 센서 신호 검출기(250)를 갖는다. 드라이버(210)는, 기본적으로는, 어플리케이션 동작 디바이스(300)로부터 전송되어 오는 그래픽 데이터를 표시 소자 구성 부품(110)에 입력한다. 또한, 센서 신호 검출기(250)는, 센서 구성 부품(150)으로부터 출력되는 센서 신호 Rx를 검출한다.
드라이버(210)와 센서 신호 검출기(250)는 서로 동기 동작하는 것으로, 동기 제어는 어플리케이션 동작 디바이스(300)의 제어에 기초하고 있다.
어플리케이션 동작 디바이스(300)는, 휴대 전화 등의 전자 기기 내에 내장되어 있는, 예를 들어 반도체 집적 회로(LSI)이며, OS 등의 소프트웨어에 의해 Web 브라우징이나 멀티미디어 처리 등의 복수의 기능 처리를 복합적으로 실행하는 역할을 갖는 것이다. 이들 어플리케이션 프로세서는, 고속의 연산 처리를 행하는 것으로, 듀얼 코어, 혹은 Quad-Core의 것이어도 된다. 동작 속도로서 예를 들어 500㎒ 이상, 보다 바람직하게는 1㎓의 어플리케이션 프로세서가 적합하다.
드라이버(210)는, 어플리케이션에 기초하여, 표시 소자 구성 부품(110)에 표시 신호(그래픽스 데이터가 아날로그 변환된 신호) Sigx를 공급한다. 또한 드라이버(210)는, 센서 신호 검출기(250)로부터의 타이밍 신호에 기초하여, 센서 구성 부품(150)을 액세스하기 위한 센서 구동 신호 Tx를 출력한다. 이 센서 구동 신호 Tx에 동기하여 판독된 센서 신호 Rx는, 센서 구성 부품(150)으로부터 판독되어, 센서 신호 검출기(250)에 입력한다.
센서 신호 검출기(250)는, 센서 신호를 슬라이스하고, 노이즈 제거하고, 미가공의 판독 이미지 데이터(3차원 이미지 데이터라고 칭할 수 있음)로서 어플리케이션 동작 디바이스(300)에 입력한다. 이 실시 형태에서는 상기 센서 신호 검출기(250)로부터 출력되는 미가공의 판독 이미지 데이터를 미가공 데이터(RAW-D) 혹은 부호를 제외한 미가공 데이터라고 호칭한다.
센서 구성 부품(150)이 용량 검출 방식인 경우, 이미지 데이터는, 단순하게 좌표를 나타내는 2차원 데이터가 아니라, 용량의 크기에 따라 다른 다치(多値)(2비트 이상의 예를 들어 3치-7치)를 가질 수 있다. 따라서, 이 이미지 데이터는, 물리량과 좌표를 포함하는 3차원 데이터라고 칭할 수 있다. 대상물로 되는 도체(예를 들어 유저의 손가락끝)와 터치 패널의 원근(근접도)에 따라 용량의 변화가 있으므로, 이 변화를 물리량의 변화로서 파악할 수 있다.
상기한 바와 같이 데이터 전송 디바이스(200)의 센서 신호 검출기(250)가, 이미지 데이터를 직접, 어플리케이션 동작 디바이스(300)에 제공하는 이유는 이하의 이유에 기초하고 있다.
우선 어플리케이션 동작 디바이스(300)는, 그 고속 연산 기능을 살려, 이미지 데이터를 각종 용도에 사용할 수 있다.
어플리케이션 동작 디바이스(300)에 있어서는, 유저로부터의 다양한 요망에 따라, 새로운 다양한 어플리케이션이 저장된다. 새로운 어플리케이션은, 데이터 처리 내용에 따라, 이미지 데이터의 처리 방법, 판독 타이밍, 판독 포맷, 판독 영역 또는, 판독 밀도 등의 변화나 절환을 원하는 경우가 있다.
이러한 경우, 종래의 장치와 같이 좌표 데이터만을 수취하면, 그 취득 정보량이 제약된다. 그러나, 이 장치와 같이 미가공의 3차원 이미지 데이터를 해석하면, 예를 들어 좌표 위치 정보 외에, 도체의 근접도에 따른 원근 정보도 얻을 수 있다.
또한, 어플리케이션에 의한 각종 기능의 확장성을 얻기 위해, 데이터 전송 디바이스(200)는, 어플리케이션에 의한 제어에 기초하는 각종 동작에 추종할 수 있는 것이 바람직하다. 따라서, 데이터 전송 디바이스(200)는, 가능한 한 심플한 기능으로서, 어플리케이션에 의한 제어에 따라, 센서 신호의 판독 타이밍, 판독 영역, 판독 밀도 등을 임의로 절환 가능한 구조로 하고 있다. 이 점은, 이후에도 설명한다.
어플리케이션 동작 디바이스(300)는, 이 실시 형태의 경우, 무선기 인터페이스(도 1 참조)를 구비한 베이스 밴드 엔진을 탑재하여 다종의 어플리케이션의 처리를 가능하게 한, 소위, 어플리케이션 프로세서라고 칭해지는 단일의 반도체 집적 회로에 의해 구성되어 있고, 상기한 무선기 인터페이스 이외에, 예를 들어 카메라 기능 인터페이스 등도 포함할 수 있다. 이로 인해, 어플리케이션 동작 디바이스(300)는, 좌표 연산 처리 모듈로서도 기능하고 있다.
또한 어플리케이션 동작 디바이스(300)에는, 이미지 데이터 생성 처리 모듈(P1), 이미지 해석 처리 모듈(P2) 및 각종 어플리케이션 실행 모듈(Ps)이 포함된다. 이미지 데이터 생성 처리 모듈(P1)은, 센서 신호 검출기(250)로부터 받은 미가공 데이터(RAW-D)를 바탕으로, 센서 구성 부품(150)의 센서면의 복수의 감지점에 있어서의 3차원 이미지 데이터를 생성한다. 이미지 해석 처리 모듈(P2)은, 상기 이미지 데이터 생성 처리 모듈에서 생성된 이미지 데이터를 바탕으로 상기 센서면 상을 조작한 도체의 조작 내용을 인식한다. 이미지 해석 처리 모듈(P2)은, 조작 입력 인식 처리 모듈로서 이용된다. 각종 어플리케이션 실행 모듈(Ps)은, 상기 이미지 해석 처리 모듈에서 인식한 조작 내용에 따르는 어플리케이션을 실행한다.
도 2a에는, 표시 소자 구성 부품(110)과 센서 구성 부품(150)이 일체로 된, 센서 일체형 표시 디바이스(100), 즉 표시 패널과 조작 입력 패널이 일체화된 표시 장치의 단면 구조를 도시하고 있다.
화소 기판(10)은, 박막 트랜지스터(TFT) 기판(11), 공통 전극(13) 및 화소 전극(12)을 구비하고 있다. 공통 전극(13)은 박막 트랜지스터(TFT) 기판(11) 상에 형성되어 있다. 이 실시 형태에 있어서, 공통 전극(13)은, 복수의 세그먼트에 의해 형성되어 있다. 단, 공통 전극(13)은, 단일의 전극으로 형성되어 있어도 된다. 화소 전극(12)은 절연층을 통해 공통 전극(13)의 상방에 형성되어 있다. 화소 기판(10)은 어레이 기판이라고 칭해져도 된다. 대향 기판(20)은 화소 기판(10)과 평행하게 배치되어 있다. 대향 기판(20)은, 컬러 필터(22), 글래스 기판(23), 센서용 검출 전극(24) 및 편광판(25)을 구비하고 있다. 컬러 필터(22), 글래스 기판(23), 센서용 검출 전극(24) 및 편광판(25)은, 액정층(30)측으로부터 순서대로 배치되어 있다. 액정층(30)은, 화소 기판(10)과 대향 기판(20) 사이에 보유 지지되어 있다.
공통 전극(13)은, 표시용의 공통 구동 전극이기도 하지만, 센서용 구동 전극(혹은 센서의 공통 구동 전극)으로서도 기능한다.
도 2b는 공통 전극과 센서용 검출 전극의 교차점 부근에, 도체, 예를 들어 유저의 손가락끝이 근접한 경우로서, 이 교차점에 위치한 센서용 검출 전극으로부터 판독한 전압이 V0으로부터 V1로 변화한 모습을 나타내고 있다. 표시면에 손가락을 접촉하고 있지 않은 상태에서는, 교차점의 용량(제1 용량 소자라고 함)에 대한 충방전에 수반하여 제1 용량 소자의 용량값에 따른 전류가 흐른다. 이때의 제1 용량 소자의 센서용 검출 전극의 전위 파형은, 예를 들어 도 2b의 파형 V0과 같이 된다. 센서용 검출 전극에 유저의 손가락끝이 근접하면, 손가락에 의해 형성되는 제2 용량 소자(용량)가 제1 용량 소자에 직렬로 추가된 형태로 된다. 이 상태에서는, 제1 용량 소자와 제2 용량 소자에 대한 충방전에 수반하여, 각각 전류가 흐른다. 이때의 제1 용량 소자의 센서용 검출 전극의 전위 파형은, 예를 들어 도 2b의 파형 V1과 같이 되고, 이것이 센서 신호 검출기(250)에 의해 검출된다. 이때, 제1 용량 소자의 센서용 검출 전극의 전위는, 제1 용량 소자와 제2 용량 소자를 흐르는 전류의 값에 의해 정해지는 분압 전위로 된다. 이로 인해, 파형 V1은, 비접촉 상태(또는, 비근접 상태)에서의 파형 V0보다도 작은 값으로 된다. 따라서, 이 센서 신호 Rx와 임계값 전압 Vth를 비교함으로써, 손가락이 센서에 접촉(또는, 근접)하고 있는지의 여부를 판단하는 것이 가능해진다.
도 3은 조작 입력 패널의 센서 구성 부품과 그 구동 방법을 설명하기 위해 도시한 사시도이며, 센서용 검출 전극(24)과 공통 전극(21)의 배치 관계를 나타내고 있다. 도 3에 나타내는 예는 일례이며, 이러한 타입에 한정되는 것은 아니다.
도 4에는 다시, 센서 일체 표시 디바이스(100), 데이터 전송 디바이스(200) 및 어플리케이션 동작 디바이스(300)를 나타내고 있다.
여기에서는, 데이터 전송 디바이스(200)와 어플리케이션 동작 디바이스(300)의 내부 구성예를 또한 나타내고 있다.
데이터 전송 디바이스(200)는, 크게 나누어 드라이버(210)와, 센서 신호 검출기(250)를 갖는다. 드라이버(210), 센서 신호 검출기(250)의 명칭은, 이것에 한정되는 것이 아니라, 각각 표시기 드라이버 IC, 터치 IC라고 칭해져도 된다. 블록은 각각 나타내어져 있지만, 일체로 구성되어, 1칩 내에 집약되어도 된다.
드라이버(210)는, 어플리케이션 동작 디바이스(300)로부터 표시용 데이터를 수취한다. 표시용 데이터는, 시분할되어 있고 블랭킹 기간을 구비한다. 표시용 데이터는, 버퍼로서의 비디오 랜덤 액세스 메모리(VRAM)(211)를 통해, 타이밍 회로 및 디지털 아날로그 변환기(212)에 입력된다. 본 시스템에서는, VRAM(211)은, 1프레임 이하의 용량이어도 된다.
아날로그량으로서의 표시용 데이터 Sigx는, 출력 증폭기(213)에 의해 증폭되어, 표시 소자에 기입하기 위해 센서 일체형 표시 디바이스(100)에 입력된다. 타이밍 회로 및 디지털 아날로그 변환기(212)에 의해 검출된 블랭킹 검출 신호는, 센서 신호 검출기(250)의 타이밍 제어기(251)에 입력된다. 이 타이밍 제어기(251)는, 드라이버(210) 내에 설치되어도 되고, 또한 동기화 회로라고 칭해져도 된다.
타이밍 제어기(251)는, 블랭킹 기간에 센서를 액세스하기 위한 센서 액세스 펄스를 생성한다. 이 센서 액세스 펄스는, 출력 증폭기(214)에 의해 증폭되어 센서 일체형 표시 디바이스(100)에 입력된다.
구동 신호 Tx가 센서용 검출 전극을 구동함으로써, 센서 신호 Rx가 센서 일체형 표시 디바이스(100)로부터 출력된다. 센서 신호 Rx는, 센서 신호 검출기(250) 내의 적분 회로(252)에 입력된다. 센서 신호 Rx는, 적분 회로(252)에서 기준 전압(임계값) Vref와 비교된다. 기준 전위 이상의 레벨의 센서 신호 Rx는, 콘덴서에 의해 적분되어, 적분 출력이 출력되고, 그리고 검출 단위 기간마다 스위치에 의해 리셋된다. 이에 의해, 센서 신호 Rx의 아날로그 출력이 얻어진다. 적분 회로(252)의 출력은, 샘플 홀드 및 아날로그/디지털 변환기(253)에 입력되어, 디지털화된다. 디지털화된 검출 데이터는, 디지털 필터(254)를 통해 미가공의 데이터로서, 어플리케이션 동작 디바이스(300)에 입력된다.
검출 데이터는, 조작 입력의 검출 데이터 및 조작 입력의 비검출 데이터의 양쪽을 포함하는 3차원 데이터(다치의 데이터)이다. 프레전스 검출기(255)는, 예를 들어 어플리케이션 동작 디바이스(300)가 슬립(sleep) 모드에 있고, 조작면 상의 터치 좌표의 검출이 행해지고 있지 않을 때에 기능한다. 프레전스 검출기(255)는, 조작면에 무엇인가 접근물이 있는 것 같은 경우, 접근물을 감지하고, 슬립 모드를 해제할 수 있다.
어플리케이션 동작 디바이스(300)는, 검출 데이터를 수취하여 해석하고, 해석 결과에 따른 상기 표시용 데이터를 출력할 수 있다. 또한, 어플리케이션 동작 디바이스(300)는, 시스템의 동작 기능을 절환할 수 있다.
어플리케이션 동작 디바이스(300)는, 각종 어플리케이션을 전개하여 장치의 동작 수순의 설정, 기능 절환, 표시용 신호의 생성, 절환 등을 실행할 수 있다. 센서 신호 검출기(250)로부터 출력된 센서 출력(미가공 데이터)을 사용하여, 좌표 연산 처리를 행하고 조작 위치의 해석을 행할 수 있다. 이 센서 출력은, 이미지 데이터로서 파악(포착)될 수 있으므로, 어플리케이션에 의해 3차원 이미지 데이터가 구축될 수도 있다. 3차원 이미지 데이터의 등록 처리, 소거 처리, 확인 처리 등도 실행할 수 있다. 등록 이미지 데이터와, 취득한 이미지 데이터를 비교함으로써, 동작 기능의 로크 및 로크 해제를 실행할 수도 있다.
또한 센서 신호를 취득하는 경우, 어플리케이션 동작 디바이스(300)는, 타이밍 제어기(251)로부터 출력되는 센서 검출용 전극에의 액세스 펄스의 주파수 변경을 실행하고, 액세스 펄스의 출력 타이밍을 설정할 수도 있다. 이에 의해, 어플리케이션 동작 디바이스는, 센서 구성 부품(150)의 액세스 영역의 절환, 액세스 속도의 설정을 행할 수 있다.
또한, 어플리케이션 동작 디바이스(300)는, 센서 출력 신호의 샘플링 밀도, 센서 출력 신호에 대한 부가 데이터의 추가 등도 실행할 수 있다.
도 5a에는, 데이터 전송 디바이스(200)로부터 출력되는 시분할의 표시용 데이터 Sigx와, 센서 구동 신호 Tx(Tx1-Txn)의 타이밍 차트의 일례를 나타내고 있다. 도 5b는 공통 전극(13)과 센서용 검출 전극을 포함하는 센서 구성 부품(150)을 도시하는 도면이며, 공통 전압 Vcom과 센서 구동 신호 Tx가 2차원 스캔을 행하는 모습을 모식적으로 도시하고 있다. 공통 전압 Vcom은, 공통 전극(13)의 복수의 세그먼트에 대해 순차적으로 인가된다. 또한 공통 전극(13)의 복수의 세그먼트에는, 임의의 기간에 센서 출력을 얻기 위한 구동 신호 Tx가 부여된다.
어플리케이션 동작 디바이스(300)로부터, 표시용 데이터 Sigx와 센서 구동 신호 Tx는, 동일한 버스를 통해 시분할에 의해 드라이버(210)에 입력되어도 된다. 타이밍 회로 및 디지털 아날로그 변환기(212)에서, 표시용 데이터 Sigx와 센서 구동 신호 Tx가 분리되어도 된다. 센서 구동 신호 Tx는, 타이밍 제어기(251), 증폭기(214)를 통해 앞서 설명한 공통 전극(13)(복수의 세그먼트)에 공급된다. 타이밍 제어기(251)로부터 센서 구동 신호 Tx를 출력하는 타이밍, 주파수 등은 어플리케이션 동작 디바이스(300)의 지령에 의해 변경할 수 있다. 또한 타이밍 제어기(251)는, 센서 신호 검출기(250)의 적분 회로(252)에 대해 리셋 타이밍 신호를 공급하고, 샘플 홀드 및 아날로그/디지털 변환기(253), 및 디지털 필터(254)에 클록을 공급할 수 있다.
도 6에는, 센서 출력의 미가공 데이터의 예이며, 조작 입력이 검출되어 있지 않을 때의 데이터를 그래프화한 모식도를 나타내고 있다.
도 7에는, 센서 출력의 미가공 데이터의 예이며, 조작 입력이 검출되었을 때의 데이터를 그래프화한 모식도를 나타내고 있다.
도 8에는, 어플리케이션 동작 디바이스(300)에 있어서, 3차원 이미지 데이터에 의해, 멀티 터치 인터페이스 기능을 포함한 다종 다양한 어플리케이션 동작 기능을 실현한 구체예를 나타내고 있다. 상기 3차원 이미지 데이터는, 센서 신호 검출기(250)로부터 입력된 미가공 데이터(RAW-D)를 바탕으로 생성된다. 도 8에 나타내는 예에서는, 미가공 데이터(RAW-D)를 바탕으로 생성한 3차원 이미지 데이터에 의해, 센서면 상방에 있어서의, 다종 다양한 조작 내용의 인식이 가능하다. 상기 조작 내용으로서는, 예를 들어 조작자(유저)의 귀의 형상(Ia), 조작자가 어른인 경우, 어린이인 경우의 각각의 손바닥의 형상(Ib), 특정한 제스처와 조작의 조합(Ic), 복수개의 손가락 터치에 의한 조작(Id), 손가락의 안쪽이 센서면에 접촉한 상태(Ie), 손가락의 끝이 센서면에 접촉한 상태(If) 등을 들 수 있다. 이들 인식이 가능한 조작 내용의 3차원 이미지 데이터를 어플리케이션 기능과 함께 등록해 둠으로써, 이미지 대조에 의한 다종 다양한 제어가 가능해진다.
예를 들어, 조작자가 귀를 휴대 단말기(1)의 센서면에 댐으로써, 휴대 단말기(1)는, 귀의 형상(Ia 참조)을 인식하여, 조작자의 진위 판정이나 그 밖의 기능 제어가 가능하다. 진위 판정에서는, 휴대 단말기(1)는, 조작자의 귀인 것을 인식하여, 휴대 단말기(1)의 기능 로크를 해제하는 것이 가능해진다. 기능 제어에서는, 휴대 단말기(1)는, 기능의 자동 절환 제어가 가능해진다. 상기 기능으로서는, 조작자가 센서면에 귀를 댐으로써 통화에 들어가는 것을 인식하여 동작 모드를 통화 모드(수화 상태)로 절환하는 기능을 들 수 있다.
또한, 손바닥 사이즈를 인식함으로써(Ib 참조), 세대별 어플리케이션의 선택적인 제공, 유저별 어플리케이션의 선택적인 제공, 조작자를 특정한 기기 또는 어플리케이션의 사용 허가 또는 사용 금지 등이 가능해진다.
또한, 특정한 제스처와 조작의 조합(Ic 참조)에서는, 예를 들어 피스 사인의 2개의 손가락으로 조작면을 2회 연속 터치하면, 카메라 어플리케이션이 기동하여 카메라 촬영을 가능하게 하고, 3회 연속 터치하면, 음악 플레이어가 기동하여 음악 재생을 가능하게 한다.
또한, 복수개의 손가락을 사용 구분(Id 참조)을 행하는 것이 조작 기능의 절환 없이 가능해진다. 예를 들어, 엄지 손가락으로 스크롤 조작을 행하고, 집게 손가락으로 탭 조작을 행하고, 새끼 손가락으로 줌 조작을 행하는 사용 구분이 가능해진다.
또한, 휴대 단말기(1)는, 손가락의 안쪽의 터치(Ie 참조)와, 손톱을 세운 손가락끝의 터치(If 참조)를 구별하여 인식하고, 각각 다른 어플리케이션을 기동하는 것도 가능하다.
도 9에는, 휴대 단말기(1)에 있어서의, 상기한 각종 조작 내용의 인식에 의한, 로크 해제예를 나타내고 있다. 휴대 단말기(1)의 기능 로크를 선택적으로 해제(SB4)하고, 휴대 단말기(1)의 사용을 가능(SB5)하게 하고 있다. 이 예에서는, 상기 로크 해제하기 위한 조건은, OR 조건, 혹은 어느 하나의 AND 조건으로 정의된다. 여기서, OR 조건의 경우에는, 복수의 이벤트 중 어느 하나가 발생함으로써 상기 로크 해제가 성립한다. AND 조건의 경우에는, 복수의 이벤트 모두가 발생함으로써, 또는 임의의 2개 이상의 이벤트가 발생함으로써, 상기 로크 해제가 성립한다. 상기 이벤트가 발생하는 경우라 함은, 귀의 형상으로 인증이 얻어진 경우(SB31), 손바닥의 형상으로 인증이 얻어진 경우(SB32), 손가락끝의 형상으로 인증이 얻어진 경우(SB33)를 들 수 있다. 이 로크 해제 수단에 의해, 시큐리티 레벨에 맞춘 사용하기 편리한 인증 기능이 실현 가능하다.
이들 인증에 사용되는 3차원 이미지 데이터의 등록 처리는, 예를 들어 이미지의 등록 화면 및 음성 가이던스의 양쪽, 혹은 어느 한쪽에 의한 조작 안내에 의해 원활하게 실시 가능하다.
어플리케이션 동작 디바이스(300)에는, 상기한 3차원 이미지 데이터에 기초하는 각종 조작 내용에 따르는 어플리케이션 기능을 실현하기 위한 이미지의 등록 처리, 및 인증 처리를 실현하기 위한 처리 수순이 미리 준비되어 있다.
도 10 및 도 11에는, 귀의 형상(Ia 참조)을 인식하여 휴대 단말기(1)의 기능 로크를 선택적으로 해제하는 등록 및 인증의 처리 수순을 나타내고 있다.
도 10에 등록 시퀀스의 일례를 나타내고 있다. 이 등록 시퀀스에서는, 휴대 단말기(1)를 소유하는 유저의 귀의 3차원 이미지 데이터를 어플리케이션 동작 디바이스(300) 상에서 동작하는 어플리케이션에 등록한다(S11 내지 S13). 계속해서, 등록한 귀의 3차원 이미지 데이터를 사용하여 기능의 선택을 행한다(S14). 로크 해제를 선택하는 경우, 로크 해제(S14A)를 등록하여, 귀 형상에 의한 인증의 등록 처리를 완료한다(S15). 로크 해제를 선택하지 않은 경우, 그 밖의 기능(S14B)을 이용한다. 또한, 상기 등록 시퀀스는, 다양하게 변형 가능하며, 그 밖의 기능(S14B)을 필요에 따라 이용하도록 구성되어 있어도 된다.
도 11에 로크 해제 시퀀스의 일례를 나타내고 있다. 로크 해제 시퀀스에서는, 휴대 단말기(1)를 소유하는 유저가 센서 구성 부품(150)의 센서면에 귀를 댐으로써 생성된 귀의 3차원 이미지 데이터가, 귀의 3차원 이미지 데이터를 미리 등록한 어플리케이션 내에서 대조된다(S21 내지 S22). 이미지 데이터가 귀 형상이라고 판정한 경우, 등록 판정한다(S23). 로크 해제라고 판정한 경우, 특징이 일치한 판정에 의해, 귀의 3차원 이미지 데이터를 미리 등록한 어플리케이션의 로크가 해제된다(S23A 내지 S24). 로크 해제라고 판정되지 않은 경우, 그 밖의 기능(S23B)을 이용한다. 또한, 상기 로크 해제 시퀀스는, 다양하게 변형 가능하며, 그 밖의 기능(S23B)을 필요에 따라 이용하도록 구성되어 있어도 된다.
도 12 및 도 13에는, 복수개의 손가락을 나누어 사용한 조작 입력(Id 참조)을 가능하게 하는 등록 및 조작의 처리 수순을 나타내고 있다.
도 12에 등록 시퀀스의 일례를 나타내고 있다. 이 등록 시퀀스에서는, 센서면의 조작에 사용하는 손가락 각각의 형상을 3차원 이미지 데이터로 미리 등록해 둔다. 예를 들어, 엄지 손가락으로 스크롤 조작을 행하고, 집게 손가락으로 탭 조작을 행하고, 새끼 손가락으로 줌 조작을 행하는 경우, 우선 센서면에 엄지 손가락을 접촉하여 엄지 손가락의 3차원 이미지 데이터를 등록하고(S31 내지 S33), 계속해서 등록한 엄지 손가락의 조작 기능(스크롤 조작 기능)을 등록한다(S34A 내지 S35). 또한 계속해서 집게 손가락의 3차원 이미지 데이터, 및 동 집게 손가락의 조작 기능[탭 조작 기능(S34B 내지 S35)]을 등록한 후, 새끼 손가락의 3차원 이미지 데이터, 및 동 새끼 손가락의 조작 기능[줌 조작 기능(S34C 내지 S35)]을 등록한다.
도 13에 조작 시퀀스의 일례를 나타내고 있다. 이 조작 시퀀스에서는, 센서면에 접촉한 손가락의 이미지 데이터와 등록된 손가락의 이미지 데이터가 대조되고(S43), 엄지 손가락에 의한 스크롤 조작(S43A 내지 S44)과, 집게 손가락에 의한 탭 조작(S43B 내지 S44)과, 새끼 손가락에 의한 줌 조작(S43C 내지 S44)을 각각, 기능 선택을 행하는 일 없이 가능하게 하고 있다.
도 14에는, 센서면의 2개소를 각각 터치하여 어플리케이션 기능을 절환하는 조작예를 나타내고 있다. 예를 들어 왼손의 엄지 손가락으로 묘화의 선종 기능을 선택하고, 오른손의 집게 손가락으로 묘화 부분을 터치함으로써, 오른손의 집게 손가락의 묘화 부분의 선종을 바꿀 수 있다. 왼손의 엄지 손가락으로 묘화의 색 지정을 선택하고, 오른손의 집게 손가락으로 묘화 부분을 터치함으로써, 오른손의 집게 손가락의 묘화 부분의 색을 바꿀 수 있다. 왼손의 엄지 손가락으로 묘화의 부분 취소를 선택하고, 오른손의 집게 손가락으로 묘화 부분을 터치함으로써, 오른손의 집게 손가락의 묘화 부분을 지우개 기능으로 지울 수 있다. 이와 같이 복수개의 손가락 조작에 의한 기능 절환을 가능하게 함으로써 조작성이 우수한 터치 조작 기능을 제공할 수 있다.
도 15에는, 특정 형상의 이미지 데이터를 미리 등록해 두고, 로크 해제 시의 인증용 패턴으로서 사용하는 예를 나타내고 있다. 예를 들어 스탬프와 같은 특정 형상의 이미지 데이터를 미리 등록해 둠으로써, 당해 형상의 스탬프 이미지를 사용한 로크 해제의 인증 수속이 가능하다.
도 16에는, 수 프레임분의 이미지 데이터를 미리 등록해 두고, 제스처로서 사용하는 예를 나타내고 있다. 예를 들어 집게 손가락의 안쪽 전체로 센서면을 화면의 상방향으로 슬라이드 조작함으로써 로크를 해제하고, 그 역방향으로 슬라이드 조작함으로써 슬립 상태로 하는 기능 제어가 가능하다.
또한, 도 16에 도시하는 기능의 응용으로서, 예를 들어 조작 방향에 따른 이전 곡(曲) 방향, 다음 곡(曲) 방향으로의 선곡(選曲) 조작, 음악 플레이어의 기동, 정지 등, 여러 가지 기능 절환, 기능 선택이 가능하다. 이들 조작은 반드시 센서면에 도체로 되는 손가락을 터치한 상태에서 행할 필요는 없고, 미가공 데이터(RAW-D)에 기초하는 3차원 이미지 데이터에 의해 감지가 가능해지도록 센서면의 감지 레벨을 조정함으로써, 센서면 상에 있어서 비접촉으로(예를 들어 가방의 외측으로부터) 조작 가능하다.
이로 인해, 어플리케이션 동작 디바이스(300)(처리 모듈)는, 생체 인증 처리 모듈로서 이용된다. 생체 인증 처리 모듈은, 센서면 상을 조작한 조작자의 신체적 특징 혹은 행동적 특징에 의한 생체 인증을 행한다.
또한, 본 발명은 상기 실시 형태 자체에 한정되는 것이 아니라, 실시 단계에서는 그 요지를 일탈하지 않는 범위에서 구성 요소를 변형하여 구체화 가능하다. 또한, 상기 실시 형태에 개시되어 있는 복수의 구성 요소의 적절한 조합에 의해, 다양한 발명을 형성할 수 있다. 예를 들어, 실시 형태에 나타내어지는 전체 구성 요소로부터 몇 개의 구성 요소를 삭제해도 된다. 또한, 다른 실시 형태에 관한 구성 요소를 적절히 조합해도 된다.

Claims (12)

  1. 표시 정보를 출력하는 표시면과 조작 정보를 입력하는 센서면을 일체로 가진 센서가 구비된 표시 디바이스와,
    상기 센서면에서 감지된 신호를 바탕으로 3차원 정보를 생성하고 출력하는 데이터 전송 디바이스와,
    상기 데이터 전송 디바이스가 출력한 상기 3차원 정보를 바탕으로 상기 센서면의 복수의 감지점에 있어서의 3차원의 이미지 데이터를 생성하는 이미지 데이터 생성 모듈과,
    상기 이미지 데이터 생성 모듈이 생성한 이미지 데이터를 바탕으로 상기 센서면의 상방을 조작한 도체의 조작 내용을 해석하는 처리 모듈
    을 구비한 전자 기기.
  2. 제1항에 있어서,
    상기 3차원 정보는 상기 센서면에 대한 도체의 근접도를 나타내는 조작 정보인 전자 기기.
  3. 제1항에 있어서,
    상기 데이터 전송 디바이스는 상기 표시면에 상기 표시 정보를 표시하는 표시 구동 타이밍에 동기하여 상기 3차원 정보를 상기 이미지 데이터 생성 모듈에 전송하는 전자 기기.
  4. 제1항에 있어서,
    좌표 연산 처리 모듈을 더 구비하고,
    상기 이미지 데이터 생성 모듈 및 상기 좌표 연산 처리 모듈은, 각각, 복수종의 어플리케이션의 처리를 가능하게 하고, 베이스 밴드 엔진을 가진 반도체 집적 회로에 의해 구성된 어플리케이션 동작 디바이스 내에 설치되어 있는 전자 기기.
  5. 제1항에 있어서,
    상기 이미지 데이터 생성 모듈은 상기 표시면에 표시 정보를 표시하는 표시 구동 타이밍에 동기하여 상기 센서면의 전체 감지점의 상기 3차원 정보를 바탕으로 상기 이미지 데이터를 생성하는 전자 기기.
  6. 제1항에 있어서,
    상기 처리 모듈은 상기 해석한 조작 내용에 대응된 어플리케이션 처리를 기동하는 어플리케이션 처리 모듈을 구비하는 전자 기기.
  7. 제1항에 있어서,
    상기 처리 모듈은 상기 센서면의 상방을 조작한 조작자의 인체의 특정 부위의 이미지를 인식하는 조작 입력 인식 처리 모듈을 구비하는 전자 기기.
  8. 제1항에 있어서,
    상기 처리 모듈은 상기 센서면의 상방을 조작한 조작자의 신체적 특징 혹은 행동적 특징에 의한 생체 인증을 행하는 생체 인증 처리 모듈을 구비하는 전자 기기.
  9. 표시 정보를 출력하는 표시면과 조작 정보를 입력하는 센서면을 일체로 가진 센서가 구비된 표시 디바이스를 갖는 전자 기기의 제어 방법으로서,
    상기 센서면에서 감지된 신호를 바탕으로 생성된 3차원 정보를 취득하고,
    상기 취득한 3차원 정보를 바탕으로 상기 센서면의 복수의 감지점에 있어서의 3차원의 이미지 데이터를 생성하고,
    상기 생성한 이미지 데이터를 바탕으로 상기 센서면의 상방을 조작한 도체의 조작 내용을 인식하고,
    상기 인식한 조작 내용에 따라 어플리케이션 동작을 제어하는 전자 기기의 제어 방법.
  10. 제9항에 있어서,
    상기 3차원 정보는, 상기 표시면에 상기 표시 정보를 표시하는 표시 구동 타이밍에 동기한 클록 전송에 의해 취득되는 전자 기기의 제어 방법.
  11. 제9항에 있어서,
    상기 3차원 정보는, 상기 센서면에 대한 도체의 근접도를 나타내는 조작 정보인 전자 기기의 제어 방법.
  12. 제11항에 있어서,
    상기 3차원 정보는, 상기 표시면에 상기 표시 정보를 표시하는 표시 구동 타이밍에 동기한 클록 전송에 의해 취득되는 전자 기기의 제어 방법.
KR1020140034458A 2013-03-29 2014-03-25 전자 기기 및 전자 기기의 제어 방법 KR101635261B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013073867A JP5856995B2 (ja) 2013-03-29 2013-03-29 電子機器および電子機器の制御方法
JPJP-P-2013-073867 2013-03-29

Publications (2)

Publication Number Publication Date
KR20140118826A true KR20140118826A (ko) 2014-10-08
KR101635261B1 KR101635261B1 (ko) 2016-06-30

Family

ID=51598287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140034458A KR101635261B1 (ko) 2013-03-29 2014-03-25 전자 기기 및 전자 기기의 제어 방법

Country Status (5)

Country Link
US (1) US9740395B2 (ko)
JP (1) JP5856995B2 (ko)
KR (1) KR101635261B1 (ko)
CN (1) CN104076981B (ko)
TW (1) TWI545477B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6046321B1 (ja) * 2015-03-02 2016-12-14 株式会社ワコム アクティブ静電スタイラス、センサコントローラ、これらを備えるシステム、及び、これらによって実行される方法
WO2016189426A1 (ja) * 2015-05-28 2016-12-01 株式会社半導体エネルギー研究所 タッチパネル
CN105553718B (zh) * 2015-12-15 2019-06-25 腾讯科技（深圳）有限公司 引导信息显示方法及装置
CN106959792B (zh) * 2016-01-12 2023-10-31 宸鸿科技(厦门)有限公司 具指纹辨识功能的触控检测装置
US10133430B2 (en) 2016-05-11 2018-11-20 Microsoft Technology Licensing, Llc Encoding data in capacitive tags
CN108196815B (zh) * 2017-12-28 2020-01-03 维沃移动通信有限公司 一种通话声音的调节方法和移动终端
TWI699602B (zh) * 2019-01-21 2020-07-21 友達光電股份有限公司 顯示裝置
US10838547B1 (en) * 2019-10-16 2020-11-17 Synaptics Incorporated Display noise filter for a sensing device
CN116249957A (zh) * 2020-08-11 2023-06-09 华为技术有限公司 传感器电路、像素电路和用于控制像素电路的方法
TWI774265B (zh) 2021-03-12 2022-08-11 元太科技工業股份有限公司 顯示器的驅動電路及時序控制器的操作方法
JP2024049520A (ja) * 2022-09-29 2024-04-10 Ｎｉｓｓｈａ株式会社 指装着型コントローラー

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法
KR20100030404A (ko) * 2008-09-10 2010-03-18 김현규 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법
KR20110052270A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
JP2012048295A (ja) 2010-08-24 2012-03-08 Sony Corp タッチ検出機能付き表示装置、制御回路、タッチ検出機能付き表示装置の駆動方法、および電子機器
JP2012220967A (ja) * 2011-04-04 2012-11-12 Rohm Co Ltd 電子機器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323846B1 (en) * 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
US7750891B2 (en) 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
JP3968522B2 (ja) 2003-10-06 2007-08-29 ソニー株式会社 記録装置、及び記録方法
US8355887B1 (en) * 2009-04-24 2013-01-15 Cypress Semiconductor Corporation Proximity based gesturing devices, systems and methods
JP5388114B2 (ja) * 2009-05-19 2014-01-15 シャープ株式会社 情報通信システム、通信装置、通信プログラム、および通信方法
US9594431B2 (en) * 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
JP2011221607A (ja) * 2010-04-05 2011-11-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
TW201137668A (en) 2010-04-26 2011-11-01 Hon Hai Prec Ind Co Ltd Adjustment system and method for three-dimensional image
US8566955B2 (en) * 2010-10-31 2013-10-22 Pixart Imaging Inc. User indentification with capacitive touchscreen
US9158455B2 (en) * 2011-07-12 2015-10-13 Apple Inc. Multifunctional environment for image cropping
EP2754017B1 (en) * 2011-09-07 2021-03-03 Synaptics Incorporated Capacitive sensing during non-display update times
US8780065B2 (en) * 2012-07-19 2014-07-15 Cypress Semiconductor Corporation Interface and synchronization method between touch controller and display driver for operation with touch integrated displays
US9268399B2 (en) * 2013-03-01 2016-02-23 Qualcomm Incorporated Adaptive sensor sampling for power efficient context aware inferences
CN103116432B (zh) * 2013-03-04 2016-08-31 惠州Tcl移动通信有限公司 一种触摸屏的三维操作控制方法、装置及其移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117371A (ja) * 2006-10-13 2008-05-22 Sony Corp 近接検知型情報表示装置およびこれを使用した情報表示方法
KR20100030404A (ko) * 2008-09-10 2010-03-18 김현규 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법
KR20110052270A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
JP2012048295A (ja) 2010-08-24 2012-03-08 Sony Corp タッチ検出機能付き表示装置、制御回路、タッチ検出機能付き表示装置の駆動方法、および電子機器
JP2012220967A (ja) * 2011-04-04 2012-11-12 Rohm Co Ltd 電子機器

Also Published As

Publication number Publication date
JP5856995B2 (ja) 2016-02-10
CN104076981B (zh) 2017-07-07
TW201502911A (zh) 2015-01-16
TWI545477B (zh) 2016-08-11
US20140292687A1 (en) 2014-10-02
US9740395B2 (en) 2017-08-22
CN104076981A (zh) 2014-10-01
JP2014199491A (ja) 2014-10-23
KR101635261B1 (ko) 2016-06-30

Similar Documents

Publication Publication Date Title
KR101635261B1 (ko) 전자 기기 및 전자 기기의 제어 방법
US9557873B2 (en) Electronic device and method for controlling the electronic device
TWI515621B (zh) 輸入裝置、其輸入模式切換方法以及電腦裝置
US8878802B2 (en) Display unit, display method, and electronic system
US8952923B2 (en) Touch detection function-attached display apparatus, driving method and driving circuit therefor with switchable AC and DC driving, and electronic apparatus
US20130135247A1 (en) Touch sensing apparatus
US20150325191A1 (en) Touch detecting function display apparatus, driving circuit, driving method of touch detecting function display apparatus and electronic equipment
US20090167719A1 (en) Gesture commands performed in proximity but without making physical contact with a touchpad
US9652091B1 (en) Touch sensitive display utilizing mutual capacitance and self capacitance
US20140292676A1 (en) Electronic device and method for controlling the electronic device
KR102374750B1 (ko) 지문센서 일체형 터치 스크린 장치와 그 구동방법
KR101689927B1 (ko) 전자 기기, 어플리케이션 실행 디바이스, 전자 기기의 제어 방법
CN104035606A (zh) 触控面板的操作方法与电子装置
JP6473671B2 (ja) タッチ検出機能付き表示装置及び表示システム
US9389704B2 (en) Input device and method of switching input mode thereof
KR20170081017A (ko) 지문센서 일체형 터치 스크린 장치와 그 구동방법
JP5866311B2 (ja) 電子機器、電子機器の制御方法
CN104063046B (zh) 输入装置及切换输入方式的方法
WO2018195791A1 (zh) 触控装置及电子终端
US11789569B2 (en) Physical control device for touchscreens
TW201312391A (zh) 觸控板裝置以及其控制方法

Legal Events

Date Code Title Description
A201 Request for examination
GRNT Written decision to grant