TW201502911A - 電子機器及電子機器之控制方法 - Google Patents

電子機器及電子機器之控制方法 Download PDF

Info

Publication number
TW201502911A
TW201502911A TW103110546A TW103110546A TW201502911A TW 201502911 A TW201502911 A TW 201502911A TW 103110546 A TW103110546 A TW 103110546A TW 103110546 A TW103110546 A TW 103110546A TW 201502911 A TW201502911 A TW 201502911A
Authority
TW
Taiwan
Prior art keywords
sensor
image data
display
sensor surface
information
Prior art date
Application number
TW103110546A
Other languages
English (en)
Other versions
TWI545477B (zh
Inventor
Jouji Yamada
Hirofumi Nakagawa
Michio Yamamoto
kohei Azumi
Makoto Hayashi
Hiroshi Mizuhashi
Kozo Ikeno
Yoshitoshi Kida
Original Assignee
Japan Display Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Display Inc filed Critical Japan Display Inc
Publication of TW201502911A publication Critical patent/TW201502911A/zh
Application granted granted Critical
Publication of TWI545477B publication Critical patent/TWI545477B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明之一實施形態之電子機器具備一體地具有顯示面及感測器面之附帶感測器之顯示器件(100)、資料傳送器件(200)、影像資料產生模組、及處理模組。上述資料傳送器件產生並輸出三維資訊。上述影像資料產生模組基於上述三維資訊，產生上述感測器面之複數個感知點之三維影像資料。上述處理模組基於上述影像資料，解析在上述感測器面之上方進行操作之導體之操作內容。

Description

電子機器及電子機器之控制方法
本發明之實施形態係關於一種電子機器及電子機器之控制方法。
行動電話、平板、個人數位助理(PDA)、及小型攜帶用個人電腦等日益普及。該等電子機器具有與顯示面板成為一體之操作輸入面板。
操作輸入面板係當使用者觸碰顯示面上時，以例如靜電電容之變化之形式檢測出觸碰位置。檢測信號被輸入至專為操作輸入面板設計且已積體電路(IC)化之觸控信號處理IC。觸控信號處理IC利用預先準備之計算算法對上述檢測信號進行處理，將使用者觸碰之位置轉換為座標資料並輸出。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2012-48295號公報
隨著製造技術之進步，顯示面板之解像度高解像度化，而且顯示面板亦不斷推進大型化。隨著顯示面板之高解像度化或大型化，操 作輸入面板之位置檢測精度亦要求高精細化。又，視應用程式之不同，操作輸入面板對操作輸入之資料處理速度亦要求高速化。又，期待一種能夠容易地變更應用程式之方式之裝置。
因此，本發明之一實施形態之目的在於提供一種可靈活地適應多種應用程式，亦可使對應用程式之輸入資訊豐富的電子機器及電子機器之控制方法。
一實施形態之電子機器具備：附帶感測器之顯示器件，其一體地具有輸出顯示資訊之顯示面及輸入操作資訊之感測器面；資料傳送器件，其基於在上述感測器面感知到之信號而產生並輸出三維資訊；影像資料產生模組，其基於上述資料傳送器件所輸出之上述三維資訊，產生上述感測器面之複數個感知點之三維影像資料；及影像解析處理模組，其基於上述影像資料產生模組所產生之影像資料而解析在上述感測器面之上方進行操作之導體之操作內容。
又，關於一實施形態之電子機器之控制方法，該電子機器包含一體地具有輸出顯示資訊之顯示面及輸入操作資訊之感測器面的附帶感測器之顯示器件，該控制方法獲取基於在上述感測器面感知到之信號而產生之三維資訊，基於上述獲取之三維資訊而產生上述感測器面之複數個感知點之三維影像資料，基於上述產生之影像資料而識別在上述感測器面之上方進行操作之導體之操作內容，並依據上述識別之操作內容而控制應用程式動作。
1‧‧‧移動終端
10‧‧‧像素基板
11‧‧‧薄膜電晶體(TFT)基板
12‧‧‧像素電極
13‧‧‧共用電極
20‧‧‧對向基板
22‧‧‧彩色濾光片
23‧‧‧玻璃基板
24‧‧‧感測器用檢測電極
25‧‧‧偏光板
30‧‧‧液晶層
100‧‧‧感測器一體型顯示器件
110‧‧‧顯示元件構成零件
150‧‧‧感測器構成零件
200‧‧‧資料傳送器件
210‧‧‧驅動器
211‧‧‧視訊隨機存取記憶體(VRAM)
212‧‧‧時序電路及數位類比轉換器
213‧‧‧輸出放大器
214‧‧‧輸出放大器
250‧‧‧感測器信號檢測器
251‧‧‧時序控制器
252‧‧‧積分電路
253‧‧‧取樣保持及類比數位轉換器
254‧‧‧數位濾波器
255‧‧‧存在檢測器
300‧‧‧應用程式動作器件
P1‧‧‧影像資料產生處理模組
P2‧‧‧影像解析處理模組
Ps‧‧‧應用程式執行模組
RAW-D‧‧‧原始資料
Rx‧‧‧感測器信號
Sigx‧‧‧顯示信號(像素信號)
Tx‧‧‧感測器驅動信號
V0‧‧‧電壓
V1‧‧‧電壓
Vcom‧‧‧共用電壓
Vref‧‧‧基準電壓(閾值)
Vth‧‧‧閾值電壓
圖1係一實施形態之電子機器之方塊構成圖。
圖2A係為了說明一體地具有顯示面或顯示面板、以及操作面或操作輸入面板之感測器一體型顯示器件而示出之剖面圖。
圖2B係為了說明用以根據自操作輸入面板輸出之信號獲得觸控 檢測信號之原理而示出之說明圖。
圖3係為了說明操作輸入面板之感測器構成零件及其驅動方法而示出之立體圖。
圖4係圖1所示之資料傳送器件之方塊構成例及將應用程式動作器件之由各種應用程式所實現之功能之若干例方塊化地表示之圖。
圖5A係表示自圖1及圖4之驅動器所輸出之顯示用信號與感測器用檢測電極之驅動信號之輸出時序之例的圖。
圖5B係為了說明感測器用檢測電極及共用電極之驅動狀態而示出之模式圖。
圖6係表示將無操作輸入之情形時之感測器輸出之原始資料(檢測資料)圖表化而成之一例的模式圖。
圖7係表示將有操作輸入之情形時之感測器輸出之原始資料(檢測資料)圖表化而成之一例的模式圖。
圖8係用以說明本實施形態之移動終端之使用例之圖。
圖9係用以說明本實施形態之移動終端之使用例之流程圖。
圖10係用以說明本實施形態之移動終端之具體使用例(例1)之流程圖。
圖11係用以說明本實施形態之移動終端之具體使用例(例1)之流程圖。
圖12係用以說明本實施形態之移動終端之具體使用例(例2)之流程圖。
圖13係用以說明本實施形態之移動終端之具體使用例(例2)之流程圖。
圖14係用以說明本實施形態之移動終端之具體使用例(例3)之操作說明圖。
圖15係用以說明本實施形態之移動終端之具體使用例(例4)之操 作說明圖。
圖16係用以說明本實施形態之移動終端之具體使用例(例5)之操作說明圖。
以下，參照圖式對實施形態進行說明。
於圖1表示應用有一實施形態之移動終端1。移動終端1構成具備感測器一體型顯示器件100、資料傳送器件200及應用程式動作器件300之電子機器。
感測器一體型顯示器件100一體地具有輸出顯示資訊之顯示面及輸入操作資訊之感測器面。感測器一體型顯示器件100係用作附帶感測器之顯示器件。資料傳送器件200基於在上述感測器面感知到之信號而產生並輸出三維資訊(RAW-D)。應用程式動作器件300具有如下處理功能，即，基於資料傳送器件輸出之三維資訊(RAW-D)而產生上述感測器面之複數個感知點之三維影像資料，並基於產生之影像資料而解析在上述感測器面上進行操作之導體之操作內容。應用程式動作器件300係用作影像資料產生模組及處理模組。
感測器一體型顯示器件100一體地具有顯示面(或顯示面板)及操作面(或操作輸入面板)，因此具有顯示元件構成零件110、及感測器構成零件150。
對該感測器一體型顯示器件100，自下述驅動器210供給顯示用信號(或像素信號)。而且，若自驅動器210供給閘極信號，則對顯示元件構成零件110之像素寫入像素信號Sigx。根據該像素信號Sigx而決定像素電極與共用電極間之電壓，電極間之液晶分子因該電壓而移位，獲得與液晶分子之移位對應之亮度。
感測器一體型顯示器件100之通稱並不限定於此，亦可稱為輸入感測器一體型顯示部、使用者介面等。
顯示元件構成零件110亦可採用由液晶顯示面板、LED(Light-Emitting Diode，發光二極體)、有機EL(Electroluminescence，電致發光)等發光元件形成之顯示部。顯示元件構成零件110亦可被簡稱為顯示器。感測器構成零件150有靜電電容變化偵測方式、光量變化偵測方式等，可採用任一種方式。感測器構成零件150亦可被稱為用以檢測觸控輸入之面板。
感測器一體型顯示器件100係經由資料傳送器件200而連接於應用程式動作器件300。
資料傳送器件200具有驅動器210、感測器信號檢測器250。基本而言，驅動器210將自應用程式動作器件300傳送而來之圖形資料輸入至顯示元件構成零件110。又，感測器信號檢測器250檢測自感測器構成零件150輸出之感測器信號Rx。
驅動器210與感測器信號檢測器250相互地同步動作，且同步控制係基於應用程式動作器件300之控制。
應用程式動作器件300係併入至行動電話等電子機器內之例如半導體積體電路(LSI)，具有藉由OS(operating system，作業系統)等軟體複合地執行Web瀏覽或多媒體處理等複數種功能處理之作用。該等應用程式處理器係進行高速之運算處理者，且亦可為雙核心(Dual-Core)、或四核心(Quad-Core)處理器。作為動作速度，例如500MHz以上、更佳為1GHz之應用程式處理器較適宜。
驅動器210基於應用程式，對顯示元件構成零件110供給顯示信號(圖形資料經類比轉換之信號)Sigx。進而，驅動器210基於來自感測器信號檢測器250之時序信號，輸出用於存取感測器構成零件150之感測器驅動信號Tx。與該感測器驅動信號Tx同步地被讀出之感測器信號Rx，係自感測器構成零件150被讀出，並輸入至感測器信號檢測器250。
感測器信號檢測器250截割感測器信號，去除雜訊，並將其作為原始讀取影像資料(可稱為三維影像資料)，而輸入至應用程式動作器件300。於本實施形態中，將自上述感測器信號檢測器250輸出之原始讀取影像資料，稱為原始資料(RAW-D)或去除了符號之原始資料。
於感測器構成零件150為電容檢測方式之情形時，影像資料並非單純地表示座標之二維資料，可根據電容之大小而具有不同之多值(2位元以上之例如3值-7值)。因此，該影像資料可稱為包含物理量及座標之三維資料。由於根據成為對象物之導體(例如使用者之指尖)與觸控面板之遠近(接近度)而電容產生變化，故可將該變化以物理量之變化來獲取。
如上所述，資料傳送器件200之感測器信號檢測器250，將影像資料直接提供至應用程式動作器件300之原因，係基於以下原因。
首先，應用程式動作器件300可有效利用其高速運算功能，將影像資料用於各種用途。
於應用程式動作器件300中，根據來自使用者之各種期望，而儲存各種新的應用程式。新的應用程式有根據資料處理內容，而希望變化或切換影像資料之處理方法、讀出時序、讀出格式、讀出區域、或讀出密度等的情形。
於此種情形時，若如先前之裝置般僅接收座標資料，則其獲取資訊量受到限制。然而，若如本裝置般解析原始三維影像資料，則例如除座標位置資訊外，亦可獲得與導體之接近度相應之遠近資訊。
進而，為了獲得由應用程式實現之各種功能之擴展性，較理想的是，資料傳送器件200可追隨基於利用應用程式之控制之各種動作。因此，資料傳送器件200係設為如下構造，即，作為儘可能簡單之功能，可與利用應用程式之控制對應地任意切換感測器信號之讀取時序、讀取區域、讀取密度等。該點於下文亦將進行說明。
於本實施形態之情形時，應用程式動作器件300包含單一之半導體積體電路，該半導體積體電路搭載具備無線機介面(參照圖1)之基頻引擎而可進行多種應用程式之處理，且被稱為所謂之應用程式處理器，且除上述無線機介面以外，亦可包含例如相機功能介面等。因此，應用程式動作器件300亦作為座標運算處理模組發揮功能。
進而，應用程式動作器件300包含影像資料產生處理模組(P1)、影像解析處理模組(P2)及各種應用程式執行模組(Ps)。影像資料產生處理模組(P1)基於自感測器信號檢測器250接收到之原始資料(RAW-D)，而產生感測器構成零件150之感測器面之複數個感知點之三維影像資料。影像解析處理模組(P2)基於由上述影像資料產生處理模組所產生之影像資料而識別在上述感測器面上進行操作之導體之操作內容。影像解析處理模組(P2)係用作操作輸入識別處理模組。各種應用程式執行模組(Ps)執行與由上述影像解析處理模組所識別之操作內容對應之應用程式。
圖2A表示顯示元件構成零件110與感測器構成零件150成為一體之感測器一體型顯示器件100、即顯示面板與操作輸入面板一體化之顯示裝置的剖面構造。
像素基板10具備薄膜電晶體(TFT)基板11、共用電極13及像素電極12。共用電極13係形成於薄膜電晶體(TFT)基板11上。於本實施形態中，共用電極13係由複數個區段所形成。然而，共用電極13亦可由單一之電極形成。像素電極12通過絕緣層而形成於共用電極13之上方。像素基板10亦可被稱為陣列基板。對向基板20係與像素基板10平行地配置。對向基板20具備彩色濾光片22、玻璃基板23、感測器用檢測電極24及偏光板25。彩色濾光片22、玻璃基板23、感測器用檢測電極24、及偏光板25係自液晶層30側依序配置。液晶層30被保持於像素基板10與對向基板20之間。
共用電極13既為顯示用之共用驅動電極，亦作為感測器用驅動電極(或感測器之共用驅動電極)發揮功能。
圖2B係導體、例如使用者之指尖接近共用電極與感測器用檢測電極之交叉點附近之情形，且表示自位於該交叉點之感測器用檢測電極讀出之電壓自V0變化為V1之情況。於手指未接觸顯示面之狀態下，伴隨對交叉點之電容(設為第1電容元件)之充放電，與第1電容元件之電容值相應之電流流動。此時之第1電容元件之感測器用檢測電極之電位波形成為如例如圖2B之波形V0。若使用者之指尖接近感測器用檢測電極，則成為由手指形成之第2電容元件(電容)串聯地追加至第1電容元件之形態。於該狀態下，伴隨對第1電容元件及第2電容元件之充放電，電流分別流動。此時之第1電容元件之感測器用檢測電極之電位波形成為如例如圖2B之波形V1，其被感測器信號檢測器250所檢測。此時，第1電容元件之感測器用檢測電極之電位成為由在第1電容元件及第2電容元件流動之電流之值所決定之分壓電位。因此，波形V1成為較非接觸狀態(或非接近狀態)下之波形V0小之值。因此，可藉由將該感測器信號Rx與閾值電壓Vth進行比較，而判斷手指是否接觸(或接近)感測器。
圖3係為了說明操作輸入面板之感測器構成零件及其驅動方法而示出之立體圖，且表示感測器用檢測電極24與共用電極21之配置關係。圖3所示之例為一例，並不限定於此種類型。
圖4再次表示感測器一體顯示器件100、資料傳送器件200及應用程式動作器件300。
此處，進而示出資料傳送器件200及應用程式動作器件300之內部構成例。
資料傳送器件200大致劃分而言具有驅動器210、及感測器信號檢測器250。驅動器210、感測器信號檢測器250之名稱並不限定於 此，亦可分別被稱為顯示器驅動器IC、觸控IC。方塊係分別地表示，但亦可構成為一體，彙集於一晶片內。
驅動器210自應用程式動作器件300接收顯示用資料。顯示用資料被分時且具備消隱期間。顯示用資料經由作為緩衝器之視訊隨機存取記憶體(VRAM)211被輸入至時序電路及數位類比轉換器212。於本系統中，VRAM211亦可為一圖框以下之容量。
將作為類比量之顯示用資料Sigx以輸出放大器213放大，且為了寫入至顯示元件而輸入至感測器一體型顯示器件100。以時序電路及數位類比轉換器212檢測出之消隱檢測信號，係輸入至感測器信號檢測器250之時序控制器251。該時序控制器251亦可設置於驅動器210內，而且亦可被稱為同步化電路。
時序控制器251於消隱期間產生用於存取感測器之感測器存取脈衝。將該感測器存取脈衝以輸出放大器214放大，並被輸入至感測器一體型顯示器件100。
藉由驅動信號Tx驅動感測器用檢測電極，而自感測器一體型顯示器件100輸出感測器信號Rx。感測器信號Rx係輸入至感測器信號檢測器250內之積分電路252。感測器信號Rx係於積分電路252中與基準電壓(閾值)Vref進行比較。基準電位以上之位準之感測器信號Rx於電容器被積分，且積分輸出被輸出，而且於每一檢測單位期間利用開關重設。藉此，獲得感測器信號Rx之類比輸出。積分電路252之輸出係被輸入至取樣保持及類比數位轉換器253並數位化。經數位化之檢測資料，係經由數位濾波器254，作為原始資料而被輸入至應用程式動作器件300。
檢測資料係包含操作輸入之檢測資料及操作輸入之非檢測資料兩者的三維資料(多值之資料)。存在檢測器255係例如於應用程式動作器件300處於休眠模式而未進行操作面上之觸控座標之檢測時發揮 功能。存在檢測器255可於如在操作面有某種接近物之情形時，感知接近物，並解除休眠模式。
應用程式動作器件300可接收並解析檢測資料，並輸出與解析結果相應之上述顯示用資料。又，應用程式動作器件300可切換系統之動作功能。
應用程式動作器件300可展開各種應用程式而執行裝置之動作順序之設定、功能切換、顯示用信號之產生、切換等。可使用自感測器信號檢測器250輸出之感測器輸出(原始資料)而進行座標運算處理，並進行操作位置之解析。該感測器輸出係以影像資料之形式被獲取，因此亦可藉由應用程式而構築三維影像資料。亦可執行三維影像資料之登錄處理、抹除處理、確認處理等。亦可藉由將登錄影像資料與獲取到之影像資料進行比較，而執行動作功能之鎖定及解鎖。
又，於獲取感測器信號之情形時，應用程式動作器件300亦可執行自時序控制器251輸出之對感測器檢測用電極之存取脈衝之頻率變更，並設定存取脈衝之輸出時序。藉此，應用程式動作器件可進行感測器構成零件150之存取區域之切換、存取速度之設定。
又，應用程式動作器件300亦可執行感測器輸出信號之取樣密度、對感測器輸出信號之附加資料之追加等。
圖5A表示自資料傳送器件200輸出之分時之顯示用資料Sigx、及感測器驅動信號Tx(Tx1-Txn)之時序圖之一例。圖5B係表示包含共用電極13及感測器用檢測電極之感測器構成零件150的圖，且模式性地表示共用電壓Vcom及感測器驅動信號Tx進行二維掃描之情況。共用電壓Vcom係依序施加至共用電極13之複數個區段。又，對共用電極13之複數個區段賦予用以於任意之期間獲得感測器輸出之驅動信號Tx。
顯示用資料Sigx與感測器驅動信號Tx亦可自應用程式動作器件 300經由同一匯流排而藉由分時輸入至驅動器210。亦可利用時序電路及數位類比轉換器212將顯示用資料Sigx與感測器驅動信號Tx分離。感測器驅動信號Tx係經由時序控制器251、放大器214而被供給至之前所說明之共用電極13(複數個區段)。自時序控制器251輸出感測器驅動信號Tx之時序、頻率等可根據應用程式動作器件300之指令而變更。又，時序控制器251可對感測器信號檢測器250之積分電路252供給重設時序信號，並對取樣保持及類比數位轉換器253、以及數位濾波器254供給時脈。
圖6表示將感測器輸出之原始資料之例、且未檢測到操作輸入時之資料圖表化所得之模式圖。
圖7表示將感測器輸出之原始資料之例、且未檢測到操作輸入時之資料圖表化所得之模式圖。
圖8表示於應用程式動作器件300中藉由三維影像資料實現包含多點觸控介面功能在內之多種多樣之應用程式動作功能的具體例。上述三維影像資料係基於自感測器信號檢測器250輸入之原始資料(RAW-D)而產生。於圖8所示之例中，可藉由基於原始資料(RAW-D)而產生之三維影像資料，識別感測器面上方之多種多樣之操作內容。作為上述操作內容，例如可列舉：操作者(使用者)之耳朵之形狀(Ia)、操作者為大人之情形時之手掌之形狀(Ib)、操作者為兒童之情形時之手掌之形狀(Ib)、特定之姿勢與操作之組合(Ic)、利用複數根手指之觸碰之操作(Id)、指肚觸摸感測器面之狀態(Ie)、指尖觸摸感測器面之狀態(If)等。藉由將該等可識別之操作內容之三維影像資料與應用程式功能一併預先進行登錄，可進行利用影像對照之多種多樣之控制。
例如，藉由操作者將耳朵貼上移動終端1之感測器面，移動終端1可識別耳朵之形狀(參照Ia)，而判定操作者之真假或進行其他功能控 制。於真假判定中，移動終端1可識別出為操作者之耳朵而解除移動終端1之功能鎖定。於功能控制中，移動終端1可進行功能之自動切換控制。作為上述功能，可列舉藉由操作者將耳朵貼上感測器面而識別進入通話從而將動作模式切換為通話模式(接聽狀態)的功能。
又，可藉由識別手掌尺寸(參照Ib)，而實現按代分之應用程式之選擇性提供、按使用者分之應用程式之選擇性提供、特定出操作者之機器或應用程式之使用許可或使用禁止等。
又，於特定之姿勢與操作之組合(參照Ic)中，例如若利用和平手勢(peace sign)之兩根手指連續兩次地觸碰操作面，則相機應用程式啟動而可進行相機拍攝，若連續觸碰三次，則音樂播放器啟動而可播放音樂。
又，可不進行操作功能之切換而對複數根手指進行區別使用(參照Id)。例如，可進行如下區別使用：以拇指進行捲動操作，以食指進行觸碰操作，以小指進行變焦操作。
又，移動終端1亦可區分並識別指肚之觸碰(參照Ie)、及豎起指甲之指尖之觸碰(參照If)，分別啟動不同之應用程式。
圖9表示移動終端1中之利用上述各種操作內容之識別之解鎖例。選擇性地解除移動終端1之功能鎖定(SB4)，使移動終端1可使用(SB5)。於該例中，用以進行上述解鎖之條件係由OR(或)條件、或任一AND(及)條件所定義。此處，於OR條件之情形時，藉由產生複數個事件中之任一個而使上述解鎖成立。於AND條件之情形時，藉由產生所有複數個事件，或產生任意兩個以上之事件而使上述解鎖成立。所謂產生上述事件之情形，可列舉：以耳朵之形狀獲得認證之情形(SB31)、以手掌之形狀獲得認證之情形(SB32)、以指尖之形狀獲得認證之情形(SB33)。藉由該解鎖方法，可實現與安全級別對應之容易使用之認證功能。
用於該等認證之三維影像資料之登錄處理可藉由例如影像之登錄畫面及聲音導引兩者、或任一者之操作導引而順利地實施。
於應用程式動作器件300中預先準備有上述用以根據基於三維影像資料之各種操作內容而實現應用程式功能的影像之登錄處理、以及用以實現認證處理的處理順序。
圖10及圖11表示識別耳朵之形狀(參照Ia)而選擇性地解除移動終端1之功能鎖定之登錄以及認證之處理順序。
圖10表示登錄順序之一例。於該登錄順序中，將擁有移動終端1之使用者之耳朵之三維影像資料登錄至在應用程式動作器件300上動作之應用程式(S11~S13)。繼而，使用登錄後之耳朵之三維影像資料進行功能之選擇(S14)。於選擇解鎖之情形時，登錄解鎖(S14A)而結束利用耳朵形狀之認證之登錄處理(S15)。於不選擇解鎖之情形時，使用其他功能(S14B)。再者，上述登錄順序可進行各種變化，亦可構成為視需要使用其他功能(S14B)。
圖11表示解鎖順序之一例。於解鎖順序中，將藉由擁有移動終端1之使用者將耳朵貼上感測器構成零件150之感測器面而產生之耳朵之三維影像資料於預先登錄有耳朵之三維影像資料之應用程式內進行對照(S21~S22)。於判定影像資料為耳朵形狀之情形時，進行登錄判定(S23)。於判定為解鎖之情形時，藉由特徵一致之判定，而解除預先登錄有耳朵之三維影像資料之應用程式之鎖定(S23A~S24)。於未判定為解鎖之情形時，使用其他功能(S23B)。再者，上述解鎖順序可進行各種變化，亦可構成為視需要使用其他功能(S23B)。
圖12及圖13表示可進行區別使用複數根手指之操作輸入(參照Id)之登錄以及操作之處理順序。
圖12表示登錄順序之一例。於該登錄順序中，以三維影像資料之形式預先登錄用於感測器面之操作之手指各自之形狀。例如，於以 拇指進行捲動操作，以食指進行觸按操作，以小指進行變焦操作之情形時，首先，使拇指觸碰感測器面而登錄拇指之三維影像資料(S31~S33)，繼而，登錄已登錄之拇指之操作功能(捲動操作功能)(S34A~S35)。進而，接著，登錄食指之三維影像資料、以及該食指之操作功能(觸按操作功能(S34B~S35))後，登錄小指之三維影像資料、以及該小指之操作功能(變焦操作功能(S34C~S35))。
圖13表示操作順序之一例。於該操作順序中，將與感測器面觸碰之手指之影像資料與已登錄之手指之影像資料進行對照(S43)，可不進行功能選擇而分別進行利用拇指之捲動操作(S43A~S44)、利用食指之觸按操作(S43B~S44)、及利用小指之變焦操作(S43C~S44)。
圖14表示分別觸碰感測器面之兩個部位而切換應用程式功能的操作例。例如可藉由利用左手之拇指選擇描繪之線條種類功能，並利用右手之食指觸碰描繪部分，而改變右手之食指之描繪部分之線條種類。可藉由利用左手之拇指選擇描繪之顏色指定，並利用右手之食指觸碰描繪部分，而改變右手之食指之描繪部分之顏色。可藉由利用左手之拇指選擇描繪之部分取消，並利用右手之食指觸碰描繪部分，而以擦除功能消除右手之食指之描繪部分。藉由如此般可進行利用複數根手指之操作之功能切換，而可提供操作性優異之觸碰操作功能。
圖15表示預先登錄特定形狀之影像資料而用作解鎖時之認證用圖案之例。例如可藉由預先登錄如***之特定形狀之影像資料，而進行使用該形狀之***影像之解鎖之認證手續。
圖16表示預先登錄數個圖框量之影像資料用作姿勢之例。例如可進行如下功能控制，即，藉由以食指之整個指肚向畫面之上方向對感測器面進行滑動操作而解除鎖定，並藉由向其反方向進行滑動操作而成為休眠狀態。
又，作為圖16所示之功能之應用，可進行各種功能切換、功能 選擇，例如向與操作方向對應之前一曲方向、下一曲方向之選曲操作、音樂播放器之啟動、停止等。該等操作未必在成為導體之手指觸碰感測器面之狀態下進行，可藉由以能夠利用基於原始資料(RAW-D)之三維影像資料感知之方式調整感測器面之感知等級，而於感測器面上不接觸地(例如自包之外側)進行操作。
因此，應用程式動作器件300(處理模組)係用作生物體認證處理模組。生物體認證處理模組係利用於感測器面上進行操作之操作者之身體特徵或行動特徵，進行生物體認證。
再者，本發明並不按原樣地限定於上述實施形態，可於實施階段在不脫離其主旨之範圍內使構成要素變化而具體化。又，藉由上述實施形態所揭示之複數個構成要素之適當組合，可形成各種發明。例如，亦可自示於實施形態之所有構成要素中刪除若干個構成要素。進而，亦可適當組合與不同實施形態相關之構成要素。
1‧‧‧移動終端
100‧‧‧感測器一體型顯示器件
110‧‧‧顯示元件構成零件
150‧‧‧感測器構成零件
200‧‧‧資料傳送器件
210‧‧‧驅動器
250‧‧‧感測器信號檢測器
300‧‧‧應用程式動作器件
P1‧‧‧影像資料產生處理模組
P2‧‧‧影像解析處理模組
Ps‧‧‧應用程式執行模組
RAW-D‧‧‧原始資料
Rx‧‧‧感測器信號
Sigx‧‧‧顯示信號(像素信號)
Tx‧‧‧感測器驅動信號

Claims (12)

  1. 一種電子機器，其包括：附帶感測器之顯示器件，其一體地包含輸出顯示資訊之顯示面及輸入操作資訊之感測器面；資料傳送器件，其基於在上述感測器面感知到之信號而產生並輸出三維資訊；影像資料產生模組，其基於上述資料傳送器件輸出之上述三維資訊，產生上述感測器面之複數個感知點之三維影像資料；及處理模組，其基於上述影像資料產生模組所產生之影像資料，解析在上述感測器面之上方進行操作之導體之操作內容。
  2. 如請求項1之電子機器，其中上述三維資訊為表示導體相對於上述感測器面之接近度的操作資訊。
  3. 如請求項1之電子機器，其中上述資料傳送器件係與於上述顯示面顯示上述顯示資訊之顯示驅動時序同步地，將上述三維資訊傳送至上述影像資料產生模組。
  4. 如請求項1之電子機器，其進而包含座標運算處理模組，且上述影像資料產生模組及上述座標運算處理模組，分別設置於包含可進行複數種應用程式之處理，並包含基頻引擎之半導體積體電路的應用程式動作器件內。
  5. 如請求項1之電子機器，其中上述影像資料產生模組與於上述顯示面顯示顯示資訊之顯示驅動時序同步地，基於上述感測器面之所有感知點之上述三維資訊，而產生上述影像資料。
  6. 如請求項1之電子機器，其中上述處理模組包含應用程式處理模組，該應用程式處理模組啟動與上述已解析之操作內容建立了 對應之應用程式處理。
  7. 如請求項1之電子機器，其中上述處理模組包含操作輸入識別處理模組，該操作輸入識別處理模組識別在上述感測器面之上方進行操作之操作者之人體之特定部位之影像。
  8. 如請求項1之電子機器，其中上述處理模組包含生物體認證處理模組，該生物體認證處理模組利用在上述感測器面之上方進行操作之操作者之身體特徵或行動特徵，進行生物體認證。
  9. 一種電子機器之控制方法，該電子機器包含一體地包含輸出顯示資訊之顯示面及輸入操作資訊之感測器面的附帶感測器之顯示器件，該電子機器之控制方法係獲取基於在上述感測器面感知到之信號而產生之三維資訊；基於上述獲取之三維資訊，產生上述感測器面之複數個感知點之三維影像資料；基於上述產生之影像資料，識別在上述感測器面之上方進行操作之導體之操作內容；並依據上述識別之操作內容，控制應用程式動作。
  10. 如請求項9之電子機器之控制方法，其中上述三維資訊係藉由與於上述顯示面顯示上述顯示資訊之顯示驅動時序同步之方塊傳送而獲取。
  11. 如請求項9之電子機器之控制方法，其中上述三維資訊為表示導體相對於上述感測器面之接近度的操作資訊。
  12. 如請求項11之電子機器之控制方法，其中上述三維資訊係藉由與於上述顯示面顯示上述顯示資訊之顯示驅動時序同步之方塊傳送而獲取。
TW103110546A 2013-03-29 2014-03-20 電子機器及電子機器之控制方法 TWI545477B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013073867A JP5856995B2 (ja) 2013-03-29 2013-03-29 電子機器および電子機器の制御方法

Publications (2)

Publication Number Publication Date
TW201502911A true TW201502911A (zh) 2015-01-16
TWI545477B TWI545477B (zh) 2016-08-11

Family

ID=51598287

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103110546A TWI545477B (zh) 2013-03-29 2014-03-20 電子機器及電子機器之控制方法

Country Status (5)

Country Link
US (1) US9740395B2 (zh)
JP (1) JP5856995B2 (zh)
KR (1) KR101635261B1 (zh)
CN (1) CN104076981B (zh)
TW (1) TWI545477B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113534982B (zh) * 2015-03-02 2023-10-10 株式会社和冠 主动式触控笔
US10613690B2 (en) * 2015-05-28 2020-04-07 Semiconductor Energy Laboratory Co., Ltd. Touch panel
CN105553718B (zh) * 2015-12-15 2019-06-25 腾讯科技（深圳）有限公司 引导信息显示方法及装置
CN106959792B (zh) * 2016-01-12 2023-10-31 宸鸿科技(厦门)有限公司 具指纹辨识功能的触控检测装置
US10133430B2 (en) * 2016-05-11 2018-11-20 Microsoft Technology Licensing, Llc Encoding data in capacitive tags
CN108196815B (zh) * 2017-12-28 2020-01-03 维沃移动通信有限公司 一种通话声音的调节方法和移动终端
TWI699602B (zh) * 2019-01-21 2020-07-21 友達光電股份有限公司 顯示裝置
US10838547B1 (en) 2019-10-16 2020-11-17 Synaptics Incorporated Display noise filter for a sensing device
WO2022032462A1 (en) * 2020-08-11 2022-02-17 Huawei Technologies Co., Ltd. Sensor circuit, pixel circuit, and method for controlling pixel circuit
TWI774265B (zh) 2021-03-12 2022-08-11 元太科技工業股份有限公司 顯示器的驅動電路及時序控制器的操作方法
JP2024049520A (ja) * 2022-09-29 2024-04-10 Ｎｉｓｓｈａ株式会社 指装着型コントローラー

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100595926B1 (ko) * 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7750891B2 (en) 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
JP3968522B2 (ja) 2003-10-06 2007-08-29 ソニー株式会社 記録装置、及び記録方法
JP4766340B2 (ja) * 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
KR20100030404A (ko) 2008-09-10 2010-03-18 김현규 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법
US8355887B1 (en) * 2009-04-24 2013-01-15 Cypress Semiconductor Corporation Proximity based gesturing devices, systems and methods
JP5388114B2 (ja) * 2009-05-19 2014-01-15 シャープ株式会社 情報通信システム、通信装置、通信プログラム、および通信方法
US9594431B2 (en) * 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
KR101639383B1 (ko) 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
JP2011221607A (ja) * 2010-04-05 2011-11-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
TW201137668A (en) 2010-04-26 2011-11-01 Hon Hai Prec Ind Co Ltd Adjustment system and method for three-dimensional image
JP5722573B2 (ja) 2010-08-24 2015-05-20 株式会社ジャパンディスプレイ タッチ検出機能付き表示装置
US8566955B2 (en) * 2010-10-31 2013-10-22 Pixart Imaging Inc. User indentification with capacitive touchscreen
JP2012220967A (ja) 2011-04-04 2012-11-12 Rohm Co Ltd 電子機器
US9158455B2 (en) * 2011-07-12 2015-10-13 Apple Inc. Multifunctional environment for image cropping
WO2013036672A1 (en) * 2011-09-07 2013-03-14 Synaptics Incorporated Capacitive sensing during non-display update times
US8780065B2 (en) * 2012-07-19 2014-07-15 Cypress Semiconductor Corporation Interface and synchronization method between touch controller and display driver for operation with touch integrated displays
US9268399B2 (en) * 2013-03-01 2016-02-23 Qualcomm Incorporated Adaptive sensor sampling for power efficient context aware inferences
CN103116432B (zh) * 2013-03-04 2016-08-31 惠州Tcl移动通信有限公司 一种触摸屏的三维操作控制方法、装置及其移动终端

Also Published As

Publication number Publication date
JP2014199491A (ja) 2014-10-23
US9740395B2 (en) 2017-08-22
KR20140118826A (ko) 2014-10-08
CN104076981A (zh) 2014-10-01
KR101635261B1 (ko) 2016-06-30
TWI545477B (zh) 2016-08-11
US20140292687A1 (en) 2014-10-02
CN104076981B (zh) 2017-07-07
JP5856995B2 (ja) 2016-02-10

Similar Documents

Publication Publication Date Title
TWI545477B (zh) 電子機器及電子機器之控制方法
US9557873B2 (en) Electronic device and method for controlling the electronic device
US9710092B2 (en) Biometric initiated communication
TWI515621B (zh) 輸入裝置、其輸入模式切換方法以及電腦裝置
TWI502418B (zh) 觸摸面板系統及電子裝置
US20090167719A1 (en) Gesture commands performed in proximity but without making physical contact with a touchpad
BR112015007261B1 (pt) Método, meio de armazenamento legível por computador não transitório, e aparelho
JP2014199492A (ja) 電子機器および電子機器の制御方法
US9760758B2 (en) Determining which hand is being used to operate a device using a fingerprint sensor
US20120188178A1 (en) Information processing apparatus and control method of the same
JP2016206803A (ja) 指示装置及びタッチ検出システム
KR101689927B1 (ko) 전자 기기, 어플리케이션 실행 디바이스, 전자 기기의 제어 방법
JP6473671B2 (ja) タッチ検出機能付き表示装置及び表示システム
JP5866311B2 (ja) 電子機器、電子機器の制御方法
TW201504876A (zh) 防止手掌誤觸方法
CN103092491B (zh) 生成控制命令的方法和装置、以及电子设备
WO2018195791A1 (zh) 触控装置及电子终端
US20150138102A1 (en) Inputting mode switching method and system utilizing the same
TW201312391A (zh) 觸控板裝置以及其控制方法
TW201610736A (zh) 具有搖桿按鍵的行動裝置