TWI701606B - 亮屏方法、移動終端及儲存媒體 - Google Patents

亮屏方法、移動終端及儲存媒體 Download PDF

Info

Publication number
TWI701606B
TWI701606B TW108112613A TW108112613A TWI701606B TW I701606 B TWI701606 B TW I701606B TW 108112613 A TW108112613 A TW 108112613A TW 108112613 A TW108112613 A TW 108112613A TW I701606 B TWI701606 B TW I701606B
Authority
TW
Taiwan
Prior art keywords
imaging
light image
face
mobile terminal
pupil
Prior art date
Application number
TW108112613A
Other languages
English (en)
Other versions
TW201944288A (zh
Inventor
周海濤
惠方方
郭子青
譚筱
Original Assignee
大陸商Ｏｐｐｏ廣東移動通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商Ｏｐｐｏ廣東移動通信有限公司 filed Critical 大陸商Ｏｐｐｏ廣東移動通信有限公司
Publication of TW201944288A publication Critical patent/TW201944288A/zh
Application granted granted Critical
Publication of TWI701606B publication Critical patent/TWI701606B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種亮屏方法、裝置、移動終端及儲存媒體，其中，亮屏方法包括：當移動終端的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啓結構光影像感測器進行成像；獲取所述結構光影像感測器成像得到的深度圖；根據所述深度圖，構建人臉深度模型；從所述人臉深度模型識別瞳孔的位置；如果所述瞳孔的位置在人眼中的指定區域內，則控制所述移動終端亮屏。

Description

亮屏方法、移動終端及儲存媒體
本申請涉及移動終端技術領域，尤其涉及一種亮屏方法、裝置、移動終端及儲存媒體。
隨著電子技術的發展，人臉解鎖逐漸應用於移動終端中。移動終端應用的人臉解鎖技術，通常是在用戶抬起移動終端時，移動終端對人臉進行檢測，當檢測到人臉時，移動終端自動亮屏解鎖。
本申請實施例提供了一種亮屏方法、裝置、移動終端及儲存媒體，通過識別構建的人臉深度模型中瞳孔的位置，當瞳孔的位置在人眼中的指定區域內時，才控制移動終端亮屏，能够在人眼注視移動終端的螢幕時才控制移動終端進行亮屏解鎖，有效避免移動終端誤解鎖的情况發生，提升用戶體驗。
本申請第一方面實施例提出了一種亮屏方法，包括：
當檢測移動終端的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啓結構光影像感測器進行成像；
獲取所述結構光影像感測器成像得到的深度圖；
根據所述深度圖，構建人臉深度模型；
從所述人臉深度模型識別瞳孔的位置；
如果所述瞳孔的位置在人眼中的指定區域內，則控制所述移動終端亮屏。
本申請第二方面實施例提出了一種亮屏裝置，包括：
第一控制模組，用於當移動終端的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啓結構光影像感測器進行成像；
獲取模組，用於獲取所述結構光影像感測器成像得到的深度圖；
構建模組，用於根據所述深度圖，構建人臉深度模型；
識別模組，用於從所述人臉深度模型識別瞳孔的位置；
第二控制模組，用於如果所述瞳孔的位置在人眼中的指定區域內，則控制所述移動終端亮屏。
本申請第三方面實施例提出了一種移動終端，包括：成像感測器、儲存器、微控制單元MCU、處理器及儲存在所述儲存器上並可在所述處理器的可信執行環境下運行的可信應用程式；
所述MCU，爲所述可信執行環境的專用硬體，與所述成像感測器和所述處理器連接，用於控制所述成像感測器進行成像，並將成像資料發送至所述處理器；
所述處理器執行所述可信應用程式時，實現以下亮屏步驟：當移動終端的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啓結構光影像感測器進行成像；獲取所述結構光影像感測器成像得到的深度圖；根據所述深度圖，構建人臉深度模型；從所述人臉深度模型識別瞳孔的位置；如果所述瞳孔的位置在人眼中的指定區域內，則控制所述移動終端亮屏。
本申請第四方面實施例提出了一種電腦可讀儲存媒體，其上儲存有電腦程式，該程式被處理器執行時實現如第一方面實施例所述的亮屏方法。
本申請附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實踐瞭解到。
以下結合附圖對本申請的實施方式作進一步說明。附圖中相同或類似的標號自始至終表示相同或類似的元件或具有相同或類似功能的元件。另外，下面結合附圖描述的本申請的實施方式是示例性的，僅用於解釋本申請的實施方式，而不能理解爲對本申請的限制。
下面參考附圖描述本申請實施例的亮屏方法、裝置、移動終端及儲存媒體。
請參閱圖1和圖9，本申請實施方式的亮屏方法包括以下步驟：
步驟101：當移動終端80的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啓結構光影像感測器進行成像；
步驟102：獲取結構光影像感測器成像得到的深度圖；
步驟103：根據深度圖，構建人臉深度模型；
步驟104：從人臉深度模型識別瞳孔的位置；
步驟105：如果瞳孔的位置在人眼中的指定區域內，則控制移動終端80亮屏。
請參閱圖4和圖9，在某些實施方式中，步驟103包括以下步驟：
步驟1032：根據在預定時長內獲取的多張深度圖，構建多個人臉深度模型。
步驟105包括：
步驟1052：如果每個人臉深度模型的瞳孔的位置均在人眼中的指定區域內，則控制移動終端80亮屏。
請參閱圖2，在某些實施方式中，步驟105包括以下步驟：
步驟201：根據人眼的形狀，從人臉深度模型中識別人眼；
步驟202：根據瞳孔的形狀，在人眼中識別瞳孔；
步驟203：確定瞳孔的第一中心位置，將第一中心位置作爲瞳孔的位置。
請參閱圖2，在某些實施方式中，步驟105還包括：
步驟204：提取人眼中的指定區域的第二中心位置；
步驟205：獲取第一中心位置相對第二中心位置的第一偏移量；
步驟206：如果第一偏移量在設定的第一偏移量範圍內，則確定瞳孔的位置在人眼中的指定區域內。
請參閱圖3，在某些實施方式中，步驟104之前還包括以下步驟：
步驟301：在控制開啓結構光影像感測器進行成像的同時，控制開啓可見光影像感測器進行成像；
步驟302：獲取可見光影像感測器成像得到的可見光影像；
步驟303：對可見光影像進行人臉識別，確定人臉在可見光影像中的位置；
步驟304：如果人臉在可見光影像的指定區域內，則觸發構建人臉深度模型。
在某些實施方式中，步驟303之後包括以下步驟：
確定人臉的第三中心位置；
提取可見光影像的指定區域的第四中心位置；
獲取第三中心位置相對第四中心位置的第二偏移量；
如果第二偏移量在設定的第二偏移量範圍內，則確定人臉在可見光影像的指定區域。
在某些實施方式中，在控制開啓結構光影像感測器進行成像之前，還包括以下步驟：
控制開啓紅外線感測器進行成像；
獲取紅外線感測器成像得到的紅外線影像；
從紅外線影像中提取人臉輪廓；
當人臉輪廓與預存的人臉輪廓匹配時，則確定當前成像對象爲機主。
在某些實施方式中，亮屏方法由可信應用程式850執行，可信應用程式850運行於可信執行環境中。
在某些實施方式中，通過可信執行環境的專用硬體與可信應用程式850進行通信。
請參閱圖6和圖9，本申請的亮屏裝置50包括第一控制模組510、獲取模組520、構建模組530、識別模組540，以及第二控制模組550。第一控制模組510用於當移動終端80的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啓結構光影像感測器進行成像。獲取模組520用於獲取結構光影像感測器成像得到的深度圖。構建模組530用於根據深度圖，構建人臉深度模型。識別模組540用於從人臉深度模型識別瞳孔的位置。第二控制模組550用於當瞳孔的位置在人眼中的指定區域內時，控制移動終端80亮屏。
請參閱圖1和圖9，本申請實施方式的移動終端80包括：成像感測器810、儲存器820、微控制單元MCU830、處理器840及儲存在儲存器820上並可在處理器840的可信執行環境下運行的可信應用程式850；
MCU830，爲可信執行環境的專用硬體，與成像感測器810和處理器840連接，用於控制成像感測器810進行成像，並將成像資料發送至處理器840；
處理器840執行可信應用程式850時，實現以下亮屏步驟：
步驟101：當移動終端80的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啓結構光影像感測器進行成像；
步驟102：獲取結構光影像感測器成像得到的深度圖；
步驟103：根據深度圖，構建人臉深度模型；
步驟104：從人臉深度模型識別瞳孔的位置；
步驟105：如果瞳孔的位置在人眼中的指定區域內，則控制移動終端80亮屏。
請參閱圖4和圖9，在某些實施方式中，處理器840執行可信應用程式850時，實現以下步驟：
步驟1032：根據在預定時長內獲取的多張深度圖，構建多個人臉深度模型；
步驟1052：如果每個人臉深度模型的瞳孔的位置均在人眼中的指定區域內，則控制移動終端80亮屏。
請參閱圖2和圖9，在某些實施方式中，處理器840執行可信應用程式850時，實現以下步驟：
步驟201：根據人眼的形狀，從人臉深度模型中識別人眼；
步驟202：根據瞳孔的形狀，在人眼中識別瞳孔；
步驟203：確定瞳孔的第一中心位置，將第一中心位置作爲瞳孔的位置。
請參閱圖2和圖9，在某些實施方式中，處理器840執行可信應用程式850時，實現以下步驟：
步驟204：提取人眼中的指定區域的第二中心位置；
步驟205：獲取第一中心位置相對第二中心位置的第一偏移量；
步驟206：如果第一偏移量在設定的第一偏移量範圍內，則確定瞳孔的位置在人眼中的指定區域內。
請參閱圖3和圖9，在某些實施方式中，處理器840執行可信應用程式850時，實現以下步驟：
步驟301：在控制開啓結構光影像感測器進行成像的同時，控制開啓可見光影像感測器進行成像；
步驟302：獲取可見光影像感測器成像得到的可見光影像；
步驟303：對可見光影像進行人臉識別，確定人臉在可見光影像中的位置；
步驟304：如果人臉在可見光影像的指定區域內，則觸發構建人臉深度模型。
請參閱圖9，在某些實施方式中，處理器840執行可信應用程式850時，實現以下步驟：
確定人臉的第三中心位置；
提取可見光影像的指定區域的第四中心位置；
獲取第三中心位置相對第四中心位置的第二偏移量；
如果第二偏移量在設定的第二偏移量範圍內，則確定人臉在可見光影像的指定區域。
請參閱圖9，在某些實施方式中，處理器840執行可信應用程式850時，實現以下步驟：
控制開啓紅外線感測器進行成像；
獲取紅外線感測器成像得到的紅外線影像；
從紅外線影像中提取人臉輪廓；
當人臉輪廓與預存的人臉輪廓匹配時，則確定當前成像對象爲機主。
請參閱圖9，在某些實施方式中，可信應用程式850運行於可信執行環境中。
請參閱圖9，在某些實施方式中，通過可信執行環境的專用硬體與可信應用程式850進行通信。
請參閱圖9，在某些實施方式中，MCU830與處理器840之間通過加密方式進行通信。
本申請實施方式的電腦可讀儲存媒體，其上儲存有電腦程式，該程式被處理器執行時實現上述任一實施方式的亮屏方法。
現有移動終端的人臉解鎖技術中，當移動終端檢測到用戶抬起該移動終端時，移動終端進行人臉識別，如果檢測的人臉，則自動亮屏解鎖。然而，上述解鎖方式未考慮用戶當前是否有需要使用移動終端的意圖，在無意圖的情况，可能拍到了人臉導致誤解鎖。比如，當用戶拿起移動終端將其從一個位置移動至另一個位置時，如果這一過程中出現了極短暫的人臉面對移動終端的螢幕的情形，此時移動終端檢測到人臉並自動亮屏解鎖，而由於用戶只是移動該移動終端的位置，並不需要使用該移動終端，移動終端亮屏解鎖並非用戶所希望的，即爲誤操作，影響用戶體驗。
針對上述問題，本申請實施例提出了一種亮屏方法，能够在人眼注視移動終端的螢幕時才控制移動終端進行亮屏解鎖，有效避免移動終端誤解鎖的情况發生，提升用戶體驗。
圖1爲本申請實施例一所提供的亮屏方法的流程示意圖，該方法可以由移動終端執行。
如圖1所示，該亮屏方法包括以下步驟：
步驟101，當移動終端的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啓結構光影像感測器進行成像。
本實施例中，可以在移動終端中安裝陀螺儀、重力感測器等，來檢測移動終端的運動狀態。當移動終端的運動狀態的變化過程滿足預設的解鎖條件時，控制開啓結構光影像感測器進行成像。其中，預設的解鎖條件可以儲存在移動終端的本地儲存器中。
示例一，解鎖條件可以是移動終端處於運動狀態的時長達到預設閾值。本示例中，當移動終端中安裝的陀螺儀、重力感測器等檢測到移動終端開始運動時，控制移動終端中的計時器開始計時，以獲取移動終端處於運動狀態的時長，並將移動終端處於運動狀態的時長與預設閾值進行比較，當達到預設閾值時，控制開啓結構光影像感測器進行成像。
示例二，解鎖條件可以是移動終端由運動狀態到停止狀態的過程中識別到人臉。本示例中，當移動終端中安裝的陀螺儀、重力感測器等檢測到移動終端開始運動時，移動終端控制前置攝像頭開啓，以檢測前置攝像頭視角範圍內出現的人臉，並在移動終端停止運動時，關閉前置攝像頭。移動終端對這一過程中前置攝像頭採集的影像進行識別，當識別到人臉時，控制開啓結構光影像感測器進行成像。
示例三，解鎖條件爲移動終端處於運動狀態過程中的運動軌跡爲觸發亮屏的目標軌跡。本示例中，爲了根據移動終端的運動軌跡判斷是否需要控制移動終端亮屏，可以預先在移動終端中儲存用於觸發亮屏的目標軌跡。一般而言，用戶手持移動終端並使用該移動終端時，該移動終端與地面的之間呈一定夾角，夾角的大小一般爲30°~70°，從而，本示例中，可以將移動終端停止運動後的當前狀態與地面之間的夾角處於30°~70°範圍內時的運動軌跡作爲觸發亮屏的目標軌跡，並儲存於移動終端中。
以利用陀螺儀獲取移動終端的運動軌跡爲例，當用戶拿起移動終端時，在移動終端被抬起的過程中，陀螺儀檢測到移動終端的角運動，並根據移動終端運動停止時，移動終端的角運動情况，形成移動終端的運動軌跡。
當檢測到移動終端的運動軌跡後，可以對移動終端的運動軌跡進行分析，從中提取出移動終端停止運動後與地面之間的夾角大小，並將提取的夾角的大小與移動終端中儲存的目標軌跡的夾角大小進行比較，若提取的夾角的處於目標軌跡的夾角範圍內，則判定移動終端的運動軌跡爲觸發亮屏的目標軌跡，進而控制開啓結構光影像感測器進行成像。
結構光影像感測器用於向成像對象投射結構光，其中，已知空間方向光束的投影集合稱爲結構光（structured light）。本實施例中，結構光的類型可以是光栅型、光點型、斑紋型（包括圓形斑紋和十字斑紋）、非均勻的散斑圖案等中的任意一種。
步驟102，獲取結構光影像感測器成像得到的深度圖。
當結構光影像感測器發射的結構光到達人臉之後，由於人臉上各個面部器官會對結構光造成阻礙結構光會在人臉處發生反射，此時，可以通過移動終端中設置的攝像頭對結構光在人臉上的反射光進行採集，通過採集到的反射光可以得到人臉的深度圖。
步驟103，根據深度圖，構建人臉深度模型。
具體的，人臉的深度圖中可能包括人臉和背景，首先對深度圖進行去噪處理及平滑處理，來獲取人臉所在區域的影像，進而通過前後景分割等處理，將人臉與背景圖分割。
在將人臉從深度圖中提取出來後，即可從人臉的深度圖中提取特徵點資料，進而根據提取的特徵點資料，將這些特徵點連接成網路。比如根據各個點在空間上的距離關係，將相同平面的點，或者距離在閾值範圍內的點連接成三角形網路，進而將這些網路進行拼接，可以構建出人臉深度模型。
步驟104，從人臉深度模型識別瞳孔的位置。
當用戶準備開啓移動終端時，用戶的眼睛一般是看向移動終端的螢幕的，此時用戶的眼睛處於睜開狀態，根據人臉的深度圖所構建的人臉深度模型中，眼睛也應當是睜開狀態，從而能够從人臉深度模型中確定人眼的位置，進而識別出瞳孔的位置。
步驟105，如果瞳孔的位置在人眼中的指定區域內，則控制移動終端亮屏。
當用戶的眼睛注視著移動終端的螢幕時，瞳孔位於人眼的正中間，從而，本實施例中，可以根據識別出的瞳孔的位置來判斷用戶是否在注視著螢幕，並在用戶注視螢幕時控制移動終端亮屏。
作爲一種示例，可以將以人眼的中間點爲圓點、4mm爲半徑的圓形區域作爲指定區域。當從人臉深度模型中識別出瞳孔的位置之後，可以進一步判斷瞳孔的位置是否在指定區域內。如果識別出的瞳孔的位置處於人眼的指定區域內，則認爲用戶在注視著螢幕，控制移動終端亮屏。
本實施例的亮屏方法，當移動終端的運動狀態的變化過程滿足預設的解鎖條件時控制開啓結構光影像感測器進行成像，獲取結構光影像感測器成像得到的深度圖，根據深度圖構建人臉深度模型，從人臉深度模型識別瞳孔的位置，並在瞳孔的位置在人眼中的指定區域內時，控制移動終端亮屏。通過識別構建的人臉深度模型中瞳孔的位置，當瞳孔的位置在人眼中的指定區域內時，才控制移動終端亮屏，能够在人眼注視移動終端的螢幕時才控制移動終端進行亮屏解鎖，有效避免移動終端誤解鎖的情况發生，提升用戶體驗。
爲了更加清楚地說明前述實施例中從人臉深度模型識別瞳孔的位置的具體實現過程，本申請實施例提出了另一種亮屏方法，圖2爲本申請實施例二所提供的亮屏方法的流程示意圖。
如圖2所示，在如圖1所示實施例的基礎上，步驟105可以包括以下步驟：
步驟201，根據人眼的形狀，從人臉深度模型中識別人眼。
人臉中的各個面部器官的形狀各不相同，人眼的形狀大多爲橢圓形，且分布於人臉的上半部分，從而本實施例中，可以根據人眼的形狀，從構建的人臉深度模型中識別出人眼。
步驟202，根據瞳孔的形狀，在人眼中識別瞳孔。
瞳孔爲邊緣整齊的圓形，且直徑較小，在自然光環境下，瞳孔的直徑約爲2.5mm~5mm之間。
本實施例中，從人臉深度模型中識別出人眼之後，可以進一步根據瞳孔的大小、形狀等特點，在人眼中識別出瞳孔。
步驟203，確定瞳孔的第一中心位置，將第一中心位置作爲瞳孔的位置。
本實施例中，可以將人眼中直徑較小的圓形確定爲瞳孔，並確定瞳孔的第一中心位置，將第一中心位置作爲瞳孔所在的位置。其中，第一中心位置可以是瞳孔的任意位置，例如第一中心位置爲瞳孔的中心，第一中心位置可以用座標表示。
進一步地，在本申請實施例一種可能的實現方式中，如圖2所示，在步驟203之後，還可以包括以下步驟：
步驟204，提取人眼中的指定區域的第二中心位置。
本實施例中，在識別出的人眼中，可以將人眼的中間區域作爲指定區域，比如，可以以人眼的正中間位置爲圓點、以3mm爲半徑畫圓將所形成的圓形區域作爲指定區域，並確定指定區域的第二中心位置。其中，第二中心位置可以用座標表示。
步驟205，獲取第一中心位置相對第二中心位置的第一偏移量。
確定了指定區域的第二中心位置和瞳孔的第一中心位置之後，可以比較第一中心位置和第二中心位置，以獲取第一中心位置相對第二中心位置的第一偏移量。其中，第一偏移量可以用不同座標軸的座標的差值表示。
步驟206，如果第一偏移量在設定的第一偏移量範圍內，則確定瞳孔的位置在人眼中的指定區域內。
其中，第一偏移量範圍可以預先設定並儲存在移動終端中，第一偏移量範圍比如可以爲-2mm~+2mm。其中，“-”表示相對於第二中心位置向左/下偏移；“+”表示相對於第二中心位置向右/上偏移。
本實施例中，將獲取的第一偏移量與預設的第一偏移量範圍進行比較，若第一偏移量在預設的第一偏移量範圍內，則確定瞳孔的位置在人眼的指定區域內，從而能够確定用戶當前在注視著螢幕，可以控制移動終端亮屏。
本實施例的亮屏方法，當移動終端的運動狀態的變化過程滿足預設的解鎖條件時控制開啓結構光影像感測器進行成像，獲取結構光影像感測器成像得到的深度圖，根據深度圖構建人臉深度模型，根據人眼的形狀從人臉深度模型中識別人眼，根據瞳孔的形狀識別出瞳孔，進而確定瞳孔的第一中心位置，並作爲瞳孔的位置，能够準確識別出瞳孔，爲準確執行亮屏操作奠定基礎。通過提取人眼中指定區域的第二中心位置，獲取第一中心位置相對第二中心位置的第一偏移量，當第一偏移量在設定的第一偏移量範圍內時，確定瞳孔的位置在人眼中的指定區域內，能够實現根據瞳孔的位置判斷人眼是否在注視著螢幕，進而判斷是否控制移動終端亮屏，能够有效避免誤解鎖操作。
爲了更爲準確地判斷用戶當前是否在注視螢幕，在如圖1所示的實施例的基礎上，本申請實施例提出了另一種亮屏方法，圖4爲本申請實施例四所提供的亮屏方法的流程示意圖，步驟103包括：
步驟1032：根據在預定時長內獲取的多張深度圖，構建多個人臉深度模型；
具體地，結構光影像感測器可在預定時長內獲取多張深度圖，然後對每張深度圖進行去噪處理及平滑處理，來獲取多張深度圖中人臉所在區域的影像，進而通過前後景分割等處理，將人臉與背景圖分割。
在將人臉從深度圖中提取出來後，即可從人臉的深度圖中提取特徵點資料，進而根據提取的特徵點資料，將這些特徵點連接成網路。比如根據各個點在空間上的距離關係，將相同平面的點，或者距離在閾值範圍內的點連接成三角形網路，進而將這些網路進行拼接，可以構建出人臉深度模型。根據在預定時長內獲取的多張深度圖，構建多個人臉深度模型可以是：每個深度影像的人臉區域的影像均構建出一個對應的人臉深度模型；如此，在預定時長內的所有深度圖均構建對應的人臉深度模型，從而提高判斷用戶是否注視螢幕的準確性；也可以是：從多張深度圖中選擇幾張深度圖，並爲選出的每張深度圖構建出一個對應的人臉深度模型，例如，獲取的深度圖爲九張，那麽每隔兩張深度影像選一張深度圖構建出一個對應的人臉深度模型，即選出了三張深度圖並對應構建出三個對應的人臉深度模型；如此，由於選擇的多張深度圖的時間跨度基本占滿整個預定時長，可無需對每張深度圖都構建對應的人臉深度模型也可保證判斷是否注視螢幕的準確性，且可减少計算量。
步驟105包括：
步驟1052：如果每個人臉深度模型的瞳孔的位置均在人眼中的指定區域內，則控制移動終端亮屏。
具體地，在構建了多個人臉深度模型後，可以識別出每個人臉深度模型中的瞳孔位置，當識別出的每個瞳孔的位置均在人眼的指定區域內時，可確定用戶注視移動終端的螢幕的時長超過預設時長，當用戶注視螢幕的時長超過預設時長時，說明用戶不是偶然看向螢幕，此時，控制移動終端亮屏，能够提高控制移動終端亮屏的條件，進一步降低誤解鎖的概率。
爲了進一步提高人臉識別的準確度，在本申請實施例一種可能的實現方式中，可以利用可見光影像感測器成像得到可見光影像，以根據可見光影像確定用戶是否意圖開啓移動終端。從而，本申請實施例提出了另一種亮屏方法，圖3爲本申請實施例三所提供的亮屏方法的流程示意圖。如圖3所示，在如圖1所示實施例的基礎上，在步驟104之前，還可以包括以下步驟：
步驟301，在控制開啓結構光影像感測器進行成像的同時，控制開啓可見光影像感測器進行成像。
步驟302，獲取可見光影像感測器成像得到的可見光影像。
本實施例中，當檢測的移動終端的運動軌跡爲觸發亮屏的目標軌跡時，控制結構光影像感測器和可見光影像感測器開啓，利用結構光影像感測器成像得到人臉的深度圖，並利用可見光影像感測器成像得到可見光影像。
步驟303，對可見光影像進行人臉識別，確定人臉在可見光影像中的位置。
利用可見光影像感測器成像得到可見光影像之後，可以採用相關的人臉識別技術，對可見光影像進行人臉識別，並在從可見光影像中識別到人臉後，進一步確定人臉在可見光影像中的位置。
步驟304，如果人臉在可見光影像的指定區域內，則觸發構建人臉深度模型。
具體地，可以確定人臉的第三中心位置，並提取可見光影像的指定區域的第四中心位置，進而獲取第三中心位置相對第四中心位置的第二偏移量，如果第二偏移量在設定的第二偏移量範圍內，則確定人臉在可見光影像的指定區域。其中，第二偏移量範圍可以預先設定並儲存在移動終端中。
一般而言，當用戶使用移動終端時，用戶的臉部正對移動終端的螢幕，此時拍攝的人臉影像中，人臉通常在影像的中間位置上下，從而，本實施例中，可以將可見光影像的中間位置上下作爲指定區域。比如，可以將距離可見光影像頂端1/4處開始，至距離可見光影像底端1/4處結束的中間區域作爲指定區域，指定區域的面積占可見光影像面積的一半。
本實施例中，確定人臉在可見光影像中的位置之後，可以進一步確定人臉的第三中心位置，並提取可見光影像的指定區域的第四中心位置，其中，第三中心位置可以是人臉在可見光影像中的位置的座標表示，第四中心位置爲指定區域在可見光影像中的座標表示。進而，將第三中心位置和第四中心位置進行比較，並獲取第三中心位置相對第四中心位置的第二偏移量，當第二偏移量在第二偏移量範圍內時，確定人臉在可見光影像的指定區域內，則觸發構建人臉深度模型。
本實施例的亮屏方法，通過在根據深度圖構建人臉深度模型之前，先開啓可見光影像感測器進行成像，獲取可見光影像，對可見光影像進行人臉識別並確定人臉在可見光影像中的爲準，當人臉在可見光影像的指定區域內時，觸發構建人臉深度模型，能够避免無需控制移動終端亮屏時構建人臉深度模型帶來的能耗，從而降低移動終端的能耗，提高電池續航能力。
在本申請實施例一種可能的實現方式中，在控制開啓結構光影像感測器進行成像之前，還可以先控制開啓紅外線感測器進行成像，獲取紅外線感測器成像得到的紅外線影像，並從紅外線影像中提取人臉輪廓。進而，將提取的人臉輪廓與移動終端中預先儲存的機主的人臉輪廓進行比較，當人臉輪廓與預存的人臉輪廓匹配時，則確定當前成像對象爲機主，以在成像對象爲機主時，再控制開啓結構光影像感測器進行成像。通過對紅外線影像進行人臉識別以判斷成像對象，當成像對象爲機主時才啓動結構光影像感測器進行成像，能够節約移動終端的運行空間和功耗。通過結合紅外線感測器、可見光影像感測器和結構光影像感測器進行人臉識別和活體檢測，能够進一步提高識別率。
前述實施例的亮屏方法，可以由可信應用程式執行，其中，可信應用程式運行於可信執行環境中，通過可信執行環境的專用硬體與可信應用程式進行通信。作爲一種可能的結構形式，移動終端中可以安裝有雷射攝像頭、雷射燈、微控制單元（Microcontroller Unit，MCU）等，具體地，參見圖5，圖5爲本申請一實施例的移動終端的結構示意圖。如圖5所示，移動終端可以包括：雷射攝像頭、泛光燈、可見光攝像頭、雷射燈、MCU以及處理晶片。其中，專用硬體比如可以爲MCU。通過由運行於可信執行環境中的可信應用程式執行本申請實施例的亮屏方法，能够保證移動終端的安全性。
本實施例中，MCU包括脈衝寬度調變（Pulse Width Modulation，PWM）、深度引擎、匯流排介面以及隨機存取儲存器（Random Access Memory，RAM）；處理晶片上運行有普通執行環境（Rich Execution Environment，REE）和可信執行環境（Trusted Execution Environment，TEE），REE和TEE之間相互隔離。
如圖5所示的移動終端中，PWM用於調變泛光燈生成紅外線光，和/或調變雷射燈發出結構光，並將發出的紅外線光和/或結構光投射至成像對象上。雷射攝像頭用於採集結構光影像，並將採集的結構光影像發送至深度引擎。深度引擎根據結構光影像計算獲得成像對象對應的景深資料，並將景深資料通過匯流排介面發送至可信應用程式。匯流排介面包括：移動産業處理器介面（Mobile Industry Processor Interface，MIPI）、I2C（Inter-Integrated Circuit）同步串行匯流排介面和串行周邊介面（Serial Peripheral Interface，SPI），匯流排介面與可信執行環境下運行的可信應用程式進行信息交互。可信應用程式（圖5中未示出）運行於可信執行環境TEE中，用於根據景深資料進行亮屏等操作。
爲了實現上述實施例，本申請還提出一種亮屏裝置。
圖6爲本申請實施例一所提供的亮屏裝置的結構示意圖。
如圖6所示，該亮屏裝置50包括：第一控制模組510、獲取模組520、構建模組530、識別模組540，以及第二控制模組550。其中，
第一控制模組510用於當移動終端的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啓結構光影像感測器進行成像。
獲取模組520用於獲取結構光影像感測器成像得到的深度圖。
構建模組530用於根據深度圖，構建人臉深度模型。
識別模組540用於從人臉深度模型識別瞳孔的位置。
第二控制模組550用於當瞳孔的位置在人眼中的指定區域內時，控制移動終端亮屏。
進一步地，在本申請實施例一種可能的實現方式中，如圖7所示，在如圖6所示實施例的基礎上，識別模組540包括：
識別單元541，用於根據人眼的形狀，從人臉深度模型中識別人眼；以及，根據瞳孔的形狀，在人眼中識別瞳孔。
確定單元542，用於確定瞳孔的第一中心位置，將第一中心位置作爲瞳孔的位置。
進一步地，在本申請實施例一種可能的實現方式中，確定單元542還用於：在將第一中心位置作爲瞳孔的位置之後，提取人眼中的指定區域的第二中心位置，獲取第一中心位置相對第二中心位置的第一偏移量，並在第一偏移量在設定的第一偏移量範圍內時，確定瞳孔的位置在人眼中的指定區域內。
通過根據人眼的形狀從人臉識別模型中識別人眼，根據瞳孔的形狀識別出瞳孔，進而確定瞳孔的第一中心位置，並作爲瞳孔的位置，能够準確識別出瞳孔，爲準確執行亮屏操作奠定基礎。通過提取人眼中指定區域的第二中心位置，獲取第一中心位置相對第二中心位置的第一偏移量，當第一偏移量在設定的第一偏移量範圍內時，確定瞳孔的位置在人眼中的指定區域內，能够實現根據瞳孔的位置判斷人眼是否在注視著螢幕，進而判斷是否控制移動終端亮屏，能够有效避免誤解鎖操作。
進一步地，在本申請實施例四中，如圖6所示，構建模組530還用於根據在預定時長內獲取的多張深度圖，構建多個人臉深度模型。第二控制模組550還用於當每個人臉深度模型的瞳孔的位置均在人眼中的指定區域內時，控制移動終端亮屏。
進一步地，在本申請實施例一種可能的實現方式中，如圖8所示，在如圖6所示實施例的基礎上，該亮屏裝置50還可以包括：
人臉識別模組560，用於在控制開啓結構光影像感測器進行成像的同時，控制開啓可見光影像感測器進行成像；獲取可見光影像感測器成像得到的可見光影像，對可見光影像進行人臉識別，確定人臉在可見光影像中的位置；當人臉在可見光影像的指定區域內時，觸發構建人臉深度模型。
具體地，人臉識別模組560還用於確定人臉的第三中心位置，並提取可見光影像的指定區域的第四中心位置，獲取第三中心位置相對第四中心位置的第二偏移量，當第二偏移量在設定的第二偏移量範圍內時，確定人臉在可見光影像的指定區域，進而觸發構建模組530根據深度圖，構建人臉深度模型。
通過在根據深度圖構建人臉深度模型之前，先開啓可見光影像感測器進行成像，獲取可見光影像，對可見光影像進行人臉識別並確定人臉在可見光影像中的位置，當人臉在可見光影像的指定區域內時，觸發構建人臉深度模型，能够避免無需控制移動終端亮屏時構建人臉深度模型帶來的能耗，從而降低移動終端的能耗，提高電池續航能力。
在本申請實施例一種可能的實現方式中，該亮屏裝置50還可以在第一控制模組510控制開啓結構光影像感測器進行成像之前，先控制開啓紅外線感測器進行成像，獲取紅外線感測器成像得到的紅外線影像；從紅外線影像中提取人臉輪廓；當人臉輪廓與預存的人臉輪廓匹配時，則確定當前成像對象爲機主。進而，再由第一控制模組510控制開啓結構光影像感測器進行成像。
通過對紅外線影像進行人臉識別以判斷成像對象，當成像對象爲機主時才啓動結構光影像感測器進行成像，能够節約移動終端的運行空間和功耗。通過結合紅外線感測器、可見光影像感測器和結構光影像感測器進行人臉識別和活體檢測，能够進一步提高識別率。
需要說明的是，前述對亮屏方法實施例的解釋說明也適用於該實施例的亮屏裝置，其實現原理類似，此處不再贅述。
本實施例的亮屏裝置，當移動終端的運動狀態的變化過程滿足預設的解鎖條件時控制開啓結構光影像感測器進行成像，獲取結構光影像感測器成像得到的深度圖，根據深度圖構建人臉深度模型，從人臉深度模型識別瞳孔的位置，並在瞳孔的位置在人眼中的指定區域內時，控制移動終端亮屏。通過識別構建的人臉深度模型中瞳孔的位置，當瞳孔的位置在人眼中的指定區域內時，才控制移動終端亮屏，能够在人眼注視移動終端的螢幕時才控制移動終端進行亮屏解鎖，有效避免移動終端誤解鎖的情况發生，提升用戶體驗。
爲了實現上述實施例，本申請還提出一種移動終端。
圖9爲本申請實施例所提供的移動終端的結構示意圖。
如圖9所示，該移動終端80包括：成像感測器810、儲存器820、微控制單元MCU830、處理器840及儲存在儲存器820上並可在處理器840的可信執行環境下運行的可信應用程式850。其中，MCU830爲可信執行環境的專用硬體，與成像感測器810和處理器840連接，且MCU830與處理器840通過加密方式進行通信，從而保證資料通信的安全性。MCU830用於控制成像感測器810進行成像，並將成像資料發送至處理器840。
成像感測器810可以包括：雷射攝像頭、泛光燈、可見光攝像頭和雷射燈。MCU830可以包括：脈衝寬度調變PWM、深度引擎、匯流排介面以及隨機存取儲存器RAM。其中，PWM用於調變泛光燈生成紅外線光，和/或調變雷射燈發出結構光，並將發出的紅外線光和/或結構光投射至成像對象上。雷射攝像頭用於採集結構光影像，並將採集的結構光影像發送至深度引擎。深度引擎根據結構光影像計算獲得成像對象對應的景深資料，並將景深資料通過匯流排介面發送至處理器840。
處理器840執行可信應用程式850時，實現如前述實施例所述的亮屏方法。
本實施例的移動終端80，通過設置成像感測器810、儲存器820、微處理晶片MCU830、處理器840及儲存在儲存器820上並可在處理器840的可信執行環境下運行的可信應用程式850，由MCU830控制成像感測器810進行成像，並將成像資料發送至處理器840，處理器840通過執行可信應用程式850，實現如第一方面實施例所述的亮屏方法，以使移動終端80亮屏。通過識別構建的人臉深度模型中瞳孔的位置，當瞳孔的位置在人眼中的指定區域內時，才控制移動終端80亮屏，能够在人眼注視移動終端80的螢幕時才控制移動終端80進行亮屏解鎖，有效避免移動終端80誤解鎖的情况發生，提升用戶體驗。
爲了實現上述實施例，本申請還提出一種電腦可讀儲存媒體，其上儲存有電腦程式，該程式被處理器執行時實現如前述實施例所述的亮屏方法。
儘管上面已經示出和描述了本申請的實施方式，可以理解的是，上述實施方式是示例性的，不能理解爲對本申請的限制，本領域的普通技術人員在本申請的範圍內可以對上述實施方式進行變化、修改、替換和變型，本申請的範圍由權利要求及其等同物限定。
101~105、201~206、301~304、1032、1052、510~560、810~850‧‧‧步驟 50‧‧‧亮屏裝置 510‧‧‧第一控制模組 520‧‧‧獲取模組 530‧‧‧構建模組 540‧‧‧識別模組 541‧‧‧識別單元 542‧‧‧確定單元 550‧‧‧第二控制模組 560‧‧‧人臉識別模組 80‧‧‧移動終端 810‧‧‧成像感測器 820‧‧‧儲存器 830‧‧‧微控制單元 840‧‧‧處理器 850‧‧‧可信應用程式
圖1爲本申請實施例一所提供的亮屏方法的流程示意圖。 圖2爲本申請實施例二所提供的亮屏方法的流程示意圖。 圖3爲本申請實施例三所提供的亮屏方法的流程示意圖。 圖4爲本申請實施例四所提供的亮屏方法的流程示意圖。 圖5爲本申請一實施例的移動終端的結構示意圖。 圖6爲本申請實施例一所提供的亮屏裝置的結構示意圖。 圖7爲本申請實施例二所提供的亮屏裝置的結構示意圖。 圖8爲本申請實施例三所提供的亮屏裝置的結構示意圖。 圖9爲本申請實施例所提供的移動終端的結構示意圖。
101~105‧‧‧步驟

Claims (11)

  1. 一種亮屏方法，所述方法包括：當移動終端的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啟結構光影像感測器進行成像，其中，所述結構光影像感測器用於向成像對象投射結構光；獲取所述結構光影像感測器成像得到的深度圖；根據所述深度圖，構建人臉深度模型；從所述人臉深度模型識別瞳孔的位置；如果所述瞳孔的位置在人眼中的指定區域內，則控制所述移動終端亮屏。
  2. 根據申請專利範圍第1項所述的亮屏方法，其中從所述人臉深度模型識別瞳孔的位置的步驟包括：根據人眼的形狀，從所述人臉深度模型中識別所述人眼；根據瞳孔的形狀，在所述人眼中識別所述瞳孔；確定所述瞳孔的第一中心位置，將所述第一中心位置作為所述瞳孔的位置。
  3. 根據申請專利範圍第2項所述的亮屏方法，其中在將所述第一中心位置作為所述瞳孔的位置的步驟之後，所述方法還包括：提取所述人眼中的指定區域的第二中心位置；獲取所述第一中心位置相對所述第二中心位置的第一偏移 量；如果所述第一偏移量在設定的第一偏移量範圍內，則確定所述瞳孔的位置在人眼中的指定區域內。
  4. 根據申請專利範圍第1項所述的亮屏方法，其中在根據所述深度圖，構建人臉深度模型的步驟之前，所述方法還包括：在控制開啟所述結構光影像感測器進行成像的同時，控制開啟可見光影像感測器進行成像；獲取所述可見光影像感測器成像得到的可見光影像；對所述可見光影像進行人臉識別，確定人臉在所述可見光影像中的位置；如果所述人臉在可見光影像的指定區域內，則觸發構建所述人臉深度模型。
  5. 根據申請專利範圍第1項所述的亮屏方法，其中在控制開啟結構光影像感測器進行成像的步驟之前，所述方法還包括：控制開啟紅外線感測器進行成像；獲取所述紅外線感測器成像得到的紅外線影像；從所述紅外線影像中提取人臉輪廓；當所述人臉輪廓與預存的人臉輪廓匹配時，則確定當前成像對象為機主。
  6. 一種移動終端，包括：微控制單元、處理器、成像感測器、儲存器，所述儲存器上儲存有可在所述處理器的可信執行環境下運行的可信應用程式；所述微控制單元，為所述可信執行環境的專用硬體，與所述成像感測器和所述處理器連接，用於控制所述成像感測器進行成像，並將成像資料發送至所述處理器；所述處理器執行所述可信應用程式時，實現以下亮屏運作：當移動終端的運動狀態的變化過程滿足預設的解鎖條件時，則控制開啟結構光影像感測器進行成像，其中，所述結構光影像感測器用於向成像對象投射結構光；獲取所述結構光影像感測器成像得到的深度圖；根據所述深度圖，構建人臉深度模型；從所述人臉深度模型識別瞳孔的位置；如果所述瞳孔的位置在人眼中的指定區域內，則控制所述移動終端亮屏。
  7. 根據申請專利範圍第6項所述的移動終端，其中所述處理器執行所述可信應用程式時，還用以執行以下步驟：根據人眼的形狀，從所述人臉深度模型中識別所述人眼；根據瞳孔的形狀，在所述人眼中識別所述瞳孔；確定所述瞳孔的第一中心位置，將所述第一中心位置作為所述瞳孔的位置。
  8. 根據申請專利範圍第7項所述的移動終端，其中所述處理器執行所述可信應用程式時，還用以執行以下步驟：提取所述人眼中的指定區域的第二中心位置；獲取所述第一中心位置相對所述第二中心位置的第一偏移量；如果所述第一偏移量在設定的第一偏移量範圍內，則確定所述瞳孔的位置在人眼中的指定區域內。
  9. 根據申請專利範圍第6項所述的移動終端，其中所述處理器執行所述可信應用程式時，還用以執行以下步驟：在控制開啟所述結構光影像感測器進行成像的同時，控制開啟可見光影像感測器進行成像；獲取所述可見光影像感測器成像得到的可見光影像；對所述可見光影像進行人臉識別，確定人臉在所述可見光影像中的位置；如果所述人臉在可見光影像的指定區域內，則觸發構建所述人臉深度模型。
  10. 根據申請專利範圍第6項所述的移動終端，其中所述處理器執行所述可信應用程式時，還用以執行以下步驟：控制開啟紅外線感測器進行成像；獲取所述紅外線感測器成像得到的紅外線影像；從所述紅外線影像中提取人臉輪廓； 當所述人臉輪廓與預存的人臉輪廓匹配時，則確定當前成像對象為機主。
  11. 一種電腦可讀儲存媒體，其上儲存有電腦程式，該程式被處理器執行時實現如申請專利範圍第1-5項中任一項所述的亮屏方法。
TW108112613A 2018-04-12 2019-04-11 亮屏方法、移動終端及儲存媒體 TWI701606B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??201810327835.6 2018-04-12
CN201810327835.6A CN108628448B (zh) 2018-04-12 2018-04-12 亮屏方法、装置、移动终端及存储介质
CN201810327835.6 2018-04-12

Publications (2)

Publication Number Publication Date
TW201944288A TW201944288A (zh) 2019-11-16
TWI701606B true TWI701606B (zh) 2020-08-11

Family

ID=63705301

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108112613A TWI701606B (zh) 2018-04-12 2019-04-11 亮屏方法、移動終端及儲存媒體

Country Status (5)

Country Link
US (1) US11537696B2 (zh)
EP (1) EP3579086B1 (zh)
CN (2) CN108628448B (zh)
TW (1) TWI701606B (zh)
WO (1) WO2019196558A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628448B (zh) 2018-04-12 2019-12-06 Oppo广东移动通信有限公司 亮屏方法、装置、移动终端及存储介质
US11527107B1 (en) * 2018-06-29 2022-12-13 Apple Inc. On the fly enrollment for facial recognition
CN109739344B (zh) * 2018-11-20 2021-12-14 平安科技（深圳）有限公司 基于眼球运动轨迹的解锁方法、装置、设备和存储介质
CN109670287A (zh) * 2018-12-21 2019-04-23 努比亚技术有限公司 智能终端解锁方法、智能终端及计算机可读存储介质
CN110443021A (zh) * 2019-08-12 2019-11-12 珠海格力电器股份有限公司 基于解锁按键进行人脸解锁的方法、存储介质及移动终端
CN110597426A (zh) * 2019-08-30 2019-12-20 捷开通讯(深圳)有限公司 亮屏处理方法、装置、存储介质及终端
CN110929241B (zh) * 2019-11-12 2023-05-16 北京字节跳动网络技术有限公司 一种小程序的快速启动方法、装置、介质和电子设备
CN113190119A (zh) * 2021-05-06 2021-07-30 Tcl通讯（宁波）有限公司 一种移动终端屏幕点亮控制方法、装置、移动终端及存储介质
CN113885708A (zh) * 2021-10-22 2022-01-04 Oppo广东移动通信有限公司 电子设备的屏幕控制方法、装置、电子设备以及存储介质
US12001261B2 (en) * 2022-06-27 2024-06-04 Qualcomm Incorporated Power optimization for smartwatch

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
TW201506676A (zh) * 2013-08-09 2015-02-16 Acer Inc 螢幕解鎖方法及裝置
CN104749945A (zh) * 2015-04-13 2015-07-01 深圳市欧珀通信软件有限公司 点亮屏幕的方法、装置及智能手表
US20170126962A1 (en) * 2015-04-30 2017-05-04 Jrd Communication Inc. Method and system for quickly starting camera based on eyeprint identification

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8272053B2 (en) * 2003-12-18 2012-09-18 Honeywell International Inc. Physical security management system
EP1861807B1 (en) * 2005-03-24 2012-11-07 Privaris, Inc. Biometric identification device with smartcard capabilities
US20070061590A1 (en) * 2005-09-13 2007-03-15 Boye Dag E Secure biometric authentication system
US20080018451A1 (en) * 2006-07-11 2008-01-24 Jason Benfielt Slibeck Passenger screening system and method
JP4996904B2 (ja) * 2006-10-04 2012-08-08 株式会社日立製作所 生体認証システム、登録端末、認証端末、及び認証サーバ
US20080162943A1 (en) * 2006-12-28 2008-07-03 Ali Valiuddin Y Biometric security system and method
EP2168282A1 (en) * 2007-07-12 2010-03-31 Innovation Investments, LLC Identity authentication and secured access systems, components, and methods
CN101339607B (zh) * 2008-08-15 2012-08-01 北京中星微电子有限公司 人脸识别方法及***、人脸识别模型训练方法及***
JP5245971B2 (ja) * 2009-03-26 2013-07-24 富士通株式会社 生体情報処理装置および方法
CA2795206C (en) * 2010-03-31 2014-12-23 Rick L. Orsini Systems and methods for securing data in motion
JP5669549B2 (ja) 2010-12-10 2015-02-12 オリンパスイメージング株式会社 撮像装置
US8381969B1 (en) * 2011-04-28 2013-02-26 Amazon Technologies, Inc. Method and system for using machine-readable codes to perform a transaction
US20120331557A1 (en) * 2011-06-21 2012-12-27 Keith Anthony Washington Global identity protector E-commerce payment code certified processing system
US9202105B1 (en) * 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
US20130342672A1 (en) 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US11017211B1 (en) * 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US9549323B2 (en) 2012-12-03 2017-01-17 Samsung Electronics Co., Ltd. Method and mobile terminal for controlling screen lock
US9166961B1 (en) * 2012-12-11 2015-10-20 Amazon Technologies, Inc. Social networking behavior-based identity system
CN103064520B (zh) 2013-01-31 2016-03-09 东莞宇龙通信科技有限公司 移动终端及其控制页面滚动的方法
CN104133548A (zh) 2013-05-03 2014-11-05 ***通信集团公司 确定视点区域及控制屏幕亮度的方法及装置
US9369870B2 (en) * 2013-06-13 2016-06-14 Google Technology Holdings LLC Method and apparatus for electronic device access
CN103902043B (zh) * 2014-04-02 2018-08-31 努比亚技术有限公司 智能终端及其提醒方法
CN103971408B (zh) * 2014-05-21 2017-05-03 中国科学院苏州纳米技术与纳米仿生研究所 三维人脸模型生成***及方法
CN105224065A (zh) 2014-05-29 2016-01-06 北京三星通信技术研究有限公司 一种视线估计设备和方法
CN104238948B (zh) * 2014-09-29 2018-01-16 广东欧珀移动通信有限公司 一种智能手表点亮屏幕的方法及智能手表
US9767358B2 (en) * 2014-10-22 2017-09-19 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
CN104376599A (zh) * 2014-12-11 2015-02-25 苏州丽多网络科技有限公司 一种简便的三维头部模型生成***
US9754555B2 (en) * 2015-08-06 2017-09-05 Mediatek Inc. Method for adjusting display of electronic device and electronic device capable of adjusting display
US11380008B2 (en) * 2016-05-06 2022-07-05 Innovega Inc. Gaze tracking system with contact lens fiducial
US10579860B2 (en) * 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
US10491598B2 (en) * 2016-06-30 2019-11-26 Amazon Technologies, Inc. Multi-factor authentication to access services
CN106250851B (zh) 2016-08-01 2020-03-17 徐鹤菲 一种身份认证方法、设备及移动终端
US20180081430A1 (en) * 2016-09-17 2018-03-22 Sean William Konz Hybrid computer interface system
CN106774796A (zh) 2016-11-30 2017-05-31 深圳市金立通信设备有限公司 一种屏幕点亮方法及终端
CN206431724U (zh) * 2017-01-25 2017-08-22 辛明江 一种基于人脸识别技术的门禁***
CN107368725B (zh) * 2017-06-16 2020-04-10 Oppo广东移动通信有限公司 虹膜识别方法、电子装置和计算机可读存储介质
CN107504621A (zh) * 2017-07-07 2017-12-22 珠海格力电器股份有限公司 空调线控器及其控制方法和控制装置
CN107621867A (zh) * 2017-08-09 2018-01-23 广东欧珀移动通信有限公司 熄屏控制方法、装置和终端设备
CN107577930B (zh) * 2017-08-22 2020-02-07 广东小天才科技有限公司 一种触屏终端的解锁检测方法及触屏终端
CN107832669B (zh) * 2017-10-11 2021-09-14 Oppo广东移动通信有限公司 人脸检测方法及相关产品
CN107748869B (zh) * 2017-10-26 2021-01-22 奥比中光科技集团股份有限公司 3d人脸身份认证方法与装置
CN107885352A (zh) * 2017-11-28 2018-04-06 珠海市魅族科技有限公司 一种终端屏幕亮屏控制方法、装置和介质
CN108628448B (zh) 2018-04-12 2019-12-06 Oppo广东移动通信有限公司 亮屏方法、装置、移动终端及存储介质
US11113510B1 (en) * 2018-06-03 2021-09-07 Apple Inc. Virtual templates for facial recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
TW201506676A (zh) * 2013-08-09 2015-02-16 Acer Inc 螢幕解鎖方法及裝置
CN104749945A (zh) * 2015-04-13 2015-07-01 深圳市欧珀通信软件有限公司 点亮屏幕的方法、装置及智能手表
US20170126962A1 (en) * 2015-04-30 2017-05-04 Jrd Communication Inc. Method and system for quickly starting camera based on eyeprint identification

Also Published As

Publication number Publication date
EP3579086B1 (en) 2021-11-03
US20200380100A1 (en) 2020-12-03
CN110580102A (zh) 2019-12-17
TW201944288A (zh) 2019-11-16
US11537696B2 (en) 2022-12-27
WO2019196558A1 (zh) 2019-10-17
CN108628448A (zh) 2018-10-09
EP3579086A1 (en) 2019-12-11
CN108628448B (zh) 2019-12-06
CN110580102B (zh) 2021-09-24
EP3579086A4 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
TWI701606B (zh) 亮屏方法、移動終端及儲存媒體
JP6847124B2 (ja) ミラーコンポーネント用の適応照明システム、及び適応照明システムを制御する方法
WO2019109768A1 (zh) 任务执行方法、终端设备及计算机可读存储介质
US9268412B2 (en) Input apparatus having an input recognition unit and input recognition method by using the same
TWI714989B (zh) 智慧型裝置的持續喚醒方法、裝置、智慧型裝置和儲存媒體
WO2017161867A1 (zh) 一种调节屏幕亮度的方法、装置及智能终端
JP6252409B2 (ja) 情報処理装置、情報処理方法およびプログラム
TW202023261A (zh) 控制方法、微處理器、電腦可讀記錄媒體及電腦設備
TW201941098A (zh) 智慧型裝置跟焦方法、裝置、智慧型裝置及儲存媒體
KR102012254B1 (ko) 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
US20110234758A1 (en) Robot device and method of controlling robot device
WO2013104312A1 (zh) 一种用于对受控设备进行遥控的***
WO2017161778A1 (zh) 手掌的掌心位置定位、手势识别方法、装置及智能终端
US9082000B2 (en) Image processing device and image processing method
US20160104037A1 (en) Method and device for generating motion signature on the basis of motion signature information
JP5626039B2 (ja) 視線検出装置及び視線検出方法
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
JP2018068431A (ja) 脈波演算装置および脈波演算方法
WO2021204211A1 (zh) 人脸和虹膜图像采集方法、装置、可读存储介质及设备
WO2017201927A1 (zh) 防炫目方法及装置、投影设备
CN104063041A (zh) 一种信息处理方法及电子设备
RU2602829C2 (ru) Оценка признаков управления от устройства дистанционного управления с камерой
WO2011093317A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、画像処理モジュール、及び、電子機器
CN109377519A (zh) 目标追踪方法、装置、目标追踪设备及存储介质
JP7384157B2 (ja) 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム