CN112154436A - 在电子装置中识别对象的设备和方法 - Google Patents

在电子装置中识别对象的设备和方法 Download PDF

Info

Publication number
CN112154436A
CN112154436A CN201980031863.6A CN201980031863A CN112154436A CN 112154436 A CN112154436 A CN 112154436A CN 201980031863 A CN201980031863 A CN 201980031863A CN 112154436 A CN112154436 A CN 112154436A
Authority
CN
China
Prior art keywords
electronic device
image
face
series
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980031863.6A
Other languages
English (en)
Inventor
闵贤基
崔普根
崔钟武
李善基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112154436A publication Critical patent/CN112154436A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G01S7/006—Transmission of data between radar, sonar or lidar systems and remote stations using shared front-end circuitry, e.g. antennas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111—Location-sensitive, e.g. geographical location, GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供了一种电子装置。该电子装置包括：壳体，其包括第一板、第二板以及侧构件，该侧构件围绕第一板与第二板之间的空间；显示器；天线阵列，其设置在壳体中或壳体的一部分中；图像传感器；电耦接到天线阵列的无线通信装置；处理器；以及存储器。存储器可以存储有指令，该指令在被执行时使处理器：利用图像传感器获得和接收至少一个图像，识别至少一个图像中的对象，利用天线阵列沿至少一个第二方向发送一系列定向波束，利用天线阵列接收由对象反射的一系列反射波，以及至少部分地基于识别出的对象和一系列反射波来识别对象。

Description

在电子装置中识别对象的设备和方法
技术领域
本公开总体上涉及用于在电子装置中识别对象图像的设备和方法。更具体地，本公开涉及一种通过组合红、绿、蓝(RGB)相机模块和无线通信模块的输出来识别对象图像的设备和方法。
背景技术
随着电子装置的性能提高，通过电子装置提供的各种服务和附加功能正得到扩展。正在开发可在电子装置上执行的各种应用，以提高电子装置的实用性并满足用户的各种需求。
这些应用中的一些与相机功能相关，并且用户可以利用电子装置的相机模块捕获他/她的自拍照或背景。例如，电子装置可以基于利用相机模块捕获的对象图像来执行识别功能。例如，对象可以是面部或虹膜。
以上信息仅作为背景信息呈现，以帮助理解本公开。关于以上内容中的任何内容是否可以用作关于本公开的现有技术，没有判定，也没有断言。
发明内容
问题的解决方案
主要在电子装置上使用的面部识别算法可以使用用于利用在红、绿和蓝(RGB)相机上获得的对象图像的方法，以及使用用于通过对在RGB相机获得的对象图像和在深度相机上获得的深度信息进行组合来识别对象的方法。利用在RGB相机上获得的对象图像的方法可能容易受到第三方操纵(例如，使用照片或智能手机图像的恶意欺骗攻击)。利用RGB相机和深度相机的方法需要在电子装置处有多个相机模块。
本公开的各方面将至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开的一方面在于提供一种电子装置，该电子装置可以提供用于通过组合RGB相机模块和无线通信模块的输出来识别对象图像的装置和方法。
本公开的另一方面在于提供一种电子装置，该电子装置可以提供一种设备和方法，该设备和方法用于设置位置以至少部分地基于要在获得的对象图像中检测的对象来识别对象，并发送一系列波束到设定的位置。
本公开的另一方面在于提供一种电子装置，该电子装置可以提供一种用于基于由识别出的对象反射的一系列波束的特征来识别对象的设备和方法。
另外的方面将在随后的描述中部分地阐述，并且部分地将从描述中变得显而易见，或者可以通过实践所呈现的实施例而获知。
根据本公开的一方面，提供了一种电子装置。该电子装置包括：壳体，所述壳体包括面向第一方向的第一板、背向所述第一板的第二板以及侧构件，所述侧构件围绕所述第一板与所述第二板之间的空间；显示器，所述显示器通过所述第一板的第一部分被看到；天线阵列，所述天线阵列设置在所述壳体中或壳体的一部分中；图像传感器，所述图像传感器通过所述第一板的第二部分被看到并被设置成面向所述第一方向，所述第一板的第二部分接近所述显示器；无线通信模块，所述无线通信模块电耦接到所述天线阵列，并被配置为利用所述天线阵列形成定向波束；处理器，所述处理器设置在所述壳体中并且可操作地耦接到所述图像传感器和所述无线通信模块；以及存储器，所述存储器可操作地耦接到所述处理器。根据各种实施例，所述存储器可以存储有指令，当所述指令被执行时，使得所述处理器：利用所述图像传感器获得并接收至少一个图像，识别所述至少一个图像中的对象，利用所述天线阵列沿至少一个第二方向发送一系列定向波束，利用所述天线阵列接收由所述对象反射的一系列反射波，以及至少部分地基于识别出的对象和所述一系列反射波来识别所述对象。
根据本公开的另一方面，提供了一种用于在电子装置中识别对象的方法。该方法包括：利用图像传感器获得至少一个图像；识别所述至少一个图像中的对象；利用在壳体中或所述壳体的一部分中设置的天线阵列沿所述对象的方向发送一系列的一个或更多个定向波束；利用所述天线阵列接收由所述对象反射的一系列反射波；以及至少部分地基于所识别的对象和所述一系列反射波来识别所述对象。
根据本公开的另一方面，提供了一种用于在电子装置中识别面部的方法。该方法包括：利用图像传感器获得至少一个图像；识别所述至少一个图像中的面部图像；基于所述面部图像设置面部的活动性检测位置和面部的识别位置；发送向活动性检测位置发送一系列第一定向波束；接收在活动性检测位置反射的一系列第一反射波；基于接收到的所述一系列第一反射波检测活动性；向面部的识别位置发送一系列第二定向波束；接收在面部识别位置反射的一系列第二反射波，并基于接收到的一系列第二反射波识别面部。
根据以下详细描述，本公开的其他方面、优点和显着特征对于本领域技术人员将变得显而易见，以下详细描述结合附图公开了本公开的各种实施例。
附图说明
根据以下结合附图的描述，本公开的某些实施例的上述和其他方面，特征和优点将变得更加明显，其中：
图1是根据本公开的各种实施例的在网络环境中的电子装置的框图；
图2是根据本公开的实施例的相机模块的框图；
图3是根据本公开的实施例的电子装置的框图；
图4是示出根据本公开的实施例的计算在电子装置处获得的图像数据和被摄体的坐标的图；
图5是根据本公开的实施例的电子装置的框图；
图6是根据本公开的实施例的电子装置的对象识别方法的流程图；
图7是根据本公开的实施例的在电子装置中识别面部的方法的流程图；以及
图8是根据本公开的实施例的在电子装置中识别面部的方法的流程图。
在所有附图中，相似的附图标记将被理解为指代相似的部件、组件和结构。
具体实施方式
提供以下参考附图的描述以帮助全面理解由权利要求及其等同形式所限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但是这些具体细节仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁，可以省略对公知功能或构造的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人用来使本公开能够清楚和一致的被理解。因此，对于本领域技术人员而言显而易见的是，提供本公开的各种实施例的以下描述仅是出于说明的目的，而不是出于限制由所附权利要求及其等同形式所限定的本公开的目的。
应当理解，单数形式的“一”、“一个”和“该”包括复数指代，除非上下文另有明确规定。因此，例如，提及“组件表面”包括提及这些表面中的一个或更多个。
图1是示出根据各种实施例的网络环境中的电子装置的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作***(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据各种实施例的相机模块的框图。
参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦接器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或***命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图3是根据本公开的实施例的电子装置的框图。
参照图3，电子装置101可以包括处理器300、存储器310、相机模块320、显示器330、天线阵列340和无线通信模块350。
电子装置101可以包括壳体(未示出)。壳体可以包括：第一板，其面向第一方向；第二板，其背对第一板；以及侧构件，其围绕第一板与第二板之间的空间。
相机模块320(例如，图1或图2的相机模块180)可以包括图像传感器(未示出，例如，图2的图像传感器230)，其用于通过接收对象(例如，面部、虹膜等)反射的可见光来生成像素数据。可以通过壳体的第一板的第二部分来查看相机模块320，并且可以将相机模块320设置成面向第一方向，其中第一板的第二部分接近显示器330。
显示器330(例如，图1的显示设备160)可以在视觉上向电子装置101的外部提供信息(例如，由相机模块320捕获的图像)。可以通过壳体的第一板的第一部分查看显示器330。
天线阵列340可以设置在壳体中和/或壳体的一部分中。天线阵列340可以经由选定的天线阵列沿至少一个第二方向发送一系列定向波束。无线通信模块350可以电耦接到天线阵列340，并且可以被配置为利用天线阵列形成定向波束。例如，无线通信模块350可以是毫米波无线通信模块，并且可以被配置为在3GHz到100GHz的频率发送和/或接收。
存储器310(例如，图1的存储器130)可以存储处理器300所使用的各种数据。存储器310可以存储用于驱动学习引擎以识别在无线通信模块350处接收的反射波的软件(例如，图1的程序140)，以及存储用于驱动学习引擎以识别从相机模块320接收的对象图像的软件(例如，图1的程序140)。
根据各种实施例，存储器310可以存储指令，以用于识别通过相机模块320获得的对象图像，向识别出的对象的指定位置发送一系列波束，接收对象反射的一系列波束的反射波，并至少部分地基于识别出的对象图像和接收到的一系列反射波来识别对象。指令可以使处理器300在识别出对象之后发送一系列波束。指令可使处理器300至少部分地基于识别出的对象或识别出的对象的选定部分来确定一系列波束的发送方向。指令可以通过将识别的对象和由一系列反射波检测到的轮廓与参考图像和参考轮廓进行比较来识别对象。指令可使处理器300至少部分地基于一系列反射波来确定对象与电子装置101之间的距离。指令可以使处理器300在电子装置101的锁定状态下识别对象，并且如果对象识别成功，则将电子装置101从锁定状态切换为解锁状态。
根据各种实施例，存储器310可以存储通过学习生成的至少一个模板。例如，模板可以包括用于检测对象的存在的模板、用于检测对象的活动性的模板和用于识别对象的模板中的至少一个。根据各种实施例，存储器310可以在确认出的对象图像中存储关于存在、活动性和/或对象识别的位置信息。
处理器300(例如，图1的处理器120)设置在电子装置101的壳体中，并且可以可操作地耦接到相机模块320、显示器330、无线通信模块350和天线阵列340。处理器300可以根据存储在存储器310中的指令识别对象。处理器300可以通过相机模块320获得并接收至少一个图像，并且在接收到的图像中识别对象。处理器300可以使用天线阵列340沿至少一个第二方向发送一系列定向波束，并接收由对象反射的一系列反射波。至少部分地基于识别出的对象和一系列反射波，处理器300可以执行对象识别。
根据各种实施例，无线通信模块350可以是毫米波装置。毫米波装置可以使用波束成形沿与图像数据的特定像素相对应的方向朝着对象发送毫米波信号，并且可以通过接收由对象反射的信号来确认反射信号的特性。为了在对象识别中使用毫米波电子装置101，需要选择对象的必要部分并提取通过将毫米波朝着选定的对象部分发送而反射的对象信息。电子装置101可以通过将毫米波装置的独特信号特性添加到对象识别来增强对象识别的安全性。根据各种实施例，电子装置101可以通过优化对象部分的选择(例如，基于图像数据的对象的特定位置)以使用RGB相机的图像数据在毫米波装置处进行波束成形来缩短毫米波图像数据创建时间，从而减少对象识别***的总处理时间。
电子装置101可以通过获得对象(例如，面部)图像来执行识别以执行设置功能。用户可以通过驱动相机模块320来捕获面部。处理器300可以从相机模块320获得包括面部的图像，并且识别获得的图像中的面部部分。处理器300可以从识别出的面部图像中提取面部的主要部分的特征。面部的主要部分可以是用于检测面部的存在或面部的活动性或用于识别面部的部分。处理器300可以通过使用无线通信模块350和天线阵列340沿与所提取的面部部分相对应的方向生成一系列波束来发送毫米波。处理器300可以利用无线通信模块350和天线阵列340接收由面部反射的一系列波束。处理器300可以使用深度学习、人工神经网络或深度神经网络来学习面部的主要部分的信息。存储器310可以存储习得的面部的主要部分的信息。如果从无线通信模块350接收到面部的主要部分的反射波信息，则处理器300可以确认深度学习***的输出，该深度学习***将存储在存储器310中的面部的主要部分的特征与基于接收到的反射波信息的特征相匹配，并且确认是否与用户的面部相对应。
根据各种实施例，电子装置101可以将用于面部图像识别和反射波识别的机器学习引擎用作一个机器学习引擎。根据一个实施例，电子装置101可以单独使用用于面部图像识别的机器学习引擎和用于反射波的机器学习引擎。
在一个实施例中，处理器300可以识别在相机模块320处获得并从相机模块320接收到的图像数据中的面部部分，并在识别出的面部图像中设置用于识别面部的识别位置。处理器300可以利用天线阵列340进行波束成形并向识别的位置发送毫米波，接收由面部反射的毫米波，从而识别其是否对应于所设置的用户面部。面部识别可以基于深度学习算法来执行。
在一个实施例中，处理器300可以识别从相机模块320获取并接收的图像数据中的面部部分，并在识别出的面部图像中设置用于检测面部的活动性的活动性检测位置和用于识别面部的识别位置。例如，该位置可以是特定部分，例如眼睛、鼻子、嘴唇或有效地表示用户特征的部分。可以基于图像数据的信息(例如，面部角度)来改变指定位置。例如，活动性检测位置可以是用于检测用户的微动的特定部分，例如眼睛、鼻子、嘴唇。例如，识别位置可以是整个面部区域或用于指定用户面部的眼睛、鼻子和嘴唇的位置。
处理器300可以通过波束成形并且向活动性检测位置发送毫米波并接收由面部反射的毫米波来检测面部的活动性。例如，处理器300可以通过波束成形并向识别位置发送毫米波并接收由面部反射的毫米波来确认其是否与所设置的用户面部相对应。可以基于深度学习算法来执行活动性检测和面部识别。
在一个实施例中，处理器300可以识别从相机模块320获取和接收的图像数据中的面部，并在识别出的面部图像中设置用于检测面部的存在的存在检测位置、用于检测面部的活动性的活动性检测位置以及用于识别面部的识别位置。处理器300可以通过波束成形并向所设置的存在检测位置发送毫米波并接收由面部反射的毫米波来检测面部的存在。处理器300可以通过波束成形并向所设置的活动性检测位置发送毫米波并接收由面部反射的毫米波来检测面部的活动性。处理器300可以通过波束成形并向所设置的识别位置发送毫米波并接收由面部反射的毫米波来识别其是否与设置的用户面部相对应。根据一个实施例，可以基于深度学习算法来执行存在和活动性检测以及面部识别。
根据各种实施例，电子装置101可以使用包括RGB相机的相机模块320、天线阵列340和无线通信模块350来识别面部。电子装置101可以基于从相机模块320获得的图像来执行面部检测和/或面部特征或面部标志检测。电子装置101可以基于面部特征信息确定一系列波束的方向(图像中的一个或更多个像素，以进行波束成形)，并且无线通信模块350可以经由天线阵列340沿设置的方向发送一系列波束。无线通信模块350可以接收由对象(面部)反射的信号，将信号信息转发给处理器300，并且利用反射信号和存储在存储器310中的习得的面部的主要部分的信息来识别面部。
根据各种实施例，如果执行面部识别应用，则电子装置101可以显示通知执行面部识别的指导消息。例如，为了获得高质量图像，电子装置101可以使用显示器330和/或扬声器(未示出)指导以相机模块320在特定距离拍摄照片。
根据各种实施例，电子装置101可以使用相机模块320获得并接收图像，并且在接收到的图像中确认与面部部分相对应的像素。处理器300可以在所确认的面部图像中确认用于面部标志的部分的像素。面部标志可以是眼睛、鼻子和/或嘴唇。如果必要，电子装置101可以确认各种类型的标志。例如，电子装置101可以在面部图像中确认用于检测面部的存在的标志(例如，面部图像的中央像素位置)、用于检测面部活动性的标志(例如，用于检测眼睛、鼻子或嘴唇移动的面部的特定位置)以及用于识别面部的位置(例如，面部的整个区域或部分(例如，包括眼睛、鼻子和嘴唇的多个标志的集合))。
根据各种实施例，电子装置101可以选择与所识别的面部图像相对应的像素或者针对面部标志的部分的像素，并且利用无线通信模块350和天线阵列340对所选择的像素进行波束成形。电子装置101可以沿设置的方向发送一系列波束，并通过无线通信模块350和天线阵列340接收由对象(例如，面部)反射的信号。根据一个实施例，无线通信模块350和天线阵列340可以是毫米波装置，并且可以通过沿面部图像中的所选像素的方向发送和接收一系列波束来生成对应部分的毫米波图像数据。例如，电子装置101可以使用毫米波图像数据来检测面部图像的活动性，从而在面部识别中利用它。
如果执行波束成形以生成用于所选像素的毫米波图像数据，则电子装置101可以设置方位角和仰角值以大体上设置波束成形方向。
图4是示出根据本公开的实施例的计算在电子装置101处获得的图像数据和被摄体的坐标的图。
参照图4，电子装置101可以通过捕获被摄体410来执行面部识别。电子装置101可以使用相机模块320获得被摄体410的图像440，通过识别所获得的图像440来确认面部区域445，并且确认面部区域445的中心坐标443。被摄体410的实际捕获区域420和由电子装置101获得的图像440的大小可以不同。因此，从被摄体410捕获的面部图像423的中心坐标425和在电子装置101处获得的图像440的面部区域445的中心坐标443可以不同。
基于获得的图像440的面部区域445的图像，电子装置101可以向被摄体410发送一系列波束。例如，电子装置101可以检测面部区域445中的标志，并且基于检测到的标志的像素信息确定一系列波束的方向。基于通过相机模块320获得的图像(例如，面部区域445)的中心坐标443(例如，像素位置)，电子装置101可以估计以匹配实际被摄体410的面部中心坐标425。
如果在被摄体410与电子装置101之间保持特定距离，则电子装置101可以获得高质量的图像。例如，如果运行面部识别应用，电子装置101可以使用指导消息来指导面部识别的有效距离。例如，基于被摄体410与电子装置101之间的距离为20cm，面部识别的有效距离可以是±4cm。电子装置101可以基于20厘米远处的相机比例尺预先计算水平比例尺A和垂直比例尺B。因此，可以基于式1来推断实际被摄体面部的中心坐标。
Figure BDA0002773303900000181
通过以与式1相同的方式使用图像(例如，面部区域445)中的标志部分的坐标(像素位置)，可以推断出与实际被摄体相对应的部分的坐标。毫米波装置的RF位置可以被预设为(xmmWave,ymmWave)，并且被存储在存储器310中。例如，可以假设在相机模块320处获得的图像的所有坐标是以mm为基础的。因此，如果被摄体与电子装置101相距20cm，则毫米波装置的RF的三维坐标可以是(0,xmmWave,ymmWave)，并且实际被摄体的面部的三维中心坐标可以是(200,x',y')。如此，可以基于式2估计毫米波装置的波束成形的方位角和仰角。
Figure BDA0002773303900000182
Figure BDA0002773303900000183
如果使用无线通信模块350获得针对面部图像的所选像素的毫米波图像数据，则电子装置101可以使用获得的毫米波图像执行面部识别。面部识别可以进一步包括存在检测和/或活动性检测。使用无线通信模块350和天线阵列340，电子装置101可以向被摄体发送用于检测存在和/或活动性的一系列波束和用于面部识别的一系列波束。
根据一个实施例，由被摄体反射的信号可以包括基于被摄体移动和面部曲线的信息。例如，被摄体移动可以连续地使电子装置101的反射波的相位和/或飞行时间(TOF)值波动。被摄体的面部曲线对于每个人可以不同，并且由被摄体的面部反射的信号的相位和/或TOF值可能根据每个人是不同的值。另外，根据人体皮肤反射波的频率，幅度降低模式可以代表与其他对象不同的独特的特征。电子装置101可以学习相应用户的图像和根据用户(例如，在电子装置101上注册了用于面部识别的图像的用户)的反射波信息(例如，相位、TOF、幅度等)，并将其存储在存储器310中。
根据各种实施例，电子装置101可以在存储器310中存储用于面部的存在检测、活动性检测和面部识别的习得信息(模板)。用于面部识别的习得信息可以使用可以在电子装置101或外部服务器上进行的深度学习、深度神经网络或人工神经网络来生成。例如，深度学习可以采用卷积神经网络(CNN)方案。使用CNN的学习可以通过将要学习的用户的面部信息输入到CNN中，并基于习得的结果将特征提取并存储为模板来进行学习。
例如，用于获得学习信息的方法可以将特定部分的图像信息和用于每个特定部分的无线通信模块350的接收信息(例如，从60GHz波束的反射波获得的相位、TOF、幅度)输入到CNN，该特定部分可以是从至少一个实际用户面部图像获得的眼睛、鼻子和嘴唇的面部标志，并计算相应的输出值为真(true)，而后输入普通用户的相同参数并计算相应的输出值为假(false)。使用CNN的学习方法可以将这样的计算重复设定的次数，更新(反向传播方法中的更新)计算中出现的错误，生成使用户参数为真的模型(模板)并将其存储在存储器中。模板可以包括存在模板、活动性模板和面部识别模板。存在模板和活动性模板可以用于所有用户，面部识别模板可以是在训练用户图像和反射波时生成的唯一模板。
这种方法可以使用普通用户的参数预先配置模板，并以迁移学习方法训练模板，该迁移学习方法使用新用户的参数值进行微调。
电子装置101可以通过将在执行面部识别应用时接收到的图像信息和反射波与存储在存储器中的对应信息进行比较，来进行面部识别。在使用训练后的模型进行识别时，电子装置101可以通过基于实时接收到的图像和反射波输入参数值作为CNN的输入来执行识别。如果CNN的输出为真，则电子装置101可以确定为授权用户，如果CNN的输出为假，则确定为非授权用户。
图5是根据本公开的实施例的电子装置的框图。图5示出了电子装置101检测通过相机模块180获得的图像的活动性并且基于检测到的活动性来识别面部的示例。
参照图5，电子装置(例如，图1的电子装置101)可以包括面部检测模块510、位置检测模块520、活动性定位模块530、活动性检测模块540、识别定位模块550和面部识别模块560。图5的电子装置101的配置可以是处理器(例如，图1的处理器120、图3的处理器300)的配置。
面部检测模块510可以从相机模块(例如，图1的相机模块180、图2和图3的相机模块320)获得图像数据。面部检测模块510可以检测所获得的图像中的面部图像。例如，为了检测各种尺寸的面部，面部检测模块510可以根据获得的图像生成金字塔图像，并且在逐像素移动时使用分类器(例如，自适应增强(AdaBoost)来确定特定尺寸的区域是否是面部。
位置检测模块520可以在检测到的面部图像中检测面部特征或面部标志。根据各种实施例，位置检测模块520可以指定眼睛、鼻子和嘴唇，并且指定面部区域。例如，位置检测模块520可以检测用于检测面部图像中的面部存在的位置(例如，图像的中心)，用于检测面部活动性的位置(例如，面部的用于检测眼睛、鼻子和眼睛移动的特定位置)，以及用于识别面部的位置(例如，整个面部区域，或用于检测面部特征的眼睛、鼻子和嘴唇位置)。
活动性定位模块530可以选择用于检测面部活动性的面部位置(例如，面部图像的特定像素位置)，以及通过无线通信模块350和天线阵列340的对波束进行波束成形以向选定的面部位置发送一系列波束。无线通信模块350和天线阵列340可以基于在活动性定位模块530处设置的活动性波束成形信息(例如，方位角和仰角)沿相应的方向发送一系列波束，并接收被摄体反射的信号。
活动性检测模块540可以基于被摄体反射并在天线阵列340处接收到的信号来检测面部活动性。活动性检测模块540可以计算接收到的反射信号的TOF、相位和/或幅度，并基于将计算信息存储在存储器310中的活动性模板来检测活动性。识别定位模块550可以选择用于识别面部的面部位置(例如，整个面部图像区域或包括多个标志的一组标志)，并形成波束以向所选位置发送一系列波束。无线通信模块350和天线阵列340可以基于在识别定位模块550处设置的用于面部识别的波束成形信息(例如，方位角和仰角)沿相应的方向发送一系列波束，并接收被摄体反射的信号。
面部识别模块560可以基于被摄体反射并在天线阵列340处接收到的信号来识别面部图像。面部识别模块560可以计算接收到的反射信号的TOF、相位和/或幅度，并基于将计算信息存储在存储器310中的面部识别模板来识别用户的面部图像。活动性定位模块530可以定位为测量对象的微动，并且活动性检测位置可以用于测量与对象的距离。例如，活动性检测位置可以是面部区域或面部区域的一部分。面部识别模块560可以基于对象信息(例如，距对象的距离信息、TOF)，利用深度学习信息来执行面部识别。
根据各种实施例，电子装置101可以检测使用毫米波装置获得的面部图像的活动性，并且如果检测到活动性，则识别面部图像。例如，即使人的面部一动不动，微米级运动也可能会连续出现。这样的移动可能相对于毫米波装置的反射波连续地使相位或TOF值发生波动。电子装置101可以使用深度学习(或机器学习)以特定模式将这种移动特性预先存储在存储器中。根据频率，来自人体皮肤的反射波在反射波的幅度降低模式中可能表现出与其他对象不同的特性。电子装置101还可以将反射波的幅度降低模式预先存储在存储器中。活动性定位模块530可以执行波束成形以向用于检测活动性的位置(例如，面部图像的眼睛、鼻子或嘴唇位置)发送一系列波束，并接收由被摄体的面部反射的信号。活动性检测模块540可以通过将毫米波图像数据的相位或TOF图案与存储在存储器中的通过训练的面部的微动图案进行比较，或者通过将基于反射波的频率的幅度降低图案与预先存储的人体皮肤图案进行比较，来检测活动性。
根据各种实施例，如果电子装置101检测到活动性(例如，如果反射波的特征类似于人的面部的反射波图案，则满足活动性检测的条件)，则识别定位模块550可以朝着用于面部识别的面部位置(面部区域或在面部区域中包括多个标志的面部的一部分)执行附加波束成形。电子装置101可以向被摄体的面部位置发送一系列波束以进行附加的面部识别，并且接收由被摄体的相应的面部位置反射的信号。面部识别模块560可以基于识别出的面部图像、一系列的反射波以及存储在存储器中的面部识别模板来识别用户的面部。
这样做，如果用于检测活动性的毫米波图像数据不仅足以检测活动性而且还识别了面部，则电子装置101可以不进行附加的波束成形。在这种情况下，在图5中可以省略识别定位模块550。
在各种实施例中，如果单独地使用用于面部活动性检测的波束成形和用于面部识别的波束成形，则电子装置101可以对面部的特定部分执行用于活动性检测的波束成形，并且如果匹配了面部的特定部分，则基于相应的波束方向计算其他区域的方向。如果从在相机处获得的面部图像的像素信息确定毫米波装置的波束成形方向，则电子装置101会根据相机模块和毫米波装置的安装位置或用户与电子装置101之间的距离而引起波束成形误差。因此，用于活动性检测的波束成形可以用于通过重复地对特定区域进行波束成形来定位用户的面部并测量电子装置101与面部之间的距离。
根据各种实施例，如果生成毫米波图像数据，则电子装置101可以通过深度学习(例如，CNN)算法的特征提取来与由训练生成的数据(模板)进行比较，并通过根据预定算法计算匹配分数来确定面部识别的成功或失败。面部识别是成功还是失败，电子装置101可以根据条件使用预先存储的用于面部的模板作为附加数据以进行连续更新。根据各种实施例的电子装置101可以包括：壳体，壳体包括面向第一方向的第一板、背向第一板的第二板以及侧构件，该侧构件围绕第一板与第二板之间的空间；显示器330，其通过第一板的第一部分被看到；天线阵列340，其设置在壳体中和/或壳体的一部分中；图像传感器230，其通过第一板的第二部分被看到并被设置成面向第一方向，第一板的第二部分接近显示器；处理器300，其设置在壳体中并且可操作地耦接到图像传感器和无线通信装置；存储器310，其可操作地耦接到处理器。存储器310可以存储指令，当指令被执行时，使得处理器300：利用图像传感器230获得并接收至少一个图像，识别图像中的对象，利用天线阵列340沿至少一个第二方向发送一系列定向波束，利用天线阵列340接收由对象反射的一系列反射波，以及至少部分地基于识别出的对象和一系列反射波来识别对象。
根据各种实施例，无线通信模块350可以被配置为在3GHz到100GHz的频率发送和/或接收。
根据各种实施例，指令可以使处理器300在识别出对象之后发送一系列波束。
根据各种实施例，对象可以包括用户的面部。
根据各种实施例，第二方向可以与第一方向相同。
根据各种实施例，指令可以使处理器300至少部分地基于识别出的对象或识别出的对象的选定部分来确定第二方向。
根据各种实施例，存储器310可以基于用户来存储对象的参考图像和参考轮廓，并且指令可以通过比较识别出的对象和由一系列反射波检测到的轮廓与参考图像和参考轮廓进行比较来执行识别。
根据各种实施例，指令可以使处理器300至少部分地基于一系列反射波来确定对象与电子装置之间的距离。
根据各种实施例，指令可以使处理器300在电子装置101被锁定时执行识别，并且如果识别成功，则将电子装置101的锁定状态切换为解锁状态。
图6是根据本公开的实施例的电子装置的对象识别方法的流程图。
参照图6，电子装置101可以基于对象图像和根据由对象反射的信号的毫米波执行对象识别。在操作611，电子装置101可以通过相机模块(例如，图1的相机模块180、图2和图3的相机模块320)获得被摄体图像。在操作613，电子装置101可以识别所获得的被摄体图像中的意图对象区域和对象的主要部分，并在识别出的对象图像中检测用于识别对象的标志。
在操作615中，电子装置101可以使用无线通信模块(例如，图3的无线通信模块350和天线阵列340)基于检测到的对象标志来发送一系列定向波束。电子装置101可以在与识别出的对象图像中的检测到的标志相对应的对象位置的方向上形成波束，并且无线通信模块和天线阵列可以向对象的标志位置发送一系列波束。在操作617中，电子装置101可以接收由被摄体反射的一系列反射波。在操作619中，电子装置101可以基于识别出的对象图像和接收到的一系列反射波来执行对象识别。例如，可以通过将识别出的对象和由一系列反射波检测到的轮廓与参考图像和参考轮廓进行比较来执行对象识别。
根据各种实施例，对象可以是人的面部。无线通信模块350和天线阵列340可以是毫米波装置。毫米波装置可以使用波束成形向对象的特定位置发送信号，并且处理器300可以通过无线通信模块350确认由对象反射的信号的特性。例如，如果使用毫米波装置来识别面部，则可以通过确认面部中必要部分的信息(例如，面部的眼睛、鼻子和嘴唇)并使用波束成形向确认出的位置发送信号来缩短图像数据的生成时间。例如，电子装置101可以在面部识别中通过向面部的特定位置(例如，眼睛、鼻子和/或嘴唇)发送一系列定向波束来检测面部活动，并且如果检测到活动性，则识别通过向图像的面部区域发送一系列定向波束来识别面部。
图7是根据本公开的各种实施例的在电子装置中识别面部的方法的流程图。图7示出了电子装置101进行以下操作的流程图：用于针对面部图像的每个像素计算毫米波装置的波束成形的方位角和仰角，基于计算结果来形成波束，并根据波束成形基于由被摄体反射的信号来执行活动性检测和面部识别。
参照图7，电子装置(例如，图1的电子装置101)可以基于面部图像和根据由对象反射的信号的毫米波执行面部识别，并且基于由面部反射的信号执行毫米波图像。在操作711中，电子装置101可以通过相机模块(例如，图1的相机模块180、图2和图3的相机模块320)获得包括面部的图像。在操作713中，电子装置101可以识别获得的图像中的面部区域和面部的主要部分。在操作715，电子装置101可以在识别出的面部图像中检测用于面部识别的标志。电子装置101可以计算通过相机模块获得的图像中的面部区域的坐标或可以是面部的标志的部分的位置(例如，像素坐标)。电子装置101可以选择用于检测面部活动性的位置和用于识别面部的位置。例如，用于检测面部活动性的位置可以选择特定部分的像素坐标，该特定部分可以是面部图像中的眼睛、鼻子和嘴唇的标志，并且用于识别面部的位置可以选择在有限时间内从整个面部图像中收集的一组像素坐标。
在操作717中，电子装置101可以计算用于面部活动性检测的面部图像的位置的方位角和仰角。例如，电子装置101可以通过将活动性检测位置信息应用于式1和式2来计算用于活动性检测的波束的方位角和仰角。在操作719中，电子装置101可以基于计算出的方位角和仰角向被摄体的活动性检测位置发送一系列波束。在操作721中，电子装置101可以接收波束的由被摄体反射的一系列反射波。在操作723中，电子装置101可以从接收到的反射波中计算相位、TOF和幅度值，并且基于计算出的值来检测面部活动性。根据一个实施例，存储器(例如，图3的存储器310)可以存储用于检测面部活动性的活动性模板。例如，活动性模板可以是这样的特定图案，其使用深度学习基于面部的微动(振动)来训练毫米波装置的相位、TOF和幅度变化。电子装置101可以通过将在毫米波装置处接收到的反射波的相位、TOF和/或幅度值与训练后的活动性模板进行匹配来确认匹配分数，并且基于所确认的匹配分数来检测面部活动性。如果没有检测到面部活动性(确定为假)，则电子装置101可以确定面部识别失败并完成识别。
如果检测到面部活动性(确定为真)，则在操作725中，电子装置101可以确认是否存在用于面部识别的附加位置信息(用于面部识别的位置信息(像素坐标))。例如，存储器可以存储活动性模板和面部识别模板，并且在操作715中，电子装置101可以确定用于活动性检测和面部识别的标志。在操作725中，电子装置101可以计算用于面部识别的面部图像的指定位置的方位角和仰角。例如，电子装置101可以通过将面部识别位置信息应用于式1和式2来计算用于面部识别的波束的方位角和仰角。在操作727中，电子装置101可以向基于计算出的方位角和仰角的被摄体的面部识别位置发送一系列波束。在操作729中，电子装置101可以接收由被摄体反射的波束的一系列反射波。在操作731中，电子装置101可以根据接收到的反射波计算相位、TOF和幅度值，并且通过将计算出的值与面部识别模板匹配来执行面部识别。
图8是根据本公开的实施例的在电子装置中识别面部的方法的流程图。
参照图8，电子装置101可以基于面部图像执行面部识别，并且基于由面部反射的信号执行毫米波图像。在操作811中，电子装置101可以通过相机模块(例如，图1的相机模块180、图2和图3的相机模块320)获得包括面部的图像。在操作813中，电子装置101可以在获得的图像中识别面部区域和面部的主要部分。在操作815中，电子装置101可以在识别出的面部图像中检测用于面部识别的标志。电子装置101可以计算通过相机模块获得的图像中的面部区域的坐标或可以是面部标志的部分的位置(例如，像素坐标)。在操作815中，电子装置101可以区分并选择用于存在检测的位置、用于面部活动性检测的位置和/或用于面部识别的位置的集合。例如，组的数量(像素坐标)可以按照用于存在检测的位置、用于面部活动性检测的位置以及用于面部识别的位置的顺序增加。例如，用于存在检测的位置可以使用识别出的面部图像的中心坐标，用于面部活动性检测的位置可以选择特定部分，该特定部分可以是面部图像中的眼睛、鼻子和嘴唇的面部标志，并且用于面部识别的位置可以选择在有限时间内从整个面部图像收集的所有坐标的集合。
在操作817中，电子装置101可以通过应用式1和式2计算用于存在检测的位置的相应波束的方位角和仰角。在操作819中，电子装置101可以基于计算出的方位角和仰角通过形成波束将向被摄体发送一系列定向波束。在操作821中，电子装置101可以接收由被摄体反射的一系列波束的反射波，并且确认被摄体是否存在于基于接收到的反射波的相位和/或TOF值设置的距离范围内。这样做，如果被摄体与假设的被摄体之间的距离更近或更远(例如20cm)，则电子装置101可以重新计算比例尺A和B。如果在反射波信息中的设置距离范围内没有被摄体，则电子装置101可以在操作811中识别出面部图像，并重新计算识别出的面部图像中的面部区域的坐标。
如果检测到面部存在，则在操作850中，电子装置101可以检测面部活动性。可以以与图7的操作717至操作723相同的方式来执行检测活动性的操作850。如果检测到面部活动性，则在操作870中，电子装置101可以执行面部识别。可以以与图7的操作725至操作731相同的方式来执行识别面部的操作870。
根据各种实施例，一种用于在电子装置101中识别对象的方法可以包括：利用图像传感器获得至少一个图像；识别图像中的对象；利用设置在壳体中或壳体的一部分中的天线阵列沿对象的方向发送一系列的一个或更多个定向波束；利用天线阵列接收由对象反射的一系列反射波；以及至少部分地基于所识别的对象和一系列反射波来识别对象。
根据各种实施例，可以在3GHz到100GHz的频率发送一系列定向波束。
根据各种实施例，对象可以包括用户的面部。
根据各种实施例，发送一系列定向波束可以进一步包括至少部分地基于识别出的对象或识别出的对象的选定部分来确定一系列波束的方向。
根据各种实施例，电子装置101的对象识别方法可以基于用户来存储对象的参考图像和参考轮廓。识别对象可以通过将识别出的对象和由一系列反射波检测到的轮廓与参考图像和参考轮廓进行比较来执行识别。
根据各种实施例，电子装置101的对象识别方法还可以包括在电子装置被锁定时执行识别，并且如果识别成功，则将电子装置的锁定状态切换为解锁状态。
根据各种实施例，一种用于在电子装置中识别面部的方法可以包括：利用图像传感器获得至少一个图像，在图像中识别面部图像，基于面部图像设置面部的活动性检测位置和面部的识别位置，向活动性检测位置发送一系列第一定向波束，接收在活动性检测位置反射的一系列第一反射波，基于接收到的一系列第一反射波检测活动性，向面部的识别位置发送一系列第二定向波束，接收在面部识别位置反射的一系列第二反射波，并基于接收到的一系列第二反射波识别面部。
根据各种实施例，设置活动性检测位置可以将基于面部的眼睛、鼻子和嘴唇中的至少一个特征的像素的坐标设置为活动性检测位置。设置面部识别位置可以将基于面部部分或面部部分的一部分的像素的坐标设置为面部识别位置。
根据各种实施例，检测活动性可以包括通过计算活动性检测位置的方位角和仰角来设置一系列第一定向波束，发送一系列第一定向波束，接收面部反射的一系列波束，基于接收到的一系列反射波来计算反射波的TOF，并基于反射波的TOF和存储的训练后的活动性模板来检测活动性。
根据各种实施例，识别面部可以包括通过计算面部识别位置的方位角和仰角来设置一系列第二定向波束，发送一系列第二定向波束，接收面部反射的一系列波束，基于接收到的一系列反射波来计算反射波的TOF，并基于反射波的TOF和存储的面部识别模板来识别面部。
根据各种实施例，电子装置的对象识别方法可以进一步包括检测面部存在。检测存在可以包括将面部的中心位置的像素坐标设置为存在检测位置，通过计算存在检测位置的方位角和仰角来设置一系列波束的方向，发送所设置的一系列定向波束，接收面部反射的一系列波束，基于接收到的一系列反射波计算反射波的TOF，并基于反射波的TOF和存储的存在模板来检测存在。
根据各种实施例的电子装置可以在对象识别中使用无线通信功能来执行对象识别。电子装置可以使用无线通信装置来检测在相机处获得的对象图像的活动性，识别检测到的活动性的对象图像，从而阻止恶意的识别尝试(例如，欺骗攻击)。此外，电子装置可以使用在相机处获得的对象图像来选择毫米波装置的波束成形像素(例如，在与图像的某些像素相对应的方向上形成波束)，并通过基于所选波束成形像素的识别来缩短毫米波图像数据的生成时间。
尽管已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求书及其等同形式定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子装置，所述电子装置包括：
壳体，所述壳体包括面向第一方向的第一板、背向所述第一板的第二板以及侧构件，所述侧构件围绕所述第一板与所述第二板之间的空间；
显示器，所述显示器通过所述第一板的第一部分被看到；
天线阵列，所述天线阵列设置在所述壳体中或所述壳体的一部分中；
图像传感器，所述图像传感器通过所述第一板的第二部分被看到并被设置成面向所述第一方向，所述第一板的第二部分接近所述显示器；
无线通信装置，所述无线通信装置电耦接到所述天线阵列，并被配置为利用所述天线阵列形成定向波束；
处理器，所述处理器设置在所述壳体中并且可操作地耦接到所述图像传感器和所述无线通信装置；以及
存储器，所述存储器可操作地耦接到所述处理器，
其中，所述存储器存储有指令，所述指令在被执行时，使所述处理器：
利用所述图像传感器获得并接收至少一个图像，
识别所述至少一个图像中的对象，
利用所述天线阵列沿至少一个第二方向发送一系列定向波束，
利用所述天线阵列接收由所述对象反射的一系列反射波，以及
至少部分地基于识别出的对象和所述一系列反射波来识别所述对象。
2.根据权利要求1所述的电子装置，其中，所述无线通信装置被配置为在3GHz至100GHz的频率发送或接收。
3.根据权利要求1所述的电子装置，其中，所述指令进一步使所述处理器在识别出所述对象之后，发送所述一系列波束。
4.根据权利要求3所述的电子装置，其中，所述对象包括用户的面部。
5.根据权利要求1所述的电子装置，其中，所述第二方向与所述第一方向相同。
6.根据权利要求1所述的电子装置，其中，所述指令进一步使所述处理器至少部分地基于识别出的对象或识别出的对象的选定部分来确定所述第二方向。
7.根据权利要求1所述的电子装置，
其中，所述存储器基于用户来存储对象的参考图像和参考轮廓，并且
其中，所述指令使得：通过将识别出的对象和由所述一系列反射波检测到的轮廓与所述参考图像和所述参考轮廓进行比较来执行所述识别。
8.根据权利要求1所述的电子装置，其中，所述指令进一步使所述处理器至少部分地基于所述一系列反射波来确定所述对象与所述电子装置之间的距离。
9.根据权利要求1所述的电子装置，其中，所述指令进一步使所述处理器：
在所述电子装置被锁定时执行所述识别，并且
如果所述识别成功了，则将所述电子装置从所述锁定状态切换为解锁状态。
10.一种在电子装置中识别对象的方法，所述方法包括：
利用图像传感器获得至少一个图像；
识别所述至少一个图像中的对象；
利用在壳体中或所述壳体的一部分中设置的天线阵列沿所述对象的方向发送一系列的一个或更多个定向波束；
利用所述天线阵列接收由所述对象反射的一系列反射波；以及
至少部分地基于所识别的对象和所述一系列反射波来识别所述对象。
11.根据权利要求10所述的方法，其中，以3GHz至100GHz的频率发送所述一系列定向波束。
12.根据权利要求10所述的方法，其中，所述对象包括用户的面部。
13.根据权利要求10所述的方法，其中，发送所述一系列定向波束进一步包括：
至少部分地基于识别出的对象或识别出的对象的选定部分来确定所述一系列波束的方向。
14.根据权利要求10所述的方法，
其中，所述电子装置的存储器基于用户来存储所述对象的参考图像和参考轮廓，以及
其中，所述对象的识别为：通过将识别出的对象和由所述一系列反射波检测到的轮廓与参考图像和参考轮廓进行比较来执行所述识别。
15.根据权利要求10所述的方法，所述方法进一步包括：
在所述电子装置被锁定时执行所述识别；并且
如果所述识别成功了，则将所述电子装置从所述锁定状态切换为解锁状态。
CN201980031863.6A 2018-05-15 2019-05-13 在电子装置中识别对象的设备和方法 Pending CN112154436A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0055361 2018-05-15
KR1020180055361A KR102522415B1 (ko) 2018-05-15 2018-05-15 전자 장치의 객체 인증 장치 및 방법
PCT/KR2019/005725 WO2019221464A1 (en) 2018-05-15 2019-05-13 Apparatus and method for recognizing an object in electronic device

Publications (1)

Publication Number Publication Date
CN112154436A true CN112154436A (zh) 2020-12-29

Family

ID=68533737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031863.6A Pending CN112154436A (zh) 2018-05-15 2019-05-13 在电子装置中识别对象的设备和方法

Country Status (5)

Country Link
US (1) US11928195B2 (zh)
EP (1) EP3776296B1 (zh)
KR (1) KR102522415B1 (zh)
CN (1) CN112154436A (zh)
WO (1) WO2019221464A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902243B2 (en) * 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets
US11131787B2 (en) * 2018-05-28 2021-09-28 Samsung Electronics Co., Ltd. Electromagnetic sensor and mobile device including the same
CN110008802B (zh) 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
KR20210048725A (ko) 2019-10-24 2021-05-04 삼성전자주식회사 카메라 제어를 위한 방법 및 이를 위한 전자 장치
KR20210074749A (ko) * 2019-12-12 2021-06-22 삼성전자주식회사 라이브니스 검사 방법 및 라이브니스 검사 장치
CN111061898A (zh) * 2019-12-13 2020-04-24 Oppo（重庆）智能科技有限公司 图像处理方法、装置、计算机设备及存储介质
KR102351859B1 (ko) * 2020-06-04 2022-01-14 배강태 보안 장치 및 이의 제어 방법
US11363500B1 (en) 2021-02-17 2022-06-14 Facebook Technologies Ultra-wideband control of smart streaming devices
US11496790B2 (en) * 2021-02-17 2022-11-08 Meta Platforms Technologies, Llc Ultra-wideband control of smart streaming devices
US20230314596A1 (en) * 2022-03-31 2023-10-05 Meta Platforms Technologies, Llc Ear-region imaging

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030115A1 (en) * 2004-03-26 2007-02-08 Canon Kabushiki Kaisha Method of identification of living body and apparatus for identification of living body
JP2007241402A (ja) * 2006-03-06 2007-09-20 Sharp Corp 顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
JP2008197713A (ja) * 2007-02-08 2008-08-28 Toyama Prefecture 画像識別方法
US7809171B2 (en) * 2005-01-10 2010-10-05 Battelle Memorial Institute Facial feature evaluation based on eye location
KR20130054767A (ko) * 2011-11-17 2013-05-27 주식회사 에스원 다중 생체 인식 장치 및 방법
CN103336950A (zh) * 2013-07-01 2013-10-02 深圳市飞瑞斯科技有限公司 一种人脸识别方法及***
US8611616B1 (en) * 2012-06-26 2013-12-17 Google Inc. Facial recognition
US20140016837A1 (en) * 2012-06-26 2014-01-16 Google Inc. Facial recognition
US20150347734A1 (en) * 2010-11-02 2015-12-03 Homayoon Beigi Access Control Through Multifactor Authentication with Multimodal Biometrics
US20160042169A1 (en) * 2014-08-07 2016-02-11 Verizon Patent And Licensing Inc. Methods and Systems for Determining a User Identity by Analysis of Reflected Radio Frequency Signals Received by an Antenna Array
KR20160022541A (ko) * 2014-08-20 2016-03-02 삼성전자주식회사 지문 인식 방법 및 장치
US20160371555A1 (en) * 2015-06-16 2016-12-22 EyeVerify Inc. Systems and methods for spoof detection and liveness analysis
CN106355061A (zh) * 2015-07-13 2017-01-25 广州杰赛科技股份有限公司 基于毫米波的手势认证装置
CN106572268A (zh) * 2016-11-14 2017-04-19 北京小米移动软件有限公司 信息显示方法及装置
US20170180348A1 (en) * 2015-12-22 2017-06-22 Intel Corporation Fair, secured, and efficient completely automated public turing test to tell computers and humans apart (captcha)
US20180074600A1 (en) * 2015-03-16 2018-03-15 Jun Ho Park Wearable Device
KR20180031240A (ko) * 2016-09-19 2018-03-28 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
WO2018079031A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1485729B1 (en) * 2002-03-15 2008-05-14 Lockheed Martin Corporation System and method for target signature calculation and recognition
US11063625B2 (en) 2008-08-14 2021-07-13 Theodore S. Rappaport Steerable antenna device
US8254768B2 (en) * 2010-12-22 2012-08-28 Michael Braithwaite System and method for illuminating and imaging the iris of a person
US8705812B2 (en) 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
US11502551B2 (en) * 2012-07-06 2022-11-15 Energous Corporation Wirelessly charging multiple wireless-power receivers using different subsets of an antenna array to focus energy at different locations
US10102419B2 (en) 2015-10-30 2018-10-16 Intel Corporation Progressive radar assisted facial recognition
KR102450421B1 (ko) 2017-12-06 2022-10-05 삼성전자주식회사 무선 통신 시스템에서 빔포밍을 수행하는 전자 장치 및 이를 위한 방법
KR102511292B1 (ko) 2018-07-11 2023-03-17 삼성전자주식회사 전자 장치의 객체 인증 장치 및 방법

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030115A1 (en) * 2004-03-26 2007-02-08 Canon Kabushiki Kaisha Method of identification of living body and apparatus for identification of living body
CN1937955A (zh) * 2004-03-26 2007-03-28 佳能株式会社 活体的识别方法和活体的识别装置
US7809171B2 (en) * 2005-01-10 2010-10-05 Battelle Memorial Institute Facial feature evaluation based on eye location
JP2007241402A (ja) * 2006-03-06 2007-09-20 Sharp Corp 顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
JP2008197713A (ja) * 2007-02-08 2008-08-28 Toyama Prefecture 画像識別方法
US20150347734A1 (en) * 2010-11-02 2015-12-03 Homayoon Beigi Access Control Through Multifactor Authentication with Multimodal Biometrics
KR20130054767A (ko) * 2011-11-17 2013-05-27 주식회사 에스원 다중 생체 인식 장치 및 방법
US20140016837A1 (en) * 2012-06-26 2014-01-16 Google Inc. Facial recognition
US8611616B1 (en) * 2012-06-26 2013-12-17 Google Inc. Facial recognition
CN103336950A (zh) * 2013-07-01 2013-10-02 深圳市飞瑞斯科技有限公司 一种人脸识别方法及***
US20160042169A1 (en) * 2014-08-07 2016-02-11 Verizon Patent And Licensing Inc. Methods and Systems for Determining a User Identity by Analysis of Reflected Radio Frequency Signals Received by an Antenna Array
KR20160022541A (ko) * 2014-08-20 2016-03-02 삼성전자주식회사 지문 인식 방법 및 장치
US20180074600A1 (en) * 2015-03-16 2018-03-15 Jun Ho Park Wearable Device
US20160371555A1 (en) * 2015-06-16 2016-12-22 EyeVerify Inc. Systems and methods for spoof detection and liveness analysis
CN106355061A (zh) * 2015-07-13 2017-01-25 广州杰赛科技股份有限公司 基于毫米波的手势认证装置
US20170180348A1 (en) * 2015-12-22 2017-06-22 Intel Corporation Fair, secured, and efficient completely automated public turing test to tell computers and humans apart (captcha)
KR20180031240A (ko) * 2016-09-19 2018-03-28 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
WO2018079031A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
CN106572268A (zh) * 2016-11-14 2017-04-19 北京小米移动软件有限公司 信息显示方法及装置

Also Published As

Publication number Publication date
US20190354662A1 (en) 2019-11-21
WO2019221464A1 (en) 2019-11-21
EP3776296B1 (en) 2024-06-26
KR20190130797A (ko) 2019-11-25
EP3776296A1 (en) 2021-02-17
US11928195B2 (en) 2024-03-12
KR102522415B1 (ko) 2023-04-17
EP3776296A4 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
US11928195B2 (en) Apparatus and method for recognizing an object in electronic device
EP3457680B1 (en) Electronic device for correcting image and method for operating the same
KR102511292B1 (ko) 전자 장치의 객체 인증 장치 및 방법
US11048923B2 (en) Electronic device and gesture recognition method thereof
CN109756763B (zh) 用于基于优先级处理图像的电子装置及其操作方法
US11102409B2 (en) Electronic device and method for obtaining images
US11995122B2 (en) Electronic device for providing recognition result of external object by using recognition information about image, similar recognition information related to recognition information, and hierarchy information, and operating method therefor
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
US20210117708A1 (en) Method for obtaining face data and electronic device therefor
CN113366527A (zh) 用于处理图像的电子装置和方法
US20240013405A1 (en) Object tracking method and electronic apparatus therefor
CN113727013A (zh) 提供图像拍摄指南的方法或者装置
US11354777B2 (en) Image processing device and method of electronic device
US20220103795A1 (en) Electronic device and method for generating images by performing auto white balance
CN117256157A (zh) 包括相机的电子装置
CN114731362A (zh) 包括相机的电子装置及其方法
US20230360245A1 (en) Measurement method using ar, and electronic device
US20240184379A1 (en) Electronic apparatus for detecting motion gesture, and operation method therefor
US20230412924A1 (en) Method and electronic device for image stabilization during image capturing
US20240089609A1 (en) Image processing method and electronic device therefor
US20240086512A1 (en) Electronic device including image sensor and dynamic vison sensor, and operation method thereof
US20230171493A1 (en) Electronic device for autofocusing and method of operating the same
EP4228246A1 (en) Electronic device capable of auto-focusing and method for operating same
US20240004980A1 (en) Method, device, and storage medium for user authentication
KR20230144908A (ko) 위치 추정 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination