CN111670004A - 用于测量心率的电子装置和方法 - Google Patents

用于测量心率的电子装置和方法 Download PDF

Info

Publication number
CN111670004A
CN111670004A CN201980011150.3A CN201980011150A CN111670004A CN 111670004 A CN111670004 A CN 111670004A CN 201980011150 A CN201980011150 A CN 201980011150A CN 111670004 A CN111670004 A CN 111670004A
Authority
CN
China
Prior art keywords
regions
user
information
heart rate
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980011150.3A
Other languages
English (en)
Inventor
金启显
金俊镐
金炯淳
李泰汉
韩宗熙
朴相培
白炫宰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111670004A publication Critical patent/CN111670004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

公开了一种用于测量心率的电子装置和方法。根据本发明的电子装置的心率测量方法包括以下步骤：捕捉包括用户的面部的图像；将包括在图像中的用户的面部分组为包括相似颜色的多个像素的多个区域；将关于分组后的所述多个区域的信息输入到人工智能学习模型以获取关于用户的心率的信息；并且输出获取的关于心率的信息。因此，电子装置可通过捕捉图像更准确地测量用户的心率。

Description

用于测量心率的电子装置和方法
技术领域
本公开涉及一种用于测量心率的电子装置及其测量方法，并且更具体地，涉及一种用于使用捕捉的面部图像来测量用户的心率的电子装置及其测量方法。
背景技术
在一般的心率测量方法中，传感器被附接到诸如用户的手指的身体部分，并且通过使用利用附接的传感器感测到的感测信息来测量用户的心率。
随着电子技术的发展，已经开发了一种用于在不将单独的传感器附接到用户的身体部分的情况下通过由相机捕捉的图像来测量用户的心率的基于相机的非接触式心率测量方法。
基于相机的非接触式心率测量方法是用于捕捉包括用户的面部的图像并通过包括在捕捉图像中的用户的面部皮肤的颜色改变来测量用户的心率的方法。
当根据在事件情况(诸如当在面部颜色由于周围环境(例如，室内照明)而暗或亮的状态下捕捉用户的面部时，或者在用户的皮肤根据用户的运动而临时改变时捕捉用户的面部时)下捕捉的面部的图像来测量用户的心率时，上述心率测量方法可能具有测量不正确的心率的问题。
发明内容
技术问题
本公开的目的是通过由电子装置捕捉的图像来准确地测量用户的心率。
技术方案
根据实施例，一种电子装置的用于测量心率的方法包括：捕捉包括用户的面部的图像；将包括在图像中的用户的面部分组为包括相似颜色的多个像素的多个区域；将关于分组后的所述多个区域的信息输入到人工智能学习模型以获取关于用户的心率的信息；并且输出获取的关于心率的信息。
分组的步骤可包括：基于构成用户的面部的所述多个像素的颜色信息和位置信息将用户的面部分组为多个区域，获取与分组后的所述多个区域中的每个区域相应的颜色值，基于与获取的所述多个区域中的每个区域相应的颜色值将预定颜色范围内的多个区域分组为同一组，并且使用被分组为同一组的多个区域中的每个区域的颜色值来获取被分组为同一组的所述多个区域的脉搏信号。
获取的步骤可包括：通过将针对被分组为同一组的所述多个区域的脉搏信号输入到人工智能学习模型来获取关于用户的心率的信息。
人工智能学习模型可包括频率分解层和复数层，其中，频率分解层被配置为从输入的脉搏信号获取周期性迭代的周期性属性信息，复数层被配置为将通过频率分解层获取的周期性属性信息转换为人工智能学习模型能够识别的值。
所述方法还可包括：获取捕捉图像中的用户的面部区域，并且获取的步骤可包括：使用支持向量机SVM算法获取捕捉图像中的用户的面部区域，并且从获取的用户的面部区域去除眼部、嘴部和颈部。
分组的步骤可包括：将眼部、嘴部和颈部的区域被去除的剩余区域的图像分组为包括相似颜色的多个像素的多个区域。
去除的步骤还可包括：从用户的面部区域去除前额部的区域，并且分组的步骤可包括将眼部、嘴部和前额部的区域被去除的剩余区域的图像分组为包括相似颜色的多个像素的多个区域。
分组的步骤可包括将眼部、嘴部和前额部被去除的剩余区域中的一些区域的图像分组为包括相似颜色的多个像素的多个区域，并且所述一些区域可包括嘴部的区域被去除的区域。
根据另一实施例，一种电子装置包括：捕捉器；输出器，被配置为输出关于心率的信息；以及处理器，被配置为将包括在由捕捉器捕捉的图像中的用户的面部分组为包括相似颜色的多个像素的多个区域，将关于分组后的所述多个区域的信息输入到人工智能学习模型以获取关于用户的心率的信息，并且控制输出器输出获取的关于心率的信息。
处理器可基于构成用户的面部的所述多个像素的颜色信息和位置信息将用户的面部分组为多个区域并获取与分组后的所述多个区域中的每个区域相应的颜色值，并且基于与获取的所述多个区域中的每个区域相应的颜色值将预定颜色范围内的多个区域分组为同一组，然后使用被分组为同一组的多个区域中的每个区域的颜色值来获取被分组为同一组的所述多个区域的脉搏信号。
处理器可通过将针对被分组为同一组的所述多个区域的脉搏信号输入到人工智能学习模型来获取关于用户的心率的信息。
人工智能学习模型可包括频率分解层和复数层，其中，频率分解层被配置为从输入的脉搏信号获取周期性迭代的周期性属性信息，复数层被配置为将通过频率分解层获取的周期性属性信息转换为人工智能学习模型能够识别的值。
处理器可使用支持向量机(SVM)算法来获取捕捉的图像中的用户的面部区域，并且从获取的用户的面部区域去除眼部、嘴部和颈部。
处理器可将眼部、嘴部和颈部的区域被去除的剩余区域的图像分组为包括相似颜色的多个像素的多个区域。
处理器还可从用户的面部区域去除前额部的区域，并且将眼部、嘴部和前额部的区域被去除的剩余区域的图像分组为包括相似颜色的多个像素的多个区域。
处理器可将眼部、嘴部和前额部的区域被去除的剩余区域的图像分组为包括相似颜色的多个像素的多个区域，并且所述一些区域可包括嘴部的区域被去除的区域。
有益效果
根据实施例，一种电子装置可通过将包括在捕捉图像中的用户的面部按颜色分组为区域，并使用基于分组后的区域的颜色值的数据作为人工智能(AI)模型的输入值，来通过捕捉的图像更准确地测量用户的心率。
附图说明
图1是示出根据实施例的通过电子装置测量用户的心率的示例图；
图2是示出根据实施例的提供关于用户的心率的信息的电子装置的框图；
图3是根据实施例的提供关于用户的心率的信息的电子装置的详细框图；
图4是示出根据实施例的人工智能学习模型的示例图；
图5是根据实施例的通过处理器从捕捉图像获取用户的面部区域的第一示例图；
图6是示出根据另一实施例的通过处理器从捕捉的图像获取用户的用户的面部区域的第二示例图；
图7是根据实施例的用于更新和使用人工智能学习模型的电子装置的处理器的详细框图；
图8是根据实施例的学习单元和获取单元的详细框图；
图9是根据实施例的电子装置和外部服务器彼此相关联地学习和确定数据的示例图；
图10是根据实施例的用于通过电子装置提供关于用户的心率的信息的方法的流程图；以及
图11是根据实施例的用于将用户的面部区域分组为包括相似颜色的多个像素的多个区域的方法的流程图。
具体实施方式
在下文中，将参照附图描述本公开的各种示例实施例。然而，应理解，本公开不限于具体实施例，而是包括根据本公开的实施例的各种修改、等同物和/或替换物。在整个附图中，相似的组件将由相似的参考标号表示。
在本公开中，表述“具有”、“可具有”、“包括”或“可包括”可用于表示特征(例如，组件，诸如数值、功能、操作、部件等)的存在，并且不排除附加特征的存在。
在本公开中，表述“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或更多个”等包括列出项的所有可能组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”包括(1)至少一个A、(2)至少一个B、(3)至少一个A和至少一个B同时。
此外，本公开中使用的表述“第一”、“第二”等可指示各种组件，而不管组件的顺序和/或重要性，本公开中使用的表述“第一”、“第二”等可被使用以便将一个组件与其他组件区分开，并且不限制相应的组件。
应理解，元件(例如，第一元件)与另一元件(例如，第二元件)“可操作地或通信地耦合”/“可操作地或通信地耦合到”另一元件(例如，第二元件)是指：任何这样的元件可被直接连接到所述另一元件，或者可经由另一元件(例如，第三元件)被连接。另一方面，当元件(例如，第一元件)“被直接连接”或“被直接接入”到另一元件(例如，第二元件)时，可理解为在其它元件之间不存在其它元件(例如，第三元件)。
在本文中，表述“被配置为”可与例如“适合于”、“具有……的能力”、“被设计为”、“被适配为”、“被制成”或“能够”互换使用。表述“被配置为”不一定指的是在硬件意义上“被专门设计为”。相反，在一些情况下，“被配置为……的装置”可指示这样的装置可与另一装置或部件一起执行动作。例如，表述“被配置为执行A、B和C的处理器”可指示执行相应动作的专用处理器(例如，嵌入式处理器)、或可通过运行存储在存储器装置中的一个或更多个软件程序来执行相应动作的通用处理器(例如，中央处理器(CPU)或应用处理器(AP))。
根据各种示例实施例的电子装置可包括以下项中的至少一项：例如但不限于，智能电话、平板个人计算机(PC)、移动电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、医疗装置、相机、可穿戴装置等。可穿戴装置可包括附件类型(例如，手表、戒指、手镯、弯折手镯、项链、一副眼镜、隐形眼镜或头戴式装置(HMD))、织物或服装嵌入类型(例如，电子衣服)、身体附着类型(例如，皮肤垫或纹身)、生物可植入电路等中的至少一种类型。在本公开的一些实施例中，电子装置可包括以下项中的至少一项：例如但不限于，电视、数字视频光盘(DVD)播放器、音箱、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，SamsungHomeSyncTM、AppleTVTM或GoogleTVTM)、游戏控制台(例如，XboxTM、PlayStation TM )、电子词典、电子钥匙、摄像机、电子相框等。
在另一示例实施例中，电子装置可包括以下项中的至少一项：例如但不限于，各种医疗装置(例如，各种便携式医学测量装置(诸如血糖仪、心率仪、血压仪或温度测量装置)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、捕捉装置或超声波装置等)、导航***、全球导航卫星***(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、船舶电子设备(例如，船舶导航装置、回转罗盘等)、航空电子设备、安全装置、汽车头单元、工业或家用机器人、无人机、自动柜员机(ATM)、商店销售点(POS)、物联网(IoT)装置(例如，灯泡、各种传感器、洒水装置、火警警报器、恒温器、路灯、烤箱、锻炼器材、热水罐、加热器、锅炉等)等。
在本公开中，术语用户可指使用电子装置的人或使用电子装置的设备(例如：人工智能(AI)电子装置)。
图1是示出根据实施例的通过电子装置测量用户的心率的示例图。
电子装置100可以是捕捉图像并基于包括在捕捉图像中的用户的面部的图像来测量用户的心率的装置。
电子装置100可以是诸如智能电话、平板个人计算机(PC)、智能电视(TV)、智能手表等的装置，或者是能够测量心率的智能医疗装置。
如图1的(a)中所示，如果图像被捕捉，则电子装置100可将包括在捕捉图像中的用户的面部分组为包含相似颜色的多个像素的多个区域。
根据实施例，当在构成捕捉图像的图像帧中获取用户的面部区域时，电子装置100可基于构成获取的用户面部区域的多个像素的颜色信息和位置信息将用户的面部分组为多个区域。
电子装置100可基于从捕捉图像获取的构成用户的面部区域的多个像素的颜色信息和位置信息，将相邻像素中具有相同颜色的像素分组为一个组。
然而，实施例不限于此，并且电子装置100可基于构成用户的面部区域的多个像素的颜色信息和位置信息，将相邻像素中具有包括在预定颜色范围内的颜色的像素分组为一个组。
电子装置100获取与分组后的多个区域中的每个区域相应的颜色值。电子装置100可基于包括在分组后的多个区域中的每个区域中的像素的颜色信息来获取与多个区域中的每个区域相应的颜色值。
根据实施例，电子装置100可根据包括在分组后的多个区域中的每个区域中的像素的颜色信息计算平均值并可获取计算出的平均值作为与分组后的多个区域中的每个区域相应的颜色值。
然后电子装置100可基于与多个区域中的每个区域相应的颜色值将预定颜色范围中的多个区域分组为同一组。
电子装置100可使用高斯分布将预定颜色范围中的多个区域分组为同一组。
如图1的(b)中所示，电子装置100可基于构成用户的面部的多个区域中的每个区域的颜色信息和位置信息将多个区域中的与A颜色相似的区域分组为第一组，基于构成用户的面部的多个区域中的每个区域的颜色信息和位置信息将与B颜色相似的区域分组为第二组，并且将与C颜色相似的区域分组为第三组。
如图1的(c)中所示，电子装置100可基于分组后的颜色值获取针对分组后的多个区域的脉搏信号。
如上所述，当基于针对分组后的区域中的每个区域的颜色值将多个区域分组为第一组至第三组时，电子装置100可基于包括在第一组中的每个区域的颜色值获取第一脉搏信号，基于包括在第二组中的每个区域的颜色值获取第二脉搏信号，并且基于包括在第三组中的每个区域的颜色值获取第三脉搏信号。
如图1的(d)中所示，电子装置100可通过将针对多个分组区域的脉搏信号输入到人工智能学习模型来获取关于用户的心率的信息。电子装置100可输出获取的关于用户的心率的信息，如图1的(e)中所示。
将更详细地描述通过分析包括在捕捉图像中的用户的面部的区域来提供关于用户的心率的信息的电子装置100的每个配置。
图2是示出根据实施例的提供关于用户的心率的信息的电子装置的框图。
如图2中所示，电子装置100包括捕捉器110、输出器120和处理器130。
捕捉器110使用相机捕捉图像。捕捉图像可以是运动图像或静止图像。
输出器120输出基于包括在通过捕捉器110捕捉的图像中的用户的面部区域获取的关于用户的心率的信息。输出器120可包括如稍后将描述的图3中所示的显示器121和音频输出器122。
因此，输出器120可通过显示器121和音频输出器122中的至少一个输出关于用户的心率的信息。
处理器130以整体方式控制电子装置100的配置的操作。
处理器130将包括在通过捕捉器110捕捉的图像中的用户的面部分组为包括相似颜色的多个像素的多个区域。然后处理器130可将关于分组后的多个区域的信息输入到人工智能学习模型，以获取关于用户的心率的信息。
然后处理器130控制输出器120输出关于获取的用户的心率的信息。因此，输出器120可通过显示器121和音频输出器122中的至少一个输出关于用户的心率的信息。
处理器130可基于构成用户的面部的多个像素的颜色信息和位置信息将用户的面部分组为多个区域，然后获取与分组后的多个区域中的每个区域相应的颜色值。
根据实施例，处理器130可基于构成用户的面部区域的多个像素的颜色信息和位置信息，将相邻像素中具有相同颜色的像素分组为一个组。
实施例不限于此，处理器130可基于构成用户的面部区域的多个像素的颜色信息和位置信息，将相邻像素中具有包括在预定颜色范围内的颜色的像素分组为一个组。
处理器130可根据包括在分组后的多个区域中的每个区域中的多个像素的颜色信息来计算平均值并且可获取计算出的平均值作为与分组后的多个区域中的每个区域相应的颜色值。
处理器130可基于与预定颜色范围中的多个区域中的每个区域相应的颜色值将所述多个区域分组为同一组。
处理器130可使用高斯分布将预定颜色范围中的多个区域分组为同一组。
处理器130可使用被分组为同一组的多个区域的颜色值来获取针对被分组为同一组的多个区域的脉搏信号。
当获取到针对被分组为同一组的多个区域的脉搏信号时，处理器130可将针对被分组为同一组的多个区域的脉搏信号输入到人工智能学习模型，以获取关于用户的心率的信息。
人工智能学习模型可存储在稍后将描述的存储器170中，并且将在下面更详细地描述人工智能模型。
处理器130可使用下述实施例从通过捕捉器110捕捉的图像获取用户的面部区域。
当通过捕捉器110捕捉图像时，处理器130可在构成使用支持向量机(SVM)算法捕捉的图像的多个图像帧内获取用户的面部区域。
处理器130可使用置信图来降低用户的面部边缘的噪声。
根据实施例，处理器130可基于下面的等式1使用置信图来降低用户的面部区域的边缘处的噪声。
等式1
insidemask＝distance_transform
distmax＝log 10.5-log0.5
insidemask＝log(insidemask+0.5)-log0.5
Figure BDA0002611803970000091
resultmask＝insidemask/insidemask
Figure BDA0002611803970000092
Figure BDA0002611803970000093
confidencemap＝[∑skin]×(1-maskw_rate)+(resultmask×maskw_rate)
当通过上述实施例从捕捉图像获取用户的面部区域时，处理器130可通过预定义的特征点算法从先前获取的面部区域去除部分区域，并且可在去除之后将剩余区域分组为包括相似颜色区域的多个像素的多个区域。
根据一个实施例，处理器130可使用预定义的特征点算法检测已经获取的用户的面部区域中的眼部、嘴部、颈部的区域，并且可去除检测到的眼部、嘴部和颈部的区域。
处理器130可根据上述实施例将用户的面部区域中的眼部、嘴部和颈部被去除的剩余区域分组为包括相似颜色的多个像素的多个区域。
根据另一实施例，处理器130可在获取用户的面部区域时检测用户的眼部、嘴部、颈部和前额部的区域，并且可去除检测到的用户的眼部、嘴部、颈部和前额部的区域。
处理器130可将用户的面部中的眼部、嘴部、颈部和前额部被去除后的剩余区域分组为包括相似颜色的多个像素的多个区域。
根据另一实施例，当获取用户的面部区域时，处理器130可检测用户的眼部、嘴部、颈部和前额部的区域，并且可去除检测到的眼部、嘴部、颈部和前额部的区域。
处理器130可将剩余区域中的一些区域的图像中的眼部、嘴部、颈部和前额部被去除的用户的面部的区域分组为包括相同颜色的多个像素的多个区域。
图3是根据实施例的提供关于用户的心率的信息的电子装置的详细框图。
如上所述，除了捕捉器110、输出器120和处理器130的配置之外，电子装置100还可包括输入器140、通信器150、传感器160和存储器170，如图3中所示。
输入器140是用于接收各种用户命令并将命令传送到处理器130的输入装置。输入器140可包括麦克风141、操纵器142、触摸输入器143和用户输入器144。
麦克风141可接收用户的语音命令，并且操纵器142可被实现为包括各种功能键、数字键、特殊键、字符键等的键盘。
当显示器121以触摸屏的形式被实现时，触摸输入器143可被实现为与显示器121形成互层结构的触摸板。在该示例中，触摸输入器143可接收针对通过显示器121显示的各种应用相关图标的选择命令。
用户输入器144可从诸如遥控器的至少一个***装置(未示出)接收用于控制电子装置100的操作的红外(IR)信号或射频(RF)信号。
通信器150与用于发送和接收数据的诸如智能TV、智能电话、平板PC、内容服务器(未示出)和中继终端装置(未示出)的***装置(未示出)执行数据通信。当上述人工智能模型存储在单独的人工智能服务器(未示出)中时，通信器150可将基于包括在捕捉图像中的用户的面部区域获取的脉搏信号发送到人工智能服务器(未示出)，并且可从人工智能服务器(未示出)接收关于基于脉搏信号的用户的心率的信息。
通信器150可包括连接器153，其中，连接器153包括诸如无线LAN模块的无线通信模块152、以及近场通信模块151和诸如高清多媒体接口(HDMI)、通用串行总线(USB)、电气与电子工程师协会(IEEE)1394等的有线通信模块中的至少一个。
近场通信模块151可包括各种近场通信电路，并且可被配置为无线地执行与位于距电子装置100近距离处的***装置的近场通信。近场通信模块131可包括蓝牙模块、红外数据协会(IrDA)模块、近场通信(NFC)模块、WI-FI模块和Zigbee模块中的至少一个。
无线通信模块152是根据诸如IEEE的无线通信协议连接到外部网络以执行通信的模块。无线通信模块还可包括用于根据用于执行通信的各种移动通信规范(诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等)连接到移动通信网络的移动通信模块。
通信器150可被实现为各种近场通信方法，并且必要时可采用本公开中未提及的其他通信技术。
连接器153被配置为提供与各种源设备的接口，诸如USB 2.0、USB 3.0、HDMI、IEEE1394等。连接器153可根据处理器130的控制命令通过连接到连接器153的有线电缆接收从外部服务器(未示出)发送的内容数据，或者将预存储的内容数据发送到外部可记录介质。连接器153可通过物理地连接到连接器153的有线电缆从电源接收电力。
传感器160可包括加速度计传感器、磁性传感器、陀螺仪传感器等，并且使用各种传感器来感测电子装置100的运动。
加速度计传感器是用于测量移动电子装置100的加速度或震动强度的传感器，并且是用于除了电子装置(诸如智能电话和平板PC)之外的各种运输工具(诸如车辆、火车、飞机等)和控制***(诸如机器人)的必要传感器。
磁性传感器是能够使用地球磁场感测方位的电子罗盘，并且可用于位置跟踪、三维(3D)视频游戏、智能电话、无线电、全球定位***(GPS)、个人数字助理(PDA)、导航装置等。
陀螺仪传感器是用于将旋转应用于现有加速度计以识别六轴方向的传感器，用于识别更精细和精确的操作。
如上所述，存储器170可存储人工智能学习模型，以根据从用户的面部区域获取的脉搏信号获取关于用户的心率的信息。
存储器170可存储用于控制电子装置100的操作的操作程序。
如果电子装置100被开启，则操作程序可以是从存储器170读取并且被编译以对电子装置100的每个配置进行操作的程序。存储器170可被实现为对电子装置100可拆卸的只读存储器(ROM)、随机存取存储器(RAM)或存储卡(例如，安全数字(SD)卡、记忆棒)、非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)中的至少一个。
如上所述，输出器120包括显示器121和音频输出器122。
如上所述，显示器121显示通过人工智能学习模型获取的关于用户的心率的信息。显示器121可显示内容，或者可显示稍后将描述的包括用于运行存储在存储器170中的多个应用中的每个应用的图标的运行屏幕或用于控制电子装置100的操作的各种用户界面(UI)屏幕。
显示器121可被实现为液晶显示器(LCD)、有机发光显示器(OLED)等。
显示器121可被实现为与接收触摸命令的触摸输入器143形成互层结构的触摸屏。
如上所述，音频输出器122以音频形式输出通过人工智能学习模型获取的关于用户的心率的信息。音频输出器122可输出包括在用户请求的内容中的音频数据或各种警报声音或语音消息。
如上所述的处理器130可以是控制电子装置100的全部操作或实现对电子装置100的全部操作的控制的处理装置。
处理器130可包括中央处理器(CPU)133、只读存储器ROM 131、随机存取存储器(RAM)132和图形处理单元(GPU)134，并且CPU 133、ROM 131、RAM 132和GPU 134可通过总线135彼此连接。
CPU 133访问存储器170并且使用存储在存储器170中的操作***(OS)执行启动，并且使用存储在存储器170中的各种程序、内容数据等执行各种操作。
GPU 134可生成包括诸如图标、图像、文本等的各种对象的显示屏幕。GPU 134可基于接收到的控制命令根据屏幕的布局计算将由每个对象显示的诸如坐标值、形状、尺寸和颜色的属性值，并且可基于计算出的属性值生成包括对象的各种布局的显示屏幕。
ROM 131存储用于启动***等的一个或更多个指令。当输入开启指令并且供电时，CPU 133根据ROM 131中存储的一个或更多个指令将存储在ROM 131中的OS复制到RAM 134，并且运行OS以启动***。当启动完成时，CPU 133将存储在存储器170中的各种应用程序复制到RAM 132，运行复制到RAM 132的应用程序，并且执行各种操作。
处理器130可与每个配置耦合，并且可被实现为单芯片***(片上***，SOC或SoC)。
在下文中，将详细描述用于根据脉搏信号提供关于用户的心率的信息的人工智能学习模型，其中，脉搏信号基于用于构成用户的面部区域的多个像素中的每个像素的颜色信息和位置信息而被获取。
图4是示出根据实施例的人工智能学习模型的示例图。
参照图4，人工智能学习模型400包括频率分解层410和复数层420。
频率分解层410从输入的脉搏信号获取周期性迭代的周期性属性信息。
复数层420将通过频率分解层410输入的周期性属性信息转换为人工智能学习模型400能够识别的值。
如上所述，频率分解层410接收分组为同一组的多个区域的脉搏信号。当输入分组为同一组的多个区域的脉搏信号时，频率分解层410从针对每个组的脉搏信号获取周期性重复的周期性属性信息。
周期性属性信息可以是复数值。
当通过频率分解层410输入作为复数值的周期性属性信息时，多个层420将该值转换为人工智能学习模型400能够识别的值。这里，人工智能学习模型400中的可识别值可以是实数值。
人工智能学习模型400可使用通过复数层420从针对每个组的脉搏信号获取的与周期性属性信息相关的变换值来获取关于用户的心率的信息。
在下文中，将更详细地描述从通过处理器130捕捉的图像获取用户的面部区域的操作。
图5是根据实施例的处理器从捕捉图像获取用户的面部区域的第一示例图。
如图5的(a)中所示，当输入通过捕捉器110捕捉的图像时，处理器130在通过上述实施例输入的图像内获取用户的面部区域。
处理器130可检测用户的面部区域内的已经使用预定义特征点算法获取的眼睛、嘴、颈和前额的区域。然后处理器130可去除用户的面部区域内的检测到的眼睛、嘴、颈和前额的区域。
如图5的(b)中所示，处理器130可获取已经去除了眼部、嘴部、颈部和前额部的区域的用户的面部区域，并且可在已经去除了眼部、嘴部、颈部和前额部的区域的用户的面部区域内执行分组为包括相似颜色的多个像素的多个区域。
图6是示出根据另一实施例的通过处理器从捕捉图像获取用户的用户的面部区域的第二示例图。
如图6的(a)中所示，当输入通过捕捉器110捕捉的图像时，处理器130可在通过上述实施例输入的图像中获取用户的面部区域。
处理器130可使用预定义的特征点算法在预先获取的用户的面部区域中检测眼部、嘴部、颈部和前额部的区域。然后处理器130从用户的面部区域去除检测到的眼睛、嘴、颈和前额的区域。
如上所述，如果获取了眼部、嘴部、颈部和前额部的区域被去除的用户的面部区域，则处理器130可确定在去除了眼部、嘴部、颈部和前额部的区域的用户的面部区域中将被分组为多个区域的区域。
如图6的(a)中所示，处理器130将用户的面部区域中的眼部、嘴部、颈部和前额部的区域被去除的一些区域确定为将被分组为多个区域的区域。这里，该区域的一部分可以是包括嘴部的区域被去除的下部区域。
因此，如图6的(b)中所示，处理器130可获取眼部、嘴部、颈部和前额部的区域已经被去除的用户的面部区域的下部，并且可执行在获取的下部区域内分组为包括相似颜色的多个像素的多个区域。
在下文中，将更详细地描述通过处理器130更新和使用人工智能学习模型的操作。
图7是根据实施例的用于更新和使用人工智能学习模型的电子装置的处理器的详细框图。
如图7中所示，处理器130可包括学习单元510和获取单元520。
学习单元510可使用学习数据生成或训练用于获取关于用户的心率的信息的人工智能学习模型。
学习数据可包括用户信息、根据基于用户的面部图像获取的脉搏信号的周期性属性信息、以及根据周期性属性信息的关于心率的信息中的至少一个。
具体地，学习单元510可通过使用基于分组在同一组中的区域的颜色值获取的脉搏信号作为包括在捕捉图像中的用户的面部区域中的具有相似颜色分布的输入数据来生成、训练或更新用于获取关于相应用户的心率的信息的人工智能学习模型。
获取单元520可通过使用预定数据作为预学习的人工智能学习模型的输入数据来获取关于用户的心率的信息。
获取单元520可使用基于分组在同一组中的区域的颜色值获取的脉搏信号作为包括在捕捉图像中的用户的面部区域中的具有相似颜色分布的输入数据，来获取(或识别、估计)关于相应用户的心率的信息。
例如，学习单元510和获取单元520中的至少一个可被实现为软件模块或至少一个硬件芯片形式并且被安装在电子装置100中。
例如，学习单元510和获取单元520中的至少一个可以以用于人工智能(AI)的专用硬件芯片、或常规通用处理器(例如，CPU或应用处理器)或仅图形处理器(例如，GPU)的形式被制造并且可被安装在如上所述的各种电子装置上。
在本文中，人工智能专用硬件芯片是用于概率计算的专用处理器，并且人工智能专用硬件芯片具有比现有通用处理器更高的并行处理性能，因此可快速处理人工智能(诸如机器学习)中的计算任务。当学习单元510和获取单元520被实现为软件模块(或包括指令的程序模块)时，软件模块可被存储在计算机可读的非暂时性计算机可读介质中。在这种情况下，软件模块可由操作***(OS)或由预定应用提供。可选地，软件模块中的一些软件模块可由O/S提供，并且软件模块中的一些软件模块可由预定应用提供。
在这种情况下，学习单元510和获取单元520可被安装在一个电子装置100上，或者可分别被安装在单独的电子装置上。例如，学习单元510和获取单元520中的一个可在电子装置100中被实现，并且另一个可在外部服务器(未示出)中被实现。此外，学习单元510和获取单元520可经由有线或无线通信将由学习单元510构建的模型信息提供给获取单元520，并且将被输入到获取单元520的数据提供给学习单元510作为附加数据。
图8是根据实施例的学习单元和获取单元的详细框图。
参照图8的(a)，根据一些实施例的学习单元510可包括学习数据获取单元511和模型学习单元514。学习单元510还可选择性地实现学习数据预处理器512、学习数据选择单元513和模型评估单元515中的至少一个。
学习数据获取单元511可获取人工智能模型所需的学习数据。作为实施例，学习数据获取单元511可获取根据基于用户的面部的图像获取的脉搏信号的周期性属性信息和根据周期性属性信息的关于心率的信息中的至少一个作为学习数据。
学习数据可以是由学习单元510或学习单元510的制造商收集或测试的数据。
模型学习单元514可使用学习数据来训练如何根据基于用户的面部图像获取的脉搏信号来获取周期性属性信息或者根据周期性属性信息来获取关于心率的信息。例如，模型学习单元514可通过使用学习数据的至少一部分作为确定标准的监督学习来训练人工智能模型。
可选地，模型学习单元514可例如在没有特定指导的情况下使用学习数据自身进行学习，以使人工智能模型通过检测用于确定情况的标准的无监督学习来进行学习。
此外，模型学习单元514可使用例如关于根据学习的确定情况的结果是否正确的反馈，通过强化学习来训练人工智能模型。
模型学习单元514还可使用例如包括误差反向传播方法或梯度下降的学习算法来使人工智能模型学习。
模型学习单元514可在存在多个先前构建的人工智能模型时，将输入的学习数据与基本学习数据之间的关联性大的人工智能模型确定为将被学习的人工智能模型。在这种情况下，可根据数据的类型预先对基本学习数据进行分类，并且可针对每种类型的数据预先构建AI模型。
例如，可基于诸如生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的种类、学习数据的创建者、学习数据内的对象的类型等的各种标准预先对基本学习数据进行分类。
当学习人工智能模型时，模型学习单元514可存储学习的人工智能模型。在这种情况下，模型学习单元514可将学习的人工智能模型存储在电子装置100的存储器170中。
可选地，模型学习单元514可将学习的人工智能模型存储在经由有线或无线网络连接到电子装置100的服务器(例如，AI服务器)(未示出)的存储器中。
学习单元510还可实现学习数据预处理器512和学习数据选择单元513，以改善人工智能模型的响应结果或者节省人工智能模型的生成所需的资源或时间。
学习数据预处理器512可对与学习相关联的数据进行预处理，以根据脉搏信号获取关于周期性属性信息和基于周期性属性信息获取用户的心率的信息。
学习数据预处理器512可将获取的数据处理为预定格式，使得模型学习单元514可使用与学习相关的数据来获取基于周期性属性信息的关于用户的心率的信息和针对每个脉搏信号的周期性属性信息。
学习数据选择单元513可从由学习数据获取单元511获取的数据或由学习数据预处理器512预处理的数据选择学习所需的数据。可将选择的学习数据提供给模型学习单元514。学习数据选择单元513可根据预定的选择标准从获取的或预处理的数据选择学习所需的学习数据。学习数据选择单元513还可通过模型学习单元514的学习，根据预定的选择标准选择学习数据。
学习单元510还可实现模型评估单元515以改善人工智能模型的响应结果。
模型评估单元515可将评估数据输入到人工智能模型，并且如果从评估结果输出的响应结果不满足预定标准，则模型评估单元可使模型学习单元514再次学习。在该示例中，评估数据可以是用于评估AI学习模型的预定义数据。
例如，在针对评估数据的学习的人工智能学习模型识别结果中，模型评估单元515可在不正确的评估数据的数量或比率超过预设阈值时评估识别结果不满足预定标准。
当存在多个学习的人工智能学习模型时，模型评估单元515可评估关于每个学习的人工智能学习模型是否满足预定标准，并且将满足预定标准的人工智能学习模型确定为最终人工智能学习模型。在该示例中，当存在多个满足预定标准的人工智能学习模型时，模型评估单元515可将按照高评估分数的顺序预设的任何一个或预定数量的模型确定为最终人工智能学习模型。
参照图8的(b)，根据一些实施例的获取单元520可包括输入数据获取单元521和提供单元524。
此外，获取单元520还可以以选择性方式实现输入数据预处理器522、输入数据选择单元523和模型更新单元525中的至少一个。
输入数据获取单元521可根据基于用户的面部的图像获取的脉搏信号来获取周期性属性信息，并且基于获取的周期性属性信息获取用于获取关于用户的心率的信息所需的数据。提供单元524将由输入数据获取单元521获取的数据应用于AI模型以根据基于用户的面部的图像获取的脉搏信号来获取周期性属性信息，并且可基于获取的周期性属性信息来获取关于用户的心率的信息。
提供单元524可将由输入数据预处理器522或输入数据选择单元523选择的数据应用于人工智能学习模型以获取识别结果。识别结果可通过人工智能学习模型被确定。
作为实施例，提供单元524可从输入数据获取单元521获取的脉搏信号获取(估计)周期性属性信息。
作为另一示例，提供单元524可基于根据由输入数据获取单元521获取的脉搏信号获取的周期性属性信息来获取(或估计)关于用户的心率的信息。
获取单元520还可包括输入数据预处理器522和输入数据选择单元523，以便改善AI模型的识别结果或者节省提供识别结果的资源或时间。
输入数据预处理器522可对获取的数据进行预处理，使得可使用获取的数据用于输入到人工智能学习模型。输入数据预处理器522可以以预定义的格式处理数据，使得提供单元524可使用数据来获取基于周期性属性信息的关于用户的心率的信息和从脉搏信号获取的周期性属性信息。
输入数据选择单元523可从由输入数据获取单元521获取的数据或由输入数据预处理器522预处理的数据选择确定情况所需的数据。选择的数据可被提供给响应结果提供单元524。输入数据选择单元523可根据用于确定情况的预定选择标准来选择获取的或预处理的数据中的一些数据或全部数据。输入数据选择单元523还可通过模型学习单元524的学习，根据预定的选择标准来选择数据。
模型更新单元525可基于由提供单元524提供的响应结果的评估来控制人工智能模型的更新。例如，模型更新单元525可将由提供单元524提供的响应结果提供给模型学习单元524，使得模型学习单元524可请求进一步学习或更新AI模型。
图9是根据实施例的电子装置和外部服务器彼此相关联地学习和确定数据的示例图。
如图9中所示，外部服务器S可基于包括在捕捉图像中的用户的面部区域的颜色信息和位置信息从获取的脉搏信号获取周期性属性信息，并且可基于获取的周期性属性信息学习用于获取关于用户的心率的信息的标准。
电子装置(A)可通过使用基于服务器(S)的学习结果生成的人工智能学习模型从基于用户的面部区域的颜色信息和位置信息获取的脉搏信号获取周期性属性信息，并且可基于获取的周期性属性信息获取关于用户的心率的信息。
服务器S的模型学习单元514可执行图7中所示的学习单元510的功能。服务器S的模型学习单元514可学习用于人工智能学习模型的确定标准(或识别标准)。
电子装置A的提供单元514可将由输入数据选择单元513选择的数据应用于由服务器S生成的人工智能学习模型，以从基于用户的面部区域的颜色信息和位置信息获取的脉搏信号获取周期性属性信息，并基于获取的周期性属性信息获取关于用户的心率的信息。
可选地，电子装置A的提供单元514可从服务器S接收由服务器S生成的人工智能学习模型，使用接收到的人工智能学习模型从基于用户的面部区域的颜色信息和位置信息获取的脉搏信号获取周期属性信息，并基于获取的周期性属性信息获取关于用户的心率的信息。
已经详细描述了将从包括在由电子装置100捕捉的图像中的用户的面部区域获取的数据输入到人工智能学习模型的操作。
在下文中，将详细描述用于通过将从包括在由电子装置100捕捉的图像中的用户的面部区域获取的数据输入到人工智能学习模型来提供关于用户的心率的信息的方法。
图10是根据实施例的用于通过电子装置提供关于用户的心率的信息的方法的流程图。
如图10中所示，在操作S1010，电子装置100可捕捉包括用户的面部的图像，并获取捕捉图像中的用户的面部区域。
在操作S1020，电子装置100可将获取的面部区域分组为包括相似颜色的多个像素的多个区域。然后，在操作S1030，电子装置100可通过将关于分组后的多个区域的信息输入到人工智能学习模型来获取关于用户的心率的信息。
电子装置100输出获取的关于用户的心率的信息。
当捕捉图像时，电子装置100可使用支持向量机(SVM)算法来获取预捕捉图像中的用户的面部区域。
如果获取了面部区域，则电子装置100可从获取的用户的面部区域去除眼部、嘴部和颈部的区域，并且可获取删除了眼部、嘴部和颈部的用户的面部区域。
电子装置100可将去除了眼部、嘴部和颈部的用户的面部区域分组为包括相似颜色的多个像素的多个区域。
根据另外方面，一旦在捕捉图像中获取到用户的面部区域，电子装置100就去除获取的面部区域中的眼部、嘴部、颈部和前额部的区域。然后电子装置100可在已经去除了眼部、嘴部、颈部和前额部的区域的用户的面部区域内将面部区域分组为包括相似颜色的多个像素的多个区域。
一旦在捕捉图像中获取到用户的面部区域，电子装置100就去除获取的面部区域中的眼部、嘴部、颈部和前额部的区域。然后电子装置100在用户的面部区域的一些区域内将眼部、嘴部、颈部和前额部的区域分组为包括相似颜色的多个像素的多个区域。这里，一些区域可包括嘴区域的区域被去除的区域。
图11是根据实施例的用于将用户的面部区域分组为包括相似颜色的多个像素的多个区域的方法的流程图。
如图11中所示，当从捕捉图像获取到用户的面部区域时，在操作S1110，电子装置100基于构成用户的面部区域的多个像素的颜色信息和位置信息将用户的面部区域分组为多个区域。
此后，在操作S1120和S1130，电子装置100可获取与分组后的多个区域中的每个区域相应的颜色值，并且可基于与获取的多个区域中的每个区域相应的颜色值将预定颜色范围内的多个区域分组为同一组。
在操作S1140，电子装置100可使用被分组为同一组的多个区域的颜色值来获取针对被分组为同一组的多个区域的脉搏信号。
通过该实施例，当获取到针对用户的面部区域的脉搏信号时，电子装置100通过将获取的脉搏信号输入到人工智能学习模型来获取关于用户的心率的信息。
当输入脉搏信号时，人工智能学习模型通过频率分解层从预先输入的脉搏信号获取周期性重复的周期性属性信息。此后，人工智能学习模型通过多个层将从频率分解层获取的周期性属性信息转换为人工智能学习模型中能够识别的值。
周期性属性信息可以是复数值，并且人工智能学习模型中能够识别的值可以是实数值。
因此，人工智能学习模型基于通过复数层转换为人工智能学习模型中可识别的值的周期性属性信息来提供关于用户的心率的信息。因此，电子装置100可将通过人工智能学习模型提供的信息输出为关于用户的心率的信息。
此外，如上所述的电子装置100的控制方法可被实现为用于运行如上所述的图像形成设备的控制方法的至少一个运行程序，并且所述运行程序可被存储在非暂时性计算机可读介质中。
非暂时性可读介质是指短时间存储数据的介质(诸如寄存器、高速缓存和存储器)，但半永久地存储数据并且可由装置读取的介质。上述程序可存储在可由终端读取的各种类型的记录介质中，其中，所述各种类型的记录介质包括随机存取存储器(RAM)、闪存、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、存储卡、通用串行总线(USB)存储器、光盘只读存储器(CD-ROM)等。
已经描述了优选实施例。
尽管以上已经示出和描述了本公开的示例，但本公开不限于上述特定示例，而是可由本公开所属领域的技术人员在不偏离如所附权利要求中公开的本公开的范围和精神的情况下进行各种修改。这些修改也应被理解为落入本公开的范围内。

Claims (15)

1.一种电子装置的用于测量心率的方法，所述方法包括：
捕捉包括用户的面部的图像；
将包括在图像中的用户的面部分组为包括相似颜色的多个像素的多个区域；
通过将关于分组后的所述多个区域的信息输入到人工智能学习模型来获取关于用户的心率的信息；并且
输出获取的关于心率的信息。
2.如权利要求1所述的方法，其中，分组的步骤包括：
基于构成用户的面部的所述多个像素的颜色信息和位置信息，将用户的面部分组为多个区域；
获取与分组后的所述多个区域中的每个区域相应的颜色值；
基于与获取的所述多个区域中的每个区域相应的颜色值，将预定颜色范围内的多个区域分组为同一组；并且
使用被分组为同一组的多个区域中的每个区域的颜色值来获取针对被分组为同一组的所述多个区域的脉搏信号。
3.如权利要求2所述的方法，其中，获取关于用户的心率的信息的步骤包括：通过将针对被分组为同一组的所述多个区域的脉搏信号输入到人工智能学习模型来获取关于用户的心率的信息。
4.如权利要求3所述的方法，其中，人工智能学习模型包括：
频率分解层，被配置为从输入的脉搏信号获取周期性迭代的周期性属性信息；以及
复数层，被配置为将通过频率分解层获取的周期性属性信息转换为人工智能学习模型能够识别的值。
5.如权利要求1所述的方法，还包括：
获取捕捉的图像中的用户的面部区域，
其中，获取捕捉的图像中的用户的面部区域的步骤包括：
使用支持向量机SVM算法获取捕捉的图像中的用户的面部区域；并且
从获取的用户的面部区域去除眼部、嘴部和颈部。
6.如权利要求5所述的方法，其中，分组的步骤包括：将眼部、嘴部和颈部的区域被去除的剩余区域的图像分组为包括相似颜色的多个像素的多个区域。
7.如权利要求5所述的方法，其中：
去除的步骤还包括：从用户的面部区域去除前额部的区域，并且
分组的步骤包括：将眼部、嘴部和前额部的区域被去除的剩余区域的图像分组为包括相似颜色的多个像素的多个区域。
8.如权利要求5所述的方法，其中，分组的步骤包括：将眼部、嘴部和前额部被去除的剩余区域中的一些区域的图像分组为包括相似颜色的多个像素的多个区域，并且
其中，所述一些区域包括嘴部的区域被去除的区域。
9.一种电子装置，包括：
捕捉器；
输出器，被配置为输出关于心率的信息；以及
处理器，被配置为：
将包括在由捕捉器捕捉的图像中的用户的面部分组为包括相似颜色的多个像素的多个区域，通过将关于分组后的所述多个区域的信息输入到人工智能学习模型来获取关于用户的心率的信息，并且控制输出器输出获取的关于心率的信息。
10.如权利要求9所述的电子装置，其中，处理器还被配置为：
基于构成用户的面部的所述多个像素的颜色信息和位置信息将用户的面部分组为多个区域，并且获取与分组后的所述多个区域中的每个区域相应的颜色值，
基于与获取的所述多个区域中的每个区域相应的颜色值将预定颜色范围内的多个区域分组为同一组，然后使用被分组为同一组的多个区域中的每个区域的颜色值来获取针对被分组为同一组的所述多个区域的脉搏信号。
11.如权利要求10所述的电子装置，其中，处理器还被配置为：通过将针对被分组为同一组的所述多个区域的脉搏信号输入到人工智能学习模型来获取关于用户的心率的信息。
12.如权利要求11所述的电子装置，其中，人工智能学习模型包括：
频率分解层，被配置为从输入的脉搏信号获取周期性迭代的周期性属性信息；以及
复数层，被配置为将通过频率分解层获取的周期性属性信息转换为人工智能学习模型能够识别的值。
13.如权利要求9所述的电子装置，其中，处理器还被配置为：使用支持向量机SVM算法来获取捕捉的图像中的用户的面部区域，并且从获取的用户的面部区域去除眼部、嘴部和颈部。
14.如权利要求13所述的电子装置，其中，处理器还被配置为：将眼部、嘴部和颈部的区域被去除的剩余区域的图像分组为包括相似颜色的多个像素的多个区域。
15.如权利要求13所述的电子装置，其中，处理器被配置为：从用户的面部区域还去除前额部的区域，并且将眼部、嘴部和前额部的区域被去除的剩余区域的图像分组为包括相似颜色的多个像素的多个区域。
CN201980011150.3A 2018-03-07 2019-03-06 用于测量心率的电子装置和方法 Pending CN111670004A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0027057 2018-03-07
KR1020180027057A KR102487926B1 (ko) 2018-03-07 2018-03-07 심장 박동을 측정하기 위한 전자 장치 및 방법
PCT/KR2019/002589 WO2019172642A1 (ko) 2018-03-07 2019-03-06 심장 박동을 측정하기 위한 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
CN111670004A true CN111670004A (zh) 2020-09-15

Family

ID=67847285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980011150.3A Pending CN111670004A (zh) 2018-03-07 2019-03-06 用于测量心率的电子装置和方法

Country Status (5)

Country Link
US (1) US20210015376A1 (zh)
EP (1) EP3725217A4 (zh)
KR (1) KR102487926B1 (zh)
CN (1) CN111670004A (zh)
WO (1) WO2019172642A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111166313A (zh) * 2019-12-26 2020-05-19 中国电子科技集团公司电子科学研究院 一种心率测量方法、装置及可读存储介质
CN111166290A (zh) * 2020-01-06 2020-05-19 华为技术有限公司 一种健康状态检测方法、设备和计算机存储介质
US20240016424A1 (en) * 2022-07-15 2024-01-18 Samsung Electronics Co., Ltd. Determining Oxygen Levels From Images of Skin
KR102570982B1 (ko) 2023-01-12 2023-08-25 (주) 에버정보기술 비접촉 생체정보 측정 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104010571A (zh) * 2011-12-20 2014-08-27 皇家飞利浦有限公司 用于监测用户的压力感受器反射的方法和装置
CN105431852A (zh) * 2014-03-14 2016-03-23 三星电子株式会社 提供健康状态信息的电子装置及其控制方法，以及计算机可读存储介质
CN106491114A (zh) * 2016-10-25 2017-03-15 Tcl集团股份有限公司 一种心率检测方法及装置
WO2017121834A1 (en) * 2016-01-15 2017-07-20 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
CN107077604A (zh) * 2014-10-20 2017-08-18 微软技术许可有限责任公司 用于心律检测的面部皮肤掩膜生成
US20170238860A1 (en) * 2010-06-07 2017-08-24 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
CN107334469A (zh) * 2017-07-24 2017-11-10 北京理工大学 基于支持向量机的非接触多人心率测量方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660319B2 (en) * 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
TW201315438A (zh) * 2011-10-14 2013-04-16 Ind Tech Res Inst 非接觸式之心脈量測方法及其系統
US20140121540A1 (en) * 2012-05-09 2014-05-01 Aliphcom System and method for monitoring the health of a user
JP6349075B2 (ja) * 2013-11-22 2018-06-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 心拍数測定装置及び心拍数測定方法
KR102176001B1 (ko) * 2014-02-06 2020-11-09 한국전자통신연구원 생체 정보 측정장치 및 측정방법
US9750420B1 (en) * 2014-12-10 2017-09-05 Amazon Technologies, Inc. Facial feature selection for heart rate detection
KR101777472B1 (ko) * 2015-07-01 2017-09-12 순천향대학교 산학협력단 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법
KR101787828B1 (ko) 2015-09-03 2017-10-19 주식회사 제론헬스케어 스킨컬러 필터를 이용한 심박수 측정시스템
CA2958003C (en) * 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
WO2020248789A1 (en) * 2019-06-11 2020-12-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for facial landmark detection using facial component-specific local refinement
US12023133B2 (en) * 2019-11-21 2024-07-02 Gb Soft Co., Ltd. Method of measuring physiological parameter of subject in contactless manner

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170238860A1 (en) * 2010-06-07 2017-08-24 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
CN104010571A (zh) * 2011-12-20 2014-08-27 皇家飞利浦有限公司 用于监测用户的压力感受器反射的方法和装置
CN105431852A (zh) * 2014-03-14 2016-03-23 三星电子株式会社 提供健康状态信息的电子装置及其控制方法，以及计算机可读存储介质
CN107077604A (zh) * 2014-10-20 2017-08-18 微软技术许可有限责任公司 用于心律检测的面部皮肤掩膜生成
WO2017121834A1 (en) * 2016-01-15 2017-07-20 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
CN106491114A (zh) * 2016-10-25 2017-03-15 Tcl集团股份有限公司 一种心率检测方法及装置
CN107334469A (zh) * 2017-07-24 2017-11-10 北京理工大学 基于支持向量机的非接触多人心率测量方法及装置

Also Published As

Publication number Publication date
KR20190109654A (ko) 2019-09-26
WO2019172642A1 (ko) 2019-09-12
KR102487926B1 (ko) 2023-01-13
EP3725217A1 (en) 2020-10-21
EP3725217A4 (en) 2021-02-17
US20210015376A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US12002232B2 (en) Systems and methods for simultaneous localization and mapping
KR20220062338A (ko) 스테레오 카메라들로부터의 손 포즈 추정
CN111670004A (zh) 用于测量心率的电子装置和方法
US11622098B2 (en) Electronic device, and method for displaying three-dimensional image thereof
CN110352446A (zh) 用于获得图像的方法和装置及其记录介质
KR102586014B1 (ko) 전자 장치 및 전자 장치의 제어 방법
CN110121696B (zh) 电子设备及其控制方法
CN112106042A (zh) 电子设备及其控制方法
KR102532230B1 (ko) 전자 장치 및 그 제어 방법
US20210342624A1 (en) System and method for robust image-query understanding based on contextual features
KR102234580B1 (ko) 영상 분석 장치 및 방법
US20230274460A1 (en) Ar data simulation with gaitprint imitation
US20200202576A1 (en) Electronic apparatus and control method thereof
KR20240006669A (ko) 늦은-워핑에서의 동적 오버-렌더링
KR102185934B1 (ko) 회전 대칭성 판단이 가능한 영상 분석 장치 및 방법
US11663738B2 (en) AR data simulation with gaitprint imitation
US20220375026A1 (en) Late warping to minimize latency of moving objects
KR20240008370A (ko) 움직이는 객체들의 레이턴시를 최소화하기 위한 늦은 워핑

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination