CN110309693B - 多层次状态侦测***与方法 - Google Patents

多层次状态侦测***与方法 Download PDF

Info

Publication number
CN110309693B
CN110309693B CN201810306046.4A CN201810306046A CN110309693B CN 110309693 B CN110309693 B CN 110309693B CN 201810306046 A CN201810306046 A CN 201810306046A CN 110309693 B CN110309693 B CN 110309693B
Authority
CN
China
Prior art keywords
state
probability
level
image
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810306046.4A
Other languages
English (en)
Other versions
CN110309693A (zh
Inventor
林昭源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN110309693A publication Critical patent/CN110309693A/zh
Application granted granted Critical
Publication of CN110309693B publication Critical patent/CN110309693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Operations Research (AREA)
  • Social Psychology (AREA)

Abstract

本申请涉及一种多层次状态侦测***与方法，该多层次状态侦测***，包含影像撷取装置，用以撷取侦测对象的影像；位置侦测单元，决定影像当中是否侦测到人；人脸识别单元，通过人脸识别数据库以侦测决定影像当中是否包含有人脸；多层次状态辨识器，接收人脸识别单元的侦测结果，据以决定侦测对象的相应状态及机率；神经网络预测模型数据库，存储已训练的神经网络预测模型，其相关于多个状态类别，如果人脸识别单元未侦测到人脸，则多层次状态辨识器通过神经网络预测模型数据库以辨识得到侦测对象的相应状态；及多层次状态更新器，接收多层次状态辨识器所产生的目前状态与至少一先前状态的机率，据以产生最终状态。

Description

多层次状态侦测***与方法
技术领域
本发明涉及一种监视器，特别涉及一种多层次状态侦测***与方法。
背景技术
婴儿监视器(baby monitor)是一种无线***，用以从远端听到婴儿的声音或/且看到婴儿的影像。例如，使用麦克风置于婴儿附近以接收婴儿的声音，并于远端通过扬声器即时听到所接收的声音。又例如，使用摄影机(video camera)近距拍摄婴儿的影像，将其即时传送至远端的显示器，因此又称为婴儿摄影机(baby cam)。
传统婴儿监视器仅传送未处理的影像或/且声音给父母，因此能够提供的信息极为有限。较先进的婴儿监视器使用穿戴式感测器，例如重力感测器(g-sensor)，但其穿戴会造成婴儿的不舒适。有些婴儿床使用监控式感测器，例如压力感测器(pressure sensor)，然而，这类感测器仅能用以判断婴儿的睡眠品质，并无法真正的侦测出睡眠状态。此外，传统婴儿监视器无法侦测得知一些急迫的状态，例如脸部被覆盖，因此无法借此尽速排除危险情况。
因此亟需提出一种状态侦测机制，用以克服传统婴儿监视器的缺失。
发明内容
鉴于上述，本发明实施例的目的之一在于提出一种多层次状态侦测***与方法，其使用深度(deep)神经网络以进行多层次机器学习(machine learning)，用以侦测被测对象(例如婴儿)的各种状态，且能提供更准确的状态机率。
根据本发明实施例，多层次状态侦测***包含影像撷取装置、位置侦测单元、人脸识别单元、多层次状态辨识器、神经网络预测模型数据库及多层次状态更新器。影像撷取装置用以撷取侦测对象的影像。位置侦测单元决定影像当中是否侦测到人。人脸识别单元通过人脸识别数据库以侦测决定影像当中是否包含有人脸。多层次状态辨识器接收人脸识别单元的侦测结果，据以决定侦测对象的相应状态及机率。神经网络预测模型数据库存储已训练的神经网络预测模型，其相关于多个状态类别，如果人脸识别单元未侦测到人脸，则多层次状态辨识器通过神经网络预测模型数据库以辨识得到侦测对象的相应状态。多层次状态更新器接收多层次状态辨识器所产生的目前状态与至少一先前状态的机率，据以产生最终状态。
附图说明
图1显示本发明实施例的多层次状态侦测***的方框图。
图2显示本发明实施例的多层次状态侦测方法的流程图。
图3显示多层次状态更新器产生最终状态的例子。
图4显示多层次状态更新器产生最终状态的另一例子。
附图标记说明：
100 多层次状态侦测***
10 影像撷取装置
11 影像接口(介面)
12 位置侦测单元
13 人脸识别单元
14 人脸识别数据库
15 多层次状态辨识器
16 神经网络预测模型数据库
17 多层次状态更新器
200 多层次状态侦测方法
20 撷取影像
21 通过影像接口传送影像
22 是否侦测到人
23 侦测人脸
24 是否侦测到人脸
25 眼睛是否张开
26 通过神经网络预测模型数据库以辨识状态
27 状态机率是否超过或等于阈值
28 根据目前与先前状态机率以产生最终状态
α 权重
具体实施方式
图1显示本发明实施例的多层次(multi-level)状态侦测***100的方框图。本实施例可适用以侦测婴儿的睡眠状态，但也可应用于婴儿以外(例如老年人)，或者应用于睡眠以外的状态侦测。图1的方块可使用硬件或/且软件来实施。图2显示本发明实施例的多层次状态侦测方法200的流程图。
在本实施例中，多层次状态侦测***100(以下简称侦测***)可包含影像撷取装置10，用以撷取侦测对象(例如婴儿)的影像(步骤20)。在一例子中，影像撷取装置10可为摄影机(video camera)，用以撷取得到一序列影像，其中至少一部分的影像会进行后续的处理。摄影机可为红绿蓝-红外光(RGB-IR)摄影机，较一般可见光摄影机可撷取得到范围更广的影像，且不受周围光线的影响。在另一例子中，影像撷取装置10可为相机，可依固定时间间隔(或排定时程)撷取影像，每次可撷取得到一张影像以进行后续的处理。
本实施例的侦测***100可包含影像接口11，设于影像撷取装置10与侦测***100的其他元件之间，用以传送影像撷取装置10所撷取的(单张或多张)影像(步骤21)。影像接口11可用以支援影像撷取装置10的各种应用功能，例如选择(selecting)、安装(installing)、配置(configuring)、设定参数(setting parameters)及存取数据，但不限定于此。因此，影像接口11可让影像撷取装置10有效地进行影像的撷取与传送。在本实施例中，影像接口11包含V4L2(Video4Linux version 2)影像接口，其为支援Linus作业***的一种即时影像撷取的驱动程序(device driver)与应用程序接口(applicationprogramming interface(API))。
本实施例的侦测***100可包含位置侦测单元12，其接收影像接口11所传送的影像，并据以决定影像当中是否侦测到人(例如婴儿)(步骤22)及其位置。如果未侦测到人，则表示所要侦测的对象(例如婴儿)不在场；如果侦测到人，则进入步骤23。
在本实施例中，位置侦测单元12使用You Only Look Once(YOLO)物件侦测(object detection)技术，其使用单一神经网络以处理整张影像。相较于传统物件侦测技术于影像的不同区域进行个别训练，YOLO物件侦测技术可加快运算速度。YOLO物件侦测技术的细节可参阅Joseph Redmon等人所发表的“You Only Look Once:Unified,Real-TimeObject Detection”，发表于2016IEEE Conference on Computer Vision and PatternRecognition(CVPR)。
本实施例的侦测***100可包含人脸识别(face recognition)单元13与人脸识别数据库(或函式库)14。其中，人脸识别单元13接收影像接口11所传送的影像，萃取(extract)得到影像当中的人脸特征(facial feature)，并与人脸识别数据库14所存储的人脸特征作比较(步骤23)，以侦测决定影像当中是否包含有人脸。在本实施例中，人脸识别数据库14是使用(但不限定于)多工串接卷积神经网络(multi-task cascadedconvolutional neural network,MTCNN)技术产生的，其对于自然环境中的光线、角度和人脸表情变化较为强健(robust)，因此识别效果优于传统的人脸识别方法，例如开源电脑视觉(Open Source Computer Vision,OpenCV)或dlib。其中，开源电脑视觉(OpenCV)使用基于Haar特征的分类器(Haar feature-based classifiers)，但无法识别侧面/歪斜/光线不足的人脸；dlib虽然改善了开源电脑视觉(OpenCV)的识别效果，但无法实现即时的人脸识别。多工串接卷积神经网络(MTCNN)由于存储量不大，因此可以实现即时的人脸识别。多工串接卷积神经网络(MTCNN)的技术细节可参阅Kaipeng Zhang等人所发表的“Joint FaceDetection and Alignment using Multi-task Cascaded Convolutional Networks”，发表于2016IEEE Signal Processing Letters。
本实施例的侦测***100可包含多层次状态辨识(identification)器15，其接收人脸识别单元13的侦测结果，并对其作进一步的辨识，以决定相应的状态(例如婴儿的睡眠状态)。在一例子中，如果人脸识别单元13侦测得到人脸(步骤24)，则多层次状态辨识器15对所侦测到的人脸进一步辨识其眼睛的闭合或张开(步骤25)，以决定相应状态为睡着或醒着。此外，根据眼睛的闭合或张开程度，多层次状态辨识器15可产生睡着或醒着的机率。
本实施例的侦测***100可包含神经网络预测模型数据库16，其存储已训练的神经网络预测模型，其相关于多个状态类别。在一例子中，神经网络预测模型数据库16的状态类别包含脸部被覆盖及侧趴睡。在本实施例中，如果多层次状态辨识器15自人脸识别单元13所接收的侦测结果是未侦测到人脸(步骤24)，则多层次状态辨识器15会通过神经网络预测模型数据库16以辨识得到影像的相应状态类别(步骤26)，例如脸部被覆盖或侧趴睡。此外，根据影像与神经网络预测模型数据库16的符合程度，多层次状态辨识器15可产生各个状态类别(例如脸部被覆盖及侧趴睡)的机率。如果各个状态类别的机率皆未超过或等于预设阈值(步骤27)，则多层次状态辨识器15可将影像归为未知(undetermined)。本实施例的神经网络预测模型数据库16使用(但不限定于)
Figure BDA0001620999650000051
提出的Inception module来实施。Inception module的技术细节可参阅Christian Szegedy等人所发表的“Going Deeperwith Convolutions”，发表于2015IEEE Conference on Computer Vision and PatternRecognition(CVPR)。
在一例子中，婴儿的状态类别包含脸部被覆盖、侧趴睡、不在场、醒着、睡着，其中脸部被覆盖、侧趴睡来自步骤27，不在场来自步骤22，醒着、睡着来自步骤25。状态机率可表示为阵列形式：
[脸部被覆盖侧趴睡不在场醒着睡着]
其中所有状态的机率值之和为1。
举例而言，如果人脸识别单元13侦测到人脸，且多层次状态辨识器15辨识得到眼睛为张开，则状态的机率阵列可能为[0 0 0 0.7 0.3]。如果多层次状态辨识器15通过神经网络预测模型数据库16而辨识得到状态为脸部被覆盖，则状态的机率阵列可能为[0.6 0.20.2 0 0]。如果人脸识别单元13未侦测到人脸，且各个状态类别的机率皆未超过或等于预设阈值0.6，则多层次状态辨识器15可将影像归为未知。
本实施例的侦测***100可包含多层次状态更新器17，其接收多层次状态辨识器15所产生的目前与先前状态机率，据以产生最终状态(步骤28)。因此，多层次状态更新器17所产生的最终状态，其准确度较多层次状态辨识器15所决定的状态来得高。
在一例子中，多层次状态更新器17对先前状态机率S1与目前状态机率S0，产生加权和(weighted sum)作为最终状态机率，可表示如下：
S1*α+S0*(1-α)
其中α为权重。
将上述推广至多个先前状态机率，产生加权和作为最终状态机率，可表示如下：
Figure BDA0001620999650000061
其中S0为目前状态机率，S1为前一次状态机率，Si为S1之前的(n-1)次状态机率，α为权重。
图3显示多层次状态更新器17产生最终状态的例子。对于一般的状态(例如醒着状态)，由于目前状态为醒着与先前状态为醒着为强连结(亦即，若目前为醒着，则先前很可能也是醒着)，因此分派较大的权重α(例如0.3)给先前的相同状态的状态机率，但分派较小的权重(例如0.2)给先前的相异状态的状态机率。
图4显示多层次状态更新器17产生最终状态的另一例子。对于急迫的状态(例如脸部被覆盖状态)，为了避免漏失掉状态为脸部被覆盖的侦测机会，因此分派较小的权重α(例如0.1)给先前的相同状态的状态机率，但分派较大的权重给先前的相异状态的状态机率。
在一例子中，先前的相异状态对应的权重α可以是不同的。例如，取决于目前状态与每一该先前的相异状态各自的连结强度，越大的连结强度对应至越大的权重α。
以上所述仅为本发明的优选实施例而已，并非用以限定本发明的权利要求；凡其它未脱离发明所公开的精神下所完成的等效改变或修饰，均应包含在下述的权利要求内。

Claims (27)

1.一种多层次状态侦测***，包含：
一影像撷取装置，用以撷取侦测对象的影像；
一位置侦测单元，决定该影像当中是否侦测到人；
一人脸识别单元，通过人脸识别数据库以侦测决定该影像当中是否包含有人脸；
一多层次状态辨识器，接收该人脸识别单元的侦测结果，据以决定侦测对象的相应状态及机率；
一神经网络预测模型数据库，存储已训练的神经网络预测模型，其相关于多个状态类别，如果该人脸识别单元未侦测到人脸，则该多层次状态辨识器通过该神经网络预测模型数据库以辨识得到侦测对象的相应状态；及
一多层次状态更新器，接收该多层次状态辨识器所产生的目前状态与至少一先前状态的机率，据以产生最终状态。
2.根据权利要求1所述的多层次状态侦测***，其中该侦测对象为婴儿。
3.根据权利要求1所述的多层次状态侦测***，其中该影像撷取装置包含红绿蓝-红外光摄影机。
4.根据权利要求1所述的多层次状态侦测***，还包含一影像接口，用以传送该影像撷取装置所撷取的影像。
5.根据权利要求1所述的多层次状态侦测***，其中该位置侦测单元使用You OnlyLook Once物件侦测技术以侦测人。
6.根据权利要求1所述的多层次状态侦测***，其中该人脸识别数据库是使用多工串接卷积神经网络技术产生的。
7.根据权利要求1所述的多层次状态侦测***，其中如果该人脸识别单元侦测到人脸，则该多层次状态辨识器对所侦测到的人脸辨识其眼睛的闭合或张开，以决定相应状态为睡着或醒着。
8.根据权利要求1所述的多层次状态侦测***，其中该神经网络预测模型数据库的状态类别包含脸部被覆盖及侧趴睡。
9.根据权利要求1所述的多层次状态侦测***，其中如果所有状态的机率皆未超过或等于预设阈值，则该多层次状态辨识器将该影像归为未知。
10.根据权利要求1所述的多层次状态侦测***，其中该神经网络预测模型数据库是使用
Figure FDA0001620999640000021
提出的Inception module技术产生的。
11.根据权利要求1所述的多层次状态侦测***，其中该多层次状态更新器对先前状态的机率S1与目前状态的机率S0，产生加权和作为最终状态机率，表示如下：
S1*α+S0*(1-α)
其中α为权重。
12.根据权利要求11所述的多层次状态侦测***，其中对于急迫的状态，分派较小的权重给先前的相同状态的机率，但分派较大的权重给先前的相异状态的机率。
13.根据权利要求11所述的多层次状态侦测***，其中该多层次状态更新器分派不同的权重给先前的相异状态的机率，其中该目前状态与每一该先前的相异状态的连结强度越大，则对应越大的权重。
14.根据权利要求1所述的多层次状态侦测***，其中该多层次状态更新器对多个先前状态的机率与目前状态的机率，产生加权和作为最终状态机率，表示如下：
Figure FDA0001620999640000022
其中S0为目前状态机率，S1为前一次状态机率，Si为S1之前的(n-1)次状态机率，α为权重。
15.一种多层次状态侦测方法，包含：
(a)撷取侦测对象的影像；
(b)决定该影像当中是否侦测到人；
(c)通过人脸识别数据库以侦测决定该影像当中是否包含有人脸；
(d)根据步骤(c)的侦测结果，据以决定侦测对象的相应状态及机率；
(e)提供一神经网络预测模型数据库，存储已训练的神经网络预测模型，其相关于多个状态类别，如果步骤(c)未侦测到人脸，则通过该神经网络预测模型数据库以辨识得到侦测对象的相应状态；及
(f)根据目前状态与至少一先前状态的机率，据以产生最终状态。
16.根据权利要求15所述的多层次状态侦测方法，其中该侦测对象为婴儿。
17.根据权利要求15所述的多层次状态侦测方法，还包含一步骤：通过影像接口以传送步骤(a)所撷取的影像。
18.根据权利要求15所述的多层次状态侦测方法，其中该步骤(b)使用You Only LookOnce物件侦测技术以侦测人。
19.根据权利要求15所述的多层次状态侦测方法，其中该人脸识别数据库是使用多工串接卷积神经网络技术产生的。
20.根据权利要求15所述的多层次状态侦测方法，其中如果步骤(c)侦测到人脸，则对所侦测到的人脸辨识其眼睛的闭合或张开，以决定相应状态为睡着或醒着。
21.根据权利要求15所述的多层次状态侦测方法，其中该神经网络预测模型数据库的状态类别包含脸部被覆盖及侧趴睡。
22.根据权利要求15所述的多层次状态侦测方法，其中如果所有状态的机率皆未超过或等于预设阈值，则将该影像归为未知。
23.根据权利要求15所述的多层次状态侦测方法，其中该神经网络预测模型数据库是使用
Figure FDA0001620999640000031
提出的Inception module技术产生的。
24.根据权利要求15所述的多层次状态侦测方法，其中该步骤(f)对先前状态的机率S1与目前状态的机率S0，产生加权和作为最终状态机率，表示如下：
S1*α+S0*(1-α)
其中α为权重。
25.根据权利要求24所述的多层次状态侦测方法，其中对于急迫的状态，分派较小的权重给先前的相同状态的机率，但分派较大的权重给先前的相异状态的机率。
26.根据权利要求24所述的多层次状态侦测方法，其中该步骤(f)分派不同的权重给先前的相异状态的机率，其中该目前状态与每一该先前的相异状态的连结强度越大，则对应越大的权重。
27.根据权利要求15所述的多层次状态侦测方法，其中该步骤(f)对多个先前状态的机率与目前状态的机率，产生加权和作为最终状态机率，表示如下：
Figure FDA0001620999640000041
其中S0为目前状态机率，S1为前一次状态机率，Si为S1之前的(n-1)次状态机率，α为权重。
CN201810306046.4A 2018-03-27 2018-04-08 多层次状态侦测***与方法 Active CN110309693B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107110400 2018-03-27
TW107110400A TWI666941B (zh) 2018-03-27 2018-03-27 多層次狀態偵測系統與方法

Publications (2)

Publication Number Publication Date
CN110309693A CN110309693A (zh) 2019-10-08
CN110309693B true CN110309693B (zh) 2021-06-11

Family

ID=68049721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810306046.4A Active CN110309693B (zh) 2018-03-27 2018-04-08 多层次状态侦测***与方法

Country Status (3)

Country Link
US (1) US10621424B2 (zh)
CN (1) CN110309693B (zh)
TW (1) TWI666941B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
JP6705044B2 (ja) * 2018-07-31 2020-06-03 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
TWI737300B (zh) * 2020-05-15 2021-08-21 國立陽明交通大學 深度神經網路壓縮的方法
US20230125629A1 (en) * 2021-10-26 2023-04-27 Avaya Management L.P. Usage and health-triggered machine response

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101564302A (zh) * 2009-05-25 2009-10-28 重庆科技学院 基于多源信息融合的婴儿睡眠躁动监测方法及检测***
TW201118802A (en) * 2009-11-18 2011-06-01 Ind Tech Res Inst Multi-state target tracking mehtod and system
TW201137795A (en) * 2010-04-21 2011-11-01 Hon Hai Prec Ind Co Ltd System and method for detecting baby sleeping
CN102789672A (zh) * 2012-07-03 2012-11-21 北京大学深圳研究生院 一种婴儿睡姿智能识别方法及装置
EP2570772A1 (en) * 2011-09-16 2013-03-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for localisation and mapping of pedestrians or robots using wireless access points

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750578B2 (en) * 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
CN101876815B (zh) 2009-04-28 2012-09-19 深圳富泰宏精密工业有限公司 婴儿睡眠监控***及方法
US10372855B2 (en) * 2014-02-28 2019-08-06 Mentor Graphics Corporation Scan cell selection for partial scan designs
CN107209864B (zh) 2015-01-27 2018-03-30 北京市商汤科技开发有限公司 人脸识别方法和装置
WO2016205246A1 (en) 2015-06-15 2016-12-22 Knit Health, Inc. Remote biometric monitoring system
CN105574215B (zh) 2016-03-04 2019-11-12 哈尔滨工业大学深圳研究生院 一种基于多层特征表示的实例级图像搜索方法
DE112017007252T5 (de) * 2017-03-14 2019-12-19 Omron Corporation Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren
US11042729B2 (en) * 2017-05-01 2021-06-22 Google Llc Classifying facial expressions using eye-tracking cameras
CN107330387B (zh) 2017-06-21 2021-04-23 哈尔滨工业大学深圳研究生院 基于图像数据的行人检测方法
US10565846B2 (en) * 2017-10-27 2020-02-18 Benjamin Lui Systems and methods for a machine learning baby monitor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101564302A (zh) * 2009-05-25 2009-10-28 重庆科技学院 基于多源信息融合的婴儿睡眠躁动监测方法及检测***
TW201118802A (en) * 2009-11-18 2011-06-01 Ind Tech Res Inst Multi-state target tracking mehtod and system
TW201137795A (en) * 2010-04-21 2011-11-01 Hon Hai Prec Ind Co Ltd System and method for detecting baby sleeping
EP2570772A1 (en) * 2011-09-16 2013-03-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for localisation and mapping of pedestrians or robots using wireless access points
CN102789672A (zh) * 2012-07-03 2012-11-21 北京大学深圳研究生院 一种婴儿睡姿智能识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Power System Real-Time Monitoring by Using PMU-Based Robust State Estimation Method;Junbo Zhao等;《IEEE》;20150525;第300-309页 *
You Only Look Once: Unified, Real-Time Object Detection;Joseph Redmon等;《IEEE》;20161212;第779-788页 *
机器人定位中稳健的自适应粒子滤波算法;蒋正伟等;《清华大学学报（自然科学版）》;20050731;第920-923页 *

Also Published As

Publication number Publication date
TW201943263A (zh) 2019-11-01
TWI666941B (zh) 2019-07-21
US10621424B2 (en) 2020-04-14
US20190303656A1 (en) 2019-10-03
CN110309693A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110291489B (zh) 计算上高效的人类标识智能助理计算机
CN110309693B (zh) 多层次状态侦测***与方法
US11418893B2 (en) Selective modification of background noises
CN108470169A (zh) 人脸识别***及方法
US20220232321A1 (en) Systems and methods for retroactive processing and transmission of words
US11659144B1 (en) Security video data processing systems and methods
US10733857B1 (en) Automatic alteration of the storage duration of a video
US11580727B2 (en) Systems and methods for matching audio and image information
WO2021240903A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11418757B1 (en) Controlled-environment facility video communications monitoring system
US20240184868A1 (en) Reference image enrollment and evolution for security systems
US20210297770A1 (en) Cancelling noise in an open ear system
CN116994390A (zh) 基于物联网的安防监控***及其方法
US20220284915A1 (en) Separation of signals based on direction of arrival
CN108810474A (zh) 一种网络摄像头监控方法及***
CN109986553B (zh) 一种主动交互的机器人、***、方法及存储装置
EP3907652A1 (en) Method for adapting the quality and/or frame rate of a live video stream based upon pose
US11032762B1 (en) Saving power by spoofing a device
JP2005199373A (ja) コミュニケーション装置及びコミュニケーション方法
CN110148234A (zh) 校园刷脸接送交互方法、存储介质及***
US11493959B2 (en) Wearable apparatus and methods for providing transcription and/or summary
KR20110137469A (ko) 얼굴 검출을 이용한 지능형 영상출입장치 및 그 출입제어방법
US20210390957A1 (en) Systems and methods for processing audio and video
US20210352207A1 (en) Method for adapting the quality and/or frame rate of a live video stream based upon pose
TW202303444A (zh) 影像式情緒辨識系統和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant