TWI676136B - 使用雙重分析之影像偵測方法以及影像偵測裝置 - Google Patents

使用雙重分析之影像偵測方法以及影像偵測裝置 Download PDF

Info

Publication number
TWI676136B
TWI676136B TW107130638A TW107130638A TWI676136B TW I676136 B TWI676136 B TW I676136B TW 107130638 A TW107130638 A TW 107130638A TW 107130638 A TW107130638 A TW 107130638A TW I676136 B TWI676136 B TW I676136B
Authority
TW
Taiwan
Prior art keywords
user
face
position information
sleeping position
image detection
Prior art date
Application number
TW107130638A
Other languages
English (en)
Other versions
TW202011262A (zh
Inventor
曾志新
Chih Hsin Tseng
許學法
Hsueh Far Hsu
單康寧
Kang Ning Shan
林欣誼
Hsin Yi Lin
吳柏宗
Bo Zong Wu
沈時宇
Shih Yun Shen
Original Assignee
雲云科技股份有限公司
Yun Yun Ai Baby Camera Co., Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 雲云科技股份有限公司, Yun Yun Ai Baby Camera Co., Ltd filed Critical 雲云科技股份有限公司
Priority to TW107130638A priority Critical patent/TWI676136B/zh
Priority to CN201910749814.8A priority patent/CN110874561A/zh
Priority to US16/557,524 priority patent/US11087157B2/en
Application granted granted Critical
Publication of TWI676136B publication Critical patent/TWI676136B/zh
Publication of TW202011262A publication Critical patent/TW202011262A/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一種使用雙重分析之影像偵測方法，包括：取得關於一使用者之複數個影像；在上述影像中標記複數個特徵參數；評估上述特徵參數在每一影像之偵測結果；依據上述特徵參數之至少一第一特徵參數之偵測結果，對上述影像進行一身體分布分析，以判斷關於使用者之一第一姿勢資訊；依據上述特徵參數之至少一第二特徵參數之偵測結果以及第一姿勢資訊，對上述影像進行一蓋臉遮蔽分析，以判斷關於使用者之一第二姿勢資訊。第二特徵參數係不同於第一特徵參數，並且第二姿勢資訊係代表使用者之姿勢。

Description

使用雙重分析之影像偵測方法以及影像偵測裝置
本發明係關於一種影像偵測方法以及影像偵測裝置，特別係關於一種使用雙重分析以提昇判斷準確度的影像偵測方法以及影像偵測裝置。
許多偵測技術可應用於判斷使用者的生理參數與身體姿勢，以達成監測與照護嬰兒、孩童、病患或老人的目的。對於使用者而言，雖然可藉由偵測臉部特徵來判斷使用者的睡姿，但臉部特徵是相當不穩定的。正臉的特徵較多所以偵測率較高，側臉的偵測率就下降許多。
雖然可藉由佩戴手環等智慧型穿戴裝置以取得使用者的生理資訊，但是可能會面臨電力不足的問題。此外，配戴智慧型穿戴裝置可能會讓使用者覺得不舒服或不方便。因此，需要一種能夠提升辨識度以及偵測效率的影像偵測方法以及影像偵測裝置。
為了解決上述問題，本發明提出一種使用雙重分析方法的影像偵測方法以及影像偵測裝置。本發明係取得該使用者影像之複數個特徵參數，進行身體分布分析以及蓋臉遮蔽 分析以判斷該使用者之姿勢。藉由本發明所提供之全方位的影像偵測方法，採用人工智能的神經網路架構，協同執行身體分布以及蓋臉遮蔽之雙重分析，能精確地辨別使用者的姿勢，達成照護的目的。
本發明之一實施例提供了一種用以判斷使用者之姿勢之影像偵測方法，包括：取得關於一使用者之複數個影像；依據該等影像判斷該使用者是否移動；取得該等影像之複數個特徵參數；以及依據該等特徵參數，對該等影像進行一身體分布分析以及一蓋臉遮蔽分析，判斷關於該使用者之一姿勢。
詳細而言，本發明之影像偵測方法更包括：在使用者之影像中區分為複數個區域基礎；分別計算該等特徵參數在上述每一個區域基礎之偵測結果；以及依據該等偵測結果，判斷該使用者之該姿勢。當判斷使用者之姿勢為側睡或趴睡時、並且判斷之信心值低於一預設信心值時，則參考蓋臉遮蔽分析之偵測結果進一步判斷或修正使用者之姿勢。
本發明之另一實施例提供了一種用以判斷使用者之姿勢之影像偵測方法，包括：取得關於一使用者之複數個影像；在該等影像之中標記複數個特徵參數；評估該等特徵參數在每一該等影像之偵測結果；依據該等特徵參數之至少一第一特徵參數之該偵測結果，對該等影像進行一身體分布分析，以判斷關於該使用者之一第一姿勢資訊；依據該等特徵參數之至少一第二特徵參數之該偵測結果以及該第一姿勢資訊，對該等影像進行一蓋臉遮蔽分析，以判斷關於該使用者之一第二姿勢資訊，其中該第二特徵參數係不同於該第一特徵參數，該第二 姿勢資訊係代表該使用者之該姿勢。
本發明之另一實施例提供了一種用以判斷使用者之姿勢之影像偵測方法，包括：取得關於一使用者之複數個影像；取得該等影像之複數個特徵參數；依據該等特徵參數，對該等影像進行一蓋臉遮蔽分析，以判斷該等影像是否清楚顯示該使用者之臉部；決定複數個特徵向量，依據該等特徵向量對該等影像進行一身體分布分析，以判斷該使用者之一身體姿勢與一姿勢類型；以及依據該蓋臉遮蔽分析以及該身體分布分析之結果，選擇關於該姿勢類型之該影像。
本發明之另一實施例提供了一種用以判斷使用者之姿勢之影像偵測裝置，包括一感測器、一通知裝置以及一處理器。感測器取得關於一使用者之複數個影像。處理器依據該等影像判斷該使用者是否移動，並且取得該等影像之複數個特徵參數。處理器依據該等特徵參數，對該等影像進行一身體分布分析以及一蓋臉遮蔽分析，以判斷關於使用者之姿勢。
本發明之另一實施例提供了一種用以判斷使用者之姿勢之影像偵測裝置，包括一感測器以及一處理器。處理器包括資料標記模組以及特徵分析模組。特徵分析模組包括身體分布分析模組以及蓋臉遮蔽分析模組。感測器取得關於一使用者之複數個影像。資料標記模組在該等影像之中標記複數個特徵參數。特徵分析模組計算該等特徵參數在每一該等影像之偵測結果。身體分布分析模組依據該等特徵參數之至少一第一特徵參數之該偵測結果，對該等影像進行一身體分布分析，以判斷關於該使用者之一第一姿勢資訊。蓋臉遮蔽分析模組依據該 等特徵參數之至少一第二特徵參數之該偵測結果以及該第一姿勢資訊，對該等影像進行一蓋臉遮蔽分析，判斷關於該使用者之一第二姿勢資訊以代表該使用者之該姿勢。
本發明之另一實施例提供了一種用以判斷使用者之姿勢之影像偵測裝置，包括一感測器以及一處理器。處理器包括資料標記模組、身體分布分析模組以及蓋臉遮蔽分析模組。感測器取得關於一使用者之複數個影像。資料標記模組取得該等影像之複數個特徵參數。蓋臉遮蔽分析模組依據該等特徵參數對該等影像進行一蓋臉遮蔽分析以判斷該等影像是否清楚顯示使用者之臉部。身體分布分析模組決定複數個特徵向量、並且依據該等特徵向量對該等影像進行一身體分布分析以判斷使用者之身體姿勢與姿勢類型。處理器依據蓋臉遮蔽分析以及身體分布分析之結果選擇關於某一姿勢類型之代表性影像。
關於本發明其他附加的特徵與優點，此領域之熟習技術人士，在不脫離本發明之精神和範圍內，當可根據本案實施方法中所揭露之影像偵測方法以及影像偵測裝置。
10、10A、10B‧‧‧影像偵測裝置
100‧‧‧資料儲存裝置
200‧‧‧處理器
202‧‧‧資料標記模組
204‧‧‧特徵分析模組
206‧‧‧身體分布分析模組
208‧‧‧蓋臉遮蔽分析模組
300‧‧‧顯示器
400、400A、400B‧‧‧通訊裝置
500‧‧‧感測器
600‧‧‧通知裝置
700‧‧‧收音裝置
A1、A2...A5‧‧‧角度
D1、D2...D5、FB‧‧‧距離
LB‧‧‧標籤
PIC‧‧‧影像
PF、PE、PN、PM‧‧‧特徵參數
RB1、RB2...RB5‧‧‧區域基礎
S200...S1018‧‧‧步驟
根據以下的詳細說明並配合所附圖式做完整揭露。應注意的是，根據本產業的一般作業，圖示並未必按照比例繪製。事實上，可能任意的放大或縮小元件的尺寸，以做清楚的說明。
第1A圖係顯示根據本發明一實施例所述之影像偵測裝置之示意圖； 第1B圖係顯示根據本發明另一實施例所述之影像偵測裝置之示意圖；第1C圖係顯示根據本發明另一實施例所述之處理器與通知裝置之示意圖；第2圖係顯示根據本發明一實施例所述之影像偵測方法之流程圖；第3圖係顯示根據本發明一實施例所述之複數個區域基礎之示意圖；第4A與4B圖係顯示根據本發明一實施例所述之標記特徵參數之示意圖；第5圖係顯示根據本發明一實施例所述之從使用者影像取得特徵參數之示意圖；第6A與6B圖係顯示根據本發明一實施例所述之特徵向量之示意圖；第7圖係顯示根據本發明一實施例所述之判斷影像風險之流程圖；第8圖係顯示根據本發明一實施例所述之身體分布分析與蓋臉遮蔽分析之流程圖；第9A~9E圖係顯示根據本發明一實施例所述之協同身體分布分析與蓋臉遮蔽分析判斷使用者姿勢之流程圖；第10圖係顯示根據本發明一實施例所述之利用影像偵測方法決定姿勢類型之代表性影像之流程圖。
以下的揭露內容提供許多不同的實施例或範例以 實施本案的不同特徵。以下的揭露內容敘述各個構件及其排列方式的特定範例，以簡化說明。當然，這些特定的範例並非用以限定。例如，若是本揭露書敘述了一第一特徵形成於一第二特徵之上或上方，即表示其可能包含上述第一特徵與上述第二特徵是直接接觸的實施例，亦可能包含了有附加特徵形成於上述第一特徵與上述第二特徵之間，而使上述第一特徵與第二特徵可能未直接接觸的實施例。另外，以下揭露書不同範例可能重複使用相同的參考符號及/或標記。這些重複係為了簡化與清晰的目的，並非用以限定所討論的不同實施例及/或結構之間有特定的關係。
第1A圖係顯示根據本發明一實施例所述之影像偵測裝置之示意圖。影像偵測裝置10包括資料儲存裝置100、處理器200、顯示器300、通訊裝置400、感測器500、通知裝置600以及收音裝置700。影像偵測裝置10可以為一獨立的電子裝置，或是內建於手機、平板電腦、筆記型電腦、遊戲裝置、電子書或是PDA等移動電子裝置，或是桌上型電腦、伺服器等電子裝置，或是任何搭載有觸控模組(例如觸控積體電路)的電子裝置。資料儲存裝置100可包括儲存單元可包括隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read Only Memory,ROM)、快閃記憶體(Flash)、硬碟、軟碟、磁性記憶體、光學碟片(Compact Disc,CD)、數位多功能影音光碟(Digital Video Disk,DVD)等。
此外，影像偵測裝置10之處理器200係耦接資料儲存裝置100，用以存取資料儲存裝置100之資料。處理器200 可包含數位訊號處理器(digital signal processing,DSP)、微處理器(microcontroller,MCU)、一單一中央處理單元(central-processing unit,CPU)或者是關連於平行運算環境(parallel processing environment)之複數平行處理單元，用以執行作業系統、模組以及應用程式。顯示器300係用以顯示資料儲存裝置100之資料。顯示器300，舉例來說，可為投影式顯示器、立體成像顯示器、有機發光二極體顯示器、電子紙、系統整合型面板、發光二極體顯示器液晶螢幕、或是觸控顯示面板，例如電阻式觸控面板、電容式觸控面板、光學式觸控面板或電磁式觸控面板。收音裝置700為麥克風等用以接收使用者之聲音之裝置。
通訊裝置400係支援無線通訊協定以進行與另一電子裝置之資料傳輸。舉例而言，無線通訊之協定可包括GSM、GPRS、EDGE、UMTS、W-CDMA、CDMA2000、TD-CDMA、Bluetooth、NFC、WiFi、Wi-Fi Direct、WiMAX、LTE、LTE-A或TD-LTE等。感測器500係用以將接收光訊號，將光訊號轉換為像素等電訊號，並且將電訊號傳送至處理器200以進行運算。舉例而言，感測器500可包括有源像素傳感器(APS)、CMOS圖像傳感器、感光耦合元件(CCD)、紅外線感測元件、光感電晶體、或各種光學鏡頭等。因此，即使是在光線昏暗或是黑暗的環境中，也能藉由感測器500偵測到使用者的影像。通知裝置600係用以當處理器200判斷使用者為趴睡等危險姿勢時，發出聲音或光線以將使用者之危險姿勢通知其他人，進而達成照護使用者的目的。舉例而言，通知裝置600可包括警報器、 蜂鳴器、警示燈、閃光器、或聲光喇叭等。在另一實施例中，通知裝置600係透過無線傳輸之方式，藉由通訊裝置400傳送或推播一警示訊息至使用者之家人所持有之電子裝置。舉例而言，上述警示訊息可為一文字簡訊或者語音訊息。此外，使用者家人所持有之電子裝置亦可預先安裝軟體應用程式(app)，用以接收上述警示訊息、以及接收使用者之影像。
第1B圖係顯示根據本發明另一實施例所述之影像偵測裝置10之示意圖。在此實施例中，影像偵測裝置10採用分離式設計，亦即影像偵測裝置10係由兩個影像偵測裝置10A以及10B所構成。兩個影像偵測裝置10A以及10B係藉由有線或無線的方式加以連接與溝通。影像偵測裝置10A包括處理器200、收音裝置700、感測器500以及通訊裝置400A，影像偵測裝置10B包括資料儲存裝置100、處理器200、顯示器300、通訊裝置400B以及通知裝置600。通知裝置600亦可配置於影像偵測裝置10A，本發明並不加以限制。
詳細而言，影像偵測裝置10A係安裝於使用者所處之環境中(例如臥室)，而影像偵測裝置10B則為主機。舉例來說，影像偵測裝置10B可為影像偵測裝置10之製造商之伺服器、大型主機或是雲端主機。影像偵測裝置10A之感測器500所感測到的影像，係藉由通訊裝置400A、400B傳送至影像偵測裝置10B以進行分析。
在一實施例中，感測器500係用以取得關於一使用者之複數個影像。處理器200依據上述影像判斷使用者是否移動，並且取得上述影像之複數個特徵參數。詳細而言，處理 器200計算上述影像之每一者所包含之像素，並且對相鄰的兩個影像進行相減以得到一像素差，然後依據像素差判斷使用者是否移動。如果像素差大於一預設像素值，則處理器200判斷使用者有移動；如果像素差小於或等於預設像素值，則處理器200判斷使用者並未移動。
然後，處理器200依據複數個特徵參數，對上述影像進行一身體分布分析以及一蓋臉遮蔽分析，以判斷使用者之姿勢。舉例而言，特徵參數係包括使用者之軀幹、臉部、頭部、雙眼、鼻子、嘴巴、雙耳、手部、腳部、以及臉部之中心與頭部之中心之間的距離。蓋臉遮蔽分析係以使用者之雙眼、鼻子、嘴巴作為特徵參數，判斷使用者是否發生蓋臉遮蔽之狀況。此外，身體分布分析則是用以判斷使用者之姿勢為仰睡、側睡、趴睡或其他睡姿等。
第1C圖係顯示根據本發明另一實施例所述之處理器200與通知裝置600之示意圖。處理器200係包括資料標記模組202以及特徵分析模組204。資料標記模組202係在感測器500所拍攝的影像中標記複數個特徵參數。特徵分析模組204則用以計算和分析特徵參數在每一影像之偵測結果。舉例而言，特徵分析模組204判斷使用者之鼻子是否被遮蔽、或是計算使用者的臉部之中心與頭部之中心之間的距離等。
此外，特徵分析模組204包括身體分布分析模組206以及蓋臉遮蔽分析模組208，用以分別執行身體分布分析以及蓋臉遮蔽分析。身體分布分析以及蓋臉遮蔽分析所使用的特徵參數可能是不相同的。在一實施例中，處理器200先使用 身體分布分析模組206對使用者的特徵參數進行分析，再使用蓋臉遮蔽分析模組208對使用者的特徵參數進行分析，以準確判斷使用者的姿勢以及遮蔽狀況。
如果上述分析的信心值(confidence level)低於一預設信心值，則表示此分析的可信度不足，處理器200將不採用此身體分布分析之結果。此時，處理器200會使用蓋臉遮蔽分析模組208以判斷出使用者之姿勢。如果上述分析的信心值高於或等於預設信心值，則表示此分析的可信度是足夠的，處理器200將採用此身體分布分析之結果並結合蓋臉遮蔽分析進行輔助判斷。因此，藉由身體分布以及蓋臉遮蔽之雙重分析，可以提升判斷使用者姿勢之準確度。
換言之，身體分布分析模組206依據特徵參數之偵測結果而執行身體分布分析，初步判斷使用者之姿勢(亦即第一姿勢資訊)。然後，蓋臉遮蔽分析模組208依據特徵參數之偵測結果以及上述第一姿勢資訊，對影像進行蓋臉遮蔽分析以獲得使用者之第二姿勢資訊。要注意的是，上述第二姿勢資訊可能不同於第一姿勢資訊，並且第二姿勢資訊係代表使用者之姿勢的最終判斷結果。
第2圖係顯示根據本發明一實施例所述之影像偵測方法之流程圖。在步驟S200中，處理器200啟動影像偵測裝置10並且設定待測區域(Region Of Interest，ROI)。在一實施例中，影像偵測裝置10係用以判斷使用者的睡姿，因此待測區域ROI為該使用者所躺臥之床鋪。上述待測區域ROI可由影像偵測裝置10預先設定、或是由使用者依據自身環境來 自行設定。當設定完成後，在步驟S201，感測器500開始進行拍攝，以取得關於使用者之複數個影像。舉例而言，感測器500每秒鐘拍攝10~30張影像，以記錄與偵測使用者在待測區域ROI中的姿勢。上述感測器500每秒鐘拍攝的影像數量僅作為例示之用，而非用以限制本發明。詳細而言，感測器500可依據使用者環境以及使用者需求調整每秒鐘拍攝的影像數量。例如，當使用者需要提升判斷的準確率，則可增加感測器500每秒鐘拍攝的影像數量。
在步驟S202中，處理器200判斷是否取得第一個影像。詳細而言，處理器200將第一個影像定義為基準影像，作為判斷使用者姿勢的比對基準。在步驟S203中，處理器200決定關於使用者之複數個特徵參數。然後，在步驟S204，處理器200判斷是否取得該使用者於上述待測區域中之複數個影像。詳細而言，當感測器500取得基準影像之外的其他影像時，處理器200對其他影像與上述基準影像進行相減以得到差異部分，判斷使用者是否移動。
然後，在步驟S206，處理器200將每一上述影像區分為複數個區域基礎(region base)。在步驟S208，處理器200對上述影像進行身體分布分析以及蓋臉遮蔽分析，分別計算上述特徵參數在每一區域基礎之偵測結果。最後，在步驟S210，處理器200依據上述偵測結果，判斷使用者之姿勢。
第3圖係顯示根據本發明一實施例所述之複數個區域基礎之示意圖。處理器200之特徵分析模組204將使用者之影像之中區分為複數個區域基礎RB1~RB4。如第3圖所示， 區域基礎RB1為使用者之身體、區域基礎RB2為使用者之頭部、區域基礎RB3為使用者之臉部、區域基礎RB4為使用者之手部。
然後，特徵分析模組204分析特徵參數在每一個區域基礎RB1~RB4之偵測結果。特徵參數係包括使用者之軀幹、臉部、頭部、雙眼、鼻子、嘴巴、雙耳、手部、腳部、以及該臉部之中心與該頭部之中心之間的距離。因此，特徵分析模組204可偵測與判斷上述特徵參數是否出現在區域基礎RB1~RB4之中。
詳細而言，特徵分析模組204包括身體分布分析模組206以及蓋臉遮蔽分析模組208。舉例而言，身體分布分析模組206屬於人體特徵提取模型，是一種以區域基礎為主的卷積神經網路架構(CNN，Convolutional Neural Network)，用以對每個區域基礎進行物體特徵之辨識。為了降低數據運算量以及提升速度，本發明採用區域生成網路(RPN)與特徵提取網路共享特徵的方式，同時切分區域基礎以及提取特徵參數。再者，上述人體特徵提取模型亦可使用深度殘差網路(ResNet)作為特徵提取網路，以降低記憶體的使用量以及提升特徵提取的效率。
第4A與4B圖係顯示根據本發明一實施例所述之標記特徵參數之示意圖。在一實施例中，處理器200之資料標記模組202會從感測器500所採集到的影像資料中，標記出臉部或五官等特徵參數。然後，特徵分析模組204再依據資料標記模組202所標記之特徵參數，判斷使用者之姿勢以及是否發 生蓋臉遮蔽之情況。
首先，以手動的方式使用標籤(label)在影像中標記臉部或五官等特徵參數。透過神經網路的學習、訓練與評估，資料標記模組202就可自動化地以人工智慧的方式在影像中標記出特徵參數。在標記完成之後，將相對應的腳本自動建立在訓練資料庫(database)與評估資料庫。
如第4A與4B圖所示，使用者影像包括兩個區域基礎RB1與RB2，分別代表使用者之臉部以及頭部。其中，臉部的中心點為X1，頭部的中心點為X2。然後，資料標記模組202標示出眼睛、鼻子、嘴巴等標籤LB。特徵分析模組204依據上述標籤LB提取各種特徵參數，例如使用者之軀幹、臉部、頭部、雙眼、鼻子、嘴巴、雙耳、手部、腳部、以及臉部之中心與頭部之中心之間的距離FD等。如果臉部之中心與頭部之中心之間的距離FD較小，則表示使用者為正臉(亦即臉部朝上)；如果臉部之中心與頭部之中心之間的距離FD較大，則表示使用者為側臉。
第5圖係顯示根據本發明一實施例所述之從使用者影像取得特徵參數之示意圖。本案所述之特徵分析模組204包括身體分布分析模組206以及蓋臉遮蔽分析模組208。其中，蓋臉遮蔽分析模組208可為遮蔽判斷模型，包含兩階段的神經網路。第一階段神經網路的包括三個輕量的移動網路(MobileNet)，分別對使用者的眼睛、鼻子和嘴巴等進行訓練，以準確判斷出使用者的眼睛、鼻子和嘴巴的位置作為三個特徵參數。
然後，第二階段的神經網路為全連結之網路，接收第一階段神經網路所提取的特徵參數，並且執行有無遮蔽之評估與訓練。
此外，本案所述之身體分布分析模組206以及蓋臉遮蔽分析模組208可利用Tensorflow應用框架或其他深度學習應用框架為基礎開發，並且使用圖形處理器(GPU)來達成加速運算的效果。如第5圖所示，利用本案所述之特徵分析模組204，可以針對不同的影像PIC提取出臉部之特徵參數PF、眼睛之特徵參數PE、鼻子之特徵參數PN、以及嘴巴之特徵參數PM。然後，蓋臉遮蔽分析模組208再針對上述每個特徵參數判斷是否發生遮蔽。
在另一實施例中，處理器200可依據特徵參數判斷上述影像是否清楚顯示使用者之臉部、並且決定複數個特徵向量以判斷使用者之身體姿勢與姿勢類型。然後，處理器200依據上述判斷結果選擇關於某一姿勢類型之代表性影像。然後，通訊裝置400將上述代表性影像傳送至使用者之家人、親屬或朋友。
舉例而言，特徵向量包括使用者之聲音、使用者之臉部與手部之角度、臉部與手部之距離、臉部與腳部之角度、以及臉部與腳部之距離。上述使用者之聲音為收音裝置700所接收之使用者的笑聲以及哭聲。因此，處理器200可依據使用者的聲音來判斷使用者之狀態與情緒，並結合身體分布分析與蓋臉遮蔽分析以判斷使用者之身體姿勢與姿勢類型。第6A與6B圖係顯示根據本發明一實施例所述之特徵向量之示意圖。 如第6A圖所示，影像中包括4個特徵向量，分別是臉部與右手之間的角度A1、臉部與左手之間的角度A2、臉部與右腳之間的角度A3、以及臉部與左腳之間的角度A4。其中，角度A1約為297度、角度A2約為123度、角度A3約為343度、角度A4約為4度。
除了角度之外，亦可使用距離作為特徵向量，然後區別出多種使用者的不同姿勢類型。如第6B圖所示，影像中包括5個特徵向量，分別是臉部與右手之間的距離D1、臉部與左手之間的距離D2、臉部與右腳之間的距離D3、臉部與左腳之間的距離D4、以及臉部與頭部之間的距離D5。其中，距離D1約為358pts(畫素)、距離D2約為99pts、距離D3約為250pts、距離D4約為500pts、距離D5約為45pts。
在一實施例中，處理器200設定一預設數量之姿勢類型。首先，處理器200判斷影像清楚是否顯示使用者之臉部時。如果是，則依據上述特徵向量並結合身體分布分析與蓋臉遮蔽分析之結果，判斷影像所屬之姿勢類型。然後，在每一種姿勢類型中，選取臉部之中心與頭部之中心之間的該距離為最小者，作為該姿勢類型之代表性影像。此外，處理器200係週期性地選取每一姿勢類型之代表性影像，例如每日選取一張代表性影像、或者每天早晚各選取一張代表性影像。
第7圖係顯示根據本發明一實施例所述之判斷影像風險之流程圖。在步驟S700中，感測器500取得關於使用者之複數個影像。在步驟S702，處理器200計算每一影像所包含之像素，對兩影像進行相減以得到一像素差。在步驟S704， 處理器200判斷上述像素差是否大於預設像素值。如果像素差大於預設像素值，則執行步驟S706，處理器200判斷使用者之姿勢為高風險。如果像素差小於或等於預設像素值，則執行步驟S708，處理器200判斷使用者之鼻子是否被遮蔽。
如果使用者之鼻子沒有被遮蔽，則執行步驟S710，處理器200判斷使用者之姿勢為低風險。然後在步驟S712中，感測器500以第一頻率取得關於使用者之影像、或是以第一頻率與特徵分析模組204連線以判斷使用者之姿勢。如果使用者之鼻子被遮蔽，則執行步驟S706，處理器200判斷使用者之姿勢為高風險。接著，在步驟S714中，感測器500以第二頻率取得關於使用者之影像、或是以第二頻率與特徵分析模組204連線以判斷使用者之姿勢。上述第二頻率係高於第一頻率，因此在高風險時，本案之影像偵測裝置10會以較高頻率來擷取影像以及判斷使用者之姿勢，及早準確偵測使用者之姿勢以預防危險。
第8圖係顯示根據本發明一實施例所述之身體分布分析與蓋臉遮蔽分析之流程圖。執行兩種不同的身體分布分析與蓋臉遮蔽分析，可以有效提升判斷使用者姿勢的準確率。在步驟S800中，感測器500取得關於使用者之複數個影像。在步驟S802，資料標記模組202在上述影像中標記複數個特徵參數。在步驟S804，處理器200計算與評估上述特徵參數在每一上述影像之偵測結果。
接著，在步驟S806，處理器200依據上述特徵參數之至少一第一特徵參數之偵測結果，對上述影像進行身體分 布分析以判斷使用者之第一姿勢資訊。要注意的是，為了提升判斷的準確度，處理器200可進行蓋臉遮蔽分析以協助判斷使用者之姿勢。在步驟S808中，處理器200依據上述特徵參數之至少一第二特徵參數之偵測結果以及第一姿勢資訊，對上述影像進行蓋臉遮蔽分析以判斷使用者之第二姿勢資訊。由於第二姿勢資訊是對於第一姿勢資訊的修正，因此可用來判斷使用者的實際姿勢。
第9A~9E圖係進一步介紹根據本發明一實施例所述之協同身體分布分析與蓋臉遮蔽分析判斷使用者姿勢之流程圖。在步驟S900，感測器500取得關於使用者之複數個影像。在步驟S902，處理器200決定上述影像之複數個第一特徵參數與第二特徵參數以判斷使用者之姿勢。依據所選擇之第一特徵參數的不同，接下來可執行步驟S904、步驟S918、步驟S942、或是步驟S954，以下將分別描述之。
在步驟S904中，處理器200將第一特徵參數設定為使用者的臉部之中心與頭部之中心之間的距離。在步驟S906，處理器200上述距離是否小於一預設距離值。舉例而言，上述預設距離值為60pts。如果上述距離小於預設距離值，則執行步驟S908，處理器200判斷使用者為仰睡。如果上述距離大於或等於預設距離值，則執行步驟S910，處理器200判斷使用者為側睡。
接著在步驟S912，處理器200將第二特徵參數設定為雙眼。在步驟S914，處理器200判斷是否同時偵測到雙眼。如果同時偵測到雙眼，則執行步驟S916，處理器200判 斷使用者為仰睡。如果沒有同時偵測到雙眼，則執行步驟S910，處理器200判斷使用者為側睡。
在另一實施例中，如步驟S918所示，處理器200將第一特徵參數設定為臉部、頭部、以及雙耳。在步驟S920，處理器200判斷是否偵測到頭部與雙耳、並且沒有偵測到臉部。如果是，則執行步驟S922；如果否，則執行步驟S924。
在步驟S922，處理器200判斷使用者為部分趴睡。接著在步驟S930，處理器200將第二特徵參數設定為雙眼。在步驟S932，處理器200判斷是否同時偵測到雙眼。如果同時偵測到雙眼，則執行步驟S934，處理器200判斷使用者為仰睡。如果沒有同時偵測到雙眼，則執行步驟S922，處理器200判斷使用者為部分趴睡。
此外，在步驟S924，處理器200判斷是否偵測到頭部、並且沒有偵測到臉部以及雙耳。如果否，則執行步驟S928，處理器200判斷使用者為其他姿勢。如果是，則執行步驟S926，處理器200判斷使用者為完全趴睡。然後，執行步驟S936，處理器200將第二特徵參數設定為雙眼。在步驟S938，處理器200判斷是否偵測到雙眼中的其中一眼。如果是，則執行步驟S940，處理器200判斷使用者為側睡。如果否，則執行步驟S926，處理器200判斷使用者為完全趴睡。
在另一實施例中，如步驟S942所示，處理器200將第一特徵參數設定為鼻子、雙眼以及嘴巴。在步驟S944，處理器200判斷是否未偵測到鼻子。如果是，則執行步驟S946，處理器200判斷使用者為危險遮蓋。此時，處理器200透過通 知裝置600發送警示信息以通知使用者之家人、親屬、或照護者。如果否，則執行步驟S948。
在步驟S948，處理器200判斷是否偵測到鼻子、雙眼與嘴巴。如果偵測到鼻子、雙眼與嘴巴，則執行步驟S950，處理器200判斷使用者為無遮蓋。再者，如果沒有偵測到鼻子、雙眼與嘴巴，則執行步驟S952，處理器200判斷使用者為其他姿勢。
在另一實施例中，如步驟S954所示，處理器200將第一特徵參數設定為軀幹、頭部以及臉部。在步驟S956，處理器200判斷是否偵測到軀幹並且未偵測到頭部與臉部。如果是，則執行步驟S958，處理器200判斷使用者為頭部遮蓋。如果否，則執行步驟S960。
在步驟S960，處理器200判斷是否未偵測到軀幹、頭部與臉部。如果未偵測到軀幹、頭部與臉部，則執行步驟S962，處理器200判斷使用者為全身遮蓋或無使用者。如果偵測到軀幹、頭部與臉部，則執行步驟S964，處理器200判斷使用者為其他姿勢。
第10圖係顯示根據本發明一實施例所述之利用影像偵測方法決定姿勢類型之代表性影像之流程圖。在步驟S1002，影像偵測裝置10取得關於一使用者之複數個影像以及複數個特徵參數。在步驟S1004，處理器200設定一預設數量之複數個姿勢類型。在步驟S1006，處理器200依據特徵參數對上述影像進行一蓋臉遮蔽分析。
然後，在步驟S1008，處理器200決定複數個特徵 向量、依據上述特徵向量對上述影像進行身體分布分析，以判斷使用者之身體姿勢與姿勢類型。在步驟S1010，處理器200決定依據蓋臉遮蔽分析以及身體分布分析之結果，選擇關於該姿勢類型之影像。在步驟S1012，處理器200上述影像是否清楚顯示該使用者之臉部。
如果沒有清楚顯示該使用者之臉部，則回到步驟S1010，處理器200選擇關於該姿勢類型之另一個影像。如果清楚顯示該使用者之臉部，則執行步驟S1014，處理器200計算上述影像中的臉部之中心與頭部之中心之間的距離。然後在步驟S1016，處理器200選取臉部之中心與頭部之中心之間的距離為最小者，作為該姿勢類型之一代表性影像。在步驟S1018，處理器200傳送上述代表性影像。
在本說明書以及申請專利範圍中的序數，例如「第一」、「第二」、「第三」等等，彼此之間並沒有順序上的先後關係，其僅用於標示區分兩個具有相同名字之不同元件。本發明說明書中「耦接」一詞係泛指各種直接或間接之電性連接方式。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何熟習此項技藝者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (12)

  1. 一種使用雙重分析之影像偵測方法，該影像偵測方法包括：取得關於一使用者之複數個影像；在該等影像之中標記複數個特徵參數；評估該等特徵參數在每一該等影像之偵測結果；依據該等特徵參數之至少一第一特徵參數之該偵測結果，對該等影像進行一身體分布分析，以判斷關於該使用者之一第一睡姿資訊；依據該等特徵參數之至少一第二特徵參數之該偵測結果以及該第一睡姿資訊，對該等影像進行一蓋臉遮蔽分析，以判斷關於該使用者之一第二睡姿資訊，其中該第二特徵參數係不同於該第一特徵參數，該第二睡姿資訊係代表該使用者之睡姿，其中，該至少一第二特徵參數包括該使用者之雙眼、鼻子及嘴巴，且該蓋臉遮蔽分析係判斷該使用者之臉部是否發生遮蔽之狀況。
  2. 如申請專利範圍第1項所述之影像偵測方法，其中：該至少一特徵參數係包括該使用者之軀幹、該臉部、頭部、該雙眼、該鼻子、該嘴巴、雙耳、手部、腳部、以及該臉部之中心與該頭部之中心之間的距離。
  3. 如申請專利範圍第2項所述之影像偵測方法，更包括：將該第一特徵參數設定為該臉部之中心與該頭部之中心之間的該距離，其中：當該臉部之中心與該頭部之中心之間的該距離小於一預設距離值時，則判斷該第一睡姿資訊為仰睡；以及當該臉部之中心與該頭部之中心之間的該距離等於或大於該預設距離值時，則判斷該第一睡姿資訊為側睡。
  4. 如申請專利範圍第3項所述之影像偵測方法，更包括：當判斷該第一睡姿資訊為側睡時，將該第二特徵參數設定為該雙眼，其中：當偵測到該雙眼時，則判斷該第二睡姿資訊為仰睡。
  5. 如申請專利範圍第2項所述之影像偵測方法，更包括：將該第一特徵參數設定為該臉部、該頭部、以及該雙耳，其中：當偵測到該頭部與該雙耳、並且沒有偵測到該臉部時，則判斷該第一睡姿資訊為部分趴睡；以及當偵測到該頭部、並且沒有偵測到該臉部以及該雙耳時，則判斷該第一睡姿資訊為完全趴睡。
  6. 如申請專利範圍第5項所述之影像偵測方法，更包括：當判斷該第一睡姿資訊為部分趴睡時，將該第二特徵參數設定為該雙眼，其中：當偵測到該雙眼時，則判斷該第二睡姿資訊為仰睡。
  7. 如申請專利範圍第5項所述之影像偵測方法，更包括：當判斷該第一睡姿資訊為完全趴睡時，將該第二特徵參數設定為該雙眼，其中：當偵測到該雙眼時，則判斷該第二睡姿資訊為仰睡；以及當偵測到該雙眼中的其中一眼時，則判斷該第二睡姿資訊為側睡。
  8. 如申請專利範圍第2項所述之影像偵測方法，更包括：將該第一特徵參數設定為該鼻子、該雙眼以及該嘴巴，其中：當沒有偵測到該鼻子、或是沒有偵測到該雙眼與該鼻子、或是沒有偵測到該嘴巴與該鼻子時，則判斷該第一睡姿資訊為危險遮蓋。
  9. 如申請專利範圍第2項所述之影像偵測方法，更包括：將該第一特徵參數設定為該鼻子、該雙眼以及該嘴巴，其中：當偵測到該鼻子、該雙眼與該嘴巴時，則判斷該第一睡姿資訊為無遮蓋。
  10. 如申請專利範圍第2項所述之影像偵測方法，更包括：將該第一特徵參數設定為該軀幹、該頭部以及該臉部，其中：當偵測到該軀幹、並且沒有偵測到該頭部與該臉部時，則判斷該第一睡姿資訊為頭部遮蓋。
  11. 如申請專利範圍第2項所述之影像偵測方法，更包括：將該第一特徵參數設定為該軀幹、該頭部以及該臉部，其中：當沒有偵測到該軀幹、該頭部與該臉部時，則判斷該第一睡姿資訊為全身遮蓋或無使用者。
  12. 一種使用雙重分析之影像偵測裝置，包括：一感測器，用以取得關於一使用者之複數個影像；一資料標記模組，用以在該等影像之中標記複數個特徵參數；以及一特徵分析模組，用以計算該等特徵參數在每一該等影像之偵測結果，其中，該特徵分析模組包括：一身體分布分析模組，依據該等特徵參數之至少一第一特徵參數之該偵測結果，對該等影像進行一身體分布分析，以判斷關於該使用者之一第一睡姿資訊；以及一蓋臉遮蔽分析模組，依據該等特徵參數之至少一第二特徵參數之該偵測結果以及該第一睡姿資訊，對該等影像進行一蓋臉遮蔽分析，以判斷關於該使用者之一第二睡姿資訊，其中該第二特徵參數係不同於該第一特徵參數，該第二睡姿資訊係用以代表該使用者之睡姿，其中，該至少一第二特徵參數包括該使用者之雙眼、鼻子及嘴巴，且該蓋臉遮蔽分析係判斷該使用者之臉部是否發生遮蔽之狀況。
TW107130638A 2018-08-31 2018-08-31 使用雙重分析之影像偵測方法以及影像偵測裝置 TWI676136B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107130638A TWI676136B (zh) 2018-08-31 2018-08-31 使用雙重分析之影像偵測方法以及影像偵測裝置
CN201910749814.8A CN110874561A (zh) 2018-08-31 2019-08-14 使用双重分析的影像检测方法以及影像检测装置
US16/557,524 US11087157B2 (en) 2018-08-31 2019-08-30 Image detection method and image detection device utilizing dual analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107130638A TWI676136B (zh) 2018-08-31 2018-08-31 使用雙重分析之影像偵測方法以及影像偵測裝置

Publications (2)

Publication Number Publication Date
TWI676136B true TWI676136B (zh) 2019-11-01
TW202011262A TW202011262A (zh) 2020-03-16

Family

ID=69188794

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107130638A TWI676136B (zh) 2018-08-31 2018-08-31 使用雙重分析之影像偵測方法以及影像偵測裝置

Country Status (3)

Country Link
US (1) US11087157B2 (zh)
CN (1) CN110874561A (zh)
TW (1) TWI676136B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI263944B (en) * 2004-06-16 2006-10-11 Chien-Shu Lee Naked body image detection method
TWI415032B (zh) * 2009-10-30 2013-11-11 Univ Nat Chiao Tung Object tracking method

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2921936B2 (ja) 1990-07-13 1999-07-19 株式会社東芝 画像監視装置
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8675059B2 (en) 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
US20070163051A1 (en) 2006-01-19 2007-07-19 Mariann Straub Infant wedge sleep positioner
JP4862447B2 (ja) * 2006-03-23 2012-01-25 沖電気工業株式会社 顔認識システム
JP5127583B2 (ja) 2008-06-20 2013-01-23 株式会社豊田中央研究所 対象物判定装置及びプログラム
DK2543027T3 (en) 2009-12-31 2016-10-24 Nightbalance B V Sleep position monitoring system
RU2013158143A (ru) 2011-05-30 2015-07-10 Конинклейке Филипс Н.В. Способ и устройство определения положения тела во время сна
EP2704052A1 (en) 2012-08-28 2014-03-05 Solink Corporation Transaction verification system
KR101561827B1 (ko) 2013-02-21 2015-10-20 주식회사 팬택 단말 화면 상의 객체 처리 장치 및 방법
GB201305812D0 (en) 2013-03-28 2013-05-15 Univ Warwick Gesture tracking and classification
CN104123530A (zh) * 2013-04-27 2014-10-29 西门子(深圳)磁共振有限公司 受检对象姿势检测设备、方法和磁共振成像***
US20160192876A1 (en) * 2015-01-02 2016-07-07 Hello Inc. Room monitoring device and sleep analysis
US10058272B2 (en) * 2013-12-13 2018-08-28 Koninklijke Philips N.V. Sleep monitoring system and method
TWM480134U (zh) 2013-12-26 2014-06-11 Hwa Hsia Inst Of Technology 基於影像辨識的監控裝置
CN106133796B (zh) 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和***
CN204190864U (zh) 2014-09-03 2015-03-04 深圳奇沃智联科技有限公司 具看护功能的自动监视***
JP6630999B2 (ja) 2014-10-15 2020-01-15 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
KR101956071B1 (ko) 2015-01-13 2019-03-08 삼성전자주식회사 사용자 인증 방법 및 장치
CN105046246B (zh) * 2015-08-31 2018-10-09 广州市幸福网络技术有限公司 可进行人像姿势拍摄提示的证照相机及人像姿势检测方法
JP6548998B2 (ja) * 2015-09-07 2019-07-24 株式会社東芝 人物検索システムおよび人物検索方法
US10235467B2 (en) * 2015-12-11 2019-03-19 Samsung Electronics Co., Ltd. Providing search results based on an estimated age of a current user of a mobile computing device
TWI593390B (zh) 2016-05-05 2017-08-01 國立中央大學 用於睡眠呼吸中止診療之床具組
TWM529907U (zh) * 2016-05-06 2016-10-01 Linpo Optoelectronics Corp 嬰幼兒安全監控裝置及設備
CN109313806A (zh) 2016-06-22 2019-02-05 索尼公司 图像处理装置、图像处理***、图像处理方法和程序
US10447972B2 (en) * 2016-07-28 2019-10-15 Chigru Innovations (OPC) Private Limited Infant monitoring system
TWM537277U (zh) 2016-09-26 2017-02-21 Hungkuang Univ 嬰兒照護資訊系統
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
US10796178B2 (en) 2016-12-15 2020-10-06 Beijing Kuangshi Technology Co., Ltd. Method and device for face liveness detection
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
EP3588363A4 (en) 2017-03-09 2020-05-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. DEPTH-BASED CONTROL METHOD, DEPTH-BASED CONTROL DEVICE AND ELECTRONIC DEVICE
KR102324468B1 (ko) 2017-03-28 2021-11-10 삼성전자주식회사 얼굴 인증을 위한 장치 및 방법
CN108664782B (zh) 2017-03-28 2023-09-12 三星电子株式会社 面部验证方法和设备
KR102299847B1 (ko) 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
TWI637354B (zh) * 2017-10-23 2018-10-01 緯創資通股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
US10540545B2 (en) * 2017-11-22 2020-01-21 Intel Corporation Age classification of humans based on image depth and human pose
CN107909065B (zh) 2017-12-29 2020-06-16 百度在线网络技术（北京）有限公司 用于检测人脸遮挡的方法及装置
US11048921B2 (en) * 2018-05-09 2021-06-29 Nviso Sa Image processing system for extracting a behavioral profile from images of an individual specific to an event
TWM566889U (zh) 2018-06-25 2018-09-11 雲云科技股份有限公司 Monitoring equipment
TWI680440B (zh) 2018-08-31 2019-12-21 雲云科技股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
US11163981B2 (en) 2018-09-11 2021-11-02 Apple Inc. Periocular facial recognition switching

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI263944B (en) * 2004-06-16 2006-10-11 Chien-Shu Lee Naked body image detection method
TWI415032B (zh) * 2009-10-30 2013-11-11 Univ Nat Chiao Tung Object tracking method

Also Published As

Publication number Publication date
US20200074199A1 (en) 2020-03-05
CN110874561A (zh) 2020-03-10
TW202011262A (zh) 2020-03-16
US11087157B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
TWI680440B (zh) 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
Vallabh et al. Fall detection monitoring systems: a comprehensive review
KR102420100B1 (ko) 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US20210049353A1 (en) Ai-based physical function assessment system
US10685220B2 (en) Image detection method and image detection device for determining posture of a user
CN102301316A (zh) 用户界面装置以及输入方法
US10699107B2 (en) Image detection method and image detection device for determining posture of a user
WO2017098265A1 (en) Method and apparatus for monitoring
TWM537277U (zh) 嬰兒照護資訊系統
KR101479271B1 (ko) 신생아 정보 전송 시스템 및 방법
TWI541769B (zh) 跌倒偵測系統及方法
TWI676136B (zh) 使用雙重分析之影像偵測方法以及影像偵測裝置
TWI702570B (zh) 選取使用者之代表性影像之影像偵測方法以及影像偵測裝置
TWI384383B (zh) 視線察覺裝置及其方法
JP5482080B2 (ja) 手認識装置
KR102150623B1 (ko) 아기 행동 분석 시스템 및 그 방법
Hung et al. The estimation of heights and occupied areas of humans from two orthogonal views for fall detection
US20220392252A1 (en) Facial Skin Detection Method and Apparatus
CN113380383A (zh) 一种医疗监护方法、装置和终端
CN115641603A (zh) 一种孩子趴睡的检测装置和检测方法
Cheung et al. Low cost intelligent computer vision based assistive technology for elderly people
Obaid et al. Automatic food-intake monitoring system for persons living with Alzheimer’s-vision-based embedded system
CN110427155B (zh) 一种看护方法及装置
US20230169790A1 (en) Eyeball locating method, image processing device, and image processing system
US20230397843A1 (en) Informative display for non-contact patient monitoring