TWI684433B - 生物影像處理方法以及生理資訊檢測裝置 - Google Patents
生物影像處理方法以及生理資訊檢測裝置 Download PDFInfo
- Publication number
- TWI684433B TWI684433B TW108113890A TW108113890A TWI684433B TW I684433 B TWI684433 B TW I684433B TW 108113890 A TW108113890 A TW 108113890A TW 108113890 A TW108113890 A TW 108113890A TW I684433 B TWI684433 B TW I684433B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- data
- time
- sample
- frequency
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 137
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000002787 reinforcement Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 abstract description 12
- 238000010801 machine learning Methods 0.000 abstract 1
- 210000003491 skin Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000033764 rhythmic process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 210000004088 microvessel Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 230000001121 heart beat frequency Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Cardiology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Fuzzy Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
Abstract
一種生物影像處理方法，其自影像資料中取得第一時頻資料；利用濾波模組將第一時頻資料處理為第二時頻資料；以及將第二時頻資料轉換為時域號。濾波模組是透過機械學習以第一樣品時頻訊號為輸入；以第二樣品時頻訊號為輸出訓練而得，其中第二樣品時頻訊號對應的時域訊號的雜訊較第一樣品時頻訊號對應的時域訊號的雜訊低。一種生理資訊檢測裝置亦被提出。
Description
本發明提供一種資料處理方法以及檢測裝置；特別是有關於一種生物散射影像處理方法以及透過影像檢測生理資訊的檢測裝置。
隨著具有攝像功能的電子裝置例如桌上型電腦、筆記型電腦、平板電腦、智慧型手機的普及，提供各種不同功能的應用程式也不斷在進步，其中生物資訊的檢測就是其中一項重要的應用功能。
藉由擷取一生物體的動態影像，上述電子裝置可以針對生物體的影像在動態影像中的變化頻率來計算出各種生理資訊。生理資訊包括心律、呼吸、血氧等等都可以自動態影像中取得。然而，在動態影像擷取的過程中，人體的晃動以及環境的光影變換等都會影響動態影像的品質，進而在擷取生理資訊的過程中產生雜訊。因此，如何有效的降低自動態影像中取得的生理資訊的雜訊，是目前需要解決的問題之一。
本發明提供的影像處理方法可以提昇帶有生物訊號的影像資料中，對應至上述生物訊號之影像的訊雜比。
本發明所提出的影像處理方法可以應用至家庭照護系統以及車載駕駛員監控系統，降低影像中生物信息的訊雜比，藉以提供準確的生理狀況監控。
本發明的生物影像處理方法包括：取得包括生物散射影像的影像資料；在影像資料中決定觀察區域，至少部分生物散射影像位於觀察區域中；根據觀察區域中的生物散射影像隨時間的變化取得至少一第一散射變化資料；以第一散射變化資料為輸入，頻域轉換並取得第一時頻資料(Time-Frequency Data)；以濾波模組處理第一時頻資料，取得一第二時頻資料；對第二時頻資料作逆頻域轉換並取得第二散射變化資料。濾波模組是透過機械學習，以第一樣品時頻資料為輸入，並以第二樣品時頻資料為輸出訓練而得，其中第一樣品時頻資料對應至來自一樣品影像的樣品觀察區域中樣品生物影像的一第一樣品散射變化資料，第二樣品時頻資料對應至第二樣品散射變化資料，且第二樣品散射變化資料的雜訊少於第一樣品散射變化資料的雜訊。
本發明的生理資訊檢測裝置包括影像擷取單元、儲存單元以及處理單元，處理單元電性連接影像擷取單元以及儲存單元，且處理單元包括主訊號擷取模組。影像擷取單元用以擷取包括生物散射影像的影像資料，儲存單元儲存濾波模組。上述濾波模組是透過機械學習以第一樣品
時頻資料為輸入，以第二樣品時頻資料為輸出目標訓練而得，且第一樣品時頻資料對應至來自一樣品影像的樣品觀察區域中樣品生物影像的第一樣品散射影像變化資料，第二樣品時頻資料對應至第二樣品散射變化資料，其中第二樣品散射變化資料的雜訊少於第一樣品散射變化資料的雜訊。處理單元在影像資料中決定觀察區域，且至少部分生物散射影像位於觀察區域中。主訊號擷取模組根據觀察區域中生物散射影像隨時間的變化取得至少一第一散射變化資料。處理單元以第一散射變化資料為輸入作頻域轉換並取得第一時頻資料，並以濾波模組處理第一時頻資料而取得第二時頻資料。處理單元對第二時頻資料作逆頻域轉換並取得第二散射變化資料。
在本發明的一實施例中，上述的影像處理方法自第二散射變化資料計算生物體的生理資訊。
在本發明的一實施例中，上述的影像資料包括多個影像幀(image frame)。每個影像幀由多個像素資料組成，每個像素資料包括多個顏色數值。第一散射變化資料包括多個灰階值，每個灰階值為觀察區域中生物散射影像的其中一影像幀的至少一像素資料的這些顏色數值的組合。
在本發明的一實施例中，上述的影像資料取自生物體，生物散射影像對應至生物體的皮膚影像。第一散射變化資料中，每個灰階值包括一光體積數值，每個光體積數值是自其中一影像幀中的部分這些像素資料取得，部分像素資料對應至影像幀在觀察區域中的皮膚影像。
在本發明的一實施例中，上述的影像資料取自生物體。影像資料包括多個影像幀，觀察區域中的生物散射影像對應至每個影像幀中
生物體的臉部影像。頻域轉換為第一時頻資料的輸入還包括第一位置變化資料。第一位置變化資料對應觀察區域的位置隨時間的變化，第一影像變化資料包括多個位移資料，每個位移資料為其中一影像幀中觀察區域的位置與上一影像幀中觀察區域的位置差異。
在本發明的一實施例中，上述的影像資料取自生物體。影像資料包括多個影像幀，該觀察區域對應至每個影像幀中生物散射影像。頻域轉換為第一時頻資料的輸入還包括第一背景變化資料。第一背景變化資料包括多個背景資料，每個背景資料為其中一影像幀中生物散射影像以外的部分影像的亮度。
在本發明的一實施例中，上述的第一時頻資料包括多個沿著時間排列的頻率組。第一影像變化資料經由短時距傅立葉變換而取得這些頻率組。
在本發明的一實施例中，上述的第一時頻資料、第二時頻資料為沿著時間以及頻域排列的二維資料。
在本發明的一實施例中，上述的濾波模組是透過深度學習訓練而得。
在本發明的一實施例中，上述的深度學習為為捲積神經網路(Convolutional Neural Networks,CNN)、遞歸神經網路(Recurrent Neural Networks,RNN)、增強式學習(Reinforcement Learning,RL)或長短期記憶模型(Long Short-Term Memory,LSTM)。
在本發明的一實施例中，上述的第二樣品時頻資料是透過一接觸式心跳感測裝置取得。
基於上述，本發明的生物影像處理方法以及生物資訊檢測裝置藉由濾波模組可以處理自影像資料取得的第一時頻資料，並提昇處理後的時頻資料所對應的影像資料的訊雜比。
A‧‧‧觀察區域
S11-S14‧‧‧步驟
S21-S25‧‧‧步驟
50‧‧‧使用者
60‧‧‧影像幀
61‧‧‧臉部影像
62‧‧‧背景影像
100‧‧‧生理資訊檢測裝置
110‧‧‧影像擷取單元
120‧‧‧處理單元
121‧‧‧觀察區域選擇模組
122‧‧‧主訊號擷取模組
123‧‧‧狀態擷取模組
124‧‧‧輔助訊號擷取模組
125‧‧‧轉換模組
126‧‧‧濾波模組
127‧‧‧反轉換模組
130‧‧‧儲存單元
圖1A是本發明第一實施例的生理資訊檢測裝置的示意圖；圖1B是本發明第一實施例的影像處理方法的流程示意圖；圖2A是本發明第一實施例的影像擷取單元以及處理單元的示意圖；圖2B是本發明第一實施例的影像幀的示意圖；圖3A-3D是本發明實例中的時頻資料示意圖；圖4A-4D是本發明實例中的影像變化資料示意圖；圖5是本發明實施例中影像處理方法的流程示意圖。
本發明所提出的影像處理方法可以應用於例如是伺服器、用戶端、桌上型電腦、筆記型電腦、網路電腦、工作站、個人數位助理(Personal Digital Assistant,PDA)、平板電腦或智慧型手機等具有影像擷取以及資料處理功能的電子裝置，本發明並不限於其所應用的電子裝置種類。具體而言，本發明所提出的影像處理方法可以應用在上述電子裝置，其中散射資料例如是來自觀察區域中的使用者皮膚影像，亦即使用者的皮膚所散射出來的光所形成的影像資料。
應當理解，儘管術語「第一」、「第二」在本文中可以用於
描述各種資料，但是這些資料不應受這些術語限制。這些術語僅用於將一個資料與另一個資料區分開。因此，下面討論的「第一資料」也可以被稱為「第二資料」而不脫離本文的教導。
圖1A是本發明的第一實施例中生理資訊檢測裝置的示意圖。請參照圖1A，在本發明的第一實施例中，生理資訊檢測裝置100包括影像擷取單元110、處理單元120以及儲存單元130，處理單元120電性連接影像擷取單元110以及儲存單元130。影像擷取單元110例如是由感光耦合元件(Charged-Couple Device,CCD)或互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor,CMOS)等感光元件。
本實施例的處理單元120的功能可藉由例如是中央處理單元(Central Processing Unit,CPU)、微處理器、微控制器、數位信號處理(Digital Signal Processing,DSP)晶片、場可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)等可程式化單元來實施。處理單元120的功能也可以用獨立電子裝置或積體電路(Integrated Circuit：IC)實施。
本實施例的儲存單元130可以是任何型態的固定或可移動隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash Memory)或類似元件或上述元件的組合。
以上舉例說明了本發明所提出的影像處理方法可以應用的生理資訊擷取裝置中各元件的實施方式，但本發明不限於此。以下將參照上述元件舉例說明本發明所提出的影像處理方法以及應用此方法的生理資訊擷取裝置。
請參照圖1B的本發明第一實施例的影像處理方法的流程示意圖。本發明實施例中所提出的影像處理方法會將來自影像資料中的訊號分不同時段轉換為頻率分布再排列為第一時頻資料(步驟S11)，其中來自影像資料中的訊號為隨時間變化的訊號，此訊號例如可以包括散射變化資料、位置變化資料或背景變化資料。接著以濾波模組處理部分頻率或降低部分頻率的強度為第二時頻資料(步驟S12)，使處理後的第二時頻訊號可以再反轉換為雜訊較低的時域訊號(步驟S13)。由於藉由上述濾波模組處理過的訊號可以降低生理資訊以外的訊號或雜訊，因此從時域訊號轉換出生理訊號(步驟S14)時可以取得訊雜比較佳的生理訊號。具體而言，本實施例的影像處理方法提供了一種雜訊過濾方法，且用以過濾的濾波模組是以時頻訊號作為處理標的。濾波模組可以濾除時頻訊號中來自雜訊的頻率，進而得到訊雜比較好的訊號。本發明的實施例詳細說明如下。
本實施例的影像擷取單元110用以自生物體擷取影像資料，此處以一使用者50為例。影像擷取單元110的影像擷取區域包含使用者50的皮膚，較佳為使用者50的臉部區域或是其他有較多微血管分布的區域。換句話說，影像擷取單元110所擷取的影像有部分是自使用者50散射的光所形成的生物散射影像。影像資料為一動態影像資料，其包括多個影像幀或是多個像素隨著時間變化的資料，本發明不限於影像資料的型態。
本實施例所提出的影像處理方法自上述的影像資料取得時頻資料，以下將舉例說明本實施例的時頻資料的取得步驟，但本發明並不限於時頻資料的取得方式。
本實施例的影像擷取單元110取得影像資料後，處理單元
120自影像擷取單元110取得影像資料，並在影像資料中決定觀察區域。上述觀察區域為影像資料中在各時間點上對應至生物散射影像的區域。以本實施例而言，觀察區域對應至影像資料中對應至使用者50的影像的區域，且觀察區域對應至包含使用者50的皮膚影像的區域，較佳為包含使用者50的臉部影像的區域，或是其他適於觀察因血流變化而改變光吸收量的使用者部位，本發明不限於此。
在本實施例的觀察區域被決定後，處理單元120根據觀察區域中的部分影像資料隨時間的變化取得一第一散射變化資料。所述第一散射變化資料例如對應至像素的顏色數值隨時間的變化，本發明不限於此。
此處先以第一散射變化資料為例，在本實施例的處理單元120取得第一散射變化資料後，處理單元120對第一散射變化資料做頻域轉換。頻域轉換例如是取得第一散射變化資料中的數值自時域變換至頻域。較佳而言，本實施例的頻域轉換是將不同時間區間的第一散射變化資料變換至頻域，以取得多個在不同時間區間的頻率分布資料，進而形成第一時頻資料。
本實施例的儲存單元130儲存一濾波模組，且濾波模組是由機械訓練而得。具體而言，本實施例的儲存單元130所儲存的濾波模組是預先藉由機械訓練以第一樣品時頻資料為輸入，並以第二樣品時頻資料為輸出訓練而得。第一樣品時頻資料例如是自一樣品影像的樣品觀察區域中樣品生物影像取得，此樣品影像例如是自一生物體的影像資料取得，而第二樣品時頻資料例如是來自以不同的方式自上述生物體取得的樣品資料，其中上述樣品影像和上述樣品資料都帶有相同的生理資訊，且上述樣品資
料所帶有的雜訊較上述影像資料帶有的雜訊低。藉由機械訓練使濾波模組可以找到高雜訊的第一樣品時頻資料和低雜訊的第二樣品時頻資料之間的關係，例如是雜訊出現的頻率範圍，並進一步可以對其他時頻資料提供降低噪音的效果。
換句話說，第一樣品時頻資料以及第二樣品時頻資料可以藉由逆頻域轉換為位於時域的第一樣品散射變化資料以及第二樣品散射變化資料，且第二樣品散射變化資料相較第一樣品散射變化資料具有較高的訊雜比。舉例而言，第二樣品散射變化資料可以透過接觸式心跳感測裝置自生物體取得，而第一樣品散射變化資料可以透過影像取得，但本發明不限於此。藉由機械訓練，濾波模組可以依照自第一樣品時頻資料以及第二樣品時頻資料之間的關係找到可以提昇其他時頻資料的訊雜比的參數、層數、權重等等，進而使自影像取得的第一樣品變化資料可以被處理為訊雜比接近接觸式感測裝置所提供的訊號。
本實施例的處理單元120在取得第一時頻資料之後，會自儲存單元130取得濾波模組來對第一時頻資料處理以取得第二時頻資料。由於濾波模組是由上述的第一樣品時頻資料以及第二樣品時頻資料訓練而得，因此處理後得到的第二時頻資料可以更符合需求。上述的需求例如是第二時頻資料藉由逆頻域轉換後，可以得到一第二像素變化資料，且第二像素變化資料中的雜訊較第一像素變化資料中的雜訊低。
藉由上述的濾波模組，本實施例所提出的影像處理方法可以在影像處理濾除雜訊，藉以提供更佳的訊號品質。由於濾波模組經訓練後可以判斷在時頻訊號中哪些頻段中的訊號或是部分訊號為雜訊，因此可
以過濾掉這些訊號以使反轉換後的訊號可以具有較佳的訊號品質。
具體而言，上述實施例的影像處理方法例如在取得第二散射變化資料後可以自第二散射變化資料計算生物體(亦即使用者50)的生理資訊。第二散射變化資料中的數值變化頻率對應至影像資料中的影像變化頻率，且此頻率中帶有使用者50的生理資訊。同時，藉由濾波模組的過濾效果，第二散射變化資料中除了對應至使用者50的生理資訊的頻率資料外也帶有較少的雜訊，可以使生理訊號的準確度提升。較佳而言，第二散射變化資料例如帶有對應至使用者50的生理資訊的頻率資料。上述生理資訊例如是使用者50的心跳頻率、心律變異、血壓或呼吸等等，本發明不限於此。
本實施例的影像處理方法會在影像資料中決定一觀察區域，較佳為包含生物體的皮膚的區域。請參照圖2A所繪示的影像擷取單元以及處理單元的示意圖，本實施例的處理單元120包括觀察區域選擇模組121。觀察區域選擇模組121用以在影像資料中決定觀察區域的位置，較佳為包含臉部影像的區域。請一併參照圖2B，上述的觀察區域選擇模組121用以在影像幀60中判斷臉部影像61的位置，較佳還進一步判斷背景影像62的位置。由於人的臉部具有較多的微血管分布，因此當觀察區域A設定為包含臉部影像的區域時，處理單元120可以輕易自影像中的微小變化取得第一散射變化資料。
以下將進一步說明頻域轉換的輸入資料的種類。需要特別說明的是，以下本實施例中用以作頻域轉換的輸入是包含多種實施樣態的組合，但本發明並不限於這些實施樣態的組合。在其他實施例中，應用本
發明所提出的影像處理方法時，本發明所屬領域具有通常知識者更可以選取單一種變化資料或是部分種類的變化資料的組合。
本實施例的處理單元120會針對影像資料取得多個灰階值訊號。請參照圖2A，在本發明的第一實施例中，處理單元120包括主訊號擷取模組122，用以擷取來自影像擷取單元110的影像資料的原始影像訊號。詳細而言，本實施例的影像資料包括多個影像幀，且每個影像幀由多個像素資料組成。上述像素資料例如是形成像素(pixel)的三原色的數值，每個像素資料都包含多個顏色數值。本實施例的灰階值擷取模組122將每個影像幀中位於觀察區域A中的至少部分像素資料中的顏色數值乘上各自的權重後再相加以取得灰階值。舉例而言，灰階值例如可以是R*0.229+G*0.587+B*0.114，其中R為紅色數值；G為綠色數值；B為藍色數值，其中上述的紅色數值、綠色數值或藍色數值對應至顯示訊號中每個顏色的亮度或光閥的透光度。然而，本發明並不限於上述這些顏色數值的權重。在其他實施例中，這些顏色數值可以是各種影像格式中用以表示三原色之亮度值的數值，亦可以為其他數量、其他適於組合出一個適當色彩空間的顏色的數值。另一方面，本實施例所指的灰階值亦不限於上述的線性組合，亦不限於其他領域所用之灰階參數。本發明所提出的灰階值在其他實施例中還可以包括由上述顏色數值組合而得的光體積數值，以下將會進一步說明。
由於生物體的心跳、呼吸會導致鄰近皮膚的微血管中血液流量變化，進而影響到皮膚吸收外來光的比率。因此，在隨著時間紀錄這些灰階值時，有關於生物體的心律以及呼吸的變化頻率也會紀錄於這項灰
階值中。較佳而言，灰階值還可以包括光體積數值(photoplethysmogram value)，這些灰階值的光體積數值可以對應至生物體皮膚下血液的體積，進而換算出心律、血壓、流向等數值。
具體而言，本實施例的處理單元120還可以針對影像資料中位於觀察區域中的影像取得隨時間變化的光體積數值。詳細而言，處理單元120還可以透過主訊號擷取模組122在影像資料中的這些影像幀中取得這些光體積數值。舉例而言，上述這些光體積數值例如是藉由遠端光體積變化描記圖法(remote Photoplethysmography,rPPG)取得，藉由測量光吸收的變化量來偵測血液灌注到真皮與皮下組織的狀況。上述的光體積數值的取得方法較佳包括chrominance(CHROM)、plane orthogonal to the skin(POS)或Green Red Difference Method(GRD)，但本發明不限於此。
本實施例的處理單元120還可以針對觀察區域在影像資料中的變化取得第一影像變化資料。詳細而言，處理單元120還包括狀態擷取模組123，其用以偵測觀察區域A在每個影像幀60中的位置。處理單元120還包括輔助訊號擷取模組124，用以偵測觀察區域A外每個背景影像62的亮度。在其他實施例中，影像資料的影像幀中的觀察區域中更可以同時包含部分臉部影像以及部分背景影像，而背景影像62的亮度可以在觀察區域中獲得，本發明不限於此。
用以作為頻域轉換的輸入的訊號包括多個隨時間變化的位移資料以及多個背景資料，其中位移資料為每個影像幀中觀察區域的位置與上一影像幀中觀察區域的位置的差異，也就是觀察區域在每個影像幀中的位置隨時間的變化量；背景資料為每個影像幀中背景影像的亮度值，也
就是生物體四周的環境光的變化量，也就是生物散射影像以外的部分影像。在其他實施例中，處理單元更可以只包括狀態擷取模組或輔助訊號擷取模組，亦即第一影像變化資料可以只包括位移資料或只包括背景資料，本發明不限於此。
由上述可知，本實施例的處理單元120可以自影像資料取得隨時間變化的灰階值、光體積數值、位移資料或背景資料，並將上述這些數值或資料輸入至頻域轉換。由於第一散射變化資料會隨時間變化，因此處理單元120會對上述的輸入資料資料作時頻轉換。詳細而言，處理單元120例如包括轉換模組125，轉換模組125可以分析上述輸入資料中數值的變化頻率，以及各頻率的分布強度。具體而言，轉換模組125可以對上述輸入資料作短時距傅利葉變換，進而取得第一時頻資料。第一時頻資料包括多個沿著時間排列的頻率組，輸入資料經由短時距傅立葉變換而取得這些頻率組。
請參照圖3A-3D所繪示的時頻資料的示意圖。舉例而言，第一時頻資料例如是橫軸為時間；縱軸為頻率分布的二維資料。根據每個時間區間的第一影像變化資料，每個縱軸都可以表示為這個時間區間的第一影像變化資料的頻率分布情形。
請參照圖2A，在本實施例中，第一影像變化資料在經由轉換模組125轉換為第一時頻資料後，第一時頻資料可以經由濾波模組126處理為第二時頻資料。如上所述，濾波模組126是經由第一樣品時頻資料以及第二樣品時頻資料經由機械訓練而得，其可以濾除第一時頻資料中對應至雜訊的頻率。
在本實施例的處理單元120將第一時頻訊號處理為第二時頻訊號後，接著藉由反轉換將第二時頻訊號轉換為時域訊號，亦即第二影像變化資料。詳細而言，本實施例的處理單元120還包括反轉換模組127，反轉換模組127用以將時頻訊號轉換為時域訊號。由於第二時頻訊號經由濾波模組126處理後已經帶有較低的雜訊，因此經由反轉換模組127轉換後可以取得雜訊較低的第二影像變化資料。換句話說，當第一影像變化資料帶有對應至例如是使用者50的心跳變化頻率時，第二影像變化資料可以更清楚的呈現此心跳變化頻率。
另一方面，本實施例的濾波模組126例如是透過深度學習等機械訓練而得。且由於第一時頻訊號為隨時間變化的訊號，因此濾波模組126較佳可以藉由遞歸神經網路(Recurrent Neural Networks,RNN)、增強式學習(Reinforcement Learning,RL)或長短期記憶(Long Short-Term Memory,LSTM)模型來訓練而得，藉以提供適當的濾波效果。另一方面，由於第一時頻訊號為一個二維資料，可以表示為一圖形，因次濾波模組126可以藉由捲積神經網路(Convolutional Neural Network,CNN)訓練而得。較佳而言，濾波模組126可以藉由自編碼的多層捲積神經網路(Convolutional Auto-Encoder,CAE)的架構訓練而得，藉以提供適當的濾波效果。本發明並不限於上述的機械訓練模式，本發明所屬領域中具有通常知識者可以視需求調整機械訓練的方法。
另一方面，由於第一影像變化資料可以以多種不同的型態呈現，當使用者在應用本發明所提出的影像處理方法時，在訓練濾波模組時可以輸入同時包含多個灰階值、多個光體積數值、多個位移資料或多個
背景資料來訓練濾波模組，也可以只選取其中之一種或其中兩種來訓練濾波模組，端視使用者的需求和裝置的效能而定。換句話說，本發明所提出的影像處理方法可以以多通道的訊號訓練濾波模型。
以下將再列舉幾個實例說明本發明所提出的方法以及裝置所能帶來的效果。請參照圖3A至圖3D以及圖4A至圖4D，其中圖3A為未處理的第一時頻資料，其對應至圖4A中未處理的第一散射變化資料，此處以光體積數值為例；圖3B為以自編碼之多層捲積神經網路訓練的濾波模組處理的第二時頻資料，其對應至圖4B中處理過的第二散射變化資料；圖3C為以長短期記憶訓練模型訓練的濾波模組處理的第二時頻資料，其對應至圖4C中處理過的第二散射變化資料；圖3D為接觸式感測裝置所測得的時頻資料，其對應至圖4D中的散射變化資料。由圖3A至3D以及圖4A至4D可以看出，無論是經由捲積神經網路訓練的濾波模組還是經由長短期記憶訓練模型訓練的濾波模組，都可以提供適當的雜訊濾除效果，藉以提供具有良好訊雜比的散射變化訊號，進而提供更準確的例如是心律、心律變異、呼吸等生理資訊。
圖5為本發明實施例的影像處理方法的流程示意圖。詳細而言，本發明的影像處理方法可以藉由影像擷取裝置以不接觸使用者的光學方式取得影像資料，並在影像資料中取得第一散射變化資料、第一背景變化資料或第一位置變化資料(步驟S21)，較佳為三種資料同時取得，藉以進一步確保準確性。第一散射變化資料可以包括隨時間變化的光體積變化數值，第一位置變化資料可以包括觀察區域位移數值，第一背景變化資料可以包括背景光影變化數值。將上述資料作短時距傅利葉變換後可以取得
第一時頻資料(步驟S22)。第一時頻資料經由濾波模組處理為第二時頻資料(步驟S23)，且濾波模組基於先前樣品時頻訊號的經驗去除第一時頻資料中對應至雜訊的頻率。第二時頻資料經由反頻域轉換為第二影像變化資料(步驟S24)，其中第二影像變化資料和第一影像變化資料一樣是時域訊號。接著，自第二影像變化資料中算出生理訊號(步驟S25)。
藉由上述的濾波模組，本發明所提出的生物資訊檢測裝置及其所使用的生物影像處理方法可以有效取得低雜訊的生理訊號，可以監控醫院、病房，或甚至居家照護中成員的健康狀態。同時，還能確保心律等生理訊號可以維持良好的判讀功能，以降低生理訊號的誤判機率。另一方面，在例如是車載的系統中，本發明所提出的生物檢測裝置及其所使用的生物影像處理方法可以有效對駕駛的健康狀況作監控，藉以在駕駛身體不適、休克、心律過快或過慢時提出警示，甚至通知車體進行減速，以避免事故發生。
綜上所述，本發明所提出的生物影像處理方法會將來自影像資料的第一影像變化資料轉換為時頻訊號，再對上述時頻訊號以濾波模組濾波，其中濾波模組是先前由樣品時域訊號所訓練。因此，影像處理方法可以提供良好的雜訊濾除功能，且應用此方法的生理資訊檢測裝置也可以提供準確的生理資訊檢測效果。
S11-S14‧‧‧步驟
Claims (24)
- 一種生物影像處理方法，包括：取得一影像資料，該影像資料包括一生物散射影像；在該影像資料中決定一觀察區域，至少部分該生物散射影像位於該觀察區域中；根據該觀察區域中該生物散射影像隨時間的變化取得至少一第一散射變化資料；以該第一散射變化資料為輸入作頻域轉換並取得一第一時頻資料(Time-Frequency Data)；以一濾波模組處理該第一時頻資料，取得一第二時頻資料；以及對該第二時頻資料作逆頻域轉換並取得一第二散射變化資料；其中該濾波模組是透過機械學習以一第一樣品時頻資料為輸入，並以一第二樣品時頻資料為輸出目標訓練而得；該第一樣品時頻資料號對應至來自一樣品影像的樣品觀察區域中樣品生物影像的一第一樣品散射變化資料，該第二樣品時頻資料對應至一第二樣品散射變化資料，且該第二樣品散射變化資料的雜訊少於該第一樣品散射變化資料的雜訊。
- 如申請專利範圍第1項所述的生物影像處理方法，還包括：自該第二散射變化資料計算該生物體的生理資訊。
- 如申請專利範圍第1項所述的生物影像處理方法，其中該影像資料包括多個影像幀，每個該影像幀由多個像素資料組成，每個該像素資料包括 多個顏色數值；該第一散射變化資料包括多個灰階值，每個該灰階值為該觀察區域中該生物散射影像的其中一該影像幀的至少一像素資料的該些顏色數值的組合。
- 如申請專利範圍第3項所述的生物影像處理方法，其中該影像資料取自一生物體，該生物散射影像對應至該生物體的皮膚影像；該第一散射變化資料中，每個該灰階值包括一光體積數值，每個該光體積數值是自其中一該影像幀中的部分該些像素資料取得，該部分像素資料對應至該影像幀在該觀察區域中的該生物散射影像。
- 如申請專利範圍第1項所述的生物影像處理方法，其中該影像資料取自一生物體，該影像資料包括多個影像幀，該觀察區域中的該生物散射影像對應至每個該影像幀中該生物體的臉部影像；在該影像資料中決定該觀察區域的步驟之後還包括：根據該觀察區域的位置隨時間的變化取得一第一位置變化資料，該第一位置變化資料包括多個位移資料，每個該位移資料為其中一該影像幀中該觀察區域的位置與上一影像幀中該觀察區域的位置差異；作該頻域轉換為該第一時頻資料的輸入還包括該第一位置變化資料；該第一樣品時頻訊號還對應至一第一樣品位置變化資料，該第一樣品位置變化資料對應至該樣品觀察區在該樣品影像中隨時間的變化。
- 如申請專利範圍第1項所述的生物影像處理方法，其中該影像資料取自一生物體，該影像資料包括多個影像幀，該觀察區域對應至每個該影像幀中該生物散射影像； 在該影像資料中決定該觀察區域的步驟之後還包括：根據該影像資料中該生物散射影像以外的部分取得一第一背景變化資料，該第一背景變化資料包括多個背景資料，每個該背景資料為其中一該影像幀中該生物散射影像以外的該部分影像的亮度；作該頻域轉換為該第一時頻資料的輸入還包括該第一背景變化資料；該第一樣品時頻訊號還對應至一第一樣品背景變化資料，該第一樣品背景變化資料對應至該樣品影像中該樣品生物影像以外的部分影像的亮度。
- 如申請專利範圍第1項所述的生物影像處理方法，其中該第一時頻資料包括多個沿著時間排列的頻率組，該頻域轉換為短時距傅立葉變換。
- 如申請專利範圍第7項所述的生物影像處理方法，其中該第一時頻資料、該第二時頻資料為沿著時間以及頻域排列的二維資料。
- 如申請專利範圍第1項所述的影像處理方法，其中該濾波模組是透過深度學習訓練而得。
- 如申請專利範圍第9項所述的生物影像處理方法，其中該深度學習為捲積神經網路(Convolutional Neural Networks,CNN)、遞歸神經網路(Recurrent Neural Networks,RNN)、增強式學習(Reinforcement Learning,RL)或長短期記憶模型(Long Short-Term Memory,LSTM)。
- 如申請專利範圍第1項所述的生物影像處理方法，其中該樣品生物影像為一來自散射自樣品生物體的皮膚的光所產生的影像。
- 如申請專利範圍第1項所述的生物影像處理方法，其中該第二樣品時頻資料是透過一接觸式心跳感測裝置取得。
- 一種生理資訊檢測裝置，包括：一影像擷取單元，用以擷取一影像資料，該影像資料包括一生物散射影像；一儲存單元，儲存一濾波模組，該濾波模組是透過機械學習以一第一樣品時頻資料為輸入，以一第二樣品時頻資料為輸出目標訓練而得，且該第一樣品時頻資料對應至來自一樣品影像的樣品觀察區域中樣品生物影像的一第一樣品散射變化資料，該第二樣品時頻資料對應至一第二樣品散射變化資料，該第二樣品散射變化資料的雜訊少於該第一樣品散射變化資料的雜訊；以及一處理單元，包括一主訊號擷取模組，該處理單元電性連接該影像擷取單元以及該儲存單元；該處理單元在該影像資料中決定該觀察區域，至少部分該生物散射影像位於該觀察區域中；該主訊號擷取模組根據該觀察區域中該生物散射影像隨時間的變化取得至少一第一散射變化資料，該處理單元以該第一散射變化資料為輸入作頻域轉換並取得一第一時頻資料，並以該濾波模組處理該第一時頻資料而取得一第二時頻資料；該處理單元對該第二時頻資料作逆頻域轉換並取得一第二散射變化資料。
- 如申請專利範圍第13項所述的生理資訊檢測裝置，其中該處理單元自該第二散射變化資料計算該生物體的生理資訊。
- 如申請專利範圍第13項所述的生理資訊檢測裝置，其中該影像資料包括多個影像幀，每個該影像幀由多個像素資料組成，每個該像素資料包括多個顏色數值；該第一散射變化資料包括多個灰階值，每個該灰階值為該觀察區域中該生物散射影像的其中一該影像幀的至少一像素資料的該些顏色數值的組合。
- 如申請專利範圍第15項所述的生理資訊檢測裝置，其中該影像擷取單元自一生物體擷取該影像資料，該生物散射影像對應至該生物體的皮膚影像；該第一散射變化資料中，每個該灰階值包括一光體積數值，每個該光體積數值是自其中一該影像幀中的部分該些像素資料取得，該部分像素資料對應至該影像幀在該觀察區域中的該生物散射影像。
- 如申請專利範圍第13項所述的生理資訊檢測裝置，其中該處理單元還包括：一狀態擷取模組，用以自該影像資料的該觀察區域取得一第一位置變化資料；該影像擷取單元自一生物體擷取該影像資料，該影像資料包括多個影像幀，該觀察區域中該生物散射影像對應至每個該影像幀中該生物體的臉部影像；該第一位置變化資料包括多個位移資料，每個該位移資料為其中一該影像幀中該觀察區域的位置與上一影像幀中該觀察區域的位置差異；該處理單元作該頻域轉換為該第一時頻資料的輸入還包括該第一位置 變化資料；該第一樣品時頻訊號還對應至一第一樣品位置變化資料，該第一樣品位置變化資料對應至該樣品觀察區在該樣品影像中隨時間的變化。
- 如申請專利範圍第13項所述的生理資訊檢測裝置，其中該處理單元還包括一輔助訊號擷取模組，用以自該影像資料的一觀察區域取得一第一背景變化資料；該影像資料取自一生物體，該影像資料包括多個影像幀，該觀察區域對應至每個該影像幀中該生物散射影像以及該生物體的背景影像；該第一背景變化資料包括多個背景資料，每個該背景資料為其中一該影像幀中該背景影像的亮度；該處理單元作該頻域轉換為該第一時頻資料的輸入還包括該第一背景變化資料；該第一樣品時頻訊號還對應至一第一樣品背景變化資料，該第一樣品背景變化資料對應至該樣品影像中該樣品生物影像以外的部分影像的亮度。
- 如申請專利範圍第13項所述的生理資訊檢測裝置，其中該第一時頻資料包括多個沿著時間排列的頻率組，該頻域轉換為短時距傅立葉變換。
- 如申請專利範圍第19項所述的生理資訊檢測裝置，其中該第一時頻資料、該第二時頻資料為沿著時間以及頻域排列的二維資料。
- 如申請專利範圍第13項所述的生理資訊檢測裝置，其中該濾波模組該處理單元是透過深度學習訓練並儲存於該儲存單元。
- 如申請專利範圍第21項所述的生理資訊檢測裝置，其中該深度學習為捲 積神經網路(Convolutional Neural Networks,CNN)、遞歸神經網路(Recurrent Neural Networks,RNN)、增強式學習(Reinforcement Learning,RL)或長短期記憶模型(Long Short-Term Memory,LSTM)。
- 如申請專利範圍第13項所述的生理資訊檢測裝置，其中該樣品生物影像為一來自散射自樣品生物體的皮膚的光所產生的影像。
- 如申請專利範圍第13項所述的生理資訊檢測裝置，其中該第二樣品時頻資料是透過一接觸式心跳感測裝置取得。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108113890A TWI684433B (zh) | 2019-04-19 | 2019-04-19 | 生物影像處理方法以及生理資訊檢測裝置 |
| CN201910589980.6A CN111820870B (zh) | 2019-04-19 | 2019-07-02 | 生物影像处理方法以及生理信息检测装置 |
| US16/733,022 US11213256B2 (en) | 2019-04-19 | 2020-01-02 | Biological image processing method and biological information detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108113890A TWI684433B (zh) | 2019-04-19 | 2019-04-19 | 生物影像處理方法以及生理資訊檢測裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI684433B true TWI684433B (zh) | 2020-02-11 |
| TW202038854A TW202038854A (zh) | 2020-11-01 |
Family
ID=70413443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108113890A TWI684433B (zh) | 2019-04-19 | 2019-04-19 | 生物影像處理方法以及生理資訊檢測裝置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11213256B2 (zh) |
| CN (1) | CN111820870B (zh) |
| TW (1) | TWI684433B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI795765B (zh) * | 2021-04-28 | 2023-03-11 | 奧比森科技股份有限公司 | 非接觸式生理訊號量測設備、系統及方法 |
| US11830624B2 (en) * | 2021-09-07 | 2023-11-28 | Riva Health, Inc. | System and method for determining data quality for cardiovascular parameter determination |
| CN114519897A (zh) * | 2021-12-31 | 2022-05-20 | 重庆邮电大学 | 基于颜色空间融合及循环神经网络的人脸活体检测方法 |
| TWI815614B (zh) * | 2022-08-17 | 2023-09-11 | 鉅怡智慧股份有限公司 | 具有誤差補償功能的非接觸式生理量測裝置及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201229927A (en) * | 2010-09-13 | 2012-07-16 | Agc Flat Glass Na Inc | Monolithic image perception device and method |
| TWI411970B (zh) * | 2008-12-12 | 2013-10-11 | Casio Computer Co Ltd | 攝像裝置、臉部檢測方法及記錄媒體 |
| TW201346841A (zh) * | 2012-03-22 | 2013-11-16 | Nec Corp | 攝影影像處理裝置及攝影影像處理方法 |
| TW201445508A (zh) * | 2013-04-08 | 2014-12-01 | Lsi Corp | 用於影像處理的前端架構 |
| TWI479430B (zh) * | 2012-10-08 | 2015-04-01 | Pixart Imaging Inc | 以自然影像進行的手勢辨識方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120321759A1 (en) * | 2007-01-05 | 2012-12-20 | Myskin, Inc. | Characterization of food materials by optomagnetic fingerprinting |
| US20100185064A1 (en) * | 2007-01-05 | 2010-07-22 | Jadran Bandic | Skin analysis methods |
| US9823127B2 (en) * | 2010-01-22 | 2017-11-21 | Duke University | Systems and methods for deep spectroscopic imaging of biological samples with use of an interferometer and spectrometer |
| CA2791624A1 (en) * | 2010-02-26 | 2011-09-01 | Myskin, Inc. | Analytic methods of tissue evaluation |
| US20120150387A1 (en) * | 2010-12-10 | 2012-06-14 | Tk Holdings Inc. | System for monitoring a vehicle driver |
| CN103503024B (zh) | 2011-04-14 | 2016-10-05 | 皇家飞利浦有限公司 | 用于从特征信号提取信息的设备和方法 |
| US9005129B2 (en) * | 2012-06-22 | 2015-04-14 | Fitbit, Inc. | Wearable heart rate monitor |
| EP3102288B1 (en) | 2014-02-05 | 2018-05-16 | Koninklijke Philips N.V. | Camera-based monitoring of vital signs of during phototherapy treatment |
| JP2017512627A (ja) * | 2014-04-07 | 2017-05-25 | ミーモ アクチエンゲゼルシャフトＭｉｍｏ ＡＧ | 生物組織の３次元ボリュームを表す画像データを分析する方法 |
| RU2016151983A (ru) | 2014-05-28 | 2018-07-02 | Конинклейке Филипс Н.В. | Уменьшение артефактов движения с помощью многоканальных сигналов ФПГ |
| CN105796051B (zh) * | 2014-12-31 | 2019-11-19 | 原相科技股份有限公司 | 三维生理检测***及其操作方法 |
| US11164295B2 (en) * | 2015-09-17 | 2021-11-02 | Michael Edwin Stewart | Methods and apparatus for enhancing optical images and parametric databases |
| GB201610594D0 (en) * | 2016-06-17 | 2016-08-03 | Ucl Business Plc | Method and apparatus for estimating the value of a physical parameter in a biological tissue |
| EP3936048A1 (en) * | 2016-07-19 | 2022-01-12 | Paramevia Pte. Ltd. | Diagnosis support program |
| US10506926B2 (en) * | 2017-02-18 | 2019-12-17 | Arc Devices Limited | Multi-vital sign detector in an electronic medical records system |
| US20190046056A1 (en) * | 2017-08-10 | 2019-02-14 | VVVital Patent Holdings Limited | Multi-Vital Sign Detector in an Electronic Medical Records System |
| US20190108447A1 (en) * | 2017-11-30 | 2019-04-11 | Intel Corporation | Multifunction perceptrons in machine learning environments |
| JP7462898B2 (ja) * | 2018-01-05 | 2024-04-08 | ラドウィスプ プライベート リミテッド | 診断支援プログラム |
| CN109259749A (zh) * | 2018-08-29 | 2019-01-25 | 南京邮电大学 | 一种基于视觉摄像头的非接触式心率测量方法 |
-
2019
- 2019-04-19 TW TW108113890A patent/TWI684433B/zh active
- 2019-07-02 CN CN201910589980.6A patent/CN111820870B/zh active Active
-
2020
- 2020-01-02 US US16/733,022 patent/US11213256B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI411970B (zh) * | 2008-12-12 | 2013-10-11 | Casio Computer Co Ltd | 攝像裝置、臉部檢測方法及記錄媒體 |
| TW201229927A (en) * | 2010-09-13 | 2012-07-16 | Agc Flat Glass Na Inc | Monolithic image perception device and method |
| TW201346841A (zh) * | 2012-03-22 | 2013-11-16 | Nec Corp | 攝影影像處理裝置及攝影影像處理方法 |
| TWI479430B (zh) * | 2012-10-08 | 2015-04-01 | Pixart Imaging Inc | 以自然影像進行的手勢辨識方法 |
| TW201445508A (zh) * | 2013-04-08 | 2014-12-01 | Lsi Corp | 用於影像處理的前端架構 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111820870A (zh) | 2020-10-27 |
| TW202038854A (zh) | 2020-11-01 |
| CN111820870B (zh) | 2023-05-16 |
| US20200330042A1 (en) | 2020-10-22 |
| US11213256B2 (en) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI684433B (zh) | 生物影像處理方法以及生理資訊檢測裝置 | |
| Ni et al. | A review of deep learning-based contactless heart rate measurement methods | |
| van der Kooij et al. | An open-source remote heart rate imaging method with practical apparatus and algorithms | |
| JP7229996B2 (ja) | 流れを視覚化するための機械学習を使用したスペックルコントラスト分析 | |
| EP3057486B1 (en) | Automatic camera adjustment for remote photoplethysmography | |
| Schrumpf et al. | Assessment of deep learning based blood pressure prediction from PPG and rPPG signals | |
| Hasan et al. | SmartHeLP: Smartphone-based hemoglobin level prediction using an artificial neural network | |
| Al-Naji et al. | Remote sensing of physiological signs using a machine vision system | |
| Wang et al. | Detail-preserving pulse wave extraction from facial videos using consumer-level camera | |
| Lomaliza et al. | A highly efficient and reliable heart rate monitoring system using smartphone cameras | |
| CN108272449A (zh) | 非接触式的血压监测方法及*** | |
| Chari et al. | Diverse R-PPG: Camera-based heart rate estimation for diverse subject skin-tones and scenes | |
| Po et al. | Frame adaptive ROI for photoplethysmography signal extraction from fingertip video captured by smartphone | |
| Khanal et al. | A review on computer vision technology for physical exercise monitoring | |
| Lee et al. | Real-time realizable mobile imaging photoplethysmography | |
| WO2019187852A1 (ja) | モデル設定装置、非接触式血圧測定装置、モデル設定方法、モデル設定プログラム、および記録媒体 | |
| Ayesha et al. | A web application for experimenting and validating remote measurement of vital signs | |
| CN105796051B (zh) | 三维生理检测***及其操作方法 | |
| JPWO2020158804A1 (ja) | 血圧測定装置、モデル設定装置、および血圧測定方法 | |
| Lomaliza et al. | Improved peak detection technique for robust PPG-based heartrate monitoring system on smartphones | |
| Ayesha | ReViSe: An end-to-end framework for remote measurement of vital signs | |
| Floriano et al. | Remote vital sign monitoring in accidents | |
| Khanal et al. | Using Computer Vision to Track Facial Color Changes and Predict Heart Rate | |
| CN115666376A (zh) | 用于高血压监测的***和方法 | |
| van Putten et al. | From video to vital signs: using personal device cameras to measure pulse rate and predict blood pressure using explainable AI |