TWI548397B - 用以自特徵信號擷取資訊之裝置及方法 - Google Patents

用以自特徵信號擷取資訊之裝置及方法 Download PDF

Info

Publication number
TWI548397B
TWI548397B TW101100362A TW101100362A TWI548397B TW I548397 B TWI548397 B TW I548397B TW 101100362 A TW101100362 A TW 101100362A TW 101100362 A TW101100362 A TW 101100362A TW I548397 B TWI548397 B TW I548397B
Authority
TW
Taiwan
Prior art keywords
signal
indicator element
component
data stream
feature
Prior art date
Application number
TW101100362A
Other languages
English (en)
Other versions
TW201235010A (en
Inventor
李斯特 亞得藍 喬翰 凡
漢恩 傑拉德 迪
威廉 維庫吉塞
Original Assignee
皇家飛利浦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 皇家飛利浦電子股份有限公司 filed Critical 皇家飛利浦電子股份有限公司
Publication of TW201235010A publication Critical patent/TW201235010A/zh
Application granted granted Critical
Publication of TWI548397B publication Critical patent/TWI548397B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

用以自特徵信號擷取資訊之裝置及方法
本發明係關於一種用於自特徵信號擷取資訊的裝置及方法,其中該等特徵信號嵌入於一可獲自電磁輻射之資料串流中,詳言之,其中該資料串流包含一連續或離散信號,該信號包括指示至少一至少部分地週期型生命徵象之生理資訊。
WO 2010/100594 A2揭示用於處理生物之影像的方法及系統。該方法包含以下步驟:-獲得在連續時間點所拍攝之數位影像之序列;-選擇包含複數個影像點之至少一量測區,其中-選擇至少一量測區的步驟包括:基於該等影像中之至少一者中的複數個影像部分之像素資料來分析資訊,每一影像部分包括至少一影像點,及自被判定為具有類似特徵的相連部分來選擇每一量測區;及-針對每一量測區,獲得一信號以用於判定在該信號之頻譜中之至少一峰值的存在及頻率值中的至少一者,該信號表示在至少數個影像點處之像素值之組合的時變平均值的至少變化,該頻譜對應於一週期性生理現象之頻率。
此文件進一步揭示該方法之若干改進。一般而言,在影像處理之領域中,因為使得能夠對所記錄之資料進行深遠的分析,所以產生了巨大進步。在此背景中,可設想以一方式自所記錄之資訊擷取資訊以便使得能夠關於所觀測之 有生命個體的個性或甚至幸福得出詳細結論。
然而,由於所記錄之資料(諸如,所俘獲之反射或發射電磁輻射)(尤其係所記錄之影像圖框)除待自其擷取之所要信號之外亦總是包含獲自總干擾之另外信號分量(藉由實例,諸如歸因於改變之照度條件或所觀測之物體之移動的雜訊),因此對所要信號之詳細的準確擷取仍對處理此資料造成主要挑戰。
當干擾信號分量之振幅及/或標稱值遠大於待擷取之所要信號分量的振幅及/或標稱值時,此尤為適用。可能地,可預期各別分量之間的差之量值甚至包含若干級。
一種解決此挑戰之可能方法可針對在俘獲感興趣信號時提供經充分準備且穩定的周圍條件,其中所要信號分量經嵌入以便最小化上覆該信號之干擾信號分量。然而,不可將此等實驗室條件轉移至日常領域應用,此係因為將為此需要高的勞動強度及準備工作。
所需之準備可包含(藉由實例)安裝及定向若干標準光源,及此外,用於固定待觀測之物體的措施,以便避免對甚至更大之雜訊位準負責的干擾移動。
因此,本發明之一目標係提供用於自所偵測之特徵信號擷取資訊的一種系統及一種方法,其提供促進以更高之精確度獲得所要信號的進一步改進。
此外,提供甚至經調適成使得能夠在相當拙劣之周圍條件(例如,小的信雜比、變化之照度條件及/或待觀測之物 體之甚至不穩定移動的穩定)下擷取所要信號的系統將係有利的。
在本發明之第一態樣中,呈現一種用於自所偵測之特徵信號擷取資訊的系統,該系統包含:-一介面,其用於接收一可獲自藉由一物體所發射或反射之電磁輻射的資料串流,該資料串流包含一包括生理資訊之連續或離散特徵信號,該生理資訊表示至少一至少部分地週期型生命信號,-一擷取器構件,其用於自該資料串流擷取該生理資訊,該擷取器構件自該資料串流得到複數個特徵指標元素,該複數個特徵指標元素指示該生理資訊及一干擾信號分量,其中該複數個特徵指標元素與一表示該電磁輻射之特徵的信號空間相關聯,該信號空間包含具有指示一參考生理資訊之一設定定向的一預定指標元素,該預定指標元素可至少近似地藉由對各別參考值之一上游判定而判定,-一轉換器構件,其用於藉由將該複數個特徵指標元素投影至一獲自該複數個特徵指標元素之一給定定向及長度的干擾減少型指標元素來轉換該複數個特徵指標元素,該干擾減少型指標元素關於該干擾信號分量之一假設定向具有一相異定向,其中該干擾減少型指標元素係藉由在考慮該預定指標元素之該定向的情況下最佳化一表達式而判定。
本發明係基於以下領會:在旨在擷取所要生命信號時,一般而言,必須考慮拙劣之信雜比。牢記此一般比率,很可能假定感興趣之信號分量(即,特徵指標元素)一般包含 指示雜訊及其類似者之主要部分(即,干擾分量)及指示所要生命信號之可能非常小的部分(即,生理資訊)。由於干擾信號分量可受眾多干擾源影響,因此不可預先精確地預測其關於信號空間的位置及定向。然而,生理資訊在信號空間中的一般定向可至少近似地藉由與信號空間相關聯之預定指標元素來預定及體現。換言之,可藉由上游處理程序來判定生理資訊之僅僅預期的標稱定向(例如,軸或曲線)。另一方面,除小的所要部分之外,待偵測之信號亦包含主要干擾分量,該主要干擾分量之定向、位置及值係完全未知的。
在此背景中,歐洲專利申請案第09172337.9號(以與本發明相同之申請人的名義、在本申請案之優先權日期之前申請且在其之後公開)提出對所要信號之擷取的增強,此係因為本質上所偵測之表示所要信號及雜訊的總信號將投影至信號空間中之預定軸,藉此消除與此預定軸正交的雜訊。可以此方式在某種程度上改良信雜比。然而,作為另一改進,將需要藉由亦消除指示大體被定向成與預定軸或線平行之雜訊的信號分量來進一步增強此比率。
考慮可用之輸入變數及給定約束,應注意,似乎不太可能針對上文所概述之問題而提供僅基於旨在得出清楚及唯一結果的分析及類似方法的解。對比而言,本發明依賴於多變量統計方法以便達到近似解。不用說,亦考慮近似解以適當地改良信雜比,因此完全促進對所要生命信號之擷取。可以說,以一方式分析特徵信號以偵測若干特徵指標 元素之特徵圖案,該圖案指示上覆干擾信號分量之主要定向。在至少近似地判定主要干擾或雜訊定向後,可將特徵指標元素投影至與此所判定之主要定向正交的元素(即,所謂之干擾減少型指標元素),藉此消除與其正交之雜訊。因此,可達成雜訊減少及信號品質方面的很大改良。
存在擷取器構件及轉換器構件之若干實施例。在第一相當簡單的實施例中,藉由處理單元(詳言之,個人電腦之處理單元)來體現偵測器構件與轉換器構件兩者,該處理單元係藉由各別邏輯命令來驅動。此處理單元亦可包含合適之輸入及輸出介面。
然而,在替代例中,可藉由由各別命令所驅動或可由各別命令驅動的單獨處理單元來體現擷取器構件及轉換器構件中之每一者。因此,每一各別處理單元可適應於其特殊目的。因此,可應用任務之分配,其中在多處理器處理單元之單一處理器上處理(例如,執行)相異任務,或再次參考個人電腦,在影像處理器上執行與影像處理有關的任務,而在中央處理單元上執行其他操作任務。
根據用於擷取資訊之裝置的一較佳實施例,該裝置進一步包含一分析構件,該分析構件用於判定投影型指標元素的時間變化及用於偵測藉由生理資訊所表示之至少一至少部分地週期型生命信號。
又,可藉由由邏輯命令所驅動之處理單元來體現分析構件。為此,可利用單獨處理單元或為擷取器構件、轉換器構件及分析構件所共有的處理單元。可以說,藉由投影型 指標元素隨時間的過去之脈動來表示感興趣信號(至少一至少部分地週期型生命信號)。可將構成此脈動之基礎的特徵頻率視為高程度指示所要生命信號。
應注意,投影型指標元素仍大體不與預定指標元素確切地重合。此將僅在該複數個特徵指標元素之干擾信號分量之所判定的主要定向應與預定指標元素正交的狀況下發生。若此將適用,則該複數個特徵指標元素中之每一者至預定指標元素的業已純粹投影(在此狀況下,其與干擾減少型指標元素重合)將達到對至少一至少部分地週期型生命信號的完全準確判定。然而,即使預定指標元素與干擾減少型指標元素形成角(較佳為銳角),投影型指標元素(投影至干擾減少型指標元素)仍使得能夠至少在相當大的程度上精確地判定至少一至少部分地週期型生命信號,此係因為指示雜訊之干擾信號分量自其消除。倘若主要地將分析投影型指標元素之時間變化的頻率以便偵測感興趣信號,則在與預定指標元素對準時投影型指標元素的純粹長度(其不同於生理資訊之假定長度)並未導致頻率分析之錯誤或曲解的結果,此係因為構成時間脈動之基礎的頻率未受影響。
或者,呈現經進一步改進之裝置將係進一步有利的,此係因為投影型指標元素之振幅係藉由取決於干擾減少型指標元素與預定指標元素之間的角度的因數而被校正。
就此而論,根據該實施例之進一步改良,分析構件經進一步調適以補償投影型指標元素與具有設定定向之預定指 標元素之間的角偏移。
可藉由三角法計算來執行補償。以此方式,可將特徵指標元素精確地分為干擾信號分量及生理資訊,該生理資訊精確地表示感興趣之信號分量。換言之,生理資訊可幾乎完全自含雜訊型原始特徵指標元素還原。
根據用於擷取資訊之裝置的一較佳實施例,該複數個特徵指標元素為一組差值向量,其表示連續或離散特徵信號在信號空間中之時間變化。
就此而論,WO 2010/100594 A2及歐洲專利申請案第09172337.9號基本上例證用於偵測此等特徵指標元素之方法及裝置,及此外,用於分析獲自其之處理信號以便在原則上達到所要生命信號的方法及裝置。
根據甚至另一實施例,用於擷取資訊之裝置進一步包含一感測器構件,該感測器構件用於偵測在選自由以下各者組成之群之至少一特定波長範圍內的一電磁輻射:可見光、紅外光及紫外線輻射,該感測器構件可連接至該介面。
在替代例中,業已俘獲及儲存之資料可遞送至介面且藉由裝置處理。當觀測到生物(詳言之動物,或更特定言之人)時,可自所發射之輻射(例如,紅外光)及/或所反射之輻射(例如,可見光及紫外線輻射)的微小變化來得到生命信號。對於日常應用而言,應瞭解是否偵測到及分析實質上可見光。為此,除普通自然或人造光源外,在分析期間不需要另外輻射源及/或無需考慮另外輻射源。
可進一步發展此實施例,此係因為感測器構件包含一相機,該相機經調適以用於在選自由以下各者組成之群的信號空間內俘獲信號:RGB、sRGB、Rg色度、HSV、HSL、CMYK、YPbPr、YCbCr及xvYCC。
換言之,可將提供足夠色深之視訊攝影機(甚至所謂之網路攝影機)用於觀測感興趣之物體及記錄待分析之資料串流。不言而喻,亦可利用指定之信號空間類型之導數,諸如logRGB。可進一步設想至少部分地組合若干相異信號空間以便提供用於所需之分析處理程序的更廣光譜基礎。
在此背景中,作為一替代例,亦可設想包含可見光之波長範圍及紅外光之波長範圍的信號空間。以此方式,裝置可合適地適應變化之總條件(諸如,照度條件之更大改變,或甚至晝夜改變)。
根據本發明之另一實施例,可藉由對所偵測之複數個特徵指標元素取對數來進一步變換信號空間。換言之,亦可將藉由信號空間所表示之電磁輻射之光譜分量或特徵的標度轉換為對數標度。就此而言,可促進信號空間中之後續計算。此外,可偵測及處理輸入信號之值的一範圍之若干量值,同時仍使得能夠清楚地概述及理解其表示。
根據用於擷取資訊之裝置的甚至另一實施例,該至少一至少部分地週期型生命信號係選自由以下各者組成之群:心跳、呼吸速率及心率變化性。
不用說,應瞭解是否可藉由應用各別轉換及分析步驟而 將各別生命信號類型轉換為彼此。
指定之生命信號與血液循環有關,當記錄表示感興趣物體(例如,人)之指示性區域的影像序列時,血液循環可藉由感測器構件觀測到。當分析所記錄之資料串流時,可藉由所得到之複數個特徵指標元素來表示由所觀測之物體所發射或反射的電磁輻射之微小變化。然而,如上文所提及,除該等微小變化之外,干擾信號分量亦嵌入於該複數個特徵指標元素中。
根據用於擷取資訊之裝置的另一實施例,信號空間為一正規化色空間,其中藉由正規化處理程序來至少暫時地補償至少一自由度。
實務上,藉由實例,包含生理資訊之該複數個特徵指標元素的「脈動」可描述信號空間中之三維曲線。倘若可將該三維曲線轉換為二維曲線或甚至二維直線,則可在很大程度上簡化分析及計算。
在此背景中,在信號空間為正規化二維色空間之情況下係進一步較佳的,其中執行照度正規化及色彩正規化。
根據用於擷取資訊之裝置的甚至另一實施例,擷取器構件進一步包含一正規化構件,該正規化構件用於藉由正規化嵌入於資料串流中之實際照度值(藉由將原色之各別判定組合應用於資料串流之色彩表示性分量)及/或藉由正規化資料串流之色彩強度(藉由將資料串流之各別時間平均值應用於其色彩表示性分量之實際值)而將資料串流轉移至信號空間中。
根據用於擷取資訊之裝置的另一甚至進一步較佳實施例,分析構件進一步包含一濾波器構件,該濾波器構件用於對資料串流濾波及用於在一在0.2 Hz與10 Hz之間、較佳在0.5 Hz與3.5 Hz之間的頻寬下增強一信號分量。
以此方式,可自資料串流移除非指示所要生命信號之甚至另外干擾信號分量。在此背景中,應提及,可以單獨每一步驟的方式抑或以其兩個或三個步驟之任何組合的方式將照度正規化步驟、色彩正規化步驟及濾波步驟應用於資料串流。
根據用於擷取資訊之裝置的另一較佳實施例,轉換器構件經調適以用於藉由定義包含藉由擷取器構件所得到之一組特徵指標元素值的一資料集及藉由執行該資料集至一座標系統之一變換、較佳為實質上正交線性變換來判定干擾減少型指標元素,其中其佔優勢性分量與該座標系統之軸對準,且其中該佔優勢性分量與干擾減少型指標元素重合。
藉由將此統計分析應用於該複數個特徵指標元素,即使輸入資料及給定約束之缺乏阻礙分析解法,仍可判定干擾減少型指標元素。可進一步發展此實施例,此係因為干擾減少型指標元素係藉由在一時間間隔內最小化所投影之特徵指標元素的能量而判定。
根據另一實施例,藉由在一時間間隔中對該複數個特徵指標元素或其導數執行主要分量分析及藉由將由其產生之具有最小本徵值且與已知之預定指標元素顯著相關的元素 選擇作為干擾減少型指標元素來判定干擾減少型指標元素。
在替代例中,若應用加權函數以用於判定干擾減少型指標元素以便使該干擾減少型指標元素收斂至預定指標元素,則可為進一步有利的。
在本發明之另一態樣中,呈現一種用於自所偵測之特徵信號擷取資訊的方法,其包含以下步驟:-接收一可獲自藉由一物體所發射或反射之電磁輻射的資料串流,該資料串流包含一包括生理資訊之連續或離散特徵信號,該生理資訊表示至少一至少部分地週期型生命信號,-藉由自該資料串流得到複數個特徵指標元素而自該資料串流擷取該生理資訊,該複數個特徵指標元素指示該生理資訊及一干擾信號分量,其中該複數個特徵指標元素與一表示該電磁輻射之特徵的信號空間相關聯,該信號空間包含具有指示一參考生理資訊之一設定定向的一預定指標元素,該預定指標元素可至少近似地藉由對各別參考值之一上游判定而判定,-藉由將該複數個特徵指標元素投影至一獲自該複數個特徵指標元素之一給定定向及長度的干擾減少型指標元素來轉換該複數個特徵指標元素,該干擾減少型指標元素關於該干擾信號分量之一假設定向具有一相異定向,其中該干擾減少型指標元素係藉由在考慮該預定指標元素之該定向的情況下最佳化一表達式來判定。
有利地,可利用本發明之用於擷取資訊之裝置來執行該方法。
根據本發明之甚至另一態樣,呈現一種電腦程式,該電腦程式包含程式碼構件,該程式碼構件用於使得一電腦在該電腦程式執行於一電腦上時執行本發明之用於擷取資訊之方法的步驟。
在附屬技術方案中定義本發明之較佳實施例。應理解,所主張之方法具有與所主張之裝置類似及/或相同的且如在附屬技術方案中所定義的較佳實施例。
本發明之此等及其他態樣將自下文中所描述之實施例顯而易見且將參考下文中所描述之實施例來闡明。
最近,使用感測器(諸如,相機或遠端光學體積描記裝置)來對生命徵象(藉由實例,心跳、心率變化性及呼吸速率)進行不引人注目之監視已得到證實。基本上,基礎演算法追蹤由人(或一般地,生物)所發射或反射之平均信號(例如,所觀測之物體之皮膚的色彩或色調)。所俘獲之信號可隨時間的過去而隨血容量及血氧合而變化。然而,一般而言,此方法易受以下因素的影響:待觀測之物體的運動或感測器相對於相機的運動,進一步地,感興趣信號中之局部變化(例如,膚色);及照明度改變及/或光譜改變,其一般被懷疑不利地影響監視結果。換言之,待擷取之信號嵌入於具有拙劣(亦即,相當小)信雜比的所俘獲之信號中。
在此背景中,提出另外措施以藉由改良指示感興趣生命徵象之所嵌入之生命信號的強健性來增強自含雜訊型總信號擷取感興趣信號。當旨在分析所俘獲之影像圖框序列時,一般而言,此可藉由在一時間間隔中正規化平均膚色來達成,由此消除照明光譜之緩慢改變及歸因於運動而發生之平均膚色之緩慢改變的效應。此外,可藉由照明正規化調平藉此減小不穩定的周圍採光條件之影響來消除局部亮度變化的效應。
可以說,假定所偵測之信號(例如,膚色)在正規化色彩條件及正規化局部照明條件下隨時間的過去之剩餘變化至少在相當大的程度上反映感興趣生命信號之變化。當進一步將此預處理信號映射至信號空間時,該預處理信號可投影於其上,該信號空間包含被假設為至少近似地表示感興趣信號之假定範圍或定向的預定指標元素(例如,所謂之心跳軸)。以此方式,可消除仍然保留於預處理信號中的含雜訊型信號分量,其與預定元素正交。
當採用該方法以藉由實質上自隨時間的過去之膚色改變得到生命信號來評定該等生命信號時,必須考慮到,作為在此方面之主要挑戰,生物(詳言之,人)之皮膚係複雜光學層。實質上,皮膚係由薄的表面層、表皮及真皮(其為置放於表皮下的較厚層)構成。一般而言,皮膚之光反射發生於表皮表面處,其中僅小部分(例如,約近似5%)的入射光被反射。入射光之剩餘部分進入皮膚,其中其被吸收並在皮膚層內散射。換言之,表皮主要地吸收光;其具有 光學濾光片之性質,其中光取決於其波長及表皮中之黑色素濃度(亦即,皮膚之「色彩」)而被透射。光在真皮中進一步被散射且減弱為漫反射抑或吸收於真皮中,最有可能藉由血液或毛髮吸收。漫反射光含有信號,此係因為其強度係藉由血容量分數之週期性改變而暫時調變。吸收主要地取決於血液之含量及其成份(諸如,血色素、膽紅素及β胡蘿蔔素)。利用此等特徵,此係因為可應用影像處理方法來偵測膚色細節之小變化(例如,歸因於血液循環)。
就此而論,可設想藉由採用感測器構件(例如,相機)來執行生命信號偵測,該感測器構件對所觀測物體之被假定為高程度指示所要信號的區域拍攝影像。藉由實例,人的面頰可相當地表示隨時間的過去之血液循環及與其有關的生命信號。為此,可計算及分析感興趣區域之像素平均值以便判定信號的至少部分地週期型變化。可手動地或藉由執行著手於偵測具高程度代表性之皮膚區域的演算法來選擇感興趣區域。
不言而喻,亦可將業已記錄之所儲存資料(例如,影像序列或視訊資料)用作待分析之輸入資料,以便偵測其中之生命信號的存在。
原則上,可如下應用藉由視訊攝影機或遠端PPG進行之心跳偵測:皮膚中歸因於心跳的血容量變化引起皮膚之隨時間的過去之色彩變化。可相應地偵測及記錄各別皮膚區域。對影像圖框序列中表示皮膚區域的所選像素求平均值、偵測被求平均值之信號及隨時間的過去來追蹤其可產 生一信號形式(亦即,波形),可自該信號形式獲得心跳(或一般地,另一生命信號)。
然而,如上文所提及,此所謂之基本系統面臨以下挑戰:心跳並非所擷取之信號之變化的唯一原因。皮膚相對於相機(亦即,感測器構件)之微小移動及暫時照明改變可被視為可容易地超過純心跳信號之振幅若干數量級的雜訊之主要來源。
又,當藉由實質上自藉由相機所俘獲之隨時間的過去之膚色改變而得到生命信號來評定其時,可設想,對於已知之照明光譜、相機中之彩色濾光片的已知敏感性及皮膚之已知的彩色濾光效應而言,改良信雜比可為可行的,此係因為可預測感興趣之色彩改變依賴於色空間中的已知向量。藉由將所量測之信號投影於此向量上,有可能消除導致與此向量正交之雜訊的假影。
當進一步針對自被空間地求平均值之皮膚反射光或輻射擷取心跳信號時,應瞭解消除照明之時變光譜的效應,其可改變心跳信號在信號空間中之方向且一般而言可藉由在具有光譜不同之光源之環境中的運動或相對於彩色反射表面之運動引起。
此外,消除局部膚色之空間變化效應可為合乎需要的,此可由以下事實產生:並非總是相同之膚色位置被求平均值,又有可能藉由運動及由於某種原因不完美之膚色偵測誘發。
在陳述照明之時變光譜之後,可設想將藉由感測器構件 所使用之信號空間(例如,色空間)變換為正規化信號空間,在該正規化信號空間中,相對緩慢之色彩改變(原則上,其並非感興趣的)不具有效應。待在照度正規化之後、之前抑或與其一起執行的另一步驟係基於以下領會:待觀測之物體的複雜運動及/或相機相對於物體的複雜運動致使難以或甚至不可能追蹤感興趣像素區域之位置。由於更大之皮膚像素區域展現歸因於心跳及/或血氧合之色彩變化,因此可有利地僅追蹤歸因於運動等而具有可變組合物的所謂圖案之皮膚像素之平均值的改變。為此,儘管運動自身可引起亮度變化,但應進一步提出在對個別皮膚像素求平均值之前正規化其亮度。
又,不用說,可隨意地選擇該兩個步驟之次序且兩個選項促成改良之信雜比。
可藉由將所偵測之信號投影於至少近似地固定之預定指標元素(例如,以經驗方式判定之心跳向量)上及藉由將帶通濾波應用於所擷取之信號形式來進一步增強自經平均值正規化之皮膚像素的時間變化來擷取生命信號。此後處理利用感興趣生命信號之頻率大體處於已知頻率範圍內的事實。
兩個正規化步驟之另一優點係所得膚色像素最終應在很大程度上彼此類似,亦即,可容易地偵測及消除以信號形式保留(例如,歸因於不精確之初始膚色偵測)之離群值(例如,基於非人為假影)。
應注意,遍及此文件,向量及矩陣未必由連續文字部分 中之單獨向量箭頭表示。詳言之,應理解,熟習此項技術者知曉係敍述純量值抑或向量值。
藉由實例,可假定生物之皮膚中的血容量改變(例如,歸因於心跳)引起藉由皮膚所反射或發射之電磁輻射的色彩改變。顯然,顯而易見,可利用反射光以自其得到感興趣輸入資料。當藉由多光譜相機(例如,在RGB或類似之色空間,或一般地,信號空間的範圍中為敏感的)來檢視時,在位置x及時間t的所登記之色彩改變H c 受照明源=[R l (t)G l (t)B l (t)] T 之光譜、相機之原色濾光片=[F rc (t)F gc (t)F bc (t)] T 及覆蓋改變之血容量的皮膚之局部色彩的影響。可進一步假定,照明I l 之光譜在空間意義上實質上不變化,且局部膚色F s 暫時不變化,所要生命信號除外。
由於歸因於變化之生命信號(在本實例中,更精確而言,血容量)的所偵測之色彩改變H c 受影響且在某種程度上受到局部膚色與時變照明光譜I l 兩者的影響,因此必須著手乘法處理程序。因此,應瞭解是否為簡單性起見而應用一些正規化措施。
為此,在第一步驟中,可藉由用紅色值、綠色值及藍色值(例如,倘若應用RGB或類似之信號空間)之對應的時間平均值除色彩向量I c 之瞬時光譜分量(例如,RGB分量)來 正規化色空間: 其中,考慮本樣本判定,分別對應於感興趣區域中之平均紅色值、平均綠色值及平均藍色值(例如,皮膚像素X隨時間t的過去之圖案): 其中|X|對應於此感興趣區域X之面積。可如下判定此正規化色空間中歸因於感興趣生命信號(例如,心跳)的色彩改變H n (x,t) 至此程度,色彩改變H n (x,t)不受照明之時變光譜影響。
在可由表達式(其中t可取以下值t=0,1,2,...,n,且x對應於像素位置)中之額外下標d所表示的時間離散系統中,最 終可如下詮釋色彩正規化: 其中R c,d (x,t)G c,d (x,t)B c,d (x,t)對應於像素x在時間t的紅色值、綠色值及藍色值(例如,由各別影像圖框所表示)。值分別對應於各別所概述圖案(即,圖框t中之感興趣區域)之平均紅色值、平均綠色值及平均藍色值。此外,可藉由下式來近似此正規化色空間中歸因於心跳的色彩改變H n,d (x,t)
所例證之步驟可引起膚色像素之正規化中性(例如,灰色)色彩,其可被視為大體獨立於與心跳相比緩慢地變化的照明源光譜且獨立於藉由皮膚對血容量改變的濾波(亦即,獨立於對由血容量改變所誘發之反射光改變的濾波)。因此,可以說,可關於剩餘之含雜訊型總信號來增強感興趣生命信號。在此背景中,應注意,當將RGB值轉換至logRGB信號空間中時,可藉由減法來替代上文所概述之應用於RGB值的各別除法。
在可在以上步驟之後或之前的另一步驟中,可正規化照 明度以便消除一般而言可藉由待觀測之物體的運動及/或相機的運動或藉由照明條件之總改變所引起的其改變。藉由實例,給定膚色像素之照明度可歸因於運動而自一個影像改變至下一影像。此外,皮膚之局部透射率、反射率及吸收率(或一般地,光學性質)可出於若干原因而變化。由於再次歸因於運動效應並非總是相同之皮膚像素可被提取以用於產生平均值判定所基於之圖案,因此消除此等局部照明差異將係非常有利的。
為正規化振幅(亦即,為變得獨立於皮膚之變化之局部亮度位準及局部透射等級),設想用局部像素值之RGB分量的線性組合除該等局部像素值:
以此方式,可在很大程度上減小俘獲不同皮膚像素之效應及俘獲不同之後續影像圖框中的經不同地照明之皮膚像素的效應。為此,可假定所有原色以相同百分數受到上文所指定之差值的影響。因此,可使用RGB之每一線性組合且其可產生改良之結果。理論上,可將αβγ之最佳選擇視為引起所得正規化像素處於與正規化色空間中之心跳向量平行的平面中的其組合。實務上,事實上,亦可應用其他組合,但與最佳線性組合相比其產生心跳信號之由於某種原因而減小的振幅,但一般而言,不存在αβγ之實質上相反的值。
對藉由增強信雜比來改良信號擷取之強健性的另一進一 步貢獻係基於以下事實:在正規化信號空間(例如,色空間(諸如,RGB色空間))中,所俘獲之信號歸因於心跳及/或血氧合的變化(即,色彩變化)由於某種原因與所利用之信號空間中的曲線(例如,線或軸)相關聯。換言之,可假定,一般而言,感興趣信號係藉由沿指示該感興趣信號之所要波形的曲線或線的兩個點之間的脈動表示。可將此曲線或線指明為所謂之心跳線或軸,該心跳線或軸可至少近似地藉由經驗研究及/或分析方法來預定。
較佳地,可將所俘獲及經預處理之信號投影至心跳線或軸,藉此消除被定向成與此線正交的雜訊。倘若信號空間經正規化(詳言之,當剩餘信號空間為二維信號空間時),則亦可將預定曲線或線轉移至所得正規化信號空間中(例如,至平面中)。在此背景中,在考慮預定指標元素之給定定向的情況下將照度正規化應用於感興趣信號空間以便至少在某種程度上達到與預定指標元素對準的正規化信號空間將係另外有利的。以此方式,可執行待應用於預定指標元素之投影,從而避免相當大的信號損失,例如,歸因於原始預定指標元素與轉移至正規化信號空間之所得預定指標元素之間的大角度的過度壓縮。
根據另一實施例,設想將兩個正規化步驟及隨後之投影步驟應用於包含感興趣生命信號的所俘獲資料。在另一較佳實施例中,可將後續後處理步驟應用於自輸入資料所獲得之信號,該等後處理步驟包含(藉由實例)帶通濾波及/或傅立葉域分析以便達到對增強且相異之輸出信號的準確判 定(例如,在指示所要心率或頻率的波形下)。
然而,當將生命徵象指示性信號(無論是否經正規化)投影至預定指標元素(例如,所謂之心跳軸)時,主要地可消除被定向成與該預定指標元素正交之含雜訊型信號分量。然而,仍然,至少部分地被定向成與預定指標元素平行或對準的含雜訊型信號分量保留於信號中。如上文所提及,當評定嵌入於可獲自藉由物體所發射或反射之電磁輻射的所俘獲資料中之生命信號時,可預期雜訊指示性分量實質上大於指示生命信號的其另外分量。因此,即使當將針對預定指標元素之投影應用於各別信號時,所得經處理之改良信號(儘管具有改良之信雜比)可能仍備有主要指示雜訊的主要分量。
以一方式修改投影以便進一步改良信雜比將係進一步有利的,此係因為亦可消除或在某種程度上至少減少未被定向成與其將被最初投影至之預定指標元素正交的含雜訊型信號分量。
在此背景中,可設想針對特徵指標元素至干擾減少型指標元素之投影的改進。在失真(亦即,含雜訊型信號分量)不與預定指標元素(例如,已知之心跳線或軸)正交的情況下,當將特徵指標元素投影至以至少近似地與失真之主要定向正交的定向所配置的所謂之干擾減少型指標元素時,可甚至進一步改良信雜比。以此方式,實務上,倘若失真由於某種原因而被定向成平行於心跳軸,則可減少指定之失真,而同時感興趣信號、生理資訊(若完全)僅僅被壓縮 或拉伸(亦即,具有減小或擴大之振幅)。此外,當預定指標元素與干擾減少型指標元素之間的角度係已知的時,可判定及校正振幅損失。
換言之,此改進係基於以下領會:在將特徵指標元素投影至干擾減少型指標元素而非指示感興趣信號之定向的預定指標元素時,失真可在很大程度上消失,同時與生理資訊有關之所得信號僅僅將經歷可甚至被校正之某一振幅損失或改變。
在此背景中,參看圖1,說明用於擷取資訊之裝置且藉由參考數字10來表示該裝置。可將裝置10用於記錄表示物體11之影像圖框。該等影像圖框可獲自藉由物體11所發射或反射之電磁輻射14。物體11可為人或動物,或一般地生物。為自所記錄之資料(例如,影像圖框序列)擷取資訊,可藉由感測器構件16來偵測物體11之已定義部分。感測器構件16可(藉由實例)藉由相機來體現,該相機經調適以俘獲屬於電磁輻射14之至少一光譜分量的資訊。不言而喻,裝置10亦可經調適以處理預先業已被記錄且同時被儲存或緩衝的輸入信號(即,輸入資料串流)。如上文所指示,電磁輻射14可含有可高程度指示至少一至少部分地週期型生命信號12的連續或離散特徵信號13。在圖1中,生命信號12可允許得出關於心率、心率變化性或甚至呼吸速率的若干結論。
用於獲得此等生命信號之現有方法可包含(例如)觸覺心率監視或心電圖描記。然而,為此,需要引人注目之監 視。如上文所指示,一替代性方法係針對利用影像處理方法之非引人注目的遠端量測。
可將連續或離散特徵信號13自感測器構件16遞送至介面18。不用說,亦可將緩衝器構件介入於感測器構件16與介面18之間。在介面18之下游提供擷取器構件20,其經調適以自連續或離散特徵信號13擷取所要之生理資訊(仍嵌入於特徵指標元素中)。此外,可接著為轉換器構件22,其經調適以用於處理藉由擷取器構件20所得到之生理資訊。藉由擷取器構件20所擷取之預處理信號仍可包含大的雜訊指示性分量。就此而論,可應用轉換器構件22以用於隔離及增強來自遞送至其之總信號的指示感興趣生命信號12之所要信號分量。
在已擷取增強之信號分量後,可藉由分析構件24來執行對資料之進一步後處理。為此,後處理可包含頻寬濾波及/或傅立葉分析。可設想促成對感興趣之所要信號(例如,指示連續或離散特徵信號13中之頻率峰值的佔優勢性心跳)之甚至進一步改良偵測的另外後處理措施。
擷取器構件20、轉換器構件22及分析構件24可共同地藉由共同處理單元26(例如,具有單一處理器或多個處理器之中央處理單元)來體現。又,可在收容該等各別子組件之共同處理裝置28中將介面18連接至其。藉由實例,處理裝置28可藉由由各別邏輯命令所驅動之個人電腦來體現。倘若感測器構件16亦藉由硬體而共同地連接至介面18,則俘獲單元30可收容該等各別子組件。
然而,在替代例中,可設想將單獨感測器構件16與處理裝置28組合。此連接可藉由電纜鏈路或藉由無線鏈路來建立。包含預先記錄之資料的儲存構件亦可替代感測器構件16而連接至處理裝置28。
如上文所指示,擷取器構件20可經進一步調適以執行對所接收之資料的某一預處理,以便業已增強信雜比從而為著手於所要生命信號之後續分析作準備。可能之預處理步驟可為照度正規化,從而產生鑒於所表示之維度之數目(或可以說,光譜分量之數目或光譜多樣性)而由於某種原因被簡化的信號空間。藉由實例,可將所得信號空間稱為色度平面。就此而論,圖2描繪樣本信號空間36,可將照度正規化應用於信號空間36。基本信號空間36指示三個主要光譜分量38、40及42,例如,當利用RGB空間時可見光譜之紅色分量、綠色分量及藍色分量。
應理解,當感興趣信號為隨時間的過去而變化之信號(亦即,最後為至少一至少部分地週期型生命信號12)時,差值而非絕對值將被考慮用於評定嵌入於所俘獲信號中的生命資訊。藉由實例,當旨在自藉由物體11所反射之可見輻射擷取心率或其類似者時,可自所俘獲信號(亦即,影像序列)提取與色空間(亦即,信號空間36)相關聯之複數個特徵指標元素50。該等特徵指標元素50中之每一者可表示「實際」差值,此係因為主要地,歸因於至少一至少部分地週期型生命信號12之變化而變化的信號分量係感興趣的。為此,該等特徵指標元素50中之每一者可表示色空間 中經判定為在甚至接連時間點中之兩個相異時間點之間的色彩改變;在此方面,亦參考方程式(6)。
因此,應注意,原則上,信號空間36亦可包含指示光譜分量38、40及42之負值的另外象限或半空間。由於在信號空間36中表示差值,因此亦可出現負值。不用說,當考慮差值時,複數個特徵指標元素50中之每一者源自原點,亦參看圖5。藉由應用照度正規化(參考方程式(7)),可判定信號空間36中之子空間。在圖2中,色度平面或正規化信號空間係藉由參考數字44來指示。藉由照度正規化,可將各別信號分量轉移至色度平面或正規化信號空間44,藉此使得能夠進行其簡化分析。
進一步參看圖3、圖4及圖5,其中以平面圖來更詳細地說明色度平面或正規化信號空間44,可理解,可藉由正規化措施來減少構成自所俘獲資料來對生命信號進行所要擷取之基礎的問題之維度。換言之,再次參考可將特徵指標元素50中之每一者視為向量的事實,可在很大程度上減少規定向量所需之向量列值的數目。
圖2進一步顯示預定指標元素46,可將該預定指標元素46視為(例如)被假定表示預期之生命信號在信號空間36中之設定定向的所謂之心跳軸。較佳地,亦將預定指標元素46轉移至色度平面或正規化信號空間44。如上文所指示,可設想將特徵指標元素50投影至預定指標元素46,藉此達到信號分量56,參看圖3及圖4。然而,此分量(亦被稱為含雜訊型信號56)仍包含指示雜訊的分量,此係因為應用 於特徵指標元素50之投影僅僅消除與預定指標元素46正交的雜訊。此外,高程度表示至少一至少部分地週期型生命信號12的生理資訊係藉由參考數字48來表示。生理資訊48被假定與預定指標元素46重合。
根據上文所概述之方法,定義另一指標元素(所謂之干擾減少型指標元素64)將係進一步有利的,該指標元素具有獲自上覆資料串流中之所要信號的干擾雜訊分量之主要定向的定向。
然而,對此所要線或軸的判定提供另一挑戰。基本上,可將特徵指標元素50投影至預定指標元素46或投影至另外替代性元素(例如,信號空間36中之任何所要軸)。當將投影應用於偏離預定指標元素46之替代性元素時,必須預期感興趣信號(生理資訊48)之某一振幅損失。然而,如上文所提及,可藉由在考慮兩個元素之不同定向的情況下應用轉換因子來校正振幅損失。
圖3、圖4及圖5說明解決上文所概述之缺點的所提出方法。每一圖描繪藉由色度平面或正規化信號空間44所體現之正規化信號空間36'。參看圖3,例證一樣本實施例,即影像圖框中之心率信號的偵測。向量d對應於僅由心跳誘發之色差向量,或可以說,對應於所要之生理資訊48。向量v對應於歸因於失真或雜訊之色差;向量v亦可稱為藉由參考數字56所表示之干擾信號分量。向量s對應於所俘獲及擷取之特徵指標元素50,其可被視為向量dv(或分別為干擾信號分量56與所要之生理資訊48)之組合物。在圖3 中,假定失真由於某種原因而擴增至所要信號。不用說,原則上,可假設在正規化信號空間36'中向量之任何線性組合。此外,向量q對應於所謂之心跳軸,即可至少近似地以經驗方式判定之預定指標元素46。當僅將所量測之向量s投影於所謂之心跳軸q上時,可獲得對應於含雜訊型信號56之向量s q ,含雜訊型信號56仍含有被定向成平行於心跳軸q之雜訊分量。
換言之,向量s q (含雜訊型信號56)仍含有不合需要之失真向量v的一部分。失真向量v對應於所謂之干擾信號分量58,干擾信號分量58係大體未知的且因此不可用於自其立即得到所要之生理資訊48。可將特徵指標元素50視為干擾信號分量58與所要之生理資訊48的線性組合;在此方面,其亦被稱為藉由48'所表示之平行平移。然而,在初始狀態下,僅僅已知經特徵化之指標元素50的定向及長度與預定指標元素46之總定向(使得能夠近似理解生理資訊48之一般定向)。
然而,對比而言,當可將至完全未知之向量z(其被假設為近似與失真向量v正交)的投影應用於向量s時,可獲得向量d z 。向量z對應於藉由參考數字64所表示之所謂的干擾減少型指標元素,而向量d z 對應於藉由參考數字66所表示之投影型指標元素。基本上,向量d z 不含有值得提及之含雜訊型分量。向量d z 之長度與心跳差值向量d之長度成比例且因此高程度指示所要生命信號。可將向量z視為「動態」心跳軸,其定向根據向量v(即干擾信號分量58)之變化 而隨時間的過去變化。
對向量z(干擾減少型指標元素64)的判定建立主要挑戰,此係因為向量v之定向(向量z應與其正交)係完全未知的。為此,可將統計方法用於分析獲自隨時間的過去而俘獲之序列的複數個向量s(所謂之複數個特徵指標元素50)。圖5中說明此複數個特徵指標元素且藉由參考數字50、50'及50"來表示其。
為完整性起見,再次參看圖3及圖4,呈現另外元素。指示特徵指標元素50至預定指標元素46之投影從而產生信號分量56的投影線係藉由參考數字52來表示。不言而喻,預定指標元素46與投影線52形成直角54。
基本上,相同情況適用於指示特徵指標元素50至干擾減少型指標元素64之投影的投影線60,該特徵指標元素50與該干擾減少型指標元素64兩者形成基本上直角62。投影線60基本上平行於干擾信號分量58。因此,干擾信號分量58與干擾減少型指標元素64亦形成基本上直角68。然而,如下文中所呈現,倘若「僅僅」可執行對干擾減少型指標元素64之近似判定(其可甚至基於可能具有不同長度及定向之複數個特徵指標元素),則應注意,可將角68視為僅近似直角68。
倘若信號空間36為藉由二維「差異」色空間所表示之正規化信號空間36',則需要至少兩個特徵指標元素50來用於對干擾減少型指標元素64進行近似判定。然而,當藉由三維「差異」色空間來表示信號空間36時,需要至少三個特 徵指標元素50。由於特徵指標元素50中之每一者可歸因於總信號之變化而不同於其前任及/或其後任,因此所提出之方法不可同時針對判定確切地與所擷取之經特徵化之指標元素50中的每一者正交的干擾減少型指標元素64。
對比而言,假定與所要之生理資訊48相比干擾信號分量58係相當大的,可設想以一方式判定干擾減少型指標元素64以便獲得至少在某種程度上與預定指標元素46相關的「參考軸」。此外,當投影於干擾減少型指標元素64上時,該判定可進一步針對最小化特徵指標元素50之能量(即,投影型指標元素66)。
在如此進行時,所獲得之投影型指標元素66中之失真的影響被清楚地限制。然而,由於所判定之干擾減少型指標元素64與「原始」預定指標元素46相關,因此可獲自投影型指標元素66隨時間的過去之脈動的所獲得信號仍高程度指示所要生命信號(例如,心率)。又,不用說,所獲得之投影型指標元素66可在其投影至之向量z不與「原始」向量q(亦即,預定指標元素46)重合的狀況下被定標。就此而論,應注意,倘若干擾減少型指標元素64(對照向量z)隨時間的過去而變化,則在亦將應用時變標度因子之情況下係較佳的。
在下文中,依據數學符號而非參考數字(其在上文中亦用以表示各別元素)來描繪所要元素之樣本導出。然而,為目測起見,亦可參看圖3、圖4及圖5,其中圖3提供元素之某種「平移」。
藉由實例,當參考二維狀況時,可設想將複數個(由N所表示)差值列向量s T (對照特徵指標元素50)堆疊為N×2矩陣S。為找到具有(藉由實例)最小化所投影之差值向量Sz之能量的長度一的向量z,可考慮表達式∥Sz2=(Sz) T Sz=z T (S T S)z
遍及此文件,可藉由來表示向量之(歐幾里德)長度x R N x=[x 0 ,...,x N-1 ] T ,其中T表示轉置。
可藉由多變量統計方法(諸如,藉由利用主分量分析)來判定最小化上文所提供之表達式的向量z。最終,可假設被選擇之向量z等於矩陣s T s之本徵向量,該本徵向量係與最小本徵值相關聯。倘若所偵測之向量z不與心跳軸q正交,則達成一解。其他方面,在逐步處理程序中,可考慮s T s之與下一最小本徵值相關聯的本徵向量,等等。
可藉由將臨限值應用於所偵測之本徵值以便偵測解來進一步改良此方法,其中所偵測之向量z接近於與心跳軸q正交。就此而論,該改進解決可能導致相當大的標度因子應用於向量d z (倘若需要用於與其有關之振幅損失的校正時)的可能缺點。一般而言,標度因子可等於〈z,q-1,其係直接自〈z,q〉=∥z∥∥q∥cos φ=cos φ得出。基本上,補救方法將係應用該臨限值。倘若實際本徵值小於此臨限值,則可丟棄各別本徵向量且將考慮剩餘之本徵向量。
然而,避免該臨限值將係進一步有利的。事實上,當考慮(藉由實例)二維狀況時,若失真非常小或若失***要地被定向成沿著心跳軸q,則可將接近於與心跳軸q正交的本 徵向量視為最佳值。在彼狀況下,可將與心跳軸q高程度相關的向量視為良好選擇,此係因為在心跳軸q上區分所要信號(例如,心跳)與含雜訊型失真分量v係困難的。
另一挑戰可獲自以下事實:所呈現之本徵向量方法最有可能不提供閉合解(closed-form solution)。取決於相關聯之本徵值及與心跳軸q之相關而自本徵向量之集合來選擇最佳向量z。
將在下文中提出用於偵測最佳向量z(遍及此文件由所表示)的替代性方法。如上文所指示,在可偵測到閉合解之情況下將係較佳的,進一步較佳地,該閉合解包含與心跳軸q高程度相關的趨勢。
基本上,可藉由將加權函數〈z,q-1應用於所投影之差Sz來達成此解。可以一方式定義此加權函數以便在向量z接近完全與心跳軸q正交的定向時變大。最終,可達成具備保持遠離此狀態之趨勢的解。不言而喻,可使用看起來類似的其他加權函數。藉由實例,亦可使用加權函數1+c(1-〈z,q2)/〈z,q〉及π2/(π2-4c arccos2z,q〉),其中c為正常數。總言之,將需要找到具有最小化∥〈z,q-1 Sz2之長度一的向量z
在下文中,將詳細證實所得最小值具有基本上詮釋為=∥(S T S)-1 q-1(S T S)-1 q之閉合解。各別樣本導出與二維及三維狀況有關。又,應注意,(例如)當考慮照度正規化或類似預處理時,分析所應用於之信號空間可包含兩個、三個或甚至另外維度。可作出進一步假定,此係因為總是存在矩陣S T S之倒置形式。只要感興趣之差值向量s橫跨在考慮中之 完整信號空間(亦即,該等向量亦包含二維、三維或甚至另外維度中之分量),便可實現此條件。
藉由利用此方法,可判定最佳向量,若此向量z與心跳軸q之間的角度保持為相當小,則該最佳向量未顯著地偏離藉由本徵向量方法所找到之最佳向量。在此情況下,加權函數將接近於產生項∥〈z,q-1 Sz2 Sz2的加權函數。
然而,當所提及之角度(對照圖3中藉由參考數字70所表示的角φ)變得更大時,詳言之,當其接近90°(度)時,可預期在該兩種方法之間的偏離。在彼狀況下,藉由應用所提出之方法所判定的最佳向量亦變成與心跳向量q正交。儘管如此,實務上,此係非常不可能發生的,此係因為總是必須預期某一失真。
在另一進階實施例中,可設想藉由應用巴色伐能量定理,可在傅立葉域中改進最佳化。以此方式,可在最佳化期間選擇高程度指示感興趣生命信號之所要頻帶。
根據甚至進一步改進,可將帶通濾波應用於所獲得之信號形式。為此,較佳地,選擇或至少增強對應於心跳範圍之頻帶。藉由實例,感興趣頻率範圍可包含自40 BPM(每分鐘心跳)至210 BPM的範圍。以此方式,最佳向量未受在此感興趣範圍外部之雜訊的影響。
根據一實施例,在下文中導出二維解。在二維狀況下,最佳向量基本上詮釋為
其中向量q(考慮∥q∥=1)對應於(以經驗方式找到之)心跳軸 q。此外,N×2矩陣S包含對應於信號空間(例如,色度平面)中之平均差(例如,藉由複數個向量v所體現)的列。
該方程式可以矩陣形式重寫:
在此方程式中,可將矩陣S T S視為對稱性正(半)定矩陣,且可將其表達為S T S=EDE T ,其中矩陣E之行對應於本徵向量,且對角矩陣D之對角元素對應於矩陣S T S之本徵值:
藉由使用矩陣E之單式性質(亦即,E -1 =E T ),可注意下式:
此外,可應用代入y=E T zv=E T q,其產生詮釋為下式之中間結果
應注意,∥y∥=∥E T z∥=∥z∥=1及∥v∥=∥E T q∥=∥q∥=1,此係因為矩陣E為單式的。出於方便性,可使用以下標記法 其中λ 0 及λ1為矩陣S T S之本徵值。進一步尋找單位圓上之向量y的解,可因此依據極座標來書寫向量y(亦即,y 0 =cos φy 1 =sin φ)。藉由使用標記法(9)及極座標,依據角φ之中間結果(8)詮釋為
為針對給定向量v及本徵值λ 0 λ 1 來偵測此表達式C(φ)之最小值,可將此表達式關於角φ的第一導數計算為:
將此第一導數設定為等於零,該解係自下式得出λ 1 v 0 sin φ-λ 0 v 1 cos φ=0, (11)其限制條件為<y,v>=v 0 cos φ+v 1 sin φ0
可直接得出:角φ=φ s ,而tan φ s =λ 0 v 1 /λ 1 v 0 為解,且因此,最佳向量詮釋為
應注意 此係因為本徵值λ 0 0λ 1 0
倘若兩個本徵值等於零(若本徵值λ 0 =0v 0 =0,或若本徵值λ 1 =0v 1 =0),則必須執行另一考慮。
兩個本徵值等於零可僅為在矩陣S僅含有零或等效地在所有差為零的情況下的結果。實務上,此最有可能將永不發生。
當矩陣S中之所有差與心跳軸q重合或與心跳軸q正交時,將要發生第二或第三狀況。在此狀況下,與最大本徵值相關聯之本徵向量與心跳軸q重合,且與零本徵值相關聯之本徵向量與心跳軸q正交,或反之亦然。對於此等兩種狀況而言,中間結果(10)等於用於所有角φ之常數,且不存在最小值。換言之,單位圓上之所有向量z係同等地正確的。在此狀況下,完全不清楚在極限情況下獲得哪一向量。然而,實務上,歸因於差值向量s中之不可避免的雜訊,不可能發生等於零的一個本徵值。
對最佳向量之進一步考慮[見方程式(9)及(12)],及使用矩陣S T S之倒置形式的表達式 其中 揭露 其限制條件為所有本徵值大於零(亦即,存在矩陣S T S之倒置形式)。因此,可在不計算矩陣S T S之本徵向量及本徵值的情況下計算最佳向量
應注意,對於所有可能之心跳軸q而言
此係因為(S T S) -1 為正定矩陣。或者,換言之,向量總是在心跳軸q之正方向上被指引。此外,最佳向量之最小值等於
且最終,藉由使用巴色伐能量定理而達到 其中F為單式N×N傅立葉矩陣(亦即,F -1 =F )。或者,換言之,在傅立葉域中進行最佳化產生相同之最佳向量
此觀測產生最佳化改進,此係因為可在感興趣範圍中選擇矩陣FS之經傅立葉變換之行的頻率區間,例如,對應於自(藉由實例)40 BPM210 BPM之心跳範圍的頻率區間。以此方式,最佳值未受在感興趣範圍外部之頻率區間中之雜訊的影響。
或者,更正式地表達,可用N×N選擇矩陣R乘矩陣FS, 該選擇矩陣R為在對角線上具有零及一之對角矩陣以便達到最佳向量
其中=RF S
最終,最佳向量變成 其中S 對應於厄米特轉置矩陣S。應強調此表達式且可將其視為較佳之典雅實施例,此外,其實施本發明之裝置或方法係完全簡單的。
根據一替代性實施例,在下文中,導出三維解。在三維狀況下,感興趣之最佳向量詮釋為 其中向量q(其中∥q∥=1),且N×3矩陣S,其列對應於信號空間中(例如,RGB色空間中或甚至對數log RGB域中)的平均差。
中間結果之導出類似於在二維狀況下對中間結果之導出[見方程式(8)]:
然而,在三維狀況下,矩陣E之行含有三個本徵向量,且對角矩陣D之對角元素對應於3×3矩陣S T S之三個本徵值。
現在,利用以下標記法[對照方程式(9)] 其中λ 0 λ 1 λ 2 表示矩陣S T S之本徵值。在此狀況下,亦可考慮向量y之極座標(尤其係球形極座標),亦即,y 0 =cos θ sin φy 1 =sin θ sin φy 2 =cos φ。可依據此等極座標來表達中間結果(13)
此外,為判定此表達式之最小值,可計算關於角φθ之第一導數 其中c 0,θ =v 201+(λ01)cos 2θ),且c 1,θ =2λ2(v 0 cos θ+v 1 sin θ), (15)且 其中d 0,φ =-2v 12 cos2 φ0 sin2 φ)sin φ,d1,φ =2v 02 cos2 φ1 sin2 φ)sin φ,且d 2,φ =-2v 2 0 1 )cos φ sin 2 φ
在第一例項中,可更詳細地考慮關於φ之導數。將此第一導數設定為等於零,該解係自下式得出c 0,θ sin φ-c 1,θ cos φ=0,其限制條件為<y,v>=v 0 cos θ sin φ+v 1 sin θ sin φ+v 2 cos φ0
直接得出:角φ=φ s ,其中tan φ s =c 1,θ /c 0為解。將此解φ=φs代入關於θ之第一導數[見方程式(16)]中且藉由使用 可獲得以下方程式
用-2 c 1,θ 除且進一步假定c 1,θ 0,得出
代入c 0,θ c 1,θ 之值[見方程式(15)]且重新排列該表達式產生 2λ20 v 1 cos θ1 v 0 sin θ)(e 0+e 1 cos 2θ+e 2 sin 2θ)=0, (18)其中
自方程式(18),得出可獲得基本上兩個解1. λ0 v 1 cos θ-λ 1 v 0 sin θ=0;2. e 0 +e 1 cos 2 θ+e 2 sin 2 θ=0,或本徵值λ 2 =0,但將在下文考慮此狀況。
考慮所作之假定(<y,v>≠0c 1,θ 0),可詳述第一解法。最終,可證實,一般而言,實務上,第二方程式不產生具有實數之解。
第一表達式之解為θ=θ s ,其中tan θ s =λ 0 v 1 /λ 1 v 0 。對於此角θ s 而言,可利用以下恆等式 自其得出係數c 0,θs c 1,θs 變成[見方程式(15)]
此外,可將此等表達式用於係數c 0,θs c 1,θs ,且藉由在(17)中使用該等恆等式,可獲得三維狀況之最佳向量[對照方程式(12)中二維狀況下的解] 其中=det(D)D -1 。亦在此狀況下適用,此係因為本徵值λ 0 0λ 1 0λ 2 0
就此而論,當所有本徵值為零時(當λ 0 =v 0 =0λ 1 =v 1 =0時,或當λ 2 =v 2 =0時),可預期問題。然而,實務上,此不太可能出現。
此外,將證實,第二方程式e 0 +e 1 cos 2 θ+e 2 sin 2 θ=0實務上不產生具有實數的解。以下式來重寫此表達式
(其中arctan2對應於四象限反正切)直接產生以下解 其中k為整數。然而,若|e 0/|>1(或等效地,若),則此產生具有複角之解。在(12)中使用e 0 e 1 e 2 之表達式,吾人達到
其總是小於零,在至少兩個本徵值為零時或在v 2 =0時除外。然而,如上文所陳述,不太可能發生至少兩個本徵值等於零。
不可發生第二狀況v 2 =0。等式v 2 =0意謂<E 2 ,E T q>=0,其中E 2 對應於矩陣E之第三行中的本徵向量(或等效地,<EE 2 ,q>)。然而,此表達式等於q 2 0。因此,若存在在照度改變之方向上的心跳分量q 2 ,則永遠不出現v 2 =0
且最終,類似於二維狀況,最佳向量之閉合解詮釋為 其中最佳向量總是在心跳軸q之正方向上被指引 且其中最佳向量之最小值等於
最後,在頻率區間選擇之後所獲得的最佳向量變成
亦應強調此表達式且可將其視為一較佳典雅實施例,此外,其實施本發明之裝置或方法係完全簡單的。
在證實藉由本發明所涵蓋之若干替代性樣本方法後,參看圖6,其示意性地說明一種用於自特徵信號擷取資訊之方法。
最初,在步驟84中,接收輸入資料串流76a、76b、76c。可自感測器構件16或資料緩衝器或儲存構件來遞送資料串流76a、76b、76c。藉由實例,可藉由隨時間t的過去而變化之影像圖框序列來體現資料串流76a、76b、76c。
在後續步驟86中,可處理獲自輸入資料串流76a、76b、76c之感興趣信號且將其轉移至信號空間,藉此產生預處理資料串流78a、78b、78c。與此有關的處理可包含對物體(輸入資料串流76a、76b、76c係獲自該物體)之感興趣區域的偵測。此外,步驟86亦可包含輸入資料串流76a、76b、76c中所表示之物體之運動的補償。換言之,可隨時間的過去在輸入資料串流76a、76b、76c中追蹤指示所要資訊之感興趣區域。
隨後,可將色彩正規化88及/或照度正規化90應用於預處理資料串流78a、78b、78c。因此,可促進擷取所要資訊的問題,藉由實例,此係因為多維問題可轉移至具有如由經正規化之預處理資料串流80a、80b、80c所指示之更少維度的問題。如上文業已提及,色彩正規化88可在照度正規化90之前,且反之亦然。
在後續步驟92中,利用自資料串流所擷取之所俘獲信號來執行對干擾減少型指標元素的判定。如上文所提及,該 判定可包含多變量統計方法。此外,可在考慮預定指標元素(諸如,近似地判定之心跳軸)之定向的情況下偵測干擾減少型指標元素。
在另一後續步驟94中,將指示所要資訊之所偵測之特徵指標元素50、50'及50"投影至在步驟92中所判定之干擾減少型指標元素中的各別者,藉此至少在某種程度上消除特徵指標元素50、50'及50"之含雜訊型分量。以彼方式,可產生高程度指示所要資訊之資料串流82a、82b、82c。
在甚至另一後續步驟96中,自資料串流82a、82b及82c擷取所要資訊。換言之,分析及擷取所投影之特徵指標元素的時間脈動。另外,可將帶通濾波及/或傅立葉域分析應用於所擷取之資料,以便進一步增強含雜訊型資料中的所要資訊。可藉由具備振幅軸102及頻率軸104之座標系統來描繪帶通濾波。一信號形式被表示於其中,其一些區域(塊狀區108a、108b)被抑制或甚至消除,而剩餘頻寬106可得到增強。可設想將進一步分析應用於剩餘頻寬106中所含有之資料。在剩餘頻寬中,可判定表示所要資訊之佔優勢性頻率峰值110。最終,可使以此方式所修改之輸出信號在一輸出介面處可用且經散佈以供進一步使用。
藉由實例,可在健康護理之領域中應用本發明,例如,不引人注目之遠端患者監視、一般監督、安全監視及所謂之生活方式應用(諸如,健身器材或其類似者)。
為此,可設想擷取及遞送詳細之生命資訊(例如,心率、心率變化性或甚至呼吸速率)。另一方面,亦可遞送 獲自其之資訊(例如,生物之存在,或僅僅其圖片之存在)。
此外,應注意,可設想亦應用運動偵測或影像追蹤以用於監視感興趣之移動物體。為此,可判定感興趣圖案,例如,可在俘獲及後續處理期間追蹤的高程度指示性面部區域。在此狀況下,在對圖案層級而非整個影像圖框層級進行求平均值及正規化的情況下可為進一步較佳的。
儘管已在圖式及前述描述中詳細說明及描述了本發明,但此說明及描述將被視為說明性或例示性的而非限制性的;本發明並不限於所揭示之實施例。熟習此項技術者在實踐所主張之本發明時可自對圖式、揭示內容及附加申請專利範圍的研究來理解並實現所揭示之實施例的其他變化。
在申請專利範圍中,詞「包含」不排除其他元素或步驟,且不定冠詞「一」不排除複數。單一元素或其他單元可實現申請專利範圍中所敍述之若干項的功能。在相互不同之附屬技術方案中敍述某些措施的僅有事實並不指示不可有利地使用此等措施之組合。
電腦程式可儲存/散佈於合適之非暫時性媒體(諸如,與其他硬體一起供應或供應作為其他硬體之一部分的光學儲存媒體或固態媒體)上,但亦可以其他形式散佈(諸如,經由網際網路或者其他有線或無線電信系統)。
不應將申請專利範圍中之任何參考符號解釋為限制範疇。
10‧‧‧裝置
11‧‧‧物體
12‧‧‧至少一至少部分地週期型生命信號
13‧‧‧連續或離散特徵信號
14‧‧‧電磁輻射
16‧‧‧感測器構件
18‧‧‧介面
20‧‧‧擷取器構件
22‧‧‧轉換器構件
24‧‧‧分析構件
26‧‧‧共同處理單元
28‧‧‧共同處理裝置
30‧‧‧俘獲單元
36‧‧‧信號空間
36'‧‧‧正規化信號空間
38‧‧‧光譜分量/自由度
40‧‧‧光譜分量/自由度
42‧‧‧光譜分量/自由度
44‧‧‧色度平面或正規化信號空間
46‧‧‧預定指標元素
48‧‧‧生理資訊
48'‧‧‧平行平移
50‧‧‧特徵指標元素/經特徵化之指標元素
50'‧‧‧特徵指標元素
50"‧‧‧特徵指標元素
52‧‧‧投影線
54‧‧‧直角
56‧‧‧信號分量/含雜訊型信號/干擾信號分量
58‧‧‧干擾信號分量
60‧‧‧投影線
62‧‧‧基本上直角
64‧‧‧干擾減少型指標元素
66‧‧‧投影型指標元素
68‧‧‧基本上直角/僅近似直角
70‧‧‧角φ/角偏移
76a‧‧‧輸入資料串流
76b‧‧‧輸入資料串流
76c‧‧‧輸入資料串流
78a‧‧‧預處理資料串流
78b‧‧‧預處理資料串流
78c‧‧‧預處理資料串流
80a‧‧‧經正規化之預處理資料串流
80b‧‧‧經正規化之預處理資料串流
80c‧‧‧經正規化之預處理資料串流
82a‧‧‧資料串流
82b‧‧‧資料串流
82c‧‧‧資料串流
84‧‧‧步驟
86‧‧‧步驟
88‧‧‧色彩正規化
90‧‧‧照度正規化
92‧‧‧步驟
94‧‧‧步驟
96‧‧‧步驟
102‧‧‧振幅軸
104‧‧‧頻率軸
106‧‧‧剩餘頻寬
108a‧‧‧塊狀區
108b‧‧‧塊狀區
110‧‧‧佔優勢性頻率峰值
d‧‧‧向量
d z ‧‧‧向量
q‧‧‧向量
s‧‧‧向量
s q ‧‧‧向量
t‧‧‧時間
v‧‧‧向量
z‧‧‧向量
圖1展示可使用本發明之裝置之一般佈局的示意性說明,圖2展示信號空間之樣本示意性說明,可將正規化應用於該信號空間,圖3展示正規化信號空間之樣本示意性說明,預定指標元素及干擾減少型指標元素說明於該正規化信號空間中,圖4展示與圖3之信號空間相當之正規化信號空間的進一步示意性說明,圖5展示信號空間之甚至進一步示意性說明,其中說明複數個特徵指標元素,及圖6展示說明性方塊圖,其表示根據本發明之方法之一實施例的若干步驟。
36'‧‧‧正規化信號空間
44‧‧‧色度平面或正規化信號空間
46‧‧‧預定指標元素
48‧‧‧生理資訊
48'‧‧‧平行平移
50‧‧‧特徵指標元素/經特徵化之指標元素
56‧‧‧信號分量/含雜訊型信號/干擾信號分量
58‧‧‧干擾信號分量
64‧‧‧干擾減少型指標元素
66‧‧‧投影型指標元素
70‧‧‧角φ/角偏移
d‧‧‧向量
d z ‧‧‧向量
q‧‧‧向量
s‧‧‧向量
s q ‧‧‧向量
v‧‧‧向量
z‧‧‧向量

Claims (17)

  1. 一種用於自所偵測之特徵信號擷取資訊的不引人注目遠端監視(unobtrusive remote monitoring)裝置,其包含:一介面(18),其用於接收包含一影像圖框序列之一資料串流(76、78、80、82),該影像圖框序列可獲自藉由一物體(11)所發射或反射之電磁輻射(14),該影像圖框序列包含一包括生理資訊(48)之連續或離散特徵信號(13),該生理資訊(48)表示至少一至少部分地週期型生命信號(12),一擷取器構件(20),其用於自該資料串流(76、78、80、82)擷取該生理資訊(48),該擷取器構件(20)自該資料串流(76、78、80、82)獲得複數個特徵指標元素(50),該複數個特徵指標元素(50)指示該生理資訊(48)及一干擾信號分量(58),其中該複數個特徵指標元素(50)與一表示該電磁輻射(14)之特徵的信號空間(36)相關聯,該信號空間(36)包含具有指示一參考生理資訊之一設定定向(set orientation)的一預定指標元素(46),該預定指標元素(46)可至少近似地藉由對各別參考值之一上游判定(upstream determination)而判定,一轉換器構件(22),其用於藉由將該複數個特徵指標元素(50)投影至一獲自該複數個特徵指標元素(50)之一給定定向及長度的干擾減少型指標元素(64)來轉換該複數個特徵指標元素(50),該干擾減少型指標元素(64)關於該干擾信號分量(58)之一假設定向具有一相異定向, 其中該干擾減少型指標元素(64)係藉由在考慮該預定指標元素(46)之該定向的情況下最佳化一表達式而判定,及一感測器構件(16),其用於偵測在選自由可見光、紅外光及紫外線輻射所組成之群組之至少一特定波長範圍內的電磁輻射(14),該感測器構件(16)可連接至該介面(18),其中該感測器構件係一視訊攝影機。
  2. 如請求項1之裝置,其進一步包含一分析構件(24),該分析構件(24)用於判定投影型指標元素(66)之時間變化及用於偵測藉由該生理資訊(48)所表示之該至少一至少部分地週期型生命信號(12)。
  3. 如請求項2之裝置,其中該分析構件(24)經進一步調適以補償該投影型指標元素(66)與具有該設定定向之該預定指標元素(46)之間的一角偏移(70)。
  4. 如請求項1之裝置,其中該複數個特徵指標元素(50)為一組差值向量,其表示該連續或離散特徵信號(13)在該信號空間(36)中的時間變化。
  5. 如請求項1之裝置,其中該感測器構件(16)包含一相機,該相機經調適以用於在一選自由以下各者組成之群的信號空間(36)內俘獲一信號:RGB、sRGB、Rg色度、HSV、HSL、CMYK、YPbPr、YCbCr及xvYCC。
  6. 如請求項1之裝置,其中該至少一至少部分地週期型生命信號(12)係選自由以下各者組成之群:心跳、呼吸速率及心率變化性。
  7. 如請求項1之裝置,其中該信號空間(36)為一正規化色空 間,其中至少一自由度(38、40、42)係藉由一正規化處理程序來至少暫時地補償。
  8. 如請求項1之裝置,其中該擷取器構件(20)進一步包含一正規化構件,該正規化構件用於藉由以下步驟而將該資料串流(76、78、80、82)轉移至該信號空間(36)中:藉由將原色之一各別判定組合應用於該資料串流之色彩表示性分量來正規化嵌入於該資料串流(76、78、80、82)中的實際照度(luminance)值,及/或藉由將該資料串流之各別時間平均值應用於其色彩表示性分量之實際值來正規化該資料串流(76、78、80、82)的色彩強度。
  9. 如請求項2之裝置,其中該分析構件(24)進一步包含一濾波器構件,該濾波器構件用於對該資料串流(76、78、80、82)濾波且用於在一在0.2Hz與10Hz之間的頻寬下增強一信號分量(106)。
  10. 如請求項9之裝置,其中該頻寬係在0.5Hz與3.5Hz之間。
  11. 如請求項2之裝置,其進一步包含一處理單元(26),該處理單元(26)包含該擷取器構件(20)、該轉換器構件(22)及該分析構件(24)。
  12. 如請求項1之裝置,其中該轉換器構件(22)經調適以用於藉由定義包含藉由該擷取器構件(20)所獲得之一組特徵指標元素值的一資料集及藉由執行該資料集至一座標系統之一變換來判定該干擾減少型指標元素(64),其中其一佔優勢性(dominant)分量與該座標系統之一軸對準, 且其中該佔優勢性分量與該干擾減少型指標元素(64)重合。
  13. 如請求項1之裝置,其中該變換係一實質上正交線性變換。
  14. 如請求項12之裝置,其中一加權函數經應用以用於判定該干擾減少型指標元素(64),以便使該干擾減少型指標元素(64)收斂至該預定指標元素(46)。
  15. 如請求項1之裝置,其中該干擾減少型指標元素(64)對應至一向量z,其中該向量z係由多變量統計方法判定以最小化表達式∥Sz2=(Sz) T Sz=z T (S T S)z,其中一矩陣S包含複數個不同的列向量S T 之一堆疊,且其中一向量S對應至一特徵指標元素(50)。
  16. 一種用於自所偵測之特徵信號擷取資訊的不引人注目遠端監視方法,其包含以下步驟:接收包含一影像圖框序列之一資料串流(76、78、80、82),該影像圖框序列可獲自藉由一物體(11)所發射或反射之電磁輻射(14),該影像圖框序列包含一包括生理資訊(48)之連續或離散特徵信號(13),該生理資訊(48)表示至少一至少部分地週期型生命信號(12),其中該電磁輻射(14)係由一感測器構件(16)偵測,該感測器構件(16)用於偵測在選自由可見光、紅外光及紫外線輻射所組成之群組之至少一特定波長範圍內的電磁輻射(14),其中該感測器構件(16)可連接至該介面(18),且其中該感測器構件係一視訊攝影機, 藉由自該資料串流(76、78、80、82)獲得複數個特徵指標元素(50)而自該資料串流(76、78、80、82)擷取該生理資訊(48),該複數個特徵指標元素(50)指示該生理資訊(48)及一干擾信號分量(58),其中該複數個特徵指標元素(50)與一表示該電磁輻射(14)之特徵的信號空間(36)相關聯,該信號空間(36)包含具有指示一參考生理資訊之一設定定向的一預定指標元素(46),該預定指標元素(46)可至少近似地藉由對各別參考值之一上游判定而判定,藉由將該複數個特徵指標元素(50)投影至一獲自該複數個特徵指標元素(50)之一給定定向及長度的干擾減少型指標元素(64)來轉換該複數個特徵指標元素(50),該干擾減少型指標元素(64)關於該干擾信號分量(58)之一假設定向具有一相異定向,其中該干擾減少型指標元素(64)係藉由在考慮該預定指標元素(46)之該定向的情況下最佳化一表達式而判定。
  17. 一種包含程式碼構件之電腦程式產品,該程式碼構件用於使得一電腦在該電腦程式執行於一電腦上時執行如請求項16之方法的該等步驟。
TW101100362A 2011-01-05 2012-01-04 用以自特徵信號擷取資訊之裝置及方法 TWI548397B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP11150151 2011-01-05

Publications (2)

Publication Number Publication Date
TW201235010A TW201235010A (en) 2012-09-01
TWI548397B true TWI548397B (zh) 2016-09-11

Family

ID=45498067

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101100362A TWI548397B (zh) 2011-01-05 2012-01-04 用以自特徵信號擷取資訊之裝置及方法

Country Status (8)

Country Link
US (1) US9124777B2 (zh)
EP (1) EP2661219B1 (zh)
JP (1) JP5984841B2 (zh)
CN (1) CN103429144B (zh)
RU (1) RU2589389C2 (zh)
TR (1) TR201910715T4 (zh)
TW (1) TWI548397B (zh)
WO (1) WO2012093358A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI658815B (zh) * 2018-04-25 2019-05-11 國立交通大學 非接觸式心跳量測系統、非接觸式心跳量測方法以及非接觸式心跳量測裝置

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201114406D0 (en) 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
WO2013038326A1 (en) * 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
RU2602975C2 (ru) 2011-09-29 2016-11-20 Конинклейке Филипс Н.В. Обнаружение сигнала со сниженным искажением
US20150257659A1 (en) * 2012-10-23 2015-09-17 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a living being
CN104755018B (zh) * 2012-11-02 2017-05-24 皇家飞利浦有限公司 用于提取生理信息的设备和方法
BR112015012718A2 (pt) * 2012-12-04 2017-07-11 Koninklijke Philips Nv dispositivo para obter informações sobre sinais vitais de um ser vivo e método para obter informações sobre sinais vitais de um ser vivo
US20140267919A1 (en) * 2013-03-15 2014-09-18 Quanta Computer, Inc. Modifying a digital video signal to mask biological information
US9339210B2 (en) * 2013-05-08 2016-05-17 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject
WO2015055405A1 (en) * 2013-10-17 2015-04-23 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
JP6349075B2 (ja) 2013-11-22 2018-06-27 三星電子株式会社Samsung Electronics Co.,Ltd. 心拍数測定装置及び心拍数測定方法
CA2934659A1 (en) * 2013-12-19 2015-06-25 The Board Of Trustees Of The University Of Illinois System and methods for measuring physiological parameters
US20170014087A1 (en) * 2014-03-31 2017-01-19 Koninklijke Philips N.V. Device, system and method for determining vital signs of a subject
JP6114469B2 (ja) 2014-05-07 2017-04-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生理学的情報を抽出する装置、システム及び方法
WO2015185706A1 (en) 2014-06-06 2015-12-10 Koninklijke Philips N.V. Device, system and method for detecting apnoea of a subject
GB2528044B (en) 2014-07-04 2018-08-22 Arc Devices Ni Ltd Non-touch optical detection of vital signs
US8965090B1 (en) * 2014-07-06 2015-02-24 ARC Devices, Ltd Non-touch optical detection of vital signs
EP3206563B1 (en) * 2014-10-13 2018-05-09 Koninklijke Philips N.V. Device and method for detecting vital sign information of a subject
US9854973B2 (en) 2014-10-25 2018-01-02 ARC Devices, Ltd Hand-held medical-data capture-device interoperation with electronic medical record systems
KR101663239B1 (ko) * 2014-11-18 2016-10-06 상명대학교서울산학협력단 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템
JP6462594B2 (ja) * 2015-04-30 2019-01-30 オリンパス株式会社 撮像装置、画像処理装置および画像処理方法
US11253155B2 (en) * 2015-06-12 2022-02-22 Daikin Industries, Ltd. Brain activity estimation device
MY182294A (en) * 2015-06-16 2021-01-18 Eyeverify Inc Systems and methods for spoof detection and liveness analysis
US9782094B2 (en) * 2015-07-31 2017-10-10 Medtronic, Inc. Identifying ambiguous cardiac signals for electrophysiologic mapping
EP3859717A1 (en) * 2015-08-10 2021-08-04 Yoti Holding Limited Liveness detection
WO2017055218A1 (en) 2015-09-29 2017-04-06 Koninklijke Philips N.V. Device, system and method for extracting physiological information
US10413226B2 (en) 2015-11-09 2019-09-17 Arizona Board Of Regents On Behalf Of Arizona State University Noncontact monitoring of blood oxygen saturation using camera
EP3402402A1 (en) 2016-01-15 2018-11-21 Koninklijke Philips N.V. Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
JP6538287B2 (ja) 2016-02-08 2019-07-03 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 皮膚検出に対する装置、システム及び方法
CA2958010C (en) 2016-02-19 2021-09-07 Covidien Lp System and methods for video-based monitoring of vital signs
JP6899395B2 (ja) 2016-03-01 2021-07-07 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対象のバイタルサインを決定するデバイス、システム及び方法
GB201610594D0 (en) * 2016-06-17 2016-08-03 Ucl Business Plc Method and apparatus for estimating the value of a physical parameter in a biological tissue
CN109328031A (zh) 2016-06-24 2019-02-12 皇家飞利浦有限公司 用于生命体征检测的***和方法
US11229372B2 (en) * 2016-09-21 2022-01-25 Arizona Board of Regents on Behalf of Arizona State of University Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space
EP3531908B1 (en) * 2016-10-27 2023-03-15 Koninklijke Philips N.V. Device, method and computer program for obtaining a vital signal of a subject
KR102469358B1 (ko) * 2016-11-04 2022-11-18 이센티아 아이엔씨. 심전도 데이터를 컴퓨터로 구현하여 다루는 방법
JP6767247B2 (ja) * 2016-11-29 2020-10-14 株式会社日立製作所 生体情報検出装置及び生体情報検出方法
US10506926B2 (en) 2017-02-18 2019-12-17 Arc Devices Limited Multi-vital sign detector in an electronic medical records system
US10492684B2 (en) 2017-02-21 2019-12-03 Arc Devices Limited Multi-vital-sign smartphone system in an electronic medical records system
US10602987B2 (en) 2017-08-10 2020-03-31 Arc Devices Limited Multi-vital-sign smartphone system in an electronic medical records system
EP3479754A1 (en) 2017-11-01 2019-05-08 Koninklijke Philips N.V. Device, system and method for determining at least one vital sign of a subject
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
EP3485813A1 (en) 2017-11-16 2019-05-22 Koninklijke Philips N.V. System and method for sensing physiological parameters
AU2018400475B2 (en) 2018-01-08 2024-03-07 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
EP3517034A1 (en) 2018-01-24 2019-07-31 Koninklijke Philips N.V. Device, system and method for determining at least one vital sign of a subject
EP3545822A1 (en) 2018-03-27 2019-10-02 Koninklijke Philips N.V. Device, system and method for determining at least one vital sign of a subject
EP3545821A1 (en) 2018-03-27 2019-10-02 Koninklijke Philips N.V. Device, system and method for extracting physiological information indicative of at least one vital sign of a subject
US10485431B1 (en) 2018-05-21 2019-11-26 ARC Devices Ltd. Glucose multi-vital-sign system in an electronic medical records system
EP3581091A1 (en) 2018-06-12 2019-12-18 Koninklijke Philips N.V. System and method for determining at least one vital sign of a subject
EP3581092A1 (en) 2018-06-12 2019-12-18 Koninklijke Philips N.V. System and method for determining at least one vital sign of a subject
US11510584B2 (en) 2018-06-15 2022-11-29 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3583888A1 (en) * 2018-06-19 2019-12-25 Koninklijke Philips N.V. Device, system and method for image segmentation of an image of a scene including a subject
TWI743379B (zh) * 2018-07-18 2021-10-21 昇雷科技股份有限公司 生理徵象偵測系統之生理徵象訊號的偵測方法及生理徵象訊號之信心度的評估方法
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11224384B2 (en) * 2018-11-01 2022-01-18 Pixart Imaging Inc. Heart rate detection device and operating method thereof, physiological detection device
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
EP3698704A1 (en) 2019-02-20 2020-08-26 Koninklijke Philips N.V. Device, system and method for determining physiological information
IT201900004009A1 (it) * 2019-03-20 2020-09-20 Milano Politecnico Metodo e sistema per orientare segnali elettromagnetici emessi da dispositivi in movimento
US20220167863A1 (en) * 2019-03-27 2022-06-02 Nec Corporation Blood volume pulse signal detection apparatus, blood volume pulse signal detection apparatus method, and computer-readable storage medium
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
WO2021247300A1 (en) 2020-06-01 2021-12-09 Arc Devices Limited Apparatus and methods for measuring blood pressure and other vital signs via a finger

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226071A1 (en) * 2008-03-06 2009-09-10 Motorola, Inc. Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate
US20100179611A1 (en) * 2009-01-15 2010-07-15 O'brien Richard J Implantable medical device with adaptive signal processing and artifact cancellation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4166454A (en) 1977-02-17 1979-09-04 Robert Meijer Cardiac monitor
JPH09262213A (ja) 1996-03-28 1997-10-07 Toyota Central Res & Dev Lab Inc 生体情報検出装置
US6701170B2 (en) * 2001-11-02 2004-03-02 Nellcor Puritan Bennett Incorporated Blind source separation of pulse oximetry signals
JP4196209B2 (ja) * 2003-06-30 2008-12-17 日本光電工業株式会社 信号処理方法及びそれを適用したパルスフォトメータ
US10342558B2 (en) * 2003-09-30 2019-07-09 Koninklijke Philips N.V. Target tracking method and apparatus for radiation treatment planning and delivery
US8360986B2 (en) * 2006-06-30 2013-01-29 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
US8149273B2 (en) 2007-11-30 2012-04-03 Fuji Xerox Co., Ltd. System and methods for vital sign estimation from passive thermal video
US20090254603A1 (en) * 2008-04-03 2009-10-08 Alistair Duncan Access server for certifying and validating data in a processing network
CA2720871A1 (en) * 2008-04-03 2009-10-08 Kai Medical, Inc. Non-contact physiologic motion sensors and methods for use
US8542877B2 (en) 2009-03-06 2013-09-24 Koninklijke Philips N.V. Processing images of at least one living being
JP5209545B2 (ja) * 2009-03-09 2013-06-12 株式会社デンソー 生体検査装置、プログラム、及び記録媒体
RU91838U1 (ru) * 2009-08-10 2010-03-10 Федеральное агентство по науке и инновациям (Роснаука) Носимый телекоммуникационный комплекс мониторинга функционального состояния человека
US8666116B2 (en) 2009-10-06 2014-03-04 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226071A1 (en) * 2008-03-06 2009-09-10 Motorola, Inc. Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate
US20100179611A1 (en) * 2009-01-15 2010-07-15 O'brien Richard J Implantable medical device with adaptive signal processing and artifact cancellation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
U *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI658815B (zh) * 2018-04-25 2019-05-11 國立交通大學 非接觸式心跳量測系統、非接觸式心跳量測方法以及非接觸式心跳量測裝置
US10835135B2 (en) 2018-04-25 2020-11-17 National Chiao Tung University Non-contact heartbeat rate measurement system, method and apparatus thereof

Also Published As

Publication number Publication date
WO2012093358A1 (en) 2012-07-12
RU2013136484A (ru) 2015-02-10
RU2589389C2 (ru) 2016-07-10
JP5984841B2 (ja) 2016-09-06
TW201235010A (en) 2012-09-01
JP2014501594A (ja) 2014-01-23
CN103429144B (zh) 2016-04-27
CN103429144A (zh) 2013-12-04
US20130271591A1 (en) 2013-10-17
EP2661219A1 (en) 2013-11-13
TR201910715T4 (tr) 2019-08-21
US9124777B2 (en) 2015-09-01
EP2661219B1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
TWI548397B (zh) 用以自特徵信號擷取資訊之裝置及方法
US9480434B2 (en) Distortion reduced signal detection
JP6268182B2 (ja) 生理学的情報を抽出する装置及び方法
JP6138920B2 (ja) 遠隔検出される特性信号から情報を抽出するデバイス及び方法
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
US9241674B2 (en) Distortion reduced signal detection
US11712185B2 (en) Device, system and method for extracting physiological information indicative of at least one vital sign of a subject
WO2019145142A1 (en) Device, system and method for determining at least one vital sign of a subject
EP3422931A1 (en) Device, system and method for determining a vital sign of a subject
JP7539034B2 (ja) 酸素飽和度測定装置、携帯装置、及び、酸素飽和度測定プログラム
Imaduddin et al. A computationally efficient heart rate measurement system using video cameras
JP2022073152A (ja) 酸素飽和度測定装置、携帯装置、及び、酸素飽和度測定プログラム