TWI763435B - 生理資訊偵測裝置及生理資訊偵測方法 - Google Patents
生理資訊偵測裝置及生理資訊偵測方法 Download PDFInfo
- Publication number
- TWI763435B TWI763435B TW110113633A TW110113633A TWI763435B TW I763435 B TWI763435 B TW I763435B TW 110113633 A TW110113633 A TW 110113633A TW 110113633 A TW110113633 A TW 110113633A TW I763435 B TWI763435 B TW I763435B
- Authority
- TW
- Taiwan
- Prior art keywords
- physiological
- frequency
- conversion
- data
- detection
- Prior art date
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本發明提出一種生理資訊偵測方法,其用於藉由動態影像的變化來計算生理數值。該偵測方法自動態影像的灰階值取得偵測資料,並將偵測資料轉換為頻率資料。該偵測方法進一步包含判斷頻率資料是否滿足預設條件,並依此利用對應的轉換組合中的轉換模型將該頻率資料轉換為生理數值。本發明亦提出一種運用該偵測方法之生理資訊偵測裝置。
Description
本發明係關於一種生理資訊偵測裝置及生理資訊偵測方法;特別是關於一種利用動態影像來偵測生理數值的生理資訊偵測裝置及生理資訊偵測方法。
行車安全一直是人們致力完善的目標。近年來,隨著車用電子產品的發展,針對行車安全能夠提供給駕駛的輔助功能也越來越多元化。舉例而言,車道線偏移警示系統或倒車輔助影像等等,都是讓駕駛可以有效地掌握外界情況且進而提升行車安全的輔助功能。
然而,除了來自車輛本身或車外環境的因素以外,駕駛本身的生理狀態對於行車安全而言也是一項重要的因素。例如,眾所周知,疲勞駕駛一直是造成交通事故的主因之一。許多駕駛因工作需求需要長時間駕駛,且此除了長期下來會提高罹患疾病的機率以外,亦會增加駕駛過程中可能造成的失誤機率。另外,因突發疾病、老年退化等因素所造成的行車事故也一直是大家所關注的問題。因此,如何即時偵測駕駛的生理資訊如心跳數值,已成為目前各研究人員極力發展的主要課題之一。
解決問題之技術手段
為解決上述問題,本發明提供了一種生理資訊偵測裝置以及生理資訊偵測方法,其可以例如偵測待測者的生理資訊如生理數值,還可以降低環境因素所造成的雜訊。
根據本發明之一實施例,提出一種生理資訊偵測方法,用以偵測待測者的生理資訊,該偵測方法包括:偵測該待測者的動態影像,並自動態影像取得偵測資料,偵測資料包括多個依時間排序的資料段,每個該資料段為動態影像在不同時段中的灰階值;自偵測資料轉換取得多個頻率資料,每個該頻率資料包括其中一該資料段的頻率分布及頻率強度;當其中一該頻率資料滿足一預設條件時,以對應之轉換組合轉換該頻率資料,其中該轉換組合包括多個轉換模型,該些轉換模型各自對應至不同的轉換區間。其中該些轉換區間基於不同之前一刻所測得的生理數值所區分,且該偵測方法以前一刻所測得的生理數值所屬的轉換區間所對應的轉換模型轉換滿足預設條件的該頻率資料,以取得對應至該頻率資料的生理數值。
根據本發明之一實施例,其中根據測驗時間選用對應之轉換組合來轉換該頻率資料。所述測驗時間為滿足預設條件後的累計時間,且多個時間區間對應至不同之轉換組合,且其中選用對應之該轉換組合包含以該測驗時間所屬的時間區間來選用對應的轉換組合。
根據本發明之再一實施例,其中當為滿足預設條件後的累計時間之測驗時間落於特定範圍時,以前一刻所使用之轉換模型經修正後對頻率資料進行轉換以取得生理數值。
根據本發明之又一實施例,其中取得該偵測資料的步驟包括:在動態影像的每個影像幀決定一偵測區域,該偵測資料包括多個依時間排序的偵測值,且每個偵測值為其中一該影像幀的該偵測區域中的灰階值的線性組合。
根據本發明之另一實施例,其中偵測區域對應至待測者的臉部的預設區域。
根據本發明之再一實施例,其中取得該偵測資料的步驟進一步包括:將動態影像的每個影像幀中該偵測區域的灰階值加總後除以該偵測區域的面積以取得偵測值。
根據本發明之又一實施例,其中該生理數值是待測者的心率數值。
根據本發明之另一實施例,其中該資料段的頻率分布及頻率強度是以快速傅立葉轉換(Fast Fourier Transform)自資料段取得。
根據本發明之另一實施例,其中該預設條件為其中一該頻率資料的頻譜熵超過一熵閥值,且在其中一該頻率資料的該頻譜熵低於該熵閥值時,藉由將該頻率資料中頻率強度最大的頻率定為生理數值來取得生理數值。
根據本發明之再一實施例,其中當滿足預設條件後的累計時間之測驗時間小於第一預設時間時,輸入其中一該頻率資料中之前n強的頻率進入第一轉換組合,並根據前一刻所測得的生理數值選擇第一轉換組合中對應的轉換區間之轉換模型來轉換取得生理數值。其中,n可為30。
根據本發明之又一實施例,其中當滿足預設條件後的累計時間之測驗時間大於第一預設時間且小於第二預設時間時,輸入其中一該頻率資料中之前n強的頻率進入第二轉換組合,並根據前一刻所測得的生理數值選擇第二轉換組合中對應的轉換區間之轉換模型來轉換取得生理數值。其中,n可為30。
根據本發明之再一實施例,其中當滿足預設條件後的累計時間之測驗時間大於第二預設時間時,選用偵測方法開始時之一初始生理數值作為生理數值而輸出。
根據本發明之一實施例,其中該些轉換模型是預先在已知的至少一生理數值與已知的至少一頻率資料之間以類神經網路訓練而得。
根據本發明之一實施例,提出一種運用上述偵測方法來偵測待測者的生理資訊之生理資訊偵測裝置。
根據本發明之一實施例,提出一種生理資訊偵測裝置,用以偵測待測者的生理資訊,該偵測裝置包括:一影像擷取模組,偵測該待測者的動態影像;一頻率訊號轉換模組,自該動態影像取得偵測資料且自該偵測資料轉換取得多個頻率資料,其中該偵測資料包括多個依時間排序的資料段,每個該資料段為該動態影像在不同時段中的灰階值,且每個頻率資料包括其中一該資料段的頻率分布及頻率強度;以及一生理訊號轉換模組,儲存或能夠存取至少一轉換組合以及一初始生理數值。其中,生理訊號轉換模組判斷該些頻率資料是否滿足一預設條件,當其中一該頻率資料滿足該預設條件時,以對應的轉換組合轉換該頻率資料。其中該轉換組合包括多個轉換模型,該些轉換模型各自對應至不同的轉換區間,且該些轉換區間係基於不同之該初始生理數值或前一刻所測得的生理數值所區分。該生理訊號轉換模組以該初始生理數值或前一刻所測得的該生理數值所屬的轉換區間所對應的轉換模型轉換滿足預設條件的該頻率資料,以取得對應至該頻率資料的生理數值。
根據本發明之一實施例,生理訊號轉換模組根據測驗時間選用對應之轉換組合來轉換頻率資料。其中,測驗時間為滿足預設條件後的累計時間,且多個時間區間對應至不同之該轉換組合。生理訊號轉換模組可以測驗時間所屬的時間區間來選用對應的轉換組合。
根據本發明之另一實施例,當為滿足預設條件後的累計時間之測驗時間落於特定範圍時,生理訊號轉換模組可以前一刻所使用之轉換模型經修正後對頻率資料進行轉換以取得生理數值。
根據本發明之再一實施例,影像擷取模組在動態影像的每個影像幀決定偵測區域,且頻率訊號轉換模組所取得之偵測資料包括多個依時間排序的偵測值。每個偵測值為其中一影像幀的偵測區域中的灰階值的線性組合。
根據本發明之又一實施例,偵測區域對應至待測者的臉部的預設區域。
根據本發明之再一實施例,頻率訊號轉換模組可將動態影像的每個影像幀中偵測區域的灰階值加總後除以偵測區域的面積以取得偵測值。
根據本發明之另一實施例,生理數值是待測者的心率數值。
根據本發明之又一實施例,資料段的頻率分布以及頻率強度是頻率訊號轉換模組以快速傅立葉轉換(Fast Fourier Transform)自資料段取得。
根據本發明之另一實施例,預設條件為其中一頻率資料的頻譜熵超過熵閥值。在其中一頻率資料的頻譜熵低於熵閥值時,生理訊號轉換模組可藉由將頻率資料中頻率強度最大的頻率定為生理數值來取得生理數值。
根據本發明之又一實施例,當滿足預設條件後的累計時間之測驗時間小於第一預設時間時,生理訊號轉換模組輸入其中一頻率資料中之前30強的頻率進入第一轉換組合,並根據前一刻所測得的生理數值選擇第一轉換組合中對應的轉換區間之轉換模型來轉換取得生理數值。
根據本發明之再一實施例,當滿足預設條件後的累計時間之測驗時間大於第一預設時間且小於第二預設時間時,生理訊號轉換模組輸入其中一頻率資料中之前30強的頻率進入第二轉換組合,並根據前一刻所測得的生理數值選擇第二轉換組合中對應的轉換區間之轉換模型來轉換取得生理數值。
根據本發明之另一實施例,當滿足預設條件後的累計時間之測驗時間大於第二預設時間時,生理訊號轉換模組選用初始生理數值作為生理數值而輸出。
根據本發明之又一實施例,該些轉換模型是預先在已知的至少一生理數值與已知的至少一頻率資料之間以類神經網路訓練而得。
對照先前技術之功效
由上述可知,根據本發明之各實施例所提出的生理資訊偵測方法及/或生理資訊偵測裝置可以藉由不同轉換組合的不同轉換模型來自動態影像的灰階變化取得待測者的生理數值,從而降低環境雜訊的影響。因此,根據本發明之各實施例所提出的生理資訊偵測方法及/或生理資訊偵測裝置可改善自動態影像所測得的生理數值之準確度及穩定度。
下文中將描述各種實施例,且所屬技術領域中具有通常知識者在參照說明搭配圖式下,應可輕易理解本發明之精神與原則。然而,雖然在文中會具體說明一些特定實施例,這些實施例僅作為例示性,且於各方面而言皆非視為限制性或窮盡性意義。因此,對於所屬技術領域中具有通常知識者而言,在不脫離本發明之精神與原則下,對於本發明之各種變化及修改應為顯而易見且可輕易達成的。
本發明所提出的生理資訊偵測方法所施行的裝置或生理資訊偵測裝置可以例如是智慧型手機、平板電腦或筆記型電腦等可攜式電子裝置,亦可以例如是具有高效能的車用電腦、高效能飛機或其他交通工具用電腦等電子裝置。為了簡潔方便起見,下文中將主要藉由車用電腦作為示例來進行說明,且所屬技術領域中具有通常知識者應明瞭根據本發明之各實施例之生理資訊偵測方法及生理資訊偵測裝置並不限於此。
承上所述,圖1A是根據本發明之一實施例所提出的用以偵測待測者的生理資訊之生理資訊偵測裝置100的示意圖。請參照圖1A,生理資訊偵測裝置100包括影像擷取模組110、頻率訊號轉換模組120以及生理訊號轉換模組130。上述之頻率訊號轉換模組120以及生理訊號轉換模組130可例如是或包含有車用電腦的中央處理器(Central Processing Unit, CPU)或其他可進行計算處理之電子設備,而影像擷取模組110可為或包含有連接至車用電腦的攝像裝置,例如可以是感光耦合元件(Charge-Coupled Device, CCD)或互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor, CMOS)等感光元件,且本發明不限於此。另外,在一些實施例中,影像擷取模組110、頻率訊號轉換模組120以及生理訊號轉換模組130可能共同運用一或多個相同的計算器或處理單元,且本發明不限於此。
下文中將進一步基於生理資訊偵測裝置100來說明根據本發明之一實施例之生理資訊偵測方法。
承上,概略而言,進一步連同圖1A參照圖1B,根據本發明之一實施例,上述影像擷取模組110可用以偵測(例如擷取)待測者U的動態影像M,且動態影像M自影像擷取模組110傳遞輸入至頻率訊號轉換模組120(步驟S11)。接著,頻率訊號轉換模組120可自此動態影像取得偵測資料(步驟S12),並自該偵測資料藉由例如頻域轉換來轉換取得多個頻率資料(步驟S13)。最後,生理訊號轉換模組130再藉由對應之轉換模型或轉換模式轉換所述頻率資料以取得所需之生理數值(步驟S14)。
簡而言之,根據一實施例,可經由動態影像M的灰階值取得偵測資料後對其作頻域分析取得多個頻率資料,並判斷這些頻率資料是否滿足預設條件來取用對應之轉換模型來取得生理數值,其中預設條件例如是頻率資料是否達到預設混亂程度,且本發明可針對混亂的訊號進行調整以獲得適當的生理資訊。上述灰階值例如是將影像中的三原色數值(RGB值)以不同權重相加而得,例如可以是R*0.299+G*0.587+B*0.114,其中R為紅色數值、G為綠色數值、B為藍色數值,但本發明不限於此。在其他實施例中,亦可以視需求或影像特性來調整所取用的三原色數值或灰階強度值(例如為黑白影像時)。
根據本發明之一實施例,以下將進一步依序依照上述步驟詳細具體說明所提出的生理資訊偵測裝置及生理資訊偵測方法,其中上述生理數值以待測者的心率數值為例,但本發明不限於此。
請參照圖2A的流程圖,以下裝置部分會一併沿用上述圖1A的標示以便一併參照說明。承上,在取得偵測資料之前,可藉由影像擷取模組110擷取並輸入包括多個連續影像的動態影像M(步驟S21)。另外,根據本發明之一些實施例,影像擷取模組110還可以對這些影像作臉部偵測(步驟S22)。具體而言,請連同圖2A參照圖2B,影像擷取模組110可以對動態影像M中連續的靜態影像個別進行臉部偵測,以找出靜態影像中對應至待測者U的臉部的影像(步驟S22)。舉例而言,影像擷取模組110以臉部輪廓偵測找出待測者眼睛與嘴巴分別對應的位置P1、P2以及P3,從而偵測出臉部。接著,影像擷取模組110可選取感興趣的偵測區域A(步驟S23)。例如,感興趣的偵測區域A可為臉部的一預設區域如兩眼與嘴巴中間的範圍,以避免待測者在說話或眨眼時造成不需要的影像變化。另外,根據本發明之其他實施例,上述步驟S22及S23亦可藉由頻率訊號轉換模組120來執行,且本發明不限於此。
承上,藉由確定感興趣的偵測區域A,當動態影像M輸入至頻率訊號轉換模組120時,後續需要影像處理或運算的範圍可得以減縮。因此,可減少或免去頻率訊號轉換模組120需要對整個畫面的影像做影像處理或運算之工夫,進而減少整體的運算時間或消耗功率。
在一些實施例中,上述的臉部輪廓偵測可例如是利用Multi-task Cascaded Convolutional Network的架構,並搭配WIDER FACE臉部資料庫來提昇準確率。因為WIDER FACE臉部資料庫包括多個在實際場合拍攝的照片,包含了不同尺度、角度、動作、臉部裝飾以及光影變化等等,針對上述這些影像訓練除了可以藉由選取偵測區域A來減少整體的運算,同時還可以提昇臉部偵測的準確度,降低因光影變化所造成的誤判。
以上針對臉部偵測以及偵測區域的方法僅作為示例性的說明,並非用以限定本發明。在其他實施例中,亦可以使用其他臉部偵測或臉部輪廓偵測方法來處理這些影像,偵測區域A的選取更可以視需求以及系統的效能調整其大小以及形狀,且本發明不限於此。
接著,根據本發明之一實施例,生理資訊偵測方法及/或生理資訊偵測裝置100針對偵測區域A中的灰階值變化來進行時域生理數值之計算。因此,可以藉由時域生理數值之計算來降低不需要的訊號以及雜訊,以取得較佳及不失真的偵測資料。舉例而言,請參照圖3,動態影像M輸入至頻率訊號轉換模組120後,頻率訊號轉換模組120可基於偵測區域A隨時間計算並紀錄多個偵測值,其中偵測值可為灰階平均值(步驟S31),並從而獲得偵測資料(步驟S32)。
舉例而言,當生理數值為心率數值時,由於待測者U的靜態影像可自待測者U的皮膚的反射光以及散射光所形成。在待測者的血液在體內循環時,微血管的體積會隨時間變化,而經由皮膚吸收後所散射出的散射光會隨著微血管的體積而變化,進而使散射光可帶有待測者的心跳的資訊。與此相對,反射光是直接被人體皮膚所反射的光束,且其不會帶有跟心跳有關的資訊。其中,上述反射光的強度可能會大於上述散射光的強度。因此,根據本發明之一實施例,偵測值可以例如是頻率訊號轉換模組120由動態影像M的每個影像幀(亦即上述的靜態影像)中偵測區域A的灰階值加總後再除以偵測區域A的面積所算出之灰階平均值,以藉由平均來突顯散射光的變化(反映心率數值之變化)。
承上,在此實施例中,基於步驟S31所計算及紀錄的偵測值,在步驟S32中所取得的偵測資料可包括多個依時間排序的資料段,每個該資料段為動態影像M在不同時段中的灰階值。另外,在一些實施例中,偵測資料可包括多個依時間排序的偵測值,且每個偵測值為其中一該影像幀的偵測區域A中的灰階值的線性組合。
接著,在處理完時域偵測資料計算後,頻率訊號轉換模組120可進一步自計算完的偵測資料作頻域轉換。詳細而言,本實施例的頻率訊號轉換模組120可依序依照時間將偵測資料的多個資料段進行頻域轉換以取得頻率資料(步驟S33)。舉例而言,每個資料段例如包括512個處理完的偵測值,每個頻率資料為其中一個資料段中的頻率分布及頻率強度,例如為:舉例而言,每個資料段例如包括512個處理完的偵測值,每個頻率資料為其中一個資料段中的頻率分布及頻率強度,例如為:
其中k的數值為1到m,m為預設選取的頻率個數,t為1至T,T為預先設定的隨時間排列的資料段個數,為時域偵測資料段,為經頻域轉換後的頻率資料。
在一些實施例中,可利用快速傅立葉轉換(Fast Fourier Transform, FFT)將時域偵測訊號(偵測資料)轉為頻率資料來分析。例如,一資料段的頻率分布及頻率強度是以快速傅立葉轉換(Fast Fourier Transform)自該資料段取得,但本發明不限於此。在其他實施例中,時域偵測訊號(偵測資料)和頻率資料之間的轉換對於本發明所屬技術領域中具有通常知識者而言可視需求而利用不同的方式來轉換,且在此將不再贅述。
接著,參照圖4,本實施例的生理資訊偵測方法及生理資訊偵測裝置會根據頻率資料是否符合一預設條件來判斷是否進行後續的步驟。具體而言,生理訊號轉換模組130可判斷該些頻率資料是否滿足一預設條件,以預先判斷頻率資料的混亂程度是否有到達一個閥值(亦即所述的預設條件)。因為當待測者U在光線明亮且沒有光影變化的環境下擷取動態影像M時,由此動態影像M所取得的偵測資料及頻率資料較能直接反映出人的生理資訊如心率數值。然而,若頻率資料的混亂程度達到一個閥值時,代表待測者U四周的環境光線不足或光影變化較大,且由此動態影像M所取得的偵測資料及頻率資料容易失真,且需要進行後續的步驟來調整計算以取得生理數值如心率數值。
承上所述,根據本實施例的生理資訊偵測方法及/或生理資訊偵測裝置100可藉由上述的頻譜熵是否大於熵閥值來判斷頻率資料是否滿足預設條件(步驟S41):並可相應判斷結果來選擇對應的轉換組合或方式(步驟S42);再以對應的轉換組合中的轉換模型或對應的轉換方式來轉換頻率資料而取得生理數值(步驟S43)。
具體而言,參照圖5,以例如頻域轉換取得頻率資料後(步驟S33),可進行頻譜熵是否大於熵閥值,亦即頻率資料是否滿足一預設條件的判斷(步驟S500)。當頻率資料滿足預設條件(例如頻譜熵大於熵閥值)後開始計算滿足預設條件後的累計時間之測驗時間,並且根據所述測驗時間來選用對應之轉換組合來轉換頻率資料。根據一實施例,依據對應之轉換組合來轉換頻率資料包含:根據該轉換組合中的其中一轉換模型來轉換頻率資料而取得生理數值。
詳細而言,根據本發明之一實施例,滿足預設條件後的累計時間可分為多個時間區間,且多個時間區間對應至不同之轉換組合。根據本發明之生理資訊偵測方法及/或生理資訊偵測裝置100,選用對應之轉換組合可包含以測驗時間所屬的時間區間來選用對應的轉換組合。
另外,各該轉換組合可包括多個轉換模型,且該些轉換模型各自對應至不同的轉換區間。詳言之,該些轉換區間係基於不同之初始生理數值或前一刻所測得的生理數值所區分。亦即,在選用對應轉換組合後,可例如藉由生理訊號轉換模組130以先前的初始生理數值或前一刻所測得的生理數值所屬的轉換區間所對應的轉換模型轉換滿足預設條件的頻率資料,以取得對應至頻率資料的生理數值。
舉例而言,請參照下表一,其中例如有兩個轉換組合共包含20個轉換模型。第一轉換組合包含16個轉換模型D1至D16,第二轉換組合包含4個轉換模型H1至H4。選定轉換組合後,可根據前一刻所測得之生理數值(若前一刻沒有偵測,則以初始生理數值為準)來選擇對應的轉換模型來轉換頻率資料。例如,轉換模型D6就是在前一刻測得生理數值如心率區間落在70至75的強度值之情況下,用以轉換頻率資料並算出對應當下的生理數值之適用的轉換模型,且以下將搭配更詳細的流程圖來舉例說明。
表一
轉換模型 | 心率區間 | 轉換模型 | 心率區間 |
D1 | (0, 40) | D11 | (95, 100) |
D2 | (40, 50) | D12 | (100, 105) |
D3 | (50, 60) | D13 | (105, 110) |
D4 | (60, 65) | D14 | (110, 120) |
D5 | (65, 70) | D15 | (120, 130) |
D6 | (70, 75) | D16 | (130, 200) |
D7 | (75, 80) | H1 | (0, 50) |
D8 | (80, 85) | H2 | (50, 80) |
D9 | (85, 90) | H3 | (80, 110) |
D10 | (90, 95) | H4 | (110, 200) |
舉例而言,請參照圖5,當頻率資料的頻譜熵尚未超過熵閥值,亦即未滿足預設條件時(步驟S500),生理訊號轉換模組130可以對此頻率資料做進一步的倍頻濾除,並將測量時間歸零後以卡曼濾波(Kalman Filter)來平緩化輸出的生理數值,並進一步濾除雜訊。其中,經卡曼濾波後的生理數值就是輸出的生理數值(步驟S510),但本發明不限於此。例如,參照圖6,在步驟S510中,可藉由將該頻率資料中頻率強度最大的頻率直接定為生理數值來取得該生理數值。
詳細而言,如圖6所示,在步驟S600中,生理訊號轉換模組130可以先比較強度最大的兩個頻率的強度。當最大強度值沒有超過第二大強度值的一第一預設倍數(例如1.5倍)時(步驟S610),可直接將最大強度值的對應頻率定為生理數值。而當最大強度值超過第二大強度值的第一預設倍數(例如1.5倍)時(步驟S620),則可再進行另外的處理計算。例如,可比較最大強度值以及第二大強度值的正規化數值。其中,正規化數值為極大值的頻率強度除以全部頻率的頻率強度的總和。當第二大強度值的正規化數值的絕對值沒有超過最大強度值的正規化數值的絕對值的第二預設倍數時,則由最大強度值所對應的頻率定為生理數值。而當上述的第二大強度值的正規化數值的絕對值超過最大強度值的正規化數值的絕對值的第二預設倍數時,取得最大強度值以及第二大強度值所對應的二個頻率的基頻。接著,當最大強度值的頻率與基頻的差值超過第二大強度值的頻率與基頻的差值時,則由第二大強度值所對應的頻率取得初始生理數值;而當最大強度值的頻率與基頻的差值沒有超過第二大強度值的頻率與基頻的差值時,則由最大強度值所對應的頻率取得初始生理數值。然而,此些皆僅為示例,且本發明不限於此。
承上,在本發明的一實施例中,當上述頻率資料的頻率強度包括多個極大值時,生理訊號轉換模組130可比較數值最高的兩個極大值的數值;當最大的極大值沒有超過第二極大值的第一預設倍數時,則處理單元由最大極大值所對應的頻率取得初始生理數值。
接著回到圖5,當滿足預設條件後的累計時間之測驗時間小於第一預設時間時(步驟S520),可輸入其中一該頻率資料中之前n強的頻率(例如前30強)進入一第一轉換組合(步驟S521)。第一轉換組合包含多個轉換模型(如轉換模型D1至D16),且可根據前一刻所測得的該生理數值或初始生理數值來選擇第一轉換組合中對應的轉換區間之轉換模型,來轉換頻率資料而取得該生理數值(步驟S522)。
進一步,當滿足預設條件後的累計時間之測驗時間大於該第一預設時間且小於第二預設時間時(步驟S530),可輸入其中一該頻率資料中之前n強的頻率(例如前30強)進入一第二轉換組合(步驟S531)。第二轉換組合包含多個轉換模型(如轉換模型H1至H4),且可根據前一刻所測得的該生理數值或初始生理數值來選擇第二轉換組合中對應的轉換區間之轉換模型,來轉換頻率資料而取得該生理數值(步驟S532)。
所述轉換模型的選用,例如是當頻率資料達到預設條件之前所測得的生理數值或是前一刻所測得的生理數值為73時,則在頻率資料達到預設條件後且時間單位尚未超過第一預設時間之前是使用轉換模型D6來轉換頻率資料以取得生理數值,而時間單位超過第一預設時間且小於第二預設時間時則是使用轉換模型H2來轉換頻率資料以取得生理數值。
另外,當滿足預設條件後的累計時間之測驗時間大於第二預設時間時(步驟S530),可選用偵測方法開始時之初始生理數值(步驟S540)直接作為生理數值而輸出。
進一步,根據本發明之其他實施例,當為滿足預設條件後的累計時間之測驗時間落於一特定範圍時,可直接以前一刻所使用之轉換模型經修正後對頻率資料進行轉換以取得生理數值。
承上所述,根據本發明之各實施例之生理資訊偵測裝置及生理資訊偵測方法,可依據如上所述挑選適用的轉換模型或轉換方式,藉以針對時域調整轉換頻率資料之處理運算模式並依此輸出生理數值(步驟S550),從而獲取減少雜訊干擾之生理數值。
所述至少一轉換組合以及初始生理數值可儲存於生理訊號轉換模組130,或者至少可為生理訊號轉換模組130所存取。
在一些實施例中,可進一步對偵測資料進行帶通濾波,帶通濾波的範圍為正常人的生理數值範圍(如心跳頻率範圍),並可利用自相關函數來修正偵測資料。
另一方面,上文所述這些轉換模型,可例如是生理訊號轉換模組130預先在已知的至少一生理數值與已知的至少一頻率資料之間以類神經網路訓練而得。
舉例而言,在根據動態影像取得多個頻率資料時再同時取得多個依照時間排列的生理數值,將每個頻率資料及其對應的生理數值成對打散後同一轉化以相同的頻率單位表示(此處以赫茲Hz為例),再分別將這些頻率資料以及生理數值以例如為60%、20%、20%的比例分為訓練資料(training data)、泛化資料(generalization data)與驗證資料(validation data)。除輸入層與輸出層外,本實施例可例如以7層隱藏層作為網路架構,每層之神經元數目分別為30、20、10、10、10、20、30,且層與層間之神經元皆全數與彼此連接。
此外,類神經網路訓練的學習率(learning rate)例如設定為0.05,momentum設定為0.8,weight decay設定為0.001,最大疊代次數為1000,輸入與隱藏層之activation function 為分段線性之ReLU函數,輸出層之activation function為Purnlin函數,並將訓練資料以成長式輸入模型,growing size為5%,由5%訓練資料慢慢拓至100%訓練資料,待全部資料訓練完畢後再以驗證資料查看網路學習之效果。目標準確率設定為100%,並計算預測出來之生理數值與應該對應至生理數值之平均絕對誤差(Mean Absolute Error, MAE),若MAE在0.15 Hz內則判為成功,否則繼續進行訓練與權重調整,訓練完成後,將待測者之多個轉換模型存於生理訊號轉換模組130。
簡言之,在本發明的一些實施例中,上述的生理訊號轉換模組130所儲存或能夠存取的這些轉換模型是預先在訓練階段中取得。在訓練階段中,生理訊號轉換模組130連接頻率訊號轉換模組120,頻率訊號轉換模組120偵測待測者U的頻率數值,且生理訊號轉換模組130以來自頻率訊號轉換模組120的這些頻率數值和對應的真實生理數值以類神經網路訓練取得這些轉換模型。
由上述可知,經由已知生理數值如心率與已知頻率資料可以經由類神經網路推測出兩者的轉換關係。根據本發明之各實施例之生理資訊檢測裝置及生理資訊檢測方法,可根據頻率資料的混亂維持時間選擇適當的轉換組合,藉以在不同條件下的動態影像中維持較佳的偵測效果。
應注意的是,本發明並不限於生理訊號轉換模組130是否獨立取得這些轉換模型或是藉由其他處理單元所運算而得的轉換模型。換言之,當生理訊號轉換模組130例如是車用高效能電腦時,生理訊號轉換模組130可以定期對待測者以上述的類神經網路訓練方式取得這些轉換模型。但當生理訊號轉換模組130例如是智慧型電話的中央處理器時,這些轉換模型可以是由其他電子裝置的中央處理器運算後,再儲存於此生理訊號轉換模組130或被此生理訊號轉換模組130所存取,且本發明並不限於此。
綜上所述,由於本發明之各實施例之生理資訊偵測裝置以及生理資訊偵測方法可以分析動態影響中灰階變化的頻率,並根據頻率資料來判別動態影像的混亂程度,同時在混亂程度達到一個閥值時以不同轉換組合的轉換模型來轉換頻率資料(其中,轉換模型的選用來自初始生理數值或是前一刻的生理數值)。因此,可以改善所偵測之生理數值的準確率,減少或避免生理數值在不同環境條件下所受到之影響。
上文中所述僅為本發明之一些較佳實施例。應注意的是,在不脫離本發明之精神與原則下,本發明可進行各種變化及修改。所屬技術領域中具有通常知識者應明瞭的是,本發明由所附申請專利範圍所界定,且在符合本發明之意旨下,各種可能置換、組合、修飾及轉用等變化皆不超出本發明由所附申請專利範圍所界定之範疇。
100:偵測裝置
110:影像擷取模組
120:頻率訊號轉換模組
130:生理訊號轉換模組
M:動態影像
U:待測者
P1、P2、P3:位置
A:偵測區域
S11-S14:步驟
S21-S23:步驟
S31-S33:步驟
S41-S43:步驟
S500、S510、S520、S521、S522、S530、S531、S532、S540、S550:步驟
S600、S610、S620:步驟
圖1A是根據本發明之一實施例的生理資訊偵測裝置的示意圖;
圖1B是根據本發明之一實施例的生理資訊偵測方法的流程示意圖;
圖2A是根據本發明之一實施例的進行偵測的流程示意圖;
圖2B是根據本發明之一實施例的選取偵測區域的示意圖;
圖3是根據本發明之一實施例的轉換偵測資料為頻率資料的流程示意圖;
圖4是根據本發明之一實施例自頻率資料取得生理數值的概要流程示意圖;
圖5是根據本發明之一實施例自頻率資料取得生理數值的詳細流程示意圖;
圖6是根據本發明之一實施例在頻譜熵低於熵閥值時取得生理數值的流程示意圖。
無
S11、S12、S13、S14:步驟
Claims (26)
- 一種生理資訊偵測方法,用以偵測一待測者的生理資訊,該偵測方法包括: 偵測該待測者的一動態影像,並自該動態影像取得偵測資料,該偵測資料包括多個依時間排序的資料段,每個該資料段為該動態影像在不同時段中的灰階值; 自該偵測資料轉換取得多個頻率資料,每個該頻率資料包括其中一該資料段的頻率分布及頻率強度; 當其中一該頻率資料滿足一預設條件時,以對應之一轉換組合轉換該頻率資料,其中該轉換組合包括多個轉換模型,該些轉換模型各自對應至不同的轉換區間,其中該些轉換區間基於不同之前一刻所測得的生理數值所區分,且該偵測方法以前一刻所測得的該生理數值所屬的該轉換區間所對應的該轉換模型轉換滿足該預設條件的該頻率資料,以取得對應至該頻率資料的生理數值, 且其中,該預設條件為該頻率資料達到一預設亂度, 且其中,該預設條件為: 其中一該頻率資料的頻譜熵超過一熵閥值,且該頻譜熵滿足下列方程式:其中PSE為該頻譜熵,該頻率資料中的頻率值。
- 如申請專利範圍第1項所述的偵測方法,其中根據一測驗時間選用對應之該轉換組合來轉換該頻率資料,其中, 該測驗時間為滿足該預設條件後的累計時間,且多個時間區間對應至不同之該轉換組合,且其中, 選用對應之該轉換組合包含以該測驗時間所屬的時間區間來選用對應的該轉換組合。
- 如申請專利範圍第1項所述的偵測方法,其中當為滿足該預設條件後的累計時間之一測驗時間落於一特定範圍時,以該前一刻所使用之轉換模型經修正後對該頻率資料進行轉換以取得該生理數值。
- 如申請專利範圍第1項所述的偵測方法,其中取得該偵測資料的步驟包括: 在該動態影像的每個影像幀決定一偵測區域,該偵測資料包括多個依時間排序的偵測值,且每個該偵測值為其中一該影像幀的該偵測區域中的灰階值的線性組合。
- 如申請專利範圍第4項所述的偵測方法,其中該偵測區域對應至該待測者的臉部的一預設區域。
- 如申請專利範圍第4項所述的偵測方法,其中取得該偵測資料的步驟進一步包括: 將該動態影像的每個影像幀中該偵測區域的灰階值加總後除以該偵測區域的面積以取得一偵測值。
- 如申請專利範圍第1項所述的偵測方法,其中該生理數值是該待測者的心率數值。
- 如申請專利範圍第1項所述的偵測方法,其中該資料段的頻率分布以及頻率強度是以快速傅立葉轉換(Fast Fourier Transform)自該資料段取得。
- 如申請專利範圍第1項所述的偵測方法,其中在其中一該頻率資料的該頻譜熵低於該熵閥值時,藉由將該頻率資料中頻率強度最大的頻率定為該生理數值來取得該生理數值。
- 如申請專利範圍第1項所述的偵測方法,其中當滿足該預設條件後的累計時間之測驗時間小於一第一預設時間時,輸入其中一該頻率資料中之前30強的頻率進入一第一轉換組合,並根據前一刻所測得的該生理數值選擇該第一轉換組合中對應的轉換區間之轉換模型來轉換取得該生理數值。
- 如申請專利範圍第10項所述的偵測方法,其中當滿足該預設條件後的累計時間之測驗時間大於該第一預設時間且小於一第二預設時間時,輸入其中一該頻率資料中之前30強的頻率進入一第二轉換組合,並根據前一刻所測得的該生理數值選擇該第二轉換組合中對應的轉換區間之轉換模型來轉換取得該生理數值。
- 如申請專利範圍第11項所述的偵測方法,其中當滿足該預設條件後的累計時間之測驗時間大於該第二預設時間時,選用該偵測方法開始時之一初始生理數值作為生理數值而輸出。
- 如申請專利範圍第1項所述的偵測方法,其中該些轉換模型是預先在已知的至少一生理數值與已知的至少一頻率資料之間以類神經網路訓練而得。
- 一種生理資訊偵測裝置,用以偵測一待測者的生理資訊,該偵測裝置包括: 一影像擷取模組,偵測該待測者的一動態影像; 一頻率訊號轉換模組,自該動態影像取得一偵測資料且自該偵測資料轉換取得多個頻率資料,其中,該偵測資料包括多個依時間排序的資料段,每個該資料段為該動態影像在不同時段中的灰階值,且每個該頻率資料包括其中一該資料段的頻率分布及頻率強度;以及 一生理訊號轉換模組,儲存或能夠存取至少一轉換組合以及一初始生理數值,且其中, 該生理訊號轉換模組判斷該些頻率資料是否滿足一預設條件,當其中一該頻率資料滿足該預設條件時,以對應的轉換組合轉換該頻率資料,其中該轉換組合包括多個轉換模型,該些轉換模型各自對應至不同的轉換區間,該些轉換區間係基於不同之該初始生理數值或前一刻所測得的生理數值所區分,且該生理訊號轉換模組以該初始生理數值或前一刻所測得的該生理數值所屬的該轉換區間所對應的該轉換模型轉換滿足該預設條件的該頻率資料,以取得對應至該頻率資料的生理數值, 且其中,該預設條件為該頻率資料達到一預設亂度, 且其中該預設條件為: 其中一該頻率資料的頻譜熵超過一熵閥值,且該頻譜熵滿足下列方程式:其中PSE為該頻譜熵,該頻率資料中的頻率值。
- 如申請專利範圍第14項所述的生理資訊偵測裝置,其中該生理訊號轉換模組根據一測驗時間選用對應之該轉換組合來轉換該頻率資料,其中, 該測驗時間為滿足該預設條件後的累計時間,且多個時間區間對應至不同之該轉換組合,且其中, 該生理訊號轉換模組以該測驗時間所屬的時間區間來選用對應的該轉換組合。
- 如申請專利範圍第14項所述的生理資訊偵測裝置,其中當為滿足該預設條件後的累計時間之一測驗時間落於一特定範圍時,該生理訊號轉換模組以該前一刻所使用之轉換模型經修正後對該頻率資料進行轉換以取得該生理數值。
- 如申請專利範圍第14項所述的生理資訊偵測裝置,其中: 該影像擷取模組在該動態影像的每個影像幀決定一偵測區域,且 該頻率訊號轉換模組所取得之該偵測資料包括多個依時間排序的偵測值,且每個該偵測值為其中一該影像幀的該偵測區域中的灰階值的線性組合。
- 如申請專利範圍第17項所述的生理資訊偵測裝置,其中該偵測區域對應至該待測者的臉部的一預設區域。
- 如申請專利範圍第17項所述的生理資訊偵測裝置,其中該頻率訊號轉換模組將該動態影像的每個影像幀中該偵測區域的灰階值加總後除以該偵測區域的面積以取得一偵測值。
- 如申請專利範圍第14項所述的生理資訊偵測裝置,其中該生理數值是該待測者的心率數值。
- 如申請專利範圍第14項所述的生理資訊偵測裝置,其中該資料段的頻率分布以及頻率強度是該頻率訊號轉換模組以快速傅立葉轉換(Fast Fourier Transform)自該資料段取得。
- 如申請專利範圍第14項所述的生理資訊偵測裝置,其中在其中一該頻率資料的該頻譜熵低於該熵閥值時,該生理訊號轉換模組藉由將該頻率資料中頻率強度最大的頻率定為該生理數值來取得該生理數值。
- 如申請專利範圍第14項所述的生理資訊偵測裝置,其中當滿足該預設條件後的累計時間之測驗時間小於一第一預設時間時,該生理訊號轉換模組輸入其中一該頻率資料中之前30強的頻率進入一第一轉換組合,並根據前一刻所測得的該生理數值選擇該第一轉換組合中對應的轉換區間之轉換模型來轉換取得該生理數值。
- 如申請專利範圍第23項所述的生理資訊偵測裝置,其中當滿足該預設條件後的累計時間之測驗時間大於該第一預設時間且小於一第二預設時間時,該生理訊號轉換模組輸入其中一該頻率資料中之前30強的頻率進入一第二轉換組合,並根據前一刻所測得的該生理數值選擇該第二轉換組合中對應的轉換區間之轉換模型來轉換取得該生理數值。
- 如申請專利範圍第24項所述的生理資訊偵測裝置,其中當滿足該預設條件後的累計時間之測驗時間大於該第二預設時間時,該生理訊號轉換模組選用該初始生理數值作為該生理數值而輸出。
- 如申請專利範圍第14項所述的生理資訊偵測裝置,其中該些轉換模型是預先在已知的至少一生理數值與已知的至少一頻率資料之間以類神經網路訓練而得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110113633A TWI763435B (zh) | 2019-07-16 | 2019-07-16 | 生理資訊偵測裝置及生理資訊偵測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110113633A TWI763435B (zh) | 2019-07-16 | 2019-07-16 | 生理資訊偵測裝置及生理資訊偵測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202133802A TW202133802A (zh) | 2021-09-16 |
TWI763435B true TWI763435B (zh) | 2022-05-01 |
Family
ID=78777713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110113633A TWI763435B (zh) | 2019-07-16 | 2019-07-16 | 生理資訊偵測裝置及生理資訊偵測方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI763435B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测*** |
CN104071110A (zh) * | 2013-03-27 | 2014-10-01 | 原相科技股份有限公司 | 用于载人移动载具的安全监控装置及安全监控方法 |
CN105303771A (zh) * | 2015-09-15 | 2016-02-03 | 成都通甲优博科技有限责任公司 | 一种疲劳判断***及方法 |
-
2019
- 2019-07-16 TW TW110113633A patent/TWI763435B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测*** |
CN104071110A (zh) * | 2013-03-27 | 2014-10-01 | 原相科技股份有限公司 | 用于载人移动载具的安全监控装置及安全监控方法 |
CN105303771A (zh) * | 2015-09-15 | 2016-02-03 | 成都通甲优博科技有限责任公司 | 一种疲劳判断***及方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202133802A (zh) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021139471A1 (zh) | 一种健康状态检测方法、设备和计算机存储介质 | |
JP6256488B2 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
CN108205891B (zh) | 一种监控区域的车辆监测方法 | |
CN109670441A (zh) | 一种实现安全帽穿戴识别的方法、***、终端以及计算机可读存储介质 | |
CN107229929A (zh) | 一种基于r‑cnn的车牌定位方法 | |
CN110879982B (zh) | 一种人群计数***及方法 | |
Tang et al. | Non-contact heart rate monitoring by combining convolutional neural network skin detection and remote photoplethysmography via a low-cost camera | |
CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
CN111797804A (zh) | 一种基于深度学习的信道状态信息人类活动识别方法及*** | |
CN103054569A (zh) | 基于可见光图像测量人体心率的方法、装置及手持设备 | |
CN112396011B (zh) | 一种基于视频图像心率检测及活体检测的人脸识别*** | |
CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
CN112801000B (zh) | 一种基于多特征融合的居家老人摔倒检测方法及*** | |
CN109993124B (zh) | 基于视频反光的活体检测方法、装置及计算机设备 | |
CN110348385B (zh) | 活体人脸识别方法和装置 | |
CN101316371A (zh) | 火焰侦测方法及装置 | |
TWI763435B (zh) | 生理資訊偵測裝置及生理資訊偵測方法 | |
TWI744666B (zh) | 生理資訊偵測裝置及生理資訊偵測方法 | |
JP7484492B2 (ja) | レーダーに基づく姿勢認識装置、方法及び電子機器 | |
CN114943924B (zh) | 基于人脸表***的疼痛评估方法、***、设备及介质 | |
CN114898522B (zh) | 一种基于智能物联网的智慧园区火灾监测方法 | |
WO2019187852A1 (ja) | モデル設定装置、非接触式血圧測定装置、モデル設定方法、モデル設定プログラム、および記録媒体 | |
JP2021023490A (ja) | 生体情報検出装置 | |
CN115937828A (zh) | 一种疲劳驾驶检测方法、装置及车辆 | |
CN112597949B (zh) | 一种基于视频的心理压力测量方法及其*** |