TWI796786B - 基於熱影像的追蹤辨識監護系統及方法 - Google Patents

Abstract

本發明為一種基於熱影像的追蹤辨識監護系統及方法，該系統包含至少一監測主機及一監測後台，其中該監測主機供設置於病房、衛浴廁所等需監測場所，該監測主機透過紅外線鏡頭拍攝該場所之被照護人員的熱影像，並利用已預先訓練完成之一AI人形偵測模型對各幀熱影像進行分析，以判斷該熱影像中之人形動作，當該人形的動作已符合發出警示訊息的條件時，該監測主機係向監測後台或發報警示訊息，令該監測後台之管理人員可即使發現被照護人員是否發生墜床、跌倒等意外行為而即時處置。

Description

基於熱影像的追蹤辨識監護系統及方法

本發明關於一種監護系統及方法，特別是指一種基於紅外線熱影判斷被照護人員是否發生墜床、跌倒等意外行為的監護系統及方法。

隨著老齡化社會的到來，未來利用科技輔助照護的需求只會更高，所開發的新科技不僅要能滿足照護機構的需求，更期望也能夠應用於一般民眾家庭，守護家中成員的起居安全。

照護是相當勞力密集的工作，根據衛福部統計，臺灣長照人力缺口約1.3萬人，但各照護機構面臨的經營壓力不僅包含人員不足，也存在第一線照服人員頻繁流動而影響照護品質的問題。因此，若能透過科技來減輕照服員的工作負擔，有望提升每位照服員的照顧人數也同時提高受照護者的安全性。

傳統的影像辨識技術，多是基於一般攝像單元所拍攝全彩或黑白畫面做為資料輸入並進行影像識別判斷，常見的技術有人臉識別、瞳孔(虹膜)識別、人體骨架識別等。但對於要求高度要求隱私的場所，例如醫院病室、長照機構住民房間、特定的廁所等場域，基於法規限制以及人權考量，前述影像辨識技術因為使用的影像資料能清楚呈現受拍人員的外觀，有侵犯個人隱私之虞，故不適合導入於照護領域使用，以至於這些場域仍需大量仰賴人力協助看顧。

有鑑於目前照護機構/醫療機構中存在被照護者於床邊、浴室等場合可能發生跌倒之意外事件，且尚無良好的科技輔助方案問世，本發明提出一種「基於熱影像的追蹤辨識監護系統及方法」，以偵測受照護者是否發生異常或急難行為，必要時自動發出緊急警示或救助信號。

為達成上述目的，本發明在此提出一種「基於熱影像的追蹤辨識監護系統」，該系統包含：至少一個監測主機，供裝設於一環境位置以監測該環境位置所在的人員狀態，各監測主機包含有：一控制單元，係連接至少一紅外線鏡頭以連續拍攝該環境位置而得到複數幀熱影像；一運算單元，連接該控制單元並透過該控制單元以接收該複數幀熱影像，該運算單元採用一已訓練完成之AI人形偵測模型對該連續接收之複數幀熱影像進行分析，以判斷該複數幀熱影像中之一有效偵測區域內是否有人形存在以及在一監測範圍內的人形其動作，當該人形的動作已符合發出警示訊息的條件時係發報警示訊息，其中，該警示訊息包含準備離床、已離床、跌倒、久坐、危險當中的至少一種；一記憶單元，連接該控制單元及該運算單元，用以儲存資料與程式；一輸出/入單元，連接該控制單元及該運算單元，該輸出/入單元包含至少一種傳輸介面，用以建立該監測主機與其它外部裝置之間的連接及資料傳輸；一監測後台，與各監測主機通訊連接，其中，該監測後台包含： 一雲端主機，與各監測主機通訊連接以接收各監測主機拍攝之熱影像畫面及警示訊息；一定點主機，連接該雲端主機並且顯示該警示訊息。

本發明以深度學習方法建構人工智慧(AI)人形偵測模型(類神經網路模型)，透過訓練完成的該AI人形偵測模型對熱影像中的人形進行多人追蹤與動作識別，當被照護著的人形動作符合發出緊急通報的預設規則時，可自動發出警示訊息供看護人員確認，確保被照護者的安全。本發明可偵測的動作樣態包括但不限於：在床上起身準備離床、已離床、床邊跌倒與馬桶久坐、廁所跌倒等常發生危安事件之危險動作。

再者，本發明是基於紅外線熱影像資料進行人形動作識別，該熱影像不會清楚呈現人臉與肢體細節動作，故確保當事者的個人隱私，在提供安全照護監看的情況下，兼顧人權保障。

10:監測主機

11:控制單元

12:運算單元

13:記憶單元

14:輸出/入單元

15:紅外線鏡頭

20:監測後台

21:雲端主機

22:定點主機

23:行動裝置

圖1：本發明當中的AI人形偵測模型的建構流程圖。

圖2：本發明基於熱影像的追蹤辨識監護系統的系統方塊圖。

圖3A：本發明應用於單人監測模式之示意圖。

圖3B：本發明應用於多人監測模式之示意圖。

圖4：本發明之方法流程圖。

圖5A~圖5D：本發明單人監測之熱影像圖片。

圖6A~圖6D：本發明多人監測之熱影像圖片。

本發明以深度學習方法建構人工智慧(AI)人形偵測模型(類神經網路模型)，以即時偵測人形及辨識人形動作，本發明AI人形偵測模型優點在於每幀熱影像均能立刻判讀出人形的「即時狀態」，例如即時狀態是坐在床上，此時有兩種可能性，一是準備站起來離床，另一種可能性是從床外坐到床上，藉由統計每幀熱影像的即時狀態來判斷出動作之後，於有必要時可快速有效發出警示。

請參考圖1所示，為本發明AI人形偵測模型的建立方式流程圖：主要包含有以下步驟：

影像及圖片資料收集與標註S01：本發明以紅外線熱像儀拍攝之熱影像作為資料來源，這些資料來源包含以人為特地示範的影像、或實際場域(如醫療機構、長照機構)被照顧者的動作影像/圖片資料。可包含連續影像或不連續影像等，紅外線熱像儀會擷取多位不同當事者的熱影像，包含連續二十四小時或在不同間隔的時間範圍，儘可能的根據被照顧者、時間範圍、動作樣態差異的最大化及多樣性作為取樣基準，獲得各種不同動作之熱影像圖片，並先以人為方式對得到的各種熱影像圖片進行分類標註，針對不同動作分給指定標籤。舉例而言，分類項目可包含「馬桶久坐、廁所跌倒」、「床上起身/離床/跌倒」、「其它」等，其中，在「其它」項目中主要是指被照顧者坐輪椅、使用助行器、駝背、照服員打掃、照服員協助洗澡等狀況。

初始模型建置與訓練S02：前述動作之熱影像圖片在完成分類標註後，從中依照各動作的標籤擷取約700張圖片，其中每種動作取90%數量用於訓練(train)及10%用於測試或驗證(test/validation)。在進行測試時，以同一動作測試十次，正確標示九次(含)以上為通過門檻，得到初始的AI人形偵測模型。並將針對動作轉 換間的過渡期樣態及其它項目，進行關鍵動作行為的圖片資料收集標註與再訓練。神經網路模型(機器學習方法)：可以使用Faster R-CNN、YOLO、RetinaNet等物件偵測(Object Detection)方法，這些方法都是使用卷積神經網路來擷取影像特徵。以YOLOv3為例，輸入層是大小為640x480之熱影像，中間層採用Darknet-53架構包含53層卷積層，輸出層預測7種動作類別。訓練過程中使用二分交叉熵(Binary Cross Entropy)作為分類損失函數及均方誤差(Mean Squared Error)作為定界框預測損失函數。訓練資料約有5000張標註過之熱影像，預處理包含高斯模糊、水平翻轉及小於15度之旋轉。根據實驗結果，AI人形偵測模型Tiny YOLOv3(YOLO v3精簡版本)可以成功辨識本發明所建立7種不同種類的動作，並且平均精度(Mean Average Precision,MAP)達到95%，在樹莓派第4代偵測速度可達3~4FPS(Frames Per Second)。本發明藉由建置的熱影像數據集及應用於人形偵測動作分類，將有助於輔助照護與監控之實現。

場域實際測試S03：為了得到預測準確率較高的AI人形偵測模型，本發明可先將通過測試的初始AI人形偵測模型，先架設於目標場域進行實證及最終測試。在數個不同場域(如3~5個)當中，於每個場域架設多套設備(如5~10套)，進行場域實證與最終測試工作。在一段時間內觀察每套設備之反應並隨時調整，如硬體架設角度、可視區域範圍、軟體設定參數，若有異常則可透過異常資料作為再次訓練、測試驗證之關鍵動作行為的圖片資料收集標註，與再訓練資料來源進行優化，得到最終可用的AI人形偵測模型。

參考圖2，為本發明的系統方塊圖，包含有一或多個監測主機10及一監測後台20，不同的監測主機10供分別安裝在複數個不同預定位置，例如安裝於病室房間以監測床位上的人體影像，或安裝於衛浴廁所以監測馬桶附近 的人體影像，每一監測主機10與該監測後台20通訊連接，將識別結果回報給該監測後台20。

每一個監測主機10包含有：一控制單元11、一運算單元12、一記憶單元13、一輸出/入單元14。該控制單元11可以是一控制電路板，例如以樹莓派(Raspberry Pi)或Arduino套件為基礎開發而成，可與紅外線鏡頭15、感測器、擴充板或其它元件連接，其中該紅外線鏡頭15是拍攝所在安裝位置的熱影像。

該運算單元12連接該控制單元11，包含有中央處理器(CPU)、圖形處理器(GPU)等微處理器，或是採用「Intel®Movidius^TM神經運算棒2」構成，該運算單元12透過該控制單元11接收紅外線鏡頭15拍攝之熱影像，進行資料計算、資料庫運行以及執行該AI人形偵測模型進行熱影像識別。

該記憶單元13連接該控制單元11及該運算單元12，可包含有該控制電路板上的內建記憶體或是外接的擴充記憶卡等，用於儲存作業系統、程式與資料。

該輸出/入單元14連接該控制單元11及該運算單元12，包含一或多種不同規格的輸出/入介面，包含至少一種傳輸介面，例如HDMI介面、USB介面、有線網路傳輸介面、無線網路傳輸介面或其它標準規格之接頭等，用於建立監測主機10與其它外部裝置之間的連接及資料傳輸，例如監測主機10可透過有線或無線的輸出/入單元14與監測後台連線。

當前述監測主機10安裝於病室房間時，可將紅外線鏡頭15架設於床頭、床尾、走道或對面牆之天花板，紅外線鏡頭15的視角與水平夾角可介於15~60度之間，以方便觀測被照顧者活動、停留區域之硬體安裝位置為佳。該監測主機10可以監看的「有效偵測區域」包含完整或局部床位設定範圍、床邊四周走道等區域，如圖3A所示，每一個紅外線鏡頭15可單獨監看一床，執行 單人監測模式；或是如圖3B所示，每一個紅外線鏡頭15架設於兩床的床頭/或床尾中間走道上，同時將兩病床及走道納入有效偵測區域及床位範圍，執行多人監測模式。

當前述監測主機10安裝於衛浴廁所時，可將紅外線鏡頭15安裝於馬桶上方、前方、左/右側之天花板，以方便觀測被照顧者活動、停留區域之硬體安裝位置為佳。該監測主機10可監測的「有效偵測區域」包含：如使用馬桶時站立於馬桶周圍範圍、坐在馬桶上範圍、馬桶四周走道等區域。

在監控後台20方面，可包含一雲端主機21、一定點主機22或行動裝置23。該雲端主機21連接各監測主機10及接收監測主機10發出的熱影像以及警示訊息。該定點主機22固定設置在一定點，例如護理站，可連接該雲端主機21並且顯示該警示訊息。該行動裝置23供護理人員或照護人員隨身攜帶，在其內部安設一應用程式(APP)，透過該應用程式連接該雲端主機21及顯示該紅外線鏡頭15拍攝的畫面，以及顯示警示訊息。

請參考圖4，為本發明追蹤辨識監護方法的流程圖，包含以下步驟：

設定偵測區域範圍S41：以紅外線鏡頭15拍攝的熱影像整體畫面100%為可視區，使用者可自行設定一「有效偵測區域」以及一或多個「監測範圍」，其中，監測範圍可以是一「床位範圍」或一「馬桶範圍」。以病室房間為例來說，可框選該可視區左邊0~80%的長度範圍為「有效偵測區域」，並框選左邊10~40%長度範圍作為「床位範圍」，其中，該床位範圍可部分或完全落入於有效偵測區域內。參考圖5A~圖5D、圖6A~圖6D所示的熱影像圖片，其中，圖5A~圖5D中顯示的黃色長矩形框即代表床位範圍，圖6A~圖6D各圖片在左右兩側的黃色長矩形框亦代表床位範圍。而「馬桶範圍」係指涵蓋馬桶及其所在的周圍區域。

設定偵測頻率S42：使用者可自行設定每單位時間內欲處理的熱影像圖片張數，舉例來說可設定該紅外線鏡頭15以1~12 FPS(frame per second，每秒顯示影格幀數)其中任一頻率偵測即時影像；若在不刻意設定的情況下，也可以直接以一預設頻率值(例如3 FPS)作為該紅外線鏡頭15的影像擷取頻率，而針對每幀熱影像將會進一步利用以上述建構完成的該AI人形偵測模型執行下列S43~S46之步驟。

熱影像人形偵測S43：若AI人形偵測模型偵測到一個或多個人形，再進一步判斷該人形是否位於該「有效偵測區域」，若是則進行下一步驟S44，若非位於該「有效偵測區域」，則捨棄該人形。參考圖5A~5D所示的單人監測模式，其中紅色框區域代表有偵測到人形存在；而在圖6A~圖6D的多人監測模式，各熱影像圖片中的藍色框區域代表有人形存在。

指定ID及追蹤人形S44：針對每個已辨識出的人形賦予獨立的識別碼(ID)，例如以數字0,1,2..以此類推作為ID，該AI人形偵測模型並開始追蹤該人形，若有新的人形出現在有效偵測區域，則再指定該新的人形一個新的ID。若人形出現動作形狀，則進行下一步驟S45。若人形離開有效偵測區域，則移除該人形的ID。例如在圖6A~圖6D的熱影像圖片中，兩個人形分別指定為“0”以及“1”的ID。

人形動作判別S45：根據先前訓練完成之AI人形偵測模型，比對每一幀熱影像圖片中的人形動作，也就是利用該AI人形偵測模型已預先訓練的動作判斷人形姿態其「相似度最高的動作」，並累加動作計數。若非預先訓練之動作則捨棄不列入計數。如圖5A~5D分別所示，舉例而言，若監測的環境為病房內，可判斷該人形動作屬於「平躺(lie-down)」、「準備離床(sit)」、「已離床(stand)」、「跌倒」等動作；在圖6A~6D中，每幀熱影像圖中的左側人形其動作維持平躺，而右側人形依序為平躺、準備離床、已離床、跌倒等。 若是監測的環境為衛浴廁所內，可判斷人形動作是否屬於「久坐不動」、「跌倒」等。

發出警示S46：若病房內的受照護者其動作判斷為準備離床、已離床、跌倒或坐，或在廁所內的受照顧者其動作判斷為久坐、跌倒、危險，且該動作所累積的計數值達到一設定門檻值，則發報相關警示訊息，其中，不同的動作可分別設定不同的對應門檻值，例如跌倒動作對應的門檻值可設定為相對較小，廁所內久坐動作對應的門檻值可設定為相對較大。

以床上起身為例，AI模型偵測人形判別為床上平躺到起身坐姿，若在步驟S42中設定每一秒偵測3幀熱影像圖片(3 FPS)且門檻值設為15，若人形的坐姿(代表準備離床)維持五秒鐘以上，此坐姿動作的計數值將超過門檻值15，則會向監測後台20發出警示訊息，並將該動作的計數值歸0，再持續偵測下一幀影像圖片。以圖5B的人形動作為例，當判別結果是坐姿時且該動作的計數值超過對應的門檻值，會先發出「想離床」的警示；以圖5C的為例，經過一系列的動作後，該人形已經脫離設定的床位範圍且該動作累積的計數值超過對應的門檻值，則判定「已離床」；再參考圖5C為例，當判定該人形不僅脫離設定的床位範圍、在有效偵測區域內且其動作為跌倒時，當該動作累積的計數值超過對應的門檻值，則會發出「已離床及跌倒」的警示。同樣的，在圖6B、6C、6D中右邊的人形經判斷後分別為「想離床」、「已離床」、「已離床及跌倒」的警示。

上面說明係配合熱影像圖片以病房監測為例，同理亦應用於衛浴廁所的監測。在判斷是否需發出久坐、跌倒、危險警示時，其原則類似於病房監測的警示訊息，舉例說明如下：久坐警示：被照顧者坐在馬桶上超過一預設時間(1~10分鐘不等)，則即時產生「久坐警示」。

跌倒警示：被照顧者於指定的馬桶範圍外、有效偵測區域內跌倒或坐下達一預設時間(如1~5秒)，則即時警示「跌倒警示」。

危險警示：被照顧者於馬桶範圍外、有效偵測區域內跌倒或坐下達一預設時間(如1~300秒)，即時警示「危險警示」。

綜上所述，本發明為了偵測受照護者的異常與急難行為，採用熱像儀拍攝之紅外線熱影像作為資料來源，其優點具有：

一、透過訓練完成的AI人形偵測模型進行多人同時追蹤與動作偵測，並經過程式規則比對進行危險行為判定，在符合條件狀態下發出緊急通報，確保被照護者的安全。本發明可偵測的動作樣態包括但不限於：在床上起身準備離床、已離床、床邊跌倒與馬桶久坐、廁所跌倒等常發生危安事件之危險動作。

二、人臉與肢體細節動作是模糊難以辨認，故沒有侵犯個人隱私權疑慮。但使用傳統的攝影機會清楚拍到人臉，需要經過後製才能抹除，無法100%確保個資外流疑慮。

三、人體有穩定的熱源可以被感應偵測並與周邊環境進行區隔，故即使在周邊環境光源昏暗不足的情況仍可清楚識別。但使用傳統攝影機在昏暗光源下係無法得到清晰影像，而不易識別。同時，本發明亦可以根據人體熱影像來判斷是否受照護者體溫過高而產生健康危害。

Claims (8)

1. 一種基於熱影像的追蹤辨識監護系統，包含：至少一個監測主機，供裝設於一環境位置以監測該環境位置所在的人員狀態，各監測主機包含有：一控制單元，係連接至少一紅外線鏡頭，該紅外線鏡頭連續拍攝該環境位置而得到複數幀熱影像；一運算單元，連接該控制單元並透過該控制單元以接收該複數幀熱影像，該運算單元採用一已訓練完成之AI人形偵測模型對該連續接收之複數幀熱影像進行分析，以判斷該複數幀熱影像中之一有效偵測區域內是否有人形存在以及在一監測範圍內的人形其動作，當該人形的動作已符合發出警示訊息的條件時係發報警示訊息，其中，該警示訊息包含準備離床、已離床、跌倒、久坐、危險當中的至少一種；一記憶單元，連接該控制單元及該運算單元，用以儲存資料與程式；一輸出/入單元，連接該控制單元及該運算單元，該輸出/入單元包含至少一種傳輸介面，用以建立該監測主機與其它外部裝置之間的連接及資料傳輸；一監測後台，與各監測主機通訊連接，其中，該監測後台包含：一雲端主機，與各監測主機通訊連接以接收各監測主機拍攝之熱影像畫面及警示訊息；一定點主機，連接該雲端主機並且顯示該警示訊息；其中，該AI人形偵測模型於辨識各幀熱影像時，係執行以下流程：判斷熱影像中之人形是否位於該有效偵測區域內，若否則捨棄該人形； 針對該有效偵測區域內之各個人形，分別指定一識別碼(ID)，當人形離開該有效偵測區域時係移除其識別碼；辨識該人形之動作，並將對應該動作的計數值加一；其中，當該人形之動作的計數值已經累加至一門檻值時，該運算單元係發出警示訊息。
2. 如請求項1所述之基於熱影像的追蹤辨識監護系統，其中該監測後台更包含一行動裝置，該行動裝置內安裝一應用程式，透過該應用程式連接該雲端主機並接收該警示訊息。
3. 如請求項1所述之基於熱影像的追蹤辨識監護系統，其中，該監測範圍係包含一床位範圍或一馬桶範圍，該監測範圍至少有一部分位於該有效偵測範圍內。
4. 如請求項3所述之基於熱影像的追蹤辨識監護系統，其中，該有效偵測範圍及該監測範圍係根據使用者輸入的指令而設定。
5. 一種基於熱影像的追蹤辨識監護方法，包含：接收一紅外線鏡頭連續拍攝之複數幀熱影像；利用一已預先訓練完成之AI人形偵測模型辨識各幀熱影像，其中該AI人形偵測模型係執行以下流程：判斷熱影像中之人形是否位於一有效偵測區域內，若否則捨棄該人形；針對該有效偵測區域內之各個人形，分別指定一識別碼(ID)，當人形離開該有效偵測區域時係移除其識別碼；辨識該人形之動作，並將對應該動作的計數值加一；判斷該人形之動作的計數值是否已經累加至一門檻值，若是，則產生警示訊息。
6. 如請求項5之基於熱影像的追蹤辨識監護方法，在接收該熱影像之步驟前係進一步包含：設定偵測區域範圍：係以該紅外線鏡頭拍攝的整體畫面為一可視區，在該可視區內依使用者輸入的指令指定該有效偵測區域及一或多個監測範圍；設定偵測頻率：係設定在單位時間內欲利用該AI人形偵測模型進行辨識的熱影像幀數。
7. 如請求項5所述之基於熱影像的追蹤辨識監護方法，其中，該監測範圍係包含一床位範圍或一馬桶範圍，該監測範圍至少有一部分位於該有效偵測範圍內。
8. 如請求項5所述之基於熱影像的追蹤辨識監護方法，其中，該警示訊息包含準備離床、已離床、跌倒、久坐、危險當中的至少一種。

Images