TWI820784B - 一種具安全照護及高隱私處理的跌倒及姿態辨識方法 - Google Patents

一種具安全照護及高隱私處理的跌倒及姿態辨識方法 Download PDF

Info

Publication number
TWI820784B
TWI820784B TW111124986A TW111124986A TWI820784B TW I820784 B TWI820784 B TW I820784B TW 111124986 A TW111124986 A TW 111124986A TW 111124986 A TW111124986 A TW 111124986A TW I820784 B TWI820784 B TW I820784B
Authority
TW
Taiwan
Prior art keywords
module
fall
care
algorithm
sub
Prior art date
Application number
TW111124986A
Other languages
English (en)
Other versions
TW202403664A (zh
Inventor
駱樂
謝德崇
許錦輝
Original Assignee
百一電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 百一電子股份有限公司 filed Critical 百一電子股份有限公司
Priority to TW111124986A priority Critical patent/TWI820784B/zh
Application granted granted Critical
Publication of TWI820784B publication Critical patent/TWI820784B/zh
Publication of TW202403664A publication Critical patent/TW202403664A/zh

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

一種具安全照護及高隱私處理的跌倒及姿態辨識方法,是用於 一跌倒及姿態辨識系統,包括一影像擷取單元、一影像處理單元及一跌倒辯識單元,首先,由影像擷取單元擷取受照護者的軀體影像以產生對應各受照護者的一軀體影像資料,再來,影像處理單元接收軀體影像資料,並對軀體影像資料進行影像畫質及雜訊的預處理,最後,跌倒辯識單元接收進行影像預處理後的軀體影像資料,以及判斷受照護者是否跌倒,如果受照護者跌倒,或有其他異常狀態,發佈一即時通報訊息。

Description

一種具安全照護及高隱私處理的跌倒及姿態辨識方法
本發明是有關一種具安全照護及高隱私處理的跌倒及姿態辨識方法,尤其是以智慧看護並可保護受照護者隱私的一種具安全照護及高隱私處理的跌倒及姿態、行為等辨識方法。
高齡化的時代來臨,針對長輩居家之安全照護等安全照護議題不斷湧現,特別對於高風險可能跌倒的通報,將傷害降至最低需求痛點,讓受照護者即時獲得妥善照顧,然而,以往的看護方式需要龐大醫護人力成本,為了降低人力成本,最常見的方式,是透過攝影鏡頭即時監控,但在長時間的看護過程中,受照護者的隱私也不容易被保護。
而目前既有的技術,是讓受照護者配戴一穿戴式智慧偵測手環,並透過內部的陀螺儀分析及判斷受照護者是否發生跌倒,以及在跌倒時發出通報,然而,這類的偵測方式很容易因為受照顧者日常活動及肢體動作或行為而發生誤判,另方面,配戴感測器也容易造成身體不舒適,而導致受照護者也可能忘記攜帶或配戴。
另外,一併參考圖22及23,習知的美國專利案(US9600993)在說明書(Col.19,Line.1-52)已提到,透過傅里葉轉換、拉普拉斯轉換(Fourier transforms,Laplace transforms)進行人的圖像進行形狀或輪廓處理,以做為隱私保護,另外,在說明書(Col.20,Line.11-34)中還提到,去除掉不想要的背景(例如檯燈),同時保留想要 的人形大致形狀或輪廓,以及,在說明書(Col.22,Line.1-26)中還提到,人的位置移動變化可以用於檢測跌倒或坐下事件。例如,人的頭頂位置在短時間內快速下降,一直到視野的底部邊緣,判斷可能跌倒。
但習知的技術中,如果必需即時對人的影像解析出並進行傅里葉轉換或拉普拉斯轉換,將會造成系統運算處理上的負擔,如果進行受照護者的人眾多,系統難以負擔多人的即時影像處理,將造成系統崩潰,另方面,當背景去除掉不想要的背景,當受照護者被椅子絆倒,由於系統已進行去除背景,將難以判斷受照護者是何原因造成跌倒,再來,如果僅以位置移動變化做為跌倒判斷依據,很容易就造成誤判斷。
因此,如何設計出一種智慧看護的照護方法,令受照護者能夠在安全隱私受保護,而且無需令受照護者配戴任何偵測裝置,還能增加受照護者跌倒的判斷準確率,這些都是本案所要著重的問題與焦點。
本發明之一目的在提供讓受照護者能夠在安全隱私受保護的一種具安全照護及高隱私處理的跌倒及姿態辨識方法。
本發明之另一目的在提供增加受照護者跌倒的判斷準確率的一種具安全照護及高隱私處理的跌倒及姿態辨識方法。
本發明一種具安全照護及高隱私處理的跌倒及姿態辨識方法,是用於一跌倒及姿態、行為辨識系統,並在至少一區域中,提供辯識及區分至少一受照護者的軀體狀態。所述跌倒及姿態辨識系統包括一影像擷取單元、一影像處理單元及一跌倒辯識單元,所述影像擷取單元是對應所述區域設置,並供朝向所述受照護者拍攝,所述影像處理單元是與所述影像擷取單元訊號連接,所述跌倒辯識單元是與所述影像處理單元訊號連接,其中所述跌倒及姿態辨識方法包括下列步驟:a)所述影像擷取單元擷取所述受照護者的軀體影像以產生對應各所述受照護者的一軀體影像資料; b)所述影像處理單元接收所述軀體影像資料,並對所述軀體影像資料進行影像畫質及雜訊的預處理;及c)所述跌倒辯識單元接收進行影像預處理後的所述軀體影像資料,以及透過人體姿態變化,判斷所述受照護者是否跌倒,如果所述受照護者跌倒,或有其他異常狀態,發佈一即時通報訊息。
如上所述的跌倒及姿態辨識方法,其中所述影像處理單元包括一照度變化分析模組及一環境光源描述模組,其中所述步驟b)包括下列步驟:b1)所述照度變化分析模組偵測所述區域的環境光源改變,以產生一對場域環境光源描述之即時資訊;b2)所述環境光源描述模組依據所述光源即時資訊,及時修正及建立一周圍環境光源模型;及b3)所述影像處理單元依據所述周圍環境光源模型情境,對所述區域搜尋與偵測識別存在於環境中的多個受照護者。
如上所述的跌倒及姿態辨識方法,其中所述跌倒辯識單元包括一受照護者分類模組及一受照護者分析模組,其中所述步驟c)包括下列步驟:c1)所述受照護者分類模組依據所述影像處理單元對所述區域的搜尋偵測、及區別在所述區域的所述環境中,識別受照護者,並建立對應各所述環境被識別受照護者的對應骨架點及一目標矩形追蹤框;c2)所述受照護者分類模組判斷所述環境被識別受照護者中是否符合所述受照護者的一特徵擷取即辨識資訊,如果符合,建立一對應的可能物件之候選框;及 c3)所述受照護者分析模組依據所述特徵擷取即辨識資訊,分析及辨識各所述受照護者的姿態、步態及/或行為。
如上所述的跌倒及姿態辨識方法,其中所述受照護者分類模組更包括一時空濾波子模組(spatio-temporal filter),其中所述步驟c1)包括一步驟c11)所述時空濾波子模組提供適當的邏輯與機制、遮罩值及特徵門檻值,以計算出所述環境被識別受照護者的特定特徵。
如上所述的跌倒及姿態辨識方法,其中所述受照護者分析模組包括一幾何分析子模組、一曲率算法子模組、一形狀算法子模組、及一人體局部構型演算法子模組(Body Part Algorithm),其中所述步驟c3)包括一步驟c31)所述幾何分析子模組分析及辨識所述環境被識別受照護者的形狀、尺寸及/或尺寸變化,所述曲率算法子模組辨識及演算各所述受照護者的特定曲率的姿態變化,所述形狀算法子模組演算及比對各所述受照護者的特定形體姿態,所述人體局部構型演算法子模組演算各所述受照護者的人體各部件,另方面,還能夠同時建立多人追蹤演算法模型,以利在場景在多人時,能同時進行跌倒與姿態辨識。
如上所述的跌倒及姿態辨識方法,其中所述受照護者分析模組更包括一光流算法子模組、一詞袋演算法子模組(Bag of Word)、人體骨架與關節點子模組、一機器學習子模組、一跌倒偵測演算法子模組、一尺度不變特徵變換演算法模組,其中所述步驟c3)包括一在步驟c31)後的步驟c32)所述光流算法子模組對各所述受照護者的影像進行運動檢測、物件切割、碰撞時間與物體膨脹的計算、運動補償編碼及/或行立體度量,所述詞袋演算法子模組,是對跌倒過程的姿態建立對應的多個特徵向量組編碼並分類,所述人體骨架與關節點子模組擷取所述曲率算法子模組、所述形狀算法子模組及所述人體局部構型演算法子模組的各演算結果,產生對應各所述受照護者的所有活動及姿態的一狀態細節資訊,所述機器學習子模組以類神經網路進行深度學習以訓練、調整及優化所述所述跌倒辯識單元,所述跌倒偵測演算法子模組擷取所述曲率算 法子模組、所述形狀算法子模組、所述人體局部構型演算法子模組、所述光流算法子模組及所述詞袋演算法子模組的各演算結果,建立一跌倒偵測與判斷模型,所述尺度不變特徵變換演算法模組進行各所述受照護者在所述區域的距離遠近變化的影像補償。另外,本案可整合並採用各式AI演算法以及資料集(Data Sets)訓練之方式,提升辨識率,減少偽動作誤判機率。
除上所述的跌倒及姿態辨識方法,本發明有關一種具安全照護及高隱私處理的跌倒及姿態辨識系統,還包含能提供智能視覺型電子圍籬功能,能防堵受照顧者其他意外可能的偵測通報。智能視覺型電子圍籬模組,其中所述步驟b)包括一步驟b1’),所述智能視覺型電子圍籬模組是在所述影像擷取單元(IP CAM)1拍攝的各所述區域內建立一虛擬的電子圍離區塊,並與所述受照護者的所述軀體影像資料進行影像疊加,其中所述步驟c)包括一步驟c1’)判斷所述受照護者是否進入所述電子圍離區塊的範圍內或離開所述電子圍離區塊,如果所述受照護者進入所述電子圍離區塊的範圍內或離開所述電子圍離區塊,或者闖入限制的禁區等,則判定所述受照護者可能進入所限定的危險區域、停留時間過久、或日夜異常地離開電子圍籬所設定安全區域等各種可能情境狀態,如進行確認,即刻發佈所述即時通報訊息。
如上所述的跌倒及姿態辨識方法,其中所述影像處理單元包括一防視覺隱私權洩漏演算法模組,其中所述步驟b)包括一步驟b1”)所述防視覺隱私權洩漏演算法模組對所述受照護者的所述軀體影像資料進行特徵輪廓處理以及動態影像演算法遮蔽處理,以產生一對應所述受照護者且具有安全隱私屏蔽的人體合成遮罩。
如上所述的跌倒及姿態辨識方法,其中所述步驟b1”)包括一步驟b11”)對所述區域的多個物件影像進行特徵輪廓處理以及動態影像演算法遮蔽處理,以產生多個對應所述物件且具有安全隱私屏蔽的物件合成遮罩。
如上所述的跌倒及姿態辨識方法,其中所述的影像處理單元更包括一夜間跌倒與姿態模型,其中所述的步驟a)包括一步驟a1”)所述的夜間跌倒與姿態模型透過模糊技術(Fuzzy Theory)分析及智慧辨識強化所述於夜間的軀體影像資料。
如上所述的跌倒及姿態辨識方法,其中所述的跌倒及姿態辨識系統更包括一通訊單元,通訊單元與跌倒辨識單元訊號連接其中所述的跌倒及姿態辨識方法更包括一步驟d)所述的通訊單元供發出一關懷詢問訊息至各所述的受照護者,亦能於緊急狀況,同時了解被照顧者現場狀況,並進行雙向通話。
如上所述的跌倒及姿態辨識方法,其中所述的受照護者分析模組包括一屋內有人之異常偵測單元、一特定狀態過久之異常偵測單元、一作息統計單元及一歷史瀏覽單元,其中所述的步驟c3)包括下列步驟:c31’)所述的屋內有人之異常偵測單元在一第一預定時間判斷所述的受照護者是否在預定的所述的區域;c32’)所述的特定狀態過久之異常偵測單元判斷在一第二預定時間之外判斷所述的受照護者是否一直維持動作不動,或是判斷是否在所述的區域過久;c33’)所述的作息統計單元持續自動紀錄各所述的受照顧者之居家生活作息狀態;及c34’)所述的歷史瀏覽單元供瀏覽各所述的受照顧者之居家生活作息狀態。
本案一種具安全照護及高隱私處理的跌倒及姿態辨識方法,是利用影像擷取單元對各受照護者進行智慧影像看護,且可提升受照護者跌倒的判斷準確率,並使受照護者能夠在安全隱私受保護,還可降低醫護人力成本,並達成上述所有目的。
1:影像擷取單元
2:影像處理單元
21:照度變化分析模組
22:環境光源描述模組
23:智能視覺型電子圍籬模組
24:防視覺隱私權洩漏演算法模組
3:跌倒辯識單元
4:通訊單元
31:受照護者分類模組
311:時空濾波子模組
32:受照護者分析模組
321:幾何分析子模組
322:曲率算法子模組
323:形狀算法子模組
324:人體局部構型演算法子模組
325:光流算法子模組
326:詞袋演算法子模組
327:人體骨架與關節點子模組
328:機器學習子模組
329:跌倒偵測演算法子模組
320:尺度不變特徵變換演算法模組
331:屋內有人之異常偵測單元
332:特定狀態過久之異常偵測單元
333:作息統計單元
334:歷史瀏覽單元
S101~S104、S1021~S1023、S1031~S1034、S10341、S10342、S101’、S1011”、S1012”:步驟
圖1是本案第一實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識方法的跌倒及姿態辨識系統的方塊圖;圖2是圖1的一種具安全照護及高隱私處理的跌倒及姿態辨識方法的流程圖;圖3是本案第二實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識方法的跌倒及姿態辨識系統的方塊圖;圖4是圖3的一種具安全照護及高隱私處理的跌倒及姿態辨識方法的流程圖;圖5是圖3的跌倒及姿態辨識系統的受照護者分析模組的方塊圖;圖6及圖7是圖3的跌倒及姿態辨識系統的曲率算法子模組的曲率變化示意圖;圖8是圖3的跌倒及姿態辨識系統的形狀算法子模組的形狀描述示意圖;圖9是圖3的跌倒及姿態辨識系統的受照護者分析模組另延伸的方塊圖;圖10是圖4的一種具安全照護及高隱私處理的跌倒及姿態辨識方法的延伸流程圖;;圖11是圖3的跌倒及姿態辨識系統的形狀算法子模組的詞袋演算法子模組的分佈曲線圖; 圖12是圖3的跌倒及姿態辨識系統的機器學習子模組的流程示意圖;圖13是本案第三實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識方法的跌倒及姿態辨識系統的方塊圖;圖14是圖13的一種具安全照護及高隱私處理的跌倒及姿態辨識方法的流程圖;圖15是圖13的跌倒及姿態辨識系統的智能視覺型電子圍籬模組布建電子圍離區塊的示意圖;圖16是本案第四實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識方法及姿態辨識系統的方塊圖;圖17是圖16的一種具安全照護及高隱私處理的跌倒及姿態辨識方法的流程圖;圖18是本案第五實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識方法及姿態辨識系統的方塊圖;圖19是圖18的一種具安全照護及高隱私處理的跌倒及姿態辨識方法的部份流程圖;圖20是圖17的跌倒及姿態辨識系統的受照護者分析模組的方塊圖;圖21是圖20的延續受照護者分析模組後續的流程圖;及圖22及圖23是習知跌倒偵測的示意圖。
依照本發明第一實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識方法,一併參考圖1所示,是用於一跌倒及姿態辨識系統,並供辯識及區分至少一區域的至少一受照護者(例高齡長者)的軀體狀態,其中跌倒及姿態辨識系統包括一影像擷取單元(IP CAM)1、一影像處理單元(pre-processing)2及一跌倒辯識單元(detected human)3,影像擷取單元(IP CAM)1是對應所述的區域設置,並供朝向受照護者擷取影像,影像處理單元(pre-processing)2是與影像擷取單元(IP CAM)1訊號連接,跌倒辯識單元(detected human)3是與影像處理單元(pre-processing)2訊號連接。其中影像擷取單元1在本案中是採用目前常見一般大眾普及且成本低廉的可見光攝影機,但卻以影像破壞性處理技術,達成高隱私設計。
一併參考圖2所示,一開始如步驟S101,由影像擷取單元1擷取受照護者的軀體影像以產生對應各受照護者的一軀體影像資料,再如步驟S102,影像處理單元2接收軀體影像資料,並對軀體影像資料進行影像畫質及雜訊的預處理,接著如步驟S103,跌倒辯識單元3接收進行影像預處理後的軀體影像資料,以及透過人體姿態變化判斷受照護者是否跌倒,如果沒有,則回到步驟S101,持續進行對各受照護者的影像結取,如果判斷跌倒,則如步驟S104,發佈一即時通報訊息,並通知相關看護人員立即到現場以進行緊急協助。
依照本發明再第二實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識方法,參考圖3所示,在本例中,影像處理單元2包括一照度變化分析模組(illumination change estimation)21及一環境光源描述模組(ambient light source tuning model)22,一併參考圖4所示,在本例中,步驟S102後再如步驟S1021,照度變化分析模組21偵測區域的環境光源改變,以產生一對場域環境光源描述之即時資訊,據此提供調整及補償環境光源,以提供環境較優質之穩定光源影像,再如步驟S1022,環境光源描述模組22依據光源即時資訊,及時修正及 建立一周圍環境光源模型,以利有效處理由影像擷取單元1所蒐集區域的受照護者的活動狀況影像,再如步驟1023,影像處理單元2依據周圍環境光源模型對區域搜尋與偵測環境中多個被識別受照護者。
另外,跌倒辯識單元3也可包括一受照護者分類模組(Object Classification)31及一受照護者分析模組32,如圖5所示,在本例中,受照護者分類模組31更包括一時空濾波子模組(Spatio-Temporal Filter)311,受照護者分析模組32包括一幾何分析子模組(Geometric Analysis)321、一曲率算法子模組(Curvature Algorithm)322、一形狀算法子模組(Shape-based Algorithm)323及一人體局部構型演算法子模組(Body Part Algorithm)324。
其中步驟S1023後再如步驟S1031,受照護者分類模組31依據影像處理單元對區域的搜尋與偵測,辨識及區別在區域的各個環境內被識別受照護者,並建立對應環境內各識別受照護者的對應骨架點及一目標矩形追蹤框,其中步驟S1031後還有一步驟S10311,時空濾波子模組(Spatio-Temporal Filter)311提供適當的邏輯與機制、遮罩值(Mask)及特徵門檻值(Threshold),以計算出環境識別受照護者的特定特徵,以達到過濾某些特定的物件或者能過濾處理對要偵測物件的干擾或雜訊,再如步驟S1032,受照護者分類模組31判斷環境內被識別受照護者中是否符合該些受照護者的一特徵擷取即辨識資訊,如果不符合,回到步驟S1031,繼續搜尋與偵測,如果符合,則如步驟S1033,建立一對應的可能物件之候選框(Bounding Box),再如步驟S1034,受照護者分析模組32依據特徵擷取即辨識資訊分析及辨識各受照護者的姿態、步態及/或行為,透過上述的模組搭配其他演算法,同時便可避免當人有重疊,卻被誤判幾似跌倒情況發生,其中步驟S1034後還有一步驟S10341,由幾何分析子模組321分析及辨識環境內被識別受照護者的形狀、尺寸及/或尺寸變化,由曲率算法子模組(Curvature Algorithm)322辨識及演算各受照護者的特定曲率的姿態變化,以輔助 尋找受照護者目標、姿態辨識、步態辨識、行為辨識等任務,由形狀算法子模組(Shape-based Algorithm)323演算及比對各受照護者的特定形體姿態,由人體局部構型演算法子模組(Body Part Algorithm)324演算各受照護者的人體各部件。
假設人體往後跌倒與往前跌倒時,不同特定姿態變化時,其身體軀幹應會有特定曲率變化(如圖6及圖7所示),因此,曲率算法子模組322可經由人體姿態改變、以及形體動作的改變等,來幫助了解目前所關注的高齡長者或被照顧者,是否可能有跌倒傾向,而其中人體身形曲率(Curveture)的變化無疑是一重要資訊,並且,透過人體形體曲率之連續變化,可了解人體身形與骨架之即時變化,可有幫助於從人體於環境中行走或移動中,即時抓住有可能符合或滿足跌倒所具備必要特定過程條件與特定即時變化,形狀算法子模組323主要功能是集合服膺人體不同行為之對應「形狀描述」(如圖8)並與前述曲率算法子模組322)互補且截長補短,共同作為提供辨識人體不同姿態的偵測標準與外形基礎一部分,藉以提供做為輔助偵測人體姿態變化時,所表現出特定行為外形改變(諸如走路、摔倒等)的特徵辨識演算。
一併參考圖9所示,在本例中,受照護者分析模組32更包括一光流算法子模組(Optical Flow Algorithm)325、一詞袋演算法子模組(Bag of Word)326、人體骨架與關節點子模組(Bone & articulation point Algorihm)327、一機器學習子模組(Artificial Intelligent & machine learning)328、一跌倒偵測演算法子模組(Fall Detection AI Algorithm)329、一尺度不變特徵變換演算法模組(Scale-invariant feature transform,SIFT)320。
另外,一併參考圖10所示,在步驟S10341後還有一步驟S10342,由光流算法子模組(Optical Flow Algorithm)325對受照護者的影像進行運動檢測、物件切割、碰撞時間與物體膨脹的計算、運動補償編碼及/或行立體度量,由詞袋演算法子模組326跌倒過程的姿態 建立對應的多個特徵向量組編碼並分類,由人體骨架與關節點子模組327擷取曲率算法子模組322、形狀算法子模組323及人體局部構型演算法子模組324的各演算結果,產生對應各受照護者的所有活動及姿態的一狀態細節資訊,由機器學習子模組328以類神經網路進行深度學習以訓練、調整及優化跌倒辯識單元3的判斷,由跌倒偵測演算法子模組329擷取曲率算法子模組322、形狀算法子模組323、人體局部構型演算法子模組324、光流算法子模組325及詞袋演算法子模組326的各演算結果,建立一跌倒偵測與判斷模型,由尺度不變特徵變換演算法模組320進行各受照護者在區域的距離遠近變化的影像補償,另方面,還能夠同時建立多人追蹤演算法模型,以利在場景在多人時,能同時進行跌倒與姿態辨識。
其中光流算法子模組325,是透過光流法(Optical flow or optic flow)進行演算,光流法是指某物件圖像表現運動所呈現的速度。物體在運動的時候之所以能被人眼發現,就是因為當物體運動時,會在人的視網膜上形成一系列的連續變化的圖像,這些變化資訊會在不同時間,不斷的流過眼睛視網膜,就好像一種光流過一樣,故稱之為光流。光流法可用來描述環境中人體或物件相對於機器視覺(相當於觀察者)的運動,可視為所造成高齡長者或被照顧者(被觀測目標)其表面或邊緣的運動。換言之,光流是由於場景中前景目標本身的移動、以及相機的運動,或者兩者的相互運動所產生的。做法上可以首先給環境中每圖像之每個像素點(Pixels)賦予一個速度向量(光流,包括大小和方向),這樣就可形成了光流場。如果環境中圖像沒有運動物體,光流場就會連續均勻,但如果有運動物體,運動物體的光流和圖像的光流會有所不同,光流場就會不再連續均勻,從而可以檢測出運動物體及位置,光流法在圖形識別、計算機視覺以及其他影像處理領域中非常有用,可用於運動檢測、碰撞時間與物體膨脹的計算,或通過物體表面與邊緣進行立體的具體度量,人體於跌倒連續過程中,就會同時產生關於肢體、骨架、關節 光流場變化,藉由偵測辨識相關光流場變化,即可同時獲取人體姿態變化資訊,並結合前述各演算法以輔助跌倒辨識與相關聯之姿態辨識與分析。
詞袋演算法子模組326,是一種貝氏多層架構之機率模型,可提供作為對場域中各式物件有需建立智能學習機制的一種分類方式,可以應用於有利幫助判斷評估是否跌倒之可能性與輔助機制,然後集合這些與跌倒有關連之各種片段(Video Clip),並映射這些與跌倒之各種有關片段其對應的密碼本(Codebook)。因此在高齡長者或被照顧者於其場域及活動過程中,據此可獲得及統計出這些可能出現代碼字元(Codeword)的分佈曲線圖,例如圖11所示物理意義可表示特定姿態出現次數的分布曲線圖。曲線圖在影像處理與電腦視覺中常被用來分析影像內容特性。從曲線圖的概念,可藉此來分析特定姿態其連續變化後,以及可能引致跌倒的判斷因素或原則。
人體骨架與關節點子模組327,是擷取前述諸如曲率算法子模組322、人體局部構型演算法子模組324、形狀算法子模組323、光流算法子模組325及詞袋演算法子模組326的相關數據資料,以獲取環境中所關注的高齡長輩或者被照顧者之所有活動及姿態細節資訊,並且設計演算法以及整合這些細節資訊,以利建構環境中人體的骨架、與關節點及其關鍵參數,當產生了這些環境中即時之所有人體骨架與關節點等即時之重要參數後,就等同隨時了解場景中各式物件與人體相關關係、存在特定人體其個人化之活動姿態細節、以及人體與人體間之即時互動關係,基於這些骨架與關節點即時參數,就可根據所掌握之即時資訊,判斷環境中所關注人員的活動及過程資訊,以利進行特定行為、動作的判斷,諸如站、坐、起、臥、躺、蹲、跌倒、...各式動作。然而因人體特定行為其源自於各一系列的姿態組成,事實上是非常複雜。換言之,不同之特定行為(Behavior),很多時候可能會有相同的特定姿態(Pose)。舉例來說,特定之「往前撲倒」這個動作(如圖5及圖6所示), 有些連續姿態動作其實是跟「彎腰」、「駝背」、「拿東西身體往前傾」等,都有很類似之處,在此吾人可稱其為「偽跌倒」。就萬物之靈之人類來說,因有智能可以快速可分辨這些動作細微差異,是較容易的事。但如果要讓電腦或機器也同時能分辨這類問題,就須採用所謂機器學習(Machine Learning)、深度學習(Deep Learning)等之人工智慧(Artificial Intelligent)方法,來設計這些演算法,建立機器的學習規則與模型,使機器具有指定成具特定能力之人工智慧。
一併參考圖12所示,為機器學習子模組328的流程示意圖,首先要選擇設計此機器學習演算法之框架(或平台),常用之框架例如Tensorflow、Poytch,等或快速特徵嵌入的卷積結構CNN等。此框架如以Tensorflow而言可視為一種機器學習設計工具,其內含許多可用之演算法及函數;就Tensorflow來說主要可提供深度學習模型(Deep Learning model)一些方法。
跌倒偵測演算法子模組329,是擷取前述諸如曲率算法子模組322、形狀算法子模組323、人體局部構型演算法子模組324、光流算法子模組325及詞袋演算法子模組326的相關數據資料,以獲取環境中所關注的長輩或者被照顧者之所有活動姿態細節資訊,並且設計演算法以利整合這些細節資訊,使建構環境中人體的骨架、與關節點及其關鍵參數,當產生了這些環境中即時之所有人體骨架與關節點等即時重要參數後,就等同隨時了解場景中各式物件與人體相關關係、存在特定人體其個人化之活動姿態細節、以及人體與人體間互動關係。此外,跌倒偵測演算法子模組329模組有內建以深度學習(Deep Learning)等之方法所建立的AI模型,其輸入參數結合來自前述各模組資訊(如人體骨架與關節點模組等),除擷取前述各模組運算輸出之資訊,也同時考慮人體當下各關節點之及時之位置、速度、及加速度等各參數變化,以所建立之AI模型,進行一系列之跌倒偵測與判斷。
尺度不變特徵變換演算法模組320需進行尺度空間極值 檢測、關鍵點定位、方向確定及關鍵點描述,所述的尺度空間極值檢測是搜尋所有尺度上的圖像位置。通過高斯微分函式來識別潛在的對於尺度和旋轉不變的興趣點;關鍵點定位是在每個候選的位置上,通過一個擬合精細的模型來確定位置和尺度。關鍵點的選擇依據它們的穩定程度;方向確定是基于圖像局部的梯度方向,分配給每個關鍵點位置一個或多個方向。所有後面的對圖像資料的操作都相對關鍵點的方向、尺度和位置而進行變換,從而提供對于這些變換的不變性;關鍵點描述是在每個關鍵點周圍的鄰域內,在選定的尺度上測量圖像局部的梯度。這些梯度被變換成一種表示,這種表示允許比較大的局部形狀的變形和照度變化。
依照本發明另第三實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識與智能視覺型電子圍籬模組結合使用方法,請參考圖13及圖14所示。在智能視覺型電子圍籬的實施例中,影像擷取單元擷取環境場域中所關注的被受照顧者在環境中的影像,經過影像處理單元後,其具高度隱私的串流影像除傳送至跌倒辨識單元,進行跌倒辨識外,另一個同樣的串流影像會傳送至智能視覺型電子圍籬模組,來進行是否有觸發智能視覺型電子圍籬模組所欲防堵各種可能的危險情境。在智能視覺型電子圍籬模組(AI Electrical Fence Algorithm)23中,如步驟S101前的步驟S101’智能視覺型電子圍籬模組23在影像擷取單元(IP CAM)1拍攝的各區域建立一電子圍離區塊230,並與受照護者的軀體影像資料進行影像疊加;一併參考圖15所示,並如步驟S103’判斷被照護者4是否在電子圍離區塊的範圍內或遠離電子圍離區塊230,判斷受照護者是否有異常行為,如果有,發佈即時通報訊息。
其中智能視覺型電子圍籬模組23,是結合AI智慧演算法以及安防的電子圍籬技術做整合,建構「AI電子圍籬演算法」,使其擴充應用於智慧家庭、智慧長照、或者以人為主場域的安全照護使用。本案可依據所特別關注及應用需要,整合電子圍籬的範圍設定,除輔助跌倒的判定及其他多元辨識的應用,例如可將電子圍籬的範圍設定為受照 護者較少去的地方(例如堆放雜物的閒置空間),如果受照護者在電子圍籬的範圍,則很可能發生危險,則立即通報。因此,可透過電腦視覺與影像處理技術,將關心的目標(受照護者)與「視覺型電子式圍籬」建立互動干涉關係,當其互動干涉關係被辨識出且發生成立,系統即時發出通報。
依照本發明另第四實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識方法,一併參考圖16及圖17所示,其中影像處理單元2包括一防視覺隱私權洩漏演算法模組(Privacy Protection Algorithm)24,並如步驟S101後的步驟S1011”,防視覺隱私權洩漏演算法模組24對受照護者的軀體影像資料進行特徵輪廓處理以及動態影像演算法遮蔽處理,以產生一對應受照護者且具有安全隱私屏蔽的人體影像破壞性遮罩,更進一步,步驟S1021”後還可如步驟S1012”對區域的多個物件影像進行特徵輪廓處理以及動態影像演算法遮蔽處理,以產生多個對應所述物件且具有安全隱私屏蔽的物件影像破壞性遮罩。
其中防視覺隱私權洩漏演算法模組24是提供整合採用「影像處理」與「AI演算法」技術,對可見光攝影機之影像,進行特徵輪廓遮蔽處理,以及動態影像演算法疊加,最後合成影像以達成兼具高辨識率,同時又顧及以人為主之安全照護隱私,另方面,可以對所關注環境之場域各個受照顧者目標做同樣遮蔽處理,避免洩漏出個物件知詳細特徵與輪廓,以達更進一步的隱私保護。
依照本發明另第五實施例的一種具安全照護及高隱私處理的跌倒及姿態辨識方法,如圖18及圖19所示,其中影像處理單元2更包括一夜間跌倒與姿態模型24,並於步驟S101後如步驟S1011,夜間跌倒與姿態模型24透過模糊技術(Fuzzy Theory)分析及智慧辨識強化軀體影像資料。
其中跌倒及姿態辨識系統更包括一通訊單元4(例如手機App/Line),是與跌倒辨識單元3訊連接,並於步驟S104後如步驟S1041, 看護人員通過通訊單元4發出一關懷詢問訊息至各受照護者,照顧者端亦能於緊急狀況,同時從App或Line了解被照顧者現場狀況,並進行雙向通話。
一併參考圖20及21所示,在本例中受照護者分析模組32包括一屋內有人之異常偵測單元331、一特定狀態過久之異常偵測單元332、一作息統計單元333及一歷史瀏覽單元334,步驟S1023後還可包括下列步驟,S1301屋內有人之異常偵測單元331在一第一預定時間判斷受照護者是否在預定的區域,當如有人進入受照護者之居家空間,本發明專利更進一步整合前述所揭露之人體姿態辨識與電子圍籬等相關技術,自動將當有人進入被照顧者之居家空間狀態時,顯示於系統上,並將提示訊息推播至照護者的手機App與Line上。
如步驟S1302,特定狀態過久之異常偵測單元332在一第二預定時間之外(例睡覺時間)判斷受照護者是否一直維持動作不動,或是判斷是否在區域過久,為更進一步關注被照顧者於所在生活空間各種情境活動狀態,且能確保被照顧者處於穩定良好活動狀態,本發明專利更進一步藉由前述之人體姿態辨識相關技術,了解被照顧者是否處於特定狀態或者固定動作是否有維持太久的異常偵測。
如步驟S1303,作息統計單元333持續自動紀錄各該受照顧者之居家生活作息狀態,為更進一步關注被照顧者居家與生活作息狀態,本發明專利更進一步整合前述所揭露之人體姿態辨識等相關技術,自動且持續紀錄被照顧者之居家生活作息狀態(諸如站/坐/躺等姿態之活動狀態與分析,並顯示於系統上,以利照顧者隨時了解及追蹤觀察,以利評估衡量被照顧者平日健康生理狀態。
最後如步驟S1304,歷史瀏覽單元334供瀏覽各該受照顧者之居家生活作息狀態,為更同時追蹤關注被照顧者長期作息狀態,本發明專利更進一步整合前述所揭露之人體姿態辨識等相關技術,並自動且長時間紀錄被照顧者之生活作息錄影(例如可儲存且能對30天歷史活 動進行瀏覽)。本案一種具安全照護及高隱私處理的跌倒及姿態辨識方法,是利用影像擷取單元對各受照護者進行智慧影像看護,並透智慧學習增加受照護者跌倒的判斷準確率,還可透過智能視覺型電子圍籬模組的識別,可將電子圍籬的範圍設定為受照護者較少去的地方(例如堆放雜物的閒置空間),如果受照護者在電子圍籬的範圍,則很可能發生危險,則立即通報。另方面,還可防視覺隱私權洩漏演算法模組,對受照護者及環境物件進行隱私屏蔽,更可降低醫護人力成本,並達成上述所有目的。
本發明無論就目的、手段及功效,在均顯示其迥異於習知技術之特徵,為一大突破。惟須注意,上述實施例僅為例示性說明本發明之原理及其功效,而非用於限制本發明之範圍。任何熟於此項技藝之人士均可在不違背本發明之技術原理及精神下,對實施例作修改與變化。本發明之權利保護範圍應如後述之申請專利範圍所述。
S101~S104:步驟

Claims (10)

  1. 一種具安全照護及高隱私處理的跌倒及姿態辨識方法,係用於一跌倒及姿態辨識系統,並供辨識及區分至少一區域的至少一受照護者的軀體狀態,該跌倒及姿態辨識系統包括一影像擷取單元、一影像處理單元及一跌倒辯識單元,該影像擷取單元為網路攝影機(IP CAM),該影像擷取單元係對應該些區域設置,並供朝向該些受照護者拍攝,該影像處理單元係與該影像擷取單元訊號連接,該跌倒辯識單元係與該影像處理單元訊號連接,其中該跌倒及姿態辨識方法包括下列步驟:a)該影像擷取單元擷取該些受照護者的軀體影像以產生對應各該受照護者的一軀體影像資料;b)該影像處理單元接收該軀體影像資料,並對該軀體影像資料進行影像畫質及雜訊的預處理;及c)該跌倒辯識單元接收進行影像預處理後的該軀體影像資料後,以及透過人體姿態變化,判斷該些受照護者是否跌倒,如果該些受照護者跌倒或其他異常狀態,發佈一即時通報訊息;其中,該影像處理單元包括一光照變化分析模組及一環境光源描述模組,其中該步驟b)包括下列步驟:b1)該光照變化分析模組偵測該區域的環境光源改變,以產生一對場域環境光源描述之即時資訊;b2)該環境光源描述模組依據該光源即時資訊,及時修正及建立一周圍環境光源模型;及 b3)該影像處理單元依據該周圍環境光源模型對該區域搜尋與偵測識別存在於環境中的多個受照護者;其中,該跌倒辯識單元包括一受照護者分類模組及一受照護者分析模組,其中該步驟c)包括下列步驟:c1)該受照護者分類模組依據該影像處理單元對該區域的搜尋偵測及區別在該區域的該些環境中,識別受照護者,並建立對應各該環境被識別受照護者的對應骨架點及一目標矩形追蹤框;c2)該受照護者分類模組判斷該些環境被識別受照護者中是否符合該些受照護者的一特徵擷取即辨識資訊,如果符合,建立一對應的可能物件之候選框;c3)該受照護者分析模組依據該些特徵擷取即辨識資訊分析及辨識各該些受照護者的姿態、步態及/或行為;其中,該受照護者分析模組包括一曲率算法子模組,其中該步驟c3)包括一步驟c31),該曲率算法子模組辨識及演算各該受照護者的特定曲率的姿態變化。
  2. 如申請專利範圍第1項所述的跌倒及姿態辨識方法,其中該受照護者分類模組更包括一時空濾波子模組,其中該步驟c1)包括一步驟c11)該時空濾波子模組提供適當的邏輯與機制、遮罩值及特徵門檻值,以計算出該些環境內被識別受照護者的特定特徵。
  3. 如申請專利範圍第1項所述的跌倒及姿態辨識方法,其中該受照護者分析模組包括一幾何分析子模組、一形狀算法子模組及一人體局部構型演算法子模組,其中該步驟c31)該幾何分析子模組分析及辨識 該些環境內被識別的該些受照護者的形狀、尺寸及/或尺寸變化,該形狀算法子模組演算及比對各該受照護者的特定形體姿態,該人體局部構型演算法子模組演算各該受照護者的人體各部件。
  4. 如申請專利範圍第5項所述的跌倒及姿態辨識方法,其中該受照護者分析模組更包括一光流算法子模組、一詞袋演算法子模組、一人體骨架與關節點子模組、一機器學習子模組、一跌倒偵測演算法子模組、一尺度不變特徵變換演算法模組,其中該步驟c3)包括一在步驟c31)後的步驟c32)該光流算法子模組對各該受照護者的影像進行運動檢測、碰撞時間與物體膨脹的計算,該詞袋演算法子模組跌倒過程的姿態建立對應的多個特徵向量組編碼並分類,該人體骨架與關節點子模組擷取該曲率算法子模組、該形狀算法子模組及該人體局部構型演算法子模組的各演算結果,產生對應各該受照護者的所有活動及姿態的一狀態細節資訊,該機器學習子模組以類神經網路進行深度學習以訓練、調整及優化該該跌倒辯識單元的判斷,該跌倒偵測演算法子模組擷取該曲率算法子模組、該形狀算法子模組、該人體局部構型演算法子模組、該光流算法子模組及該詞袋演算法子模組的各演算結果,建立一跌倒偵測與判斷模型,該尺度不變特徵變換演算法模組進行各該受照護者在該區域的距離遠近變化的影像補償。
  5. 如申請專利範圍第1項所述的跌倒及姿態辨識方法,其中該影像處理單元包括一智能視覺型電子圍籬模組,其中該跌倒及姿態辨識方法要包括在步驟a)前的一步驟a’),該智能視覺型電子圍籬模組在該影像擷取單元拍攝的各該區域建立一電子圍離區塊,其中該步驟c)包括一 步驟c1’)判斷該些受照護者是否在該電子圍離區塊的範圍內或遠離該電子圍離區塊,如果該些受照護者進入該電子圍離區塊的範圍內或離開該電子圍離區塊,判定該些受照護者有異常現象或行為,並發佈該即時通報訊息。
  6. 如申請專利範圍第1項所述的跌倒及姿態辨識方法,其中該影像處理單元包括一防視覺隱私權洩漏演算法模組,其中該步驟b)包括一步驟b1”)該防視覺隱私權洩漏演算法模組對該受照護者的該軀體影像資料進行特徵輪廓遮蔽處理以及動態影像演算法遮蔽處理,以產生一對應該受照護者且具有安全隱私屏蔽的人體影像破壞性遮罩。
  7. 如申請專利範圍第6項所述的跌倒及姿態辨識方法,其中該步驟b1”)包括一步驟b11”)對該區域的多個物件影像進行特徵輪廓處理以及動態影像演算法遮蔽處理,以產生多個對應該些物件且具有安全隱私屏蔽的物件影像破壞性遮罩。
  8. 如申請專利範圍第1項所述的跌倒及姿態辨識方法,其中該影像處理單元更包括一夜間跌倒與姿態模型,其中該步驟a)包括一步驟a1”)該夜間跌倒與姿態模型透過模糊技術分析及智慧辨識強化該軀體影像資料。
  9. 如申請專利範圍第1項所述的跌倒及姿態辨識方法,其中該跌倒及姿態辨識系統更包括一通訊單元,該通訊單元與該跌倒辨識單元訊號連接,其中該跌倒及姿態辨識方法更包括一步驟d)該通訊單 元供發出一關懷詢問訊息至各該受照護者,亦能於緊急狀況,同時了解被照顧者現場狀況,並進行雙向通話。
  10. 如申請專利範圍第1項所述的跌倒及姿態辨識方法,其中該受照護者分析模組包括一屋內有人之異常偵測單元、一特定狀態過久之異常偵測單元、一作息統計單元及一歷史瀏覽單元,其中該步驟c3)包括下列步驟:c31’)該屋內有人之異常偵測單元在一第一預定時間判斷該些受照護者是否在預定的該區域;c32’)該特定狀態過久之異常偵測單元判斷在一第二預定時間之外判斷該些受照護者是否一直維持動作不動,或是判斷是否在該區域過久;c33’)該作息統計單元持續自動紀錄各該受照顧者之居家生活作息狀態;及c34’)該歷史瀏覽單元供瀏覽各該受照顧者之居家生活作息狀態。
TW111124986A 2022-07-04 2022-07-04 一種具安全照護及高隱私處理的跌倒及姿態辨識方法 TWI820784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW111124986A TWI820784B (zh) 2022-07-04 2022-07-04 一種具安全照護及高隱私處理的跌倒及姿態辨識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111124986A TWI820784B (zh) 2022-07-04 2022-07-04 一種具安全照護及高隱私處理的跌倒及姿態辨識方法

Publications (2)

Publication Number Publication Date
TWI820784B true TWI820784B (zh) 2023-11-01
TW202403664A TW202403664A (zh) 2024-01-16

Family

ID=89722180

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111124986A TWI820784B (zh) 2022-07-04 2022-07-04 一種具安全照護及高隱私處理的跌倒及姿態辨識方法

Country Status (1)

Country Link
TW (1) TWI820784B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202011351A (zh) * 2018-09-13 2020-03-16 緯創資通股份有限公司 跌倒偵測方法以及使用此方法的電子系統
TW202127389A (zh) * 2020-01-14 2021-07-16 龍華科技大學 智慧家庭監控系統
CN113409348A (zh) * 2020-03-16 2021-09-17 上海数迹智能科技有限公司 一种跌倒检测***及其基于深度图像的跌倒检测方法
US20220139188A1 (en) * 2016-05-31 2022-05-05 Ellcie-Healthy Personal system for the detection of a fall or a fall prone situation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220139188A1 (en) * 2016-05-31 2022-05-05 Ellcie-Healthy Personal system for the detection of a fall or a fall prone situation
TW202011351A (zh) * 2018-09-13 2020-03-16 緯創資通股份有限公司 跌倒偵測方法以及使用此方法的電子系統
TW202127389A (zh) * 2020-01-14 2021-07-16 龍華科技大學 智慧家庭監控系統
CN113409348A (zh) * 2020-03-16 2021-09-17 上海数迹智能科技有限公司 一种跌倒检测***及其基于深度图像的跌倒检测方法

Also Published As

Publication number Publication date
TW202403664A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
CN111383421B (zh) 隐私保护跌倒检测方法和***
Cardinaux et al. Video based technology for ambient assisted living: A review of the literature
Shojaei-Hashemi et al. Video-based human fall detection in smart homes using deep learning
Planinc et al. Introducing the use of depth data for fall detection
Alhimale et al. The implementation of an intelligent and video-based fall detection system using a neural network
Shoaib et al. View-invariant fall detection for elderly in real home environment
Chang et al. A pose estimation-based fall detection methodology using artificial intelligence edge computing
Fosty et al. Event recognition system for older people monitoring using an RGB-D camera
TWI820784B (zh) 一種具安全照護及高隱私處理的跌倒及姿態辨識方法
KR20230064095A (ko) 딥러닝 기반 영상분석을 통한 이상행동 탐지 장치 및 방법
Kaur et al. Real-time video surveillance based human fall detection system using hybrid haar cascade classifier
El Kaid et al. Real-World Case Study of a Deep Learning Enhanced Elderly Person Fall Video-Detection System.
Osigbesan et al. Vision-based fall detection in aircraft maintenance environment with pose estimation
Law et al. Smart Prison-Video Analysis for Human Action Detection
KR102647328B1 (ko) 엣지형 감시카메라 ai 이상상황 탐지제어장치 및 방법
KR102615378B1 (ko) 행동인식 기반 위험 상황 감지 시스템 및 방법
Chiranjeevi et al. Surveillance Based Suicide Detection System Using Deep Learning
Jeong et al. A vision-based emergency response system with a paramedic mobile robot
Lv Research on Underground Personnel Behavior Detection Algorithm Based on Lightweight OpenPose
Divya et al. Fall detection using OpenPose
US20230206639A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
Abdo et al. Human Fall Detection Using Spatial Temporal Graph Convolutional Networks.
Ke et al. Design of Fall Detection System Based on Infrared-Visible Camera and Internet of Things Technology
Shukla et al. Vision based approach to human fall detection
Shiraishi et al. Detection of suspicious person with kinect by action coordinate