TWI671707B

TWI671707B - 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體

Info

Publication number: TWI671707B
Application number: TW107120844A
Authority: TW
Inventors: 卓卿安; 黃國庭
Original assignee: 緯創資通股份有限公司
Priority date: 2018-06-15
Filing date: 2018-06-15
Publication date: 2019-09-11
Also published as: US20190385314A1; CN110610119A; US10922822B2; CN110610119B; TW202001783A

Abstract

一種適用於電子系統的影像分析方法。電子系統包括對應於預設場景設置的影像擷取裝置。所述影像分析方法包括：取得影像擷取裝置所擷取的多張影像；對所述多張影像進行動作偵測，以判斷其中是否包括動作；以及響應於該動作偵測判斷所述多張影像中包括動作時，判斷目標物是否進入預設場景或離開預設場景。

Description

影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體

本發明是有關於一種影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體。

近年來，人口老化的速度正快速地成長。在繁忙的都市當中，子女並無法隨時近距離的照顧長輩。因此居家照護便越發重要，居家照護機構或看護派遣中心也跟著林立而生。

即使在老年照護或病患照護的機構當中，看護者也無法一對一的照顧所有的長輩或病患。因此，這些機構常在室內環境設置多台攝影機等監視系統，來監看老年人或病患。然而，目前的監視系統並沒有影像辨識的功能，看護者仍須時時監看著對應多台攝影機的多個影像畫面才能夠得知老年人或病患當前的動態以及位置等等。據此，一種符合成本考量的自動化輔助系統可說是當前時代的需求。

有鑑於此，本揭露提出一種影像分析方法、電子系統以及非暫態電腦可讀取媒體，能夠自動地判斷目標物是否進入或離開預設場景，可靠且成本低廉。

本揭露的實施例提出一種影像分析方法，適用於包括影像擷取裝置的電子系統，其中影像擷取裝置係對應於預設場景設置。所述影像分析方法包括：取得影像擷取裝置所擷取的多張影像；對所述多張影像進行動作偵測，以判斷其中是否包括動作；以及響應於動作偵測判斷所述多張影像中包括動作時，判斷目標物是否進入預設場景或離開預設場景。

從另一觀點來看，本揭露的實施例提出一種電子系統，包括影像擷取裝置以及處理器。影像擷取裝置對應於預設場景設置。處理器耦接於影像擷取裝置，並且用以：取得影像擷取裝置所擷取的多張影像；對所述多張影像進行動作偵測，以判斷其中是否包括動作；以及響應於動作偵測判斷所述多張影像中包括動作時，判斷目標物是否進入預設場景或離開預設場景。

從又另一觀點來看，本揭露的實施例提出一種非暫態電腦可讀取記錄媒體，儲存有程式碼，當程式碼被載入至電腦並執行後可完成影像分析方法。所述影像分析方法包括：從對應預設場景設置的影像擷取裝置取得多張影像；對所述多張影像進行動作偵測，以判斷其中是否包括動作；以及響應於動作偵測判斷所述多張影像中包括動作時，判斷目標物是否進入預設場景或離開預設場景。

基於上述，本揭露實施例所提出的影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體，先對影像擷取裝置所擷取到的影像進行計算量需求較小的動作偵測，並且在確定影像中出現動作後才進一步針對影像進行計算量較大的分析來判斷影像的特定區域中是否包括目標物，以及判斷目標物是否進入預設場景或離開預設場景。據此，能夠大幅減少運算負擔，提供了可靠且成本低廉的影像分析方式與工具。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本揭露的實施例將介紹一種影像分析方法，從對應預設場景所設置的影像擷取裝置所擷取的多張影像中，判斷目標物是否進入或離開預設場景。特別是，目標物無論是進入或離開預設場景都會包括進入或離開的過程，因此本揭露實施例先對多張影像進行動作偵測，在偵測到動作後才進一步進行影像分析來判斷目標物是否進入或離開預設場景。由於進行動作偵測所需的計算量遠小於進行影像分析以判斷目標物是否進入或離開預設場景所需的計算量，因此本揭露實施例所提出的方法能夠大幅減少系統的運算負擔。

圖1繪示本揭露一實施例的電子系統的方塊圖。請參照圖1，電子系統100包括影像擷取裝置110、處理器120以及提示裝置130，用以執行本揭露實施例所介紹的影像分析方法以判斷目標物是否進入或離開預設場景，其中處理器120耦接於影像擷取裝置110以及提示裝置130。在一些實施例中，影像擷取裝置110例如是對應床鋪上的枕頭區域來設置，並且電子系統100可用以觀察對象（例如，床鋪用戶）的臉部、頭部或肩部是否進入或離開枕頭區域，藉此判斷此觀察對象是躺下或起身。以下的說明中將以上述實施例作為示範例來對本揭露的影像分析方法進行詳述，然而，本揭露並不限於所述實施例。

影像擷取裝置110是對應預設場景設置，並且用以連續或不連續地擷取多張影像。具體來說，影像擷取裝置110經設置為其視野範圍內包括預設場景。在一些實施例中，影像擷取裝置110例如是紅外線攝影機，並且經設置以使其能夠拍攝到整個預設場景。在其他實施例中，影像擷取裝置110視使用上的需求亦可實作為黑白攝影機或彩色攝影機等裝置，本揭露並不在此限制。

處理器120用以從影像擷取裝置110取得其所擷取的多張影像，並且從中判斷目標物是否進入或離開預設場景。在一些實施例中，處理器120更在判斷目標物是否進入或離開預設場景後，藉由提示裝置130來發出提示訊息，以提示目標物進入或離開了預設場景。在一些實施例中，處理器130可例如是雙核心、四核心或八核心等各類型的中央處理器（central processing unit，CPU）、系統晶片（system-on-chip，SOC）、應用處理器（application processor）、媒體處理器（media processor）、微處理器（microprocessor）、數位信號處理器（digital signal processor）或其他類似者，本揭露不在此限制實作時所使用的處理器類型。

提示裝置130用以根據處理器120的指令來發出提示訊息（例如，提示使用者已進入預設場景或提示使用者已離開預設場景等）。在一些實施例中，提示裝置130例如是揚聲器、顯示器以及通訊模組的其中之一或其組合。揚聲器能夠以聲音或聲響來發出提示訊息提示使用者；顯示器能夠以圖形或字樣來發出提示訊息提示使用者；而通訊模組能夠以電子郵件或手機簡訊等方式來發出提示訊息提示使用者。所屬領域具備通常知識者當可依其需求來根據本揭露實施例進行設計或修改，以實作出能夠發出提示訊息提示使用者的提示裝置130，本揭露並不在此限制提示裝置130的具體實作方式。

為了流程的順暢性，在以下數個實施例的流程中處理器120會分配一個二元參數作為指示器，其值為0或1並且預設為0。指示器隨著影像分析方法的流程的進行可能會被處理器120設定為0或1用以指示目前的觀察對象可能躺下或可能起身。更具體來說，指示器為0表示觀察對象並未躺下或並未起身，而指示器為1則表示觀察對象可能躺下或可能起身。

圖2A繪示本揭露一實施例中判斷目標物是否進入預設場景的影像分析方法的流程圖。圖2A實施例所介紹的影像分析方法適用於圖1實施例的電子系統100，故以下搭配電子系統100中的各項元件來進行說明。如前述段落所言，本實施例中將以判斷觀察對象是否躺下的系統來做為電子系統100的示範例，但本揭露並不限於此。

請參照圖2A，在步驟S101中，處理器120會取得影像擷取裝置110所擷取的影像，接著在步驟S102中，判斷指示器為0或1。若指示器為0，則進入步驟S103，反之則進入步驟S107。

詳細來說，影像擷取裝置110是以特定的幀率（例如但不限於30fps）來取得影像，此影像中例如可能包括預設場景以外的景象，但本揭露並不限於此。為了減少運算量以及增加準確度，在一些實施例中，處理器120會在影像中選擇包括預設場景的興趣區域（Region of Interest，ROI），並且僅取得影像內的興趣區域的部分。在以下的說明當中所提及處理器120從影像擷取裝置110所取得的影像所指的皆是位於興趣區域中的部分影像。然而，本揭露並不限於此。

圖4繪示本揭露一實施例中取得影像的示意圖。

請參照圖4，在本實施例中，影像擷取裝置110所擷取的影像IMG可能包括幾乎整個床鋪以及床鋪以外的景象，其中包括作為預設場景的枕頭區域。因此，處理器120例如會選擇床鋪區域作為興趣區域來取得第一影像IMG_1，而其中包括有上部2/3的床鋪作為預設場景的枕頭區域。

在步驟S103中，處理器120會對所取得的影像進行動作偵測，以判斷其中是否包括動作。若沒有動作，則回到步驟S101繼續取得影像；反之，表示可能有目標物進入預設場景，進入步驟S106將指示器設定為1，再回到步驟S101繼續取得影像以進行進一步判斷。

詳細來說，處理器120所進行的動作偵測例如是計算不同時間點所取得的兩張影像之間的影像差異，以根據此影像差異產生動作影像。據此，若不同時間點所取得的兩張影像之間存在一定程度的差異，則表示此兩張影像之間包括動作。反之，則繼續取得影像進行判斷。

在本實施例中，不同時間點的固定間隔例如為8個幀時間。也就是說處理器120在取得第1個幀的第一影像IMG_1後，會取得第9個幀的第一影像IMG_1，以從第1個幀與第9個幀的第一影像IMG_1來判斷其中是否包括動作。若判斷第1個幀與第9個幀的第一影像IMG_1中包括動作，會進入步驟S106；反之，若判斷第1個幀與第9個幀的第一影像IMG_1中不包括動作，則繼續取得第17個幀的第一影像IMG_1，以判斷第9個幀與第17個幀的第一影像IMG_1來判斷其中是否包括動作，以此類推。

在一些實施例中，為了縮短判斷的間隔以增加精準度，處理器120更取得並記錄第1個幀與第9個幀之間的第5個幀的第一影像IMG_1，以及第9個幀與第17個幀之間的第13個幀的第一影像IMG_1，以從第5個幀與第13個幀的第一影像IMG_1來判斷其中是否包括動作。如此一來，在判斷第1個幀與第9個幀的第一影像IMG_1中不包括動作，且尚未取得到第17個幀的第一影像IMG_1時，處理器120可以從第5個幀與第13個幀的第一影像IMG_1來判斷其中是否包括動作。換句話說，同樣是以8個幀時間作為固定間隔來判斷動作，但提高了判斷的頻率。

在本實施例中，在第一影像IMG_1中包括動作表示觀察對象的臉部或頭部有可能進入枕頭區域，也就是觀察對象有可能躺下。因此，在判斷第一影像IMG_1中包括動作後，處理器120會在步驟S106中先將指示器設定成1後，再回到步驟S101繼續取得下一張影像來進行影像分析，以判斷觀察對象的臉部或頭部是否確實進入了枕頭區域。

值得一提的是，前述的第一影像IMG_1皆是用以進行動作偵測，處理器120並不會對第一影像IMG_1進行影像分析的操作。然而，以下說明中處理器120在步驟S106指示器設定成1後，再回到步驟S101所取得用以進行影像分析的影像將稱之為第二影像IMG_2或後續影像。簡單來說，在指示器為0時所取得的影像稱之為第一影像IMG_1，而在指示器為1時所取得的影像稱之為第二影像IMG_2。換句話說，用以進行動作偵測而不用以進行影像分析（例如步驟S107及步驟S107的後續步驟）的影像稱為第一影像IMG1，而用以進行影像分析（例如步驟S107及步驟S107的後續步驟）的影像稱為第二影像IMG2。必須說明的是，第一影像IMG_1與第二影像IMG_2皆是處理器120從影像擷取裝置110所取得，除了擷取時間之外，兩者在本質上並無區別。

在第一影像IMG_1已經被判斷為包括動作後，指示器為1，因此回到步驟S101取得第二影像IMG_2後流程會接著從步驟S102進入步驟S107。在步驟S107中，處理器120會根據影像中對應於預設場景的場景區域（在本說明中亦稱第二區域）中是否包括目標物，判斷目標物是否進入預設場景。若判斷為是，表示目標物進入預設場景，則進入步驟S108；反之，表示雖然第一影像IMG_1中包括動作，但目標物並未因此動作進入預設場景，故進入步驟S111將指示器歸零後回到步驟S101。

詳細來說，興趣區域中包括預設場景，也可以包括有預設場景以外的景象。為了減少計算量，處理器120例如僅針對第二影像IMG_2中對應於預設場景的場景區域（即，第二區域）來進行影像分析，以在其中根據目標物的特定特徵來尋找目標物，以判斷目標物是否在預設場景中。

圖7繪示本揭露一實施例中在場景區域尋找目標物的示意圖。

請參照圖7，本實施例的興趣區域例如是上部2/3的床鋪，而第二區域RG2則是對應於枕頭區域的影像的上半部區域。在本實施例中，處理器120例如會在第二影像IMG_2的第二區域RG2中尋找觀察對象的臉部的特定特徵（例如但不限於，鼻子）。若處理器120在第二影像IMG_2的第二區域RG2中找到觀察對象的臉部的特定特徵，則表示觀察對象的臉部已經進入枕頭區域，換言之觀察對象已經躺下。反之，則表示觀察對象的臉部並未進入枕頭區域，也就是觀察對象並未躺下。

在步驟S108中，處理器120會輸出目標物進入預設場景的訊號，接著進入步驟S112來歸零指示器。詳細來說，處理器120可例如是透過提示裝置130來輸出目標物進入預設場景的訊號，但本揭露並不限於此。在本實施例中，處理器120例如會輸出對應於「觀察對象已躺下」的訊號。在一些實施例中，在步驟S112後處理器120會接續進入下述圖3的流程，但本揭露並不限於此。

根據上述實施例，處理器120對第一影像IMG_1進行計算量需求較小的動作偵測，僅在確認第一影像IMG_1中包括動作後才對第二影像IMG_2進行計算量需求較大的影像分析，準確、高效率且成本低廉。

圖2B繪示本揭露另一實施例中判斷目標物是否進入預設場景的影像分析方法的流程圖。類似地，圖2B實施例所介紹的影像分析方法適用於圖1實施例的電子系統100，故以下搭配電子系統100中的各項元件來進行說明。如前述段落所言，本實施例中將以判斷觀察對象是否躺下的系統來做為電子系統100的示範例，但本揭露並不限於此。

圖2B實施例包括圖2A實施例的各個步驟，相同步驟的詳細說明可參照圖2A實施例的說明，在此並不重複贅述。然而，除了包括圖2A實施例中的所有步驟，圖2B實施例更包括了步驟S104、S105、S109、S110，能夠增加判斷的準確度並提升效率，詳細的流程說明如下。

請參照圖2B，在步驟S101中，處理器120會取得影像擷取裝置110所擷取的影像，接著在步驟S102中，判斷指示器為0或1。若指示器為0，則進入步驟S103，反之則進入步驟S107。在步驟S103中，處理器120會對所取得的影像進行動作偵測，以判斷其中是否包括動作。若其中沒有動作，則回到步驟S101繼續取得影像；反之，則進入步驟S104以對所偵測到的動作做進一步判斷。

在步驟S104中，處理器120會判斷動作是否進入預設場景。若判斷動作進入預設場景，表示可能有目標物進入預設場景，則進入步驟S105後再進入步驟S106將指示器設定為1；反之，則直接回到步驟S101繼續取得影像。

詳細來說，處理器120所取得的第一影像IMG_1可能會拍攝到除了預設場景之外的場景，而在這些預設場景之外的場景中的動作若沒有進入預設場景，都不足以表示目標物進入預設場景。因此，即使第一影像IMG_1中包括動作，若處理器120判斷動作沒有進入預設場景，則仍然回到步驟S101繼續取得影像。在本實施例中，若第一影像IMG_1所包括的動作都侷限於第一影像IMG_1的下半部，表示觀察對象的臉部或頭部並未進入對應於預設場景的第二區域RG2，便會回到步驟S101。

另一方面，若處理器120判斷動作進入了預設場景，則在步驟S105中，根據第一影像IMG_1在第一區域RG1中定義多個特徵點。具體來說，第一區域RG1是根據第一影像IMG_1中的動作所得到，用以表示目標物在影像中可能的所處區域。因此，在第一區域RG1中定義多個特徵點便能夠追蹤這些特徵點來判斷目標物的動態（例如，移動方向等）。

圖5A繪示本揭露一實施例中取得動作影像的示意圖；圖5B繪示本揭露一實施例中決定第一區域的示意圖。

請參照圖5A，在本實施例中，在決定第一影像IMG_1包括動作之後，處理器120會取得第一影像IMG_1的動作影像IMG_m。舉例而言，處理器120會計算兩張第一影像IMG_1的對應畫素的差值，並且以此差值來建立出動作影像IMG_m。因此，動作影像IMG_m中畫素值不為0的區域（例如，動作影像IMG_m中以白色繪示的區域）皆為動作區域。

必須說明的是，為了表示上的簡潔，圖5A中僅繪示單一張第一影像IMG_1。處理器120實際上是取得兩張不同擷取時間的第一影像IMG_1來計算出動作影像IMG_m。

在本實施例中，處理器120在找出動作區域後還會根據動作區域的面積大小來過濾動作區域，以濾除不必要的雜訊。舉例來說，處理器120可例如是計算所有的動作區域的平均面積，並且將面積大於平均面積的動作區域MA1、MA2、MA3、MA4保留下來。

在一些實施例中，處理器120可例如是在此時執行步驟S104，根據保留下來的動作區域MA1、MA2、MA3、MA4判斷動作是否進入預設場景。舉例來說，處理器120判斷動作區域MA1、MA2、MA3、MA4中是否有與場景區域（第二區域）RG2重疊的部分。如圖5A所示，由於動作區域MA4與第二區域RG2重疊，故而處理器120可在步驟S104中判斷動作有進入預設場景。

隨後，處理器120會根據預設場景來從保留下來的動作區域MA1、MA2、MA3、MA4中選擇出目標區域。在本實施例中，處理器120會選擇最上方的動作區域MA4作為目標區域，並且根據此目標區域MA4來決定第一區域RG1。

請參照圖5B，處理器120例如會預設第一區域RG1的總高度為影像（例如，第一影像IMG_1、第二影像IMG_2或動作影像IMG_m）高度h的三分之一，並且使第一區域RG1的最上緣TP1比目標區域MA4的最上緣TP2高出預設高度a（例如，15個畫素），以決定第一區域RG1。據此，能夠確保隨後在定義特徵點時，在目標區域MA4中發生動作的物體（例如，可能為目標物的頂端）的特徵點更良好的被定義。以本實施例為例而言，在目標區域MA4中發生動作的物體可能包括觀察對象的頭頂，因此在觀察對象的頭頂也能夠良好的定義出多個特徵點。

值得一提的是，雖然上述實施例介紹了用來定義特徵點的第一區域RG1的決定方式，但本揭露並不以上述實施例為限制。所屬技術領域具備通常知識者當可依其經驗或需求來自行決定用來定義特徵點的第一區域RG1。

在決定了第一區域RG1後，處理器120便能在步驟S105中定義多個特徵點。

圖6A繪示本揭露一實施例中定義多個特徵點的示意圖。

請參照圖6A，在本實施例中，處理器120例如使用OpenCV的Lucas-Kanade optical flow演算法，在第一影像IMG_1的第一區域RG1中找出特徵點（例如，邊界點或角點等，圖6A中以白點表示）。然而，本揭露並不限於此，屬技術領域具備通常知識者當可由相關文獻獲致足夠尋找特徵點的演算法（例如，Canny邊緣檢測算法、Harris角檢測算法等等）。

定義完特徵點後，進入步驟S106，處理器120會將指示器設定為1，並回到步驟S101繼續取得下一張影像（第二影像IMG_2）。

類似於圖2A實施例，流程會繼續進行至步驟S107，處理器120會根據影像中對應於預設場景的場景區域RG2中是否包括目標物，判斷目標物是否進入預設場景。若判斷為是，表示目標物進入預設場景，則進入步驟S108來進行輸出。

另一方面，若處理器120在步驟S107中判斷目標物並未進入預設場景，表示第一影像IMG_1中的動作並非是使目標物進入預設場景，或者表示第一影像IMG_1中的動作雖是使目標物進入預設場景但尚未完成，故目標物並未進入預設場景。因此，進入步驟S109，處理器120會繼續根據所取得的多張影像以及多個特徵點，決定動作的動作方向，以判斷第一影像IMG_1中的動作是否是使目標物進入預設場景的動作。

詳細來說，處理器120會根據第一影像IMG_1中所定義的多個特徵點以及在第二影像IMG_2中對應的該些特徵點，來從此些特徵點的位置變化（例如，光流資訊）決定動作的動作方向。

圖8繪示本揭露一實施例中根據光流資訊決定動作的動作方向的示意圖。

請參照圖8，位置p1s、p2s、p3s例如是任一張第一影像IMG_1或導致指示器切換為1的第一影像IMG_1中的多個特徵點的位置，而位置p1e、p2e、p3e例如是對應的第二影像IMG_2中的多個特徵點的位置，而其中的箭頭用以表示各個特徵點的位移向量，或稱之為光流資訊。舉例來說，一個特徵點從位置p1s移動到位置p1e的位置，另一個特徵點從位置p2s移動到位置p2e，而又另一個特徵點從位置p3s移動到位置p3e。因此，只要根據步驟S105中所定義的特徵點取得光流資訊，便能夠進行統計以判斷動作的動作方向。

在步驟S110中，處理器120會判斷動作方向是否符合預設進入方向。詳細來說，若動作方向符合預設進入方向，表示動作仍可能是使目標物進入預設場景的動作，只是目標物尚未進入預設場景，因此不歸零指示器而直接回到步驟S101繼續取得下一張影像（第二影像）以使流程能夠進入步驟S107以繼續判斷目標物是否進入預設場景。反之，若動作方向不符合預設進入方向，表示動作並非是使目標物進入預設場景的動作，因此進入步驟S111將指示器歸零後回到步驟S101。

在本實施例中，由於場景區域或第二區域RG2位於影像的上半部，因此預設進入方向為「上」。處理器120會從光流資訊判斷所有特徵點中，判斷位移向量朝上的特徵點，以及判斷此些特徵點的終點是否位於場景區域RG2中。以圖8為例，處理器120會判斷從位置p1s移動到位置p1e的特徵點以及從位置p3s移動到位置p3e的特徵點是位移向量朝下的特徵點，而從位置p2s移動到位置p2e的特徵點是位移向量朝上的特徵點，且只有一個特徵點的終點位於場景區域RG2中（即，位置p1e）。

在本實施例中，若處理器120判斷所有「位移向量朝上且終點位於第二區域RG2中」的特徵點數量超過所有特徵點數量的特定比例（例如但不限於，七成），則判斷動作方向是符合預設進入方向「上」，不歸零指示器進入步驟S101。反之，則進入步驟S111歸零指示器後再回到步驟S101。

值得一提的是，本說明中所謂方向朝上不必要指向正上方，所屬領域具備通常知識者當可依其需求來定義「朝上」的範圍。同理，方向朝下亦不必要指向正下方，所屬領域具備通常知識者亦可依其需求來定義「朝下」的範圍。

相較於圖2A實施例，圖2B實施例的流程能夠更加準確的分析影像，並且提升效率。在判斷目標物進入預設場景後，可進一步判斷在預設場景中的目標物是否離開預設場景。

圖3繪示本揭露一實施例中判斷目標物是否離開預設場景的影像分析方法的流程圖。圖3實施例所介紹的影像分析方法適用於圖1實施例的電子系統100，故以下搭配電子系統100中的各項元件來進行說明。如前述段落所言，本實施例中將以判斷觀察對象是否起身的系統來做為電子系統100的示範例。也就是說，目標物仍為觀察對象的臉部，而預設場景仍為枕頭區域，但本揭露並不限於此。

類似於圖2A與圖2B實施例，圖3實施例中的處理器120在判斷目標物是否離開預設場景時，也是先對第一影像IMG_1進行計算量需求較小的動作偵測，僅在確認第一影像IMG_1中包括動作後才對第二影像IMG_2進行計算量需求較大的影像分析，以分析目標物是否離開了預設場景。因此，圖3實施例的各步驟S201至S212的細節分別是類似於圖2B實施例的各步驟S101至S112的細節，相同的部分在以下說明中將不再贅述。

特別是，在圖2A與圖2B實施例中只要在第二區域RG2中沒有找到目標物就可視為目標物並未進入預設場景，然而在圖3實施例中，即使第二區域RG2中沒有找到目標物，也可能表示目標物的特定特徵改變了方向或者被覆蓋但尚在預設場景中。為解決上述的問題，圖3實施例與圖2B實施例的判斷流程稍有不同，以更準確判斷目標物是否離開預設場景。

請參照圖3，在步驟S201中，處理器120會取得影像擷取裝置110所擷取的影像，接著在步驟S202中，判斷指示器為0或1。若指示器為0，則進入步驟S203以對所取得的影像進行動作偵測，以判斷其中是否包括動作。若判斷影像中不包括動作，則回到步驟S201繼續取得影像（第一影像IMG_1）；反之若判斷影像中包括動作，則繼續進行步驟S204以判斷動作是否進入預設場景。

詳細來說，類似於圖2B實施例，處理器120會取得動作影像並且判斷其中的動作區域是否重疊於第二區域RG2。若動作區域沒有重疊於第二區域RG2，表示動作與目標物是否離開預設場景無關，因此回到步驟S201繼續取得影像。反之，若動作區域重疊於第二區域RG2，則進入步驟S205以及206，以將指示器設定為1後回到步驟S201繼續取得下一張影像（第二影像IMG_2）。

在本實施例中，觀察對象若欲起身則勢必會在枕頭區域內有動作產生。因此，若動作區域不重疊於第二區域RG2，表示動作可能是發生在枕頭區域以外而與觀察對象的起身無關（例如，手、腳或影像中其他動作）。

在步驟S205中，處理器120會在第一區域中定義多個特徵點。關於在第一區域中定義多個特徵點的細節已經於步驟S105的說明中詳述，故在此不再贅述。

圖6B繪示本揭露一實施例中定義多個特徵點的示意圖。

請參照圖6B，類似於步驟S105，在本實施例中也是取動作影像IMG_m中最上方的動作區域作為目標區域，並且將目標區域的最上緣TP2向上提高預設高度a來作為第一區域RG1的最上緣TP1，以決定高度為h/3的第一區域RG1，以在其中定義出多個特徵點。據此，能夠確保觀察對象的頭頂也能夠良好的定義出多個特徵點。

在步驟S206中將指示器設定為1並回到步驟S201取得第二影像IMG_2後，步驟S202並不會直接進入步驟S207來判斷場景區域或第二區域RG2是否包括目標物，而是先進入步驟S209與步驟S210，以在步驟S209中決定動作的動作方向以及在步驟S210中判斷動作方向是否符合預設離開方向。

詳細來說，已經位於預設區域中的目標物即使發生動作，也有很大機率不會離開預設區域。舉例來說，觀察對象在床鋪上翻身時，並不表示觀察對象的臉部會離開枕頭區域或觀察對象會起身。舉另一例來說，觀察對象向上拉棉被而遮蓋住臉部時，也不表示觀察對象的臉部會離開枕頭區域或觀察對象會起身。據此，先進入步驟S209與步驟S210能夠濾除許多並非使目標物離開預設區域的動作，以提升判斷準確度與效率。

步驟209的細節類似於步驟109，故在此不再贅述。在步驟S210中，處理器120會判斷動作方向是否符合預設離開方向。若動作方向符合預設離開方向，因此進入步驟S207，來在第二影像IMG_2的第二區域RG2中尋找目標物，以判斷目標物是否離開預設場景。反之，若動作方向不符合預設離開方向，則回到步驟S201以繼續取得下一張影像。

在本實施例中，預設離開方向為「下」。處理器120會從光流資訊判斷所有特徵點中，判斷位移向量朝下的特徵點，以及判斷此些特徵點的終點是否位於場景區域RG2之外。以圖8為例，處理器120會判斷從位置p1s移動到位置p1e的特徵點以及從位置p3s移動到位置p3e的特徵點是位移向量朝下的特徵點，但只有一個特徵點的終點位於場景區域RG2之外（即，位置p3e），而從位置p2s移動到位置p2e的特徵點是位移向量朝上的特徵點。

在本實施例中，若處理器120判斷所有「位移向量朝下且終點位於第二區域RG2之外」的特徵點數量超過所有特徵點數量的特定比例（例如但不限於，七成），則判斷動作方向是符合預設離開方向「下」，則進入步驟S207。反之，則回到步驟S201以繼續取得下一張影像。

值得一提的是，本說明中所謂方向朝下不必要指向正下方，所屬領域具備通常知識者當可依其需求來定義「朝下」的範圍。同理，方向朝上亦不必要指向正上方，所屬領域具備通常知識者亦可依其需求來定義「朝上」的範圍。

在步驟S207中，處理器120會根據影像中對應於預設場景的第二區域RG2中是否包括目標物，判斷目標物是否離開預設場景。若判斷為是，則進入步驟S208；反之，表示目標物並未因此動作離開預設場景，故進入步驟S211將指示器歸零後回到步驟S201。在步驟S208中，處理器120會輸出目標物離開預設場景的訊號，接著進入步驟S212來歸零指示器。

請再次參照圖7，本實施例的興趣區域例如是上部2/3的床鋪，而第二區域RG2則是對應於枕頭區域的影像的上半部區域。在本實施例中，處理器120例如會在第二影像IMG_2的第二區域RG2中尋找觀察對象的臉部的特定特徵（例如但不限於，鼻子）。若處理器120在第二影像IMG_2的第二區域RG2中找不到觀察對象的臉部的特定特徵，則表示觀察對象的臉部已經離開了枕頭區域，換言之觀察對象已經確定起身，因此會輸出對應於觀察對象已經起身的訊號。反之，則表示觀察對象的臉部尚在枕頭區域內，也就是觀察對象並未起身。

藉由與圖2B實施例稍有不同的流程，圖3實施例同樣能夠有效率且準確地判斷目標物是否離開了預設場景。

在本揭露的一實施例中，更提出了一種非暫態之電腦可讀取記錄媒體，其中儲存有電腦程式。此電腦程式被用以執行上述的影像分析方法的各個步驟。此電腦程式由多個程式碼片段所組成，這些程式碼片段在被載入至電腦或處理器並執行後，便可進行上述影像分析方法的步驟，以判斷目標物是否進入預設場景或離開預設場景。

綜上所述，本揭露實施例所提出的影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體，先對影像擷取裝置所擷取到的影像進行計算量需求較小的動作偵測，並且在確定影像中出現動作後才進一步針對影像進行計算量較大的影像分析來判斷影像的特定區域中是否包括目標物，以及判斷目標物是否進入預設場景或離開預設場景。據此，能夠大幅減少運算負擔，提供了可靠且成本低廉的影像分析方式與工具。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧電子系統

110‧‧‧影像擷取裝置

120‧‧‧處理器

130‧‧‧提示裝置

a‧‧‧預設高度

h‧‧‧影像高度

IMG‧‧‧影像

IMG_1‧‧‧第一影像

IMG_2‧‧‧第二影像

IMG_m‧‧‧動作影像

MA1、MA2、MA3、MA4‧‧‧動作區域

p1s、p1e、p2s、p2e、p3s、p3e‧‧‧特徵點

RG1‧‧‧第一區域

RG2‧‧‧第二區域（場景區域）

S101、S102、S103、S104、S105、S106、S107、S108、S109、S110、S111、S112‧‧‧判斷目標物是否進入預設場景的影像分析方法的步驟

S201、S202、S203、S204、S205、S206、S207、S208、S209、S210、S211、S212‧‧‧判斷目標物是否離開預設場景的影像分析方法的步驟

TP1‧‧‧第一區域的最上緣

TP2‧‧‧目標區域的最上緣

圖1繪示本揭露一實施例的電子系統的方塊圖。圖2A繪示本揭露一實施例中判斷目標物是否進入預設場景的影像分析方法的流程圖。圖2B繪示本揭露另一實施例中判斷目標物是否進入預設場景的影像分析方法的流程圖。圖3繪示本揭露一實施例中判斷目標物是否離開預設場景的影像分析方法的流程圖。圖4繪示本揭露一實施例中取得影像的示意圖。圖5A繪示本揭露一實施例中取得動作影像的示意圖。圖5B繪示本揭露一實施例中決定第一區域的示意圖。圖6A繪示本揭露一實施例中定義多個特徵點的示意圖。圖6B繪示本揭露另一實施例中定義多個特徵點的示意圖。圖7繪示本揭露一實施例中在場景區域尋找目標物的示意圖。圖8繪示本揭露一實施例中根據光流資訊決定動作的動作方向的示意圖。

Claims

一種影像分析方法，適用於包括一處理器與一影像擷取裝置的一電子系統，其中該影像擷取裝置對應一預設場景設置，所述影像分析方法包括：由該處理器取得該影像擷取裝置所擷取的多張影像；由該處理器對該些影像進行一動作偵測，以判斷該些影像是否包括一動作；以及響應於該動作偵測判斷該些影像包括該動作時，由該處理器判斷一目標物是否進入該預設場景或離開該預設場景。
如申請專利範圍第1項所述的影像分析方法，其中由該處理器判斷該目標物是否進入該預設場景或離開該預設場景的步驟包括：由該處理器取得該影像擷取裝置所擷取的一後續影像，以對該後續影像進行一影像分析來判斷該目標物是否進入該預設場景或離開該預設場景，其中若該後續影像被進行該影像分析以判斷該目標物是否進入該預設場景或離開該預設場景，則該後續影像的擷取時間不早於被判斷包括該動作的該些影像的擷取時間。
如申請專利範圍第2項所述的影像分析方法，其中由該處理器判斷該目標物是否進入該預設場景或離開該預設場景的步驟包括：由該處理器在該後續影像的一場景區域尋找該目標物，以根據該場景區域中是否包括該目標物判斷該目標物是否進入該預設場景，其中該場景區域對應於該預設場景。
如申請專利範圍第1項所述的影像分析方法，其中在判斷該些影像包括該動作之後，更包括：由該處理器判斷該動作是否進入該預設場景。
如申請專利範圍第1項所述的影像分析方法，其中在判斷該些影像包括該動作之後，更包括：由該處理器根據該動作決定一第一區域；以及由該處理器在該第一區域中定義多個特徵點。
如申請專利範圍第5項所述的影像分析方法，其中由該處理器根據該動作決定該第一區域的步驟包括：由該處理器取得該些影像的一動作影像，其中該動作影像包括多個動作區域；由該處理器根據該些動作區域的面積來過濾該些動作區域，以保留該些動作區域的至少其中之一；以及由該處理器根據所保留的該至少一動作區域，決定該第一區域。
如申請專利範圍第6項所述的影像分析方法，其中由該處理器根據所保留的該至少一動作區域，決定該第一區域的步驟包括：由該處理器根據該預設場景，從該至少一動作區域中選擇一目標區域；由該處理器根據該目標區域決定該第一區域，其中該第一區域的最上緣高於該目標區域的最上緣。
如申請專利範圍第5項所述的影像分析方法，其中由該處理器判斷該目標物是否進入該預設場景或離開該預設場景的步驟更包括：由該處理器根據該些影像的該些特徵點，取得一光流資訊；以及由該處理器根據該光流資訊決定該動作的一動作方向。
如申請專利範圍第8項所述的影像分析方法，其中由該處理器判斷該目標物是否進入該預設場景或離開該預設場景的步驟更包括：由該處理器判斷該動作方向是否符合一預設進入方向；若該動作方向不符合該預設進入方向，則由該處理器判斷該目標物並未進入該預設場景；以及若該動作方向符合該預設進入方向，則由該處理器取得該影像擷取裝置所擷取的一後續影像，並且對該後續影像進行一影像分析，以判斷該目標物是否進入該預設場景。
如申請專利範圍第8項所述的影像分析方法，其中由該處理器判斷該目標物是否進入該預設場景或離開該預設場景的步驟更包括：由該處理器判斷該動作方向是否符合一預設離開方向；若該動作方向不符合該預設離開方向，則由該處理器判斷該目標物並未離開該預設場景；以及若該動作方向符合該預設離開方向，則由該處理器取得該影像擷取裝置所擷取的一後續影像，並且在該後續影像的一場景區域尋找該目標物，以根據該場景區域中是否包括該目標物判斷該目標物是否離開該預設場景，其中該場景區域對應於該預設場景。
一種電子系統，包括：一影像擷取裝置，對應一預設場景設置；以及一處理器，耦接於該影像擷取裝置，用以：取得該影像擷取裝置所擷取的多張影像；對該些影像進行一動作偵測，以判斷該些影像是否包括一動作；以及響應於該動作偵測判斷該些影像包括該動作時，判斷一目標物是否進入該預設場景或離開該預設場景。
如申請專利範圍第11項所述的電子系統，其中該處理器判斷該目標物是否進入該預設場景或離開該預設場景時，包括：取得該影像擷取裝置所擷取的一後續影像，以對該後續影像進行一影像分析來判斷該目標物是否進入該預設場景或離開該預設場景，其中若該處理器對該後續影像進行該影像分析以判斷該目標物是否進入該預設場景或離開該預設場景，則該後續影像的擷取時間不早於被判斷包括該動作的該些影像的擷取時間。
如申請專利範圍第12項所述的電子系統，其中該處理器判斷該目標物是否進入該預設場景或離開該預設場景時，包括：在該後續影像的一場景區域尋找該目標物，以根據該場景區域中是否包括該目標物判斷該目標物是否進入該預設場景，其中該場景區域對應於該預設場景。
如申請專利範圍第11項所述的電子系統，其中該處理器在判斷該些影像包括該動作之後，更包括：判斷該動作是否進入該預設場景。
如申請專利範圍第11項所述的電子系統，其中該處理器在判斷該些影像包括該動作之後，更包括：根據該動作決定一第一區域；以及在該第一區域中定義多個特徵點。
如申請專利範圍第15項所述的電子系統，其中該處理器根據該動作決定該第一區域時，包括：取得該些影像的一動作影像，其中該動作影像包括多個動作區域；根據該些動作區域的面積來過濾該些動作區域，以保留該些動作區域的至少其中之一；以及根據所保留的該至少一動作區域，決定該第一區域。
如申請專利範圍第16項所述的電子系統，其中該處理器根據所保留的該至少一動作區域，決定該第一區域時，包括：根據該預設場景，從該至少一動作區域中選擇一目標區域；根據該目標區域決定該第一區域，其中該第一區域的最上緣高於該目標區域的最上緣。
如申請專利範圍第15項所述的電子系統，其中該處理器判斷該目標物是否進入該預設場景或離開該預設場景時，更包括：根據該些影像的該些特徵點，取得一光流資訊；以及根據該光流資訊決定該動作的一動作方向。
如申請專利範圍第18項所述的電子系統，其中該處理器判斷該目標物是否進入該預設場景或離開該預設場景時，更包括：判斷該動作方向是否符合一預設進入方向；若該動作方向不符合該預設進入方向，則判斷該目標物並未進入該預設場景；以及若該動作方向符合該預設進入方向，則取得該影像擷取裝置所擷取的一後續影像，並且對該後續影像進行一影像分析，以判斷該目標物是否進入該預設場景。
如申請專利範圍第18項所述的電子系統，其中該處理器判斷該目標物是否進入該預設場景或離開該預設場景時，更包括：判斷該動作方向是否符合一預設離開方向；若該動作方向不符合該預設離開方向，則判斷該目標物並未離開該預設場景；以及若該動作方向符合該預設離開方向，則取得該影像擷取裝置所擷取的一後續影像，並且在該後續影像的一場景區域尋找該目標物，以根據該場景區域中是否包括該目標物判斷該目標物是否離開該預設場景，其中該場景區域對應於該預設場景。
一種非暫態電腦可讀取記錄媒體，儲存有一程式碼，當該程式碼被載入至一電腦並執行後可完成一影像分析方法，所述影像分析方法包括：從一影像擷取裝置取得多張影像，其中該影像擷取裝置對應一預設場景設置；對該些影像進行一動作偵測，以判斷該些影像是否包括一動作；以及響應於該動作偵測判斷該些影像包括該動作時，判斷一目標物是否進入該預設場景或離開該預設場景。