TWM468728U - 人體姿態動作辨識系統 - Google Patents

Description

人體姿態動作辨識系統

本創作是一種動作辨識系統，尤其是關於一種人體姿態動作辨識系統。

人體特徵辨識技術近年來大行其道，例如臉部特徵辨識、指紋辨識等等均是。惟在肢體動作之判定與辨識技術方面，並未有相關的研究或顯著進展。然透過人體肢體動作之判斷，不僅可以輔助判斷使用者的身份，藉以讓使用者的身份辨識更佳精確之外，更可以加快使用者身份辨識的效果；除了辨識身份之外，良好的肢體動作判斷與分析技術也可以作為訓練運動員之重要輔助工具。以大聯盟的投手為例，許多投手可能經過一段時間沒有投球，可能會忘記肢體協調性而再也無法回到顛峰狀態，如果可以記錄分析球員肢體活動狀態之技術，將可以讓球員在球季開始或復健過程快速找回以前的投球姿勢，更可復原其身手。因此，發展透過辨識肢體活動特徵之技術及為本創作之主要目的。

為了解決目前技術並未有可以依據使用者肢體動作判斷其身份之技術，且未有可以精確記錄與分析運動員之肢體運動狀態，導致身份辨識相對不夠精準/或運動員無法恢復往日身手的問題，本創作提出一種人體姿態動作辨識系統，其透過分析所拍攝的使用者動作，記錄其肢體角度變換關係，達到記錄使用者的肢體動作，且分析使用者肢體動作以進行判斷使用者身份之技術效果。

本創作提供一種人體姿態動作辨識系統，其包含一姿態動作判斷裝置及複數個攝影機，該姿態動作判斷裝置包含一運算主機、一顯示單元及一輸入單元；該運算主機執行一姿態動作辨識程式係透過讀入各攝影機所擷取的影像、處理影像中所記錄的一使用者之人形動作影像並產生一人體姿態動作特徵，再將該人體姿態動作特徵與該運算主機之一人體動作與身份資料庫相互比較，分析判斷該使用者的人體姿態動作及其對應的個別資料與身份，再由該顯示單元輸出該使用者的姿態動作分析結果與身份。

其中，該運算主機包含一中央處理單元、一記憶模組、一影像輸入介面，該中央處理單元與該記憶模組及該影像輸入介面連接，該影像輸入介面與複數個該攝影機電性連接並接收各攝影機所拍攝的影像，再將影像輸出至該中央處理單元，該記憶模組內儲複數個資料庫，該顯示單元及該輸入單元電性連接於該中央處理單元，其分別為使用者輸出入介面。

其中，該顯示單元為液晶平面顯示器或有機發光二極 體顯示器。

進一步地，該人體姿態動作辨識系統包含複數個紅外線攝影機。

進一步地，該人體姿態動作辨識系統包含一個以上的帷幕所形成的一拍攝空間，其中：該拍攝空間係定義一實體座標系統；各攝影機擷取該拍攝空間之使用者肢體動作並產生該影像輸出至該運算主機，該影像包含一影像平面座標系統，該影像中之使用者肢體的局部肢體點具有該影像平面座標系統之座標值；該運算主機以一線性轉換運算方法將該影像平面座標系統的座標點轉換為該實體座標系統，其座標轉換過程以一線性轉換係數表示；該運算主機將轉換為該實體座標系統的肢體點再計算移動軌跡及角度運動軌跡，之後依據移動軌跡與角度運動軌跡與預設之一人體動作與身份資料庫比較，藉以找出使用者個人資訊。

其中，該線性轉換運算方法為最小平方法。

其中，該移動軌跡與角度運動軌跡比較該人體動作與身份資料庫係利用類神經演算法或基因演算法。

藉此，本創作具備下列特點：

1.本創作可以判斷人體的肢體動作，並將肢體動作與個人使用者資料儲存，使用者再次通過本創作時，可據此判斷其身份，達到身份辨識的技術功效。本創作之身份辨識適合用於諸如機場等需要快速辨識身份之應用，本創作可 搭配例如臉部特徵辨識等等設備，而可大幅降低身份偽造之風險。

2.本創作提供良好的肢體動作判斷與分析技術，可以作為訓練運動員之重要輔助工具。

10‧‧‧姿態動作判斷裝置

12‧‧‧運算主機

121‧‧‧中央處理單元

124‧‧‧記憶模組

124A‧‧‧資料庫

125‧‧‧影像輸入介面

14‧‧‧顯示單元

16‧‧‧輸入單元

20‧‧‧攝影機

50‧‧‧行人

60‧‧‧拍攝空間

62‧‧‧帷幕

64‧‧‧光球模組

645‧‧‧底座

643‧‧‧連接桿

641‧‧‧光球

第一圖為本創作較佳實施例之系統方塊示意圖。

第二圖為本創作較佳實施例之使用示意圖。

第三A、B圖為本創作較佳實施例之拍攝空間示意圖。

第三C、D圖為本創作較佳實施例之使用者及光球示意圖。

第四圖為本創作較佳實施例之拍攝空間座標定義示意圖。

第五A、B、C圖為本創作較佳實施例之使用者資料建構過程示意圖。

第五D、E圖為本創作較佳實施例之類神經回想演算之流程架構示意圖。

第六A、B圖為本創作較佳實施例之使用者身份判斷示意圖。

請參考第一圖、第二圖，其為本創作人體姿態動作辨識系統，其包含一姿態動作判斷裝置10及複數個攝影機20。該姿態動作判斷裝置10包含一運算主機12、一顯示單 元14及一輸入單元16；該運算主機12包含一中央處理單元121、一記憶模組124、一影像輸入介面125，該中央處理單元121與該記憶模組124及該影像輸入介面125連接，該影像輸入介面125與複數個該攝影機20電性連接並接收各攝影機20所拍攝的影像，再將影像輸出至該中央處理單元121。該記憶模組124內儲複數個資料庫124A。該顯示單元14及該輸入單元16分別電性連接該中央處理單元121，其分別作為該姿態動作判斷裝置10之使用者輸出入介面，該顯示單元14之種類可不限制，例如為液晶平面顯示器、有機發光二極體顯示器等。

該運算主機12執行一姿態動作辨識方法(程式)，透過讀入各攝影機20所擷取的影像，處理影像中所記錄的一使用者之人形動作影像並產生一人體姿態動作特徵，該運算主機12之該中央處理單元121再將該人體姿態動作特徵與該資料庫124A之一人體動作與身份資料庫相互比較，藉此分析判斷該使用者的人體姿態動作及其對應的個別資料與身份，之後由該顯示單元14輸出該使用者的姿態動作分析結果與身份。進一步地，本實施例可包含複數個紅外線攝影機，藉以輔助該運算主機12辨識使用者的位置以及其肢體特徵，減少誤判的機會。

為了讓使用者可以於各攝影機20之拍攝範圍內，可以形成一拍攝空間60讓使用者於該拍攝空間60內活動、行走，；本實施例之該拍攝空間60係為以二帷幕62間隔排列所為成的三度空間走道，各攝影機20架設於該拍攝空間60之旁側，拍攝使用者之動作。

為了讓使用者在該拍攝空間60內的肢體活動狀態可以獲得記錄並可進行分析，本實施例採用四個攝影機20(A~D)拍攝該拍攝空間60之不同角度，每個攝影機20擷取影像使該運算主機12可產生人體姿態動作特徵，其中，該人體姿態動作特徵係形成於一影像平面座標系統內，該人體姿態動作特徵內的人體肢幹及關節位置均包含該影像平面座標系統之座標值，該運算主機12可以依據影像中包含的人體影像進行判別人體的肢幹尺寸、關節位置、身高等等，藉以連貫各肢幹與關節等座標及其移位型態，產生該人體姿態動作特徵。

產生該人體動做與身份資料庫之方式，請配合參考第三A~D圖、第四圖。各攝影機20可以預先拍攝設置複數個以陣列型式排列之光球模組64之該拍攝空間60，其中，每個光球模組64包含一底座645、垂直設於該底座之一連接桿643以及等距且互呈間隔設置於該連接桿643之複數個光球641，每個光球641具備高光反射性，使環境光照射該光球641時，產生反射光。每個光球641具有一實體座標系統之座標值，例如：(Xi,Yi,Zi)，其中i=1,2,3…n，n為光球個數；該光球個數不限定，經實做及模擬，本實施例使用48個光球可達到較佳人體動作解析效能，為了讓每個光球641在空間中具有之該實體座標系統之座標數值可以轉換為各攝影機20所拍攝之影像產生的影像平面座標可以互相連結，可依據第四圖揭露的各步驟：

(1)均勻將光球放在定點位置：妥善擺設該光球模組61於該拍攝空間60所指定的位置，使該光球641分布(e.g. 等距分布)於該拍攝空間60。

(2)建立實體座標系統並定義每一光球於該實體座標系統之座標(Xi,Yi,Zi)，i=1,2,3…n：依據各光球641於該拍攝空間60之個別位置指定每個光球641在實體座標系統的座標值。

(3)固定四部攝影機位置並拍攝每個光球：各攝影機20分別拍攝該拍攝空間60及各光球641。

(4)將每部攝影機所拍攝的影像設定一影像平面座標，並定義每個光球在該影像平面座標的座標值(Xi’,Yi’)，i=1,2,3…n：各攝影機20拍攝的影像之內物件、像素於該影像平面座標內，其中各光球641之反射光線相對較強而具有較高的辨識度。其中，每個光球641可於每個攝影機20之影像的影像平面座標對應產生座標值。

(5)將光球在實體座標系統之座標與所有攝影機的影像平面座標的座標數值進行線性轉換：透過一線性轉換運算將二維的影像平面座標系統轉換為三維之實體座標系統；線性轉換運算方法可為一最小平方法。

(6)取得線性轉換係數：該線性轉換運算後各影像平面座標與該實體座標系統之間轉換運算可以一線性轉換係數表示。其中，每個影像的影像平面座標系統轉換至該實體座標系統之間的線性轉換係數均儲存於該資料庫124A中，其可形成一轉換係數資料庫，使該運算主機12可以於座標轉換需求時即時讀取該轉換係數資料庫進行查表找出線性轉換係數而提高座標轉換運算速度。

(7)轉換係數及座標值儲存至資料庫：將該線性轉換係 數、各光球的座標值等數值儲存至該資料庫124A。

請再配合參考第三C圖、第五A、B圖，假設本實施例之使用者係為一行人50通過該拍攝空間，為了建立人體動作與身份資料庫可依據下列步驟完成，其中，該行人50之身體主要肢幹與部位(如頭部、耳朵、各關節等)設有複數個反光定位點51：

(1)每部攝影機同時拍攝初次通過行人：使該行人50先第一次通過該拍攝空間60，使各攝影機拍攝其動作之影像。

(2)記錄每個行人之動作影像及與人資料並予以編碼：儲存各攝影機20拍攝的影像以及對應輸入每個行人的個別資料並予以編碼以便於查詢或檢索。

(3)將每個行人的動作影像進行肢體點路徑辨識：對各攝影機20所拍攝的影像，依據各反光定位點51輔助判斷該行人50於影像的影像平面座標系統的座標值連續移動狀態。以第五B圖為例，該行人50腿上的各反光定位點51(腿關節a，膝關節b，腳踝關節c，腳指尖d)於該運算主機12處理影像時，可以因為各反光定位點51反光強度(對比度)相對較強，可判定行人50於影像的位置及其走動或移動之改變狀態，該運算主機12更鎖定肢體位置及辨識肢體的移動路徑。

(4)辨識每個行人的肢體點在影像平面座標的數值：即時記錄每個反光定位點51之座標變動狀態，該運算主機12將每個行人50之反光定位點51之座標a(Xa,Ya,Za)、b(Xb,Yb,Zb)、c(Xc,Yc,Zc)、d(Xd,Yd,Zd)…儲存於該資料庫124A。

(5)線性轉換肢體點的影像平面座標值為三維之實體座標值：以線性轉換方法將各攝影機所拍攝的行人影像在影像平面座標數值轉換為三維之實體座標系統的座標值，藉此取得行人50之肢體動作在實體座標的實際座標值。

(6)記錄每個行人的肢體點的三維實體座標值：經過線性轉換後，該行人50之之肢體及關節等位置的實體座標值記錄於該資料庫124A。

(7)將肢體點之座標值轉換為人體關節角度運動軌跡：該運算主機12以相鄰取得之各座標點(例如前述腿部各關節)計算人體活動肢幹之角度後產生對照表(如第五C圖)而儲存記錄於該資料庫。如此，透過分析各攝影機20之影像，即可得知該行人50之肢體運動特徵，例如走路時雙腳跨步的幅度、雙手擺動幅度、身高、行走姿勢等等。

(8)將每個行人之身份與肢體軌跡與關節角度運動軌跡儲存於資料庫：取得該行人50之個別身份資料並同時將其對應的肢體動作角度變換特徵、擺動幅度等等特殊儲存於該資料庫124A，以建立完成該人體動作與身份資料庫。

進一步說明該運算主機12在轉換該行人50之肢幹的實體座標系統之座標點為肢幹角度及其變化率之資料庫，其可依據下列步驟：

(1)取得肢幹各部位軌跡：該運算主機12取得各肢幹其特定位置之實體座標系統的座標值、肢體特定部位座標值的變化狀況(軌跡)。

(2)執行角度計算程序：該運算主機12由該資料庫124A之線性轉換係數資料庫取得所需的線性轉換係數，藉以將 影像平面座標系統之座標值轉換為實體座標，完成座標轉換後在依據前述方式將肢幹關節部位之座標點轉換為角度。

(3)產生肢幹部位角度值：該運算主機12將前一步驟的角度數值予以儲存並輸出。

請參考第六A、B圖，當使用者的人體姿態動作特徵及其身份特徵已經存在於該資料庫124A時，該運算主機12可以於該使用者進入該拍攝空間60並活動時，驅使各攝影機20對使用者進行拍攝並擷取記錄其肢體動作，且進一步產生該人體姿態動作特徵，該運算主機12即可依使用者的身形、肢體動作、走路型態等判斷使用者可能的身份；該運算主機12於取得該人體姿態動作特徵後與該人體動作與身份資料庫進行比對時，可以依循下列步驟：

(1)行人進入檢測區：以航站的檢查站為例，可以將該拍攝空間60形成行人必須通過的為一路徑，讓行人(使用者)可以依序通過該拍攝空間60。

(2)取得行人肢體動作影像及肢體點座標：各攝影機20擷取每個行人之走路過程之肢體動作影像，並依據前述方式由該影像擷取複數個可以代表使用者活動型態之肢體點座標。

(3)計算軌跡及座標資料：該運算主機12依據前述方式由取得的肢體點座標換算肢體活動的軌跡以及其座標之各種參數。

(4)軌跡比較判斷：該運算主機12依據前述計算方式取得其肢體的軌跡、角度變換等資料。請配合參考第五A~E 圖及第六B圖，為獲得更精確與快速的比較判斷結果，執行軌跡判斷時，可以以類神經網路演算方式為之，即執行類申請演算判斷軌跡過程，可以由一加權值偏權值資料庫及一類神經回想訓練資料庫中，取得執行類神經演算所需的參數，將相關偏權值、加權值輸入類神經網路(如第五E圖V11、W11)並重新執行一類神經回想演算，藉以找出可能的軌跡活動。本實施例之類神經演算為包含一隱藏層之演算模式，其提昇演算結果強健性與適合非線性之計算。其中，建立該加權值偏權值資料庫及該類神經回想訓練資料庫，係預先以找出運動軌跡與肢幹運動角度之資料，並分析關節部位之局部特徵後，進行類行經網路之訓練，藉以建立類神經回想演算所需的偏權值、加權值、層數、參數數量等必須之參數，予以儲存建立資料庫；完成資料庫之建構後，即可依據前述方法執行類神經回想演算，於取得軌跡與角度判斷結果，以類神經演算方式快速取得比較結果。

(5)身分比對及篩選：該運算主機12將所取得的使用者之肢體活動之軌跡及角度關係等資訊與該資料庫124A所儲存的內容進行比較，以一相似度演算法嘗試由該資料庫124A中找出與使用者對應的資訊。其中，該相似度演算法可以是類神經或基因演算法等。

(6)身份判斷：該運算主機12依據所取得的使用者資訊與預先建立的資料庫124A比較，判斷使用者的身份。當判斷過程可以找到使用者的事先記錄於資料庫124A之身分，則顯示判斷結果，反之，則不顯示判斷結果，繼續等待下 次判斷需求，同時建立沒有在資料庫124A之使用者個人資訊於該資料庫中124A。

基於前述說明可知，本實施例具備下列特點：

1.本創作可以判斷人體的肢體動作，並將肢體動作與個人使用者資料儲存，使用者再次通過本創作時，可據此判斷其身份，達到身份辨識的技術功效。本創作之身份辨識適合用於諸如機場等需要快速辨識身份之應用，本創作可搭配例如臉部特徵辨識等等設備，而可大幅降低身份偽造之風險。

2.本創作提供良好的肢體動作判斷與分析技術，可以作為訓練運動員之重要輔助工具。

20‧‧‧攝影機

60‧‧‧拍攝空間

62‧‧‧帷幕

Claims (9)

1. 一種人體姿態動作辨識系統，其包含一姿態動作判斷裝置及複數個攝影機，該姿態動作判斷裝置包含一運算主機、一顯示單元及一輸入單元；該運算主機執行一姿態動作辨識程式係透過讀入各攝影機所擷取的影像、處理影像中所記錄的一使用者之人形動作影像並產生一人體姿態動作特徵，再將該人體姿態動作特徵與該運算主機之一人體動作與身份資料庫相互比較，分析判斷該使用者的人體姿態動作及其對應的個別資料與身份，再由該顯示單元輸出該使用者的姿態動作分析結果與身份，其中該運算主機與該攝影機有一電性連結關係。
2. 如申請專利範圍第1項所述的人體姿態動作辨識系統，該運算主機包含一中央處理單元、一記憶模組、一影像輸入介面，該中央處理單元與該記憶模組及該影像輸入介面連接，該影像輸入介面與複數個該攝影機電性連接並接收各攝影機所拍攝的影像，再將影像輸出至該中央處理單元，該記憶模組內儲複數個資料庫，該顯示單元及該輸入單元電性連接於該中央處理單元，其分別為使用者輸出入介面。
3. 如申請專利範圍第2項所述的人體姿態動作辨識系統，該顯示單元為液晶平面顯示器或有機發光二極體顯示器。
4. 如申請專利範圍第1或2項所述的人體姿態動作辨識系統，其進一步包含複數個紅外線攝影機。
5. 如申請專利範圍第1或2項所述的人體姿態動作辨 識系統，其進一步包含一個以上的帷幕所形成的一拍攝空間，其中：該拍攝空間係定義一實體座標系統；各攝影機擷取該拍攝空間之使用者肢體動作並產生該影像輸出至該運算主機，該影像包含一影像平面座標系統，該影像中之使用者肢體的局部肢體點具有該影像平面座標系統之座標值；該運算主機以一線性轉換運算方法將該影像平面座標系統的座標點轉換為該實體座標系統，其座標轉換過程以一線性轉換係數表示；該運算主機將轉換為該實體座標系統的肢體點再計算移動軌跡及角度運動軌跡，之後依據移動軌跡與角度運動軌跡與預設之一人體動作與身份資料庫比較，藉以找出使用者個人資訊。
6. 如申請專利範圍第5項所述的人體姿態動作辨識系統，該線性轉換運算方法為最小平方法。
7. 如申請專利範圍第6項所述的人體姿態動作辨識系統，該移動軌跡與角度運動軌跡比較該人體動作與身份資料庫係利用類神經演算法或基因演算法。
8. 如申請專利範圍第5項所述的人體姿態動作辨識系統，該移動軌跡與角度運動軌跡比較該人體動作與身份資料庫係利用類神經演算法或基因演算法。
9. 如申請專利範圍第3項所述的人體姿態動作辨識系統，其進一步包含複數個紅外線攝影機。