TWI722332B - 行人偵測方法及其相關監控攝影機 - Google Patents
行人偵測方法及其相關監控攝影機 Download PDFInfo
- Publication number
- TWI722332B TWI722332B TW107140120A TW107140120A TWI722332B TW I722332 B TWI722332 B TW I722332B TW 107140120 A TW107140120 A TW 107140120A TW 107140120 A TW107140120 A TW 107140120A TW I722332 B TWI722332 B TW I722332B
- Authority
- TW
- Taiwan
- Prior art keywords
- detection
- detection window
- pedestrian
- window
- technology
- Prior art date
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一種行人偵測方法及其相關監控攝影機,其中該行人偵測方法包含於至少一張監控畫面進行物件分析以劃設一第一偵測視窗,利用人形偵測技術收斂該第一偵測視窗而形成一第二偵測視窗,在該第二偵測視窗內執行人體局部偵測技術,以於該監控畫面標記一行人之一上端偵測視窗,以及分析該上端偵測視窗以決定是否修正該第二偵測視窗。
Description
本發明係提供一種行人偵測方法及其相關監控攝影機,尤指一種兼具低運算量與較佳偵測效能優點的高準確度之行人偵測方法及其相關監控攝影機。
傳統的監控攝影機會單獨使用人臉偵測或是人形偵測掃描整張監控畫面影像以偵測和追蹤監控範圍內的行人,因此需要很高的運算量。且監控攝影機安裝就定位後,行人在監控影像內可以是任意位置或任意角度或任意行進方向,被拍攝到的圖案可能出現完整的全身影像、也可能是被其他行人或建築物或車輛遮蔽的部分身形影像,難以持續性地長期追蹤特定人臉或人形,故傳統監控攝影機的偵測和追蹤的精準度受環境影響而有所侷限。
本發明係提供一種兼具低運算量與較佳偵測效能優點的高準確度之行人偵測方法及其相關監控攝影機,以解決上述之問題。
本發明之申請專利範圍係揭露一種行人偵測方法,其包含有於至少一張監控畫面進行物件分析以劃設一第一偵測視窗,利用人形偵測技術收斂該
第一偵測視窗而形成一第二偵測視窗,在該第二偵測視窗內執行人體局部偵測技術,以於該監控畫面標記一行人之一上端偵測視窗,以及分析該上端偵測視窗以決定是否修正該第二偵測視窗。
本發明之申請專利範圍另揭露一種具有行人偵測與追蹤功能的監控攝影機,其包含有一影像擷取器以及一運算處理器。該影像擷取器用來取得包含至少一張監控畫面的一影像串流。該運算處理器電連接於該影像擷取器,用來於該至少一張監控畫面進行物件分析以劃設一第一偵測視窗,利用人形偵測技術收斂該第一偵測視窗而形成一第二偵測視窗,在該第二偵測視窗內執行人體局部偵測技術,以於該監控畫面標記一行人之一上端偵測視窗,以及分析該上端偵測視窗以決定是否修正該第二偵測視窗。
為了節約監控攝影機的運算效能,本發明的行人偵測方法先利用物件分析將監控畫面內的可能搜索範圍縮小為第一偵測視窗,然後利用人形偵測技術將其收斂為第二偵測視窗。第二偵測視窗已經約略相當於行人在監控畫面的尺寸,行人偵測方法僅需於第二偵測視窗(或其內部的局部偵測範圍)裡執行精密的人頭偵測技術或人臉偵測技術,找出行人頭部輪廓或臉部特徵,既能節約監控攝影機的運算能力、也可即時得到偵測結果而不致延誤。此外,行人的頭部輪廓或臉部特徵還能用來修正人形偵測結果,修正後的人形偵測結果再用來找出其精確的行人頭部輪廓或臉部特徵,此流程不斷地重複反饋,逐漸辨識出正確的行人位置、及分辨重疊或緊靠的人群。無論行人處於任意角度或任意位置,本發明的監控攝影機都能以低階硬體配備快速取得高精準度的行人偵測結果。
10:監控攝影機
12:影像擷取器
14:運算處理器
16:資料庫
W1:第一偵測視窗
W2:第二偵測視窗
W3:第三偵測視窗
Wh、Wh’:上端偵測視窗
R:局部偵測範圍
S200、S202、S204、S206、S208、S210、S212、S214、S216、S218、S220:步驟
第1圖為本發明實施例之監控攝影機之功能方塊圖。
第2圖為本發明實施例之行人偵測方法之流程圖。
第3圖至第7圖分別為本發明實施例之監控畫面於不同偵測階段的變化示意圖。
第8圖為本發明另一實施例之行人偵測方法之流程圖。
請參閱第1圖,第1圖為本發明實施例之監控攝影機10之功能方塊圖。第2圖所述之行人偵測方法適用於第1圖所示之監控攝影機10。監控攝影機10可包含影像擷取器12以及運算處理器14。監控攝影機10裝設在待監控區域內。影像擷取器12用來取得關聯於監控區域的影像串流,且影像串流包含多張監控畫面。運算處理器14電連接於影像擷取器12。運算處理器14利用影像串流中的至少一張監控畫面執行本發明的行人偵測方法;或者,也可比較複數張監控畫面間的參數差異以執行行人偵測方法,且複數張監控畫面可為連續或非連續的監控畫面,例如影像串流中共有十張監控畫面,連續的監控畫面係指由第一張依順序取到第十張監控畫面以執行行人偵測方法,此外,於另一實施例中,不連續的監控畫面係指當該十張監控畫面中有部分監控畫面的影像品質不佳(例如於監控畫面中行人於監控畫面中的比例小於一預設條件、人臉因為拍攝角度而無法分析、或是人臉模糊等),則該些監控畫面可捨棄,而只取剩餘的監控畫面來執行行人偵測方法。
請參閱第2圖與第3圖至第7圖,第2圖為本發明實施例之行人偵測方法之流程圖,第3圖至第7圖分別為本發明實施例之監控畫面I於不同偵測階段的
變化示意圖。首先,執行步驟S200,行人偵測方法在監控畫面I進行物件分析以劃設第一偵測視窗W1。物件分析可包含移動偵測技術、或物件追蹤技術、或前述兩者技術之組合、或任意可於影像畫面中分析出物件所在之方法皆屬於本發明之應用範疇。舉例來說,影像串流具有多張監控畫面,行人偵測方法可於第一張監控畫面使用移動偵測劃設第一偵測視窗W1,並於第二張監控畫面使用物件追蹤劃設第一偵測視窗W1,意即不同監控畫面可任意選用不同物件分析技術;或者,行人偵測方法可於所有監控畫面都使用移動偵測劃設第一偵測視窗W1,意即所有監控畫面皆使用同一類型的物件分析技術。目的在於可依據特定因素(例如影像品質或其它參數)決定監控畫面套用何種類型的物件分析技術,以取得最佳行人偵測結果。
移動偵測係可將監控畫面I區分為多個小範圍區域,通過比較前後兩張監控畫面I在相同位置的小範圍區域是否有亮度等參數變化,判斷那些小範圍區域內有物件移動的情形發生,該些小範圍區域即定義為第一偵測視窗W1,如第3圖所示之多個小矩形及其組合成的不規則形狀。移動偵測的所得結果較為概略,並非標記出行人的精準輪廓。此外,移動偵測技術的實施方式不限於前揭態樣所述,端視設計需求而定。物件追蹤係以視覺為基礎的物件追蹤法則,利用過去監控畫面的物件所在位置當作起始點,利用慣性移動特性預測目標物件位置,或計算目前監控畫面的周圍差異值的大小,逐漸往遞減的方向移動直到差異值小於門檻值為止,以預測目標物件位置。物件追蹤的所得結果並非行人的精準位置和大小輪廓。此外,物件追蹤技術的實施方式不限於前揭態樣所述,端視設計需求而定。
接著,執行步驟S202,利用人形偵測技術收斂第一偵測視窗W1而形
成第二偵測視窗W2,如第4圖所示。一般來說,人形偵測技術係根據背景亮度變化或視差角度等因素,提取產生亮度梯度的邊緣,得到可能的行人範圍,意即第二偵測視窗W2。人形偵測技術亦不限於前揭實施態樣所述,端視設計需求而定。然後,執行步驟S204與步驟S206,在第二偵測視窗W2內估算且劃設局部偵測範圍R,以於局部偵測範圍R內執行人體局部偵測技術,標記行人的上端偵測視窗Wh,如第5圖及第6圖所示。局部偵測範圍R之劃設係為了進一步限縮第二偵測視窗W2的尺寸。人體局部偵測技術不需分析範圍較大的第二偵測視窗W2,僅需分析範圍較小的局部偵測範圍R,而能有效提高執行效率。因此,步驟S204係為選擇性手段,行人偵測方法也可以不劃設局部偵測範圍R,直接在第二偵測視窗W2內執行人體局部偵測技術。
特別一提的是,本發明的人體局部偵測技術包含(但不限於)人頭偵測技術與人臉偵測技術。人頭偵測技術係可取得第二偵測視窗W2內的色階變化度累積值,據此定義行人之頭部尺寸與位置。人臉偵測技術係可抽取第二偵測視窗W2內的臉部特徵值,據此定義行人之臉部尺寸與位置。由於人頭偵測技術和人臉偵測技術所需的運算量較大,故本發明先利用物件分析以及人形偵測技術縮小行人在監控畫面I內可能出現的區域,再由人體局部偵測技術針對限縮後範圍進行更為精密的偵測與分析。第3圖所示之人形偵測技術係偵測行人的全身範圍;基於上述減少運算量之理由,人形偵測技術也可以只偵測行人的上半身範圍(未繪製於圖式中),再由人體局部偵測技術找出行人的頭部輪廓或臉部特徵。
再來,執行步驟S208,行人偵測方法分析上端偵測視窗Wh,判斷是否修正第二偵測視窗W2。例如上端偵測視窗Wh的所在區位於第二偵測視窗W2的預估頭部範圍,表示第二偵測視窗W2確實符合被測行人的位置與大小,執行
步驟S210,不需進行反饋修正。如果上端偵測視窗Wh和第二偵測視窗W2的預估頭部範圍差距甚遠,執行步驟S212,根據上端偵測視窗Wh與第二偵測視窗W2間的座標值差異修正,第二偵測視窗W2修正後即生成第三偵測視窗W3,如第7圖所示。將第4圖所示第二偵測視窗W2與第7圖所示第三偵測視窗W3相比,可看出第二偵測視窗W2係重疊於兩個行人的圖像,修正後的第三偵測視窗W3則往右偏,而能精確標記右側行人。
本發明的行人偵測方法還可在第三偵測視窗W3內另行執行人體局部偵測技術,並相應標記上端偵測視窗Wh’,意即執行步驟S214。行人偵測方法利用上端偵測視窗Wh’分析第三偵測視窗W3是否確實符合被測行人,若不符則依照前揭步驟S208~S212,判斷如何修正第三偵測視窗W3。由此可知,行人偵測方法先以低運算量的物件分析與人形偵測技術估算行人在監控畫面I裡面的大致範圍,並選擇性劃設局部偵測範圍以限縮行人在監控畫面I裡面的可能範圍,然後才運用精準度較佳但高運算量的人體局部偵測技術標記行人臉部或頭部。除此之外,行人的臉部或頭部被標記後,還能用來分析判斷前述的可能範圍是否精確,如不精確便可再次進行修正。換句話說,行人的整體輪廓(全身或半身)與局部輪廓(臉部或頭部)會重覆地來回比對反饋,逐漸收斂出最佳的偵測結果。
步驟S208係可通過多種方式分析上端偵測視窗Wh,決定是否修正第二偵測視窗W2。舉例來說,監控攝影機10可以內建資料庫(未繪製於圖式中)、或是以有線或無線方式連線到外部資料庫16。資料庫16儲存預設的查找表,查找表具有人類身高與頭部的比例資料;例如頭部小表示身高矮,頭部大表示身材高大。故行人偵測方法可分析上端偵測視窗Wh的尺寸,根據查找表估算行人的體型尺寸,判斷第二偵測視窗W2是否符合估算的行人體型,決定是否需修正
第二偵測視窗W2。再者,行人偵測方法還可選擇以上端偵測視窗Wh再次執行該人形偵測技術,意即以上端偵測視窗Wh作為行人的臉部或頭部位置,生成人形偵測結果(輪廓或是範圍),然後比較人形偵測結果是否相符第二偵測視窗W2,決定是否要修正第二偵測視窗W2。又或者,行人偵測方法另能將上端偵測視窗Wh定義為行人的臉部或頭部中心,依上端偵測視窗Wh的座標值以預定比例直接移動第二偵測視窗W2,使第二偵測視窗W2相對於上端偵測視窗Wh達到置中位置。
請參閱第8圖,第8圖為本發明另一實施例之行人偵測方法之流程圖。第8圖所述之行人偵測方法適用於第1圖所示之監控攝影機10。步驟S212執行完畢後,行人偵測方法可選擇性執行步驟S216,比較第二偵測視窗W2與第三偵測視窗W3的尺寸差異。若是第二偵測視窗W2小於或等於第三偵測視窗W3、或是第二偵測視窗W2僅略大於第三偵測視窗W3,表示第三偵測視窗W3屬於校正人形偵測技術的偏差,判斷被測行人只有一位,如步驟S218。若第二偵測視窗W2大於第三偵測視窗W3的差異超出預設門檻值,判斷被測行人可能是位置重疊或彼此緊靠多個行人,如步驟S220,故行人偵測方法在第二偵測視窗W2未重疊於第三偵測視窗W3的範圍內執行人體局部偵測技術,找出監控畫面I裡面的另一個行人。接著,可接續執行步驟S204,逐步確認與收斂另一個行人的偵測視窗。
關於第2圖及第8圖所述之行人偵測方法,執行步驟S212之後,本發明的行人偵測方法可以僅執行步驟S214、也可以僅執行步驟S216、S218及S220,當然也能一併或輪流地執行步驟S214~S220,端視實際需求,由使用者自行於監控攝影機10進行設定。
為了節約監控攝影機的運算效能,本發明的行人偵測方法先利用物件分析將監控畫面內的可能搜索範圍縮小為第一偵測視窗,然後利用人形偵測技術將其收斂為第二偵測視窗。第二偵測視窗已經約略相當於行人在監控畫面的尺寸,行人偵測方法僅需於第二偵測視窗(或其內部的局部偵測範圍)裡執行精密的人頭偵測技術或人臉偵測技術,找出行人頭部輪廓或臉部特徵,既能節約監控攝影機的運算能力、也可即時得到偵測結果而不致延誤。此外,行人的頭部輪廓或臉部特徵還能用來修正人形偵測結果,修正後的人形偵測結果再用來找出其精確的行人頭部輪廓或臉部特徵,此流程不斷地重複反饋,逐漸辨識出正確的行人位置、及分辨重疊或緊靠的人群。相較先前技術,無論行人處於任意角度或任意位置,本發明的監控攝影機都能以低階硬體配備快速取得高精準度的行人偵測結果。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
S200、S202、S204、S206、S208、S210、S212、S214:步驟
Claims (12)
- 一種行人偵測方法,其包含有:於至少一張監控畫面內進行物件分析以劃設一第一偵測視窗;利用人形偵測技術收斂該第一偵測視窗而形成一第二偵測視窗;修正該第二偵測視窗以生成一第三偵測視窗;比較該第二偵測視窗與該第三偵測視窗之尺寸差異;該第二偵測視窗大於該第三偵測視窗時,在該第二偵測視窗未重疊該第三偵測視窗之範圍內執行該人體局部偵測技術,以於該監控畫面標記一行人之一上端偵測視窗;以及分析該上端偵測視窗以決定是否修正該第二偵測視窗。
- 如請求項1所述之行人偵測方法,其中在該第二偵測視窗內執行人體局部偵測技術係包含:在該第二偵測視窗內估算且劃設一局部偵測範圍;以及於該局部偵測範圍內執行該人體局部偵測技術。
- 如請求項1所述之行人偵測方法,其中該人體局部偵測技術係為人頭偵測技術或人臉偵測技術。
- 如請求項3所述之行人偵測方法,其中該人頭偵測技術取得該第二偵測視窗內的一色階變化度累積值,據此定義該行人之一頭部尺寸與位置。
- 如請求項3所述之行人偵測方法,其中該人臉偵測技術抽取該第二偵測視窗內的臉部特徵值,據此定義該行人之一臉部尺寸與位置。
- 如請求項1所述之行人偵測方法,其中該人形偵測技術係偵測該行人之一全身範圍、或該行人之一上半身範圍。
- 如請求項1所述之行人偵測方法,其中分析該上端偵測視窗以決定是否修正該第二偵測視窗係包含:連線至一資料庫以取得一查找表;以及根據該查找表估算該行人之體型尺寸,並相應修正該第二偵測視窗。
- 如請求項1所述之行人偵測方法,其中分析該上端偵測視窗以決定是否修正該第二偵測視窗係包含:以該上端偵測視窗為基準再次執行該人形偵測技術;以及根據人形偵測結果修正該第二偵測視窗。
- 如請求項1所述之行人偵測方法,其中分析該上端偵測視窗以決定是否修正該第二偵測視窗係包含:依照該上端偵測視窗之一座標值以一預定比例修正該第二偵測視窗之位置。
- 如請求項1所述之行人偵測方法,另包含有:修正該第二偵測視窗以生成一第三偵測視窗;以及於該第三偵測視窗內執行該人體局部偵測技術,判斷是否需修正該第三偵測視窗。
- 如請求項1所述之行人偵測方法,其中該物件分析包含移動偵測、 或物件追蹤、或前述兩者之組合。
- 一種具有行人偵測功能的監控攝影機,其包含有:一影像擷取器,用來取得包含至少一張監控畫面的一影像串流;以及一運算處理器,電連接於該影像擷取器,用來執行如請求項1至11其中任一所述的行人偵測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107140120A TWI722332B (zh) | 2018-11-13 | 2018-11-13 | 行人偵測方法及其相關監控攝影機 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107140120A TWI722332B (zh) | 2018-11-13 | 2018-11-13 | 行人偵測方法及其相關監控攝影機 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202018583A TW202018583A (zh) | 2020-05-16 |
TWI722332B true TWI722332B (zh) | 2021-03-21 |
Family
ID=71895793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107140120A TWI722332B (zh) | 2018-11-13 | 2018-11-13 | 行人偵測方法及其相關監控攝影機 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI722332B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI835257B (zh) * | 2022-08-25 | 2024-03-11 | 圓展科技股份有限公司 | 實物攝影機及其影像自動校正方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201228332A (en) * | 2010-12-20 | 2012-07-01 | Hui-Chuan Chien | Mobile electronic device |
CN102957860A (zh) * | 2011-08-11 | 2013-03-06 | 三星电子株式会社 | 图像处理设备和处理图像的方法 |
US20130076913A1 (en) * | 2011-09-28 | 2013-03-28 | Xerox Corporation | System and method for object identification and tracking |
US20150178293A1 (en) * | 2011-02-14 | 2015-06-25 | Microsoft Technology Licensing, Llc | Change invariant scene recognition by an agent |
CN106484115A (zh) * | 2011-10-28 | 2017-03-08 | 奇跃公司 | 用于增强和虚拟现实的***和方法 |
-
2018
- 2018-11-13 TW TW107140120A patent/TWI722332B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201228332A (en) * | 2010-12-20 | 2012-07-01 | Hui-Chuan Chien | Mobile electronic device |
US20150178293A1 (en) * | 2011-02-14 | 2015-06-25 | Microsoft Technology Licensing, Llc | Change invariant scene recognition by an agent |
CN102957860A (zh) * | 2011-08-11 | 2013-03-06 | 三星电子株式会社 | 图像处理设备和处理图像的方法 |
US20130076913A1 (en) * | 2011-09-28 | 2013-03-28 | Xerox Corporation | System and method for object identification and tracking |
CN106484115A (zh) * | 2011-10-28 | 2017-03-08 | 奇跃公司 | 用于增强和虚拟现实的***和方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202018583A (zh) | 2020-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417503B2 (en) | Image processing apparatus and image processing method | |
US9576367B2 (en) | Object detection method and device | |
US9311719B2 (en) | Image monitoring apparatus for estimating gradient of singleton, and method therefor | |
US9418278B2 (en) | Image analysis method, camera apparatus, control apparatus, control method and storage medium | |
TWI640931B (zh) | 影像目標追蹤方法及裝置 | |
TWI405143B (zh) | 用於辨識的物件影像校正裝置與其方法 | |
JP2013537661A (ja) | ステレオビジョン技術を使用することによる移動物体の自動検出 | |
US10643338B2 (en) | Object detection device and object detection method | |
KR20140148171A (ko) | 지능형 차량의 차선 검출방법 | |
TWI722332B (zh) | 行人偵測方法及其相關監控攝影機 | |
JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
US10719707B2 (en) | Pedestrian detection method and related monitoring camera | |
CN110322508B (zh) | 一种基于计算机视觉的辅助定位方法 | |
JP6558831B2 (ja) | オブジェクト追跡装置、方法およびプログラム | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
CN113642546B (zh) | 一种多人脸跟踪方法及*** | |
CN108573497B (zh) | 客流统计装置和方法 | |
KR20200079013A (ko) | 상관필터를 이용한 공중표적 추적방법 및 그 시스템 | |
CN111182259A (zh) | 行人侦测方法及其相关监控摄像机 | |
JP6559987B2 (ja) | 人物認証装置及び人物認証方法 | |
TWI676964B (zh) | 影像拼接方法及其監控攝影裝置 | |
JP2004240909A (ja) | 画像処理装置及び画像処理方法 | |
JP4937318B2 (ja) | 画像処理装置及び画像調整方法 | |
KR20090042558A (ko) | Aam을 이용한 얼굴검출 방법 및 장치 | |
KR20160079511A (ko) | 주차구획 인식 장치 및 방법 |