TW201220253A - Image calculation method and apparatus - Google Patents

Description

201220253 六、發明說明： 【發明所屬之技術領域】 本發明係關於影像處理技術’更係關於利用一三維影 像來對特定物件進行計數之裝置及方法。 【先前技術】 在影像處理技術中，如何利用攝影系統對監測區城内 的特定物件，例如人、車等進行辨識及計數已成為影像處 理的重要課題。 習知的二維攝影系統必須先分辨監測區域影像中之前 景及背景。在濾除背景之後，始得透過影像處理技術計算 則景中各個物件之數目。然而，當背景影像複雜或影像晃 動嚴重時，背景和前景將變得難以區分，進而導致前景揭 取錯誤。此外，以二維攝影系統拍攝的平面影像中，物件 常有彼此重疊、交錯或遮避的現象，不利於計算所有物件 的正確數目。 因此，需要-種能夠更有效、更精確的影像計數方法 及裝置。 【發明内容】 本發明提供一種影像計數方法，用以計算一空間中特 疋物件之數目，包括以下步驟：經由一立體攝影器榻取對 應該空間之-三維影像，其中該三維影像包含複數個像 素’每-像素包含對應之x、yAz座標值及—像素資料； 依據該些像素之x、y及Z座標值及像素資料，對應至一表 示為(x，z，t)之空間關聯座標的複數個關聯座標^，立中 ^在同一(X’Z)座標上〇方向之像素資料大於-門檻值 IDEAS99014/0213-A42757-TWF Λ 201220253 之像素數目；依據各關聯座標值 將該些關聯座標值分成複數個鮮：x，:)平面上之相關度， 該些關聯座標值，與該特定物、以及’將各群組中的 關聯座標之關聯座標值進行比之4f彡像對應至該空間 物件之數目。 b對’以判斷該空間中該特定 本發明另提供-種影像計數U 特定物件之數目，包括：一立辦4耳 用以3十异一空間中 空間之一三維影像，其中該三雖旦 抒取對應該

-像素包含對應之〜及2座標值及 像素，每 器’麵接至該立體攝影器，包括：-計數^枓…處理 該些像素之x、y&z賴值及像素資料^ =依據 (X，z’t)之空間關聯座標的複數個關聯座標值，表= 在同-座標(X，Z)上y方向之像素資料大於 值 數目；一分群單元，用以依據各 ，檻值之像素 之相關度，將該些關聯座標值值在(x，z)平面上 值刀成禝數個群組；一比

元，用以分祕各群組中_些關聯座標值，= 件之三維影像對應至該空間_座標之 桿== 對’以判斷較間中該特定物件之數目。^值進仃比 【實施方式】 下文為介紹本發明之最佳實施例。各實 本發明之原理，但非用以限制本發明。本發明之以圍= 後附之權利要求項為準。 聋巳圍虽以 ，ί圖為依縣發[實施狀影 圖。本㈣之影料數方法係㈣計算_ 之數目，影像計數方法之步驟包括:在步驟S102 =:

IDEAS99014/0213-A42757-TWF 5 201220253 立體攝影器擷取對應該空間之一三維 像包含複數個像素，每―像素包含對應，-中“二維影 像素資料；在步驟S104中，贫據’此"X、y及Z座標及 標值及像《料，對輕像素之…及a 標的複數個關聯座標值，其中t}之空間關聯座 ;向之:象素資料大於―門检值之像素數上： 中，，各關聯座標值在(x，z)平面上之相關度，將該些關6 馬座^值分成減個群組；在步驟_中，將各群组中的 該些關聯錢值’ _料物狀三維f彡像賴至該空間 關聯座標之_座標值進行比對，以判斷該㈣中二 物=之數目。值得注意的是，由於在大部分的影像計數^ 用常以人為計數之對象，因此，下文的實施例中之「特^ 物件」是以「人」為例。然而，熟悉本技藝者在閱讀 明書後可了解到本發明不必以此為限。下文將分別詳述本 發明之影像計數方法的各個步驟。 第2圖為本發明步驟_中在空間中架設立體攝影器 之示意圖。有別於習知的二賴影技術，本發明採用^體 攝影器擷取空間中各個物件之三維影像，並取得該三維聲 像中各像素之x、yh絲及像素資料。立麟影器可: 雙攝影機(TW〇_Cameras)，或是可利用紅外線或雷射取得該 使用者及該控制件之空間座標的任何主動式深度攝影機。 在各實施例中，雙攝影機鏡頭可架設於前述顯示器之四 周，或者與顯示器整合，用以取得面對顯示器及攝影機之 使用者的空間座標。以第2圖所示之空間為例，其中z座 標一般表示物件之景深（即物件相對於攝影機的距離），而是 IDEAS99014/0213-A42757-TWF , ^ 201220253 及y軸則分別與z轴垂直。在下文之各實施例中，y軸係 定義為與重力場平行之方向。然而，在其他實施例中，X、 y、z軸之方向可隨使用者自行定義，不必以下述實施例為 限。 一般來說，像素資料通常是三原色(R、G、B)數值資料， 也可以是將該像素之三原色（R、G、B)數值資料進行灰階 化處理（如平均計算）後而得到的灰階值資料，也可以是依 據三原色(R、G、B)數值資料給予不同權重後計算所得的 • 亮度值。例如 Y(亮度）=0.299R + 0.587G + 0.144B (Y Cb Cr 彩色模組中的亮度），或是1(亮度)=(R + G + B)/3(HSI彩 色模組中的亮度）。 第3A、3B圖及3C圖為本發明步驟S104中建立一表 示為（X，z，t)之三維空間關聯座標之示意圖。其中t為在 同一 (X，z)座標上，在y方向之像素，其像素資料大於一門 檻值之像素數目。例如，當像素資料為一灰階值時，可計 算同一（X，z)座標上之像素，其灰階值大於零（或不為零）的 • 像素數目，或者，當像素資料為三原色(R、G、B)數值資 料時，可計算同一(X，z)座標上之像素，像素資料(R、G、 B)進行加權平均計算後取整數，然後計算該整數數值大於 零的像素數目。第3A圖係一二維圖像，其表示在一空間 中存有分別與攝影機距離遠、中、近的三個特定物件(在此 實施例中即為三個人)ml、m2及m3，也有背景或是其他物 件，在本實施例中其像素資料係為一三原色(R、G、B)數 值。第3B圖是將第3A圖進行灰階化處理後，以灰階畫面 表示上述三個特定物件之三維影像，亦即將像素資料從三 IDEAS99014/0213-A42757-TWF 7 201220253 原色(R、G、B)數值轉換成灰階值，轉換方式可依據前述 習知技術來處理。第3B圖中最深色者為背景，次深色者為 距離攝W機最遠(z值最高）的人⑽、次淺色者為距離次遠 (z值-人间）的人m2，而最淺色者為距離最近&值最低）的人 瓜3二「本發明之實施例係對三維影像在分別對每—(X，z)座標 上化f方向」之像素資料大於一門檻值的數目t進行統計， 進而獲得—個可表示為(x，z，t)之三維空間關聯座標系統 中的複數個二維空間關座標值。第％圖即為複數個三維空 1，座‘值在(X ’ z ’ t)空間關聯座標系統中的顯示圖。在 另二實施例中’所獲得的複數個三維空間關座標值，可 針對t轴的部分來進行正規化處理。 厂 心的疋由於在此實施例中，被計數的對象為 姿勢，本發有數種樣態’例如立姿、坐姿或行走 姿勢本發明可事先對欲計數物件(如人)之三維 三維影像）’產生對應到該㈣關二標之關 ==得::數物件的對應三維空間關聯座標 庫，儲存特定縫> 實_中，更可提供一資料 座標值，料f ,二維影像對應至空間關聯座標的關聯 場)之方向做為關m本實施中可選射轴(平行重力 嶋的心㈣贿否大於一 .„ L ^ /、他貫鈀例則不必以此為限。 聪庙心=貫^例中’本發明在將各群組中的複數個關 之關;座件之三維影像對應至該空間關聯座標 之關聯座標值進錢對的步财 中的複數㈣聯座標A 將母一群組 IDEAS99014/0213-A42757-TWF ^ 示為（X,t)之二維關聯 201220253 座標的一維關聯座標值。 個關聯座標值，除去z座標屬於同一群組中的複數 維關聯座標值。以同樣方式，/、座標值作為二 料處理後所獲得的複數個關聯資

的群組’可視為其對應特定物件：：果為近似 的群組數目作為特定物件的數目。更進 :=二;,座標值和特定物件的二維關聯座標值進行： 對時’可77卿每-群峰敎物件， :::狀的相似程度，來判斷每-群組是;對 物件。例如’將每-群組和特定物件，在二維_座標&， t)中獲得最大面積的外圍形狀，來進行比對，當兩者的外圍 形狀、大小面積、或形狀變化趨勢相似|，可判斷該群組 係對應該特定物件。最後，計算所有被判斷為「對應」的 群組數目，將其作為特定物件之數目。 從上述第3B圖及3C圖亦可了解本發明步驟sl〇6中 依據各關聯座標值在(X，z)平面上之相關度，將該些關聯座 才示值分成複數個群組之流程。本發明可依據各關聯座標值 在(X，Z)平面上’將其相關度大於一預設值之任兩筆關聯座 標值’視為具有相關度，因此歸類為同一群組。舉例而言， 可將在(x，z)平面上相關度大於一預設值之兩像素視為屬於 同一群組，而將相關度小於一預設值之兩像素視為分屬不 同群組。然後再將同一群組中的兩像素和其他尚未加入群

IDEAS99014/0213-A42757-TWF 201220253 組的相關度來比對’對相關度大於該預設值的就再加入同 群組田某一像素無法分入其中任一群組時，則可刪除 該像素。重複上述步驟’直到所有像素分成數個群組為止。 此外，熟悉本技藝人士可依據本發明之精神利用習知的分 群方法’如 Kmeans、KNN (K-nearest neighbor)、FCM (Fuzzy

Cmeans) ’自行设定各種判斷像素群組歸屬之規則，即可完

成分群。為節省篇幅，本發明在此不--列舉。雖然第3A 圖的二雒晝面中兩特定物件ml及m2看起來彼此重疊，但 因為立體攝影技術所提供之空間座標，可了解兩人ml及 m2所在的z軸位置並不相同，因此該兩人可被輕易區分為 兩個不同的群組。此外，值得注意的是，本發明前述步驟 S104以及區分群組之步驟sl〇6兩步驟的先後順序可以置 換，本發明不必以前文之說明順序為限。 之後，在步驟S108中，本發明可將各群組之三維空間 關聯座標值與該特定物件之三維空間關聯座標值進行比 對，以判斷s玄空間中該特定物件組之數目。請參照第 圖及第3C圖，第3B圖中之「人」經步驟sl〇4後會在第 3C圖之三維空間關聯座標圖上呈現其對應的樣態，例如， 其中對應人體之「頭」及「軀幹」處，其在y方向上，其 像數=貝料大於門檻值的數目經常屬大量，相對地，在對應 「雙臂」處，則僅有相對數量較為少量的像素。此外，可 預先將特定物件（如人）的多種樣態之三維影像，進行三維 空間關聯座標處理之後，將三維空間關聯座標值儲存在— 資料庫之中。藉由將所拍攝一空間中可能包含多個不知名 物體之三維影像進行三維空間關聯座標處理之後，與儲存 IDEAS99014/0213-A42757-TWF 1Λ 201220253 在資料庫中的「人」的三維空間關關聯座標值進行比對， 來判斷空間中所有「人」之數目。 更進一步時，在另一些實施例中，可將每一群組的三 維空間關聯座標值進行二維化關聯處理，以獲得二維關聯 座標值。同樣地，特定物件的三維空間關聯座標值也進行 二維化關聯處理，獲得特定物件的二維關聯座標值，並事 先儲存在資料庫中。進行比對時，就分別對每一群組和特 定物件的二維關聯座標值來進行比對。 • 此外，由於物件距離立體攝影器的遠近會改變該物件 之影像大小（距離越遠，影像越小），因此，立體攝影器在 取得三維座標時，可先沿著Z軸調整各像素在三維空間中 X、y軸的比例大小，以穫得符合真實的X、y、Z三維座標 值。由於調整影像尺寸所涉及的數學運算並非本發明之重 點，因此本文不再贅述之。 此外，本發明還可提供一計數空間範圍，例如只計算 距離較近的空間時，可設定計數空間範圍為z座標值小於 • Μ，進而只針對z<bl的像素進行空間關聯資料處理及後續 比對。又或者，可直接設定計數空間範圍的（x、y、z)範圍， 如 cl< X < c2，c3<y < c4、c5< z < c6。之後，只要將其三 維座標值符合該計數空間範圍内的像素來進行空間關聯資 料處理及後續比對即可。 除了上述之影像計數方法，更發明另提供一影像計數 裝置。第4圖為依據本發明一實施例之影像計數裝置示意 圖。本發明之影像計數裝置400包括一立體攝影器410以 及一處理器420。該立體攝影器410可用以擷取對應該空 DDEAS99014/0213-A42757-TWF 11 201220253 間之一二維影像，其中該三維影像包含複數個像素，— 像素包含對應之X、y及z座標及像素資料。該處理器 更包括一計數單元422、一分群單元424以及一比^ _ 420。本發明之計數單元422可依據該些像素之χ、丫^兀 座標值及像素資料’對應至一表示為a Ζ ι間關聯 座標的複數個關聯座標值’其中t為在同一座標（χ，ζ)上 方向之像素^料小於一門植值之像素數目。本發明之分群 單元424可依據各關聯座標值在(χ，ζ)平面上之相關户，將 該些關聯座標值分成複數個群組。舉例而言，該分群單元 424區分群組的規則包括··將相關度大於一預設值之兩像 素歸類為同一群組，並將相關度小於一預設值之兩像素區 分為不同群組。本發明之一比對單元426可用以分別將各 群組中的該些關聯座標值，與該特定物件之三維影像對應 至該空間關聯座標之關聯座標值進行比對，以判斷該空間 中該特定物件之數目。此外，本發明可另包括一資料庫 430，其輕接至該處理器420，可用以儲存上述該特定物件 之三維空間關聯資料。由於本發明之影像計數裝置4〇〇能 夠執行前述影像計數方法的所有步驟Si〇2〜S108並達成相 對應的功能，熟悉本技藝人士可參照前文了解本發明之影 像計數裝置400，因此，本文不再贅述該影像計數裝置4〇〇 之相關實施例。 本發明雖以較佳實施例揭露如上，然其並非用以限定 本發明的範圍，任何熟習此項技藝者，在不脫離本發明之 精神和範圍内，當可做些許的更動與潤飾，因此本發明之 保護範圍當視後附之申請專利範圍所界定者為準。 IDEAS99014/0213-A42757-TWF 12 201220253 【圖式簡單說明】 第1圖為依據本發明一實施例之影像計數方法流程圖。 第2圖為本發明步驟S102中在空間中架設立體攝影器 之示意圖。 第3A、3B圖及3C圖為本發明步驟S104中建立一表 示為（X，z，t)之三維空間關係統計圖之示意圖。 第4圖為依據本發明一實施例之影像計數裝置示意圖。 【主要元件符號說明】 S102〜S108〜步驟； 400〜影像計數裝置； 410〜立體攝影器； 420〜處理器； 422〜統計單元； 424〜分群單元； 426〜比對單元； 430〜資料庫。 13

IDEAS99014/0213-A42757-TWF

Claims (1)

1. 201220253 七、申請專利範圍： 用以計算一空間中特定物件 1. 一種影像計數方法， 之數目，包括以下步驟： 輯影器擷取對應該空間之— 像，其中該三維影像包含複數個 — 一維心 之x、yp鍊值及1素資料象素’母—像素包含對應 縱to 依=些像素之x、y及z座標值及像素資料，對 應至7)之空間關聯座標的複數個關聯座標 m )座標上在y方向之像素資料小於 一門檻值之像素數目； 關度，將該 依據各關聯座標值在(X，Z)平面上之相 些關聯座標值分成複數個群組；以及 將各群組+的該㈣懸標值，與該較物件之 三維影像對應㈣絲之關聯座標錢行 以判斷該空間中該特定物件之數目。 2.如申請專利範圍帛i項之影像計數方法， 像素資料係為該像素之一灰階值、一亮度值和三 G、B)數值等其中之一。 ’、（R、 3.如申請專利範圍第2項之影像計數方法，其中誃 灰階值係將該像素之三原色（R、G、B)數值資料進行太= 化處理後而得0 又白 4.如申請專利範圍第1項之影像計數方法，其中 各群組中的複數個關聯座標值與該特定物件之三維靜$ 應至該空間關聯座標之關聯座標值進行比對之步驟，係= 別將各群組之複數個關聯座標值對應至一表示為（X，〇之: IDEAS99014/0213-A42757-TWF ,, 201220253 維關聯座標的複數個二維關聯座標值，再與該特定物件之 關聯座標值對應至該二維關聯座標的二維關聯座標值進行 比對，以判斷該空間中該特定物件之數目。 5.如申請專利範圍第4項之影像計數方法，其中分 別對各群組之二維關聯座標值和該特定物件二維關聯座標 值進行比對時，係依據此二者在二維關聯座標中之相似程 度，來分別判斷各群組是否對應該特定物件，並且計算對 應該特定物件之群組數目，作為該特定物件之數目。 φ 6.如申請專利範圍第1項之影像計數方法，其中依 據各關聯座標值在(X，z)平面上之相關度分成複數個群組之 步驟，係依據各關聯座標值在(X，Z)平面上，將其相關度大 大於一預設值之任兩筆關聯座標值歸類為同一群組。 7. 如申請專利範圍第1項之影像計數方法，更包括 提供一資料庫，用以儲存該特定物件之三維影像對應至該 空間關聯座標之關聯座標值。 8. 如申請專利範圍第1項之影像計數方法，其中該 • 方法更包括提供一計數空間範圍，且只將符合該計數空間 範圍内的像素之x、y及z座標值及像素資料，對應至該空 間關聯座標的複數個關聯座標值。 9. 一種影像計數裝置，用以計算一空間中特定物件 之數目，包括： 一立體攝影器，用以擷取對應該空間之一三維影 像，其中該三維影像包含複數個像素，每一像素包含對應 之x、y及z座標值及一像素資料；以及 一處理器，耦接至該立體攝影器，包括： IDEAS99014/0213-A42757-TWF 15 201220253 一計數單元，用以依據該些像素之x、y及z座 標值及像素資料，對應至一表示為（X，z，t)之空間關聯座 標的複數個關聯座標值，其中t為在同一座標(X，z)上y方 向之像素資料小於一門檻值之像素數目； 一分群單元，用以依據各關聯座標值在（X，Z) 平面上之相關度，將該些關聯座標值分成複數個群組；以 及 一比對單元，用以分別將各群組中的該些關聯 座標值，與該特定物件之三維影像對應至該空間關聯座標 之關聯座標值進行比對，以判斷該空間中該特定物件之數 目。 10. 如申請專利範圍第9項之影像計數裝置，其中該 像素資料係為該像素之一灰階值、一亮度值和三原色(R、 G、B)數值等其中之一。 11. 如申請專利範圍第9項之影像計數裝置，其中該 灰階值係將像素之三原色（R、G、B)數值資料進行灰階化 處理後而得。 12. 如申請專利範圍第9項之影像計數裝置，其中該 比對單元將各群組中的複數個關聯座標值與該特定物件之 三維影像對應至該空間關聯座標之關聯座標值進行比對， 係將各群組之複數個關聯座標值對應至一表示為（X，t)之二 維關聯座標的複數個二維關聯座標值，再與該特定物件之 關聯座標值對應至該二維關聯座標的二維關聯座標值進行 比對，以判斷該空間中該特定物件之數目。 13. 如申請專利範圍第12項之影像計數裝置，其中該 IDEAS99014/0213-A42757-TWF 16 201220253 各:組之二維關聯座標值和該特定物件二 進仃比對，係依據此二者在二維關聯座標中 且來分別判斷各群組是否對應該特定物件，並 目°。 +^該特定物件之群組數目，作為該特定物件之數 八^._如申請專利範圍第9項之影像計數裝置，其中該 L固依據各關聯座標值在(χ’ζ)平面上之相關度分成複

   距離]係依據各襲座標值在(Χ，ζ)平面上，將其相對 距離:、於一預設值之任兩筆關聯座標值歸類為同一群組。 -次·如中請專·㈣9項之影像計數裝置，更包括 J負枓庫，_至該處理器，用以錯存該特定物件之 影像對應至該空間關聯座標之關聯座標值。 、·· 16.如申請專利範圍第9項之影像計數裝置，其中該 裝置更包含有_計數空間範圍’且該計數單 χ 合該計數空間㈣⑽像素之^及以標二及像 素貝料，對應至該空關聯座標的複數個關聯座標值。 IDEAS99014/0213-A42757-TWF \η