TWI433529B - 增強辨識3d物件的方法 - Google Patents

增強辨識3d物件的方法 Download PDF

Info

Publication number
TWI433529B
TWI433529B TW099132046A TW99132046A TWI433529B TW I433529 B TWI433529 B TW I433529B TW 099132046 A TW099132046 A TW 099132046A TW 99132046 A TW99132046 A TW 99132046A TW I433529 B TWI433529 B TW I433529B
Authority
TW
Taiwan
Prior art keywords
eye image
corrected
right eye
left eye
objects
Prior art date
Application number
TW099132046A
Other languages
English (en)
Other versions
TW201215093A (en
Inventor
Chih Hsiang Tsai
Hui Wen Chen
Chao Ming Wang
Original Assignee
Huper Lab Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huper Lab Co Ltd filed Critical Huper Lab Co Ltd
Priority to TW099132046A priority Critical patent/TWI433529B/zh
Priority to US12/967,060 priority patent/US8610760B2/en
Priority to PL11163682T priority patent/PL2431941T3/pl
Priority to EP11163682.5A priority patent/EP2431941B1/en
Publication of TW201215093A publication Critical patent/TW201215093A/zh
Application granted granted Critical
Publication of TWI433529B publication Critical patent/TWI433529B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Description

增強辨識3D物件的方法
本發明係有關於一種辨識3D物件的方法,尤指一種藉由高斯濾波以及分水嶺切割法(watershed segmentation algorithm),分離至少二聚集的3D物件,以增強辨識3D物件的方法。
利用立體攝影機(stereo camera)擷取包含3D物件的影像,可以取得3D物件與背景之間的視差資訊(disparity map)。使用者可讓立體攝影機斜角架設以及模擬俯視(plan view),了解3D物件在空間的位置、移動情形等。因此,3D物件辨識系統便可利用上述3D物件特性應用於人流計數(head count)或是偵測人流。
但在辨識3D物件(例如人)時,無可避免的總是會遇到兩個以上的3D物件聚集在一起的情形,此時俯視圖(plan view)上的3D物件也會因為二個以上的3D物件(例如兩個人)聚集在一起,使得3D物件辨識系統容易誤判為單一3D物件(單一個人),導致計數3D物件時發生錯誤。
本發明提供一種增強辨識3D物件的方法包含使用一左眼攝影機與一右眼攝影機,擷取一左眼影像與一右眼影像;校正該左眼影像與該右眼影像以產生一已校正之左眼影像及一已校正之右眼影像;利用該已校正之左眼影像與該已校正之右眼影像,產生一視差圖(disparity map);根據該視差圖,判斷出該視差圖中的一異於背景的3D物件;將該異於背景的3D物件投射至一俯視圖上;濾除該俯視圖上的雜訊,以產生一去雜訊3D物件;判斷該去雜訊3D物件是否由至少二3D物件聚集而成;及如果該去雜訊3D物件係由該至少二3D物件聚集而成,則分離該至少二3D物件。
本發明提供的一種增強辨識3D物件的方法,係將根據左眼影像與右眼影像所產生的視差圖中的3D物件,投射至俯視圖上。然後,利用高斯濾波器去除3D物件的雜訊,以及增強3D物件的輪廓特徵。最後利用分水嶺切割法,分離至少二個以上聚集在一起的3D物件。
請參照第1圖,第1圖係為本發明的一實施例說明增強辨識3D物件的方法之流程圖。第1圖之步驟詳述如下:步驟100:開始;步驟102:使用一左眼攝影機LC與一右眼攝影機RC,擷取一左眼影像LI與一右眼影像RI;步驟104:校正左眼影像LI與右眼影像RI以產生一已校正之左眼影像CLI及一已校正之右眼影像CRI;步驟106:利用已校正之左眼影像CLI與已校正之右眼影像CRI,產生一視差圖(disparity map);步驟108:根據視差圖,判斷出視差圖中的一異於背景的3D物件;步驟110:將異於背景的3D物件投射至一俯視圖(plan view)上;步驟112:濾除俯視圖上的雜訊,以產生一去雜訊3D物件;步驟114:判斷去雜訊3D物件是否由至少二3D物件聚集而成;及步驟116:如果去雜訊3D物件係由至少二3D物件聚集而成,則分離至少二3D物件;步驟118:結束。
在步驟104中,係利用校正參數校正校正左眼影像LI與右眼影像RI,以產生一已校正之左眼影像CLI及一已校正之右眼影像CRI,其中校正參數包含離線得到的左眼攝影機LC與右眼攝影機RC之間的距離B,以及左眼攝影機LC與右眼攝影機RC係以同步的方式擷取左眼影像LI與右眼影像RI。在步驟106中,利用已校正之左眼影像CLI與已校正之右眼影像CRI,產生一視差圖(disparity map)。在視差圖中,可透過左眼攝影機LC與右眼攝影機RC之間的距離B,產生3D物件距離左眼攝影機LC與右眼攝影機RC所在的基準線baseline的視深D。請參照第2圖和第3圖,第2圖係說明重疊已校正之左眼影像CLI與已校正之右眼影像CRI,產生視差dx的示意圖,第3圖係說明利用左眼攝影機LC與右眼攝影機RC,產生視深D的示意圖。如第2圖所示,成像位置PL(XL,YL)係為一3D物件在已校正之左眼影像CLI中的位置,以及成像位置PR(XR,YR)係為3D物件在已校正之右眼影像CRI中的位置,其中3D物件包含已校正之左眼影像CLI與已校正之右眼影像CRI中的不會移動的背景。因此,可根據成像位置PL(XL,YL)、PR(XR,YR)以及式(1),產生視差dx。
dx=XR-XL (1)
如第3圖所示,可根據視差dx、左眼攝影機LC與右眼攝影機RC之間的距離B、左眼攝影機LC與右眼攝影機RC的焦距f以及式(2),產生3D物件的視深D,亦即3D物件的Z座標。這裡的3D物件包含已校正之左眼影像CLI與已校正之右眼影像CRI中的任一3D物件。
D=Z=f*(B/dx) (2)
在步驟108中,根據步驟106得到的視差圖,判斷出視差圖中的一異於背景的3D物件,尤指突然出現在已校正之左眼影像CLI與已校正之右眼影像CRI中異於背景的3D物件。因為背景的視深不會改變,所以可根據步驟106得到的視差圖,判斷出視差圖中的異於背景的3D物件。得到3D物件的視深Z之後,可根據式(3)、式(4),產生3D物件的X座標與Y座標。如此便可由左眼攝影機LC與右眼攝影機RC的二個成像面(image plane)上,獲得3D物件的立體資訊,亦即3D物件的三維座標(X,Y,Z),其中式(3)、式(4)的XL、YL亦可XR、YR取代。
X=(XL*Z)/f (3)
Y=(YL*Z)/f (4)
在步驟110中,使用者可利用俯視圖獲得3D物件在平面上的位置資訊。利用左眼攝影機LC與右眼攝影機RC,產生3D物件的立體資訊後,先將異於背景的3D物件投射到3D俯視圖(plan view)上之後,再以垂直地面的角度來觀察3D物件。請參照第4圖,第4圖係說明3D物件在俯視圖上的示意圖。
在視差圖中,每個視差圖的點會給予一個投射權重值。本發明所提出的投射權重值計算方式F (f x ,f y ,Z cam ),係依據3D物件距離基準線baseline越遠權重越重的概念來給予每個視差圖的點一個投射權重值。俯視圖上的每個點在累積完這些投射權重值後,會根據累積量的多寡來判斷是雜訊或是3D物件,累積的權重值越大代表此點應是3D物件。
在步驟112中係根據參考文獻,去除3D物件的雜訊可利用高度資訊、投射權重值與高斯濾波器(Gaussian filter)來完成,其中投射權重值藉由步驟110改善後,使用者可確定投射權重值較少的點應該是雜訊。
另外,高度資訊是俯視圖上每個點的其中一項資訊,用來表示每個點在空間的高度。當有3D物件(例如人)被投射到俯視圖上時,3D物件的高度資訊通常會有類似一座山的形狀,而高斯濾波器本身也有類似山的外型,因此使用者除了利用高斯濾波器來去除3D物件的雜訊外,也可用來增強3D物件的輪廓特徵,便於之後辨識3D物件。
當3D物件(例如人)聚集在一起時,俯視圖上的物件也會聚在一起,導致經常被誤判成同一3D物件。因此,在步驟112中,已利用高斯濾波器來增強3D物件的輪廓特徵,尤其是「山」的特徵。因此在步驟114中,使用者可利用「尋找區域極值」的方式來尋找「山頂」,看一個3D物件是否可能為兩個以上3D物件所合併而來的(亦即具有兩個以上的「山頂」)。通常只有一個3D物件時,「山頂」的數量只有一個。當發現兩個「山頂」以上時,則表示可能有兩個以上3D物件被併在一起。
在步驟116中,當判斷一個3D物件(例如人)具有兩個以上的「山頂」時,代表可能至少二個以上的3D物件被合併。此時3D物件辨識系統可利用分水嶺切割法(watershed segmentation algorithm)先分離至少二個以上的3D物件。然後,根據切割後的3D物件的範圍來判斷是否為3D物件或是雜訊。因此只要切割後的3D物件的範圍夠大,3D物件辨識系統都會認為是3D物件,否則就是雜訊。
請參照第5A圖和第5B圖,第5A圖係為根據每個像素的亮度值所呈現的影像之示意圖,第5B圖係說明利用分水嶺切割法分離至少二3D物件的示意圖。如第5A圖所示,白色區域係為亮度較大的區域,網點最密的區域係為亮度較小的區域。分水嶺切割法的主要概念是把整張影像當成地形圖,每個像素(pixel)的亮度值為地形的高度,從這張地形圖找出分水嶺,藉以分離3D物件。如第5B圖所示,可根據第5A圖的像素的亮度值,找出所有的分水嶺線,亦即至少二3D物件各自的邊界,以區分出俯視圖上的3D物件。
請參照第6圖,第6圖係為本發明的另一實施例說明增強辨識3D物件的方法之流程圖。第6圖之步驟詳述如下:步驟600:開始;步驟602:使用一左眼攝影機LC與一右眼攝影機RC,擷取一左眼影像LI與一右眼影像RI;步驟604:校正左眼影像LI與右眼影像RI以產生一已校正之左眼影像CLI及一已校正之右眼影像CRI;步驟606:銳利化已校正之左眼影像CLI及已校正之右眼影像CRI,以產生一已銳利化之左眼影像SLI與一已銳利化之右眼影像SRI;步驟608:計算已銳利化之左眼影像SLI及已銳利化之右眼影像SRI的變異性;步驟610:利用已銳利化之左眼影像SLI及已銳利化之右眼影像SRI,產生一視差圖(disparity map);步驟612:根據視差圖,判斷出視差圖中的一異於背景的3D物件(例如人);步驟614:將異於背景的3D物件投射至一俯視圖(plan view)上;步驟616:濾除俯視圖上的雜訊,以產生一去雜訊3D物件;步驟618:判斷去雜訊3D物件是否由至少二3D物件聚集而成;及步驟620:如果去雜訊3D物件係由至少二3D物件聚集而成,則分離至少二3D物件;步驟622:結束。
第6圖的實施例和第1圖的實施例差別在於第6圖的實施例多了二步驟。在步驟606中,銳利化已校正之左眼影像CLI及已校正之右眼影像CRI係利用一高通濾波器取得已校正之左眼影像CLI及已校正之右眼影像CRI的高頻特徵,用以加強已校正之左眼影像CLI及已校正之右眼影像CRI內部的高頻部分,例如已校正之左眼影像CLI及已校正之右眼影像CRI的邊緣及/或花紋部分。在步驟608中,計算已銳利化之左眼影像SLI及已銳利化之右眼影像SRI的變異性,係為辨別及移除平滑無特徵的區域,例如背景中的整面牆。3D物件辨識系統係用以辨識3D物件(例如人),但背景中的平滑無特徵的區域並非需要被3D物件辨識系統辨識的3D物件,所以移除背景中的平滑無特徵的區域,減少3D物件辨識系統的負擔。第6圖的實施例的其餘操作原理皆和第1圖的實施例相同,在此不再贅述。
綜上所述,本發明提供的增強辨識3D物件的方法,係將根據左眼影像與右眼影像所產生的視差圖中的3D物件,投射至俯視圖上。然後,利用高斯濾波器去除3D物件的雜訊,以及增強3D物件的輪廓特徵。最後利用分水嶺切割法,分離至少二個以上聚集在一起的3D物件。因此,本發明可應用於需要人流計數或是偵測人流的地方,例如大賣場、電影院以及百貨公司等。而本發明亦可應用於月台警戒線或是其他警戒區,只要一偵測到3D物件(例如人),立刻響起警報器。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
CRI...已校正之右眼影像
CLI...已校正之左眼影像
PL、PR...成像位置
B...距離
D...視深
LC...左眼攝影機
RC...右眼攝影機
100-118、600-622...步驟
第1圖係為本發明的一實施例說明增強辨識3D物件的方法之流程圖。
第2圖係說明重疊已校正之左眼影像與已校正之右眼影像,產生視差的示意圖。
第3圖係說明利用左眼攝影機與右眼攝影機,產生視深的示意圖。
第4圖係說明利用3D物件在俯視圖上的示意圖。
第5A圖係為根據每個像素的亮度值所呈現的影像之示意圖。
第5B圖係說明利用分水嶺切割法分離至少二3D物件的示意圖。
第6圖係為本發明的另一實施例說明增強辨識3D物件的方法之流程圖。
600-622...步驟

Claims (9)

  1. 一種增強辨識3D物件的方法,包含:使用一左眼攝影機與一右眼攝影機,擷取一左眼影像與一右眼影像;校正該左眼影像與該右眼影像以產生一已校正之左眼影像及一已校正之右眼影像;利用該已校正之左眼影像與該已校正之右眼影像,產生一視差圖(disparity map);根據該視差圖,判斷出該視差圖中的一異於背景的3D物件;給定該異於背景的3D物件中的每一點一相對應的權重以將該異於背景的3D物件投射至一俯視圖(plan view)上,其中該相對應的權重是有關於該左眼攝影機和該右眼攝影機與該點之間的距離;濾除該俯視圖上的雜訊,以產生一去雜訊3D物件;判斷該去雜訊3D物件是否由至少二3D物件聚集而成;及如果該去雜訊3D物件係由該至少二3D物件聚集而成,則根據該俯視圖上的去雜訊3D物件的高度資訊,利用一分水嶺方法(Watershed Segmentation Algorithm)分離該至少二3D物件。
  2. 如請求項1所述之方法,其中擷取該左眼影像與該右眼影像係為以同步的方式擷取該左眼影像與該右眼影像。
  3. 如請求項1所述之方法,其中校正該左眼影像與該右眼影像係為根據該左眼攝影機與該右眼攝影機之間的距離校正該左眼影像與該右眼影像。
  4. 如請求項1所述之方法,另包含:銳利化該已校正之左眼影像與該已校正之右眼影像,以產生一已銳利化之左眼影像與一已銳利化之右眼影像;及計算該已銳利化之左眼影像及該已銳利化之右眼影像的變異性。
  5. 如請求項4所述之方法,其中銳利化該已校正之左眼影像與該已校正之右眼影像係為利用一高通濾波器強化該已校正之左眼影像與該已校正之右眼影像的高頻部分。
  6. 如請求項1所述之方法,其中利用該已校正之左眼影像與該已校正之右眼影像,產生該視差圖係重疊該已校正之左眼影像與該已校正之右眼影像,產生該視差圖。
  7. 如請求項1所述之方法,其中判斷出該視差圖中的該異於背景的3D物件係為利用該視差圖中的背景與該異於背景的3D物件的視深差異判斷出該視差圖中的該異於背景的3D物件。
  8. 如請求項1所述之方法,其中濾除該俯視圖上的雜訊係利用一 高斯濾波器(Gaussian filter)濾除該俯視圖上的雜訊。
  9. 如請求項1所述之方法,其中根據該分水嶺方法,分離該至少二3D物件係為根據該至少二3D物件上每個像素的亮度值,找出該至少二3D物件各自的邊界,以分離該至少二3D物件。
TW099132046A 2010-09-21 2010-09-21 增強辨識3d物件的方法 TWI433529B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW099132046A TWI433529B (zh) 2010-09-21 2010-09-21 增強辨識3d物件的方法
US12/967,060 US8610760B2 (en) 2010-09-21 2010-12-14 Method for intensifying identification of three-dimensional objects
PL11163682T PL2431941T3 (pl) 2010-09-21 2011-04-26 Sposób poprawy rozpoznawania obiektów trójwymiarowych
EP11163682.5A EP2431941B1 (en) 2010-09-21 2011-04-26 Method for intensifying identification of three-dimensional objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099132046A TWI433529B (zh) 2010-09-21 2010-09-21 增強辨識3d物件的方法

Publications (2)

Publication Number Publication Date
TW201215093A TW201215093A (en) 2012-04-01
TWI433529B true TWI433529B (zh) 2014-04-01

Family

ID=45555376

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099132046A TWI433529B (zh) 2010-09-21 2010-09-21 增強辨識3d物件的方法

Country Status (4)

Country Link
US (1) US8610760B2 (zh)
EP (1) EP2431941B1 (zh)
PL (1) PL2431941T3 (zh)
TW (1) TWI433529B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120088467A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 2차원 영상 표시 영역 내에 부분 3차원 영상을 디스플레이 하는 방법 및 장치
US20130057655A1 (en) * 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
US20140225991A1 (en) * 2011-09-02 2014-08-14 Htc Corporation Image capturing apparatus and method for obatining depth information of field thereof
TWI508027B (zh) 2013-08-08 2015-11-11 Huper Lab Co Ltd 三維偵測裝置及其偵測影像之方法
EP3213292A4 (en) * 2014-10-28 2018-06-13 Hewlett-Packard Development Company, L.P. Three dimensional object recognition
CN106033601B (zh) * 2015-03-09 2019-01-18 株式会社理光 检测异常情形的方法和装置
WO2019186787A1 (ja) * 2018-03-28 2019-10-03 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN109241858A (zh) * 2018-08-13 2019-01-18 湖南信达通信息技术有限公司 一种基于轨道交通列车的客流密度检测方法及装置
CN110533605B (zh) * 2019-07-26 2023-06-02 遵义师范学院 一种精确噪点标定方法
CN113891100A (zh) * 2020-09-16 2022-01-04 深圳市博浩光电科技有限公司 实时三维影像显示的直播***
CN113891101A (zh) * 2020-09-16 2022-01-04 深圳市博浩光电科技有限公司 实时三维影像显示的直播方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995006897A1 (en) 1991-02-19 1995-03-09 John Lawrence Simulated 3-d cinematographic technique, apparatus and glasses
US6873723B1 (en) * 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6965379B2 (en) 2001-05-08 2005-11-15 Koninklijke Philips Electronics N.V. N-view synthesis from monocular video of certain broadcast and stored mass media content
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7324661B2 (en) * 2004-04-30 2008-01-29 Colgate-Palmolive Company Computer-implemented system and method for automated and highly accurate plaque analysis, reporting, and visualization
US7623676B2 (en) 2004-12-21 2009-11-24 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
KR100727033B1 (ko) 2005-12-07 2007-06-12 한국전자통신연구원 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템
US8355579B2 (en) * 2009-05-20 2013-01-15 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Automatic extraction of planetary image features

Also Published As

Publication number Publication date
PL2431941T3 (pl) 2019-04-30
EP2431941A1 (en) 2012-03-21
US20120069151A1 (en) 2012-03-22
TW201215093A (en) 2012-04-01
EP2431941B1 (en) 2018-10-10
US8610760B2 (en) 2013-12-17

Similar Documents

Publication Publication Date Title
TWI433529B (zh) 增強辨識3d物件的方法
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
TWI469087B (zh) 深度圖產生方法
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
KR101055411B1 (ko) 입체 영상 생성 방법 및 그 장치
TWI508027B (zh) 三維偵測裝置及其偵測影像之方法
JP6299291B2 (ja) 道路エッジ検出方法及び道路エッジ検出装置
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
KR20180041668A (ko) 포인트 클라우드로부터의 인간의 귀의 3d 복원
KR101551026B1 (ko) 차량 검출 방법
KR101285106B1 (ko) 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
WO2013038833A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP6194604B2 (ja) 認識装置、車両及びコンピュータが実行可能なプログラム
CN104915943B (zh) 用于在视差图中确定主要视差值的方法和装置
CN107396037B (zh) 视频监控方法及装置
US9530240B2 (en) Method and system for rendering virtual views
CN113065397B (zh) 行人检测方法及装置
US9217636B2 (en) Information processing apparatus, information processing method, and a computer-readable storage medium
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
JP2020098421A (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム
JP6251099B2 (ja) 距離算出装置
JP5786793B2 (ja) 車両検出装置
WO2012116350A2 (en) Figure-ground organization of 3-d scenes