TWI387325B - 影像擷取裝置與影像前處理方法 - Google Patents
影像擷取裝置與影像前處理方法 Download PDFInfo
- Publication number
- TWI387325B TWI387325B TW097138937A TW97138937A TWI387325B TW I387325 B TWI387325 B TW I387325B TW 097138937 A TW097138937 A TW 097138937A TW 97138937 A TW97138937 A TW 97138937A TW I387325 B TWI387325 B TW I387325B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- image
- chrominance
- column
- processed
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/642—Multi-standard receivers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
本發明係有關於影像擷取裝置與影像前處理方法及裝置,特別是關於一種YUV影像的前置處理方法及裝置。
在數位圖像處理領域中,常見的一種編碼方法為YUV編碼。YUV編碼技術所得的影像數據包括:亮度數據Y(Luminance、Luma)、以及色度數據U與V(Chrominance、Chroma)。U為偏藍色度數據(另一常見標示為Cb
)。V為偏紅色度數據(另一常見標示為Cr
)。YUV編碼遵循下列公式,以含括紅、綠與藍三原色(RGB)之資料:Y=0.299*R+0.587*G+0.114*B;U=0.436*(B-Y)/(1-0.114);以及V=0.615*(R-Y)/(1-0.299)。
由於人眼對色度(U與V)的敏感度不如亮度(Y),故對於色度(U與V)可採用較低抽樣頻率。常見的一種方法為4:2:2色度抽樣。
第1圖以一畫面100之影像數據說明4:2:2色度抽樣。不同於亮度數據必須對每一個像素抽樣,4:2:2色度抽樣將色度數據(U與V)的抽樣頻率減半,令每兩個像素共用一組色度數據(U與V)。參閱第1圖,第0列(row)第0行(column)的像素102僅有亮度數據Y00
與偏藍色度數據U00
之抽樣,
而無偏紅色度數據(V)之抽樣;第0列第1行的像素104則僅有亮度數據Y01
與偏紅色度數據V01
之抽樣,而無偏藍色度數據(U)之抽樣。像素102與104共用色度數據U00
與V01
。
上述影像數據(YUV)可經過一影像壓縮運算轉換為數據串流(streaming)。影像壓縮運算通常需要將一畫面分割為複數個子畫面(sub-image),對各子畫面進行運算。傳統技術通常以緩衝儲存器,如緩衝器(line buffer),收集子畫面的影像數據,供影像壓縮運算時使用。
此外,上述影像數據(YUV)於播放於螢幕前,亦須先暫存於緩衝器(line buffer)方輸出。
如何降低緩衝器(line buffer)的數量為本技術領域一項重要的課題。
本發明揭露一種影像擷取裝置以及所應用之影像前處理方法。本發明之影像擷取裝置包括一感測單元、一影像數據產生單元、一第一影像前處理單元、一緩衝器群組、一第二影像前處理單元、以及一影像壓縮單元。上述感測單元以及影像數據產生單元負責感測影像並且產生影像數據,其中,影像數據包括亮度數據以及色度數據。亮度數據暫存至緩衝器群組。色度數據則經第一影像前處理單元轉換為色度合併數據後暫存於緩衝器群組;其中,第一影像前處理單元所執行的動作為:合併相鄰列之色度數據,
藉以降低色度數據的資料量。第二影像前處理單元位於緩衝器群組之後,用以取得上述色度合併數據、並且令相鄰的列共用所對應之色度合併數據,以輸出處理後色度數據。上述第二影像前處理單元與緩衝器群組所提供的處理後色度數據與亮度數據用於顯示一影像於一螢幕。
本發明更可用於影像壓縮運算…等影像處理運算之前置處理。除了播放於一螢幕上,任何需要收集子畫面的影像處理運算,如影像壓縮運算,亦可使用此影像前處理方法。此方法包括:接收影像數據,其中包括亮度數據與色度數據;合併相鄰列之色度數據以產生色度合併數據;以一緩衝器群組暫存上述亮度數據與上述色度合併數據;以及自上述緩衝器群組取得上述色度合併數據,並且令相鄰的列共用所對應之色度合併數據,以得到處理後色度數據。上述處理後色度數據與上述緩衝器群組所暫存之亮度數據供影像播放、或後續影像處理運算使用。
第2圖為本發明影像擷取裝置的一種實施方式。影像擷取裝置200可為網路攝影機(web-cam)、數位相機…等數位攝影裝置,其中包括感測單元202、影像數據產生單元204、第一影像前處理單元206、緩衝器群組208、以及第二影像前處理單元210。
感測單元202可為感光裝置,如CCD或CMOS感測器,用來感測影像。感測單元202所感測影像類比信號由
影像數據產生單元204放大並轉換為數位的影像數據(包括數據216與218)。影像數據可為YUV編碼,其中包括亮度數據216(Y)以及色度數據218(U與V)。如圖所示,亮度數據216(Y)暫存於緩衝器群組208;而色度數據218則更經第一影像前處理單元206轉換成色度合併數據220後,方暫存至緩衝器群組208。第一影像前處理單元206所執行的動作為:合併相鄰列之色度數據。因而,色度合併數據220的資料量遠低於色度數據218的資料量。
緩衝器群組208於儲存滿溢時,會將其內容輸出,並且開始新的儲存動作。第二影像前處理單元210位於緩衝器群組208與影像壓縮單元212之間,用以接收色度合併數據220、並且令相鄰的列共用色度合併數據,以得到處理後色度數據222。緩衝器群組208所提供的亮度數據216與處理後色度數據222用於撥放影像於螢幕226上。
此外,緩衝器群組208所提供的亮度數據216與處理後色度數據222亦可用來作影像壓縮。如第2圖所示,影像壓縮單元212耦接上述第二影像前處理單元210與緩衝器群組208,且對上述元件(210與208)所提供的處理後色度數據222與亮度數據216進行一影像壓縮運算。壓縮後的影像224可儲存於一儲存媒體214。
在某些實施方式中,影像數據(216與218)可為4:2:2色度抽樣;色度數據218包括偏藍色度數據(通常標示為U或Cb
)與偏紅色度數據(通常標示為V或Cr
)。參閱第1圖所標示之畫面100的Y、U與V抽樣,第一影像前處理單
元206可藉下列運算(運算式1)合併相鄰列之色度數據:My,2x
=(U2y,2x
+U2y+1,2x
)/2;以及Ny,2x+1
=(V2y,2x+1
+V2y+1,2x+1
)/2; (運算式1)其中,y與x為變數;My,2x
與Ny,2x+1
組成第2圖之色度合併數據220;U2y,2x
為一畫面第2y列(row)、第2x行(column)像素之偏藍色度數據;U2y+1,2x
為該畫面第2y+1列、第2x行像素之偏藍色度數據;V2y,2x+1
為該畫面第2y列、第2x+1行像素之偏紅色度數據;且V2y+1,2x+1
為該畫面第2y+1列、第2x+1行像素之偏紅色度數據。
以第0與1列兩個相鄰列為例,位於第0列之色度數據U00
與位於第1列之色度數據U10
合併為色度合併數據M00
,其中M00
=(U00
+U10
)/2;位於第0列的色度數據V01
與位於第1列的色度數據V11
合併為色度合併數據N01
,其中N01
=(V01
+V11
)/2;位於第0列的色度數據U02
與位於第1列的色度數據U12
合併為色度合併數據M02
,其中M02
=(U02
+U12
)/2;位於第0列的色度數據V03
與位於第1列的色度數據V13
合併為色度合併數據N03
,其中N03
=(V03
+V13
)/2,以此類推。
緩衝器群組208之容量可依影像處理運算的一子畫面之資料量設計。假設一子畫面包括8x16像素,則以第0-7列、第0-15行之子畫面為例,緩衝器群組208所儲存的資料包括:Y00
、Y01
、Y02
、Y03
、…、Y0,15
Y10
、Y11
、Y12
、Y13
、…、Y1
,15
…
Y70
、Y71
、Y72
、Y3
、…、Y7,15
M00
、N01
、M02
、N03
、…、N0,15
M10
、N11
、M12
、N13
、…、N1,15
M20
、N21
、M22
、N23
、…、N2,15
M30
、N31
、M32
、N33
、…、N3,15
參見未採用第一與第二影像前處理單元206與210的傳統技術,傳統緩衝器群組所需儲存的資料包括:Y00
、Y01
、Y02
、Y03
、…、Y0,15
Y10
、Y11
、Y12
、Y13
、…、Y1,15
…
Y70
、Y71
、Y72
、Y3
、…、Y7,15
U00
、V01
、U02
、V03
、…、V0,15
U10
、V11
、U12
、V13
、…、V1,15
…
U70
、V71
、U72
、V3
、…、V7,15
本發明之緩衝器群組208可減少25%的容量,大幅節省電路的面積與成本。
在某些實施方式中,第二影像前處理單元210可藉運算式2令相鄰的列共用色度合併數據:U’2y,2x
=U’2y+1,2x
=My,2x
;以及V’2y,2x+1
=V’2y+1,2x+1
=Ny,2x+1
; (運算式2)其中,U’2y,2x
、U’2y+1,2x
、V’2y,2x+1
與V’2y+1,2x+1
組成第2圖之處理後色度數據222。
以第0與1列兩個相鄰列為例,色度合併數據M00
複製給第0與1列之第0行像素,作為處理後色度數據U’00
與U’10
使用,其中U’00
=U’10
=M00
;色度合併數據N01
複製給第0與1列之第1行像素,作為處理後色度數據V’01
與V’11
使用,其中V’01
=V’11
=N01
;色度合併數據M02
複製給第0與1列之第2行像素,作為處理後色度數據U’02
與U’12
使用,其中U’02
=U’12
=M02
;色度合併數據N03
複製給第0與1列之第3行像素,作為處理後色度數據V’03
與V’13
使用,其中V’03
=V’13
=N03
;…。
藉由運算式2,各像素的影像數據(關於亮度數據與色度數據)可被完整收集,藉以進行播放或影像壓縮運算。
本發明縮減色度數據資料量的方法更可用於其他影像處理運算之前置處理中,統稱影像前處理方法。除了第2圖實施例所提及之影像壓縮運算,任何需要先收集子畫面之數據資料的影像處理運算,皆可使用此影像前處理方法。此方法包括:接收影像數據,其中包括亮度數據(如Y)與色度數據(如U與V),此影像數據可為4:2:2色度抽樣;執行上述運算式1,合併相鄰列之色度數據以產生色度合併數據(運算式1之M與N);以一緩衝器群組暫存上述亮度數據Y與上述色度合併數據(M與N);以及自上述緩衝器群組取得上述色度合併數據(M與N),並且執行上述運算式2令相鄰的列共用色度合併數據(M與N)以得處理後色度數據(運算式2之U’與V’)。上述處理後色度數據(U’與V’)與上述緩衝器群組所暫存之亮度數據(Y)將供影
像播放、或影像處理運算使用。透過第一影像前處理單元206合併相鄰列之色度數據以產生色度合併數據可節省緩衝器群組的硬體空間,進而降低影像擷取系統的成本。
100‧‧‧一畫面
102‧‧‧對應畫面100第0列第0行之像素
104‧‧‧對應畫面100第0列第1行之像素
200‧‧‧影像擷取裝置
202‧‧‧感測元件
204‧‧‧影像數據產生元件
206‧‧‧第一影像前處理單元
208‧‧‧緩衝器群組
210‧‧‧第二影像前處理單元
212‧‧‧影像壓縮單元
214‧‧‧儲存媒體
216‧‧‧亮度數據
218‧‧‧色度數據
220‧‧‧色度合併數據
222‧‧‧處理後色度數據
224‧‧‧壓縮之影像
226‧‧‧螢幕
Y00
-Y73
‧‧‧亮度數據
U00
-U72
‧‧‧偏藍色度數據
V01
-V73
‧‧‧偏紅色度數據
第1圖以一畫面100之影像數據說明4:2:2色度抽樣:以及第2圖為本發明影像擷取裝置的一種實施方式。
200‧‧‧影像擷取裝置
202‧‧‧感測元件
204‧‧‧影像數據產生元件
206‧‧‧第一影像前處理單元
208‧‧‧緩衝器群組
210‧‧‧第二影像前處理單元
212‧‧‧影像壓縮單元
214‧‧‧儲存媒體
216‧‧‧亮度數據
218‧‧‧色度數據
220‧‧‧色度合併數據
222‧‧‧處理後色度數據
224‧‧‧壓縮之影像
226‧‧‧螢幕
Claims (10)
- 一種影像擷取裝置,其中包括:一感測單元接收光源以產生一影像類比信號;一影像數據產生單元,接收上述影像類比信號並產生影像數據,上述影像數據包括亮度數據以及色度數據;一第一影像前處理單元,合併相鄰列之色度數據以產生資料量較上述色度數據低的色度合併數據;一緩衝器群組,用以暫存上述亮度數據與上述色度合併數據;以及一第二影像前處理單元,耦接上述緩衝器群組以取得上述色度合併數據,並令各列色度合併數據所對應的相鄰列皆複製所對應的該列色度合併數據作為處理後色度數據,以擴充重建色度數據;其中,該緩衝器群組所提供之亮度數據、與該第二影像前處理單元所提供之處理後色度數據用於顯示一影像於一螢幕。
- 如申請專利範圍第1項所述之影像擷取裝置,更包含一影像壓縮單元,耦接上述緩衝器群組以取得上述亮度數據,耦接該第二影像前處理單元以取得上述處理後色度數據,並且對上述亮度數據、與處理後色度數據進行一影像壓縮運算。
- 如申請專利範圍第1項所述之影像擷取裝置,上述影像數據為4:2:2色度抽樣,上述色度數據包括偏藍色度數據與偏紅色度數據。
- 如申請專利範圍第3項所述之影像擷取裝置,其中該第一影像前處理單元以下列運算合併相鄰列之色度數據:My,2x =(U2y,2x +U2y+1,2x )/2;以及Ny,2x+1 =(V2y,2x+1 +V2y+1,2x+1 )/2;其中,y與x為變數;My,2x 與Ny,2x+1 組成上述色度合併數據;U2y,2x 為一畫面第2y列、第2x行像素之偏藍色度數據;U2y+1,2x 為該畫面第2y+1列、第2x行像素之偏藍色度數據;V2y,2x+1 為該畫面第2y列、第2x+1行像素之偏紅色度數據;且V2y+1,2x+1 為該畫面第2y+1列、第2x+1行像素之偏紅色度數據。
- 如申請專利範圍第4項所述之影像擷取裝置,其中該第二影像前處理單元以下列運算產生上述處理後色度數據:U’2y,2x =U’2y+1,2x =My,2x ;以及V’2y,2x+1 =V’2y+1,2x+1 =Ny,2x+1 ;其中,U’2y,2x 、U’2y+1,2x 、V’2y,2x+1 與V’2y+1,2x+1 組成上述處理後色度數據。
- 一種影像前處理方法,其中包括:接收影像數據,其中包括亮度數據與色度數據;合併相鄰列之色度數據以產生資料量較上述色度數據低的色度合併數據; 採用緩衝器群組暫存上述亮度數據與上述色度合併數據;以及自上述緩衝器群組取得上述色度合併數據,並令各列色度合併數據所對應的相鄰列皆複製所對應的該列色度合併數據作為處理後色度數據,以擴充重建色度數據;其中,上述處理後色度數據與自上述緩衝器群組取得的上述亮度數據用於顯示一影像於一螢幕。
- 如申請專利範圍第6項所述之影像前處理方法,上述影像數據為4:2:2色度抽樣,上述色度數據包括偏藍色度數據與偏紅色度數據。
- 如申請專利範圍第7項所述之影像前處理方法,以下列運算合併相鄰列之色度數據:My,2x =(U2y,2x +U2y+1,2x )/2;以及Ny,2x+1 =(V2y,2x+1 +V2y+1,2x+1 )/2;其中,y與x為變數;My,2x 與Ny,2x+1 組成上述色度合併數據;U2y,2x 為一畫面第2y列、第2x行像素之偏藍色度數據;U2y+1,2x 為該畫面第2y+1列、第2x行像素之偏藍色度數據;V2y,2x+1 為該畫面第2y列、第2x+1行像素之偏紅色度數據;且V2y+1,2x+1 為該畫面第2y+1列、第2x+1行像素之偏紅色度數據。
- 如申請專利範圍第8項所述之影像前處理方法,以下列運算產生上述處理後色度數據: U’2y,2x =U’2y+1,2x =My,2x ;以及V’2y,2x+1 =V’2y+1,2x+1 =Ny,2x+1 ;其中,U’2y,2x 、U’2y+1,2x 、V’2y,2x+1 與V’2y+1,2x+1 組成上述處理後色度數據。
- 如申請專利範圍第6項所述之影像前處理方法,更包括對上述亮度數據、與處理後色度數據進行一影像壓縮運算,以儲存於一儲存媒體。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW097138937A TWI387325B (zh) | 2008-10-09 | 2008-10-09 | 影像擷取裝置與影像前處理方法 |
US12/400,860 US8026952B2 (en) | 2008-10-09 | 2009-03-10 | Image capturing device with reduced-sized sub-image collection and an image processing method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW097138937A TWI387325B (zh) | 2008-10-09 | 2008-10-09 | 影像擷取裝置與影像前處理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201015981A TW201015981A (en) | 2010-04-16 |
TWI387325B true TWI387325B (zh) | 2013-02-21 |
Family
ID=42098498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW097138937A TWI387325B (zh) | 2008-10-09 | 2008-10-09 | 影像擷取裝置與影像前處理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8026952B2 (zh) |
TW (1) | TWI387325B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010016166A1 (ja) * | 2008-08-04 | 2010-02-11 | パナソニック株式会社 | 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路 |
JP5719986B2 (ja) * | 2010-10-20 | 2015-05-20 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
KR101683175B1 (ko) * | 2014-03-06 | 2016-12-06 | 삼성전자주식회사 | 영상 복호화 방법 및 그 장치, 영상 부호화 방법 및 그 장치 |
CN105427776B (zh) * | 2016-01-26 | 2018-08-07 | 深圳市华星光电技术有限公司 | 液晶面板影像残留检测方法和装置 |
CN113329269A (zh) * | 2020-02-28 | 2021-08-31 | 杭州海康威视数字技术股份有限公司 | 视频编码、解码方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5926208A (en) * | 1992-02-19 | 1999-07-20 | Noonen; Michael | Video compression and decompression arrangement having reconfigurable camera and low-bandwidth transmission capability |
TW200417246A (en) * | 2003-02-18 | 2004-09-01 | Omnivision Tech Inc | CMOS image sensor having reduced numbers of column readout circuits |
US20050190270A1 (en) * | 2004-02-26 | 2005-09-01 | Hyun-Sang Park | Method and apparatus for processing image signal |
TW200539705A (en) * | 2004-03-30 | 2005-12-01 | Toshiba Kk | Image transmitting device, image receiving device and image transceiving system |
US20050285813A1 (en) * | 2004-06-23 | 2005-12-29 | Atsushi Obinata | Display controller, electronic equipment, and image data supplying method |
US20070188515A1 (en) * | 2006-02-14 | 2007-08-16 | Weidong Li | Method and system for video format transformation in a mobile terminal having a video display |
US20070222891A1 (en) * | 2006-03-21 | 2007-09-27 | Mediatek Inc. | Systems and methods for video data conversion |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006090334A2 (en) * | 2005-02-28 | 2006-08-31 | Nxp B.V. | New compression format and apparatus using the new compression format for temporarily storing image data in a frame memory |
-
2008
- 2008-10-09 TW TW097138937A patent/TWI387325B/zh active
-
2009
- 2009-03-10 US US12/400,860 patent/US8026952B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5926208A (en) * | 1992-02-19 | 1999-07-20 | Noonen; Michael | Video compression and decompression arrangement having reconfigurable camera and low-bandwidth transmission capability |
TW200417246A (en) * | 2003-02-18 | 2004-09-01 | Omnivision Tech Inc | CMOS image sensor having reduced numbers of column readout circuits |
US20050190270A1 (en) * | 2004-02-26 | 2005-09-01 | Hyun-Sang Park | Method and apparatus for processing image signal |
TW200539705A (en) * | 2004-03-30 | 2005-12-01 | Toshiba Kk | Image transmitting device, image receiving device and image transceiving system |
US20050285813A1 (en) * | 2004-06-23 | 2005-12-29 | Atsushi Obinata | Display controller, electronic equipment, and image data supplying method |
US20070188515A1 (en) * | 2006-02-14 | 2007-08-16 | Weidong Li | Method and system for video format transformation in a mobile terminal having a video display |
US20070222891A1 (en) * | 2006-03-21 | 2007-09-27 | Mediatek Inc. | Systems and methods for video data conversion |
Also Published As
Publication number | Publication date |
---|---|
US20100091132A1 (en) | 2010-04-15 |
US8026952B2 (en) | 2011-09-27 |
TW201015981A (en) | 2010-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7787026B1 (en) | Continuous burst mode digital camera | |
KR101395433B1 (ko) | 촬상 장치 및 촬상 방법 | |
JP5845464B2 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
US9438799B2 (en) | Compression and decoding of single sensor color image data | |
WO2012169140A1 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
JP2009010821A (ja) | 撮像装置および撮像方法、記録媒体、並びに、プログラム | |
US7408139B2 (en) | Video image capture device | |
JP2005244980A (ja) | 撮像信号を処理する装置及びその方法 | |
TWI387325B (zh) | 影像擷取裝置與影像前處理方法 | |
KR100680471B1 (ko) | 보색 컬러 필터를 채택한 SoC 카메라 시스템 | |
JP2008124671A (ja) | 撮像装置および撮像方法 | |
KR20120024448A (ko) | 촬상 장치, 신호 처리 방법 및 프로그램 | |
KR100377697B1 (ko) | 영상 신호의 기록 재생 장치 | |
US8179454B2 (en) | Image compensation method and image acquisition device using the same | |
CN101729884B (zh) | 影像撷取装置与影像前处理方法 | |
JP4027122B2 (ja) | 撮像装置およびその制御方法 | |
KR100532021B1 (ko) | 3d y/c 콤 필터 및 비월-순차 변환기의 단일-칩 집적을위한 방법 및 시스템 | |
JP3932006B2 (ja) | 撮像装置 | |
Luo | A novel color filter array with 75% transparent elements | |
JP5131954B2 (ja) | ビデオレコーダ並びにカメラシステム | |
JP2006171524A (ja) | 画像処理装置 | |
JPH0350984A (ja) | 画像記録再生装置および画像再生装置および画像記録装置 | |
KR20110109203A (ko) | 블랙 레벨 보상 방법 및 장치 | |
JPH10145650A (ja) | 撮像装置 | |
JPH07298111A (ja) | 撮像装置 |