JP5098054B2 - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP5098054B2 JP5098054B2 JP2007303551A JP2007303551A JP5098054B2 JP 5098054 B2 JP5098054 B2 JP 5098054B2 JP 2007303551 A JP2007303551 A JP 2007303551A JP 2007303551 A JP2007303551 A JP 2007303551A JP 5098054 B2 JP5098054 B2 JP 5098054B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- interpolation
- image processing
- color signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 137
- 238000000034 method Methods 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 61
- 238000000926 separation method Methods 0.000 claims description 43
- 230000009467 reduction Effects 0.000 claims description 42
- 238000003672 processing method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 13
- 238000003786 synthesis reaction Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000000354 decomposition reaction Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
図1は本発明の第1の実施形態に係る撮像装置のシステム構成図であり、光学系101、固体撮像素子102、A/D変換部103(以下、A/D103)、成分分離部104、バッファ105、ノイズ推定部106、ノイズ低減部107、第1補間部108、エッジ方向判別部109、第2補間部110、信号処理部111、成分合成部112、出力部113、システムコントローラ100からなる。
次に成分分離部104において行う原画像信号Iの成分分離の詳細について説明する。
原画像信号Iから第1成分Uを抽出するとき、その基準として、平坦成分(緩やかに変化する成分)やエッジ成分を含む原画像信号Iの骨格成分が保持されるような処理を用いる。画像分解の手法には、上記の通り、加算型分離と乗算型分離があり、以下各手法について順に説明する。
加算型分離では、原画像信号Iが式(3)で示すように、第1成分Uと第2成分Vの和として表される。
例2:第1成分Uを原画像信号Iに多値モホロジフィルタを掛けた結果とし、第2成分Vを原画像信号Iに対する第1成分Uの残差とする方法
例3:第1成分Uを原画像信号IにBilateral Filterを施した結果とし、第2成分Vを原画像信号Iに対する第1成分Uの残差とする方法
乗算型分離
続いて乗算型分離の方法について説明する。乗算型分離では、原画像信号Iが第1成分Uと第2成分Vの積によって表されるが、原画像信号Iを対数変換した対数原画像信号をfとすると、式(8)のように加算型分離問題に変換することができる。
次に第1補間部108における第1成分Uの補間処理について説明する。
次に、ノイズ推定部106におけるノイズ量の推定方法について説明する。
次に、ノイズ低減部107の動作の詳細について説明する。
次に、エッジ方向判別部109の動作の詳細について説明する。
次に、第2補間部110の動作の詳細について説明する。
図8は本発明の第2の実施形態に係る撮像装置のシステム構成図である。
次に、第2補間部201の動作の詳細について説明する。
次に、第1補間部202の動作の詳細について説明する。
水平方向と同様の補間処理を行う。すなわち33の位置における欠落したG信号Gv33の生成において、式(26)〜(29)におけるGu30、Bu31、Gu32、Bu33、Gu34、Bu35、Gu36をそれぞれGu03、Bu13、Gu23、Bu33、Gu43、Bu53、Gu63に置換した式から求められる。
108、202 第1補間部(第1の補間手段)
110、201 第2補間部(第2の補間手段)
Claims (13)
- 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて一つ以上欠落している映像信号を処理する画像処理装置において、
前記色信号に対し、骨格成分である第1成分および前記色信号と前記第1成分間の残差から得られる第2成分を含む複数の成分に分離する成分分離手段と、
前記色信号の前記第1成分に対し、色信号が欠落している画素位置における前記第1成分を補間する第1の補間手段と、
前記色信号の前記第2成分に対し、色信号が欠落している画素位置における前記第2成分を補間する第2の補間手段と、
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第2の補間手段は、前記第2成分に対し、前記第1の補間手段により補間された前記第1成分の特徴に応じた補間処理を行う、
ことを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置において、
補間後の前記第1成分からエッジ成分の方向を判別する方向判別手段を備え、
前記第1成分の特徴が前記第1成分から判別された前記エッジ成分の方向であることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第1の補間手段は、前記第1成分に対し、前記第2の補間手段により補間された前記第2成分の特徴に応じた補間処理を行う、
ことを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
補間後の前記第2成分からエッジ成分の方向を判別する方向判別手段を備え、
前記第2成分の特徴が前記第2成分から判別された前記エッジ成分の方向であることを特徴とする画像処理装置。 - 請求項1から5のいずれか1つに記載の画像処理装置において、
前記第1の補間手段は、前記第1成分に対し、全変動エネルギー(Total-Variationノルム)を算出するエネルギー算出手段を備え、前記全変動エネルギーを最適化することにより前記第1成分に対する補間処理を行う、
ことを特徴とする画像処理装置。 - 請求項1から6のいずれか1つに記載の画像処理装置において、
補間後の前記第1成分と、補間後の前記第2成分との合成を行う合成手段を備えることを特徴とする画像処理装置。 - 請求項1から7のいずれか1つに記載の画像処理装置において、
成分分離後の前記第2成分に対し、ノイズ低減処理を行うノイズ低減手段を備えることを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置において、
前記ノイズ低減手段は、前記第2成分に対し、注目画素毎ないし注目画素を含む局所領域毎にノイズ量を推定するノイズ推定手段を備え、前記ノイズ量に基づくノイズ低減処理を行うことを特徴とする画像処理装置。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて一つ以上欠落している映像信号の処理をコンピュータに実行させるための画像処理プログラムにおいて、
前記色信号に対し、骨格成分である第1成分および前記色信号と前記第1成分間の残差から得られる第2成分を含む複数の成分に分離する成分分離ステップと、
前記色信号の前記第1成分に対し、色信号が欠落している画素位置における前記第1成分を補間する第1の補間ステップと、
前記色信号の前記第2成分に対し、色信号が欠落している画素位置における前記第2成分を補間する第2の補間ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。 - 請求項10に記載の画像処理プログラムにおいて、
前記第2の補間ステップは、前記第2成分に対し、前記第1の補間ステップにより補間された前記第1成分の特徴に応じた補間処理を行う、
ことを特徴とする画像処理プログラム。 - 請求項10に記載の画像処理プログラムにおいて、
前記第1の補間ステップは、前記第1成分に対し、前記第2の補間ステップにより補間された前記第2成分の特徴に応じた補間処理を行う、
ことを特徴とする画像処理プログラム。 - 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて一つ以上欠落している映像信号を処理する画像処理方法において、
前記色信号に対し、骨格成分である第1成分および前記色信号と前記第1成分間の残差から得られる第2成分を含む複数の成分に分離する成分分離ステップと、
前記色信号の前記第1成分に対し、色信号が欠落している画素位置における前記第1成分を補間する第1の補間ステップと、
前記色信号の前記第2成分に対し、色信号が欠落している画素位置における前記第2成分を補間する第2の補間ステップと、
を含むことを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007303551A JP5098054B2 (ja) | 2007-11-22 | 2007-11-22 | 画像処理装置及び画像処理プログラム |
US12/273,862 US8098308B2 (en) | 2007-11-22 | 2008-11-19 | Image processing device and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007303551A JP5098054B2 (ja) | 2007-11-22 | 2007-11-22 | 画像処理装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009130632A JP2009130632A (ja) | 2009-06-11 |
JP5098054B2 true JP5098054B2 (ja) | 2012-12-12 |
Family
ID=40669359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007303551A Expired - Fee Related JP5098054B2 (ja) | 2007-11-22 | 2007-11-22 | 画像処理装置及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8098308B2 (ja) |
JP (1) | JP5098054B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010278929A (ja) * | 2009-05-29 | 2010-12-09 | Toshiba Corp | 画像処理装置 |
KR101335127B1 (ko) * | 2009-08-10 | 2013-12-03 | 삼성전자주식회사 | 에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말 |
JP4844664B2 (ja) * | 2009-09-30 | 2011-12-28 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN102959580A (zh) * | 2011-06-24 | 2013-03-06 | 松下电器产业株式会社 | 图像处理装置、图像处理方法及集成电路 |
GB201112330D0 (en) | 2011-07-18 | 2011-08-31 | Epigan Nv | Method for growing III-V epitaxial layers and semiconductor structure |
US10498933B2 (en) | 2011-11-22 | 2019-12-03 | Cognex Corporation | Camera system with exchangeable illumination assembly |
JP6156383B2 (ja) * | 2012-09-24 | 2017-07-05 | ソニー株式会社 | 画像処理装置、画像処理プログラム及び画像処理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5629734A (en) | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
US6392699B1 (en) * | 1998-03-04 | 2002-05-21 | Intel Corporation | Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space |
JPH11331858A (ja) * | 1998-05-15 | 1999-11-30 | Fuji Film Microdevices Co Ltd | 画像信号処理装置およびプログラムを記録した媒体 |
JP4032200B2 (ja) | 1998-11-06 | 2008-01-16 | セイコーエプソン株式会社 | 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP3711401B2 (ja) * | 1999-03-26 | 2005-11-02 | カシオ計算機株式会社 | 撮像装置及びカラー撮像信号の処理方法 |
JP3730063B2 (ja) * | 1999-09-08 | 2005-12-21 | 三菱電機株式会社 | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 |
US6690422B1 (en) * | 1999-11-03 | 2004-02-10 | Sharp Laboratories Of America, Inc. | Method and system for field sequential color image capture using color filter array |
JP3711402B2 (ja) * | 2000-04-07 | 2005-11-02 | カシオ計算機株式会社 | 撮像装置及びカラー撮像信号の処理方法 |
JP4441809B2 (ja) * | 2004-05-20 | 2010-03-31 | 忠 杉木 | カラー固体撮像装置 |
JP3926363B2 (ja) * | 2004-11-04 | 2007-06-06 | 三菱電機株式会社 | 画素信号処理装置及び画素信号処理方法 |
-
2007
- 2007-11-22 JP JP2007303551A patent/JP5098054B2/ja not_active Expired - Fee Related
-
2008
- 2008-11-19 US US12/273,862 patent/US8098308B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009130632A (ja) | 2009-06-11 |
US8098308B2 (en) | 2012-01-17 |
US20090135278A1 (en) | 2009-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5251637B2 (ja) | ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体 | |
JP5098054B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP5677040B2 (ja) | 画像処理装置およびその制御方法 | |
US8248492B2 (en) | Edge preserving and tone correcting image processing apparatus and method | |
JP5315158B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4869653B2 (ja) | 画像処理装置 | |
JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
JP5047048B2 (ja) | 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体 | |
JP4717885B2 (ja) | 撮像装置 | |
JP4523008B2 (ja) | 画像処理装置および撮像装置 | |
JP4979595B2 (ja) | 撮像システム、画像処理方法、画像処理プログラム | |
JP5143038B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2011158572A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2006352431A (ja) | 撮像装置 | |
GB2547842A (en) | Image processing device and method, image pickup device, program, and recording medium | |
JP5672941B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5259616B2 (ja) | 画像処理システムおよび画像処理プログラム | |
JP5274697B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2017130167A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2011043901A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器 | |
JP5277388B2 (ja) | 画像処理装置および撮像装置 | |
JP5242750B2 (ja) | 画像処理装置 | |
CN116896689B (zh) | Bayer图像的处理方法、装置及电子设备 | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 | |
JP5586031B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120903 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151005 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5098054 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |