JP2012239038A - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP2012239038A JP2012239038A JP2011106717A JP2011106717A JP2012239038A JP 2012239038 A JP2012239038 A JP 2012239038A JP 2011106717 A JP2011106717 A JP 2011106717A JP 2011106717 A JP2011106717 A JP 2011106717A JP 2012239038 A JP2012239038 A JP 2012239038A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- signal component
- interpolated
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 131
- 230000003044 adaptive effect Effects 0.000 claims description 87
- 238000000034 method Methods 0.000 claims description 60
- 230000002146 bilateral effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 description 74
- 238000010586 diagram Methods 0.000 description 24
- 239000003086 colorant Substances 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【解決手段】 画像処理システム40は受信部41、微分値算出部42、参照画像作成部44、及び補間画像作成部45を有する。受信部41は第1〜第m(mは3以上の整数)の色信号成分のいずれかが不足している複数の画素信号によって構成される原画像信号を受信する。微分値算出部42は画素信号それぞれに対応する画素を挟む2画素を用いて画素信号の微分値を算出する。参照画像作成部44は原画像信号の中で画像信号内において要素数が最大である第1の色信号成分を用いて一次参照画像を作成する。補間画像作成部45は一次参照画像を用いて全色信号成分を補間して補間画像を作成する。一次参照画像及び補間画像の少なくとも一方は、微分値を用いて作成される
【選択図】図6
Description
第1〜第m(mは3以上の整数)の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、原画像信号を構成する全画素信号が第1〜第mの色信号成分を有するように色信号成分の補間を行う画像処理システムであって、
原画像信号を受信する受信部と、
画素信号それぞれに対応する画素を挟む同色の2画素を用いて画素信号の微分値を算出する微分値算出部と、
原画像信号の中の前記第1の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
ことを特徴とするものである。
20 撮像素子
21a カラーフィルタアレイ(CFA)
21u カラーフィルタ繰返し単位
30 画像信号処理部
40、400、401、402、403、404 マルチバンドデモザイク(MB)処理部
41、410、411、412、413、414 分配部
42、420、421、422、423、424 微分値算出部
43、430、431、432、433、434 適応的カーネル算出部
44、440、441、442、443、444 参照画像作成部
45、450、451、452、453、454 補間画像作成部
46 減算器
47 加算器
IIS 補間画像信号
bIIS B補間画像信号成分
cyIIS Cy補間画像信号成分
d1OIS、d2OIS 第1、第2の色差原画像信号成分
gIIS G補間画像信号成分
orIIS Or補間画像信号成分
rIIS R補間画像信号成分
RIS 参照画像信号
OIS 原画像信号
bOIS B原画像信号成分
cyOIS Cy原画像信号成分
gOIS G原画像信号成分
orOIS Or原画像信号成分
rOIS R原画像信号成分
RIS 参照画像信号
Claims (14)
- 第1〜第m(mは3以上の整数)の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、前記原画像信号を構成する全画素信号が第1〜第mの色信号成分を有するように前記色信号成分の補間を行う画像処理システムであって、
前記原画像信号を受信する受信部と、
前記画素信号それぞれに対応する画素を挟む同色の2画素を用いて前記画素信号の微分値を算出する微分値算出部と、
前記原画像信号の中の前記第1の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
前記一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
前記一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
ことを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムであって、前記原画像信号を構成する複数の前記画素信号の中で前記第1の色信号成分の要素数が最大であり、前記補間画像のみが前記微分値を用いて作成され、前記参照画像作成部は前記第1の色信号成分を補間することにより前記第1の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成することを特徴とする画像処理システム。
- 請求項1に記載の画像処理システムであって、
前記微分値算出部は、前記原画像信号を用いて前記画素毎に第1の前記微分値を算出し、
前記参照画像作成部は、前記第1の微分値を用いて前記第1の色信号成分を補間することにより、前記第1の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成する
ことを特徴とする画像処理システム。 - 請求項3に記載の画像処理システムであって、前記参照画像作成部は、適応的ガウシアン補間法により、前記第1の微分値を用いて前記第1の色信号成分を補間することを特徴とする画像処理システム。
- 請求項3または請求項4に記載の画像処理システムであって、前記一次参照画像のみが前記第1の微分値を用いて作成されることを特徴とする画像処理システム。
- 請求項5に記載の画像処理システムであって、前記補間画像作成部はガイデッドフィルタにより、前記全色信号成分を補間することを特徴とする画像処理システム。
- 請求項5に記載の画像処理システムであって、前記補間画像作成部はジョイントバイラテラル補間により、前記全色信号成分を補間することを特徴とする画像処理システム。
- 請求項1、請求項2、及び請求項4のいずれかに記載の画像処理システムであって、
前記微分値算出部は、前記原画像信号を用いて前記画素毎に第2の前記微分値を算出し、
前記補間画像作成部は、前記一次参照画像と前記第2の微分値を用いて前記補間画像を作成する
ことを特徴とする画像処理システム。 - 請求項3に記載の画像処理システムであって、前記補間画像作成部は前記一次参照画像と前記第1の微分値を用いて前記補間画像を作成することを特徴とする画像処理システム。
- 請求項1〜請求項4のいずれかに記載の画像処理システムであって、
前記微分値算出部は、前記一次参照画像を用いて前記画素毎に第3の前記微分値を算出し、
前記補間画像作成部は、前記一次参照画像と前記第3の微分値を用いて前記補間画像を作成する
ことを特徴とする画像処理システム。 - 請求項8または請求項10に記載の画像処理システムであって、前記補間画像作成部は、適応的ジョイントバイラテラル補間によって、前記全色信号成分を補間することを特徴とする画像処理システム。
- 請求項11に記載の画像処理システムであって、前記適応的ジョイントバイラテラル補間では、前記画素間の画素信号の信号強度の差に基づく重付け、或いは算出に用いる複数の前記画素の周囲の類似性に基づく重付けが用いられることを特徴とする画像処理システム。
- 請求項1〜請求項12のいずれかに記載の画像処理システムであって、
前記補間画像作成部は、
前記一次参照画像を用いて前記第2の色信号成分の補間を行い、
前記第3の色信号成分を有する前記画素信号に対応する前記第2の色信号成分と、前記第3の色信号成分との色差を算出し、
前記一次参照画像を用いて前記色差を補間し、
補完された前記色差と補間された前記第2の色信号成分とに基づいて、前記全画素信号に対応する前記第3の色信号成分が作成する
ことを特徴とする画像処理システム。 - 請求項1〜請求項12のいずれかに記載の画像処理システムであって、
前記補間画像作成部は、
前記一次参照画像を用いて前記第1〜第mの色信号成分のいずれかの補間を行い、
補間された前記色信号成分によって構成される画像を二次参照画像とし、前記二次参照画像を用いて、補間の行われていない前記色信号成分の補間を行う
ことを特徴とする画像処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011106717A JP5709131B2 (ja) | 2011-05-11 | 2011-05-11 | 画像処理システム |
US14/117,018 US20140072214A1 (en) | 2011-05-11 | 2012-04-27 | Image processing system |
PCT/JP2012/002909 WO2012153489A1 (ja) | 2011-05-11 | 2012-04-27 | 画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011106717A JP5709131B2 (ja) | 2011-05-11 | 2011-05-11 | 画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012239038A true JP2012239038A (ja) | 2012-12-06 |
JP5709131B2 JP5709131B2 (ja) | 2015-04-30 |
Family
ID=47138978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011106717A Expired - Fee Related JP5709131B2 (ja) | 2011-05-11 | 2011-05-11 | 画像処理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140072214A1 (ja) |
JP (1) | JP5709131B2 (ja) |
WO (1) | WO2012153489A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178742A (ja) * | 2013-03-13 | 2014-09-25 | Samsung R&D Institute Japan Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2015098243A1 (ja) * | 2013-12-24 | 2015-07-02 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
JP2016085543A (ja) * | 2014-10-23 | 2016-05-19 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
KR101700928B1 (ko) * | 2015-11-06 | 2017-02-01 | 인천대학교 산학협력단 | 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 |
CN106852190A (zh) * | 2014-10-23 | 2017-06-13 | 国立大学法人东京工业大学 | 图像处理单元、拍摄装置、图像处理程序及图像处理方法 |
WO2021187076A1 (ja) * | 2020-03-16 | 2021-09-23 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子及び電子機器 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107005683A (zh) * | 2014-11-28 | 2017-08-01 | 奥林巴斯株式会社 | 内窥镜装置 |
BR112017027273B1 (pt) | 2015-06-24 | 2022-01-25 | Dow Global Technologies Llc | Processo para formar um polímero à base de etileno e composição |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000184386A (ja) * | 1998-01-08 | 2000-06-30 | Fuji Photo Film Co Ltd | 固体撮像装置および信号処理方法 |
JP2007306447A (ja) * | 2006-05-15 | 2007-11-22 | Sony Corp | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
JP2009105977A (ja) * | 2009-02-09 | 2009-05-14 | Canon Inc | 信号処理装置及び方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
US7889949B2 (en) * | 2007-04-30 | 2011-02-15 | Microsoft Corporation | Joint bilateral upsampling |
KR101389562B1 (ko) * | 2007-11-15 | 2014-04-25 | 삼성전자주식회사 | 이미지 처리 장치 및 방법 |
KR101027323B1 (ko) * | 2010-01-20 | 2011-04-06 | 고려대학교 산학협력단 | 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법 |
-
2011
- 2011-05-11 JP JP2011106717A patent/JP5709131B2/ja not_active Expired - Fee Related
-
2012
- 2012-04-27 US US14/117,018 patent/US20140072214A1/en not_active Abandoned
- 2012-04-27 WO PCT/JP2012/002909 patent/WO2012153489A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000184386A (ja) * | 1998-01-08 | 2000-06-30 | Fuji Photo Film Co Ltd | 固体撮像装置および信号処理方法 |
JP2007306447A (ja) * | 2006-05-15 | 2007-11-22 | Sony Corp | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
JP2009105977A (ja) * | 2009-02-09 | 2009-05-14 | Canon Inc | 信号処理装置及び方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178742A (ja) * | 2013-03-13 | 2014-09-25 | Samsung R&D Institute Japan Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2015098243A1 (ja) * | 2013-12-24 | 2015-07-02 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
US9843782B2 (en) | 2013-12-24 | 2017-12-12 | Olympus Corporation | Interpolation device, storage medium, and method with multi-band color filter and noise reduced reference image |
JP2016085543A (ja) * | 2014-10-23 | 2016-05-19 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
CN106852190A (zh) * | 2014-10-23 | 2017-06-13 | 国立大学法人东京工业大学 | 图像处理单元、拍摄装置、图像处理程序及图像处理方法 |
JPWO2016063316A1 (ja) * | 2014-10-23 | 2017-08-03 | 国立大学法人東京工業大学 | 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法 |
CN106852190B (zh) * | 2014-10-23 | 2019-03-19 | 国立大学法人东京工业大学 | 图像处理单元、拍摄装置及图像处理方法 |
US10249020B2 (en) | 2014-10-23 | 2019-04-02 | Tokyo Institute Of Technology | Image processing unit, imaging device, computer-readable medium, and image processing method |
KR101700928B1 (ko) * | 2015-11-06 | 2017-02-01 | 인천대학교 산학협력단 | 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 |
WO2021187076A1 (ja) * | 2020-03-16 | 2021-09-23 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子及び電子機器 |
Also Published As
Publication number | Publication date |
---|---|
US20140072214A1 (en) | 2014-03-13 |
WO2012153489A1 (ja) | 2012-11-15 |
JP5709131B2 (ja) | 2015-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5709131B2 (ja) | 画像処理システム | |
JP5451782B2 (ja) | 画像処理装置および画像処理方法 | |
JP5519083B2 (ja) | 画像処理装置、方法、プログラムおよび撮像装置 | |
US9338364B2 (en) | Imaging device and image generation method | |
US8086032B2 (en) | Image processing device, image processing method, and image pickup apparatus | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
JP2017108211A (ja) | 撮像装置、撮像制御方法、および、プログラム | |
JP5474258B2 (ja) | 撮像装置及び撮像プログラム | |
JP5943393B2 (ja) | 撮像装置 | |
JP2010016814A (ja) | 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体 | |
JP5771677B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP5718138B2 (ja) | 画像信号処理装置及びプログラム | |
US20100231740A1 (en) | Image processing apparatus, image processing method, and computer program | |
JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP5948167B2 (ja) | 撮像装置 | |
JPWO2006059365A1 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011151597A (ja) | 画像処理装置および画像処理プログラム並びに電子カメラ | |
JP5912586B2 (ja) | 画像信号処理方法及び画像信号処理回路、並びに撮像装置 | |
JP5761979B2 (ja) | ノイズ除去システムおよび撮像装置 | |
JPWO2015083502A1 (ja) | 画像処理装置、該方法および該プログラム | |
JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
JP2012227869A (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
JPWO2015083499A1 (ja) | 画像処理装置、該方法および該プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5709131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |