JP5846986B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5846986B2 JP5846986B2 JP2012072748A JP2012072748A JP5846986B2 JP 5846986 B2 JP5846986 B2 JP 5846986B2 JP 2012072748 A JP2012072748 A JP 2012072748A JP 2012072748 A JP2012072748 A JP 2012072748A JP 5846986 B2 JP5846986 B2 JP 5846986B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- signal
- unit
- luminance
- interpolation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 62
- 238000006243 chemical reaction Methods 0.000 claims description 51
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims 2
- 230000006870 function Effects 0.000 description 49
- 238000010586 diagram Methods 0.000 description 27
- 230000005484 gravity Effects 0.000 description 14
- 230000009467 reduction Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 238000000926 separation method Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
(1)被写体を撮像する撮像装置であって、複数の色フィルタを有する撮像素子と、該撮像素子からの画像信号のうち同色画素を用いて被写体変形後の補間信号を生成する同色補間部と、該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、該輝度信号生成部で生成した輝度信号を用いて被写体変形後の補間信号を生成する第1輝度補間部および第2輝度補間部と、予め設定された被写体変形関数を基に画素毎に被写体変形補正後の座標を演算する被写体変形演算部と、該被写体変形演算部からの情報を基に画素毎に被写体変形を行うための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に設定する座標・補間係数設定部と、前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正して補間信号を出力する補正部と、を有することを特徴とする撮像装置である。
(2)被写体を撮像する撮像装置であって、複数の色フィルタを有する撮像素子と、該撮像素子からの画像信号のうち同色画素を用いて被写体変形後の補間信号を生成する同色補間部と、該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、該輝度信号生成部で生成した輝度信号を用いて被写体変形後の補間信号を生成する第1輝度補間部および第2輝度補間部と、被写体変形補正後の座標情報を記憶手段に保持しておく被写体変形補正データテーブル部と、該被写体変形補正データテーブル部からの情報を基に、被写体変形を行うための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に設定する座標・補間係数設定部と、前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正して補間信号を出力する補正部と、を有することを特徴とする撮像装置である。
本実施形態に係る撮像装置は、図1に示す通り、複数の色フィルタを有するカラー撮像素子100と、撮像素子から出力された電気信号をA/D変換してデジタル信号を出力A/D変換回路107と、A/D変換回路から出力されるRAW信号から輝度信号を生成する輝度信号生成部101と、生成された輝度信号を用いてそれぞれ補間信号を生成して出力する第1輝度補間部102及び第2輝度信号補間部103と、A/D変換回路から出力されるRAW信号のうち同色画素の信号を用いて補間信号を生成する同色補完部104と、それぞれの補間信号を用いて演算により補正RAW信号を生成して出力する補正部105と、を適宜用いて構成される。以下、各構成の動作について詳細に説明する。
A/D変換回路から出力されたRAW信号は、画素ごとに順次、輝度信号生成部101と同色補間部104にそれぞれ入力する。撮像素子はカラー単板撮像素子であれば、たとえばA色、B色、C色、D色の4色の色フィルタに対応する画素が2x2のペアで図2(a)のように配列される。撮像素子が原色ベイヤ配列であれば、例えばA=R、B=C=G、D=Bと表せば良い。輝度信号生成部101は、RAW信号の各画素のサンプリング位置に対応する輝度信号を、フィルタ処理による補間を行うことで生成する。例えば、Y33の場合には、
(数1)Y33=(A33+(B32+B34)/2+(C23+C43)/2+(D22+D24+D42+D44)/4)/4
の演算で生成し、他の位置の画素についても同様に処理することで輝度(Y)信号を生成できる。
図3は、A33とA44とA53とA55の間にある★印の重心位置に対応したA色の補間信号を生成する場合であり、その重心位置はA33とA44とA53とA55のうちA33が最も近い場合の例である。これを補間係数パターン1(α<0.5、β<0.5)と定義する。
(数2)AL= A33*(1-α)*(1-β)+A35*α*(1-β)+A53*(1-α)*β+A55*α*β
の、ように求める。
(数3)YL= Y33*(1-α)*(1-β) +Y35*α*(1-β)+Y53*(1-α)*β+Y55*α*β
の、ように求める。
(数4)YH= Y33*(1-2α)*(1-2β)+Y34*2α*(1-2β)+Y43*(1-2α)*2β+Y44*2α*2β
の、ように求める。第2輝度補間部103では、第1輝度補間部102とは使用する輝度信号が異なるため、第1輝度補間部102での、α、βが、第2輝度補間部103では、それぞれ2α、2β相当となる。
(数5)AH(広帯域):AL(狭帯域)≒ YH(広帯域):YL(狭帯域)
が成り立つ。そこで補正部105は図3(d)に示すとおり、上記(式5)を変形し、
(数6)AH=AL*YH/YL
として、高周波の利得が高くボケていないA色の補間信号AHを求める。
(数7)YH= Y34*(2-α)*(1-2β)+Y35*(2α-1)*(1-2β)+Y44*(2-α)*2β+Y45*(2α-1)*2β
の、ように求める。第2輝度補間部103では、第1輝度補間部102とは使用する輝度信号が異なるため、第1輝度補間部102での、α、(1-α)、βが、第2輝度補間部103では、それぞれ(2α-1)、(2-α)、2β相当となる。
(数8)YH= Y43*(1-2α)*(2-β)+Y44*2α*(2-β)+Y53*(1-2α)*(2β-1)+Y54*2α*(2β-1)
の、ように求める。第2輝度補間部103では、第1輝度補間部102とは使用する輝度信号が異なるため、第1輝度補間部102での、α、β、(1-β)が、第2輝度補間部103では、それぞれ2α、(2β-1)、(2-β)相当となる。
(数9)YH=Y44*(2-α)*(2-β)+Y45*(2α-1)*(2-β)+Y54*(2-α)*(2β-1)+Y55*(2α-1)*(2β-1)
の、ように求める。第2輝度補間部103では、第1輝度補間部102とは使用する輝度信号が異なるため、第1輝度補間部102での、α、(1-α)、β、(1-β)が、第2輝度補間部103では、それぞれ(2α-1)、(2-α)、(2β-1)、(2-β)相当となる。
図9は、拡大時の動作説明を補足する図で、8/6=4/3倍に左上の部分から拡大する例である。水平垂直に6*6ある画素を同一面積内に8*8の画素を配置して、8*8の各画素の重心になるようにそれぞれ順に始点と補間係数α、βの比率を割り当て、上記した補間によりA11’、B12’、A13’、B14’、A15’、B16’、C21’、D22’、C23’、D24’、C25’、D26’、A31’、B32’、A33’、B34’、A35’、B36’、C41’、D42’、C43’、D44’、C45’、D46’、A51’、B52’、A53’、B54’、A55’、B56’、C61’、D62’、C63’、D64’、C65’、D66’の補正後RAW信号を生成する。その後、当該補正後RAW信号を元のRAW信号と同様の速度で処理することで所望である4/3倍の拡大処理となる。
図11は、図9での拡大時のB34’、D46’に対するスケーリング演算の例である。B34’の重心座標は、(3.5*3/4,2.5*3/4)=(2.625,1.875)となり、この値がスケーリング演算部207の出力となる。座標・補間係数設定部206では、座標情報(2.625,1.875)と、該座標情報から求めたα=0.5625、β=0.6875を出力する。第1輝度補間部202、第2輝度補間部203、同色補間部204では、該座標を囲む同色4画素のB12、B14、B32、B34を選択する。同様にD46’時には、座標=(4.125,2.625)、α=0.3125、β=0.5625、同色4画素は、D24、D26、D44、D46となる。
(数10)x’= cosθ*(x-a)+sinθ*(y-b)+a
(数11)y’=-sinθ*(x-a)+cosθ*(y-b)+b
として求める。A13’の場合には(x’,y’)=(2.219,2.451)、D24’の場合には(x’,y’)= (3.585,2.817)となる。回転後の座標を元に、上記実施例1と同様に処理することで、RAWデータの補間をおこなう。
(数12)y’=Kv1*y^2+Kv2*y
(数13)x’=(x+X/2*(1-Kh*(Y-y))-X/2)/(1-Kh*(Y-y))
として求める。図19は、Kh=0.08、Kv1=-0.12、Kv2=1.72、X=6、Y=6の例である。C23’の場合には(x’,y’)=(2.219,2.310)、C43’の場合には(x’,y’)= (3.625,4.550)となる。視点変換の座標を元に、上記実施例1と同様に処理することで、RAWデータの補間をおこなう。
102 第1輝度補間部
103 第2輝度補間部
104 同色補間部
105 補正部
106 補間係数設定部
206 座標・補間係数設定部
207 スケーリング演算部
307 レンズ歪特性テーブルデータ部
407 レンズ歪特性関数演算部
507 回転演算部
607 視点変換演算部
707 回転補正データテーブル部
807 視点変換補正データテーブル部
907 被写体変形演算部
1007 被写体変形補正データテーブル部
Claims (10)
- 被写体を撮像する撮像装置であって、
複数の色フィルタを有する撮像素子と、
該撮像素子からの画像信号のうち同色画素を用いて被写体変形後の補間信号を生成する同色補間部と、
該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、
該輝度信号生成部で生成した輝度信号を用いて被写体変形後の補間信号を生成する第1輝度補間部および第2輝度補間部と、
予め設定された被写体変形関数を基に画素毎に被写体変形補正後の座標を演算する被写体変形演算部と、
該被写体変形演算部からの情報を基に画素毎に被写体変形を行うための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に設定する座標・補間係数設定部と、
前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正して補間信号を出力する補正部と、
を有することを特徴とする撮像装置。 - 被写体を撮像する撮像装置であって、
複数の色フィルタを有する撮像素子と、
該撮像素子からの画像信号のうち同色画素を用いて被写体変形後の補間信号を生成する同色補間部と、
該撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、
該輝度信号生成部で生成した輝度信号を用いて被写体変形後の補間信号を生成する第1輝度補間部および第2輝度補間部と、
被写体変形補正後の座標情報を記憶手段に保持しておく被写体変形補正データテーブル部と、
該被写体変形補正データテーブル部からの情報を基に、被写体変形を行うための補間係数を前記同色補間部と前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に設定する座標・補間係数設定部と、
前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号を補正して補間信号を出力する補正部と、
を有することを特徴とする撮像装置。 - 請求項1に記載の撮像装置であって、
前記第1輝度補間部は、前記同色補間部による補間信号生成の際に用いた画素の位置と同じサンプリング位置にある輝度信号を用いて補間信号を生成し、
前記第2輝度補間部は、第1輝度補間部で補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号を用いて補間信号を生成することを特徴とする撮像装置。 - 請求項2に記載の撮像装置であって、
前記第1輝度補間部は、前記同色補間部による補間信号生成の際に用いた画素の位置と同じサンプリング位置にある輝度信号を用いて補間信号を生成し、
前記第2輝度補間部は、第1輝度補間部で補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号を用いて補間信号を生成することを特徴とする撮像装置。 - 請求項1に記載の撮像装置であって、
前記被写体変形演算部は撮像素子からの画素信号における各色に対応した被写体変形関数を個別に保持し、
前記同色補間部および前記第1輝度補間部および前記第2輝度補間部は、前記各色個別に補間信号を生成することを特徴とする撮像装置。 - 請求項2に記載の撮像装置であって、
前記被写体変形補正データテーブル部は撮像素子からの画素信号における各色に対応した被写体変形補正データを個別に保持し、
前記同色補間部および前記第1輝度補間部および前記第2輝度補間部は、前記各色個別に補間信号を生成することを特徴とする撮像装置。 - 請求項1、3又は5のいずれかに記載の撮像装置であって、
前記被写体変形演算部は、予め設定された回転のための関数を基に回転補正後の座標を演算することを特徴とする撮像装置。 - 請求項1、3又は5のいずれかに記載の撮像装置であって、
前記被写体変形演算部は、予め設定された視点変換のための関数を基に視点変換補正後の座標を演算することを特徴とする撮像装置。 - 請求項2、4又は6のいずれかに記載の撮像装置であって、
前記被写体変形補正データテーブルは、回転補正後の座標情報を記憶手段に保持しておくことを特徴とする撮像装置。 - 請求項2、4又は6のいずれかに記載の撮像装置であって、
前記被写体変形補正データテーブルは、視点変換補正後の座標情報を記憶手段に保持しておくことを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012072748A JP5846986B2 (ja) | 2012-03-28 | 2012-03-28 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012072748A JP5846986B2 (ja) | 2012-03-28 | 2012-03-28 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013207440A JP2013207440A (ja) | 2013-10-07 |
JP5846986B2 true JP5846986B2 (ja) | 2016-01-20 |
Family
ID=49526149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012072748A Active JP5846986B2 (ja) | 2012-03-28 | 2012-03-28 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5846986B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2585050A (en) | 2019-06-26 | 2020-12-30 | Light Blue Optics Ltd | Image demosaicing |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4243412B2 (ja) * | 2000-05-12 | 2009-03-25 | 富士フイルム株式会社 | 固体撮像装置および信号処理方法 |
JP4657564B2 (ja) * | 2002-04-30 | 2011-03-23 | イーストマン コダック カンパニー | 電子スチルカメラ及び画像処理方法 |
JP4391431B2 (ja) * | 2005-03-07 | 2009-12-24 | 日本放送協会 | 撮像装置 |
JP4802944B2 (ja) * | 2006-08-31 | 2011-10-26 | 大日本印刷株式会社 | 補間演算装置 |
JP5268321B2 (ja) * | 2007-10-16 | 2013-08-21 | シリコン ヒフェ ベー.フェー. | 画像処理装置及び画像処理方法、画像処理プログラム |
JP5240453B2 (ja) * | 2008-02-14 | 2013-07-17 | 株式会社リコー | 画像処理方法、画像処理装置及び画像撮像装置 |
JP5241823B2 (ja) * | 2009-07-21 | 2013-07-17 | キヤノン株式会社 | 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体 |
JP5326943B2 (ja) * | 2009-08-31 | 2013-10-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
-
2012
- 2012-03-28 JP JP2012072748A patent/JP5846986B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013207440A (ja) | 2013-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9392241B2 (en) | Image processing apparatus and image processing method | |
TWI653887B (zh) | 影像處理方法及施行該影像處理方法的影像處理裝置 | |
JP5591261B2 (ja) | 画像処理装置 | |
US9313411B2 (en) | Camera, distortion correction device and distortion correction method | |
US8854483B2 (en) | Image processing device, image processing method and image processing program | |
US8368968B2 (en) | Imaging apparatus and image correction method | |
RU2557067C1 (ru) | Устройство обработки изображения и способ управления для устройства обработки изображения | |
JP5398750B2 (ja) | カメラモジュール | |
JP2019185817A (ja) | 画像処理装置及び画像処理方法、コンピュータプログラム | |
JP5195841B2 (ja) | 車載カメラ装置および車両 | |
US7710469B2 (en) | Image acquisition apparatus | |
JP5789542B2 (ja) | 撮像装置 | |
JP5846986B2 (ja) | 撮像装置 | |
JP2015231052A (ja) | 撮像装置および方法、並びにプログラム | |
CN107979715B (zh) | 摄像装置 | |
JP5767602B2 (ja) | 撮像装置 | |
JP5739365B2 (ja) | 撮像装置 | |
US9215354B2 (en) | Image processing method and solid-state imaging device having a noise reduction filter | |
JP2008301395A (ja) | 映像信号処理回路および固体撮像装置 | |
CN118338139A (zh) | 用于校正图像中包括的伪影的装置 | |
JP2012129801A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140311 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140317 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140318 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140319 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140627 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5846986 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |