JP2012216947A - 撮像装置及び画像処理方法 - Google Patents
撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2012216947A JP2012216947A JP2011080006A JP2011080006A JP2012216947A JP 2012216947 A JP2012216947 A JP 2012216947A JP 2011080006 A JP2011080006 A JP 2011080006A JP 2011080006 A JP2011080006 A JP 2011080006A JP 2012216947 A JP2012216947 A JP 2012216947A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- correction
- position information
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】位相を変調させて被写界深度を拡大させるレンズ部及び撮像素子を介してEDoF化されたRAW画像を取得し、処理後の注目画素(処理対象の画素)の位置(x,y)に基づいて処理前の画像の位置(x’,y’)(歪み補正を考慮した位置)を取得する(ステップS04)。続いて、画面分割した領域毎に記憶された復元フィルタに基づいて前記位置(x’,y’)の実空間に対応する復元フィルタを作成する(ステップS03)。この作成した復元フィルタと位置(x’,y’)に基づいてRAW画像から抽出したN×Nのマトリックスの画像とをデコンボリューション処理することにより、EDoF化された画素の画素値を復元する(ステップS06)。
【選択図】 図11
Description
図1は本発明に係る撮像装置の実施の形態を示すブロック図である。
g(x,y)=h(x,y)*f(x,y)
ただし、*はコンボリューションを示す。
g(x,y)*R(x,y)=f(x,y)
このR(x,y)が復元フィルタである。復元フィルタは、図4に示したように各分割領域(A11〜Anm)の中心の画素位置S(1,1)〜S(n,m)における点像ごとに求め、図5に示すように画素位置S(1,1)〜S(n,m)に関連づけて復元フィルタR(1,1)〜R(n,m)をROM23に記憶させる。
<第1の実施形態>
図11は本発明に係る画像処理方法の第1の実施形態を示すフローチャートである。
図14は本発明に係る画像処理方法の第2の実施形態を示すフローチャートである。尚、図14において、図11に示した第1の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
本発明は上記の実施形態に限らず、例えば、第1の実施形態と第2の実施形態とを組み合わせ、EDoF画像の復元処理と、歪み補正と、電子変倍処理と、シェーディング補正とを同時に行うようにしてもよいし、EDoF画像の復元処理と、画素位置の情報を使用した他の補正処理(歪み補正、歪み補正及び電子変倍処理、シェーディング補正等)とを同時に行うようにしてもよい。
Claims (14)
- 位相を変調させて被写界深度を拡大させるレンズ部と、
前記レンズ部により結像される被写体像を画像信号に変換する撮像素子と、
前記撮像素子から取得される画像の各画素の位置情報に対応して、該画素位置における画像を復元処理するために使用する復元フィルタを記憶する第1の記憶部と、
前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第1の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を行う復元処理部と、
前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正部と、
前記撮像素子から取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理部による復元処理と前記補正部による補正処理とを同時に行わせる制御部と、
を備えたことを特徴とする撮像装置。 - 前記第1の記憶部は、1画面を複数の領域に分割した分割領域毎に復元フィルタを記憶し、
前記復元処理部は、処理対象の画素の位置情報に基づいて、前記第1の記憶部から前記位置情報に対応する分割領域の復元フィルタとその近傍の分割領域の復元フィルタとを読み出し、読み出した複数の復元フィルタの係数を前記位置情報に基づいて補間して復元フィルタを生成し、生成した復元フィルタを使用してデコンボリューション処理を行うことを特徴とする請求項1に記載の撮像装置。 - 前記補正部は、前記レンズ部、又は前記レンズ部及び撮像素子による画像の歪みを補正する歪み補正部であることを特徴とすることを特徴とする請求項1又は2に記載の撮像装置。
- 前記歪み補正部は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第2の記憶部を有し、歪み補正後の画像の各画素の位置に基づいて前記第2の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正することを特徴とする請求項3に記載の撮像装置。
- 前記第2の記憶部は、歪み補正によって生じる画像サイズの変動を相殺するための電子変倍処理を考慮して、歪み補正及び電子変倍処理後の画像の各画素の位置に関連づけて歪み補正及び電子変倍処理前の画像における対応画素の位置情報を記憶し、
前記歪み補正部は、歪み補正及び電子変倍処理後の画像の各画素の位置に基づいて前記第2の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正するとともに、前記電子変倍処理を行うことを特徴とする請求項4に記載の撮像装置。 - 前記補正部は、前記レンズ部、又は前記レンズ部及び撮像素子によるシェーディングを補正するシェーディング補正部であることを特徴とすることを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
- 前記シェーディング補正部は、画像の各画素の位置に関連づけてシェーディングデータを記憶する第3の記憶部を有し、処理対象の画素の位置に基づいて前記第3の記憶部から対応するシェーディンデータを読み出し、読み出したシェーディングデータに基づいて処理対象の画像をシェーディング補正することを特徴とする請求項6に記載の撮像装置。
- 位相を変調させて被写界深度を拡大させるレンズ部と、前記レンズ部により結像される被写体像を画像信号に変換する撮像素子とを有するカメラモジュールから画像を取得する工程と、
前記取得される画像の各画素の位置情報に対応して、該画素位置における画像を復元処理するために使用する復元フィルタを記憶する第1の記憶部から復元フィルタを読み出し、前記取得した画像の画素毎に、前記読み出した復元フィルタを使用したデコンボリューション処理を行う復元処理工程と、
前記取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正工程と、を含み、
前記取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理工程による復元処理と前記補正工程による補正処理とを同時に行うようにしたことを特徴とする画像処理方法。 - 前記第1の記憶部は、1画面を複数の領域に分割した分割領域毎に復元フィルタを記憶しており、
前記復元処理工程は、処理対象の画素の位置情報に基づいて、前記第1の記憶部から前記位置情報に対応する分割領域の復元フィルタとその近傍の分割領域の復元フィルタとを読み出し、読み出した複数の復元フィルタの係数を前記位置情報に基づいて補間して復元フィルタを生成し、生成した復元フィルタを使用してデコンボリューション処理を行うことを特徴とする請求項8に記載の画像処理方法。 - 前記補正工程は、前記レンズ部、又は前記レンズ部及び撮像素子による歪み補正することを特徴とすることを特徴とする請求項8又は9に記載の画像処理方法。
- 前記歪み補正する補正工程は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第2の記憶部から、歪み補正後の画像の各画素の位置に対応する位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正することを特徴とする請求項10に記載の画像処理方法。
- 前記第2の記憶部は、歪み補正によって生じる画像サイズの変動を相殺するための電子変倍処理を考慮して、歪み補正及び電子変倍処理後の画像の各画素の位置に関連づけて歪み補正及び電子変倍処理前の画像における対応画素の位置情報を記憶しており、
前記歪み補正する工程は、歪み補正及び電子変倍処理後の画像の各画素の位置に基づいて前記第2の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正するとともに、前記電子変倍処理を行うことを特徴とする請求項11に記載の画像処理方法。 - 前記補正工程は、前記レンズ部、又は前記レンズ部及び撮像素子によるシェーディングを補正するシェーディング補正工程であることを特徴とすることを特徴とする請求項8から12のいずれか1項に記載の画像処理方法。
- 前記シェーディング補正工程は、画像の各画素の位置に関連づけてシェーディングデータを記憶する第3の記憶部から、処理対象の画素の位置に基づいて対応するシェーディンデータを読み出し、読み出したシェーディングデータに基づいて処理対象の画像をシェーディング補正することを特徴とする請求項13に記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011080006A JP5674532B2 (ja) | 2011-03-31 | 2011-03-31 | 撮像装置、画像処理方法及び画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011080006A JP5674532B2 (ja) | 2011-03-31 | 2011-03-31 | 撮像装置、画像処理方法及び画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012216947A true JP2012216947A (ja) | 2012-11-08 |
JP2012216947A5 JP2012216947A5 (ja) | 2014-02-27 |
JP5674532B2 JP5674532B2 (ja) | 2015-02-25 |
Family
ID=47269335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011080006A Expired - Fee Related JP5674532B2 (ja) | 2011-03-31 | 2011-03-31 | 撮像装置、画像処理方法及び画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5674532B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014175314A1 (ja) * | 2013-04-26 | 2014-10-30 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP2016005190A (ja) * | 2014-06-18 | 2016-01-12 | 日本放送協会 | 画像補正装置、光学補正装置および画像補正用プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005345520A (ja) * | 2004-05-31 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2010086139A (ja) * | 2008-09-30 | 2010-04-15 | Canon Inc | 画像処理方法、画像処理装置及び撮像装置 |
WO2010098054A1 (ja) * | 2009-02-25 | 2010-09-02 | パナソニック株式会社 | 画像補正装置及び画像補正方法 |
-
2011
- 2011-03-31 JP JP2011080006A patent/JP5674532B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005345520A (ja) * | 2004-05-31 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2010086139A (ja) * | 2008-09-30 | 2010-04-15 | Canon Inc | 画像処理方法、画像処理装置及び撮像装置 |
WO2010098054A1 (ja) * | 2009-02-25 | 2010-09-02 | パナソニック株式会社 | 画像補正装置及び画像補正方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014175314A1 (ja) * | 2013-04-26 | 2014-10-30 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
CN105165003A (zh) * | 2013-04-26 | 2015-12-16 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及程序 |
US9965833B2 (en) | 2013-04-26 | 2018-05-08 | Fujifilm Corporation | Optical system characteristic data storing device, method, and program for image restoration filtering |
CN105165003B (zh) * | 2013-04-26 | 2018-06-22 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及程序 |
JP2016005190A (ja) * | 2014-06-18 | 2016-01-12 | 日本放送協会 | 画像補正装置、光学補正装置および画像補正用プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5674532B2 (ja) | 2015-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5660711B2 (ja) | 復元ゲインデータ生成方法 | |
JP5830186B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5519083B2 (ja) | 画像処理装置、方法、プログラムおよび撮像装置 | |
JP2010081002A (ja) | 撮像装置 | |
JP5240194B2 (ja) | 信号処理方法および信号処理装置 | |
JP2009153013A (ja) | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム | |
JP5682523B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20130342737A1 (en) | Information processing apparatus and method | |
JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
JP5514042B2 (ja) | 撮像モジュール、画像信号処理方法および撮像装置 | |
US8648936B2 (en) | Image processing apparatus and image processing method | |
US8237829B2 (en) | Image processing device, image processing method, and imaging apparatus | |
JP2007184720A (ja) | 画像撮影装置 | |
JP5674532B2 (ja) | 撮像装置、画像処理方法及び画像処理装置 | |
JP5513310B2 (ja) | 撮像モジュールおよび画像信号処理方法、復元処理装置およびその方法 | |
JP5933306B2 (ja) | 撮像装置 | |
JP5866826B2 (ja) | 撮像装置 | |
JP6857006B2 (ja) | 撮像装置 | |
JP6702792B2 (ja) | 画像処理装置およびその制御方法 | |
US8736722B2 (en) | Enhanced image capture sharpening | |
JP2009055415A (ja) | カメラ | |
JP5278421B2 (ja) | 撮像装置 | |
WO2014050191A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2012023675A (ja) | 撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法 | |
JP5333163B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5674532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |