JP2012156716A - 画像処理装置、撮像装置、画像処理方法およびプログラム。 - Google Patents
画像処理装置、撮像装置、画像処理方法およびプログラム。 Download PDFInfo
- Publication number
- JP2012156716A JP2012156716A JP2011013275A JP2011013275A JP2012156716A JP 2012156716 A JP2012156716 A JP 2012156716A JP 2011013275 A JP2011013275 A JP 2011013275A JP 2011013275 A JP2011013275 A JP 2011013275A JP 2012156716 A JP2012156716 A JP 2012156716A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical transfer
- transfer characteristic
- characteristic
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Structure And Mechanism Of Cameras (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 本発明のプログラムは、画像を回復するための光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮影された第1、第2の撮影画像に対して共通に使用される第1光学伝達特性と、第3の撮影画像に対して使用される第2光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させることを特徴とする。
【選択図】 図4
Description
特許文献2は、撮像装置の索引を付加した情報を使用して画像補正を行う画像処理システムを開示している。
画像を回復するための光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮像された第1、第2の画像に対して共通に使用される第1光学伝達特性と、第3の画像に対して使用される第2光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させることを特徴とするプログラム。
図1は本発明にかかるプログラムがインストールされた情報処理装置と、その情報処理装置と接続可能(通信可能)な撮像装置を有する画像処理システムの概略構成図である。撮像光学系10、12および14は被写体の像を撮像装置11、13、15のCCDやCMOSセンサのような撮像素子(受光素子)上に結像する。撮像素子は光学系あるいはそれに準ずるシステムの伝達特性による光学像を画像に変換できるものであればよい。撮像光学系は、カメラ本体(撮像装置本体)に対して一体的に構成された撮像レンズであっても良いし、カメラ本体に対して着脱可能な交換レンズであっても良いが、この実施形態1(図1)では交換レンズとして記載している。実施形態1では、撮像光学系と撮像装置本体を含めて撮像装置100、101および102とする。情報処理装置200は撮像装置100、101および102と画像等のデータの送受信を行うことが可能であり、情報処理装置200は受信(取得)した画像に対して画像回復処理を行い、回復画像を生成する。
CPU310は撮像装置102で撮像された画像112と特定情報122を取得する。次に、情報処理装置のCPU310は特定情報122により特定される光学伝達特性フィルタNo.2(第2光学伝達特性)を取得する。そして、画像112と光学伝達特性フィルタNo.2の2次元畳み込み演算処理を行うことにより、画像112の回復画像112R(不図示)を生成する。ここで、光学伝達特性フィルタNo.2(第2光学伝達特性)は、光学伝達特性フィルタNo.1(第1光学伝達特性)とは異なるフィルタ(光学伝達特性)である。
尚、本実施形態および以下の実施形態では、説明を簡潔にするために、1つの画像に対して1つの光学伝達特性フィルタを取得する形態について説明しているが、複数の光学伝達特性フィルタ群(セット)を1つの画像に対して用いてもよい。複数の光学伝達特性フィルタ群を1つの画像に対して用いる場合には、CPU310は、例えば撮像装置100、101で共通に利用可能な光学伝達特性フィルタ群を取得すればよい。
また、実施形態1では情報処理装置のCPU310が全てのステップを実行する形態について説明したが、撮像装置、情報処理装置のそれぞれのCPUが一部のステップを実行しても、本発明の効果を得ることができる。つまり、複数の撮像装置から出力される特定情報と画像に基づいて画像回復処理を実行する画像処理システムであれば本発明の効果を得ることができる。
g(x,y)=h(x,y)*f(x,y)・・・(式1)
実施形態1では、元の画像f(x,y)は回復画像、撮影画像g(x,y)は撮像装置から出力される画像に対応する。式1をフーリエ変換して周波数空間での表示形式に変換すると、式2のように式1の右辺はそれぞれの周波数の積で表わされる。
G(u,v)=H(u,v)・F(u,v)・・・(式2)
式2のH(u,v)は点像強度分布関数h(x,y)をフーリエ変換したものであり、言い換えれば光学伝達関数(OTF)である。G(u,v)、F(u,v)はそれぞれg(x,y),f(x,y)をフーリエ変換したものである。(u,v)は2次元周波数空間での座標、即ち周波数である。また、・は乗算を示す記号である。
撮影画像G(u,v)から回復画像F(u,v)を得るためには、式2の両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v)・・・(式3)
このF(u,v)、即ちG(u,v)/H(u,v)を逆フーリエ変換して実空間(実面)に戻すことで、回復画像f(x,y)が得られる。
ここで、1/H(u,v)を逆フーリエ変換したものをR(x,y)とすると、式3は式4に書き換えることができる。
g(x,y)*R(x,y)=f(x,y)・・・(式4)
つまり、式4で表わすように実空間の撮影画像にR(x,y)を畳み込み積分処理を行うことで回復画像を得ることができる。
実施形態1の変形例について図9を用いて説明する。変形例1では、光学伝達特性補正手段950が、光学伝達特性取得手段930により取得された光学伝達特性フィルタに対して演算を行うことにより、実際の撮影条件に対応した理想的な回復フィルタにより近い補正回復フィルタ(補正光学伝達特性)を生成する。変形例1では実施形態1と異なり、各処理の主体を異なる手段が行うものとして記載しているが、画像処理装置990内の演算部が各処理を行ってもよい。
上記のような処理を行うことにより、あらかじめ記憶しておくデータ量を少なくおさえつつ画像回復精度を向上させることができる。
以下図10を参照して、実施形態2について説明する。実施形態2は一連の処理を撮像装置内で行う形態である。実施形態1と異なる点は、特定情報がフォーカスタイプを識別可能な情報である点と、フォーカスタイプごとに適当な光学伝達特性フィルタが記憶部に格納されている点である。
撮像装置100にネガティブリードタイプのフロント(前玉)フォーカスレンズが上記リアフォーカスタイプの交換レンズに変えて付けられたとしても、処理は同じである。
図11を参照して、第3の実施形態として本発明のプログラムがインストールされた画像処理システムについて説明する。実施形態3の画像処理システムは、記憶手段860を外部装置880に有する点と、記憶手段860に記憶されている光学伝達特性が回復フィルタそのものではない点が実施形態1と異なる。
撮像装置1、2はネガティブリードタイプの撮像光学系を有する撮像装置である。撮像装置3はポジティブリードタイプの撮像光学系を有する撮像装置である。
あるいは、光学伝達特性表現空間中の方向による重み付けを行い、光学伝達特性表現空間中の距離と方向ウェイトの積を評価関数として、その評価関数に基づいて補間処理のための光学伝達特性を取得することもできる。
定されず、その要旨の範囲内で種々の変形及び変更が可能である。
200 画像処理装置
310 CPU
320 記憶手段
Claims (17)
- 画像を回復するための光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮影された第1、第2の撮影画像に対して共通に使用される第1光学伝達特性と、第3の撮影画像に対して使用される第2光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて回復画像を生成する回復ステップを情報処理装置に実行させることを特徴とするプログラム。 - ある撮影条件で撮影された撮影画像と、前記撮影条件に対応する特定情報とを取得する特定情報取得ステップと、
複数の光学伝達特性を記憶している記憶手段から、前記特定情報に基づいて特定の光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップで取得した前記特定の光学伝達特性を用いて、前記撮影画像を回復する回復ステップと、
を情報処理装置に実行させるプログラムであって、
前記記憶手段が記憶している前記複数の光学伝達特性の1つが、互いに異なる複数の前記特定情報に対応していることを特徴とするプログラム。 - 前記第1、第2の撮影画像は、それぞれ異なる撮像装置で撮影された画像であることを特徴とする請求項1に記載のプログラム。
- 前記第1、第2の撮影画像は、それぞれ異なる撮影条件で撮影された画像であることを特徴とする請求項1に記載のプログラム。
- 前記光学伝達特性は、前記撮影条件に対応するザイデル収差のいずれか、点像強度分布関数、光学伝達関数、回復フィルタ、波面収差および瞳関数のいずれかであることを特徴とする請求項1乃至4いずれか1項に記載のプログラム。
- 前記光学伝達特性は、
実空間における、点像強度分布のアスペクト比成分、
実空間における、特定の方向に関して対称な点像強度分布の非対称な成分、
実空間における、点像強度分布の回転対称な広がり成分、
実空間における、点像強度分布の異なる色成分に関する重心ズレ成分、
実空間における、点像強度分布の大きさを比例倍で規定する成分、
のいずれかを軸とする光学伝達特性表現空間の座標に対応する光学伝達特性であることを特徴とする請求項1乃至5いずれか1項に記載のプログラム。 - 前記特定情報は、前記光学伝達特性表現空間の座標であることを特徴とする請求項6に記載のプログラム。
- 前記特定情報は、焦点距離、Fナンバー、物体距離、像高のうちいずれかを含むことを特徴とする請求項1乃至7いずれか1項に記載のプログラム。
- 前記特定情報は、撮像装置あるいは撮像光学系を識別可能な情報を含むことを特徴とする請求項1乃至7いずれか1項に記載のプログラム。
- 前記特性取得ステップにより取得された光学伝達特性を補間する補間ステップを有し、
前記回復ステップは、前記補間ステップにより補間された光学伝達特性を用いて前記撮影画像を回復することを特徴とする請求項1乃至9いずれか1項に記載のプログラム。 - 前記特性取得ステップにより取得された光学伝達特性に基づいて前記撮影画像を回復する際に用いる回復フィルタを生成する回復フィルタ生成ステップを有することを特徴とする請求項1乃至10いずれか1項に記載のプログラム。
- 前記記憶手段に前記光学伝達特性を記憶させる記憶ステップを有することを特徴とする請求項1乃至11いずれか1項に記載のプログラム。
- 光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
異なる撮影条件により撮影された第1、第2の撮影画像に対して共通に使用される第1光学伝達特性と、第3の撮影画像に対して使用される第2光学伝達特性とが記憶された記憶手段と、
前記特定情報により特定される光学伝達特性を前記記憶手段から取得する特性取得手段と、
前記特性取得手段により取得された光学伝達特性を用いて画像を回復し、回復画像を生成する回復手段を有することを特徴とする撮像装置。 - 光学伝達特性を特定する特定情報を取得する特定情報取得手段と、
異なる撮影条件により撮影された第1、第2の撮影画像に対して共通に使用される第1光学伝達特性と、第3の撮影画像に対して使用される第2光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を前記記憶手段から取得する特性取得手段と、
前記特性取得手段により取得された光学伝達特性を用いて画像を回復し、回復画像を生成する回復手段を有することを特徴とする画像処理装置。 - 光学伝達特性を特定する特定情報を取得する特定情報取得ステップと、
異なる撮影条件により撮影された第1、第2の撮影画像に対して共通に使用される第1光学伝達特性と、第3の撮影画像に対して使用される第2光学伝達特性とが記憶された記憶手段から、前記特定情報により特定される光学伝達特性を取得する特性取得ステップと、
前記特性取得ステップにより取得された光学伝達特性を用いて画像を回復し、回復画像を生成する回復ステップを有する画像処理方法。 - 複数の撮像装置と、光学伝達特性を用いて画像回復処理を行う画像処理装置とを有する画像処理システムであって、
前記複数の撮像装置は、撮影条件から光学伝達特性を特定するための特定情報と画像データを前記画像処理装置に出力する出力手段を有し、
前記画像処理装置は、前記画像処理装置の記憶領域にあらかじめ記憶された複数の光学伝達特性の中から前記特定情報が特定する回復用光学伝達特性を取得する光学伝達特性取得手段と、
前記回復用光学伝達特性を用いて、前記画像データを回復処理して回復画像を生成する回復処理手段を有することを特徴とする画像処理システム。 - 互いに異なる撮像光学系の光学伝達特性が類似の特性を示す場合、前記光学伝達特性を代表する代表光学伝達特性を記憶装置に記憶させ、
前記光学伝達特性が類似の特性を示さない場合、前記光学伝達特性を記憶させる記憶ステップと、
前記記憶ステップにより記憶された代表光学伝達特性を用いて前記撮像光学系により撮影された撮影画像を回復処理する回復ステップを有することを特徴とする画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011013275A JP5730036B2 (ja) | 2011-01-25 | 2011-01-25 | 画像処理装置、撮像装置、画像処理方法およびプログラム。 |
CN201210015530.4A CN102625043B (zh) | 2011-01-25 | 2012-01-18 | 图像处理设备、成像设备和图像处理方法 |
US13/356,319 US8824824B2 (en) | 2011-01-25 | 2012-01-23 | Image processing apparatus, imaging apparatus, image processing method, and recording medium storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011013275A JP5730036B2 (ja) | 2011-01-25 | 2011-01-25 | 画像処理装置、撮像装置、画像処理方法およびプログラム。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012156716A true JP2012156716A (ja) | 2012-08-16 |
JP5730036B2 JP5730036B2 (ja) | 2015-06-03 |
Family
ID=46838006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011013275A Expired - Fee Related JP5730036B2 (ja) | 2011-01-25 | 2011-01-25 | 画像処理装置、撮像装置、画像処理方法およびプログラム。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5730036B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014138196A (ja) * | 2013-01-15 | 2014-07-28 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
JP2015130557A (ja) * | 2014-01-06 | 2015-07-16 | キヤノン株式会社 | 撮像装置および交換レンズ |
JP6096382B2 (ja) * | 2014-04-11 | 2017-03-15 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
WO2018150695A1 (ja) * | 2017-02-17 | 2018-08-23 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびカメラシステム |
WO2018150682A1 (ja) * | 2017-02-17 | 2018-08-23 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびカメラシステム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005069216A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co., Ltd. | 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置 |
JP2008276732A (ja) * | 2007-03-30 | 2008-11-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像管理装置、画像管理方法、プログラム、及び画像注文票 |
JP2010087672A (ja) * | 2008-09-30 | 2010-04-15 | Canon Inc | 画像処理方法、画像処理装置及び撮像装置 |
WO2010067740A1 (en) * | 2008-12-10 | 2010-06-17 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method, and data processing apparatus and data processing method |
JP2011010214A (ja) * | 2009-06-29 | 2011-01-13 | Canon Inc | レンズ交換式カメラ、及びその制御方法 |
-
2011
- 2011-01-25 JP JP2011013275A patent/JP5730036B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005069216A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co., Ltd. | 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置 |
JP2008276732A (ja) * | 2007-03-30 | 2008-11-13 | Fujifilm Corp | 画像処理装置、画像処理方法、画像管理装置、画像管理方法、プログラム、及び画像注文票 |
JP2010087672A (ja) * | 2008-09-30 | 2010-04-15 | Canon Inc | 画像処理方法、画像処理装置及び撮像装置 |
WO2010067740A1 (en) * | 2008-12-10 | 2010-06-17 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method, and data processing apparatus and data processing method |
JP2011010214A (ja) * | 2009-06-29 | 2011-01-13 | Canon Inc | レンズ交換式カメラ、及びその制御方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014138196A (ja) * | 2013-01-15 | 2014-07-28 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
JP2015130557A (ja) * | 2014-01-06 | 2015-07-16 | キヤノン株式会社 | 撮像装置および交換レンズ |
JP6096382B2 (ja) * | 2014-04-11 | 2017-03-15 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JPWO2015156151A1 (ja) * | 2014-04-11 | 2017-04-13 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
WO2018150695A1 (ja) * | 2017-02-17 | 2018-08-23 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびカメラシステム |
WO2018150682A1 (ja) * | 2017-02-17 | 2018-08-23 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびカメラシステム |
CN110249619A (zh) * | 2017-02-17 | 2019-09-17 | 富士胶片株式会社 | 图像处理装置、图像处理方法及相机*** |
CN110249620A (zh) * | 2017-02-17 | 2019-09-17 | 富士胶片株式会社 | 图像处理装置、图像处理方法及相机*** |
JPWO2018150682A1 (ja) * | 2017-02-17 | 2019-11-07 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびカメラシステム |
JPWO2018150695A1 (ja) * | 2017-02-17 | 2019-12-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびカメラシステム |
US10931888B2 (en) | 2017-02-17 | 2021-02-23 | Fujifilm Corporation | Image processing device, image processing method, and camera system |
CN110249619B (zh) * | 2017-02-17 | 2021-04-20 | 富士胶片株式会社 | 图像处理装置、图像处理方法及相机*** |
CN110249620B (zh) * | 2017-02-17 | 2021-04-23 | 富士胶片株式会社 | 图像处理装置、图像处理方法及相机*** |
US11100614B2 (en) | 2017-02-17 | 2021-08-24 | Fujifilm Corporation | Image processing device, image processing method, and camera system |
Also Published As
Publication number | Publication date |
---|---|
JP5730036B2 (ja) | 2015-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8824824B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium storing program | |
JP5824297B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP4942216B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びプログラム | |
JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
US8971622B2 (en) | Image processing apparatus, image capture apparatus, and image processing method | |
EP2557536B1 (en) | Optical transfer function based image restoration | |
JP5709911B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
WO2011122283A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2013084247A (ja) | 画像処理装置及び方法 | |
WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5730036B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP2013045404A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5653464B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2012156715A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5268533B2 (ja) | 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム | |
JP5645981B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6415108B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP5425136B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5611439B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム | |
JP2012156714A (ja) | プログラム、画像処理装置、画像処理方法および撮像装置。 | |
JP5344647B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
JP2015231193A (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP2012156710A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150407 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5730036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |