JP7238381B2 - 画像処理装置、画像処理プログラム、画像処理方法および顕微鏡 - Google Patents

Description

本発明は、画像処理装置、画像処理プログラム、画像処理方法および顕微鏡に関する。

例えば、同一の被写体を互いに異なる焦点位置で撮影して得られる複数の画像と、重ね合わせモデルに基づく恒等式とを用いて、奥行き方向に鮮鋭度が調整された所望の画像を生成する技術が提案されている（例えば、特許文献１参照）。

米国特許第６５７１０２３号明細書

従来技術では、生成した画像に元の画像と相関の強いノイズが発生するため、アーティファクトが目立つという問題があった。また、フォーカスが合った領域の鮮鋭度を上げるには、デプスマップによるフォーカスが合った領域の抽出が必要となる。

本発明を例示する画像処理装置の一態様は、互いに合焦位置が異なる複数の画像の各々に、（１）再合焦位置および絞り値、または（２）再合焦位置および開口数ＮＡに対応するボケの度合いで、再合焦位置に設定されたボケ関数を用いてボケ処理を実行する第１処理部と、ボケ処理が実行された複数の画像を奥行き方向に積算した積算画像を生成する積算部と、積算部で生成された積算画像に鮮鋭化処理を実行し、所定のボケの度合いを有する合成画像を生成する第２処理部とを備え、鮮鋭化処理は、積算画像を奥行き方向に沿って積分した関数で２次元デコンボリューションしたものであり、関数は、複数の画像が取得された光学系の点拡がり関数にボケ関数を奥行き方向に垂直な平面内で２次元コンボリューションしたものである。

また、複数の画像に対して、三次元座標の各軸の少なくとも１つの軸を任意の方向に回転させた複数の画像を生成する回転処理部をさらに設け、第１処理部は、回転処理部が回転させた複数の画像の各々に、再合焦位置でのボケ処理を実行する。

本発明を例示する画像処理プログラムの一態様は、互いに合焦状態が異なる複数の画像の各々に、（１）再合焦位置および絞り値、または（２）再合焦位置および開口数ＮＡに対応するボケの度合いで、再合焦位置に設定されたボケ関数を用いてボケ処理を実行し、ボケ処理が実行された複数の画像を奥行き方向に積算した積算画像を生成し、生成された積算画像に鮮鋭化処理を実行し、所定のボケの度合いを有する合成画像を生成し、鮮鋭化処理は、積算画像を奥行き方向に沿って積分した関数で２次元デコンボリューションしたものであり、関数は、複数の画像が取得された光学系の点拡がり関数にボケ関数を奥行き方向に垂直な平面内で２次元コンボリューションしたものである処理をコンピュータに実行させる。

本発明を例示する画像処理方法の一態様は、互いに合焦状態が異なる複数の画像の各々に、（１）再合焦位置および絞り値、または（２）再合焦位置および開口数ＮＡに対応するボケの度合いで、再合焦位置に設定されたボケ関数を用いてボケ処理を実行し、ボケ処理が実行された複数の画像を奥行き方向に積算した積算画像を生成し、生成された積算画像に鮮鋭化処理を実行し、所定のボケの度合いを有する合成画像を生成し、鮮鋭化処理は、積算画像を奥行き方向に沿って積分した関数で２次元デコンボリューションしたものであり、関数は、複数の画像が取得された光学系の点拡がり関数にボケ関数を奥行き方向に垂直な平面内で２次元コンボリューションしたものである。

本発明を例示する顕微鏡の一態様は、少なくとも１つの対物レンズと、少なくとも１つの撮像素子と、対物レンズと撮像素子とを用いて取得した複数の画像に基づき、所定のボケの度合いを有する合成画像を生成する本発明の画像処理装置とを備える。

画像処理装置の一実施形態を示す図である。 複数の画像が撮像された合焦位置の一例を示す図である。 図１に示したボケ処理部におけるボケ処理に用いられるボケ関数ＰＳＦａの一例を示す図である。 図１に示した画像処理装置における画像処理の一例を示す図である。 式（１４）のデコンボリューションフィルタのゲインの分布の一例を示す図である。 元の画像と、式（１４）を用いて生成された合成画像と、従来例の合成画像との一例を示す図である。 図６に示した元の画像と、式（１４）による合成画像と、従来例の合成画像との各々のうち、図６に示した直線ＡＢにおける輝度分布の一例を示す図である。 焦点距離５０ｍｍＦ１．４のレンズを用いた場合の点像の一例を示す図である。 図８に示した点像の合成画像の一例を示す図である。 物体が白色の点光源で合焦位置の点像である場合の点拡がり関数、および点拡がり関数にボケ関数をＸＹ平面内で２次元コンボリューションした結果と、軸上色収差との関係の一例を示す図である。 図１に示した鮮鋭化処理部が図１０（ａ）に示した点拡がり関数に対して合焦位置の補正処理を実行した場合のコンボリューションの結果の一例を示す図である。 物体が白色の点光源で合焦位置と異なる位置の点像ある場合の点拡がり関数、および点拡がり関数にボケ関数をＸＹ平面内で２次元コンボリューションした結果と、軸上色収差との関係の一例を示す図である。 図１に示した鮮鋭化処理部が図１２（ａ）に示した点拡がり関数に対して合焦位置の補正処理を実行した場合のコンボリューションの結果の一例を示す図である。 ステレオ画像の一例を示す図である。 合成したステレオ画像の一例を示す図である。 画像処理装置の別の実施形態を示す図である。 図１６に示した画像処理部における画像処理の一例を示す図である。 図１６に示した撮像装置が多眼カメラの場合の一例を示す図である。 図１８に示した撮像装置に配置されるプリズムの一例を示す図である。 三次元座標上での物体の直方体データとボケ関数の一例を示す図である。 ＸＹ面、ＹＺ面およびＸＺ面の元画像と合成画像の一例を示す図である。 応用例の画像処理装置の一例を示す図である。 座標系ＸＹＺを回転、平行移動させた座標系Ｘ’Ｙ’Ｚ’の一例を示す図である。 共焦点フィルタのボケ関数による視差なし画像の合成例を示す図である。 コンフォーカル顕微鏡の無収差回折無しの点像強度分布にボケ関数を適用した観察者の左右両眼の方向をＸ方向とした視差画像の生成例を示す図である。 落射型顕微鏡の無収差回折無しの点像強度分布をボケ関数として適用した合成画像の一例を示す図である。 ＸＺ面の視差画像の生成例を示す図である。 本実施形態に係る画像処理装置の操作インターフェースの一例と表示画像例を示す図である。 本実施形態に係る画像処理装置の操作インターフェースの一例と表示画像例を示す図である。 本実施形態に係る画像処理装置の操作インターフェースの一例と表示画像例を示す図である。 本実施形態に係る画像処理装置の使用例を示す図である。

以下、図面を用いて実施形態を説明する。本実施形態に記載の画像処理装置は、ノイズの発生を抑制して、良好なボケ画像を生成できる。

図１は、画像処理装置の一実施形態を示す。

図１に示した画像処理装置１００は、有線または無線を介して、カメラＣＡＭ、入力装置ＩＭおよび出力装置ＯＭに接続される。なお、画像処理装置１００は、ネットワークを介して、少なくともカメラＣＡＭに接続されてもよい。

カメラＣＡＭは、ＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の１つの撮像素子を有するデジタルカメラである。例えば、カメラＣＡＭは、カメラＣＡＭに含まれるレリーズ釦のユーザによるシャッタ操作により、互いに異なる焦点位置で同じ被写体を撮像し、各焦点位置で撮像された被写体の画像を生成する。カメラＣＡＭは、生成した複数の画像を画像処理装置１００に出力する。なお、カメラＣＡＭは、被写体を撮像した時の合焦位置（または、撮影レンズの繰り出し量）、絞り値、露光時間等を示す撮像情報を、生成した画像に付加する。また、合焦位置は、ピント位置、フォーカス距離あるいは被写体距離とも称され、撮像装置に指示された撮影距離に基づきカメラＣＡＭの光学系の合焦レンズが駆動されて任意の位置に設定される。

なお、カメラＣＡＭは、複数の撮影レンズとこれに対応する複数の撮像素子を有するデジタルカメラ（以下、“多眼カメラ”とも称される）でもよい。この場合、カメラＣＡＭは、複数の撮像素子の各々において、互いに異なる合焦位置で同じ被写体を１回のシャッタ操作により撮像でき、複数の画像を取得するのにかかる時間を短縮させることができる。

また、複数のカメラＣＡＭが、画像処理装置１００に接続されてもよい。この場合、複数のカメラＣＡＭの各々は、同じ被写体を異なる視点で同時に撮像する。そして、画像処理装置１００は、例えば、特開２０１３－２６８４４号公報に示される処理を用いて、撮像された視点が異なる複数の画像を合焦位置が異なる複数の画像に変換してもよい。これにより、複数の画像を取得するのにかかる時間を短縮させることができる。

なお、カメラＣＡＭにより撮像された複数の画像は、画像処理装置１００の内部あるいは外部に配置されたハードディスク装置等の記憶装置に記憶されてもよい。この場合、画像処理装置１００は、画像処理を実行する際に、内部または外部の記憶装置から複数の画像を読み出す。

入力装置ＩＭは、キーボードまたはタッチパネル等であり、ユーザによる操作を介してユーザからの指示を受信する。例えば、画像処理装置１００が、カメラＣＡＭにより撮像された複数の画像を用いて、指示された再合焦位置および絞り値の合成画像を生成する場合、入力装置ＩＭは、ユーザによる操作を介して、再合焦位置および絞り値の指示を受ける。入力装置ＩＭは、受けた指示を画像処理装置１００に出力する。

出力装置ＯＭは、液晶モニタ等のディスプレイであり、画像処理装置１００により処理された結果を受信し、受信した処理結果を表示する。

画像処理装置１００は、ＩＦ（Interface）部１０とともに、プロセッサ等の演算処理装置およびハードディスク装置等の記憶装置を含むコンピュータ装置である。例えば、画像処理装置１００の演算処理装置は、画像処理装置１００の記憶装置に記憶される画像処理プログラムを実行することで、前処理部１５、ボケ処理部２０、積算部３０および鮮鋭化処理部４０として機能する。

なお、画像処理プログラムは、例えば、ＣＤ（Compact Disk）等の光ディスク、またはＵＳＢ（Universal Serial Bus）メモリ等の可搬型記憶媒体に記録して頒布してもよい。また、画像処理装置１００は、画像処理装置１００に含まれるネットワークインターフェースを介して、ネットワークを通じて画像処理プログラムをダウンロードし、画像処理装置１００の記憶装置に格納してもよい。

ＩＦ部１０は、インターフェースであり、カメラＣＡＭからの複数の画像を含む信号を受信し、受信した信号を前処理部１５に出力する。また、ＩＦ部１０は、入力装置ＩＭからの指示を含む信号を受信し、受信した信号を演算処理装置等に出力する。また、ＩＦ部１０は、処理の結果を含む信号を出力装置ＯＭに出力する。

前処理部１５は、カメラＣＡＭから受信した複数の画像の各々に付加された撮像情報を参照し、複数の画像間の位置合わせおよび倍率の補正等の前処理を実行する。そして、前処理部１５は、前処理した複数の画像を、ボケ処理部２０に出力する。

なお、前処理部１５が実行する前処理には、ホワイトバランス処理やガンマ補正等の現像処理が含まれる。また、カメラＣＡＭにより撮像される画像が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）等の色成分を有するカラー画像の場合、前処理部１５は、複数の画像の各々に対して色補間処理を実行し、色成分毎の画像を生成する。前処理部１５の動作については、図４で説明する。

なお、カメラＣＡＭが前処理部１５と同様の機能を有し、カメラＣＡＭから受信する複数の画像に前処理が予め実行されている場合、画像処理装置１００の前処理部１５は、省略されてもよい。

ボケ処理部２０は、前処理部１５により前処理された複数の画像を受信する。ボケ処理部２０は、入力装置ＩＭを介して、ユーザにより指示された再合焦位置および絞り値に応じたボケの度合いで、複数の画像の各々にボケ処理を実行する。ボケ処理部２０の動作については、図２および図３で説明する。ボケ処理部２０は、第１処理部の一例である。

積算部３０は、ボケ処理部２０によりボケ処理された複数の画像を積算し、積算画像を生成する。

鮮鋭化処理部４０は、複数の画像の各々に実行されたボケ処理におけるボケの度合いと、カメラＣＡＭに含まれる撮影レンズ等の光学特性とに基づいて、積算部３０により生成された積算画像に鮮鋭化処理を実行する。鮮鋭化処理部４０は、鮮鋭化された積算画像を、指示された再合焦位置および絞り値の合成画像として生成する。

図２は、複数の画像が撮像された合焦位置ｚの一例を示す。図２における座標系ＸＹＺの原点は、カメラＣＡＭの撮像素子が配置される位置を示す。図２におけるＸＹ平面は、カメラＣＡＭの撮像素子の撮像面（すなわち、画像のデータに含まれる複数の画素が配列される面）を示す。また、図２のＺ軸は、カメラＣＡＭの光軸方向（すなわち、被写体の方向）を示し、レンズの像面側の光軸方向の距離を示す。

レンズ繰り出しで焦点合わせをする場合、像距離によって画角が変わり、倍率が変化する。倍率は、像距離が最大となるf_backmaxで最大になるので、画像処理装置１００は、撮影された像倍率が等しくこの最大値になるように倍率補正を実行した後、ボケ処理を実行する。像面上でのカメラ面視差Ｓに相当する像面視差Ｄは、式（１）のように表される。
Ｄ＝ＢＭ・Ｓ／ｂ …（１）
ここで、ｂは、光軸方向でレンズの物体側の距離（撮影距離）を示す。ＢＭは、最大の像距離（焦点距離＋繰り出し量）を示す。

合成画像のボケを美しくするためには、像面のボケ量、すなわち像面視差Ｄが等間隔になるような撮影距離ｂで被写体を撮影する。このために、像面視差Ｄが等間隔、すなわち１／ｂが等間隔となるには、１／ｂの間隔Δ（１／ｂ）は、レンズの被写界深度（ＤＯＦ：Depth of field）に基づいて決定される。ＤＯＦは、式（２）を用いて決定される。
ＤＯＦ＝Ｆ×ＣＯＣ …（２）
なお、Ｆは、レンズのＦナンバーを示し、ＣＯＣ（Circle of Confusion）は、最小錯乱円であり、例えば１／３０ｍｍに設定される。

そして、間隔Δ（１／ｂ）は、式（３）を用いて求められる。
Δ（１／ｂ）＝ＣＯＣ／２／（ｆ／２／Ｆ・ＢＭ） …（３）
なお、ｆは、レンズの焦点距離を示す。

これにより、求めたΔ（１／ｂ）と１／ｂを等間隔にする条件とからフォーカスブラケットする際の撮影距離ｂを無限遠から最短撮影距離までの間で求めることができる。

一方、レンズを繰り出してフォーカスを合わせるので、レンズの結像の式１／ｆ＝１／ｚ＋１／ｂを微分することで、式（４）が得られる。

そして、通常の撮影レンズでは、撮影距離ｂは４０ｆ以上であることから、式（４）は、式（５）のように近似できる。

式（５）が示すように、像面視差Ｄと像側の光軸方向の距離ｚとは比例する。これにより、極端なマクロ撮影時以外の撮影の場合、像側の光軸方向の距離ｚを等間隔ｄｚになるように撮影、すなわちフォーカスブラケッティングすることで、像面視差Ｄが等間隔になるように撮影される。この場合、式（５）のｄ（１／ｂ）に、式（３）のΔ（１／ｂ）を代入してｄｚを求め、焦点距離ｆから等間隔ｄｚでフォーカスブラケッティング撮影すればよい。

一方、極端なマクロ撮影の場合、式（３）のΔ（１／ｂ）と１／ｂを等間隔にする条件から求めた撮影距離ｂとから、レンズの結像の式における像距離ｚを決めることが望ましい。しかしながら、先に述べた等間隔ｄｚでフォーカスブラケッティング撮影する方法でも生成される画像に大差はない。

図２に示すように、カメラＣＡＭにより撮像される複数の画像は、Ｎ枚とする。すなわち、カメラＣＡＭは、Ｎ個の合焦位置ｚ（ｚ１－ｚＮ）の各々で同じ被写体を撮像し、Ｎ枚の画像Ｉｍｇ（Ｉｍｇ（ｘ，ｙ，ｚ１）－Ｉｍｇ（ｘ，ｙ，ｚＮ））を生成する。なお、画像Ｉｍｇ（ｘ，ｙ，ｚｒ）は、合焦位置ｚｒで撮像された画像の各画素の座標の強度を示す（ｒは１からＮの整数である）。なお、合焦位置ｚ１は、最至近距離を示し、合焦位置ｚＮは、無限遠を示す。また、Ｎ個の合焦位置ｚの各々は、互いに等間隔であることが好ましく、式（１）－式（５）を用いて決定される。

ここで、カメラＣＡＭの撮影レンズは、被写体が点光源の場合のインパルス応答を示す固有の点拡がり関数（ＰＳＦ：Point Spread Function）を有する。点拡がり関数は、例えば、円形開口の場合、光軸に沿って円錐状の関数で円錐の頂点のピント位置がｚｒ相当に来るような関数で表され、合焦位置ｚにおける円形開口内の重みが、均一分布やガウス分布等で表される。例えば、特開２０１３－２６８４４号公報に示すように、カメラＣＡＭの点拡がり関数ＰＳＦｃは、合焦位置ｚにおける円形開口内の重みをガウス分布とする場合、式（６）のように表される。

係数ａ１、ｋ１は、カメラＣＡＭの絞りの値等に応じた値が設定される。例えば、係数ｋ１は、絞りの値が小さくなる（被写界深度が深くなる）に従い小さくなり、点拡がり関数ＰＳＦｃの円錐の拡がりは、小さくなる。点拡がり関数ＰＳＦｃは、光学情報の一例である。

撮影対象の物体の像空間における３次元の強度分布をＩｏ（ｘ，ｙ，ｚ）とする。ピント位置をカメラＣＡＭの光軸に沿ったｚｒにピントを合わせて撮影した像Ｉｃ（ｘ，ｙ，ｚｒ）は、式（７）におけるＩｃ（ｘ，ｙ，ｚｒ）のＸＹ平面への投影で、式（８）ように表される。式（７）の点拡がり関数ＰＳＦｃ（ｘ，ｙ，ｚ）は、例えば、円形開口の場合、光軸に沿って円錐状の関数で円錐の頂点のピント位置がｚｒの関数である。

また、画像Ｉｍｇと点拡がり関数ＰＳＦｃとは、式（９）のように関係付けられる。

図３は、図１に示したボケ処理部２０におけるボケ処理に用いられるボケ関数ＰＳＦａの一例を示す。図３の縦軸は、図２の場合と同様に、Ｘ軸（またはＹ軸）を示し、図３の横軸は、Ｚ軸（カメラＣＡＭの撮影レンズの光軸方向）を示す。

図３では、例えば、再合焦位置ｚｒにおける任意に設定されるボケ関数ＰＳＦａを示す。図３に示すように、ボケ関数ＰＳＦａは、再合焦位置ｚｒを頂点とし、再合焦位置ｚｒから光軸（Ｚ軸）に沿って離れるに従って拡がる円錐状の３次元形状を有し、例えば、式（１０）のように表される。

なお、式（１０）のボケ関数ＰＳＦａは、位置ｚのＸＹ平面の２次元の点像強度分布をガウス分布とした場合を示し、係数ｋ２は、カメラＣＡＭの撮影レンズの絞り値に応じた値が設定される。係数ｋ２は、カメラＣＡＭの絞りの値が小さくなる（被写界深度が深くなる）に従って小さくなり、ボケ関数ＰＳＦａの円錐の拡がりは、小さくなる。係数ａ２は、２次元の点像強度分布の面積の逆数とし、規格化する。なお、位置ｚにおけるＸＹ平面の点像強度分布は、均一分布（pill case）等でもよい。

また、像空間での３次元の強度分布Ｉｏ（ｘ，ｙ，ｚ）に対して、元の光学系の点拡がり関数ＰＳＦｃの影響を除去し、ボケ関数ＰＳＦａを用いてリフォーカスとボケ付与との処理は、式（１１）のように表される。

式（１１）に示すように、元の光学系のベストフォーカスにおけるボケを除去し、ボケ関数ＰＳＦａでコンボリューションすることから、ボケ関数ＰＳＦａのベストフォーカスをデルタ関数とする場合、フォーカスが合った物体に対して、劣化が無い画像を生成することができる。

一方、画像処理装置１００が実行する、像空間での３次元の強度分布Ｉｏ（ｘ，ｙ，ｚ）に対して、元の光学系の点拡がり関数ＰＳＦｃの影響を除去し、ボケ関数ＰＳＦａを用いてリフォーカスとボケ付与との処理は、式（１２）のように表される。

ＣＦ（ｘ，ｙ，ｚ－ｚｒ）は、点拡がり関数ＰＳＦｃ（ｘ，ｙ，ｚ－ｚｒ）にボケ関数ＰＳＦａ（ｘ，ｙ，ｚ－ｚｒ）をＸＹ平面内で２次元コンボリューションした結果の関数を示し、“コンボリューション関数”とも称される。

ここで、被写体となる物体は３次元の広がりを有し、フォーカスが合っている位置ｚ（＝ｚｒ）とそれ以外の位置にも物体は存在する。位置ｚｒは、フォーカスが合っていることから、ボケない方が好ましい。例えば、物体が位置ｚｒのＸＹ平面上の（ｘ１，ｙ１）に存在する場合、物体が存在する部分は、収差や画像処理のアーティファクトによる劣化の無い、すなわち強度分布Ｉｏ（x１，ｙ１，ｚｒ）から無劣化の画像を生成することが望ましい。そして、式（１１）では、ボケ関数ＰＳＦａのベストフォーカス（最も絞られた位置）がδ関数の場合に達成可能である。一方、式（１２）では、ボケ関数ＰＳＦａのベストフォーカスがδ関数でなくても常に達成可能である。一方、従来のアルゴリズム（例えば、後述する式（１６）参照）では、式（１３）に示すように、無劣化の画像を得ることが難しい。
Ｉｏ（ｘ１，ｙ１，ｚｒ）＝Ｉａ（ｘ１，ｙ１，ｚｒ）≠Ｉａ’（ｘ１，ｙ１，ｚｒ） …（１３）
ただし、Ｉｏ（ｘ１，ｙ１，ｚｒ）≠０である。

すなわち、従来のアルゴリズムでは、フォーカスが合っている位置で像劣化が生じる。式（１２）を用いて、入力画像をボケが無いデルタ関数としたインパルスレスポンス・シミュレーションを６４ビット精度で実行した場合、Ｉｏ（ｘ１，ｙ１，ｚｒ）＝δ（ｘ１，ｙ１，ｚｒ）＝Ｉａ（ｘ１，ｙ１，ｚｒ）となることが、計算精度内の誤差であることにより確認された。一方、従来のアルゴリズムでは、入力画像をデルタ関数としたインパルスレスポンス・シミュレーションを６４ビット精度で実行した場合、位置ｚｒの選び方や、点拡がり関数ＰＳＦｃの積分範囲により結果が変化し、最小で８ビット程度のノイズが発生することが確認された。

なお、フォーカスが合っていない位置ｚ（≠ｚｒ）に物体が存在している場合、合成画像Ｉａｉ、Ｉａは、ボケた像となるが、互いに一致しない。これは、合成画像Ｉａｉは完全に光学系のボケの影響を一度除去してから任意のボケを与えられるのに対し、合成画像Ｉａは、若干元の光学系のボケの影響が残ることによる。

また、式（１２）では、合成画像Ｉａを生成するために、カメラＣＡＭの撮影レンズ固有の点拡がり関数ＰＳＦｃとボケ関数ＰＳＦａとにおけるＸＹ平面内の２次元コンボリューションをＺ軸方向（被写体の奥行方向）に沿って積分したものを、デコンボリューションしている。この処理は、周波数領域で実行した方が効率がよい。そこで、Ｎ枚の画像Ｉｍｇを用いて、任意のボケ画像を周波数領域で計算する場合、式（１２）は、式（１４）のように表される。

ωｘ、ωｙは、角周波数を示し、ωｘ＝２πｆｘ＝２π／ｘ、ωｙ＝２πｆｙ＝２π／ｙである。ｉＦＴ＿２ｄは、２次元の逆フーリエ変換を示し、ＦＦＴ（fast Fourier transform）等を用いる。このため、入力される画像Ｉｍｇは、２^ｎ×２^ｎの画素数になるように余白部分が追加されることが好ましい（ｎは正の整数）。追加される余白部分の強度は、画像Ｉｍｇの平均値でもよく、黒レベルでもよい。なお、黒レベルにする場合は、画像Ｉｍｇの縁を既存のblackman等のウインドウを用いてウインドウイングすることが望ましい。式（１４）のデコンボリューションに関する１行目の式を、周波数領域で計算する３行目の式に置き換えることで、フーリエ変換（ＦＴ＿２ｄ）および逆フーリエ変換（ｉＦＴ＿２ｄ）の回数を減らすことができ、計算時間を短縮することができる。

ボケ処理部２０は、画像処理装置１００が合成画像Ｉａを生成するために、式（１２）のうち、ボケ関数ＰＳＦａを用いて、画像Ｉｍｇの各々にボケ処理（コンボリューション）を実行する。なお、画像Ｉｍｇがカラー画像の場合、ボケ処理部２０は、色成分毎に画像Ｉｍｇとボケ関数ＰＳＦａとのコンボリューションを実行する。

積算部３０は、式（１５）を用いて、ボケ関数ＰＳＦａとコンボリューションされた画像Ｉｍｇを積算し、積算画像Ｉｓを生成する。なお、画像Ｉｍｇがカラー画像の場合、積算部３０は、色成分毎に積算画像Ｉｓを生成する。

積算画像Ｉｓ（ｘ，ｙ，ｚｒ）は、式（１２）の右辺における２つのＺ軸の積分のうち、左側の積分を示す。

鮮鋭化処理部４０は、式（１２）に基づいて、積算部３０により生成された積算画像Ｉｓを、点拡がり関数ＰＳＦｃとボケ関数ＰＳＦａとのコンボリューションのＺ軸の積分カーネルＩｐ（ｘ，ｙ，ｚｒ）を用いて鮮鋭化処理（デコンボリューション）を実行し、合成画像Ｉａを生成する。なお、画像Ｉｍｇがカラー画像の場合、鮮鋭化処理部４０は、色成分毎の積算画像Ｉｓに鮮鋭化処理を実行する。点拡がり関数ＰＳＦｃは収差により色毎に異なる。これは、設計値または計測値を用いることで収差の影響を除去することができる。

図４は、図１に示した画像処理装置１００における画像処理の一例を示す。図４に示した処理は、画像処理装置１００に含まれる演算処理装置が画像処理プログラムを実行することにより実現される。すなわち、図４は、画像処理プログラムおよび画像処理方法の一実施形態を示す。なお、図４に示した処理は、画像処理装置１００に搭載されるハードウェアにより実現されてもよい。この場合、図１に示した前処理部１５、ボケ処理部２０、積算部３０および鮮鋭化処理部４０は、画像処理装置１００内に配置される回路により実現される。

ステップＳ１００では、画像処理装置１００は、ユーザによる入力装置ＩＭの操作を介して、生成する合成画像Ｉａの再合焦位置（撮影距離指示値）および絞り値（または被写界深度）の指示を取得する。

ステップＳ１１０では、画像処理装置１００は、カメラＣＡＭからＮ枚の画像Ｉｍｇを取得する。

ステップＳ１２０では、前処理部１５は、ステップＳ１１０で取得した画像Ｉｍｇの各々に対して、位置合わせや倍率の補正等の前処理を実行する。例えば、前処理部１５は、画像Ｉｍｇ間における輝度あるいはエッジ等の特徴量の分布の相互相関処理を実行し、画像Ｉｍｇ間のＸ軸およびＹ軸方向の位置ズレ、あるいはＺ軸周りの回転ズレ等のズレ量を検出する。そして、前処理部１５は、検出したズレ量を用いて、画像Ｉｍｇ間の位置合わせを行う。

また、画像Ｉｍｇの各々は、互いに異なる合焦位置で撮像されることにより、カメラＣＡＭの撮影レンズの繰り出し量が異なるため、互いに異なる画角（または結像倍率）を示す。このため、前処理部１５は、画像Ｉｍｇに付加された撮像情報に含まれる撮影レンズの繰り出し量および合焦位置を参照し、画角が最も小さい画像Ｉｍｇの画角と一致するように、他の画像Ｉｍｇの画角を補正する。そして、前処理部１５は、全ての画像Ｉｍｇの画角が、画角が最も小さい画像Ｉｍｇの画角となるように、結像倍率が補正された各画像Ｉｍｇをクロッピングする。

なお、ボケ処理部２０および鮮鋭化処理部４０の処理が周波数領域で実行される場合、前処理部１５は、画像Ｉｍｇに対して空間領域のデータから周波数領域のデータに変換するＦＦＴ処理等が実行できるように、画像Ｉｍｇを正方形の画像に変換する。ただし、前処理部１５は、長方形の画像のまま画像Ｉｍｇに対してＦＦＴ処理等を実行してもよい。

ステップＳ１３０では、ボケ処理部２０は、ボケ関数ＰＳＦａを用いて、ステップＳ１２０で前処理された画像Ｉｍｇの各々にボケ処理を実行する。

ステップＳ１４０では、積算部３０は、式（１５）を用いて、ステップＳ１３０でボケ処理された画像Ｉｍｇを積算し、積算画像Ｉｓを生成する。

ステップＳ１５０では、鮮鋭化処理部４０は、式（１４）が示す点拡がり関数ＰＳＦｃとボケ関数ＰＳＦａとのデコンボリューションフィルタＩｐｆ（ωｘ，ωｙ，ｚｒ）^－１を用いて、ステップＳ１４０で生成された積算画像Ｉｓに鮮鋭化処理を実行する。そして、鮮鋭化処理部４０は、合成画像Ｉａを生成する。その後、画像処理装置１００は、生成された合成画像Ｉａを出力装置ＯＭに出力し、合成画像Ｉａを出力装置ＯＭに表示させる。なお、画像処理装置１００は、画像処理装置１００に含まれる記憶装置に合成画像Ｉａを記憶してもよい。そして、画像処理装置１００は、画像処理を終了する。

図５は、式（１４）のデコンボリューションフィルタＩｐｆ（ωｘ，ωｙ，ｚｒ）^－１のゲインの分布の一例を示す。図５（ａ）は、式（１４）のデコンボリューションフィルタのゲインの分布を示す。また、図５（ｂ）は、式（１４）のデコンボリューションフィルタとの比較のために、特開２０１３－２６８４４号公報（以下、“従来例”とも称される）において合成画像の生成に用いられるデコンボリューションフィルタ［Ｉｐｃｆ（ωｘ，ωｙ）・Ｉｐａｆ（ωｘ，ωｙ，ｚｒ）］^－１のゲインの分布を示す。なお、従来例の合成画像Ｉａ’とデコンボリューションフィルタとは、式（１６）のように関係付けられる。

図５（ａ）に示すように、式（１４）のデコンボリューションフィルタのゲインは、ゼロ次付近（周波数の原点付近）で最小となり、ゼロ次付近から離れるに従って増加する。そして、式（１４）のデコンボリューションフィルタのゲインは、増加した後、一定のゲインを示す。これにより、合成画像Ｉａは、元の画像Ｉｍｇの輝度分布を精度良く再現できる。合成画像Ｉａと元の画像Ｉｍｇとの輝度分布の比較については、図６および図７で示す。

一方、図５（ｂ）に示すように、式（１６）の従来例のデコンボリューションフィルタのゲインは、式（１４）のデコンボリューションフィルタと同様に、ゼロ次付近で最小となり、ゼロ次付近から離れるに従って増加する。しかしながら、式（１６）のデコンボリューションフィルタは、式（１４）のデコンボリューションフィルタと比べて、ゼロ次付近から離れた周波数領域において、大きなゲインの変動を示す。このため、合成画像Ｉａ’は、元の画像Ｉｍｇの輝度分布を再現することが困難となる。合成画像Ｉａ’と元の画像Ｉｍｇとの輝度分布については、図６および図７で示す。

図６は、元の画像Ｉｍｇと、式（１４）を用いて生成された合成画像Ｉａと、従来例の合成画像Ｉａ’との一例を示す。すなわち、図６（ａ）は、例えば、再合焦位置ｚｒに存在する物体が撮像された元の画像Ｉｍｇの一例を示す。図６（ｂ）は、式（１４）を用いて生成された絞り値がＦ２の合成画像Ｉａの一例を示す。図６（ｃ）は、従来例の式（１６）を用いて生成された絞り値がＦ２の合成画像Ｉａ’の一例を示す。なお、図６に示した各画像は、所定のパターンを示す同じ被写体をカメラＣＡＭにより撮像されたものである。

図７は、図６に示した元の画像Ｉｍｇと、式（１４）による合成画像Ｉａと、従来例の合成画像Ｉａ’との各々のうち、図６に示した直線ＡＢにおける輝度分布の一例を示す。すなわち、図７（ａ）は、図６（ａ）に示した元の画像Ｉｍｇの輝度分布の一例を示す。図７（ｂ）は、図６（ｂ）に示した合成画像Ｉａの輝度分布の一例を示す。図７（ｃ）は、図６（ｃ）に示した合成画像Ｉａ’の輝度分布の一例を示す。なお、図７における縦軸は輝度を示し、横軸は直線ＡＢを示す。

また、図６および図７では、点拡がり関数ＰＳＦｃとして、フォーカス位置でδ関数、それ以外の位置でＦ１．４の大きさの円板としたことにより、画像Ｉｍｇのレンズによるボケが残った合成画像Ｉａ’が生成される。すなわち、合成画像Ｉａ’は、像空間での３次元の強度分布Ｉｏと一致しない。

図７（ｂ）に示すように、式（１４）を用いて生成された合成画像Ｉａは、図７（ａ）に示した元の画像Ｉｍｇの輝度分布を精度良く再現している。すなわち、合焦位置ｚｒに物体が存在し、かつリフォーカス（再合焦）を位置ｚｒに設定して生成した合成画像Ｉａ（ｘ，ｙ，ｚｒ）は、被写界深度を変えた場合でも、元の画像Ｉｍｇの輝度分布と同様の輝度分布を再現できる。

一方、図７（ｃ）に示すように、式（１６）を用いて生成された合成画像Ｉａ’は、図７（ａ）に示した元の画像Ｉｍｇの輝度分布を再現できていない。例えば、図６（ｃ）に示した合成画像Ｉａ’の被写体のうち、黒色の領域において、輝度むら（すなわち、図６（ａ）に示した元の画像Ｉｍｇに存在しないノイズ）が発生している。これは、図５（ｂ）に示した式（１６）のデコンボリューションフィルタのゲインが、図５（ａ）に示した式（１４）のフィルタ特性と異なり、周波数に応じて大きく変動することによる。また、式（１６）において、カメラＣＡＭの点拡がり関数ＰＳＦｃとボケ関数ＰＳＦａとの各々が、予めＺ軸方向に別々に積分されている。このため、合焦位置ｚｒで撮像され再合焦位置ｚｒでリフォーカスされた、すなわちピントが合っている画像Ｉｍｇ（ｘ，ｙ，ｚｒ）であっても、式（１６）においてボケ関数ＰＳＦａによるボケの影響を受けてしまう。これにより、合成画像Ｉａ’は、図６（ａ）および図７（ａ）に示した元の画像Ｉｍｇ、すなわち被写体の輝度分布と異なる輝度分布を示す。

図８は、焦点距離５０ｍｍＦ１．４のレンズを用いた場合の点像の一例を示す。点像は、収差と回折現象により広がる。図８は、合焦位置ｚｒに白色の点光源、すなわち強度分布Ｉｏ（ｘ１、ｙ１、ｚｒ）が存在する場合、白色の点光源に対するインパルス応答のシミュレーションの結果を示す。点像は、点拡がり関数ＰＳＦｃでもあり、画像Ｉｍｇでもある。図８（ａ）の横軸はＸ軸とし、縦軸はＹ軸とする。図８（ｂ）は、図８（ａ）に示した画像Ｉｍｇのうち、点光源の中心を通るＸ軸方向の直線における輝度分布を示す。

点拡がり関数ＰＳＦｃの形状は、ＲＧＢの色成分毎に異なることから、点像には、特に輝度がピークを示す周辺で色付きが見られる。また、点像の中心は、ＲＧＢの色成分毎に輝度のピークの値が異なるため、純白とならない。

図９は、図８に示した点像の合成画像の一例を示す。図９（ａ）は、図８（ａ）に示した点拡がり関数ＰＳＦｃを表すＮ枚（例えば、２０枚等）の画像Ｉｍｇと、式（１４）とを用いて生成された合成画像Ｉａの一例を示す。図９（ａ）の横軸はＸ軸とし、縦軸はＹ軸とする。図９（ｂ）は、図９（ａ）に示した合成画像Ｉａ、すなわち復元された白色インパルスの中心を通るＸ軸方向の直線における輝度分布の一例を示す。

図９（ａ）および図９（ｂ）に示すように、合成画像Ｉａは、復元された白色インパルス、すなわち強度分布Ｉｏ（ｘ１，ｙ１，ｚｒ）と同様になる。

なお、図９（ａ）に示した合成画像Ｉａの復元された白色インパルスはカラーであることから、画像処理装置１００は、ＲＧＢの各々の色成分の合成画像Ｉａを生成し、生成した各色成分の合成画像Ｉａを重ね合わせて、図９（ａ）に示したカラーの合成画像Ｉａを生成する。

図９（ｃ）は、図９（ａ）に示した点光源の中心を通るＸ軸方向の直線における、Ｒ成分の合成画像Ｉａの輝度分布の一例を示す。図９（ｄ）は、図９（ｃ）と同様に、Ｇ成分の合成画像Ｉａの輝度分布の一例を示し、図９（ｅ）は、Ｂ成分の合成画像Ｉａの輝度分布の一例を示す。図９（ｆ）は、図９（ｃ）から図９（ｅ）に示したＲＧＢの各々の輝度分布を重ね合わせて比較した一例を示す。図９（ｆ）に示すように、図９（ｃ）に示したＲ成分の輝度分布と、図９（ｄ）に示したＧ成分の輝度分布と、図９（ｅ）に示したＢ成分の輝度分布とは、ほぼ同じ形状で重なる。図９（ｃ）から図９（ｅ）に示すように、ＲＧＢの生成画像は元のＲＧＢのインパルスに戻っている。図９（ｃ）から図９（ｅ）に示した輝度分布は無限小の幅のインパルスであるが、画像で表示される場合における裾野の幅は１画素の幅となる。

図８に示した画像Ｉｍｇおよび画像Ｉｍｇの輝度分布は、図９（ａ）に示した合成画像Ｉａおよび図９（ｂ）に示した輝度分布と比べて、点光源が大きく広がっている。これは、カメラＣＡＭの撮影レンズが有する収差と回折とによる影響によるものである。

一方、図９（ａ）に示した合成画像Ｉａおよび図９（ｂ）に示した輝度分布は、シミュレーションに用いた１画素の大きさの白色の点光源、すなわちインパルスと、同様の広がりを示す。また、図９（ｆ）に示すように、画像処理装置１００の画像処理により、図９（ｃ）から図９（ｅ）に示したＲＧＢの各々の色成分の輝度分布は、互いに重なり合っている。すなわち、画像処理装置１００は、合成画像Ｉａから合焦位置ｚｒの光学系の収差を除去できる。

図１０は、物体が白色の点光源で合焦位置ｚｒの点像である場合の点拡がり関数ＰＳＦｃ、および点拡がり関数ＰＳＦｃにボケ関数ＰＳＦａをＸＹ平面内で２次元コンボリューションした結果と、軸上色収差との関係の一例を示す。図１０の縦軸は、図３と同様に、Ｘ軸（またはＹ軸）を示し、図１０の横軸は、Ｚ軸（カメラＣＡＭの撮影レンズの光軸方向）を示す。

図１０（ａ）は、ＲＧＢの各色成分の点拡がり関数ＰＳＦｃを示す。各色成分の点拡がり関数ＰＳＦｃは、例えば、合焦位置ｚｒを頂点とし、合焦位置ｚｒから光軸（Ｚ軸）に沿って離れるに従って拡がる円錐状の３次元形状を有する。なお、図１０（ａ）では、Ｒ成分の点拡がり関数ＰＳＦｃは実線で示し、Ｂ成分の点拡がり関数ＰＳＦｃは点線で示し、Ｇ成分の点拡がり関数ＰＳＦｃは破線で示す。

カメラＣＡＭの撮影レンズが、例えば、アポクロマートレンズ等の場合、図１０（ａ）に示すように、Ｒ成分とＢ成分との点拡がり関数ＰＳＦｃは、合焦位置ｚｒの付近に頂点が位置する。一方、Ｇ成分の点拡がり関数ＰＳＦｃは、軸上色収差により、Ｒ成分およびＢ成分の点拡がり関数ＰＳＦｃと比べて合焦位置ｚｒより左側（最至近距離側）に位置する。

図１０（ｂ）は、図１０（ａ）に示した点拡がり関数ＰＳＦｃと、図３に示したボケ関数ＰＳＦａを用いて、ＸＹ平面内で２次元コンボリューションした結果、すなわち式（１２）におけるコンボリューション関数ＣＦを示す。図１０（ｂ）に示したコンボリューション関数ＣＦをＺ軸方向に積分したものは、鮮鋭化処理部４０が算出する各色成分のデコンボリューションフィルタＩｐである。図１０（ｂ）では、図１０（ａ）と同様に、Ｒ成分のコンボリューション関数ＣＦは実線で示し、Ｂ成分のコンボリューション関数ＣＦは点線で示し、Ｇ成分のコンボリューション関数ＣＦは破線で示す。

図１０（ｂ）に示すように、Ｒ成分とＢ成分とのコンボリューション関数ＣＦは、点拡がり関数ＰＳＦｃの合焦位置とボケ関数ＰＳＦａの再合焦位置とが、位置ｚｒで一致することから、合焦位置ｚｒから光軸に沿って離れるに従い拡がる円錐状の３次元形状を示す。一方、Ｇ成分のコンボリューション関数ＣＦは、Ｇ成分の点拡がり関数ＰＳＦｃの合焦位置と、ボケ関数ＰＳＦａの再合焦位置とが一致しないことにより、所定の直径のスロートを有する円錐状の３次元形状を示す。

また、合焦位置ｚ１－ｚＮのＮ枚の画像Ｉｍｇの各々は、図１０（ａ）に示した点拡がり関数ＰＳＦｃと同様の軸上色収差を含む。このため、物体が白色の点光源で合焦位置ｚｒにおける点像の場合、式（１４）におけるデコンボリューションにより、ＲＧＢの各色成分の積算画像Ｉｓと、各色成分のデコンボリューションフィルタＩｐとに含まれる軸上色収差が互いに相殺される。これにより、合成画像Ｉａは、白色の点像に戻る。

しかしながら、図１０（ｂ）に示すように、Ｇ成分のコンボリューション関数ＣＦは、Ｒ成分とＢ成分とのコンボリューション関数ＣＦと形状が異なることから、合焦位置ｚｒ以外の位置ｚのボケ像には色付けが残る。例えば、図１０（ｂ）に示すように、Ｒ、Ｂ成分のコンボリューション関数ＣＦは、合焦位置ｚｒより左側（すなわち、最至近距離側）においてＧ成分のコンボリューション関数ＣＦより大きい。このため、式（１４）を用いてデコンボリューションされた合成画像Ｉａの後ボケにはパープルフリンジが生じる。一方、Ｒ、Ｂ成分のコンボリューション関数は、合焦位置ｚｒの右側（すなわち、無限遠側）においてＧ成分のコンボリューション関数ＣＦより小さいため、合成画像Ｉａの前ボケにはグリーンフリンジが生じる。

そこで、ボケ画像における色付けを回避するために、例えば、前処理部１５は、合焦位置ｚｉのＧ成分の画像Ｉｍｇ（ｘ，ｙ，ｚｉ）として、合焦位置ｚ（ｉ－ｊ）のＧ成分の画像Ｉｍｇ（ｘ，ｙ，ｚ（ｉ－ｊ））を用いる（ｉは１からＮの正の整数、ｊは任意の整数）。すなわち、前処理部１５は、軸上色収差の量に合わせて最適な向きに最適な量でＧ成分の画像ＩｍｇをＺ軸方向にずらし（例えば、正の向きに４０μｍ等）、合焦位置ｚｉのＲ、Ｂ成分の画像Ｉｍｇと、合焦位置ｚ（ｉ－ｊ）のＧ成分の画像Ｉｍｇとを用いて、合焦位置ｚｉのＲＧＢの画像Ｉｍｇとする補正処理を実行する。

また、鮮鋭化処理部４０は、合焦位置ｚｉのＧ成分の点拡がり関数ＰＳＦｃ（ｘ，ｙ，ｚｉ）として、合焦位置ｚ（ｉ－ｊ）のＧ成分の点拡がり関数ＰＳＦｃ（ｘ，ｙ，ｚ（ｉ－ｊ））を用い、Ｇ成分の点拡がり関数ＰＳＦｃと、Ｒ、Ｂ成分の点拡がり関数ＰＳＦｃとの合焦位置を合焦位置ｚｒに一致させる補正処理を実行する。

図１１は、図１に示した鮮鋭化処理部４０が図１０（ａ）に示した点拡がり関数ＰＳＦｃに対して合焦位置ｚｉの補正処理を実行した場合のコンボリューションの結果の一例を示す。図１１では、鮮鋭化処理部４０は、補正処理された各色成分の点拡がり関数ＰＳＦｃと、図３に示したボケ関数ＰＳＦａとを用いてＸＹ平面内で２次元コンボリューションした各色成分のコンボリューション関数ＣＦを示す。図１１では、図１０と同様に、Ｒ成分のコンボリューション関数ＣＦは実線で示し、Ｂ成分のコンボリューション関数ＣＦは点線で示し、Ｇ成分のコンボリューション関数ＣＦは破線で示す。図１１に示すように、各色成分において、コンボリューション関数ＣＦは、点拡がり関数ＰＳＦｃの合焦位置ｚｒとボケ関数ＰＳＦａの再合焦位置ｚｒとが一致することから、再合焦位置ｚｒから光軸に沿って離れるに従い拡がるほぼ同じ形状の円錐状の３次元形状を示す。

これにより、合焦位置ｚｒの位置の像に対して、画像処理装置１００は、式（１４）のデコンボリューションにより、ＲＧＢの各色成分において、積算画像ＩｓとデコンボリューションフィルタＩｐとに含まれる軸上色収差を互いに相殺できる。そして、合焦位置ｚｒ以外の位置のボケ像に対してもボケ像はＲＧＢの各色成分で大きさが揃うため、画像処理装置１００は、ボケ像の色付けが低減された合成画像Ｉａを生成できる。一方、合焦位置ｚｒの点光源の像においては、前処理部１５による画像Ｉｍｇに対する合焦位置ｚｉの補正処理と、鮮鋭化処理部４０による点拡がり関数ＰＳＦｃに対する合焦位置ｚｉの補正処理との有無に関わらず、デルタ関数の無収差の合成画像Ｉａが生成される。

図１２は、物体が白色の点光源で合焦位置ｚｒと異なる位置の点像である場合の点拡がり関数ＰＳＦｃ、および点拡がり関数ＰＳＦｃにボケ関数ＰＳＦａをＸＹ平面内で２次元コンボリューションした結果と、軸上色収差との関係の一例を示す。図１２の縦軸は、図１０と同様に、Ｘ軸（またはＹ軸）を示し、図１２の横軸は、Ｚ軸を示す。

図１２（ａ）は、白色の点光源が合焦位置ｚｒより最至近距離側に位置する場合のＲＧＢの各色成分の点拡がり関数ＰＳＦｃを示す。各色成分の点拡がり関数ＰＳＦｃは、例えば、ボケ関数ＰＳＦａの再合焦位置ｚｒより左側（最至近距離側）に頂点を有し、頂点から光軸（Ｚ軸）に沿って離れるに従って拡がる円錐状の３次元形状を有する。なお、図１２（ａ）では、図１０（ａ）と同様に、Ｒ成分の点拡がり関数ＰＳＦｃは実線で示し、Ｂ成分の点拡がり関数ＰＳＦｃは点線で示し、Ｇ成分の点拡がり関数ＰＳＦｃは破線で示す。

図１２（ａ）に示すように、カメラＣＡＭの撮影レンズが、例えば、アポクロマートレンズ等の場合、図１０（ａ）と同様に、Ｒ成分とＢ成分との点拡がり関数ＰＳＦｃは、同じ位置に頂点が位置する。一方、Ｇ成分の点拡がり関数ＰＳＦｃは、軸上色収差により、Ｒ成分およびＢ成分の点拡がり関数ＰＳＦｃと比べて左側（最至近距離側）に位置する。

図１２（ｂ）は、図１０（ｂ）と同様に、図１２（ａ）に示した点拡がり関数ＰＳＦｃと、図３に示したボケ関数ＰＳＦａとを用いて、ＸＹ平面内で２次元コンボリューションした結果を示す。図１２（ｂ）では、図１２（ａ）と同様に、Ｒ成分のコンボリューションの結果は実線で示し、Ｂ成分のコンボリューションの結果は点線で示し、Ｇ成分のコンボリューションの結果は破線で示す。

図１２（ａ）に示すように、点拡がり関数ＰＳＦｃの頂点の位置が、ボケ関数ＰＳＦａの再合焦位置ｚｒより最至近距離側にあり、ボケ関数ＰＳＦａの再合焦位置ｚｒと一致しない。これにより、各色成分のコンボリューションの結果は、直径ＢＤｒ、ＢＤｂ、ＢＤｇのスロートを有する円錐状の３次元形状を示す。すなわち、再合焦位置ｚｒにおいて直径ＢＤｒ、ＢＤｂ、ＢＤｇの大きさのボケが生じる。

なお、Ｒ成分とＢ成分との点拡がり関数ＰＳＦｃの頂点は、互いに同じような位置にあることから、Ｒ成分とＢ成分とのコンボリューションの結果におけるスロートの直径ＢＤｒと直径ＢＤｂとは、互いに略一致する。一方、Ｇ成分の点拡がり関数ＰＳＦｃの頂点が、軸上色収差により、Ｒ成分およびＢ成分の点拡がり関数ＰＳＦｃの頂点より最至近距離側にあることから、Ｇ成分のコンボリューションの結果のスロートの直径ＢＤｇは、直径ＢＤｒ、ＢＤｂより大きくなる。そして、図１０（ｂ）と同様に、式（１４）を用いてデコンボリューションされた合成画像Ｉａの後ボケにはパープルフリンジが生じ、合成画像Ｉａの前ボケにはグリーンフリンジが生じる。

図１３は、図１に示した鮮鋭化処理部４０が図１２（ａ）に示した点拡がり関数ＰＳＦｃに対して合焦位置ｚｉの補正処理を実行した場合のコンボリューションの結果の一例を示す。図１３では、鮮鋭化処理部４０は、補正処理した各色成分の点拡がり関数ＰＳＦｃと、図３に示したボケ関数ＰＳＦａとを用いてＸＹ平面内で２次元コンボリューションした各色成分のコンボリューションした結果を示す。図１３では、図１０と同様に、Ｒ成分のコンボリューションの結果は実線で示し、Ｂ成分のコンボリューションの結果は点線で示し、Ｇ成分のコンボリューションの結果は破線で示す。

図１３に示すように、補正処理された各色成分のコンボリューションの結果は、物体が白色の点光源で合焦位置ｚｒと異なる位置の点像である場合でも、互いに略一致する３次元形状を示す。すなわち、スロートの直径ＢＤｒ、ＢＤｂ、ＢＤｇの大きさが、互いに略一致する。これにより、式（１４）を用いてデコンボリューションされた合成画像Ｉａには、直径ＢＤｒ、ＢＤｂ、ＢＤｇの大きさのボケが残るが、前ボケのグリーンフリンジおよび後ボケのパープルフリンジの発生を回避できる。

一方、合焦位置ｚｒの位置の像に対して、画像処理装置１００は、式（１４）のデコンボリューションにより、ＲＧＢの各色成分において、積算画像ＩｓとデコンボリューションフィルタＩｐとに含まれる軸上色収差を互いに相殺できる。フォーカス位置ではデルタ関数になり、ボケ像はＲＧＢの各色成分で大きさが揃うため、画像処理装置１００は、ボケ像の色付けが低減された合成画像Ｉａを生成できる。

なお、前処理部１５は、合焦位置ｚｒのＧ成分の画像Ｉｍｇを正のＺ軸方向にずらさずに、合焦位置ｚｒのＲ、Ｂ成分の画像Ｉｍｇとともに、合焦位置ｚｒの画像Ｉｍｇとしてもよい。

また、鮮鋭化処理部４０は、合焦位置ｚｒのＧ成分の点拡がり関数ＰＳＦｃをずらさずに、合焦位置ｚｒのＲ、Ｂ成分の点拡がり関数ＰＳＦｃとともに、合焦位置ｚｒの点拡がり関数ＰＳＦｃとしてもよい。この場合、画像処理装置１００は、ディベイヤの際の再合焦位置ｚｒにおけるＲＧＢの色成分のデータの組み合わせが、元の画像Ｉｍｇと変わらないため、合成画像Ｉａにおける解像度の劣化を低減できる。

また、任意の視点、任意のボケ量の画像を得たい場合は、式（１２）を式（１７）に変更する。

ｋｘ、ｋｙは、Ｘ、Ｙ方向に視点をずらす量を決定する定数で、大きい値ほど視点を大きくずらす。式（１７）に示すように、ボケ関数ＰＳＦａによって視点をずらすことができるが、画像Ｉｍｇと点拡がり関数ＰＳＦｃを協調して定数ｋｘ、ｋｙによってＸＹ平面内で移動させることによっても視点をずらすことができる。または、Ｉｓ＿ｓｆｔ側をボケ関数ＰＳＦａのシフト、Ｉｐ＿ｓｆｔ側を点拡がり関数ＰＳＦｃのシフトとしてもよく、その逆とするような入れ子状態にしてもよい。なお、視点の移動量は大きくても点拡がり関数ＰＳＦｃを表す瞳の内側の領域内となる。それ以上の視点移動量では生成画像にノイズが発生する。これにより、任意の視点、任意のフォーカス、任意のボケ量の画像Ｉａ＿ｓｆｔを生成できる。デコンボリューション処理にはデータＩｓ＿ｓｆｔとＩｐ＿ｓｆｔとが用いられる。

任意の視点に任意のボケ量の画像生成によりステレオ化が行える。この場合、視点をずらす量の異なる２画像でステレオ化が行え、３次元被写体の立体視が可能となる。例えば、顕微鏡のＮＡと視点を変えることができ、ステレオ化により三次元観察が行えることが実験により確認された。ステレオ画像の可視化、立体視には市販の３Ｄディスプレイやヘッドマウントディスプレイを用いる。式（１７）で３次元化すると一つのカメラから画像を生成するため多眼カメラを使う場合のレンズディストーション、主点位置、カメラ姿勢のキャリブレーションに起因する誤差が無いため８Ｋ等の多画素の画像でも大変自然な３次元画像が得られる。また、上記誤差がないため計測にも適する。ステレオ画像から３次元点群データに変換する必要がある場合は周知のステレオマッチング手法を用いる。

多眼化が困難な顕微鏡やマクロ写真撮影等の３次元可視化や、一眼カメラのフォーカスブラケッティング撮影の後処理として有効に利用できる。特に、顕微鏡画像の３次元可視化には視差量と観察ＮＡ（ボケ量）を逐次変更することで観察しやすい設定を事後的に見いだせることの利点がある。また、顕微鏡でＮＡ（ボケ量）を変更しても解像力は変わらず、デコンボリューションにより大深度画像においてもより良い解像度が得られる。顕微鏡ではフォーカスブラケッティング撮影は試料台の電動駆動により行う。例えば、６０倍の対物では１００－２００ｎｍステップで２０－３０ステップ、試料に合わせてフォーカスブラケッティング撮影を行う。駆動量が微小なので例えば６０Ｈｚの矩形波で試料台を上下に駆動すればビデオレートで観察することができる。この時の処理はＦＦＴを用いた前途の処理の高速化の方法で行う。場合によってはＧＰＵを用いて処理する。顕微鏡のフォーカス合わせを試料台のほかに光学系のレンズ駆動によって行ってもよいし、液晶レンズ等の光学素子を用いて行ってもよい。

また、最近では回折格子により異なる９つのフォーカスステップの像を常時表示可能なＭＦＭ（multi focus microscopy）という顕微手法もあるのでその画像を用いてもよい。ＭＦＭの場合、実時間、リアルタイムの観察に特に適す。また、顕微鏡の場合、顕微方式（コンフォーカル方式、シート照明方式）によって点拡がり関数ＰＳＦｃが変わるので予め計測またはシミュレーションしたものを用いる。顕微鏡観察の場合、インコヒーレント結像となる蛍光観察画像の画像が特に処理に適している。

図１４（ａ）は左目用のステレオ画像であり、図１４（ｂ）は右目用のステレオ画像である。これらを３ＤディスプレイやＨＭＤで右目には右目用画像を、左目には左目用画像を表示することで立体視が行える。図１４では、被写体は、猿の腎臓のＰＳＣ１細胞の傾向観察画像を示す。撮影条件は、ＮＡ１．２５（水液浸）、フォーカスステップ２４０ｕｍ、センサ上倍率８０倍、ピクセルピッチ６．５ｕｍである。また、任意ボケ、任意視点合成時の設定は、ＮＡ０．５、視差（視点のずらし量）ＮＡ±０．８５相当、合成枚数８０枚で画像合成を行った。ＮＡ０．５相当のボケ関数は、ガウス関数としている。このように、合成時のＮＡ、すなわちボケ量を調整することで見やすい被写界深度（焦点深度）とすることが可能である。このことは、厚み、画面に対して奥行き方向に長い被写体の場合に選択的に見たい部分を観察できて特に有効である。図１４の場合、ボケたところとピントの合ったところがそれぞれの画面内に共存しておりピントの合ったところで立体視がより明確に行える。すなわち、合成時のＮＡを任意に変更することで立体視が明確に行える範囲を任意に変更できることになる。

また、ピントの合ったところで視差がゼロとなっており、ディスプレイ上でフォーカスを結ぶ設定となっている。これは、ディスプレイ上でフォーカスが合い、視差量をゼロとしたのは観察者の目の健康上望ましいと思われるのでそうしているが、当然この条件を変えることも可能である。また、視差量を調整することで立体感の効果、見やすさを調整できる。図１４の被写体の場合、ＮＡを０．１等に絞って合成すると、全体がくっきりピントの合った画像を生成することができる。これは、図１５に示す。図１５では、任意ボケ、任意視点合成時の設定はＮＡ０．１、視差（視点のずらし量）ＮＡ±０．８５相当、合成枚数２０枚で画像合成を行った。全体にピントが合うと立体視可能な奥行きが増え、観察者が立体視すべき情報量が増えるので、場合により注目点以外の情報が注目点の観察の妨げになることもある。その場合は、合成時のＮＡを加減して立体視の範囲を調整することが望ましい。

図１４、図１５の例では、光学系の点拡がり関数ＰＳＦｃとしてフォーカス位置でデルタ関数、そのほかで幾何学的ボケの大きさを示す円板の点像とした。これを実際の収差を含む点像分布関数とすれば、デコンボリューションの際に画像をより鮮鋭化することができる。

また、ステレオ視するための左右の視差画像を生成する際は、例えば、左目用の画像生成は左に視点がずれた画像を生成する。この場合、画像処理の際にリフォーカスの距離を中心に、１画像手前の画像は右に１画素ずらす。２画像手前の画像は２画素右にずらす。３画像手前の画像は３画素右にずらす。反対に、リフォーカスの距離から１画像奥の画像は左に１画素ずらす。２画像奥の画像は左に２画素ずらす、という具合にずらしていく。画像をずらした際のボケ関数ＰＳＦａは、左右にずらす必要はない。

一方、デコンボリューションの際の点拡がり関数ＰＳＦｃは、画像と同様にずらす。すなわち、リフォーカスの距離を中心に、１ステップ手前の点拡がり関数ＰＳＦｃは、右に１画素ずらす。２ステップ手前の点拡がり関数ＰＳＦｃは、２画素右にずらす。３ステップ手前の点拡がり関数ＰＳＦｃは、３画素右にずらす。反対に、リフォーカスの距離から１ステップ奥の点拡がり関数ＰＳＦｃは、左に１画素ずらす。２ステップ奥の点拡がり関数ＰＳＦｃは、左に２画素ずらす、という具合にずらす。点拡がり関数ＰＳＦｃをずらした場合は、デコンボリューション側のボケ関数ＰＳＦａをずらす必要はない。右目用の画像は、上記の反対方向にずらして処理をする。また、ずらし量によって視点の位置が変化する。

ずらすことにより画像の周辺は、重ならなくなる部分ができるが、その部分の画像はカットする。画像のずらす方向は任意で、Ｘ軸方向、Ｙ軸方向、あるいはＸ軸およびＹ軸の両方向にずらしてもよく、何処の視点の画像を生成したいかに応じて決定されるのがよい。

また、視点の変更は、ボケ像を偏らせることにより生成しているのと等価である。任意ボケアルゴリズムがもともとの光学系のＮＡより大きなボケを生成できないのと同じく、視点のずらし量はＮＡの内側までとなる。

例えば、顕微鏡でＮＡ０．７５、ピクセルピッチ４４０ｎｍ、Ｚステップ１０００ｎｍの場合、Ｚ軸方向の１ステップの対物のボケ量は、ｓｉｎΘ＝ＮＡ＝０．７５より、Ｚ軸方向の１ステップの対物のボケ量（直径）は、Ｚステップ×ｔａｎΘ×２＝１０００×１．１３４×２＝２２６８ｎｍで、２２６８／４４０＝５．１５ピクセルである。これにより、ずらし量は、半径方向に±２画素が限界になる。１画素ずらすとＮＡ換算では、０．７５×４４０／１１３４＝０．２９の視点になる。２画素ずらすとＮＡ換算では、０．５８の視点となる。

以上、一実施形態では、ボケ処理部２０は、ボケ関数ＰＳＦａを用いて、画像Ｉｍｇの各々にボケ処理を実行する。鮮鋭化処理部４０は、点拡がり関数ＰＳＦｃとボケ関数ＰＳＦａとのデコンボリューションフィルタを用いて、積算部３０により生成された積算画像Ｉｓに鮮鋭化処理を実行し、合成画像Ｉａを生成する。これにより、画像処理装置１００は、ノイズの発生を抑制して、良好なボケ画像を生成できる。

また、画像処理装置１００は、画像Ｉｍｇがカラー画像の場合、ＲＧＢの各々の色成分毎に画像Ｉｍｇの画像処理を実行する。例えば、前処理部１５は、Ｇ成分の画像Ｉｍｇを正のＺ軸方向にずらし、合焦位置ｚｉのＲ、Ｂ成分の画像Ｉｍｇと、合焦位置ｚ（ｉ－ｊ）のＧ成分の画像Ｉｍｇとを用いて、合焦位置ｚｉの画像Ｉｍｇとする補正処理を実行する。また、鮮鋭化処理部４０は、合焦位置ｚｉのＧ成分の点拡がり関数ＰＳＦｃ（ｘ，ｙ，ｚｉ）として、合焦位置ｚ（ｉ－ｊ）のＧ成分の点拡がり関数ＰＳＦｃ（ｘ，ｙ，ｚ（ｉ－ｊ））を用い、Ｇ成分の点拡がり関数ＰＳＦｃと、Ｒ、Ｂ成分の点拡がり関数ＰＳＦｃとの合焦位置を合焦位置ｚｒに一致させる補正処理を実行する。これにより、画像処理装置１００は、カメラＣＡＭの撮影レンズによる軸上色収差の影響を、合成画像Ｉａから除去できる。

また、画像処理装置１００は、式（１４）を用いた画像処理を、周波数領域で実行してもよい。これにより、画像処理装置１００は、画像処理におけるＦＦＴ処理およびＩＦＦＴ処理の実行回数を減らすことができ、画像処理の高速化を図ることができる。

図１６は、画像処理装置の別の実施形態を示す。

図１６に示した撮像装置２００は、例えば、デジタル一眼レフカメラあるいはデジタルコンパクトカメラ等である。撮像装置２００は、制御部９０、撮影レンズ１１０、絞り１２０、撮像部１３０、フレームメモリ１４０、操作部材１５０、表示部１６０および記憶ＩＦ部１７０を有する。撮影レンズ１１０、絞り１２０、撮像部１３０、フレームメモリ１４０、操作部材１５０、表示部１６０および記憶ＩＦ部１７０の各々は、制御部９０に接続されている。

撮影レンズ１１０は、被写体からの光束を結像する結像光学系であって、例えば、フォーカス調整およびズーム調整が可能な結像光学系である。なお、フォーカス調整は、撮影レンズ１１０の合焦用レンズの位置を制御することにより、合焦位置（合焦している被写体の被写体距離）を調整する。また、ズーム調整は、撮影レンズ１１０の焦点距離（撮像装置２００の画角または撮影倍率）を調整する。また、図１６では、撮影レンズ１１０を１枚のレンズで表したが、複数のレンズで構成されてもよい。

絞り１２０は、制御部９０による制御指示に基づいて口径を変化させることにより、被写体からの光束の露光量を調整する。

撮像部１３０は、撮影レンズ１１０が結像する被写体の像を、制御部９０による制御指示に基づいて撮像し、画像を生成するモジュールである。例えば、撮像部１３０には、光電変換画素を多数配列したカラー撮像素子と、撮像素子が生成する画像信号に対してアナログ信号処理やＡＤ（Analog-to-digital）変換処理等を実行する信号処理回路とを有する。

なお、撮像装置２００が撮像モードに設定されている場合、撮像部１３０は、例えば、解像度が低い被写体の画像（以下、“スルー画像”とも称される）を繰り返し取得する。そして、撮像部１３０は、操作部材１５０を介して、ユーザから撮像指示が入力されたタイミングで、被写体を撮像し画像を生成する。撮像部１３０は、生成した画像をフレームメモリ１４０に出力する。

フレームメモリ１４０は、ＲＡＭ（Random Access Memory）等の揮発性メモリであり、撮像部１３０から受信する画像のデータを一時的に保持する。フレームメモリ１４０は、制御部９０からの制御指示に基づいて、制御部９０に出力する。

操作部材１５０は、例えば、電源スイッチ、レリーズ釦、マルチセレクタ、再生釦あるいはメニュー釦等を含み、ユーザから撮像指示やモード切換指示等の各種の指示を受ける。すなわち、操作部材１５０は、図１に示した入力装置ＩＭとして動作する。なお、表示部１６０の表面にタッチパネルが設けられている場合、タッチパネルが操作部材１５０として動作してもよい。

表示部１６０は、例えば、液晶等のディスプレイである。表示部１６０は、制御部９０による制御指示に基づいて、スルー画像のリアルタイム表示（ライブビュー表示）、あるいは画像Ｉｍｇや画像処理された合成画像Ｉａ等を再生表示する。

記憶ＩＦ部１７０は、制御部９０による制御指示に基づいて、撮像装置２００に装着された記憶媒体１８０に接続し、記憶媒体１８０に対して画像を書き込む。また、記憶ＩＦ部１７０は、制御部９０による制御指示に基づいて、記憶媒体１８０に接続し、記憶媒体１８０から画像を読み出す。

記憶媒体１８０は、可搬かつ不揮発性の記憶媒体であり、例えば、ハードディスクや、半導体メモリを内蔵したメモリカード等である。

制御部９０は、例えば、撮像装置２００に含まれるプロセッサ等である。制御部９０は、撮像装置２００に含まれるメモリ等の記憶部に記憶されたプログラムを実行することにより、撮像装置２００の動作を制御する。例えば、制御部９０は、撮像装置２００が撮像モードの場合、撮像部１３０からのスルー画像を監視して撮影レンズ１１０のフォーカス調整（ＡＦ（Autofocus）制御）を実行する。また、制御部９０は、フレームメモリ１４０から繰り返し取り込まれるスルー画像を監視して撮像部１３０の露出調整（ＡＥ（Automatic Exposure）制御）を実行する。

さらに、制御部９０は、撮像装置２００の記憶部に記憶された画像処理プログラムを実行することにより、図１に示した画像処理装置１００と同様に、式（１４）とＮ枚の画像Ｉｍｇとを用いて合成画像Ｉａを生成する画像処理部１００ａとして動作する。

画像処理部１００ａは、Ｎ個の前処理部１５ａ（１５ａ（１）－１５ａ（Ｎ））、Ｎ個のＦＦＴ部１７（１７（１）－１７（Ｎ））、Ｎ個のボケ処理部２０ａ（２０ａ（１）－２０ａ（Ｎ））、積算部３０ａ、鮮鋭化処理部４０ａおよびＩＦＦＴ部５０を有する。

各前処理部１５ａは、フレームメモリ１４０から受信するＮ枚の画像Ｉｍｇのうちの１枚の画像をそれぞれ受信する。各前処理部１５ａは、図１に示した前処理部１５と同様に、受信した画像Ｉｍｇに付加された撮像情報を参照し、Ｎ枚の画像Ｉｍｇ間の位置合わせおよび倍率の補正等の前処理を実行する。なお、前処理部１５ａが実行する前処理には、位置合わせおよび倍率の補正とともに、ディベイヤやデガンマ等のデジタル現像処理（画像処理）が含まれる。なお、ディベイヤは、カメラＣＡＭにより撮像される画像がベイヤ配列のＲＧＢの色成分を有するカラー画像の場合、Ｒ面、Ｇ面およびＢ面の３面の画像に分解する色補間処理である。

また、前処理部１５ａは、ＦＦＴ部１７がＦＦＴ処理を実行できるように、前処理した画像Ｉｍｇを正方形の画像に変換し、変換した画像ＩｍｇをＦＦＴ部１７に出力する。

なお、前処理部１５ａは、画像Ｉｍｇに付加された撮像情報を参照したが、撮影レンズ１１０、絞り１２０および撮像部１３０に設定された制御値を、撮像情報として制御部９０から取得してもよい。

ＦＦＴ部１７は、前処理部１５ａから受信した画像Ｉｍｇに対してＦＦＴ処理を実行して、空間領域から周波数領域の画像Ｉｍｇのデータに変換する。ＦＦＴ部１７は、変換した画像Ｉｍｇをボケ処理部２０ａに出力する。

ボケ処理部２０ａは、図１に示したボケ処理部２０と同様に、周波数領域に変換された式（１２）等のボケ関数ＰＳＦａを用いて、ＦＦＴ部１７から受信した画像Ｉｍｇにボケ処理（コンボリューション）を実行する。ボケ処理部２０ａは、ボケ処理した画像Ｉｍｇを積算部３０ａに出力する。なお、画像Ｉｍｇがカラー画像の場合、ボケ処理部２０ａは、色成分毎の画像Ｉｍｇにボケ処理を実行する。

なお、前処理部１５ａ、ＦＦＴ部１７およびボケ処理部２０ａの各々は、画像処理部１００ａにＮ個ずつ配置され、Ｎ枚の画像を並列に画像処理することで、合成画像Ｉａの生成処理の高速化を図ることができる。しかしながら、前処理部１５ａ、ＦＦＴ部１７およびボケ処理部２０ａの各々は、画像処理部１００ａに１つずつ配置されてもよい。

積算部３０ａは、図１に示した積算部３０と同様に、ボケ関数ＰＳＦａとコンボリューションされた画像Ｉｍｇを積算し、積算画像Ｉｓを生成する。なお、積算部３０ａは、積算処理を周波数領域で実行する。また、画像Ｉｍｇがカラー画像の場合、積算部３０ａは、色成分毎に積算画像Ｉｓを生成する。

鮮鋭化処理部４０ａは、図１に示した鮮鋭化処理部４０と同様に、式（１４）を用いて、積算部３０ａにより生成された積算画像Ｉｓに鮮鋭化処理（デコンボリューション）を実行し、合成画像Ｉａを生成する。なお、鮮鋭化処理部４０ａは、予め空間領域から周波数領域に変換された式（１４）のＩｐｆ（ωｘ，ωｙ，ｚｒ）^－１を用いる。これにより、画像処理部１００ａの画像処理におけるＦＦＴ処理およびＩＦＦＴ処理の実行回数を減少させることができ、画像処理の高速化を図ることができる。

また、鮮鋭化処理部４０ａは、積算部３０ａとともに、式（１４）における積算画像ＩｓとデコンボリューションフィルタＩｐとの積分を周波数領域で実行することにより、画像処理部１００ａにおけるＦＦＴ処理およびＩＦＦＴ処理の実行回数を減らせ、画像処理の高速化を図ることができる。

また、鮮鋭化処理部４０ａは、画像Ｉｍｇがカラー画像の場合、色成分毎の積算画像Ｉｓに鮮鋭化処理を実行する。

ＩＦＦＴ部５０は、鮮鋭化処理部４０ａにより生成された式（１４）のＩｓｆ（ωｘ，ωｙ，ｚｒ）／Ｉｐｆ（ωｘ，ωｙ，ｚｒ）に対してＩＦＦＴ処理を実行して、空間領域の合成画像Ｉａのデータに変換する。

そして、制御部９０は、例えば、空間領域に変換された合成画像Ｉａを表示部１６０に出力して、合成画像Ｉａを表示部１６０に表示する。また、制御部９０は、空間領域に変換された合成画像Ｉａに、１６ビット等の整数化処理を実行し、ＴＩＦＦ（Tagged Image File Format）等の画像形式に基づいて、合成画像Ｉａの画像ファイルを生成する。そして、制御部９０は、記憶ＩＦ部１７０を介して、生成された画像ファイルを記憶媒体１８０に出力して、記憶媒体１８０に画像ファイルを記憶する。

図１７は、図１６に示した画像処理部１００ａにおける画像処理の一例を示す。図１７に示した処理は、撮像装置２００に含まれる制御部９０が画像処理プログラムを実行することにより実現される。すなわち、図１７は、画像処理プログラムおよび画像処理方法の別の実施形態を示す。なお、図１７に示す処理は、撮像装置２００に搭載されるハードウェアにより実現されてもよい。この場合、図１６に示した前処理部１５ａ、ＦＦＴ部１７、ボケ処理部２０ａ、積算部３０ａ、鮮鋭化処理部４０ａおよびＩＦＦＴ部５０は、撮像装置２００内に配置される回路により実現される。

なお、図１７に示したステップの処理のうち、図４に示したステップと同一または同様の処理を示すものについては、同一のステップ番号を付し、詳細な説明を省略する。

ステップＳ９０では、制御部９０は、操作部材１５０に含まれる設定釦等を介して、合成画像Ｉａを生成する合成画像モードに設定する指示をユーザから受けた場合、合成画像モードに設定する。そして、ステップＳ９０の処理が実行された後、撮像装置２００の処理は、ステップＳ１００およびステップＳ１０５に移る。

ステップＳ１０５では、制御部９０は、操作部材１５０に含まれるレリーズ釦を介して、ユーザより撮像指示を受けたか否かを判定する。撮像指示を受けた場合、撮像装置２００の処理は、ステップＳ１１０に移る。そして、撮像装置２００は、ステップＳ１１０、ステップＳ１２０およびステップＳ１２５の処理を実行する。一方、撮像指示を受けていない場合、撮像装置２００は、撮像指示を受けるまで待機する。

ステップＳ１２５では、ＦＦＴ部１７は、ステップＳ１２０で前処理された画像Ｉｍｇに対してＦＦＴ処理を実行し、周波数領域の画像Ｉｍｇのデータに変換する。そして、撮像装置２００の処理は、ステップＳ１３０、ステップＳ１４０、ステップＳ１５０およびステップＳ１６０に移る。

ステップＳ１６０では、ＩＦＦＴ部５０は、ステップＳ１５０で生成された合成画像Ｉａに対してＩＦＦＴ処理を実行して、空間領域の合成画像Ｉａのデータに変換する。そして、画像処理部１００ａによる画像処理は終了する。

そして、制御部９０は、例えば、空間領域に変換された合成画像Ｉａを表示部１６０に出力して、合成画像Ｉａを表示部１６０に表示する。また、制御部９０は、空間領域に変換された合成画像Ｉａに、１６ビット等の整数化処理を実行し、ＴＩＦＦ等の画像形式に応じた合成画像Ｉａの画像ファイルを生成する。そして、制御部９０は、記憶ＩＦ部１７０を介して、生成された画像ファイルを記憶媒体１８０に出力して、記憶媒体１８０に画像ファイルを記憶する。

以上、別の実施形態では、Ｎ個のボケ処理部２０ａの各々は、ボケ関数ＰＳＦａを用いて、受信した画像Ｉｍｇにボケ処理を実行する。鮮鋭化処理部４０ａは、点拡がり関数ＰＳＦｃとボケ関数ＰＳＦａとのデコンボリューションフィルタを用いて、積算部３０ａにより生成された積算画像Ｉｓに鮮鋭化処理を実行し、合成画像Ｉａを生成する。これにより、画像処理部１００ａは、ノイズの発生を抑制して、良好なボケ画像を生成できる。

また、画像処理部１００ａは、画像Ｉｍｇがカラー画像の場合、ＲＧＢの各々の色成分毎に画像Ｉｍｇの画像処理を実行する。例えば、前処理部１５ａは、図１に示した前処理部１５と同様に、Ｇ成分の画像Ｉｍｇを正のＺ軸方向にずらし、合焦位置ｚｉのＲ、Ｂ成分の画像Ｉｍｇと、合焦位置ｚ（ｉ－ｊ）のＧ成分の画像Ｉｍｇとを用いて、合焦位置ｚｉの画像Ｉｍｇとする補正処理を実行する。また、鮮鋭化処理部４０ａは、図１に示した鮮鋭化処理部４０と同様に、合焦位置ｚｉのＧ成分の点拡がり関数ＰＳＦｃ（ｘ，ｙ，ｚｉ）として、合焦位置ｚ（ｉ－ｊ）のＧ成分の点拡がり関数ＰＳＦｃ（ｘ，ｙ，ｚ（ｉ－ｊ））を用い、Ｇ成分の点拡がり関数ＰＳＦｃと、Ｒ、Ｂ成分の点拡がり関数ＰＳＦｃとの合焦位置を合焦位置ｚｒに一致させる補正処理を実行する。これにより、画像処理部１００ａは、撮影レンズ１１０による軸上色収差の影響を、合成画像Ｉａから除去できる。

また、ボケ処理部２０ａ、積算部３０ａおよび鮮鋭化処理部４０ａの各々は、周波数領域で処理を実行する。これにより、画像処理部１００ａは、ＦＦＴ部１７のＦＦＴ処理とＩＦＦＴ部５０のＩＦＦＴ処理との２つにすることができ、処理の高速化を図ることができる。

また、撮像装置２００は、Ｎ個の撮影レンズ１１０、Ｎ個の絞り１２０、Ｎ個の撮像部１３０およびＮ個のフレームメモリ１４０を有する多眼カメラでもよい。これにより、撮像装置２００は、Ｎ個の撮像部１３０の各々において、互いに共通の合焦位置で同じ被写体を１回のシャッタ操作により、Ｎ枚のカメラ面視差画像を撮像できる。撮像装置２００は、例えば、特開２０１３－２６８４４号公報等に示される合成開口法をＮ枚のカメラ面視差画像に実行し、互いに合焦位置が異なり視点が共通である複数の画像Ｉｍｇに変換する。これにより、撮像装置２００は、１回のシャッタ操作により互いに合焦位置が異なり視点が共通である画像Ｉｍｇを取得でき、合焦状態が異なる複数の画像Ｉｍｇを取得するのにかかる時間を短縮できる。なお、合焦位置は、式（１）を用いて像面視差Ｄが等間隔となるように決定される。

また、撮像装置２００は、Ｎ個の撮像部１３０の各々において、互いに共通の合焦距離で同じ被写体を１回のシャッタ操作で撮像できることから、単眼カメラと比べて、動いている被写体の合成画像Ｉａを容易に生成できる。

図１８は、図１６に示した撮像装置２００が多眼カメラの場合の一例を示す。

図１８に示した撮像装置２００は、カメラボディ２１０の前面に複数の撮影開口２２０を有する。複数の撮影開口２２０の各々は、円形の形状を有し、カメラボディ２１０の前面に環状に配列されている。なお、複数の撮影開口２２０は、カメラボディ２１０の前面にマトリックス状に設置されてもよい。

複数の撮影開口２２０の各々には、互いに平行な光軸を有する撮影レンズ１１０が設置される。この場合、撮像装置２００は、複数の撮影レンズ１１０の各々に対応して、絞り１２０、撮像部１３０およびフレームメモリ１４０が配置される。また、撮像装置２００のカメラボディ２１０の上面には、レリーズ釦１５１および電源スイッチ１５２が配置される。例えば、撮像装置２００が合成画像モードに設定され、レリーズ釦１５１に対する１回のシャッタ操作が行われた場合、制御部９０は、複数の撮影レンズ１１０の各々を介して撮像された複数の画像のデータを同時に取得する。制御部９０は、特開２０１３－２６８４４号公報等に示される手法を用いて、互いに視点の異なる複数の画像から互いに合焦位置の異なる複数の画像Ｉｍｇを生成する処理を実行する。そして、制御部９０は、画像処理部１００ａに対して、生成した複数の画像Ｉｍｇから合成画像Ｉａを生成する画像処理を実行させる。

また、撮像装置２００は、撮影レンズ１１０の前面にプリズムを配置し、撮像部１３０の光軸をプリズムで移動（回転）させる単眼カメラでもよい。

図１９は、図１６に示した撮像装置２００に配置されるプリズムの一例を示す。

図１９に示すように、撮像装置２００の撮影レンズ１１０と被写体との間に、点線で示す撮像部１３０の光軸の周りを回転可能なプリズム１９０が配置される。そして、プリズム１９０とカメラボディ２１０との間には、カメラボディ２１０に対してプリズム１９０を回転させるための回転機構（不図示）が設けられる。

図１９に示したプリズム１９０は、互いに平行な反射面１９５ａ、１９５ｂが設けられたロンボイドプリズムである。一点破線で示した被写体からの光束は、プリズム１９０の一方の反射面１９５ａへ入射角度４５度で入射し、反射面１９５ａを反射した後、プリズム１９０の反射面１９５ｂへ入射角度４５度で入射する。そして、被写体の光束は、反射面１９５ｂを反射し、撮像部１３０の光軸に沿って進行し、撮影レンズ１１０へ入射する。

これにより、被写体から見た光軸は、撮像部１３０の光軸から所定距離ｒだけシフトし、プリズム１９０の回転に伴い撮像部１３０の光軸の周りを回転する。

例えば、撮像装置２００が合成画像Ｉａの生成モードに設定され、レリーズ釦１５１に対する１回のシャッタレリーズ操作が行われた場合、制御部９０は、回転機構を制御して、プリズム１９０を回転させる。制御部９０は、プリズム１９０の回転角に応じて、撮影レンズ１１０を介して撮像される画像の視点を制御し、撮像部１３０に撮像動作を実行させる。すなわち、制御部９０は、プリズム１９０が１回転する間に、Ｎ枚の視差画像のデータを取得する。そして、制御部９０は、特開２０１３－２６８４４号公報等に示される手法を用いて、Ｎ枚の視差画像から互いに合焦位置の異なる複数の画像Ｉｍｇを生成する処理を実行する。そして、制御部９０は、画像処理部１００ａに対して、生成した複数の画像Ｉｍｇから合成画像Ｉａを生成する画像処理を実行させる。

なお、プリズム１９０が回転している間、撮像部１３０に含まれる撮像素子に結像する被写体像の向きは、不変である。

また、プリズム１９０が回転している間、プリズム１９０の回転中心軸の位置および姿勢は、地球に対して不動であることが好ましい。あるいは、プリズム１９０が回転している間、プリズム１９０の回転中心軸の位置誤差および姿勢誤差は、実測されることが好ましい。例えば、撮像装置２００は、姿勢センサ（ジャイロセンサ）、変位センサ（加速度センサ）、位置センサ（ＧＰＳセンサ）等を搭載してサークルスキャン中における回転中心軸の位置誤差および姿勢誤差を検知する。そして、前処理部１５ａの各々は、サークルスキャン中に取得された画像Ｉｍｇから、位置誤差および姿勢誤差に起因した画像ブレを補正するのが好ましい。

また、図１９に示したプリズム１９０の回転は、自動（電動）で行われても手動で行われてもよい。自動で行われる場合、例えば、不図示の回転機構に対してモータが接続される。

ここで、上述の実施形態では、座標系ＸＹＺにおいて、光軸方向をＺ軸とし、Ｚ軸方向の任意の合焦位置におけるＸＹ平面上の合成画像を生成する場合について説明したが、Ｘ軸方向の任意の合焦位置におけるＹＺ平面上の合成画像、Ｙ軸方向の任意の合焦位置におけるＸＺ平面上の合成画像についてもそれぞれ生成することができる。さらに、座標系ＸＹＺを回転させた任意の座標系Ｘ’Ｙ’Ｚ’における合成画像についても生成することができる。座標系ＸＹＺを回転することに加えて座標系ＸＹＺを平行移動させることにより、任意の座標系Ｘ’Ｙ’Ｚ’を形成してもよい。

図２０は、三次元座標上での物体の直方体データとボケ関数の一例を示す。図２０（ａ）は、三次元の座標系ＸＹＺに置かれた物体の直方体データの例である。このような三次元形状の物体に対して、先の実施形態で説明した方法でＸ軸、Ｙ軸およびＺ軸の各方向におけるボケ関数をそれぞれ適用することにより、Ｘ軸、Ｙ軸およびＺ軸の三方向から観察する任意の位置における合成画像を生成することができる。例えば、図２０（ｂ）は、Ｚ軸方向の任意の位置におけるＸＹ面を観察面とする合成画像を生成するときのボケ関数の一例を示し、先の実施形態で説明した図３に対応する。また、図２０（ｃ）は、Ｘ軸方向の任意の位置におけるＹＺ面を観察面とする合成画像を生成するときのボケ関数の一例を示す。さらに、図２０（ｄ）は、Ｙ軸方向の任意の位置におけるＸＺ面を観察面とする合成画像を生成するときのボケ関数の一例を示す。

図２１は、ＸＹ面、ＹＺ面およびＸＺ面の元画像と合成画像の一例を示す。図２１（ａ）は、ＸＹ面、ＹＺ面およびＸＺ面の元画像の一例を示し、図２１（ｂ）は、図２１（ａ）の元画像に対して、本実施形態の任意ボケアルゴリズムを適用して生成したＸＹ面、ＹＺ面およびＸＺ面の各々における合成画像の一例を示す。図２１（ｂ）において、（Ａ）は交点Ｐ１を通るＸＹ面の合成画像、（Ｂ）は交点Ｐ１を通るＹＺ面の合成画像、（Ｃ）は交点Ｐ１を通るＸＺ面の合成画像、をそれぞれ示している。図２１（ｂ）において、例えば、ＸＹ面上の点Ｐ１をＸ軸方向（紙面の左右方向）の任意の位置に移動させると、ＹＺ面の合成画像がＸ軸方向の位置に応じて変化する。同様に、ＸＹ面上の点Ｐ１をＹ軸方向（紙面の上下方向）の任意の位置に移動させると、ＸＺ面の合成画像がＹ軸方向の位置に応じて変化する。また、ＹＺ面上の点Ｐ１をＺ軸方向（紙面の左右方向）の任意の位置に移動させると、ＸＹ面の合成画像がＺ軸方向の位置に応じて変化する。同様に、ＸＺ面上の点Ｐ１をＺ軸方向（紙面の上下方向）の任意の位置に移動させると、ＸＹ面の合成画像がＺ軸方向の位置に応じて変化する。

このようにして、図２０で説明した任意のボケ関数を用いて、Ｘ軸、Ｙ軸およびＺ軸の各方向の任意の位置におけるＹＺ面、ＸＺ面およびＸＹ面の合成画像を生成して表示することができる。

［任意の観察方向における合成画像の生成］
次に、図２０に示した座標系ＸＹＺを各軸方向に任意の角度で回転、平行移動させた座標系Ｘ’Ｙ’Ｚ’における合成画像を生成する方法について説明する。

図２２は、応用例の画像処理装置１００Ａの一例を示す。なお、図２２において、図１と同符号のブロックは、図１と同様の処理を行う。図２２と図１の違いは、前処理部１５とボケ処理部２０との間に回転処理部１６を備えることである。

ここで、画像処理装置１００Ａは、図１の画像処理装置１００と同様に、プロセッサ等の演算処理装置およびハードディスク装置等の記憶装置を含むコンピュータ装置である。例えば、画像処理装置１００Ａの演算処理装置は、画像処理装置１００Ａの記憶装置に記憶される画像処理プログラムを実行することで、前処理部１５、ボケ処理部２０、積算部３０、鮮鋭化処理部４０および回転処理部１６として機能する。

図２２において、ＩＦ部１０および前処理部１５は、図１の画像処理装置１００と同様に動作し、画像処理装置１００Ａでは、前処理部１５が前処理した複数の画像は、回転処理部１６に出力される。

回転処理部１６は、前処理部１５により前処理された座標系ＸＹＺ上の複数の画像をＸ軸、Ｙ軸およびＺ軸の各軸において任意の角度で回転、平行移動させて座標系Ｘ’Ｙ’Ｚ’のデータに変換する処理を行う。なお、回転処理部１６の処理は、後で詳しく説明する。

ボケ処理部２０は、回転処理部１６により回転、平行移動された複数の画像を受け取り、入力装置ＩＭを介して、ユーザにより指示された再合焦位置および絞り値（ＮＡ）に応じたボケの度合いで、回転処理後の複数の画像の各々にボケ処理を実行する。なお、ボケ処理部２０の動作については、図２および図３で説明した通りである。

積算部３０および鮮鋭化処理部４０は、図１の画像処理装置１００と同様に動作し、画像処理装置１００Ａでは、回転処理後の複数の画像の各々に実行されたボケ処理におけるボケの度合いと、カメラＣＡＭに含まれる撮影レンズ等の光学特性とに基づいて、積算画像に鮮鋭化処理を実行し、鮮鋭化された積算画像を、指示された再合焦位置および絞り値の合成画像として生成する。

このようにして、本応用例の画像処理装置１００Ａは、座標系ＸＹＺを各軸方向に任意の角度で回転、平行移動させた座標系Ｘ’Ｙ’Ｚ’における合成画像を生成することができる。

次に、回転処理部１６が行う処理について詳しく説明する。

図２３は、座標系ＸＹＺを回転、平行移動させた座標系Ｘ’Ｙ’Ｚ’の一例を示す。図２３（ａ）は、座標系ＸＹＺにおける観察対象の物体の直方体データ（物体直方体データ）を示し、図２３（ｂ）は、Ｚ軸方向が光軸のＰＳＦ直方体データの一例を示す。そして、図２３（ａ）および図２３（ｂ）に示す座標系ＸＹＺ上の物体直方体データおよびＰＳＦ直方体データを任意の方向に回転させて、図２３（ｃ）および図２３（ｄ）に示す座標系Ｘ’Ｙ’Ｚ’における回転、平行移動後の物体直方体データおよび回転、平行移動後のＰＳＦ直方体データに変換する。これにより、任意の観察方向から三次元形状の物体の合成画像の生成が可能になる。なお、図２３では、物体直方体データとＰＳＦ直方体データは座標系ＸＹＺの原点から離れて描かれているが、実際の計算では３次元のＰＳＦ直方体データの焦点を座標系ＸＹＺの原点に位置させて回転させ、３次元の物体直方体データの中心を座標系ＸＹＺの原点に位置させて回転させる。

ここで、回転前の座標系ＸＹＺ上の座標（ｘ，ｙ，ｚ）をＸ軸、Ｙ軸、Ｚ軸の各軸において回転させる角度のパラメータがそれぞれφ、θ、ψ、平行移動させるパラメータがｔｘ、ｔｙ、ｔｚである場合、回転、平行移動後の座標系Ｘ’Ｙ’Ｚ’上の座標を（ｘ’，ｙ’，ｚ’）とすると、変換後の座標は、アフィン変換により式（１８）で表すことができる。

なお、上述の式（１８）は、Ｘ軸周り，Ｙ軸周り，Ｚ軸周りの順で回転した場合の例である。

図２３（ｃ）および図２３（ｄ）において、回転、平行移動後の物体直方体データおよび回転、平行移動後のＰＳＦ直方体データは、図２３（ａ）および図２３（ｂ）に示す物体直方体データおよびＰＳＦ直方体データをＸＹ面、ＹＺ面、ＸＺ面にそれぞれ平行な複数の平面で等間隔にスライスして得られる交点のデータに基づいて補間処理を行って生成する。なお、補間方法は、Trilinear interpolation、Tricubic interpolation、nearest neighborなど周知の方法を用いることができる。

このようにして得られた回転後の物体直方体データおよび回転後のＰＳＦ直方体データに基づいて、Ｘ’軸、Ｙ’軸およびＺ’軸を観察方向とするＸ’Ｙ’面、Ｙ’Ｚ’面およびＸ’Ｚ’面の各観察面における合成画像を生成することができる。なお、Ｘ’Ｙ’面、Ｙ’Ｚ’面およびＸ’Ｚ’面の各観察面の合成画像を生成するときに用いるボケ関数は、Ｘ’Ｙ’面、Ｙ’Ｚ’面およびＸ’Ｚ’面の各観察面に垂直な軸を光軸とみなしたボケ関数を用いることにより、先の実施形態と同様の手法で求めることができる。具体的には、座標系Ｘ’Ｙ’Ｚ’の各軸のうち観察方向をＺ’軸とする。観察者の左右の目の方向をＸ’軸とする。Ｘ’軸とＺ’軸に直交する軸をＹ’軸とする。この新たな座標系Ｘ’Ｙ’Ｚ’にて式（１７）を用いることで自由な視点かつ任意の深度でステレオ化された画像を生成可能である。

［顕微鏡の高速Ｚスキャン］
顕微鏡やデジカメなどの光学機器でＺスキャンを高速で行うのは先に述べたＺステージを高速に移動させるほかに、例えばＴＡＧレンズ（登録商標）などとして市販されている、焦点距離可変液体レンズを用いても良い。焦点距離可変液体レンズは、液体レンズに６０ｋＨｚから最大１ＭＨｚの一定の周波数の超音波をかけることにより、液体レンズの中心に動的な濃度変化ひいては屈折率変化を発生させ、その結果、焦点距離を高速で変化させるものである。焦点距離可変液体レンズを利用すればメカニカルな動きを一切介せずに、超音波アクチュエータへの入力電圧と共振周波数のコントロールのみで焦点距離、ひいては焦点位置を１μｓｅｃ以下の高速で可変できる光学系を構成可能である。このような高速のＺスキャン光学系を有する顕微鏡を用い、任意ボケアルゴリズムで合成することでほぼリアルタイムの観察が３Ｄで行えるようになる。

［観察画像の３Ｄ表示］
次に、観察画像を３Ｄ表示する応用例について説明する。

図２４は、共焦点フィルタのボケ関数による視差なし画像の合成例を示す。図２４（ａ）は、ｍｕｌｔｉ ｐｈｏｔｏｎ顕微鏡により、標本（脳オルガノイド透明化標本）を１０μｍ間隔でスライスして撮影した複数枚の画像の中の１枚の元画像である。図２４（ｂ）は、先の実施形態で説明した任意ボケアルゴリズムを適用し、焦点深度を拡大する共焦点フィルタ（ＣＦ（コンフォーカル））でＮＡ＝０．１（以降、ＣＦ＿ＮＡ０．１と記載）にて合成した視差なしの合成画像の一例を示す。ここで、ｍｕｌｔｉ ｐｈｏｔｏｎ顕微鏡の場合、撮影された元画像の焦点深度は浅いのが一般的であるが、本実施形態の任意ボケアルゴリズムの適用により、任意のＮＡに設定できるので、焦点深度を拡大した合成画像を生成して観察することができる。

また、式（１７）、図１４および図１５で説明したように、本実施形態に係る画像処理装置１００および画像処理装置１００Ａは、任意の視点から見たときの視差画像を生成できるので、３Ｄ表示するための右目用と左目用の合成画像をそれぞれ生成することができる。

ここで、３Ｄ表示する際の最大視差量は健康上の制約がある。２０１０年４月の３Ｄコンソーシアム安全ガイドライン部会によれば、標準観視距離（テレビの画面高さの３倍距離）において鑑賞する場合、表示ディスプレイの水平方向の長さの最大で３％以内の両眼視差とすることが求められている。つまり、左右眼の最大視差はそれぞれ１．５％以内となる。例えば、ハイビジョンテレビ（１６：９）規格のディスプレイの場合、１９２０×１０８０の解像度であるので、１９２０＊１．５％＝２８．８画素程度の視差に抑える必要がある。ここで、＊は乗算を意味する。

３Ｄ表示する場合の奥行表示の属性として、（１）「奥行表示範囲」、（２）「奥行表示深度」、（３）「奥行焦点深度」を定義する。属性（１）はデータの奥行方向の範囲を示し、ボケカーネル（ボケ関数に相当）によって変化しない。例えば２８画素の視差の範囲で、フォーカススタックデータ（Ｚ軸方向に位置が異なる複数の画像）のｚステップ（Ｚ軸方向の画像の間隔（ｄｚ））が１５０ｎｍであって、フォーカススタックデータ１枚当たり、１画素のシフトを与える場合、「奥行表示範囲」は焦点がディスプレイ面とした場合、その前後方向で±２８枚つまり（１５０ｎｍ）＊（±２８枚）＝±４２００ｎｍとなる。属性（２）の「奥行表示深度」は属性（１）の範囲内であって、任意ボケアルゴリズムで処理された後に実際に目視可能な明るさのある範囲を示す。これはボケカーネルの種類、ＮＡによって変化する。また、明るさのパラメータ（γ値、コントラスト、明るさなど）によっても変化する。ボケカーネルの種類は通常のコンベンショナルのＰＳＦ、コンフォーカルのＰＳＦ、その他ユーザーが任意に設定可能である。コンベンショナルのＰＳＦによるボケカーネルは回折、収差なしの幾何光学ボケカーネルである。これは光軸に直交する断面が均一な円で表される関数となり、この関数は、円の半径は焦点からの距離をｄｚ、開口数をＮＡとすると、ｄｚ＊ｔａｎ（ａｓｎ（ＮＡ））となる。また、ＰＳＦの強度は円の面積で正規化する。ここで、コンフォーカルのＰＳＦはコンベンショナルのＰＳＦの２乗で表される。このためコンフォーカルのＰＳＦは焦点から外れると急激に強度が低下し、属性（２）の「奥行表示深度」が焦点位置から狭い範囲に限られる傾向となる。ボケカーネルの種類をコンフォーカルとすることで焦点位置付近に特化した観察が容易に行える。また、コンフォーカルボケのＮＡを小さくすることで、解像度を劣化することなしに「奥行表示深度」を増加させることができる。対物レンズのＮＡを小さくすると解像限界が落ちて解像度が劣化するが、ボケカーネルのＮＡを小さくしても解像度は劣化しない。属性（３）の焦点深度は通常の意味での焦点深度で、２点が分離可能な範囲を示す。これはボケカーネルのＮＡに依存し、ＮＡが大きいほど焦点深度は浅くなる。コンベンショナルＰＳＦのボケカーネルを用いた場合、ボケカーネルのＮＡを大きくすると、焦点深度は浅くなるが、コンフォーカル顕微鏡のようなピンフォール効果がないので、「奥行表示深度」はかなり深く、これがフレアーとなり、試料によっては観察しにくくなる場合がある。コンフォーカルＰＳＦのボケカーネルを用いて高ＮＡのボケカーネルとした場合、焦点深度も浅く、「奥行表示深度」も浅くなるので、フレアーの少ない鮮明な観察が行える。コンフォーカルＰＳＦのボケカーネルを用いて低ＮＡのボケカーネルとした場合、焦点深度も深く、「奥行表示深度」も深くなるので、フレアーの少ない鮮明な高深度観察が行える。さらにユーザー定義のボケカーネルとして、コンベンショナルのＰＳＦの３乗、４乗、ｎ乗のカーネルを準備すれば、さらにフレアーの少ない観察が行える。

（３Ｄ表示する場合の奥行表示の各属性のパラメータ設定方法）
まず、属性（１）の最大視差量はディスプレイ上の最大表示倍率にて決定する。蛍光顕微鏡の場合、顕微鏡解像度λ／２ＮＡ（ＮＡは対物レンズのもの）とナイキスト条件からλ／４ＮＡ（ＮＡは対物レンズのもの）の画素ピッチでデータを取得することが一般的である。観察する場合、等倍表示（表示素子１ピクセルに撮像素子１ピクセルを対応させて表示するという意味。観察対象物体のディスプレイ上での拡大倍率ではない。）で光学解像限界まで観察することが可能となる。したがって、標準観視距離でディスプレイを鑑賞する場合、等倍が実質的な最大観察倍率となる。この条件で属性（１）の最大視差量が決まる。フォーカススタックデータのｚステップが１５０ｎｍであって、フォーカススタックデータ１枚当たり、１画素のシフトを与える場合、「奥行表示範囲」は（１５０ｎｍ）＊（±２８枚）＝±４２００ｎｍとなる。

次に、ボケカーネルの種類、ボケカーネルのＮＡを適宜選んで、属性（２）、属性（３）を観察上最適となるように決定する。この際、ボケカーネルの強度が焦点にくらべて所定の値（例えば焦点の強度の１％）以下になる範囲を属性（２）の範囲と定義すれば、ボケカーネルの種類と「奥行表示範囲」が決まり、「奥行表示範囲」内で収まる最適なボケ像強度を与えるボケカーネルのＮＡは計算できる。

また、表示倍率を低下させていくと、等倍で画面の幅の１．５％、１９２０＊１．５％から２８画素の視差を設定して計算したものが、表示倍率５０％では１９２０＊１．５％＊５０％＝１４画素の視差となるので、健康上問題なく表示可能な視差量は等倍換算で５６画素まで視差を与えられることになり、フォーカススタックデータのｚステップが１５０ｎｍであって、フォーカススタックデータ１枚当たり、１画素のシフトを与える場合、「奥行表示範囲」は焦点がディスプレイ面とした場合、（１５０ｎｍ）＊（±５６枚）＝±８４００ｎｍとなる。このように表示倍率に応じて「奥行表示範囲」を自動で変えるようにしても良い。

また、ボケカーネルの種類はユーザー定義も可能とし、例えばコンベンショナルＰＳＦの３乗や４乗のボケカーネルを定義する。これらはより狭い表示深度、を実現させる。

＜Ｘ，Ｙ，Ｚの３Ｄステレオ表示倍率を１：１：１とする条件＞
健康上の理由から視差の設定を画面幅の３％以下で画像生成する条件であっても、前後方向の奥行幅はディスプレイの幅を上回るので、Ｘ，Ｙ，Ｚの３Ｄステレオ表示倍率を１：１：１とすることが余裕をもって実現可能である。実験によれば、神経細胞などの形状認識を行う場合、Ｘ，Ｙ，Ｚの３Ｄステレオ表示倍率を１：１：１とすると、あたかも手に取るように、立体形状を良好に認識できることを確認できた。

人間の目の瞳孔間間隔ＩＰＤ、眼とディスプレイまでの距離（視距離）をＬとすると、ディスプレイ中心への輻輳角α（ディスプレイ上の注目点と両目のなす角）との関係は式（１９）となる。なお、ＩＰＤは平均６５ｍｍ、Ｌは２６インチディスプレイで１０００ｍｍ程度である。
ＩＰＤ／２＝Ｌ＊ｔａｎ（α／２） …（１９）
Ｘ，Ｙ，Ｚの３Ｄステレオ表示倍率を１：１：１とするには、ディスプレイの視差方向の画素サイズＰｘのときに視差一画素当たりのデフォーカスピッチｄｆｃｓが式（２０）でＺ相対倍率Ｍｚ＝１として与えられる量として、視差一画素当たりのデフォーカスピッチｄｆｃｓの割合で画像の横ずらしを与えて、任意ボケアルゴリズムにて画像合成すればよい。（この場合、視差一画素に満たないデフォーカスピッチの画像データは間引きされ、合成に用いられないことになる。）視差１画素当たりのデフォーカスピッチｄｆｃｓは式（２０）で示される。
ｄｆｃｓ＝Ｐｘ／ｔａｎ（α／２）／Ｍｚ …（２０）
例えば、後述する図３１に示されるように、設定パラメータ画面にＺ相対倍率Ｍｚを表示、入力可能とすることが望ましい。その場合、瞳孔間間隔、ディスプレイのサイズ、視距離、画素ピッチの情報も入力できるようにする（不図示）。ここで、本実施形態では、Ｚ軸方向が奥行き方向に対応するので、以降の説明においてＺ相対倍率Ｍｚを奥行相対倍率Ｍｚと称する。

（座標系ＸＹＺの目盛り付き立体表示）
物体、試料の寸法測定のために、目盛り付きの座標系ＸＹＺを立体表示することが望ましい。これを実現するには、目盛り付きの座標系ＸＹＺの３次元データ（ＺをパラメータとしたＸＹ２次元画像をスタックしたいわゆるＺスタックデータまたはフォーカススタックデータ。座標のみの画像で、観察対象の情報は含まない。）を右目用、左目用に同じものを準備し、フォーカススタックデータの各Ｚ値のＸＹ画像１枚につき右目用、左目用としてＸ方向に互いに異なる方向にＺに比例した画素ずつずらす。これらをＺ軸方向に積分すれば、立体表示可能な右目用、左目用の画像データとなる。奥行相対倍率Ｍｚは物体表示と同じ値にするので、視差１画素当たりのｚステップ量も物体表示のｄｆｃｓと同じにする。これらの画像データを任意ボケアルゴリズムで合成した物体の右目用、左目用の画像データにそれぞれ足し合わせれば、目盛り付きの座標系ＸＹＺを物体と一緒に立体表示できる画像となる。目盛り付きの座標系ＸＹＺの３次元データの原点および目盛りの間隔をカーソルまたはキーボード入力で変更できるようにすることが望ましい。目盛り付きの座標系ＸＹＺは、物体の回転後の方向を常に表示しても良いし、常に回転前の方向を表示しても良い。

（カーソルによる物体の回転）
カーソルのドラッグにより物体を回転、シフトを押しながら平行移動としても良い。

［視差画像の生成例］
図２５は、コンフォーカル顕微鏡の無収差回折無しの点像強度分布にボケ関数を適用した観察者の左右両眼の方向をＸ方向（紙面水平方向）とした視差画像の生成例を示す。図２５（ａ）は、図２４（ｂ）に示したＮＡ：０．１の視差なしの合成画像である。ここで、３Ｄ画像としてステレオ視するためには、左右の視差画像を生成する必要がある。例えば、左目用の画像は、左に視点がずれた画像を合成することで生成できる。この場合、先の実施形態で説明したように、式（１７）によって計算する。式（１７）の合成画像を生成する際にリフォーカスの距離を中心に、１画像手前の画像は右に例えば１画素ずらし、２画像手前の画像は例えば２画素右にずらし、３画像手前の画像は例えば３画素右にずらす処理を順番に行う。反対に、リフォーカスの距離から１画像奥の画像は左に例えば１画素ずらし、２画像奥の画像は左に例えば２画素ずらし、３画像奥の画像は左に例えば３画素ずらす処理を順番に行う。ここで、左右のずらす方向はデータの奥行方向に応じて見え方が正しい方向に決定する。逆になると凸形状が凹形状になる。なお、画像をずらした際にはボケ関数ＰＳＦａは左右にずらす必要はない。このようにして、図２５（ａ）のＣＦ＿ＮＡ０．１の視差なし画像から図２５（ｂ）に示すＣＦ＿ＮＡ０．１左目画像を生成することができる。同様に、右目用の画像は、右に視点がずれた画像を生成する。この場合、画像処理の際にリフォーカスの距離を中心に、１画像手前の画像は左に例えば１画素ずらし、２画像手前の画像は例えば２画素左にずらし、３画像手前の画像は例えば３画素左にずらす処理を順番に行う。反対に、リフォーカスの距離から１画像奥の画像は右に例えば１画素ずらし、２画像奥の画像は右に例えば２画素ずらす処理を順番に行う。このような操作により、３次元データに対して観察方向Ｚ軸に直交するＸＹ面内で観察者の左右両眼の方向Ｘ軸に沿って、リフォーカスの距離を中心に、Ｚ軸に比例した横ずらし（シアー）を与えることになる。なお、右目用画像と同様に、画像をずらした際にはボケ関数ＰＳＦａは左右にずらす必要はない。このようにして、式（１７）に沿って計算することで、図２５（ａ）のＣＦ＿ＮＡ０．１の視差なし画像から図２５（ｃ）に示すＣＦ＿ＮＡ０．１右目画像を生成することができる。

図２６は、落射型顕微鏡の無収差回折無しの点像強度分布をボケ関数として適用した合成画像の一例を示す。なお、図２６（ａ）は、図２４（ａ）に対応する元画像である。図２６（ｂ）は、先の実施形態で説明した任意ボケアルゴリズムを適用し、落射型広視野顕微鏡のボケ関数（Ｃｏｎｖ（コンベンショナル））を再現しＮＡ＝０．１（以降、Ｃｏｎｖ＿ＮＡ０．１と記載）にて合成した視差なしの合成画像の一例である。図２６（ｂ）は、図２５（ｂ）と同じ方法により生成して、観察者の左右両眼の方向をＸ方向（紙面水平方向）とした、左目画像（Ｃｏｎｖ＿ＮＡ０．１）の一例である。同様に、図２６（ｃ）は、図２５（ｃ）と同じ方法により生成した右目画像（Ｃｏｎｖ＿ＮＡ０．１）の一例である。

図２７は、ＸＺ面の視差画像の生成例を示す。なお、図２７に示したＸＺ面の画像は、図２１のＸＺ面の画像を９０度回転させて表示したものである。図２７（ａ）は、図２１（ａ）に示したＸＺ面の元画像であり、図２７（ｂ）は、図２５（ａ）と同様に、焦点深度を拡大する共焦点フィルタ（ＣＦ）でＮＡ＝０．２５（以降、ＣＦ＿ＮＡ０．２５と記載）にて合成した視差なしの合成画像の一例である。また、図２７（ｃ）は、図２５（ｂ）と同じ方法により生成して、観察者の左右両眼の方向をＺ方向（紙面水平方向）とした、左目画像（Ｃｏｎｖ＿ＮＡ０．２５）の一例である。同様に、図２７（ｄ）は、図２５（ｃ）と同じ方法により生成した右目画像（Ｃｏｎｖ＿ＮＡ０．２５）の一例である。なお、図２１のＹＺ面の画像についても、図２７と同様に、左目用と右目用の視差画像を生成することができる。

このようにして、本実施形態に係る画像処理装置は、任意のリフォーカス位置における任意のボケ量（例えばＣＦ＿ＮＡ０．１、Ｃｏｎｖ＿ＮＡ０．１およびＣｏｎｖ＿ＮＡ０．２５など）の視差画像を合成することによりステレオ化が行えるので、３Ｄディスプレイやヘッドマウントディスプレイなどで３次元被写体の立体視が可能となる。ここで、図２５、図２６および図２７では、座標系ＸＹＺの各軸方向の任意のリフォーカス位置における任意のボケ量の視差画像を生成する例を示したが、図２３で説明したように、座標系ＸＹＺを各軸方向に任意の角度で回転させた座標系Ｘ’Ｙ’Ｚ’における合成画像を生成する方法に適用してもよい。これにより、座標系Ｘ’Ｙ’Ｚ’の各軸方向の任意のリフォーカス位置における任意のボケ量の視差画像を生成することができるので、三次元形状の標本を任意の方向から任意のボケ量で立体視することが可能になる。

［操作インターフェースの例］
図２８は、本実施形態に係る画像処理装置１００Ａの操作インターフェースの一例と表示画像例を示す。図２８（ａ）は、図２２で説明した画像処理装置１００Ａの入力装置ＩＭおよび出力装置ＯＭにより実現される操作インターフェース３００の一例を示し、ユーザーはディスプレイ上に表示された設定パラメータの設定を行う。ここで、図２２の出力装置ＯＭは２Ｄ／３Ｄディスプレイおよびヘッドマウントディスプレイなどに対応し、入力装置ＩＭはマウス、キーボードおよびタッチパネルなどに対応する。図２８（ｂ）は、図２８（ａ）の設定パラメータによる表示画像の一例を示す。ここで、図２８（ａ）に示す設定パラメータの画面と図２８（ｂ）に示す画像表示の画面とが１つのディスプレイ上に並べて表示されてもよいし、設定パラメータの画面と画像表示の画面とが別々のディスプレイに表示されてもよい。また、図２８（ｂ）に示す合成画像の画面には、元画像の撮影データの情報（ＮＡ、媒質屈折率、蛍光励起波長、受光波長など）が合成画像と共に表示される。

図２８（ａ）において、操作インターフェース３００の画像種類選択ボタン「断面／３Ｄ／２Ｄ」によりフォーカススタックの生のデータによる断面画像、任意ボケアルゴリズムで処理した後の３Ｄ画像および２Ｄ画像の表示を選択することができる。図２８（ａ）の例では、丸印で囲まれた「断面」が選択されており、図２８（ｂ）には断面画像が表示される。「Ｐｒ（Ｘｒ，Ｙｒ，Ｚｒ）」の設定領域には、図２８（ｂ）に表示される画像のＸＹ，ＹＺ，ＸＺの各断面の位置を設定する。点Ｐｒの座標は、マウスによるカーソル操作、またはキーボードにより入力する。点Ｐｒの座標が決まるとディスプレイ上に点Ｐｒを通るＸ，Ｙ，Ｚ軸に平行な直線（図２８（ｂ）の画像上の実線部分）が表示され、同時にＸＹ，ＹＺ，ＸＺ各断面が表示され、物体のどこの断面を観察しているかが明確に表示される。「全画面」ボタンを押すとあらかじめ選択したＸＹ，ＹＺ，ＸＺの３断面のうち任意の断面を全画面表示できる。「全データ」ボタンを押すとデータ全体が表示される。全データの大きさは「データサイズ」に表示され、その時の倍率が自動的に「倍率＝＿％」に表示される。また、倍率を変更すると表示する大きさが変更される。倍率を大きくすると表示範囲が狭くなる。このとき表示中心の位置は各断面で変わらない。「データピッチ」にはデータの間隔が表示される。また、「表示範囲」にはデータの表示範囲が表示され、例えば図２８（ｂ）の画像上でコントロールキーとマウスのドラッグにより各断面を平行に上下左右に移動することができる。拡大後もＸＹ，ＹＺ，ＸＺ各断面は連動して平行移動するようにする。そうすることで表示領域を任意に変えられる。断面表示において物体の回転も可能である。物体の回転は全体のデータを「全データ」ボタンを押して表示させ、オルトキーとカーソルのドラッグにより全データの中心を回転の中心として回転させる。回転により、角度φ、θ、ψが決定する（「φ＝＿ｄｅｇ」、「θ＝＿ｄｅｇ」、「ψ＝＿ｄｅｇ」に表示（或いはキーボードで入力してもよい））。回転させた後のデータは先に述べたアフィン変換と補間手段によりＸＹ，ＹＺ，ＸＺ各断面内の方眼座標のデータが計算され、画面上に画像が表示される。

断面表示画面で任意ボケアルゴリズムによる画像合成を行うパラメータを設定する。奥行表示の属性（１）「奥行表示範囲」、属性（２）「奥行表示深度」、属性（３）「奥行焦点深度」が画面上に表示される。属性（１）「奥行表示範囲」はマニュアルにより任意の値を入力または、健康上の安全基準から決まる最大両眼視差と奥行相対倍率Ｍｚから自動計算されるオート（ａｕｔｏ）が選択可能である。奥行相対倍率Ｍｚのデフォルト値は１である。奥行相対倍率Ｍｚは任意の値に設定できる。つづいてボケカーネルを設定する。ボケカーネルはコンフォーカル（ＣＦと表示），通常落射広視野（ｃｏｎｖと表示）、ユーザー定義、等から選択する。（ユーザー定義はＰＳＦ＾ｎ（ＰＳＦのｎ乗）などとして、ＣＦより深度を浅くしたりすることが可能。）それぞれに対して、光軸に直交する断面が均一円形分布とガウス分布が選択可能である。さらにボケカーネルのＮＡをａｕｔｏ（自動）、ｍａｎｕａｌ（手動でキーボード入力）、一点鎖線（画像上でカーソル指定）のいずれかにより設定する。ａｕｔｏが選択されるとＮＡは属性（１）「奥行表示範囲」内でボケカーネルの強度が最大から最小までたとえば１００倍に変化するように、奥行相対倍率Ｍｚと「奥行表示範囲」などの情報から自動で設定される。この時「奥行表示深度」は「奥行表示範囲」と等しくなる（表示深度をピーク強度の１％までとした場合）。「奥行表示範囲」は図２８（ｂ）の画像上に一点鎖線で表示され、「奥行表示深度」は図２８（ｂ）の画像上に破線で表示される。「奥行焦点深度」は例えばλ／ＮＡ＾２で計算される。「奥行表示深度」および「奥行焦点深度」の値は、操作インターフェース３００の設定パラメータ画面のＧＵＩに表示される。ボケカーネルは合成画像の深度とボケ量、ボケ像質を決定する。なお、「深度」ボタンにより、「奥行表示範囲」および「奥行表示深度」の破線および一点鎖線の表示を入り切りすることができる。また、「ルーラー」ボタンにより、３Ｄ表示の際に計測用の３Ｄルーラーを表示させ、２Ｄ表示の際に計測用の２Ｄルーラーを表示させることができる。

以上のパラメータの設定後、画像種類選択ボタン「断面／３Ｄ／２Ｄ」の「３Ｄ」または「２Ｄ」を選択すると任意ボケアルゴリズムで処理された画像が表示される。例えば、図２９は「２Ｄ」が選択されたときの任意ボケアルゴリズムで処理された画像、図３０は「３Ｄ」が選択されたときの任意ボケアルゴリズムで処理された画像をそれぞれ示す。

図３１は、本実施形態に係る画像処理装置１００Ａの使用例を示す。図３１に示した操作インターフェース３００は、図２８から図３０で説明した操作インターフェース３００に対応する。図３１では、角度設定領域３０１、観察位置設定領域３０２、観察点名称領域３０３、倍率設定領域３０４および断面／３Ｄ／２Ｄ選択領域３０５の操作例を説明する。ここで、操作インターフェース３００は、画像処理装置１００Ａを操作して、３Ｄディスプレイ４００およびヘッドマウントディスプレイ（ＨＭＤ）４０１に観察画像を表示するときのパラメータを設定するためのインターフェースであり、例えばタッチパネル、キーボード、マウスなどにより数値の入力や項目の選択を行う。

角度設定領域３０１は、図２３および式（１８）で説明したＸ軸、Ｙ軸、Ｚ軸の各軸の回転角度φ、θ、ψをそれぞれ設定する領域である。キーボード入力またはカーソルで「シフト＋ドラッグ」操作で変更できるようにしても良い。例えば、回転角度φの領域に３０度、回転角度θの領域に１５度、回転角度ψの領域に１０度、のように回転角度が設定される。

観察位置設定領域３０２は、Ｘ軸、Ｙ軸、Ｚ軸の各軸の断面観察位置およびリフォーカス位置をそれぞれ設定する領域である。例えば、Ｘ軸の領域にＸｒ＝＋８０μｍ、Ｙ軸の領域にＹｒ＝－５０μｍ、Ｚ軸の領域にＺｒ＝＋１００μｍ、の合成画像を生成するように、データの処理範囲およびリフォーカス位置が設定される。マウスによるクリックによっても入力できるようにソフトウェアを構成する。

観察点名称領域３０３は、角度設定領域３０１および観察位置設定領域３０２により設定されたパラメータで合成された画像は設定パラメータと関連付けたファイル名でメモリなどに登録される。そして、以降の操作において、使用者は設定パラメータを反映したファイル名を選択することで過去の処理データの観察を容易に行うことができる。

倍率設定領域３０４は、観察画像を３Ｄディスプレイ４００またはＨＭＤ４０１に表示するときの倍率量を設定する領域である。倍率量は、例えば、５０％、２５％、１０％のように設定される。設定された倍率で自動的に表示サイズが計算され表示される。これにより、画像処理装置１００Ａは、３Ｄディスプレイ４００またはＨＭＤ４０１に表示する画像の拡大や縮小を行うことができる。

断面／３Ｄ／２Ｄ選択領域３０５は、３Ｄディスプレイ４００またはＨＭＤ４０１に断面画像を表示するか合成画像の３Ｄ画像を表示するか合成画像の２Ｄ画像を表示するかを選択するための領域であり、例えば断面／３Ｄ／２Ｄ選択領域３０５をマウスでクリックする毎に「断面」と「３Ｄ」と「２Ｄ」の文字が順番に繰り返し表示される。

そして、画像処理装置１００Ａは、断面／３Ｄ／２Ｄ選択領域３０５に「３Ｄ」が表示された状態では、左目画像および右目画像の視差画像を３Ｄディスプレイ４００またはＨＭＤ４０１に表示し、「２Ｄ」が表示された状態では、視差なしの画像を３Ｄディスプレイ４００またはＨＭＤ４０１に表示する。また、「断面」が表示された状態では、指定された観察面に対応する断面画像を３Ｄディスプレイ４００またはＨＭＤ４０１に表示する。

このようにして、観察位置や表示画像の種類などのパラメータが設定される。

一方、図２８から図３０で説明したように、任意ボケアルゴリズムで画像合成するために必要なパラメータの決定を行う。まず、先に説明した方法で「奥行表示範囲」を自動または任意に設定する。「奥行表示範囲」が決定するとグラフィック上に一点鎖線などで表示される。さらにボケカーネル種類、ボケカーネルＮＡを設定することで「奥行表示深度」が決まり、グラフィック上に破線などで表示される。また、「奥行焦点深度」も計算される。なお、「奥行表示範囲」、「奥行表示深度」および「奥行焦点深度」の値は、操作インターフェース３００の設定パラメータ画面のＧＵＩに表示される。これらのパラメータが決定すると、画像処理装置１００Ａは、座標系ＸＹＺを各軸方向に設定された角度で回転させた合成画像を３Ｄディスプレイ４００またはＨＭＤ４０１に表示する。なお、「奥行表示範囲」と「奥行表示深度」は、断面表示モードまたは２Ｄ表示モードで表示して観察領域を確認して、３Ｄモードに切り替えて観察することが望ましい。３Ｄモードでは先に述べた３次元目盛り付き軸（ルーラー）表示を行い、物体の寸法を計測可能である。

３Ｄ設定Ａｕｔｏボタンは上で述べた「奥行表示範囲」とボケカーネルＮＡを含めた設定すべてを自動で計算、設定するボタンである。デフォルトではボケカーネルは円形コンフォーカルが選択され、奥行相対倍率Ｍｚは１が設定される。「奥行表示深度」は強度で１００％～１％までの範囲とされる。これらのデフォルト値は設定画面（不図示）にて変更可能である。

奥行表示倍率Ｍｚはデフォルトで１、任意の値が入力可能である。

このようにして、本実施形態に係る画像処理装置１００Ａは、操作インターフェース３００により設定されたパラメータで任意の（１）「奥行表示範囲」、（２）「奥行表示深度」、（３）「奥行焦点深度」で３Ｄ画像を生成して、３Ｄディスプレイ４００またはＨＭＤ４０１に表示することができる。

以上、各実施形態で説明したように、画像処理装置１００および画像処理装置１００Ａは、任意ボケアルゴリズムで焦点深度方向の複数の画像データに基づいて１枚の合成画像を生成するので、ノイズ成分が除去され、画像のＳＮ比が向上するという効果が得られる。なお、例えばＺ軸方向の元画像の取得ピッチは、同程度の間隔に設定するのが望ましい。

また、画像処理装置１００および画像処理装置１００Ａは、ＳＮ比の観点から励起光の照度を下げられなかった場合でも合計の照度（画像取得枚数×１枚当たりの照度）が従来の照度と同等となる程度に元画像の取得時のＺ軸方向のステップを細かくして、Ｚ軸方向の画像取得枚数を増やすことで、画像取得枚数に反比例して１枚当たりの照度を低くすることができる。これにより、画像処理装置１００および画像処理装置１００Ａは、観察対象の生物試料へのダメージを従来と同程度に抑えつつ、元画像取得時のＺ軸方向の解像度を上げることが可能になる。なお、本実施形態では、Ｚ軸方向の異なる焦点位置で元画像を取得する例を示したが、Ｘ軸方向またはＹ軸方向で元画像を取得してもよい。この場合、座標軸を入れ替えれば上述の実施形態と同様に考えることができる。

［自由視点で任意の深度でのステレオ画像生成を行う手法］
以下、式（１７）に沿って任意ボケアルゴリズムを用いて合成する場合と、式（１１）に沿って任意ボケアルゴリズムを用いないで合成する場合とにおいて、自由視点で任意の深度でのステレオ画像生成を行う手法について説明する。

［Ａ］式（１７）に沿って任意ボケアルゴリズムを用いて合成する場合
任意ボケアルゴリズムを用いて合成する場合は次のように行う。

（１）３次元フォーカススタックデータの回転、補間
アフィン変換などにより３次元フォーカススタックデータを回転させる。回転後、観察方向をＺ軸、観察者の左右両眼の方向をＸ軸とした座標系に等間隔に整列したデータとなるように補間を行う。

（２）光学系の３次元点像強度分布の回転、補間
アフィン変換などにより光学系の３次元点像強度分布を（１）と同じだけ回転させる。回転後、観察方向をＺ軸、観察者の左右両眼の方向をＸ軸とした座標系に等間隔に整列したデータとなるように補間を行う。

（３）３次元ボケカーネルの２次元コンボリューション
回転後の３次元フォーカススタックデータの観察方向に直交する断面に対して、任意の３次元ボケカーネルの観察方向に直交する円形断面を２次元コンボリューションする。この結果は、観察方向をＺ軸、観察者の左右両眼の方向をＸ軸とした新フォーカススタックデータと称する。３次元ボケカーネルの焦点はリフォーカス距離に設定される。

（４）ステレオ化
上記（３）の結果の３次元データに対して観察方向Ｚ軸に直交するＸＹ面内で観察者の左右両眼の方向Ｘ軸に沿って、リフォーカスの距離を中心に、Ｚ軸に比例した横ずらし（シアー）を与える。つまり、新フォーカススタックデータに対してリフォーカスの距離を中心に、Ｚ軸に比例し１画像手前の画像は右に１画素ずらし、２画像手前の画像は２画素右にずらし、３画像手前の画像は３画素右にずらす処理を順番に行う。反対に、リフォーカスの距離から１画像奥の画像は左に１画素ずらし、２画像奥の画像は左に２画素ずらし、３画像奥の画像は左に３画素ずらす処理を順番に行う。なお、左右のずらす方向はデータの奥行方向に応じて見え方が正しい方向に決定する。逆になると凸形状が凹形状になる。また、（４）と（３）の順番は逆でもよい。

（５）観察方向への積分
上記（４）の結果を観察方向に積分する。結果は２次元データとなる。

（６）３次元ボケカーネルと回転後の３次元点像強度分布の２次元コンボリューションと積分
回転後の３次元点像強度分布の観察方向に直交する断面に対して、３次元ボケカーネルの観察方向に直交する円形断面を２次元コンボリューションする。この結果を観察方向であるＺ軸方向に積分する。結果は２次元データとなる。

（７）デコンボリューション
上記（５）の結果の２次元データを（６）の結果の２次元データでデコンボリューションする。

［Ｂ］式（１１）に沿って任意ボケアルゴリズムを用いないで合成する場合
任意ボケアルゴリズムを用いないで合成する場合は次のように行う。

（１）３Ｄフォーカススタックデータの光学ＰＳＦによる３次元デコンボリューション
光学ＰＳＦによる３次元デコンボリューション処理により３Ｄフォーカススタックデータは３次元物体強度分布に変換される。

（２）３次元物体強度分布の回転、補間
アフィン変換などにより３次元物体強度分布を回転させる。回転後、観察方向をＺ軸、観察者の左右両眼の方向をＸ軸とした座標系に等間隔に整列したデータとなるように補間を行う。

（３）３次元ボケカーネルの２次元コンボリューション
回転後の３次元物体強度分布の観察方向に直交する断面に対して、任意の３次元ボケカーネル観察方向に直交する円形断面を２次元コンボリューションする。この結果は、観察方向をＺ軸、観察者の左右両眼の方向をＸ軸とした新フォーカススタックデータと称する。３次元ボケカーネルの焦点はリフォーカス距離に設定される。

（４）ステレオ化
（３）の結果の３次元データに対して観察方向に直交する面内で観察者の左右両眼の方向Ｘ軸に沿って、リフォーカスの距離を中心に、Ｚ軸に比例した横ずらし（シアー）を与える。つまり、新フォーカススタックデータに対してリフォーカスの距離を中心に、Ｚ軸に比例し１画像手前の画像は右に１画素ずらし、２画像手前の画像は２画素右にずらし、３画像手前の画像は３画素右にずらす処理を順番に行う。反対に、リフォーカスの距離から１画像奥の画像は左に１画素ずらし、２画像奥の画像は左に２画素ずらし、３画像奥の画像は左に３画素ずらす処理を順番に行う。なお、左右のずらす方向はデータの奥行方向に応じて見え方が正しい方向に決定する。逆になると凸形状が凹形状になる。

（５）観察方向への積分
上記（４）の結果を観察方向に積分する。

このように、式（１７）に沿って任意ボケアルゴリズムを用いて合成する場合と、式（１１）に沿って任意ボケアルゴリズムを用いないで合成する場合とにおいて、自由視点で任意の深度でのステレオ画像の生成を行うことができる。式（１７）に沿って任意ボケアルゴリズムを用いて合成する場合は２次元のデコンボリューションは周波数領域の割り算で行われ、ワンステップの線形演算で高速に行うことができ、高精度にＰＳＦの影響を除去可能である。一方、式（１１）の３次元のデコンボリューションは通常繰り返しの推定計算となり、パラメータの調整が必要で、時間がかかり、高精度にＰＳＦの影響を除去することが困難である。

以上説明した本自由視点ステレオ３Ｄ画像生成技術の検証を行った。検証には無回折、無収差の液浸ＮＡ１．４９のコンフォーカル顕微鏡のＰＳＦを用いた。ボケをコンフォーカルボケとして、コンフォーカルボケカーネルのＮＡを１．２５から０．００１まで適宜変化させ、自由視点を１０度刻みでＸ軸およびＹ軸周りでランダムに変化させた。この条件で生成された点像の画像は常にデルタ関数となることが確認された。このことから本自由視点ステレオ３Ｄ画像生成技術は従来の技術（３Ｄデコンボリューション技術など）で不可避であったアーティファクトの発生の無い、高品質の自由視点ステレオ３Ｄ画像生成が行える技術、と言うことができる。しかも、レンズＰＳＦの実データを用いれば、元の画像よりも解像度を上げることができる。

本技術は、ＣＴ，ＭＲＩなどの３次元画像データに用いて、高品質の自由視点ステレオ３Ｄ画像生成を行えることはもちろん、ＣＧ（コンピュータグラフィックス）技術により生成された３次元画像データに適用して、自由視点でステレオ３Ｄ画像生成を行えることから、アーティファクトの無い、自然なシネマ上映用自由視点ステレオ３Ｄ画像の生成が可能となるなど、広い範囲のアプリケーションに適用できることは言うまでもない。

また本技術は、シネマ用カメラでフォーカスブラケット撮影して得られるフォーカススタック３次元画像データに用いても自由視点でステレオ３Ｄ画像生成を行えることから、実写画像からもアーティファクトの無い、自然なシネマ上映用自由視点ステレオ３Ｄ画像の生成が可能となる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０…ＩＦ部；１５，１５ａ（１）－１５ａ（Ｎ）…前処理部；１６…回転処理部；１７…ＦＦＴ部；２０，２０ａ（１）－２０ａ（Ｎ）…ボケ処理部；３０，３０ａ…積算部；４０，４０ａ…鮮鋭化処理部；５０…ＩＦＦＴ部；９０…制御部；１００，１００Ａ…画像処理装置；１００ａ…画像処理部；１１０…撮影レンズ；１２０…絞り；１３０…撮像部；１４０…フレームメモリ；１５０…操作部材；１５１…レリーズ釦；１５２…電源スイッチ；１６０…表示部；１７０…記憶ＩＦ部；１８０…記憶媒体；１９０…プリズム；１９５ａ，１９５ｂ…反射面；２００…撮像装置；２１０…カメラボディ；２２０…撮影開口；３００…操作インターフェース；３０１…角度設定領域；３０２…観察位置設定領域；３０３…観察点名称領域；３０４…倍率設定領域；３０５…断面／３Ｄ／２Ｄ選択領域；４００…３Ｄディスプレイ；４０１…ヘッドマウントディスプレイ（ＨＭＤ）；ＣＡＭ…カメラ；ＩＭ…入力装置；ＯＭ…出力装置

Claims (16)

1. 互いに合焦位置が異なる複数の画像の各々に、（１）再合焦位置および絞り値、または（２）再合焦位置および開口数ＮＡに対応するボケの度合いで、前記再合焦位置に設定されたボケ関数を用いてボケ処理を実行する第１処理部と、
   前記ボケ処理が実行された前記複数の画像を奥行き方向に積算した積算画像を生成する積算部と、
   前記積算部で生成された前記積算画像に鮮鋭化処理を実行し、所定のボケの度合いを有する合成画像を生成する第２処理部と
   を備え、
   前記鮮鋭化処理は、前記積算画像を前記奥行き方向に沿って積分した関数で２次元デコンボリューションしたものであり、前記関数は、前記複数の画像が取得された光学系の点拡がり関数に前記ボケ関数を前記奥行き方向に垂直な平面内で２次元コンボリューションしたものである
   画像処理装置。
2. （１）前記再合焦位置および前記絞り値、または（２）前記再合焦位置および前記開口数ＮＡは、入力装置を介して、ユーザにより指示される
   請求項１に記載の画像処理装置。
3. 前記第１処理部は、前記複数の画像の各々が互いに異なる複数の色成分を有する場合、前記複数の画像の各々に対する前記ボケ処理を前記色成分毎に実行し、
   前記積算部は、前記色成分毎に前記積算画像を生成し、
   前記第２処理部は、前記色成分毎に前記積算画像の前記鮮鋭化処理を実行する
   請求項１又は請求項２に記載の画像処理装置。
4. 前記第１処理部による前記ボケ処理および前記第２処理部による前記鮮鋭化処理は、周波数領域で実行される
   請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記複数の画像の各々が互いに異なる複数の色成分を有する場合、前記各色成分の前記複数の画像を前記奥行き方向に移動させることにより、前記各色成分における前記再合焦位置を互いに一致させる前処理部をさらに備え、
   前記第２処理部は、前記各色成分の前記複数の画像における前記移動に応じて、前記各色成分の点拡がり関数における前記再合焦位置を互いに一致させる
   請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記前処理部は、前記複数の色成分がＲ成分、Ｇ成分およびＢ成分の場合、前記再合焦位置の画像以外の前記Ｇ成分の前記複数の画像を前記奥行き方向に移動させることにより、前記各色成分における前記再合焦位置を互いに一致させ、
   前記第２処理部は、前記Ｇ成分の前記複数の画像の前記移動に応じて、前記各色成分の点拡がり関数における前記再合焦位置を互いに一致させる
   請求項５に記載の画像処理装置。
7. 前記第２処理部は、前記光学系の光軸に対して垂直な平面上で（１）前記複数の画像および前記点拡がり関数、または（２）前記ボケ関数を所定量シフトさせ、任意の再合焦位置での前記合成画像を生成する
   請求項１に記載の画像処理装置。
8. 前記第２処理部は、ステレオ視するための第１の目用の前記合成画像と第２の目用の前記合成画像とをそれぞれ生成する
   請求項７に記載の画像処理装置。
9. 前記第２処理部は、
   第１の目用の画像を生成するときには、前記複数の画像を、前記再合焦位置から前記光学系に近くなるほど第１の方向側に大きくシフトさせ、前記複数の画像を、前記再合焦位置から前記光学系に対して遠くなるほど前記第１の方向とは逆の第２の方向側に大きくシフトさせる処理を行い、
   第２の目用の画像を生成するときには、前記複数の画像を、前記再合焦位置から前記光学系に近くなるほど前記第２の方向側に大きくシフトさせ、前記再合焦位置から前記光学系に対して遠くなるほど前記第１の方向側に大きくシフトさせる処理を行う
   請求項８に記載の画像処理装置。
10. 前記複数の画像に対して、三次元座標の各軸の少なくとも１つの軸を任意の回転角度で回転させた複数の画像を生成する回転処理部をさらに設け、
    前記第１処理部は、前記回転処理部が回転させた複数の画像の各々に、前記再合焦位置でのボケ処理を実行する
    請求項１乃至請求項９のいずれか一項に記載の画像処理装置。
11. 前記ボケ処理のボケの度合いおよび前記回転角度の少なくとも１つを設定するための操作インターフェースをさらに備える
    請求項１０に記載の画像処理装置。
12. 互いに合焦状態が異なる複数の画像の各々に、（１）再合焦位置および絞り値、または（２）再合焦位置および開口数ＮＡに対応するボケの度合いで、前記再合焦位置に設定されたボケ関数を用いてボケ処理を実行し、
    前記ボケ処理が実行された前記複数の画像を奥行き方向に積算した積算画像を生成し、
    生成された前記積算画像に鮮鋭化処理を実行し、所定のボケの度合いを有する合成画像を生成し、
    前記鮮鋭化処理は、前記積算画像を前記奥行き方向に沿って積分した関数で２次元デコンボリューションしたものであり、前記関数は、前記複数の画像が取得された光学系の点拡がり関数に前記ボケ関数を前記奥行き方向に垂直な平面内で２次元コンボリューションしたものである
    処理をコンピュータに実行させる画像処理プログラム。
13. 前記複数の画像に対して、三次元座標の各軸の少なくとも１つの軸を任意の回転角度で回転させた複数の画像を生成する回転処理をさらに実行し、前記回転処理により回転させた複数の画像の各々に、前記再合焦位置でのボケ処理を実行する
    処理をコンピュータに実行させる
    請求項１２に記載の画像処理プログラム。
14. 互いに合焦状態が異なる複数の画像の各々に、（１）再合焦位置および絞り値、または（２）再合焦位置および開口数ＮＡに対応するボケの度合いで、前記再合焦位置に設定されたボケ関数を用いてボケ処理を実行し、
    前記ボケ処理が実行された前記複数の画像を奥行き方向に積算した積算画像を生成し、
    生成された前記積算画像に鮮鋭化処理を実行し、所定のボケの度合いを有する合成画像を生成し、
    前記鮮鋭化処理は、前記積算画像を前記奥行き方向に沿って積分した関数で２次元デコンボリューションしたものであり、前記関数は、前記複数の画像が取得された光学系の点拡がり関数に前記ボケ関数を前記奥行き方向に垂直な平面内で２次元コンボリューションしたものである
    ことを含む画像処理方法。
15. 前記複数の画像に対して、三次元座標の各軸の少なくとも１つの軸を任意の回転角度で回転させた複数の画像を生成する回転処理をさらに実行し、前記回転処理により回転させた複数の画像の各々に、前記再合焦位置でのボケ処理を実行する
    請求項１４に記載の画像処理方法。
16. 少なくとも１つの対物レンズと、
    少なくとも１つの撮像素子と、
    前記対物レンズと前記撮像素子とを用いて取得した前記複数の画像に基づき、所定の前記ボケの度合いを有する前記合成画像を生成する請求項１乃至請求項１１のいずれか１項に記載の画像処理装置と
    を備える顕微鏡。

Images