JP2016192621A - 撮像装置、画像処理演算装置、及び画像処理方法 - Google Patents

Abstract

【課題】ピントがずれた写真を画像処理により、被写体にピントがあった違和感ない画像を得られる撮像装置または演算プログラムを得ること。【解決手段】撮影画像の複数のポイントのデフォーカス状態を撮像時に検知する手段を有する撮像装置と、光学系の結像状態に応じた光学情報を記憶する手段と、それらを基に、ユーザーにより与えられたピントずらし量から、ピントずらしフィルタを作成する演算手段と、そのフィルタにより、画像補正を行う演算手段を有することを特徴とする。【選択図】図２−１

Description

本発明は、撮像装置及びその画像処理に関する発明であり、特に画像を回復（復元）処理するものに関する。

従来より、撮像装置において、光学的な結像劣化をその光学系固有の補正情報を用いて補正し、良好な画像を得る手段、及びその処理方法が種々報告されている。

特許文献１には、球面収差やコマ収差等の光学的画像劣化を回復する画像回復処理が報告されている。

特許文献２には、デフォーカス検知と、デフォーカスに応じた点像強度分布関数（PSF）により、深度拡大を行う方法が紹介されている
一方で、撮像装置において、被写体を光学系で結像させる撮像面に、光学系の瞳の状態を検知しそれを処理して光学系のデフォーカス状態を得ることが可能な、撮像面位相差方式のデフォーカス検知手段を有する撮像装置が知られている。

特許文献３には、撮像面位相差方式のデフォーカス検知手段とその演算処理方法が記されている。

特開２０１１−２１７０８７号公報 特開２０１２−０６５１１４号公報 特開２０１０−０２５９９７号公報

撮像装置には、高速かつ高精度に被写体に合焦させることが望まれている。

それを実現するために、位相差方式のデフォーカス検知手段の精度を高めることや、光学系のフォーカシングスピードを速めることで、高速高精度化を図ってきた。

それでもまだ、非常に高速に動く被写体に制御が追い付かなかったり、撮影者の操作が追い付かなかったり等の理由からピントずれが生じ、所望の写真が得られないことは、少なくない。

本発明は、ピントがずれた写真を画像処理により、被写体にピントがあった違和感ない画像を得られる撮像装置または演算プログラムを提供することを目的とする。

上記の目的を達成するために、本発明の撮像装置または演算プログラムは、
撮影画像の複数のポイントのデフォーカス状態を撮像時に検知する手段を有する撮像装置と、光学系の結像状態に応じた光学情報を記憶する手段と、
それらを基に、ユーザーにより与えられたピントずらし量から、ピントずらしフィルタを作成する演算手段と、
そのフィルタにより、画像補正を行う演算手段を有することを特徴とする。

本発明によれば、被写体からピントがずれた写真を画像処理により、所望の状態にピントがあった違和感ない画像を得ることができる、撮像装置またはその演算プログラムを提供することができる。

奥行のある被写体と撮影光学系 平面射影被写体 奥行のある被写体の撮影画像 奥行を撮像面位相差測距で測定するフローチャート 奥行をフォーカシング駆動しながらコントラスト演算をすることで測定するフローチャート 撮影画像とデフォーカス情報（深度マップ）から、回復データを基にピント調整を行うフローチャート図 撮像面位相差測距で得られる深度マップ コントラストオートフォーカスから深度マップを得る際の過程

以下、本発明を実施するための形態を図面に基づいて説明する。

撮像光学系においては、物体側の原画像をf（x、y）、光学系の性能を表す点像分布関数（ＰＳＦ）をh（x，y）、光学系を通した後の像面側の劣化画像をg（x，y）とすると、次式の関係が成立する。ここで、＊はコンボリューション（畳み込み）であり、（x，y）は画像上の座標である。
［数式１］ g（x，y）＝h（x、y）＊f（x、y）
次に、この関係式を元に、画像回復処理を行う方法について説明する。数式１をフーリエ変換すると次式のように周波数ごとの積の形式になる。ここで、HはOTFであり、（u，v）は２次元周波数面での座標、即ち周波数である。
［数式２］ G（u，v）＝H（u，v）×F（u，v）
数式２の両辺をHで除算してF（u，v）を逆フーリエ変換して実面に戻すことによって原画像f（x，y）が、回復像として得られる。
ここで、H-1を逆フーリエ変換したものをRとすると次式が成立する。
［数式３］ f（x，y）＝g（x，y）＊R（x、y）
R（x、y）は、画像回復フィルタであり、レンズの光学情報を元に作成できるため、実面での画像に対するコンボリューションを行うことで同様に原画像を得ることができる。

以上の方法が、画像回復の基本的な考え方である。

ところが、この考え方は、光学系において結像関係にある、像面と物体面どうしの関係に限ったものである。実際の撮像装置において、像面に対応する撮像面については平面であるが、物体面に対応する被写体は、必ずしも平面ではないため、物体面から奥行方向（z方向）に逸脱する被写体も多い。

この時、物体面から奥行方向に逸脱した被写体は、撮像面においてもz方向に逸脱した位置に像を結ぶため、撮像面上では、ボケた像となる。即ち、光学系の物体面から逸脱した被写体が、本来合焦させたい被写体で合った場合、その像はボケてしまうため、撮影者はピントずれと認識する。このことを点像分布関数で表現する。

撮像面から見ると、被写体の奥行方向に応じて像が結ぶ位置がボケたり、鮮鋭になったりするため、前記点像分布関数のh（x、y）は、３次元のh（x、y、z）で表現される。
即ち、立体の被写体を撮影する時は、下記のように数式化される。
［数式４］ g’（x，y）＝f’（x、y）＊h（x、y、z）
ここで、f’（x，y）は、立体物である被写体f（x、y、z）を任意の平面に射影した、平面射影原画像である。

図１を用いて、平面射影原画像の説明をする。図１−１には、奥行のある被写体と撮影光学系を表す図である。撮像光学系の主点Ｈから各被写体ＡＢＣに向かって放射状に線を引いた時、それらが像面と平行な任意の平面と公差する点が、被写体の物体面への射影点である。これらを全ての被写体で行ったものが、平面射影原画像であり、図１−２のようになる。

被写体ＡＢＣの大きさは、実際は同じであるが、主点からの距離が近いほど拡大された像になっていることが分かる。この平面射影原画像f’（x、y）に、それぞれの座標、及びアウトフォーカス状態の点像強度関数h（x、y、z）を掛けて得られる画像が、g’（x，y）である。被写体Ａや被写体Ｃは、物体面から逸脱しているため、ボケた点像強度関数が掛かり、比較的物体面に近い被写体Ｂには、鮮鋭な点像強度関数が掛かり、その結果得られるg’（x、y）は、図１−３のようになる。

次に、このようにして得られた劣化画像g’（x、y）から、物体面射影原画像f’（x、y）を得る方法について考える。数式１と数式３の関係から、劣化画像にR（x、y、z）なる、z方向の関数も持つ画像回復フィルタを掛けた、
［数式５］ f’（x、y）＝g’（x，y）＊R（x、y、z）
のように表現できることは自明であるが、ここで問題となるのは、劣化画像g’（x，y）は平面情報のため、zの情報が抜け落ちており、R（x、y、z）のzの項が特定できず、劣化画像からだけでは、平面射影原画像への回復処理を行うことが出来ないことである。

そこで、本発明では、撮影時にセンサー面の座標に応じて、デフォーカス状態を得て、その情報からzを特定した。具体的には、撮像面位相差方式でデフォーカス量を得る方法や、フォーカシングをしながらコントラスト値を読み、それにより得るコントラスト波形よりデフォーカス量を計算する方法を用いる。それにより各（x、y）の座標点毎にzが特定できるため、R（x、y、z）が定まり、物体面射影原画像f’（x、y）が得られることを見出した。

次に、本発明の目的である、所望のデフォーカス量だけピントをずらした画像を得る方法について考える。図１−１において、物体面は被写体Ｂの位置にあるため、被写体Ｂが鮮鋭であり、被写体Ａと被写体Ｃはボケた状態にあるが、本来は被写体Ｃに合焦した状態を得たかったとする。この時のピントずらし量をΔzとする。

まず、数式５により、平面射影原画像f’（x、y）を得る。平面射影原画像が得られたら、あとは本来合焦させたかった状態の点像強度分布関数を光学データより再現し、掛ければ、所望の画像が得られる。ここで、光学データより再現する点像強度分布関数を、実レンズの点像強度分布関数hと区別するために、kと定義する。

また、点像強度分布関数と画像回復フィルタについて、もう少し詳細に表現してみる。画像回復フィルタＲと、点像強度分布関数kは、光学系のズームポジションz、フォーカスポジションfo、F値fno、像高（x、y）、デフォーカス状態ｚに応じて変化する、多次元関数R（z、fo、fno、x、y、z）、k（z、fo、fno、x、y、z）である。今、被写体Bに合焦した状態の点像強度分布関数が、k（z、fo、fno、x、y、z）だったとすると、被写体BからΔｚだけデフォーカスした被写体Cに合焦した状態の点像強度分布関数は、k（z、fo+Δfo、fno、x、y、z+Δz）となる。

ここで、Δfoは、Δｚだけデフォーカスさせるためのフォーカス繰り出し量を与えれば、算出可能であるため、Δｚのみから、k（z、fo+Δfo、fno、x、y、z+Δz）を得ることが出来る。

よって、Δzとkの光学情報から、
［数式６］ gd（x，y）＝f’（x、y）＊k（z、fo+Δfo、fno、x、y、z+Δz）
と表わすことができる。gd（x、y）は、被写体Ｃが合焦状態で、被写体ＢはΔzだけボケて、被写体Ａは更にボケた状態の、所望の画像になる。

また、数式５と数式６から、
［数式７］ gd（x，y）＝g’（x，y）＊R（z、fo、fno、x、y、z）＊k（z、fo+Δfo、fno、x、y、z+Δz）
となり、
［数式８］ gd（x，y）＝g’（x，y）＊Rk（z、fo、fno、x、y、z、Δfo、Δz）
とすることで、Rk（z、fo、fno、x、y、z、Δfo、Δz）がピントずらしフィルタであり、撮影画像の各座標位置でのピント位置zと、所望のピントずらし量Δzを与えることで、原画像から所望の量のピント調整をすることができることになる。

以下に、本発明を具体的に実施する具体的な構成について説明する。図２−１には、zを撮像面位相差測距で測定する方法を示す。図２−２には、zをフォーカシングしながらコントラスト値を読むことで、デフォーカス位置を測定する方法を示す。図２−３には、図２−１、２のようにして得た撮影画像とデフォーカス情報（深度マップ）から、回復データを基にピント調整を行う例を示す。図２−３は、図２−１、２を行った撮像装置上で行っても良いし、外部のソフトで行っても良い。図３−１には、撮像面位相差測距で得られる深度マップを示す。図３−２には、フォーカシングをしながらコントラスト値を読むことで、オートフォーカスを行い、かつ深度マップを得る際の過程を示す。

まず、図２−１を参照しながら、ｚを撮像面位相差測距で測定する方法を説明する。

ステップ101で撮影実行命令が下ったら、ステップ102の測距点位相差情報取得に移行する。予めユーザーが選択した、ピントを合わせたい測距点において、デフォーカス状態を測定する。ミラーを用いてオートフォーカス光学系に入射させて瞳を分離する、所謂外測位相差測距でも良いし、撮像面に配置した撮像面位相差測距でも良い。

次に、ステップ103の光学系のパラメータ取得を行う。具体的には、光学系のズーム位置、フォーカス位置等を読み取る。

ステップ104では、それらの光学位置特有の光学情報を使用し、光学系を合焦させるために必要なフォーカス駆動量を決定し、駆動を行う。

ステップ105では、駆動後の測距を再度行う。

ステップ106では、ステップ105の測距結果が合焦状態か否かの判定を行い、非合焦の場合は、再び103の光学系のパラメータ取得に戻り、合焦状態への追い込みループに入る。合焦判定の場合は、ステップ109で深度マップを作成するための撮像面位相差情報の取得（ステップ107）を行う。

次に、ステップ110で撮影画像を作成するための像信号取得（ステップ108）を行う。得られた深度マップと撮影画像をステップ111で保存する。

ここで、ステップ107の撮像面位相差情報取得から、ステップ109の深度マップ作成までの流れを、図３−１を参照しながら説明する。図３−１に示す、無数の矩形が撮像面測距を行うポイントである。実際は、矩形領域の中心に位置する画素に、瞳分離手段が配置されているが、詳しい説明は、参考文献３に示す通りである。それぞれから得られたデフォーカス量を図３−２のようにマップ化したものが、深度マップである。

今、合焦状態にある被写体Ｂのデフォーカスが０であり、前ピン状態の被写体Ａが、マイナスのデフォーカス量、後ピン状態の被写体Ｃが、プラスのデフォーカス量、被写体Ｃよりも奥にある背景Ｄが、更に大きいプラスのデフォーカス量となる。この深度マップにより、（x、y、z）の情報が得られたことになり、ピント調整フィルタの作成が可能になる。

次に、深度マップをフォーカシング駆動しながらコントラスト値を読むことで、得る方法について、図２−２と図３−２を参照しながら説明する。

現在のフォーカス位置は、図３−２で言うと、ｓの位置であり、合焦させたい被写体は、被写体Ｂであるとする。

ステップ201の撮影命令が下り次第、ステップ202のコントラスト値取得が開始する。具体的には、被写体のエッジ部分の鮮鋭度を演算する。

ステップ203の初期フォーカス駆動では、フォーカス駆動を無限側または至近側、任意の方向に動かし、ステップ204の駆動方向判別に移行する。

ステップ204で、コントラスト値が上がれば、初期駆動方向が正しい駆動方向であり、コントラスト値が下がれば、駆動方向が反対なので、反転する必要がある。図３−２で言うと、初期駆動方向がマイナスの場合は、被写体Ｂのコントラスト値が下がるため、プラス方向に反転させる。

ステップ205では、ステップ204で決定した方向に、フォーカス駆動を行う。図３−２で言うと、sからプラス方向に駆動する。

次に、ステップ206で、オーバーラン判定を行う。図３−２で、被写体Ｂのコントラストピーク位置uを通り過ぎて、明らかにコントラストが下がったと判定した位置tにおいて、ピークを通り過ぎたと判断する。

次に、ステップ207で、オーバーランした分を戻す駆動量を決定する。具体的には、u‐tの駆動量となる。

次に、ステップ208で、反転駆動を行い停止させる。

ここでコントラスト値の取得を終了する（ステップ209）。

次に、ステップ212で撮影画像を作成するための像信号取得（ステップ210）を行う。

次に、ステップ211の光学系のパラメータ取得を行う。具体的には、光学系のズーム位置、フォーカス位置等を読み取る。

次に、ステップ213で、コントラスト値とステップ211の光学系のパラメータを基に、深度マップを作成する。

最後に、得られた深度マップと撮影画像をステップ214で保存する。

ここで、ステップ213での深度マップ作成方法を具体的に説明する。

ステップ205のオーバーランを開始してから、ステップ206のオーバーラン検知の間まで、図３−２で言うとsからtまで、各被写体でのコントラストを取得している。そのため、例えば被写体Ａや被写体Ｃは、sからtの間にコントラストピークがそれぞれ存在するため、コントラストピーク位置をそれぞれw,vと決定できる。ステップ211の光学系の位置から、フォーカスパルスあたりの像面移動量Ｓを得ることができ、各被写体のデフォーカス量を算出することが可能になる。被写体ＡであればS×(w-u)、被写体ＣであればS×(v-u)となる。それにより、撮像面位相差測距と同じように、撮影面全体で深度マップを作成することが出来る。

次に、撮像面位相差測距または、フォーカシングしながらコントラスト値を取得する方法により得た、深度マップと撮影画像から、ピント調整を行うフローについて図２−３を参照しながら説明する。

この処理を行うのは、撮影機器でも良いし、外部の演算ソフトであっても良いが、先に得た画像と深度マップを読み取れ、かつ撮影光学系の点像強度分布関数k（z、fo、fno、x、y、z）及び画像回復フィルタR（z、fo、fno、x、y、z）を保持している必要がある。

まず、ステップ301でユーザーより撮影画像の表示命令がされた場合、ステップ302で画像の表示を行う。

ここで、ステップ303でユーザーより被写体のピントがずれていると判断された場合は、ステップ304の調整値入力に移行する。ユーザーより調整値が入力されたら、ステップ305でピント調整フィルタを作成し、ステップ306でピント調整処理を行う。

ステップ307でピント調整結果を表示し、ステップ303に戻る。

ステップ303でピント調整不要と判断された場合、ステップ308で終了となる。

次に、本発明において、より良好な画像が得られるための方法について説明する。

数式５において、平面射影原画像を得た際、回復フィルタR（z、fo、fno、x、y、z）により、光学系の収差が良好に補正された画像が得られる。数式７で、フォーカスポジションとデフォーカスをずらした状態の光学系の点像強度分布関数k（z、fo+Δfo、fno、x、y、z+Δz）を与えている。

この時、Δｚ調整後のベストピント位置においても、再び光学系の収差が与えられ、多少の画像劣化が発生してしまう。

そこで、本発明では、Δｚ調整後のベストピント付近においては、点像強度分布関数を与えず、平面射影原画像そのものとすることで、ベストピント付近が鮮鋭なピント調整画像を得ることに成功した。

ここで、点像強度分布関数を与えない範囲と、与える範囲が急峻に切り替わると、画像が不自然になるため、ベストピント位置からｚ方向のずれ量の絶対値に応じて、徐々に点像強度分布関数を付与する強度ウエイトを0から1に近づけると良い。

また、本発明では、ピントずらしだけでなく、光学系のFナンバーもユーザーから与えることが可能であり、それにより深度を調整することもできる。数式７において、画像回復フィルタR（z、fo、fno、x、y、z）のfnoには、撮影時の光学系のＦ値を与え、光学系の点像強度分布関数k（z、fo+Δfo、fno、x、y、z+Δz）のfnoには、深度調整したい所望の値を入力する。それにより、fnoが小さければｚに応じてよりボケた、fnoが大きければｚに応じたボケが小さい（平面射影原画像に近い）画像が得られる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明はレンズ交換式カメラやビデオなどの映像機器に応用可能である。

Ａ，Ｂ，Ｃ 被写体

Claims (6)

1. 撮影画像の複数のポイントのデフォーカス状態を撮像時に検知する手段を有する撮像装置と、光学系の結像状態に応じた光学情報を記憶する手段と、
   それらを基に、ユーザーにより与えられたピントずらし量から、ピントずらしフィルタを作成する演算手段と、
   そのフィルタにより、画像補正を行う演算手段を有することを特徴とする撮像装置または演算装置。
2. 前記デフォーカス状態を撮像時に検知する手段が、撮像面位相差検知手段であることを特徴とする請求項１に記載の撮像装置。
3. 前記デフォーカス状態を撮像時に検知する手段が、フォーカシングレンズ群を移動しながら画像のコントラスト値を取得する方法であることを特徴とする請求項１に記載の撮像装置。
4. 前記ピントずらしフィルタが、画像回復フィルタと、点像強度分布関数のコンボリューションにより生成されることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置または演算装置。
5. 前記ピントずらしフィルタが、ベストピント付近においては、画像回復フィルタだけ付与し、点像強度分布関数は付与しないことを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置または演算装置。
6. ユーザーによりＦナンバーも与えられ、それによりピントずらしフィルタを変化させ、深度調整が可能であることを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置または演算装置。