JP6687210B1 - 撮像装置 - Google Patents

Abstract

【課題】ＤＦＤ方式の撮像装置において、フォーカス制御に要する時間を短縮すると共にメモリ等のＨ／Ｗコストを低減する。
【解決手段】光学系の第１調整条件で生成された被写体の第１画像データ（ｇ₁ （ｄ））に対し、第２画像データ（ｇ₂ （ｄ））の第２ＰＳＦ群（ｋ₂ （ｄ））を畳み込むことにより、第１ぼけ画像群を生成する。光学系の第２調整条件で生成された被写体の第２画像データ（ｇ₂ （ｄ））に対し、第１画像データ（ｇ₁ （ｄ））の第１ＰＳＦ群（ｋ₁ （ｄ））を畳み込むことにより、第２ぼけ画像群を生成する。第１ぼけ画像群と第２ぼけ画像群との間で、ＰＳＦの距離が等しい「ぼけ画像」同士の複数の差分を算出し、当該複数の差分に基づいて、被写体距離を特定する。
【選択図】図３

Description

本発明は、撮像装置に関する。

撮像装置から被写体までの距離である被写体距離を計測する方法の１つに、撮影された画像に生じるぼけ量（Defocus）の相関値を利用するＤＦＤ（Depth From Defocus）と呼ばれる手法がある。

一般に、撮影画像に生じるぼけ量は、撮影時のフォーカス位置と被写体距離との関係に応じて撮像装置毎に一意に決まる。この特性を利用し、ＤＦＤ方式では、例えばフォーカス位置を変動させることによってぼけ量の異なる２枚の画像を意図的に作り出し、ぼけ量の違いと点拡がり関数（ＰＳＦ：Point Spread Function）とを用いて被写体距離を特定する。特定された被写体距離に基づき、撮像装置はフォーカス制御を行うことができる。

特許第５８２４３６４号公報

しかし、例えば特許文献１に開示されている従来のＤＦＤ方式の撮像装置においては、画像処理のアルゴリズムが複雑であると共に処理に必要なデータ量が膨大であるため、フォーカス制御に要する時間が長くなるという問題、及び、メモリ等のＨ／Ｗコストが増大するという問題がある。

そこで、本発明は、ＤＦＤ方式の撮像装置において、フォーカス制御に要する時間を短縮すると共にメモリ等のＨ／Ｗコストを低減することを目的とする。

本開示の第１の態様は、被写体の被写体像を形成する光学系と、前記光学系を介して形成される被写体像を撮像し、画像データを生成する撮像部と、前記光学系の調整条件が異なる２つの画像データに基づいて、前記被写体までの距離である被写体距離を特定する制御部と、前記光学系の第１調整条件において異なる複数の距離について予め求められた複数の第１ＰＳＦと、前記光学系の第２調整条件において前記複数の距離について予め求められた複数の第２ＰＳＦとを記憶する記憶部とを備え、前記制御部は、前記光学系の前記第１調整条件で生成された前記被写体の第１画像データに対し、前記複数の第２ＰＳＦのそれぞれを畳み込むことにより、複数の第１ぼけ画像を生成する第１ぼけ画像生成部と、前記光学系の前記第２調整条件で生成された前記被写体の第２画像データに対し、前記複数の第１ＰＳＦのそれぞれを畳み込むことにより、複数の第２ぼけ画像を生成する第２ぼけ画像生成部と、前記複数の第１ぼけ画像のそれぞれと、前記複数の第２ぼけ画像のそれぞれとの間で、複数の差分を算出する差分算出部と、前記複数の差分に基づいて、前記被写体距離を特定する距離特定部とを含む、撮像装置である。

第１の態様では、光学系の調整条件が異なる２つの画像データのそれぞれに、他方の画像データの調整条件に対応するＰＳＦ群を畳み込むこと（つまり、たすき掛け）により得られるぼけ画像群同士の差分に基づいて、被写体距離を特定する。このため、画像処理のアルゴリズムを簡単化できると共に処理に必要なデータ量を低減できる。従って、フォーカス制御に要する時間を短縮できると共にメモリ等のＨ／Ｗコストを低減できる。

本開示の第２の態様は、第１の態様において、前記光学系は、フォーカス位置調整手段を有し、前記第１調整条件は、第１フォーカス位置であり、前記第２調整条件は、第２フォーカス位置である、撮像装置である。

第２の態様では、フォーカス位置が異なる２つの画像データに基づいて、被写体距離を特定することができる。

本開示の第３の態様は、第１の態様において、前記光学系は、絞り調整手段を有し、前記第１調整条件は、第１絞り値であり、前記第２調整条件は、第２絞り値である、撮像装置である。

第３の態様では、絞り値が異なる２つの画像データに基づいて、被写体距離を特定することができる。

本開示の第４の態様は、第１の態様において、前記光学系は、ズーム調整手段を有し、前記第１調整条件は、第１ズーム状態であり、前記第２調整条件は、第２ズーム状態である、撮像装置である。

第４の態様では、ズーム状態が異なる２つの画像データに基づいて、被写体距離を特定することができる。

本開示の第５の態様は、第１〜４のいずれか１つの態様において、前記制御部は、前記被写体距離に基づいてフォーカス制御を実施する、撮像装置である。

第５の態様では、Ｈ／Ｗコストを抑制しながら、短時間でフォーカス制御を実施することができる。

本開示の第６の態様は、第１〜５のいずれか１つの態様において、前記制御部は、前記第１画像データ及び前記第２画像データを複数の領域に分割し、当該各領域毎に前記被写体距離を特定する、撮像装置である。

第６の態様では、第１及び第２画像データを複数の領域に分割して各領域毎に被写体距離を特定するため、被写体距離の精度が向上する。

図１は、実施形態に係る撮像装置の構成を示すブロック図である。 図２は、図１に示す撮像装置の制御部の構成を示すブロック図である。 図３は、図２に示す制御部によるＤＦＤ処理を示す模式図である。 図４は、図１に示す撮像装置の記憶部に記憶されるＰＳＦ群の一例を示す図である。 図５は、図１に示す撮像装置の制御部で用いる被写体の第１画像データが示す画像の一例である。 図６は、図１に示す撮像装置の制御部で用いる被写体の第２画像データが示す画像の一例である。 図７は、図１に示す撮像装置の制御部で特定された被写体距離の一例をマップ状に示す図である。

以下、本開示の実施形態について図面を参照しながら説明する。尚、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、或いはその用途の範囲を制限することを意図するものではない。

《実施形態》
〈撮像装置の構成〉
図１は、本実施形態の撮像装置１００の構成を示すブロック図である。図１に示すように、撮像装置１００は、主として、光学系１０と、撮像部２０と、制御部３０と、記憶部４０と、駆動部５０とを備える。光学系１０は、被写体からの光により被写体像を撮像部２０上に形成する。撮像部２０は、光学系１０で形成された被写体像を撮像し、画像データを生成する。制御部３０は、撮像部２０で生成された画像データの処理（ＤＦＤ等）を行うと共に、撮像装置１００全体の制御を行う。記憶部４０は、画像データや、撮像装置１００全体を制御するための制御プログラムなどを記憶する。駆動部５０は、光学系１０を駆動する。

以下、撮像装置１００の各構成要素について詳述する。

光学系１０は、フォーカス位置調整手段１１と、ズーム調整手段１２と、絞り調整手段１３とを有する。フォーカス位置調整手段１１が例えばフォーカスレンズである場合、当該フォーカスレンズを駆動部５０によって移動させることにより、被写体像のフォーカスを調整することができる。フォーカスレンズは、例えば光軸１０ａに沿って移動させてもよい。また、ズーム調整手段１２が例えばズームレンズである場合、当該ズームレンズを駆動部５０によって移動させることにより、被写体像を拡大又は縮小することができる。ズームレンズは、例えば光軸１０ａに沿って移動させてもよい。絞り調整手段１３は、例えば、光軸１０ａ上に位置する開口１３ａを有し、開口１３ａの大きさは、ユーザの設定に応じて又は自動で調整可能であり、これにより、絞り調整手段１３を透過する光の量が調整される。尚、フォーカス位置調整手段１１、ズーム調整手段１２及び絞り調整手段１３の構成及び動作は、以上に述べたものに限定されるものではない。光学系１０は、さらに、手振れ補正レンズ等の手振れ補正調整手段を有していてもよい。

撮像部２０は、例えばＣＭＯＳイメージセンサから構成される。撮像部２０は、露光、転送、電子シャッタなどの各種動作を行う。

制御部３０は、撮像部２０で生成された画像データの処理（ＤＦＤ等）を行う画像処理部３１と、撮像装置１００全体の制御を行うＣＰＵ（Central Processing Unit）３２とを備える。

画像処理部３１は、撮像部２０で生成されたアナログ画像データを、デジタル信号であるデジタル画像データに変換し、当該画像データに対して各種処理を施し、ユーザに表示するためのデータを生成したり、記憶部４０に格納するためのデータを生成する。例えば、画像処理部３１は、撮像部２０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、圧縮等の各種処理を行う。画像処理部３１は、ＤＳＰ（digital signal processor）やマイコン等から構成される。

ＣＰＵ３２は、撮像装置１００全体の制御の他、後述するＤＦＤ処理に必要な各種演算を行う。ＣＰＵ３２は、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わないが、例えば半導体集積回路又はＬＳＩを含む一つ又は複数の電子回路により構成されていてもよい。

記憶部４０は、制御部３０で処理された画像データや、撮像装置１００の制御プログラムの他、制御部３０での画像処理に必要なデータ（ＰＳＦ等）等を記憶する。記憶部４０は、フラッシュメモリや強誘電体メモリなどから構成される。尚、撮像装置１００は、記憶部４０とは別に、画像処理部３１及びＣＰＵ３２のワークメモリとして機能するバッファをさらに備えていてもよい。バッファは、例えば、ＤＲＡＭや強誘電体メモリなどから構成される。

駆動部５０は、フォーカス位置調整手段１１、ズーム調整手段１２及び絞り調整手段１３を駆動するためのアクチュエータ等を含み、当該アクチュエータ等は、駆動部５０を通じて制御部３０によって制御される。

尚、図示は省略しているが、撮像装置１００は、ユーザからの操作を受け付けるユーザーインターフェース、例えば、選択ボタンや十字キー等を備えていてもよい。また、撮像装置１００は、ユーザに情報を提示する表示モニタをさらに備えていてもよい。表示モニタは、撮像部２０で生成された画像データが示す画像や、記憶部４０から読み出された画像データが示す画像を表示できる画面を有していてもよい。表示モニタは、撮像装置１００の各種設定を行うためのメニュー画面等を表示してもよい。表示モニタの画面上には、ユーザによる各種タッチ操作を受け付け可能なタッチパネルが配置されていてもよい。タッチパネルに対するタッチ操作が示す指示は、制御部３０（ＣＰＵ３２）に送信されて各種処理が行われる。

〈ＤＦＤ処理〉
本実施形態においては、制御部３０は、光学系１０の調整条件が異なる２つの画像データに基づいて、被写体までの距離である被写体距離を特定する。つまり、制御部３０は、ＤＦＤ処理を行う。

以下、ＤＦＤ処理を行うための光学系１０の調整対象が、フォーカス位置調整手段１１のフォーカス位置である場合を例として説明する。

図２は、制御部３０の構成を示すブロック図であり、図３は、制御部３０によるＤＦＤ処理を示す模式図であり、図４は、記憶部４０に記憶されるＰＳＦ群の一例を示す図である。

図２に示すように、制御部３０の画像処理部３１は、第１ぼけ画像生成部３３と、第２ぼけ画像生成部３４とを有する。また、制御部３０のＣＰＵ３２は、差分算出部３５と、距離特定部３６とを有する。

図３に示すように、第１ぼけ画像生成部３３は、光学系１０の第１調整条件（具体的には第１フォーカス位置）で生成された被写体の第１画像データ（ｇ₁ （ｄ））に対し、第２ＰＳＦ群（ｋ₂ （ｄ））を畳み込むことにより、複数の第１ぼけ画像（第１ぼけ画像群）を生成する。第２ぼけ画像生成部３４は、光学系１０の第２調整条件（具体的には第２フォーカス位置）で生成された被写体の第２画像データ（ｇ₂ （ｄ））に対し、第１ＰＳＦ群（ｋ₁ （ｄ））を畳み込むことにより、複数の第２ぼけ画像（第２ぼけ画像群）を生成する。差分算出部３５は、第１ぼけ画像生成部３３により生成された第１ぼけ画像群と、第２ぼけ画像生成部３４により生成された第２ぼけ画像群との間で、複数の差分（ＰＳＦの距離が等しい「ぼけ画像」同士の差分）を算出する。距離特定部３６は、差分算出部３５により算出された複数の差分に基づいて、被写体距離を特定する。

また、図４に示すように、記憶部４０は、光学系１０の複数のフォーカス位置のそれぞれにおいて異なる複数の距離について予め求められた複数のＰＳＦ群を記憶する。詳しくは、記憶部４０は、制御部３０によるＤＦＤ処理のために、光学系１０の第１フォーカス位置（第１調整条件）において異なる複数の距離について予め求められた複数の第１ＰＳＦ（第１ＰＳＦ群）と、光学系１０の第２フォーカス位置（第２調整条件）において複数の距離について予め求められた複数の第２ＰＳＦ（第２ＰＳＦ群）とを記憶する。尚、制御部３０によるＤＦＤ処理において、各演算の結果を記憶部４０やバッファに適宜格納してもよい。

以下、制御部３０によるＤＦＤ処理について詳述する。

ＤＦＤ処理において、制御部３０は、光学系１０のフォーカス位置を変動させることによって、意図的にぼけ量の異なる２枚の画像（２つの画像データ）を生成する。具体的には、制御部３０は、駆動部５０を制御して、時刻Ｔ１におけるフォーカス位置調整手段１１のフォーカス位置を「第１フォーカス位置」に設定する。同様に、時刻Ｔ２におけるフォーカス位置調整手段１１のフォーカス位置を「第２フォーカス位置」に設定する。撮像部２０は、時刻Ｔ１に「第１フォーカス位置」で被写体を撮像し、「第１画像データ」を生成する。同様に、撮像部２０は、時刻Ｔ２に「第２フォーカス位置」で被写体を撮像し、「第２画像データ」を生成する。「第１画像データ」と「第２画像データ」とは、フォーカス位置調整手段１１のフォーカス位置が異なるので、同一被写体を撮像した画像データではあるが、互いにぼけ量が異なる。

ＤＦＤ処理に用いるＰＳＦは、光学系の点光源に対する応答を示す関数であり、ぼけ量の変化を示す。ＰＳＦを、点光源の集合に対応する画像に畳み込むことによって、ぼけ画像を生成することができる。本実施形態では、異なる複数の距離に対応して、複数のフォーカス位置ごとに複数のＰＳＦ（ＰＳＦ群）が予め記憶部４０に記憶されている。制御部３０（第１ぼけ画像生成部３３及び第２ぼけ画像生成部３４）は、前述の畳み込み演算に必要なＰＳＦ群を「第１画像データ」及び「第２画像データ」と共に記憶部４０から選択的に読み出す。

ところで、図３に示すように、「第１フォーカス位置」で生成された被写体の「第１画像データ（ｇ₁ （ｄ））」は、被写体の「全焦点画像ｆ」に、「第１フォーカス位置」の第１ＰＳＦ群（ｋ₁ （ｄ））のうち被写体距離に対応するＰＳＦを畳み込んだものである。同様に、「第２フォーカス位置」で生成された被写体の「第２画像データ（ｇ₂ （ｄ））」は、被写体の「全焦点画像ｆ」に、「第２フォーカス位置」の第２ＰＳＦ群（ｋ₂ （ｄ））のうち被写体距離に対応するＰＳＦを畳み込んだものである。

従って、「第１画像データ（ｇ₁ （ｄ））」に第２ＰＳＦ群（ｋ₂ （ｄ））を畳み込むことにより得られる「第１ぼけ画像群」のうち被写体距離に対応するぼけ画像と、「第２画像データ（ｇ₂ （ｄ））」に第１ＰＳＦ群（ｋ₁ （ｄ））を畳み込むことにより得られる「第２ぼけ画像群」のうち被写体距離に対応するぼけ画像とは、理論的には一致する。

そこで、本実施形態においては、第１ぼけ画像生成部３３により生成された「第１ぼけ画像群」と、第２ぼけ画像生成部３４により生成された「第２ぼけ画像群」との間で、差分算出部３５を用いて、ＰＳＦの距離が等しい「ぼけ画像」同士の複数の差分を算出し、当該複数の差分に基づいて、距離特定部３６を用いて、「被写体距離」を特定する。距離特定部３６は、簡単には、複数の差分のうちの最小のものに対応するＰＳＦの距離を、「被写体距離」として特定してもよい。

ところで、ＤＦＤにおいては、ぼけが大きくなるに従って、ぼけの変化が小さくなる傾向があるため、ぼけが大きい領域では、「被写体距離」の特定精度が低下する恐れがある。そこで、距離特定部３６は、差分算出部３５により算出された複数の差分の「距離」に対する変化を考慮して、例えば、複数の差分のうちの極小のものに対応するＰＳＦの距離を、「被写体距離」として特定してもよい。或いは、１つの差分について、「距離」が前後する他の差分との差分をさらに取ってその合計を算出し、当該合計が最小のものに対応するＰＳＦの距離を、「被写体距離」として特定してもよい。

尚、本実施形態において、制御部３０は、「第１画像データ」及び「第２画像データ」を複数の領域（例えば１６×１６又は３２×３２の画素領域）に分割し、当該各領域毎に被写体距離を特定してもよい。これにより、被写体距離の精度が向上する。

図５及び図６はそれぞれ、制御部３０で用いる被写体の「第１画像データ」及び「第２画像データ」が示す画像の一例であり、図７は、図５及び図６に示す画像に基づいて制御部３０で特定された被写体距離の一例をマップ状に示す図である。ここで、図７に示す被写体距離は、「第１画像データ」及び「第２画像データ」を複数の領域に分割して当該各領域毎に特定されたものである。

また、本実施形態において、制御部３０は、距離特定部３６により特定された被写体距離に基づいて、フォーカス位置調整手段１１を通じてフォーカス制御を行ってもよい。前述のように、画像の領域毎に被写体距離を特定した場合は、例えば、最も近い被写体距離や画像中央部の被写体距離に基づいて、フォーカス制御を行ってもよい。

以上に説明した本実施形態の撮像装置１００によると、光学系１０のフォーカス位置が異なる２つの画像データのそれぞれに、他方の画像データのフォーカス位置に対応するＰＳＦ群を畳み込むこと（つまり、たすき掛け）により得られるぼけ画像群同士の差分に基づいて、被写体距離を特定する。このため、画像処理のアルゴリズムを簡単化できると共に処理に必要なデータ量を低減できる。従って、フォーカス制御に要する時間を短縮できると共にメモリ等のＨ／Ｗコストを低減できる。

《その他の実施形態》
前記実施形態においては、光学系１０のフォーカス位置が異なる２つの画像データに基づいて、被写体距離を特定した。しかし、これに代えて、光学系１０の絞り値やズーム状態が異なる２つの画像データに基づいて、被写体距離を特定してもよい。

また、前記実施形態において、ＤＦＤに基づくフォーカス制御と合わせて、他の方式に基づくＡＦ（オートフォーカス）、例えば、コントラストＡＦ、位相差ＡＦ、像面位相差ＡＦ等を行ってもよい。

以上、実施形態及び変形例を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。また、以上の実施形態及び変形例は、本開示の対象の機能を損なわない限り、適宜組み合わせたり、置換したりしてもよい。さらに、以上に述べた「第１」、「第２」、…という記載は、これらの記載が付与された語句を区別するために用いられており、その語句の数や順序までも限定するものではない。

以上に説明したように、本開示は、撮像装置について有用である。

１０ 光学系
１０ａ 光軸
１１ フォーカス位置調整手段
１２ ズーム調整手段
１３ 絞り調整手段
１３ａ 開口
２０ 撮像部
３０ 制御部
３１ 画像処理部
３２ ＣＰＵ
３３ 第１ぼけ画像生成部
３４ 第２ぼけ画像生成部
３５ 差分算出部
３６ 距離特定部
４０ 記憶部
５０ 駆動部
１００ 撮像装置

Claims (6)

1. 被写体の被写体像を形成する光学系と、
   前記光学系を介して形成される被写体像を撮像し、画像データを生成する撮像部と、
   前記光学系の調整条件が異なる２つの画像データに基づいて、前記被写体までの距離である被写体距離を特定する制御部と、
   前記光学系の第１調整条件において異なる複数の距離について予め求められた複数の第１ＰＳＦと、前記光学系の第２調整条件において前記複数の距離について予め求められた複数の第２ＰＳＦとを記憶する記憶部と、
   を備え、
   前記制御部は、
   前記光学系の前記第１調整条件で生成された前記被写体の第１画像データに対し、前記複数の第２ＰＳＦのそれぞれを畳み込むことにより、複数の第１ぼけ画像を生成する第１ぼけ画像生成部と、
   前記光学系の前記第２調整条件で生成された前記被写体の第２画像データに対し、前記複数の第１ＰＳＦのそれぞれを畳み込むことにより、複数の第２ぼけ画像を生成する第２ぼけ画像生成部と、
   前記複数の第１ぼけ画像のそれぞれと、前記複数の第２ぼけ画像のそれぞれとの間で、複数の差分を算出する差分算出部と、
   前記複数の差分に基づいて、前記被写体距離を特定する距離特定部と、
   を含む、撮像装置。
2. 請求項１において、
   前記光学系は、フォーカス位置調整手段を有し、
   前記第１調整条件は、第１フォーカス位置であり、
   前記第２調整条件は、第２フォーカス位置である、撮像装置。
3. 請求項１において、
   前記光学系は、絞り調整手段を有し、
   前記第１調整条件は、第１絞り値であり、
   前記第２調整条件は、第２絞り値である、撮像装置。
4. 請求項１において、
   前記光学系は、ズーム調整手段を有し、
   前記第１調整条件は、第１ズーム状態であり、
   前記第２調整条件は、第２ズーム状態である、撮像装置。
5. 請求項１〜４のいずれか１項において、
   前記制御部は、前記被写体距離に基づいてフォーカス制御を実施する、撮像装置。
6. 請求項１〜５のいずれか１項において、
   前記制御部は、前記第１画像データ及び前記第２画像データを複数の領域に分割し、当該各領域毎に前記被写体距離を特定する、撮像装置。