JP2019149674A - 撮像装置、撮像方法、および画像処理装置 - Google Patents

Abstract

【課題】撮像後にフォーカス調整等を行おうとする際の演算処理を低減し、レンズレス撮像装置のセンサ画像を伝送して各種機能を実現するのに適した技術を提供する。【解決手段】撮像装置は、格子パターンに基づいて光の強度を変調する変調器と、前記変調器を透過した光を電気信号に変換してセンサ画像を生成する画像センサと、前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部と、前記複素センサ画像を送信するデータ送信部とを有する。【選択図】図１

Description

本発明は、撮像装置、撮像方法、および画像処理装置に関する。

本技術分野の背景技術として、国際公開第２０１７／１４９６８７号がある。該公報には、「格子基板を透過する光線の入射角度の検出を容易化することにより、撮像装置の高機能化が可能な撮像装置を得る。撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第１の格子パターンを有し、前記信号処理部は、前記画像記憶部から出力される画像信号を、複数の同心円から構成される仮想的な第２の格子パターンで変調することでモアレ縞画像を生成し、フォーカス位置に応じて前記第２の格子パターンの同心円の大きさを変更することを特徴とする撮像装置で解決できる。」と記載されている。

国際公開第２０１７／１４９６８７号 国際公開第２０１７／１４５３４８号

レンズを使用しないレンズレス撮像装置が、小型かつ低コストを実現できる撮像装置として期待されている。また、撮像装置のネットワーク接続は、画像解析等の撮像装置の適用範囲拡大に必須となってきている。しかし、上述した特許文献１では、レンズレス撮像装置で撮像されたセンサ画像からモアレ縞画像生成時にフォーカス調整（リフォーカス）、オートフォーカス、測距と言った機能を実現する方法に関して述べられている。また特許文献２では、表側格子の位相と裏側格子の位相が、互いに独立にすべての組み合わせで重ね合わされる様に配置することでノイズ除去を行う技術が開示されている。しかし、撮像して得られた画像に対し再度フォーカス調整等を行おうとする場合、現像用パターンの乗算、ノイズ除去のための演算処理を再び行う必要があるため演算処理が膨大になる。

本発明の目的は、撮像後にフォーカス調整等を行おうとする際の演算処理を低減し、レンズレス撮像装置のセンサ画像を伝送して各種機能を実現するのに適した技術を提供することにある。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

本発明の一態様に係る撮像装置は、格子パターンに基づいて光の強度を変調する変調器と、前記変調器を透過した光を電気信号に変換してセンサ画像を生成する画像センサと、前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部と、前記複素センサ画像を送信するデータ送信部とを有する。

本発明によれば、処理を簡易化し、通信データ量を小さくすることにより、レンズレス撮像装置のセンサ画像を伝送して各種機能を実現するのに適した技術を提供することができる。

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

第１実施形態に係る撮像装置の構成例を示す図である。 撮像部の構成例を示す図である。 撮像部の他の構成例を示す図である。 撮影用パターンの一例を示す図である。 撮影用パターンの他の例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。 撮影用パターンの投影像の一例を示す図である。 現像用パターンの一例を示す図である。 相関現像方式による現像画像の一例を示す図である。 モアレ現像方式によるモアレ縞の一例を示す図である。 モアレ現像方式による現像画像の一例を示す図である。 フリンジスキャンにおける初期位相の組合せの一例を示す図である。 空間分割フリンジスキャンにおける撮影用パターンの一例を示す図である。 フリンジスキャン処理部の処理例を示すフローチャートである。 相関現像方式による画像処理部の処理例を示すフローチャートである。 モアレ現像方式による画像処理部の処理例を示すフローチャートである。 物体が無限距離にある場合に撮影用パターンが投影されることを説明する図である。 物体が有限距離にある場合に撮影用パターンが拡大されることを説明する図である。 フォーカス機能を有する撮像装置の構成例を示す図である。 第２実施形態に係る撮像システムの構成例を示す図である。 センサ画像の一例を示す図である。 センサ画像の輝度分布の一例を示す図である。 センサ画像の輝度分布の他の例を示す図である。 複素センサ画像の輝度分布の一例を示す図である。 複素センサ画像の複素空間におけるデータの一例を示す図である。 複素センサ画像の実部データのヒストグラムの一例を示す図である。 複素センサ画像の複素空間におけるデータの他の例を示す図である。 複素センサ画像の実部データのヒストグラムの他の例を示す図である。 複素センサ画像の複素空間におけるデータのさらに他の例を示す図である。 複素センサ画像の複素空間におけるデータのさらに他の例を示す図である。 第３実施形態に係る撮像システムの構成例を示す図である。 データ量低減部の処理例を示すフローチャートである。 データ量低減部の処理の他の例を示すフローチャートである。 データ量低減部の処理のさらに他の例を示すフローチャートである。

以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。

［第１実施形態］
〈無限遠物体の撮影原理〉
図１は、第１実施形態に係る撮像装置１０１の構成例を示す図である。撮像装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、撮像部１０２、フリンジスキャン処理部１０６（複素センサ画像処理部と呼んでもよい）、画像処理部１０７、およびコントローラ１０８から構成されている。

図２は、撮像部１０２の構成例を示す図である。撮像部１０２は、画像センサ１０３、パターン基板１０４、および撮影用パターン１０５から構成されている。パターン基板１０４と撮影用パターン１０５を併せて変調器と呼ぶことができる。

パターン基板１０４は、画像センサ１０３の受光面に密着して固定され、パターン基板１０４の表面には撮影用パターン１０５が形成されている。パターン基板１０４は、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。

撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。

なお、撮影用パターン１０５の形成は、蒸着に限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。

また、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う場合、パターン基板１０４は、例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料からなる。すなわち、パターン基板１０４には、撮影対象となる波長に対して透明な材料を用いることができ、撮影用パターン１０５には、撮影対象となる波長を遮断する材料を用いることができる。

また、ここでは撮影用パターン１０５をパターン基板１０４に形成する方法について述べたが、これに限定されない。図３は、撮像部１０２の他の構成例を示す図である。撮影用パターン１０５を薄膜に形成し、これをパターン基板１０４の替わりに設けた支持部材３０１により保持する構成によっても、撮像部１０２を実現することができる。支持部材３０１および撮影用パターン１０５を併せて変調器と呼ぶことができる。なお、図１に示す撮像装置１０１において、撮影画角はパターン基板１０４の厚さによって変更可能である。従って、図３に示す支持部材３０１がその長さを変更可能な機能を有していれば、撮影画角を変更することができる。

図２又は図３に示すように、画像センサ１０３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。画像センサ１０３の撮像面（受光面）には、受光素子である画素１０３ａがアレイ状に配置されている。撮影用パターン１０５を透過する光は、その格子パターンによって光の強度が変調され、画像センサ１０３にて受光される。画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換して出力する。なお、画像信号（アナログの画像データ）は、例えばアナログ・デジタル変換回路を介してデジタル信号に変換され、デジタルの画像データとして出力される。本明細書では、撮像部１０２が画像データを出力するものとして説明する。

フリンジスキャン処理部１０６は、画像センサ１０３から出力される画像データに対してフリンジスキャンによるノイズ除去を行い、画像処理部１０７に出力する。画像処理部１０７は、フリンジスキャン処理部１０６から出力された画像データに対して所定の画像処理を行い、コントローラ１０８に出力する。コントローラ１０８は、画像処理部１０７から出力された画像データを、必要に応じてデータ形式を変換し、撮像装置１０１の備える記憶装置（図示せず）に格納したり、外部のホストコンピュータや記録媒体に出力したりする。

なお、コントローラ１０８は、例えば、プロセッサ、メモリ、通信装置、処理回路等を備えるユニットによって実現することができる。また、コントローラ１０８は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の、外部装置と接続する入出力インターフェイスに接続される又はこれを備えてもよい。フリンジスキャン処理部１０６、および画像処理部１０７は、例えば、画像処理回路によって実現される。フリンジスキャン処理部１０６、画像処理部１０７、およびコントローラ１０８は、一体的に構成されていてもよい。

続いて、撮像装置１０１における撮影原理について説明する。

まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターンであり、同心円の中心である基準座標からの半径ｒ、係数βを用いて、

と定義される。撮影用パターン１０５は、この式に比例して透過率が変調されているものとする。

このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図４は、撮影用パターン１０５の一例を示す図あり、式（１）のガボールゾーンプレートが示されている。図５は、撮影用パターン１０５の他の例を示す図であり、式（１）を閾値１で２値化したフレネルゾーンプレートが示されている。

ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。

図６は、斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。撮影用パターン１０５が形成された厚さｄのパターン基板１０４に、ｘ軸方向に角度θ_０で平行光が入射したとする。パターン基板１０４中の屈折角をθとして、幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３に入射する。このとき、

のような強度分布を持つ投影像が画像センサ１０３上で検出される。なお、Φは式（１）の透過率分布の初期位相を示す。この撮影用パターン１０５の投影像（図７）は、式（２）のようにｋシフトして投影される。これが撮像部１０２の出力となる。

次に、画像処理部１０７における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。

相関現像方式は、撮影用パターン１０５の投影像（図７）と現像用パターン８０１（図８）との相互相関関数を演算することにより、シフト量ｋの輝点（図９）を得るものである。なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなることから、フーリエ変換を用いて演算する例について、数式を用いて原理を説明する。

まず、現像用パターン８０１は、撮影用パターン１０５と同様にガボールゾーンプレートやフレネルゾーンプレートを用いる。よって、現像用パターン８０１は、初期位相Φを用いて、

と表せる。現像用パターン８０１は、画像処理部１０７の演算処理内で仮想的なデータとして生成されて使用されるため、式（１）のように１でオフセットさせる必要はなく、負の値を有していても問題ない。

式（２）、および式（３）のフーリエ変換は、それぞれ、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この式で重要なことはフーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、この数式に基づいて、フーリエ変換後の現像用パターン８０１を直接的に生成してもよい。これにより演算量を低減可能である。

次に、式（４）、および式（５）を乗算すると、

となる。この指数関数で表された項ｅｘｐ（−ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、

のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。この輝点が無限遠の光束を示しており、図１の撮像装置１０１による撮影像にほかならない。

なお、相関現像方式では、パターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。

次に、モアレ現像方式では、撮影用パターン１０５の投影像（図７）と現像用パターン８０１（図８）を乗算することによりモアレ縞（図１０）を生成し、フーリエ変換することにより現像画像におけるシフト量ｋβ／πの輝点（図１１）を得る。このモアレ縞を数式で示すと、

となる。この展開式の第３項が信号成分であり、２つのパターンのずれの方向にまっすぐな等間隔の縞模様が、２つのパターンの重なり合った領域一面に作られることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。この第３項の２次元フーリエ変換は、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークがｕ＝±ｋβ／πの位置に生じることがわかる。この輝点が無限遠の光束を示しており、図１の撮像装置１０１による撮影像にほかならない。

なお、モアレ現像方式では、パターンのシフトによって得られるモアレ縞が単一の周波数を有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えば楕円状のパターンで実現してもよい。

〈ノイズキャンセル〉
式（６）から式（７）への変換、また式（８）から式（９）への変換において信号成分に着目して話を進めたが、実際には信号成分以外の項が現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルを行う。

フリンジスキャンのためには、撮影用パターン１０５として初期位相Φの異なる複数のパターンを使用する必要がある。図１２は、フリンジスキャンにおける初期位相の組合せの一例を示す図である。ここでは、Φ＝０、π／２、π、３π／２となる４位相を用いて撮影したセンサ画像を以下の式に従って演算すると、複素数のセンサ画像（複素センサ画像）が得られる。

ここで、複素数の現像用パターン８０１は、

と表せる。現像用パターン８０１は、演算処理内で使用されるため、複素数であっても問題ない。モアレ現像方式の場合、式（１０）と式（１１）を乗算すると、

となる。この指数関数で表された項ｅｘｐ（２ｉβｋｘ）が信号成分であり、式（８）のような不要な項が発生せず、ノイズキャンセルされていることが解る。

同様に相関現像方式についても確認すると、式（１０）、および式（１１）のフーリエ変換はそれぞれ、

のようになる。次に、式（１３）と式（１４）を乗算すると、

となる。この指数関数で表された項ｅｘｐ（−ｉｋｕ）が信号成分であり、式（８）のような不要な項が発生せず、ノイズキャンセルされていることが解る。

なお、以上の例では、４位相の複数のパターンを使用して説明したが、Φは０〜２πの間の角度を等分するように設定すればよく、この４位相に限定するものではない。

以上の複数パターンによる撮影を実現するには、時分割でパターンを切り替える方法（時分割フリンジスキャン）と、空間分割でパターンを切り替える方法（空間分割フリンジスキャン）がある。

時分割フリンジスキャンを実現するには、例えば、電気的に図１２に示す複数の初期位相を切り替えて表示することが可能（すなわちパターンを変更可能）な液晶表示素子などで、撮影用パターン１０５を構成する。撮像部１０２は、この液晶表示素子の切替タイミングと画像センサ１０３のシャッタタイミングを同期して制御し、フリンジスキャン処理部１０６は、４枚の画像を取得後にフリンジスキャン演算を実施する。

対して、空間分割フリンジスキャンを実現するには、例えば図１３（空間分割フリンジスキャンにおける撮影用パターン１０５の一例を示す図）に示すように、複数の初期位相を有する撮影用パターン１０５を使用する。撮像部１０２は、画像センサ１０３のシャッタタイミングを制御し、フリンジスキャン処理部１０６は、１枚の画像を取得後、当該取得画像をそれぞれの初期位相のパターンに対応して４枚に分割し、フリンジスキャン演算を実施する。

続いて、フリンジスキャン処理部１０６でのフリンジスキャン演算について説明する。図１４は、フリンジスキャン処理部１０６の処理例を示すフローチャートである。

まず、フリンジスキャン処理部１０６は、画像センサ１０３から出力される複数位相パターンのセンサ画像（空間分割フリンジスキャンの場合は１枚、時分割フリンジスキャンの場合は複数枚）を取得する。フリンジスキャン処理部１０６は、空間分割フリンジスキャンを使用する場合には取得したセンサ画像を位相ごとに分割し（１４０１）、時分割フリンジスキャンを使用する場合には処理１４０１は実施しない。次に、フリンジスキャン処理部１０６は、出力用の複素センサ画像を初期化する（１４０２）。

続いて、フリンジスキャン処理部１０６は、初期位相ごとに、処理１４０３〜１４０５を繰り返す。例えば、図１２に示したような４位相を用いたフリンジスキャンでは、Φ＝０、π／２、π、３π／２の４回繰り返す。フリンジスキャン処理部１０６は、対象の初期位相Φのセンサ画像を取得し（１４０３）、その初期位相Φに応じたｅｘｐ（ｉΦ）を乗算し（１４０４）、乗算結果を複素センサ画像に加算する（１４０５）。フリンジスキャン処理部１０６は、全ての初期位相についての処理を終了したか否かを判定し（１４０６）、終了していない場合は処理を１４０３に戻し（１４０６でＮＯ）、終了した場合は処理を１４０７に進める（１４０６でＹＥＳ）。

最後に、フリンジスキャン処理部１０６は、複素センサ画像を出力する（１４０７）。以上のフリンジスキャン処理部１０６での処理は、式（１０）に相当する。

次に、画像処理部１０７での画像処理について説明する。図１５は、相関現像方式による画像処理部１０７の処理例を示すフローチャートである。

まず、画像処理部１０７は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得し、複素センサ画像に対して２次元高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）演算を実施する（１５０１）。次に、画像処理部１０７は、現像処理に使用する現像用パターン８０１を生成し、２次元ＦＦＴ演算した複素センサ画像に乗算し（１５０２）、逆２次元ＦＦＴ演算を実施する（１５０３）。この演算結果は複素数となるため、画像処理部１０７は、絶対値化もしくは実部を取り出して撮影対象の像を実数化して現像（復元）する（１５０４）。その後、画像処理部１０７は、得られた現像画像に対してコントラスト強調処理（１５０５）、カラーバランス調整（１５０６）などを実施し、撮影画像として出力する。以上により、相関現像方式による画像処理部１０７の画像処理が終了となる。

これに対して、図１６は、モアレ現像方式による画像処理部１０７の処理例を示すフローチャートである。

まず、画像処理部１０７は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得する。画像処理部１０７は、現像処理に使用する現像用パターン８０１を生成して複素センサ画像に乗算し（１６０１）、２次元ＦＦＴ演算により周波数スペクトルを求め（１６０２）、この周波数スペクトルのうち必要な周波数領域のデータを切り出す（１６０３）。以降の処理は図１５における処理１５０４〜１５０６の処理と同様である。以上により、モアレ現像方式による画像処理部１０７の画像処理が終了となる。

〈有限距離物体の撮影原理〉
図１７は、物体が無限距離にある場合に撮影用パターン１０５が投影されることを説明する図である。図１７は、これまで述べた被写体が遠い場合における撮影用パターン１０５の画像センサ１０３への射影の様子を示している。遠方の物体を構成する点１７０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン１０５を照射し、その投影像１７０２が画像センサ１０３に投影される場合、投影像は撮影用パターン１０５とほぼ同じ形状である。結果、投影像１７０２に対して、現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。

一方、有限距離の物体に対する撮像について説明する。図１８は、物体が有限距離にある場合に撮影用パターン１０５が拡大されることを説明する図である。物体を構成する点１８０１からの球面波が撮影用パターン１０５を照射し、その投影像１８０２が画像センサ１０３に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン１０５から点１８０１までの距離ｆを用いて、

のように算出できる。そのため、平行光に対して設計された現像用パターンをそのまま用いて現像処理したのでは、単一の輝点を得ることができない。そこで、一様に拡大された撮影用パターン１０５の投影像に合わせて、現像用パターン８０１を拡大させたならば、拡大された投影像１８０２に対して再び、単一の輝点を得ることができる。このためには、現像用パターン８０１の係数βをβ／α^２とすることで補正が可能である。これにより、必ずしも無限遠でない距離の点１８０１からの光を選択的に再生することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。

さらに、本構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。図１９は、フォーカス機能を有する撮像装置１０１の構成例を示す図である。図１と異なり、撮像装置１０１は、フォーカス設定部１９０１を備える。フォーカス設定部１９０１は、撮像装置１０１に備え付けられた摘み等のハードウェアスイッチやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の操作により入力されるフォーカス距離を、コントローラ１０８を介して取得可能であり、フォーカス距離情報を画像処理部１０７に出力する。フォーカス設定部１９０１は、コントローラ１０８内で実現されてもよい。

さらに、このように撮影後のフォーカス調整が可能ということは、奥行情報を有しているということであり、オートフォーカスや測距といった様々な機能を画像処理部１０７において実現することが可能になる。このようなフォーカス調整をはじめとする機能を実現する上では、現像用パターン８０１の係数βを自由に変更することが必要となるが、本実施形態で説明したフリンジスキャン処理部１０６における処理のように、センサ画像だけを用いてフリンジスキャン演算を実施することにより、現像用パターン８０１を用いた画像処理を独立して実施することが可能となり、処理を簡易化することができる。すなわち撮像後にフォーカス調整等を行おうとした際、画像処理部にてフリンジスキャンを再度行うことなく、かつ複素センサ画像に対し現像用パターンを演算するため演算量を大幅に削減することができる。

本実施形態に係る方法・構成によれば、撮像後のフォーカス調整、オートフォーカス、および測距の画像処理と、フリンジスキャン処理とを分離して実施可能な撮像装置を実現することが可能となる。すなわち撮像後にフォーカス調整等を行おうとした際、画像処理部にてフリンジスキャンを再度行うことなく、かつ複素センサ画像に対し現像用パターンを演算するため演算量を大幅に削減することができる。

［第２実施形態］
第１実施形態の撮像装置１０１では、フォーカス調整、オートフォーカス、測距などの高機能化により、画像処理部１０７の処理が重くなり、さらに、撮像装置１０１のサイズ、コスト、消費電力が大きくなってしまう可能性がある。そこで、第２実施形態では、撮像装置１０１の処理、サイズ、コスト、消費電力等の少なくとも１つを低減するための処理分割方法について説明する。以下、第１実施形態と異なる点を中心に説明する。

図２０は、第２実施形態に係る撮像システムの構成例を示す図である。撮像システムは、第１実施形態の撮像装置１０１を、送信側装置である撮像装置２００１と受信側装置である画像処理装置２００２に分割したものである。本撮像システムにおいて、撮像装置２００１と画像処理装置２００２は、有線もしくは無線もしくはこれらの組み合わせの通信手段、または記憶媒体を介してデータを送受信する。通信手段は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等の様々な通信ネットワークの１つ以上の組み合わせで構成できる。この場合、画像処理装置２００２は、例えばサーバコンピュータで実現でき、このサーバコンピュータは、複数の撮像装置２００１と通信することができてもよい。

撮像装置２００１は、撮像部１０２、及びフリンジスキャン処理部１０６に加え、データ送信部２００３を有する。データ送信部２００３は、フリンジスキャン処理部１０６が出力した複素センサ画像を、所定の通信ネットワークあるいは記憶媒体に伝送する形式に変換して送信する。データ送信部２００３は、例えば、有線もしくは無線ＬＡＮの通信規格に準拠したインターフェイスであってもよいし、移動体通信網の通信規格に準拠したインターフェイスであってもよいし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの通信規格に準拠したインターフェイスであってもよい。撮像装置２００１は、異なる通信規格の複数のデータ送信部２００３を備えてもよく、通信環境に合わせて使い分けてもよい。

画像処理装置２００２は、画像処理部１０７、およびコントローラ１０８に加え、データ受信部２００４を有する。データ受信部２００４は、撮像装置２００１から送信されたデータ（複素センサ画像）を受信し、画像処理部１０７で扱う所定の形式に変換して出力する。データ受信部２００４は、上述したデータ送信部２００３と同様のインターフェイスである。画像処理部１０７は、データ受信部２００４から出力される複素センサ画像を用いて、フォーカス調整、オートフォーカス、測距などの機能を実現する。

本実施形態に係る方法・構成によれば、センサ画像を外部装置に伝送することにより、撮像装置２００１の構成を簡単にでき、小型で軽量、低コストを実現することができる。また、フリンジスキャン演算後の複素センサ画像を外部装置に伝送することで、例えば撮像装置２００１より高速な画像処理装置２００２で、フォーカス調整、オートフォーカス、測距などの高機能化を実現できる。

［第３実施形態］
第２実施形態の撮像システムでは、撮像装置２００１と画像処理装置２００２の間の通信データ量が大きく、通信に必要な伝送帯域および消費電力が大きくなってしまう可能性がある。そこで、第３実施形態では、通信データ量を小さくするためのデータ量低減方法について説明する。以下、第２実施形態と異なる点を中心に説明する。

まず、センサ画像のデータ量を低減する方法について述べる。図２１は、ある被写体を撮影した場合の画像センサ１０３の出力であるセンサ画像の例を示す。図２２は、センサ画像の輝度分布の一例を示す図であり、図２１のＡＢを結んだ直線上の各ピクセル位置の輝度をマッピングした結果を示す。このように、センサ画像は、センサダイナミックレンジに対して信号成分がレンジ中央付近に集中していることから、データ圧縮を行い易い形式であると言える。具体的には、信号成分の最大値と最小値の範囲内のデータだけを抽出し、それ以外のデータを削減することにより、必要なビット数を低減する（例えば上位ビットを削減する）などして、データ量低減が可能である。

しかし、撮影する条件によっては、図２３（センサ画像の輝度分布の他の例を示す図）に示すように、センサ上に輝度ムラが発生し、信号成分がセンサダイナミックレンジ全体に分布する場合があり、この場合にはデータ削減効率が悪くなる。

そこで、フリンジスキャン処理部１０６でのフリンジスキャン演算が有効である。例えば、図１２に示したような４位相を用いたフリンジスキャンでは、Φ＝０、π／２、π、３π／２の位相を使用しており、Φ＝０とπ、ならびにΦ＝π／２と３π／２のように位相差πの関係にある位相は、透過・非透過が反転しているパターンである。すなわち、輝度ムラは同じでパターンが反転しているので、この関係にあるセンサ画像間で減算を行えば、図２４（複素センサ画像の輝度分布の一例を示す図）に示すように、輝度ムラが除去され平均値が略０となる信号成分を得ることが可能である。これにより、常に信号成分が所定の範囲内にあるデータに制限することが可能であり、データ量低減処理を効率的に実施可能である。なお、このΦ＝０とπ、ならびにΦ＝π／２と３π／２の減算結果とは、式（１０）からも解るとおり、フリンジスキャン処理部１０６の出力である複素センサ画像の実部ならびに虚部のことである。

次に、この複素センサ画像のデータ量を低減する方法について詳細に説明する。図２５は、複素センサ画像のデータを複素空間上にマッピングした例を示す。このように、フリンジスキャン演算後の複素センサ画像は複素空間上に分布している。図２６は、当該複素センサ画像の実部データのヒストグラムの例を示す。この分布２６０１の最大値（Ｉ_ｍａｘ）と最小値（Ｉ_ｍｉｎ）を算出し、この範囲に存在する実部データのみを出力すればよい。当該複素センサ画像の虚部データについても同様である。

なお、センサ画像にはパルス的なノイズも含まれることを鑑みると、最大値と最小値の範囲のデータを出力するだけでは、データ量を十分に低減できない可能性がある。また、本実施形態においては、現像後のデータはセンサ全面に散らばっていると考えられるため、センサ画像の一部のデータが不足していても現像後の品質に大きな影響を及ぼさない。よって、図２６の分布２６０１において０を中心に分布の標準偏差σ内にある範囲のデータを出力する、もしくは３σの範囲のデータを出力するなど、分布する全てのデータを出力しない方法を取ってもよい。これにより、データ量をさらに低減可能である。

また、上記の最大値と最小値、または標準偏差ではなく、予め設定した範囲・精度に出力データを制限してもよい。例えば予め設定した範囲に制限する時、複素センサ画像のビット数が１３ビットであった場合に、常に上位５ビットを削減し８ビットとして出力する、といった方法である。また例えば予め設定した精度に制限する時、複素センサ画像のビット数が１３ビットであった場合に、常に下位５ビットを削減、もしくは丸め処理し８ビットとして出力する、といった方法である。これにより、最大値、最小値、標準偏差等を計算する必要がなくなり、演算量を低減可能である。

また、動画を処理する場合、上記の最大値、最小値、標準偏差等は、処理中のフレームよりも前に処理したフレームの結果を用いて範囲・精度を決定し、出力データを制限してもよい。これにより、演算処理の遅延による影響を抑え、かつデータ量低減を効率よく実施可能である。

図２７は、複素センサ画像のデータを複素空間上にマッピングした他の例を示す。図２８は、当該複素センサ画像の実部データのヒストグラムの例を示す。このように、分布２８０１の平均値μ０が０でない可能性もある。この場合には、データからμ０を減算してから出力してもよい。本実施形態では、画像処理部１０７がフーリエ変換を主とする現像処理を行うため、輝度のオフセットは現像画像に直接的な影響を及ぼさない。影響があるとすれば、モアレ現像方式における周波数スペクトルの直流成分としてピークを持つ可能性があるが、これは該当ピクセルをマスクするなどして解決可能である。

また、図２５、図２７では、複素空間で等方的な分布を有する例について記載したが、撮影状況によっては図２９、図３０に示すように分布に偏りが発生する場合もある。図２９、図３０は、複素センサ画像のデータを複素空間上にマッピングしたさらに他の例を示す。図２９に示すような異方的な分布においては、偏角の平均値θ_０が０のときは、実部と虚部で異なる範囲で出力データを制限すればよいが、偏角の平均値θ_０が０でない場合には、複素センサ画像を極座標変換するのが有効である。極座標変換した後、偏角（−θ_０）を乗じ、実部と虚部で異なる範囲で出力データを制限すればよい。もしくは、複素センサ画像の位相データの範囲・精度を制限し、極座標の振幅・位相のデータを出力すればよい。同様に図３０に示すような環状の分布においても、複素センサ画像を極座標変換するのが有効である。複素センサ画像の振幅の平均値ｒ_０を中心に振幅データの範囲・精度を制限し、極座標の振幅・位相のデータを出力すればよい。

さらに、図２９に示したような分布の偏りが極端な場合には、実部・虚部のどちらか一方、あるいは振幅・位相のどちらか一方のデータだけを出力する方法を取ってもよい。これにより、大幅なデータ量低減が可能となる。

以上のデータ低減処理を実施するための構成について説明する。図３１は、第３実施形態に係る撮像システムの構成例を示す図である。第２実施形態の撮像システム（図２０）と異なる点は、撮像装置２００１に替わる撮像装置３１０１である。撮像装置３１０１は、撮像装置２００１と異なり、データ量低減部３１０２を備える。撮像装置３１０１では、フリンジスキャン処理部１０６が複素センサ画像を出力し、データ量低減部３１０２が複素センサ画像のビット数を低減するなどしてデータ量を低減し、データ送信部２００３がデータ量低減された複素センサ画像を外部装置に送信する。

図３２は、データ量低減部３１０２の処理例を示すフローチャートである。まず、データ量低減部３１０２は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得し、平均値μ０が０でない場合は平均値μ０を減算する（３２０１）。次に、データ量低減部３１０２は、複素センサ画像を虚部・実部に分離する（３２０２）。続いて、データ量低減部３１０２は、虚部・実部それぞれについて、最大値・最小値を求めるなどして出力データ範囲を決定し（３２０３）、その範囲に必要なビット精度を決定した後（３２０４）、決定した範囲・精度で出力データのビット数を制限して出力する（３２０５）。

図３３は、データ量低減部３１０２の処理の他の例を示すフローチャートである。図３３が図３２の処理と異なるのは、極座標変換して出力する点である。まず、データ量低減部３１０２は、フリンジスキャン処理部１０６から出力される複素センサ画像を取得し、平均値μ０が０でない場合は平均値μ０を減算する（３２０１）。次に、データ量低減部３１０２は、複素センサ画像を極座標に変換した後、振幅・位相に分離する（３３０１）。続いて、データ量低減部３１０２は、振幅・位相それぞれについて、最大値・最小値を求めるなどして出力データ範囲を決定し（３３０２）、その範囲に必要なビット精度を決定した後（３３０３）、決定した範囲・精度で出力データのビット数を制限して出力する（３３０４）。これにより、分布が複素空間において異方的である場合にデータ低減効率を上げることが可能である。

図３４は、データ量低減部３１０２の処理のさらに他の例を示すフローチャートである。図３４のフローチャートは、処理３３０１と処理３３０２の間に処理３４０１が追加されている点で、図３３と異なる。データ量低減部３１０２は、分離した振幅・位相データから、分布の形状に応じた位相平均値θ_０・振幅平均値ｒ_０を減算する（３４０１）。これにより、さらに効率的にデータ低減を行うことができる。

本実施形態に係る方法・構成によれば、センサ画像データをビット数削減することによりデータ通信量を小さくし、ネットワーク伝送にかかる伝送帯域および消費電力を低減することができる。

以上、本発明について複数の実施形態を用いて説明した。もちろん、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、撮像装置、撮像方法、および画像処理装置に限られず、撮像システム、画像処理方法、コンピュータ読み取り可能なプログラムなどの様々な態様で提供できる。

１０１…撮像装置、１０２…撮像部、１０３…画像センサ、１０３ａ…画素、１０４…パターン基板、１０５…撮影用パターン、１０６…フリンジスキャン処理部、１０７…画像処理部、１０８…コントローラ、３０１…支持部材、８０１…現像用パターン、１７０１…点、１７０２…投影像、１８０１…点、１８０２…投影像、１９０１…フォーカス設定部、２００１…撮像装置、２００２…画像処理装置、２００３…データ送信部、２００４…データ受信部、２６０１…分布、２８０１…分布、３１０１…撮像装置、３１０２…データ量低減部

Claims (23)

1. 格子パターンに基づいて光の強度を変調する変調器と、
   前記変調器を透過した光を電気信号に変換してセンサ画像を生成する画像センサと、
   前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部と、
   前記複素センサ画像を送信するデータ送信部とを有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記複素センサ画像処理部は、少なくとも２つ以上のそれぞれ異なる位相パターンの前記センサ画像から前記複素センサ画像を生成することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   下記式に基づき、前記複素センサ画像処理部は前記複素センサ画像を生成することを特徴とする撮像装置。
   

   
4. 請求項１に記載の撮像装置であって、
   前記複素センサ画像のデータ量を低減するデータ量低減部を有することを特徴とする撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記データ量低減部は、前記複素センサ画像を実部と虚部に分離してデータ量を低減することを特徴とする撮像装置。
6. 請求項４に記載の撮像装置であって、
   前記データ量低減部は、前記複素センサ画像を振幅と位相に分離してデータ量を低減することを特徴とする撮像装置。
7. 請求項４に記載の撮像装置であって、
   前記データ量低減部は、前記複素センサ画像の最大値と最小値に基づいてデータ範囲ならびに精度を決定し、出力ビット数を低減することを特徴とする撮像装置。
8. 請求項４に記載の撮像装置であって、
   前記データ量低減部は、前記複素センサ画像の分布の標準偏差に基づいてデータ範囲ならびに精度を決定し、出力ビット数を低減することを特徴とする撮像装置。
9. 撮像装置と通信する画像処理装置であって、
   前記撮像装置は、第１の格子パターンに基づいて光の強度を変調する変調器と、前記変調器を透過した光を電気信号に変換してセンサ画像を生成する画像センサと、前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部と、前記複素センサ画像を送信するデータ送信部とを有し、
   前記画像処理装置は、
   前記複素センサ画像を受信するデータ受信部と、
   前記複素センサ画像と第２の格子パターンのデータとの演算に基づいて像を復元する画像処理部とを有することを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置であって、
    前記複素センサ画像処理部は、少なくとも２以上のそれぞれ異なる位相パターンの前記センサ画像から前記複素センサ画像を生成することを特徴とする画像処理装置。
11. 請求項９に記載の画像処理装置であって、
    下記式に基づき、前記複素センサ画像処理部は前記複素センサ画像を生成することを特徴とする画像処理装置。
    

    
12. 請求項９に記載の画像処理装置であって、
    前記撮像装置は、前記複素センサ画像のデータ量を低減するデータ量低減部を有することを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置であって、
    前記データ量低減部は、前記複素センサ画像を実部と虚部に分離してデータ量を低減することを特徴とする画像処理装置。
14. 請求項１２に記載の画像処理装置であって、
    前記データ量低減部は、前記複素センサ画像を振幅と位相に分離してデータ量を低減することを特徴とする画像処理装置。
15. 請求項１２に記載の画像処理装置であって、
    前記データ量低減部は、前記複素センサ画像の最大値と最小値に基づいてデータ範囲ならびに精度を決定し、出力ビット数を低減する
    ことを特徴とする画像処理装置。
16. 請求項１２に記載の画像処理装置であって、
    前記データ量低減部は、前記複素センサ画像の分布の標準偏差に基づいてデータ範囲ならびに精度を決定し、出力ビット数を低減することを特徴とする画像処理装置。
17. 第１の格子パターンに基づいて光の強度を変調する変調器と、
    前記変調器を透過した光を電気信号に変換してセンサ画像を生成する画像センサと、
    前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部と、
    前記複素センサ画像と第２の格子パターンのデータとの演算に基づいて像を復元する画像処理部とを有することを特徴とする撮像装置。
18. 請求項１７に記載の撮像装置であって、
    前記複素センサ画像処理部は、少なくとも２以上のそれぞれ異なる位相パターンの前記センサ画像から前記複素センサ画像を生成することを特徴とする撮像装置。
19. 請求項１７に記載の撮像装置であって、
    下記式に基づき前記複素センサ画像処理部は前記複素センサ画像を生成することを特徴とする撮像装置。
    

    
20. 第１の格子パターンに基づいて光の強度を変調する変調ステップと、
    前記変調された光を電気信号に変換してセンサ画像を生成する画像生成ステップと、
    前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理ステップと、
    前記複素センサ画像を送信するデータ送信ステップとを有することを特徴とする撮像方法。
21. 請求項２０に記載の撮像方法であって、
    前記複素センサ画像処理ステップは、少なくとも２以上のそれぞれ異なる位相パターンの前記センサ画像から前記複素センサ画像を生成することを特徴とする撮像方法。
22. 請求項２０に記載の撮像方法であって、
    下記式に基づき、前記複素センサ画像処理ステップで前記複素センサ画像を生成することを特徴とする撮像方法。
    

    
23. 請求項２０に記載の撮像方法であって、
    前記複素センサ画像と第２の格子パターンのデータとの演算に基づいて像を復元する画像処理ステップとを有することを特徴とする撮像方法。

Images