JP2016046564A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2016046564A JP2016046564A JP2014167448A JP2014167448A JP2016046564A JP 2016046564 A JP2016046564 A JP 2016046564A JP 2014167448 A JP2014167448 A JP 2014167448A JP 2014167448 A JP2014167448 A JP 2014167448A JP 2016046564 A JP2016046564 A JP 2016046564A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- aperture
- encoding
- imaging device
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、符号化開口パターンを用いた撮像装置に関する。 The present invention relates to an imaging apparatus using a coded aperture pattern.
カメラに代表される撮像装置は、写真撮影などの観賞用の他、産業用計測・物体認識システム、車両の危険検知、防犯用の監視システムなど、幅広く利用されている。これらの利用形態においては、被写体の画像のみならず、距離や視野方向などの空間情報の取得がしばしば要求される。 Imaging devices represented by cameras are widely used for ornamental purposes such as photography, industrial measurement / object recognition systems, vehicle danger detection, and security monitoring systems. In these modes of use, it is often required to acquire not only the image of the subject but also spatial information such as distance and viewing direction.
こうした空間情報の取得が可能な技術として次の技術が知られている。撮像素子と符号化開口パターンとを用いて、フーリエ変換に基づく復号処理を施すことにより撮像素子に入射した光束の空間及び入射角度に関する情報を取得する技術である（例えば、特許文献１、２参照）。
The following technologies are known as technologies that can acquire such spatial information. This is a technique for acquiring information about the space and the incident angle of a light beam incident on an image sensor by performing a decoding process based on Fourier transform using the image sensor and an encoded aperture pattern (see, for example,
このような符号化開口パターンを形成する空間光変調素子において、空間情報の分解能を向上させるためには、取得できる角度の分解点数を多く取ること、角度のサンプリング間隔を狭くすることが重要である。 In order to improve the resolution of spatial information in a spatial light modulator that forms such a coded aperture pattern, it is important to increase the number of angles that can be acquired and to narrow the angle sampling interval. .
しかしながら、こうした空間光変調素子を用いた撮像装置においては、撮像素子と空間光変調素子との間の距離によって角度のサンプリング間隔が制限されてしまう。 However, in such an imaging apparatus using a spatial light modulation element, the angle sampling interval is limited by the distance between the imaging element and the spatial light modulation element.
本発明は、以上のような問題点に鑑みてなされたものであり、角度分解能の向上を目的とする。 The present invention has been made in view of the above problems, and aims to improve angular resolution.
上述した課題を解決するため、本発明における撮像装置は、入射した光束に変調を付与して出射する符号化開口部と、前記符号化開口部より出射された光束を画像情報として取得する撮像素子と、前記撮像素子上に前記光束を導く光学系と、前記符号化開口部の位置を、前記撮像素子の受光面に対して平行な方向を含むように移動させる符号化開口部移動機構と、を有する。 In order to solve the above-described problems, an imaging apparatus according to the present invention includes an encoded aperture that modulates an incident light beam and emits it, and an image sensor that acquires the light beam emitted from the encoded aperture as image information. An optical system that guides the light beam onto the image sensor, an encoded aperture moving mechanism that moves the position of the encoded aperture so as to include a direction parallel to the light receiving surface of the image sensor, Have
本発明によれば、角度分解能を向上させる撮像装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device which improves an angular resolution can be provided.
本実施形態における図１に示された撮像装置１は、画像を取得するための撮像モジュール２と、入射した光束を結像して撮像モジュール２に向けて出射する光学系たる結像光学系３と、を有している。
撮像装置１はまた、結像光学系３からの光路を選択するためのミラー４と、視野を確認するためのファインダー６と、ミラー４からファインダー６へと光を偏向させるプリズムたる偏向素子５と、露光時間を調整するシャッター８と、これらの部材を制御するための制御部９と、を有している。
撮像モジュール２以外の上述の構成は一般的な一眼レフカメラと同等であるが、ファインダー６とミラー４とを外し、変わりに液晶モニタを備えた所謂ミラーレス一眼レフの構成であっても良い。
以下の説明では、結像光学系３を通過して撮像モジュール２に入射した光束の光軸方向をＺ軸として、Ｚ軸に垂直なＹ軸、Ｘ軸を図１に示す矢印の通り定めて説明に用いる。本実施形態においては、Ｚ方向は鉛直下向き方向と一致させているが、撮像装置１の配置方向に合わせて適宜変更しても良い。
The
The
The above-described configuration other than the
In the following description, the optical axis direction of the light beam that has passed through the imaging
撮像モジュール２は、入射した光束に空間的な変調を付与して出射する符号化開口素子たる空間光変調素子２１と、空間的な変調を付与された光束を画像情報として取得する撮像素子２２と、撮像素子２２と空間光変調素子２１とを連結するスペーサー２３と、を有している。
撮像モジュール２はまた、撮像モジュール２と制御部９とを電気的に接続する配線２５を有している。
The
The
結像光学系３は、撮像素子２２上に画像を形成するよう配設された、少なくとも１つ以上のレンズを備えた結像用レンズ群３０と、撮像モジュール２に入射する光量を制限するための絞り７とを有している。
結像光学系３は、撮像装置１に入射した光束を撮像素子２２上に画像を形成するように配設されている。言い換えると、撮像モジュール２よりも光軸方向上流側たるＺ軸負方向側に、撮像素子２２上に焦点が位置するように配置される。
The imaging
The imaging
制御部９は、光束に空間的な変調を付与するための符号化パターン生成手段、撮像素子２２によって得られた画像情報を基に後述するように画角分離を行って距離や方向などの空間情報を含んだ画像を得る復号処理手段、撮像装置１に含まれる機械部材を制御する機械制御手段としての機能を有している。
制御部９はまた、符号化開口部２１ａの位置を移動させるための符号化開口部移動機構であり、空間光変調素子２１の位置を撮像素子２２に対して変化させるための符号化開口部駆動手段たる符号化開口部駆動部９１を有している。
なお、制御部９が符号化開口部２１ａの位置を移動させるとは、空間光変調素子２１の位置を撮像素子２２に対して変化させない状態で、空間光変調素子２１に形成された符号化開口パターンのみを移動させる場合も含み、かかる構成においても制御部９は符号化開口部移動機構としての機能を有する。
The
The
Note that the
空間光変調素子２１は、図２に示すように、透過型の符号化開口部２１ａを有している。
符号化開口部２１ａは、それぞれの位置における透過率を制御部９によって離散的に変化させることにより、符号化開口パターン、言い換えるとモザイクパターンを形成して、入射した光束に空間的な変調を付与する。このとき制御部９は、符号化パターン生成手段としての機能を有している。
空間光変調素子２１は、ここでは液晶の配向による偏光を用いて光量を調整することで透過率を制御する液晶素子を用いる。なお、空間光変調素子２１として、他に屈折率を支持基板とマッチングさせた液体の位置をエレクトロウェッティング現象によって制御し、透過率を変化させる方式の空間光変調素子を用いても良いし、着色した液体の位置を制御して透過率を変化させる素子を用いても良い。
As shown in FIG. 2, the
The encoded
Here, the spatial
撮像素子２２は、空間光変調素子２１によって空間的な変調を付与された光束を画像情報として取得する光検出器としてのCCD（Charge Coupled Device）を用いたイメージセンサである。撮像素子２２上には複数の光検出器である受光素子たるフォトダイオードが並べて配設された撮像面たる受光面としての光検出器アレイ２２ａが配置されており、受光面に入射した光束の強度等の情報を電気信号に変換する。ここではCCDを用いることとしたが、画像情報を取得可能なイメージセンサであれば、CMOS（Complementary Metal-Oxide Semiconductor）センサ等を用いるものであっても良い。
撮像素子２２は、空間光変調素子２１のＺ軸方向正側に、光検出器アレイ２２ａをＺ軸方向負側に向けた状態で設置されている。
The
The
スペーサー２３は、撮像素子２２に当接し、空間光変調素子２１のＺ軸方向下流側に当接して設置された透明な部材であり、空間光変調素子２１と撮像素子２２との間の距離ｄを維持する。
なお、スペーサー２３はここでは空間光変調素子２１と撮像素子２２とから独立した部材としたが、空間光変調素子２１と撮像素子２２との何れか一方若しくは両方に設けた段差構造であっても良い。
The
Here, the
撮像モジュール２はまた、図３、図４に示すように、撮像素子２２に対して不動の固定部２６１と、固定部２６１によって撮像素子２２に対して移動可能に支持された可動部たる支持基板２６３とを有している。
撮像モジュール２はまた、一端が固定部２６１に固定され、他端が支持基板２６３と可動に連結された梁部２６２と、撮像素子２２に対して不動の一対の不動電極２７と、支持基板２６３上に設けられた一対の可動電極２６４とを有している。
As shown in FIGS. 3 and 4, the
The
支持基板２６３は、符号化開口部２１ａを支持するための透明なメンブレン構造を有する支持部材である。
支持基板２６３の不動電極２７と対向する辺には、可動電極２６４が設けられて、固定部２６１と梁部２６２とを介して符号化開口部駆動部９１と電気的に接続されている。
可動電極２６４と不動電極２７とは、互いに櫛歯構造を有し、電気的に絶縁されて浮いた状態となるように、すなわち当接しないように配置されている。
なお、ここでは可動電極２６４が設けられているのは２辺であるが、これに限らず、少なくとも１辺に可動電極２６４が設けられていれば良い。
The
A
The
Here, the
梁部２６２は、一端が固定部２６１に、他端が支持基板２６３に連結され、梁構造として支持基板２６３を撮像素子２２に触れないように浮遊して支持する可撓性を有する部材である。
梁部２６２は、支持基板２６３が変位したときには変形し、その弾性力によって変位を復元する位置復元手段としての機能を有している。
The
The
かかる構成の空間光変調素子２１をＳｉ基板にフォトリソグラフィとドライエッチングを用いた工法によりＭＥＭＳ構造を形成する方法について説明する。
かかるＭＥＭＳ構造は例えば、Ｓｉ基板の表面を熱酸化処理した後、可動電極２６４、不動電極２７の櫛歯構造、梁部２６２の梁構造などの２次元形状をＣｒマスクを用いてレジストに露光し、ＳｉＯ２によるエッチングマスクパターンを形成する。
ついで、六フッ化硫黄（ＳＦ６）を含むエッチングガスによって、ＳｉとＳｉＯ２とのエッチングレートの差を利用してドライエッチングによるＳｉの深掘パターンを形成する。さらに、Ｓｉ基板の裏面から同様に開口パターンを形成し、可動電極２６４と不動電極２７とを切り離して浮遊構造として形成する。
不動電極２７と可動電極２６４とは、ワイヤボンディングによって、配線２５と接続して、図示しない外部電極や回路基板へと接続される。
A method for forming the MEMS structure of the spatial
In such a MEMS structure, for example, after the surface of the Si substrate is thermally oxidized, the resist is exposed to a two-dimensional shape such as a
Next, an Si deep digging pattern is formed by dry etching using an etching gas containing sulfur hexafluoride (SF6) using the difference in etching rate between Si and SiO2. Further, an opening pattern is similarly formed from the back surface of the Si substrate, and the
The
符号化開口部駆動部９１は、固定部２６１を介して支持基板２６３に設けられた可動電極２６４と不動電極２７との間に電圧を印加して、静電気力によって支持基板２６３をＸ方向に変位させる。
このとき、図３のように、一対の不動電極２７と対向する一対の可動電極２６４とを有する場合には、符号化開口部駆動部９１は、例えばＸ方向正側の不動電極２７に印加する電圧と、Ｘ方向負側の不動電極２７に印加する電圧とを逆転させて、静電気力によって支持基板２６３をＸ方向に変位させる。
符号化開口部駆動部９１は、かかる構成により、符号化開口部２１ａの位置を撮像素子２２の受光面に対して平行なＸ方向を含むように移動させる。
ここでは、簡単のため、Ｘ方向のみに移動させる構成について説明したが、可動電極２６４と不動電極２７との配置を変え、Ｘ方向、Ｙ方向の２方向に変位させることもできる。例えば、支持基板２６３の４辺に可動電極２６４を設け、梁部２６２によってＺ方向から吊り下げるように固定部２６１と支持基板２６３とを連結すればよい。
なお、実装の困難さや画像処理の負荷の増大を回避するためには、Ｚ方向の変位を含まない方が望ましいが、含んでも良い。
The encoding opening drive unit 91 applies a voltage between the
At this time, as shown in FIG. 3, when the pair of
With this configuration, the encoding aperture drive unit 91 moves the position of the
Here, for the sake of simplicity, the configuration of moving only in the X direction has been described. However, the arrangement of the
In order to avoid difficulty in mounting and an increase in image processing load, it is desirable not to include displacement in the Z direction, but it may be included.
かかる構成の撮像装置１を用いて画像を取得する方法について説明する。
撮像装置１に入射してきた光束は、結像用レンズ群３０によって、撮像素子２２上に像を結ぶように偏向され、絞り７を通過して光量を制限されて、結像光学系３を透過する。
結像光学系３を通過した光束は、空間光変調素子２１に入射し、符号化開口部２１ａによって空間的な変調を付与される。
符号化パターン生成手段たる制御部９は、複数の周期の異なる正弦波形を重ね合わせた空間透過率分布を用いて符号化開口部２１ａの透過率分布を制御する。
以下、この透過率分布を制御可能な最小単位を図３に示すように、セル２４とする。
符号化開口部２１ａは、符号化パターン生成手段たる制御部９からの電気信号、言い換えると周期的な変調信号に従って、素子上それぞれのセル２４における透過率を変化させることで符号化開口パターンを形成する。
すなわち、空間光変調素子２１は、素子上の各セル２４の透過率を周期的に変化させることで、空間光変調素子２１を通過する光束に対して空間的な変調を付与する。
A method for acquiring an image using the
The light beam incident on the
The light beam that has passed through the imaging
The
Hereinafter, the minimum unit capable of controlling the transmittance distribution is assumed to be a
The coded
That is, the spatial
こうした空間透過率分布を用いて、符号化パターンを形成する際には、その正弦波の周期に対応する空間周波数位置、すなわちフーリエ変換を行った場合の横軸に、画像自身の持つ有限の空間周波数帯域のスペクトル分布が畳み込み積分の形で複製される。
つまり、正弦波形の周期の数だけ、空間周波数の軸上に被写体の空間周波数スペクトル分布が複製される。ここで、正弦波形の周波数の大きさに依存して角度成分の周波数情報が混ざりこむことにより画角分離が可能となる。
When forming an encoded pattern using such a spatial transmittance distribution, the spatial frequency position corresponding to the period of the sine wave, that is, the horizontal axis when Fourier transform is performed, the finite space of the image itself. The spectral distribution of the frequency band is replicated in the form of a convolution integral.
That is, the spatial frequency spectrum distribution of the subject is duplicated on the spatial frequency axis by the number of periods of the sine waveform. Here, depending on the magnitude of the frequency of the sine waveform, the angle information is mixed, so that the angle of view can be separated.
本実施形態においては、変調信号が重畳された画像情報と、符号化パターンの情報と復号処理手段とを用いて、２次元的な画像情報から、空間と角度の情報を含んだ４次元情報、すなわちライトフィールドを再構成することができる。
ここで本来取得したい角度は被写体から撮像装置へ到達する光線の角度であるが、結像光学系３によって偏向されて撮像素子へ入射する光束の受光面への入射角度から、当該角度を導くことは容易なので、以降は光検出器アレイ２２ａへの入射角度θを角度成分として定義する。
ただし、複数の画角分離画像から視差情報を算出する手法についてその詳細な説明は適宜省略する。
In the present embodiment, four-dimensional information including space and angle information from two-dimensional image information using image information on which a modulation signal is superimposed, coding pattern information, and decoding processing means, That is, the light field can be reconfigured.
Here, the angle originally desired to be acquired is the angle of the light beam reaching the imaging device from the subject, but the angle is derived from the incident angle on the light receiving surface of the light beam deflected by the imaging
However, a detailed description of the method for calculating parallax information from a plurality of angle-of-view separation images will be omitted as appropriate.
まず、符号化パターン生成手段としての制御部９が、任意の符号化パターンを生成する。制御部９は、生成した任意の符号化パターンを用いて画像取得を行い、複数の画角分離情報を抽出する。
次に、制御部９は、かかる画角分離された画像情報を解析し、画像内の特定のターゲットたる被写体の局所位置について、距離情報を算出する。かかる方法で算出された距離情報を用いて、距離分解能判定手段としての制御部９は、得られた画像に所望の分解能が得られているか否かを判定する。
得られた画像の分解能が不十分である場合には、空間光変調パターン生成手段としての制御部９は、空間光変調パターンを構成する正弦波の周期を再度算出する。
制御部９は、算出された空間光変調パターンを基に画角分離分解能を変化させることで、再び空間光変調パターンの生成を行って新たな画像を取得する。
制御部９は、このようなフィードバックループを形成することによって距離分解能が最適化され、最終的にターゲットとする被写体に適した距離画像を取得する。
First, the
Next, the
When the resolution of the obtained image is insufficient, the
The
The
このような撮像モジュール２を用いて、物体の距離画像を取得する場合には、距離や方向などの空間情報の分解能を向上させるために、取得できる角度の分解点数を多く取ること、角度のサンプリング間隔を狭くすることが重要である。
しかしながら、撮像素子２２と空間光変調素子２１との間の距離ｄによって角度のサンプリング間隔が制限されてしまうため、距離ｄが設計によって定まってしまう場合などには距離や方向などの空間情報の分解能を向上させることが難しい。
また、符号化開口部２１ａと撮像素子２２との間の距離ｄを狭めることで角度のサンプリング間隔を向上させる構成では、符号化開口部２１ａと撮像素子２２との位置関係に非常に高い精度が要求され、微細な接合や加工における誤差が、測定の誤差として大きく出てしまう懸念がある。
When acquiring a distance image of an object using such an
However, since the sampling interval of the angle is limited by the distance d between the
Further, in the configuration in which the angle sampling interval is improved by narrowing the distance d between the encoding
かかる構成の撮像装置１が画像情報の中に角度情報を含む原理について示す。
ここではＸ方向のみの情報を例として説明するが、実際にはＹ方向についても同様に角度情報を含んで、２次元の平面情報へ容易に拡張される。
まず、撮像素子２２の光検出器アレイ２２ａの表面に入射した入射光線の座標情報、すなわちライトフィールドをｌ（ｘ，ｕ）で表す。ここで変数ｘは空間座標を表し、変数ｕはｕ＝ｔａｎθを満たす、角度成分であるとする。
このとき、符号化開口部２１ａの無い場合の、言い換えると本来取得したいライトフィールドをｌ０として、マスク変調関数をｍ（ｘ−ｄｕ）とすれば、光検出器アレイ２２ａから得られた画像情報のライトフィールドは、数式１のように表すことができる。
The principle that the
Here, description will be made by taking information only in the X direction as an example.
First, coordinate information of incident light incident on the surface of the
At this time, in the absence of
符号化パターンの一例として、基準周波数Δｆｕの整数倍の周期をもつ余弦関数の重ね合わせになるようなマスク変調関数を考える。このような変数は例えば数式２のように与えられる。
As an example of the coding pattern, consider a mask modulation function that is a superposition of cosine functions having a period that is an integral multiple of the reference frequency Δfu. Such a variable is given by, for example,
数式１及び数式２から、ライトフィールドのフーリエ変換は、数式１に数式２を代入して両辺をフーリエ変換して数式３で表すことができる。
From
ここで、ｆｘはＸ方向の空間周波数、ｆｕはＸ方向の角度成分の周波数、Ｌ、Ｌ０はそれぞれｌ、ｌ０がフーリエ変換された関数である。
次に、撮像素子２２による画像情報の取得について考えると、ライトフィールドの角度成分を空間座標に射影することを意味しており、近似的には撮像素子２２の各セル２４に入射した全ての入射角の光束を積算することに対応している。すなわち、かかる射影はフーリエ空間において角度成分の周波数が０であるような直流成分を取得することと等しい。
よって、撮像素子２２によって取得されるライトフィールドのフーリエ変換は、数式４で表すことができる。
Here, f x is a function frequency, L, L 0 is respectively l, l 0 is the Fourier transform of the X-direction spatial frequency, f u the X-direction angular component.
Next, considering the acquisition of image information by the
Therefore, the Fourier transform of the light field acquired by the
ただし、空間周波数はｆｘ＝ｊΔｆｘ（ｊ＝−Ｎ／２〜＋Ｎ／２）のように有限個数の画素に対応して表現した。Ｎは撮像素子２２のＸ方向における画素数たるセル２４の数であり、角度のサンプリング間隔Δｆｘ＝１／（ＮΔｘ）であり、Δｘは撮像素子２２上にある画素ピッチたるセル２４同士の間隔を表している。数式４は、符号化開口部２１ａと光検出器アレイ２２ａとの距離ｄによって、画像情報を空間周波数Δｆｕごと離れた空間周波数の位置に異なる角度周波数成分の画像情報を重畳できることを示している。
撮影する画像自身の持つ空間周波数の帯域がΔｆｕ以下であれば、それぞれの角度周波数成分に対する画像情報はオーバーラップすることがなく、撮像による角度情報の射影を制御部９を用いて再構成することが可能である。
However, the spatial frequency is expressed in correspondence to the pixels of a finite number as f x = jΔf x (j = -N / 2~ + N / 2). N is the number of
If the bandwidth of the spatial frequency with the image itself to be photographed is below Delta] f u, the image information for each of the angular frequency component without overlap, reconstituted with a
図５（ａ）、（ｂ）は、撮像素子２２によって撮影された１次元の画像情報から角度周波数成分に対する情報を分離して角度情報の射影を制御部９を用いて再構成する方法についての模式図である。
数式４から、撮像素子２２によって撮影された画像情報のフーリエ変換は、サンプリング間隔ｎｄΔｆｕを持った角度情報が、空間周波数Δｆｕの間隔ごとに重畳されていることを表している。
図５（ａ）は、撮像素子２２の取得する角度情報が重畳されたフーリエ空間における１次元の画像情報を概念的に示した図である。これを、図５（ｂ）のように空間周波数Δｆｕごとに折り返して再配列（１Ｄ→２Ｄ変換）することによって、２次元のライトフィールドが計算機上の配列として復元される。
実空間における座標Ｘ及び角度ｕは、この２次元配列を計算機によって逆フーリエ変換することによって算出可能である。実際は、２次元の画像情報を取得した場合にはライトフィールドはＸ方向とＹ方向それぞれに角度情報が重畳されて４次元情報として出力されるため、４次元逆フーリエ変換を用いて、実空間における所望の情報を得ることができる。
FIGS. 5A and 5B show a method for reconstructing the projection of angle information using the
From Equation 4, the Fourier transform of the image information captured by the
FIG. 5A conceptually shows one-dimensional image information in Fourier space on which angle information acquired by the
The coordinates X and the angle u in the real space can be calculated by inverse Fourier transforming this two-dimensional array with a computer. Actually, when two-dimensional image information is acquired, the light field is output as four-dimensional information by superimposing angle information in each of the X direction and the Y direction. Desired information can be obtained.
このような撮像モジュール２を用いて、物体の距離画像を取得する場合には、距離や方向などの空間情報の分解能を向上させるために、取得できる角度の分解点数を多く取ること、角度のサンプリング間隔を狭くすることが重要である。
しかしながら、上述の通り、撮像素子２２と空間光変調素子２１との間の距離ｄによって角度のサンプリング間隔が制限されてしまうため、距離ｄが設計によって定まってしまう場合などには距離や方向などの空間情報の分解能を向上させることが難しい。
When acquiring a distance image of an object using such an
However, as described above, the sampling interval of the angle is limited by the distance d between the
そこで、本実施形態では、撮像モジュール２は、図６に示すように、符号化開口部２１ａの位置を、撮像素子２２の受光面に対して平行なＸ方向を含むように移動させる符号化開口部移動機構たる符号化開口部駆動部９１を有している。
かかる構成により、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
Therefore, in the present embodiment, the
With this configuration, the number of angle decomposition points is increased and the angle sampling interval is narrowed to improve the resolution of spatial information such as distance and direction.
この点についてさらに詳しく説明する。
図６は、符号化開口部駆動部９１によって、図３に示された初期状態から符号化開口部２１ａの位置を変位量ΔＸだけ変位させた変位状態である。
言い換えると、変位状態は、符号化開口部駆動部９１によって空間光変調素子２１の位置を撮像素子２２に対して変位量ΔＸだけ変位させた状態である。
このとき、可動電極２６４と不動電極２７との間には符号化開口部駆動部９１によって電圧Ｖが印加され、静電気力によって符号化開口部２１ａはＸ方向に変位量ΔＸだけ移動させられて、撓んだ梁部２６２によって支持されている。
可動電極２６４と不動電極２７との間の電圧Ｖが印加されなくなると、撓んだ梁部２６２の復元力によって、符号化開口部２１ａは初期状態へと戻る。
このとき符号化開口部駆動部９１は、電圧Ｖによって変位量ΔＸを任意の値に調整することができる。
つまり、空間光変調素子２１のセル２４の単位幅以下の微小量だけ変位させることで、符号化開口部２１ａ上に形成された符号化パターンの解像度以上に角度の分解点数を増加する。
This point will be described in more detail.
FIG. 6 shows a displacement state in which the position of the
In other words, the displacement state is a state in which the position of the spatial
At this time, a voltage V is applied between the
When the voltage V between the
At this time, the encoding opening drive unit 91 can adjust the displacement amount ΔX to an arbitrary value by the voltage V.
In other words, by displacing the spatial
符号化開口部２１ａを、Ｘ方向に変位量Δｘだけシフトした変位状態のライトフィールドを考える。
図７（ａ）には、初期状態のライトフィールドを表す模式図を示し、図７（ｂ）には変位状態のライトフィールドを模式的に示す。
変位状態においては、数式２、数式３のｘをｘ'＝ｘ＋Δｘとして、ｍ（ｘ'−ｄｕ）を求めることと等しいから、フーリエ空間のライトフィールドは、数式５のように書き換えることができる。
Consider a light field in a displaced state in which the encoded
FIG. 7A is a schematic diagram showing the light field in the initial state, and FIG. 7B schematically shows the light field in the displaced state.
In the displacement state, it is equivalent to obtaining m (x′−du) where x in
同様に、数式４は、数式６のように書き換えることができる。
Similarly, Equation 4 can be rewritten as
数式６は、符号化パターンの空間シフトが、撮像素子２２によって取得された画像情報においては、フーリエ空間の角度の位相が変わったことに対応するということを表している。つまり、変位状態においては、数式６を逆フーリエ変換によって実空間における角度情報を復元した際には、角度成分ｕが（Δｘ／ｄ）だけシフトすることに対応する。言い換えると、初期状態における角度成分ｕを角度成分ｕ’＝ｕ＋（Δｘ／ｄ）とシフトさせたことに等しい。
このことは、図７（ａ）における光線Ｌ１の表すライトフィールドに対し、図７（ｂ）では同じ信号が、光線Ｌ１の角度成分ｕを角度成分ｕ’にシフトさせた光線Ｌ２を表すライトフィールドであるということに等しい。
すなわち、（Δｘ／ｄ）＜１／（ｄｐΔｆｕ）の関係を満たすようなｄ、Δｘの組み合わせを用いれば、初期状態において２ｐ＋１個の離散化された角度成分をもつライトフィールドに対して、離散値の間の角度成分をもったライトフィールドを内挿していることに等しい。
言い換えると、２ｐ＋１個の離散値しか取り得ない角度分解能を、変位量Δｘを変えて取得した画像情報の分だけ増加させることができる。
This is because the light field represented by the light beam L1 in FIG. 7A is the same as the light field represented by the light beam L2 obtained by shifting the angle component u of the light beam L1 to the angle component u ′. Is equivalent to
That is, if a combination of d and Δx that satisfies the relationship (Δx / d) <1 / (dpΔfu) is used, a discrete value is obtained for a light field having 2p + 1 discretized angular components in the initial state. Is equivalent to interpolating a light field with an angle component between.
In other words, the angular resolution that can take only 2p + 1 discrete values can be increased by the amount of image information acquired by changing the displacement amount Δx.
このように符号化パターンに変位量Δｘのシフトを与えた変位状態において、画像情報を複数取得することで、離散化された角度情報の分解点数を増やして角度の分解能を向上させることができる。 In this way, by acquiring a plurality of pieces of image information in a displacement state in which the coding pattern is shifted by the displacement amount Δx, it is possible to increase the number of decomposition points of the discretized angle information and improve the angle resolution.
具体的には、撮像素子２２に受光面の長手方向の長さ４．２２ｍｍ、画素ピッチ２．２ｍｍのフルＨＤ（画素数１９２０×１０８０）のイメージセンサを用い、符号化パターンの最長周期２０周期を受光面内に納めるように設計すると、符号化パターンの基準幅はΔｆｕ＝４．７３ｍｍ−１である。
撮像素子２２のセル２４に入射する光束の最大角度は、結像光学系３や光検出器アレイ２２ａのサイズに依存して決定される値ではあるが、仮に１５°とする。このとき、ｔａｎ（１５°）＝０．２７である。
このような撮像素子２２を用いる場合には、符号化開口部２１ａと撮像素子２２との間の距離ｄは、ｄΔｆｕ＝１／ｕからｄ＝０．７９μｍである。
入射光束の角度分解点数を９点（ｐ＝４）とすると、（Δｘ／ｄ）＜１／（ｄｐΔｆｕ）よりΔｘ＜５２．８μｍとなって符号化パターンの変位量Δｘを±５２．８μｍの範囲でシフトさせて画像情報を取得することで、分解点数を増加させることができる。
Specifically, a full HD (number of pixels: 1920 × 1080) image sensor with a length of 4.22 mm in the longitudinal direction of the light receiving surface and a pixel pitch of 2.2 mm is used as the
The maximum angle of the light beam incident on the
When such an
Assuming that the number of angle resolution points of the incident light flux is 9 (p = 4), Δx <52.8 μm from (Δx / d) <1 / (dpΔfu), and the displacement amount Δx of the coding pattern is ± 52.8 μm. The number of decomposition points can be increased by shifting the range and acquiring image information.
このように符号化開口部２１ａと撮像素子２２との間の距離ｄを変えずに、光検出器アレイ２２ａに対して平行なＸ方向を含むように移動させることによって、撮像モジュール２の製作・加工時の精度に由来する誤差を低減しながらも、角度のサンプリング間隔を向上する。
また、符号化開口部２１ａをＸ方向を含むように移動させることによって、符号化開口部２１ａに形成される符号化パターンの周期を変えずに、入射光束の角度分解点数を増加させて角度の分解点数を向上させることができる。
かかる構成により、撮像素子２２により取得される画像情報の、フーリエ変換された空間周波数軸上において、異なる角度成分の情報を重畳する際に生じるエイリアシングによる画像劣化を抑制する。
As described above, the
In addition, by moving the
With such a configuration, image degradation due to aliasing that occurs when information of different angle components is superimposed on the Fourier-transformed spatial frequency axis of the image information acquired by the
本実施形態における撮像装置１は、符号化開口部２１ａの位置を、撮像素子２２の光検出器アレイ２２ａに対して平行なＸ方向を含むように移動させる符号化開口部駆動部９１を有している。
かかる構成により、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
The
With this configuration, the number of angle decomposition points is increased and the angle sampling interval is narrowed to improve the resolution of spatial information such as distance and direction.
また、本実施形態における撮像モジュール２は、撮像素子２２に対して不動の固定部２６１と、固定部２６１によって撮像素子２２に対して移動可能に支持された支持基板２６３と、を有し、符号化開口部駆動部９１は、固定部２６１に対する可動部２６３の位置を変化させる。
かかる構成により、符号化開口部駆動部９１は、変位量Δｘを任意の値に制御できるから、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
In addition, the
With such a configuration, the encoded aperture drive unit 91 can control the displacement Δx to an arbitrary value, so that the number of angle decomposition points is increased and the angle sampling interval is narrowed to obtain spatial information such as distance and direction. Improve the resolution.
また、本実施形態における支持基板２６３は、梁部２６２により固定部２６１に支持され、符号化開口部駆動部９１は、梁部２６２を変形させることで支持基板２６３の位置を変化させる。
かかる構成により、符号化開口部駆動部９１は、支持基板２６３を動かして角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
また、梁部２６２の梁構造による復元力により初期状態の位置を復元するから、さらに精度よく角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
In addition, the
With this configuration, the encoding aperture drive unit 91 moves the
In addition, since the initial position is restored by the restoring force of the beam structure of the
また、本実施形態における符号化開口部駆動部９１は、符号化開口部２１ａを電気的に駆動する。
かかる構成により、符号化開口部駆動部９１は、変位量Δｘを任意の値に精度よく制御できるから、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
なお、本実施形態では、符号化開口部駆動部９１は、可動電極２６４と不動電極２７との間に電圧を印加して、静電気力によって支持基板２６３をＸ方向に変位させる構成としているが、かかる構成に限定されるものではない。
例えば、電気的に駆動する手段として、符号化開口部駆動部９１として圧電アクチュエーター、ソレノイドを用いた電磁アクチュエーター等の、圧電型や電磁型の駆動手段を用いてもよい。
In addition, the encoding opening drive unit 91 in the present embodiment electrically drives the
With this configuration, the encoded aperture drive unit 91 can accurately control the displacement amount Δx to an arbitrary value, so that the number of angle decomposition points can be increased and the angle sampling interval can be narrowed to reduce the distance, direction, etc. Improve the resolution of spatial information.
In the present embodiment, the encoding opening drive unit 91 is configured to apply a voltage between the
For example, as the means for electrically driving, a piezoelectric type or electromagnetic type driving means such as a piezoelectric actuator or an electromagnetic actuator using a solenoid may be used as the encoded opening drive unit 91.
次に、空間光変調素子２１上に形成される符号化パターンを移動させることで、符号化開口部２１ａの位置を移動させる方法について説明する。
制御部９は、図８（ａ）〜（ｃ）に示すように、空間光変調素子２１の符号化パターンたる符号化開口部２１ａの位置を、撮像素子２２の受光面に対して平行な方向を含むように移動させる。このとき制御部９は、符号化開口部移動手段たる符号化開口部移動機構としての機能を有している。
Next, a method for moving the position of the
As shown in FIGS. 8A to 8C, the
この点について、図８を用いてさらに詳しく説明する。
空間光変調素子２１の符号化パターンは、符号化開口部２１ａにおける透過率の高低を、セル２４の色の濃淡で表示している。ここで、図８（ａ）には、空間光変調素子２１の符号化パターンの変位前の状態である初期状態を示している。
制御部９は、空間光変調素子２１の符号化パターンを維持しながら、空間光変調素子２１の撮像素子２２に対する位置を変えずに符号化開口部２１ａの位置を図８（ｂ）に示すように、初期状態から撮像素子２２の受光面に対して平行に移動させる。
具体的には、制御部９は、符号化パターン生成手段によって形成された符号化パターンの周期を変えずに、その位置をＸ方向にΔＸだけ変位させている。このとき変位量ΔＸは、空間光変調素子２１のセル２４の１個当たりの幅によって離散化され、変位量ΔＸの最小値はセル２４の単位幅と等しい。このように変位量ΔＸだけ変位させた後の状態を変位状態とする。
このような符号化開口部駆動部９１は、コンピュータ等の別体としての計算システムを必要とせず、また、電気的な制御のような変位量の制御も必要としないため、制御部９の図示しない電子回路基板ないしはチップ上のメモリのシフト演算によって容易に変位状態とすることができる。
かかる符号化開口部駆動部９１を用いて、初期状態と変位状態とのそれぞれの状態において撮像素子２２に検知された透過率のプロファイルの一例を模式的に図８（ｃ）に示す。
初期状態と変位状態とを比較すると、符号化パターンが同じなので、得られる透過率プロファイルの波形は同一で、位相がΔＸだけずれている。
This point will be described in more detail with reference to FIG.
The coding pattern of the spatial
The
Specifically, the
Such an encoded aperture drive unit 91 does not require a separate calculation system such as a computer, and does not require displacement control such as electrical control. The electronic circuit board or the memory on the chip can be easily displaced by a shift operation.
FIG. 8C schematically shows an example of the transmittance profile detected by the
Comparing the initial state and the displacement state, since the encoding pattern is the same, the waveform of the obtained transmittance profile is the same and the phase is shifted by ΔX.
数式５及び数式６において既に述べたように、このような位相のずれは、撮像素子２２に入射する光束の角度成分がシフトしたことに対応している。
すなわち、空間光変調素子２１上に形成される符号化パターンを変位させることで、符号化開口部２１ａの位置を移動させる方法であっても、同様の原理によって角度分解能を向上している。
As already described in
That is, even if the encoding pattern formed on the spatial
本実施形態における符号化開口部駆動部９１は、符号化開口部２１ａを光検出器アレイ２２ａに対してＸ方向に移動させることで撮像素子２２に入射する光束を空間的に変調させる。
かかる構成によれば、支持基板２６３を可動に支持する構成を有する必要がなくなるので、撮像モジュール２の構造を複雑にすることなく、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
The encoded aperture drive unit 91 in the present embodiment spatially modulates the light beam incident on the
According to such a configuration, since it is not necessary to have a configuration for supporting the
また、本実施形態における撮像モジュール２は、符号化開口部２１ａの付与する変調のパターンを維持し、符号化開口部駆動部９１は、符号化開口部２１ａが形成する変調のパターンをＸ方向に移動させることで撮像素子２２に入射する光束を空間的に変調させる。
かかる構成により、コンピュータ等の別体としての計算システムを必要とせず、また、電気的な制御のような変位量の制御も必要としないため、容易に角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
In addition, the
With this configuration, a separate calculation system such as a computer is not required, and no displacement control such as electrical control is required. The sampling interval is narrowed to improve the resolution of spatial information such as distance and direction.
なお、このような符号化パターンの変位によって符号化開口部２１ａの位置を移動させる方法と、支持基板２６３を移動させる方法とを併せて用いても良いことは言うまでも無い。
かかる構成により、さらに角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、空間情報の分解能を向上させる。
Needless to say, the method of moving the position of the
With this configuration, the number of angle decomposition points is further increased, and the angle sampling interval is narrowed to improve the resolution of spatial information.
以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the specific embodiments, and the present invention described in the claims is not specifically limited by the above description. Various modifications and changes are possible within the scope of the above.
例えば、符号化開口部２１ａは、空間光変調素子２１に形成されて透過率を複数の離散値に動的に変更可能な構成としたが、グレースケールマスクパターン又は２値のマスクパターンを形成する静的な構成であっても良い。
かかる構成により、空間光変調素子２１の構成を簡略化できるから、さらに容易に角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、空間情報の分解能を向上させる。
For example, the
With this configuration, the configuration of the spatial
また、制御部９は、撮像モジュール２内部に設けられるものであっても良いし、撮像モジュール２とは別体で撮像装置１内に設けられるものであっても良い。
The
また、空間光変調素子２１は、透過型液晶素子としたが、エレクトロウェッティング効果を用いた透過型の空間光変調素子でも良い。
The spatial
本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。 The effects described in the embodiments of the present invention are only the most preferable effects resulting from the present invention, and the effects of the present invention are limited to those described in the embodiments of the present invention. is not.
１ 撮像装置
２ 撮像モジュール
３ 光学系（結像光学系）
９ 制御部（符号化開口部移動機構）
２１ 空間光変調素子
２１ａ 符号化開口部
２２ 撮像素子
２２ａ 受光面（光検出器アレイ）
２３ スペーサー
２４ セル（画素）
２５ 配線
２７ 不動電極
９１ 符号化開口部駆動部
２６１ 固定部
２６２ 梁部
２６３ 支持基板（可動部）
２６４ 可動電極
Ｘ 光軸と垂直方向
Ｙ 光軸と垂直方向
Ｚ 光軸方向
DESCRIPTION OF
9 Control unit (encoded aperture moving mechanism)
21
23
25
264 Movable electrode X Optical axis and vertical direction Y Optical axis and vertical direction Z Optical axis direction
Claims (7)
前記符号化開口部より出射された光束を画像情報として取得する撮像素子と、
前記撮像素子上に前記光束を導く光学系と、
前記符号化開口部の位置を、前記撮像素子の受光面に対して平行な方向を含むように移動させる符号化開口部移動機構と、を有する撮像装置。 A coded aperture that modulates and exits the incident beam;
An image sensor that acquires the light flux emitted from the coded aperture as image information;
An optical system for guiding the luminous flux onto the imaging device;
An imaging apparatus comprising: an encoding opening moving mechanism that moves the position of the encoding opening so as to include a direction parallel to a light receiving surface of the imaging element.
前記符号化開口部移動機構は、前記符号化開口部が形成された符号化開口素子の位置を前記撮像素子に対して変化させる符号化開口部駆動部を有することを特徴とする撮像装置。 The imaging device according to claim 1,
The image pickup apparatus, wherein the coded aperture moving mechanism includes a coded aperture drive unit that changes a position of the coded aperture element in which the coded aperture is formed with respect to the image sensor.
前記撮像素子に対して不動の固定部と、
前記固定部によって前記撮像素子に対して移動可能に支持された可動部と、を有し、
前記符号化開口部駆動部は、前記固定部に対する前記可動部の位置を変化させることを特徴とする撮像装置。 The imaging device according to claim 2,
A stationary part immovable with respect to the image sensor;
A movable part supported by the fixed part so as to be movable with respect to the imaging device,
The encoding opening drive unit changes the position of the movable unit with respect to the fixed unit.
前記可動部は、梁構造により前記固定部に支持され、
前記符号化開口部駆動部は、前記梁構造を変形させることで前記可動部の位置を変化させることを特徴とする撮像装置。 The imaging device according to claim 3.
The movable part is supported by the fixed part by a beam structure,
The imaging opening drive unit changes the position of the movable unit by deforming the beam structure.
前記符号化開口部駆動部は、前記符号化開口部を電気的に駆動することを特徴とする撮像モジュール。 The imaging apparatus according to any one of claims 2 to 4,
The imaging module, wherein the encoding aperture driving unit electrically drives the encoding aperture.
前記符号化開口部の付与する前記変調のパターンを維持し、
前記符号化開口部移動機構は、前記変調のパターンを前記受光面に対して前記方向に移動させることで前記撮像素子に入射する前記光束を変調させることを特徴とする撮像装置。 The imaging device according to claim 1,
Maintaining the modulation pattern imparted by the encoded aperture;
The imaging aperture moving mechanism modulates the light beam incident on the imaging device by moving the modulation pattern in the direction with respect to the light receiving surface.
前記符号化開口部は、静的なグレースケールマスクパターン又は２値のマスクパターンを形成することを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 6,
The imaging apparatus is characterized in that the coded aperture forms a static gray scale mask pattern or a binary mask pattern.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014167448A JP2016046564A (en) | 2014-08-20 | 2014-08-20 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014167448A JP2016046564A (en) | 2014-08-20 | 2014-08-20 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016046564A true JP2016046564A (en) | 2016-04-04 |
Family
ID=55636769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014167448A Pending JP2016046564A (en) | 2014-08-20 | 2014-08-20 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016046564A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018011040A (en) * | 2016-07-01 | 2018-01-18 | キヤノン株式会社 | Imaging apparatus |
-
2014
- 2014-08-20 JP JP2014167448A patent/JP2016046564A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018011040A (en) * | 2016-07-01 | 2018-01-18 | キヤノン株式会社 | Imaging apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Boominathan et al. | Recent advances in lensless imaging | |
| JP6657111B2 (en) | Compact 3D depth acquisition system | |
| JP4932978B2 (en) | Imaging device and imaging apparatus | |
| CN111954790A (en) | Apparatus and method for 3D sensing | |
| JP2015133594A (en) | imaging module and imaging device | |
| EP3876017A1 (en) | Patterned light irradiation apparatus and method | |
| JP6580578B2 (en) | Camera device | |
| Osorio Quero et al. | Single-pixel imaging: An overview of different methods to be used for 3D space reconstruction in harsh environments | |
| EP3382421A1 (en) | Methods and apparatus for superpixel modulation with ambient light suppression | |
| Li et al. | Camera geometric calibration using dynamic single-pixel illumination with deep learning networks | |
| Liu et al. | Coded-aperture broadband light field imaging using digital micromirror devices | |
| CN109900249B (en) | Distance measuring device and distance measuring method | |
| KR102600797B1 (en) | Position sensor device and method for determining the position of at least one mirror of a lithography system | |
| JP2016046564A (en) | Imaging apparatus | |
| KR101698449B1 (en) | The projector module mounted to the mobile for the 3D scanning | |
| JP6737325B2 (en) | Imaging module and imaging device | |
| US20210383561A1 (en) | Camera module | |
| US20240137634A1 (en) | Method and system for single-pixel imaging | |
| Mahalanobis et al. | High-resolution imaging using a translating coded aperture | |
| US11968457B2 (en) | Imaging apparatus, imaging system, and imaging method | |
| JP2015187713A (en) | Light modulation element, imaging device, and image projection device | |
| US9912854B2 (en) | Imaging module and imaging apparatus | |
| US11740468B2 (en) | Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method | |
| US20180202801A1 (en) | Device and method for detecting an image of a preferably structured surface of an object | |
| Kilcullen | Development and applications of a single-pixel imaging platform for three-dimensional, real-time, ultrahigh-speed, and terahertz imaging. |