JP2016046564A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2016046564A JP2016046564A JP2014167448A JP2014167448A JP2016046564A JP 2016046564 A JP2016046564 A JP 2016046564A JP 2014167448 A JP2014167448 A JP 2014167448A JP 2014167448 A JP2014167448 A JP 2014167448A JP 2016046564 A JP2016046564 A JP 2016046564A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- aperture
- encoding
- imaging device
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、符号化開口パターンを用いた撮像装置に関する。 The present invention relates to an imaging apparatus using a coded aperture pattern.
カメラに代表される撮像装置は、写真撮影などの観賞用の他、産業用計測・物体認識システム、車両の危険検知、防犯用の監視システムなど、幅広く利用されている。これらの利用形態においては、被写体の画像のみならず、距離や視野方向などの空間情報の取得がしばしば要求される。 Imaging devices represented by cameras are widely used for ornamental purposes such as photography, industrial measurement / object recognition systems, vehicle danger detection, and security monitoring systems. In these modes of use, it is often required to acquire not only the image of the subject but also spatial information such as distance and viewing direction.
こうした空間情報の取得が可能な技術として次の技術が知られている。撮像素子と符号化開口パターンとを用いて、フーリエ変換に基づく復号処理を施すことにより撮像素子に入射した光束の空間及び入射角度に関する情報を取得する技術である(例えば、特許文献1、2参照)。
The following technologies are known as technologies that can acquire such spatial information. This is a technique for acquiring information about the space and the incident angle of a light beam incident on an image sensor by performing a decoding process based on Fourier transform using the image sensor and an encoded aperture pattern (see, for example,
このような符号化開口パターンを形成する空間光変調素子において、空間情報の分解能を向上させるためには、取得できる角度の分解点数を多く取ること、角度のサンプリング間隔を狭くすることが重要である。 In order to improve the resolution of spatial information in a spatial light modulator that forms such a coded aperture pattern, it is important to increase the number of angles that can be acquired and to narrow the angle sampling interval. .
しかしながら、こうした空間光変調素子を用いた撮像装置においては、撮像素子と空間光変調素子との間の距離によって角度のサンプリング間隔が制限されてしまう。 However, in such an imaging apparatus using a spatial light modulation element, the angle sampling interval is limited by the distance between the imaging element and the spatial light modulation element.
本発明は、以上のような問題点に鑑みてなされたものであり、角度分解能の向上を目的とする。 The present invention has been made in view of the above problems, and aims to improve angular resolution.
上述した課題を解決するため、本発明における撮像装置は、入射した光束に変調を付与して出射する符号化開口部と、前記符号化開口部より出射された光束を画像情報として取得する撮像素子と、前記撮像素子上に前記光束を導く光学系と、前記符号化開口部の位置を、前記撮像素子の受光面に対して平行な方向を含むように移動させる符号化開口部移動機構と、を有する。 In order to solve the above-described problems, an imaging apparatus according to the present invention includes an encoded aperture that modulates an incident light beam and emits it, and an image sensor that acquires the light beam emitted from the encoded aperture as image information. An optical system that guides the light beam onto the image sensor, an encoded aperture moving mechanism that moves the position of the encoded aperture so as to include a direction parallel to the light receiving surface of the image sensor, Have
本発明によれば、角度分解能を向上させる撮像装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device which improves an angular resolution can be provided.
本実施形態における図1に示された撮像装置1は、画像を取得するための撮像モジュール2と、入射した光束を結像して撮像モジュール2に向けて出射する光学系たる結像光学系3と、を有している。
撮像装置1はまた、結像光学系3からの光路を選択するためのミラー4と、視野を確認するためのファインダー6と、ミラー4からファインダー6へと光を偏向させるプリズムたる偏向素子5と、露光時間を調整するシャッター8と、これらの部材を制御するための制御部9と、を有している。
撮像モジュール2以外の上述の構成は一般的な一眼レフカメラと同等であるが、ファインダー6とミラー4とを外し、変わりに液晶モニタを備えた所謂ミラーレス一眼レフの構成であっても良い。
以下の説明では、結像光学系3を通過して撮像モジュール2に入射した光束の光軸方向をZ軸として、Z軸に垂直なY軸、X軸を図1に示す矢印の通り定めて説明に用いる。本実施形態においては、Z方向は鉛直下向き方向と一致させているが、撮像装置1の配置方向に合わせて適宜変更しても良い。
The
The
The above-described configuration other than the
In the following description, the optical axis direction of the light beam that has passed through the imaging
撮像モジュール2は、入射した光束に空間的な変調を付与して出射する符号化開口素子たる空間光変調素子21と、空間的な変調を付与された光束を画像情報として取得する撮像素子22と、撮像素子22と空間光変調素子21とを連結するスペーサー23と、を有している。
撮像モジュール2はまた、撮像モジュール2と制御部9とを電気的に接続する配線25を有している。
The
The
結像光学系3は、撮像素子22上に画像を形成するよう配設された、少なくとも1つ以上のレンズを備えた結像用レンズ群30と、撮像モジュール2に入射する光量を制限するための絞り7とを有している。
結像光学系3は、撮像装置1に入射した光束を撮像素子22上に画像を形成するように配設されている。言い換えると、撮像モジュール2よりも光軸方向上流側たるZ軸負方向側に、撮像素子22上に焦点が位置するように配置される。
The imaging
The imaging
制御部9は、光束に空間的な変調を付与するための符号化パターン生成手段、撮像素子22によって得られた画像情報を基に後述するように画角分離を行って距離や方向などの空間情報を含んだ画像を得る復号処理手段、撮像装置1に含まれる機械部材を制御する機械制御手段としての機能を有している。
制御部9はまた、符号化開口部21aの位置を移動させるための符号化開口部移動機構であり、空間光変調素子21の位置を撮像素子22に対して変化させるための符号化開口部駆動手段たる符号化開口部駆動部91を有している。
なお、制御部9が符号化開口部21aの位置を移動させるとは、空間光変調素子21の位置を撮像素子22に対して変化させない状態で、空間光変調素子21に形成された符号化開口パターンのみを移動させる場合も含み、かかる構成においても制御部9は符号化開口部移動機構としての機能を有する。
The
The
Note that the
空間光変調素子21は、図2に示すように、透過型の符号化開口部21aを有している。
符号化開口部21aは、それぞれの位置における透過率を制御部9によって離散的に変化させることにより、符号化開口パターン、言い換えるとモザイクパターンを形成して、入射した光束に空間的な変調を付与する。このとき制御部9は、符号化パターン生成手段としての機能を有している。
空間光変調素子21は、ここでは液晶の配向による偏光を用いて光量を調整することで透過率を制御する液晶素子を用いる。なお、空間光変調素子21として、他に屈折率を支持基板とマッチングさせた液体の位置をエレクトロウェッティング現象によって制御し、透過率を変化させる方式の空間光変調素子を用いても良いし、着色した液体の位置を制御して透過率を変化させる素子を用いても良い。
As shown in FIG. 2, the
The encoded
Here, the spatial
撮像素子22は、空間光変調素子21によって空間的な変調を付与された光束を画像情報として取得する光検出器としてのCCD(Charge Coupled Device)を用いたイメージセンサである。撮像素子22上には複数の光検出器である受光素子たるフォトダイオードが並べて配設された撮像面たる受光面としての光検出器アレイ22aが配置されており、受光面に入射した光束の強度等の情報を電気信号に変換する。ここではCCDを用いることとしたが、画像情報を取得可能なイメージセンサであれば、CMOS(Complementary Metal-Oxide Semiconductor)センサ等を用いるものであっても良い。
撮像素子22は、空間光変調素子21のZ軸方向正側に、光検出器アレイ22aをZ軸方向負側に向けた状態で設置されている。
The
The
スペーサー23は、撮像素子22に当接し、空間光変調素子21のZ軸方向下流側に当接して設置された透明な部材であり、空間光変調素子21と撮像素子22との間の距離dを維持する。
なお、スペーサー23はここでは空間光変調素子21と撮像素子22とから独立した部材としたが、空間光変調素子21と撮像素子22との何れか一方若しくは両方に設けた段差構造であっても良い。
The
Here, the
撮像モジュール2はまた、図3、図4に示すように、撮像素子22に対して不動の固定部261と、固定部261によって撮像素子22に対して移動可能に支持された可動部たる支持基板263とを有している。
撮像モジュール2はまた、一端が固定部261に固定され、他端が支持基板263と可動に連結された梁部262と、撮像素子22に対して不動の一対の不動電極27と、支持基板263上に設けられた一対の可動電極264とを有している。
As shown in FIGS. 3 and 4, the
The
支持基板263は、符号化開口部21aを支持するための透明なメンブレン構造を有する支持部材である。
支持基板263の不動電極27と対向する辺には、可動電極264が設けられて、固定部261と梁部262とを介して符号化開口部駆動部91と電気的に接続されている。
可動電極264と不動電極27とは、互いに櫛歯構造を有し、電気的に絶縁されて浮いた状態となるように、すなわち当接しないように配置されている。
なお、ここでは可動電極264が設けられているのは2辺であるが、これに限らず、少なくとも1辺に可動電極264が設けられていれば良い。
The
A
The
Here, the
梁部262は、一端が固定部261に、他端が支持基板263に連結され、梁構造として支持基板263を撮像素子22に触れないように浮遊して支持する可撓性を有する部材である。
梁部262は、支持基板263が変位したときには変形し、その弾性力によって変位を復元する位置復元手段としての機能を有している。
The
The
かかる構成の空間光変調素子21をSi基板にフォトリソグラフィとドライエッチングを用いた工法によりMEMS構造を形成する方法について説明する。
かかるMEMS構造は例えば、Si基板の表面を熱酸化処理した後、可動電極264、不動電極27の櫛歯構造、梁部262の梁構造などの2次元形状をCrマスクを用いてレジストに露光し、SiO2によるエッチングマスクパターンを形成する。
ついで、六フッ化硫黄(SF6)を含むエッチングガスによって、SiとSiO2とのエッチングレートの差を利用してドライエッチングによるSiの深掘パターンを形成する。さらに、Si基板の裏面から同様に開口パターンを形成し、可動電極264と不動電極27とを切り離して浮遊構造として形成する。
不動電極27と可動電極264とは、ワイヤボンディングによって、配線25と接続して、図示しない外部電極や回路基板へと接続される。
A method for forming the MEMS structure of the spatial
In such a MEMS structure, for example, after the surface of the Si substrate is thermally oxidized, the resist is exposed to a two-dimensional shape such as a
Next, an Si deep digging pattern is formed by dry etching using an etching gas containing sulfur hexafluoride (SF6) using the difference in etching rate between Si and SiO2. Further, an opening pattern is similarly formed from the back surface of the Si substrate, and the
The
符号化開口部駆動部91は、固定部261を介して支持基板263に設けられた可動電極264と不動電極27との間に電圧を印加して、静電気力によって支持基板263をX方向に変位させる。
このとき、図3のように、一対の不動電極27と対向する一対の可動電極264とを有する場合には、符号化開口部駆動部91は、例えばX方向正側の不動電極27に印加する電圧と、X方向負側の不動電極27に印加する電圧とを逆転させて、静電気力によって支持基板263をX方向に変位させる。
符号化開口部駆動部91は、かかる構成により、符号化開口部21aの位置を撮像素子22の受光面に対して平行なX方向を含むように移動させる。
ここでは、簡単のため、X方向のみに移動させる構成について説明したが、可動電極264と不動電極27との配置を変え、X方向、Y方向の2方向に変位させることもできる。例えば、支持基板263の4辺に可動電極264を設け、梁部262によってZ方向から吊り下げるように固定部261と支持基板263とを連結すればよい。
なお、実装の困難さや画像処理の負荷の増大を回避するためには、Z方向の変位を含まない方が望ましいが、含んでも良い。
The encoding opening drive unit 91 applies a voltage between the
At this time, as shown in FIG. 3, when the pair of
With this configuration, the encoding aperture drive unit 91 moves the position of the
Here, for the sake of simplicity, the configuration of moving only in the X direction has been described. However, the arrangement of the
In order to avoid difficulty in mounting and an increase in image processing load, it is desirable not to include displacement in the Z direction, but it may be included.
かかる構成の撮像装置1を用いて画像を取得する方法について説明する。
撮像装置1に入射してきた光束は、結像用レンズ群30によって、撮像素子22上に像を結ぶように偏向され、絞り7を通過して光量を制限されて、結像光学系3を透過する。
結像光学系3を通過した光束は、空間光変調素子21に入射し、符号化開口部21aによって空間的な変調を付与される。
符号化パターン生成手段たる制御部9は、複数の周期の異なる正弦波形を重ね合わせた空間透過率分布を用いて符号化開口部21aの透過率分布を制御する。
以下、この透過率分布を制御可能な最小単位を図3に示すように、セル24とする。
符号化開口部21aは、符号化パターン生成手段たる制御部9からの電気信号、言い換えると周期的な変調信号に従って、素子上それぞれのセル24における透過率を変化させることで符号化開口パターンを形成する。
すなわち、空間光変調素子21は、素子上の各セル24の透過率を周期的に変化させることで、空間光変調素子21を通過する光束に対して空間的な変調を付与する。
A method for acquiring an image using the
The light beam incident on the
The light beam that has passed through the imaging
The
Hereinafter, the minimum unit capable of controlling the transmittance distribution is assumed to be a
The coded
That is, the spatial
こうした空間透過率分布を用いて、符号化パターンを形成する際には、その正弦波の周期に対応する空間周波数位置、すなわちフーリエ変換を行った場合の横軸に、画像自身の持つ有限の空間周波数帯域のスペクトル分布が畳み込み積分の形で複製される。
つまり、正弦波形の周期の数だけ、空間周波数の軸上に被写体の空間周波数スペクトル分布が複製される。ここで、正弦波形の周波数の大きさに依存して角度成分の周波数情報が混ざりこむことにより画角分離が可能となる。
When forming an encoded pattern using such a spatial transmittance distribution, the spatial frequency position corresponding to the period of the sine wave, that is, the horizontal axis when Fourier transform is performed, the finite space of the image itself. The spectral distribution of the frequency band is replicated in the form of a convolution integral.
That is, the spatial frequency spectrum distribution of the subject is duplicated on the spatial frequency axis by the number of periods of the sine waveform. Here, depending on the magnitude of the frequency of the sine waveform, the angle information is mixed, so that the angle of view can be separated.
本実施形態においては、変調信号が重畳された画像情報と、符号化パターンの情報と復号処理手段とを用いて、2次元的な画像情報から、空間と角度の情報を含んだ4次元情報、すなわちライトフィールドを再構成することができる。
ここで本来取得したい角度は被写体から撮像装置へ到達する光線の角度であるが、結像光学系3によって偏向されて撮像素子へ入射する光束の受光面への入射角度から、当該角度を導くことは容易なので、以降は光検出器アレイ22aへの入射角度θを角度成分として定義する。
ただし、複数の画角分離画像から視差情報を算出する手法についてその詳細な説明は適宜省略する。
In the present embodiment, four-dimensional information including space and angle information from two-dimensional image information using image information on which a modulation signal is superimposed, coding pattern information, and decoding processing means, That is, the light field can be reconfigured.
Here, the angle originally desired to be acquired is the angle of the light beam reaching the imaging device from the subject, but the angle is derived from the incident angle on the light receiving surface of the light beam deflected by the imaging
However, a detailed description of the method for calculating parallax information from a plurality of angle-of-view separation images will be omitted as appropriate.
まず、符号化パターン生成手段としての制御部9が、任意の符号化パターンを生成する。制御部9は、生成した任意の符号化パターンを用いて画像取得を行い、複数の画角分離情報を抽出する。
次に、制御部9は、かかる画角分離された画像情報を解析し、画像内の特定のターゲットたる被写体の局所位置について、距離情報を算出する。かかる方法で算出された距離情報を用いて、距離分解能判定手段としての制御部9は、得られた画像に所望の分解能が得られているか否かを判定する。
得られた画像の分解能が不十分である場合には、空間光変調パターン生成手段としての制御部9は、空間光変調パターンを構成する正弦波の周期を再度算出する。
制御部9は、算出された空間光変調パターンを基に画角分離分解能を変化させることで、再び空間光変調パターンの生成を行って新たな画像を取得する。
制御部9は、このようなフィードバックループを形成することによって距離分解能が最適化され、最終的にターゲットとする被写体に適した距離画像を取得する。
First, the
Next, the
When the resolution of the obtained image is insufficient, the
The
The
このような撮像モジュール2を用いて、物体の距離画像を取得する場合には、距離や方向などの空間情報の分解能を向上させるために、取得できる角度の分解点数を多く取ること、角度のサンプリング間隔を狭くすることが重要である。
しかしながら、撮像素子22と空間光変調素子21との間の距離dによって角度のサンプリング間隔が制限されてしまうため、距離dが設計によって定まってしまう場合などには距離や方向などの空間情報の分解能を向上させることが難しい。
また、符号化開口部21aと撮像素子22との間の距離dを狭めることで角度のサンプリング間隔を向上させる構成では、符号化開口部21aと撮像素子22との位置関係に非常に高い精度が要求され、微細な接合や加工における誤差が、測定の誤差として大きく出てしまう懸念がある。
When acquiring a distance image of an object using such an
However, since the sampling interval of the angle is limited by the distance d between the
Further, in the configuration in which the angle sampling interval is improved by narrowing the distance d between the encoding
かかる構成の撮像装置1が画像情報の中に角度情報を含む原理について示す。
ここではX方向のみの情報を例として説明するが、実際にはY方向についても同様に角度情報を含んで、2次元の平面情報へ容易に拡張される。
まず、撮像素子22の光検出器アレイ22aの表面に入射した入射光線の座標情報、すなわちライトフィールドをl(x,u)で表す。ここで変数xは空間座標を表し、変数uはu=tanθを満たす、角度成分であるとする。
このとき、符号化開口部21aの無い場合の、言い換えると本来取得したいライトフィールドをl0として、マスク変調関数をm(x−du)とすれば、光検出器アレイ22aから得られた画像情報のライトフィールドは、数式1のように表すことができる。
The principle that the
Here, description will be made by taking information only in the X direction as an example.
First, coordinate information of incident light incident on the surface of the
At this time, in the absence of
符号化パターンの一例として、基準周波数Δfuの整数倍の周期をもつ余弦関数の重ね合わせになるようなマスク変調関数を考える。このような変数は例えば数式2のように与えられる。
As an example of the coding pattern, consider a mask modulation function that is a superposition of cosine functions having a period that is an integral multiple of the reference frequency Δfu. Such a variable is given by, for example,
数式1及び数式2から、ライトフィールドのフーリエ変換は、数式1に数式2を代入して両辺をフーリエ変換して数式3で表すことができる。
From
ここで、fxはX方向の空間周波数、fuはX方向の角度成分の周波数、L、L0はそれぞれl、l0がフーリエ変換された関数である。
次に、撮像素子22による画像情報の取得について考えると、ライトフィールドの角度成分を空間座標に射影することを意味しており、近似的には撮像素子22の各セル24に入射した全ての入射角の光束を積算することに対応している。すなわち、かかる射影はフーリエ空間において角度成分の周波数が0であるような直流成分を取得することと等しい。
よって、撮像素子22によって取得されるライトフィールドのフーリエ変換は、数式4で表すことができる。
Here, f x is a function frequency, L, L 0 is respectively l, l 0 is the Fourier transform of the X-direction spatial frequency, f u the X-direction angular component.
Next, considering the acquisition of image information by the
Therefore, the Fourier transform of the light field acquired by the
ただし、空間周波数はfx=jΔfx(j=−N/2〜+N/2)のように有限個数の画素に対応して表現した。Nは撮像素子22のX方向における画素数たるセル24の数であり、角度のサンプリング間隔Δfx=1/(NΔx)であり、Δxは撮像素子22上にある画素ピッチたるセル24同士の間隔を表している。数式4は、符号化開口部21aと光検出器アレイ22aとの距離dによって、画像情報を空間周波数Δfuごと離れた空間周波数の位置に異なる角度周波数成分の画像情報を重畳できることを示している。
撮影する画像自身の持つ空間周波数の帯域がΔfu以下であれば、それぞれの角度周波数成分に対する画像情報はオーバーラップすることがなく、撮像による角度情報の射影を制御部9を用いて再構成することが可能である。
However, the spatial frequency is expressed in correspondence to the pixels of a finite number as f x = jΔf x (j = -N / 2~ + N / 2). N is the number of
If the bandwidth of the spatial frequency with the image itself to be photographed is below Delta] f u, the image information for each of the angular frequency component without overlap, reconstituted with a
図5(a)、(b)は、撮像素子22によって撮影された1次元の画像情報から角度周波数成分に対する情報を分離して角度情報の射影を制御部9を用いて再構成する方法についての模式図である。
数式4から、撮像素子22によって撮影された画像情報のフーリエ変換は、サンプリング間隔ndΔfuを持った角度情報が、空間周波数Δfuの間隔ごとに重畳されていることを表している。
図5(a)は、撮像素子22の取得する角度情報が重畳されたフーリエ空間における1次元の画像情報を概念的に示した図である。これを、図5(b)のように空間周波数Δfuごとに折り返して再配列(1D→2D変換)することによって、2次元のライトフィールドが計算機上の配列として復元される。
実空間における座標X及び角度uは、この2次元配列を計算機によって逆フーリエ変換することによって算出可能である。実際は、2次元の画像情報を取得した場合にはライトフィールドはX方向とY方向それぞれに角度情報が重畳されて4次元情報として出力されるため、4次元逆フーリエ変換を用いて、実空間における所望の情報を得ることができる。
FIGS. 5A and 5B show a method for reconstructing the projection of angle information using the
From Equation 4, the Fourier transform of the image information captured by the
FIG. 5A conceptually shows one-dimensional image information in Fourier space on which angle information acquired by the
The coordinates X and the angle u in the real space can be calculated by inverse Fourier transforming this two-dimensional array with a computer. Actually, when two-dimensional image information is acquired, the light field is output as four-dimensional information by superimposing angle information in each of the X direction and the Y direction. Desired information can be obtained.
このような撮像モジュール2を用いて、物体の距離画像を取得する場合には、距離や方向などの空間情報の分解能を向上させるために、取得できる角度の分解点数を多く取ること、角度のサンプリング間隔を狭くすることが重要である。
しかしながら、上述の通り、撮像素子22と空間光変調素子21との間の距離dによって角度のサンプリング間隔が制限されてしまうため、距離dが設計によって定まってしまう場合などには距離や方向などの空間情報の分解能を向上させることが難しい。
When acquiring a distance image of an object using such an
However, as described above, the sampling interval of the angle is limited by the distance d between the
そこで、本実施形態では、撮像モジュール2は、図6に示すように、符号化開口部21aの位置を、撮像素子22の受光面に対して平行なX方向を含むように移動させる符号化開口部移動機構たる符号化開口部駆動部91を有している。
かかる構成により、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
Therefore, in the present embodiment, the
With this configuration, the number of angle decomposition points is increased and the angle sampling interval is narrowed to improve the resolution of spatial information such as distance and direction.
この点についてさらに詳しく説明する。
図6は、符号化開口部駆動部91によって、図3に示された初期状態から符号化開口部21aの位置を変位量ΔXだけ変位させた変位状態である。
言い換えると、変位状態は、符号化開口部駆動部91によって空間光変調素子21の位置を撮像素子22に対して変位量ΔXだけ変位させた状態である。
このとき、可動電極264と不動電極27との間には符号化開口部駆動部91によって電圧Vが印加され、静電気力によって符号化開口部21aはX方向に変位量ΔXだけ移動させられて、撓んだ梁部262によって支持されている。
可動電極264と不動電極27との間の電圧Vが印加されなくなると、撓んだ梁部262の復元力によって、符号化開口部21aは初期状態へと戻る。
このとき符号化開口部駆動部91は、電圧Vによって変位量ΔXを任意の値に調整することができる。
つまり、空間光変調素子21のセル24の単位幅以下の微小量だけ変位させることで、符号化開口部21a上に形成された符号化パターンの解像度以上に角度の分解点数を増加する。
This point will be described in more detail.
FIG. 6 shows a displacement state in which the position of the
In other words, the displacement state is a state in which the position of the spatial
At this time, a voltage V is applied between the
When the voltage V between the
At this time, the encoding opening drive unit 91 can adjust the displacement amount ΔX to an arbitrary value by the voltage V.
In other words, by displacing the spatial
符号化開口部21aを、X方向に変位量Δxだけシフトした変位状態のライトフィールドを考える。
図7(a)には、初期状態のライトフィールドを表す模式図を示し、図7(b)には変位状態のライトフィールドを模式的に示す。
変位状態においては、数式2、数式3のxをx'=x+Δxとして、m(x'−du)を求めることと等しいから、フーリエ空間のライトフィールドは、数式5のように書き換えることができる。
Consider a light field in a displaced state in which the encoded
FIG. 7A is a schematic diagram showing the light field in the initial state, and FIG. 7B schematically shows the light field in the displaced state.
In the displacement state, it is equivalent to obtaining m (x′−du) where x in
同様に、数式4は、数式6のように書き換えることができる。
Similarly, Equation 4 can be rewritten as
数式6は、符号化パターンの空間シフトが、撮像素子22によって取得された画像情報においては、フーリエ空間の角度の位相が変わったことに対応するということを表している。つまり、変位状態においては、数式6を逆フーリエ変換によって実空間における角度情報を復元した際には、角度成分uが(Δx/d)だけシフトすることに対応する。言い換えると、初期状態における角度成分uを角度成分u’=u+(Δx/d)とシフトさせたことに等しい。
このことは、図7(a)における光線L1の表すライトフィールドに対し、図7(b)では同じ信号が、光線L1の角度成分uを角度成分u’にシフトさせた光線L2を表すライトフィールドであるということに等しい。
すなわち、(Δx/d)<1/(dpΔfu)の関係を満たすようなd、Δxの組み合わせを用いれば、初期状態において2p+1個の離散化された角度成分をもつライトフィールドに対して、離散値の間の角度成分をもったライトフィールドを内挿していることに等しい。
言い換えると、2p+1個の離散値しか取り得ない角度分解能を、変位量Δxを変えて取得した画像情報の分だけ増加させることができる。
This is because the light field represented by the light beam L1 in FIG. 7A is the same as the light field represented by the light beam L2 obtained by shifting the angle component u of the light beam L1 to the angle component u ′. Is equivalent to
That is, if a combination of d and Δx that satisfies the relationship (Δx / d) <1 / (dpΔfu) is used, a discrete value is obtained for a light field having 2p + 1 discretized angular components in the initial state. Is equivalent to interpolating a light field with an angle component between.
In other words, the angular resolution that can take only 2p + 1 discrete values can be increased by the amount of image information acquired by changing the displacement amount Δx.
このように符号化パターンに変位量Δxのシフトを与えた変位状態において、画像情報を複数取得することで、離散化された角度情報の分解点数を増やして角度の分解能を向上させることができる。 In this way, by acquiring a plurality of pieces of image information in a displacement state in which the coding pattern is shifted by the displacement amount Δx, it is possible to increase the number of decomposition points of the discretized angle information and improve the angle resolution.
具体的には、撮像素子22に受光面の長手方向の長さ4.22mm、画素ピッチ2.2mmのフルHD(画素数1920×1080)のイメージセンサを用い、符号化パターンの最長周期20周期を受光面内に納めるように設計すると、符号化パターンの基準幅はΔfu=4.73mm−1である。
撮像素子22のセル24に入射する光束の最大角度は、結像光学系3や光検出器アレイ22aのサイズに依存して決定される値ではあるが、仮に15°とする。このとき、tan(15°)=0.27である。
このような撮像素子22を用いる場合には、符号化開口部21aと撮像素子22との間の距離dは、dΔfu=1/uからd=0.79μmである。
入射光束の角度分解点数を9点(p=4)とすると、(Δx/d)<1/(dpΔfu)よりΔx<52.8μmとなって符号化パターンの変位量Δxを±52.8μmの範囲でシフトさせて画像情報を取得することで、分解点数を増加させることができる。
Specifically, a full HD (number of pixels: 1920 × 1080) image sensor with a length of 4.22 mm in the longitudinal direction of the light receiving surface and a pixel pitch of 2.2 mm is used as the
The maximum angle of the light beam incident on the
When such an
Assuming that the number of angle resolution points of the incident light flux is 9 (p = 4), Δx <52.8 μm from (Δx / d) <1 / (dpΔfu), and the displacement amount Δx of the coding pattern is ± 52.8 μm. The number of decomposition points can be increased by shifting the range and acquiring image information.
このように符号化開口部21aと撮像素子22との間の距離dを変えずに、光検出器アレイ22aに対して平行なX方向を含むように移動させることによって、撮像モジュール2の製作・加工時の精度に由来する誤差を低減しながらも、角度のサンプリング間隔を向上する。
また、符号化開口部21aをX方向を含むように移動させることによって、符号化開口部21aに形成される符号化パターンの周期を変えずに、入射光束の角度分解点数を増加させて角度の分解点数を向上させることができる。
かかる構成により、撮像素子22により取得される画像情報の、フーリエ変換された空間周波数軸上において、異なる角度成分の情報を重畳する際に生じるエイリアシングによる画像劣化を抑制する。
As described above, the
In addition, by moving the
With such a configuration, image degradation due to aliasing that occurs when information of different angle components is superimposed on the Fourier-transformed spatial frequency axis of the image information acquired by the
本実施形態における撮像装置1は、符号化開口部21aの位置を、撮像素子22の光検出器アレイ22aに対して平行なX方向を含むように移動させる符号化開口部駆動部91を有している。
かかる構成により、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
The
With this configuration, the number of angle decomposition points is increased and the angle sampling interval is narrowed to improve the resolution of spatial information such as distance and direction.
また、本実施形態における撮像モジュール2は、撮像素子22に対して不動の固定部261と、固定部261によって撮像素子22に対して移動可能に支持された支持基板263と、を有し、符号化開口部駆動部91は、固定部261に対する可動部263の位置を変化させる。
かかる構成により、符号化開口部駆動部91は、変位量Δxを任意の値に制御できるから、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
In addition, the
With such a configuration, the encoded aperture drive unit 91 can control the displacement Δx to an arbitrary value, so that the number of angle decomposition points is increased and the angle sampling interval is narrowed to obtain spatial information such as distance and direction. Improve the resolution.
また、本実施形態における支持基板263は、梁部262により固定部261に支持され、符号化開口部駆動部91は、梁部262を変形させることで支持基板263の位置を変化させる。
かかる構成により、符号化開口部駆動部91は、支持基板263を動かして角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
また、梁部262の梁構造による復元力により初期状態の位置を復元するから、さらに精度よく角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
In addition, the
With this configuration, the encoding aperture drive unit 91 moves the
In addition, since the initial position is restored by the restoring force of the beam structure of the
また、本実施形態における符号化開口部駆動部91は、符号化開口部21aを電気的に駆動する。
かかる構成により、符号化開口部駆動部91は、変位量Δxを任意の値に精度よく制御できるから、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
なお、本実施形態では、符号化開口部駆動部91は、可動電極264と不動電極27との間に電圧を印加して、静電気力によって支持基板263をX方向に変位させる構成としているが、かかる構成に限定されるものではない。
例えば、電気的に駆動する手段として、符号化開口部駆動部91として圧電アクチュエーター、ソレノイドを用いた電磁アクチュエーター等の、圧電型や電磁型の駆動手段を用いてもよい。
In addition, the encoding opening drive unit 91 in the present embodiment electrically drives the
With this configuration, the encoded aperture drive unit 91 can accurately control the displacement amount Δx to an arbitrary value, so that the number of angle decomposition points can be increased and the angle sampling interval can be narrowed to reduce the distance, direction, etc. Improve the resolution of spatial information.
In the present embodiment, the encoding opening drive unit 91 is configured to apply a voltage between the
For example, as the means for electrically driving, a piezoelectric type or electromagnetic type driving means such as a piezoelectric actuator or an electromagnetic actuator using a solenoid may be used as the encoded opening drive unit 91.
次に、空間光変調素子21上に形成される符号化パターンを移動させることで、符号化開口部21aの位置を移動させる方法について説明する。
制御部9は、図8(a)〜(c)に示すように、空間光変調素子21の符号化パターンたる符号化開口部21aの位置を、撮像素子22の受光面に対して平行な方向を含むように移動させる。このとき制御部9は、符号化開口部移動手段たる符号化開口部移動機構としての機能を有している。
Next, a method for moving the position of the
As shown in FIGS. 8A to 8C, the
この点について、図8を用いてさらに詳しく説明する。
空間光変調素子21の符号化パターンは、符号化開口部21aにおける透過率の高低を、セル24の色の濃淡で表示している。ここで、図8(a)には、空間光変調素子21の符号化パターンの変位前の状態である初期状態を示している。
制御部9は、空間光変調素子21の符号化パターンを維持しながら、空間光変調素子21の撮像素子22に対する位置を変えずに符号化開口部21aの位置を図8(b)に示すように、初期状態から撮像素子22の受光面に対して平行に移動させる。
具体的には、制御部9は、符号化パターン生成手段によって形成された符号化パターンの周期を変えずに、その位置をX方向にΔXだけ変位させている。このとき変位量ΔXは、空間光変調素子21のセル24の1個当たりの幅によって離散化され、変位量ΔXの最小値はセル24の単位幅と等しい。このように変位量ΔXだけ変位させた後の状態を変位状態とする。
このような符号化開口部駆動部91は、コンピュータ等の別体としての計算システムを必要とせず、また、電気的な制御のような変位量の制御も必要としないため、制御部9の図示しない電子回路基板ないしはチップ上のメモリのシフト演算によって容易に変位状態とすることができる。
かかる符号化開口部駆動部91を用いて、初期状態と変位状態とのそれぞれの状態において撮像素子22に検知された透過率のプロファイルの一例を模式的に図8(c)に示す。
初期状態と変位状態とを比較すると、符号化パターンが同じなので、得られる透過率プロファイルの波形は同一で、位相がΔXだけずれている。
This point will be described in more detail with reference to FIG.
The coding pattern of the spatial
The
Specifically, the
Such an encoded aperture drive unit 91 does not require a separate calculation system such as a computer, and does not require displacement control such as electrical control. The electronic circuit board or the memory on the chip can be easily displaced by a shift operation.
FIG. 8C schematically shows an example of the transmittance profile detected by the
Comparing the initial state and the displacement state, since the encoding pattern is the same, the waveform of the obtained transmittance profile is the same and the phase is shifted by ΔX.
数式5及び数式6において既に述べたように、このような位相のずれは、撮像素子22に入射する光束の角度成分がシフトしたことに対応している。
すなわち、空間光変調素子21上に形成される符号化パターンを変位させることで、符号化開口部21aの位置を移動させる方法であっても、同様の原理によって角度分解能を向上している。
As already described in
That is, even if the encoding pattern formed on the spatial
本実施形態における符号化開口部駆動部91は、符号化開口部21aを光検出器アレイ22aに対してX方向に移動させることで撮像素子22に入射する光束を空間的に変調させる。
かかる構成によれば、支持基板263を可動に支持する構成を有する必要がなくなるので、撮像モジュール2の構造を複雑にすることなく、角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
The encoded aperture drive unit 91 in the present embodiment spatially modulates the light beam incident on the
According to such a configuration, since it is not necessary to have a configuration for supporting the
また、本実施形態における撮像モジュール2は、符号化開口部21aの付与する変調のパターンを維持し、符号化開口部駆動部91は、符号化開口部21aが形成する変調のパターンをX方向に移動させることで撮像素子22に入射する光束を空間的に変調させる。
かかる構成により、コンピュータ等の別体としての計算システムを必要とせず、また、電気的な制御のような変位量の制御も必要としないため、容易に角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、距離や方向などの空間情報の分解能を向上させる。
In addition, the
With this configuration, a separate calculation system such as a computer is not required, and no displacement control such as electrical control is required. The sampling interval is narrowed to improve the resolution of spatial information such as distance and direction.
なお、このような符号化パターンの変位によって符号化開口部21aの位置を移動させる方法と、支持基板263を移動させる方法とを併せて用いても良いことは言うまでも無い。
かかる構成により、さらに角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、空間情報の分解能を向上させる。
Needless to say, the method of moving the position of the
With this configuration, the number of angle decomposition points is further increased, and the angle sampling interval is narrowed to improve the resolution of spatial information.
以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the specific embodiments, and the present invention described in the claims is not specifically limited by the above description. Various modifications and changes are possible within the scope of the above.
例えば、符号化開口部21aは、空間光変調素子21に形成されて透過率を複数の離散値に動的に変更可能な構成としたが、グレースケールマスクパターン又は2値のマスクパターンを形成する静的な構成であっても良い。
かかる構成により、空間光変調素子21の構成を簡略化できるから、さらに容易に角度の分解点数を増加するとともに、角度のサンプリング間隔を狭小化して、空間情報の分解能を向上させる。
For example, the
With this configuration, the configuration of the spatial
また、制御部9は、撮像モジュール2内部に設けられるものであっても良いし、撮像モジュール2とは別体で撮像装置1内に設けられるものであっても良い。
The
また、空間光変調素子21は、透過型液晶素子としたが、エレクトロウェッティング効果を用いた透過型の空間光変調素子でも良い。
The spatial
本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。 The effects described in the embodiments of the present invention are only the most preferable effects resulting from the present invention, and the effects of the present invention are limited to those described in the embodiments of the present invention. is not.
1 撮像装置
2 撮像モジュール
3 光学系(結像光学系)
9 制御部(符号化開口部移動機構)
21 空間光変調素子
21a 符号化開口部
22 撮像素子
22a 受光面(光検出器アレイ)
23 スペーサー
24 セル(画素)
25 配線
27 不動電極
91 符号化開口部駆動部
261 固定部
262 梁部
263 支持基板(可動部)
264 可動電極
X 光軸と垂直方向
Y 光軸と垂直方向
Z 光軸方向
DESCRIPTION OF
9 Control unit (encoded aperture moving mechanism)
21
23
25
264 Movable electrode X Optical axis and vertical direction Y Optical axis and vertical direction Z Optical axis direction
Claims (7)
前記符号化開口部より出射された光束を画像情報として取得する撮像素子と、
前記撮像素子上に前記光束を導く光学系と、
前記符号化開口部の位置を、前記撮像素子の受光面に対して平行な方向を含むように移動させる符号化開口部移動機構と、を有する撮像装置。 A coded aperture that modulates and exits the incident beam;
An image sensor that acquires the light flux emitted from the coded aperture as image information;
An optical system for guiding the luminous flux onto the imaging device;
An imaging apparatus comprising: an encoding opening moving mechanism that moves the position of the encoding opening so as to include a direction parallel to a light receiving surface of the imaging element.
前記符号化開口部移動機構は、前記符号化開口部が形成された符号化開口素子の位置を前記撮像素子に対して変化させる符号化開口部駆動部を有することを特徴とする撮像装置。 The imaging device according to claim 1,
The image pickup apparatus, wherein the coded aperture moving mechanism includes a coded aperture drive unit that changes a position of the coded aperture element in which the coded aperture is formed with respect to the image sensor.
前記撮像素子に対して不動の固定部と、
前記固定部によって前記撮像素子に対して移動可能に支持された可動部と、を有し、
前記符号化開口部駆動部は、前記固定部に対する前記可動部の位置を変化させることを特徴とする撮像装置。 The imaging device according to claim 2,
A stationary part immovable with respect to the image sensor;
A movable part supported by the fixed part so as to be movable with respect to the imaging device,
The encoding opening drive unit changes the position of the movable unit with respect to the fixed unit.
前記可動部は、梁構造により前記固定部に支持され、
前記符号化開口部駆動部は、前記梁構造を変形させることで前記可動部の位置を変化させることを特徴とする撮像装置。 The imaging device according to claim 3.
The movable part is supported by the fixed part by a beam structure,
The imaging opening drive unit changes the position of the movable unit by deforming the beam structure.
前記符号化開口部駆動部は、前記符号化開口部を電気的に駆動することを特徴とする撮像モジュール。 The imaging apparatus according to any one of claims 2 to 4,
The imaging module, wherein the encoding aperture driving unit electrically drives the encoding aperture.
前記符号化開口部の付与する前記変調のパターンを維持し、
前記符号化開口部移動機構は、前記変調のパターンを前記受光面に対して前記方向に移動させることで前記撮像素子に入射する前記光束を変調させることを特徴とする撮像装置。 The imaging device according to claim 1,
Maintaining the modulation pattern imparted by the encoded aperture;
The imaging aperture moving mechanism modulates the light beam incident on the imaging device by moving the modulation pattern in the direction with respect to the light receiving surface.
前記符号化開口部は、静的なグレースケールマスクパターン又は2値のマスクパターンを形成することを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 6,
The imaging apparatus is characterized in that the coded aperture forms a static gray scale mask pattern or a binary mask pattern.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014167448A JP2016046564A (en) | 2014-08-20 | 2014-08-20 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014167448A JP2016046564A (en) | 2014-08-20 | 2014-08-20 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016046564A true JP2016046564A (en) | 2016-04-04 |
Family
ID=55636769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014167448A Pending JP2016046564A (en) | 2014-08-20 | 2014-08-20 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016046564A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018011040A (en) * | 2016-07-01 | 2018-01-18 | キヤノン株式会社 | Imaging apparatus |
-
2014
- 2014-08-20 JP JP2014167448A patent/JP2016046564A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018011040A (en) * | 2016-07-01 | 2018-01-18 | キヤノン株式会社 | Imaging apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Boominathan et al. | Recent advances in lensless imaging | |
JP6657111B2 (en) | Compact 3D depth acquisition system | |
JP4932978B2 (en) | Imaging device and imaging apparatus | |
CN111954790A (en) | Apparatus and method for 3D sensing | |
JP2015133594A (en) | imaging module and imaging device | |
EP3876017A1 (en) | Patterned light irradiation apparatus and method | |
JP6580578B2 (en) | Camera device | |
Osorio Quero et al. | Single-pixel imaging: An overview of different methods to be used for 3D space reconstruction in harsh environments | |
EP3382421A1 (en) | Methods and apparatus for superpixel modulation with ambient light suppression | |
Li et al. | Camera geometric calibration using dynamic single-pixel illumination with deep learning networks | |
Liu et al. | Coded-aperture broadband light field imaging using digital micromirror devices | |
CN109900249B (en) | Distance measuring device and distance measuring method | |
KR102600797B1 (en) | Position sensor device and method for determining the position of at least one mirror of a lithography system | |
JP2016046564A (en) | Imaging apparatus | |
KR101698449B1 (en) | The projector module mounted to the mobile for the 3D scanning | |
JP6737325B2 (en) | Imaging module and imaging device | |
US20210383561A1 (en) | Camera module | |
US20240137634A1 (en) | Method and system for single-pixel imaging | |
Mahalanobis et al. | High-resolution imaging using a translating coded aperture | |
US11968457B2 (en) | Imaging apparatus, imaging system, and imaging method | |
JP2015187713A (en) | Light modulation element, imaging device, and image projection device | |
US9912854B2 (en) | Imaging module and imaging apparatus | |
US11740468B2 (en) | Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method | |
US20180202801A1 (en) | Device and method for detecting an image of a preferably structured surface of an object | |
Kilcullen | Development and applications of a single-pixel imaging platform for three-dimensional, real-time, ultrahigh-speed, and terahertz imaging. |