JP7350673B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP7350673B2 JP7350673B2 JP2020030264A JP2020030264A JP7350673B2 JP 7350673 B2 JP7350673 B2 JP 7350673B2 JP 2020030264 A JP2020030264 A JP 2020030264A JP 2020030264 A JP2020030264 A JP 2020030264A JP 7350673 B2 JP7350673 B2 JP 7350673B2
- Authority
- JP
- Japan
- Prior art keywords
- modulation element
- phase modulation
- image
- imaging device
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging device.
スマートフォン等の電子機器に搭載するデジタルカメラには薄型化が求められている。デジタルカメラの薄型化技術として、例えば、特許文献１には、レンズを用いない撮像装置であって、パターンを有する変調器を透過した光が画像センサ上で生じさせる射影パターンから、入射光の入射角を相互相関演算により求めることで、被写体の撮像画像を得ることができる撮像装置が記載されている。
Digital cameras installed in electronic devices such as smartphones are required to be thinner. As a technique for reducing the thickness of a digital camera, for example,
また、特許文献２には、円環同心円状のシリンドリカルレンズを位相変調素子として用い、画像センサ上に被写体を構成する各点からの光による円環状の射影像を射影し、射影像における明線のデューティー比を０．５以下として高調波を発生させ、画像センサからの出力画像に対して同心円状パターンの高調波を乗算してモアレ縞を生成し、モアレ縞のフーリエ変換を行うことで被写体が写った画像を生成する撮像装置が記載されている。
Furthermore, in
特許文献２に記載の撮像装置では、円環同心円状のシリンドリカルレンズからなる位相変調素子による射影像に含まれる明線のデューティー比が場所ごとに異なるため、現像結果として得られる画像の周波数成分が均一ではなくなり、例えば、低周波成分が欠落したり、高周波成分が増加したりする等の画質劣化が生じ得る。
In the imaging device described in
本発明は、上記の点に鑑みてなされたものであり、位相変調素子を用いた撮像装置における現像結果として得られる画像の画質劣化を抑止できるようにすることを目的とする。 The present invention has been made in view of the above points, and it is an object of the present invention to make it possible to suppress deterioration in image quality of images obtained as a result of development in an imaging device using a phase modulation element.
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。 The present application includes a plurality of means for solving at least part of the above problems, examples of which are as follows.
上記課題を解決するため、本発明の一態様に係る撮像装置は、同心円状の複数の円環から形成され、入射光の位相を変調する位相変調素子と、前記位相変調素子を介して被写体の光学像が射影される画像センサと、前記画像センサから入力される画像信号に対して所定の現像処理を行うことにより現像画像を生成する画像処理部と、を備え、前記位相変調素子を形成する前記複数の円環は、前記被写体の前記光学像を前記画像センサに照射する際の焦点距離がそれぞれ異なることを特徴とする。 In order to solve the above problems, an imaging device according to one aspect of the present invention includes a phase modulation element that is formed from a plurality of concentric rings and that modulates the phase of incident light, and a phase modulation element that modulates the phase of incident light. The phase modulation element is formed by comprising an image sensor onto which an optical image is projected, and an image processing section that generates a developed image by performing a predetermined development process on an image signal input from the image sensor. The plurality of rings have different focal lengths when irradiating the optical image of the subject onto the image sensor.
本発明によれば、位相変調素子を用いた撮像装置における現像結果として得られる画像の画質劣化を抑止することができる。 According to the present invention, it is possible to suppress deterioration in image quality of an image obtained as a result of development in an imaging device using a phase modulation element.
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。 Problems, configurations, and effects other than those described above will be made clear by the description of the embodiments below.
以下、本発明の複数の実施形態について図面を参照して説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。 Hereinafter, a plurality of embodiments of the present invention will be described with reference to the drawings. In addition, in all the figures for explaining each embodiment, the same reference numerals are attached to the same members in principle, and repeated explanations thereof will be omitted. In addition, it goes without saying that in the following embodiments, the constituent elements (including elemental steps, etc.) are not necessarily essential, except when specifically specified or when it is considered to be clearly essential in principle. stomach. In addition, when we say "consists of A," "consists of A," "has A," or "contains A," other elements are excluded, unless it is specifically stated that only that element is included. Needless to say, this is not something you should do. Similarly, in the following embodiments, when referring to the shape, positional relationship, etc. of components, etc., the shape, etc. are substantially This shall include things that approximate or are similar to.
＜本発明の第１の実施形態に係る撮像装置１００の構成例＞
図１は、本発明の第１の実施形態に係る撮像装置１００の基本的な構成例を示している。
<Configuration example of
FIG. 1 shows a basic configuration example of an
撮像装置１００は、一般的なカメラが備える被写体の光学像を画像センサ上に結像させるための撮像レンズを用いることなく、被写体を撮像することができる、いわゆるレンズレスカメラである。
The
撮像装置１００は、位相変調素子１０２、画像センサ１０３、及び画像処理部１０６を備える。
The
位相変調素子１０２は、画像センサ１０３の受光面と距離ｄだけ離して配置されている。位相変調素子１０２は、円環同心円状の複数の曲率半径がそれぞれ異なるシリンドリカルレンズ１０４から形成される。位相変調素子１０２は、被写体１０１の光学像を画像センサ１０３に射影する。シリンドリカルレンズ１０４は、本発明の円環に相当する。
The
画像センサ１０３は、面状に配列された複数の受光素子を有し、位相変調素子１０２を通過した光画像（射影像）を電気信号である画像信号に変換して画像処理部１０６に出力する。画像センサ１０３は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge Coupled Device)等のイメージセンサからなる。
The
画像処理部１０６は、画像センサ１０３から入力される画像信号に対して所定の現像処理を行う。具体的には、画像センサ１０３から入力される画像信号に対して、位相変調素子１０２に対応する同心円状のパターンを乗算することによりモアレ縞を生成する。また、画像処理部１０６は、生成したモアレ縞に対して、フーリエ変換演算を行い、その絶対値をとることで被写体１０１が写った撮像画像を生成する。画像処理部１０６は、例えば、ＣＰＵ(Central Processing Unit)やＧＰＵ(Graphics Processing Unit)等からなる。
The
＜画像処理部１０６による現像処理の原理＞
次に、画像処理部１０６による現像処理の原理について説明する。
<Principle of development processing by
Next, the principle of development processing by the
位相変調素子１０２を成す複数のシリンドリカルレンズ１０４のうち、位相変調素子１０２の中心を０番として外周側に向かって１，２、・・・とインクリメントされる円環番号ｎのシリンドリカルレンズ１０４ｎの中心の半径位置ｒｎは、位相Φを用いて次式（１）として表すことができる。
Among the plurality of
円環番号ｎのシリンドリカルレンズ１０４ｎは、その切り替わり半径が、隣接するシリンドリカルレンズ１０４ｎ－１，１０４ｎ＋１それぞれの中心位置との中間にくるように形成されている。よって、円環番号ｎのシリンドリカルレンズ１０４ｎの外側境界は（ｒｎ＋ｒｎ＋１）／２、内側境界は（ｒｎ＋ｒｎ－１）／２と計算できる。これにより、シリンドリカルレンズ１０４ｎの幅Ｌｎは、外側境界と内側境界との幅（ｒｎ＋１－ｒｎ－１）／２として計算することができ、式（１）を用いれば、次式（２）として表すことができる。
The
複数のシリンドリカルレンズ１０４から形成された位相変調素子１０２は、画像センサ１０３上に幅ｗｎ、周期Ｐｎの複数の円環状明線１０５からなる光学像（射影像）を射影する。該射影像は、同心円状パターン中心からの半径ｒ、そこでの球面波の位相Φ（ｒ）、波面の曲がりの大きさを決める係数βを用いて次式（３）として近似することができる。
The
次に、図２は、位相変調素子１０２を従来の位相変調素子１１０に置換した場合において画像センサ１０３に入射される並行光の入射の一例を示している。
Next, FIG. 2 shows an example of the incidence of parallel light incident on the
同図に示されるように、位相変調素子１１０に角度θ０で平行光が入射した場合、各シリンドリカルレンズによって集光された光は距離δ＝ｄ・ｔａｎθだけずれて画像センサ１０３上に射影像を作り出す。画像処理部１０６では、この射影像に対して中心がそろった同心円パターンを乗算することで、次式（４）に示される強度分布を得る。
As shown in the figure, when parallel light is incident on the
この展開式の第４項が、射影像と同心円パターンとのずれの方向に真直ぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このように真直ぐな等間隔の縞は、モアレ稿画像に対して２次元フーリエ変換を行うことによって得られる空間周波数分布に鋭いピークを生じる。そして、ピークとなる周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状パターン配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。 It can be seen that the fourth term of this expansion formula creates a straight, equally spaced striped pattern over the overlapping area in the direction of the deviation between the projected image and the concentric pattern. The fringes that occur at a relatively low spatial frequency due to the superposition of such fringes are called moiré fringes. Such straight, equally spaced stripes produce sharp peaks in the spatial frequency distribution obtained by performing two-dimensional Fourier transform on the Moiré manuscript image. Then, it becomes possible to determine the value of δ, that is, the incident angle θ of the light ray, from the value of the peak frequency. It is clear that such moiré fringes, which are uniformly spaced over the entire surface, occur at the same pitch regardless of the direction of deviation due to the symmetry of the concentric pattern arrangement.
式（４）の展開式から鋭いピークを持つ成分のみを抽出すれば、次式（５）となる。 If only the components with sharp peaks are extracted from the expansion of equation (4), the following equation (5) is obtained.
式（５）のフーリエスペクトルは次式（６）となる。 The Fourier spectrum of equation (5) is expressed as the following equation (6).
ただし、式（６）において、Ｆはフーリエ変換の演算を表し、ｕ，ｖは、ｘ，ｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。 However, in equation (6), F represents a Fourier transform operation, u and v are spatial frequency coordinates in the x and y directions, and δ with parentheses is a delta function.
式（６）から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。 From equation (6), it can be seen that in the spatial frequency spectrum of the detected image, the peak of the spatial frequency of the moiré fringes occurs at the position of u=±δβ/π.
このピークのスペクトル像が無限遠の光束を示す輝点であり、画像処理部１０６による現像結果、すなわち、撮像装置１００によって撮像された画像である。以下、このスペクトル像を現像画像と称する。
The spectral image of this peak is a bright spot indicating an infinitely distant luminous flux, and is the result of development by the
＜位相変調素子１０２の特徴＞
次に、本実施形態における位相変調素子１０２を成す複数のシリンドリカルレンズ１０４の焦点距離ｆｎ、画像センサ１０３に射影される円環状明線１０５の幅ｗｎと周期Ｐｎとのデューティー比（ｗｎ／Ｐｎ）の関係、デューティー比の現像画像の画質に対する影響について説明する。
<Characteristics of
Next , the duty ratio ( w The relationship of n /P n ) and the influence of the duty ratio on the image quality of the developed image will be explained.
図２に示された従来の場合、各シリンドリカルレンズの焦点距離ｆｎと、位相変調素子１１０と画像センサ１０３との距離ｄとが一致しており、画像センサ１０３上に射影される円環状明線１０５の幅ｗｎは円環番号ｎによらずほぼ均一であった。そして、円環状明線１０５の幅ｗｎと周期Ｐｎとのデューティー比は円環番号ｎごとに異なるものであった。より詳細には、円環番号ｎの小さい側（位相変調素子１１０の中心側）ではデューティー比が小さく、円環番号ｎの大きい側（位相変調素子１１０の外周側）ではデューティー比が大きかった。この結果、現像画像の周波数成分が均一ではなくなり、低周波成分が欠落し、高周波成分が増加する等の画質劣化が生じていた。
In the conventional case shown in FIG . The width w n of the
このような問題を解決するため、本実施形態における位相変調素子１０２は、画像センサ１０３上に射影される円環状明線１０５の幅ｗｎと周期Ｐｎとのデューティー比が円環番号ｎに拘らず一定値になるように、位相変調素子１０２の各シリンドリカルレンズ１０４の焦点距離ｆｎを円環番号ｎに応じて変更している。
In order to solve such a problem, the
図３は、位相変調素子１０２を用いた場合において画像センサ１０３に入射される並行光の入射の一例を示している。同図の場合、位相変調素子１０２の各シリンドリカルレンズ１０４は、円環番号ｎが小さいほど、焦点距離ｆｎが長くなるように形成されている。
FIG. 3 shows an example of parallel light incident on the
なお、図３に示された各シリンドリカルレンズ１０４の形状は、被写体１０１側が凸状に、画像センサ１０３側が平面状に形成されているが、反対に、被写体１０１側が平面状に、画像センサ１０３側が凸状に形成されていてもよい。
Note that each
図３に示された本実施形態の場合、各シリンドリカルレンズ１０４の焦点距離ｆｎと、位相変調素子１０２と画像センサ１０３との距離ｄとは一致せず、画像センサ１０３上に射影される円環状明線１０５の幅ｗｎはそれぞれ異なるが、デューティー比は円環番号ｎに拘らず均一となるように各シリンドリカルレンズ１０４の焦点距離ｆｎが設定されている。
In the case of this embodiment shown in FIG. 3, the focal length f n of each
次に、デューティー比が均一となるように各シリンドリカルレンズ１０４の焦点距離ｆｎを計算する方法について説明する。
Next, a method of calculating the focal length f n of each
図２に示された例では、画像センサ１０３上に照射される照射像の円環状明線１０５は完全に集光されているが、実際には、位相変調素子１１０を成す各シリンドリカルレンズによって集光される幅には制限がある。これは光の回折現象によるものである。
In the example shown in FIG. 2, the annular
円環状明線１０５の明線幅ｔｎは、円環番号ｎのシリンドリカルレンズの幅Ｌｎ、屈折率Ｎ、焦点距離ｆｎを用い、またシリンドリカルレンズが左右対称であると仮定した場合、次式（７）として表すことができる。
The bright line width t n of the toric
また、位相変調素子１０２と画像センサ１０３との距離ｄと、任意デューティー比dutyと、焦点距離ｆとの関係は、次式（８）として表すことができる。
Further, the relationship between the distance d between the
さらに、式（８）を変形すれば、次式（９）を得ることができる。 Furthermore, by transforming equation (8), the following equation (9) can be obtained.
さらに、式（７）を用いて式（９）を展開すれば、次式（１０）となる。 Furthermore, by expanding equation (9) using equation (7), the following equation (10) is obtained.
解の公式を用いて式（１０）を焦点距離ｆについて解けば、次式（１１）を得ることができる。 By solving equation (10) for focal length f using the solution formula, the following equation (11) can be obtained.
式（１１）より、位相変調素子１０２の各シリンドリカルレンズ１０４の焦点距離ｆｎはそれぞれ異なる値となり、図３に示されたように、画像センサ１０３上での円環状明線１０５の明線幅ｗｎは円環番号ｎが小さいほど、すなわち、位相変調素子１０２の中心に近いほど明線幅ｗｎが太くなることがわかる。
From equation (11), the focal length f n of each
なお、射影像のデューティー比は、式（９）におけるdutyの値を変えることで自由に設定することが可能である。 Note that the duty ratio of the projected image can be freely set by changing the value of duty in equation (9).
次に、位相変調素子１０２の各シリンドリカルレンズ１０４の焦点距離ｆを変えたことによる効果について、図４及び図５を参照して説明する。
Next, the effect of changing the focal length f of each
図４は、図２に示された従来の場合に対応し、同図（Ａ）は規格化周波数と射影像のＭＴＦ(Modulation Transfer Function)との関係を示し、図中の直線は理想状態を示している。同図（Ｂ）は現像画像の一例を示している。図５は、射影像のデューティー比を円環番号ｎに拘らず一定値０．５となるように各シリンドリカルレンズ１０４の焦点距離ｆを設定した場合に対応し、同図（Ａ）は規格化周波数と射影像のＭＴＦとの関係を示し、図中の直線は理想状態を示している。同図（Ｂ）は現像画像の一例を示している。
FIG. 4 corresponds to the conventional case shown in FIG. 2, and FIG. It shows. FIG. 2B shows an example of a developed image. FIG. 5 corresponds to the case where the focal length f of each
図４（Ａ）と図５（Ａ）を比較すると、図４（Ａ）では低周波領域にＭＴＦの落ち込みがあり、理想状態から隔たりがあることがわかる。この射影像に対して現像処理を行うと、現像画像に含まれる低周波成分の信号が弱くなるため、図４（Ｂ）に示すように、エッジが強調された不自然な現像画像が得られることになる。 Comparing FIG. 4(A) and FIG. 5(A), it can be seen that in FIG. 4(A) there is a drop in MTF in the low frequency region, and there is a difference from the ideal state. When developing processing is performed on this projected image, the signal of the low frequency component included in the developed image becomes weak, resulting in an unnatural developed image with emphasized edges, as shown in FIG. 4(B). It turns out.
一方、図５（Ａ）では、図４（Ａ）のような低周波領域におけるＭＴＦの落ち込みがなく、理想状態に近いことがわかる。よって、この射影像に対して現像処理を行ってられた現像画像（図５（Ｂ））は、図４（Ｂ）に比べて画質が改善されたものとなる。 On the other hand, in FIG. 5(A), there is no drop in MTF in the low frequency region as in FIG. 4(A), and it can be seen that the state is close to the ideal state. Therefore, the developed image (FIG. 5(B)) obtained by performing development processing on this projected image has improved image quality compared to FIG. 4(B).
＜本発明の第２の実施形態に係る撮像装置の構成例＞
本発明の第２の実施形態に係る撮像装置（不図示）は、上述した第１の実施形態に係る撮像装置（図１）における位相変調素子１０２を成す円環同心円状のシリンドリカルレンズ１０４の切り替わり半径を変更したものである。
<Configuration example of imaging device according to second embodiment of the present invention>
The imaging device (not shown) according to the second embodiment of the present invention is configured by switching the annular concentric
図６は、第２の実施形態に係る撮像装置における位相変調素子１０２を成す円環同心円状のシリンドリカルレンズ１０４の形状の一例を示している。
FIG. 6 shows an example of the shape of a ring-concentric
第２の実施形態では、位相変調素子１０２を成す円環同心円状のシリンドリカルレンズ１０４ｎの切り替わり半径が、Ｃｏｓ（βｒｎ２＋Φ）＝－１を満たす位置にくるように形成されている。すなわち、切り替わり半径ｒｎ＝√（（２ｎπ＋π―Φ）／β）とする。
In the second embodiment, the switching radius of the annular concentric
第２の実施形態の場合、円環状のシリンドリカルレンズ１０４を介して画像センサ１０３上に照射される射影像が、式（２）で示される同心円状パターンとよりよく一致するので、現像処理の過程で生成されるモアレ縞もより理想的なものになり、最終的に得られる現像画像もより画質が改善されたものとなる。
In the case of the second embodiment, the projected image irradiated onto the
＜本発明の第３の実施形態に係る撮像装置３００の構成例＞
次に、図７は、本発明の第３の実施形態に係る撮像装置３００の基本的な構成例を示している。撮像装置３００は、撮像装置１００（図１）に対して、現像高調波次数入力部３０１を追加し、画像処理部１０６の内部に高調波パターン乗算部３０２を追加したものである。なお、撮像装置３００のその他の構成要素のうち、撮像装置１００の構成要素と共通するものについては同一の符号を付してその説明を省略する。
<Configuration example of
Next, FIG. 7 shows a basic configuration example of an
撮像装置３００は、射影像に含まれる高調波成分を用いた現像処理（以下、高調波現像処理と称する）により、撮像装置１００よりも解像度が高い現像画像を生成するものである。
The
高調波を用いた現像処理の原理について説明する。上述したように、位相変調素子１０２を成す円環状のシリンドリカルレンズ１０４の集光断面強度分布が、局所的にピッチＰの周期構造であり、明線の中心位置を原点として半径方向に座標ｘで表す位置の点光源による射影像強度Ｉ（ｘ）とすれば、射影像強度Ｉ（ｘ）は次式（１２）に示すようにフーリエ級数展開できる。
The principle of development processing using harmonics will be explained. As described above, the focused cross-sectional intensity distribution of the annular
ここで簡単のため、シリンドリカルレンズ１０４の断面強度分布が幅ｗの矩形であると仮定すれば、式（１２）における展開係数ａ０，ａｋは次式（１３）によって求めることができる。
For simplicity, assuming that the cross-sectional intensity distribution of the
式（１３）におけるＡは、断面強度分布幅がｗのときの矩形強度値である。ここで、輪帯幅内の強度の積分値Ａｗを一定値Ｃとした場合、展開係数ａ０，ａｋは、次式（１４）で表すことができる。 A in equation (13) is a rectangular intensity value when the cross-sectional intensity distribution width is w. Here, when the integral value Aw of the intensity within the annular width is set to a constant value C, the expansion coefficients a 0 and a k can be expressed by the following equation (14).
式（１４）の展開係数ａ０，ａｋは、それぞれ直流成分、ｋ倍高調波成分である。 The expansion coefficients a 0 and a k in Equation (14) are a DC component and a k-th harmonic component, respectively.
図８は、直流成分ａ０＝Ｃ／Ｐ＝１とした場合におけるデューティー比の変化に対するｋ倍高調波成分の変化を示している。 FIG. 8 shows the change in the k-th harmonic component with respect to the change in the duty ratio when the DC component a 0 =C/P=1.
図８によれば、デューティー比が小さくなるほど、フーリエ展開の高調波成分が増えて射影像の変調成分の変調度が向上することを示している。ここで、ｋ＝１は基本周波数成分であり、通常の射影像成分である。ｋ＝２以上が実際の高調波成分となる。高調波成分は、デューティー比が０．５以下で顕著に増加するため、高調波成分を撮影画像の再構成に用いる場合には、デューティー比を０．５以下することが望ましい。 According to FIG. 8, it is shown that as the duty ratio becomes smaller, the harmonic components of the Fourier expansion increase, and the degree of modulation of the modulation component of the projected image improves. Here, k=1 is a fundamental frequency component and is a normal projected image component. The harmonic components with k=2 or more become actual harmonic components. Since harmonic components increase significantly when the duty ratio is 0.5 or less, when using the harmonic components to reconstruct a photographed image, it is desirable to set the duty ratio to 0.5 or less.
このように分解される高調波成分に対しても、現像処理にて高調波成分のみの同心円状のパターンを乗算すると高調波成分どうしのモアレ縞が形成される。このようなモアレ縞は、入射する光線の角度を反映したピッチと方向を持っており、多数の点光源からのパターンのモアレ縞がそれぞれピッチまたは方向が異なる状態で合成されている。ピッチまたは方向が異なるモアレ縞は、２次元フーリエ変換によって周波数分解すると、ピッチが原点からの距離に、方向が原点からの方向に対応した輝点に変換される。これはある点光源からの光を表す輝点であり、カメラによって結像されたのと同じ画像を得ることができる。点光源が多数同時に存在する場合でも、各点高原からの光を同時にそれぞれの輝点に分解して変換できるので、結局、被写体の像を得ることができる。 When the harmonic components decomposed in this manner are multiplied by a concentric pattern of only the harmonic components in the development process, moiré fringes of the harmonic components are formed. Such moire fringes have pitches and directions that reflect the angles of incident light rays, and the moire fringes of patterns from multiple point light sources are combined with each having a different pitch or direction. When moire fringes with different pitches or directions are frequency-resolved by two-dimensional Fourier transform, they are converted into bright spots whose pitches correspond to distances from the origin and whose directions correspond to the directions from the origin. This is a bright spot representing light from a point light source, and the same image as that captured by a camera can be obtained. Even when a large number of point light sources exist at the same time, the light from each point plateau can be simultaneously decomposed and converted into each bright spot, so that an image of the subject can be obtained after all.
モアレ稿が２次元フーリエ変換されて得られる現像画像の視野の最外周の点像は、最も細かいモアレ縞の空間周波数成分によるものである。そして、最も細かいモアレ縞のピッチは、基本的に現像処理にて乗算される同心円状のパターンの最外周のピッチに等しい。すなわち、現像画像領域の直径または一辺の大きさは、現像処理に用いられる同心円状のパターンの最外周のピッチに反比例する。 The point image at the outermost periphery of the field of view of the developed image obtained by two-dimensional Fourier transformation of the Moire draft is due to the spatial frequency component of the finest Moire fringe. The pitch of the finest moiré fringes is basically equal to the pitch of the outermost periphery of the concentric pattern multiplied in the development process. That is, the diameter or side size of the developed image area is inversely proportional to the pitch of the outermost periphery of the concentric pattern used in the development process.
一方、２次元フーリエ変換に高速フーリエ変換（ＦＦＴ(Fast Fourier Transform)）を採用して離散的に変換した場合、画像センサ１０３からの出力画像の全域に亘って生じているモアレ縞の周期パターンのフーリエ変換の結果は、空間周波数に応じた位置の１画素に変換される。そして、周期パターンが生じている領域の直径または一辺の大きさが画像センサ１０３の幅の１／２になるとフーリエ変換された点像は２倍に大きくなる。すなわち、現像画像領域の直径または一辺の大きさを、解像できる点像の大きさで除算した実質的な一辺の解像点数は、周期パターンが生じている領域の直径または一辺の大きさを、現像処理で用いる同心円状のパターンの最外周のピッチで割った値に等しくなる。
On the other hand, if fast Fourier transform (FFT) is used for the two-dimensional Fourier transform and the transform is performed discretely, the periodic pattern of moiré fringes occurring over the entire area of the output image from the
したがって、高調波成分を用いる第３の実施形態における位相変調素子１０２の同心円パターンの大きさを、その最外周のピッチを単位として表した大きさは、現像画像の直径または一辺の実質的な解像点数よりも、用いる高調波次数分の一に小さくなることになる。
Therefore, the size of the concentric pattern of the
逆に言えば、高調波成分を用いて現像画像の解像度を向上させるためには、位相変調素子１０２の最外周のピッチを、位相変調素子１０２の大きさを現像画像領域の直径または一辺の実質的な解像点数で除算した値より２倍以上大きくしておけばよい。または、現像画像領域の直径または一辺の大きさを、解像できる２つの点像の画素間隔で除算した直径または一辺の解像点数が、位相変調素子１０２の大きさを位相変調素子１０２の最外周のピッチで除算した値の２倍以上となるようにすればよい。
Conversely, in order to improve the resolution of the developed image using harmonic components, the pitch of the outermost periphery of the
図７に戻る。現像高調波次数入力部３０１は、画像処理部１０６の高調波パターン乗算部３０２に対して、現像処理における高調波次数ｋを入力する。現像高調波次数入力部３０１は、例えば、撮像装置３００の筐体に設けられたスイッチやダイアル、タッチパネル等の入力デバイスからなる。高調波パターン乗算部３０２は、現像処理にて、現像高調波次数入力部３０１から入力された高調波次数ｋに応じた同心円状のパターンを画像センサ１０３から出力される画像信号に乗算する。これによってモアレ画像が得られる。画像処理部１０６では、これを２次元フーリエ変換し、その絶対値をとることで現像画像を得ることができる。
Return to FIG. 7. The development harmonic
第３の実施形態によれば、位相変調素子１０２のピッチを、本来必要なピッチよりも粗くできるため、画像センサ１０３と位相変調素子１０２の間隔を広くして視野を狭く、現像画像を大きくしても、回折による格子パターンのぼけの影響が少ない現像画像を得ることができる。
According to the third embodiment, the pitch of the
また、位相変調素子１０２の射影像における直流成分に対する変調成分の比率を高くすることができるため、被写体１０１を構成する多数の点光源からの射影像が重なりあった場合にも、射影像の変調度低下を抑え、モアレ縞のコントラストを改善することができ、現像画像の解像度を向上させることができる。
Furthermore, since the ratio of the modulation component to the DC component in the projected image of the
＜本発明の第４の実施形態に係る撮像装置４００の構成例＞
上述した第３の実施形態では、モアレ縞以外の元の同心円パターン成分や、現像処理にて乗算する高調波パターンが残留し、ノイズとなってしまうことがある。以下に説明する第４の実施形態は、該ノイズを除去を目的とした構成を有する。
<Configuration example of
In the third embodiment described above, the original concentric pattern components other than the moire fringes and the harmonic pattern multiplied in the development process may remain, resulting in noise. The fourth embodiment described below has a configuration aimed at removing the noise.
図９は、本発明の第４の実施形態に係る撮像装置４００の基本的な構成例を示している。撮像装置４００は、撮像装置１００（図１）の位相変調素子１０２を位相変調素子４０１に置換するとともに、現像高調波次数入力部４０２を追加し、画像処理部１０６の内部に３倍周波数パターン乗算部４０３及び３倍周波数モアレ抽出部４０４を追加したものである。３倍周波数パターン乗算部４０３及び３倍周波数モアレ抽出部４０４は、本発明の高調波パターン乗算部及び高調波モアレ抽出部に相当する。なお、撮像装置４００のその他の構成要素のうち、撮像装置１００（図１）の構成要素と共通するものについては同一の符号を付してその説明を省略する。
FIG. 9 shows a basic configuration example of an
位相変調素子４０１は、位相ΦＦが異なる９枚の同心円パターンを同一面上に縦横３×３に配置したものであり、各同心円パターンそれぞれは円環同心円状の複数のシリンドリカルレンズによって形成されている。各同心円パターンを形成する、それぞれの中心からｎ番目のシリンドリカルレンズの中心の半径位置は、式（１）で与えられる。
The
以下、高調波を含む同心円パターンのモアレ縞からノイズを除去してモアレ縞成分を抽出できることを理論的に説明する。 Hereinafter, it will be theoretically explained that noise can be removed from the moire fringe of a concentric pattern including harmonics and the moire fringe component can be extracted.
まず、被写体１０１を構成する複数の点光源のうちのｐ番目の点光源の強度Ａｐを用い、画像センサ１０３上に射影された多数の高調波を含む各同心円パターンを次式（１５）によって表す。
First, using the intensity A p of the p-th point light source among the plurality of point light sources that constitute the subject 101, each concentric circle pattern including a large number of harmonics projected onto the
式（１５）におけるｘ，ｙは画像センサ１０３上の局所的な位置座標、ｋは高調波次数、βは同心円パターンのピッチを反映した定数、ΦＦは同心円パターンの位相である。
In equation (15), x and y are local position coordinates on the
さらに、Ｎ個の点光源によって画像センサ１０３上に照射された射影像に対応する画像信号に、ｋ’次の高調波成分を乗算して得られる強度分布は、式（１５）を用いて次式（１６）のように表される。
Furthermore, the intensity distribution obtained by multiplying the image signal corresponding to the projected image irradiated onto the
式（１６）におけるΦＢは現像処理にて乗算する仮想的な同心円パターンの位相、ｒ２は半径座標の２乗であり、ｒ２＝ｘ２＋ｙ２である。 In equation (16), Φ B is the phase of the virtual concentric pattern multiplied in the development process, r 2 is the square of the radial coordinate, and r 2 =x 2 +y 2 .
簡単のため、点光源の位置の２次の項を無視すれば、式（１６）は次式（１７）に変形できる。 For simplicity, if the second-order term of the position of the point light source is ignored, equation (16) can be transformed into the following equation (17).
式（１７）の最後の項がｒ２の位相変動のない直線的なモアレ縞となる成分である。それ以外の項はすべてノイズであり、除去することが必要となる。さらに簡単のため、信号となるモアレ成分とノイズとを合わせて、式（１７）を次式（１８）に変形する。 The last term in equation (17) is a component that forms a linear moiré fringe with no phase variation of r2 . All other terms are noise and need to be removed. For further simplification, equation (17) is transformed into the following equation (18) by combining the moiré component serving as a signal and noise.
式（１８）におけるθ１ｋｐ，θ２ｋｐはそれぞれノイズの位相項と、信号のモアレ成分を含む位相項である。これに対して位相変調素子４０１の位相ΦＦと、現像処理における仮想的な同心円パターンの位相ΦＢを含む複素指数関数を乗じて各位相で２重積分すれば、次式（１９）に示すように信号成分の位相項のみを抽出することができる。
θ 1kp and θ 2kp in equation (18) are a phase term of noise and a phase term including a moiré component of the signal, respectively. On the other hand, if this is multiplied by a complex exponential function including the phase Φ F of the
なお、式（１９）では、任意の項を抽出できることを示すために第ｋ項を抜き出しているが、モアレ成分であったｋ’項を抽出すれば、それが信号となるＮ個の点光源によるモアレ縞の合成の強度分布である。 Note that in Equation (19), the kth term is extracted to show that any term can be extracted, but if the k' term, which was a moiré component, is extracted, it will become a signal for N point light sources. This is the intensity distribution of the composite moiré fringes.
換言すれば、信号となるｋ倍高調波によるモアレ縞成分は次式（２０）に示すように抽出できる。 In other words, the moiré fringe component due to the k-th harmonic, which becomes a signal, can be extracted as shown in the following equation (20).
式（２０）をフーリエ変換した結果が次式（２１）となり、ｐ番目の点光源が点光源の位置（ｘｐ，ｙｐ）に比例した位置に、点光源の強度Ａｐに比例した輝度の輝点を生じる強度分布を得ることができ、被写体が写った現像画像を得られることがわかる。 The result of Fourier transformation of equation (20) is the following equation (21), where the p-th point light source is located at a position proportional to the position of the point light source (x p , y p ), and the brightness is proportional to the intensity A p of the point light source. It can be seen that an intensity distribution that produces bright spots can be obtained, and a developed image that shows the subject can be obtained.
式（２１）の右辺のＦ[]はフーリエ変換の演算を表す。このとき現像画像の明るさは高調波の展開係数αｋに比例しており、できるだけ展開係数αｋが大きい高次項を選ぶことが必要であることがわかる。 F[] on the right side of equation (21) represents a Fourier transform operation. At this time, the brightness of the developed image is proportional to the harmonic expansion coefficient α k , and it is understood that it is necessary to select a high-order term whose expansion coefficient α k is as large as possible.
また、式（２１）の右辺で行う、モアレ縞成分の抽出のための積分は、実際にはその位相値をあまり細かく選ぶことはできない。換言すれば、異なる次数間でのエリアジングの生じない程度のサンプリング点数に抑える必要がある。しかしながら、本実施形態で示している３倍高調波を用いる場合は、少なくとも３倍高調波成分が抽出できるサンプリング点数が必要であり、３倍高調波の１周期を３点はサンプリングしないと三角関数の直交性が成り立たない。同時に基本周波数成分も１周期全体をサンプリングしないとノイズを除去できない。基本周波数成分１周期には３倍高調波が３周期分含まれるため、結局、３×３の９点の位相サンプリングが必要となる。 Furthermore, in the integration for extracting the moiré fringe component, which is performed on the right side of equation (21), the phase value cannot actually be selected very precisely. In other words, it is necessary to limit the number of sampling points to a level that does not cause aliasing between different orders. However, when using the third harmonic shown in this embodiment, the number of sampling points from which at least the third harmonic component can be extracted is required, and if one period of the third harmonic is not sampled at three points, the trigonometric function Orthogonality does not hold. At the same time, noise cannot be removed unless the entire fundamental frequency component is sampled over one period. Since one cycle of the fundamental frequency component includes three cycles of the third harmonic, phase sampling at nine points (3×3) is required.
このため、本実施形態では、位相Φ１～Φ９の９点の位相サンプリングを行うため、位相変調素子４０１には位相Φ１～Φ９にそれぞれ対応する同心円パターンを並べて配置している。
Therefore, in this embodiment, in order to perform phase sampling at nine points of phases Φ 1 to Φ 9 , concentric patterns corresponding to phases Φ 1 to Φ 9 , respectively, are arranged in the
撮像装置４００の説明に戻る。現像高調波次数入力部４０２は、画像処理部１０６の３倍周波数パターン乗算部４０３に対して、現像処理における高調波次数ｋを入力する。現像高調波次数入力部４０２は、例えば、撮像装置４００の筐体に設けられたスイッチやダイアル、タッチパネル等の入力デバイスからなる。３倍周波数パターン乗算部４０３は、画像センサ１０３から出力された画像信号の３×３の各位相エリアに対して、上述した位相が異なる３倍周波数の同心円開口パターンを乗算する。なお、式（１９）における仮想的な同心円パターンの位相積分は、乗算する仮想的な同心円パターンが３倍高調波成分だけでよいので、その位相サンプリングは最小で３点あればよい。
Returning to the description of the
３倍周波数モアレ抽出部４０４は、３倍周波数パターン乗算部４０２による乗算結果として得られるモアレ縞に対し、式（９）に示した演算を行い、さらに、２次元フーリエ変換を行い、絶対値をとって現像画像を生成する。このようにして生成された現像画像は、第３の実施形態によって得られる現像画像に比べてノイズが除去されたものとなる。
The triple frequency
第４の実施形態によれば、第３の実施形態と同様に現像画像の解像度を向上させることができ、さらに、現像画像のノイズを除去することが可能となる。 According to the fourth embodiment, as in the third embodiment, it is possible to improve the resolution of the developed image, and furthermore, it is possible to remove noise from the developed image.
本発明は、上述した実施形態に限定されるものではなく、様々な変形が可能である。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えたり、追加したりすることが可能である。 The present invention is not limited to the embodiments described above, and various modifications are possible. For example, the embodiments described above have been described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to having all the configurations described. Further, it is possible to replace or add a part of the configuration of one embodiment to the configuration of another embodiment.
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ(Solid State Drive)等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, each of the above-mentioned configurations, functions, processing units, processing means, etc. may be partially or entirely realized in hardware by designing, for example, an integrated circuit. Furthermore, each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function. Information such as programs, tables, files, etc. that implement each function can be stored in a memory, a recording device such as a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD. Further, the control lines and information lines are shown to be necessary for explanation purposes, and not all control lines and information lines are necessarily shown in the product. In reality, almost all components may be considered to be interconnected.
１００・・・撮像装置、１０１・・・被写体、１０２・・・位相変調素子、１０３・・・画像センサ、１０４・・・シリンドリカルレンズ、１０５・・・円環状明線、１０６・・・画像処理部、１１０・・・位相変調素子、３００・・・撮像装置、３０１・・・現像高調波次数入力部、３０２・・・高調波パターン乗算部、４００・・・撮像装置、４０１・・・位相変調素子、４０２・・・現像高調波次数入力部
100... Imaging device, 101... Subject, 102... Phase modulation element, 103... Image sensor, 104... Cylindrical lens, 105... Annular bright line, 106...
Claims (10)
前記位相変調素子を介して被写体の光学像が射影される画像センサと、
前記画像センサから入力される画像信号に対して所定の現像処理を行うことにより現像画像を生成する画像処理部と、
を備え、
前記位相変調素子を形成する前記複数の円環は、前記被写体の前記光学像を前記画像センサに照射する際の焦点距離がそれぞれ異なり、
前記位相変調素子を形成する円環番号ｎの前記円環の前記焦点距離ｆ［ｍ］は、
ｆ＝－ｄ（Ｌ ｎ －ｗ ｎ ）／（Ｌ ｎ （duty－１））
によって計算され、
前記円環番号ｎは、前記位相変調素子の中心を０番として外周側に向かって１ずつインクリメントされる番号であり、
前記ｄは、前記位相変調素子と前記画像センサとの距離［ｍ］であり、
前記Ｌ ｎ は、前記円環番号ｎの前記円環の幅［ｍ］であり、
前記ｗ ｎ は、前記位相変調素子により前記画像センサに射影される複数の円環状明線のうち、前記円環番号ｎに対応する前記円環状明線の幅［ｍ］であり、
前記dutyは、前記円環番号ｎに対応する前記円環状明線の幅ｗ ｎ と周期Ｐ ｎ とのデューティー比（ｗ ｎ ／Ｐ ｎ ）であって、前記円環番号ｎに拘わらず所定の一定値である
ことを特徴とする撮像装置。 a phase modulation element formed from a plurality of concentric rings and modulating the phase of incident light;
an image sensor on which an optical image of a subject is projected through the phase modulation element;
an image processing unit that generates a developed image by performing predetermined development processing on the image signal input from the image sensor;
Equipped with
The plurality of rings forming the phase modulation element have different focal lengths when irradiating the optical image of the subject onto the image sensor,
The focal length f [m] of the ring with ring number n forming the phase modulation element is:
f=-d( Ln - wn )/( Ln (duty-1))
calculated by
The ring number n is a number that is incremented by 1 toward the outer circumference from number 0 at the center of the phase modulation element,
The d is the distance [m] between the phase modulation element and the image sensor,
The L n is the width [m] of the ring with the ring number n,
The w n is the width [m] of the circular bright line corresponding to the circular ring number n among the plurality of circular bright lines projected onto the image sensor by the phase modulation element,
The duty is a duty ratio (w n /P n ) between the width w n and the period P n of the annular bright line corresponding to the annular number n, and is a duty ratio (w n /P n ) of the annular bright line corresponding to the annular number n. An imaging device characterized by a constant value.
前記位相変調素子を介して被写体の光学像が射影される画像センサと、
前記画像センサから入力される画像信号に対して所定の現像処理を行うことにより現像画像を生成する画像処理部と、
を備え、
前記位相変調素子を形成する前記複数の円環は、前記被写体の前記光学像を前記画像センサに照射する際の焦点距離がそれぞれ異なり、
前記位相変調素子を形成する円環番号ｎの円環の中心位置ｒ ｎ ［ｍ］は、
ｒ ｎ ＝√（（２ｎπ－Φ）／β）
であり、
前記円環番号ｎは、前記位相変調素子の中心を０番として外周側に向かって１ずつインクリメントされる番号であり、
前記Φは、前記位相変調素子により前記画像センサに射影される複数の円環状明線からなる射影像を近似する球面波における前記円環状明線の中心からの距離ｒでの位相［ｒａｄ］であり、
前記βは、前記球面波の波面の曲がりの大きさを決める係数［ｒａｄ／ｍ ２ ］であって、
前記円環番号ｎに対応する前記円環状明線の幅ｗ ｎ と周期Ｐ ｎ とのデューティー比（ｗ ｎ ／Ｐ ｎ ）は、前記円環番号ｎに拘わらず所定の一定値である
ことを特徴とする撮像装置。 a phase modulation element formed from a plurality of concentric rings and modulating the phase of incident light;
an image sensor on which an optical image of a subject is projected through the phase modulation element;
an image processing unit that generates a developed image by performing predetermined development processing on the image signal input from the image sensor;
Equipped with
The plurality of rings forming the phase modulation element have different focal lengths when irradiating the optical image of the subject onto the image sensor,
The center position r n [m] of the ring with ring number n forming the phase modulation element is:
r n =√((2nπ−Φ)/β)
and
The ring number n is a number that is incremented by 1 toward the outer circumference from number 0 at the center of the phase modulation element,
The Φ is the phase [rad] at a distance r from the center of the toroidal bright line in a spherical wave that approximates a projected image consisting of a plurality of toric bright lines projected onto the image sensor by the phase modulation element. can be,
The β is a coefficient [rad/m 2 ] that determines the degree of curvature of the wavefront of the spherical wave, and
The duty ratio (w n /P n ) between the width w n and the period P n of the circular bright line corresponding to the circular ring number n is a predetermined constant value regardless of the circular ring number n. Characteristic imaging device.
前記位相変調素子を介して被写体の光学像が射影される画像センサと、
前記画像センサから入力される画像信号に対して所定の現像処理を行うことにより現像画像を生成する画像処理部と、
を備え、
前記位相変調素子を形成する前記複数の円環は、前記被写体の前記光学像を前記画像センサに照射する際の焦点距離がそれぞれ異なり、
前記位相変調素子を形成する円環番号ｎの前記円環の幅Ｌ ｎ ［ｍ］は、
Ｌ ｎ ＝（√（（２π（ｎ＋１）－Φ）／β）－√（（２π（ｎ―１）－Φ）／β））／２
であり、
前記円環番号ｎは、前記位相変調素子の中心を０番として外周側に向かって１ずつインクリメントされる円環番号であり、
前記Φは、前記位相変調素子により前記画像センサに射影される複数の円環状明線からなる射影像を近似する球面波における前記円環状明線の中心からの距離ｒでの位相［ｒａｄ］であり、
前記βは、前記球面波の波面の曲がりの大きさを決める係数［ｒａｄ／ｍ ２ ］であって、
前記円環番号ｎに対応する前記円環状明線の幅ｗ ｎ と周期Ｐ ｎ とのデューティー比（ｗ ｎ ／Ｐ ｎ ）は、前記円環番号ｎに拘わらず所定の一定値である
ことを特徴とする撮像装置。 a phase modulation element formed from a plurality of concentric rings and modulating the phase of incident light;
an image sensor on which an optical image of a subject is projected through the phase modulation element;
an image processing unit that generates a developed image by performing predetermined development processing on the image signal input from the image sensor;
Equipped with
The plurality of rings forming the phase modulation element have different focal lengths when irradiating the optical image of the subject onto the image sensor,
The width L n [m] of the ring with ring number n forming the phase modulation element is:
L n = (√((2π(n+1)-Φ)/β)-√((2π(n-1)-Φ)/β))/2
and
The ring number n is a ring number that is incremented by 1 toward the outer circumference from number 0 at the center of the phase modulation element,
The Φ is the phase [rad] at a distance r from the center of the toroidal bright line in a spherical wave that approximates a projected image consisting of a plurality of toric bright lines projected onto the image sensor by the phase modulation element. can be,
The β is a coefficient [rad/m 2 ] that determines the degree of curvature of the wavefront of the spherical wave, and
The duty ratio (w n /P n ) between the width w n and the period P n of the circular bright line corresponding to the circular ring number n is a predetermined constant value regardless of the circular ring number n. Characteristic imaging device.
前記位相変調素子を介して被写体の光学像が射影される画像センサと、
前記画像センサから入力される画像信号に対して所定の現像処理を行うことにより現像画像を生成する画像処理部と、
を備え、
前記位相変調素子を形成する前記複数の円環は、前記被写体の前記光学像を前記画像センサに照射する際の焦点距離がそれぞれ異なり、
前記位相変調素子を形成する前記複数の円環の切替わり半径である円環番号ｎの円環の中心位置ｒ ｎ ［ｍ］は、
ｒ ｎ ＝√（（２ｎπ＋π－Φ）／β）
であり、
前記円環番号ｎは、前記位相変調素子の中心を０番として外周側に向かって１ずつインクリメントされる円環番号であり、
前記Φは、前記位相変調素子により前記画像センサに射影される複数の円環状明線からなる射影像を近似する球面波における前記円環状明線の中心からの距離ｒでの位相［ｒａｄ］であり、
前記βは、前記球面波の波面の曲がりの大きさを決める係数［ｒａｄ／ｍ ２ ］であって、
前記円環番号ｎに対応する前記円環状明線の幅ｗ ｎ と周期Ｐ ｎ とのデューティー比（ｗ ｎ ／Ｐ ｎ ）は、前記円環番号ｎに拘わらず所定の一定値である
ことを特徴とする撮像装置。 a phase modulation element formed from a plurality of concentric rings and modulating the phase of incident light;
an image sensor on which an optical image of a subject is projected through the phase modulation element;
an image processing unit that generates a developed image by performing predetermined development processing on the image signal input from the image sensor;
Equipped with
The plurality of rings forming the phase modulation element have different focal lengths when irradiating the optical image of the subject onto the image sensor,
The center position r n [m] of the ring with ring number n, which is the switching radius of the plurality of rings forming the phase modulation element, is:
r n =√((2nπ+π−Φ)/β)
and
The ring number n is a ring number that is incremented by 1 toward the outer circumference from number 0 at the center of the phase modulation element,
The Φ is the phase [rad] at a distance r from the center of the toroidal bright line in a spherical wave that approximates a projected image consisting of a plurality of toric bright lines projected onto the image sensor by the phase modulation element. can be,
The β is a coefficient [rad/m 2 ] that determines the degree of curvature of the wavefront of the spherical wave, and
The duty ratio (w n /P n ) between the width w n and the period P n of the circular bright line corresponding to the circular ring number n is a predetermined constant value regardless of the circular ring number n. Characteristic imaging device.
前記位相変調素子を形成する前記複数の円環は、曲率半径がそれぞれ異なる
ことを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 4,
An imaging device, wherein the plurality of rings forming the phase modulation element have different radii of curvature.
前記位相変調素子は、円環同心円状の複数のシリンドリカルレンズから形成される
ことを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 4,
The imaging device is characterized in that the phase modulation element is formed from a plurality of ring-concentric cylindrical lenses.
前記位相変調素子を形成する前記円環の前記焦点距離は、前記位相変調素子の中心側ほど長い
ことを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 4,
The focal length of the ring forming the phase modulation element is longer toward the center of the phase modulation element. The imaging device.
前記画像処理部における前記現像処理の高調波次数を設定する現像高調波次数入力部、
を備え、
前記画像処理部は、前記画像センサから入力される前記画像信号に対し、設定された前記高調波次数に応じた高調波パターンを乗算する高調波パターン乗算部、を有する
ことを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 4,
a development harmonic order input unit for setting a harmonic order of the development process in the image processing unit;
Equipped with
The image processing unit includes a harmonic pattern multiplication unit that multiplies the image signal input from the image sensor by a harmonic pattern according to the set harmonic order. .
前記位相変調素子には、位相が異なる複数の同心円パターンが同一面上に配置されている
ことを特徴とする撮像装置。 The imaging device according to claim 8,
An imaging device characterized in that the phase modulation element has a plurality of concentric circular patterns having different phases arranged on the same plane.
前記画像処理部は、高調波パターン乗算部が前記画像センサから入力される前記画像信号に対して前記高調波パターンを乗算することによって得られるモアレ稿から、設定された前記高調波次数に応じたモアレ稿成分を抽出する
ことを特徴とする撮像装置。 The imaging device according to claim 8,
The image processing unit is configured to generate a moiré pattern according to the set harmonic order from a moiré draft obtained by the harmonic pattern multiplication unit multiplying the image signal input from the image sensor by the harmonic pattern. An imaging device characterized by extracting moiré draft components.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020030264A JP7350673B2 (en) | 2020-02-26 | 2020-02-26 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020030264A JP7350673B2 (en) | 2020-02-26 | 2020-02-26 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021135351A JP2021135351A (en) | 2021-09-13 |
| JP7350673B2 true JP7350673B2 (en) | 2023-09-26 |
Family
ID=77661084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020030264A Active JP7350673B2 (en) | 2020-02-26 | 2020-02-26 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7350673B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007122055A (en) | 2005-10-27 | 2007-05-17 | Samsung Electro-Mechanics Co Ltd | Optical system having multiple curvature lens and manufacturing method thereof |
| US20100028903A1 (en) | 2007-02-01 | 2010-02-04 | Silke Hofmann | Method and device for examining the attachment or detachment of living or dead cells or cell-like particles or other surface accumulations on surfaces by means of plasmon resonance and use of said method and said device |
| JP2018195870A (en) | 2017-05-12 | 2018-12-06 | 株式会社日立製作所 | Imaging apparatus |
-
2020
- 2020-02-26 JP JP2020030264A patent/JP7350673B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007122055A (en) | 2005-10-27 | 2007-05-17 | Samsung Electro-Mechanics Co Ltd | Optical system having multiple curvature lens and manufacturing method thereof |
| US20100028903A1 (en) | 2007-02-01 | 2010-02-04 | Silke Hofmann | Method and device for examining the attachment or detachment of living or dead cells or cell-like particles or other surface accumulations on surfaces by means of plasmon resonance and use of said method and said device |
| JP2018195870A (en) | 2017-05-12 | 2018-12-06 | 株式会社日立製作所 | Imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021135351A (en) | 2021-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6820908B2 (en) | Imaging device | |
| JP6491332B2 (en) | Imaging device | |
| JP6688716B2 (en) | Imaging device and imaging method | |
| JP6721698B2 (en) | Imaging device | |
| WO2018110120A1 (en) | Imaging device | |
| WO2018221019A1 (en) | Image processing device, imaging system, image processing method, and recording medium | |
| JPWO2018221025A1 (en) | Imaging device, image processing device, imaging system, image processing method, and recording medium | |
| US10488561B2 (en) | Imaging device | |
| US10863120B2 (en) | Imaging device, imaging module, and imaging method | |
| CN109900249B (en) | Distance measuring device and distance measuring method | |
| JP7350673B2 (en) | Imaging device | |
| JP6646619B2 (en) | Imaging device | |
| JPWO2019131382A1 (en) | Imaging device | |
| WO2020059181A1 (en) | Imaging device and imaging method | |
| JP6864604B2 (en) | Imaging device | |
| JP2023016864A (en) | Imaging apparatus and method | |
| JP6947891B2 (en) | Mobile information terminal | |
| JP2020065265A (en) | Imaging apparatus | |
| JP7159118B2 (en) | Imaging device | |
| CN110278350B (en) | Image pickup apparatus | |
| JP7137290B2 (en) | Imaging device | |
| JP2021064000A (en) | Imaging device | |
| Tian et al. | CFZA Camera: a high-resolution lensless imaging technique based on compound | |
| JP2019140681A (en) | Imaging apparatus and image generation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220404 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230913 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7350673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |