JP6772380B2 - 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 - Google Patents
撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 Download PDFInfo
- Publication number
- JP6772380B2 JP6772380B2 JP2019522003A JP2019522003A JP6772380B2 JP 6772380 B2 JP6772380 B2 JP 6772380B2 JP 2019522003 A JP2019522003 A JP 2019522003A JP 2019522003 A JP2019522003 A JP 2019522003A JP 6772380 B2 JP6772380 B2 JP 6772380B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- fresnel zone
- zone plate
- pattern
- complex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 60
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 claims description 104
- 230000010363 phase shift Effects 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 24
- 238000013461 design Methods 0.000 description 15
- 238000002834 transmittance Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 101100391560 Oryza sativa subsp. japonica FZP gene Proteins 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036314 physical performance Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/18—Diffraction gratings
- G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/106—Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/02—Simple or compound lenses with non-spherical faces
- G02B3/08—Simple or compound lenses with non-spherical faces with discontinuous faces, e.g. Fresnel lens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Blocking Light For Cameras (AREA)
- Optical Elements Other Than Lenses (AREA)
Description
実数開口の場合、符号化開口(フレネルゾーンプレート)のパターンI(r)は、式(1)によって表現される(図17の「撮影時マスク」を参照)。
まず、本発明における複素数のフレネルゾーン開口(フレネルゾーンプレート)を用いた画像の復元(再構成)について説明する。この場合、符号化開口のパターン(フレネルゾーンパターン)I(r)は、式(8)の複素関数であるものとする。
本発明のように複素数のフレネルゾーン開口を用いた場合、原理的にノイズ項が発生せず、MTF100%を達成できる。ノイズ項が発生しないため像の重なりがなく、上述した特許文献1のように再構成画像の一部を切り出す必要がないため、広い画角で高画質な画像を取得することができる。また、実数開口の場合、差の周波数と和の周波数の成分が混ざらないようにβの値を調整する必要があるが、複素開口の場合には和の周波数の影響について考慮せずに自由に設計パラメータ(β、面積、画素数、マスク距離)を選ぶことができる。実数の場合には結像させるのが難しかったパラメータ設定においても結像させることができる。
フーリエ変換で画像復元が可能であるためには、平行移動した影パターン(投影像)と元のパターン(フレネルゾーンプレート)の間の差の空間周波数が画像上の任意の場所において一定値とならなければならない。(周波数が全画面内同一値であればフーリエ変換の基底関数と一致する。)それを満たすためにはマスクパターンの位相関数Φ(r)は、「位相→周波数」と「位置ずらし」の2回の微分の適用後に一定値となっている必要があるため、逆に2回積分することによって、式(14)のような2次関数となっていなくてはならないことが分かる。
本発明の第1の実施形態について以下に説明する。
図3は第1の実施形態に係る撮像システム10(撮像システム)の構成を示すブロック図である。撮像システム10は、撮像モジュール100(撮像装置)と撮像装置本体200(画像処理装置)とを備える。撮像システム10は、後述するように、実部の画像と虚部の画像とからなる複素画像を2次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムである。なお、撮像システム10はデジタルカメラ、スマートフォン、タブレット端末、監視カメラ等に適用することができる。
撮像モジュール100は、撮像部110,120を含む。撮像部110(第1の撮像部)は、フレネルゾーンプレート112(第1のフレネルゾーンプレート)及び撮像素子114(第1のイメージセンサ)を備え、被写体からの光がフレネルゾーンプレート112を透過して撮像素子114に入射した投影像(第1の投影像)を撮像素子114から取得する。フレネルゾーンプレート112は中心が撮像素子114の中心と一致し、かつ撮像素子114の受光面と平行な状態において撮像素子114の受光面側に配置される。撮像部110は光軸L1を有する。
図4の(a)部分は、フレネルゾーンプレート112,122の例であるFZP1を示す図である。FZP1では、入射する光の透過率が中心からの距離に応じて連続的に変化しており、白色に近い領域(透過領域)ほど光の透過率が高く、黒色に近い領域(遮光領域)ほど光の透過率が低い。全体としては透過領域と遮光領域とが交互に同心円状に配置されて上述した縞状のパターンを形成しており、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。同心円の間隔は、FZP1の中心から周辺に向かうにつれて狭くなる。このような同心円状のパターン(局所的な空間周波数の変化)は上述した式(8),(9)等により表され、これらの式における同心円の細かさを「ピッチ」と呼ぶ。ピッチは上述したβの値によって定まり、βが小さいと粗いパターンになり、βが大きいと細かいパターンになる。撮像モジュール100にメモリを設けてピッチの情報(βの値)を記憶しておき、画像処理部210(情報入力部210D:図7参照)がこの情報を取得して画像の再構成に使用してもよい。
フレネルゾーンプレート112は、例えば図5の(a)部分に示すパターン(中心での局所的な空間周波数の位相が0°)とすることができる。また、フレネルゾーンプレート122は、例えば図5の(b)部分に示すパターン(フレネルゾーンプレート112とピッチが同じであり、中心での局所的な空間周波数の位相が正の方向に90°ずれている)とすることができる。なお、複素開口は式(8),(9)により表され、実部、虚部はそれぞれcos(βr2)、sin(βr2)となるので、フレネルゾーンプレート112,122(実部の画像用、虚部の画像用)の位相ずれはπ/2,すなわち90°であることが最も好ましく、次いで90°にできるだけ近いことが好ましい。しかしながら、位相ずれが90°でなくでも、正または負に70°以上110°以下の範囲であれば鮮明な画像を再構成することができる。また、フレネルゾーンプレート112は中心での局所的な空間周波数の位相を0°としているが、フレネルゾーンプレート112,122の間の位相のずれが上述の条件を満たすのであれば、フレネルゾーンプレート112の中心での位相は0°に限定されない。なお、°は角度の単位を表す。
位相が異なるフレネルゾーンプレートの例を図6に示す。図6の1行目は、左から順に中心での位相がそれぞれ0°,10°,20°,30°,40°,50°のフレネルゾーンプレートのパターン(局所的な空間周波数のパターン)を示す。以下、2行目は、中心での位相がそれぞれ60°,70°,75°,80°,90°,100°のフレネルゾーンプレートのパターンを示す。3行目は、中心での位相がそれぞれ105°,110°,120°,130°,140°,150°のフレネルゾーンプレートのパターンを示す。4行目は、中心での位相がそれぞれ160°,170°,180°,190°,200°,210°のフレネルゾーンプレートのパターンを示す。5行目は、中心での位相がそれぞれ220°,230°,240°,250°,260°,270°のフレネルゾーンプレートのパターンを示す。6行目は中心での位相がそれぞれ280°,290°,300°,310°,320°,330°のフレネルゾーンプレートのパターンを示す。7行目は、中心での位相がそれぞれ340°,350°,360°のフレネルゾーンプレートのパターンを示す。なお、投影像に乗算するフレネルゾーンパターンについても、位相とパターンとの関係は図6の例と同じである。
撮像素子114,124は、2次元方向に(二次元状に)に配列された光電変換素子により構成される複数の画素を有するイメージセンサである。各画素にマイクロレンズを設けて集光効率を上げてもよい。また、各画素にカラーフィルタ(例えば赤色、青色、及び緑色)を配設してカラー画像を再構成できるようにしてもよい。
撮像装置本体200は画像処理部210と、記憶部220と、表示部230と、操作部240とを備え、撮像モジュール100が取得した投影像に基づく被写体の画像復元等を行う。
記憶部220はCD(Compact Disk)、DVD(Digital Versatile Disk)、ハードディスク(Hard Disk)、各種半導体メモリ等の非一時的記録媒体により構成され、図8に示す画像及び情報を互いに関連づけて記憶する。投影像220Aは、撮像モジュール100から取得した投影像(第1,第2の投影像)である。フレネルゾーンプレート情報220Bはフレネルゾーンプレート112,122の局所的な空間周波数の情報(βの値等のピッチ情報を含む)である。フレネルゾーンプレート情報220Bは撮像モジュール100から取得した情報でもよいし、操作部240を介して入力した情報でもよい。フレネルゾーンパターン情報220Cはフレネルゾーンパターンを示す情報であり、局所的な空間周波数の位相が異なる複数のフレネルゾーンパターンについて記録することが好ましい。複素画像220Dは、フレネルゾーンパターン情報220Cが示すフレネルゾーンパターンを投影像(第1,第2の投影像)に乗算して生成された、実部の画像と虚部の画像とからなる複素画像である。再構成画像220Eは、複素画像220Dを2次元複素フーリエ変換して得られた空間領域の画像である。
表示部230は図示せぬ液晶ディスプレイ等の表示装置を含んで構成され、投影像、複素画像、再構成画像等を表示するとともに、操作部240を介した指示入力時のUI(User Interface)用の画面表示にも用いられる。操作部240は図示せぬキーボード、マウス、ボタン等のデバイスにより構成され、ユーザはこれらデバイスにより投影像取得指示、画像再構成指示、合焦距離の条件、局所的な空間周波数の情報(ピッチ、位相)等を入力することができる。なお、表示部230の表示装置をタッチパネルにより構成し、画像表示の他に操作部240として用いてもよい。
上述した構成の撮像システム10による画像処理について説明する。図9は本実施形態に係る画像処理方法の手順を示すフローチャートである。
ステップS100では、画像処理部210(投影像入力部210A)が撮像モジュール100を制御して、撮像素子114,124から投影像を取得する。取得する投影像は、被写体からの光がフレネルゾーンプレート112,122に入射して撮像素子114,124に形成された投影像(第1,第2の投影像)であり、これらの投影像は画像処理部210(投影像入力部210A)の制御により同時に取得することができる。撮像素子114,124にカラーフィルタが配設されている場合、第1,第2の投影像の取得に際しては、通常のデジタルカメラにおけるカラー画像生成の際のデモザイク処理(同時化処理ともいう)と同様に、カラーフィルタの配列パターンに応じた補間処理が行われる。これにより各画素(受光素子)で不足した色の信号が生成され、全画素において各色(例えば赤色、青色、及び緑色)の信号が得られる。このような処理は、例えば画像処理部210(投影像入力部210A)により行うことができる。
ステップS110では、画像処理部210(情報入力部210D)が投影像取得に用いたフレネルゾーンプレート112,122の局所的な空間周波数の情報(フレネルゾーンプレート112,122のピッチ)を入力する。この情報は撮像モジュール100の図示せぬメモリから入力してもよいし、操作部240に対するユーザの操作に応じて入力してもよい。また、ステップS100で取得した投影像を情報入力部210Dが解析して入力してもよい。ピッチは上述した式(8),(9)等におけるβの値により定まるので、具体的にはβの値を入力すればよい。なお、既知の被写体(例えば、距離無限遠の点光源)を撮影した場合は、撮影画像を解析することによりピッチ(βの値)を取得することができる。また、ピッチ(βの値)を変えながら画像の再構成を繰り返し、鮮明な画像が得られる値を求めてもよい。
ステップS120では、画像処理部210(複素画像生成部210B)が第1の投影像に第1のフレネルゾーンパターンを乗算して実部の画像を生成し、第2の投影像に第2のフレネルゾーンパターンを乗算して虚部の画像を生成し、これにより実部の画像と虚部の画像とからなる複素画像を生成する。ステップS120で乗算されるフレネルゾーンパターンは、記憶部220に記憶されたパターン(フレネルゾーンパターン情報220C)のうちステップS110で入力したピッチ(βの値)に応じて選択したパターンを用いることができる。また、記憶部220に記憶されたパターンをピッチ(βの値)に応じて変化(必要に応じて拡大または縮小してよい)させたパターンを用いることもできる。画像処理部210(複素画像生成部210B)は、生成した複素画像を複素画像220Dとして記憶部220に記憶する。
フレネルゾーンプレート112,122の中心での局所的な空間周波数の位相が図5のようにそれぞれ0°,90°である場合、第1,第2のフレネルゾーンパターンの中心での局所的な空間周波数の位相は、それぞれ0°,−90°とすることができる。この場合、フレネルゾーンプレートの局所的な空間周波数の位相のずれは正の方向であり、フレネルゾーンパターンの局所的な空間周波数の位相のずれは、フレネルゾーンプレートとは逆方向の負の方向である。また、投影像に乗算されるフレネルゾーンパターンはフレネルゾーンプレートとの間で複素共役の関係(位相ずれの大きさが同じで、ずれの方向が逆方向)が成り立つ。すなわち、式(11)について上述したように、第1,第2のフレネルゾーンパターン(内部乗算フレネルゾーンパターン)は、フレネルゾーンプレート112,122に対して複素共役となっている。これにより、虚部の符号を反転させて投影像との差の周波数を取り出すことができる。
被写体(光源)が無限遠方に存在する場合は、フレネルゾーンプレート112,122には平行光が入射し、撮像素子114,124に形成される投影像はフレネルゾーンプレート112,122と同じ大きさになるが、被写体が有限距離に存在する場合は広がりを持った光が入射し、距離が近いほど投影像が大きくなる。したがって、合焦させる被写体距離に応じて拡大率が異なるパターンを第1,第2のフレネルゾーンパターンとして使用することにより、所望の距離に合焦した画像を得ることができる。例えば、被写体距離に応じた複数のパターンをフレネルゾーンパターン情報220Cとして記憶部220に記憶しておき、これを読み出して使用することができる。また、1つのフレネルゾーンパターンを基準パターンとして記憶しておき、被写体距離に応じて異なる拡大率で拡大してもよい。この場合、距離無限大に対応しフレネルゾーンプレートと同じ大きさになるパターンを基準とすることができる。図10は、被写体距離に応じてフレネルゾーンパターンの拡大率が異なる様子を示す図である。
ステップS130では、画像処理部210(フーリエ変換部210C)が、上述した式(13)のように複素画像を2次元複素フーリエ変換して被写体の画像(空間領域の画像)を再構成する。画像処理部210(表示制御部210E)は、再構成した画像を表示部230に表示する(ステップS140)。また、画像処理部210(フーリエ変換部210C)は、再構成した画像を再構成画像220Eとして記憶部220に記憶する。
第1の実施形態による画像の再構成結果を従来技術と比較して示す。図11の(a)部分は、従来技術のように、実数開口(実数のフレネルゾーンプレート)で取得した投影像に実数のフレネルゾーンパターンを乗算した結果を再構成した画像である。一方、図11の(b)部分は、本発明の手法により複素開口(複素数のフレネルゾーンプレート)を用いて取得した投影像に複素数のフレネルゾーンパターンを乗算して複素画像を生成し、この複素画像を2次元複素フーリエ変換して再構成した画像である。なお、(b)部分の画像の再構成に際しては、投影像取得のためのフレネルゾーンプレートの位相を0°(実部),90°(虚部)とし、投影像に乗算するフレネルゾーンパターンの位相を0°(実部),−90°(虚部)としている(上述した複素共役の関係が成り立っている)。
図12は、第2の実施形態に係る撮像システム20の構成を示すブロック図である。撮像システム20(撮像システム)は撮像モジュール102(撮像装置)及び撮像装置本体200(画像処理装置)により構成される。撮像装置本体200の構成は第1の実施形態と同様であるので、同一の参照符号を付し詳細な説明を省略する。
図14は、第3の実施形態に係る撮像システム30の構成を示すブロック図である。撮像システム30(撮像システム)は撮像モジュール103(撮像装置)及び撮像装置本体200(画像処理装置)により構成される。撮像装置本体200の構成は第1,第2の実施形態と同様であるので、同一の参照符号を付し詳細な説明を省略する。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
20 撮像システム
30 撮像システム
100 撮像モジュール
102 撮像モジュール
103 撮像モジュール
110 撮像部
112 フレネルゾーンプレート
114 撮像素子
120 撮像部
122 フレネルゾーンプレート
124 撮像素子
131 撮像部
132 フレネルゾーンプレート
134 フレネルゾーンプレート
136 撮像素子
200 撮像装置本体
210 画像処理部
210A 投影像入力部
210B 複素画像生成部
210C フーリエ変換部
210D 情報入力部
210E 表示制御部
210F ROM
220 記憶部
220A 投影像
220B フレネルゾーンプレート情報
220C フレネルゾーンパターン情報
220D 複素画像
220E 再構成画像
230 表示部
240 操作部
F フレネルゾーンプレート
L1 光軸
L2 光軸
L3 光軸
L4 光軸
M1 ハーフミラー
SD 影
S100〜S140 画像処理方法の各ステップ
d 距離Φ
位相関数θ 入射角
Claims (16)
- 実部の画像と虚部の画像とからなる複素画像を2次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムに使用される撮像装置であって、
被写体からの光を入射する第1のフレネルゾーンプレートと、前記第1のフレネルゾーンプレートを透過した第1の投影像が入射する第1のイメージセンサとを有し、前記第1のイメージセンサから前記第1の投影像を取得する第1の撮像部と、
前記被写体からの光を入射する第2のフレネルゾーンプレートであって、前記第1のフレネルゾーンプレートとは各領域における局所的な空間周波数の位相が異なる第2のフレネルゾーンプレートと、前記第2のフレネルゾーンプレートを透過した第2の投影像が入射する第2のイメージセンサとを有し、前記第2のイメージセンサから前記第2の投影像を取得する第2の撮像部と、
前記被写体から入射する光を分岐させる分岐光学部材と、を備え、
前記第1の撮像部により取得された前記第1の投影像及び前記第2の撮像部により取得された前記第2の投影像は、前記複素画像を生成するためのものであり、
前記第1のフレネルゾーンプレートと前記第2のフレネルゾーンプレートとは、それぞれ前記分岐光学部材により分岐された前記被写体からの光を入射する、
撮像装置。 - 前記第1のフレネルゾーンプレートと前記第2のフレネルゾーンプレートとは、70°以上110°以下の範囲内において正または負の方向に前記局所的な空間周波数の位相がずれている請求項1に記載の撮像装置。
- 前記第1のフレネルゾーンプレートと前記第2のフレネルゾーンプレートとは、同一平面上に並べて配置される、
請求項1または2に記載の撮像装置。 - 実部の画像と虚部の画像とからなる複素画像を2次元複素フーリエ変換することにより空間領域の画像を再構成する撮像システムに使用される撮像装置であって、
被写体からの光を入射する第1のフレネルゾーンプレートと、前記第1のフレネルゾーンプレートを透過した第1の投影像が入射する第1のイメージセンサとを有し、前記第1のイメージセンサから前記第1の投影像を取得する第1の撮像部と、
前記被写体からの光を入射する第2のフレネルゾーンプレートであって、前記第1のフレネルゾーンプレートとは各領域における局所的な空間周波数の位相が異なる第2のフレネルゾーンプレートと、前記第2のフレネルゾーンプレートを透過した第2の投影像が入射する第2のイメージセンサとを有し、前記第2のイメージセンサから前記第2の投影像を取得する第2の撮像部と、を備え、
前記第1の撮像部により取得された前記第1の投影像及び前記第2の撮像部により取得された前記第2の投影像は、前記複素画像を生成するためのものであり、
前記第1のフレネルゾーンプレートと前記第2のフレネルゾーンプレートとは重ね合わされ、かつ前記第1のフレネルゾーンプレートは第1の波長帯域の光を透過させ、前記第2のフレネルゾーンプレートは前記第1の波長帯域とは異なる第2の波長帯域の光を透過させ、
前記第1のイメージセンサと前記第2のイメージセンサとは、前記第1の波長帯域の第1の投影像のみを受光する第1の受光素子群と前記第2の波長帯域の第2の投影像のみを受光する第2の受光素子群とが離散的に配置された共通のイメージセンサであり、
前記第1の撮像部及び前記第2の撮像部は、前記共通のイメージセンサから前記第1の投影像と前記第2の投影像とを分離して取得する、
撮像装置。 - 前記第1のフレネルゾーンプレートと前記第2のフレネルゾーンプレートとは、70°以上110°以下の範囲内において正または負の方向に前記局所的な空間周波数の位相がずれている請求項4に記載の撮像装置。
- 前記第1のフレネルゾーンプレートと前記第2のフレネルゾーンプレートとは、同一平面上に並べて配置される、
請求項4または5に記載の撮像装置。 - 請求項1から6のいずれか1項に記載の撮像装置が取得した前記第1の投影像及び前記第2の投影像を入力する投影像入力部と、
前記入力した前記第1の投影像及び前記第2の投影像と予め設定されたフレネルゾーンパターンとを乗算し、前記複素画像を生成する複素画像生成部と、
前記生成された前記複素画像を2次元複素フーリエ変換し、空間領域の画像を再構成するフーリエ変換部と、
を備えた画像処理装置。 - 前記複素画像生成部は、合焦させる被写体距離に応じて拡大率の異なる前記フレネルゾーンパターンを使用して前記複素画像を生成する請求項7に記載の画像処理装置。
- 前記フレネルゾーンパターンは、第1のフレネルゾーンパターン及び第2のフレネルゾーンパターンであって、前記第1のフレネルゾーンプレートと前記第2のフレネルゾーンプレートとの前記局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第1のフレネルゾーンパターン及び第2のフレネルゾーンパターンからなり、
前記複素画像生成部は、前記入力した前記第1の投影像及び前記第2の投影像と前記第1のフレネルゾーンパターン及び前記第2のフレネルゾーンパターンとを乗算し、前記複素画像を生成する請求項7または8に記載の画像処理装置。 - 前記第1のフレネルゾーンパターンと第2のフレネルゾーンパターンとは、70°以上110°以下の範囲内において負または正の方向に前記局所的な空間周波数の位相がずれている請求項9に記載の画像処理装置。
- 前記第1のフレネルゾーンパターン及び第2のフレネルゾーンパターンと前記第1のフレネルゾーンプレート及び第2のフレネルゾーンプレートとの間において複素共役の関係が成り立つ請求項9または10に記載の画像処理装置。
- 請求項1から6のいずれか1項に記載の撮像装置と、
請求項7から11のいずれか1項に記載の画像処理装置と、
を備えた撮像システム。 - 請求項1から6のいずれか1項に記載の撮像装置が取得した前記第1の投影像及び前記第2の投影像を入力するステップと、
前記入力した前記第1の投影像及び前記第2の投影像と予め設定されたフレネルゾーンパターンとを乗算し、前記複素画像を生成するステップと、
前記生成された前記複素画像を2次元複素フーリエ変換し、空間領域の画像を再構成するステップと、
を含む画像処理方法。 - 前記フレネルゾーンパターンは、第1のフレネルゾーンパターン及び第2のフレネルゾーンパターンであって、前記第1のフレネルゾーンプレートと前記第2のフレネルゾーンプレートとの前記局所的な空間周波数の位相ずれとは逆方向に各領域における局所的な空間周波数の位相がずれた第1のフレネルゾーンパターン及び第2のフレネルゾーンパターンからなり、
前記複素画像を生成するステップは、前記入力した前記第1の投影像及び前記第2の投影像と前記第1のフレネルゾーンパターン及び前記第2のフレネルゾーンパターンとを乗算し、前記複素画像を生成する、
請求項13に記載の画像処理方法。 - 請求項1から6のいずれか1項に記載の撮像装置が取得した前記第1の投影像及び前記第2の投影像を入力する機能と、
前記入力した前記第1の投影像及び前記第2の投影像と予め設定されたフレネルゾーンパターンとを乗算し、前記複素画像を生成する機能と、
前記生成された前記複素画像を2次元複素フーリエ変換し、空間領域の画像を再構成する機能と、
をコンピュータに実現させる画像処理プログラムのコンピュータ読み取り可能なコードが記録された記録媒体。 - 前記フレネルゾーンパターンは、第1のフレネルゾーンパターン及び第2のフレネルゾーンパターンであって、前記第1のフレネルゾーンプレートと前記第2のフレネルゾーンプレートとの前記局所的な空間周波数の位相ずれとは逆方向に前記局所的な空間周波数の位相がずれた第1のフレネルゾーンパターン及び第2のフレネルゾーンパターンからなり、
前記複素画像を生成する機能は、前記入力した前記第1の投影像及び前記第2の投影像と前記第1のフレネルゾーンパターン及び前記第2のフレネルゾーンパターンとを乗算し、前記複素画像を生成する、
請求項15に記載の記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020165430A JP6970800B2 (ja) | 2017-06-01 | 2020-09-30 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017109268 | 2017-06-01 | ||
JP2017109268 | 2017-06-01 | ||
PCT/JP2018/015229 WO2018221025A1 (ja) | 2017-06-01 | 2018-04-11 | 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020165430A Division JP6970800B2 (ja) | 2017-06-01 | 2020-09-30 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018221025A1 JPWO2018221025A1 (ja) | 2020-03-19 |
JP6772380B2 true JP6772380B2 (ja) | 2020-10-21 |
Family
ID=64454704
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019522003A Active JP6772380B2 (ja) | 2017-06-01 | 2018-04-11 | 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体 |
JP2020165430A Active JP6970800B2 (ja) | 2017-06-01 | 2020-09-30 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020165430A Active JP6970800B2 (ja) | 2017-06-01 | 2020-09-30 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10911668B2 (ja) |
EP (1) | EP3633968A4 (ja) |
JP (2) | JP6772380B2 (ja) |
CN (1) | CN110692233B (ja) |
WO (1) | WO2018221025A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110140348B (zh) * | 2016-12-27 | 2020-12-25 | 富士胶片株式会社 | 摄像装置及摄像模块 |
US11663708B2 (en) * | 2018-03-06 | 2023-05-30 | Sony Corporation | Image processing apparatus, imaging apparatus, and image processing method |
CN111869195B (zh) * | 2018-03-14 | 2022-07-08 | 索尼公司 | 图像处理装置、成像装置及图像处理方法 |
JP7065761B2 (ja) * | 2018-12-26 | 2022-05-12 | 株式会社日立製作所 | 距離計測装置および距離計測方法 |
CN109474818B (zh) * | 2019-01-03 | 2024-05-10 | Oppo广东移动通信有限公司 | 一种图像传感器以及成像模组 |
WO2021024452A1 (ja) * | 2019-08-08 | 2021-02-11 | マクセル株式会社 | 撮像装置および方法 |
US20220004148A1 (en) * | 2020-07-06 | 2022-01-06 | Grimaldi, Inc. | Apparatus and method of reproduction of a diffractive pattern |
WO2022163642A1 (ja) | 2021-01-26 | 2022-08-04 | 日本精工株式会社 | プレス成形品、転がり軸受、車両、機械、プレス成形品の製造方法、転がり軸受の製造方法、車両の製造方法及び機械の製造方法 |
WO2022163306A1 (ja) * | 2021-01-28 | 2022-08-04 | ソニーグループ株式会社 | 撮像装置、および撮像方法 |
JP7288945B2 (ja) * | 2021-11-03 | 2023-06-08 | 克貴 美木 | 保安管理システム、保安管理方法及び符号化撮像装置 |
WO2023171358A1 (ja) * | 2022-03-07 | 2023-09-14 | ソニーグループ株式会社 | マスクユニット、並びに撮像装置および撮像装置の作動方法 |
WO2023237329A1 (en) * | 2022-06-10 | 2023-12-14 | Ams International Ag | Multispectral image sensor, camera system and method of manufacturing a multispectral image sensor |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1160901A (zh) * | 1995-04-14 | 1997-10-01 | 三星航空产业株式会社 | 具有可拆装液晶板的投影仪 |
CN1735831A (zh) * | 2001-11-06 | 2006-02-15 | 基约蒂公司 | 用于图像投影的装置 |
JP2005099474A (ja) * | 2003-09-25 | 2005-04-14 | Asahi Glass Co Ltd | 反射防止性基材およびそれを用いた物品 |
US20060181770A1 (en) * | 2005-02-15 | 2006-08-17 | K Laser Technology, Inc. | Rear projection screen with spatial varying diffusing angle |
US20070273983A1 (en) * | 2006-05-26 | 2007-11-29 | Hebert Raymond T | Devices, methods, and systems for image viewing |
JP4077869B2 (ja) * | 2006-05-29 | 2008-04-23 | 松下電器産業株式会社 | 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法 |
WO2008094141A1 (en) * | 2007-01-29 | 2008-08-07 | Celloptic, Inc. | System, apparatus and method for extracting image cross-sections of an object from received electromagnetic radiation |
US8203788B2 (en) * | 2007-09-17 | 2012-06-19 | Danmarks Tekinske Universitet | Electromagnetic beam converter |
TW200943136A (en) * | 2008-04-03 | 2009-10-16 | Pixart Imaging Inc | Optical pointing device |
WO2011070708A1 (ja) * | 2009-12-08 | 2011-06-16 | パナソニック株式会社 | 画像処理装置 |
FR2974189B1 (fr) * | 2011-04-14 | 2013-12-20 | Onera (Off Nat Aerospatiale) | Systeme d'imagerie comprenant une lentille de fresnel |
CN102589695B (zh) * | 2012-02-27 | 2014-02-26 | 苏州大学 | 一种光谱成像方法及其*** |
US9746593B2 (en) * | 2013-08-28 | 2017-08-29 | Rambus Inc. | Patchwork Fresnel zone plates for lensless imaging |
CN105993166B (zh) * | 2013-10-20 | 2019-06-14 | Mtt创新公司 | 光场投影装置及方法 |
US10423002B2 (en) | 2015-06-17 | 2019-09-24 | Maxell, Ltd. | Imaging apparatus capable of generating an image using moire without a lens |
US10649118B2 (en) | 2016-09-26 | 2020-05-12 | Hitachi, Ltd. | Imaging device |
EP3633973B1 (en) * | 2017-06-01 | 2020-11-11 | FUJIFILM Corporation | Image processing device, imaging system, image processing method, and recording medium |
-
2018
- 2018-04-11 EP EP18809268.8A patent/EP3633968A4/en active Pending
- 2018-04-11 WO PCT/JP2018/015229 patent/WO2018221025A1/ja active Application Filing
- 2018-04-11 JP JP2019522003A patent/JP6772380B2/ja active Active
- 2018-04-11 CN CN201880035481.6A patent/CN110692233B/zh active Active
-
2019
- 2019-11-12 US US16/680,521 patent/US10911668B2/en active Active
-
2020
- 2020-09-30 JP JP2020165430A patent/JP6970800B2/ja active Active
- 2020-12-15 US US17/121,772 patent/US11290642B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018221025A1 (ja) | 2018-12-06 |
EP3633968A1 (en) | 2020-04-08 |
US20200084376A1 (en) | 2020-03-12 |
EP3633968A4 (en) | 2020-06-03 |
CN110692233A (zh) | 2020-01-14 |
US11290642B2 (en) | 2022-03-29 |
JP2021010178A (ja) | 2021-01-28 |
CN110692233B (zh) | 2021-04-23 |
JP6970800B2 (ja) | 2021-11-24 |
US10911668B2 (en) | 2021-02-02 |
US20210144298A1 (en) | 2021-05-13 |
JPWO2018221025A1 (ja) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6970800B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6773903B2 (ja) | 画像処理装置、撮像システム、画像処理方法、及び記録媒体 | |
JP6713549B2 (ja) | 撮像装置及び撮像モジュール | |
Liang et al. | A light transport framework for lenslet light field cameras | |
JPWO2017145348A1 (ja) | 撮像装置 | |
JPWO2018055831A1 (ja) | 撮像装置 | |
JP7373015B2 (ja) | 撮像方法 | |
JP6934072B2 (ja) | 撮像装置 | |
JP6646619B2 (ja) | 撮像装置 | |
JP2023016864A (ja) | 撮像装置および方法 | |
JP6947891B2 (ja) | 携帯情報端末 | |
JP2020048031A (ja) | 撮像装置および撮像方法 | |
JP6770164B2 (ja) | 撮像装置 | |
WO2019131191A1 (ja) | ワイドコンバージョンレンズ及び撮像装置 | |
Mo et al. | Lensless light-field imaging with flexible perspective selection | |
JP2022003801A (ja) | 撮像装置 | |
JP2021064000A (ja) | 撮像装置 | |
Dominguez et al. | An Approach to Explain the Human Hyper-acuity: Applied to THz Imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200930 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6772380 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |