WO2019012662A1 - 画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置 Download PDF

Info

Publication number
WO2019012662A1
WO2019012662A1 PCT/JP2017/025595 JP2017025595W WO2019012662A1 WO 2019012662 A1 WO2019012662 A1 WO 2019012662A1 JP 2017025595 W JP2017025595 W JP 2017025595W WO 2019012662 A1 WO2019012662 A1 WO 2019012662A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
optical system
partial
area
Prior art date
Application number
PCT/JP2017/025595
Other languages
English (en)
French (fr)
Inventor
隼一 古賀
岡村　俊朗
有紀 徳橋
智史 渡部
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/025595 priority Critical patent/WO2019012662A1/ja
Publication of WO2019012662A1 publication Critical patent/WO2019012662A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, an image processing program, and a light field imaging apparatus.
  • a subject is provided with an imaging device in which a plurality of pixels are two-dimensionally arranged, and a microlens array having a microlens corresponding to each of a plurality of pixels of the imaging device on the subject side with respect to the imaging device
  • a light field imaging apparatus for imaging a three-dimensional distribution of see, for example, Patent Document 1.
  • an image acquired by a light field imaging apparatus (hereinafter referred to as a light field image) itself is different from an image acquired by a normal imaging apparatus, in which images of a large number of three-dimensionally distributed points are overlapped Therefore, basic information such as the planar position and distance of the subject can not be intuitively understood unless image processing is performed.
  • the object is reconstructed by generating a three-dimensional image from the acquired light field image and the pupil image function of the imaging optical system including the microlens.
  • the three-dimensional reconstruction processing of the object from the light field image is performed by optimizing it by repeatedly calculating it using an appropriately defined initial value by calculation such as Richardson-Lucy method.
  • the present invention has been made in view of the above-described circumstances, and provides an image processing apparatus, an image processing method, an image processing program, and a light field imaging apparatus capable of performing three-dimensional reconstruction processing in a short time.
  • the purpose is.
  • a reconstruction processing unit that reconstructs a three-dimensional image by repetitive computation based on a pupil image function and a light field image of an imaging optical system that has been input, and the reconstruction processing unit A three-dimensional region selecting unit for selecting a partial three-dimensional region in the three-dimensional image reconstructed by repetitive calculation based on the number of repetitions, the three-dimensional region selected by the three-dimensional region selecting unit, and the pupil And a partial region selection unit for selecting a partial region in the light field image corresponding to the three-dimensional region based on an image function, the reconstruction processing unit selecting the partial selected by the partial region selection unit.
  • the image processing apparatus is configured to reconstruct the three-dimensional image by repetitive calculation based on a region and the pupil image function and using a second number of repetitions that is larger than the first number of repetitions.
  • the reconstruction processing unit based on the input pupil image function of the imaging optical system and the light field image, the reconstruction processing unit repeatedly performs the calculation according to the first number of repetitions, thereby re-creating the three-dimensional image of the subject. Configured When a partial three-dimensional area in the reconstructed three-dimensional image is selected in the three-dimensional area selector, the partial area selector selects the light field image in the light field image based on the selected three-dimensional area and the pupil image function. The partial region of is selected, and the reconstruction processing unit repeatedly performs operations according to the second number of repetitions, thereby generating a three-dimensional image of the subject.
  • the time required for repeated calculations to generate the first three-dimensional image is shortened, and the final three-dimensional image is generated.
  • the light field image for generating the image is a partial two-dimensional area, it is possible to reduce the amount of calculation and to reduce the time required for the repetitive calculation. That is, according to this aspect, it is possible to perform three-dimensional reconstruction processing in a short time.
  • the partial area selecting section has a distribution of a pupil image at a position most distant from the focal position of the imaging optical system.
  • the partial area may be selected based on the size of the range.
  • the imaging optical system includes an objective optical system, and a microlens array having a plurality of microlenses two-dimensionally arrayed in a direction orthogonal to the optical axis of the objective optical system.
  • the partial area selection unit may select the partial area in units of pixels corresponding to the microlenses. By doing this, it is possible to easily select a partial two-dimensional area of the light field image that is appropriate for reconstructing a three-dimensional image.
  • the reconstruction processing unit reconstructs the three-dimensional image using the pupil image function of the entire imaging optical system
  • the partial region selecting unit includes at least a part of the imaging optics.
  • the partial image may be selected using the pupil image function of the system.
  • the pupil image function of the entire imaging optical system may be equivalent to the pupil image function of a part of the imaging optical system.
  • the pupil image of some imaging optical system It is possible to select an appropriate partial region using a function.
  • the imaging optical system includes an objective optical system, and a microlens array having a plurality of microlenses two-dimensionally arrayed in a direction orthogonal to the optical axis of the objective optical system.
  • the partial area selection unit may select the partial area using a pupil image function of the objective optical system.
  • the pupil image function of the entire imaging optical system may be equivalent to a part of the imaging optical system, for example, the pupil image function of the objective optical system, and in such a case, An appropriate partial region can also be selected using the pupil image function of the imaging optical system.
  • the image processing apparatus further includes a two-dimensional image calculation unit that calculates a two-dimensional image based on the three-dimensional exclusion region other than the three-dimensional region selected by the three-dimensional region selection unit and the pupil image function.
  • a two-dimensional image calculation unit that calculates a two-dimensional image based on the three-dimensional exclusion region other than the three-dimensional region selected by the three-dimensional region selection unit and the pupil image function.
  • the reconstruction processing unit subtracts the pixel value of the corresponding pixel of the two-dimensional image calculated by the two-dimensional image calculation unit from each pixel value of the partial region selected by the partial region selection unit
  • the three-dimensional image may be reconstructed based on the information and the pupil image function.
  • an objective optical system for condensing light from a subject and forming an image of the subject, a position of the primary image formed by the objective optical system, or the first aspect
  • a microlens array having a plurality of microlenses arranged two-dimensionally at positions conjugate to the next image and condensing the light from the objective optical system, and regions corresponding to the respective microlenses of the microlens array
  • An imaging device having a plurality of pixels disposed, the light collected by the microlens being received by the pixels and photoelectrically converted to generate the light field image, and the imaging device generating the light field image It is a light field imaging device provided with any of the above-mentioned image processing devices which process a light field picture.
  • region selection part with which the image processing apparatus of FIG. 2 is equipped. It is a figure which shows the distribution range of the pupil image in the position of z 0 of the three-dimensional area
  • region of FIG. It is a perspective view which shows the position of z 1 in an example of the three-dimensional area
  • FIG. 6 is a diagram showing the relationship between the selected partial region, the three-dimensional image to be reconstructed, and the range of the corresponding pupil image function in Equation (1). It is a flowchart explaining the image processing method by the image processing apparatus of FIG.
  • FIG. 6 is a diagram showing a relationship between a three-dimensional region not selected in equation (1), a range of a corresponding pupil image function, and a calculated light field image and a range corresponding to a selected partial region. It is a perspective view explaining the effect which subtracts the pixel value calculated by Formula of FIG. 9 from the pixel value of the corresponding pixel of the selected partial area. It is a figure explaining that the signal from the luminescent point which exists out of the selected three-dimensional area
  • the light field imaging apparatus 1 is an objective optical system (imaging optical system) which condenses light from a subject S (object point) to form an image of the subject S.
  • imaging optical system imaging optical system
  • micro lens array (imaging optical system) 5 having a plurality of micro lenses 5a for collecting light from the objective optical system 3 and light received by the plurality of micro lenses 5a for photoelectric conversion
  • An image sensor 9 having a plurality of pixels 9a, a signal processor 7 for processing a light intensity signal photoelectrically converted by the image sensor 9 to generate a light field image, and a process for processing the generated light field image
  • the image processing apparatus 11 according to the embodiment, and a storage unit 13 that stores pupil image functions of the objective optical system 3 and the microlens array 5 are provided.
  • the pupil image in the present embodiment is an image of a point spread in which a point light source is formed on the imaging surface of the imaging device 9 through the objective optical system 3 and the microlens array 5.
  • the microlens array 5 has a plurality of microlenses 5a having positive power arranged two-dimensionally at a focal position of the objective optical system 3 along a plane orthogonal to the optical axis. It is configured.
  • the plurality of microlenses 5 a are arranged at a sufficiently large pitch (for example, a pitch three times the pixel pitch of the imaging device 9 as shown in FIG. 4) as compared with the pixel pitch of the imaging device 9.
  • the imaging device 9 is also configured by two-dimensionally arranging the pixels 9 a in a direction orthogonal to the optical axis of the objective optical system 3.
  • a plurality of (for example, 3 ⁇ 3 in the above example) are arranged in each region corresponding to the plurality of microlenses 5 a of the microlens array 5.
  • the plurality of pixels 9 a photoelectrically convert the detected light and output a light intensity signal (pixel value) as light field image information of the subject S.
  • the number of pixels of the image sensor 9 in the area corresponding to the microlens 5a may be arbitrary.
  • the imaging device 9 is configured to sequentially output light field image information of a plurality of frames acquired at different times in the time axis direction. For example, movie shooting or time-lapse shooting.
  • the image processing apparatus 11 is configured by a processor, and as shown in FIG. 2, the subject S based on the pupil image function input from the storage unit 13 and the light field image input from the signal processing unit 7. Partial three-dimensional region R in the three-dimensional image reconstructed by the iterative processing according to the first number of repetitions in the reconstruction processing unit 21 that reconstructs the three-dimensional image of Partial region A in the light field image corresponding to the three-dimensional region R based on the three-dimensional region R selected by the three-dimensional region selector 23 and the three-dimensional region R selected by the A partial area selection unit 25 for selecting (see FIG. 1) and a control unit 27 for controlling these are provided.
  • the pupil image function [H] is a function satisfying the following equation (1).
  • [B] [H] [g] (1) here, [B] is a light field image, [G] is the intensity of light from each part of the three-dimensional object S.
  • the pupil image function [H] functions as a transformation matrix.
  • the pupil image functions of the objective optical system 3 and the microlens array 5 can be obtained in advance, and are stored in the storage unit 13.
  • the reconstruction processing unit 21 determines that the known error function is predetermined. It is designed to find [g] smaller than the threshold. As a method of obtaining [g] in which the error function becomes smaller than a predetermined threshold value, for example, an iterative operation such as the Richardson-Lucy method is performed. In the iterative calculation, the error function becomes smaller every time the number of repetitions increases, and it is possible to converge on a desired three-dimensional image, but when the number of repetitions increases, the amount of calculation becomes enormous and it takes time.
  • the three-dimensional region selection unit 23 includes a display unit (not shown), and the reconstruction processing unit 21 displays on the display unit a three-dimensional image generated by repetitive calculation of the first number of repetitions.
  • the three-dimensional region R of is selected.
  • the method of selecting the three-dimensional region R may be selected by the operator operating the input device (interface) such as a mouse, or may be specified by numerical input. Further, instead of the method of selecting by the operator, an area having a luminance change larger than a predetermined threshold may be automatically selected between the frames adjacent in the time axis direction.
  • the distribution range of the pupil image in the region corresponding to each microlens 5a is the range surrounded by the circle Q in FIG. 4, and the rectangle circumscribing this range is the selected three-dimensional shape.
  • the two-dimensional area A corresponds to the area R.
  • the distribution range of the pupil image in the region corresponding to the microlens 5a is FIG.
  • the rectangle circumscribing it solid line
  • the case of z 0 indicated by the dashed line.
  • partial area selection unit 25 maximizes distribution range Q of the pupil image at the position most distant from the focal position of objective optical system 3 in the selected three-dimensional area R, this optical axis
  • a rectangle including the distribution range Q of the pupil image at all positions of the three-dimensional region R is selected as the partial region A
  • a rectangle including the distribution range Q of the pupil image having a predetermined luminance or more may be employed.
  • control unit 27 determines that partial area A selected by partial area selection unit 25, the pupil image function stored in storage unit 13, and the number of repetitions are greater than the first number of repetitions.
  • the second repetition number is sent to the reconstruction processing unit 21 to reconstruct a three-dimensional image corresponding to the partial area A.
  • FIG. 7 shows specific components of equation (1), where I f is the pixel value of the light field image, PIF is the component of the pupil image function, and I o is the pixel value of the reconstructed three-dimensional image. It shows.
  • reference character T is the y direction in FIG. 1 and W is the x direction.
  • the symbol M is the y direction in FIG. 1
  • N is the x direction
  • L is the z direction.
  • a first reconstruction step S1 for reconstructing a rough three-dimensional image, and a partial three-dimensional region from within the reconstructed three-dimensional image Partial area selecting step S2 for selecting R, and partial area selecting step S3 for selecting partial area A in the light field image corresponding to the three-dimensional area R based on the selected three-dimensional area R and the pupil image function
  • the first reconstruction step S1 is repeated at a first number of repetitions (for example, once) using the pupil image function input from the storage unit 13 and the light field image input from the signal processing unit 7
  • the operation is adapted to reconstruct a rough three-dimensional image. Repetitive operation of reconstructing a three-dimensional image using light field image and pupil image function takes a lot of computation time and time, but in the case of reconstruction with a small number of repetitions where the error function does not become small enough Can be short.
  • the second reconstruction step S 4 many error functions become smaller than a predetermined threshold value based on the pupil image function input from the storage unit 13 and the partial area A selected in the partial area selection step S 3.
  • the calculation is repeated at the number of repetitions of. Since the range of the light field image used to perform the repetitive operation is limited to the partial region A, the amount of operation in the repetitive operation can be small even if the number of repetitions is large, and a high-resolution three-dimensional image Can be generated.
  • the light field image including a huge amount of information and the pupil image function are used as they are, and the calculation is repeated many times Select the necessary three-dimensional area R in a rough three-dimensional image generated in a short time by limiting the number of repetitions, and restrict to the partial area A corresponding to the selected three-dimensional area R.
  • the light field image described above it is possible to obtain a high resolution three-dimensional image in a short time by significantly reducing the amount of calculation by repeatedly performing calculation until the value converges.
  • the configuration in which the image processing method is realized by hardware has been described, but it may be realized by an image processing program which can be executed by a computer.
  • an example of acquiring a high-resolution three-dimensional image in a short time is illustrated by setting the number of repetitions of the calculation in the first reconstruction step S1 smaller than that in the second reconstruction step S4.
  • the resolution the number of pixels
  • the amount of computation can be reduced and speeded up. Good.
  • phase plate (not shown) is disposed between the objective optical system 3 and the microlens array 5, and the light field image and the pupil image function at the time of acquisition of the light field image are pupil-modulated by the phase plate.
  • the image quality of the acquired three-dimensional image may be improved.
  • the partial region selection unit 25 obtains the distribution range Q of the pupil image for each position (z position) in the direction along the optical axis, thereby the two corresponding to the selected three-dimensional region R.
  • a reference table is created in advance in which the z position is associated with the size of the distribution range Q of the pupil image, and the partial area selection unit 25 refers The partial area A may be selected with reference to the table.
  • the image processing apparatus 11 is selected from the three-dimensional exclusion area not selected by the three-dimensional area selection unit 23 and the pupil image function so as to be surrounded by a solid rectangle in FIG.
  • a two-dimensional image calculation unit (not shown) may be provided to obtain a two-dimensional light field image (two-dimensional image) corresponding to the three-dimensional exclusion area that was not present.
  • a two-dimensional light field image is calculated by the two-dimensional image calculation unit, and the corresponding pixel of the light field image obtained from the pixel value of each pixel 9a of the partial region A selected by the partial region selection unit 25
  • a new partial area A is calculated by subtracting the pixel value 9a (the pixel value in the range indicated by the dashed rectangle in FIG. 9), and the reconstruction processing unit is calculated using the calculated partial area A and the pupil image function.
  • a three-dimensional image may be generated by repeating calculation according to FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

短時間で３次元再構成処理を行うことを目的として、本発明に係る画像処理装置１１は、入力された撮像光学系の瞳像関数およびライトフィールド画像に基づいて、繰り返し演算により３次元画像を再構成する再構成処理部２１と、第１繰返回数による繰り返し演算により再構成された３次元画像内の部分的な３次元領域を選択する３次元領域選択部２３と、選択された３次元領域と瞳像関数とに基づいて３次元領域に対応するライトフィールド画像内の部分領域を選択する部分領域選択部２５とを備え、再構成処理部２１が、選択された部分領域と瞳像関数とに基づいて、第１繰返回数より多い第２繰返回数による繰り返し演算により３次元画像を再構成する。

Description

画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置
　本発明は、画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置に関するものである。
　従来、複数の画素が２次元的に配置された撮像素子と、撮像素子よりも被写体側において撮像素子の複数の画素ごとに対応して配置されたマイクロレンズを有するマイクロレンズアレイとを備え、被写体の３次元分布を撮像するライトフィールド撮像装置が知られている（例えば、特許文献１参照。）。
　一般に、ライトフィールド撮像装置により取得された画像（以下、ライトフィールド画像という。）そのものは通常の撮像装置により取得される画像とは異なり、３次元的に分布する多数の点の像が重なり合ったものであるため、画像処理を施さないと被写体の平面位置や距離などの基本的な情報が直感的には分からない。
　そこで、取得されたライトフィールド画像とマイクロレンズを含む撮像光学系の瞳像関数とから３次元画像を生成することにより被写体を再構成することが行われる。ライトフィールド画像からの被写体の３次元再構成処理は、リチャードソン・ルーシー法等の演算により、適当に定められた初期値を用いて繰り返し演算することにより最適化する手法が用いられる。
特開２０１０－１０２２３０号公報
　しかしながら、時系列に多数取得される全てのライトフィールド画像について３次元再構成処理を行うには膨大な処理時間がかかるという不都合がある。
　例えば、繰り返し演算の回数が１０回から２０回となる場合に、１回当たり１分程度の時間を要するとしても、１秒間に３０枚のフレームレートで３０秒間取得されたライトフィールド画像は９００枚となり、これら全てについて３次元再構成処理を行うには単純計算で６日以上の時間がかかることになる。
　本発明は上述した事情に鑑みてなされたものであって、短時間で３次元再構成処理を行うことができる画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置を提供することを目的としている。
　本発明の一態様は、入力された撮像光学系の瞳像関数およびライトフィールド画像に基づいて、繰り返し演算により３次元画像を再構成する再構成処理部と、該再構成処理部において、第１繰返回数による繰り返し演算により再構成された前記３次元画像内の部分的な３次元領域を選択する３次元領域選択部と、該３次元領域選択部により選択された前記３次元領域と前記瞳像関数とに基づいて前記３次元領域に対応する前記ライトフィールド画像内の部分領域を選択する部分領域選択部とを備え、前記再構成処理部が、前記部分領域選択部により選択された前記部分領域と前記瞳像関数とに基づいて、前記第１繰返回数より多い第２繰返回数による繰り返し演算により前記３次元画像を再構成する画像処理装置である。
　本態様によれば、入力された撮像光学系の瞳像関数およびライトフィールド画像に基づいて、再構成処理部において第１繰返回数による繰り返し演算が行われることにより、被写体の３次元画像が再構成される。再構成された３次元画像内の部分的な３次元領域が３次元領域選択部において選択されると、選択された３次元領域と瞳像関数とに基づいて部分領域選択部においてライトフィールド画像内の部分領域が選択され、再構成処理部において第２繰返回数による繰り返し演算が行われることにより、被写体の３次元画像が生成される。
　この場合に、第１繰返回数を第２繰返回数よりも十分に少なく設定することにより、最初の３次元画像を生成するための繰り返し演算に要する時間を短縮し、最終的な３次元画像を生成するためのライトフィールド画像を部分的な２次元領域を限定することで、計算量を少なくして繰り返し演算に要する時間を短縮することができる。すなわち、本態様によれば、短時間で３次元再構成処理を行うことができる。
　上記態様においては、前記部分領域選択部が、前記３次元領域選択部により選択された前記３次元領域のうち、前記撮像光学系の焦点位置から光軸方向に最も離れた位置の瞳像の分布範囲の大きさに基づいて前記部分領域を選択してもよい。
　このようにすることで、撮像光学系の焦点位置から光軸方向に離れるに従って瞳像の分布範囲が広がるので、３次元領域選択部により選択された３次元領域において撮像光学系の焦点位置から最も光軸方向に最も離れた位置の瞳像の分布範囲から、３次元画像を再構成するために用いるライトフィールド画像の部分的な２次元領域を簡易に選択することができる。
　また、上記態様においては、前記撮像光学系が、対物光学系と、該対物光学系の光軸に直交する方向に２次元的に配列された複数のマイクロレンズを有するマイクロレンズアレイとを備え、前記部分領域選択部が、前記マイクロレンズに対応する画素単位で前記部分領域を選択してもよい。
　このようにすることで、３次元画像を再構成するのに適正なライトフィールド画像の部分的な２次元領域を簡易に選択することができる。
　また、上記態様においては、前記再構成処理部が、前記撮像光学系全体の前記瞳像関数を用いて前記３次元画像を再構成し、前記部分領域選択部が、少なくとも一部の前記撮像光学系の前記瞳像関数を用いて前記部分領域を選択してもよい。
　このようにすることで、撮像光学系全体の瞳像関数は、撮像光学系の一部の瞳像関数と同等である場合があり、そのような場合には一部の撮像光学系の瞳像関数を用いても適正な部分領域を選択することができる。
　また、上記態様においては、前記撮像光学系が、対物光学系と、該対物光学系の光軸に直交する方向に２次元的に配列された複数のマイクロレンズを有するマイクロレンズアレイとを備え、前記部分領域選択部が、前記対物光学系の瞳像関数を用いて前記部分領域を選択してもよい。
　このようにすることで、撮像光学系全体の瞳像関数は、撮像光学系の一部、例えば、対物光学系の瞳像関数と同等である場合があり、そのような場合には一部の撮像光学系の瞳像関数を用いても適正な部分領域を選択することができる。
　また、上記態様においては、前記３次元領域選択部により選択された前記３次元領域以外の３次元除外領域と前記瞳像関数とに基づいて２次元画像を算出する２次元画像算出部を備え、前記再構成処理部が、前記部分領域選択部により選択された前記部分領域の各画素値から前記２次元画像算出部により算出された前記２次元画像の対応する画素の画素値を減算した２次元情報と前記瞳像関数とに基づいて前記３次元画像を再構成してもよい。
　このようにすることで、選択された３次元領域以外の３次元除外領域に輝点が存在する場合に、該輝点の信号が２次元領域にノイズとして含まれることになるので、これを減算することにより再構成される３次元画像内におけるアーチファクトを抑制することができる。
　また、本発明の他の態様は、入力された撮像光学系の瞳像関数およびライトフィールド画像に基づいて、第１繰返回数による繰り返し演算により３次元画像を再構成する第１再構成ステップと、該第１再構成ステップにより再構成された前記３次元画像内の部分的な３次元領域を選択する３次元領域選択ステップと、該３次元領域選択ステップにより選択された前記３次元領域と前記瞳像関数とに基づいて前記３次元領域に対応する前記ライトフィールド画像内の部分領域を選択する部分領域選択ステップと、該部分領域選択ステップにより選択された前記部分領域と前記瞳像関数とに基づいて、前記第１繰返回数より多い第２繰返回数による繰り返し演算により３次元画像を再構成する第２再構成ステップとを含む画像処理方法である。
　また、本発明の他の態様は、入力された撮像光学系の瞳像関数およびライトフィールド画像に基づいて、第１繰返回数による繰り返し演算により３次元画像を再構成する第１再構成ステップと、該第１再構成ステップにより再構成された前記３次元画像内の部分的な３次元領域を選択する３次元領域選択ステップと、該３次元領域選択ステップにより選択された前記３次元領域と前記瞳像関数とに基づいて前記３次元領域に対応する前記ライトフィールド画像内の部分領域を選択する部分領域選択ステップと、該部分領域選択ステップにより選択された前記部分領域と前記瞳像関数とに基づいて、前記第１繰返回数より多い第２繰返回数による繰り返し演算により３次元画像を再構成する第２再構成ステップとをコンピュータにより実行させるプログラムである。
　また、本発明の他の態様は、被写体からの光を集光し、前記被写体の像を結像する対物光学系と、該対物光学系により結像される前記１次像の位置または該１次像と共役な位置に２次元的に配列され前記対物光学系からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイと、該マイクロレンズアレイの各前記マイクロレンズに対応する領域ごとに配置された複数の画素を有し、前記マイクロレンズにより集光された光を前記画素により受光して光電変換することにより前記ライトフィールド画像を生成する撮像素子と、該撮像素子により生成された前記ライトフィールド画像を処理する上記いずれかの画像処理装置とを備えるライトフィールド撮像装置である。
　本発明によれば、短時間で３次元再構成処理を行うことができるという効果を奏する。
本発明の第１の実施形態に係るライトフィールド撮像装置を示す模式図である。 図１のライトフィールド撮像装置に備えられる画像処理装置を示すブロック図である。 図２の画像処理装置に備えられる３次元領域選択部により選択された３次元領域の一例においてｚ＝０の位置を示す斜視図である。 図３の３次元領域のｚ＝０の位置における瞳像の分布範囲を示す図である。 図２の画像処理装置に備えられる３次元領域選択部により選択された３次元領域の一例においてｚ＝１の位置を示す斜視図である。 図５の３次元領域のｚ＝１の位置における瞳像の分布範囲を示す図である。 式（１）において、選択された部分領域、再構成する３次元画像および対応する瞳像関数の範囲の関係を示す図である。 図１の画像処理装置による画像処理方法を説明するフローチャートである。 式（１）において、選択されなかった３次元領域、対応する瞳像関数の範囲および算出されるライトフィールド画像と選択された部分領域に対応する範囲との関係を示す図である。 図９の式により算出される画素値を選択された部分領域の対応する画素の画素値から減算する効果を説明する斜視図である。 図１０の選択された３次元領域外に存在する輝点からの信号が部分領域にノイズとして含まれることを説明する図である。
　本発明の第１の実施形態に係る画像処理装置１１およびライトフィールド撮像装置１について、図面を参照して以下に説明する。
　本実施形態に係るライトフィールド撮像装置１は、図１に示されるように、被写体Ｓ（物点）からの光を集光して被写体Ｓの像を結像する対物光学系（撮像光学系）３と、対物光学系３からの光を集光する複数のマイクロレンズ５ａを有するマイクロレンズアレイ（撮像光学系）５と、複数のマイクロレンズ５ａにより集光された光を受光して光電変換する複数の画素９ａを備える撮像素子９と、該撮像素子９により光電変換された光強度信号を処理してライトフィールド画像を生成する信号処理部７と、生成されたライトフィールド画像を処理する本実施形態に係る画像処理装置１１と、対物光学系３およびマイクロレンズアレイ５の瞳像関数を記憶している記憶部１３とを備えている。
　ここで、本実施形態における瞳像とは、点光源が対物光学系３およびマイクロレンズアレイ５を介して撮像素子９の撮像面上に結像される点拡がりの像とする。
　マイクロレンズアレイ５は、図１に示されるように、正のパワーを有する複数のマイクロレンズ５ａを対物光学系３の焦点位置に、光軸に直交する平面に沿って２次元的に配列して構成されている。これら複数のマイクロレンズ５ａは、撮像素子９の画素ピッチに比べて十分に大きいピッチ（例えば、図４に示されるように撮像素子９の画素ピッチの３倍のピッチ。）で配列されている。
　撮像素子９も各画素９ａを対物光学系３の光軸に直交する方向に２次元的に配列して構成されている。マイクロレンズアレイ５の複数のマイクロレンズ５ａに対応する領域ごとに複数個（例えば、上記例では３×３個）ずつ配列されている。これら複数の画素９ａは、検出した光を光電変換して、被写体Ｓのライトフィールド画像情報としての光強度信号（画素値）を出力するようになっている。マイクロレンズ５ａに対応する領域の撮像素子９の画素数は任意でよい。
　撮像素子９は、時間軸方向に異なる時刻に取得された複数フレームのライトフィールド画像情報を順次出力するようになっている。例えば、動画撮影あるいはタイムラプス撮影等である。
　画像処理装置１１は、プロセッサにより構成され、図２に示されるように、記憶部１３から入力されてきた瞳像関数と、信号処理部７から入力されてきたライトフィールド画像とに基づいて被写体Ｓの３次元画像を再構成する再構成処理部２１と、再構成処理部２１において第１繰返回数による繰り返し演算により再構成された３次元画像内の部分的な３次元領域Ｒ（図１参照。）を選択する３次元領域選択部２３と、３次元領域選択部２３により選択された３次元領域Ｒと瞳像関数とに基づいて３次元領域Ｒに対応するライトフィールド画像内の部分領域Ａ（図１参照。）を選択する部分領域選択部２５と、これらを制御する制御部２７とを備えている。
　瞳像関数［Ｈ］は、以下の式（１）を満たす関数である。
　［ｂ］＝［Ｈ］［ｇ］　　　　　　（１）
　ここで、
　［ｂ］はライトフィールド画像、
　［ｇ］は３次元の被写体Ｓの各部からの光の強度
である。
　すなわち、式（１）は、被写体Ｓからの光が撮像光学系を構成する対物光学系３およびマイクロレンズアレイ５を介してライトフィールド画像に変換されて撮像素子９の各画素９ａにより受光される関係を示し、瞳像関数［Ｈ］は変換行列として機能するようになっている。対物光学系３およびマイクロレンズアレイ５の瞳像関数は予め求めることができて、記憶部１３に記憶されている。
　再構成処理部２１は、制御部２７から式（１）のライトフィールド画像［ｂ］、瞳像関数［Ｈ］および繰り返し演算の繰返回数が入力されたときに、公知のエラー関数が所定の閾値より小さくなる［ｇ］を求めるようになっている。
　エラー関数が所定の閾値より小さくなる［ｇ］を求める方法として、例えば、リチャードソン・ルーシー法のような繰り返し演算が実施されるようになっている。
　繰り返し演算は、繰返回数が増える毎に、エラー関数が小さくなっていき、所望の３次元画像に収束させることができる反面、繰返回数が多くなると演算量が膨大となって時間がかかる。
　３次元領域選択部２３は、図示しない表示部を備え、再構成処理部２１によって、第１繰返回数の繰り返し演算により生成された３次元画像を表示部に表示して、操作者に、所望の３次元領域Ｒを選択させるようになっている。３次元領域Ｒの選択方法は、操作者が、マウス等の入力装置（インタフェース）を操作して選択してもよいし、数値入力により指定することにしてもよい。また、操作者により選択させる方法に代えて、時間軸方向に隣接するフレーム間で輝度変化が所定の閾値より大きな領域を自動的に選択することにしてもよい。
　部分領域選択部２５は、制御部２７から３次元領域および瞳像関数が入力されてきたときに、３次元領域Ｒに対応するライトフィールド画像上の２次元の部分領域Ａを自動的に選択するようになっている。
　具体的には図３に示されるように、再構成処理部２１により大まかに生成された３次元画像から３次元領域選択部２３において３次元領域Ｒが選択された場合について説明する。すなわち、ＸＹ方向に３×３＝９個のマイクロレンズ５ａに対応しかつＺ方向に３段階の２７個の３次元領域Ｒが選択され、Ｚ方向の中央の領域が対物光学系３の焦点位置に一致している（ｚ＝０）。
　ｚ＝０の場合には、各マイクロレンズ５ａに対応する領域における瞳像の分布範囲は、図４の円Ｑで囲まれた範囲であり、この範囲に外接する矩形が、選択された３次元領域Ｒに対応する２次元領域Ａとなる。
　一方、図５に示されるように、対物光学系３の光軸方向に焦点位置からずれた位置ｚ＝１の場合には、マイクロレンズ５ａに対応する領域における瞳像の分布範囲は図６の円Ｑで囲まれた範囲のようにｚ＝０の場合と比較して広がるので、これに外接する矩形（実線）も鎖線で示されるｚ＝０の場合よりも大きくなる。
　すなわち、部分領域選択部２５は、選択された３次元領域Ｒにおいて、対物光学系３の焦点位置から光軸方向に最も離れた位置における瞳像の分布範囲Ｑが最も大きくなるので、この光軸方向位置における分布範囲Ｑに外接する矩形を部分領域Ａとして自動的に選択することにより、３次元領域Ｒの全ての位置における瞳像の分布範囲Ｑを包含する矩形を部分領域Ａとして選択することができるようになっている。瞳像の分布範囲Ｑ全体を包含する矩形に代えて、所定の輝度以上の瞳像の分布範囲Ｑを包含する矩形を採用してもよい。
　部分領域Ａが選択された場合には、制御部２７は、部分領域選択部２５により選択された部分領域Ａと、記憶部１３に記憶されている瞳像関数と、第１繰返回数より多い第２繰返回数とを再構成処理部２１に送り、部分領域Ａに対応する３次元画像を再構成させるようになっている。
　図７は式（１）の具体的な成分を示しており、Ｉｆはライトフィールド画像の画素値、ＰＩＦは瞳像関数の成分、Ｉｏは再構成される３次元画像の画素値をそれぞれ示している。また、符号Ｔは図１におけるｙ方向、Ｗはｘ方向である。符号Ｍは図１におけるｙ方向、Ｎはｘ方向、Ｌはｚ方向である。
　すなわち、図７に示されるように、左辺のライトフィールド画像と右辺の瞳像関数とが入力され、右辺の３次元画像を繰り返し演算によって算出する場合に、繰り返し演算に用いるライトフィールド画像および瞳像関数を図７において矩形により囲まれた範囲に制限するようになっている。
　次に、本実施形態に係る画像処理方法について、図面を参照して以下に説明する。
　本実施形態に係る画像処理方法は、図８に示されるように、大まかな３次元画像を再構成する第１再構成ステップＳ１と、再構成された３次元画像内から部分的な３次元領域Ｒを選択する３次元領域選択ステップＳ２と、選択された３次元領域Ｒと瞳像関数とに基づいて３次元領域Ｒに対応するライトフィールド画像内の部分領域Ａを選択する部分領域選択ステップＳ３と、選択された部分領域Ａと瞳像関数とに基づいて、第１繰返回数より多い第２繰返回数による繰り返し演算によって３次元画像を再構成する第２再構成ステップＳ４とを含んでいる。
　第１再構成ステップＳ１は、記憶部１３から入力された瞳像関数と、信号処理部７から入力されてきたライトフィールド画像とを用いて、第１繰返回数（例えば、１回）による繰り返し演算によって大まかな３次元画像を再構成するようになっている。ライトフィールド画像と瞳像関数とを用いて３次元画像を再構成する繰り返し演算は演算量が多く時間がかかるが、エラー関数が十分に小さくならない少ない繰返回数での再構成においては、演算時間が短くて済む。
　また、第２再構成ステップＳ４は、記憶部１３から入力された瞳像関数と、部分領域選択ステップＳ３により選択された部分領域Ａとに基づいて、エラー関数が所定の閾値より小さくなるまで多くの繰返回数で繰り返し演算を行うようになっている。繰り返し演算を行うために用いるライトフィールド画像の範囲を部分領域Ａに制限しているので、繰返回数が多くても繰り返し演算における演算量は少なくて済み、短い演算時間で解像度の高い３次元画像を生成することができる。
　このように、本実施形態に係る画像処理装置１１、画像処理方法およびライトフィールド撮像装置１によれば、膨大な情報量を含むライトフィールド画像および瞳像関数をそのまま用いて多数回に及ぶ繰り返し演算を行うのではなく、繰返回数を制限して短時間で生成した大まかな３次元画像において必要な３次元領域Ｒを選択し、選択された３次元領域Ｒに対応する部分領域Ａに制限されたライトフィールド画像を用いて、値が収束するまで繰り返し演算を行うことにより、演算量を大幅に低減して短時間で高解像の３次元画像を取得することができるという利点がある。
　なお、本実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。
　また、本実施形態においては、第１再構成ステップＳ１における演算の繰返回数を第２再構成ステップＳ４より少なくすることで、短時間で高解像の３次元画像を取得するものを例示したが、これに代えて、第１再構成ステップＳ１において取得される３次元画像の解像度（画素数）を、第２再構成ステップＳ４より少なくすることで、演算量を低減し、高速化してもよい。
　また、対物光学系３とマイクロレンズアレイ５との間に位相板（図示略）を配置して、ライトフィールド画像および該ライトフィールド画像の取得時の瞳像関数を位相板によって瞳変調することにより、取得される３次元画像の画質を向上することにしてもよい。
　また、本実施形態においては、部分領域選択部２５が、光軸に沿う方向の位置（ｚ位置）毎に瞳像の分布範囲Ｑを求めることにより、選択された３次元領域Ｒに対応する２次元の部分領域Ａを選択することとしたが、これに代えて、事前にｚ位置と瞳像の分布範囲Ｑの大きさとを対応づけた参照テーブルを作っておき、部分領域選択部２５が参照テーブルを参照して部分領域Ａを選択することにしてもよい。
　また、本実施形態においては、画像処理装置１１が、図９に実線の矩形で囲まれるように、３次元領域選択部２３において選択されなかった３次元除外領域と瞳像関数とから、選択されなかった３次元除外領域に対応する２次元のライトフィールド画像（２次元画像）を求める２次元画像算出部（図示略）を備えていてもよい。これにより、２次元画像算出部により２次元のライトフィールド画像を算出し、部分領域選択部２５により選択された部分領域Ａの各画素９ａの画素値から、求められたライトフィールド画像の対応する画素９ａの画素値（図９に破線の矩形で示す範囲の画素値）を減算して新たな部分領域Ａを算出し、算出された部分領域Ａと瞳像関数とを用いて、再構成処理部２１によって繰り返し演算により３次元画像を生成することにしてもよい。
　このようにすることで、図１０に示されるように、選択された３次元領域Ｒ外に輝点Ｐが存在する場合に、その輝点Ｐからの信号が、図１１に示されるようにライトフィールド画像において斜線で示される範囲Ｔにノイズとして含まれていても、これを減算して、アーチファクトを抑えた３次元画像を再構成することができるという利点がある。
　１　ライトフィールド撮像装置
　３　対物光学系（撮像光学系）
　５　マイクロレンズアレイ（撮像光学系）
　５ａ　マイクロレンズ
　９　撮像素子
　９ａ　画素
　１１　画像処理装置
　２１　再構成処理部
　２３　３次元領域選択部
　２５　部分領域選択部
　Ｓ１　第１再構成ステップ
　Ｓ２　３次元領域選択ステップ
　Ｓ３　部分領域選択ステップ
　Ｓ４　第２再構成ステップ
　Ａ　部分領域
　Ｑ　分布範囲
　Ｒ　３次元領域
　Ｓ　被写体

Claims (9)

  1. 　入力された撮像光学系の瞳像関数およびライトフィールド画像に基づいて、繰り返し演算により３次元画像を再構成する再構成処理部と、
    　該再構成処理部において、第１繰返回数による繰り返し演算により再構成された前記３次元画像内の部分的な３次元領域を選択する３次元領域選択部と、
    　該３次元領域選択部により選択された前記３次元領域と前記瞳像関数とに基づいて前記３次元領域に対応する前記ライトフィールド画像内の部分領域を選択する部分領域選択部とを備え、
    　前記再構成処理部が、前記部分領域選択部により選択された前記部分領域と前記瞳像関数とに基づいて、前記第１繰返回数より多い第２繰返回数による繰り返し演算により前記３次元画像を再構成する画像処理装置。
  2. 　前記部分領域選択部が、前記３次元領域選択部により選択された前記３次元領域のうち、前記撮像光学系の焦点位置から光軸方向に最も離れた位置の瞳像の分布範囲の大きさに基づいて前記部分領域を選択する請求項１に記載の画像処理装置。
  3. 　前記撮像光学系が、対物光学系と、該対物光学系の光軸に直交する方向に２次元的に配列された複数のマイクロレンズを有するマイクロレンズアレイとを備え、
    　前記部分領域選択部が、前記マイクロレンズに対応する画素単位で前記部分領域を選択する請求項２に記載の画像処理装置。
  4. 　前記再構成処理部が、前記撮像光学系全体の前記瞳像関数を用いて前記３次元画像を再構成し、
    　前記部分領域選択部が、少なくとも一部の前記撮像光学系の前記瞳像関数を用いて前記部分領域を選択する請求項１に記載の画像処理装置。
  5. 　前記撮像光学系が、対物光学系と、該対物光学系の光軸に直交する方向に２次元的に配列された複数のマイクロレンズを有するマイクロレンズアレイとを備え、
    　前記部分領域選択部が、前記対物光学系の瞳像関数を用いて前記部分領域を選択する請求項４に記載の画像処理装置。
  6. 　前記３次元領域選択部により選択された前記３次元領域以外の３次元除外領域と前記瞳像関数とに基づいて２次元画像を算出する２次元画像算出部を備え、
    　前記再構成処理部が、前記部分領域選択部により選択された前記部分領域の各画素値から前記２次元画像算出部により算出された前記２次元画像の対応する画素の画素値を減算した２次元情報と前記瞳像関数とに基づいて前記３次元画像を再構成する請求項１から請求項５のいずれかに記載の画像処理装置。
  7. 　入力された撮像光学系の瞳像関数およびライトフィールド画像に基づいて、第１繰返回数による繰り返し演算により３次元画像を再構成する第１再構成ステップと、
    　該第１再構成ステップにより再構成された前記３次元画像内の部分的な３次元領域を選択する３次元領域選択ステップと、
    　該３次元領域選択ステップにより選択された前記３次元領域と前記瞳像関数とに基づいて前記３次元領域に対応する前記ライトフィールド画像内の部分領域を選択する部分領域選択ステップと、
    　該部分領域選択ステップにより選択された前記部分領域と前記瞳像関数とに基づいて、前記第１繰返回数より多い第２繰返回数による繰り返し演算により３次元画像を再構成する第２再構成ステップとを含む画像処理方法。
  8. 　入力された撮像光学系の瞳像関数およびライトフィールド画像に基づいて、第１繰返回数による繰り返し演算により３次元画像を再構成する第１再構成ステップと、
    　該第１再構成ステップにより再構成された前記３次元画像内の部分的な３次元領域を選択する３次元領域選択ステップと、
    　該３次元領域選択ステップにより選択された前記３次元領域と前記瞳像関数とに基づいて前記３次元領域に対応する前記ライトフィールド画像内の部分領域を選択する部分領域選択ステップと、
    　該部分領域選択ステップにより選択された前記部分領域と前記瞳像関数とに基づいて、前記第１繰返回数より多い第２繰返回数による繰り返し演算により３次元画像を再構成する第２再構成ステップとをコンピュータにより実行させるプログラム。
  9. 　被写体からの光を集光し、前記被写体の像を結像する対物光学系と、
    　該対物光学系により結像される１次像の位置または該１次像と共役な位置に２次元的に配列され前記対物光学系からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイと、
    　該マイクロレンズアレイの各前記マイクロレンズに対応する領域ごとに配置された複数の画素を有し、前記マイクロレンズにより集光された光を前記画素により受光して光電変換することにより前記ライトフィールド画像を生成する撮像素子と、
    　該撮像素子により生成された前記ライトフィールド画像を処理する請求項１から請求項６のいずれかに記載の画像処理装置とを備えるライトフィールド撮像装置。
    　
PCT/JP2017/025595 2017-07-13 2017-07-13 画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置 WO2019012662A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/025595 WO2019012662A1 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/025595 WO2019012662A1 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置

Publications (1)

Publication Number Publication Date
WO2019012662A1 true WO2019012662A1 (ja) 2019-01-17

Family

ID=65002344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/025595 WO2019012662A1 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置

Country Status (1)

Country Link
WO (1) WO2019012662A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2017511017A (ja) * 2014-01-10 2017-04-13 オステンド・テクノロジーズ・インコーポレーテッド フルパララックス圧縮ライトフィールド３ｄイメージングシステムのための方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2017511017A (ja) * 2014-01-10 2017-04-13 オステンド・テクノロジーズ・インコーポレーテッド フルパララックス圧縮ライトフィールド３ｄイメージングシステムのための方法

Similar Documents

Publication Publication Date Title
JP2008242658A (ja) 立体物体の撮像装置
JP4900723B2 (ja) 画像処理装置、画像処理プログラムおよび表示装置
JP5988790B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
KR101608970B1 (ko) 광 필드 데이터를 이용한 영상 처리 장치 및 방법
JP4437228B2 (ja) 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
JP2015064890A (ja) 画像処理装置および画像処理方法
RU2707066C1 (ru) Устройство обработки изображения, устройство создания изображения, их способы управления и программа
US8947585B2 (en) Image capturing apparatus, image processing method, and storage medium
US10410366B2 (en) Imaging system using structured light for depth recovery
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
CN106600687B (zh) 一种多方向火焰发射层析***
CN104181686A (zh) 基于fpm的光场显微方法
KR20110036757A (ko) 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
JP6655379B2 (ja) 焦点スタックから適応スライス画像を生成する方法および装置
JP6746359B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2012147088A (ja) 撮像装置
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
JP2015201722A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP2016111678A (ja) 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
JP6598473B2 (ja) 撮像装置および画像処理装置
WO2019012662A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびライトフィールド撮像装置
JP6114229B2 (ja) 画像生成装置及び画像生成プログラム
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
CN109923853B (zh) 图像处理装置、图像处理方法以及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17917788

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17917788

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP