WO2014050699A1 - 画像処理装置及び方法並びに撮像装置 - Google Patents
画像処理装置及び方法並びに撮像装置 Download PDFInfo
- Publication number
- WO2014050699A1 WO2014050699A1 PCT/JP2013/075307 JP2013075307W WO2014050699A1 WO 2014050699 A1 WO2014050699 A1 WO 2014050699A1 JP 2013075307 W JP2013075307 W JP 2013075307W WO 2014050699 A1 WO2014050699 A1 WO 2014050699A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- aperture pattern
- encoded
- lens
- encoded aperture
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title description 36
- 210000001747 pupil Anatomy 0.000 claims abstract description 91
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 40
- 230000006870 function Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000002834 transmittance Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B15/00—Optical objectives with means for varying the magnification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
- G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Definitions
- the present invention relates to an image processing apparatus and method, and an imaging apparatus, and more particularly to a technique for acquiring an image equivalent to an image captured by inserting a coded aperture at a lens pupil position.
- an image is acquired with a plurality of PSFs (Point Spread Functions) and processing such as blur correction and subject distance estimation is performed from the acquired image.
- PSFs Point Spread Functions
- an encoded aperture encoded pupil
- photographing using such an encoded aperture is performed.
- encoded aperture photography a technique is known in which a lens incorporating a coded aperture having a different pattern is changed to change the PSF and a plurality of images are acquired with a single imaging device.
- Patent Document 1 describes an imaging apparatus having an aperture array that has a circular outer shape, has an aperture that is divided into concentric sectors, and that can set an encoding aperture of an arbitrary pattern (combination). .
- Patent Document 2 uses a different coded aperture array for each frame, and obtains individual decoding patterns corresponding to the coded aperture arrays used to obtain the frame for a large number of frames. And a method for providing an image having a high resolution is described.
- Patent Documents 1 and 2 both take a picture by inserting a coded aperture array in the optical path of the photographing optical system. For this reason, in order to acquire a plurality of images using different encoded aperture arrays, it has been necessary to switch to different encoded aperture arrays and perform imaging a plurality of times. In this case, there is a problem that only a stationary object can be photographed because of a shift in the photographing timing of a plurality of times. In addition, there is a problem that the device for switching the coded aperture array has a large and complicated configuration, which increases the cost.
- the present invention has been made in view of such circumstances, and can virtually acquire an image equivalent to an image captured by inserting an encoded aperture into a lens pupil position.
- An image processing apparatus that can be easily selected and exchanged, can apply a plurality of coded apertures only by one shooting, and can use a sophisticated coded aperture shooting method even in moving subjects and moving images. It is an object to provide a method and an imaging apparatus.
- an image processing apparatus includes a main lens, an image sensor including a plurality of pixels including two-dimensionally arranged photoelectric conversion elements, and an image sensor.
- a lens array disposed on the incident surface side, wherein each lens of the lens array forms a pupil image of the main lens on the light receiving surface of the image sensor by the number of lenses of the lens array;
- Image acquisition means for acquiring an image, encoded aperture pattern setting means for setting respective encoded aperture patterns for a plurality of pupil images of the main lens, and pupils for each lens of the lens array in the image acquired from the image sensor
- Computing means for performing a weighted product-sum operation between the image and the coded aperture pattern set by the coded aperture pattern setting means;
- a, image producing means for producing an image based on the calculation result by.
- an image equivalent to an image captured by inserting a coded aperture at the lens pupil position (pupil plane) by performing a weighted product-sum operation between the pupil image of the main lens and the coded aperture pattern is obtained.
- Obtainable This facilitates the selection / exchange of the coded aperture pattern, and an image to which a plurality of coded apertures are applied can be obtained by only one shooting.
- an advanced coded aperture photographing method can be used for moving subjects and moving images.
- An image processing apparatus is disposed on the incident surface side of an image sensor having a main lens, a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements.
- An image acquisition means for acquiring an image from an imaging means having a lens array for re-imaging the image formed by the main lens on the light receiving surface of the image sensor, and an encoded aperture pattern for the pupil image of the main lens,
- a pixel collecting means for collecting pixels corresponding to the same position of the subject image from a partial image of each lens of the lens array, and an encoded aperture pattern for the pupil image of the main lens are set.
- Encoded aperture pattern setting means a pixel group collected by the pixel collecting means, and an encoded aperture pattern set by the encoded aperture pattern setting means Calculating means for weighting sum of products and emissions, and a, and an image generating means for generating an image based on the operation result by the arithmetic means.
- the lens pupil position (pupil plane) is obtained by performing a weighted product-sum operation corresponding to the encoded aperture pattern on pixels corresponding to the same position of the partial image obtained for each lens of the lens array. It is possible to obtain an image equivalent to an image taken by inserting a coded aperture into This facilitates the selection / exchange of the coded aperture pattern, and an image to which a plurality of coded apertures are applied can be obtained by only one shooting.
- an advanced coded aperture photographing method can be used for moving subjects and moving images.
- the encoded aperture pattern setting means includes a storage means for storing a plurality of types of encoded aperture patterns, and a selection means for selecting one encoded aperture pattern from the storage means. It is possible to set the coded aperture pattern. According to this, the encoded aperture pattern can be easily changed.
- the coded aperture pattern setting means has a designation means for designating a weighting coefficient at each position of a two-dimensional filter having a weighting coefficient corresponding to the coded aperture pattern.
- An opening pattern can be set. According to this, the user can freely change the weighting factor.
- the coded aperture pattern setting means may set a different coded aperture pattern in the pupil image for each lens of the lens array.
- the effect of the coded aperture can be changed for each position of the subject image.
- the encoded aperture pattern setting means may set a different encoded aperture pattern for each pixel group collected by the pixel collecting means.
- the effect of the coded aperture can be changed for each position of the subject image.
- the present invention is preferably provided in an imaging apparatus.
- An image processing method is provided on an incident surface side of an image sensor having a main lens, a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements, and the image sensor.
- an encoded aperture pattern setting step for setting each encoded aperture pattern for the pupil image of the main lens, and a pupil image and an encoded aperture pattern setting step for each lens of the lens array in the image acquired from the image sensor.
- a calculation process for performing a weighted product-sum operation with the set coded aperture pattern, and an image based on the calculation result of the calculation process. Includes an image generating step of forming, the.
- an image equivalent to an image captured by inserting a coded aperture at the lens pupil position (pupil plane) by performing a weighted product-sum operation between the pupil image of the main lens and the coded aperture pattern is obtained.
- Obtainable This facilitates the selection / exchange of the coded aperture pattern, and an image to which a plurality of coded apertures are applied can be obtained by only one shooting.
- an advanced coded aperture photographing method can be used for moving subjects and moving images.
- An image processing method is disposed on the incident surface side of an image sensor having a main lens, a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements, and the image sensor.
- a pixel collection step for collecting pixels corresponding to the same position of the subject image from partial images of each lens of the lens array in the image acquired from the image sensor, and an encoded aperture pattern for the pupil image of the main lens are set.
- Encoded aperture pattern set by the encoded aperture pattern setting step, the pixel group collected by the pixel collecting step and the encoded aperture pattern setting step A calculation step of performing weighted product-sum operation of the emissions, and a, and an image generation step of generating an image based on the calculation result by the calculation process.
- the lens pupil position (pupil plane) is obtained by performing a weighted product-sum operation corresponding to the encoded aperture pattern on pixels corresponding to the same position of the partial image obtained for each lens of the lens array. It is possible to obtain an image equivalent to an image taken by inserting a coded aperture into This facilitates the selection / exchange of the coded aperture pattern, and an image to which a plurality of coded apertures are applied can be obtained by only one shooting.
- an advanced coded aperture photographing method can be used for moving subjects and moving images.
- the present invention includes a step of changing the setting of the encoded aperture pattern by the encoded aperture pattern setting step, and the calculation step encodes the encoded aperture by the encoded aperture pattern setting step with respect to one image acquired by the image acquisition step.
- a weighted product-sum operation using the changed encoded aperture pattern is executed, and the image generation step is performed every time the encoded aperture pattern is changed by the encoded aperture pattern setting step. It can be set as the form which produces
- the present invention it is possible to virtually acquire an image equivalent to an image photographed by inserting the coded aperture at the lens pupil position, which facilitates selection and exchange of the coded aperture pattern.
- a plurality of coded apertures can be applied only by shooting once, and an advanced coded aperture photographing method can be used for moving subjects and moving images.
- FIG. 1 is an external perspective view of an imaging apparatus according to the first embodiment of the present invention.
- FIG. 2 is a block diagram showing an embodiment of the internal configuration of the imaging apparatus shown in FIG.
- FIG. 3 is an image view of a part of the microlens array shown in FIG. 1 as viewed from the front.
- FIG. 4 is a configuration diagram showing the configuration of the encoded aperture related portion related to the encoded aperture processing.
- FIG. 5 is an enlarged view of a part of FIG.
- FIG. 6 is a diagram showing an example of a divided area of the pupil plane.
- FIG. 7A is a diagram illustrating an encoded aperture pattern.
- FIG. 7B is a diagram illustrating an encoded aperture pattern.
- FIG. 7C is a diagram illustrating an encoded aperture pattern.
- FIG. 7A is a diagram illustrating an encoded aperture pattern.
- FIG. 7B is a diagram illustrating an encoded aperture pattern.
- FIG. 7C is a diagram illustrating an encoded aperture pattern.
- FIG. 8 is a flowchart showing the coded aperture processing.
- FIG. 9 is a configuration diagram illustrating a configuration of a coded aperture-related portion using the directivity sensor according to the second embodiment.
- FIG. 10 is an enlarged view of a part of FIG.
- FIG. 11 is an external view of a smartphone that is another embodiment of the imaging apparatus.
- FIG. 12 is a block diagram illustrating a main configuration of the smartphone.
- FIG. 1 is an external perspective view of an imaging device 10 (imaging device) according to the first embodiment of the present invention.
- a photographing lens (main lens) 12 a strobe 18 and the like are disposed on the front surface of the imaging apparatus 10, and a shutter button 38-1 is disposed on the upper surface.
- L1 represents the optical axis of the main lens 12.
- FIG. 2 is a block diagram showing an embodiment of the internal configuration of the imaging apparatus 10.
- the imaging device 10 records a captured image on a memory card 54.
- a microlens array 14 is provided between a main lens 12 and a CMOS type imaging device (image sensor) 16, and a so-called plenoptic is provided. It has a camera optical system.
- the overall operation of the apparatus is centrally controlled by a central processing unit (CPU: Central Processing Unit) 40.
- CPU Central Processing Unit
- the imaging apparatus 10 is provided with an operation unit 38 including a shutter button 38-1, a mode dial, a playback button, a MENU / OK key, a cross key, a BACK key, and the like.
- a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 10 based on the input signal. For example, photographing operation control, image processing control, image data recording / reproduction control, liquid crystal monitor The display control of the (LCD) 30 is performed.
- the shutter button 38-1 (FIG. 1) is an operation button for inputting an instruction to start shooting, and is composed of a two-stroke switch having an S1 switch that is turned ON when half-pressed and an S2 switch that is turned ON when fully pressed.
- the mode dial is a selection means for selecting one of an auto shooting mode for shooting a still image, a manual shooting mode, a scene position such as a person, a landscape, a night view, and a moving image mode for shooting a moving image.
- the playback button is a button for switching to a playback mode in which a captured still image or moving image is displayed on the liquid crystal monitor 30.
- the MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of the selection contents. It is.
- the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do.
- the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
- the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
- the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
- the subject light is imaged on the light receiving surface of a CMOS type image sensor (image sensor) 16 via the main lens 12 and the microlens array 14.
- CMOS type image sensor image sensor
- the microlens array 14 has a large number of microlenses 14 (i) (i is a different number assigned to each microlens) having a predetermined focal length as shown in the image diagram of FIG. is doing.
- a large number of light receiving cells are two-dimensionally arranged, and a subject image formed on the light receiving surface of each light receiving cell has a signal voltage (or charge) of an amount corresponding to the amount of incident light. Is converted to The image sensor 16 is provided with red (R), green (G), and blue (B) color filters for each light receiving cell.
- the signal voltage (or electric charge) accumulated in the image sensor 16 is accumulated in the light receiving cell itself or an attached capacitor.
- the stored signal voltage (or electric charge) is selected by the sensor control unit 32 together with the selection of the pixel position by using a MOS (Metal Oxide Semiconductor) type image pickup device (so-called CMOS sensor) using the XY address method. Read out. Thereby, the signal voltage for each pixel can be read from the image sensor 16.
- MOS Metal Oxide Semiconductor
- the imaging signal (voltage signal) read from the image sensor 16 is a pixel of the image sensor for the purpose of reducing correlated double sampling processing (noise (particularly thermal noise) included in the output signal of the image sensor).
- the A / D converter 21 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
- Some MOS type image sensors include an A / D converter. In this case, R, G, B digital signals are directly output from the image sensor 16.
- the image input controller 22 can acquire the pixel position by selecting the pixel position from the image sensor 16 and reading out the pixel data. In this embodiment, the image input controller 22 reads out all the pixel data from the image sensor 16 and reads out the memory (SDRAM: Synchronous Dynamic Random Access Memory 48)
- SDRAM Synchronous Dynamic Random Access Memory 48
- the digital signal processing unit 24 reads out image data composed of pixel data stored in the memory 48 via the image input controller 22, and performs gain control processing including offset processing, white balance correction and sensitivity correction, gamma correction processing, YC Predetermined signal processing such as processing is performed. In addition, the digital signal processing unit 24 performs an encoded aperture process described later.
- the image data processed by the digital signal processing unit 24 is input to a VRAM (Video Random Access Memory) 50.
- VRAM Video Random Access Memory
- the image data read from the VRAM 50 is encoded by the video encoder 28 and output to the liquid crystal monitor 30 provided on the back of the camera, whereby the subject image is displayed on the display screen of the liquid crystal monitor 30.
- the CPU 40 starts an AE (Automatic Exposure) operation, and the image data output from the A / D converter 21 is It is taken into the AE detection unit 44.
- AE Automatic Exposure
- the AE detection unit 44 integrates the G signals of the entire screen or integrates the G signals that are weighted differently in the central portion and the peripheral portion of the screen, and outputs the integrated value to the CPU 40.
- the CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value input from the AE detection unit 44, and based on this shooting Ev value, the aperture value of an aperture (not shown) and the electronic shutter of the image sensor 16 ( Shutter speed) is determined according to a predetermined program diagram, the aperture is controlled based on the determined aperture value, and the charge accumulation time in the image sensor 16 is determined via the sensor control unit 32 based on the determined shutter speed. Control.
- the image data output from the A / D converter 21 in response to the press is stored from the image input controller 22 into the memory.
- the data is input to (SDRAM) 48 and temporarily stored.
- the image data temporarily stored in the memory 48 is appropriately read out by the digital signal processing unit 24, where predetermined signal processing including generation processing (YC processing) of luminance data and color difference data of the image data is performed. .
- the YC processed image data (YC data) is stored in the memory 48 again.
- the YC data stored in the memory 48 is output to the compression / decompression processing unit 26, and after a predetermined compression process such as JPEG (Joint Photographic Experts Group) is executed, the YC data is transferred to the memory card 54 via the media controller 52. To be recorded.
- JPEG Joint Photographic Experts Group
- FIG. 4 is a configuration diagram showing the configuration of the encoded aperture related portion related to the encoded aperture processing.
- the encoded aperture processing unit 80 included in the main lens 12, the microlens array 14, the image sensor 16, and the digital signal processing unit 24 in FIG. 1 is extracted and shown.
- each processing unit through which image data captured by the image sensor 16 is read by the encoded aperture processing unit 80 (digital signal processing unit 24), and an image generated by the encoded aperture processing unit 80.
- Each processing unit through which data passes after output is omitted.
- an encoded aperture pattern setting unit 82 encoded aperture pattern setting means for setting and changing a weighting coefficient, details of which will be described later.
- a main lens 12, a microlens array 14, and an image sensor 16 constitute the directivity sensor of the first embodiment, and the position (focusing position) of the in-focus distance that is in focus with respect to the main lens 12.
- a light beam incident on the main lens 12 from the subject Obj existing at the focal plane FP a light beam that has passed through a different region on the pupil plane PP of the main lens 12 is received by the light receiving cells at different positions of the image sensor 16. It is configured as follows.
- the image plane PP is divided into a plurality of regions (referred to as “divided regions”)
- the image plane is divided by acquiring image data for one frame of the subject Obj only by light rays passing through the same divided region.
- Image data of the subject Obj for the number of areas can be acquired simultaneously.
- a physical code is obtained by performing a weighted product-sum operation on the pixel data at the same position of the subject image with a weight coefficient corresponding to the coded aperture pattern in the plurality of image data.
- An image equivalent to an image in which the aperture is arranged at the pupil position (pupil plane) is obtained.
- each microlens array 14 includes microlenses 14 (i) (i is a number from m to ⁇ n assigned to each microlens, sensor block numbers described later, and m and n are Corresponding to a positive integer) focal length, each microlens 14 (i) is disposed at a position where an image of the pupil plane PP (pupil image) is formed on the light receiving surface of the image sensor 16.
- a plurality of light receiving cells 16 (i, j) (i is the number of the microlens, j is the same number i within the rear of the microlens array 14 and receives the light incident on each microlens 14 (i).
- a number assigned to the light receiving cell and a positive integer is arranged. As a result, the light beam incident on each microlens 14 (i) is received by different light receiving cells depending on the incident direction (details will be described later).
- sensor block B An arbitrary number i microlens 14 (i) and a plurality of light receiving cells 16 (i, j) that receive light incident on the number i microlens 14 (i) are referred to as a sensor block.
- the sensor block including the microlens 14 (i) with number i is referred to as sensor block B (i).
- the light beam diffused from one point (object point) on the focusing plane FP and incident on the main lens 12 is collected by the main lens 12. Then, it enters the microlens 14 (i) of the same (one) sensor block B (i) corresponding to the position of the object point on the focal plane FP.
- the light beams incident on the same microlens 14 (i) are incident on the light receiving surface of the light receiving cell 16 (i, j) at a position corresponding to each incident direction, that is, a position that has passed through the pupil plane PP.
- pixel data for the same object point is acquired by being divided into a plurality of pixel data according to the position of the pupil plane PP through which the light beam from the object point has passed.
- the light rays diffused from different object points on the focusing plane FP and incident on the main lens 12 are incident on the microlenses of different sensor blocks, and pass through the pupil plane PP as described above in each microlens.
- the light is incident on the light receiving surface of the light receiving cell 16 (i, j) at a position corresponding to the position.
- the entire light receiving cell (the entire sensor block) of the image sensor 16 obtains image data including pixel data for each object point of the subject Obj on the focusing plane FP, and the light rays incident on each light receiving cell are reflected on the pupil plane PP.
- the pixel data is divided according to the position passing through the image data of the subject Obj for a plurality of frames is obtained.
- FIG. 5 is an enlarged view of a part of FIG. 4.
- the processing of the coded aperture processing unit 80 will be described by paying attention to the sensor block B (0) on the optical axis.
- Each microlens 14 (i) of the microlens array 14 and each light receiving cell 16 (i, j) of the image sensor 16 are two-dimensionally arranged. However, it is assumed that they are mainly arranged one-dimensionally. explain. A description will be given as appropriate in consideration of the two-dimensional arrangement.
- the area of the pupil plane PP is divided into a plurality of divided areas C (j) (j is an area where light rays incident on each of the five light receiving cells 16 (0, 1) to 16 (0, 5) pass. (Numbers 1 to 5 corresponding to the numbers of the light receiving cells). That is, as represented by the light beam L (0, 1) in the figure, the light beam that enters the microlens 14 (0) and enters the light receiving surface of the light receiving cell 16 (0, 1) passes through the pupil plane PP.
- the region is divided into divided regions C (1) and light rays L (0,2), and the light rays incident on the microlens 14 (0) and incident on the light receiving surface of the light receiving cell 16 (0,2) are pupil surfaces.
- the region passing through PP is incident on the microlens 14 (0) and is incident on the light receiving surface of the light receiving cell 16 (0, 3), as represented by the divided region C (2) and the light beam L (0, 3).
- the region where the light ray passes through the pupil plane PP is incident on the microlens 14 (0) as represented by the divided region C (3) and the light ray L (0,4), and is received by the light receiving cell 16 (0,4).
- a region where a light ray incident on the surface passes through the pupil plane PP is represented by a divided region C (4) and a light ray L (0,5).
- the divided region C (5) is divided into five divided regions C (1), where a region in which light rays incident on the microlens 14 (0) and incident on the light receiving surface of the light receiving cell 16 (0,5) pass through the pupil plane PP Is divided into C (5).
- the number of divided areas when dividing the pupil plane PP is such that the number of light receiving cells is arranged in each area of the image sensor 16 on which the image of the pupil plane PP is formed by each microlens 14 (i).
- the number of divided areas into which the pupil plane PP is divided can be increased.
- the form of the division also varies depending on the arrangement of the light receiving cells.
- Each of the light receiving cells 16 (0, 1) to 16 (0, 5) can be interpreted as capturing an image (pupil image) of the pupil plane PP, and the light receiving cells 16 (0, 1) to 16 (0, 5).
- Each of the divided regions C (1) to C (5) is imaged by each of 5) and acquired as pixel data.
- Pixel data S (0,1) to S (0,5) obtained by the respective light receiving cells 16 (0,1) to 16 (0,5) of the sensor block B (0) are encoded aperture processing unit 80. Is taken in.
- the pixel data S (0,1) to S (0,5) are read, and the weighting coefficient ⁇ j corresponding to the encoded aperture pattern ( ⁇ j is a real number not less than 0 and not more than 1 and j is a light receiving cell number)
- the weighted product-sum operation (corresponding numbers 1 to 5) is performed, and the weighted product-sum value S0 is calculated by the following equation (1).
- the pixel data S0 calculated as the weighted product-sum value S0 is the value of each of the weight coefficients ⁇ 1 to ⁇ 5 for each of the divided regions C (1) to C (5) of the pupil plane PP.
- An optical filter (two-dimensional filter) having a light transmittance corresponding to 1 is arranged, and a light ray (light ray from an object point of the focal plane FP) incident on the microlens 14 (0) as in an ordinary image sensor is This corresponds to pixel data obtained when light is received by the light receiving cell.
- the light receiving cell 16 (i, j) (receives light incident on the microlens 14 (i) ( j is a number from 1 to 5 attached to the light receiving cell), and a light beam that has passed through the divided area C (j) of the pupil plane PP is incident on each light receiving cell 16 (i, 1) to 16 (i, 5). ), Images (pupil images) of the divided areas C (1) to C (5) of the pupil plane PP are captured.
- Pixel data S (i, 1) to S (i, 5) obtained in this way are taken into the coded aperture processing unit 80, and weighted product-sum operation means U (i) corresponding to the sensor block B (i). Is read. Then, a weighted product-sum operation is performed on the pixel data S (i, 1) to S (i, 5) with the weighting coefficient ⁇ j corresponding to the encoded aperture pattern, as in the above equation (1).
- a weighted product-sum value Si (i is a number corresponding to the sensor block number i) is calculated by the following equation (2).
- an optical filter having a light transmittance corresponding to each value of the weighting factors ⁇ 1 to ⁇ 5 is arranged for each of the divided regions C (1) to C (5) of the pupil plane PP, It can be said that this corresponds to pixel data obtained when a light ray incident on the microlens 14 (i) (light ray from an object point of the focal plane FP) is received by one light receiving cell like an image sensor. . That is, this corresponds to convolution of an encoded aperture pattern made up of a two-dimensional filter having weighting coefficients ⁇ 1 to ⁇ 5 into the object image of the main lens 12.
- image data is generated when the coded apertures of different patterns are arranged on the pupil plane PP for image data (pixel data) acquired by one shooting. can do. If the original image data is stored, it is possible to generate image data when a desired pattern of coded apertures is arranged at a desired time.
- weighted product-sum operation means U (i) is described as being provided for each sensor block B (i)
- the pixel data S (i, 1) to S (acquired by each sensor block B (i) is described.
- the number of weighted product-sum operation means can be reduced to one or less than the number of sensor blocks B (i).
- each sensor block B (i) When the plurality of light receiving cells 16 (i, j) in each sensor block B (i) are two-dimensionally arranged, the light rays incident on each microlens 14 (i) are two-dimensionally arranged according to the incident angle. Light is received by the plurality of light receiving cells 16 (i, j), and an image (pupil image) of the pupil plane PP is captured by the light receiving cells 16 (i, j).
- the divided region C (j) of the pupil plane PP (j is a number corresponding to the number of the light receiving cell) also becomes a two-dimensional array corresponding to the array of the light receiving cells 16 (i, j).
- the light beam that has passed through the divided area C (j) and entered the microlens 14 (i) is received by the light receiving cell 16 (i, j), and an image of the divided area C (j) of the pupil plane PP is received. Images are taken by (i, j).
- pixel data Si obtained by a normal image sensor is obtained by the following equation (3) by weighted product-sum operation using the same weighting factor ⁇ j as in the above equation (2). It can be obtained as a weighted product-sum value Si.
- FIGS. 7A to 7C show the encoding in the case where a coded aperture of light shielding (light transmittance 0) or aperture (light transmittance 1) is arranged in each of the divided regions C (j) divided as shown in FIG. It is the figure which illustrated the opening pattern.
- the black divided area indicates light shielding
- the white divided area indicates an opening.
- the black divided region C (X) is a light-shielded region, and the weighting coefficient ⁇ X at this time is 0.
- the white divided region C (Y) is an open region, and the weighting coefficient ⁇ Y at this time is 1.
- a configuration unit for setting the coded aperture pan pattern by setting the weighting factor ⁇ j will be described.
- a coded aperture pattern setting unit 82 (encoding) is provided in a coded aperture processing unit 80 having weighted product-sum operation means U (i) (i is the number of the corresponding sensor block). Opening pattern setting means) is connected.
- the encoded aperture pattern setting unit 82 includes a storage unit 84 that stores a plurality of types of encoded aperture patterns, and a selection unit 86 that selects an encoded aperture pattern to be read from the storage unit 84.
- the storage means 84 corresponds to, for example, an arbitrary memory such as an EEPROM (Electronically Erasable and Programmable Read Only Memory) 56 in FIG.
- the encoded aperture pattern stored in the storage means 84 is encoded as shown in FIGS. 7A to 7C set corresponding to the divided area C (j) of the pupil plane PP as shown in FIG.
- the weighting factor ⁇ j indicating the light transmittance of each divided region C (j) is held for each type of coded opening pattern.
- the selection means 86 includes, for example, an arbitrary operation switch of the CPU 40 and the operation unit 38 in FIG.
- the CPU 40 selects the data of the selected encoded aperture pattern from the storage unit 84.
- the weight coefficient ⁇ j corresponding to the read and encoded aperture pattern is given to the encoded aperture processor 80.
- the coded aperture processing unit 80 uses the weighting coefficient ⁇ j given from the coded aperture pattern setting unit 82 as described above in the weighted product-sum computation unit U (i). Set as ⁇ j and perform the above weighted multiply-accumulate operation.
- the selection means 86 of the encoded aperture pattern setting unit 82 is not a means for the user to select a desired encoded aperture pattern, but sequentially selects and encodes a plurality of types of encoded aperture patterns determined in advance. You may make it give to the opening process part 80.
- FIG. As a result, a weighted product-sum operation using a plurality of types of encoded aperture patterns is sequentially performed on one frame of captured image data, and the processed image is displayed on the liquid crystal monitor 30 in parallel or switched, and the memory card 54 is displayed. Saving or the like may be performed automatically.
- the weighted product-sum operation is performed on each sensor block B (i) using the same weighting coefficient ⁇ j (same coded aperture pattern).
- a different weight coefficient ⁇ j encoded aperture pattern can be set for each block B (i) (for each pupil image in each microlens 14 (i), that is, for each weighted product-sum operation means U (i)). It may be.
- the encoded aperture pattern setting unit 82 gives the encoded aperture pattern (weighted coefficient ⁇ j) for each sensor block B (i) to the encoded aperture processing unit 80.
- the weighted coefficient ⁇ j is 0 or more and 1 or less, but is not limited thereto. It may be a negative value or a value greater than 1.
- the value of the weighted coefficient ⁇ j may be arbitrarily designated and set by the user.
- the encoded aperture pattern setting unit 82 includes a designation unit, and the designation unit may be a unit using a predetermined operation switch of the operation unit 38 in FIG.
- step S10 the coded aperture processing unit 80 acquires image data (the pixel data S (i, j)) captured by the image sensor 16 (image acquisition process). Then, the process proceeds to step S12.
- step S12 the encoded aperture pattern setting unit 82 sets a weight coefficient ⁇ j (encoded aperture pattern) used in the weighted product-sum operation means U (i) (encoded aperture pattern setting process). Then, the process proceeds to step S14.
- step S14 the pixel data S (i, j) of the pupil image for each sensor block B (i) (for each microlens) in the weighted product-sum operation means U (i) of the coded aperture processing unit 80 and A weighted product-sum operation is performed using the weight coefficient ⁇ j, and the weighted product-sum value Si is calculated as pixel data Si (weighted product-sum operation processing). Then, the process proceeds to step S16.
- step S16 an image having the number of pixels (resolution) corresponding to the number of lenses of the microlens 14 (i) is generated from the pixel data Si calculated in step S14 (image generation processing). And the process of this flowchart is complete
- the image data generated in this way is transferred from the coded aperture processing unit 80 to another processing unit for storage in the memory card 54 in FIG. 1, display on the liquid crystal monitor 30, and the like.
- the encoded aperture processing unit 80 performs a weighted product-sum operation using the changed weighting factor ⁇ j on the same image every time the weighting factor ⁇ j is changed by the encoded aperture pattern setting unit 82. Alternatively, an image that has been subjected to the coded aperture process may be generated.
- processing related to the coded aperture as described above can be performed regardless of whether a still image is captured or a moving image is captured.
- FIG. 9 is a configuration diagram showing the configuration of the encoded aperture related portion when the directivity sensor of the second embodiment different from the directivity sensor of the first embodiment in FIG. 4 is used.
- the same or similar components as those in FIGS. 4 and 5 are denoted by the same reference numerals, and description thereof is omitted.
- a main lens 12, a microlens array 14, and an image sensor 16 constitute a directivity sensor, and each of the main lens 12, the microlens 14, and the image sensor 16 is the first shown in FIG. It is the same structure as the directivity sensor of 1 embodiment.
- a light beam diffused from one point (object point) on the focal plane FP and incident on the main lens 12 is incident on different microlenses 14 (i) of the microlens array 14, and the microlenses 14 (i) 3 is different from the directivity sensor of FIG. 3 in that the light is received at discrete positions by the light receiving cells 16 (i, j) of the image sensor 16 disposed behind.
- Let (i, j) be one set and be referred to as a sensor block B (i).
- the microlens array 14 has an image on the image plane of the main lens 12 corresponding to the focal length of each microlens 14 (i). It is arranged at a position where an image is formed on the light receiving surface of the light receiving cell 16 (i, j).
- An image of a front surface (image plane IP) having a distance a ′ obtained from the relationship is formed on the light receiving cell 16 (i, j).
- the main lens 12 is disposed at a position where at least the distance b is longer than the focal length f.
- the object Obj on the focusing surface FP is imaged on the imaging surface IP, with the front surface a determined from the above relationship as the focusing surface FP.
- a plurality of light receiving cells 16 (i, j) for receiving the light rays incident on the respective microlenses 14 (i) are provided at the rear of each microlens 14 (i) of the microlens array 14 according to the first embodiment. Arranged in the same manner as the directional sensor. As a result, the light beam incident on each microlens 14 (i) is received by different light receiving cells depending on the incident direction (details will be described later).
- the light beam diffused from one point (object point) on the focusing plane FP and incident on the main lens 12 is collected by the main lens 12. Then, the light passes through a position to be an image point on the imaging plane IP and enters the microlenses 14 (i) of the sensor block B (i) at a plurality of positions according to the traveling direction of the light beam.
- Each light beam incident on each microlens 14 (i) is incident on a light receiving cell 16 (i, j) at a position in the sensor block B (i) corresponding to the incident direction and the position passing through the pupil plane PP.
- pixel data for the same object point is acquired by being divided into a plurality of pixel data according to the position of the pupil plane PP through which the light beam from the object point has passed.
- the entire light receiving cell (the entire sensor block) of the image sensor 16 obtains image data including pixel data for each object point of the subject Obj on the focusing plane FP, and the light rays incident on each light receiving cell are reflected on the pupil plane PP.
- the pixel data is divided according to the position passing through the image data of the subject Obj for a plurality of frames is obtained.
- FIG. 10 is an enlarged view of a part of FIG. 9, for example, sensor blocks ( ⁇ 1), ( ⁇ 2), 0, 1, centered on the sensor block B (0) on the optical axis. 2 will be described.
- each light beam diffused from a point on the optical axis of the subject Obj at the focal point FP and incident on the main lens 12 is represented by light beams L (0, 1) to L (0, 5).
- the image plane IP and the optical axis cross each other at the center point Oc to form an image.
- each light ray diffused from another point of the subject Obj on the focusing surface FP and incident on the main lens 12 forms an image on the imaging plane IP of the main lens 12, and the subject Obj is formed on the imaging plane IP. It is formed as a reverse image.
- the light beams intersecting at the center point Oc of the imaging plane IP differ from each other depending on the position that has passed through the pupil plane PP.
- B (1), B (0), B (-1), and B (-2) are incident on the microlenses 14 (2) to 14 (-2), and the sensor block B (2)
- To light receiving cells 16 (2,1), 16 (1,2), 16 (0,3), 16 (-1,4), 16 (-2,5) arranged in each of B (-2) Is incident on the light receiving surface.
- pixel data for one object point is converted into five pixel data S (2,1), S (1,2), S (0,3), S (-1,4), S by the light receiving cells. It can be obtained as ( ⁇ 2, 5).
- each sensor block B (i) converts the image of the imaging plane IP formed by the main lens 12 into each light receiving cell 16 (i, j) in the same sensor block B (i). ), And a subject image (partial image) is formed in each of the sensor blocks B (i), unlike the first embodiment.
- images of the same object point are formed in the plurality of sensor blocks B (i), and they are formed by light rays passing through different regions of the pupil plane PP.
- each sensor block B (i) the range of the subject image re-imaged in each sensor block B (i) is different. That is, the microlens 14 (i) of each sensor block B (i) forms a partial range as a partial image with respect to the subject image captured by the entire image sensor 16, and the sensor block B (i). Different partial images are formed depending on the position.
- an image for the same object point is formed only in a predetermined range of sensor blocks B (i), and is received by a specific number and a specific position of light receiving cells.
- the range of light rays passing through the pupil plane PP and passing through the center point Oc of the imaging plane IP is limited to the five microlenses 14 (2) to 14 (-2).
- the object point image is received by five light receiving cells and is obtained as five pixel data.
- the divided area of the pupil plane PP is divided into five divided areas C (1) to C (5) as in the first embodiment.
- the encoded aperture processing unit 80 collects pixel data for the same object point from the pixel data obtained by each sensor block B (i), and performs the first embodiment.
- a pixel collection processing unit 90 pixel collection means for distributing to the weighted product-sum operation means U (i) is provided. That is, the pixel collection processing unit 90 collects pixel data corresponding to the same position of the subject image from the partial image obtained by each sensor block B (i), and weighted product-sum calculation means for the pixel data corresponding to the same position Deliver to U (i).
- the pixel collection processing unit 90 receives the light receiving cells 16 (2, 1) in which the light rays L (0, 1) to L (0, 5) that have passed through the center point Oc of the imaging plane IP are incident. ), 16 (1,2), 16 (0,3), 16 (-1,4), 16 (-2,5), pixel data S (2,1), S (1,2) , S (0,3), S (-1,4), S (-2,5) are collected as pixel data corresponding to the same position of the subject image, and the pixel data S (2,1), S (1,2), S (0,3), S (-1,4), S (-2,5) are changed to S (0,1), S (0,2), S (0,3), S (0,4) and S (0,5) are passed to the weighted product-sum operation means U (0).
- Image data for one frame composed of pixel data generated in this way can be generated. Also in the second embodiment, image data having the number of pixels (resolution) corresponding to the number of lenses of the microlens 14 (i) can be obtained.
- the same object point (the same subject image is the same) for the pixel data obtained from each light receiving cell 16 (i, j) of the image sensor 16.
- the process (step) of collecting pixel data at position) by the pixel collection processing unit 90 is significantly different from that of the first embodiment except that it is added after step S10 of FIG. 8 in the first embodiment. There is nothing to do. Therefore, the same thing as the case where the directivity sensor of the first embodiment is used can be applied to the case where the directivity sensor of the second embodiment is used.
- FIG. 11 shows an appearance of a smartphone 500 that is another embodiment of the imaging apparatus 10.
- a smartphone 500 illustrated in FIG. 11 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
- the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541.
- the structure of the housing 502 is not limited to this. For example, a configuration in which the display unit and the input unit are independent may be employed, or a configuration having a folding structure or a slide mechanism may be employed.
- FIG. 12 is a block diagram showing a configuration of the smartphone 500 shown in FIG.
- the main components of the smartphone include a wireless communication unit 510, a display input unit 520, a call unit 530, an operation unit 540, a camera unit 541, a storage unit 550, and an external input / output unit. 560, a GPS (Global Positioning System) receiving unit 570, a motion sensor unit 580, a power supply unit 590, and a main control unit 501.
- a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided as a main function of the smartphone 500.
- the wireless communication unit 510 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
- the display input unit 520 displays images (still images and moving images), character information, and the like visually by the control of the main control unit 501, and visually transmits information to the user, and detects user operations on the displayed information.
- This is a so-called touch panel, and includes a display panel 521 and an operation panel 522.
- the display panel 521 is preferably a 3D display panel.
- the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
- LCD Liquid Crystal Display
- OELD Organic Electro-Luminescence Display
- the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus.
- a detection signal generated due to the operation is output to the main control unit 501.
- the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
- the display panel 521 and the operation panel 522 of the smartphone 500 integrally form the display input unit 520, but the operation panel 522 is disposed so as to completely cover the display panel 521. ing.
- the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
- the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
- the size of the display area and the size of the display panel 521 may be completely matched, but it is not always necessary to match the two.
- the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
- examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
- the call unit 530 includes a speaker 531 and a microphone 532, and converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit 510 or the audio data received by the external input / output unit 560 is decoded and output from the speaker 531.
- the speaker 531 can be mounted on the same surface as the surface on which the display input unit 520 is provided, and the microphone 532 can be mounted on the side surface of the housing 502.
- the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
- the operation unit 540 is mounted on a lower portion and a lower side of the display unit of the housing 502 of the smartphone 500 and is turned on when pressed with a finger or the like, and is turned off when a finger is released with a restoring force such as a spring. It is a button type switch.
- the storage unit 550 includes control programs and control data of the main control unit 501, address data in which names and telephone numbers of communication partners are associated, transmitted and received e-mail data, Web data downloaded by Web browsing, and downloaded contents Data is stored, and streaming data and the like are temporarily stored.
- the storage unit 550 includes an internal storage unit 551 with a built-in smartphone and an external storage unit 552 having a removable external memory slot.
- Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
- flash memory type flash memory type
- hard disk type hard disk type
- multimedia card micro type multimedia card micro type
- a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
- the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, universal serial bus (USB), IEEE1394, etc.) or a network.
- external devices for example, universal serial bus (USB), IEEE1394, etc.
- a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wide Band) (registered trademark), ZigBee ( ZigBee) (registered trademark, etc.) for direct or indirect connection.
- Examples of external devices connected to the smartphone 500 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
- Identity Module Card / UIM User Identity Module Card
- external audio / video equipment connected via audio / video I / O (Input / Output) terminal
- external audio / video equipment connected wirelessly, yes / no
- smartphone connected wirelessly
- a personal computer connected wirelessly a PDA (Personal Digital Assistant) connected wirelessly, a personal computer connected wirelessly, and an earphone.
- the external input / output unit may transmit data received from such an external device to each component inside the smartphone 500, or may allow data inside the smartphone 500 to be transmitted to the external device. it can.
- the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received plurality of GPS signals, the latitude of the smartphone 500, A position consisting of longitude and altitude is detected.
- the GPS reception unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN (Local Area Network)), the position can be detected using the position information.
- the wireless communication unit 510 or the external input / output unit 560 for example, a wireless LAN (Local Area Network)
- the motion sensor unit 580 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
- the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
- the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
- the application processing function is realized by the main control unit 501 operating in accordance with application software stored in the storage unit 550.
- Application processing functions include, for example, an infrared communication function that controls the external input / output unit 560 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
- the main control unit 501 has an image processing function such as displaying video on the display input unit 520 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
- the image processing function is a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
- the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
- the main control unit 501 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
- a software key such as a scroll bar, or a window for creating an e-mail.
- the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 521.
- the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or a display image scroll request through a scroll bar.
- the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521.
- a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
- the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
- Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
- the camera unit 541 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge-Coupled Device
- the above-described imaging device 10 can be applied to the camera unit 541. Since it is difficult to insert the coded aperture that is physically arranged in the optical system into the optical system of the smartphone 500, the above-described imaging device 10 is suitable as a camera unit incorporated in a mobile terminal such as the smartphone 500.
- the camera unit 541 converts image data obtained by imaging into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main control unit 501, and records the data in the storage unit 550.
- the data can be output through the external input / output unit 560 and the wireless communication unit 510.
- the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this and may be mounted on the back surface of the display input unit 520. Alternatively, a plurality of camera units 541 may be mounted. Note that when a plurality of camera units 541 are mounted, the camera unit 541 used for shooting can be switched to shoot alone, or a plurality of camera units 541 can be used simultaneously for shooting.
- the camera unit 541 can be used for various functions of the smartphone 500.
- an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
- the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
- the optical axis direction of the camera unit 541 of the smartphone 500 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
- the image from the camera unit 541 can be used in the application software.
- CMOS image sensor is used as the image sensor.
- the image sensor is not limited to the CMOS type, and other image sensors such as a CCD can also be applied.
- SYMBOLS 10 Imaging device, 12 ... Main lens, 14 ... Micro lens array, 16 ... Image sensor, 40 ... CPU, 80 ... Encoding aperture process part, 82 ... Encoding aperture pattern setting part, 84 ... Memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
メインレンズ12の瞳面PPの異なる領域を通過してマイクロレンズアレイ14のマイクロレンズ14(0)に入射した光線は各々異なる受光セル16(0,1)~16(0,5)に入射し、画素データS(0,1)~S(0,5)として符号化開口処理部80に取り込まれる。それらの画素データは重み付き積和演算手段U(0)によって重み付き積和値S0の画素データとして生成される。同様の処理がマイクロレンズごとに行われることで重み係数に対応した符号化開口パターンを瞳面PPに配置した場合と同等の画像が得られる。
Description
本発明は画像処理装置及び方法並びに撮像装置に関し、特に符号化開口をレンズ瞳位置に挿入して撮影した画像と同等の画像を取得する技術に関する。
撮像装置の技術分野では、複数のPSF(Point Spread Function;点像分布関数)で画像を取得し、取得した画像からボケの修復や被写体の距離推定等の処理を行う技術が知られているが、その際復元・推定処理のロバスト性を向上させるべく、符号化された開口(符号化瞳)を用いることが行われている(このように符号化された開口を用いて撮影を行うことを、以下「符号化開口撮影」という)。例えば、異なるパターンの符号化開口を組み込んだレンズを交換してPSFを変化させ、1台の撮像装置で複数の画像を取得する技術が知られている。
特許文献1には、円形の外形を持ち、内部を同心円状の扇形に分割した開口を持ち、任意のパターン(組み合わせ)の符号化開口を設定可能な開口アレイを有する撮像装置が記載されている。
また、特許文献2には、各フレームに対して異なる符号化開口アレイを使用し、得られ多数のフレームに対してそのフレームを得るために使用される符号化開口アレイに対応する個々の復号パターンを使用し、高い解像度を有する画像を提供する方法が記載されている。
特許文献1、2に記載の発明は、いずれも撮影光学系の光路中に符号化開口アレイを挿入して撮影を行うというものである。このため、異なる符号化開口アレイを使用して複数の画像を取得するためには、異なる符号化開口アレイに切り替えて複数回撮影を行う必要があった。この場合、複数回の撮影タイミングにずれが生じるため静止物体しか撮影することができないという問題がある。また、符号化開口アレイを切り替えるための装置が大型で複雑な構成になり、コストが上昇するという問題があった。
本発明はこのような事情に鑑みてなされたもので、符号化開口をレンズ瞳位置に挿入して撮影した画像と同等の画像を仮想的に取得することができ、これにより符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用することができ、また動く被写体や動画においても高度な符号化開口撮影法を使用することができる画像処理装置及び方法並びに撮像装置を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る画像処理装置は、メインレンズと、2次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設されたレンズアレイであって、レンズアレイの各レンズによりメインレンズの瞳像をイメージセンサの受光面にレンズアレイのレンズの数だけ結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得手段と、メインレンズの複数の瞳像に対するそれぞれの符号化開口パターンを設定する符号化開口パターン設定手段と、イメージセンサから取得される画像中のレンズアレイのレンズ毎の瞳像と符号化開口パターン設定手段により設定された符号化開口パターンとの重み付き積和演算を行う演算手段と、演算手段による演算結果に基づく画像を生成する画像生成手段と、を備えている。
本発明によれば、メインレンズの瞳像と符号化開口パターンとの重み付き積和演算を行うことによってレンズ瞳位置(瞳面)に符号化開口を挿入して撮影した画像と同等の画像を得ることができる。これにより、符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用した画像を得ることができる。また、動く被写体や動画においても高度な符号化開口撮影法を使用することができる。
本発明の他の形態に係る画像処理装置は、メインレンズと、2次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設され、メインレンズにより結像された像をイメージセンサの受光面に再結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得手段と、メインレンズの瞳像に対する符号化開口パターンであって、イメージセンサから取得される画像中の、レンズアレイのレンズ毎の部分像から被写体像の同じ位置に対応する画素を収集する画素収集手段と、メインレンズの瞳像に対する符号化開口パターンを設定する符号化開口パターン設定手段と、画素収集手段により収集した画素群と符号化開口パターン設定手段により設定された符号化開口パターンとの重み付け積和演算を行う演算手段と、演算手段による演算結果に基づく画像を生成する画像生成手段と、を備えている。
本発明によれば、レンズアレイの各レンズごとに得られる部分像の同じ位置に対応する画素に対して符号化開口パターンに対応する重み付き積和演算を行うことによってレンズ瞳位置(瞳面)に符号化開口を挿入して撮影した画像と同等の画像を得ることができる。これにより、符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用した画像を得ることができる。また、動く被写体や動画においても高度な符号化開口撮影法を使用することができる。
本発明は、符号化開口パターン設定手段は、複数の種類の符号化開口パターンを記憶する記憶手段と、記憶手段から1つの符号化開口パターンを選択する選択手段とを有し、選択手段により選択した符号化開口パターンを設定する形態とすることができる。これによれば、符号化開口パターンを容易に変更することができる。
本発明は、符号化開口パターン設定手段は、符号化開口パターンに対応する重み係数を有する2次元フィルタの各位置における重み係数を指定する指定手段を有し、指定手段による指定により任意の符号化開口パターンを設定する形態することができる。これによれば、重み係数をユーザが自由に変更することができる。
本発明は、符号化開口パターン設定手段は、レンズアレイのレンズ毎の瞳像に異なる符号化開口パターンを設定する形態とすることができる。被写体像の位置ごとに符号化開口の効果を変えることができる。
本発明は、符号化開口パターン設定手段は、画素収集手段により収集した画素群毎に異なる符号化開口パターンを設定する形態とすることができる。被写体像の位置ごとに符号化開口の効果を変えることができる。
本発明は、撮像装置が備えることが望ましい。
本発明の一の形態に係る画像処理方法は、メインレンズと、2次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設されたレンズアレイであって、レンズアレイの各レンズによりメインレンズの瞳像をイメージセンサの受光面にレンズアレイのレンズの数だけ結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得工程と、メインレンズの瞳像に対するそれぞれの符号化開口パターンを設定する符号化開口パターン設定工程と、イメージセンサから取得される画像中のレンズアレイのレンズ毎の瞳像と符号化開口パターン設定工程により設定された符号化開口パターンとの重み付き積和演算を行う演算工程と、演算工程による演算結果に基づく画像を生成する画像生成工程と、を備えている。
本発明によれば、メインレンズの瞳像と符号化開口パターンとの重み付き積和演算を行うことによってレンズ瞳位置(瞳面)に符号化開口を挿入して撮影した画像と同等の画像を得ることができる。これにより、符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用した画像を得ることができる。また、動く被写体や動画においても高度な符号化開口撮影法を使用することができる。
本発明の他の形態に係る画像処理方法は、メインレンズと、2次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、イメージセンサの入射面側に配設され、メインレンズにより結像された像をイメージセンサの受光面に再結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得工程と、メインレンズの瞳像に対する符号化開口パターンであって、イメージセンサから取得される画像中の、レンズアレイのレンズ毎の部分像から被写体像の同じ位置に対応する画素を収集する画素収集工程と、メインレンズの瞳像に対する符号化開口パターンを設定する符号化開口パターン設定工程と、画素収集工程により収集した画素群と符号化開口パターン設定工程により設定された符号化開口パターンとの重み付き積和演算を行う演算工程と、演算工程による演算結果に基づく画像を生成する画像生成工程と、を備えている。
本発明によれば、レンズアレイの各レンズごとに得られる部分像の同じ位置に対応する画素に対して符号化開口パターンに対応する重み付き積和演算を行うことによってレンズ瞳位置(瞳面)に符号化開口を挿入して撮影した画像と同等の画像を得ることができる。これにより、符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用した画像を得ることができる。また、動く被写体や動画においても高度な符号化開口撮影法を使用することができる。
本発明は、符号化開口パターン設定工程により符号化開口パターンの設定を変更する工程を含み、演算工程は、画像取得工程により取得した1つの画像に対して符号化開口パターン設定工程により符号化開口パターンが変更される毎に変更後の符号化開口パターンを使用した重み付き積和演算を実行し、画像生成工程は、符号化開口パターン設定工程により符号化開口パターンが変更される毎に演算工程による演算結果に基づいて画像を生成する形態とすることができる。
本発明によれば、符号化開口をレンズ瞳位置に挿入して撮影した画像と同等の画像を仮想的に取得することができ、これにより符号化開口パターンの選択・交換が容易になり、一回の撮影だけで複数の符号化開口を適用することができ、また動く被写体や動画においても高度な符号化開口撮影法を使用することができる。
以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。
図1は本発明の第1の実施形態に係る撮像装置10(撮像装置)の外観斜視図である。図1に示すように、撮像装置10の前面には撮影レンズ(メインレンズ)12、ストロボ18等が配置され、上面にはシャッタボタン38-1が設けられている。L1はメインレンズ12の光軸を表す。
図2は撮像装置10の内部構成の実施形態を示すブロック図である。
この撮像装置10は、撮像した画像をメモリカード54に記録するもので、メインレンズ12とCMOS型の撮像素子(イメージセンサ)16との間にマイクロレンズアレイ14が設けられ、いわゆるプレノプティックカメラの撮影光学系を有している。装置全体の動作は、中央処理装置(CPU:Central Processing Unit)40によって統括制御される。
撮像装置10には、シャッタボタン38-1、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキー等を含む操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置10の各回路を制御し、例えば、撮影動作制御、画像処理制御、画像データの記録/再生制御、液晶モニタ(LCD)30の表示制御などを行う。
シャッタボタン38-1(図1)は、撮影開始の指示を入力する操作ボタンであり、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択手段である。
再生ボタンは、撮影記録した静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。MENU/OKキーは、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。また、十字キーの上/下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。BACKキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせるときなどに使用される。
撮影モード時において、被写体光は、メインレンズ12、マイクロレンズアレイ14を介してCMOS型の撮像素子(イメージセンサ)16の受光面に結像される。
マイクロレンズアレイ14は、一部を抽出して正面から示した図3のイメージ図に示すように所定焦点距離の多数のマイクロレンズ14(i)(iは各マイクロレンズに付する異なる番号)を有している。
イメージセンサ16は、多数の受光セル(受光素子)が2次元配列されており、各受光セルの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧(または電荷)に変換される。尚、イメージセンサ16は、受光セル毎に赤(R)、緑(G)、青(B)のカラーフィルタが配設されている。
イメージセンサ16に蓄積された信号電圧(または電荷)は、受光セルそのものもしくは付設されたキャパシタで蓄えられる。蓄えられた信号電圧(または電荷)は、センサ制御部32により、X-Yアドレス方式を用いたMOS(Metal Oxide Semiconductor)型撮像素子(いわゆるCMOSセンサ)の手法を用いて、画素位置の選択とともに読み出される。これにより、イメージセンサ16から画素毎の信号電圧を読み出すことができる。
イメージセンサ16から読み出された撮像信号(電圧信号)は、相関二重サンプリング処理(イメージセンサの出力信号に含まれるノイズ(特に熱雑音)等を軽減することを目的として、イメージセンサの1画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理)により画素毎のR、G、B信号がサンプリングホールドされ、増幅されたのちA/D変換器21に加えられる。A/D変換器21は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。尚、MOS型のイメージセンサでは、A/D変換器が内蔵されているものがあり、この場合、イメージセンサ16から直接R、G、Bのデジタル信号が出力される。
画像入力コントローラ22は、イメージセンサ16から画素位置を選択して画素データを読み出すことにより取得することができるが、本実施の形態では、イメージセンサ16から全ての画素データを読み出してメモリ(SDRAM:Synchronous Dynamic Random Access Memory)48に一時的に記憶する。
デジタル信号処理部24は、画像入力コントローラ22を介してメモリ48に記憶された画素データからなる画像データを読み出し、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、YC処理等の所定の信号処理を行う。また、このデジタル信号処理部24において後述の符号化開口処理を実施する。
デジタル信号処理部24で処理され画像データは、VRAM(Video Random Access Memory)50に入力される。VRAM50から読み出された画像データはビデオ・エンコーダ28においてエンコーディングされ、カメラ背面に設けられている液晶モニタ30に出力され、これにより被写体像が液晶モニタ30の表示画面上に表示される。
操作部38のシャッタボタン38-1の第1段階の押下(半押し)があると、CPU40は、AE(Automatic Exposure)動作を開始させ、A/D変換器21から出力される画像データは、AE検出部44に取り込まれる。
AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値に基づいて絞り(図示せず)の絞り値及びイメージセンサ16の電子シャッタ(シャッタスピード)を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞りを制御すると共に、決定したシャッタスピードに基づいてセンサ制御部32を介してイメージセンサ16での電荷蓄積時間を制御する。
AE動作が終了し、シャッタボタン38-1の第2段階の押下(全押し)があると、その押下に応答してA/D変換器21から出力される画像データが画像入力コントローラ22からメモリ(SDRAM)48に入力され、一時的に記憶される。メモリ48に一時的に記憶された画像データは、デジタル信号処理部24により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理(YC処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、再びメモリ48に記憶される。
メモリ48に記憶されたYCデータは、それぞれ圧縮伸張処理部26に出力され、JPEG(Joint Photographic Experts Group)などの所定の圧縮処理が実行されたのち、メディア・コントローラ52を介してメモリカード54に記録される。
次に、デジタル信号処理部24により行われる符号化開口処理(重み付き積和演算)について説明する。
図4は、符号化開口処理に関連する符号化開口関連部の構成を示した構成図である。図4では、図1のメインレンズ12、マイクロレンズアレイ14、イメージセンサ16、及びデジタル信号処理部24に内包される符号化開口処理部80が抽出して示されている。図4では、イメージセンサ16により取り込まれた画像データが符号化開口処理部80(デジタル信号処理部24)に読み込まれるまでに経由する各処理部と、符号化開口処理部80により生成された画像データが出力後に経由する各処理部は省略されている。また、詳細を後述する重み係数の設定、変更を行う符号化開口パターン設定部82(符号化開口パターン設定手段)が示されている。
同図において、メインレンズ12とマイクロレンズアレイ14とイメージセンサ16は、第1の実施の形態の指向性センサを構成しており、メインレンズ12に対してピントが合う合焦距離の位置(合焦面FPの位置)に存在する被写体Objからメインレンズ12に入射した光線に対して、メインレンズ12の瞳面PPにおいて異なる領域を通過した光線をイメージセンサ16の異なる位置の受光セルで受光するように構成されている。
即ち、瞳面PPを複数の領域(「分割領域」という)に分割したと想定して、同一の分割領域内を通過する光線のみにより被写体Objの1コマ分の画像データを取得することによって分割領域数分の被写体Objの画像データを同時に取得することができるようになっている。
以下において説明する符号化開口処理は、これら複数の画像データにおいて、被写体像の同一位置となる画素データを符号化開口パターンに対応した重み係数で重み付き積和演算することで、物理的な符号化開口を瞳位置(瞳面)に配置した画像と同等の画像を得るようにしたものである。
同図に示すように、マイクロレンズアレイ14は、各マイクロレンズ14(i)(iは、各マイクロレンズに付したmから-nまでの番号であって後述のセンサブロック番号、mとnは正の整数)の焦点距離に対応して各マイクロレンズ14(i)が瞳面PPの像(瞳像)をイメージセンサ16の受光面に結像する位置に配置されている。
マイクロレンズアレイ14の後部には、各々のマイクロレンズ14(i)に入射した光線を受光する複数の受光セル16(i,j)(iはマイクロレンズの番号、jは同一番号i内での受光セルに付した番号であって正の整数)が配置される。これによって、各マイクロレンズ14(i)に入射した光線がその入射方向に応じて異なる受光セルに受光されるようになっている(詳細は後述)。
なお、任意の番号iのマイクロレンズ14(i)と、その番号iのマイクロレンズ14(i)に入射した光線を受光する複数の受光セル16(i,j)とを1組みとしてセンサブロックというものとし、番号iのマイクロレンズ14(i)を含むセンサブロックをセンサブロックB(i)と記載する。
このように構成された第1の実施の形態の指向性センサによれば、合焦面FP上の一点(物点)から拡散してメインレンズ12に入射した光線は、メインレンズ12によって集光されて、物点の合焦面FP上の位置に応じた同一(1つ)のセンサブロックB(i)のマイクロレンズ14(i)に入射する。そして、同一のマイクロレンズ14(i)に入射したそれらの光線は、各々の入射方向、即ち、瞳面PPを通過した位置に応じた位置の受光セル16(i,j)の受光面に入射する。したがって、同一物点に対する画素データが、その物点からの光線が通過した瞳面PPの位置によって複数の画素データに分割されて取得されるようになっている。
また、合焦面FP上の異なる物点から拡散してメインレンズ12に入射した光線は、異なるセンサブロックのマイクロレンズに入射し、各々のマイクロレンズにおいて、上述のように瞳面PPを通過した位置に応じた位置の受光セル16(i,j)の受光面に入射する。
したがって、イメージセンサ16の受光セル全体(センサブロック全体)により、合焦面FPの被写体Objの各物点に対する画素データからなる画像データが得られると共に、各受光セルに入射した光線が瞳面PPを通過する位置によって各画素データを分けた場合に複数コマ分の被写体Objの画像データが得られる。
図5は、図4の一部を拡大して示した図であり、例えば光軸上のセンサブロックB(0)に着目して符号化開口処理部80の処理について説明する。また、マイクロレンズアレイ14の各マイクロレンズ14(i)やイメージセンサ16の各受光セル16(i,j)は2次元的に配列されているが、主として1次元的に配列されているものとして説明する。2次元的に配列されていることを考慮する場合には適宜説明する。
同図において、光軸上のセンサブロックB(0)に着目すると、マイクロレンズ14(0)によって瞳面PPの像(瞳像)が結像される領域には、5つの受光セル16(0,1)~16(0,5)が配置されている。これによって、瞳面PPを通過してマイクロレンズ14(0)に入射した光線は5つの受光セル16(0,1)~16(0,5)のうちのいずれかの受光面に入射し、受光セル16(0,1)~16(0,5)の各々から5つの画素データS(0,1)~S(0,5)が得られるようになっている。
ここで、瞳面PPの領域は、5つの受光セル16(0,1)~16(0,5)の各々に入射する光線が通過する領域によって複数の分割領域C(j)(jは、受光セルの番号に対応させた1~5の番号)に分割される。即ち、同図の光線L(0,1)に代表されるようにマイクロレンズ14(0)に入射して受光セル16(0,1)の受光面に入射する光線が瞳面PPを通過する領域を分割領域C(1)、光線L(0,2)に代表されるようにマイクロレンズ14(0)に入射して受光セル16(0,2)の受光面に入射する光線が瞳面PPを通過する領域を分割領域C(2)、光線L(0,3)に代表されるようにマイクロレンズ14(0)に入射して受光セル16(0,3)の受光面に入射する光線が瞳面PPを通過する領域を分割領域C(3)、光線L(0,4)に代表されるようにマイクロレンズ14(0)に入射して受光セル16(0,4)の受光面に入射する光線が瞳面PPを通過する領域を分割領域C(4)、光線L(0,5)に代表されるようにマイクロレンズ14(0)に入射して受光セル16(0,5)の受光面に入射する光線が瞳面PPを通過する領域を分割領域C(5)として5つの分割領域C(1)~C(5)に分割される。
このように瞳面PPを分割する場合の分割領域の分割数は、各々のマイクロレンズ14(i)により瞳面PPの像が結像されるイメージセンサ16における各々の領域に受光セルをいくつ配置するかによって異なり、その数を多くするほど瞳面PPを分割する分割領域の数を増やして細分化することができる。また、その分割の形態も受光セルの配列等によって異なる。
また、各受光セル16(0,1)~16(0,5)は、瞳面PPの像(瞳像)を撮像するものと解釈でき、受光セル16(0,1)~16(0,5)の各々によって分割領域C(1)~C(5)の各々を撮像し、画素データとして取得している。
センサブロックB(0)の各受光セル16(0,1)~16(0,5)によって得られた画素データS(0,1)~S(0,5)は、符号化開口処理部80に取り込まれる。そして、各センサブロックB(i)に対応して設けられた重み付き積和演算手段U(i)(iは対応するセンサブロックの番号)のうちの重み付き積和演算手段U(0)にそれらの画素データS(0,1)~S(0,5)が読み込まれて、符号化開口パターンに対応した重み係数αj(αjは0以上で1以下の実数、jは受光セルの番号に対応させた1~5の番号)の重み付き積和演算が行われ、次式(1)により重み付き積和値S0が算出される。
S0=α1・S(0,1)+α2・S(0,2)+α3・S(0,3)+α4・S(0,4)+α5・S(0,5)=Σαj・S(0,j)(j=1~5) ・・・(1)
これによれば、重み付き積和値S0として算出された画素データS0は、瞳面PPの各分割領域C(1)~C(5)の各々に対して重み係数α1~α5の各々の値に対応した光透過率の光学フィルタ(2次元フィルタ)を配置し、通常のイメージセンサのようにマイクロレンズ14(0)に入射した光線(合焦面FPの物点からの光線)を1つの受光セルで受光した場合に得られる画素データに相当している。
これによれば、重み付き積和値S0として算出された画素データS0は、瞳面PPの各分割領域C(1)~C(5)の各々に対して重み係数α1~α5の各々の値に対応した光透過率の光学フィルタ(2次元フィルタ)を配置し、通常のイメージセンサのようにマイクロレンズ14(0)に入射した光線(合焦面FPの物点からの光線)を1つの受光セルで受光した場合に得られる画素データに相当している。
センサブロックB(0)以外の任意のセンサブロックB(i)(iは任意の番号)に関しても同様に、マイクロレンズ14(i)に入射した光線を受光する受光セル16(i,j)(jは、受光セルに付した1~5の番号)には、瞳面PPの分割領域C(j)を通過した光線が入射し、各受光セル16(i,1)~16(i,5)によって瞳面PPの各分割領域C(1)~C(5)の像(瞳像)が撮像される。
これにより得られた画素データS(i,1)~S(i,5)は符号化開口処理部80に取り込まれ、センサブロックB(i)に対応する重み付き積和演算手段U(i)に読み込まれる。そして、それらの画素データS(i,1)~S(i,5)に対して符号化開口パターンに対応した重み係数αjの重み付き積和演算が行われ、上式(1)と同様に重み付き積和値Si(iは、センサブロック番号iに対応した番号)が次式(2)により算出される。
Si=α1・S(i,1)+α2・S(i,2)+α3・S(i,3)+α4・S(i,4)+α5・S(i,5)=Σαj・S(i,j)(j=1~5) ・・・(2)
これによれば、センサブロックB(i)の総数、即ち、マイクロレンズ14(i)のレンズ数に相当する画素数からなる1コマ分の画像データが生成される。そして、任意の位置のセンサブロックB(i)により得られた画素データS(i,1)~S(i,5)に対して上式(2)により重み付き積和値Siとして算出された画素データSiは、瞳面PPの各分割領域C(1)~C(5)の各々に対して重み係数α1~α5の各々の値に対応した光透過率の光学フィルタを配置し、通常のイメージセンサのようにマイクロレンズ14(i)に入射した光線(合焦面FPの物点からの光線)を1つの受光セルで受光した場合に得られる画素データに相当しているということができる。即ち、メインレンズ12の物体像に重み係数α1~α5を有する2次元フィルタからなる符号化開口パターンを畳み込むことに相当する。
これによれば、センサブロックB(i)の総数、即ち、マイクロレンズ14(i)のレンズ数に相当する画素数からなる1コマ分の画像データが生成される。そして、任意の位置のセンサブロックB(i)により得られた画素データS(i,1)~S(i,5)に対して上式(2)により重み付き積和値Siとして算出された画素データSiは、瞳面PPの各分割領域C(1)~C(5)の各々に対して重み係数α1~α5の各々の値に対応した光透過率の光学フィルタを配置し、通常のイメージセンサのようにマイクロレンズ14(i)に入射した光線(合焦面FPの物点からの光線)を1つの受光セルで受光した場合に得られる画素データに相当しているということができる。即ち、メインレンズ12の物体像に重み係数α1~α5を有する2次元フィルタからなる符号化開口パターンを畳み込むことに相当する。
したがって、重み係数α1~α5の各々の値を変えることによって様々なパターンの符号化開口を瞳面PPに仮想的に配置することができ、様々なパターンの符号化開口を瞳面PPに物理的に配置したときに通常のイメージセンサで取得される被写体の画像データを生成することができる。
また、撮影ごとに符号化開口パターンを変えるのではなく1回の撮影によって取得した画像データ(画素データ)に対して、異なるパターンの符号化開口を瞳面PPに配置したときの画像データを生成することができる。オリジナルの画像データを保存しておけば、所望のパターンの符号化開口を配置したときの画像データを所望のときに生成することができる。
なお、重み付き積和演算手段U(i)をセンサブロックB(i)ごとに設けるものとして説明したが、各センサブロックB(i)により取得された画素データS(i,1)~S(i,5)を順次読み込んで重み付き積和演算を行うことで重み付き積和演算手段の数を1つ又はセンサブロックB(i)の数よりも少なくすることができる。
ここで、各センサブロックB(i)における複数の受光セル16(i,j)が上記説明のように1次元配列ではなく実際には2次元配列であることを考慮した符号化開口パターンについて説明する。
各センサブロックB(i)における複数の受光セル16(i,j)が2次元配列されている場合、各マイクロレンズ14(i)に入射した光線がその入射角度に応じて2次元配列された複数の受光セル16(i,j)によって受光され、瞳面PPの像(瞳像)がそれらの受光セル16(i,j)によって撮像される。
このとき、瞳面PPの分割領域C(j)(jは、受光セルの番号に対応させた番号)も受光セル16(i,j)の配列に対応して2次元的な配列となる。分割領域C(j)を通過してマイクロレンズ14(i)に入射した光線は、受光セル16(i,j)によって受光され、瞳面PPの分割領域C(j)の像が受光セル16(i,j)によって撮像される。
図6は、各センサブロックB(i)における受光セル16(i,j)の数を、例えば縦横8×8個の総数64個(j=1~64)とした場合における各受光セル16(i,j)に対応した分割領域C(j)(j=1~64)を示したものである。
このように2次元的に配列された分割領域C(j)に対して1次元的に配列された場合と同様に、光透過率をαj(j=1~64)とする光学フィルタ(2次元フィルタ)を配置したと仮定した場合に、通常のイメージセンサにより得られる画素データSiは、上式(2)と同様の重み係数αjを用いた重み付き積和演算によって、次式(3)の重み付き積和値Siとして求めることができる。
Si=Σαj・S(i,j)(j=1~64) ・・・(3)
2次元的に配列された受光セル16(i,j)の数が64と異なる場合であっても、また、その配列がどのような形態であっても上式(2)、(3)のようにして重み付き積和値Siを算出することで、各受光セル16(i,j)に対応する瞳面PPの各分割領域C(j)に重み係数αjの光透過率の2次元フィルタからなる符号化開口を配置したときの画素データを算出することができる。1つのセンサブロックB(i)に対して受光セル16(i,j)を縦横16×16個の総数256個(j=1~256)とすると好適である。
2次元的に配列された受光セル16(i,j)の数が64と異なる場合であっても、また、その配列がどのような形態であっても上式(2)、(3)のようにして重み付き積和値Siを算出することで、各受光セル16(i,j)に対応する瞳面PPの各分割領域C(j)に重み係数αjの光透過率の2次元フィルタからなる符号化開口を配置したときの画素データを算出することができる。1つのセンサブロックB(i)に対して受光セル16(i,j)を縦横16×16個の総数256個(j=1~256)とすると好適である。
図7A~図7Cは、図6のように分割された分割領域C(j)の各々に遮光(光透過率0)又は開口(光透過率1)の符号化開口を配置した場合の符号化開口パターンを例示した図である。これらの図において、黒色の分割領域が遮光、白色の分割領域が開口を示す。例えば図7Aにおいて例えば黒色の分割領域C(X)は遮光された領域であり、このときの重み係数αXは0となる。一方、図7Aにおいて白色の分割領域C(Y)は開口された領域であり、このときの重み係数αYは1となる。
次に、上記の重み係数αjを設定して符号化開口パンターンを設定するための構成部について説明する。図4に示したように、重み付き積和演算手段U(i)(iは対応するセンサブロックの番号)を備えた符号化開口処理部80には、符号化開口パターン設定部82(符号化開口パターン設定手段)が接続されている。
符号化開口パターン設定部82は、複数の種類の符号化開口パターンを記憶した記憶手段84と、記憶手段84から読み出す符号化開口パターンを選択する選択手段86とを有している。
記憶手段84は、例えば、図1におけるEEPROM(Electronically Erasable and Programmable Read Only Memory)56等の任意のメモリに相当する。記憶手段84に記憶しておく符号化開口パターンは、図6に示したような瞳面PPの分割領域C(j)に対応して設定された図7A~図7Cに示したような符号化開口パターンに関する情報であり、例えば、符号化開口パターンの種類ごとに、各分割領域C(j)の光透過率を示す上記の重み係数αjのデータを保持している。
選択手段86は、例えば、図1におけるCPU40と操作部38の任意の操作スイッチからなる。記憶手段84に記憶されている複数種類の符号化開口パターンの中からユーザが所望の符号化開口パターンを操作部38により選択すると、CPU40が選択された符号化開口パターンのデータを記憶手段84から読み出し、符号化開口パターンに対応した重み係数αjを符号化開口処理部80に与える。
符号化開口処理部80は、上記のようにして符号化開口パターン設定部82から与えられた重み係数αjを各重み付き積和演算手段U(i)における重み付き積和演算で使用する重み係数αjとして設定し、上記の重み付き積和演算を実施する。
なお、符号化開口パターン設定部82の選択手段86は、ユーザが所望の符号化開口パターンを選択する手段ではなく、事前に決められた複数の種類の符号化開口パターンを順次選択して符号化開口処理部80に与えるようにしてもよい。これによって、1コマの撮影画像データに対して複数種類の符号化開口パターンによる重み付き積和演算を順次行うようにし、処理画像の液晶モニタ30への並列表示や切替表示、メモリカード54への保存などを自動的に行うようにしてもよい。
また、符号化開口処理部80において各センサブロックB(i)に対して同一値の重み係数αj(同一の符号化開口パターン)を使用して重み付き積和演算を行うものとしたが、センサブロックB(i)ごとに(各マイクロレンズ14(i)における瞳像ごと、即ち、重み付き積和演算手段U(i)ごとに)、異なる重み係数αj(符号化開口パターン)を設定できるようにしてもよい。
これによれば、各センサブロックB(i)から得られる画素データ(画素群)に対して複数種の異なる符号化開口パターンを適用した画素データを生成することができる。
即ち、物点の位置の応じて異なる符号化開口パターンを適用した画像データを生成することができ、瞳面PPに物理的に符号化開口を配置する場合には不可能な効果を得ることができる。この場合、符号化開口パターン設定部82は、センサブロックB(i)ごとの符号化開口パターン(重み付き係数αj)を符号化開口処理部80に与えるようにする。
また、上記説明では、重み付き係数αjは0以上で1以下の値としたがこれに限らない。マイナス値であってもよいし、1より大きい値であってもよい。
更に、重み付き係数αjの値は、ユーザが任意に指定して設定できるようにしてもよい。この場合には、符号化開口パターン設定部82は、指定手段を有し、その指定手段は、図1における操作部38の所定の操作スイッチを用いた手段とすることができる。
次に、主として、上記符号化開口処理部80により実施される符号化開口処理の手順について図8のフローチャートを用いて説明する。
ステップS10では、符号化開口処理部80は、イメージセンサ16で撮像された画像データ(上記画素データS(i,j))を取得する(画像取得処理)。そして、ステップS12に移行する。
ステップS12では、符号化開口パターン設定部82により、重み付き積和演算手段U(i)で使用する重み係数αj(符号化開口パターン)を設定する(符号化開口パターン設定処理)。そして、ステップS14に移行する。
ステップS14では、符号化開口処理部80の重み付き積和演算手段U(i)において、各センサブロックB(i)ごと(各マイクロレンズごと)の瞳像の画素データS(i,j)と重み係数αjとにより、重み付き積和演算を行い、その重み付き積和値Siを画素データSiとして算出する(重み付き積和演算処理)。そして、ステップS16に移行する。
ステップS16では、ステップS14での算出した画素データSiによりマイクロレンズ14(i)のレンズ数に相当する画素数(解像度)の画像を生成する(画像生成処理)。そして、本フローチャートの処理を終了する。このようして生成された画像データは、図1におけるメモリカード54への保存や液晶モニタ30への表示等のために符号化開口処理部80から他の処理部に転送される。
なお、符号化開口処理部80は、符号化開口パターン設定部82によって重み係数αjが変更されるごとに、同一の画像に対して変更後の重み係数αjを用いた重み付き積和演算を行い、符号化開口処理を施した画像を生成するようにしてもよい。
また、上述のような符号化開口に関する処理は、静止画の撮影時と動画の撮影時のいずれにかかわらず実施することができる。
図9は、図4における第1の実施の形態の指向性センサとは異なる第2の実施の形態の指向性センサを用いた場合の符号化開口関連部の構成を示した構成図である。図9では、図4、図5と同一又は類似の構成要素には同一符号を付し、説明を省略する。
同図において、メインレンズ12とマイクロレンズアレイ14とイメージセンサ16が指向性センサを構成しており、メインレンズ12、マイクロレンズ14、及び、イメージセンサ16の各々は、図4等に示した第1の実施の形態の指向性センサと同じ構成である。
一方、合焦面FP上の一点(物点)から拡散してメインレンズ12に入射した光線がマイクロレンズアレイ14の異なるマイクロレンズ14(i)に入射し、それらのマイクロレンズ14(i)の後方に配置されたイメージセンサ16の受光セル16(i,j)によって離散した位置で受光される点で図3の指向性センサと相違している。なお、第1の実施の形態の指向性センサと同様に任意の番号iのマイクロレンズ14(i)と、その番号iのマイクロレンズ14(i)に入射した光線を受光する複数の受光セル16(i,j)とを1組みとしてセンサブロックB(i)というものとする。
同図に示すように、マイクロレンズアレイ14は、各マイクロレンズ14(i)の焦点距離に対応して各マイクロレンズ14(i)がメインレンズ12の結像面の像をイメージセンサ16の各受光セル16(i,j)の受光面に結像する位置に配置されている。
即ち、マイクロレンズ14(i)の焦点距離をf′とし、マイクロレンズ14(i)と受光セル16(i,j)との距離をb′とすると、マイクロレンズ14(i)は、次式(4)、
1/f′=1/a′+1/b′ ・・・(4)
の関係から求まる前側の距離a′の面(結像面IP)の像を受光セル16(i,j)に結像する。その結像面IPと、メインレンズ12との距離をbとし、メインレンズ12の焦点距離をfとすると、少なくとも距離bが焦点距離fよりも長くなる位置にメインレンズ12が配置されている。このとき、メインレンズ12は、次式(5)、
1/f=1/a+1/b ・・・(5)
の関係から求まる前側の距離aの面を合焦面FPとして、合焦面FPの被写体Objを上記結像面IPに結像する。
1/f′=1/a′+1/b′ ・・・(4)
の関係から求まる前側の距離a′の面(結像面IP)の像を受光セル16(i,j)に結像する。その結像面IPと、メインレンズ12との距離をbとし、メインレンズ12の焦点距離をfとすると、少なくとも距離bが焦点距離fよりも長くなる位置にメインレンズ12が配置されている。このとき、メインレンズ12は、次式(5)、
1/f=1/a+1/b ・・・(5)
の関係から求まる前側の距離aの面を合焦面FPとして、合焦面FPの被写体Objを上記結像面IPに結像する。
マイクロレンズアレイ14の各マイクロレンズ14(i)の後部には、各々のマイクロレンズ14(i)に入射した光線を受光する複数の受光セル16(i,j)が第1の実施の形態の指向性センサと同様に配置される。これによって、各マイクロレンズ14(i)に入射した光線がその入射方向に応じて異なる受光セルに受光されるようになっている(詳細は後述)。
このように構成された第2の実施の形態の指向性センサによれば、合焦面FP上の一点(物点)から拡散してメインレンズ12に入射した光線は、メインレンズ12によって集光されて結像面IP上の像点となる位置を通過し、光線の進行方向に応じた複数の位置のセンサブロックB(i)のマイクロレンズ14(i)に入射する。各マイクロレンズ14(i)に入射した各々の光線は、それらの入射方向、瞳面PPを通過した位置に応じたセンサブロックB(i)内の位置の受光セル16(i,j)に入射する。したがって、同一物点に対する画素データが、その物点からの光線が通過した瞳面PPの位置によって複数の画素データに分割されて取得されるようになっている。
また、本形態の場合、合焦面FP上の異なる物点から拡散してメインレンズ12に入射した光線が、同一のマイクロレンズ14(i)に入射するが、それらは結像面IPを通過する位置が異なるため、異なる方向からマイクロレンズ14(i)に入射し、異なる位置の受光セル16(i,j)の受光面に入射する。
したがって、イメージセンサ16の受光セル全体(センサブロック全体)により、合焦面FPの被写体Objの各物点に対する画素データからなる画像データが得られると共に、各受光セルに入射した光線が瞳面PPを通過する位置によって各画素データを分けた場合に複数コマ分の被写体Objの画像データが得られる。
図10は、図9の一部を拡大して示した図であり、例えば光軸上のセンサブロックB(0)を中心としたセンサブロック(-1)、(-2)、0、1、2、に着目して説明する。
同図において、合焦点FPの被写体Objの光軸上の点から拡散されてメインレンズ12に入射した各光線は、光線L(0,1)~L(0,5)に代表されるように瞳面PPの異なる領域を通過した後、結像面IPと光軸とが交わる中心点Ocで交差し、像を結ぶ。同様にして、合焦面FPの被写体Objの他の点から拡散されてメインレンズ12に入射した各光線もメインレンズ12の結像面IPにおいて像を結び、結像面IPには被写体Objが反転像として結像される。
結像面IPの中心点Ocで交差した各光線は、光線L(0,1)~L(0,5)のように、各々、瞳面PPを通過した位置に応じて、異なるセンサブロックB(2)、B(1)、B(0)、B(-1)、B(-2)の各々のマイクロレンズ14(2)~14(-2)に入射し、センサブロックB(2)~B(-2)の各々に配置された受光セル16(2,1)、16(1,2)、16(0,3)、16(-1,4)、16(-2,5)の受光面に入射する。
したがって、1つの物点に対する画素データが、それらの受光セルにより5つの画素データS(2,1)、S(1,2)、S(0,3)、S(-1,4)、S(-2,5)として得られるようになっている。
即ち、各センサブロックB(i)のマイクロレンズ14(i)は、メインレンズ12により結像された結像面IPの像を同一センサブロックB(i)内の各受光セル16(i,j)の受光面に再結像しており、第1の実施の形態とは異なり、各センサブロックB(i)の各々において、被写体像(部分像)を形成している。
したがって、同一物点に対する像が複数のセンサブロックB(i)において結像され、それらは瞳面PPの異なる領域を通過して光線によって形成される。
ここで、各センサブロックB(i)の位置に応じて、各センサブロックB(i)において再結像される被写体像の範囲が相違する。即ち、イメージセンサ16全体により撮像する被写体像に対して各センサブロックB(i)のマイクロレンズ14(i)は、部分的な範囲を部分像として結像すると共に、センサブロックB(i)の位置によって異なる部分像を結像する。
したがって、同一物点に対する像は、所定範囲のセンサブロックB(i)においてのみ形成され、特定の数及び特定の位置の受光セルに受光される。同図の例では、瞳面PPを通過して結像面IPの中心点Ocを通過する光線の範囲が5つのマイクロレンズ14(2)~14(-2)に限られているため、同一物点の像は、5つの受光セルによって受光され、5つの画素データとして得られるものとしている。また、これに対応して瞳面PPの分割領域の第1の実施の形態と同様に5つの分割領域C(1)~C(5)に分割されている。
符号化開口処理部80には、第1の実施の形態とは異なり、各センサブロックB(i)により得られた画素データのうちから、同一物点に対する画素データを収集し、第1の実施の形態と同様に重み付き積和演算手段U(i)に振り分ける画素収集処理部90(画素収集手段)を有している。即ち、画素収集処理部90は、各センサブロックB(i)により得られる部分像から被写体像の同じ位置に対応する画素データを収集し、同じ位置に対応する画素データを重み付き積和演算手段U(i)に受け渡す。
このとき、各画素データに対して、瞳面PPを通過した分割領域C(j)によって、第1の実施の形態と同様にS(i,j)等の識別符号を付けるものとすると、上式(1)~(3)と同様に、Si=Σαj・S(i,j)という重み係数αjの重み付き積和演算によって符号化開口処理を施した画素データを生成することができる。
例えば、図10の例において、画素収集処理部90は、結像面IPの中心点Ocを通過した光線L(0,1)~L(0,5)が入射する受光セル16(2,1)、16(1,2)、16(0,3)、16(-1,4)、16(-2,5)により得られた画素データS(2,1)、S(1,2)、S(0,3)、S(-1,4)、S(-2,5)を被写体像の同じ位置に対応する画素データとして収集し、それらの画素データS(2,1)、S(1,2)、S(0,3)、S(-1,4)、S(-2,5)をS(0,1)、S(0,2)、S(0,3)、S(0,4)、S(0,5)として重み付き積和演算手段U(0)に受け渡す。これによって、上式(1)~(3)と同様に、S0=Σαj・S(0,j)という重み係数αjの重み付き積和演算によって符号化開口処理を施した画素データS0を生成することができる。
このようにして生成した画素データからなる1コマ分の画像データを生成することができる。この第2の実施の形態においても、マイクロレンズ14(i)のレンズ数に相当する画素数(解像度)の画像データが得られる。
なお、本第2の実施の形態の指向性センサを使用する場合に、イメージセンサ16の各受光セル16(i,j)から得られた画素データに対して、同一物点(被写体像の同じ位置)の画素データを上記の画素収集処理部90で収集するという処理(工程)が、第1の実施の形態における図8のステップS10の後に加わる以外に、第1の実施の形態と大きく相違するものはない。したがって、第1の実施の形態の指向性センサを使用した場合と同様のことが第2の実施の形態の指向性センサを使用した場合にも適用できる。
図11は、撮像装置10の他の実施形態であるスマートフォン500の外観を示すものである。図11に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。尚、筐体502の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図12は、図11に示すスマートフォン500の構成を示すブロック図である。図12に示すように、スマートフォンの主たる構成要素として、無線通信部510と、表示入力部520と、通話部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501とを備える。また、スマートフォン500の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部510は、主制御部501の指示に従って、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部520は、主制御部501の制御により、画像(静止画及び動画)や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。生成された3D画像を鑑賞する場合には、表示パネル521は、3D表示パネルであることが好ましい。
表示パネル521は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
図11に示すように、スマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。この配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部530は、スピーカ531やマイクロホン532を備え、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力したり、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力するものである。また、図11に示すように、例えば、スピーカ531を表示入力部520が設けられた面と同じ面に搭載し、マイクロホン532を筐体502の側面に搭載することができる。
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部540は、スマートフォン500の筐体502の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部550は、主制御部501の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552により構成される。尚、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA(Personal Digital Assistant)、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部570は、主制御部501の指示に従って、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当スマートフォン500の緯度、経度、高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN(Local Area Network))から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
モーションセンサ部580は、例えば、3軸の加速度センサなどを備え、主制御部501の指示に従って、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
電源部590は、主制御部501の指示に従って、スマートフォン500の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データに従って動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアに従って主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル521に重ならない外縁部分(非表示領域)かを判定し、操作パネル522の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部541は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部541に前述した撮像装置10を適用することができる。物理的に光学系に配置する符号化開口をスマートフォン500の光学系に挿入することは難しいため、前述した撮像装置10はスマートフォン500のような携帯端末に組み込むカメラ部として好適である。
また、カメラ部541は、主制御部501の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力することができる。図11に示すにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、あるいは、複数のカメラ部541が搭載されてもよい。尚、複数のカメラ部541が搭載されている場合には、撮影に供するカメラ部541を切り替えて単独にて撮影したり、あるいは、複数のカメラ部541を同時に使用して撮影することもできる。
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、あるいは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
本実施の形態では、イメージセンサにCMOS型撮像素子を用いた例で説明したが、CMOS型に限定されるものではなく、CCD等の他のイメージセンサも適用可能である。
また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…撮像装置、12…メインレンズ,14…マイクロレンズアレイ、16…イメージセンサ、40…CPU、80…符号化開口処理部、82…符号化開口パターン設定部、84…記憶手段、86…選択手段、B(i)…センサブロック、C(j)…分割領域、FP…合焦面、PP…瞳面、U(i)…重み付き積和演算手段
Claims (10)
- メインレンズと、2次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、前記イメージセンサの入射面側に配設されたレンズアレイであって、該レンズアレイの各レンズにより前記メインレンズの瞳像を前記イメージセンサの受光面に前記レンズアレイのレンズの数だけ結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得手段と、
メインレンズの複数の瞳像に対するそれぞれの符号化開口パターンを設定する符号化開口パターン設定手段と、
前記イメージセンサから取得される画像中の前記レンズアレイのレンズ毎の瞳像と前記符号化開口パターン設定手段により設定された符号化開口パターンとの重み付き積和演算を行う演算手段と、
前記演算手段による演算結果に基づく画像を生成する画像生成手段と、
を備えた画像処理装置。 - メインレンズと、2次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、前記イメージセンサの入射面側に配設され、前記メインレンズにより結像された像を前記イメージセンサの受光面に再結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得手段と、
メインレンズの瞳像に対する符号化開口パターンであって、前記イメージセンサから取得される画像中の、前記レンズアレイのレンズ毎の部分像から被写体像の同じ位置に対応する画素を収集する画素収集手段と、
メインレンズの瞳像に対する符号化開口パターンを設定する符号化開口パターン設定手段と、
前記画素収集手段により収集した画素群と前記符号化開口パターン設定手段により設定された符号化開口パターンとの重み付け積和演算を行う演算手段と、
前記演算手段による演算結果に基づく画像を生成する画像生成手段と、
を備えた画像処理装置。 - 前記符号化開口パターン設定手段は、複数の種類の符号化開口パターンを記憶する記憶手段と、前記記憶手段から1つの符号化開口パターンを選択する選択手段とを有し、前記選択手段により選択した符号化開口パターンを設定する請求項1又は2に記載の画像処理装置。
- 前記符号化開口パターン設定手段は、符号化開口パターンに対応する重み係数を有する2次元フィルタの各位置における重み係数を指定する指定手段を有し、前記指定手段による指定により任意の符号化開口パターンを設定する請求項1又は2に記載の画像処理装置。
- 前記符号化開口パターン設定手段は、前記レンズアレイのレンズ毎の瞳像に異なる符号化開口パターンを設定する請求項1に記載の画像処理装置。
- 前記符号化開口パターン設定手段は、前記画素収集手段により収集した画素群毎に異なる符号化開口パターンを設定する請求項2に記載の画像処理装置。
- 請求項1から6のいずれか1項に記載の画像処理装置を備えた撮像装置。
- メインレンズと、2次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、前記イメージセンサの入射面側に配設されたレンズアレイであって、該レンズアレイの各レンズにより前記メインレンズの瞳像を前記イメージセンサの受光面に前記レンズアレイのレンズの数だけ結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得工程と、
メインレンズの瞳像に対するそれぞれの符号化開口パターンを設定する符号化開口パターン設定工程と、
前記イメージセンサから取得される画像中の前記レンズアレイのレンズ毎の瞳像と前記符号化開口パターン設定工程により設定された符号化開口パターンとの重み付き積和演算を行う演算工程と、
前記演算工程による演算結果に基づく画像を生成する画像生成工程と、
を含む画像処理方法。 - メインレンズと、2次元状に配列された光電変換素子により構成される複数の画素を有するイメージセンサと、前記イメージセンサの入射面側に配設され、前記メインレンズにより結像された像を前記イメージセンサの受光面に再結像させるレンズアレイとを有する撮像手段から画像を取得する画像取得工程と、
メインレンズの瞳像に対する符号化開口パターンであって、前記イメージセンサから取得される画像中の、前記レンズアレイのレンズ毎の部分像から被写体像の同じ位置に対応する画素を収集する画素収集工程と、
メインレンズの瞳像に対する符号化開口パターンを設定する符号化開口パターン設定工程と、
前記画素収集工程により収集した画素群と前記符号化開口パターン設定工程により設定された符号化開口パターンとの重み付き積和演算を行う演算工程と、
前記演算工程による演算結果に基づく画像を生成する画像生成工程と、
を含む画像処理方法。 - 前記符号化開口パターン設定工程により符号化開口パターンの設定を変更する工程を含み、
前記演算工程は、前記画像取得工程により取得した1つの画像に対して前記符号化開口パターン設定工程により符号化開口パターンが変更される毎に変更後の符号化開口パターンを使用した重み付き積和演算を実行し、
前記画像生成工程は、前記符号化開口パターン設定工程により符号化開口パターンが変更される毎に前記演算工程による演算結果に基づいて画像を生成する請求項8又は9に記載の画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13841002.2A EP2903258B1 (en) | 2012-09-25 | 2013-09-19 | Image-processing device and method, and image pickup device |
JP2014538439A JP5756572B2 (ja) | 2012-09-25 | 2013-09-19 | 画像処理装置及び方法並びに撮像装置 |
US14/667,995 US9473725B2 (en) | 2012-09-25 | 2015-03-25 | Image-processing and encoded aperture pattern setting device and method, and image pickup device comprising same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012210960 | 2012-09-25 | ||
JP2012-210960 | 2012-09-25 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/667,995 Continuation US9473725B2 (en) | 2012-09-25 | 2015-03-25 | Image-processing and encoded aperture pattern setting device and method, and image pickup device comprising same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014050699A1 true WO2014050699A1 (ja) | 2014-04-03 |
Family
ID=50388104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/075307 WO2014050699A1 (ja) | 2012-09-25 | 2013-09-19 | 画像処理装置及び方法並びに撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9473725B2 (ja) |
EP (1) | EP2903258B1 (ja) |
JP (1) | JP5756572B2 (ja) |
WO (1) | WO2014050699A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016157999A (ja) * | 2015-02-23 | 2016-09-01 | 日本電信電話株式会社 | ライトフィールド取得装置及びライトフィールド取得方法 |
WO2017170392A1 (ja) * | 2016-03-30 | 2017-10-05 | 株式会社ニコン | 光学装置 |
JPWO2016092674A1 (ja) * | 2014-12-11 | 2017-10-05 | オリンパス株式会社 | 観察システム、光学部品、及び観察方法 |
JP2018022938A (ja) * | 2016-08-01 | 2018-02-08 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム |
JPWO2018123318A1 (ja) * | 2016-12-27 | 2019-10-31 | 富士フイルム株式会社 | 撮像装置及び撮像モジュール |
JPWO2019188536A1 (ja) * | 2018-03-29 | 2021-04-01 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、情報処理システム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015045829A1 (ja) * | 2013-09-27 | 2015-04-02 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP6598473B2 (ja) * | 2015-02-27 | 2019-10-30 | キヤノン株式会社 | 撮像装置および画像処理装置 |
EP3104595A1 (en) * | 2015-06-08 | 2016-12-14 | Thomson Licensing | Light field imaging device |
CN105931190B (zh) * | 2016-06-14 | 2019-09-24 | 西北工业大学 | 高角度分辨率光场获取装置与图像生成方法 |
US10200605B2 (en) * | 2016-10-25 | 2019-02-05 | Nokia Of America Corporation | Systems and methods for video compressive sensing using a rotating mask |
US20190179164A1 (en) * | 2017-12-08 | 2019-06-13 | Nokia Technologies Oy | Complementary Apertures To Reduce Diffraction Effect |
CN110772208B (zh) * | 2019-10-31 | 2022-04-15 | 深圳开立生物医疗科技股份有限公司 | 一种获取荧光图像的方法、装置、设备及内窥镜*** |
US11595575B2 (en) | 2020-05-11 | 2023-02-28 | Samsung Electronics Co., Ltd. | Image sensor |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2011166255A (ja) | 2010-02-05 | 2011-08-25 | Panasonic Corp | 撮像装置 |
JP2011530848A (ja) | 2008-08-08 | 2011-12-22 | キネテイツク・リミテツド | 符号化開口イメージングのための処理 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7780364B2 (en) * | 2008-05-01 | 2010-08-24 | Mitsubishi Electric Research Laboratories, Inc. | Apparatus and method for reducing glare in images |
JP5906062B2 (ja) * | 2010-12-17 | 2016-04-20 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US8949078B2 (en) * | 2011-03-04 | 2015-02-03 | Ricoh Co., Ltd. | Filter modules for aperture-coded, multiplexed imaging systems |
US8811769B1 (en) * | 2012-02-28 | 2014-08-19 | Lytro, Inc. | Extended depth of field and variable center of perspective in light-field processing |
-
2013
- 2013-09-19 JP JP2014538439A patent/JP5756572B2/ja active Active
- 2013-09-19 EP EP13841002.2A patent/EP2903258B1/en active Active
- 2013-09-19 WO PCT/JP2013/075307 patent/WO2014050699A1/ja active Application Filing
-
2015
- 2015-03-25 US US14/667,995 patent/US9473725B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2011530848A (ja) | 2008-08-08 | 2011-12-22 | キネテイツク・リミテツド | 符号化開口イメージングのための処理 |
JP2011166255A (ja) | 2010-02-05 | 2011-08-25 | Panasonic Corp | 撮像装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2903258A4 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2016092674A1 (ja) * | 2014-12-11 | 2017-10-05 | オリンパス株式会社 | 観察システム、光学部品、及び観察方法 |
JP2016157999A (ja) * | 2015-02-23 | 2016-09-01 | 日本電信電話株式会社 | ライトフィールド取得装置及びライトフィールド取得方法 |
WO2017170392A1 (ja) * | 2016-03-30 | 2017-10-05 | 株式会社ニコン | 光学装置 |
CN108886568A (zh) * | 2016-03-30 | 2018-11-23 | 株式会社尼康 | 光学装置 |
JP2018022938A (ja) * | 2016-08-01 | 2018-02-08 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム |
JPWO2018123318A1 (ja) * | 2016-12-27 | 2019-10-31 | 富士フイルム株式会社 | 撮像装置及び撮像モジュール |
JPWO2019188536A1 (ja) * | 2018-03-29 | 2021-04-01 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、情報処理システム |
JP7238887B2 (ja) | 2018-03-29 | 2023-03-14 | ソニーグループ株式会社 | 情報処理装置、プログラム、及び、情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
EP2903258A1 (en) | 2015-08-05 |
US9473725B2 (en) | 2016-10-18 |
JPWO2014050699A1 (ja) | 2016-08-22 |
EP2903258B1 (en) | 2018-04-25 |
EP2903258A4 (en) | 2016-05-11 |
JP5756572B2 (ja) | 2015-07-29 |
US20150201143A1 (en) | 2015-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5756572B2 (ja) | 画像処理装置及び方法並びに撮像装置 | |
JP5946970B2 (ja) | 撮像装置及び撮像方法 | |
JP5937767B2 (ja) | 撮像装置及び撮像方法 | |
JP5697801B2 (ja) | 撮像装置及び自動焦点調節方法 | |
US9470875B2 (en) | Image pickup device | |
JP6165680B2 (ja) | 撮像装置 | |
JP6077967B2 (ja) | 撮像装置 | |
JP6989630B2 (ja) | 撮像装置 | |
JP5542248B2 (ja) | 撮像素子及び撮像装置 | |
WO2014097792A1 (ja) | 撮像装置、信号処理方法、信号処理プログラム | |
JP6622945B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2019202983A1 (ja) | 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13841002 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2014538439 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013841002 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |