WO2013146506A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2013146506A1
WO2013146506A1 PCT/JP2013/057989 JP2013057989W WO2013146506A1 WO 2013146506 A1 WO2013146506 A1 WO 2013146506A1 JP 2013057989 W JP2013057989 W JP 2013057989W WO 2013146506 A1 WO2013146506 A1 WO 2013146506A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
area
regions
imaging
Prior art date
Application number
PCT/JP2013/057989
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2014507770A priority Critical patent/JP5647751B2/ja
Publication of WO2013146506A1 publication Critical patent/WO2013146506A1/ja
Priority to US14/495,913 priority patent/US9197827B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Definitions

  • the present invention relates to an imaging apparatus and an imaging method capable of acquiring a plurality of images having different characteristics.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus capable of simultaneously acquiring a plurality of images while ensuring good image quality.
  • an imaging device is a photographic lens having a plurality of regions, the photographic lenses each having independent characteristics, and a plurality of regions.
  • a plurality of light receiving sensors provided in correspondence with each other, the imaging device having a plurality of light receiving sensors that selectively receive a light beam that has passed through any of the plurality of regions, and one of the plurality of regions
  • An image generation unit that generates an image corresponding to the one region from the imaging signal of the light receiving sensor corresponding to the image sensor, and an image correction unit that corrects the generated image, the characteristics being a focal length and a focusing distance.
  • the image generation unit removes the influence of the light flux that has passed through a region other than the one region from the image generated corresponding to the one region.
  • the “focusing distance” refers to a distance FD represented by the following formula, that is, a distance from the light receiving surface of the light receiving sensor to a subject in focus with the light receiving sensor.
  • the characteristic of each area is “independent” means that the characteristic of one area does not depend on the characteristics of other areas.
  • the focal length and the in-focus distance may be the same or different.
  • an imaging element having a light receiving sensor that selectively receives light by dividing the light beam that has passed through one region of the photographing lens described above is used.
  • a light receiving sensor piil directing sensor
  • the pupil division and selective light reception of the light beam by the light receiving sensor can be realized by an optical element such as a light shielding surface, a light shielding member, a liquid crystal shutter, or a liquid crystal prism provided in front of the light receiving surface.
  • the crosstalk component is removed by the image correction unit in addition to the pupil directing sensor, so that an image with even better image quality can be acquired.
  • the imaging apparatus it is possible to simultaneously acquire a plurality of images having independent characteristics while ensuring good image quality.
  • the number of photographing lenses may be one, or a plurality of lenses may be combined to have a plurality of regions as a whole.
  • the characteristics may be fixed or may be changed.
  • the image correction unit considers position dependency in the generated image of the degree of influence of the light beam that has passed through the region other than the one region. To remove. This is because the above-described mixing condition of the crosstalk component also depends on the location in the image. As a result, the imaging apparatus according to the second aspect can accurately remove the crosstalk component, and can acquire an image with better image quality.
  • the image correction unit removes the influence of shading on the light beam that has passed through the one area from the image generated corresponding to the one area. To do.
  • the imaging device not only crosstalk from another region to one region of interest but also the influence of shading (shading on the main gain) on the light beam itself that has passed through the one region is removed. As a result, it is possible to obtain an image with even better image quality.
  • the image correction unit takes into account the position dependency of the degree of influence of shading in the generated image. Remove.
  • the fourth aspect takes into consideration that the influence of shading also depends on the location in the image, as in the case of crosstalk. As a result, the influence of shading can be accurately removed, and an image with better image quality can be acquired.
  • the image generation unit performs removal based on the following (Equation 1).
  • N Number of photographic lens areas (integer of 2 or more)
  • X ⁇ 1 inverse matrix of matrix X composed of main gain and crosstalk component
  • X ii S i
  • X ji C ji
  • the image generation unit generates an image obtained by synthesizing a plurality of images obtained by performing the removal.
  • the imaging device of the present invention can acquire a plurality of images corresponding to each area of the photographing lens with good image quality
  • the imaging device according to the sixth aspect combines these images according to the purpose.
  • a desired image can be obtained.
  • a specific area can be extracted from a plurality of images and combined, or a plurality of images can be weighted and combined.
  • the imaging apparatus according to the sixth aspect generates an image in which the specific subject is accurately focused and the other subjects are blurred at a desired degree, or an image in which all the subjects are accurately focused. Can do.
  • An imaging device is the imaging device according to any one of the first to sixth aspects, wherein the photographic lens is a photographic lens including two or more physically separated lenses, and a plurality of the photographic lenses. These regions have independent characteristics corresponding to combinations of two or more lenses.
  • the photographing lens may be composed of a plurality of lenses, and the seventh aspect shows one aspect of the photographing lens composed of such a plurality of lenses. .
  • a plurality of lenses corresponding to each of a plurality of regions are arranged with their positions in the optical axis direction spaced apart, and the plurality of lenses have independent focal lengths. Lenses.
  • the imaging apparatus includes a characteristic changing unit that changes characteristics of the photographing lens.
  • a desired image can be obtained by changing the characteristic (at least one of the in-focus distance and the focal distance) according to the photographing purpose and the like.
  • an imaging method is a photographic lens having a plurality of regions, each of the plurality of regions having independent characteristics, and each of the plurality of regions.
  • a plurality of light receiving sensors provided in correspondence with each other, the image sensor having a plurality of light receiving sensors that selectively receive light by splitting a light beam that has passed through any of the plurality of regions, and has a characteristic focus
  • An imaging method in an imaging apparatus that is at least one of a distance and a focusing distance, and generating an image corresponding to the one area from an imaging signal of a light receiving sensor corresponding to one area of the plurality of areas
  • a plurality of images can be acquired simultaneously while ensuring good image quality.
  • FIG. 1 is an external perspective view of an imaging apparatus 10 according to the present invention.
  • FIG. 2 is a block diagram illustrating a main configuration of the imaging apparatus 10.
  • FIG. 3 is a front view of the photographic lens 12.
  • FIG. 4 is a diagram illustrating a state of selective light reception of a light beam in the image sensor 16.
  • FIG. 5 is a diagram illustrating an example of the arrangement of the light receiving cells in the image sensor 16.
  • FIG. 6 is a diagram illustrating a state of shooting by the imaging apparatus 10.
  • FIG. 7A is a diagram illustrating an example of an image (an image corresponding to a far focus area) when an imaging signal corresponding to each focus area is completely separated.
  • FIG. 7B is a diagram illustrating an example of an image (an image corresponding to the near-in-focus area) when the imaging signal corresponding to each focal area is completely separated.
  • FIG. 8A is a diagram illustrating an example of an image (an image corresponding to a far focus area) when an imaging signal corresponding to each focus area is not completely separated.
  • FIG. 8B is a diagram illustrating an example of an image (an image corresponding to the near-in-focus area) when the imaging signals corresponding to the focal areas are not completely separated.
  • FIG. 9 is a diagram illustrating an example of an image acquired by the imaging device 10.
  • FIG. 10A is a plan view illustrating an example of a photographing lens including two or more lenses that are physically separated.
  • FIG. 10B is a side view showing an example of a photographic lens including two or more physically separated lenses.
  • FIG. 1 is an external perspective view of an imaging apparatus 10 (imaging apparatus) according to a first embodiment of the present invention
  • FIG. 2 is a block diagram showing a main configuration of the imaging apparatus 10.
  • a photographing lens 12 photographing lens
  • a strobe 18 and the like are disposed on the front surface of the imaging apparatus 10
  • a release button 38-1 is disposed on the upper surface.
  • L1 represents the optical axis of the taking lens 12.
  • FIG. 2 is a block diagram illustrating a configuration of a main part of the imaging apparatus 10.
  • the overall operation of the imaging device 10 is controlled by a central processing unit (CPU) 40, and programs (including programs used for imaging processing and image generation / composition processing described later) and parameters necessary for the operation of the CPU 40 are as follows. It is stored in an EEPROM (Electronically-Erasable-and Programmable-Read-Only-Memory) 46.
  • EEPROM Electrically-Erasable-and Programmable-Read-Only-Memory
  • the imaging apparatus 10 is provided with an operation unit 38 including a mode dial, a playback button, a MENU / OK key, a cross key, a BACK key, and the like.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 10 based on the input signal as described later.
  • the release button 38-1 is an operation button for inputting an instruction to start shooting, and includes a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • the mode dial is a means for selecting a still image / moving image shooting mode, a manual / auto shooting mode, a shooting scene, and the like.
  • the playback button is a button for switching to a playback mode in which a still image or a moving image of the captured and recorded image is displayed on the liquid crystal monitor 30 (LCD: Liquid Crystal Display).
  • the MENU / OK key is an operation key that has both a function for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function for instructing confirmation and execution of selection contents.
  • the cross key is an operation unit that inputs instructions in four directions, up, down, left, and right, and functions as a cursor moving operation means, a zoom switch, a frame advance button in the playback mode, and the like.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • Image light indicating a subject in the photographing mode is imaged on a light receiving surface of a solid-state imaging device (imaging device: hereinafter referred to as “CCD (Charge Coupled Device)”) 16 through a photographing lens 12 (photographing lens) and a diaphragm 14.
  • CCD Charge Coupled Device
  • FIG. 3 is an external view of the taking lens 12.
  • the photographic lens 12 includes a region 12a having a long focusing distance (hereinafter referred to as a far focusing region) 12a and a region (hereinafter referred to as a near focusing region) 12b having a focusing distance shorter than the far focusing region 12a. .
  • half-moon shaped regions are provided above and below the lens center O1, as viewed from the front, and are a far-focusing region 12a and a near-focusing region 12b in this order from the bottom.
  • the focal lengths of the respective areas in the photographing lens 12 are equal, the characteristics of the respective areas of the photographing lens in the imaging apparatus of the present invention are not limited to such conditions.
  • the specific values may be the same or different. Further, in these areas, specific values of the focus distance and the focal distance may be set according to the purpose of photographing.
  • each region is formed in a half-moon shape, but a circular region arranged at the center of the lens and an annular region around it (one is a far focusing region, the other is a near focusing region) And may be formed.
  • the areas of the far focus area 12a and the near focus area 12b are made equal, but the area ratio of these areas is different from the above depending on the characteristics of the optical system, the shooting purpose, shooting conditions, etc. May be set.
  • the number of regions is not limited to 2, but may be 3 or more.
  • the imaging apparatus 10 can simultaneously acquire two images with different in-focus distances, spending time by repeating the shooting many times, and the subject position is shifted between the images. There is nothing to do.
  • the luminous flux that has passed through the far focusing area 12a and the near focusing area 12b of the photographing lens 12 is incident on each photo sensor (light receiving sensor) of the CCD 16 (imaging device).
  • the CCD 16 includes a far-image light-receiving cell 16a that receives the light beam that has passed through the far-focus area 12a of the photographing lens 12, and a near-image light-receiving cell that receives the light beam that has passed through the near-focus area 12b. 16b.
  • the light receiving cells 16a and 16b are selectively divided by pupil-dividing light beams that have passed through the far focus region 12a and the near focus region 12b by the microlens ML and the light shielding films 18a and 18b provided on the front surface of the light receiving unit 17, respectively. Therefore, the light shielding films 18a and 18b have different shapes.
  • a light shielding member or a liquid crystal shutter may be provided on the front surface of the microlens ML.
  • the influence of crosstalk from one of the far focusing area 12a and the near focusing area 12b to the other is removed by the CCD 16 capable of selective light reception so that an image with good image quality can be acquired. ing.
  • the ratio of the number of the light receiving cells 16a and 16b is substantially equal to the area ratio of the far focusing region 12a and the near focusing region 12b corresponding to the light receiving cells 16a and 16b.
  • FIG. 5 shows an example of the arrangement of the light receiving cells in the image sensor 16.
  • the light receiving cells 16a and 16b are preferably arranged so that the image quality is not deteriorated in a specific region or direction in the generated image, and pixel data missing due to a mixture of cells corresponding to each of a plurality of focal regions is obtained. It is preferable to compensate appropriately by interpolation or the like.
  • the CPU 40 controls the aperture 14 via an aperture drive unit (not shown), and controls charge accumulation time (shutter speed) in the CCD 16 and image signal readout from the CCD 16 via a CCD control unit (not shown). Etc.
  • the signal charge accumulated in the CCD 16 is read out as a voltage signal corresponding to the signal charge based on a read signal applied from the CCD control unit and added to the analog signal processing unit 20.
  • the analog signal processing unit 20 samples and holds the image signal of each pixel by the correlated double sampling process with respect to the voltage signal output from the CCD 16, amplifies it, and adds it to the A / D converter 21.
  • the A / D converter 21 converts analog R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
  • a MOS (metal-oxide semiconductor) type image pickup device can be used in place of the CCD 16, but in this case, the A / D converter 21 is often built in the image pickup device, and the correlated double sampling is performed as described above. do not need.
  • the digital signal processing unit 24 performs predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc., on the digital image signal input via the image input controller 22. Perform signal processing.
  • predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc.
  • the image data processed by the digital signal processing unit 24 is input to a VRAM (Video Random Access Memory) 50.
  • the VRAM 50 includes an A area and a B area each storing image data representing an image for one frame. Image data representing an image for one frame is rewritten alternately in the A area and the B area, and the written image data is read from areas other than the area where the image data is rewritten.
  • the image data read from the VRAM 50 is encoded by the video encoder 28 and output to the liquid crystal monitor 30, whereby the subject image is displayed on the liquid crystal monitor 30.
  • the liquid crystal monitor 30 employs a touch panel, displays an acquired image, and allows a user operation via the screen.
  • the CPU 40 starts an AE (Automatic Exposure) operation when the release button 38-1 is first pressed (half-pressed).
  • AE Automatic Exposure
  • the image data output from the A / D converter 21 when the release button 38-1 is half-pressed is taken into the AE detection unit 44.
  • the CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value of the G signal input from the AE detection unit 44, and the aperture value of the diaphragm 14 and the electronic shutter (shutter speed) of the CCD 16 based on this shooting Ev value. And the charge accumulation time in the diaphragm 14 and the CCD 16 is controlled based on the result.
  • the image data corresponding to the far focus area 12a and the near focus area 12b is displayed in response to the press.
  • the data is output from the D converter 21 and input from the image input controller 22 to a memory (SDRAM: Synchronous Dynamic Random Access Memory) 48 and temporarily stored.
  • SDRAM Synchronous Dynamic Random Access Memory
  • an image file is generated through signal processing such as YC processing in the digital signal processing unit 24 and compression processing to a JPEG (joint photographic expert groups) format in the compression / decompression processing unit 26.
  • image files are read by the media controller 52 and recorded on a removable recording medium (for example, a memory card 54).
  • the image recorded on the memory card 54 can be reproduced and displayed on the liquid crystal monitor 30 by operating the reproduction button of the operation unit 38.
  • FIG. 6 is a diagram illustrating how the in-focus images i1 and i2 (far-in-focus image and near-in-focus image) are acquired in the far-focus region 12a and the near-focus region 12b of the photographic lens 12.
  • the contents indicated by the symbols are as follows.
  • a1, a2 Distance between the lens and the light receiving surface in the far focusing area 12a and the near focusing area 12b, respectively b1, b2: Distance between the lens and the subject in the far focusing area 12a and the near focusing area 12b, respectively FD1, FD2: Each Focus distances of the far focus area 12a and the close focus area 12b Q1A, Q1B, Q2: Subject
  • the “focus distance” is in focus with the light receiving sensor from the light receiving surface of the light receiving sensor. This is the distance to the subject.
  • FIG. 7A shows an image i1 corresponding to the far focus area 12a.
  • the subjects Q1A and Q1B at the distance b1 are accurately focused, and the subject Q2 at the distance b2 is blurred according to the difference between the distances b1 and b2.
  • FIG. 7B shows an image i2 corresponding to the near focus area 12b.
  • the subject Q2 at the distance b2 is accurately focused, and the subjects Q1A and Q1B at the distance b1 are blurred according to the difference between the distances b1 and b2.
  • FIG. 8A shows an example of an actual image i1 ′ corresponding to the far focus area 12a
  • FIG. 8B shows an example of an actual image i2 ′ corresponding to the near focus area 12b.
  • images i1 'and i2' a plurality of images having a difference in blur amount and a parallax shift are superimposed and the image quality is deteriorated.
  • correction as follows is performed to remove the influence of crosstalk and shading so that an image with good image quality can be obtained. I have to. The contents of this correction will be described below.
  • (x, y) is a pixel position of an image corresponding to each area. In this embodiment, the position dependency of the influence of shading of crosstalk and main gain is considered in this way.
  • a ′ (x, y) S a (x, y) A (x, y) + C ba (x, y) B (x, y) (Expression 2)
  • B ′ (x, y) C ab (x, y) A (x, y) + S b (x, y) B (x, y) (Equation 3)
  • a (x, y) and B (x, y) are derived as follows.
  • a (x, y) ⁇ S b (x, y) A ′ (x, y) ⁇ C ba (x, y) B ′ (x, y) ⁇ / ⁇ S a (x, y) S b ( x, y) -Cab (x, y) Cba (x, y) ⁇ (Formula 4)
  • B (x, y) ⁇ S a (x, y) B ′ (x, y) ⁇ C ab (x, y) A ′ (x, y) ⁇ / ⁇ S b (x, y) S a ( x, y) -Cba (x, y) Cab (x, y) ⁇ (Formula 5) Therefore, the crosstalk and main gain distributions (S a , S b , C ab , C ba ) described above are obtained in advance by calculation based on the characteristics of the taking lens 12 and the CCD 16 and by measurement using a test pattern
  • a (x, y) and B (x, y) can be obtained.
  • the acquired crosstalk and main gain distribution data may be stored in the EEPROM 46 or may be read through the memory card 54.
  • the CPU 40 image correction unit
  • the correction unit is controlled, and correction processing is performed using the memory 48 as a work area.
  • the imaging apparatus 10 by performing such correction processing in addition to the above-described CCD 16 capable of selective light reception, it is possible to collectively remove the influence of crosstalk and shading of the main gain. In addition, the position dependency of these influences is taken into consideration in the processing so that the removal can be performed accurately. Therefore, the influence of the other region in the image corresponding to one of the far focus region 12a and the near focus region 12b can be removed, and a plurality of images with different focus distances can be simultaneously acquired with good image quality.
  • the imaging apparatus 10 can generate an image in which the influence of shading of crosstalk and main gain is removed, and can also generate an image obtained by combining such images.
  • FIG. 9 is a diagram showing an example of such a composite image, and an image i3 in which all subjects Q1A, Q1B, and Q2 are clearly shown by combining images from which the influence of shading of crosstalk and main gain is removed is shown. Show.
  • the influence of the above-described crosstalk and main gain shading appears as a deviation from the unit matrix of the matrix X.
  • the Xii component corresponding to the main gain in the matrix X according to the purpose may be set to 1
  • C ji component (non-diagonal component of matrix X) corresponding to crosstalk may be set to 0.
  • statistical processing may be performed using a filter in consideration of calculation accuracy (error) of crosstalk and main gain distribution data.
  • FIGS. 10A and 10B are diagrams showing another aspect of the photographing lens.
  • the photographing lens 12 ′ shown in FIGS. 10A and 10B is a photographing lens composed of two or more physically separated lenses, and a plurality of regions of the photographing lens correspond to combinations of two or more lenses, respectively. It is a lens having independent characteristics (at least one of a focusing distance and a focal distance).
  • the photographing lens 12 ′ as shown in FIG.
  • half-moon shaped areas are provided above and below the lens center O1 ′ as viewed from the front, and the far-focus area 12a ′, the near-focus area 12b ′, It has become.
  • These two focal regions act as two lenses that are physically separated to constitute a photographic lens 12 'as a whole. In these areas, the specific value of the focal length may be set according to the purpose of photographing.
  • the far focusing area 12a ′ and the near focusing area 12b ′ may be arranged at different positions in the optical axis L1 direction (Z direction).
  • the characteristics of the photographing lens may be changed.
  • the change of the characteristics can be realized by various methods such as moving the entire photographing lens or moving a part of the photographing lens composed of a plurality of lenses.
  • any one of the photographic lenses including two or more lenses as shown in FIGS. 10A and 10B may be rotated and moved.
  • Such movement and rotation of the lens may be performed according to the rotation of the lens barrel by the photographer, or may be performed by the CPU 40 controlling a lens driving unit including a motor and a PZT (piezo element). You may do it.
  • the state of the subject image differs depending on the combination (whether different or equal) of the focus distance / focal length of each area after the change (in the present invention). (See description for first aspect). If the focus distance and focal length can be changed, crosstalk and main gain distribution data should be acquired and stored in advance corresponding to the focus distance and focal length, or the desired focus distance / It is preferable to formulate so that data corresponding to the focal length can be obtained.
  • SYMBOLS 10 Imaging device, 12, 12 '... Shooting lens, 12a, 12a' ... Far focusing area

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

　本発明に係る撮像方法は、それぞれ独立した特性を有する複数の領域を有する撮影レンズと、複数の領域にそれぞれ対応して設けられた複数の受光センサであって、複数の領域のいずれかを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子とを備える撮像装置において、複数の領域の内の一の領域に対応する受光センサの撮像信号から当該一の領域に対応する画像を生成し、生成された画像の補正を行う際に、一の領域に対応して生成された画像から一の領域以外の領域を通過した光束の影響を除去する。

Description

撮像装置及び撮像方法
　本発明は、特性が異なる複数の画像を取得可能な撮像装置及び撮像方法に関するものである。
　撮像装置の技術分野では、撮影条件を変化させて複数回撮影したり、複数の特性を有するレンズ系を用いて撮影したりすることにより特性が異なる複数の画像の取得を取得し、得られた画像を目的に応じて処理する技術が知られている（例えば、特許文献１，２参照）。特許文献１に記載の光学システムでは、撮像レンズにおいて曲率半径が異なる２以上の曲面を同心円状に配置することにより単一のレンズで複数の焦点距離領域が得られるようにし、そのような撮像レンズを用いて取得した画像を復元処理することにより各焦点距離に対応した画像を取得することが記載されている。また特許文献２に記載の撮像光学系でも同様に、結像レンズの内側領域と外側領域とで曲率を変化させることで各領域が異なる焦点距離を有するようにし、複数の焦点距離に対応した画像を取得できるようにしている。
特開２００７－１２２０５５号公報 特開２００３－２７０５２６号公報
　しかしながらこのような従来の技術では各焦点距離に対応した画像の画質が良好でなく、多数の特性（焦点距離、合焦距離等）を有するレンズの特徴を活かしきれていなかった。例えば上記特許文献１に記載の技術ではイメージセンサの出力に複数の焦点距離に対応する信号が重畳されているため、異なる焦点距離に対応する信号の影響を分離しきれず各焦点距離に対応する画像の画質が低下するという問題があった。また上記特許文献２に記載の技術でも特許文献１と同様にイメージセンサの出力には複数の焦点距離に対応する信号が重畳されている。特許文献２に記載の技術において、この重畳をそのままにして画像を取得・利用する態様では各焦点距離に対応する画像の画質が低下する。また被写体光がいずれかの焦点領域のみを通過するような形状可変の絞りをレンズ付近に配置して当該いずれかの焦点距離に対応する画像のみを取得する態様では複数の焦点距離に対応する複数の画像が同時に取得できない、等の問題があった。
　また上述のような画質の低下を避けるために撮像レンズの焦点距離を変えて複数回の撮影を行うようにすると、撮影に時間がかかる。さらに、撮影の間に被写体が動いたり被写体の明るさが変化したりして画像間で撮影条件が異なったりする等の問題が生じるおそれがある。
　本発明はこのような事情に鑑みてなされたもので、複数の画像を、良好な画質を確保しつつ同時に取得できる撮像装置を提供することを目的とする。
　上記目的を達成するために本発明の第１の態様に係る撮像装置は、複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、複数の領域にそれぞれ対応して設けられた複数の受光センサであって、複数の領域のいずれかを通過した光束を選択的に受光する複数の受光センサを有する撮像素子と、複数の領域の内の一の領域に対応する受光センサの撮像信号から当該一の領域に対応する画像を生成する画像生成部と、生成された画像の補正を行う画像補正部と、を備え、特性は焦点距離と合焦距離とのうち少なくとも一方であり、画像生成部は、一の領域に対応して生成された画像から一の領域以外の領域を通過した光束の影響を除去する。
　第１の態様において「合焦距離」とは以下の式で表される距離ＦＤ、即ち受光センサの受光面から当該受光センサと合焦関係にある被写体までの距離をいう。
　ＦＤ＝ａ＋ｂ
　　　ＦＤ：合焦距離
　　　ａ　：レンズと受光センサの受光面との距離
　　　ｂ　：レンズと合焦位置との距離
　なお焦点距離をｆとすると１／ｆ＝（１／ａ）＋（１／ｂ）であり、焦点距離ｆが同じでも距離ａ，ｂの組み合わせ方により合焦距離ＦＤは異なる。逆に焦点距離ｆが異なっていても、距離ａ，ｂの組み合わせ方で合焦距離ＦＤを同じにすることもできる。
　第１の態様では複数の画像を同時に取得することが可能であり、複数の画像を取得するために何度も撮影を繰り返して時間を費やしたり画像間で被写***置がずれたりすることがない。なお第１の態様において各領域の特性（焦点距離と合焦距離とのうちの少なくとも一方）が「独立した」とは一の領域の特性が他の領域の特性に依存しないことをいい、具体的な焦点距離や合焦距離は等しくてもよいし異なっていてもよい。
　第１の態様のような、複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、撮影レンズの各領域が受光センサ上に形成する被写体像が異なると、異なる被写体像が重なることで生じる被写体像間の特性のずれが画質の低下として感じられる。被写体像が異なる要因は主として（１）被写体像間のサイズ差、（２）被写体像間のボケ量の差、（３）被写体像間の視差ズレ、であり、各領域の特性（焦点距離，合焦距離）との関係は以下の通りである。
　（i）領域間で焦点距離・合焦距離のいずれもが異なる場合、それら領域に対応する画像間でサイズ差、ボケ量の差、及び視差ズレが生じる。
　（ii）領域間で焦点距離は等しいが合焦距離が異なる場合、それら領域に対応する画像間でボケ量の差及び視差ズレが生じる。
　（iii）領域間で焦点距離が異なり合焦距離が等しい場合、それら領域に対応する画像間で被写体像のサイズ差及び視差ズレが生じる。
　（iv）領域間で焦点距離・合焦距離のいずれもが等しい場合、それら領域に対応する画像間で視差ズレが生じる。
　そして複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、従来の技術では、上記（i）～（iv）のように各領域の特性に応じて生じる被写体像の相違、即ち一の領域に対応する画像における他の領域を通過した光束の影響（領域間のクロストーク）により画質が低下してしまうという問題があった。
　そこで本発明の第１の態様に係る撮像装置では、上述した撮影レンズの一の領域を通過した光束を瞳分割して選択的に受光する受光センサ（瞳指向センサ）を有する撮像素子を用いる、という今までにない手法により領域間のクロストークの影響を除去し、特性が独立した複数の画像を良好な画質で取得できるようにしている。なお受光センサによる光束の瞳分割及び選択的な受光は、受光面あるいはその前方に設けた遮光部材、液晶シャッタ、液晶プリズム等の光学要素により実現することができる。
　さらに第１の態様に係る撮像装置では瞳指向センサに加えて画像補正部によりクロストーク成分を除去するので、いっそう良好な画質の画像を取得することができる。
　このようにして第１の態様に係る撮像装置では、特性が独立した複数の画像を、良好な画質を確保しつつ同時に取得することができる。なお第１の態様において撮影レンズは１枚でもよいし、複数枚のレンズを組み合わせて構成し全体として複数の領域を有するようにしてもよい。また第１の態様において特性（焦点距離，合焦距離）は固定されていてもよいし、変更できるようにしてもよい。
　本発明の第２の態様に係る撮像装置は第１の態様において、画像補正部は、一の領域以外の領域を通過した光束の影響の度合の生成された画像中での位置依存性を考慮して除去を行う。上述したクロストーク成分の混入具合は画像中の場所にも依存することを考慮したものである。これにより第２の態様に係る撮像装置ではクロストーク成分の除去を正確に行うことができ、さらに良好な画質の画像を取得することができる。
　本発明の第３の態様に係る撮像装置は第２の態様において、画像補正部は、一の領域に対応して生成された画像から、当該一の領域を通過した光束に対するシェーディングの影響を除去する。第３の態様に係る撮像装置では、着目する一の領域に対する他の領域からのクロストークのみならず、当該一の領域を通過した光束自身についてのシェーディング（主ゲインに対するシェーディング）の影響を除去することで、さらに良好な画質の画像を取得することができる。
　本発明の第４の態様に係る撮像装置は第１から第３の態様のいずれかにおいて、画像補正部は、シェーディングの影響の度合の、生成された画像中での位置依存性を考慮して除去を行う。第４の態様は、クロストークの場合と同様にシェーディングの影響が画像中の場所にも依存することを考慮したものである。これによりシェーディングの影響の除去を正確に行うことができ、さらに良好な画質の画像を取得することができる。
　本発明の第５の態様に係る撮像装置は第１から第４の態様のいずれかにおいて、画像生成部は以下の（式１）に基づいて除去を行う。
　（Ａ１，Ａ２，・・・，ＡＮ）Ｔ＝Ｘ－１・（Ａ１’，Ａ２’，・・・，ＡＮ’）Ｔ・・・（式１）
　　ただし、
　　　Ｎ　　：撮影レンズの領域数（２以上の整数）
　　　Ａｉ（ｘ，ｙ）　：領域ｉに対応する、他の領域を通過した光束の影響の補正後の撮像信号（ｉ＝１～Ｎ）
　　　Ａｉ’（ｘ，ｙ）：領域ｉに対応する、他の領域を通過した光束の影響の補正前の撮像信号（ｉ＝１～Ｎ）
　　　Ｘ－１　：主ゲイン及びクロストーク成分からなる行列Ｘの逆行列
　　　　　　Ｘｉｉ＝Ｓｉ（ｘ，ｙ）　（領域ｉの主ゲイン；ｉ＝１～Ｎ）
　　　　　　Ｘｊｉ＝Ｃｊｉ（ｘ，ｙ）（領域ｊから領域ｉへのクロストーク成分；ｊ＝１～Ｎ、ｊ≠ｉ）
　　　（ｘ，ｙ）　　　：領域ｉに対応する画像の画素位置
　第５の態様は上述した除去の具体的態様を示すものである。仮に主ゲインのシェーディングが全くないとすると上記Ｘｉｉ（＝Ｓｉ）は画素位置によらず１となり、また仮にクロストーク成分が全くないとするとＸｊｉ（＝Ｃｊｉ）は画素位置によらず０となる。シェーディングもクロストークも全くなければ行列Ｘは単位行列となり、この場合（Ａ１，Ａ２，・・・，ＡＮ）Ｔ＝（Ａ１’，Ａ２’，・・・，ＡＮ’）Ｔ・・・となる。
　本発明の第６の態様に係る撮像装置は第１から第５の態様のいずれかにおいて、画像生成部は、除去を行って得られた複数の画像を合成した画像を生成する。上述のように本発明の撮像装置では撮影レンズの各領域に対応した複数の画像を良好な画質で取得できるので、第６の態様に係る撮像装置では、それらの画像を目的に応じて合成し所望の画像を得ることができる。例えば複数の画像から特定の領域を抽出して合成したり、複数の画像をそれぞれ重みづけして合成したりすることができる。これにより第６の態様に係る撮像装置では、特定の被写体に正確に合焦しその他の被写体は所望の度合でボケている画像や、全ての被写体に正確に合焦した画像等を生成することができる。
　本発明の第７の態様に係る撮像装置は第１から第６の態様のいずれかにおいて、撮影レンズは物理的に分離した２枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域が、２枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する。上述のように本発明に係る撮像装置において撮影レンズは複数枚のレンズで構成されていてもよく、第７の態様はそのような複数枚のレンズからなる撮影レンズの一態様を示すものである。第７の態様における撮影レンズとしては例えば、複数の領域のそれぞれに対応する複数枚のレンズを光軸方向位置を離間させて配置し、当該複数枚のレンズがそれぞれ独立した焦点距離を有するようなレンズが挙げられる。
　本発明の第８の態様に係る撮像装置は第１から第７の態様のいずれかにおいて、撮影レンズの特性を変更する特性変更部を備える。撮影目的等に応じ特性（合焦距離と焦点距離との内少なくとも一方）を変化させて所望の画像が得られるようにしたものである。
　上記目的を達成するため本発明の第９の態様に係る撮像方法は、複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、複数の領域にそれぞれ対応して設けられた複数の受光センサであって、複数の領域のいずれかを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、を備え、特性は焦点距離と合焦距離とのうち少なくとも一方である撮像装置における撮像方法であって、複数の領域の内の一の領域に対応する受光センサの撮像信号から当該一の領域に対応する画像を生成する画像生成工程と、生成された画像の補正を行う画像補正工程であって、一の領域に対応して生成された画像から一の領域以外の領域を通過した光束の影響を除去する画像補正工程と、を有する。第９の態様では第１の態様と同様に、複数の画像を、良好な画質を確保しつつ同時に取得することができる。
　以上説明したように本発明によれば、複数の画像を、良好な画質を確保しつつ同時に取得できる。
図１は、本発明に係る撮像装置１０の外観斜視図である。 図２は、撮像装置１０の要部構成を示すブロック図である。 図３は、撮影レンズ１２の正面図である。 図４は、撮像素子１６における光束の選択的な受光の様子を示す図である。 図５は、撮像素子１６における受光セルの配置の例を示す図である。 図６は、撮像装置１０による撮影の様子を示す図である。 図７Ａは、各焦点領域に対応する撮像信号が完全に分離された場合の画像（遠合焦領域に対応する画像）の例を示す図である。 図７Ｂは、各焦点領域に対応する撮像信号が完全に分離された場合の画像（近合焦領域に対応する画像）の例を示す図である。 図８Ａは、各焦点領域に対応する撮像信号が完全に分離されていない場合の画像（遠合焦領域に対応する画像）の例を示す図である。 図８Ｂは、各焦点領域に対応する撮像信号が完全に分離されていない場合の画像（近合焦領域に対応する画像）の例を示す図である。 図９は、撮像装置１０で取得した画像の例を示す図である。 図１０Ａは、物理的に分離した２枚以上のレンズからなる撮影レンズの例を示す平面図である。 図１０Ｂは、物理的に分離した２枚以上のレンズからなる撮影レンズの例を示す側面図である。
　以下、添付図面に従って本発明に係る撮像装置及び撮像方法を実施するための形態について詳細に説明する。
　＜撮像装置の構成＞
　図１は本発明の第１の実施の形態に係る撮像装置１０（撮像装置）の外観斜視図であり、図２は撮像装置１０の要部構成を示すブロック図である。図１に示すように、撮像装置１０の前面には撮影レンズ１２（撮影レンズ），ストロボ１８等が配置され、上面にはレリーズボタン３８－１が設けられている。Ｌ１は撮影レンズ１２の光軸を表す。
　図２は撮像装置１０の要部構成を示すブロック図である。撮像装置１０の装置全体の動作は中央処理装置（ＣＰＵ）４０によって統括制御され、ＣＰＵ４０の動作に必要なプログラム（後述する撮像処理や画像生成・合成処理等に用いるプログラムを含む）やパラメータは、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）４６に記憶されている。
　撮像装置１０には、レリーズボタン３８－１に加えて、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて、後述するように撮像装置１０の各回路を制御する。
　レリーズボタン３８－１は撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画／動画撮影モード、マニュアル／オート撮影モード、及び撮影シーン等を選択する手段である。
　再生ボタンは、撮影記録した画像の静止画又は動画を液晶モニタ３０（ＬＣＤ：Liquid Crystal Display）に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うための機能と、選択内容の確定及び実行などを指令する機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、カーソル移動操作手段やズームスイッチ、再生モード時のコマ送りボタン等として機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。これらのボタンやキーは、画像合成の際に必要な操作にも用いることができる。
　撮影モード時において被写体を示す画像光は、撮影レンズ１２（撮影レンズ）、絞り１４を介して固体撮像素子（撮像素子：以下「ＣＣＤ（Charge Coupled Device）」という）１６の受光面に結像される。
　図３は、撮影レンズ１２の外観図である。撮影レンズ１２は、合焦距離が長い領域（以下、遠合焦領域という）１２ａと、遠合焦領域１２ａより短い合焦距離を有する領域（以下、近合焦領域という）１２ｂと、を有する。図３に示すように正面から見て半月型の領域がレンズ中心Ｏ１の上下に設けられており、下部から順に遠合焦領域１２ａ、近合焦領域１２ｂ、となっている。なお撮影レンズ１２において各領域の焦点距離は等しいものとするが、本発明の撮像装置において撮影レンズの各領域の特性はこのような条件に限定されるものではない。各領域間で合焦距離と焦点距離との内少なくとも一方が独立していれば、具体的な値は同じであっても異なっていてもよい。またこれらの領域において、合焦距離や焦点距離の具体的な値は撮影目的等に合わせて設定してよい。
　なお図３の例では各領域を半月型に形成しているが、レンズ中心に配置した円形の領域とその周辺の円環状の領域（いずれかが遠合焦領域、他方が近合焦領域）とを形成するようにしてもよい。また図３の例では遠合焦領域１２ａ、近合焦領域１２ｂの面積を等しくしているが、これら領域の面積比は光学系の特性や撮影目的・撮影条件等に応じて上記と異なる比率に設定してもよい。また領域数は２に限らず３以上でもよい。
　このような構成により本実施の形態に係る撮像装置１０では、合焦距離の異なる２つの画像を同時に取得することができ、何度も撮影を繰り返して時間を費やしたり画像間で被写***置がずれたりすることがない。
　撮影レンズ１２の遠合焦領域１２ａ、近合焦領域１２ｂを通過した光束は、ＣＣＤ１６（撮像素子）の各フォトセンサ（受光センサ）に入射する。図４に示すようにＣＣＤ１６は、撮影レンズ１２の遠合焦領域１２ａを通過した光束を受光する遠画像用受光セル１６ａと、近合焦領域１２ｂを通過した光束を受光する近画像用受光セル１６ｂとを有する。受光セル１６ａ，１６ｂは、マイクロレンズＭＬ、及び受光部１７の前面に設けられた遮光膜１８ａ，１８ｂにより遠合焦領域１２ａ、近合焦領域１２ｂを通過した光束をそれぞれ瞳分割して選択的に受光するようになっており、そのため遮光膜１８ａ，１８ｂはそれぞれ異なる形状をしている。なお受光部１７の前面に遮光膜を設ける代わりに、マイクロレンズＭＬの前面に遮光部材や液晶シャッタを設けるようにしてもよい。
　撮像装置１０ではこのような選択的受光が可能なＣＣＤ１６により遠合焦領域１２ａ、近合焦領域１２ｂの一方から他方へのクロストークの影響を除去し、良好な画質の画像が取得できるようにしている。
　受光セル１６ａ，１６ｂの数の比は、受光セル１６ａ，１６ｂに対応する遠合焦領域１２ａ，近合焦領域１２ｂの面積比と略等しくなるようにすることが好ましい。図５は撮像素子１６における受光セルの配置例であり、本実施形態では遠合焦領域１２ａと近合焦領域１２ｂの面積が等しいので、受光セル１６ａ，１６ｂの数も等しくなっている。受光セル１６ａ，１６ｂは生成された画像において特定の領域や方向で画質が劣化しないように配置することが好ましく、複数の焦点領域のそれぞれに対応したセルが混在することによる画素データの欠落を、補間等により適宜補うことが好ましい。
　ＣＰＵ４０は、絞り駆動部（不図示）を介して絞り１４を制御するとともに、ＣＣＤ制御部（不図示）を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出され、アナログ信号処理部２０に加えられる。
　アナログ信号処理部２０は、ＣＣＤ１６から出力された電圧信号に対して相関二重サンプリング処理により各画素の画像信号をサンプリングホールドし、増幅した後Ａ／Ｄ変換器２１に加える。Ａ／Ｄ変換器２１は、順次入力するアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。なおＣＣＤ１６に代えてＭＯＳ（metal-oxide semiconductor）型撮像素子を用いることができるが、その場合Ａ／Ｄ変換器２１は撮像素子内に内蔵されていることが多く、また上記相関二重サンプリングは必要としない。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
　デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ（Video Random Access Memory）５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられ、画像データが書き換えられている領域以外の領域から、書き込まれた画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされて液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０に表示される。液晶モニタ３０はタッチパネルを採用しており、取得した画像を表示するとともに、画面を介したユーザの操作が可能になっている。
　ＣＰＵ４０は、レリーズボタン３８－１の第１段階の押下（半押し）があるとＡＥ（Automatic Exposure）動作を開始する。また、レリーズボタン３８－１の半押し時にＡ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＣＰＵ４０は、ＡＥ検出部４４から入力するＧ信号の積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及びＣＣＤ１６の電子シャッタ（シャッタスピード）を決定し、その結果に基づいて絞り１４及びＣＣＤ１６での電荷蓄積時間を制御する。
　ＡＥ動作が終了し、レリーズボタン３８－１の第２段階の押下（全押し）があると、その押下に応答して遠合焦領域１２ａ，近合焦領域１２ｂに対応した画像データがＡ／Ｄ変換器２１から出力されて画像入力コントローラ２２からメモリ（ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory）４８に入力され、一時的に記憶される。
　メモリ４８への一時記憶後、デジタル信号処理部２４におけるＹＣ処理等の信号処理や圧縮伸張処理部２６でのＪＰＥＧ（joint photographic experts group）形式への圧縮処理等を経て画像ファイルが生成される。それらの画像ファイルは、メディア・コントローラ５２により読み出されて着脱可能な記録媒体（例えば、メモリカード５４）に記録される。メモリカード５４に記録された画像は、操作部３８の再生ボタンを操作することにより液晶モニタ３０で再生表示することができる。
　＜画像取得＞
　次に、撮像装置１０での画像取得について説明する。図６は、撮影レンズ１２の遠合焦領域１２ａ，近合焦領域１２ｂでの合焦画像ｉ１，ｉ２（遠合焦画像，近合焦画像）の取得の様子を示す図であり、各参照符号の示す内容は以下の通りである。
　図６において、各参照符号が示す内容は以下の通りである。
　　　ａ１，ａ２　　：それぞれ遠合焦領域１２ａ，近合焦領域１２ｂのレンズ－受光面間距離
　　　ｂ１，ｂ２　　：それぞれ遠合焦領域１２ａ，近合焦領域１２ｂのレンズ－被写体間距離
　　　ＦＤ１，ＦＤ２：それぞれ遠合焦領域１２ａ，近合焦領域１２ｂの合焦距離
　　　Ｑ１Ａ，Ｑ１Ｂ，Ｑ２：被写体
　なお本実施の形態において「合焦距離」とは受光センサの受光面から当該受光センサと合焦関係にある被写体までの距離をいい、図６ではＦＤ１＝ａ１＋ｂ１、ＦＤ２＝ａ２＋ｂ２である。また遠合焦領域１２ａ，近合焦領域１２ｂの焦点距離をそれぞれｆ１，ｆ２とすると、１／ｆ１＝（１／ａ１）＋（１／ｂ１），１／ｆ２＝（１／ａ２）＋（１／ｂ２）である。
　図６の状況において遠合焦領域１２ａ，近合焦領域１２ｂに対応する画像を取得する場合、クロストークもシェーディングもなければ図７Ａ及び図７Ｂの例に示すような画像が取得できるはずである。図７Ａは遠合焦領域１２ａに対応する画像ｉ１を示している。図７Ａでは、距離ｂ１にある被写体Ｑ１Ａ，Ｑ１Ｂが正確に合焦し、距離ｂ２にある被写体Ｑ２は距離ｂ１，ｂ２の差に応じてボケている。一方図７Ｂは近合焦領域１２ｂに対応する画像ｉ２を示している。図７Ｂでは、距離ｂ２にある被写体Ｑ２が正確に合焦し、距離ｂ１にある被写体Ｑ１Ａ，Ｑ１Ｂは距離ｂ１，ｂ２の差に応じてボケている。
　しかしながら実際には遠合焦領域１２ａの撮像信号において、近合焦領域１２ｂを通過した光束の影響（クロストーク）や、遠合焦領域１２ａの撮像信号自体（主ゲイン）のシェーディングが存在する。近合焦領域１２ｂに対応する画像ｉ２についても同様である。図８Ａは遠合焦領域１２ａに対応する現実の画像ｉ１’の例を示し、図８Ｂは近合焦領域１２ｂに対応する現実の画像ｉ２’の例を示す。これらの画像ｉ１’，ｉ２’はボケ量の差及び視差ズレを有する複数の画像が重畳され画質が低下している。
　このような事情に鑑み撮像装置１０では、上述した選択的受光が可能なＣＣＤ１６に加え、以下のように補正を行ってクロストークやシェーディングの影響を除去し、良好な画質の画像が得られるようにしている。この補正の内容を以下に説明する。
　＜補正の内容＞
　まず、遠合焦領域１２ａ，近合焦領域１２ｂに対応する理想的な信号分布（クロストークもシェーディングもないとした場合の信号分布）をそれぞれＡ(ｘ，ｙ)，Ｂ(ｘ，ｙ)とし、クロストークや主ゲインのシェーディングが影響している現実の信号分布をそれぞれＡ’(ｘ，ｙ)，Ｂ’(ｘ，ｙ)とする。また、クロストーク及び主ゲインを以下のように表す。
　　　Ｓａ(ｘ，ｙ) ：遠合焦領域１２ａのゲイン分布
　　　Ｓｂ(ｘ，ｙ) ：近合焦領域１２ｂのゲイン分布
　　　Ｃｂａ(ｘ，ｙ)：近合焦領域１２ｂから遠合焦領域１２ａへのクロストークの分布
　　　Ｃａｂ(ｘ，ｙ)：遠合焦領域１２ａから近合焦領域１２ｂへのクロストークの分布
　ここで（ｘ，ｙ）は各領域に対応する画像の画素位置であり、本実施形態ではこのようにクロストークや主ゲインのシェーディングの影響の位置依存性を考慮している。
　すると、本来の信号分布Ａ(ｘ，ｙ)，Ｂ(ｘ，ｙ)と現実の信号分布Ａ’(ｘ，ｙ)，Ｂ’(ｘ，ｙ)との関係は以下のように表される。
　　　Ａ’(ｘ，ｙ)＝Ｓａ(ｘ，ｙ)Ａ(ｘ，ｙ)＋Ｃｂａ(ｘ，ｙ)Ｂ(ｘ，ｙ)・・・（式２）
　　　Ｂ’(ｘ，ｙ)＝Ｃａｂ(ｘ，ｙ)Ａ(ｘ，ｙ)＋Ｓｂ(ｘ，ｙ)Ｂ(ｘ，ｙ)・・・（式３）
　上記（式２），（式３）よりＡ(ｘ，ｙ)，Ｂ(ｘ，ｙ)は、以下のように導かれる。
　　　Ａ(ｘ，ｙ)＝｛Ｓｂ(ｘ，ｙ)Ａ’(ｘ，ｙ)－Ｃｂａ(ｘ，ｙ)Ｂ’(ｘ，ｙ)｝／｛Ｓａ(ｘ，ｙ)Ｓｂ(ｘ，ｙ)－Ｃａｂ(ｘ，ｙ)Ｃｂａ(ｘ，ｙ)｝・・・（式４）
　　　Ｂ(ｘ，ｙ)＝｛Ｓａ(ｘ，ｙ)Ｂ’(ｘ，ｙ)－Ｃａｂ(ｘ，ｙ)Ａ’(ｘ，ｙ)｝／｛Ｓｂ(ｘ，ｙ)Ｓａ(ｘ，ｙ)－Ｃｂａ(ｘ，ｙ)Ｃａｂ(ｘ，ｙ)｝・・・（式５）
　したがって、撮影レンズ１２やＣＣＤ１６の特性に基づく計算や、テストパターンやサンプル画像を用いた測定によりクロストーク及び主ゲインの分布（上述したＳａ，Ｓｂ，Ｃａｂ，Ｃｂａ）のデータをあらかじめ取得しておくことで、Ａ(ｘ，ｙ)，Ｂ(ｘ，ｙ)を求めることができる。このように取得したクロストーク及び主ゲインの分布のデータはＥＥＰＲＯＭ４６に記憶しておくようにしてもよいし、メモリカード５４を介して読み込むようにしてもよい。そしてそのようにしてあらかじめ取得されたクロストーク及び主ゲインの分布のデータを用いて、ＣＰＵ４０（画像補正部）が必要に応じアナログ信号処理部２０（画像補正部）やデジタル信号処理部２４（画像補正部）を制御し、メモリ４８を作業領域として補正の処理が行われる。
　撮像装置１０では、上述した選択的受光が可能なＣＣＤ１６に加えてこのような補正処理を行うことによりクロストークや主ゲインのシェーディングの影響をまとめて除去することができる。また処理に際してこれらの影響の位置依存性を考慮し、除去を正確に行うことができるようにしている。したがって遠合焦領域１２ａ，近合焦領域１２ｂの一方に対応する画像において他方の領域の影響を除去し、合焦距離の異なる複数の画像を、良好な画質で同時に取得することができる。
　なお上記（式２）～（式５）は領域数がＮ（２以上の整数）の場合に拡張でき、一般的には上述した（式１）のように表される。
　本実施の形態に係る撮像装置１０ではクロストークや主ゲインのシェーディングの影響を除去した画像を取得できるのに加えて、そのような画像を合成した画像を生成することもできる。図９はそのような合成画像の例を示す図であり、クロストークや主ゲインのシェーディングの影響を除去した画像を合成することで全ての被写体Ｑ１Ａ，Ｑ１Ｂ，Ｑ２がはっきりと映った画像ｉ３を示している。
　上述したクロストークや主ゲインのシェーディングの影響は、上記行列Ｘの単位行列からのずれとなって現れる。これらの影響の度合いが小さく画像の使用目的上影響を無視できる場合やクロストークと主ゲインとの内どちらか一方のみを除去する場合は、目的に応じ行列Ｘにおいて主ゲインに相当するＸｉｉ成分（行列Ｘの対角成分）を１とし、クロストークに相当するＣｊｉ成分（行列Ｘの非対角成分）を０とすればよい。
　なお補正を行うに当たり、クロストーク及び主ゲインの分布のデータの算出精度（誤差）を考慮しフィルタを用いて統計的処理を行うようにしてもよい。
　＜撮像装置の変形例＞
　上述した実施形態では撮影レンズが図３に示すようなレンズである場合について説明したが、本発明に係る撮像装置において撮影レンズはこのような態様に限定されるものではない。図１０Ａ及び図１０Ｂは撮影レンズの他の態様を示す図である。図１０Ａ及び図１０Ｂに示す撮影レンズ１２’は物理的に分離した２枚以上のレンズからなる撮影レンズであって、撮影レンズの複数の領域が、２枚以上のレンズの組合せに対応してそれぞれ独立した特性（合焦距離と焦点距離との内少なくとも一方）を有するレンズである。撮影レンズ１２’では図１０Ａに示すように、正面から見て半月型の領域がレンズ中心Ｏ１’の上下に設けられており、下部から順に遠合焦領域１２ａ’、近合焦領域１２ｂ’、となっている。そしてこれら２つの焦点領域が物理的に分離した２枚のレンズとして作用し、全体として撮影レンズ１２’を構成する。これらの領域において、焦点距離の具体的な値は撮影目的等に合わせて設定してよい。なお図１０Ｂに示すように、遠合焦領域１２ａ’，近合焦領域１２ｂ’は光軸Ｌ１方向（Ｚ方向）の異なる位置に配置してよい。
　また本発明に係る撮像装置において、撮影レンズの特性（合焦距離と焦点距離との内少なくとも一方）を変更できるようにしてもよい。特性の変更は例えば、撮影レンズ全体の移動や、複数のレンズで構成した撮影レンズの内一部のレンズを移動する等、種々の手法で実現できる。また図１０Ａ及び図１０Ｂに示すような２枚以上のレンズからなる撮影レンズの内いずれかのレンズを回転・移動させるようにしてもよい。このようなレンズの移動や回転は撮影者によるレンズ鏡筒の回転に応じて行われるようにしてもよいし、モータやＰＺＴ（ピエゾ素子）を備えるレンズ駆動部をＣＰＵ４０が制御することにより行われるようにしてもよい。このように特性を変更することで、所望の特性及びその組み合わせで、複数の画像を同時に取得することができる。
　なお合焦距離や焦点距離を変更すると、変更後の各領域の合焦距離・焦点距離の組合せ（異なるか等しいか）に応じて、被写体像の相違の様子が異なる状態になる（本発明の第１の態様についての記載を参照）。また合焦距離や焦点距離を変更できるようにする場合、クロストーク及び主ゲインの分布のデータを合焦距離・焦点距離に対応してあらかじめ取得・記憶しておくか、所望の合焦距離・焦点距離に対応したデータが得られるように定式化しておくことが好ましい。
　以上本発明を実施形態及びその変形例により説明したが、本発明の実施の態様は上記態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
　１０…撮像装置、１２，１２’…撮影レンズ、１２ａ，１２ａ’…遠合焦領域、１２ｂ，１２ｂ’…近合焦領域、１６…固体撮像素子（ＣＣＤ）、１６ａ…遠画像用受光セル、１６ｂ…近画像用受光セル、１８ａ，１８ｂ…遮光膜、３０…液晶モニタ、３８…操作部、４０…ＣＰＵ、４６…ＥＥＰＲＯＭ、４８…メモリ、５４…メモリカード、ａ１，ａ２…レンズ－受光面間距離、ｂ１，ｂ２…レンズ－被写体間距離、ＦＤ１，ＦＤ２…合焦距離、Ｑ１Ａ，Ｑ１Ｂ，Ｑ２…被写体、ｉ１～ｉ３，ｉ１’，ｉ２’…画像

Claims (9)

  1. 　複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、
    　前記複数の領域にそれぞれ対応して設けられた複数の受光センサであって、前記複数の領域のいずれかを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、
    　前記複数の領域の内の一の領域に対応する受光センサの撮像信号から当該一の領域に対応する画像を生成する画像生成部と、
    　前記生成された画像の補正を行う画像補正部と、
    　を備え、
    　前記特性は焦点距離と合焦距離とのうち少なくとも一方であり、
    　前記画像補正部は、前記一の領域に対応して生成された画像から前記一の領域以外の領域を通過した光束の影響を除去を行う、
    　撮像装置。
  2. 　前記画像補正部は、前記一の領域以外の領域を通過した光束の影響の度合の前記生成された画像中での位置依存性を考慮して前記除去を行う、請求項１に記載の撮像装置。
  3. 　前記画像補正部は、前記一の領域に対応して生成された画像から、前記一の領域を通過した光束に対するシェーディングの影響を除去する、請求項１または２に記載の撮像装置。
  4. 　前記画像補正部は、前記シェーディングの影響の度合の、前記生成された画像中での位置依存性を考慮して前記除去を行う、請求項３に記載の撮像装置。
  5. 　前記画像生成部は以下の式（１）に基づいて前記除去を行う、請求項１から４のいずれかに記載の撮像装置。
    　（Ａ１，Ａ２，・・・，ＡＮ）Ｔ＝Ｘ－１・（Ａ１’，Ａ２’，・・・，ＡＮ’）Ｔ・・・（式１）
    　　ただし、
    　　　Ｎ　　：撮影レンズの領域数（２以上の整数）
    　　　Ａｉ（ｘ，ｙ）　：領域ｉに対応する、他の領域を通過した光束の影響の補正後の撮像信号（ｉ＝１～Ｎ）
    　　　Ａｉ’（ｘ，ｙ）：領域ｉに対応する、他の領域を通過した光束の影響の補正前の撮像信号（ｉ＝１～Ｎ）
    　　　Ｘ－１　：主ゲイン及びクロストーク成分からなる行列Ｘの逆行列
    　　　　　　Ｘｉｉ＝Ｓｉ（ｘ，ｙ）　（領域ｉの主ゲイン；ｉ＝１～Ｎ）
    　　　　　　Ｘｊｉ＝Ｃｊｉ（ｘ，ｙ）（領域ｊから領域ｉへのクロストーク成分；ｊ＝１～Ｎ、ｊ≠ｉ）
    　　　（ｘ，ｙ）　　　：領域ｉに対応する画像の画素位置
  6. 　前記画像生成部は、前記除去を行って得られた複数の画像を合成した画像を生成する、請求項１から５のいずれかに記載の撮像装置。
  7. 　前記撮影レンズは物理的に分離した２枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域が、前記２枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する、請求項１から６のいずれかに記載の撮像装置。
  8. 　前記撮影レンズの前記特性を変更する特性変更部を備える、請求項１から６のいずれかに記載の撮像装置。
  9. 　複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、前記複数の領域にそれぞれ対応して設けられた複数の受光センサであって、前記複数の領域のいずれかを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、を備え、前記特性は焦点距離と合焦距離とのうち少なくとも一方である撮像装置における撮像方法であって、
    　前記複数の領域の内の一の領域に対応する受光センサの撮像信号から当該一の領域に対応する画像を生成する画像生成工程と、
    　前記生成された画像の補正を行う画像補正工程であって、前記一の領域に対応して生成された画像から前記一の領域以外の領域を通過した光束の影響を除去する画像補正工程と、
    　を有する撮像方法。
PCT/JP2013/057989 2012-03-27 2013-03-21 撮像装置及び撮像方法 WO2013146506A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014507770A JP5647751B2 (ja) 2012-03-27 2013-03-21 撮像装置及び撮像方法
US14/495,913 US9197827B2 (en) 2012-03-27 2014-09-25 Imaging device and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-071123 2012-03-27
JP2012071123 2012-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/495,913 Continuation US9197827B2 (en) 2012-03-27 2014-09-25 Imaging device and imaging method

Publications (1)

Publication Number Publication Date
WO2013146506A1 true WO2013146506A1 (ja) 2013-10-03

Family

ID=49259763

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/057989 WO2013146506A1 (ja) 2012-03-27 2013-03-21 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US9197827B2 (ja)
JP (1) JP5647751B2 (ja)
WO (1) WO2013146506A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080150A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
WO2016080154A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
WO2016080081A1 (ja) * 2014-11-21 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及びプログラム
WO2016080078A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
WO2016080088A1 (ja) * 2014-11-18 2016-05-26 富士フイルム株式会社 撮像装置及びその制御方法
WO2017029827A1 (ja) * 2015-08-19 2017-02-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
WO2017126242A1 (ja) 2016-01-18 2017-07-27 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
WO2017199559A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
US10110799B2 (en) 2014-08-29 2018-10-23 Fujifilm Corporation Imaging device including a focus adjustment unit and a focus controller for adjusting actuators, and imaging method
US10594964B2 (en) 2016-01-26 2020-03-17 Fujifilm Corporation Imaging device and image data generation method
US10638056B2 (en) 2016-05-17 2020-04-28 Fujifilm Corporation Imaging device, imaging method, program, and non-transitory recording medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004886A1 (ja) * 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306406A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理装置
JP2009122524A (ja) * 2007-11-16 2009-06-04 Nikon Corp 焦点検出装置および撮像装置
JP2009157043A (ja) * 2007-12-26 2009-07-16 Olympus Corp 撮像装置及びそれを有する撮像機器
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP2010154115A (ja) * 2008-12-24 2010-07-08 Canon Inc 撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003270526A (ja) 2002-03-19 2003-09-25 Olympus Optical Co Ltd 撮像光学系
JP2004191629A (ja) * 2002-12-11 2004-07-08 Canon Inc 焦点検出装置
US7598997B2 (en) * 2004-01-14 2009-10-06 Ricoh Company, Ltd. Imaging apparatus and focus control method based on a number of automatic focus scan stages, and recording medium storing a program for executing such a method
KR100735367B1 (ko) 2005-10-27 2007-07-04 삼성전기주식회사 다중 곡률 렌즈를 구비하는 광학 시스템 및 그 형성 방법
JP5625856B2 (ja) * 2010-12-13 2014-11-19 ソニー株式会社 撮像装置および撮像装置の制御方法
KR101773168B1 (ko) * 2011-07-21 2017-09-12 삼성전자주식회사 위상차이 촬상 소자에 의한 초점 조절 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306406A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理装置
JP2009122524A (ja) * 2007-11-16 2009-06-04 Nikon Corp 焦点検出装置および撮像装置
JP2009157043A (ja) * 2007-12-26 2009-07-16 Olympus Corp 撮像装置及びそれを有する撮像機器
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP2010154115A (ja) * 2008-12-24 2010-07-08 Canon Inc 撮像装置

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110799B2 (en) 2014-08-29 2018-10-23 Fujifilm Corporation Imaging device including a focus adjustment unit and a focus controller for adjusting actuators, and imaging method
CN107005626A (zh) * 2014-11-18 2017-08-01 富士胶片株式会社 摄像装置及其控制方法
US10015420B2 (en) 2014-11-18 2018-07-03 Fujifilm Corporation Imaging device and control method therefor
EP3223506A4 (en) * 2014-11-18 2017-10-18 Fujifilm Corporation Imaging device and control method therefor
WO2016080088A1 (ja) * 2014-11-18 2016-05-26 富士フイルム株式会社 撮像装置及びその制御方法
JP2016100607A (ja) * 2014-11-18 2016-05-30 富士フイルム株式会社 撮像装置及びその制御方法
CN107005650A (zh) * 2014-11-20 2017-08-01 富士胶片株式会社 摄像装置、摄像方法及图像处理程序
WO2016080078A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
CN107005651B (zh) * 2014-11-20 2020-06-19 富士胶片株式会社 摄像装置、摄像方法及记录介质
WO2016080150A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
CN107005651A (zh) * 2014-11-20 2017-08-01 富士胶片株式会社 摄像装置、摄像方法及图像处理程序
US10142569B2 (en) 2014-11-20 2018-11-27 Fujifilm Corporation Imaging device, imaging method, and image processing program
CN107005652A (zh) * 2014-11-20 2017-08-01 富士胶片株式会社 摄像装置、摄像方法及图像处理程序
JPWO2016080078A1 (ja) * 2014-11-20 2017-08-03 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
JPWO2016080154A1 (ja) * 2014-11-20 2017-09-14 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
JPWO2016080150A1 (ja) * 2014-11-20 2017-09-14 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
US10122950B2 (en) 2014-11-20 2018-11-06 Fujifilm Corporation Imaging device, imaging method, and image processing program
WO2016080154A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
EP3223508A4 (en) * 2014-11-20 2017-10-11 Fujifilm Corporation Imaging device, imaging method, and image processing program
EP3223509A4 (en) * 2014-11-20 2017-10-11 Fujifilm Corporation Imaging device, imaging method, and image processing program
EP3223510A4 (en) * 2014-11-20 2017-10-11 Fujifilm Corporation Imaging device, imaging method, and image processing program
CN107005627A (zh) * 2014-11-21 2017-08-01 富士胶片株式会社 摄像装置、摄像方法及程序
WO2016080081A1 (ja) * 2014-11-21 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及びプログラム
JPWO2016080081A1 (ja) * 2014-11-21 2017-09-28 富士フイルム株式会社 撮像装置、撮像方法及びプログラム
EP3223505A4 (en) * 2014-11-21 2017-10-11 FUJIFILM Corporation Imaging device, imaging method, and program
US10038856B2 (en) 2014-11-21 2018-07-31 Fujifilm Corporation Imaging device, imaging method, and program
US10552963B2 (en) 2015-08-19 2020-02-04 Fujifilm Corporation Imaging device, imaging method, and non-transitory recording medium
CN107925719A (zh) * 2015-08-19 2018-04-17 富士胶片株式会社 摄像装置、摄像方法、程序及非暂时性记录介质
JPWO2017029827A1 (ja) * 2015-08-19 2018-01-18 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
CN107925719B (zh) * 2015-08-19 2020-05-08 富士胶片株式会社 摄像装置、摄像方法、及非暂时性记录介质
WO2017029827A1 (ja) * 2015-08-19 2017-02-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
WO2017126242A1 (ja) 2016-01-18 2017-07-27 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
US10691002B2 (en) 2016-01-18 2020-06-23 Fujifilm Corporation Imaging device and image data generation method
US10594964B2 (en) 2016-01-26 2020-03-17 Fujifilm Corporation Imaging device and image data generation method
EP3410693B1 (en) * 2016-01-26 2023-01-11 FUJIFILM Corporation Imaging device and image data generation method
WO2017199559A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
US10602066B2 (en) 2016-05-17 2020-03-24 Fujifilm Corporation Imaging device, imaging method, program, and non-transitory recording medium
US10638056B2 (en) 2016-05-17 2020-04-28 Fujifilm Corporation Imaging device, imaging method, program, and non-transitory recording medium

Also Published As

Publication number Publication date
JP5647751B2 (ja) 2015-01-07
JPWO2013146506A1 (ja) 2015-12-14
US20150009369A1 (en) 2015-01-08
US9197827B2 (en) 2015-11-24

Similar Documents

Publication Publication Date Title
JP5647751B2 (ja) 撮像装置及び撮像方法
JP5180407B2 (ja) 立体撮像装置および視差画像復元方法
JP4968885B2 (ja) 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム
JP5385462B2 (ja) 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
JP5421829B2 (ja) 撮像装置
JP5525107B2 (ja) 撮像装置
US9110218B2 (en) Imaging device
JP5871989B2 (ja) 撮影装置、撮影方法及びプログラム
WO2018051730A1 (ja) レンズ装置、カメラシステム、及びレンズ駆動方法
JP2011199755A (ja) 撮像装置
US9071828B2 (en) Imaging apparatus
JP5832353B2 (ja) 撮像装置
JP5525109B2 (ja) 撮像装置
WO2017154366A1 (ja) ローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置
WO2020137217A1 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP5644488B2 (ja) 撮像装置
JP2009253623A (ja) 固体撮像素子及び撮影装置
JP2014063190A (ja) 撮像装置
JP2019047380A (ja) 画像処理装置、撮像装置および制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13768114

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507770

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13768114

Country of ref document: EP

Kind code of ref document: A1