WO2020031299A1 - 撮像装置、撮像システム、及び撮像方法 - Google Patents

撮像装置、撮像システム、及び撮像方法 Download PDF

Info

Publication number
WO2020031299A1
WO2020031299A1 PCT/JP2018/029800 JP2018029800W WO2020031299A1 WO 2020031299 A1 WO2020031299 A1 WO 2020031299A1 JP 2018029800 W JP2018029800 W JP 2018029800W WO 2020031299 A1 WO2020031299 A1 WO 2020031299A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
difference
processing unit
data
unit
Prior art date
Application number
PCT/JP2018/029800
Other languages
English (en)
French (fr)
Inventor
眞弓 中出
悠介 中村
稲田　圭介
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to US17/266,163 priority Critical patent/US11228705B2/en
Priority to JP2020535399A priority patent/JP6999820B2/ja
Priority to PCT/JP2018/029800 priority patent/WO2020031299A1/ja
Priority to CN201880092766.3A priority patent/CN112020854B/zh
Priority to CN202110941078.3A priority patent/CN113660400A/zh
Publication of WO2020031299A1 publication Critical patent/WO2020031299A1/ja
Priority to US17/542,585 priority patent/US11570357B2/en
Priority to JP2021208390A priority patent/JP7218422B2/ja
Priority to US18/085,688 priority patent/US11812163B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1343—Electrodes
    • G02F1/134309—Electrodes characterised by their geometrical arrangement
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1343—Electrodes
    • G02F1/13439—Electrodes characterised by their electrical, optical, physical properties; materials therefor; method of making
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/50—Phase-only modulation

Definitions

  • the present invention relates to an imaging device, an imaging system, and an imaging method.
  • lensless imaging device there is a device that detects a light beam from a subject as a spatial frequency of moiré fringes using a zone plate (FZP) and reconstructs an image of the subject from a Fourier transform image of the moiré fringes.
  • FZP zone plate
  • Such a lensless imaging device that does not use a lens is expected as an imaging device that can realize small size and low cost.
  • Patent Literature 1 describes a method of performing focus adjustment (refocus), autofocus, and distance measurement when a moire fringe image is generated from a sensor image captured by a lensless imaging device.
  • Patent Literature 1 it is necessary to record a sensor image in order to perform focus adjustment or the like after photographing.
  • the sensor image in Patent Literature 1 is a special image in which the subject is not clear, and the capacity of one image is large. Therefore, if stored as it is, a large storage capacity is required. Therefore, it is desired to reduce the capacity of an image captured by a lensless imaging device.
  • an object of the present invention is to provide an imaging apparatus, an imaging system, and a system that reduce and manage the capacity of a moving image captured by a lensless imaging apparatus. It is to provide an imaging method.
  • the present invention has been made in view of the above background art and problems, and an example thereof is an imaging device that continuously captures images, and an optical device that is captured by a plurality of light receiving elements arranged in an array on an imaging surface.
  • An image sensor that converts an image into an image signal and outputs the image signal; a modulator that is provided on a light receiving surface of the image sensor and modulates the intensity of light; a signal processing unit that receives an image signal output from the image sensor;
  • a difference processing unit that calculates a difference between the image signals received by the processing unit and generates first difference data based on the difference; and a data processing unit that calculates a difference based on the difference range of the image signal and the first difference data based on the difference processing unit.
  • a modulator for compressing the first image data for compression generated by the data converter comprising: a first grid pattern including a plurality of lines; A signal processing unit configured to output a first image signal output from the first grid pattern and a second image output from the second grid pattern; Signal, the difference processing unit calculates a difference between the first image signal and the second image signal, and the parameter setting unit sets the data at regular intervals from the first input difference data.
  • a conversion parameter is generated and set, and the compression unit is configured to include information indicating a range of the difference in the compressed data.
  • an imaging apparatus it is possible to provide an imaging apparatus, an imaging system, and an imaging method that can reduce and manage the capacity of an image captured by a lensless imaging apparatus.
  • FIG. 3 is a basic configuration diagram of a lensless imaging device.
  • FIG. 3 is a configuration diagram illustrating an example of a modulator.
  • 5 is a flowchart illustrating an outline of image processing performed by an image processing unit.
  • FIG. 9 is a diagram for explaining that an image projected from the front surface to the back surface of the lattice substrate by obliquely incident parallel light causes in-plane displacement. It is a schematic diagram explaining generation of a moiré fringe and a frequency spectrum when the axes of the grating on both sides of the grating substrate are aligned. It is a schematic diagram at the time of arrange
  • FIG. 4 is a diagram illustrating an example of a moiré fringe generated when an object is at an infinite distance. It is a figure showing that a front side lattice pattern is expanded when an object is at a finite distance.
  • FIG. 5 is a diagram illustrating an example of a moiré fringe generated when an object is at a finite distance.
  • FIG. 11 is a diagram illustrating an example of a moiré fringe in which a back side lattice pattern is corrected when an object is at a finite distance. It is a figure showing an example which realizes a back side lattice pattern by image processing. It is a figure showing the modulator of the example which realizes a back side lattice pattern by image processing.
  • FIG. 7 is a diagram illustrating a processing flow of an image processing unit of an embodiment that implements a back side lattice pattern by image processing. It is a figure showing an example which realizes refocus.
  • FIG. 7 is a diagram illustrating a processing flow of an image processing unit of an embodiment that implements refocus.
  • FIG. 4 is a diagram showing an embodiment for realizing a time-division fringe scan.
  • FIG. 6 is a diagram illustrating an example of a grid pattern in a time-division fringe scan.
  • FIG. 4 is a diagram illustrating an example of a modulator in a time-division fringe scan.
  • FIG. 7 is a diagram illustrating a processing flow of an image processing unit of an embodiment that implements time-division fringe scanning.
  • FIG. 4 is a diagram illustrating an embodiment for realizing a space division fringe scan.
  • FIG. 7 is a diagram illustrating an example of a grid pattern in a space division fringe scan.
  • FIG. 7 is a diagram illustrating an example of a grid pattern in a space division fringe scan.
  • FIG. 7 is a diagram illustrating an example of a grid pattern in a space division fringe scan.
  • FIG. 7 is a diagram illustrating an embodiment for compressing difference image data.
  • FIG. 11 is a diagram illustrating an example of input pixel data of an inter-frame difference process in an embodiment for compressing difference image data.
  • FIG. 11 is a diagram illustrating an example of output pixel data of an inter-frame difference process in an embodiment for compressing difference image data.
  • FIG. 14 is a diagram illustrating an example of image information added to a compressed file in an embodiment for compressing difference image data.
  • FIG. 8 is a diagram illustrating a format example of a compressed file in an embodiment for compressing difference image data.
  • FIG. 9 is a diagram illustrating a processing flow of a pre-compression processing unit in an embodiment for compressing difference image data.
  • FIG. 14 is a diagram illustrating a processing flow of an image reproducing unit in the embodiment for compressing the difference image data capacity.
  • FIG. 1 is a configuration diagram of an imaging system according to a first embodiment.
  • FIG. 5 is a diagram illustrating an example of screen division in the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a signal input to a data conversion processing unit according to the first embodiment.
  • FIG. 3 is a diagram illustrating a configuration example of a compression processing unit according to the first embodiment.
  • FIG. 4 is a diagram illustrating a processing flow in the first embodiment.
  • FIG. 13 is a diagram illustrating a processing flow in the second embodiment.
  • FIG. 13 is a diagram illustrating a processing flow in the third embodiment.
  • FIG. 14 is a configuration diagram of an imaging system according to a fourth embodiment.
  • FIG. 14 is a diagram illustrating an example of screen division according to a fourth embodiment.
  • FIG. 14 is a diagram illustrating a configuration example of a pre-compression processing unit according to a fourth embodiment.
  • FIG. 19 is a diagram illustrating a processing flow in the fourth embodiment.
  • FIG. 19 is a configuration diagram of a reproducing apparatus corresponding to a development process of an image including a color difference signal in Embodiment 5.
  • FIG. 21 is a diagram illustrating a processing flow of a playback device in Embodiment 5.
  • FIG. 19 is a configuration diagram of an imaging and playback system including an imaging device and a playback device according to a sixth embodiment.
  • FIG. 19 is a configuration diagram of an imaging and playback system including an imaging device and a playback device according to a seventh embodiment.
  • FIG. 15 is a configuration diagram of an imaging system according to an eighth embodiment.
  • FIG. 21 is a configuration diagram of an imaging and playback device according to a ninth embodiment.
  • FIG. 21 is a configuration diagram of an imaging and playback system including an imaging and playback device according to a ninth embodiment.
  • FIG. 37 is a configuration diagram of a video display system according to a tenth embodiment.
  • FIG. 21 is a configuration diagram of a video display device and an arithmetic processing device according to a tenth embodiment.
  • FIG. 1 is a basic configuration diagram of a lensless imaging device.
  • the imaging device 101 includes a modulator 102, an image sensor unit 103, and an image processing unit 106.
  • the image signal output from the image sensor unit 103 is subjected to image processing by an image processing unit 106 as an image processing unit, and is output to an image display unit 107 and the like.
  • FIG. 2 is a configuration diagram illustrating an example of the modulator 102.
  • the modulator 102 is fixed to the light receiving surface of the image sensor unit 103, and a front side lattice pattern 104 and a back side lattice pattern 105 are formed on the front side and the back side of the lattice substrate 102a, respectively.
  • the modulator 102 is provided on the light receiving surface of the image sensor unit 103.
  • the lattice substrate 102a is made of a transparent material such as glass or plastic.
  • the image sensor unit 103 side of the lattice substrate 102a is referred to as a back surface
  • the opposing surface, that is, the imaging target side is referred to as a front surface
  • the front-side lattice pattern 104 and the back-side lattice pattern 105 are concentric lattice patterns in which the distance between the lattice patterns, that is, the pitch, becomes smaller in inverse proportion to the radius from the center toward the outside.
  • the intensity of light transmitted through the front-side lattice pattern 104 and the back-side lattice pattern 105 is modulated by the lattice pattern, and the transmitted light is received by the image sensor unit 103.
  • pixels 103a which are light receiving elements, are regularly arranged in a lattice (array).
  • the image sensor unit 103 converts a light image received by the pixel 103a into an image signal which is an electric signal.
  • the image sensor unit 103 converts an optical image captured by a plurality of light receiving elements arranged in an array on the imaging surface into an image signal and outputs the image signal.
  • FIG. 3 is a flowchart illustrating an outline of the image processing performed by the image processing unit 106.
  • a moire fringe image for each of RGB (Red / Green / Blue) components is generated from the signal output from the image sensor unit 103 by demosaicing in step S500.
  • a frequency spectrum is obtained from the moiré fringe image by a two-dimensional Fourier transform operation such as a fast Fourier transform (FFT: Fast Fourier Transform) for each of the RGB components (S501).
  • FFT Fast Fourier Transform
  • step S501 data of a necessary frequency region is cut out of the frequency spectrum by the processing of step S501 (S502), and an image is obtained by calculating the intensity of the frequency spectrum (S503).
  • S501 data of a necessary frequency region is cut out of the frequency spectrum by the processing of step S501 (S502), and an image is obtained by calculating the intensity of the frequency spectrum (S503).
  • the intensities of two images having different phases are combined and output as one image.
  • processing from the signal obtained from the image sensor unit to the acquisition of an image by frequency spectrum calculation, intensity calculation, and the like is referred to as development processing.
  • the concentric front-side lattice pattern 104 and the back-side lattice pattern 105 whose pitches become smaller in inverse proportion to the radius from the center shown in FIG. 2 are defined as follows. It is assumed that a laser interferometer or the like causes a spherical wave close to a plane wave to interfere with a plane wave used as reference light. When the radius from the reference coordinate, which is the center of the concentric circle, is r, and the phase of the spherical wave there is ⁇ (r), this is expressed by Equation 1 using a coefficient ⁇ that determines the magnitude of the wavefront bend.
  • Equation 4 Assuming that the stripe pitch is p, Equation 4 is obtained,
  • a lattice pattern having a transmittance distribution proportional to the intensity distribution defined by Equation 2 is used as the front side lattice pattern 104 and the back side lattice pattern 105 shown in FIG.
  • FIG. 4 is a diagram illustrating an incident state.
  • the modulator 102 having a thickness t having such a lattice pattern on both surfaces at an angle ⁇ 0.
  • the refraction angle in the modulator 102 is ⁇
  • the center of the two concentric gratings is temporarily If they are formed to be aligned, the transmittance of the lattice on the back surface is shifted by ⁇ and multiplied.
  • Equation 5 Equation 5
  • the fourth term of this expansion formula forms a stripe pattern at equal intervals straight in the direction of the displacement of the two grids over the overlapped area.
  • a fringe generated at a relatively low spatial frequency by the superposition of the fringes is called a Moire fringe.
  • Such straight, regularly spaced fringes produce sharp peaks in the spatial frequency distribution obtained by two-dimensional Fourier transform of the detected image.
  • the value of ⁇ that is, the incident angle ⁇ of the light beam can be obtained. It is clear that such moiré fringes uniformly obtained over the entire surface are generated at the same pitch irrespective of the direction of displacement due to the symmetry of the concentric lattice arrangement. Such stripes are obtained because the grating pattern is formed by a Fresnel zone plate or a Gabor zone plate. What kind of grating can be used as long as uniform moire stripes can be obtained uniformly over the entire surface. Patterns may be used.
  • F represents a Fourier transform operation
  • u and v are spatial frequency coordinates in the x and y directions
  • ⁇ with parentheses is a delta function.
  • FIG. 5 is a diagram showing an arrangement diagram of light rays and the modulator 102, a Moire fringe, and a schematic diagram of a spatial frequency spectrum.
  • FIG. 5 from the left to the right, schematic diagrams of the arrangement of the light beam and the modulator 102, moiré fringes, and the spatial frequency spectrum are shown.
  • 5A shows a case where a light beam is incident at an angle ⁇ from the left side
  • FIG. 5B shows a case where a light beam is incident at an angle ⁇ from the right side. .
  • the axes of the front side lattice pattern 104 formed on the front side of the modulator 102 and the rear side lattice pattern 105 formed on the back side of the modulator 102 are aligned.
  • FIG. 5A since the shadows of the front side lattice pattern 104 and the back side lattice pattern 105 match, no moire fringes occur.
  • FIG. 6 is a diagram showing an example of a grid pattern arrangement.
  • two front-side grating patterns 104 and a rear-side grating pattern 105 are set in advance with respect to the optical axis so that the shadows of the two grating patterns are shifted and overlap with each other even for a light beam that is perpendicularly incident on the modulator 102.
  • the shift ⁇ caused by the plane wave at the incident angle ⁇ can be expressed by Expression 8.
  • the spatial frequency spectrum of the discrete image by the two-dimensional Fourier transform is from ⁇ N / (2S) to + N / (2S). Is obtained in the range of
  • DC DC component
  • FIG. 7 is a schematic diagram illustrating the generation of moiré fringes and the frequency spectrum when the front-side lattice pattern 104 and the back-side lattice pattern 105 are displaced from each other.
  • the left side shows the arrangement of the light beam and the modulator 102
  • the central row shows the moire fringes
  • the right side shows the spatial frequency spectrum.
  • 7A shows a case where the light beam is vertically incident
  • FIG. 7B shows a case where the light beam is incident at an angle ⁇ from the left side
  • the deviation ⁇ is in a direction in which the deviation is further increased, and in FIG. 7 (c), the deviation is in a direction in which the deviation is smaller.
  • the spectrum image of this peak is a luminescent spot indicating a light beam at infinity, and is nothing but an image captured by the imaging device 101 in FIG.
  • the maximum angle of view that can be received by the imaging device 101 is expressed by the following equation (13).
  • the angle of view can be changed by the thickness t of the modulator 102, the coefficient ⁇ of the front side lattice pattern 104, and the coefficient ⁇ of the back side lattice pattern 105. Therefore, for example, the modulator 102 forms the front-side lattice pattern 104 and the back-side lattice pattern 105 in a thin film and holds them by the support member, and the length of the support member, that is, the thickness t can be changed. With this configuration, it is possible to change the angle of view during shooting and shoot.
  • the incident light beam has only one incident angle at the same time.
  • the imaging device 101 it is assumed that light beams at a plurality of incident angles are incident simultaneously. There must be.
  • the light of such a plurality of incident angles already overlaps the images of the plurality of front side gratings at the time of being incident on the back side grating pattern. If they generate moiré fringes mutually, there is a concern that noise that hinders detection of moiré fringes with the back side lattice pattern 105, which is a signal component.
  • the major difference is that the overlap of the shadows of the front-side lattice pattern 104 due to the light beams at a plurality of incident angles is not a product but a sum.
  • the intensity distribution of the light which is the shadow of the front-side grating pattern 104, is multiplied by the transmittance of the back-side grating pattern 105. By doing so, a light intensity distribution after passing through the back side lattice pattern 105 is obtained.
  • the overlap of the shadows caused by the light having different angles incident on the front-side grating pattern 104 is not a product but a sum, because the lights are overlapped.
  • the sum as in Equation 15,
  • the distribution is obtained by multiplying the distribution of the original Fresnel zone plate grid by the distribution of the moire fringes. Therefore, the frequency spectrum is represented by the overlap integral of each frequency spectrum.
  • the spectrum of the moiré image detected even when light having a plurality of incident angles is applied is always only the moire of the product of the front-side lattice pattern 104 and the back-side lattice pattern 105, and the back-side lattice pattern 105 is a single. Therefore, only one peak of the spectrum is detected for one incident angle.
  • FIG. 8 is an explanatory diagram illustrating an angle formed by light from each point constituting the object with respect to the image sensor.
  • the light from each point constituting the subject 401 is strictly a spherical wave from a point light source, and is converted into a modulator 102 and an image sensor unit 103 (hereinafter, referred to as a grating sensor integrated substrate 1301 in FIG. 8) of the imaging device 101 in FIG. ).
  • a modulator 102 and an image sensor unit 103 hereinafter, referred to as a grating sensor integrated substrate 1301 in FIG. 8
  • an image of an object at infinity can be imaged by the imaging device of the present configuration.
  • FIG. 9 shows how the front-side lattice pattern 104 is projected onto the rear surface in the case of infinity described above.
  • a spherical wave from a point 1401 constituting an object at infinity becomes a plane wave while propagating a sufficiently long distance, irradiates the front side lattice pattern 104, and a projected image 1402 is projected on a lower surface.
  • the projected image has substantially the same shape as the front-side lattice pattern 104.
  • the projected image 1402 by multiplying the projected image 1402 by the transmittance distribution of the back side lattice pattern (corresponding to the back side lattice pattern 105 in FIG. 2), as shown in FIG. Obtainable.
  • FIG. 11 is an explanatory diagram showing that when the object to be imaged is at a finite distance, the projection of the front-side lattice pattern 104 onto the back surface is enlarged more than the front-side lattice pattern 104.
  • FIG. 11 when a spherical wave from a point 1601 constituting the object irradiates the front-side lattice pattern 104 and a projected image 1602 is projected on a lower surface, the projected image is enlarged substantially uniformly.
  • this enlargement factor ⁇ is calculated by using the distance f from the front-side lattice pattern 104 to the point 1601,
  • the light from the point 1601 at a distance that is not necessarily infinity can be selectively developed. Thereby, it is possible to focus on an arbitrary position and perform photographing.
  • the front-side grating pattern 104 and the back-side grating pattern 105 having the same shape are formed on the front and back surfaces of the grating substrate 102a so as to be shifted from each other. And developed the image.
  • the back side lattice pattern 105 is an optical element that modulates the intensity of light incident on the image sensor unit 103 in close contact, and is the same lattice pattern regardless of the incident light. Therefore, as shown in FIG. 14, a modulator 1901 from which the back side grid pattern 105 has been removed may be used, and processing corresponding to the back side grid pattern 105 may be executed by the intensity modulation section 1903 in the image processing section 1902. .
  • the image sensor unit 103 and the image processing unit 1902 are connected by a bus 1904.
  • FIG. 15 shows details of the configuration of the modulator 1901 at this time.
  • the number of grid patterns formed on the grid substrate 102a can be reduced by one. Thereby, the manufacturing cost of the modulator can be reduced, and the light use efficiency can be further improved.
  • FIG. 16 is a flowchart showing an outline of image processing by the image processing unit 1902 in FIG. 16 differs from the flowchart in FIG. 3 in the processing in step S2101.
  • the image processing unit 1902 generates a moire fringe image corresponding to the image output from the image sensor unit 103 by the above-described intensity modulation unit 1903 transmitted through the back side lattice pattern 105.
  • the image processing unit 1902 since the calculation corresponding to Expression 5 may be performed, the image processing unit 1902 generates the back side lattice pattern 105 in the intensity modulation unit 1903 and multiplies the image of the image sensor unit 103 by the image. Good.
  • the back side lattice pattern 105 is a binarized pattern, it can be realized only by setting the value of the image sensor unit 103 in an area corresponding to black to 0. Thus, the scale of the multiplication circuit can be suppressed. Thereafter, the processing in steps S501 to S507 in FIG. 16 is the same as the processing in FIG. 3, and thus the description is omitted here.
  • the processing corresponding to the back side lattice pattern 105 is realized by the intensity modulation unit 1903, since the back side lattice pattern 105 is an optical element that modulates the intensity of light incident on the sensor in close contact with the sensor, the sensitivity of the sensor is reduced. This can also be realized by effectively setting the transmittance of the back side lattice pattern 105 in consideration of the transmittance.
  • the configuration in which the image processing unit performs the back side lattice pattern 105 described above it is also possible to focus on an arbitrary distance after shooting.
  • the configuration in this case is shown in FIG. 17 differs from FIG. 14 in a storage unit 2201, an image processing unit 2202, and a focus setting unit 2203.
  • the storage unit 2201 temporarily stores an image output from the image sensor unit 103, for example, to enable focus adjustment after shooting.
  • the focus setting unit 2203 can set a focus distance by using a knob provided on the imaging apparatus 101, a GUI (Graphical User Interface) of a smartphone, or the like.
  • the distance information is output to the image processing unit 2202.
  • FIG. 18 is a flowchart showing an outline of image processing by the image processing unit 2202 in FIG. FIG. 18 differs from FIG. 16 in the process of step S2301.
  • the enlargement ratio ⁇ is calculated from Expression 17 based on the focus distance information output from the focus setting unit 2203, and the calculation is performed such that the coefficient ⁇ of the back side lattice pattern 105 is ⁇ / ⁇ .
  • step S2101 a moiré fringe image corresponding to transmission through the lattice pattern on the back surface is generated based on the coefficient.
  • the processing in steps S501 to S506 in FIG. 18 is the same as the processing in FIG. 3, and thus the description is omitted here.
  • an object image of the outside world can be obtained by a simple operation such as fast Fourier transform, and the focus can be adjusted to an arbitrary distance after shooting.
  • a simple operation such as fast Fourier transform
  • re-photographing was necessary to change the focus, but this configuration requires only one photographing.
  • Equation 6 in which only components having sharp peaks are extracted from Equation 5, but terms other than the fourth term in Equation 5 become noise. Therefore, noise cancellation based on fringe scanning is effective.
  • Equation 5 can be expressed as Equation 18.
  • Integrating Equation 18 with respect to ⁇ F and ⁇ B cancels the noise term and leaves a term that is a constant multiple of a single frequency. From the foregoing discussion, Fourier transforming this will result in sharp peaks in the spatial frequency distribution without noise.
  • Equation 19 is shown in the form of integration, but in practice, the same effect can be obtained by calculating the sum of the combinations of ⁇ F and ⁇ B.
  • ⁇ F and ⁇ B may be set so as to equally divide the angle between 0 and 2 ⁇ , and are equally divided into four such as ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ , and ⁇ 0, ⁇ / 3, 2 ⁇ It may be divided into three equal parts, such as.
  • Equation 19 can be simplified.
  • ⁇ may be set so as to equally divide an angle between 0 and 2 ⁇ , and may be equally divided into four such as ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ .
  • the noise term is canceled, and a term that is a multiple of a single frequency remains.
  • the front side grid pattern 104 and the back side grid pattern 105 separate two developed images generated in the spatial frequency space by shifting ⁇ 0 in advance.
  • this method has a problem that the number of pixels of the developed image is reduced by half. Therefore, a method of avoiding overlapping of developed images without shifting by ⁇ 0 will be described.
  • the fringe scan of Expression 19 instead of cos, calculation is performed on a complex plane using exp as in Expression 23.
  • FIGS. 1-10 A configuration for performing the above-described noise canceling method based on the fringe scan will be described with reference to FIGS.
  • fringe scanning it is necessary to use at least a plurality of patterns having different initial phases as the front-side grating pattern 104.
  • FIG. 19 shows a configuration for realizing time-division fringe scanning.
  • reference numeral 2501 denotes a modulator
  • 2502 denotes a control unit
  • 2503 denotes an image processing unit.
  • the control unit 2502 controls the image sensor unit 103, the modulator 2501, the image processing unit 2503, and the like.
  • the modulator 2501 is, for example, a liquid crystal display element capable of electrically switching and displaying (phase shifting) a plurality of initial phases shown in FIG.
  • the initial phase ⁇ F or ⁇ is ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ , respectively.
  • each of the patterns in FIGS. 20A to 20D is composed of a plurality of lines.
  • the pattern in FIG. 20A corresponds to the first grid pattern
  • the pattern in FIG. 20C corresponds to the second grid pattern, which is out of phase with the first grid pattern by ⁇ .
  • the pattern of FIG. 20 (b) corresponds to a third lattice pattern whose phase is shifted by ⁇ / 2 from the first lattice pattern
  • the pattern of FIG. 20 (d) has a phase of 3 ⁇ from the first lattice pattern. / 2 shifted to the fourth grid pattern.
  • the lattice pattern shown in FIG. 20 is composed of a plurality of concentric circles, and the concentric circles are finer in inverse proportion to the reference coordinates at the center of the concentric circles.
  • the grid pattern of the modulator 2501 is composed of a plurality of straight lines as shown in FIG. 24, and the plurality of straight lines may be narrowed in inverse proportion to the distance between the straight lines with respect to the reference coordinates. .
  • FIG. 21 shows an example of the electrode arrangement in the liquid crystal display element of the modulator 2501 that realizes the lattice pattern shown in FIG.
  • Concentric electrodes are formed so as to divide one period of the lattice pattern into four parts. Every four electrodes are connected from the inside, and four electrodes are drawn out from the outer periphery as drive terminals.
  • the initial phase ⁇ F or ⁇ of the lattice pattern is changed as shown in FIGS. 21 (a) to (d). It is possible to switch to ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ .
  • FIG. 21 corresponds to the shaded electrode to which "1" is applied, which blocks light, and the shaded electrode, to which "0" is applied, transmits light.
  • FIG. 22 is a flowchart showing an outline of image processing in the image processing unit 2503.
  • the flowchart in FIG. 22 differs from the flowchart in FIG. 16 in the processing in steps S2701 to S2704.
  • the image processing unit 2503 resets the addition result at the beginning of the fringe scan operation (S2701).
  • the image processing unit 2503 sets the same initial phase as the front-side lattice pattern 104 used for imaging (S2702), and generates the back-side lattice pattern 105 having the initial phase. Are multiplied by the image of the image sensor unit 103 (S2101).
  • FIG. 23 shows a configuration for realizing the space division fringe scan.
  • the modulator 2901 has a configuration in which a plurality of initial phase patterns are two-dimensionally arranged, for example, a pattern in which the initial phase ⁇ F or ⁇ is ⁇ 0, ⁇ / 2, ⁇ , 3 ⁇ / 2 ⁇ in FIG. is there.
  • the image division unit 2902 divides the output of the image sensor unit 103 into regions corresponding to the pattern arrangement of the modulator 2901 and sequentially transmits the divided regions to the image processing unit 2503. In the example of FIG. 24, the output of the image sensor is divided into 2 ⁇ 2 areas.
  • the modulator 2801 is 2 ⁇ 2 because four phases are required.
  • the modulator 2901 can be realized in two phases, so that the modulator 2901 can be realized even in a 1 ⁇ 2 pattern arrangement. It is possible.
  • a pattern in which the initial phase ⁇ F or ⁇ is ⁇ 0, ⁇ respectively is two-dimensionally arranged.
  • the image sensor output is also divided into 1 ⁇ 2 areas according to the number of phases.
  • the subsequent processing of the image processing unit 2503 is the same as the processing in FIG.
  • this space division fringe scan is used, there is no need to electrically switch as in the time division fringe scan modulator 2501, and a modulator can be manufactured at low cost.
  • an image sensor in which the shutter of one screen has the same timing has the same four-phase or two-phase imaging timing, so that it is possible to image a moving object.
  • Higher quality images can be obtained after development in four phases than in two phases, but the processing amount in two phases can be reduced as compared with four phases.
  • a CMOS image sensor having a different shutter timing for each horizontal line can be used for moving image shooting.
  • time-division fringe scanning is suitable for photographing a still object requiring a higher resolution.
  • FIG. 26 shows an image capturing apparatus 3000 and a reproducing apparatus 3100 in which the amount of information of an image that can be subjected to focus adjustment after image capturing is reduced, and the processing load of the image capturing apparatus is reduced by dividing the processing of the image processing unit 2503 in FIG. 1 shows a configuration example of an imaging system including The same components as those in FIG. 19 are denoted by the same reference numerals, and description thereof is omitted.
  • This imaging system includes an imaging device 3000 and a playback device 3100 (reconstruction device). Note that this imaging system shows an example in which time-division fringe scanning is applied.
  • the imaging device 3000 is a device that captures an image and compresses the result.
  • the reproducing device 3100 is a device that decompresses the compressed result and reproduces the decompressed result.
  • the imaging device 3000 includes an imaging unit 3020 and an output processing unit 3007, which are connected by a bus 1904.
  • the imaging unit 3020 includes the image sensor unit 103, the modulator 2501, the transparent lattice substrate 102a, the control unit 2502, the pre-compression processing unit 3001, the compression processing unit 3005 (compression unit), and the storage unit 2201. Including.
  • the pre-compression processing unit 3001 includes a sensor signal processing unit 3002, a difference processing unit 3003, and a data conversion processing unit 3004 (data conversion unit).
  • the playback device 3100 includes a control unit 3101, an input processing unit 3009, a decoding processing unit 3010, a development processing unit 3011 (image restoration processing unit, modulation processing unit), a storage unit 3012, a focus setting unit 2203, And an output unit 3013, which are connected by a bus 3104.
  • the imaging system further includes an image display unit 107 and a storage device 3008.
  • the control unit 2502 controls the image sensor unit 103, the modulator 2501, the pre-compression processing unit 3001, and the like.
  • the sensor signal processing unit 3002 generates, for example, complementary data from the data (image signal) of each pixel output from the image sensor unit 103, performs demosaicing processing to generate RGB data corresponding to each pixel, and performs sensor processing. Output as an image.
  • the sensor image stores the image data in the storage unit 2201 or sends it to the difference processing unit 3003 as necessary.
  • the sensor signal processing unit 3002 receives the image signal output from the image sensor unit 103.
  • the sensor signal processing unit 3002 receives the image signal (first image signal) when the modulator 2501 has the first lattice pattern, or receives the image signal (second image signal) when the modulator 2501 has the second lattice pattern. Signals). In addition, the sensor signal processing unit 3002 receives an image signal (third image signal) at the time of the third lattice pattern or receives an image signal (fourth image signal) at the time of the fourth lattice pattern. Or
  • the difference processing unit 3003 obtains a difference between two sensor images (image signals) in a region captured by changing the phase of the modulator 2501, and generates a difference image (difference data).
  • the difference processing unit 3003 acquires a sensor image directly from the sensor signal processing unit 3002 or acquires a sensor image stored in the storage unit 2201. Further, the difference processing unit 3003 stores the difference image in the storage unit 2201 as necessary. If the sensor image is, for example, a color image and one pixel is composed of R data, G data, and B data, a difference may be obtained for each of the R data, G data, and B data.
  • the difference processing unit 3003 calculates the difference between the image signals received by the sensor signal processing unit 3002, and generates a difference image based on the difference.
  • the difference processing unit 3003 calculates a difference between the first image signal and the second image signal, and generates a difference image (first difference data) based on the difference.
  • the difference processing unit 3003 calculates a difference between the third image signal and the fourth image signal, and generates a difference image (second difference data) based on the difference.
  • FIG. 27 is a graph showing an example of a change in brightness of a part of the sensor image output from the sensor signal processing unit 3002 in FIG.
  • the horizontal axis indicates the horizontal position of the screen on a certain line
  • the vertical axis indicates the value of the pixel data.
  • the larger the value of the pixel data the brighter the pixel data.
  • FIG. 27 shows an example in which the pixel data is represented by 12 bits, the pixel data value may be represented by another number of bits or a normalized data value.
  • FIG. 27A shows a case where the pattern of FIG. 24A is used for the modulator 2501 of FIG. 26, and FIG. 27B shows a case where the modulator 2501 of FIG. 26 uses the pattern of FIG. 5 shows an example of a change in pixel data of a screen area using a pattern.
  • the sensor image captured by the imaging device is an integrated value of the light amount. Therefore, when the image sensor ideally captures the subject, there is no rapid change in data.
  • the DC component of the data may greatly change due to, for example, the shadow of the housing or the characteristics in the image sensor.
  • a difference between sensor images having a phase difference of ⁇ of the modulator 2501 is obtained, so that only a necessary data portion of the sensor image can be extracted.
  • FIG. 28 is a graph showing an example of a change in brightness of a part of the difference image output from the difference processing unit 3003.
  • the vertical axis indicates the difference value
  • the horizontal axis indicates the position of each pixel.
  • the difference between the pixel values at each position is shown.
  • the value at the position with the largest difference is the maximum value 3401
  • the value at the position with the smallest difference is the minimum value 3402.
  • the example of FIG. 28 shows data at the same position as the video of FIG. The effect of being darkened by the shadow is eliminated, and only the information necessary for making a video by the reproducing apparatus 3100 later remains.
  • the data conversion processing unit 3004 obtains the minimum and maximum pixel data difference values from the entire difference image obtained by the difference processing unit 3003. By subtracting the minimum value as an offset value from each pixel data difference value, the number of bits required to represent a difference image is the number of bits required to represent data obtained by subtracting the minimum value from the maximum value. , Can be greatly reduced from the number of bits representing the original pixel value.
  • a difference image obtained by performing offset subtraction in consideration of compression efficiency and a case where the number of bits per pixel of an input image is predetermined in the subsequent compression processing unit 3005 is, for example, , And 8 bits to generate compression image data. Also, in the latter stage of the compression processing unit 3005, when the input image is not expressed by red, green, and blue data, but is expressed by luminance and color, conversion is performed together.
  • the data conversion processing unit 3004 generates compression image data (first compression image data) based on the difference range (maximum value and minimum value) of the image signal by the difference processing unit 3003 and the difference data. I do.
  • the data conversion processing unit 3004 has described the case where the maximum value and the minimum value are calculated, other information indicating the range of the difference may be calculated.
  • the data conversion processing unit 3004 sends out the generated compression image data to the compression processing unit 3005.
  • the difference processing unit 3003 calculates a difference between the third image signal and the fourth image signal and generates a difference image (second difference data) based on the difference
  • the data conversion processing unit 3004 Generates a compression image (second compression image data) based on the difference.
  • the compression processing unit 3005 performs a compression process to reduce the amount of audio data when there is a still image, a moving image, and an audio input (not shown).
  • the compression encoding method is, for example, JPEG, JPEG2000, MPEG2, H.264. H.264 / AVC, H.264. 265 / HEVC.
  • the compression processing unit 3005 acquires a compression image from the data conversion processing unit 3004, compresses the compression image, and generates compressed data including the compressed data.
  • the compressed data configuration by the compression processing unit 3005 includes, for example, a header, compressed image data, and a footer in JPEG.
  • FIG. 29 shows an example of the structure of compressed data of one compressed image.
  • the compressed data has a header section 3501, compressed image data 3502, and a footer section 3503.
  • the header section 3501 stores information necessary for image compression / decoding, such as a start marker, a file size, an image size, and a quantization table.
  • the compressed image data 3502 is data obtained by compressing a compression image.
  • the footer section 3503 is a section in which an end marker and the like are stored.
  • the header section 3501 includes an area 3504 in which data can be freely set for each application in the header.
  • the compression processing unit 3005 adds metadata to the area 3504.
  • FIG. 30 shows an example of metadata added by the compression processing unit 3005.
  • the metadata includes a record 3601 and a record 3602.
  • the record 3601 includes a variable and a value of the minimum value of the pixel data of the difference image obtained by the data conversion processing unit 3004.
  • the record 3602 includes a variable and a value of the maximum value of the pixel data of the difference image.
  • the compression processing unit 3005 generates a compressed image and compression parameters at the time of image compression, and adds the information shown in FIG. Enable. As described above, the compression processing unit 3005 includes information indicating the range of the difference (the variable and the value of the minimum value, the variable and the value of the maximum value) in the compressed image.
  • the output processing unit 3007 may add the metadata to the header to which the metadata has been added.
  • the compression processing unit 3005 converts the second image data for compression into The compressed image contains information indicating the range of the difference between the third image signal and the fourth image signal (variables and values of the minimum value and variables and values of the maximum value).
  • the output processing unit 3007 is a unit that outputs the compressed data generated by the compression processing unit 3005.
  • the output processing unit 3007 stores and outputs the compressed data to the storage device 3008.
  • the storage unit 2201 and the storage unit 3012 are used by the pre-compression processing unit 3001, the compression processing unit 3005, the decoding processing unit 3010, and the development processing unit 3011 to temporarily store parameters and image data.
  • the output processing unit 3007 records the compressed file generated by the compression processing unit 3005 in the storage device 3008.
  • the storage device 3008 is a device that records digital data, such as a hard disk (HDD), a solid state drive (SSD), a memory card, and a recorder using them.
  • HDD hard disk
  • SSD solid state drive
  • memory card a memory card
  • the control unit 3101 controls, for example, the input processing unit 3009, the decoding processing unit 3010, the development processing unit 3011, the focus setting unit 2203, and the like.
  • the input processing unit 3009 extracts compressed data stored in the storage device 3008 sequentially or not shown, but in response to a request from a user. Thus, the input processing unit 3009 inputs the data output by the output processing unit 3007. The input processing unit 3009 sends the input data to the decryption processing unit 3010.
  • the decoding processing unit 3010 performs a decoding process according to the method used for the compression method of the compression processing unit 3005, and decodes the compressed image data 3502 from the information stored in the header 3501 in FIG. Acquire an image (compressed and decompressed image). Further, the decryption processing unit 3010 also acquires the added metadata at the same time, and sends it to the development processing unit 3011.
  • the development processing unit 3011 generates a restored difference image by restoring an image (difference data) having an offset and the original bit depth from the decoded image and the metadata. That is, the development processing unit 3011 generates a restored difference image from the decoded image and the range of the difference.
  • the development processing unit 3011 further performs back surface pitch determination (S2301) and back surface lattice intensity modulation (S2101) described with reference to FIG. 18 and focus intensity addition (S2703) described with reference to FIG. 22 for focus adjustment. . Further, the two-dimensional FFT operation (S501), spectrum extraction (S502), intensity calculation (S503), noise removal (S504), contrast enhancement (S505), color balance adjustment (S506), and output signal generation described with reference to FIG. The respective processes of the process (S507) are sequentially performed, and the image display unit 107 generates a display signal capable of displaying the developed image.
  • the development processing unit 3011 modulates the restored difference image to generate a moiré fringe image, and calculates the frequency spectrum by Fourier transforming the moiré fringe image.
  • FIG. 31 is a flowchart showing an outline of image processing in the pre-compression processing unit 3001.
  • the compression preprocessing unit 3001 sets the number of phase shifts of the grating pattern (zone plate) of the modulator 2501 (S3101).
  • the compression preprocessing unit 3001 sets “4” when, for example, four patterns are time-divided. Note that it may be set in advance in the compression pre-processing unit 3001.
  • the pre-compression processing unit 3001 sets the number of frames from which the difference between the image data is obtained (S3102).
  • the pre-compression processing unit 3001 resets the maximum value and the minimum value, for example, to 0 (S3103).
  • the pre-compression processing unit 3001 executes the sensor signal processing (S500), and when determining that the difference frame is the initial value (S3104: Yes), stores the pixel data in the storage unit 2201 (S3105). Until the end of the frame is determined in step S3108, the processing of sensor signal processing S500 is repeated.
  • step S3104 If it is determined in step S3104 that the frame is not the initial frame, in step S3106, the pixel value of the same coordinates stored in step S3105 is subtracted and stored in the storage unit 2201. In step S3107, the maximum value and the minimum value are compared with the pixel value. If the pixel value is larger than the maximum value, the pixel value is set to the maximum value. If the pixel value is smaller than the minimum value, the pixel value is set to the minimum value. Next, the end of the frame is determined in step S3018. If it is not the end of the frame, the sensor signal processing is executed (S500). If the end of the frame is reached, the processing is ended.
  • step S3109 1 is subtracted from the number of frames for which the difference is to be obtained and the phase shift, and if it is not determined in step S3110 that the frame difference has ended, the process returns to the maximum value / minimum value reset process in step S3103, and the frame difference process ends. Performs the data shift process of step S3111.
  • step S3111 a data shift process is performed to set the minimum value of the difference image value to 0 by, for example, subtracting the minimum value from all the difference pixel values from the minimum value acquired in step S3107.
  • step S3112 for example, a bit reduction process of reducing unused upper bits from the maximum value acquired in step S3107 is performed.
  • bit reduction process for example, when the number of bits of image data is limited by an algorithm used for image compression, a process of re-assigning to the target number of bits is performed.
  • image restoration information for example, information on the maximum value or the minimum value is meta-data so that the difference pixel value converted in the data shift process (S3111) or the bit reduction process (S3112) can be restored in a development process performed later. Generate as data.
  • step S3114 the end of the phase shift is determined. If all the phase processes have been completed, the process ends. If not, the process from step S3102 is repeated.
  • the number of bits of the pixel value of the sensor image can be reduced, and compression can be performed efficiently.
  • step S3702 when the process starts, a compressed file is acquired from the storage unit 3012 in step S3701.
  • step S3702 the compressed image is decoded using the header information of the compressed file.
  • step S3703 image information that is the maximum value and the minimum value of the pixel data of the original image is acquired from the metadata in the header of the compressed file, and the difference before processing is performed by the data conversion processing unit 3004 in FIG.
  • a pixel data restoration process for restoring pixel data of an image is performed.
  • step S3704 the phase of the modulator is set.
  • the phase for example, it is assumed that the first set value of the phase is 0, and the next is shifted by ⁇ .
  • step S2704 the end of the phase shift is determined in step S2704. For example, if the processing of the phase shift ⁇ has not been completed, the process returns to the acquisition of the compressed file (S3701). If the phase shift has been completed, the two-dimensional FFT operation (S501), spectrum extraction (S502), intensity calculation (S503), noise removal (S504), contrast enhancement (S505), and color balance described with reference to FIG.
  • the adjustment (S506) and the output signal generation processing (S507) are sequentially performed, and the image display unit 107 generates a display signal capable of displaying the developed image.
  • the compressed image is decoded, and the focus-adjustable image is restored, so that the playback device can perform the focus adjustment and the distance measurement of the subject necessary when the user needs it. is there.
  • FIG. 33 shows a configuration diagram of an imaging system according to the present embodiment.
  • FIG. 33 shows that the amount of information of an image in which focus adjustment can be performed after shooting in a moving image is reduced, and the processing of the image processing unit 2503 in FIG.
  • It is a configuration example of an imaging system including a suitable lensless imaging device 3800 and a playback device 3100 (reconstruction device). 33, the same components as those in FIGS. 26 and 23 are denoted by the same reference numerals, and description thereof will be omitted.
  • this imaging system an example is shown in which space-division fringe scanning that can simultaneously capture one frame of image is applied for moving image processing.
  • an imaging device 3800 is a device that compresses the result of capturing an image.
  • the reproducing device 3100 is a device that decompresses the compressed result and reproduces the decompressed result.
  • the imaging device 3800 includes an imaging unit 3820 and an output processing unit 3007.
  • the imaging unit 3820 includes an image sensor unit 103, a transparent lattice substrate 102a, a transparent lattice substrate 102a, a modulator 2901, a control unit 3802, a pre-compression processing unit 3801, a compression processing unit 3805 (compression unit), And a storage unit 2201.
  • the pre-compression processing unit 3801 includes a sensor signal processing unit 3002, a difference processing unit 3003, a data conversion processing unit 3804 (data conversion unit), and an operation parameter generation unit 3806.
  • the control unit 3802 controls the image sensor unit 103, the pre-compression processing unit 3801, the compression processing unit 3805, and the like.
  • the image dividing unit 2902 divides, for example, the data (image signal) of each pixel output from the image sensor unit 103 into four regions for each phase pattern of the modulator 2901.
  • FIG. 34 shows an example of image signal division.
  • 3900 is the entire image signal
  • 3901 is the image signal area of the first grid pattern area (first area)
  • 3902 is the image signal area of the second grid pattern area (second area)
  • 3903 is the third image signal area
  • 3904 is an image signal area (fourth area) of the fourth lattice pattern area.
  • the sensor signal processing unit 3002 performs, for example, a demosaicing process of generating complementary data for each of the regions divided by the image dividing unit 2902 and generating RGB data corresponding to each pixel, and performs sensor processing. Output as an image.
  • the sensor image stores the image data in the storage unit 2201 or sends it to the difference processing unit 3003 as necessary.
  • the sensor signal processing unit 3002 receives the image signal output from the image sensor unit 103.
  • the sensor signal processing unit 3002 receives the image signal of the first grid pattern area of the modulator 2901 as the first image signal, or receives the image signal of the second grid pattern area as the second image signal.
  • the image signal of the third lattice pattern area is received as a third image signal
  • the image signal of the fourth lattice pattern area is received as a fourth image signal.
  • the difference processing unit 3003 calculates a difference between the first image signal and the second image signal, and generates a difference image (first difference data) based on the difference.
  • the difference processing unit 3003 calculates a difference between the third image signal and the fourth image signal, and generates a difference image (second difference data) based on the difference.
  • the calculation parameter generation unit 3806 determines the minimum value and the maximum value of each pixel data of the difference image obtained by the difference processing unit 3003 based on an instruction of the control unit 3802 described later, and based on the obtained maximum value and minimum value. Then, the data conversion processing unit 3804 generates operation parameters for converting the difference image into the pre-compression image, and stores the operation parameters in the storage unit. For example, if the possible value of each pixel of the pre-compression image is 8 bits, the calculation parameter is obtained by dividing the minimum value by an offset value for a bit shift operation, and the maximum amplitude value which is a difference between the maximum value and the minimum value by 255. The value is used as a multiplication coefficient for bit reduction processing.
  • the compression efficiency in the compression processing unit 3805 at the subsequent stage may be reduced, or the final image may cause flicker. I do.
  • FIG. 35 shows an example of a signal input to the data conversion processing unit 3804.
  • the horizontal axis indicates the position of the image, and the vertical axis indicates the pixel value.
  • 4001 is a part of a signal example of a certain frame
  • 4002 is a part of a signal example of a frame different from the signal example 4001 of the frame.
  • 4003 is the minimum value of the signal example 4001 of the frame
  • 4004 is the minimum value of the signal example 4002 of the frame
  • 4005 is the maximum value of the signal example 4001 of the frame
  • 4006 is the maximum value of the signal example 4002 of the frame.
  • the maximum value and the minimum value change for each frame.
  • the maximum value and the minimum value of the key frame that is the key image are obtained to generate the calculation parameter, and the offset is set to be the same for a certain period.
  • a key frame is, for example, a frame that is compressed irrespective of image data of another frame such as the front and rear, and is generated once every several to several hundred frames by the compression processing unit 3805.
  • the certain period is, for example, a period from a key frame to the next key frame. Note that a difference image that deviates from the minimum value and the maximum value of the difference image of the key frame has a possibility of degrading the image quality, but the influence is not great. Further, an operation parameter may be generated and set using a value obtained by adding or subtracting a value anticipating the fluctuation of each frame to the maximum value and the minimum value of the key frame.
  • the difference image obtained by offset subtraction in the subsequent compression processing unit 3805 when the number of bits per pixel of the input image is predetermined or in consideration of the compression efficiency is, for example, 8 Processing such as assignment to bits is performed to generate image data for compression.
  • the input image is not represented by red, green, and blue data.
  • the compression processing unit 3805 performs a compression process to reduce the amount of audio data when there is a still image or a moving image or a voice input (not shown) as in the case of 3005 in FIG.
  • the compression processing unit 3805 compresses a moving image by a compression method in which the modulator 2901 has four phases and the compression processing unit 3805 realizes a high compression ratio using the correlation of images of a plurality of frames.
  • the differential image of the first differential image data and a differential image of the second differential data are compressed and output, in order to compress each successive differential image, the differential image of the first differential image data is compressed. And two input systems and two output systems for differential images of the second differential image data.
  • FIG. 36 shows a configuration example of the compression processing unit 3805. 33 that are the same as those in FIG. 33 are given the same numbers, and descriptions thereof will be omitted.
  • 4201 is a first compressor
  • 4202 is a second compressor
  • the compression processing unit 3805 includes a compressor 4201 and a compressor 4202.
  • Reference numeral 4203 denotes first difference image data stored in the storage unit 2201 by the data conversion processing unit 3804
  • reference numeral 4204 denotes second difference image data stored in the storage unit 2201 by the data conversion processing unit 3804
  • reference numeral 4205 denotes a storage unit stored in the compressor 4201.
  • a first differential compressed image 4206 stored in 2201 is second differential image data stored in the storage unit 2201 by the compressor 4202.
  • FIG. 36 by performing compression processing on the differential image data of the first differential image data and the second differential image data individually, continuous images are related, and the compression ratio is increased. Can be.
  • the compression processing unit 3805 only needs to have one system of input and output.
  • the imaging device 3800 sequentially outputs the data compressed by the compression processing unit 3805 from the output processing unit 3007.
  • FIG. 37 is a flowchart showing a schematic example of image processing for one frame in the pre-compression processing unit 3801.
  • the same processes as those in FIG. 31 are denoted by the same reference numerals, and description thereof will be omitted.
  • the compression preprocessing unit 3801 sets the number of regions that is the number of grid patterns (zone plates) of the modulator 2901 (S4301).
  • the pre-compression processing unit 3801 sets 4, for example, when performing space division into four patterns. It should be noted that the pre-compression processing unit 3801 may set in advance. Subsequently, the pre-compression processing unit 3801 executes sensor signal processing (S500).
  • the pre-compression processing unit 3801 performs an area determination process.
  • the storage unit 2201 stores the pixel data (S3105).
  • step S3106 If it is determined in step S4302 that the image data is not the image data of the first area or the image data of the third area, in step S3106, the pixel value of the same coordinates stored in step S3105 is subtracted and stored in the storage unit 2201. .
  • step S3107 the maximum value and the minimum value are compared with the pixel value. If the pixel value is larger than the maximum value, the pixel value is set to the maximum value. If the pixel value is smaller than the minimum value, the pixel value is set to the minimum value.
  • step S3108 the end of the frame is determined in step S3108, and if it is not the end of the frame, sensor signal processing is executed (S500).
  • the determination as to whether or not to set the operation parameters is performed based on, for example, whether or not the frame is a key frame. If the frame to be processed is, for example, a key frame (S4303: Yes), the maximum value and the minimum value are obtained in step S3107, and a frame processing determination 3108 is performed. If it is determined in step S4303 that the frame is not a key frame, a frame end determination is made in step S3108.
  • step S3108 the area determination processing is repeated until the end of the frame is determined. If it is determined in step S3108 that the frame has ended and the processing frame is determined to be a key frame (S4304: Yes), parameters for generating image data to be compressed based on the information of the minimum value and the maximum value are set (S4305). The minimum value and the maximum value are reset (S3103).
  • a key frame is, for example, a frame that is compressed irrespective of image data of another frame such as the front and rear, and is generated once every several to several hundred frames by the compression processing unit 3805.
  • the processing flow for one frame is not described, but the maximum value and the minimum value are reset at the start of the entire processing.
  • steps S3111 to S3113 are the same as those in FIG. 31, and thus description thereof will be omitted.
  • the compression can be efficiently performed by the pre-compression process of reducing the capacity of a plurality of consecutive frames using the maximum and minimum values of the key frame.
  • the modulator has the first grating pattern and the second grating pattern that is out of phase with the first grating pattern
  • the sensor signal processing unit Receiving a first image signal output by the first grid pattern and a second image signal output by the second grid pattern
  • the difference processing unit outputs the first image signal and the second image signal
  • the difference from the signal is calculated
  • the compression processing unit includes information indicating the range of the difference in the first image data for compression.
  • processing for setting parameters for generating image data to be compressed based on minimum value and maximum value information of a plurality of frames will be described.
  • FIG. 38 is a processing flow for compressing difference image data in the present embodiment, and shows a flowchart of image processing for one frame in the pre-compression processing unit 3801. 38, the same processes as those in FIG. 37 are denoted by the same reference numerals, and description thereof will be omitted. The difference from FIG. 37 is that there is no key frame determination in step S4303.
  • step S3106 the pixel value of the same coordinates stored in step S3105 is subtracted. It is stored in the storage unit 2201. Then, without performing the key frame determination, the pixel value is compared with the maximum value and the minimum value in step S3107. If the pixel value is larger than the maximum value, the pixel value is set to the maximum value. Set to the minimum value.
  • the number of bits of the pixel value of the sensor image can be reduced by the pre-compression process, and the image can be efficiently compressed. Acquisition of the maximum value / minimum value is effective when the brightness of the difference image varies from frame to frame.
  • parameters for generating pre-compression image data are separately set in differential image data of image data obtained by dividing the image data output from the image sensor unit into regions.
  • FIG. 39 is a processing flow for compressing difference image data in the present embodiment, and shows a flowchart of image processing for one frame in the pre-compression processing unit 3801.
  • the difference image data between the first area 3901 and the third area 3903 and the difference image data between the second area 3902 and the fourth area 3904 in FIG. Parameters are set separately.
  • FIG. 39 the same processes as those in FIG. 37 are denoted by the same reference numerals, and description thereof will be omitted.
  • 37 is different from FIG. 37 in that steps S4501 to S4503 and S4404 to S4412 are performed.
  • step S3106 after subtracting the pixel value of the same coordinates stored in step S3105 and storing the result in the storage unit 2201, if the pixel to be processed is in the second area (S4501: Yes), The stored first pixel difference data is compared with the maximum value and the minimum value of the first pixel difference data. If the pixel value of the difference image data being processed is smaller than the minimum value, the pixel value is held as the minimum value. A frame end determination process in step S3108 is performed. If the pixel to be processed is in the fourth area (S4501: No), the pixel value of the difference image data being processed is compared with the maximum value and the minimum value of the stored second pixel difference data. If it is smaller than the minimum value, it is held as the minimum value, and if it is larger than the maximum value, it is held as the maximum value, and the frame end determination processing in step S3108 is performed.
  • step S3108 In the end determination processing in step S3108, it is determined that the frame is ended (S3108: Yes). If the frame is not a key frame (S4304: No), the process proceeds to the area determination in step S4406. In the case of a key frame (S4304: Yes), calculation parameters for performing a subsequent data shift process and a bit reduction process for converting the first difference image data and the second difference image data into a pre-compression image are respectively set. Set. Subsequently, the maximum value and the minimum value of the first difference image data and the second difference image data are reset, and the process proceeds to step S4406 for determining an area.
  • step S4406 it is determined whether or not the processing is the processing of the first difference image data. If the processing is the first difference image data (S4306: Yes), the data shift processing (S4407) is performed using the first calculation parameter, and the bit reduction is performed. Processing (S4408) is performed, and the first calculation parameter is set as image restoration information (S4409). If the data is not the first difference image data (S4306: No), the data shift processing (S4410) and the bit reduction processing (S4411) are performed using the second calculation parameter, and the image restoration information using the second calculation parameter is performed. Is generated as metadata (S4412).
  • the pre-compression processing described above the number of bits of the pixel value of the sensor image can be reduced. Further, by setting each grid pattern having a phase difference and performing the image pre-compression processing, the image can be further compressed. Image quality deterioration can be prevented, and image quality after development can be expected.
  • an imaging system including an imaging device and a reproducing device for increasing the processing speed and reducing the number of components will be described.
  • FIG. 40 is a configuration diagram of the imaging system in the present embodiment.
  • FIG. 40 is an imaging system including an imaging device 4600 and a playback device 4610 that speed up the processing of the imaging device 3800 in FIG. 33 and reduce the number of components. 40, the same processes as those in FIG. 33 are denoted by the same reference numerals, and description thereof will be omitted.
  • the imaging device 4600 includes an imaging unit 4620 and an output processing unit 3007.
  • the imaging unit 4620 includes the image sensor unit 103, the transparent grid substrate 102a, the modulator 2901, the pre-compression processing unit 4602, the control unit 4609, the compression processing unit 4606, and the storage unit 2201.
  • the pre-compression processing unit 4602 includes a sensor signal processing 4603, a difference processing 4604, a data conversion processing 4605, and an operation parameter generation unit 4607.
  • the control unit 4609 specifies a screen division position of a signal output from the image sensor unit 103 in addition to the function of 3802.
  • FIG. 41 shows an example of image division when the first and third regions are treated as one image, and the second and fourth regions are treated as one image.
  • Reference numeral 4701 denotes a combined image area of the first area and the third area of the sensor image
  • 4702 denotes a first combined image area of the second area and the fourth area of the sensor image.
  • the image sensor unit 103 outputs an image signal as a first line of the first area 3901, a first line of the second area 3901, a second line of the first area 3901, and a second line of the second area 3901. Are sequentially output, and the output of one frame ends with the last line of the third area 3901 and the last line of the fourth area 3901.
  • the control unit 4609 notifies the signal switching timing of the first area 3901, the second area 3902, the third area 3903, and the fourth area 3904 in the pre-compression processing unit 4602, and sends the combined image area to the compression processing unit 4606.
  • the difference image between the 4701 and the composite image area 4702 is controlled as one image.
  • the sensor signal processing 4603 performs, for example, a demosaicing process of generating an R signal, a G signal, and a B signal from the image signals output in the order of the RGB Bayer array. In the demosaicing process, since a signal after the pixel to be processed is used, the process is performed by storing it in the storage unit 2201 for a necessary time and delaying it.
  • the sensor signal processing 4603 performs demosaicing processing according to an area switching instruction from the control unit 4609. For example, a pixel at a boundary of an area does not use a signal value of another area, and for example, edge processing such as pixel expansion or loopback processing. I do.
  • the difference processing 4604 performs processing for each horizontal line according to the switching timing of the control unit 4609. For example, first, the pixel data sent to the first line of the signal of the first area is held, and the difference between the pixel data of the first line of the signal of the second area to be sent next is calculated. . Finally, the difference between the last line pixel data of the signal in the third area and the last line pixel data of the signal in the fourth area is obtained, and the frame processing is completed.
  • the calculation parameter generation unit 4607 generates calculation parameters in the same manner as the calculation parameter generation unit 3806 in FIG.
  • the data conversion process 4605 is suitable for compression by performing a data shift process and a bit subtraction process using, for example, operation parameters set in advance using the maximum value and the minimum value of the difference image up to the previous frame of the frame. Image data is sequentially output.
  • the control unit 4609 causes the compression processing unit 4606 to compress the output data of the pre-compression processing unit 4602.
  • FIG. 42 shows a configuration example of the pre-compression processing unit 4602. 42, the same components as those in FIGS. 36 and 40 are denoted by the same reference numerals, and description thereof will be omitted.
  • Reference numeral 4801 denotes combined image data of the second difference data continuous with the first difference image data stored in the storage unit 2201
  • reference numeral 4802 denotes data obtained by compressing a moving image including the continuous combined image data stored in the storage unit 2201. It is.
  • the control unit 4609 controls the second differential image data continuous with the first differential image data so as to be compressed as one image, so that the compression processing unit 4606 may have at least one compressor 4201.
  • the output processing unit 3007 outputs the data obtained by compressing the moving image to the storage device including the operation parameters used in the data conversion processing 4605. Note that when the imaging device 4600 switches processing of the two-division type instead of the four-division type as in the modulator 2901, the calculation parameter includes information for division in the reproduction device 4610.
  • Reference numeral 4601 of the playback device 4610 in FIG. 40 is an image division unit.
  • the playback device 4610 performs a decoding process in which the compressed moving image data stored in the storage device 3008 is input from the input processing unit 3009 and is converted into one uncompressed image by the decoding processing unit 3010.
  • the image division unit 4601 divides the image data into first difference image data and second difference image data, and outputs the first difference image data and the second difference image data to the development processing unit 3011.
  • FIG. 43 shows a processing flow example of the pre-compression processing unit 4602 in FIG.
  • the same processes as those in FIG. 37 are denoted by the same reference numerals, and description thereof will be omitted.
  • the pre-compression processing unit 3801 acquires the minimum value and the maximum value from the first difference image data, and obtains the minimum value and the maximum value.
  • image restoration information metadata is generated from the calculation parameters set in step S3113. If the calculation parameters have been set (S4901: Yes), the process proceeds to step S3113.
  • steps S4301 and S500 sensor signal processing is performed, and in step S4302, area determination processing is performed.
  • step S4302 If it is determined in step S4302 that the image data is the image data of the first area or the image data of the third area (Yes), the image data is stored in the storage unit in step S3105. If it is determined in step S4302 that the image data is not the image data of the first area or the image data of the third area (No), difference image data is obtained by performing difference processing with the pixel data in the storage unit (S4902), and step S3107 is performed. After performing the minimum value and maximum value acquisition processing, the data shift processing S3111 and the bit reduction processing S3112 are performed using preset operation parameters to generate pre-compression pixel data, and the pre-compression pixel data is stored in the storage unit. It is stored (S4903). The above processing is performed until the end of the frame.
  • step S3108 If it is determined in step S3108 that the frame has ended (Yes), and if it is determined in step S4304 that the frame is a key frame, an operation parameter is set based on the recorded maximum and minimum values (S4305), and the minimum and maximum values are reset. Performed (S3103).
  • the number of bits of the pixel value of the sensor image can be reduced, and further, the compression of the moving image can be realized with a small number of compressors, and the video is output with a small delay time. can do.
  • FIG. 44 is a configuration diagram of a reproducing apparatus 5100 corresponding to a developing process of an image including a color difference signal in the present embodiment.
  • the development processing unit 5011 includes a rear surface modulation processing unit 5102, an FFT calculation unit 5103, an intensity calculation processing unit 5105, and a format conversion processing unit 5101.
  • the format conversion processing unit 5101 converts, for example, a YUV format image expressed by using the luminance signal Y and two color difference signals into an RGB format image expressed by red, blue, and green signals.
  • the rear surface modulation processing unit 5102, the FFT calculation unit 5103, and the intensity calculation processing unit 5105 perform the same processing as the development processing unit 3011 described with reference to FIG. 26, and the rear surface modulation processing unit 5102
  • the back side grid intensity modulation is performed, the FFT operation unit 5103 performs a two-dimensional FFT operation and a spectrum cutout process, and the intensity calculation processing unit 5105 performs an intensity calculation and an image synthesis process when using patterns of four modulators. Do.
  • the decoding processing unit 3010 can output the image in the YUV format as it is without converting it to an image in the RGB format.
  • the color difference components in the YUV format have both positive and negative data, so that the intensity calculation processing unit 5105 cannot calculate the correct intensity. Therefore, the image output from the decoding processing unit 3010 in the YUV format is converted into the RGB format by the format conversion processing unit 5101 before the intensity calculation processing unit 5105.
  • FIG. 45 shows a processing flow of the playback device 5100.
  • the playback device 5100 processes the image in the YUV format from the decoding process in step S3702 to step S501. After spectrum extraction in step S502, format conversion processing is performed in step S5101.
  • step S5101 when four modulator patterns are used, up to step S5101, two images having different phases are connected, and in step S5102, the images are divided into two images.
  • step S503 the intensity of each pixel is calculated, and the intensities of the two images are combined.
  • the same processing as in FIG. 32 is performed.
  • a part of the development processing is processed in the YUV format which can reduce the number of pixels in comparison with the RGB format, so that the load of the development processing can be reduced, and the processing speed can be increased or the cost can be reduced. Enable the device.
  • an imaging system that applies a fringe scan method, compresses captured moving image data, and transmits the compressed moving image data will be described.
  • FIG. 46 is a configuration diagram of an imaging system that compresses and transmits captured moving image data by applying the fringe scan method according to the present embodiment. 46, the same components as those in FIG. 26 are denoted by the same reference numerals, and description thereof will be omitted.
  • This imaging system includes an imaging device 4901 and a playback device 4910. An imaging device 4901 and a playback device 4910 are connected by a communication path 4903.
  • the imaging device 4901 includes a modulator 2901 including the image sensor unit 103, a transparent lattice substrate 102a, a control unit 3802, a pre-compression processing unit 3801, a compression processing unit 3805, a transmission / reception unit 4902, and a storage unit 2201. ,
  • the playback device 4910 includes a transmission / reception unit 4904, an image recording / reading unit 4905, a storage device 3008, a decoding processing unit 3010, a development processing unit 3011, a storage unit 3012, a focus setting unit 2203, and an image display unit. 107, an image output unit 3013, and a control unit 3101.
  • the transmission / reception unit 4902 converts the compressed image data and metadata output from the compression processing unit 3805 into a format for transmission to a communication path, and performs communication processing. That is, the transmission / reception unit 4902 transmits and outputs the data compressed by the compression processing unit 3805 via the communication path 4903.
  • a method such as a wired LAN (Local Area Network) or a wireless LAN (not shown) such as Wi-Fi (registered trademark) may be used.
  • Third generation mobile communication systems hereinafter referred to as GSM (Global System for Mobile Communications) system, W-CDMA (Wideband Code Division Multiple Access) system, CDMA2000 system, UMTS (Universal Mobile Telecommunications System) system, etc.
  • GSM Global System for Mobile Communications
  • W-CDMA Wideband Code Division Multiple Access
  • CDMA2000 Code Division Multiple Access
  • UMTS Universal Mobile Telecommunications System
  • a mobile communication network such as a communication network through a base station using a mobile communication network such as an LTE (Long Term Evolution) system or a new next generation communication system called the fifth generation (5G). It can also be used to connect to a communication network through a base station.
  • a chip which can communicate with a plurality of different systems may be mounted and used properly according to the environment in which the imaging device 4901 is used.
  • the transmission / reception unit 4904 of the playback device 4910 has the same communication interface as the transmission / reception unit 4902 of the imaging device 4901.
  • the communication interface of the transmission / reception unit 4904 does not need to be the same as that of the transmission / reception unit 4902, and at least one communication interface is sufficient.
  • the transmission / reception unit 4904 outputs the data received via the communication path 4903 to the image recording / reading unit 4905 as image data and accompanying metadata.
  • the image recording / reading unit 4905 stores the acquired image data and associated metadata in the storage device 3008. The following processing is the same as that in FIG.
  • the configuration of the imaging device 4901 can be simplified by transmitting the video before the development processing via a network, and the imaging device 4901 can be a small, lightweight, low-cost imaging device. Also in the display, it is possible to display a moving image in which the luminance does not change for each frame. In addition, by transmitting the image after fringe scanning, focus adjustment and distance measurement are possible in the development processing unit, and when you want to check the image after shooting, focus on the area you want to see or measure the distance. Or become possible.
  • FIG. 47 is a configuration diagram of an imaging system according to the present embodiment.
  • the same components as those in FIG. 46 are denoted by the same reference numerals, and description thereof will be omitted.
  • reference numerals 4901a, 4901b, and 4901c denote imaging devices, which are similar to the imaging device 4901 in FIG.
  • an imaging device 4901a, an imaging device 4901b, and an imaging device 4901c are monitoring cameras, and are connected to a communication path 4903.
  • # 4920 is a recording / reproducing device, and an operation input unit 5104 is added to the reproducing device 4910 in FIG.
  • the transmission / reception unit 4904 acquires the compressed images transmitted from the imaging devices 4901a, 4901b, and 4901c via the communication path 4903.
  • the image recording / reading unit 4905 stores the compressed image acquired by the transmission / reception unit 4904 in the storage device 3008 in association with the information of the imaging device and the imaging time.
  • the operation input unit 5104 inputs signals from, for example, connected devices such as a keyboard, a mouse, a touch pad, a touch panel, a remote controller, and a sensor for detecting partial or total movement of a person.
  • An operator who wants to perform desired control on the recording / reproducing device 4920 operates, for example, a device connected to the operation input unit 5104.
  • the control unit 3101 gives an instruction of a compressed image to be read to the image recording and reading unit 4905, and decodes the read compressed image to the decoding processing unit 3010, and develops the processed image.
  • An instruction is given to 3011 to develop the decoded image, and the developed image is output to the image display unit 107.
  • the focus is adjusted by changing the distance set in the focus setting unit 2203.
  • the imaging system connecting a plurality of surveillance cameras described above development processing is performed as needed, so that power consumption and processing load can be reduced.
  • three imaging devices are connected, but the number of connections is not limited. Even when one device is connected, the power consumption can be reduced and the processing load can be reduced by only performing the reproduction process when necessary.
  • FIG. 48 is a configuration diagram of the imaging system in the present embodiment. 48, the same components as those in FIGS. 46 and 47 are denoted by the same reference numerals, and description thereof will be omitted.
  • Reference numeral 5201 denotes a recording device, which includes a transmission / reception unit 4904, an image recording / reading unit 4905, a storage unit 2201, and a control unit 5210.
  • the transmission / reception unit 4904 acquires a compressed image transmitted from the imaging device 4901a, the imaging device 4901b, and the imaging device 4901c via the communication path 4903.
  • the image recording / reading unit 4905 stores the compressed image acquired by the transmission / reception unit 4904 in the storage unit 2201 in association with the information of the imaging device and the imaging time.
  • # 5202 is a reproducing apparatus, which has a part of the configuration of the recording / reproducing apparatus 4920 in FIG.
  • the control unit 3101 of the playback device 5202 obtains image information recorded in the recording device 5201 via the transmission / reception unit 5204 and the communication path 4903, for example, according to an operator's instruction (not shown).
  • the control unit 3101 requests the recording device 5201 via the transmission / reception unit 5204 and the communication path 4903 for an image selected by the operator from the acquired image information.
  • the image recording / reading unit 4905 of the recording device 5201 extracts the requested image from the images recorded in the storage unit 2201, and sends the requested image to the reproduction device 5202 via the transmission / reception unit 4904 and the communication path 4903.
  • the image received by the transmission / reception unit 5204 is decoded by the decoding unit 3010 based on the instruction of the control unit 3101, developed by the development unit 3011, and output to the image output unit 3013.
  • the installation position of the recording device is not limited, so that a storage device having a large recording capacity can be used, and recording can be performed for a long time.
  • three imaging devices are connected, but the number of connections is not limited.
  • FIG. 49 is a configuration diagram of the image pickup / reproduction device in the present embodiment.
  • an application program is stored in the storage 5625, and the control unit 5614 loads the program from the storage 5625 to the memory 5632, and realizes various functions by executing the program by the control unit 5614. can do.
  • various functions realized by the control unit 5614 executing each application program will be described as being realized mainly by various program function units.
  • the application program may be stored in the storage 5625 in advance before the imaging and reproducing apparatus 5600 is shipped, or may be an optical medium such as a CD (Compact Disk) or a DVD (Digital Versatile Disk), or a medium such as a semiconductor memory. And may be installed in the imaging / reproducing apparatus 5600 via a medium connection unit (not shown).
  • the program may be downloaded and installed from an external network (not shown) via the communication I / F 5613 and a wireless router (not shown).
  • the program may be downloaded from a distribution source via a base station (not shown) via the mobile communication I / F 5631 and installed.
  • PC personal computer
  • each processing unit is the main component and implements each function.
  • the communication I / F 5613 is connected to a wireless router (not shown) by, for example, a wireless LAN.
  • the communication I / F 5613 is connected to an external network via a wireless router, and transmits and receives information to and from a server on the external network.
  • the communication I / F 5613 may be mounted with a chip that performs a different communication method. Further, it may be mounted as one chip that handles a plurality of communication systems. For example, data is directly transmitted and received by a function of directly communicating with another information device such as Bluetooth (registered trademark).
  • the mobile communication I / F 5631 is transmitted through a base station using a mobile communication network such as a 3G such as a GSM system, a W-CDMA system, a CDMA2000 system, a UMTS system, or a new next generation communication system called an LTE system or 5G. It is connected to a communication network and can send and receive information to and from a server on the communication network. Further, the connection with the external network by the communication I / F 5613 may be given priority over the communication network connection by the mobile communication I / F 5631.
  • a mobile communication network such as a 3G such as a GSM system, a W-CDMA system, a CDMA2000 system, a UMTS system, or a new next generation communication system called an LTE system or 5G. It is connected to a communication network and can send and receive information to and from a server on the communication network. Further, the connection with the external network by the communication I / F 5613 may be given priority over the communication network connection by the mobile communication I
  • the control unit 5614 receives a user operation request via the input unit 5615, and controls the display unit 5617, the communication I / F 5613, and various program function units.
  • control unit 5614 can acquire various types of information from an external network via the communication I / F 5613 and the wireless router 10, or from a server on the external network via the mobile communication I / F 5631 and the base station 18. It also has a function to pass to various program function units.
  • the storage 5625 is controlled by an instruction from the control unit 5614, and can store an application program. Further, various information created by the application program is stored. Further, content such as a video / audio stream may be stored from a signal received from the communication I / F 5613 or the mobile communication I / F 5631. Further, the storage 5625 may be built in the imaging and reproducing device 5600, or may be a portable memory that can be attached to and detached from the imaging and reproducing device 5600.
  • the memory 5632 is controlled by an instruction from the control unit 5614.
  • the control unit 5614 expands the functional unit of the application program stored in the storage 5625 in the memory 5632.
  • the storage 5625 stores, for example, the processing functions of the pre-compression processing unit 3801 and the development processing unit 3011 in FIG. 33, and the control unit develops the processing functions in the memory 5632 as necessary. .
  • the display unit 5617 displays images and videos stored in the storage 5625, broadcast / distributed videos, a UI for performing various operations, and the like.
  • the image or video to be displayed may be an image generated by an application program, an image or video received from a server on an external network via the communication I / F 5613, or an image or video on the communication network via the mobile communication I / F 5631. Image or video distributed from the server of the above.
  • the display portion 5617 may be configured integrally with, for example, the following touch panel or the like.
  • the input unit 5615 is an input unit that receives an operation performed by the user on the imaging and playback device 5600 and inputs control information regarding the input operation.
  • a touch panel or the like can be used.
  • an example using a touch panel will be described, but various operations may be configured using physical buttons.
  • a touch panel to perform an operation of moving an object (icon) on the touch panel while touching it with a finger (drag operation) or an operation of flipping a finger on the screen (flick operation) Can freely move an object or the like. Further, by performing an operation of tapping an object or the like once with a finger (tap operation) or an operation of double tapping (a double tap operation), an object (icon) or the like can be activated or switched to another screen.
  • each operation of the touch panel will be described as a drag operation, a flick operation, and a tap operation.
  • the acceleration sensor unit 5633 measures the acceleration applied to the imaging and reproducing device 5600.
  • the control unit 5614 can know which part of the imaging and reproducing device 5600 is above by measuring, for example, the gravitational acceleration by the acceleration sensor unit 5633, and displays the upper part of the screen displayed on the display unit 5617 by the acceleration sensor unit. By displaying the image so that it is aligned with the upper part measured by 5633, it is possible to display a screen according to how the user holds the imaging and reproducing apparatus 5600.
  • the geomagnetic sensor unit 5634 measures geomagnetism by using a plurality of magnetic sensors.
  • the GPS receiver 5635 receives signals transmitted from a plurality of satellites by using GPS (Global Positioning System).
  • the control unit 5614 can calculate position information of the imaging and reproducing device 5600 based on the signal received by the GPS receiving unit 5635.
  • the gyro sensor unit 5636 measures an angular velocity of the imaging and reproducing device 5600 generated when a user moves the imaging and reproducing device 5600.
  • the imaging unit 5640 includes, for example, the image sensor unit 103, the transparent lattice substrate 102a, the modulator 2501, the modulator 2901, and the like.
  • the control unit 5614 controls the shutter timing of the image sensor unit 103, the pattern switching timing of the modulator 2501, and the like.
  • the audio input / output unit 5660 inputs / outputs an audio input signal from a microphone provided in the imaging / reproduction device 5600 and an audio output signal to the speaker 5662.
  • the control unit 5614 controls the volume of the audio input / output. Control is performed.
  • the switch input unit 5650 fetches switch information in response to an operation of a physical button 5651 (one or a plurality of buttons), is fetched to the control unit 5614 through the bus 5601, and is used for controlling various application programs as needed. You. For example, as an example, it is used for controlling the volume adjustment (volume up / down) of the audio output according to the two buttons 5651.
  • the video captured by the imaging unit 5640 is compressed by the compression processing unit 5670 without being developed and stored in the storage.
  • the user operates the input unit 5615 to decode the compressed video in the decoding processing unit 5671 and display it on the display unit 5617 after the development processing.
  • the captured image is compressed and stored, so that the focus or the like is changed later. Possible, many will be able to save images.
  • FIG. 50 shows an image pickup / reproduction system in which the image pickup / reproduction device 5600 in FIG. 49 and the recording device 5201 in FIG. 48 are connected via a communication path 4903.
  • the imaging and reproducing device 5600 By connecting the imaging and reproducing device 5600 to an external recording device 5201, large-capacity recording becomes possible.
  • an image display system including a head-mounted image display device and an arithmetic processing device will be described.
  • FIG. 51 is a schematic diagram of a video display system including a head-mounted video display device and an arithmetic processing device according to this embodiment.
  • reference numeral 5501 denotes an image display device
  • reference numeral 5510 denotes an arithmetic processing device.
  • the video display device 5501 includes a display unit 5502, an imaging unit 5503, a light source unit 5504, and an overall control unit (not shown).
  • the head-mounted image display device need not be eyeglass-type as long as it can be worn on the head, and the image display unit may be one eye.
  • the imaging unit 5503 includes an image sensor unit and a modulator such as a configuration including the image sensor unit 103 and the modulator 2501 in FIG. 19 or a configuration including the image sensor unit 103 and the modulator 9501 in FIG.
  • the display unit 5502 displays an image on a part or the whole of the display unit 5502, for example, at a position where a user wearing the image display device 5501 can see the image. Alternatively, light is reflected by the display portion 5502 to form an image on the eyes of the user.
  • the arithmetic processing unit 5510 is, for example, the imaging / reproduction device 5600 shown in FIG. 55 or a portable information terminal in which the imaging unit 5640 of the imaging / reproduction device 5600 includes an image sensor unit and a lens unit.
  • FIG. 52 shows the functional configuration of the video display device 5501 and the arithmetic processing device 5510. 51 that are the same as those in FIG. 51 are given the same numbers.
  • the video display device 5501 includes a bus 5904, an imaging unit 5503 connected to the bus 5904, a pre-compression processing unit 5901, a compression processing unit 5902, a control unit 5903, a display unit 5502, a decoding processing unit 5905, a transmission / reception unit 5906, and a storage unit. 5907.
  • the arithmetic processing unit 5510 includes a bus 5919, a transmission / reception unit 5911, a compression processing unit 5912, a decoding processing unit 5913, a control unit 5914, a development processing unit 5915, a video analysis processing unit 5916, a video generation unit 5917, which are connected by the bus 5919. And a storage unit 5918.
  • the pre-compression processing unit 5901 is, for example, the pre-compression processing unit 3001 in FIG. 26, the pre-compression processing unit 3801 in FIG. 33, the pre-compression processing unit 4602 in FIG.
  • the compression processing unit 5902 and the compression processing unit 5912 are, for example, the compression processing unit 3005 in FIG. 26, the compression processing unit 3805 in FIG. 33, and the compression processing unit 4606 in FIG.
  • the decoding processing unit 5905 and the decoding processing unit 5913 are, for example, the decoding processing unit 3010 in FIG.
  • the transmission / reception unit 5906 and the transmission / reception unit 5911 transmit / receive data by, for example, directly connecting the transmission / reception unit 4902 and the transmission / reception unit 4904 in FIG. 46 or the transmission / reception unit 5906 and the transmission / reception unit 5911.
  • the control unit 5903 controls, for example, the imaging unit 5503, the pre-compression processing unit 5901, the compression processing unit 5902, the display unit 5502, the decoding processing unit 5905, and the transmission / reception unit 5906, as a whole.
  • the development processing unit 5915 is, for example, the development processing unit 3011 in FIG. 26 or the development processing unit 5011 in FIG.
  • the control unit 5914 generally controls, for example, the transmission / reception unit 5911, the compression processing unit 5912, the decoding processing unit 5913, the development processing unit 5915, the video analysis processing unit 5916, and the video generation unit 5917.
  • the video display device 5501 processes the video captured by the imaging unit 5503 by the pre-compression processing unit 5901, compresses the video by the compression processing unit 5902, and transmits the compressed video to the arithmetic processing unit 5510 by the transmission / reception unit 5906.
  • the transmission / reception unit 5906 decodes the video received from the arithmetic processing unit 5510 by the decoding processing unit 5905 as necessary, and displays the video on the display unit 5502.
  • the arithmetic processing unit 5510 receives the video from the video display device 5501 by the transmission / reception unit 5911, decodes the received video by the decoding processing unit 5913, and converts the received video by the development processing unit 5915 into a video in which the subject can be recognized.
  • the video analysis processing unit 5916 analyzes the video developed by the development processing unit 5915. For example, when controlling the video display device 5501 or the arithmetic processing device 5510 with a hand motion or the like, the motion to be analyzed analyzes the hand motion and performs a process assigned to the hand motion.
  • the arithmetic processing unit 5510 When the movement of the hand is an instruction of the arithmetic processing unit 5510, for example, when the movement of the hand is related to display of an operation menu display or the like, the arithmetic processing unit 5510 generates an image with the image Is transmitted to the video display device 5501.
  • the imaging unit not using a lens can be reduced in size and weight, the processing of the video display device can be reduced, and the transmission amount can be reduced by the compression process.
  • An image display device and an image display system suitable for a wearable type can be realized.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to easily explain the present invention, and are not necessarily limited to those having all the configurations described above. It is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace other configurations for a part of each embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

レンズレスの撮像装置で撮像した動画像の容量を低減することを目的とする。　そのために、撮像装置は、画像センサの受光面に設けられ、複数の線で構成される第１の格子パターンと、第１の格子パターンと位相がずれた第２の格子パターンとを有し、光の強度を変調する変調器を有しており、第１の格子パターンにより出力される第１の画像信号と、第２の格子パターンにより出力される第２の画像信号とを受信し、第１の画像信号と第２の画像信号との差分データと差分の範囲を算出し、差分の範囲および差分データに基づいて連続して入力する差分データから一定間隔おきにデータ変換用パラメータを生成および設定し、差分データとデータ変換用パラメータとを用いて圧縮用画像データを生成し、生成された圧縮用画像データを圧縮し、圧縮したデータに差分の範囲を示す情報を含めるように構成する。

Description

撮像装置、撮像システム、及び撮像方法
　本発明は、撮像装置、撮像システム、及び撮像方法に関する。
　いわゆるレンズレスの撮像装置として、ゾーンプレート（ＦＺＰ）により被写体からの光線をモアレ縞の空間周波数として検出し、モアレ縞のフーリエ変換像から被写体の像を再構築するものがある。このようなレンズを使用しないレンズレス撮像装置が、小型・低コストを実現できる撮像装置として期待されている。
　本技術分野における背景技術として、例えば、特許文献１がある。特許文献１では、レンズレス撮像装置で撮像されたセンサ画像からモアレ縞画像生成時にフォーカス調整（リフォーカス）、オートフォーカス、測距を行う方法に関して述べられている。
国際公開ＷＯ２０１７／１４９６８７号公報
　特許文献１では、撮影後にフォーカス調整等を行うためにはセンサ画像を記録する必要があるが、特許文献１のセンサ画像は被写体が明瞭ではない特殊な画像であり、1枚の画像容量も多いため、そのまま記憶してしまうと多くの記憶容量が必要となる。よって、レンズレスの撮像装置で撮像した画像の容量を削減することが望まれる。
　そこで、本発明は前記課題を解決するためになされたものであり、その目的とするところは、レンズレスの撮像装置で撮像した動画像の容量を低減して管理する撮像装置、撮像システム、及び撮像方法を提供することである。
　本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、画像を連続して撮像する撮像装置であって、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、画像センサの受光面に設けられ、光の強度を変調する変調器と、画像センサから出力される画像信号を受信する信号処理部と、信号処理部により受信された画像信号の差分を算出し、差分に基づく第１の差分データを生成する差分処理部と、差分処理部による画像信号の差分の範囲および第１の差分データに基づいてデータ変換用パラメータを設定するパラメータ設定部と、差分処理部による第１の差分データとパラメータ設定部によるデータ変換用パラメータとを用いて第１の圧縮用画像データを生成するデータ変換部と、データ変換部により生成された第１の圧縮用画像データを圧縮する圧縮部とを備え、変調器は、複数の線で構成される第１の格子パターンと、第１の格子パターンと位相がずれた第２の格子パターンとを有し、信号処理部は、第１の格子パターンにより出力される第１の画像信号と、第２の格子パターンにより出力される第２の画像信号とを受信し、差分処理部は、第１の画像信号と第２の画像信号との差分を算出し、パラメータ設定部は、連続して入力する第１の差分データから一定間隔おきにデータ変換用パラメータを生成および設定し、圧縮部は、圧縮したデータに差分の範囲を示す情報を含めるように構成する。
　本発明によれば、レンズレスの撮像装置で撮像した画像の容量を低減して管理することができる撮像装置、撮像システム、及び撮像方法を提供できる。
レンズレスの撮像装置の基本構成図である。 変調器の一例を示す構成図である。 画像処理部による画像処理の概略を示すフローチャートである。 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図である。 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 表面格子と裏面格子の軸をずらして配置する場合の模式図である。 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 物体を構成する各点からの光がセンサに対してなす角を説明する図である。 物体が無限距離にある場合に表側格子パターンが投影されることを示す図である。 物体が無限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に表側格子パターンが拡大されることを示す図である。 物体が有限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図である。 裏側格子パターンを画像処理で実現する実施例を示す図である。 裏側格子パターンを画像処理で実現する実施例の変調器を示す図である。 裏側格子パターンを画像処理で実現する実施例の画像処理部の処理フローを示す図である。 リフォーカスを実現する実施例を示す図である。 リフォーカスを実現する実施例の画像処理部の処理フローを示す図である。 時分割フリンジスキャンを実現する実施例を示す図である。 時分割フリンジスキャンにおける格子パターンの実施例を示す図である。 時分割フリンジスキャンにおける変調器の実施例を示す図である。 時分割フリンジスキャンを実現する実施例の画像処理部の処理フローを示す図である。 空間分割フリンジスキャンを実現する実施例を示す図である。 空間分割フリンジスキャンにおける格子パターンの実施例を示す図である。 空間分割フリンジスキャンにおける格子パターンの実施例を示す図である。 差分画像データを圧縮する実施例を示す図である。 差分画像データを圧縮する実施例におけるフレーム間差分処理の入力画素データ例を示す図である。 差分画像データを圧縮する実施例におけるフレーム間差分処理の出力画素データ例を示す図である。 差分画像データを圧縮する実施例における圧縮ファイルに追加する画像情報例を示す図である。 差分画像データを圧縮する実施例における圧縮ファイルのフォーマット例を示す図である。 差分画像データを圧縮する実施例における圧縮前処理部の処理フローを示す図である。 差分画像データ容量を圧縮する実施例における画像再生部の処理フローを示す図である。 実施例１における撮像システムの構成図である。 実施例１における画面分割例を示す図である。 実施例１におけるデータ変換処理部に入力する信号例を示す図である。 実施例１における圧縮処理部の構成例を示す図である。 実施例１における処理フローを示す図である。 実施例２における処理フローを示す図である。 実施例３における処理フローを示す図である。 実施例４における撮像システムの構成図である。 実施例４における画面分割例を示す図である。 実施例４における圧縮前処理部の構成例を示す図である。 実施例４における処理フローを示す図である。 実施例５における色差信号を含む映像の現像処理に対応した再生装置の構成図である。 実施例５における再生装置の処理フローを示す図である。 実施例６における撮像装置と再生装置を含む撮像再生システムの構成図である。 実施例７における撮像装置と再生装置を含む撮像再生システムの構成図である。 実施例８における撮像システムの構成図である。 実施例９における撮像再生装置の構成図である。 実施例９における撮像再生装置を含む撮像再生システムの構成図である。 実施例１０における映像表示システムの構成図である。 実施例１０における映像表示装置および演算処理装置の構成図である。
　以下、図面を用いて本発明の実施例について説明する。
　本発明の前提となる、結像させるレンズを用いることなく外界の物体の画像を取得するレンズレスの撮像装置の原理については、特許文献１を援用する。なお、その一部について以降説明するが、詳細は、特許文献１を参照されたい。
　図１は、レンズレスの撮像装置の基本構成図である。図１に示すように、撮像装置１０１は、変調器１０２、画像センサ部１０３、および画像処理部１０６を含む。画像センサ部１０３から出力された画像信号は、画像処理部である画像処理部１０６によって画像処理されて画像表示部１０７などに出力される。
　図２は、変調器１０２の一例を示す構成図である。図２において、変調器１０２は、画像センサ部１０３の受光面に固定されており、格子基板１０２ａの表面側および裏面側に、表面側格子パターン１０４、裏面側格子パターン１０５がそれぞれ形成されている。このように、変調器１０２は、画像センサ部１０３の受光面に設けられる。格子基板１０２ａは、例えばガラスやプラスティックなどの透明な材料からなる。
　以降、格子基板１０２ａの画像センサ部１０３側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。この表面側格子パターン１０４および裏面側格子パターン１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。
　表面側格子パターン１０４、裏面側格子パターン１０５を透過する光は、その格子パターンによって光の強度が変調され、透過した光は画像センサ部１０３にて受光される。
　画像センサ部１０３の表面には、受光素子である画素１０３ａが格子状（アレイ状）に規則的に配置されている。この画像センサ部１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。このように、画像センサ部１０３は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する。
　続いて、図１の撮像装置１０１が有する画像処理部１０６による画像処理の概略について説明する。図３は、画像処理部１０６による画像処理の概略を示すフローチャートである。図３において、まず、画像センサ部１０３から出力される信号から、ステップＳ５００の処理でデモザイキング処理等によりＲＧＢ（Red Green Blue）成分ごとのモアレ縞画像を生成する。次に、モアレ縞画像に対して、ＲＧＢ成分ごとに高速フーリエ変換（FFT:Fast Fourier Transform）などの２次元フーリエ変換演算により周波数スペクトルを求める（Ｓ５０１）。
　続いて、ステップＳ５０１の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後（Ｓ５０２）、該周波数スペクトルの強度計算を行うことによって画像を取得する（Ｓ５０３）。なお、ここで、例えば、４枚のパターンの変調器を使用する場合は２枚の位相の異なる画像の強度の合成を行い１枚の画像として出力する。ここで、画像センサ部から得られる信号から、周波数スペクトル算出、強度計算等により画像を取得するまでの処理を現像処理と呼ぶ。
　そして、得られた画像に対してノイズ除去処理を行い（Ｓ５０４）、続いてコントラスト強調処理（Ｓ５０５）などを行う。その後、画像のカラーバランスを調整して（Ｓ５０６）撮影画像として出力する（Ｓ５０７）。以上により、画像処理部１０６による画像処理が終了となる。
　続いて、撮像装置１０１における撮影原理について説明する。まず、図２で示した中心からの半径に対して反比例してピッチが細かくなる同心円状の表面側格子パターン１０４、裏面側格子パターン１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、式１
Figure JPOXMLDOC01-appb-M000001
と表せる。
　球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、式２のような干渉縞の強度分布が得られる。
Figure JPOXMLDOC01-appb-M000002
これは、式３を満たす半径位置で明るい線を持つ同心円の縞となる。
Figure JPOXMLDOC01-appb-M000003
縞のピッチをｐとすると、式４が得られ、
Figure JPOXMLDOC01-appb-M000004
ピッチは、半径に対して反比例して狭くなっていくことがわかる。
　このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。式２で定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した表面側格子パターン１０４、裏面側格子パターン１０５として用いる。
　ここで、図４を用いて入射状態について説明する。図４は、入射状態を示す図である。
このような格子パターンが両面に形成された厚さｔの変調器１０２に、図４に示すように角度θ０で平行光が入射したとする。変調器１０２中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、式５
Figure JPOXMLDOC01-appb-M000005
のような強度分布が得られる。
　この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。
　その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。
　ここで、式５から鋭いピークを持つ成分のみを式６のように取り出すと、
Figure JPOXMLDOC01-appb-M000006
そのフーリエスペクトルは、式７のようになる。
Figure JPOXMLDOC01-appb-M000007
ここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。その様子を図５に示す。
　図５は、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示す図である。図５において、左から右にかけては、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図５（ａ）は、垂直入射、図５（ｂ）は、左側から角度θで光線が入射する場合、図５（ｃ）は、右側から角度θで光線が入射する場合をそれぞれ示している。
　変調器１０２の表面側に形成された表面側格子パターン１０４と裏面側に形成された裏面側格子パターン１０５とは、軸がそろっている。図５（ａ）では、表面側格子パターン１０４と裏面側格子パターン１０５との影が一致するのでモアレ縞は生じない。
　図５（ｂ）および図５（ｃ）では、表面側格子パターン１０４と裏面側格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図５（ｂ）の場合なのか、あるいは図５（ｃ）の場合なのかを判別することができなくなる。これを避けるための方法について図６を用いて説明する。
　図６は、格子パターンの配置例を示す図である。図６に示すように、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるようあらかじめ２つの表面側格子パターン１０４、裏面側格子パターン１０５を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ０とするとき、入射角θの平面波によって生じるずれδは、式８のように表せる。
Figure JPOXMLDOC01-appb-M000008
　このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、式９
Figure JPOXMLDOC01-appb-M000009
の位置となる。
　画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、２次元フーリエ変換による離散画像の空間周波数スペクトルは、－Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。
　このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、式１０の空間周波数位置とするのが妥当である。
Figure JPOXMLDOC01-appb-M000010
したがって、２つの格子の相対的な中心位置ずれは、式１１
Figure JPOXMLDOC01-appb-M000011
とするのが妥当である。
　図７は、表面側格子パターン１０４と裏面側格子パターン１０５とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図５と同様にして、左側は光線と変調器１０２の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図７（ａ）は、光線が垂直入射の場合であり、図７（ｂ）は、光線が左側から角度θで入射する場合であり、図７（ｃ）は、光線が右側から角度θで入射する場合である。
　表面側格子パターン１０４と裏面側格子パターン１０５とは、あらかじめδ０だけずらして配置されている。そのため、図７（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。
　このとき図７（ｂ）では、ずれδがさらに大きくなる方向、図７（ｃ）では、小さくなる方向となっているため、図５と異なり、図７（ｂ）と図７（ｃ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。
　受光できる平行光の入射角の最大角度をθｍａｘとすると、式１２より、
Figure JPOXMLDOC01-appb-M000012
撮像装置１０１にて受光できる最大画角は、式１３
Figure JPOXMLDOC01-appb-M000013
で与えられる。
　一般的なレンズを用いた結像との類推から、画角θｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１の実効的な焦点距離は、式１４
Figure JPOXMLDOC01-appb-M000014
に相当すると考えることができる。
　ここで、式１３より画角は変調器１０２の厚さｔ、表面側格子パターン１０４、裏面側格子パターン１０５の係数βによって変更可能であることが判る。よって、例えば変調器１０２が、表面側格子パターン１０４と裏面側格子パターン１０５を薄膜に形成し、それらを支持部材により保持する構成であり、支持部材の長さ、すなわち厚さｔを変更可能な構成としていれば、撮影時に画角を変更して撮影することも可能となる。
　以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に撮像装置１０１がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である裏面側格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。
　しかし、実際は、表面側格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側格子パターン１０５との重なりだけになる。その理由について以下に説明する。
　まず、複数の入射角の光線による表面側格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による表面側格子パターン１０４の影と裏面側格子パターン１０５との重なりでは、表面側格子パターン１０４の影である光の強度分布に、裏面側格子パターン１０５の透過率を乗算することで、裏面側格子パターン１０５を透過したあとの光強度分布が得られる。
　これに対して、表面側格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になる。和の場合は、式１５のように、
Figure JPOXMLDOC01-appb-M000015
もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。
　そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側格子パターン１０４と裏面側格子パターン１０５との積のモアレだけであり、裏面側格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなる。
　ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図８を用いて模式的に説明する。図８は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。
　被写体４０１を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１の変調器１０２および画像センサ部１０３（以下、図８では格子センサ一体基板１３０１という）に入射する。このとき、被写体４０１に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。
　式９から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、式１６のように表せる。
Figure JPOXMLDOC01-appb-M000016
この条件下であれば、無限遠の物体に対して本構成の撮像装置で撮像が可能である。
　ここで、これまで述べた無限遠の場合における表面側格子パターン１０４の裏面への射影の様子を図９に示す。図９では、無限遠の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側格子パターン１０４を照射し、その投影像１４０２が下の面に投影される場合、投影像は表面側格子パターン１０４とほぼ同じ形状である。結果、投影像１４０２に対して、裏面側格子パターン（図２の裏面側格子パターン１０５に相当）の透過率分布を乗じることにより、図１０に示すように、等間隔な直線状のモアレ縞を得ることができる。
　一方、有限距離の物体に対する撮像について説明する。図１１は、撮像する物体が有限距離にある場合に表面側格子パターン１０４の裏面への射影が表面側格子パターン１０４より拡大されることを示す説明図である。図１１に示すように、物体を構成する点１６０１からの球面波が表面側格子パターン１０４を照射し、その投影像１６０２が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、表面側格子パターン１０４から点１６０１までの距離ｆを用いて、式１７
Figure JPOXMLDOC01-appb-M000017
のように算出できる。
　そのため、図１２に示すように、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側格子パターン１０４の影に合わせて、裏面側格子パターン１０５を拡大するならば、図１３に示すように、拡大された投影像１６０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。このためには、裏面側格子パターン１０５の係数βをβ／α２とすることで補正が可能である。
　これにより、必ずしも無限遠でない距離の点１６０１からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。
　次に、変調器１０２の構成を簡略化する方法について説明する。変調器１０２では、格子基板１０２ａの表面および裏面にそれぞれ同一形状の表面側格子パターン１０４および裏面側格子パターン１０５を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像していた。この裏面側格子パターン１０５は、画像センサ部１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、図１４に示すように、裏面側格子パターン１０５を除去した変調器１９０１を使用し、裏面側格子パターン１０５に相当する処理を画像処理部１９０２内の強度変調部１９０３で実行してもよい。例えば、画像センサ部１０３および画像処理部１９０２はバス１９０４で接続されている。
　この時の変調器１９０１の構成の詳細を図１５に示す。この構成によって、格子基板１０２ａに形成する格子パターンを１面減らすことができる。それにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。
　図１６は、図１４の画像処理部１９０２による画像処理の概略を示すフローチャートである。この図１６におけるフローチャートが図３のフローチャートと異なるところは、ステップＳ２１０１の処理である。ステップＳ２１０１の処理では、前述した強度変調部１９０３により画像センサ部１０３から出力される画像に対して、画像処理部１９０２が裏面側格子パターン１０５を透過したことに相当するモアレ縞画像を生成する。具体的には、式５に相当する演算が行われればよいので、画像処理部１９０２は、強度変調部１９０３において裏面側格子パターン１０５を生成し、画像センサ部１０３の画像に対して乗算すればよい。さらに、裏面側格子パターン１０５が２値化したパターンであれば、黒に相当する領域の画像センサ部１０３の値を０にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。以降、図１６のステップＳ５０１～５０７の処理は、図３の処理と同様であるので、ここでは説明を省略する。
　なお、強度変調部１９０３により裏面側格子パターン１０５に相当する処理を実現したが、裏面側格子パターン１０５はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に裏面側格子パターン１０５の透過率を加味して設定することによっても実現できる。
　以上で説明した、裏面側格子パターン１０５を画像処理部で行う構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。この場合の構成を図１７に示す。図１７において、図１４と異なるのは、記憶部２２０１、画像処理部２２０２、フォーカス設定部２２０３である。記憶部２２０１は、例えば、撮影後のフォーカス調整を可能とするため、画像センサ部１０３から出力される画像を一時的に格納する。また、フォーカス設定部２２０３は、撮像装置１０１に備え付けられたつまみや、スマートフォンのＧＵＩ（Graphical User Interface）などによってフォーカス距離を設定可能であり、フォーカス距離情報（任意の距離フォーカスを合せるための公知の距離情報）を画像処理部２２０２に出力する。
　図１８は、図１７の画像処理部２２０２による画像処理の概略を示すフローチャートである。図１８において図１６と異なる点は、ステップＳ２３０１の処理である。ステップＳ２３０１の処理では、フォーカス設定部２２０３出力であるフォーカス距離情報に基づいて、式１７から拡大率αを算出し、裏面側格子パターン１０５の係数βをβ／αとする計算を行う。その後Ｓ２１０１において、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する。以降、図１８のステップＳ５０１～Ｓ５０６の処理は、図３の処理と同様であるので、ここでは説明を省略する。
　以上の方法、構成に依れば、高速フーリエ変換などの簡単な演算によって外界の物体像を得ることができ、さらに撮影後に任意の距離にフォーカスを調整可能となる。従来のカメラにおいてフォーカスを変更するためには再撮影が必要であったが、本構成では１度の撮影しか必要としない。
　以上の説明では、式５から鋭いピークを持つ成分のみを取り出した式６に着目して話を進めたが、実際には式５の第４項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。
　まず、式２の干渉縞強度分布において、表面側格子パターン１０４の初期位相をΦＦ、裏面側格子パターン１０５の初期位相をΦＢとすると、式５は式１８のように表せる。
Figure JPOXMLDOC01-appb-M000018
ここで、三角関数の直交性を利用し、式１９のように、
Figure JPOXMLDOC01-appb-M000019
式１８をΦＦ、ΦＢに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。
　ここで式１９は積分の形で示しているが、実際にはΦＦ、ΦＢの組合せの総和を計算することによっても同様の効果が得られる。ΦＦ、ΦＢは０～２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分、｛０、π／３、２π／３｝のように３等分してもよい。
　さらに、式１９は簡略化できる。式１９では、ΦＦ、ΦＢを独立して変えられるように計算したが、ΦＦ＝ΦＢすなわち表面側格子パターン１０４と裏面側格子パターン１０５の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式１９においてΦＦ＝ΦＢ＝Φとすれば、式２０となり、
Figure JPOXMLDOC01-appb-M000020
ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは０～２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分すればよい。
　また、等分せずとも、｛０、π／２｝の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図１４の構成のように裏面側格子パターン１０５を画像処理部１９０２で実施すれば、裏面側格子パターン１０５に負値を扱えるため、式１８は式２１となる（ΦＦ＝ΦＢ＝Φ）。
Figure JPOXMLDOC01-appb-M000021
裏面側格子パターン１０５は既知であるため、この式２１から裏面側格子パターン１０５を減算し、Φ＝｛０、π／２｝の場合について加算すれば、式２２のように、
Figure JPOXMLDOC01-appb-M000022
ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。
　また、前述のように表面側格子パターン１０４と裏面側格子パターン１０５とは、あらかじめδ０ずらすことで空間周波数空間に生じる２つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δ０ずらさなくとも現像画像の重複を回避する方法について説明する。式１９のフリンジスキャンにおいて、ｃｏｓの代わりに、式２３のようにｅｘｐを用い複素平面上で演算する。
Figure JPOXMLDOC01-appb-M000023
　これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式２３中のｅｘｐ（２ｉβδｘ）をフーリエ変換すれば、式２４となり、
Figure JPOXMLDOC01-appb-M000024
式７のように２つのピークを生じず、単一の現像画像を得られることが判る。このように、表面側格子パターン１０４、裏面側格子パターン１０５をずらす必要もなくなり、画素数を有効に使用可能となる。
　以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について図１９～２８を用いて説明する。フリンジスキャンでは、少なくとも表面側格子パターン１０４として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。
　図１９に時分割フリンジスキャンを実現する構成を示す。図１９において、２５０１は変調器、２５０２は制御部、２５０３は画像処理部である。制御部２５０２は、画像センサ部１０３、変調器２５０１、および画像処理部２５０３などを統括制御する。
　変調器２５０１は、例えば電気的に図２０に示す複数の初期位相を切り替えて表示する（位相シフトする）ことが可能な液晶表示素子などである。図２０（ａ）～（ｄ）のパターンは、初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝とする。
　図２０に示すように、図２０（ａ）～（ｄ）のパターンのそれぞれは、複数の線で構成される。図２０（ａ）のパターンが第１の格子パターンに対応し、図２０（ｃ）のパターンが、第１の格子パターンと位相がπずれる第２の格子パターンに対応する。また、図２０（ｂ）のパターンが、第１の格子パターンから位相がπ／２ずれた第３の格子パターンに対応し、図２０（ｄ）のパターンが第１の格子パターンから位相が３π／２ずれた第４の格子パターンに対応する。
　図２０に示す格子パターンは、複数の同心円から構成され、複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる。
　なお、変調器２５０１の格子パターンは、図２４に示したように、複数の直線で構成され、当該複数の直線は、基準座標に対して直線間距離が反比例して狭くなるようにしてもよい。
　図２０に示した格子パターンを実現する変調器２５０１の液晶表示素子における電極配置の例を図２１に示す。格子パターンの１周期を４分割するように同心円状電極が構成されており、内側から４本おきに電極が結線され、外周部から駆動端子として４本の電極が引き出されている。これら４つの電極に印加する電圧状態を“０”と“１”の２つの状態で時間的に切り替えることで、格子パターンの初期位相ΦＦもしくはΦを図２１（ａ）～（ｄ）のように｛０、π／２、π、３π／２｝と切り替えることが可能となる。
　なお、図２１において、網掛けで示した“１”を印加した電極が光を遮蔽し、白で示した“０”を印加した電極が光を透過させることに対応している。
　次に、図２２に画像処理部２５０３における画像処理の概略を示すフローチャートを示す。この図２２におけるフローチャートが図１６のフローチャートと異なるところは、ステップＳ２７０１～Ｓ２７０４の処理である。まず、画像処理部２５０３は、フリンジスキャン演算の初めに加算結果をリセットする（Ｓ２７０１）。次に、式２０に対応する場合には、画像処理部２５０３は、撮影に使用した表面側格子パターン１０４と同じ初期位相に設定し（Ｓ２７０２）、その初期位相を持つ裏面側格子パターン１０５を生成、画像センサ部１０３の画像に対して乗算する（Ｓ２１０１）。
　画像処理部２５０３は、この結果を各初期位相のパターン毎に加算する（Ｓ２７０３）。以上のステップＳ２７０２～Ｓ２７０３の処理を全ての初期位相のパターン数繰り返す（Ｓ２７０４）。以降の処理は、図１６の処理と同様であるので、ここでは説明を省略する。なお、上記フローは式２０を例に説明したが、式１９、２２、２３にも同様に適用することが可能である。
　対して、図２３に空間分割フリンジスキャンを実現する構成を示す。変調器２９０１は、例えば図２４の初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝のパターンのように、複数の初期位相のパターンを２次元的に並べた構成である。
　画像分割部２９０２は、画像センサ部１０３出力を変調器２９０１のパターン配置に応じた領域に分割し、画像処理部２５０３に順次伝送する。図２４の例では、画像センサ出力を２×２の領域に分割するということである。
　式２０に基づくフリンジスキャンでは４位相必要であるため変調器２８０１は２×２であったが、式２２に基づくフリンジスキャンでは２位相で実現できるため変調器２９０１は１×２のパターン配置でも実現可能である。例えば、図２５の初期位相ΦＦもしくはΦがそれぞれ｛０、π｝のパターンを２次元的に並べた構成である。位相数に応じて、画像センサ出力も１×２の領域に分割する。以降の画像処理部２５０３の処理は時分割フリンジスキャンである図２２の処理と同等であるため説明を省略する。
　この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器２５０１のように電気的に切り替える必要がなく、安価に変調器を作製することができる。さらに、空間分割フリンジスキャンでは、１画面のシャッタが同じタイミングの画像センサでは、４位相あるいは２位相の撮像タイミングが同じため、動体の撮像が可能である。２位相より４位相のほうが現像後に高画質な画像を望めるが、４位相に比べ２位相は処理量が軽くできる。また、２位相では水平ライン毎にシャッタタイミングが異なるＣＭＯＳ型の画像センサを動画撮影に使用することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある静止物の撮影には時分割フリンジスキャンが適している。
　図２６に、撮影後にフォーカス調整が行える画像の情報量を削減し、かつ、図１９の画像処理部２５０３の処理を分割することで、撮像装置の処理負荷を低減した撮像装置３０００と再生装置３１００とを含む撮像システムの構成例を示す。図１９と同じものには同じ番号を付し、説明は省略する。この撮像システムは、撮像装置３０００と、再生装置３１００（復元装置）とを含む。なお、この撮像システムでは、時分割フリンジスキャンを適用する例を示している。
　撮像装置３０００は、画像を撮像し結果を圧縮する装置である。また、再生装置３１００は、上記圧縮した結果を復元して、復元した結果を再生する装置である。撮像装置３０００は、撮像部３０２０と出力処理部３００７とを含み、それらは、バス１９０４で接続されている。
　撮像部３０２０は、画像センサ部１０３と、変調器２５０１と、透明な格子基板１０２ａと、制御部２５０２と、圧縮前処理部３００１と、圧縮処理部３００５（圧縮部）と、記憶部２２０１とを含む。圧縮前処理部３００１は、センサ信号処理部３００２と、差分処理部３００３と、データ変換処理部３００４（データ変換部）とを含む。
　再生装置３１００は、制御部３１０１と、入力処理部３００９と、復号処理部３０１０と、現像処理部３０１１（画像復元処理部、変調処理部）と、記憶部３０１２と、フォーカス設定部２２０３と、画像出力部３０１３とを含み、それらは、バス３１０４で接続されている。
　また、撮像システムでは、画像表示部１０７と記憶装置３００８をさらに含む。
　制御部２５０２は、画像センサ部１０３、変調器２５０１、および圧縮前処理部３００１などを統括制御する。
　センサ信号処理部３００２は、例えば、画像センサ部１０３から出力された各画素のデータ（画像信号）から補完データを生成し、各画素に対応したＲＧＢデータを生成するデモザイキング処理等を行い、センサ画像として出力する。センサ画像は必要に応じて記憶部２２０１に画像データを格納したり、差分処理部３００３へ送出したりする。このように、センサ信号処理部３００２は、画像センサ部１０３から出力された画像信号を受信する。
　例えば、センサ信号処理部３００２は、変調器２５０１が第１の格子パターンの時の画像信号（第１の画像信号）を受信したり、第２の格子パターンの時の画像信号（第２の画像信号）を受信したりする。また、センサ信号処理部３００２は、第３の格子パターンの時の画像信号（第３の画像信号）を受信したり、第４の格子パターンの時の画像信号（第４の画像信号）を受信したりする。
　差分処理部３００３は、変調器２５０１の位相を変えて撮影された領域の２枚のセンサ画像（画像信号）間の差分を取り、差分画像（差分データ）を生成する。また、差分処理部３００３は、センサ信号処理部３００２から直接センサ画像を取得したり、記憶部２２０１に記憶されているセンサ画像を取得したりする。さらに、差分処理部３００３は、差分画像を必要に応じて記憶部２２０１に画像データを格納する。なお、センサ画像が、例えばカラー画像であり、１画素がＲデータ、Ｇデータ、Ｂデータで構成されている場合は、Ｒデータ、Ｇデータ、Ｂデータのデータ毎に差分をとってもよい。このように、差分処理部３００３は、センサ信号処理部３００２により受信された画像信号の差分を算出し、当該差分に基づく差分画像を生成する。
　例えば、差分処理部３００３は、第１の画像信号と第２の画像信号との差分を算出し、当該差分に基づく差分画像（第１の差分データ）を生成する。また、差分処理部３００３は、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像（第２の差分データ）を生成する。
　ここで、本撮像装置の場合の差分処理部３００３の入出力信号の特徴について説明する。図２７に、図２６のセンサ信号処理部３００２から出力されたセンサ画像の一部の明るさ変化の一例を示したグラフを示す。横軸は、あるラインの画面の水平位置を示し、縦軸は画素データの値を示す。ここで、画素データの値は大きければ大きいほど明るいことを示している。なお、図２７では、画素データを１２ｂｉｔで表現した場合を例にしているが、画素データ値はほかのビット数や、正規化したデータ値で表現してもいい。
　図２７の（ａ）は、図２６の変調器２５０１に図２４の（ａ）のパターンを使用した場合、図２７の（ｂ）は、図２６の変調器２５０１に図２４の（ｃ）のパターンを使用した画面領域の画素データの変化の一例を示す。本撮像装置で撮影したセンサ画像は、レンズを用いたセンサ画像と異なり、光量の積算値であるため、イメージセンサが理想的に被写体を撮影した場合、急激なデータの変化はない。
　しかしながら、例えば、筐体の影等やイメージセンサ内の特性により、データの直流成分は大きく変化する場合がある。これらの影響を排除するには、変調器２５０１の位相のπ異なるセンサ画像の差分をとることで、必要なセンサ画像のデータ部分のみの取り出しが可能になる。
　図２８に差分処理部３００３から出力された差分画像の一部の明るさ変化の一例を示したグラフを示す。図２８において、縦軸が差分値を示し、横軸が各画素の位置を示す。図２８に示すように、各位置の画素値の差分を示しており、差分が最も大きい位置の値が最大値３４０１となり、差分が最も小さい位置の値が最小値３４０２となる。図２８の例は、図２７の映像と同じ位置のデータを示す。影で暗くなっている影響が排除され、のちの再生装置３１００で映像にする必要な情報のみが残る。
　図２６に戻り、データ変換処理部３００４は、差分処理部３００３で得られた差分画像全体から、画素データ差分値の最小値と最大値を求める。最小値をオフセット値として、各画素データ差分値から減算することにより、差分画像を表現するのに必要なビット数は最大値から最小値を減算したデータを表現するのに必要なビット数になり、元の画素値を表現するビット数から大幅に低減することが可能になる。
　なお、データ変換処理部３００４では、後段の圧縮処理部３００５において、入力する画像の１画素当たりのビット数が予め決まっている場合や、圧縮効率を考慮して、オフセット減算した差分画像を、例えば、８ビットに割り当てる等の処理を行い、圧縮用画像データを生成する。また、後段の圧縮処理部３００５において、入力する画像として、赤、緑、青のデータで表現するのではなく、輝度と色による表現が求められる場合は、合わせて変換を行う。
　このように、データ変換処理部３００４は、差分処理部３００３による画像信号の差分の範囲（最大値および最小値）および差分データに基づいた圧縮用画像データ（第１の圧縮用画像データ）を生成する。なお、データ変換処理部３００４は、最大値と最小値とを算出する場合について述べたが、差分の範囲を示す他の情報を算出するようにしてもよい。
　データ変換処理部３００４は、生成した圧縮用画像データを圧縮処理部３００５へ送出する。また、差分処理部３００３が、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像（第２の差分データ）を生成した場合、データ変換処理部３００４は、当該差分に基づいた圧縮用画像（第２の圧縮用画像データ）を生成する。
　圧縮処理部３００５は、静止画像や動画像、さらに図示はしていないが音声入力がある場合は音声のデータ量を削減する圧縮処理する。圧縮符号化方式は、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどである。圧縮処理部３００５は、データ変換処理部３００４から圧縮用画像を取得し、当該圧縮用画像を圧縮して、圧縮したデータを含む圧縮データを生成する。圧縮処理部３００５による圧縮データ構成は、例えば、ＪＰＥＧでは、ヘッダー、圧縮画像データ、フッターで構成される。
　図２９に、１枚の圧縮画像の圧縮データ構成例を示す。図２９に示すように、圧縮データは、ヘッダー部３５０１と、圧縮画像データ３５０２と、フッター部３５０３とを有する。ヘッダー部３５０１は、開始マーカーや、ファイルサイズ、画像サイズや量子化テーブル等、画像の圧縮・復号に必要な情報が格納される。
　圧縮画像データ３５０２は、圧縮用画像を圧縮したデータである。フッター部３５０３は、終了マーカー等が格納される部分である。なお、ヘッダー部３５０１は、当該ヘッダー内にアプリケーション毎に自由にデータを設定できる領域３５０４を含む。圧縮処理部３００５は、当該領域３５０４にメタデータを付加する。
　ここで、図３０に、圧縮処理部３００５が付加するメタデータ例を示す。図３０に示すように、メタデータには、レコード３６０１およびレコード３６０２を含む。レコード３６０１は、データ変換処理部３００４で得られた、差分画像の画素データの最小値の変数および値を含む。レコード３６０２は、当該差分画像の画素データの最大値の変数および値を含む。
　図２６に戻り、圧縮処理部３００５は、画像圧縮時に、圧縮画像、圧縮パラメータを生成するとともに、図３０に示した情報を、メタデータとして付加することにより、後段の再生装置３１００での画像復元を可能にする。このように、圧縮処理部３００５は、圧縮画像に、差分の範囲を示す情報（最小値の変数および値、最大値の変数および値）を含める。
　なお、メタデータの付加は、撮像装置３０００から出力する時に付加されていればよいため、出力処理部３００７で、メタデータを付加したヘッダーに付け直しても構わない。　
　差分処理部３００３が、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像を生成した場合、圧縮処理部３００５は、第２の圧縮用画像データを圧縮した圧縮画像に、第３の画像信号と、第４の画像信号との差分の範囲を示す情報（最小値の変数および値、最大値の変数および値）を含める。
　出力処理部３００７は、圧縮処理部３００５により生成された圧縮データを出力する部分である。出力処理部３００７は、記憶装置３００８へ圧縮データを記憶出力する。
　記憶部２２０１および記憶部３０１２は、圧縮前処理部３００１や圧縮処理部３００５、復号処理部３０１０、現像処理部３０１１で一時的にパラメータの保存や、画像データの保存に使用する。
　出力処理部３００７は、圧縮処理部３００５が生成した圧縮ファイルを記憶装置３００８に記録する。
　記憶装置３００８は、ハードディスク（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）、メモリーカードやそれらを用いたレコーダ等、デジタルデータを記録する装置である。
　制御部３１０１は、例えば、入力処理部３００９、復号処理部３０１０、現像処理部３０１１およびフォーカス設定部２２０３などを統括制御する。
　入力処理部３００９は、順次あるいは図示してはいないが、ユーザーからの要求に応じて記憶装置３００８に格納されている圧縮データを取り出す。このように、入力処理部３００９は、出力処理部３００７により出力されたデータを入力する。入力処理部３００９は、入力したデータを復号処理部３０１０に送出する。
　復号処理部３０１０は、圧縮処理部３００５の圧縮方式に使用された方式の復号処理をするもので、図２９のヘッダー部３５０１に格納された情報から、圧縮画像データ３５０２を復号することにより、復号画像（圧縮復元画像）を取得する。また、復号処理部３０１０は、付加されているメタデータも同時に取得し、現像処理部３０１１に送出する。
　現像処理部３０１１は、復号画像とメタデータから、オフセットおよび元のビット深度の画像（差分データ）を復元することにより、復元差分画像を生成する。すなわち、現像処理部３０１１は、復号画像と、差分の範囲とから復元差分画像を生成する。
　現像処理部３０１１は、さらに、フォーカス調整のため、図１８で説明した、裏面ピッチ決定（Ｓ２３０１）、裏面格子強度変調（Ｓ２１０１）を行い、図２２で説明した強度変調結果加算（Ｓ２７０３）を行う。さらに、図３で説明した、２次元ＦＦＴ演算（Ｓ５０１）、スペクトル切り出し（Ｓ５０２）、強度計算（Ｓ５０３）、ノイズ除去（Ｓ５０４）、コントラスト強調（Ｓ５０５）、カラーバランス調整（Ｓ５０６）、出力信号生成処理（Ｓ５０７）の各処理を順に行い、画像表示部１０７が、現像した画像を表示できるような表示信号を生成する。
　すなわち、現像処理部３０１１は、復元差分画像を変調してモアレ縞画像を生成し、当該モアレ縞画像をフーリエ変換して周波数スペクトルを算出する。
　撮像装置を上述のような構成とすることで、後からフォーカス調整等が可能な画像のデータ量を削減することが可能であり、また、記憶装置のコスト低減につながる。また、再生装置で現像処理を行うことにより、記憶装置の処理が軽減し、記憶装置の小型化、低コスト化が可能になる。なお、再生装置は、図示したような構成が実現できれば、パソコン等を用いてソフトウェア処理で実現してもよいし、ＧＰＵやＦＰＧＡ等のハードウェアで処理を行ってもよい。また、記憶装置は、再生装置に内蔵されているＨＤＤ等でもよい。　
　図３１に圧縮前処理部３００１における画像処理の概略を示すフローチャートを示す。最初に、圧縮前処理部３００１は、変調器２５０１の格子パターン（ゾーンプレート）の位相シフト数を設定する（Ｓ３１０１）。圧縮前処理部３００１は、例えば、４パターン時分割する場合、４を設定する。なお、圧縮前処理部３００１において予め設定されてもよい。
　続いて、圧縮前処理部３００１は、画像データの差分をとるフレーム数を設定する（Ｓ３１０２）。また、圧縮前処理部３００１は、最大値および最小値をリセット、例えば、０に設定する（Ｓ３１０３）。
　圧縮前処理部３００１は、センサ信号処理を実行し（Ｓ５００）、差分フレームが初期値であると判断した場合は（Ｓ３１０４：Ｙｅｓ）、記憶部２２０１に画素データを記憶させる（Ｓ３１０５）。ステップＳ３１０８でフレーム終了と判断されるまで、センサ信号処理Ｓ５００の処理を繰り返す。
　ステップＳ３１０４で初期フレームではないと判断した場合は、ステップＳ３１０６では、ステップＳ３１０５で格納した同じ座標の画素値を減算し、記憶部２２０１に格納する。また、ステップＳ３１０７で最大値及び最小値と画素値とを比較し、最大値より大きい場合は画素値を最大値に設定し、最小値より小さい場合は画素値を最小値に設定する。次に、ステップＳ３０１８のフレーム終了判定を行い、フレーム終了ではない場合は、センサ信号処理を実行し（Ｓ５００）、フレーム終了の場合は、処理を終了する。
　ステップＳ３１０９では差分を取得するフレーム数および位相シフトから１を減算し、ステップＳ３１１０においてフレーム差分終了と判定されない場合は、ステップＳ３１０３の最大値、最小値リセット処理に戻り、フレーム差分処理が終了した場合は、ステップＳ３１１１のデータシフト処理を行う。
　ステップＳ３１１１では、ステップＳ３１０７で取得した最小値から、例えば、全差分画素値から最小値を減算する処理により差分画像値の最小値を０とするデータシフト処理を行う。ステップＳ３１１２は、ステップＳ３１０７から取得した最大値から、例えば、使用していない上位ビットを削減するビット削減処理を行う。
　なお、ビット削減処理（Ｓ３１１２）は、画像圧縮に使用するアルゴリズムにより画像データのビット数が限定されている場合等において、ターゲットとするビット数に割当直す処理を行う。ステップＳ３１１３で、データシフト処理（Ｓ３１１１）やビット削減処理（Ｓ３１１２）で変換した差分画素値を、後で行う現像処理で復元できるように画像復元情報、例えば、最大値や最小値の情報をメタデータとして生成する。
　次に、ステップＳ３１１４で位相シフトの終了を判断し、全ての位相処理が終了した場合は処理終了し、終了していない場合はステップＳ３１０２からの処理を繰り返す。
　以上説明した圧縮前処理により、センサ画像の画素値のビット数を削減することができ、効率よく圧縮することができる。
　続いて、図３２を用いて、図２６に示した再生装置３１００の処理手順を説明する。図３２において、図３および図１６、図１８、図２２と同じ処理は同じ番号を付し、説明は省略する。図３２において、処理を開始すると、ステップＳ３７０１で記憶部３０１２から圧縮ファイルを取得する。次に、ステップＳ３７０２で圧縮ファイルのヘッダー情報を用いて圧縮画像の復号処理を行う。次に、ステップＳ３７０３で、圧縮ファイルのヘッダーにあるメタデータから元の画像の画素データの最大値と最小値である画像情報を取得し、図２６のデータ変換処理部３００４で処理する前の差分画像の画素データを復元する画素データ復元処理を行う。
　ここで、圧縮に使用したアルゴリズムが不可逆圧縮の場合、復元した画像は全く同じものにはならない場合もある。次に、ステップＳ３７０４で、変調器の位相を設定する。位相は、例えば、位相の最初の設定値は０で、次はπずらしたものとする。
　以下、図１８で説明した裏面ピッチ決定（Ｓ２３０１）、裏面格子強度変調（Ｓ２１０１）を行い、図２２で説明した強度変調結果加算（Ｓ２７０３）を行う。ここで、ステップＳ２７０４で位相シフトの終了の判定をする。例えば、位相シフトπの処理が終了していない場合は、圧縮ファイル取得（Ｓ３７０１）に戻る。位相シフトが終了している場合は、図３で説明した、２次元ＦＦＴ演算（Ｓ５０１）、スペクトル切り出し（Ｓ５０２）、強度計算（Ｓ５０３）、ノイズ除去（Ｓ５０４）、コントラスト強調（Ｓ５０５）、カラーバランス調整（Ｓ５０６）、出力信号生成処理（Ｓ５０７）の各処理を順に行い、画像表示部１０７が、現像した画像を表示できるような表示信号を生成する。
　以上説明した再生装置では、圧縮された画像を復号処理し、フォーカス調整可能な画像を復元することにより、再生装置で、ユーザーが必要とするときに必要な被写体のフォーカス調整や距離計測が可能である。
　図３３に、本実施例における撮像システムの構成図を示す。図３３は、動画像において撮影後にフォーカス調整が行える画像の情報量を削減し、かつ、図２３の画像処理部２５０３の処理を複数フレーム毎の制御を行うことにより、連続した動画像の撮影に適したレンズレスの撮像装置３８００と再生装置３１００（復元装置）とを含む撮像システムの構成例である。図３３において、図２６および図２３と同じものには同じ番号を付し、説明は省略する。なお、この撮像システムでは、動画処理のため、１フレーム分の画像を同時に撮影できる空間分割フリンジスキャンを適用する例を示している。
　図３３において、撮像装置３８００は、画像を撮像した結果を圧縮する装置である。また、再生装置３１００は、上記圧縮した結果を復元して、復元した結果を再生する装置である。
　撮像装置３８００は、撮像部３８２０と出力処理部３００７とを含む。撮像部３８２０は、画像センサ部１０３と、透明な格子基板１０２ａ、透明な格子基板１０２ａ、変調器２９０１と、制御部３８０２と、圧縮前処理部３８０１と、圧縮処理部３８０５（圧縮部）と、記憶部２２０１とを含む。圧縮前処理部３８０１は、センサ信号処理部３００２と、差分処理部３００３と、データ変換処理部３８０４（データ変換部）と、演算パラメータ生成部３８０６を含む。
　制御部３８０２は、画像センサ部１０３、圧縮前処理部３８０１および圧縮処理部３８０５などを統括制御する。
　画像分割部２９０２は、例えば、画像センサ部１０３から出力された各画素のデータ（画像信号）を変調器２９０１の位相パターン毎に４個の領域に分割する。図３４に画像信号分割例を示す。３９００は画像信号全体、３９０１は第１の格子パターン領域の画像信号の領域（第１の領域）、３９０２は第２の格子パターン領域の画像信号の領域（第２の領域）、３９０３は第３の格子パターン領域の画像信号の領域（第３の領域）、３９０４は第４の格子パターン領域の画像信号の領域（第４の領域）である。画像分割部２９０２後は、第１の領域、第２の領域、第３の領域および第４の領域の画像信号は別々の画像として扱う。
　図３３に戻って、センサ信号処理部３００２は、例えば、画像分割部２９０２で分割された領域毎に補完データを生成し、各画素に対応したＲＧＢデータを生成するデモザイキング処理等を行い、センサ画像として出力する。センサ画像は必要に応じて記憶部２２０１に画像データを格納したり、差分処理部３００３へ送出したりする。このように、センサ信号処理部３００２は、画像センサ部１０３から出力された画像信号を受信する。
　例えば、センサ信号処理部３００２は、変調器２９０１の第１の格子パターン領域の画像信号を第１の画像信号を受信したり、第２の格子パターン領域の画像信号を第２の画像信号を受信したり、第３の格子パターン領域の時の画像信号を第３の画像信号を受信したり、第４の格子パターン領域の画像信号を第４の画像信号を受信したりする。
　差分処理部３００３は、図２６で説明したように、第１の画像信号と第２の画像信号との差分を算出し、当該差分に基づく差分画像（第１の差分データ）を生成する。また、差分処理部３００３は、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像（第２の差分データ）を生成する。
　演算パラメータ生成部３８０６は、後述する制御部３８０２の指示に基づき、差分処理部３００３で得られた差分画像の各画素データの最小値と最大値を求めて、求めた最大値、最小値を基にデータ変換処理部３８０４が差分画像から圧縮前画像に変換するための演算パラメータを生成して、記憶部に演算パラメータを格納する。例えば、圧縮前画像の各画素のとりうる値が８ビットとすると、演算パラメータは、最小値をビットシフト演算用のオフセット値、最大値と最小値の差分である最大振幅値を２５５で割った値をビット削減処理用の乗算係数とする。ここで、連続する動画像の場合、画像１枚毎に異なる演算パラメータを生成、適用すると、後段の圧縮処理部３８０５での圧縮効率が悪くなったり、最終的な映像のフリッカの原因となったりする。
　図３５にデータ変換処理部３８０４に入力する信号例を示す。横軸は画像の位置、縦軸は画素値を示す。４００１はあるフレームの信号例の一部であり、４００２はフレームの信号例４００１とは異なるフレームの信号例の一部である。４００３はフレームの信号例４００１の最小値、４００４はフレームの信号例４００２の最小値、４００５はフレームの信号例４００１の最大値、４００６はフレームの信号例４００２の最大値である。図３５に示すように、最大値と最小値はフレームごとに変化する。そこで、例えば、キー画像であるキーフレームの最大値、最小値を取得して演算パラメータを生成し、ある一定期間は同じオフセットとする。キーフレームとは、例えば、前後等の他のフレームの画像データに関係なく圧縮されるフレームで、圧縮処理部３８０５により数フレームから数百フレームに１回生成される。ある期間とは、例えば、キーフレームから次のキーフレームの間までの期間である。なお、キーフレームの差分画像の最小値、最大値からはずれる差分画像では、画質劣化の可能性はあるが、その影響は大きいものではない。また、キーフレームの最大値、最小値に各フレームの変動を見越した値を加減算した値を用いた演算パラメータを生成、設定してもよい。
　データ変換処理部３８０４では、後段の圧縮処理部３８０５において、入力する画像の１画素当たりのビット数が予め決まっている場合や、圧縮効率を考慮して、オフセット減算した差分画像を、例えば、８ビットに割り当てる等の処理を行い、圧縮用画像データを生成する。また、後段の圧縮処理部３８０５において、入力する画像として、赤、緑、青のデータで表現するのではなく。輝度と色による表現が求められる場合は、合わせて変換を行う。
　圧縮処理部３８０５は、図２６の３００５と同様に静止画像や動画像、さらに図示はしていないが音声入力がある場合は音声のデータ量を削減する圧縮処理する。
　圧縮処理部３８０５は、例えば、変調器２９０１が４位相であり、圧縮処理部３８０５が複数フレームの画像の相関性を用いて高い圧縮率を実現する圧縮方式で動画像を圧縮し、撮像装置３８００が、例えば、第１の差分データの差分画像と第２の差分データの差分画像を圧縮して出力する場合、各々の連続した差分画像を圧縮するため、第１の差分画像データの差分画像用と第２の差分画像データの差分画像用の２系統の入力と２系統の出力を持つ。
　図３６に圧縮処理部３８０５の構成例を示す。図３３と同じものには同じ番号を付し、説明は省略する。４２０１は第１の圧縮器、４２０２は第２の圧縮器であり、圧縮処理部３８０５は圧縮器４２０１と圧縮器４２０２を含む。４２０３はデータ変換処理部３８０４が記憶部２２０１に格納する第１の差分画像データ、４２０４はデータ変換処理部３８０４が記憶部２２０１に格納する第２の差分画像データ、４２０５は圧縮器４２０１が記憶部２２０１に格納する第１の差分圧縮画像、４２０６は圧縮器４２０２が記憶部２２０１に格納する第２の差分画像データである。図３６に示すように、第１の差分画像データの差分画像用と第２の差分画像データとは個々に圧縮処理を行うことで,連続する画像を関連するものとし、圧縮率を高くすることができる。
　なお、変調器２９０１が２位相の場合、差分画像は一枚となるので、圧縮処理部３８０５は１系統の入出力があればよい。
　撮像装置３８００は、圧縮処理部３８０５で圧縮したデータを順次出力処理部３００７から出力する。
　以上説明したように、キーフレームから連続するフレームで同じオフセット値を使うことにより、連続する画像の相関性が失われることがなく圧縮時に高い圧縮効果が得られ、画像の輝度のゆらぎによりフリッカを防げる。
　図３７に圧縮前処理部３８０１における１フレーム分の画像処理の概略例を示すフローチャートを示す。図３１と同じ処理には同じ番号を付し説明は省略する。最初に、圧縮前処理部３８０１は、変調器２９０１の格子パターン（ゾーンプレート）数である領域数を設定する（Ｓ４３０１）。圧縮前処理部３８０１は、例えば、４パターンに空間分割する場合、４を設定する。なお、圧縮前処理部３８０１において予め設定されてもよい。続いて、圧縮前処理部３８０１は、センサ信号処理を実行する（Ｓ５００）。
　続いて、圧縮前処理部３８０１は、領域判定処理を行う。センサ画像データが第１の領域あるいは第３の領域の画像データであると判断した場合は（Ｓ４３０２：Ｙｅｓ）、記憶部２２０１に画素データを記憶させる（Ｓ３１０５）。
　ステップＳ４３０２で第１の領域の画像データあるいは第３の領域の画像データではないと判断した場合は、ステップＳ３１０６では、ステップＳ３１０５で格納した同じ座標の画素値を減算し、記憶部２２０１に格納する。また、ステップＳ３１０７で最大値及び最小値と画素値とを比較し、最大値より大きい場合は画素値を最大値に設定し、最小値より小さい場合は画素値を最小値に設定する。次に、ステップＳ３１０８のフレーム終了判定を行い、フレーム終了ではない場合は、センサ信号処理を実行し（Ｓ５００）する。
フレーム終了の場合は、演算パラメータの設定をするか否かの判定を、例えば、キーフレームであるか否かで行う。処理するフレームが、例えば、キーフレームである場合は（Ｓ４３０３：Ｙｅｓ）は、ステップＳ３１０７で最大値、最小値を取得し、フレーム処理判定３１０８をする。ステップＳ４３０３でキーフレームではないと判定した場合は、続いてステップＳ３１０８でフレーム終了判定をする。
　ステップＳ３１０８では、フレーム終了と判断されるまで、領域判定処理を繰り返す。ステップＳ３１０８で、フレーム終了と判定し、処理フレームがキーフレームと判定した場合（Ｓ４３０４：Ｙｅｓ）、最小値、最大値の情報から圧縮する画像データ生成のためのパラメータの設定を行い（Ｓ４３０５）、最小値、最大値のリセット（Ｓ３１０３）を行う。キーフレームとは、例えば、前後等の他のフレームの画像データに関係なく圧縮されるフレームで、圧縮処理部３８０５により数フレームから数百フレームに１回生成される。なお、ここでは１フレーム分の処理フローであり、記述はしてはいないが、全体の処理開始時にも最大値、最小値のリセットを行う。以降、ステップＳ３１１１からＳ３１１３は、図３１と同じなので説明は省略する。
　以上説明したように、キーフレームの最大値および最小値を用いて連続する複数のフレームの容量を低減する圧縮前処理により、効率よく圧縮することができる。
　なお、本実施例では最大値および最小値を取得するフレームをキーフレームとした例で説明したが、他のフレームで取得した最大値および最小値を用いてもよい。
　以上のように、本実施例によれば、変調器は、第１の格子パターンと、第１の格子パターンと位相がずれた第２の格子パターンとを有し、センサ信号処理部は、第１の格子パターンにより出力される第１の画像信号と、第２の格子パターンにより出力される第２の画像信号とを受信し、差分処理部は、第１の画像信号と、第２の画像信号との差分を算出し、圧縮処理部は、第１の圧縮用画像データに差分の範囲を示す情報を含める。これにより、後からフォーカス調整等が可能な画像のデータ量を削減することが可能であり、また、記憶装置のコスト低減につながる。すなわち、レンズレスの撮像装置で撮像した画像の容量を低減して管理することができる撮像装置、撮像システム、及び撮像方法を提供できる。
　本実施例は、複数のフレームの最小値、最大値情報から圧縮する画像データ生成のためのパラメータ設定を行う処理について説明する。
　図３８は本実施例における差分画像データを圧縮する処理フローであり、圧縮前処理部３８０１における１フレーム分の画像処理のフローチャートを示す。図３８において、図３７と同じ処理には同じ番号を付し、その説明は省略する。図３７と異なる点は、ステップＳ４３０３のキーフレーム判定がない点である。
　すなわち、図３８において、ステップＳ３８０２で第１の領域の画像データあるいは第３の領域の画像データではないと判断した場合は、ステップＳ３１０６で、ステップＳ３１０５で格納した同じ座標の画素値を減算し、記憶部２２０１に格納する。そして、キーフレーム判定を行うことなく、ステップＳ３１０７で最大値及び最小値と画素値とを比較し、最大値より大きい場合は画素値を最大値に設定し、最小値より小さい場合は画素値を最小値に設定する。
　これにより、本実施例によれば、実施例１と同様に、圧縮前処理により、センサ画像の画素値のビット数を削減することができ、効率よく圧縮することができると共に、さらに、複数フレームの最大値・最小値を取得することで、差分画像においてフレーム毎に明るさにばらつきがある場合に効果的となる。
　本実施例は、画像センサ部から出力された画像データを領域分割した画像データの差分画像データで圧縮前画像データ生成のためのパラメータを別々に設定する例について説明する。
　図３９は本実施例における差分画像データを圧縮する処理フローであり、圧縮前処理部３８０１における１フレーム分の画像処理のフローチャートを示す。図３９においては、例えば、図３４の第１の領域３９０１と第３の領域３９０３の差分画像データと、第２の領域３９０２と第４の領域３９０４の差分画像データとで圧縮前画像データ生成のためのパラメータを別々に設定する。
　図３９において、図３７と同じ処理には同じ番号を付し、その説明は省略する。図３７と異なる点は、ステップＳ４５０１からS４５０３の処理、及び、Ｓ４４０４からS４４１２の処理を有する点である。
　すなわち、図３９において、ステップＳ３１０６で、ステップＳ３１０５で格納した同じ座標の画素値を減算して記憶部２２０１に格納した後、処理する画素が第２の領域にある場合（Ｓ４５０１：Ｙｅｓ）は、保持されている第１の画素差分データの最大値および最小値と比較し、処理中の差分画像データの画素値が最小値より小さければ最小値として、最大値より大きければ最大値として保持し、ステップＳ３１０８のフレーム終了判定処理をする。また、処理する画素が第４の領域にある場合（Ｓ４５０１：Ｎｏ）は、保持されている第２の画素差分データの最大値および最小値と比較し、処理中の差分画像データの画素値が最小値より小さければ最小値として、最大値より大きければ最大値として保持し、ステップＳ３１０８のフレーム終了判定処理をする。
　ステップＳ３１０８の終了判定処理で、フレーム終了と判定（Ｓ３１０８：Ｙｅｓ）し、キーフレームでない場合（Ｓ４３０４：Ｎｏ）、ステップＳ４４０６の領域の判定に進む。キーフレームである場合（Ｓ４３０４：Ｙｅｓ）、第１の差分画像データおよび第２の差分画像データを圧縮前画像に変換するための後段のデータシフト処理、ビット削減処理をする為の演算パラメータを各々設定する。続いて、第１の差分画像データおよび第２の差分画像データの最大値おおび最小値をリセットし、ステップＳ４４０６の領域の判定に進む。
　ステップＳ４４０６は、第１の差分画像データの処理か否かを判定し、第１の差分画像データの場合（Ｓ４３０６：Ｙｅｓ）、第１の演算パラメータを用いてデータシフト処理（Ｓ４４０７）、ビット削減処理（Ｓ４４０８）をし、第１の演算パラメータを画像復元情報として設定（Ｓ４４０９）する。第１の差分画像データではない場合（Ｓ４３０６：Ｎｏ）、第２の演算パラメータを用いてデータシフト処理（Ｓ４４１０）、ビット削減処理（Ｓ４４１１）をし、第２の演算パラメータを用いた画像復元情報をメタデータとして生成（Ｓ４４１２）する。
　以上説明した圧縮前処理により、センサ画像の画素値のビット数を削減することができ、さらに、位相差のある格子パターン毎に設定し、画像圧縮前処理をすることにより、より圧縮しても画質劣化を防ぐことができ、現像後の画質向上が見込める。
　本実施例は、処理の高速化および構成部品の低減をする撮像装置と再生装置とを含む撮像システムについて説明する。
　図４０は本実施例における撮像システムの構成図である。図４０は、図３３の撮像装置３８００の処理の高速化および構成部品の低減をする撮像装置４６００と再生装置４６１０とを含む撮像システムである。図４０において、図３３と同じ処理には同じ番号を付し、その説明は省略する。
　図４０において、撮像装置４６００は撮像部４６２０と出力処理部３００７を含む。撮像部４６２０は、画像センサ部１０３と、透明な格子基板１０２ａ、変調器２９０１と、圧縮前処理部４６０２と、制御部４６０９と、圧縮処理部４６０６と、記憶部２２０１とを含む。
　圧縮前処理部４６０２は、センサ信号処理４６０３、差分処理４６０４、データ変換処理４６０５、演算パラメータ生成部４６０７で構成される。
　制御部４６０９は３８０２の機能に加えて、画像センサ部１０３から出力される信号の画面分割位置を指定する。画面分割位置は、例えば、図４１に、第１の領域と第３の領域を１枚の画像、第２の領域と第４の領域を１枚の画像として扱う場合の画像分割例を示す。４７０１はセンサ画像の第１の領域と第３の領域の合成画像領域、４７０２はセンサ画像の第２の領域と第４の領域の第１の合成画像領域を示す。
　画像センサ部１０３は、画像信号の出力として第１の領域３９０１の１ライン目、第２の領域３９０１の１ライン目、第１の領域３９０１の２ライン目、第２の領域３９０１の２ライン目と順次出力し、第３の領域３９０１の最終ライン、第４の領域３９０１の最終ラインで１フレームの出力が終了する。
　制御部４６０９は、圧縮前処理部４６０２では第１の領域３９０１、第２の領域３９０２、第３の領域３９０３、第４の領域３９０４の信号切り替えタイミングを伝え、圧縮処理部４６０６には合成画像領域４７０１と合成画像領域４７０２との差分画像を１枚の画像として制御する。
　センサ信号処理４６０３は、例えば、ＲＧＢベイヤー配列の順番で出力された画像信号から、Ｒ信号、Ｇ信号、Ｂ信号を生成するデモザイキング処理を行う。デモザイキング処理では、処理対象の画素よりも後の信号を使用する為、必要な時間分記憶部２２０１に保存して遅延させることにより処理を行う。センサ信号処理４６０３は、制御部４６０９の領域切替え指示によりデモザイキング処理を行い、例えば領域の境目の画素は他の領域の信号の値を使用せず、例えば、画素拡張や折り返し処理等のエッジ処理を行う。
　差分処理４６０４は、制御部４６０９の切り替えタイミングにより、水平ラインごとの処理を行う。例えば、まず、第１の領域の信号の１ライン目に送られてくる画素データを保持し、次に送られてくる第２の領域の信号の１ライン目の画素データの差分を取っていく。最後に第３の領域の信号の最終ライン画素データと第４の領域の信号の最終ライン画素データの差分をとり、フレームの処理は終了する。
　演算パラメータ生成部４６０７は、図３３の演算パラメータ生成部３８０６と同様に演算パラメータを生成する。
　データ変換処理４６０５は、例えば、フレームの前フレームまでの差分画像の最大値、最小値を使ってあらかじめ設定された演算パラメータを使用して、データシフト処理およびビット減算処理をして圧縮に適した画像データを順次出力する。
　制御部４６０９は、圧縮前処理部４６０２の出力データを圧縮処理部４６０６に圧縮させる。図４２に圧縮前処理部４６０２の構成例を示す。図４２において、図３６、図４０と同じものには同じ番号を付して説明は省略する。４８０１は記憶部２２０１に格納された第１の差分画像データと連続する第２の差分データの合成画像データ、４８０２は記憶部２２０１に格納された連続する合成画像データから成る動画像を圧縮したデータである。
　制御部４６０９は、第１の差分画像データと連続する第２の差分画像データを１枚の画像として圧縮するように制御することにより圧縮処理部４６０６の圧縮器４２０１は１個以上あればよい。出力処理部３００７は、動画像を圧縮したデータをデータ変換処理４６０５に用いた演算パラメータを含めて記憶装置に出力する。なお、撮像装置４６００が、変調器２９０１のような４分割タイプではなく、２分割タイプの処理を切り替えてする場合には演算パラメータに、再生装置４６１０での分割用の情報が含まれる。
　図４０の再生装置４６１０の４６０１は画像分割部である。再生装置４６１０は、記憶装置３００８に格納された圧縮した動画像データを、入力処理部３００９から入力し、復号処理部３０１０で１枚ずつの圧縮されていない画像にする復号処理を行う。画像分割部４６０１は、第１の差分画像データと第２の差分画像データに分割し、現像処理部３０１１に出力する。
　図４３に、図４０の圧縮前処理部４６０２の処理フロー例を示す。図３７と同じ処理には同じ番号を付し説明は省略する。図４３において、圧縮前処理部３８０１は、演算パラメータが設定されていない初期値状態であれば（Ｓ４９０１：Ｎｏ）、最初の差分画像データから最小値、最大値を取得し、最小値、最大値用いて演算パラメータを設定する（Ｓ４９０２）して、ステップＳ３１１３で設定されている演算パラメータから画像復元情報メタデータを生成する。演算パラメータが設定されていれば（Ｓ４９０１：Ｙｅｓ）、そのまま、ステップＳ３１１３に進む。
ステップＳ４３０１、Ｓ５００センサ信号処理を実行し、ステップＳ４３０２で領域判定処理を行う。ステップＳ４３０２で第１の領域の画像データあるいは第３の領域の画像データと判断した場合は（Ｙｅｓ）、ステップＳ３１０５で記憶部に画像データを格納する。ステップＳ４３０２で第１の領域の画像データあるいは第３の領域の画像データではないと判断した場合は（Ｎｏ）、記憶部の画素データとの差分処理により差分画像データを求め（Ｓ４９０２）、ステップＳ３１０７の最小値、最大値取得処理をしたのち、予め設定した演算パラメータを用いてデータシフト処理Ｓ３１１１，ビット削減処理Ｓ３１１２を行って圧縮処理前画素データを生成し、記憶部に圧縮前処理画素データを格納する（Ｓ４９０３）。以上の処理をフレーム終了まで行う。ステップＳ３１０８でフレーム終了と判定し（Ｙｅｓ）、ステップＳ４３０４でキーフレームと判定した場合は、記録されている最大値、最小値から演算パラメータを設定し（Ｓ４３０５）、最小値、最大値のリセットを行う（Ｓ３１０３）。
　以上説明した圧縮前処理により、センサ画像の画素値のビット数を削減することができ、さらに、動画像の圧縮においても少ない圧縮器で実現することができ、かつ、少ない遅延時間で映像を出力することができる。
　本実施例は、色差信号を含む映像の現像処理に対応した再生装置について説明する。
　図４４は、本実施例における色差信号を含む映像の現像処理に対応した再生装置５１００の構成図である。図４４において、現像処理部５０１１は、後面変調処理部５１０２、ＦＦＴ演算部５１０３、強度計算処理部５１０５、フォーマット変換処理部５１０１で構成されている。フォーマット変換処理部５１０１は、例えば、輝度信号Ｙと、２つの色差信号使って表現されるＹＵＶフォーマットの画像を、赤、青、緑の信号で表現するＲＧＢフォーマットの画像に変換する。
　現像処理部５０１１の後面変調処理部５１０２、ＦＦＴ演算部５１０３および強度計算処理部５１０５は、図２６で説明した現像処理部３０１１と同様の処理を行い、後面変調処理部５１０２は、裏面ピッチ決定と裏面格子強度変調とを行い、ＦＦＴ演算部５１０３は２次元ＦＦＴ演算とスペクトル切り出し処理を行い、強度計算処理部５１０５は強度計算と４枚の変調器のパターンを使用する場合は画像の合成処理を行う。
　ここで、動画像を圧縮する場合は、人の目では色成分の分解能が低いため、色差成分の画素数を減らし、圧縮効率を上げたＹＵＶフォーマットを使用することが多い。復号処理部３０１０は、動画像の復号処理後、ＲＧＢフォーマットの画像に変換せずに、ＹＵＶフォーマットの画像まま出力することが可能である。しかしながら、ＲＧＢフォーマットの画像はすべて正のデータであるのに対して、ＹＵＶフォーマットの色差成分は正負両方のデータがあるため、強度計算処理部５１０５で正しい強度を算出できない。その為、復号処理部３０１０からＹＵＶフォーマットで出力された画像は、強度計算処理部５１０５の前にフォーマット変換処理部５１０１でＲＧＢフォーマットに変換される。
　図４５に再生装置５１００の処理フローを示す。図３２と同じものには同じ番号を付し、説明は省略する。再生装置５１００では、ステップＳ３７０２の復号処理からステップＳ５０１まで、ＹＵＶフォーマットの画像を処理する。ステップＳ５０２でスペクトル切り出しした後、ステップＳ５１０１でフォーマット変換処理を行う。ここで、４つの変調器パターンを使った場合、ステップＳ５１０１までは位相の異なる画像が２枚連結された状態であり、ステップＳ５１０２で、２枚の画像に分割する。ステップＳ５０３では各画素の強度を計算するとともに２枚の画像の強度の合成を行う。以下、図３２と同様に処理を行う。
　本実施例によれば、現像処理の一部を、ＲＧＢフォーマットより少ない画素数にすることが可能なＹＵＶフォーマットで処理することで現像処理の負荷が軽減でき、処理の高速化あるいは低コストな再生装置を可能とする。
　本実施例は、フリンジスキャン方式を適用し、撮像した動画像データを圧縮し、伝送する撮像システムについて説明する。
　図４６は、本実施例における、フリンジスキャン方式を適用し、撮像した動画像データを圧縮し、伝送する撮像システムの構成図である。図４６において、図２６と同じものには同じ番号を付し、説明は省略する。この撮像システムは、撮像装置４９０１と、再生装置４９１０とを含む。撮像装置４９０１と再生装置４９１０とが通信路４９０３により接続される。
　撮像装置４９０１は、画像センサ部１０３を含む変調器２９０１と、透明な格子基板１０２ａと、制御部３８０２と、圧縮前処理部３８０１と、圧縮処理部３８０５と、送受信部４９０２と、記憶部２２０１と、画像分割部２９０２を含む。また、再生装置４９１０は、送受信部４９０４と、画像記録読出し部４９０５と、記憶装置３００８と、復号処理部３０１０と、現像処理部３０１１と、記憶部３０１２と、フォーカス設定部２２０３と、画像表示部１０７と、画像出力部３０１３と、制御部３１０１を有する。
　送受信部４９０２は、圧縮処理部３８０５から出力される圧縮された画像データやメタデータを通信路に伝送する形式に変換し、通信処理を行う。すなわち、送受信部４９０２は、通信路４９０３を介して圧縮処理部３８０５により圧縮されたデータを送信出力する。
　送受信部４９０２の通信のインターフェースとしては、有線ＬＡＮ（Local Area Network）や、図示はしていないがＷｉ‐Ｆｉ（登録商標）などの無線ＬＡＮなどの方法を使用してもよいし、移動体通信方式であるＧＳＭ（登録商標）（Global System for Mobile Communications）方式、Ｗ－ＣＤＭＡ(Wideband Code Division Multiple Access)方式やＣＤＭＡ２０００方式、ＵＭＴＳ（Universal Mobile Telecommunications System）方式などの第３世代移動通信システム（以下「３Ｇ」と表記する）、ＬＴＥ（Long Term Evolution）方式や第五世代（５G）と呼ばれる新しい次世代通信システムなどの移動体通信網を利用して基地局を通して通信ネットワークなどの移動体通信網を利用して基地局を通して通信ネットワークに接続することもできる。また、異なる複数の方式で通信可能なチップを実装し、撮像装置４９０１を使用する環境に合わせて使い分けてもよい。
　再生装置４９１０の送受信部４９０４は、撮像装置４９０１の送受信部４９０２と同様な通信インターフェースを持つ。なお、送受信部４９０４の通信インターフェースは、送受信部４９０２と全て同じである必要はなく、少なくとも１つ以上あればよい。送受信部４９０４は、通信路４９０３を介して受信したデータを画像データや付随するメタデータとして画像記録読出し部４９０５に出力する。この画像記録読出し部４９０５は、取得した画像データおよび附随するメタデータを記憶装置３００８へ記憶する。以下の処理は図２６と同様なため、説明は省略する。
　以上説明したように、本実施例によれば、現像処理前の映像をネットワーク伝送することにより、撮像装置４９０１の構成を簡単にでき、小型で軽量、低コストな撮像装置とし、かつ、動画像表示においてもフレーム毎に輝度変化することがない動画像を表示することが可能になる。また、フリンジスキャン後の画像を伝送することで、現像処理部でフォーカスの調整や距離の測定が可能であり、撮影後に映像を確認したいときに見たいところにフォーカスを当てたり、距離を測定したりすることが可能になる。
　本実施例は、例えば、複数の監視カメラからの映像を、記録、再生するシステムについて説明する。
　図４７は、本実施例における、撮像システムの構成図である。図４７において、図４６と同じものには同じ番号を付し説明は省略する。図４７において、４９０１ａ、４９０１ｂおよび４９０１ｃは撮像装置であり、図５２の撮像装置４９０１と同様のものである。例えば、撮像装置４９０１ａ、撮像装置４９０１ｂおよび撮像装置４９０１ｃは監視カメラであり、通信路４９０３に接続されている。
　４９２０は記録再生装置であり、図４６の再生装置４９１０に操作入力部５１０４が追加されている。
　送受信部４９０４は通信路４９０３を介して撮像装置４９０１ａ、撮像装置４９０１ｂおよび撮像装置４９０１ｃから送られてきた圧縮画像を取得する。画像記録読出し部４９０５は送受信部４９０４で取得した圧縮画像に撮像装置の情報、撮像時刻を関連付けて記憶装置３００８に保存する。
　操作入力部５１０４は、例えば、接続されているデバイスであるキーボードやマウス、タッチパッド、タッチパネル、リモコン、人の部分的あるいは全体的な動きを検知するセンサ等の信号を入力する。記録再生装置４９２０に対して所望の制御をしようとする操作者は、例えば、操作入力部５１０４に接続されているデバイスを操作する。制御部３１０１は、例えば、操作入力部５１０４から入力された信号に基づき、画像記録読出し部４９０５に読み出す圧縮画像の指示をするとともに、復号処理部３０１０に読み出した圧縮画像の復号処理、現像処理部３０１１に復号処理した画像の現像処理を行うよう指示をして、現像処理した画像を画像表示部１０７に出力する。また、操作者がフォーカス変更を指示した場合はフォーカス設定部２２０３に設定している距離を変更してフォーカスを調整する。
　以上説明した複数の監視カメラを接続する撮像システムにおいても、必要に応じて現像処理を行うため、消費電力の軽減、処理負荷低減が可能になる。
なお、本実施例では、撮像装置を３台接続した例としているが、接続数に制限はない。また、１台接続時においても、再生処理を必要なときのみとすることで消費電力の軽減、処理負荷低減が可能になる。
　本実施例は、例えば、撮像装置、記録装置および再生装置が離れた場所にある撮像システムについて説明する。
図４８は、本実施例における、撮像システムの構成図である。図４８において、図４６、図４７と同じものには同じ番号を付し説明は省略する。
　５２０１は記録装置であり、送受信部４９０４、画像記録読出し部４９０５、記憶部２２０１、制御部５２１０を含む。送受信部４９０４は、通信路４９０３を介して撮像装置４９０１ａ、撮像装置４９０１ｂおよび撮像装置４９０１ｃから送られてきた圧縮画像を取得する。画像記録読出し部４９０５は送受信部４９０４で取得した圧縮画像に撮像装置の情報、撮像時刻を関連付けて記憶部２２０１に保存する。
　５２０２は再生装置であって、図４７の記録再生装置４９２０に記載の一部の構成と、送受信部５２０４を有する。
　再生装置５２０２の制御部３１０１は、例えば、図示はしていないが操作者の指示に従い、送受信部５２０４及び通信路４９０３を介して、記録装置５２０１に記録されている画像情報を取得する。取得した画像情報から操作者が選択した画像を制御部３１０１は送受信部５２０４及び通信路４９０３を通じて記録装置５２０１に要求する。記録装置５２０１の画像記録読出し部４９０５は記憶部２２０１に記録されている画像から要求された画像を取り出し、送受信部４９０４および通信路４９０３を介して再生装置５２０２に送る。再生装置５２０２では送受信部５２０４で受け取った画像を制御部３１０１の指示に基づき、復号処理部３０１０で復号処理をし、現像処理部３０１１で現像処理した後、画像出力部３０１３に出力する。
　以上説明した複数の監視カメラを接続する撮像システムにおいても、記録装置の設置位置を限定することがないため、大きな記録容量の記憶装置とすることができ、長い時間の記録が可能になる。なお、本実施例では、撮像装置を３台接続した例としているが、接続数に制限はない。
　本実施例は、撮像部、記録部、再生部を一体とした撮像再生装置について説明する。
図４９は、本実施例における撮像再生装置の構成図である。図４９において、撮像再生装置５６００は、例えば、通信Ｉ／Ｆ５６１３、制御部５６１４、表示部５６１７、入力手段５６１５、ストレージ５６２５、移動体通信Ｉ／Ｆ５６３１、メモリ５６３２、加速度センサ部５６３３、地磁気センサ部５６３４、ＧＰＳ受信部５６３５、ジャイロセンサ部５６３６、撮像部５６４０、スイッチ入力部５６５０、音声入出力部５６６０、圧縮処理部５６７０、復号処理部５６７１から構成され、それぞれの処理部がバス５６０１を介して接続される。
　また、撮像再生装置５６００は、アプリケーションプログラムをストレージ５６２５に格納しており、制御部５６１４がストレージ５６２５から上記プログラムをメモリ５６３２に展開し、制御部５６１４が上記プログラムを実行することで各種機能を実現することができる。以後の説明では説明を簡単にするため、制御部５６１４が各アプリケーションプログラムを実行して実現する各種機能を、各種プログラム機能部が主体となって実現することとして説明する。
なお、アプリケーションプログラムは、撮像再生装置５６００が出荷されるまでに予めストレージ５６２５に格納されていても良いし、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）などの光学メディアや半導体メモリ等の媒体に格納されて図示しない媒体接続部を介して撮像再生装置５６００にインストールされても良い。また、通信Ｉ／Ｆ５６１３及び図示しない無線ルーターを介して図示しない外部ネットワークからダウンロードしてインストールしてもよい。若しくは移動体通信Ｉ／Ｆ５６３１を介して図示しない基地局を介して配信元からダウンロードしてインストールしてもよい。
　さらに、ネットワークを介してアプリケーションプログラムを取得したパーソナルコンピュータ（ＰＣ）に図示しない外部機器接続Ｉ／Ｆを介して接続し、ＰＣから撮像再生装置５６００にムーブまたはコピーしてインストールすることも可能である。
　また、アプリケーションプログラムは、同様の機能を持つ処理部として、ハードウェア
で実現することも可能である。ハードウェアとして実現する場合は、各処理部が主体となり、各機能を実現する。
　通信Ｉ／Ｆ５６１３は、例えば、無線ＬＡＮなどにより、図示しない無線ルーターに接続される。また、通信Ｉ／Ｆ５６１３は、無線ルーターを介して外部ネットワークと接続され、外部ネットワーク上のサーバー等と情報の送受信を行う。無線ルーターとの通信機能に加えて、またはこれに替えて、Ｗｉ‐Ｆｉなどの無線ＬＡＮなどの方法で、無線ルーターを介さずにサーバーと直接通信することが可能である。通信Ｉ／Ｆ５６１３は、異なる通信方式を行うチップをそれぞれ実装しても良い。また、複数の通信方式を扱う１つのチップとして実装されていても良い。例えば、Bluetooth（登録商標）等の他の情報機器と直接通信する機能により、データの送受信を直接行う。移動体通信Ｉ／Ｆ５６３１は、ＧＳＭ方式、Ｗ－ＣＤＭＡ方式やＣＤＭＡ２０００方式、ＵＭＴＳ方式などの３Ｇ、またはＬＴＥ方式や５Gと呼ばれる新しい次世代通信システムなどの移動体通信網を利用して基地局を通して通信ネットワークに接続され、通信ネットワーク上のサーバーと情報の送受信を行うことができる。また、通信Ｉ／Ｆ５６１３による外部ネットワークとの接続を移動体通信Ｉ／Ｆ５６３１による通信ネットワーク接続より優先するようにすることもできる。
　制御部５６１４は、ユーザーの操作要求を入力手段５６１５を経由して受け取り、表示部５６１７、通信Ｉ／Ｆ５６１３、各種プログラム機能部を制御する。
　さらに、制御部５６１４は、通信Ｉ／Ｆ５６１３及び無線ルーター１０を経由して外部ネットワーク、または、移動体通信Ｉ／Ｆ５６３１及び基地局１８を経由して外部ネットワーク上のサーバーから各種情報を取得でき、各種プログラム機能部に渡す機能も有する。
　ストレージ５６２５は、制御部５６１４の指示により制御され、アプリケーションプログラムを保存することができる。また、アプリケーションプログラムで作成した各種情報を保存する。また、通信Ｉ／Ｆ５６１３、または移動体通信Ｉ／Ｆ５６３１から受信した信号から映像音声ストリーム等のコンテンツを保存してもよい。また、ストレージ５６２５は撮像再生装置５６００に内蔵されたものでもよいし、撮像再生装置５６００に着脱可能な可搬型のメモリでもよい。
　メモリ５６３２は、制御部５６１４の指示により制御される。制御部５６１４によってメモリ５６３２に、ストレージ５６２５に格納しているアプリケーションプログラムの機能部が展開される。ストレージ５６２５には、図示はしていないが、例えば、図３３の圧縮前処理部３８０１や現像処理部３０１１の処理機能が格納されており、必要に応じて、制御部によりメモリ５６３２に展開される。
　表示部５６１７は、ストレージ５６２５に格納された画像や映像、放送・配信された映像、各種操作をするためのＵＩ等を表示する。表示する画像、映像は、アプリケーションプログラムで生成された画像でもよく、通信Ｉ／Ｆ５６１３を介して外部ネットワーク上のサーバーから受信した画像、映像でもよく、移動体通信Ｉ／Ｆ５６３１を介して通信ネットワーク上のサーバーから配信された画像、映像でもよい。また、表示部５６１７は、例えば下記のタッチパネル等と一体として構成されてもよい。
　入力手段５６１５は、ユーザーからの撮像再生装置５６００に対する操作を受け付け、入力操作に関する制御情報を入力する入力手段であり、例えば、タッチパネルなどを用いることができる。以下、本実施例では、タッチパネルを使用した例について説明するが各種操作は物理的なボタンを用いる構成でもよい。
　タッチパネルを使用することにより、タッチパネル上の任意のオブジェクト（アイコン）等を指でタッチした状態で移動する操作（ドラッグ操作）または画面上で指をはじくようにして動かす操作（フリック操作）を行うことによりオブジェクト等を自由に移動したりすることができる。また、オブジェクト等を指で１回叩く操作（タップ操作）または２回叩く操作（ダブルタップ操作）を行うと、オブジェクト（アイコン）等を活性化したり別の画面に切り替えたりすることができる。本実施例では、上述のタッチパネルの各操作をドラッグ操作、フリック操作、タップ操作と称して説明する。
　加速度センサ部５６３３は、撮像再生装置５６００にかかる加速度を測定する。制御部５６１４は、例えば加速度センサ部５６３３により重力加速度を測定することによって、撮像再生装置５６００のどの部分が上方であるのかを知ることができ、表示部５６１７に表示させる画面の上方を加速度センサ部５６３３が測定した上方と合わせるように表示させることによって、ユーザーによる撮像再生装置５６００の持ち方に合わせた画面を表示させることができる。
　地磁気センサ部５６３４は、複数の磁気センサを利用するなどして地磁気を測定する。
　ＧＰＳ受信部５６３５は、ＧＰＳ（Global Positioning System)を利用して複数の衛星から送信される信号を受信する。制御部５６１４は、ＧＰＳ受信部５６３５が受信した信号を基に、撮像再生装置５６００の位置情報を計算することができる。
　ジャイロセンサ部５６３６は、撮像再生装置５６００をユーザーが動かした場合などに発生する撮像再生装置５６００の角速度を測定する。
　撮像部５６４０は、例えば、画像センサ部１０３と、透明な格子基板１０２ａと、変調器２５０１あるいは変調器２９０１などで構成される。画像センサ部１０３のシャッタタイミングや変調器２５０１のパターン切り替えタイミング等は制御部５６１４が制御する。
　音声入出力部５６６０には、撮像再生装置５６００に装備されたマイクからの音声入力信号、及びスピーカ５６６２への音声出力信号を入出力するもので、制御部５６１４にてその音声入出力のボリュームの制御が行われる。
　スイッチ入力部５６５０は物理的なボタン５６５１（1個でも複数でもよい）の操作に応じてスイッチ情報を取込み、バス５６０１を通じて制御部５６１４に取り込まれ、必要に応じて各種アプリケーションプログラムの制御に使用される。たとえば一例として、ボタン５６５１の２個のボタンに応じて音声出力の大きさ調整（ボリュームのアップダウン）の制御に使用される。
　本撮像再生装置５６００においては、撮像部５６４０で撮影した映像を現像処理することなく、圧縮処理部５６７０で圧縮してストレージに保存する。ユーザーが現像画像を見たい時に入力手段５６１５から操作し、圧縮された映像を復号処理部５６７１で復号処理し、現像処理した後に表示部５６１７に表示する。
　本実施例では、例えば、移動情報端末等の撮影、再生、保存が一体化している機器で記憶容量が大きく無い機器においても、撮影した画像を圧縮して保存するので、あとからフォーカス等を変更可能な、多くのが画像の保存が可能になる。
　図５０は図４９の撮像再生装置５６００と図４８の記録装置５２０１を通信路４９０３で接続した撮像再生システムである。撮像再生装置５６００は外部の記録装置５２０１に接続することにより、大容量の記録が可能になる。ここで、撮像再生装置の５６００の圧縮処理部５６７０で後にフォーカス設定等が可能な画像の容量を下げることができ、伝送量低減が可能になる。
　本実施例は、頭部装着型の映像表装置と演算処理装置で構成する映像表示システムについて説明する。
　図５１は、本実施例における頭部装着型の映像表装置と演算処理装置で構成する映像表示システムの概略図である。図５１において、５５０１は映像表示装置であり、５５１０は演算処理装置である。映像表示装置５５０１は、表示部５５０２と、撮像部５５０３と、光源部５５０４、全体制御部（図示しない）とを含む。なお、頭部装着型の映像表示装置は、頭部に装着できる形状であれば眼鏡型で無くても良く、映像表示部は片眼でも良い。
　撮像部５５０３は、例えば、図１９の画像センサ部１０３と変調器２５０１を含む構成、あるいは、図２３の画像センサ部１０３と変調器９５０１を含む構成等の、画像センサ部と変調器を含む。
　表示部５５０２は、表示部５５０２の一部あるいは全部に、例えば、映像表示装置５５０１を装着したユーザーが見える位置に映像を表示する。あるいは、表示部５５０２で光を反射させて、ユーザーの目に像を結ばせる。
　演算処理装置５５１０は、例えば、図５５示した撮像再生装置５６００や、撮像再生装置５６００の撮像部５６４０が画像センサ部とレンズ部で構成される携帯情報端末である。
　映像表示装置５５０１と演算処理装置５５１０の機能構成を図５２に示す。図５１と同じものには同じ番号を付している。
　映像表示装置５５０１は、バス５９０４と、バス５９０４で接続される撮像部５５０３、圧縮前処理部５９０１、圧縮処理部５９０２、制御部５９０３、表示部５５０２、復号処理部５９０５、送受信部５９０６、記憶部５９０７を含む。
　演算処理装置５５１０は、バス５９１９と、バス５９１９で接続される送受信部５９１１、圧縮処理部５９１２、復号処理部５９１３、制御部５９１４、現像処理部５９１５、映像解析処理部５９１６、映像生成部５９１７および記憶部５９１８とを含む。
　圧縮前処理部５９０１は、例えば、図２６の圧縮前処理部３００１、あるいは図３３の圧縮前処理部３８０１、図４０の圧縮前処理部４６０２等である。
　圧縮処理部５９０２および圧縮処理部５９１２は、例えば、図２６の圧縮処理部３００５、あるいは図３３の圧縮処理部３８０５、図４０の圧縮処理部４６０６等である。
　復号処理部５９０５および復号処理部５９１３は、例えば、図２６の復号処理部３０１０等である。
　送受信部５９０６および送受信部５９１１は、例えば、図４６の送受信部４９０２および送受信部４９０４等あるいは、送受信部５９０６と送受信部５９１１とを直接接続してデータを送受信する。
　制御部５９０３は、例えば、撮像部５５０３、圧縮前処理部５９０１、圧縮処理部５９０２、表示部５５０２、復号処理部５９０５、送受信部５９０６を統括的に制御する。
　現像処理部５９１５は、例えば、図２６の現像処理部３０１１や図４４の現像処理部５０１１である。
　制御部５９１４は、例えば、送受信部５９１１、圧縮処理部５９１２、復号処理部５９１３、現像処理部５９１５、映像解析処理部５９１６、映像生成部５９１７を統括的に制御する。
　映像表示装置５５０１は撮像部５５０３で撮影した映像を、圧縮前処理部５９０１で処理した後、圧縮処理部５９０２で圧縮し、送受信部５９０６で演算処理装置５５１０に送信する。また、送受信部５９０６は、演算処理装置５５１０から受信した映像を、必要に応じて復号処理部５９０５で復号処理し、表示部５５０２に表示する。
　演算処理装置５５１０は、映像表示装置５５０１から送受信部５９１１で受信し、受信した映像を復号処理部５９１３で復号処理し、現像処理部５９１５で被写体が分かる映像にする。映像解析処理部５９１６は現像処理部５９１５で現像した映像を解析する。解析する映像は、例えば、手の動き等で映像表示装置５５０１や演算処理装置５５１０を制御する場合は、手の動きを解析し、手の動きに割り当てられた処理を行う。手の動きが演算処理装置５５１０の指示である場合は、例えば、操作用のメニュー表示等の表示に関わるものである場合は、演算処理装置５５１０は映像生成部５９１７で映像を生成し送受信部５９１１から映像表示装置５５０１に送信する。
　以上説明した映像表示装置５５０１では、レンズを使わない撮像部で小型軽量化が可能であるとともに、映像表示装置の処理を軽くし、かつ、圧縮処理により伝送量も少なくすることができ、頭部装着型に適した映像表示装置および映像表示システムが実現できる。
　以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。
１０２：変調器、１０３：画像センサ部、１０４：表面側格子パターン、１０５：裏面側格子パターン、１０６：画像処理部、１０７：画像表示部、２２０１、３０１２：記憶部、２２０３：フォーカス設定部、２９０２、４６０１：画像分割部、３００２：センサ信号処理部、３００３：差分処理部、３００４：データ変換処理部、３００７：出力処理部、３００８：記憶装置、３００９：入力処理部、３０１０：復号処理部、３０１１、５０１１：現像処理部、３０１３：画像出力部、３１００、４６１０、５１００、５２０２：再生装置、３１０１、３８０２：制御部、３８００、４６００、４９０１：撮像装置、３８０１：圧縮前処理部、３８０５：圧縮処理部、３８０６：演算パラメータ生成部、４９０２、４９０４：送受信部、４９０３：ネットワーク、４９０５画像記録読出し部、４９２０：記録再生装置、５２０１：記録装置、５５０１：映像表示装置、５５１０：演算処理装置、５６００：撮像再生装置

Claims (12)

  1. 　画像を連続して撮像する撮像装置であって、
    　撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    　前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
    　前記画像センサから出力される画像信号を受信する信号処理部と、
    　前記信号処理部により受信された画像信号の差分を算出し、当該差分に基づく第１の差分データを生成する差分処理部と、
    　前記差分処理部による画像信号の差分の範囲および前記第１の差分データに基づいてデータ変換用パラメータを設定するパラメータ設定部と、
    　前記差分処理部による前記第１の差分データと前記パラメータ設定部による前記データ変換用パラメータとを用いて第１の圧縮用画像データを生成するデータ変換部と、
    　前記データ変換部により生成された第１の圧縮用画像データを圧縮する圧縮部と、
    　を備え、
    　前記変調器は、複数の線で構成される第１の格子パターンと、前記第１の格子パターンと位相がずれた第２の格子パターンとを有し、
    　前記信号処理部は、前記第１の格子パターンにより出力される第１の画像信号と、前記第２の格子パターンにより出力される第２の画像信号とを受信し、
    　前記差分処理部は、前記第１の画像信号と前記第２の画像信号との差分を算出し、
    　前記パラメータ設定部は、連続して入力する前記第１の差分データから一定間隔おきにデータ変換用パラメータを生成および設定し、
    　前記圧縮部は前記圧縮したデータに前記差分の範囲を示す情報を含める、
    ことを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記圧縮部は一定期間毎に連続する入力画像をグループ画像として前記入力画像間の相関関係を用いて圧縮し、
    　前記パラメータ設定部がデータ変換用パラメータを設定する間隔は前記圧縮部がグループ画像を生成する期間に等しいことを特徴とする撮像装置。
  3. 　請求項２に記載の撮像装置であって、
    　前記圧縮部は前記グループ画像の中で他の画像に関係なく圧縮するキー画像を生成し、
    　前記パラメータ設定部は前記圧縮部がキー画像に対応する前記差分処理部による画像信号の差分の範囲および前記第１の差分データを用いてデータ変換用パラメータを生成することを特徴とする撮像装置。
  4. 　請求項２に記載の撮像装置であって、
    　前記パラメータ設定部は、前記圧縮部のグループ画像に対応する前記差分処理部による画像信号の差分の範囲および前記第１の差分データを用いてデータ変換用パラメータを生成することを特徴とする撮像装置。
  5. 　請求項１から４の何れか１項に記載の撮像装置であって、
    　前記第２の格子パターンは、前記第１の格子パターンから位相がπずれた格子パターンであり、
    　前記変調器は、前記第１の格子パターンから位相がπ／２ずれた第３の格子パターンと、前記第１の格子パターンから位相が３π／２ずれた第４の格子パターンをさらに有し、
    　前記信号処理部は、前記第３の格子パターンにより出力される第３の画像信号と、前記第４の格子パターンにより出力される第４の画像信号とを受信し、
    　前記差分処理部は、前記第３の画像信号と前記第４の画像信号との差分を算出し、当該差分に基づく第２の差分データを生成し、
    　前記データ変換部は、前記第３の画像信号と前記第４の画像信号との差分の範囲および前記第２の差分データに基づいた第２の圧縮用画像データを生成し、
    　前記圧縮部は、前記第２の圧縮用画像データに、前記第３の画像信号と前記第４の画像信号との差分の範囲を示す情報を含めて、当該第２の圧縮用画像データを圧縮することを特徴とする撮像装置。
  6. 　請求項１から５の何れか１項に記載の撮像装置であって、
    　前記変調器の前記第１の格子パターンおよび前記第２の格子パターンは、同一面上に形成され、
    　前記画像信号を前記第１の格子パターンで変調された領域の第１の画像信号と、前記第２の格子パターンで変調された領域の第２の画像信号とに分割する分割処理部をさらに備え、
    　前記信号処理部は、前記分割処理部により分割された結果に基づいて、前記第１の画像信号と前記第２の画像信号とを受信することを特徴とする撮像装置。
  7. 　請求項５に記載の撮像装置であって、
    　前記変調器の前記第１の格子パターン、前記第２の格子パターン、前記第３の格子パターン、および前記第４の格子パターンは、同一面上に形成され、
    　前記画像信号を前記第１の格子パターンで変調された領域の第１の画像信号と、前記第２の格子パターンで変調された領域の第２の画像信号と、前記第３の格子パターンで変調された領域の第３の画像信号と、前記第４の格子パターンで変調された領域の第４の画像信号と、に分割する分割処理部をさらに備え、
    　前記信号処理部は、前記分割処理部により分割された結果に基づいて、前記第１の画像信号と前記第２の画像信号と前記第３の画像信号と前記第４の画像信号とを受信することを特徴とする撮像装置。
  8. 　請求項１から７の何れか一項に記載の撮像装置であって、
    　前記撮像装置は、ネットワークと接続し、
    　前記ネットワークを介して前記圧縮部により圧縮されたデータを送信出力することを特徴とする撮像装置。
  9. 　請求項１から８の何れか一項に記載の撮像装置であって、
    　前記変調器の格子パターンは、複数の同心円から構成され、該複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなることを特徴とする撮像装置。
  10. 　請求項１から８の何れか一項に記載の撮像装置であって、
    　前記変調器の格子パターンは、複数の直線で構成され、該複数の直線は、基準座標に対して直線間距離が反比例して狭くなることを特徴とする撮像装置。
  11. 　画像を撮像した結果を圧縮する撮像装置と、当該圧縮された結果を復元する復元装置とを含む撮像システムであって、
    　前記撮像装置は、
    　撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    　前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
    　前記画像センサから出力される画像信号を受信する信号処理部と、
    　前記信号処理部により受信された画像信号の差分を算出し、当該差分に基づく第１の差分データを生成する差分処理部と、
    　前記差分処理部による画像信号の差分の範囲および前記第１の差分データに基づいてデータ変換用パラメータを設定するパラメータ設定部と、
    　前記差分処理部による前記第１の差分データと前記パラメータ設定部による前記データ変換用パラメータとを用いて第１の圧縮用画像データを生成するデータ変換部と、
    　前記データ変換部により生成された第１の圧縮用画像データを圧縮する圧縮部と、
    　前記圧縮部により圧縮したデータを出力する出力部を備え、
    　前記復元装置は、
    　前記出力部により出力されたデータを入力する入力部と、
    　前記入力部により入力されたデータを復号して圧縮復元画像を生成する復号処理部と、
    　前記圧縮復元画像と、当該差分の範囲から復元差分画像を生成する画像復元処理部と、
    　前記復元差分画像を変調してモアレ縞画像を生成する変調処理部と、
    　前記モアレ縞画像をフーリエ変換して周波数スペクトルを算出する信号処理部と、
    　を備え、
    　前記変調器は、複数の線で構成される第１の格子パターンと、前記第１の格子パターンと位相がずれた第２の格子パターンとを有し、
    　前記信号処理部は、前記第１の格子パターンにより出力される第１の画像信号と、前記第２の格子パターンにより出力される第２の画像信号とを受信し、
    　前記差分処理部は、前記第１の画像信号と、前記第２の画像信号との差分を算出し、
    　前記圧縮部は、前記第１の圧縮用画像データに前記差分の範囲を示す情報を含める、
    ことを特徴とする撮像システム。
  12. 　画像を連続して撮像する撮像装置の撮像方法であって、
    　該撮像装置は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    　前記画像センサの受光面に設けられ、複数の線で構成される第１の格子パターンと、前記第１の格子パターンと位相がずれた第２の格子パターンとを有し、光の強度を変調する変調器を有しており、
    　前記第１の格子パターンにより出力される第１の画像信号と、前記第２の格子パターンにより出力される第２の画像信号とを受信し、
    　前記第１の画像信号と前記第２の画像信号との差分データと差分の範囲を算出し、
    　該差分の範囲および差分データに基づいて連続して入力する該差分データから一定間隔おきにデータ変換用パラメータを生成および設定し、
    　前記差分データと前記データ変換用パラメータとを用いて圧縮用画像データを生成し、
    　該生成された圧縮用画像データを圧縮し、該圧縮したデータに前記差分の範囲を示す情報を含める、
    ことを特徴とする撮像方法。
PCT/JP2018/029800 2018-08-08 2018-08-08 撮像装置、撮像システム、及び撮像方法 WO2020031299A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US17/266,163 US11228705B2 (en) 2018-08-08 2018-08-08 Imaging device, imaging system, and imaging method which manage a moving image captured by a lensless imaging device in a state in which the capacity of the moving image is reduced
JP2020535399A JP6999820B2 (ja) 2018-08-08 2018-08-08 撮像装置、撮像システム、及び撮像方法
PCT/JP2018/029800 WO2020031299A1 (ja) 2018-08-08 2018-08-08 撮像装置、撮像システム、及び撮像方法
CN201880092766.3A CN112020854B (zh) 2018-08-08 2018-08-08 摄像装置、摄像***和摄像方法
CN202110941078.3A CN113660400A (zh) 2018-08-08 2018-08-08 记录装置、再现装置、记录再现装置和摄像装置
US17/542,585 US11570357B2 (en) 2018-08-08 2021-12-06 Imaging device and imaging system
JP2021208390A JP7218422B2 (ja) 2018-08-08 2021-12-22 撮像装置、撮像システム、及び撮像方法
US18/085,688 US11812163B2 (en) 2018-08-08 2022-12-21 Imaging device having a modulator that includes at least a first grating pattern and a second grating patern having a phase deviating from a phase of the first grating pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/029800 WO2020031299A1 (ja) 2018-08-08 2018-08-08 撮像装置、撮像システム、及び撮像方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/266,163 A-371-Of-International US11228705B2 (en) 2018-08-08 2018-08-08 Imaging device, imaging system, and imaging method which manage a moving image captured by a lensless imaging device in a state in which the capacity of the moving image is reduced
US17/542,585 Continuation US11570357B2 (en) 2018-08-08 2021-12-06 Imaging device and imaging system

Publications (1)

Publication Number Publication Date
WO2020031299A1 true WO2020031299A1 (ja) 2020-02-13

Family

ID=69414054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029800 WO2020031299A1 (ja) 2018-08-08 2018-08-08 撮像装置、撮像システム、及び撮像方法

Country Status (4)

Country Link
US (3) US11228705B2 (ja)
JP (1) JP6999820B2 (ja)
CN (2) CN112020854B (ja)
WO (1) WO2020031299A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022033219A (ja) * 2018-08-08 2022-02-28 マクセル株式会社 撮像装置、撮像システム、及び撮像方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020854B (zh) * 2018-08-08 2021-09-03 麦克赛尔株式会社 摄像装置、摄像***和摄像方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016063284A (ja) * 2014-09-16 2016-04-25 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法および画像処理プログラム
WO2018110120A1 (ja) * 2016-12-13 2018-06-21 株式会社日立製作所 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2652708B1 (en) * 2010-12-13 2015-01-28 Paul Scherrer Institut A method and a system for image integration using constrained optimization for phase contrast imaging with an arrangement of gratings
US9746593B2 (en) * 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging
CN103702103B (zh) * 2014-01-10 2015-12-30 武汉大学 基于双目相机的光栅立体印刷图像合成方法
US10423002B2 (en) * 2015-06-17 2019-09-24 Maxell, Ltd. Imaging apparatus capable of generating an image using moire without a lens
WO2017145348A1 (ja) * 2016-02-26 2017-08-31 株式会社日立製作所 撮像装置
JP6571266B2 (ja) 2016-03-02 2019-09-04 株式会社日立製作所 撮像装置
US10217235B2 (en) * 2016-07-11 2019-02-26 Nri R&D Patent Licensing, Llc Advanced lensless light-field imaging systems and methods for enabling a wide range of entirely new applications
US10649118B2 (en) * 2016-09-26 2020-05-12 Hitachi, Ltd. Imaging device
JP6688716B2 (ja) * 2016-10-04 2020-04-28 株式会社日立製作所 撮像装置および撮像方法
JP2019149674A (ja) * 2018-02-27 2019-09-05 株式会社日立製作所 撮像装置、撮像方法、および画像処理装置
CN112020854B (zh) * 2018-08-08 2021-09-03 麦克赛尔株式会社 摄像装置、摄像***和摄像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016063284A (ja) * 2014-09-16 2016-04-25 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法および画像処理プログラム
WO2018110120A1 (ja) * 2016-12-13 2018-06-21 株式会社日立製作所 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022033219A (ja) * 2018-08-08 2022-02-28 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
JP7218422B2 (ja) 2018-08-08 2023-02-06 マクセル株式会社 撮像装置、撮像システム、及び撮像方法

Also Published As

Publication number Publication date
US20220094848A1 (en) 2022-03-24
US20230131626A1 (en) 2023-04-27
US11812163B2 (en) 2023-11-07
CN112020854A (zh) 2020-12-01
US11228705B2 (en) 2022-01-18
CN113660400A (zh) 2021-11-16
JP6999820B2 (ja) 2022-01-19
US20210314485A1 (en) 2021-10-07
CN112020854B (zh) 2021-09-03
JPWO2020031299A1 (ja) 2021-02-25
US11570357B2 (en) 2023-01-31

Similar Documents

Publication Publication Date Title
JP4787871B2 (ja) カラー偏光撮像装置
JP6055332B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP7373015B2 (ja) 撮像方法
US11812163B2 (en) Imaging device having a modulator that includes at least a first grating pattern and a second grating patern having a phase deviating from a phase of the first grating pattern
US9060110B2 (en) Image capture with tunable polarization and tunable spectral sensitivity
KR20090005103A (ko) 향상된 화질을 갖는 이미지 캡쳐 장치
CN105323423B (zh) 图像处理方法、图像处理装置及摄像装置
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
JP4060295B2 (ja) 画像を表すデータを生成するための方法及び装置
JP4796871B2 (ja) 撮像装置
JPWO2019078340A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP7218422B2 (ja) 撮像装置、撮像システム、及び撮像方法
JP5895587B2 (ja) 画像記録装置、画像記録方法、画像再生装置および画像再生方法
JP2012128529A (ja) 画像処理装置及びその制御方法、プログラム
US11991452B2 (en) Imaging device, portable terminal, and exposure control method
JP2019057887A (ja) 撮像装置、撮像方法及びプログラム
JP2019208214A (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP6585890B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
US20230109911A1 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18929388

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020535399

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18929388

Country of ref document: EP

Kind code of ref document: A1