WO2017145348A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2017145348A1
WO2017145348A1 PCT/JP2016/055741 JP2016055741W WO2017145348A1 WO 2017145348 A1 WO2017145348 A1 WO 2017145348A1 JP 2016055741 W JP2016055741 W JP 2016055741W WO 2017145348 A1 WO2017145348 A1 WO 2017145348A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lattice
imaging apparatus
lattice pattern
grating
Prior art date
Application number
PCT/JP2016/055741
Other languages
English (en)
French (fr)
Inventor
島野 健
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN201680082565.6A priority Critical patent/CN108702440B/zh
Priority to PCT/JP2016/055741 priority patent/WO2017145348A1/ja
Priority to US16/078,751 priority patent/US10911643B2/en
Priority to JP2018501517A priority patent/JP6820908B2/ja
Publication of WO2017145348A1 publication Critical patent/WO2017145348A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306Circuit arrangements or driving methods for the control of single liquid crystal cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/30Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 grating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits

Definitions

  • the present invention relates to an imaging apparatus such as an imaging camera, and particularly to a reduction in thickness thereof.
  • a diffraction grating pattern formed on the upper surface of a substrate to be attached to an image sensor is a special grating pattern such as a spiral, and an inverse problem for reproducing an image is solved from a projection pattern received by the sensor.
  • the calculation was complicated.
  • the present invention provides an easy-to-detect technique for detecting the incident angle of a light beam, and reduces the decrease in light utilization efficiency at that time, and provides an imaging apparatus that does not cause interference noise between concentric circular lattice patterns.
  • one of the representative imaging devices of the present invention is a single concentric circular shape on the object side surface of the substrate to be attached to the sensor, the pitch of which becomes finer in inverse proportion to the distance from the center. Then, a concentric intensity modulation whose pitch is inversely proportional to the distance from the center is generated again in the light transmitted through the lattice pattern, and from the two-dimensional Fourier transform image of the modulated image An image of an object is obtained.
  • an external object image can be obtained by a simple calculation such as fast Fourier transform (FFT). Further, it is possible to reduce a decrease in light transmittance and to eliminate interference noises of concentric lattice patterns that overlap each other remaining in a reproduced image. Since no lens is used, it is also effective for maintenance-free in-vehicle cameras, surveillance cameras, and the like where there is a concern about image quality deterioration due to deterioration or displacement of the lens over time. Problems, configurations, and effects other than those described above will become apparent from the following description of embodiments.
  • FFT fast Fourier transform
  • the figure which shows basic embodiment of this invention The figure which shows a mode that the image
  • Schematic diagram when placing the front and back grids in a different axis Schematic diagram explaining the generation of moire fringes and the frequency spectrum when the lattices on both sides of the lattice substrate are shifted.
  • Bird's-eye view showing the calculation result of the spatial frequency spectrum image when irradiated with a total of 10 light beams, a normal incident plane wave and other 9 plane waves with different incident angles.
  • the figure explaining the angle which the light from each point which constitutes an object makes to the sensor The figure which shows the spatial frequency spectrum at the time of shifting two grating
  • FIG. 7 The figure which shows arrangement
  • FIG. 7 The figure which shows the image of the moire fringe which arises when the light from a single point light source injects into the 3x3 division
  • FIG. 7 The figure which shows the image of the moire fringe obtained by performing the noise reduction image processing by Example 7.
  • Image processing circuit block diagram of Embodiment 7 The figure which shows the grid pattern of 2x2 division
  • Image processing circuit block diagram of the eighth embodiment The figure which shows the Example of the motor vehicle carrying the imaging device of this invention as a vehicle-mounted camera.
  • FIG. 1 is a basic configuration diagram of the present invention.
  • the imaging device 101 includes a double-sided lattice substrate 102, an image sensor 103, and an image processing circuit 106.
  • the double-sided lattice substrate 102 is fixed in close contact with the light receiving surface of the image sensor 103, and concentric circles on the surface of the double-sided lattice substrate 102 have a lattice interval (pitch) that decreases in inverse proportion to the radius from the center toward the outside.
  • a grid pattern 104 is formed.
  • a similar lattice pattern 105 is also formed on the back surface of the image sensor 103 in contact with the light receiving surface. The intensity of the light transmitted through these lattice patterns is modulated by the lattice pattern.
  • the transmitted light is received by the image sensor 103, and the image signal is subjected to image processing by the image processing circuit 106 and output to the monitor display 107 or the like.
  • a normal imaging device requires a lens for imaging before a sensor.
  • an image of an object in the outside world can be acquired without the need for a lens.
  • the concentric lattice pattern 104 has no other lattice pattern that intersects the ring patterns constituting the concentric circles in the same plane, does not cause unnecessary interference between the lattice patterns, and suppresses a decrease in light utilization efficiency. it can.
  • FIG. 2 shows a state where the subject 201 is actually photographed and output to the monitor display 107 by the imaging apparatus of FIG.
  • the subject 201 is photographed with the lattice plane of the double-sided lattice substrate 102 facing the subject 201.
  • FIG. 17 is a block diagram showing the processing contents of the image processing circuit 106.
  • the input moire fringe image is subjected to a two-dimensional FFT operation for each color RGB component to obtain a frequency spectrum.
  • the data of one side frequency is cut out and the intensity is calculated. Further, noise removal, contrast enhancement processing, and the like are performed on the obtained image, color balance is adjusted, and a captured image is output.
  • a concentric lattice pattern whose pitch is inversely proportional to the radius from the center is defined as follows.
  • the radius from the reference coordinate of the center of the concentric circle is r and the phase of the spherical wave is ⁇ (r)
  • this is used using a coefficient ⁇ that determines the magnitude of the wavefront curvature.
  • a lattice pattern having a transmittance distribution proportional to the intensity distribution defined as described above is used as the lattice patterns 104 and 105 shown in FIG.
  • F represents a Fourier transform operation
  • u and v are spatial frequency coordinates in the x and y directions
  • ⁇ with parentheses is a delta function.
  • FIG. The figure is a schematic diagram of the layout of light and substrate, moire fringes, and spatial frequency spectrum from the left.
  • the front side lattice 104 and the back side lattice 105 on the lattice substrate 102 are aligned.
  • no moire fringes occur.
  • the two gratings are shifted relative to the optical axis in advance as shown in FIG. It is necessary to keep it.
  • the relative deviation of the shadows of the two gratings is ⁇ 0 with respect to the normal incident plane wave on the axis
  • the deviation ⁇ caused by the plane wave at the incident angle ⁇ is
  • the peak of the spatial frequency spectrum of the moire fringes of the light beam with the incident angle ⁇ is on the plus side of the frequency.
  • FIG. 6 shows a schematic diagram of the arrangement of light rays and the substrate, moire fringes and their spatial frequency spectrum when the front side grating 104 and the back side grating 105 are shifted in advance.
  • the arrangement of the light beam and the substrate on the left side, moire fringes on the center row, spatial frequency spectrum on the right side, and light rays on (a) vertical incidence in the upper row, (b) the middle row is incident at an angle ⁇ from the left side.
  • the lower stage (c) is incident from the right side at an angle ⁇ .
  • ⁇ max is the maximum incident angle of parallel light that can be received.
  • the maximum angle of view that can be received by the imaging apparatus of the present invention is
  • the transmittance distribution of the grating basically has a sinusoidal characteristic. However, if such a component exists as a fundamental frequency component of the grating, the grating It is also conceivable to increase the transmittance by binarizing the transmittance of the light and changing the duty of the lattice region having a high transmittance and the low region to widen the width of the region having a high transmittance.
  • the incident light beam has only one incident angle at the same time.
  • the present invention it is assumed that light having a plurality of incident angles is incident simultaneously. I must.
  • the images of the plurality of front side gratings 104 are already overlapped. If these cause moiré fringes, there is a concern that they may cause noise that hinders detection of moiré fringes with the back surface grating, which is a signal component.
  • the overlap between the images of the front side lattice 104 does not cause the peak of the moire image, and the peak is caused only by the overlap with the back side lattice.
  • the major difference is that the overlap of shadows of the front grating 104 due to light rays having a plurality of incident angles is not a product but a sum.
  • the light intensity distribution as the shadow on the front side is multiplied by the transmittance of the back side grating 105, thereby passing through the back side grating 105.
  • the light intensity distribution is obtained.
  • the overlap of shadows caused by light incident on the front side grating 104 at different angles is an overlap of light, and is not a product but a sum. In the case of sum
  • the distribution of the original Fresnel zone plate lattice is multiplied by the distribution of moire fringes. Therefore, since the frequency spectrum is represented by the overlap integral of each frequency spectrum, even if the moire spectrum alone has a sharp peak, the ghost of the frequency spectrum of the Fresnel zone plate is actually generated at that position. is there. That is, no sharp peak occurs in the spectrum. Therefore, the spectrum of the moiré image detected even when light of a plurality of incident angles is inserted is always only the moiré of the product of the front side grating 104 and the back side grating 105. Since the back side grating 105 is single, There is only one peak for one incident angle.
  • FIGS the results of the simulations performed are shown in FIGS.
  • the sensor size is 20 mm ⁇
  • the viewing angle ⁇ max ⁇ 70 °
  • the entrance and exit side lattice coefficients ⁇ 50 (rad / mm 2)
  • ⁇ 0 0.8 mm
  • the number of pixels 1024 ⁇ 1024 the substrate thickness 1 mm
  • FIG. 7 is a black and white inverted image of the spectral image
  • FIG. 8 is a bird's eye view of the luminance of the spectral image.
  • the original moire image itself was omitted because it had a fine lattice pitch and was not visible even when displayed as a drawing in this specification.
  • the entire region of the spatial frequency spectrum region whose center is a DC component and whose periphery is ⁇ N / 2S is displayed. Since the DC component has a large value, it is removed by masking and only the peak component to be detected is displayed. Furthermore, since the peak width of the spectrum is narrow and is difficult to see as it is, the contrast is emphasized. Further, in FIG. 7, the position of the signal peak is surrounded by a circle.
  • the bird's eye view of FIG. 8 displays the result of applying the mesh size averaging filter because the drawn line cannot be displayed without passing through the peak as it is.
  • ⁇ ⁇ 0.18 ° in the condition of the present embodiment which is a condition that can be realized if the sensor size is 20 mm and it is 6 m away from the subject.
  • the imaging apparatus of the present invention can image an object at infinity.
  • the output image is horizontally long.
  • the front side lattice 104 and the back side lattice 105 are shifted left and right as shown in FIG.
  • the spatial frequency spectrum of the sensor output is the frequency range of both x and y ⁇ N / S, as shown on the right side of the figure.
  • the image is reproduced separately from left and right.
  • the image of the image is basically limited to a vertically long area.
  • an arrangement suitable for the image is preferably as shown in FIG.
  • the front side lattice 104 and the back side lattice 105 are shifted vertically, and the image formed in the spatial frequency space of the sensor output is separated vertically. In this way, the output image can be horizontally long.
  • the same grating is arranged on the front side and the back side of the grating substrate so that the angle of the incident parallel light is detected from the spatial frequency spectrum of the moire fringes to form an image.
  • the difference between the present embodiment is that there is no backside lattice 105 in the configuration, and the role of the backside lattice 105 is performed by the image processing unit. Since the backside grating is an optical element that modulates the intensity of incident light in close contact with the sensor, the sensitivity of the sensor can be effectively set in consideration of the transmittance of the backside grating in the processed image. Moire can be virtually generated.
  • the grating pitch of the sensor needs to be fine enough to reproduce the lattice pitch sufficiently, or so coarse that the lattice pitch can be reproduced with the pixel pitch of the sensor.
  • the pitch of the grating does not necessarily need to be resolved by the sensor pixels, and only the moire image needs to be resolved. Therefore, the grating pitch can be determined independently of the sensor pitch. it can.
  • the image processing circuit 1201 includes a back surface grating intensity modulation process corresponding to a back surface grating for generating moire on the sensor output image. Therefore, an intensity modulation circuit for performing this process is also necessary. It becomes.
  • the detection light need not necessarily be parallel light.
  • the image projected on the lower surface is substantially uniform. Expanded to Therefore, if the transmittance distribution of the bottom grating designed for parallel light is multiplied as it is, linear moire fringes at equal intervals will not occur.
  • FIG. 14 is a diagram showing a state in which the variable grating 1403 of the front side substrate is displayed by the liquid crystal element sandwiched by the liquid crystal substrate 1402 with the liquid crystal layer 1401 interposed therebetween.
  • Transparent electrodes are formed on the liquid crystal substrate 1402 and the lattice substrate 102, and an arbitrary lattice image can be displayed via an electrode (not shown). Basically, the light from the object point 1301 at a finite distance, which is closer to infinity, is divergent light.
  • the image processing circuit 1404 has a built-in liquid crystal driving circuit, generates a surface lattice pattern in accordance with an external focus designation input, and drives the liquid crystal driving circuit in accordance with the input to specify the sensor and A surface lattice pattern corresponding to an arbitrary focus position is displayed on the integrated liquid crystal element.
  • the lattice of the front substrate can be made variable, that is, the size of the concentric circles can be made variable.
  • each grating on the incident side grating is a cylindrical lens 1501.
  • Each lattice line is formed as an array in the form of a cylindrical lens.
  • FIG. 16 an embodiment in which the imaging apparatus of the present invention is mounted on a smartphone as shown in FIG. 16 is shown. Since the aperture can be increased while the imaging device is kept thin, the effective focal length can be increased according to the equation (14). Therefore, the aperture is reduced and the focal length is reduced as in a conventional smartphone camera. This solves the problem that the image is flat and blurry.
  • a focus adjustment knob 1602 is provided on the side surface, and it can be changed according to the focus designation for inputting a back surface grid pattern to be displayed on a liquid crystal element built in the sensor, and an image of an object at an arbitrary distance can be taken.
  • independent zone plates are formed in areas divided into 3 ⁇ 3 or more as shown in FIG. 20 for the front side lattice 104 and the back side lattice 105.
  • the zone plates are arranged without overlapping.
  • the initial phase of the lattice is aligned with ⁇ 1, ⁇ 2, and ⁇ 3 on the left side, the left and right middle, and the right side on the upper side, middle step, lower side, and back side lattice 105, respectively.
  • these are arranged such that the phase of the front side grating 104 and the phase of the back side grating are overlapped in all combinations independently of each other.
  • the light intensity Is on the sensor surface is
  • Ik is the light intensity distribution of the shadow of the front side grating 104 by the kth point light source
  • I is the transmittance distribution of the back side grating 105.
  • the initial phase ⁇ F of the front-side grating 104 and the initial phase ⁇ B of the back-side grating 105 each have three values ⁇ 1, ⁇ 2, and ⁇ 3. It is assumed that the k-th point light source that illuminates the front grid 104 emits light with an intensity of Ak and forms a shadow of the front grid 104 on the sensor with a deviation of ⁇ k.
  • the second term in ⁇ in the lower expression of equation (17) is the shadow of the front side lattice
  • the third term is the intensity modulation of the back side lattice
  • the fourth term is the sum frequency component of the two lattices
  • the fifth term is the difference frequency. It is a term of a moire fringe which is a component and is a signal component of the present invention. Therefore, only the component having this additional phase of ⁇ F ⁇ B needs to be extracted.
  • FIG. 22 shows moire fringes obtained by this 3 ⁇ 3 double-sided grating using a single point light source. A plurality of Fresnel zone plates appear to intersect, and this is a light intensity distribution formed in a sensor shape by light incident on both sides of the Fresnel zone plate without intersection.
  • FIG. 23 shows the moire fringes obtained by synthesizing the moire fringes from the 3 ⁇ 3 cells using the equation (24). Unnecessary noise other than moire fringes is greatly reduced. As a result, the quality of the captured image can be improved.
  • FIG. 25 shows still another embodiment of the front side lattice 104.
  • a block diagram of a processing flow in the present embodiment is shown in FIG. 27, and a process of removing moire fringe noise is added as compared with FIG.
  • This assumes a case where the backside grating 105 is not a fixed grating, and sensor sensitivity is virtually given in the form of a Fresnel zone plate, or a liquid crystal element is used.
  • the front side lattice is divided into 2 ⁇ 2 areas, and the initial phase of each Fresnel zone plate is shifted by 90 °. In the seventh embodiment, the phase is shifted in columns or rows, but in this embodiment, the phase is changed in all regions.
  • FIG. 27 shows still another embodiment of the front side lattice 104.
  • FIG. 26 shows a reproduced image of moire fringes using a single point light source.
  • the noise is further reduced as compared with FIG.
  • the moire fringes are generated by changing the phase of the virtual zone plate on the back side by 4 degrees by 90 ° in the entire region, whereby the double-sided grating can be integrated in four phases. Further, since the division becomes finer, further improvement in noise reduction effect can be expected.
  • FIG. 28 shows an embodiment in which the imaging device of the present invention is used for sensing 360 ° around a car 2801. Since the imaging apparatus 101 of the present invention does not use a lens, the imaging apparatus 101 is thin, resistant to a shift or deterioration with time, and is expected to be inexpensive. Therefore, many fields of view 2802 can be arranged so as to cover the entire periphery of the vehicle, and it is thought that the driver's blind spot can be eliminated and that a safe and secure society can be realized.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

レンズを用いずに物体の像を結像し、撮像装置の薄型化を実現する従来特許文献では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンであり、センサで受光される射影パターンから、像を再生するための逆問題を解く演算が複雑になるという問題点があった。そこで本発明では、光線の入射角度の検出の容易な技術を提供することを目的とする。 撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調部と、前記画像センサより出力された出力画像に対して画像処理を施す画像処理部と、を備え、前記変調部は格子基板と、前記画像センサの受光面に近接する前記格子基板の第1の面に形成される第1の格子パターンと、を有し前記格子パターンは、基準座標からの距離に対してピッチが反比例して細かくなる複数の同心円からそれぞれ構成されており、複数の前記同心円は前記格子パターン内で互いに重ならないことを特徴とする撮像装置で解決できる。

Description

撮像装置
 本発明は撮像カメラなどの撮像装置、および特にその薄型化に関する。
 スマートフォンなどに搭載するカメラや、360°センシングが必要となりつつある車載カメラでは薄型化が必要であり、米国特許出願US2014/0253781A1(特許文献1)などでは、画像センサに特殊な回折格子基板を貼り付け、レンズを用いることなく、回折格子基板を透過する光がセンサ上で生じる射影パターンから、入射光の入射角を逆問題演算により求めることで、外界の物体の像を得る方法について記載されている。
  また米国特許出願US2015/0219808A1(特許文献2)などでは、前記回折格子基板として中心から外側に向けてピッチが細かくなる同心円状の格子パターンを用いることが記載されている。
米国特許出願US2014/0253781A1 米国特許出願US2015/0219808A1
 特許文献1では、画像センサに貼り付ける基板上面に形成する回折格子のパターンが渦巻き状などの特殊な格子パターンであり、センサで受光される射影パターンから、像を再生するための逆問題を解く演算が複雑になるという問題点があった。
  特許文献2では、前記同心円状格子パターンが複数オーバーラップしている回折格子を用いているため、透過率が低下するとともに、相互の同心円格子パターンが干渉し、再生画像のノイズ増大を招く懸念がある。
  そこで本発明では、光線の入射角度の検出の容易な技術を提供するとともに、その時の光利用効率の低下を軽減し、相互の同心円格子パターンの干渉ノイズが生じない撮像装置を提供することを目的とする。
 上記課題を解決するための、代表的な本発明の撮像装置の一つは、センサに貼り付ける基板の物体側面に、中心からの距離に対してピッチが反比例して細かくなる単一の同心円状の格子パターンを形成し、それを透過した光に再び、中心からの距離に対してピッチが反比例して細かくなる同心円状の強度変調を生ぜしめ、その変調像の2次元フーリエ変換像から外界の物体の像を得るものである。
 本発明によれば、高速フーリエ変換(FFT)などの簡単な演算で外界の物体像を得ることができる。また光の透過率の低下を軽減し、再生画像に残留する相互にオーバーラップする同心円格子パターンの干渉ノイズをなくすことができる。
  レンズを用いないので、レンズの経時的な劣化やずれなどに起因した画質低下が懸念される車載カメラや監視カメラなどのメンテナンスフリー化にも有効である。
  上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明の基本的な実施形態を示す図 本発明の基本的な実施形態により外界の物体の映像を撮影する様子を示す図 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図 表面格子と裏面格子の軸をずらして配置する場合の模式図 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図 垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す図 垂直入射平面波とその他9個の異なる入射角の平面波の計10個の光で照射したときの空間周波数スペクトル像の計算結果を示す鳥瞰図 物体を構成する各点からの光がセンサに対してなす角を説明する図 2枚の格子パターンを横方向にずらす場合の空間周波数スペクトルを示す図 2枚の格子パターンを縦方向にずらす場合の空間周波数スペクトルを示す図 裏面側格子パターンをセンサ感度分布で実現する場合の実施例を示す図 結像する物体が有限距離にある場合に表側格子パターンの裏面への射影が表側格子パターンより拡大されることを示す図 表面格子パターンを液晶素子によりサイズ可変で表示させる実施例を示す図 表側格子をシリンドリカルレンズアレイによって実現する場合の実施例を示す図 本発明の撮像装置を搭載したスマートフォンの実施例を示す図 実施例1の画像処理回路ブロック図 実施例3の画像処理回路ブロック図 実施例4の画像処理回路ブロック図 実施例7の3×3分割の格子パターンを示す図 実施例7の3×3分割の格子パターンの両面の初期位相の配置を示す図 実施例7の3×3分割の両面格子に単一点光源からの光が入射して生じるモアレ縞の画像を示す図 実施例7によるノイズ低減画像処理を施して得られたモアレ縞の画像を示す図 実施例7の画像処理回路ブロック図 実施例8の2×2分割の格子パターンを示す図 実施例8によるノイズ低減画像処理を施して得られたモアレ縞の画像を示す図 実施例8の画像処理回路ブロック図 本発明の撮像装置を車載カメラとして搭載した自動車の実施例を示す図
  以下、図面を用いて実施例を説明する。
 図1は、本発明の基本的な構成図である。撮像装置101は、両面格子基板102、画像センサ103、画像処理回路106から構成される。両面格子基板102は画像センサ103の受光面に密着して固定されており、両面格子基板102の表面には、外に向かうほど中心からの半径に反比例して格子間隔(ピッチ)が狭くなる同心円状の格子パターン104が形成されている。また裏面の、画像センサ103の受光面に接する面にも、同様の格子パターン105が形成されている。これらの格子パターンを透過する光は、その格子パターンによってその強度が変調される。透過した光は画像センサ103で受光され、その画像信号は、画像処理回路106によって画像処理され、モニタディスプレイ107などに出力される。通常の撮像装置はセンサの前に結像のためのレンズが必要であるが、本発明ではレンズを必要とせずに外界の物体の画像を取得することができる。このとき同心円状格子パターン104は、同心円を構成する各リングパターンに同じ面内で交差する他の格子パターンがなく、格子パターン間の不要な干渉を生じず、光利用効率の低下を抑えることができる。
 図2は、図1の撮像装置で実際に被写体201を撮影してモニタディスプレイ107に出力している様子を示している。被写体201に対して両面格子基板102の格子面を正対させて撮影する。
 図17は、画像処理回路106の処理の内容を示すブロック図である。入力するモアレ縞画像に対して、カラーのRGB各成分ごとに2次元FFT演算を行い、周波数スペクトルを求める。その片側周波数のデータを切り出し、強度計算を行う。さらに得られた画像に対してノイズ除去、コントラスト強調処理などを行い、カラーバランスを調整し、撮影画像として出力する。
 以下、撮影原理について説明する。
  まず中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターンを、以下のように定義する。レーザー干渉計などにおいて、平面波に近い球面波と、参照光として用いる平面波を干渉させる場合を想定する。同心円の中心の基準座標からの半径をr、そこでの球面波の位相をφ(r)とするとき、これを波面の曲がりの大きさを決める係数βを用いて
Figure JPOXMLDOC01-appb-M000001
と表せる。球面波にも関わらず、半径rの2乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、
Figure JPOXMLDOC01-appb-M000002
のような干渉縞の強度分布が得られる。これは
Figure JPOXMLDOC01-appb-M000003
を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをpとすると、
Figure JPOXMLDOC01-appb-M000004
が得られ、ピッチは半径に対して反比例して狭くなっていくことがわかる。このような縞はフレネルゾーンプレートと呼ばれる。このように定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示した格子パターン104、105として用いる。
 このような格子が両面に形成された厚さtの基板に、図3に示すように角度θ0で平行光が入射したとすると、基板中の屈折角をθとして幾何光学的には表面の格子の透過率が乗じられた光が、δ=t・tanθだけずれて裏面に入射し、仮に2つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、
Figure JPOXMLDOC01-appb-M000005
のような強度分布が得られる。この展開式の第4項が、2つの格子のずれの方向にまっすぐな等間隔の縞模様を、重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の2次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。
 このような縞が得られるのは、格子パターンをフレネルゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは不可能と考えられる。第2項でもフレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、2つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。(5)式から鋭いピークを持つ成分のみを
Figure JPOXMLDOC01-appb-M000006
のように取り出すと、そのフーリエスペクトルは、
Figure JPOXMLDOC01-appb-M000007
のようになる。ただしここで、Fはフーリエ変換の演算を表し、u、vはx、y方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。
 その様子を図4に示す。図は左から光線と基板の配置図、モアレ縞、空間周波数スペクトルの模式図であり、上が(a)垂直入射、中段が(b)左側から角度θで光線が入射する場合、下段が(c)右側から角度θで光線が入射する場合である。格子基板102上の表側格子104と裏側格子105は軸がそろっている。(a)では表側格子104と裏側格子の影が一致するのでモアレ縞は生じない。(b)と(c)では表側格子104と裏側格子のずれが等しいため、同じモアレが生じ、空間周波数スペクトルのピーク位置も一致し、空間周波数スペクトルからは光線の入射角が(b)なのか(c)なのかを判別することができなくなる。
 これを避けるためには、基板に垂直に入射する光線に対しても2つの格子の影がずれて重なるよう、図5に示すように、あらかじめ2つの格子は光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して2つの格子の影の相対的なずれをδ0とするとき、入射角θの平面波によって生じるずれδは
Figure JPOXMLDOC01-appb-M000008
のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では
Figure JPOXMLDOC01-appb-M000009
の位置となる。画像センサの大きさをS、x、y各方向の画素数を共にNとすると、高速フーリエ変換(FFT)による離散画像の空間周波数スペクトルは、-N/(2S)から+N/(2S)の範囲で得られることから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は原点(DC)位置と、例えば+側端の周波数位置との中央位置、すなわち
Figure JPOXMLDOC01-appb-M000010
の空間周波数位置とするのが妥当である。したがって、2つの格子の相対的な中心位置ずれは
Figure JPOXMLDOC01-appb-M000011
とするのが妥当である。
 あらかじめ表側格子104と裏側格子105をずらした場合の、光線と基板の配置、およびモアレ縞とその空間周波数スペクトルの模式図を図6に示す。図4と同様にして左側に光線と基板の配置図、中央列がモアレ縞、右側が空間周波数スペクトル、上段が光線が(a)垂直入射の場合、中段が(b)左側から角度θで入射する場合、下段が(c)右側から角度θで入射する場合である。表側格子104と裏側格子105はあらかじめδ0だけずらして配置されているため、(a)でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ0は上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき(b)ではずれδがさらに大きくなる方向、(c)では小さくなる方向となっているため、図4と異なり(b)と(c)の違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、本発明の撮像装置による撮影像にほかならない。
 受光できる平行光の入射角の最大角度をθmaxとすると、
Figure JPOXMLDOC01-appb-M000012
より、本発明の撮像装置で受光できる最大画角は
Figure JPOXMLDOC01-appb-M000013
で与えられる。通常のレンズを用いた結像との類推から、画角θmaxの平行光をセンサの端で焦点を結んで受光すると考えると、レンズを用いない本願の結像光学系の実効的な焦点距離は、
Figure JPOXMLDOC01-appb-M000014
に相当すると考えることができる。
 なお(2)式で示したように格子の透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子の基本周波数成分としてそのような成分があれば、格子の透過率を2値化して、透過率が高い格子領域と低い領域のdutyを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。
 以上の説明では、いずれも入射光線は同時には1つの入射角度だけであったが、実際に本願発明がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は裏側格子に入射する時点ですでに複数の表側格子104の像を重なり合わせることになる。もしこれらが相互にモアレ縞を生じると、信号成分である裏面格子とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし実際は表側格子104の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏側格子との重なりだけになる。その理由について以下、説明する。まず、複数の入射角の光線による表側格子104の影どうしの重なりは積ではなく和であることが大きな違いである。1つの入射角の光による表側格子104の影と裏側格子105の重なりでは、表側の影である光の強度分布に、裏側格子105の透過率を乗算することで、裏側格子105を透過したあとの光強度分布が得られる。これに対して、表側格子104に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は
Figure JPOXMLDOC01-appb-M000015
のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがってその周波数スペクトルはそれぞれの周波数スペクトルの重なり積分で表されるため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまりスペクトルに鋭いピークは生じない。したがって複数の入射角の光を入れても検出されるモアレ像のスペクトルは常に表側格子104と裏側格子105の積のモアレだけであり、裏側格子105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなるのである。
  以下、原理を確認するために、行ったシミュレーションの結果を図7、図8に示す。
 いずれもセンササイズ20mm□、視野角θmax=±70°、入射側および出射側格子係数β=50(rad/mm2)、δ0=0.8mm、画素数1024×1024、基板厚さ1mm、基板屈折率1.5のときに、垂直入射平面波と、θx=50°、θy=30°の入射光と、θx=-30°、θy=70°の入射光と、θx=10°、θy=-20°の入射光と、θx=20°、θy=30°の入射光と、θx=30°、θy=-40°の入射光と、θx=-10°、θy=40°の入射光と、θx=-20°、θy=-30°の入射光と、θx=-30°、θy=0°の入射光と、θx=40°、θy=50°の入射光と、の合計10個の平面波を入射させたときのスペクトルである。図7はスペクトル画像の白黒反転像、図8はスペクトル画像の輝度の鳥瞰図である。元のモアレ像自体は、格子ピッチも細かく、本明細書図面として表示しても視認できないため省略した。図中、中心がDC成分、周辺が±N/2Sの空間周波数スペクトル領域の全域を表示している。DC成分は値が大きいため、マスキングをして取り除き、検出すべきピーク成分のみを表示している。さらにそのままではスペクトルのピーク幅が狭く、視認しにくいため、コントラストを強調している。また図7では当該信号ピークの位置を○印で囲んで表示している。図8の鳥瞰図はそのままでは描線がピークを通らずに表示できないので、メッシュサイズの平均化フィルタをかけた結果を表示している。いずれも基本的に10本のピークが原点を挟んで正負両側に計20本のピークとして検出できていることを示している。本実施例では格子パターンの最外周のピッチが約6μm、実効的焦点距離は12.4mmであった。
 ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応を図9を用いて模式的に説明する。物体201を構成する各点からの光は、厳密には点光源からの球面波として、本発明の撮像装置の格子センサ一体基板901に入射する。このとき物体に対して格子センサ一体基板901が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板901を照明する光の入射角が同じとみなすことができる。(9)式から求められる微小角度変位Δθに対するモアレの空間周波数変位Δuが、センサの空間周波数の最小解像度である1/S以下となる関係から、Δθが平行光とみなせる条件は
Figure JPOXMLDOC01-appb-M000016
のように表せる。これから、たとえば本実施例の条件においてはΔθ<0.18°であり、これは20mmのセンササイズであれば被写体から6m離れれば実現できる条件である。
 以上の結果の類推から、無限遠の物体に対して本発明の撮像装置で結像が可能であることがわかる。
 本実施例では出力画像を横長とする場合について説明する。前述の実施例では、図10に示すように表側格子104と裏側格子105を左右にずらしていた。このときセンサの形状を正方形としており、その画素ピッチもx方向とy方向で同じとすると、図の右側に示すように、センサ出力の空間周波数スペクトルはx、y両方±N/Sの周波数範囲内で、像が左右に分離して再生されていることになる。しかし、これだと、像の画像は基本的に縦長のエリアに限定されることになる。一般にカメラで取得される画像は横長の長方形であるので、それに適した配置としては図11のようにするのが望ましい。このとき、表側格子104と裏側格子105は上下にずれており、センサ出力の空間周波数空間に形成される画像は上下に分離することになる。このようにすれば出力画像は横長とすることができる。
 本実施例では処理画像の中で仮想的にモアレを生じさせる場合について説明する。前述の実施例では、格子基板の表側と裏側に同一の格子を互いにずらして配置することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して、像を構成していた。本実施例の違いは構成上裏面格子105はなく、裏側格子105の役割を画像処理部で行うことである。裏側の格子はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に裏側の格子の透過率を加味して設定することで、処理画像の中で仮想的にモアレを生じさせることができる。図12は、格子基板の裏面に裏面格子105がない場合の実施形態である。このようにすると形成する格子を1面減らすことができるので、素子の製造コストを減じることができる。しかしこのとき、センサの画素ピッチは格子ピッチを十分再現できる程度に細かいか、格子ピッチがセンサの画素ピッチで再現できる程度に粗いことが必要である。格子を基板の両面に形成する場合は、必ずしも格子のピッチがセンサの画素で解像できる必要はなく、そのモアレ像だけが解像できればよいので、センサピッチとは独立に格子ピッチを決めることができる。しかし、センサで格子を再現する場合は、格子とセンサの解像度は同等である必要がある。画像処理回路1201には、図18に示すように、センサ出力画像に対してモアレを生成するための裏面格子に相当する裏面格子強度変調の処理が入るため、この処理を行う強度変調回路も必要となる。
 このように格子を可変にする、すなわち同心円の大きさを可変にすることができると、検出光は必ずしも平行光でなくてもよくすることが可能である。図13に示すように、物体を構成する点1301からの球面波が表側格子104を照射し、その影1302が下の面に投影される場合、下の面に投影される像はほぼ一様に拡大される。そのため、平行光に対して設計された下面格子の透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された上面格子の影に合わせて、下面の格子を拡大するならば、拡大された影1302に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。これにより、必ずしも無限遠でない距離の物点1301からの光を選択的に再生することができる。したがってこれにより焦点合わせが可能となる。
 本実施例では表側基板の格子について液晶素子を用いている。実施例3と同様に表側基板の格子も液晶素子などを用いると可変とすることができる。図14は液晶層1401を挟み、液晶基板1402で封入した液晶素子により、表側基板の可変格子1403を表示している様子を示す図である。液晶基板1402、および格子基板102には透明電極が形成されており、図示していない電極を介して、任意の格子像を表示させることができる。基本的に無限遠より近い、有限距離の物点1301からの光は発散光であるので、裏面格子105と裏面で同じ大きさになるためには表面でやや縮小して表示すればよいことになる。画像処理回路1404には図19に示すように、液晶駆動回路が内蔵され、外部からのピント指定入力に応じて表面格子パターンを生成し、それに応じて液晶駆動回路を駆動することで、センサと一体となった液晶素子に任意のピント位置に対応した表面格子パターンを表示させる。このように表側基板の格子について液晶素子を用いることで、表側基板の格子を可変、すなわち同心円の大きさを可変にすることができる。
 本実施例では図15の様に入射側格子の各格子をシリンドリカルレンズ1501とした場合の実施例である。各格子線がすべてシリンドリカルレンズとして、アレイ状に形成されている。これにより濃淡格子の遮蔽部による光量損失を低減し、本発明の撮像装置の光利用効率を向上させることができる。
 本実施例では図16の様に本発明の撮像装置をスマートフォンに搭載した場合の実施例を示す。撮像装置を薄くしたままで、開口を大きくできるので、(14)式にしたがって、実効的な焦点距離を長くできるので、従来のスマートフォン用カメラのように開口が小さくなって焦点距離が短くなるため像がのっぺりとしてぼけ味が出ない、という問題点を解消することができる。側面にはピント調整つまみ1602がついており、センサに一体として内蔵している液晶素子に表示する裏面格子パターンを入力するピント指定に応じて可変とし、任意の距離にある物体の像を撮影できる。
 前記実施例1の原理説明で、(5)式において信号の鋭いピークが得られるのは、第4項のモアレ縞の周波数のみであることを説明したが、光学系や被写体の条件によっては、第2、第3項がノイズとなって再生画像の画質に影響を与える場合がありえる。そこでそれらのノイズを除去する構成について説明する。
  本実施例における処理フローのブロック図は図24に本示されており、図17に加えて、モアレ縞ノイズ除去のプロセスが加わっている。
 ノイズの除去のために、本実施例では、表側格子104と裏側格子105を図20に示すように、3×3以上に分割したエリアでそれぞれ独立のゾーンプレートを形成する。ただしそれぞれのゾーンプレートは重なることなく並べる。このとき、表側格子104では、上段、中段、下段、裏側格子105では左側、左右中間、右側でそれぞれ格子の初期位相をφ1、φ2、φ3に揃える。これらは図21に示すように、表側格子104の位相と裏側格子の位相が、互いに独立にすべての組み合わせで重ねあわされる様に配置されている。このときセンサ面上の光強度Isは、
Figure JPOXMLDOC01-appb-M000017
のように表すことができる。Ikはk番目の点光源による表側格子104の影の光強度分布、Iが裏側格子105の透過率分布である。表側格子104の初期位相φF、裏側格子105の初期位相φBはそれぞれ、上記したようにφ1、φ2、φ3の3つの値をとる。表側格子104を照らすk番目の点光源はAkの強度で発光し、δkのずれをもって表側格子104の影をセンサ上に形成するものと仮定している。(17)式の下段の式の{}内の第2項は表側格子の影、第3項は裏側格子の強度変調、第4項は2つの格子の和周波成分、第5項が差周波成分であり、本発明の信号成分であるモアレ縞の項である。したがってこのφF-φBの付加位相を持つ成分だけを抽出すればよいことになる。
 (17)式をφFとφBに着目して
Figure JPOXMLDOC01-appb-M000018
のように表すと、三角関数の直交性を用いてcosφB、sinφBの係数を
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
のように抜き出すことができる。さらにこれから、cosφBcosφF、sinφBsinφFの項を抜き出すと
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
のように表すことができる。これらを辺々加えると、
Figure JPOXMLDOC01-appb-M000023
が得られるが、これは結局、
Figure JPOXMLDOC01-appb-M000024
のように(17)式におけるモアレ成分のみを抜き出したことに対応する。この演算は表側格子104の位相と裏側格子105の位相の両方を2次元に走査して積分することに対応する。この積分を最低限のサンプリング点数である3点で離散化するため、図20、図21に説明した3×3の両面フレネルゾーンプレートを用いている。単一の点光源によるこの3×3の両面格子によって得られたモアレ縞を図22に示す。複数のフレネルゾーンプレートが交差しているように見えるが、これは交差のない両面のフレネルゾーンプレートに入射した光によってセンサ状に形成された光強度分布である。さらに(24)式を用いてこの3×3の各セルからのモアレ縞を合成して得られたモアレ縞を図23に示す。モアレ縞以外の不要なノイズが大幅に低減されている。これによって撮影画像の品質を向上させることができる。
 図25にさらに別の表側格子104の実施例を示す。本実施例における処理フローのブロック図は図27に示されており、図18に比べて、モアレ縞ノイズ除去のプロセスが加わっている。これは裏側格子105を固定格子とせず、センサ感度を仮想的にフレネルゾーンプレート状に与える場合や、液晶素子などを用いる場合を想定している。表側格子は2×2のエリアに分かれており、それぞれのフレネルゾーンプレートの初期位相は90°ずつずらしてある。実施例7では、列または行で位相をずらしたが、本実施例では領域すべてで位相を変えている。図26に単一点光源によるモアレ縞の再生像を示す。図23に比べてさらにノイズが低減している。このようにして、裏側の仮想ゾーンプレートの位相を全領域で90°ずつ4ステップ位相を変えてモアレ縞を生成することにより、両面格子とも4位相での積分演算が可能となる。また分割が細かくなることにより、ノイズ低減効果のさらなる向上が期待できる。
 図28は本願発明の撮像装置を自動車2801の周囲360°のセンシングに活用する実施例を示す。本発明の撮像装置101はレンズを用いないため、薄く、経時的なずれや劣化などにも強く、価格も安価になることが期待される。そのため、視野2802が、自動車の周囲全域をカバーするように、多数配置することができ、運転者の死角をなくし、安心安全社会の実現に寄与できると考える。
 なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
 また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
 また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
 また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
 また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
101・・・撮像装置、102・・・両面格子基板、103・・・画像センサ、
104・・・表側格子、105・・・裏側格子、106、1201・・・画像処理回路、
107・・・モニタディスプレイ、201・・・被写体、
901・・・格子センサ一体基板、1301・・・物体を構成する点、
1302・・・表側格子の影、1401・・・液晶層、1402・・・液晶基板、
1403・・・可変表側格子、1501・・・シリンドリカルレンズ格子
1601・・・スマートフォン、1602・・・ピント調整つまみ、
2801・・・自動車、2802・・・撮像装置の視域

Claims (14)

  1.  撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
     前記画像センサの受光面に設けられ、光の強度を変調する変調部と、
     前記画像センサより出力された出力画像に対して画像処理を施す画像処理部と、を備え、
      前記変調部は格子基板と、
      前記画像センサの受光面に近接する前記格子基板の第1の面に形成される第1の格子パターンと、を有し
     前記格子パターンは、基準座標からの距離に対してピッチが反比例して細かくなる複数の同心円からそれぞれ構成されており、
     複数の前記同心円は前記格子パターン内で互いに重ならないことを特徴とする撮像装置。
  2.  請求項1に記載の撮像装置であって、
     前記変調部は前記第1の面に対向する第2の面に形成される第2の格子パターンと、を有し、
     前記変調部は、前記第1の格子パターンを透過する光を前記第2の格子パターンにて強度変調して前記画像センサに出力することを特徴とする撮像装置。
  3.  請求項1に記載の撮像装置であって、
     前記画像処理部は、出力された画像について2次元フーリエ変換演算を行うことを特徴とする撮像装置。
  4.  請求項2に記載の撮像装置であって、
    前記第2の格子パターンは前記格子基板の裏面に設けられたことを特徴とする撮像装置。
  5.  請求項1に記載の撮像装置であって、
     前記画像処理部は、前記第1の格子パターンを透過する光を仮想的に強度変調する処理を行う強度変調部を有し、
     前記変調部は前記第1の格子パターンを透過した光を前記画像センサに出力し、前記画像センサは取り込まれた画像を前記画像処理部に出力し、
     前記強度変調部は、仮想的な第2の格子パターンを用いて前記画像センサより取り込まれた画像より前記第1の格子パターンを透過する光を強度変調する処理を行うことを特徴とする撮像装置。
  6.  請求項2に記載の撮像装置であって、
     前記画像センサの中央を通り受光面に対して垂直な軸に対して、前記第1の格子パターンの前記基準座標位置と前記第2の格子パターンの前記基準座標位置は互いに逆方向にずれていることを特徴とする撮像装置。
  7.  請求項6に記載の撮像装置であって、
    前記第1の格子パターンの前記基準座標位置と前記第2の格子パターンの前記基準座標位置は、前記画像処理部から出力される画像の短辺方向にずれていることを特徴とする撮像装置。
  8.  撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
     前記画像センサの受光面に設けられ、光の強度を変調する変調部と、
     前記画像センサより出力された出力画像に対して画像処理を施す画像処理部と、を備え、
      前記変調部は格子基板と、
      第1の格子パターンを表示する液晶素子と、を有し
     前記格子パターンは、基準座標からの距離に対してピッチが反比例して細かくなる複数の同心円からそれぞれ構成されており、複数の前記同心円は前記格子パターン内で互いに重ならず、
     前記液晶素子は前記第1の格子パターンの前記同心円の大きさを変更することができることを特徴とする撮像装置。
  9.  請求項5に記載の撮像装置であって、
     前記強度変調部は、前記第2の格子パターンの前記同心円の大きさを変更する様、前記第1の格子パターンを透過する光を強度変調することを特徴とする撮像装置。
  10. 請求項1記載の撮像装置であって、
    前記第1の格子パターンは、シリンドリカルレンズによって形成されることを特徴とする撮像装置。
  11.  請求項1記載の撮像装置であって、
     前記第1の格子パターンは複数の領域に分かれており、前記領域ごとに異なる同心円格子パターンが配置されていることを特徴とする記載の撮像装置。
  12.  請求項11記載の撮像装置であって、
     前記領域毎に位相が独立していることを特徴とする撮像装置。
  13.  請求項2に記載の撮像装置であって、
     前記第1の格子パターン及び第2の格子パターンは複数の領域に分かれており、
     隣接領域間で異なる同心円格子パターンが配置されており、
     前記第1の格子パターン内の前記複数の領域の格子の位相と、前記第2の格子パターン内の前記複数の領域の位相の組み合わせが、複数の組み合わせで重ねあわされるように配置されていることを特徴とする撮像装置。
  14.  請求項13に記載の撮像装置であって、前記画像処理部は出力された画像についてモアレ縞成分を抽出する演算を行い、
    前記演算は前記第1の格子パターン内の前記複数領域の位相と、前記第2の格子パターン内の前記複数領域の位相の組み合わせに基づき行われることを特徴とする撮像装置。
PCT/JP2016/055741 2016-02-26 2016-02-26 撮像装置 WO2017145348A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680082565.6A CN108702440B (zh) 2016-02-26 2016-02-26 摄像装置
PCT/JP2016/055741 WO2017145348A1 (ja) 2016-02-26 2016-02-26 撮像装置
US16/078,751 US10911643B2 (en) 2016-02-26 2016-02-26 Imaging device modulating intensity of light with grating pattern
JP2018501517A JP6820908B2 (ja) 2016-02-26 2016-02-26 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/055741 WO2017145348A1 (ja) 2016-02-26 2016-02-26 撮像装置

Publications (1)

Publication Number Publication Date
WO2017145348A1 true WO2017145348A1 (ja) 2017-08-31

Family

ID=59684938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055741 WO2017145348A1 (ja) 2016-02-26 2016-02-26 撮像装置

Country Status (4)

Country Link
US (1) US10911643B2 (ja)
JP (1) JP6820908B2 (ja)
CN (1) CN108702440B (ja)
WO (1) WO2017145348A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306911A1 (en) * 2016-10-04 2018-04-11 Hitachi, Ltd. Imaging device and imaging method
WO2019078333A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置、露出制御方法、プログラム、及び、撮像素子
WO2019078332A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 信号処理装置及び撮像装置
JP2019087796A (ja) * 2017-11-02 2019-06-06 株式会社日立製作所 撮像装置
WO2019142527A1 (ja) * 2018-01-22 2019-07-25 マクセル株式会社 画像表示装置および画像表示方法
WO2019176349A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法
CN110324513A (zh) * 2018-03-27 2019-10-11 株式会社日立制作所 摄像装置,摄像模块和摄像方法
US10812734B2 (en) 2018-03-16 2020-10-20 Hitachi, Ltd. Imaging device
US10951793B2 (en) 2018-02-27 2021-03-16 Hitachi, Ltd. Imaging device, imaging method, and image processing device generating a complex sensor image
WO2021075527A1 (ja) * 2019-10-18 2021-04-22 国立大学法人大阪大学 カメラ及びイメージングシステム
JP2021064000A (ja) * 2021-01-04 2021-04-22 株式会社日立製作所 撮像装置
WO2021085173A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 撮像素子、表示装置、及び、撮像システム
WO2021111888A1 (ja) * 2019-12-03 2021-06-10 ソニーグループ株式会社 撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置
JP2022087352A (ja) * 2018-01-22 2022-06-09 マクセル株式会社 画像表示装置
WO2022124067A1 (ja) * 2020-12-08 2022-06-16 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7373015B2 (ja) 2018-03-23 2023-11-01 マクセル株式会社 撮像方法
US12028625B2 (en) 2019-12-03 2024-07-02 Sony Group Corporation Imaging device manufacturing apparatus, method for manufacturing imaging device, and imaging device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11663708B2 (en) * 2018-03-06 2023-05-30 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method
WO2020031299A1 (ja) * 2018-08-08 2020-02-13 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
CN110031972B (zh) * 2019-05-23 2020-07-17 电子科技大学 一种基于菲涅尔光圈的无镜头红外图像处理方法、存储介质和终端
CN110519500A (zh) * 2019-09-17 2019-11-29 深圳传音控股股份有限公司 摄像模组、电子设备及图像获取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008069077A1 (ja) * 2006-12-04 2008-06-12 Sony Corporation 撮像装置及び撮像方法
JP2009544036A (ja) * 2006-07-18 2009-12-10 セルオプティック、インコーポレイテッド 受信電磁放射線から物体の3次元情報を抽出するシステム、装置および方法
US20150219808A1 (en) * 2013-08-28 2015-08-06 Rambus Inc. Patchwork fresnel zone plates for lensless imaging

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01242033A (ja) 1988-03-23 1989-09-27 Toshiba Corp 計測内視鏡装置
US5561558A (en) * 1993-10-18 1996-10-01 Matsushita Electric Industrial Co., Ltd. Diffractive optical device
JP2000035345A (ja) * 1998-07-16 2000-02-02 Koyo Seiko Co Ltd 光学式ロータリエンコーダ
CN1141602C (zh) 2001-08-14 2004-03-10 中国科学院长春光学精密机械与物理研究所 连续变焦菲涅耳微透镜阵列器件
JP2003188629A (ja) * 2001-12-19 2003-07-04 Nippon Telegr & Teleph Corp <Ntt> 指向性可変アンテナ
JP4077510B2 (ja) 2006-05-15 2008-04-16 松下電器産業株式会社 回折撮像レンズと回折撮像レンズ光学系及びこれを用いた撮像装置
CN101567173B (zh) * 2009-05-26 2011-11-09 重庆大学 光栅光调制器投影装置的控制扫描电路
US8825436B2 (en) * 2011-03-09 2014-09-02 Moog Inc. Inertial sensing with spatially distributed sensor array and two dimensional data processing
JP6195830B2 (ja) 2011-07-14 2017-09-13 ホワルド フグヘス メドイクアル インストイトウテ 適応光学系を有する顕微鏡検査法
JP2013225417A (ja) 2012-04-20 2013-10-31 Minebea Co Ltd 面状照明装置
CN103067664B (zh) * 2012-12-29 2015-07-01 中南大学 一种基于光学原理的图像压缩及解压缩方法
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
US9971078B2 (en) * 2013-03-05 2018-05-15 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensless optical sensing
US9933685B2 (en) * 2013-08-05 2018-04-03 The Hong Kong University Of Science And Technology Switchable liquid crystal fresnel lens
CN104006765B (zh) * 2014-03-14 2016-07-13 中国科学院上海光学精密机械研究所 单幅载频干涉条纹相位提取方法及检测装置
DE102014224638A1 (de) * 2014-12-02 2016-06-02 Olympus Soft Imaging Solutions Gmbh Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System
JP6491332B2 (ja) * 2015-06-17 2019-03-27 マクセル株式会社 撮像装置
JP6688716B2 (ja) * 2016-10-04 2020-04-28 株式会社日立製作所 撮像装置および撮像方法
JP6685887B2 (ja) * 2016-12-13 2020-04-22 株式会社日立製作所 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009544036A (ja) * 2006-07-18 2009-12-10 セルオプティック、インコーポレイテッド 受信電磁放射線から物体の3次元情報を抽出するシステム、装置および方法
WO2008069077A1 (ja) * 2006-12-04 2008-06-12 Sony Corporation 撮像装置及び撮像方法
US20150219808A1 (en) * 2013-08-28 2015-08-06 Rambus Inc. Patchwork fresnel zone plates for lensless imaging

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306911A1 (en) * 2016-10-04 2018-04-11 Hitachi, Ltd. Imaging device and imaging method
US11431898B2 (en) 2017-10-19 2022-08-30 Sony Corporation Signal processing device and imaging device
JP7156299B2 (ja) 2017-10-19 2022-10-19 ソニーグループ株式会社 撮像装置、露出制御方法、プログラム、及び、撮像素子
CN111201777B (zh) * 2017-10-19 2022-02-01 索尼公司 信号处理装置和成像装置
JP7230821B2 (ja) 2017-10-19 2023-03-01 ソニーグループ株式会社 信号処理装置及び撮像装置
WO2019078332A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 信号処理装置及び撮像装置
US11451715B2 (en) 2017-10-19 2022-09-20 Sony Corporation Imaging apparatus, exposure controlling method, and imaging device
WO2019078333A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置、露出制御方法、プログラム、及び、撮像素子
CN111201777A (zh) * 2017-10-19 2020-05-26 索尼公司 信号处理装置和成像装置
CN111201778A (zh) * 2017-10-19 2020-05-26 索尼公司 成像装置、曝光控制方法、程序和成像器件
CN111201778B (zh) * 2017-10-19 2022-02-08 索尼公司 成像装置、曝光控制方法、计算机可读存储介质和成像器件
JPWO2019078333A1 (ja) * 2017-10-19 2020-11-05 ソニー株式会社 撮像装置、露出制御方法、プログラム、及び、撮像素子
EP3700187A4 (en) * 2017-10-19 2020-11-11 Sony Corporation SIGNAL PROCESSING DEVICE AND IMAGING DEVICE
JPWO2019078332A1 (ja) * 2017-10-19 2020-11-19 ソニー株式会社 信号処理装置及び撮像装置
JP2019087796A (ja) * 2017-11-02 2019-06-06 株式会社日立製作所 撮像装置
JP2022087352A (ja) * 2018-01-22 2022-06-09 マクセル株式会社 画像表示装置
JP7278454B2 (ja) 2018-01-22 2023-05-19 マクセル株式会社 画像表示装置
JP2019129327A (ja) * 2018-01-22 2019-08-01 マクセル株式会社 画像表示装置および画像表示方法
US11662831B2 (en) 2018-01-22 2023-05-30 Maxell, Ltd. Image display apparatus and image display method
WO2019142527A1 (ja) * 2018-01-22 2019-07-25 マクセル株式会社 画像表示装置および画像表示方法
JP7061883B2 (ja) 2018-01-22 2022-05-02 マクセル株式会社 画像表示装置および画像表示方法
US11360568B2 (en) 2018-01-22 2022-06-14 Maxell, Ltd. Image display apparatus and image display method
US10951793B2 (en) 2018-02-27 2021-03-16 Hitachi, Ltd. Imaging device, imaging method, and image processing device generating a complex sensor image
US11399134B2 (en) 2018-03-14 2022-07-26 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method
JPWO2019176349A1 (ja) * 2018-03-14 2021-03-11 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法
JP7215473B2 (ja) 2018-03-14 2023-01-31 ソニーグループ株式会社 画像処理装置、および撮像装置、並びに画像処理方法
WO2019176349A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法
US10812734B2 (en) 2018-03-16 2020-10-20 Hitachi, Ltd. Imaging device
JP7373015B2 (ja) 2018-03-23 2023-11-01 マクセル株式会社 撮像方法
CN110324513A (zh) * 2018-03-27 2019-10-11 株式会社日立制作所 摄像装置,摄像模块和摄像方法
WO2021075527A1 (ja) * 2019-10-18 2021-04-22 国立大学法人大阪大学 カメラ及びイメージングシステム
WO2021085173A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 撮像素子、表示装置、及び、撮像システム
JP7444174B2 (ja) 2019-10-30 2024-03-06 ソニーグループ株式会社 撮像素子、表示装置、及び、撮像システム
JP7468546B2 (ja) 2019-12-03 2024-04-16 ソニーグループ株式会社 撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置
WO2021111888A1 (ja) * 2019-12-03 2021-06-10 ソニーグループ株式会社 撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置
US12028625B2 (en) 2019-12-03 2024-07-02 Sony Group Corporation Imaging device manufacturing apparatus, method for manufacturing imaging device, and imaging device
WO2022124067A1 (ja) * 2020-12-08 2022-06-16 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2021064000A (ja) * 2021-01-04 2021-04-22 株式会社日立製作所 撮像装置

Also Published As

Publication number Publication date
CN108702440B (zh) 2021-06-29
JP6820908B2 (ja) 2021-01-27
US20190020789A1 (en) 2019-01-17
CN108702440A (zh) 2018-10-23
US10911643B2 (en) 2021-02-02
JPWO2017145348A1 (ja) 2018-12-13

Similar Documents

Publication Publication Date Title
WO2017145348A1 (ja) 撮像装置
TWI658432B (zh) Camera
JP6491332B2 (ja) 撮像装置
WO2018055831A1 (ja) 撮像装置
JP6646619B2 (ja) 撮像装置
JP6864604B2 (ja) 撮像装置
WO2020059181A1 (ja) 撮像装置および撮像方法
JP2023016864A (ja) 撮像装置および方法
JP6947891B2 (ja) 携帯情報端末
JP6770164B2 (ja) 撮像装置
JP2021064000A (ja) 撮像装置
JP7389195B2 (ja) 画像生成方法
JP6636663B2 (ja) 撮像装置及び画像生成方法
CN110278350B (zh) 摄像装置
JP2020098963A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018501517

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16891505

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16891505

Country of ref document: EP

Kind code of ref document: A1