CN114189665B - 图像生成装置及拍摄装置 - Google Patents

图像生成装置及拍摄装置 Download PDF

Info

Publication number
CN114189665B
CN114189665B CN202111515894.4A CN202111515894A CN114189665B CN 114189665 B CN114189665 B CN 114189665B CN 202111515894 A CN202111515894 A CN 202111515894A CN 114189665 B CN114189665 B CN 114189665B
Authority
CN
China
Prior art keywords
image
filter array
random
refractive index
photodiode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111515894.4A
Other languages
English (en)
Other versions
CN114189665A (zh
Inventor
佐藤智
吾妻健夫
登一生
渡边尚志
安藤贵真
若井信彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN202111515894.4A priority Critical patent/CN114189665B/zh
Publication of CN114189665A publication Critical patent/CN114189665A/zh
Application granted granted Critical
Publication of CN114189665B publication Critical patent/CN114189665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0205—Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/021—Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place at the element's surface, e.g. by means of surface roughening or microprismatic structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0205—Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/0236—Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place within the volume of the element
    • G02B5/0242—Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place within the volume of the element by means of dispersed particles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0273—Diffusing elements; Afocal elements characterized by the use
    • G02B5/0278—Diffusing elements; Afocal elements characterized by the use used in transmission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133504—Diffusing, scattering, diffracting elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Nonlinear Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optical Filters (AREA)
  • Facsimile Heads (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供图像生成装置及拍摄装置。作为图像生成装置的拍摄***具备：随机彩色滤波器阵列(202)，其具有多个种类的彩色滤波器(202a～202c)和散射部(204)；光电二极管(203a)，其接收透过随机彩色滤波器阵列(202)后的光；AD变换部，其将由光电二极管(203a)接收到的光变换为数字数据；以及彩色图像生成电路(105)，其使用该数字数据和随机光学滤波器阵列的调制信息生成图像，散射部(204)位于多个种类的彩色滤波器(202a～202c)与光电二极管(203a)之间，散射部(204)包括具有第1折射率的材料和具有与第1折射率不同的第2折射率的材料。

Description

图像生成装置及拍摄装置
本申请是于2017年12月14日提交的申请号为201711335074.0、名称为“图像生成装置及拍摄装置”的专利申请的分案申请。
技术领域
本公开涉及使用了压缩感知(compressed sensing)技术的图像生成装置等。
背景技术
为了拍摄彩色图像，有时需要取得与光的三原色相当的红(R)、绿(G)以及蓝(B)这3个不同的波长范围的信息。也存在用3个图像传感器取得R、G以及B的信息的彩色拍摄装置。但是，大多的彩色拍摄装置为了小型化以及低成本化而仅搭载1个图像传感器。因此，大多的彩色拍摄装置用1个图像传感器取得R、G以及B的信息。
以往，已知如下的方法，即按每个像素取得R、G以及B中的1个波长范围的信息，通过进行被称为去马赛克(demosaicing)的处理，按每个像素取得R、G以及B这3个波长范围的信息。
图18是示出了被广泛利用的拜耳阵列的示意图(例如，专利文献1)。在拜耳阵列中，接近人的视觉特性的G像素占整体像素的1/2，R以及B像素分别占整体像素的1/4。并且，通过去马赛克处理，针对所有的像素取得R、G以及B这3个波长范围的信息。
另一方面，在专利文献2中，公开了以随机的颜色图案配置滤光器要素，并针对采样数据集合应用压缩感知技术，由此进行去马赛克的技术。
现有技术文献
专利文献
专利文献1：美国专利第5629734号说明书
专利文献2：日本特表2013-511924号公报
非专利文献
非专利文献1：Rudin L.I.，Osher S.J.，and Fatemi E.：Nonlinear totalvariation based noise removal algorithms.Physica D，vol.60，pp.259-268，1992.
非专利文献2：Shunsuke Ono，Isao Yamada，“Decorrelated Vectorial TotalVariation”，IEEE Conference on Computer Vision and Pattern Recognition，2014.
非专利文献3：J.Ma，“Improved Iterative Curvelet Thresholding forCompressed Sensing and Measurement”，IEEE Transactions on Instrumentation&Measurement，vol.60，no.1，pp.126-136，2011.
非专利文献4：M.Aharon，M.Elad，and A.M.Bruckstein，“K-SVD：An Algorithmfor Designing Overcomplete Dictionaries for Sparse Representation，”IEEETransactions on Image Processing，vol.54，no.11，pp.4311-4322，2006.
发明内容
但是，在专利文献1以及2的方法中，在图像传感器的各像素中，仅取得R、G以及B中的1个波长范围的信息。因此，去马赛克后的彩色图像的分辨率降低，可能产生被称为伪色(false color)的伪像(artifact)。
本公开作为非限定性的例示的一个技术方案，提供一种能够抑制分辨率的降低，生成恰当的图像的图像生成装置。另外，本公开提供一种用于生成恰当的图像的拍摄装置。从本说明书以及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征提供而得到，无需为了获得1个以上的益处和/或优点而实施所有的实施方式及特征。
本公开的一个技术方案的图像生成装置具备：随机光学滤波器阵列，其具有多个种类的光学滤波器和散射部；光电二极管，其接收透过所述随机光学滤波器阵列后的光；AD变换部，其将由所述光电二极管接收到的光变换为数字数据；以及生成电路，其使用所述数字数据和所述随机光学滤波器阵列的调制信息，生成图像，所述散射部位于所述多个种类的光学滤波器与所述光电二极管之间，所述散射部包括具有第1折射率的材料和具有与所述第1折射率不同的第2折射率的材料。
另外，本公开的一个技术方案的拍摄装置具备：随机光学滤波器阵列，其具有多个种类的光学滤波器和散射部；光电二极管，其接收透过所述随机光学滤波器阵列后的光；以及AD变换部，其将由所述光电二极管接收到的光变换为数字数据，所述散射部位于所述多个种类的光学滤波器与所述光电二极管之间，所述散射部包括具有第1折射率的材料和具有与所述第1折射率不同的第2折射率的材料。
上述概括性或具体的技术方案既可以使用***、方法以及计算机程序来实现，又可以使用装置、***、方法以及计算机程序的组合来实现。
根据本公开，能够抑制分辨率的降低，生成恰当的图像。本公开的一个技术方案的附加的益处以及优点会根据本说明书以及附图来明确。该益处和/或优点能够通过本说明书以及附图中公开的各种技术方案以及特征独立地提供，无须为了得到1个以上的益处和/或优点而实施所有的技术方案以及特征。
附图说明
图1是示出实施方式1的拍摄***的结构的示意图。
图2是示出拍摄***中的波长调制部以及调制图像取得部的结构的详细的图。
图3是示出拍摄***中的随机彩色滤波器阵列以及拍摄元件的结构的示意图。
图4是包括随机彩色滤波器阵列的拍摄***的示意图。
图5是示出作为实施方式的3种类的滤波器的波长特性的透射率的图。
图6是示出由3种类的滤波器构成的随机彩色滤波器阵列以及拍摄元件的二维平面上的配置的示意图。
图7A是示出由3种类的滤波器构成的随机彩色滤波器阵列以及拍摄元件的截面的示意图。
图7B是示出由3种类的滤波器构成的随机彩色滤波器阵列以及拍摄元件的截面的示意图。
图8是以往的彩色拍摄装置中的彩色滤波器阵列的示意图。
图9是示出作为实施方式的4种类的滤波器的波长特性的透射率的图。
图10是示出由4种类的滤波器构成的随机彩色滤波器阵列以及拍摄元件的二维平面上的配置的示意图。
图11是示出作为3种类的补色滤波器的波长特性的透射率的图。
图12是示出实施方式1的拍摄***中的图像生成装置的主要处理的步骤的流程图。
图13是示出拍摄元件的像素数为N＝16的情况下的调制图像和生成图像的示意图。
图14示出以实施方式1中的彩色图像生成电路等所生成的彩色图像为基础的图像的一例。
图15是示出实施方式2的拍摄***的结构的示意图。
图16是示出实施方式2的拍摄***中的图像生成装置的主要处理的步骤的流程图。
图17是示出拍摄元件的像素数为N＝16的情况下的生成图像(多频带图像)的示意图。
图18是示出拜耳阵列的示意图。
标号的说明
10拍摄***；11拍摄装置；12图像生成装置；101波长调制部；102调制图像取得部；103发送电路；104接收电路；105彩色图像生成电路；106输出I/F(接口)装置；107多频带图像生成电路；201成像光学***；202随机彩色滤波器阵列；202a、202b、202c、202d彩色滤波器；203拍摄元件；203a光电二极管；203b AD变换部；204散射部；204a微粒
具体实施方式
(成为本公开的基础的见解)
关于专利文献1以及2所记载的技术，在1个像素中，仅取得R(红)，G(绿)以及B(蓝)中的某一个的信息。因此，取得的信息不一定是充分的，存在无法生成分辨率高的恰当的图像的可能性。
相对于此，例如将R、G以及B的各波长范围的信息混合而赋予给各像素，对像素组随机地进行该混合，由此，从各像素能够得到更多的信息，通过压缩感知技术能够从所得到的信息生成恰当的图像。例如，使用主要透射R的波长范围的R滤波器、主要透射G的波长范围的G滤波器、主要透射B的波长范围的B滤波器合计3个种类的彩色滤波器等较少种类的光学滤波器，针对像素组模拟地实现随机的信息的混合是有用的。例如，在拍摄元件所接收的光的光路上，设置通过配置使光散射的散射部和比较少的种类的各光学滤波器而构成的随机光学滤波器阵列，并进行拍摄。由此，通过散射现象透过各光学滤波器后的光不但被1个像素接收也被附近像素接收，会对各像素赋予较多的信息，因此，会可能生成分辨率高的恰当的图像。这样，与在像素中仅赋予R、G以及B中的某一个的信息而防止混色的以往技术不同，本公开的技术使用散射部通过散射现象产生例如混色等，由此，能够生成分辨率高的图像。基于以上的见解，以下，对本公开的图像生成装置等进行说明。
本公开的一个技术方案的图像生成装置具备：随机光学滤波器阵列，其具有多个种类的光学滤波器和散射部；光电二极管，其接收透过所述随机光学滤波器阵列后的光；AD变换部，其将由所述光电二极管接收到的光变换为数字数据；以及生成电路，其使用所述数字数据和所述随机光学滤波器阵列的调制信息，生成图像，所述散射部位于所述多个种类的光学滤波器与所述光电二极管之间、或者位于所述多个种类的光学滤波器之前，所述散射部包括具有第1折射率的材料和具有与所述第1折射率不同的第2折射率的材料。在此，关于相同种类的光学滤波器彼此，涉及光的波长与光透射率的关系的波长特性相同，关于相互不同的种类的光学滤波器彼此，涉及光的波长与光透射率的关系的波长特性不同。散射部位于多个种类的光学滤波器与光电二极管之间，例如配置在通过透镜等光学***部件后的光到达受光面之前的光路上。随机光学滤波器阵列的调制信息是与在大致平面上配置多个光学滤波器并包括散射部的随机光学滤波器阵列中的光透射率相关的信息，其光透射率能够根据该平面上的位置以及光的波长而变化。此外，调制信息也与同散射部对应的点扩散函数相关，该点扩散函数能够根据该平面上的位置而变化。
由此，从涉及光的波长与透射率的关系的波长特性相互不同的多个种类的光学滤波器透射的光会分散而被光电二极管接收，作为各像素的光电二极管能够取得充足的信息，因此，分辨率的降低被抑制，能够生成恰当的图像。
另外，例如也可以是，所述光学滤波器是彩色滤波器，所述随机光学滤波器阵列是随机彩色滤波器阵列，所述生成电路所生成的所述图像是彩色图像。
由此，例如透过R滤波器、G滤波器以及B滤波器等彩色滤波器的多个组的各组后的光通过散射现象在附近像素的光电二极管组中被相加，基于调制信息，例如通过压缩感知技术，能够生成分辨率高的恰当的彩色图像。
另外，例如也可以是，所述散射部具有第1层和分布在所述第1层的微粒，所述第1层由具有所述第1折射率的材料构成，所述微粒包括具有所述第2折射率的材料。
由此，通过随机光学滤波器阵列中的有微粒分布的层的光会散射，因此，以像素单位取得的光的信息量会比没有散射的情况多。在生成电路中，与散射对应地使用包含与位置相应的点扩散函数所涉及的信息的调制信息，因此，能够生成分辨率高的恰当的图像。
另外，例如也可以是，所述第2折射率为1.9以上。
由此，能够产生在实用上充分的散射，因此，能够实现具有充分的随机性(randomness)的随机光学滤波器阵列，会能够通过压缩感知生成恰当的图像。
另外，例如也可以是，所述微粒由SiN、TiO2、ZrO2、ZnO或Ta2O5构成。
由此，能够比较容易地构成有用的随机光学滤波器阵列。
另外，例如也可以是，所述微粒的粒径为500nm以上且1000nm以下。
由此，利用散射部能够使可见光充分地散射，由此能够生成分辨率高的彩色图像等。
另外，例如也可以是，所述散射部包括第1层和第2层，所述第1层和所述第2层在所述随机光学滤波器阵列的厚度方向上层叠，所述第1层由具有所述第1折射率的材料构成，所述第2层由具有所述第2折射率的材料构成。
由此，通过随机光学滤波器阵列中的散射部的层间的光会折射，由此能够产生散射，因而，以像素单位取得的光的信息量能够比以往的拜耳阵列等多。因此，能够生成分辨率高的恰当的图像。
另外，例如也可以是，所述生成电路所生成的所述图像是多频带(multiband)图像。
由此，能够生成分辨率高的多频带图像。此外，例如也可以是，包括透射可见光以外的波长范围的光的光学滤波器而构成随机光学滤波器阵列。
另外，例如也可以是，所述生成电路使用压缩感知技术生成所述图像。
通过该压缩感知，能够适当地生成图像。
另外，本公开的一个技术方案的拍摄装置具备：随机光学滤波器阵列，其具有多个种类的光学滤波器和散射部；光电二极管，其接收透过所述随机光学滤波器阵列后的光；以及AD变换部，其将由所述光电二极管接收到的光变换为数字数据，所述散射部位于所述多个种类的光学滤波器与所述光电二极管之间，所述散射部包括具有第1折射率的材料和具有与所述第1折射率不同的第2折射率的材料。
由此，从涉及光的波长与透射率的关系的波长特性相互不同的多个种类的光学滤波器透射的光会分散而被光电二极管接收，作为各像素的光电二极管会能够取得充足的信息。因此，能够使用各像素的信息生成分辨率比较高的恰当的图像。
此外，这些概括性或具体的各种技术方案中包括装置、***、方法、集成电路、计算机程序、计算机可读记录介质等1个或多个的组合。
以下，参照附图，对本公开中的涉及图像生成装置的拍摄***的实施方式进行说明。在此示出的实施方式都不过是一例。因此，在以下的实施方式中示出的数值、形状、材料、结构要素、结构要素的配置及连接方式、以及步骤和步骤的顺序等，都是一例，不是限定性的内容。以下的实施方式中的结构要素中未记载于独立权利要求的结构要素，是能够任意地附加的结构要素。另外，各图是示意图，不一定是严格的图示。
(实施方式1)
图1示出本实施方式的拍摄***10的结构。拍摄***10具备拍摄装置11和图像生成装置12。
拍摄装置11具有波长调制部101、调制图像取得部102以及发送电路103。另一方面，图像生成装置12具有接收电路104、彩色图像生成电路105、输出I/F(接口)装置106。拍摄装置11和图像生成装置12也可以一体化。当然，在拍摄装置11和图像生成装置12一体化的情况下，能够省略发送电路103以及接收电路104。
(拍摄装置11)
首先，参照图2对拍摄装置11进行说明。
图2示出波长调制部101以及调制图像取得部102的结构的详细。
如图2所示，波长调制部101与成像光学***201以及随机彩色滤波器阵列202对应。另外，调制图像取得部102与拍摄元件203对应。
(成像光学***201)
成像光学***201至少具有1个或多个透镜和透镜位置调整机构(均未图示)。1个或多个透镜汇集来自被拍摄对象的光，将光信号成像。光信号表示被拍摄对象的像。透镜位置调整机构例如是控制用于调整由透镜成像的成像位置的致动器以及致动器的驱动量的控制电路(控制器)。此外，在1个或多个透镜的焦点被固定的情况下，不需要透镜位置调整机构。另外，也可以如针孔摄像头那样，不利用透镜地使光信号成像。
成像光学***201也可以称为光学***。
(拍摄元件203)
图3示出随机彩色滤波器阵列202以及拍摄元件203的结构的详细的一例。
拍摄元件203包括多个光电二极管203a和至少1个AD变换部203b而构成。
通过光电二极管203a，接收由成像光学***201成像后的光信号，通过AD变换部203b，变换为电信号。电信号表示按各个像素调制后的图像即调制图像。即，拍摄元件203拍摄调制图像。拍摄元件203配置于透镜的焦距的位置。
拍摄元件203包括接收由光学***聚光后的光并输出电信号的多个像素。像素与光电二极管203a对应。拍摄元件203的多个光电二极管203a和多个电信号1对1地对应。
(随机彩色滤波器阵列202)
随机彩色滤波器阵列202由多个种类的彩色滤波器202a～202c和散射部204构成。随机彩色滤波器阵列202例如具备将多个彩色滤波器202a～202c配置在大致平面上的相互不同的位置而成的彩色滤波器的集合体和散射部204。随机彩色滤波器阵列202配置在光电二极管203a之前，也即是，配置在从成像光学***201入射的光到达拍摄元件203的光路上(例如入射光到达光电二极管203a的受光面的近前)。在随机彩色滤波器阵列202中，多个种类的彩色滤波器202a～202c配置在从成像光学***201入射的光到达光电二极管203a的受光面之前的光路上。散射部204配置在成像光学***201与光电二极管203a之间。散射部204既可以配置在多个种类的彩色滤波器202a～202c之前、即彩色滤波器202a～202c配置在散射部204与拍摄元件203之间，或者，散射部204又可以配置在彩色滤波器202a～202c之后且拍摄元件203之前、即散射部204配置在彩色滤波器202a～202c与拍摄元件203之间。在此，主要使用配置在多个种类的彩色滤波器202a～202c之前、即彩色滤波器202a～202c配置在散射部204与成像光学***201之间的例子进行说明。
彩色滤波器202a、彩色滤波器202b、彩色滤波器202c是种类(也即是，涉及光的波长与透射率的关系的波长特性)相互不同的彩色滤波器。作为一例，1个种类的彩色滤波器202a是主要透射R的波长范围的光的R滤波器，另外的1个种类的彩色滤波器202b是主要透射G的波长范围的光的G滤波器，再另外的1个种类的彩色滤波器202c是主要透射B的波长范围的光的B滤波器。
图3的例子示出在随机彩色滤波器阵列202中，与1个光电二极管203a对应地配置3种类的彩色滤波器202a～202c中的1个彩色滤波器的情况。各种类的彩色滤波器202a～202c在二维平面上的配置(也即是二维排列)例如可能是拜耳阵列(参照图18)等。
随机彩色滤波器阵列202既可以与拍摄元件203的前表面也即是受光面相接触地配置，又可以在拍摄元件203之前，与前表面隔开间隔地配置。此外，如以下要说明的那样，随机彩色滤波器阵列202中的彩色滤波器202a～202c例如与拍摄元件203隔开间隔地配置。
随机彩色滤波器阵列202用于利用特定的波长范围对入射至拍摄元件203的光进行滤波。将使用随机彩色滤波器阵列202拍摄到的图像称为调制图像。随机彩色滤波器阵列202在供光透射的任意的位置具有不同的光透射率和不同的点扩散函数。在此所说的“位置”意味着具有一定的面积的微小区域的位置。点扩散函数是指拍摄***中的点光源的响应函数。即便包括大致平面形状的各彩色滤波器202a～202c的随机彩色滤波器阵列202为大致平面形状，按该平面上的各微小区域的各位置，光透射率以及点扩散函数可能不同。换言之，在随机彩色滤波器阵列202的平面上的各微小区域的所有的位置，光透射率以及点扩散函数不同，并且，在随机彩色滤波器阵列202的平面上的各微小区域的所有的位置中的至少2个位置，光透射率以及点扩散函数也可以相同。这样的按各个位置的光透射率以及点扩散函数由构成随机彩色滤波器阵列202的多个种类的彩色滤波器202a～202c的波长特性、彩色滤波器202a～202c的位置、如以下要说明那样的作为散射部204的具有第1折射率的物质(例如树脂、玻璃等)和具有与第1折射率不同的第2折射率的物质的构成以及配置来决定，被称为调制信息。各微小区域的面积，例如既可以与拍摄元件203的各光电二极管203a的受光面积相等，又可以比该受光面积小。此外，光透射率也可能根据透射的波长(波长范围)而不同。
多个光电二极管203a与涉及随机彩色滤波器阵列202的上述多个微小区域的位置，也可以是1对1相对应的。
随机彩色滤波器阵列202的进一步的详细内容，在后面说明。
(发送电路103)
发送电路103将由拍摄元件203拍摄到的调制图像和与随机彩色滤波器阵列202对应地设定的调制信息向图像生成装置12发送。调制信息表示作为按各位置的波长特性的光透射率和点扩散函数。发送也可以通过有线通信以及无线通信中的某一个进行。
此外，在本实施方式中，料想拍摄***10具备发送电路103以及接收电路104，大致实时地发送接收调制图像以及调制信息并进行处理。但是，拍摄***10也可以具备保存调制图像以及调制信息的存储装置(例如硬盘驱动器)，非实时地进行处理。
(图像生成装置12)
再次参照图1，对图像生成装置12的接收电路104、彩色图像生成电路105以及输出接口装置106分别进行说明。
(接收电路104)
接收电路104接收从拍摄装置11输出的调制图像和调制信息。接收电路104与发送电路103之间的通信，既可以是有线通信，也可以是无线通信。此外，即便假定为发送电路103通过有线通信发送调制图像以及调制信息，也可以通过经由将有线通信变换为无线通信的设备，由接收电路104以无线的方式接收这些信息。反之亦然。
(彩色图像生成电路105)
彩色图像生成电路105利用接收电路104所接收到的调制图像以及调制信息生成彩色图像。关于生成彩色图像的处理(彩色图像生成处理)的详细内容后述。彩色图像生成电路105将所生成的彩色图像发送至输出接口装置106。
(输出接口装置106)
输出接口装置106是影像输出端子等。输出接口装置106将彩色图像作为数字信号或作为模拟信号向图像生成装置12的外部输出。
(随机彩色滤波器阵列202的详细)
接着，参照图4～图7A，更详细地说明随机彩色滤波器阵列202。
图4是包括随机彩色滤波器阵列202的拍摄***10的示意图。
如上所述，随机彩色滤波器阵列202具有根据位置并且根据波长范围可能不同的光透射率以及点扩散函数。也即是，在多个波长范围的光透射的任意的多个位置的各位置，各波长范围的光透射率和点扩散函数的组合相互不同。为了实现这样的光学特性，本实施方式的随机彩色滤波器阵列202具有与光的波长范围对应的光透射率相互不同的多个种类的彩色滤波器202a～202c和散射部204。另外，在随机彩色滤波器阵列202中，配置在各位置的彩色滤波器的种类可能不同。即，按与相互位于附近的多个光电二极管203a对应的各位置可能配置相互不同的种类的彩色滤波器。换言之，在与多个光电二极管203a对应的随机彩色滤波器阵列202的多个位置的所有位置，彩色滤波器的种类不相同，在随机彩色滤波器阵列202的多个位置中的至少2个位置，彩色滤波器的种类也可以相同。彩色滤波器202a～202c既可以如以往的拜耳阵列(参照图18)那样规则地配置，又可以随机地配置。此外，从拍摄元件203中的各光电二极管203a的前方观察，各彩色滤波器可以相互重合一部分，但是如图4的例子那样，通过相互不重叠，能够抑制光电二极管203a所接收的光量的降低。
此外，在图4中，记载了随机彩色滤波器阵列202包含3个种类的彩色滤波器202a～202c，1个彩色滤波器与1个光电二极管203a对应的例子，但是，这只不过是一例，彩色滤波器的种类数不限于3个种类，与1个光电二极管203a对应地配置的彩色滤波器的数量也不限于1个。
图5是示出作为3种类的彩色滤波器202a～202c的各波长特性的光透射率的图。在该图中，滤波器1是彩色滤波器202a，滤波器2是彩色滤波器202b，滤波器3是彩色滤波器202c。
滤波器的波长特性表示入射至滤波器的光与波长对应地以怎样的程度被反射、透射以及吸收。反射光、透射光以及吸收光的总和与入射光相等。透射光与入射光的比率被称为“透射率”。也将该透射率称为光透射率。吸收光与入射光的比率被称为“吸收率”。吸收率也能够通过从入射光的光量减去反射光的光量和透射光的光量，进而除以入射光的光量而求出。在图5中，示出各滤波器中的光透射率与光的波长的关系。
图6以及图7A是由3种类的彩色滤波器202a～202c构成的随机彩色滤波器阵列202的示意图。图6示出随机彩色滤波器阵列202的各彩色滤波器、以及拍摄元件203的各光电二极管203a的二维平面上的配置。该二维平面是与例如拍摄元件203的受光面平行的平面。在图6中，分别用R、G、B表示彩色滤波器202a、202b以及202c，彩色滤波器202a～202c表示随机地配置的例子。作为随机的配置，可以利用随机数系列而作成，也可以事先准备不得重复的模式，并利用其作成。图7A示出随机彩色滤波器阵列202以及拍摄元件203的截面。
散射部204具有：具有第1折射率的物质(例如树脂、玻璃等)和具有与第1折射率不同的第2折射率的物质(例如氧化物等)。
作为更具体的一例，散射部204具有树脂层和位于树脂层的内部的多个微粒204a。构成该树脂层的树脂例如具有第1折射率，构成该微粒的物质例如具有第2折射率。例如，第2折射率与第1折射率相差0.4以上即可。树脂的材料只要是具有与第2折射率不同的折射率的材料即可。例如，树脂的材料也可以是从由丙烯酸酯树脂、环氧树脂以及异丁烯酸盐树脂构成的组中选择的至少1个树脂。位于树脂层的内部的微粒的材料是具有不同于第1折射率的折射率的材料即可，例如，也可以是从由TiO2、SiN、ZrO2、ZnO以及Ta2O5构成的组中选择的至少1个。例如，第2折射率是1.9以上。另外，该微粒的粒径(也即是平均粒径)例如是500nm以上1000nm以下。此外，为了利用折射使可见光频带的光散射，需要具有与可见光的波长同等的尺寸，因此，粒径为500nm以上1000nm以下是有用的。此外，平均粒径使用激光衍射以及散射法来测定。具体而言，向材料照射激光，并测定来自材料的衍射以及散射光的强度分布。使用衍射或散射光的强度分布，求出平均粒径。更具体而言，通过由JIS(日本工业标准)8819-2规定的根据粒径分布的平均粒径的计算，来测定。在散射部204中，多个微粒204a例如以随机的配置分布在树脂层中。随机的配置不是指以均匀的间隔配置均匀的粒径的微粒，而是指将多个微粒204a配置成使多个微粒204a的粒径不同、和/或多个微粒204a的间隔不均匀。多个微粒204a在树脂层中的随机的配置可以通过将粒径事先被随机地设定的微粒配置于随机的位置而实现。多个微粒204a在树脂层中的随机的配置也可以通过以按各部位改变密度的方式配置具有不同的粒径的微粒来实现。另外，多个微粒204a在树脂层中的随机的配置也能够使用涂覆了折射率不同的物质的多个微粒204a来实现。进而，多个微粒204a在树脂层中的随机的配置也能够使用未特别实施使粒径均匀的操作的多个微粒204a来实现。
如图7A所示，3种类的彩色滤波器202a～202c与拍摄元件203隔开间隔地配置，透射成像光学***201后的光通过散射部204被散射，透射3种类的彩色滤波器202a～202c，通过多个光电二极管203a被接收。利用散射部204的光的散射，透射1个彩色滤波器后的各光可能由多个光电二极管203a接收，透射多个彩色滤波器的各彩色滤波器后的各光可能由1个光电二极管203a接收。
图8是以往的彩色拍摄装置中的拜耳阵列的彩色滤波器阵列206的示意图。与本实施方式的随机彩色滤波器阵列202(参照图7A)相对比，以往的彩色滤波器阵列206不具有散射部204。另外，在以往的彩色滤波器阵列206中，为了防止彩色滤波器间的串扰(crosstalk)，构成彩色滤波器阵列206的各彩色滤波器(彩色滤波器202a等)与拍摄元件203的间隔会变窄。利用成像光学***使透射1个彩色滤波器后的光在拍摄元件203中的1个光电二极管能够接收光的区域聚光。也即是，在图8中，用实线表示的各光大概仅透射1个配置位置的彩色滤波器202a，在拍摄元件203中仅被与该彩色滤波器202a的配置位置(也即是图8中左端的配置位置)对应的配置位置(也即是图8中左端的配置位置)的1个光电二极管203a接收。同样地，用点线表示的各光大致仅透射1个配置位置(也即是图8的中央的配置位置)的彩色滤波器202b，仅被对应的配置位置(也即是图8的中央的配置位置)的1个光电二极管203a接收，用虚线表示的各光大致仅透射1个配置位置(也即是图8中右端的配置位置)的彩色滤波器202a，仅被对应的配置位置(也即是图8中右端的配置位置)的1个光电二极管203a接收。
在图7A所示的本实施方式的随机彩色滤波器阵列202中，例如，用实线表示的光322与用图8的实线表示的光的例子同样地，透射图7A中左端的配置位置的彩色滤波器202a，被图7A中左端的配置位置的光电二极管203a接收，但是用实线表示的光321通过包含微粒204a等的散射部204中的折射被散射，透射图7A中左端的配置位置的彩色滤波器202a，与用图8的实线示出的光的例子不同，被图7A的中央的配置位置的光电二极管203a接收。
另外，在图7A中，用点线表示的光323通过包含微粒204a等的散射部204的折射被散射，并透射图7A的中央的配置位置的彩色滤波器202b，与图8的点线所示的光的例子不同，被图7A中左端的配置位置的光电二极管203a接收。
另外，在图7A中，用虚线表示的光324通过包含微粒204a等的散射部204的折射被散射，与图8的虚线所示的光的例子不同，透射图7A的中央的配置位置的彩色滤波器202b，并被图7A中左端的配置位置的光电二极管203a接收。
这样，本实施方式的随机彩色滤波器阵列202具有包含微粒204a等的散射部204，由此，使透射多个位置的不同的彩色滤波器后的光被1个光电二极管203a接收，另外，使透射同一位置的彩色滤波器后的光被多个光电二极管203a接收。也即是，随机彩色滤波器阵列202具有根据位置以及光的波长而不同的光透射率和点扩散函数，因此，在空间上、在波长上都能够实现随机的采样。
此外，在图7A中示出在随机彩色滤波器阵列202中散射部204的微粒204a配置于成像光学***201与彩色滤波器202a～202c之间的例子，但是，还可以配置在彩色滤波器202a～202c与光电二极管203a之间，也还可以配置在彩色滤波器202a～202c与光电二极管203a之间。
如上所述，在本实施方式的拍摄***10中，随机彩色滤波器阵列202在彩色滤波器202a～202c与拍摄元件203之间具有与散射部204中的溶剂(例如树脂等)不同的折射率的微粒204a，由此具有根据位置以及光的波长而不同的光透射率和点扩散函数，实现了随机的(也即是使随机采样成为可能)光学滤波器阵列。此外，例如，如图6所示，如果在随机彩色滤波器阵列202中的在二维平面上呈二维排列的各位置随机地选择3种类的彩色滤波器202a～202c中的某一个而配置，则与不随机地配置的情况相比，随机性得以提高。
此外，如上所述，散射部204也可以配置在彩色滤波器202a～202c之后且拍摄元件203之前，即散射部204也可以配置在彩色滤波器202a～202c与拍摄元件203之间。此一例在图7B中示出。
在以上的说明中，构成随机彩色滤波器阵列202的滤波器为3种类的彩色滤波器202a～202c，但是也可以使滤波器为4种类以上，只要能够作为彼此作为波长特性的光透射率不同的光学滤波器发挥作用即可，不一定是彩色滤波器。以下，对利用4种类的滤波器作为上述的随机彩色滤波器阵列202的技术方案进行说明。
图9示出作为4种类的滤波器的各波长特性的光透射率。另外，图10示出用4种类的滤波器构成的随机彩色滤波器阵列202的各滤波器以及拍摄元件203的各光电二极管203a的二维平面上的配置。在图9中，滤波器1～3是彩色滤波器202a～202c，滤波器4是透射整个范围的滤波器。在图10中，用W表示作为该滤波器4的彩色滤波器202d。在此，方便起见将随机彩色滤波器阵列202中的透射该整个范围的滤波器称为彩色滤波器。该滤波器4(也即是彩色滤波器202d)，在生成随机彩色滤波器阵列时，能够通过不***作为滤波器的部件来实现。这样通过设置不***部件的部分，若使透射整个范围的滤波器包含于随机彩色滤波器阵列202，则能够抑制成本。另外，通过增加滤波器的种类，能够使随机彩色滤波器阵列202的随机性提高。当随机彩色滤波器阵列202的随机性提高时，如下文所述，彩色图像生成电路105所生成的彩色图像的画质会提高。
在上述的实施方式中，构成随机彩色滤波器阵列202的3种类的彩色滤波器202a～202c分别是R(红)滤波器、G(绿)滤波器、B(蓝)滤波器，但滤波器特性不限于此。例如，在随机彩色滤波器阵列202中，也可以利用与R滤波器、G滤波器或B滤波器这一原色滤波器相比、透射频带宽的补色滤波器(例如品红、青、黄色的滤波器)。
图11是示出作为3种类的补色滤波器的各波长特性的光透射率的图。在该图中，滤波器1例如是品红的滤波器，滤波器2例如是青的滤波器，滤波器3例如是黄色的滤波器。
通过利用这样的补色滤波器，透射频带扩展，因此能够取得降低了噪声的图像。
当然，作为构成随机彩色滤波器阵列202的滤波器，也可以将R、G、B的彩色滤波器也即是原色滤波器、透射波长范围的整个范围的滤波器、补色滤波器进行组合。例如，也可以通过将图9和图11中示出的各滤波器组合而构成随机彩色滤波器阵列202。在该情况下，随机彩色滤波器阵列202具有7种类的滤波器的组合以及散射部204，由此，随机性得以提高。
同样地，也可以将图5和图11中示出的各滤波器进行组合，构成具有6种类的滤波器的组合以及散射部204的随机彩色滤波器阵列202。在该情况下，随机彩色滤波器阵列202具有6种类的滤波器的组合以及散射部204，由此随机性得以提高。
(图像生成装置12的处理)
接着，根据图12对图像生成装置12(参照图1)中的处理进行说明。
图12是示出图像生成装置12的主要处理的步骤的流程图。
图像生成装置12的接收电路104接收由拍摄装置11的发送电路103发送来的调制图像和调制信息(步骤S101)。
接着，彩色图像生成电路105根据调制图像和调制信息，利用图像复原技术(例如压缩感知技术)，生成彩色图像(步骤S102)。
接着，输出接口装置106，为了将彩色图像生成电路105所生成的彩色图像显示于显示器、利用于人检测等图像处理而将其输出(步骤S103)。
(彩色图像生成处理)
以下，关于步骤S102中的彩色图像生成电路105的彩色图像生成处理，更详细地进行说明。
彩色图像生成处理，在设拍摄到的调制图像为y、设所生成的彩色RGB图像即生成图像为x的情况下，能够如以下进行公式化。
y＝Ax…(式1)
在此，矩阵A是表示调制信息的采样矩阵。采样矩阵A表示调制图像y和生成图像x的关系。例如，在像素数为N的情况下，调制图像y用N行1列的矩阵表现，生成图像x用3N行1列的矩阵表现，采样矩阵A用N行3N列的矩阵表现。
以下，对采样矩阵A的取得方法进行说明。
采样矩阵A表示按各位置且根据波长范围而不同的光透射率和点扩散函数。于是，例如，配置覆盖拍摄元件203所拍摄的视野的全部范围作为被拍摄对象那样的监视器，并在监视器上一边按顺序显示红、绿以及蓝的点图像、一边进行拍摄，由此，能够取得采样矩阵A。
接着，对彩色图像生成电路105中从采样矩阵A以及调制图像y取得生成图像x的方法进行说明。为了使说明简略化，对拍摄元件203的像素数为N＝16的情况进行说明。
图13是示出拍摄元件203的像素数为N＝16的情况下的调制图像y和基于该调制图像y生成的生成图像(彩色RGB图像)x的R图像r、G图像g、B图像b的示意图。在该图中，(a)表示调制图像y，(b)表示基于调制图像y生成的彩色RGB图像的红(R)通道即R图像r，(c)表示基于调制图像y生成的彩色图像的绿(G)通道即G图像g，(d)表示基于调制图像y生成的彩色图像的蓝(B)通道即B图像b。调制图像y和生成图像x用下式表示。
y＝[y1 y2 y3…y16]T.
x＝[r1 g1 b1 r2 g2 b2 r3 g3 b3 … r16 g16 b16]T…(式2)
根据上述式2可以明确，在式1中，作为未知数的x的要素数为48，作为观测数的y的要素数为16。也即是，方程式的数量相对于未知数少。因此，式1会成为不良设定问题。
为了解决该不良设定问题，拍摄***10利用压缩感知技术。压缩感知技术是指通过在信号的感知时进行相加处理(编码)对数据量进行压缩，利用压缩后的数据进行复原处理，由此对原来的信号进行解码(复原)的技术。在压缩感知处理中，为了解决不良设定问题，利用先备知识。
作为针对自然图像的先备知识，也可以利用图像上的附近位置间的辉度变化的绝对值和、即全变分(Total Variation)(例如，非专利文献1以及非专利文献2)。另外，还可以利用在小波(Wavelet)变换、DCT变换、曲波(Curvelet)变换等线性变换中大多的系数为0这一稀疏性(例如，非专利文献3)。另外，也可以利用通过学习取得上述的线性变换的变换系数的字典学习(Dictionary Learning)(例如，非专利文献4)等。
在此，对于作为被分类为全变分的一种的方法的去相关向量全变分(Decorrelated Vectorial Total Variation)进行说明。该方法通过对彩色图像的辉度分量与色差分量的梯度进行分离并计算，来抑制被称为伪色的伪像的发生。这通过将以下的评价函数最小化来实现。
该评价函数包括以下的三项而构成。
1.数据保真(Data Fidelity)项：||Ax-y||2 2：用于满足式1的约束项。
2.动态范围(Dynamic Range)项：用于运算最小值min的x的范围([0，255]3×N)：用于使像素值为0以上255以下的约束项。
3.去相关向量全变分(Decorrelated Vectorial Total Variation)项：J(x)：将彩色图像的辉度分量与色差分量的梯度分离后的全变分(Total Variation)项。
在此，||Ax-y||2 2表示Ax-y的平方和(L2范数的平方)。另外，J(x)与关于图像整体中的辉度分量以及色差分量的附近像素间的差分对应，通过以下的式4～式8来表现。此外，在式4～式8中，R表示实数，R+表示非负的实数。
x＝[XR T xG T xB T]T∈R3N…(式5)
(正交色变换)
D＝diag(D1 D1 D1)∈R6N×3N(彩色图像中的1次梯度运算符)
D1＝[Dv T Dh T]T∈R2N×N(各通道的1次梯度运算符)
Dv，Dh∈RN×N(垂直/水平的1次梯度运算符)(诺伊曼边界)…(式7)
w∈(0，1)
图14示出以本实施方式中的彩色图像生成电路105所生成的彩色图像为基础的图像的一例。在图14中，(a)表示基于由3板式摄像头拍摄到的正解图像(正解彩色图像)的图像。(b)表示基于利用作为一般的去马赛克方法的专利文献1所记载的ACPI(AdaptiveColor Plane Interpolation)法的去马赛克图像的图像。(c)表示基于通过本实施方式中的彩色图像生成电路105并使用去相关向量全变分而生成的生成彩色图像(复原图像)的图像。本申请发明人们实际生成彩色图像并进行了比较，但是在图14中，各图像通过与该图像的辉度值(也即是通过乘以按各色的系数并将R、G以及B的各分量值相加而算出的辉度值)相应的浓淡来图示。另外，在图14中，也示出相对于各个彩色图像的RSNR(Peak Signal-to-Noise Ratio)。
如图14所示，本实施方式的生成彩色图像(复原图像)与通过ACPI法生成的彩色图像相比，PSNR提高1dB以上，可以说最接近正解图像。
另外，已知在压缩感知中采样矩阵A的随机性(Randomness)越高，则复原图像的画质越提高。本实施方式的随机彩色滤波器阵列202通过具有散射部204来提高采样矩阵A的随机性，由此，复原图像的画质能够提高。
根据利用上述的随机彩色滤波器阵列202进行拍摄的拍摄***10，利用压缩感知技术进行彩色图像生成处理，由此，能够取得伪像减少的高清晰的彩色图像。
(实施方式2)
图15示出本实施方式的拍摄***10的结构。关于本实施方式的拍摄***10的结构要素中与实施方式1中示出的拍摄***10相同的结构要素，在图15中标注与图1相同的标号，在此，适当省略说明。本实施方式的拍摄***10，在图像生成装置12中具备多频带图像生成电路107来取代实施方式1中示出的彩色图像生成电路105。该拍摄***10能够生成不限于三原色的RGB彩色图像的多频带图像。多频带图像是用将光的波长范围分割为4个以上的区域后的信号表现的图像。该波长范围不限于可见光，也可以是近红外、红外、紫外等波长范围，多频带图像例如可能是近红外光图像、红外光图像、紫外光图像等。
多频带图像生成电路107，根据调制图像和调制信息并利用图像复原技术(例如压缩感知技术)，生成多频带图像。多频带图像生成电路107将所生成的多频带图像向输出接口装置106发送。
本实施方式的输出接口装置106将多频带图像作为数字信号或作为模拟信号向图像生成装置12的外部输出。输出接口装置106也可以按照在明亮的场面输出可见光的彩色图像，在暗的场面输出近红外光图像的方式对输出图像进行切换。
另外，本实施方式的拍摄***10的波长调制部101(参照图15)中的随机彩色滤波器阵列202也可以是作为除了包含R滤波器、G滤波器、B滤波器等彩色滤波器以外、还主要包含例如透射近红外光的滤波器等的多个种类的光学滤波器的排列而构成的随机光学滤波器阵列。例如，在取得近红外光图像作为多频带图像的情况下，随机光学滤波器阵列可能包含透射近红外光的滤波器。
以下，根据图16对本实施方式的图像生成装置12(参照图15)中的处理进行说明。
图16是示出本实施方式中的图像生成装置12的主要处理的步骤的流程图。在该图中，针对与图12相同的要素，标注同一标号。
图像生成装置12的接收电路104接收发送电路103发送来的调制图像和调制信息(步骤S101)。
接着多频带图像生成电路107根据调制图像和调制信息，并利用图像复原技术(例如压缩感知技术)，进行生成多频带图像的多频带图像生成处理(步骤S104)。
接着，输出接口装置106为了将多频带图像生成电路107所生成的多频带图像显示于显示器、利用于人检测等图像处理而将其输出(步骤S105)。
(多频带图像生成处理)
以下，关于步骤S104中的多频带图像生成处理，更详细地进行说明。
在设拍摄到的调制图像为y’、设所生成的M频带的多频带图像为x’的情况下(M为4以上的整数)，多频带图像的生成处理能够按以下方式公式化。
y′＝Ax′…(式9)
其中，矩阵A是表示调制信息的采样矩阵。
为了使说明简略化，当设拍摄元件203的像素数为N＝16(参照图13)时，该调制图像y’和基于该调制图像y’生成的多频带图像即生成图像x’，用下式表示。若将生成图像x’分为M个通道各自的图像来表示，则会成为图17所示。
y′＝[y1 y2 y3 … y16]T.
x′＝[x1，1 x2，1 x3，1 … xM，1 x1，2 x2，2 x3，2 … xM，2 … x1，16 x2，16 x3，16 … xM，16]T…(式10)
从上述式10可以明确，在式9中，作为未知数的x’的要素数是16M，作为观测数的y’的要素数是16。也即是，相对于未知数，方程式的数量少。因此，式9成为不良设定问题。但是，如实施方式1所示，通过利用压缩感知技术能够解决该不良设定问题。对于本实施方式的通过拍摄生成多频带图像的拍摄***10，也能够适用在实施方式1中示出的各种技术。
如以上那样，本实施方式的拍摄***10利用随机彩色滤波器阵列202或随机光学滤波器阵列进行拍摄，通过压缩感知技术进行多频带图像生成处理，由此，能够减少伪像，取得高清晰的多频带图像。
(其它实施方式)
如上所述，作为本公开的技术的例示，说明了实施方式1、2。但是，本公开的技术不限定于这些实施方式，也能够适用于适当进行了变更、置换、附加、省略等的实施方式。即，只要不脱离本公开的主旨，将本领域技术人员所能想到的各种变形应用于上述实施方式后的技术方案、将相互不同的实施方式中的结构要素组合而构筑的技术方案等，也包含于本公开的技术的一个实施方式。例如，以下那样的变形例也包含于本公开的技术的一个实施方式。
在上述实施方式中，示出了拍摄***10具备拍摄装置11和图像生成装置12的例子，但是本公开的图像生成装置也可以不包含上述的拍摄装置11，也即是，也可以由上述的拍摄***10构成。
在上述实施方式中，示出生成彩色图像或多频带图像的拍摄***10，但是，拍摄***10也可以生成由将光的任意的波长范围分割为2个以上的区域后的信号表现的图像，例如还可以是，拍摄***10生成由将红外光区域分割为3个区域后的信号表现的图像。
另外，上述的成像光学***201不局限于为了成像而使用透镜的***，例如也可以是使用反射镜等的***。
另外，在上述实施方式中示出的包含散射部204的随机彩色滤波器阵列202或随机光学滤波器阵列所包含的各光学滤波器的、与拍摄元件203的受光面并行的二维平面上的尺寸，可以比拍摄元件203中的光电二极管203a的尺寸小，例如也可以配置成从多个种类的光学滤波器(例如3个种类的彩色滤波器202a～202c)随机地选择出的多个(例如6个等)光学滤波器分别在相互不同的位置与1个光电二极管203a重叠。
另外，在上述实施方式中，作为散射部204的一例，示出了具备由具有第1折射率的树脂构成的树脂层和位于树脂层的内部并且由具有第2折射率的物质构成的多个微粒204a的散射部204。但是，这不过是一例，散射部204只要根据大致平面形状的随机光学滤波器阵列(例如随机彩色滤波器阵列202)中的该二维平面上的位置使光随机地散射即可，例如，也可以是包含将由具有第1折射率的材料构成的第1层和由具有不同于第1折射率的第2折射率的材料构成的第2层层叠而成的构造体的散射部。
另外，在上述实施方式中示出的散射部204，位于多个种类的光学滤波器与光电二极管203a之间或位于多个种类的光学滤波器之前，但是，例如散射部204也可以配置成位于多个种类的光学滤波器与光电二极管203a之间也位于多个种类的光学滤波器之前，也即是，配置成内含多个种类的光学滤波器。
另外，在上述的实施方式中示出的拍摄***10的各结构要素(尤其是各电路等)，由专用的硬件构成、或也可以通过执行适合各结构要素的软件(程序)来实现。各结构要素也可以通过由微处理器等程序执行部读出并执行记录于硬盘或半导体存储器等存储介质(或记录介质)的程序来实现。
另外，拍摄装置11所包含的多个电路，既可以作为整体构成1个电路，又可以分别是相互独立的电路。同样地，图像生成装置12所包含的多个电路，既可以作为整体构成1个电路，又可以是分别独立的电路。另外，这些电路，既可以分别是通用的电路，又可以是专用的电路。另外，例如也可以是，取代特定的结构要素而由其他的结构要素执行上述实施方式中的特定的结构要素所执行的处理。另外，既可以变更上述实施方式中的各种处理的执行顺序，又可以并行地执行多个处理。
如以上说明的那样，本公开的图像生成装置具备：具有多个种类的光学滤波器(例如彩色滤波器202a～202d或补色滤波器、主要透射可见光以外的光的滤波器等)和散射部204的随机光学滤波器阵列(例如随机彩色滤波器阵列202)、接收透射随机光学滤波器阵列后的光的光电二极管203a、将由光电二极管203a接收到的光变换为数字数据的AD变换部203b、以及使用该数字数据和随机光学滤波器阵列的调制信息生成图像的生成电路(例如彩色图像生成电路105、多频带图像生成电路107等)，散射部204位于多个种类的光学滤波器与光电二极管203a之间或位于多个种类的光学滤波器之前(例如在通过成像光学***201后的光到达光学滤波器之前的光路上)，散射部204包括具有第1折射率的材料和具有不同于第1折射率的第2折射率的材料。由此，由于散射部204的光的散射，接收从涉及波长与透射率的关系的波长特性相互不同的多个种类的几个光学滤波器透射后的光的、作为各像素的光电二极管203a能够取得充足的信息，因此，分辨率的降低被抑制，能够生成恰当的图像。
另外，例如也可以是，光学滤波器是彩色滤波器202a～202c，随机光学滤波器阵列是随机彩色滤波器阵列202，生成电路是彩色图像生成电路105。
另外，例如也可以是，散射部204具有第1层(例如树脂层)和分布在第1层的包括具有第2折射率的材料的微粒204a，该第1层由具有第1折射率的材料构成。
另外，例如也可以是，第2折射率为1.9以上。
另外，例如也可以是，微粒204a由SiN、TiO2、ZrO2、ZnO或Ta2O5构成。
另外，例如也可以是，微粒204a的粒径在500nm以上且1000nm以下。
另外，例如也可以是，散射部204包括第1层和第2层，第1层和第2层在大致平面形状的随机光学滤波器阵列的厚度方向(也即是与该平面正交的方向)上层叠，所述第1层由具有第1折射率的材料构成，所述第2层由具有第2折射率的材料构成。
另外，例如也可以是，生成电路是多频带图像生成电路107。
另外，例如也可以是，生成电路(例如彩色图像生成电路105、多频带图像生成电路107等)使用压缩感知技术生成图像。
另外，本公开的拍摄装置具备：具有多个种类的光学滤波器(例如彩色滤波器202a～202d等)和散射部204的随机光学滤波器阵列(例如随机彩色滤波器阵列202)；接收透过随机光学滤波器阵列后的光的光电二极管203a；以及将由光电二极管203a接收到的光变换为数字数据的AD变换部203b，散射部204位于多个种类的光学滤波器与光电二极管203a之间或多个种类的光学滤波器之前，散射部204包括具有第1折射率的材料和具有不同于第1折射率的第2折射率的材料。由此，由于散射部204的光的散射，能够接收从涉及波长与透射率的关系的波长特性相互不同的多个种类的几个光学滤波器透射后的光，因此，作为各像素的光电二极管203a能够取得充足的信息。
本公开的拍摄***能够适用于各种摄像头。

Claims (6)

1.一种图像生成装置，具备：
随机光学滤波器阵列，其具有多个种类的光学滤波器和散射部；
光电二极管，其接收透过所述随机光学滤波器阵列后的光；
AD变换部，其将由所述光电二极管接收到的光变换为数字数据；以及
生成电路，其使用所述数字数据和所述随机光学滤波器阵列的调制信息，生成图像，
所述散射部位于所述多个种类的光学滤波器与所述光电二极管之间，或者所述多个种类的光学滤波器位于所述散射部与所述光电二极管之间，
所述散射部具有由具有第1折射率的材料形成的第1层和分散在所述第1层中的包含具有与所述第1折射率不同的第2折射率的材料的颗粒，
所述调制信息是采样矩阵，
所述采样矩阵不同于具有所述多个种类的光学滤波器且不具有所述散射部的第2光学滤波器阵列的第2采样矩阵。
2.根据权利要求1所述的图像生成装置，
在将表示所述数字数据的矩阵设为y，将所述采样矩阵设为A，将表示所述图像的矩阵设为x时，
满足y＝Ax，
所述采样矩阵A表示按各位置且根据波长频带而不同的光透射率和点扩散函数。
3.一种拍摄装置，具备：
随机光学滤波器阵列，其具有多个种类的光学滤波器和散射部；
多个光电二极管，其接收透过所述随机光学滤波器阵列后的光；以及
AD变换部，其将所述多个光电二极管各自接收到的光变换为数字数据，
所述散射部位于所述多个种类的光学滤波器与所述光电二极管之间，或者所述多个种类的光学滤波器位于所述散射部与所述光电二极管之间，
所述散射部具有由具有第1折射率的材料形成的第1层和分散在所述第1层中的包含具有与所述第1折射率不同的第2折射率的材料的颗粒，
所述数字数据和所述随机光学滤波器阵列的调制信息用于图像数据的生成，
所述调制信息是采样矩阵，
所述采样矩阵不同于具有所述多个种类的光学滤波器且不具有所述散射部的第2光学滤波器阵列的第2采样矩阵。
4.根据权利要求3所述的拍摄装置，
在将表示所述数字数据的矩阵设为y，将所述采样矩阵设为A，将表示所述图像的矩阵设为x时，
满足y＝Ax，
所述采样矩阵A表示按各位置且根据波长频带而不同的光透射率和点扩散函数。
5.一种图像生成装置，具备：
随机光学滤波器阵列，其具有多个种类的光学滤波器和散射部；
光电二极管，其接收透过所述随机光学滤波器阵列后的光；
AD变换部，其将由所述光电二极管接收到的光变换为数字数据；以及
生成电路，其使用所述数字数据和所述随机光学滤波器阵列的调制信息，生成图像，
所述散射部位于所述多个种类的光学滤波器与所述光电二极管之间，或者所述多个种类的光学滤波器位于所述散射部与所述光电二极管之间，
所述散射部具有由具有第1折射率的材料形成的第1层和分散在所述第1层中的包含具有与所述第1折射率不同的第2折射率的材料的颗粒，
所述调制信息与对应于所述散射部的点扩散函数相关。
6.一种拍摄装置，具备：
随机光学滤波器阵列，其具有多个种类的光学滤波器和散射部；
多个光电二极管，其接收透过所述随机光学滤波器阵列后的光；以及
AD变换部，其将所述多个光电二极管各自接收到的光变换为数字数据，
所述散射部位于所述多个种类的光学滤波器与所述光电二极管之间，或者所述多个种类的光学滤波器位于所述散射部与所述光电二极管之间，
所述散射部具有由具有第1折射率的材料形成的第1层和分散在所述第1层中的包含具有与所述第1折射率不同的第2折射率的材料的颗粒，
所述数字数据和所述随机光学滤波器阵列的调制信息用于图像数据的生成，
所述调制信息与对应于所述散射部的点扩散函数相关。
CN202111515894.4A 2016-12-27 2017-12-14 图像生成装置及拍摄装置 Active CN114189665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111515894.4A CN114189665B (zh) 2016-12-27 2017-12-14 图像生成装置及拍摄装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016254420 2016-12-27
JP2016-254420 2016-12-27
CN202111515894.4A CN114189665B (zh) 2016-12-27 2017-12-14 图像生成装置及拍摄装置
CN201711335074.0A CN108243331A (zh) 2016-12-27 2017-12-14 图像生成装置及拍摄装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201711335074.0A Division CN108243331A (zh) 2016-12-27 2017-12-14 图像生成装置及拍摄装置

Publications (2)

Publication Number Publication Date
CN114189665A CN114189665A (zh) 2022-03-15
CN114189665B true CN114189665B (zh) 2024-06-28

Family

ID=62630640

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111515894.4A Active CN114189665B (zh) 2016-12-27 2017-12-14 图像生成装置及拍摄装置
CN201711335074.0A Pending CN108243331A (zh) 2016-12-27 2017-12-14 图像生成装置及拍摄装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201711335074.0A Pending CN108243331A (zh) 2016-12-27 2017-12-14 图像生成装置及拍摄装置

Country Status (3)

Country Link
US (1) US10212401B2 (zh)
JP (1) JP6975897B2 (zh)
CN (2) CN114189665B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3846463A4 (en) * 2018-08-30 2021-09-22 Panasonic Intellectual Property Management Co., Ltd. IMAGE GENERATION DEVICE AND IMAGE GENERATION METHOD
US20210199503A1 (en) * 2019-12-26 2021-07-01 Industrial Technology Research Institute Data processing system disposed on sensor and method thereof
JP7309640B2 (ja) * 2020-03-18 2023-07-18 株式会社東芝 光学検査装置
JPWO2022162801A1 (zh) * 2021-01-27 2022-08-04
WO2022162800A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
JPWO2022239326A1 (zh) * 2021-05-12 2022-11-17

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110695A (zh) * 2009-11-06 2011-06-29 索尼公司 固体摄像器件、其制造方法和设计方法以及电子装置
CN102348075A (zh) * 2010-07-23 2012-02-08 美商豪威科技股份有限公司 具有双元件彩色滤波器阵列和三信道彩色输出的图像传感器
CN105742510A (zh) * 2014-12-11 2016-07-06 固安翌光科技有限公司 一种有机电致发光器件及其制备方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
JP4027441B2 (ja) * 1995-12-18 2007-12-26 オリンパス株式会社 カラー画像撮像装置
JP4311808B2 (ja) 1999-04-15 2009-08-12 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4279403B2 (ja) 1999-06-15 2009-06-17 富士フイルム株式会社 固体撮像装置およびその装置の製造方法
US8187726B2 (en) * 2005-08-09 2012-05-29 Sony Corporation Nanoparticle-resin composite material, light emitting device assembly, and filling material for the light-emitting device assembly
JP2007103401A (ja) * 2005-09-30 2007-04-19 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
JP5010533B2 (ja) * 2008-05-21 2012-08-29 株式会社リコー 撮像装置
KR101483714B1 (ko) * 2008-06-18 2015-01-16 삼성전자 주식회사 디지털 촬상 장치 및 방법
US8400537B2 (en) * 2008-11-13 2013-03-19 Omnivision Technologies, Inc. Image sensors having gratings for color separation
US9118797B2 (en) * 2009-11-20 2015-08-25 Tripurari Singh Method and system for robust and flexible extraction of image information using color filter arrays
KR20120106762A (ko) * 2009-11-20 2012-09-26 트리퓨라리 싱 압축 컬러 이미지 샘플링과 재구성을 위한 방법 및 시스템
US9099369B2 (en) * 2012-05-02 2015-08-04 Panasonic Intellectual Property Corporation Of America Solid-state image sensor
JP6361965B2 (ja) 2013-10-24 2018-07-25 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、符号化装置、および撮像方法
US9825073B2 (en) * 2014-05-23 2017-11-21 Omnivision Technologies, Inc. Enhanced back side illuminated near infrared image sensor
KR102323204B1 (ko) * 2014-08-22 2021-11-08 삼성전자주식회사 선명한 색 구현이 가능한 이미지 센서 및 그 제조방법
JP2016118710A (ja) * 2014-12-22 2016-06-30 大日本印刷株式会社 カラーフィルタ及び電子ペーパー
WO2016144108A1 (ko) * 2015-03-10 2016-09-15 크루셜텍 (주) 이미지 스캔 가능한 디스플레이 장치
JP6479519B2 (ja) * 2015-03-19 2019-03-06 三菱電機株式会社 光電変換素子およびその製造方法
CN104849874B (zh) * 2015-06-02 2017-04-19 西安电子科技大学 基于稀疏表示的随机散射光学成像***及成像方法
CN105006729B (zh) * 2015-08-20 2017-10-13 电子科技大学 随机激光器、随机谐振腔制造及探测微小颗粒浓度的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110695A (zh) * 2009-11-06 2011-06-29 索尼公司 固体摄像器件、其制造方法和设计方法以及电子装置
CN102348075A (zh) * 2010-07-23 2012-02-08 美商豪威科技股份有限公司 具有双元件彩色滤波器阵列和三信道彩色输出的图像传感器
CN105742510A (zh) * 2014-12-11 2016-07-06 固安翌光科技有限公司 一种有机电致发光器件及其制备方法

Also Published As

Publication number Publication date
US10212401B2 (en) 2019-02-19
JP6975897B2 (ja) 2021-12-01
US20180184052A1 (en) 2018-06-28
JP2018107794A (ja) 2018-07-05
CN108243331A (zh) 2018-07-03
CN114189665A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN114189665B (zh) 图像生成装置及拍摄装置
CN106575035B (zh) 用于光场成像的***和方法
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US10477120B2 (en) System and method for acquiring visible and near infrared images by means of a single matrix sensor
CN106507065B (zh) 拍摄装置、拍摄***、图像生成装置及滤色器
CN108696728B (zh) 图像生成装置、拍摄装置及拍摄***
WO2012153532A1 (ja) 撮像装置
JP2018107731A (ja) 画像生成装置及び撮像装置
JP2018513964A (ja) スナップショット型偏光ハイパースペクトルカメラ及び結像方法
JPWO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
US7602427B2 (en) Image sensor that provides raw output comprising compressed data
US20080007637A1 (en) Image sensor that provides compressed data based on junction area
KR101986998B1 (ko) 하이퍼스펙트럼 이미지 장치
US8736722B2 (en) Enhanced image capture sharpening
US10032253B2 (en) Imaging apparatus, imaging system, imaging method, and recording medium
Hernández et al. Quality evaluation of chromatic interpolation algorithms for image acquisition system
Richter Rate allocation for bayer-pattern image compression with JPEG XS
US10531104B2 (en) Imaging apparatus and imaging system
CN116417483A (zh) 一种光谱成像芯片及光谱成像芯片的制备方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant