CN108702440A - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN108702440A CN108702440A CN201680082565.6A CN201680082565A CN108702440A CN 108702440 A CN108702440 A CN 108702440A CN 201680082565 A CN201680082565 A CN 201680082565A CN 108702440 A CN108702440 A CN 108702440A
- Authority
- CN
- China
- Prior art keywords
- raster pattern
- light
- grating
- photographic device
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
- G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
- G02F2201/30—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 grating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
Abstract
在不使用透镜地形成物体的像来实现摄像装置的薄型化的现有专利文献中,粘贴于图像传感器的基片的上表面形成的衍射光栅的图样为漩涡状等特殊的光栅图样,存在根据传感器接收的投影图样来求解用于将像再现的逆问题的运算变得复杂这样的技术问题,因此本发明的目的在于提供一种容易进行光线的入射角度的检测的技术,本发明的摄像装置的特征在于,包括:将呈阵列状排列于摄像面的多个像素所获取的光学像转换为图像信号后输出的图像传感器;设置在上述图像传感器的受光面的用于调制光的强度的调制部;和对上述图像传感器输出的输出图像实施图像处理的图像处理部,上述调制部具有光栅基片和在上述光栅基片的靠近上述图像传感器的受光面的第一面形成的第一光栅图样,上述光栅图样分别由多个同心圆构成,上述多个同心圆的间距与距基准坐标的距离成反比地变小,多个上述同心圆在上述光栅图样内相互不重叠。
Description
技术领域
本发明涉及摄像机等摄像装置,特别涉及该摄像装置的薄型化。
背景技术
对于搭载于智能手机等中的摄像机和越来越需要360°传感检测的车载摄像机要求进行薄型化,在美国专利申请US2014/0253781A1(专利文献1)等中记载有如下方法:在图像传感器粘贴特殊的衍射光栅基片,不使用透镜,而根据透射衍射光栅基片的光在传感器上产生的投影图样,通过逆问题运算来求取入射光的入射角,由此获得外界的物体的像。
此外,在美国专利申请US2015/0219808A1(专利文献2)等中记载有,作为上述衍射光栅基片,使用间距随着从中心向外侧去而减小的同心圆状的光栅图样。
现有技术文献
专利文献
专利文献1:美国专利申请US2014/0253781A1
专利文献2:美国专利申请US2015/0219808A1
发明内容
发明所要解决的问题
在专利文献1中,在粘贴于图像传感器的基片上表面形成的衍射光栅的图样为漩涡状等特殊的光栅图样,存在根据由传感器接收的投影图样来求解用于将像再现的逆问题的运算变得复杂的问题点。
在专利文献2中,上述同心圆状光栅图样使用多个相互重叠的衍射光栅,因此透射率低,并且彼此的同心圆光栅图样相干涉,存在导致再现图像的噪声增大的问题。
因此,本发明的目的在于,提供能够容易地检测光线的入射角度的技术,并且提供减少此时的光利用效率的下降,不产生彼此的同心圆光栅图样的干涉噪声的摄像装置。
用于解决问题的技术手段
用于解决上述问题的、本发明的一个代表性的摄像装置的特征在于:在粘贴于传感器上的基片的物体侧面,形成间距与距中心的距离成反比地变小的单一的同心圆状的光栅图样,对透射该光栅图样后的光再次进行间距与距中心的距离成反比地变小的同心圆状的强度调制,根据其调制像的二维傅立叶变换图像来获得外界的物体的像。
发明的效果
根据本发明,能够通过快速傅立叶变换(FFT)等简单的运算获得外界的物体像。此外,能够减少光的透射率的下降,消除再现图像中残留的彼此重叠的同心圆光栅图样的干涉噪声。
因为不使用透镜,所以对于无需进行由透镜的老化和偏移等引起的画质下降的车载摄像机和监视摄像机等的维护也是有效的。
上述以外的问题、结构和效果能够通过以下的实施方式的说明而明了。
附图说明
图1是表示本发明的基本实施方式的图。
图2是表示本发明的基本实施方式中的对外界的物体的影像进行拍摄的情形的图。
图3是说明斜向入射平行光造成的从光栅基片表面投向背面的投影像产生面内偏移的情况的图。
图4是说明光栅基片两个面的光栅的轴一致的情况下的莫尔条纹的生成和频谱的示意图。
图5是将表面光栅与背面光栅的轴错开配置的情况下的示意图。
图6是说明将光栅基片两个面的光栅错开配置的情况下的莫尔条纹的生成和频谱的示意图。
图7是表示以垂直入射平面波与其它9个不同的入射角的平面波的共计10个光进行照射时的空间频谱图像的计算结果的图。
图8是表示以垂直入射平面波与其它9个不同的入射角的平面波的共计10个光进行照射时的空间频谱图像的计算结果的俯瞰图。
图9是说明来自构成物体的各点的光与传感器所成的角的图。
图10是表示将2个光栅图样沿横向错开的情况下的空间频谱的图。
图11是表示将2个光栅图样沿纵向错开的情况下的空间频谱的图。
图12是表示按传感器灵敏度分布来实现背面侧光栅图样的情况下的实施例的图。
图13是表示在成像的物体处于有限距离的情况下投向表侧光栅图样的背面的投影相比于表侧光栅图样被放大的情况的图。
图14是表示用液晶元件来尺寸可变地显示表面光栅图样的实施例的图。
图15是表示用柱面透镜阵列来实现表侧光栅的情况下的实施例的图。
图16是表示搭载有本发明的摄像装置的智能手机的实施例的图。
图17是实施例1的图像处理电路框图。
图18是实施例3的图像处理电路框图。
图19是实施例4的图像处理电路框图。
图20是表示实施例7的3×3分割的光栅图样的图。
图21是表示实施例7的3×3分割的光栅图样的两个面的初始相位的配置的图。
图22是表示来自单一点光源的光射入实施例7的3×3分割的两面光栅而产生的莫尔条纹的图像的图。
图23是表示实施实施例7的噪声降低图像处理而获得的莫尔条纹的图像的图。
图24是实施例7的图像处理电路框图。
图25是表示实施例8的2×2分割的光栅图样的图。
图26是表示实施实施例8的噪声降低图像处理而获得的莫尔条纹的图像的图。
图27是实施例8的图像处理电路框图。
图28是表示作为车载摄像机搭载有本发明的摄像装置的汽车的实施例的图。
具体实施方式
以下,使用附图对实施例进行说明。
实施例1
图1是本发明的基本结构图。摄像装置101由两面光栅基片102、图像传感器103、图像处理电路106构成。两面光栅基片102紧贴固定于图像传感器103的受光面,在两面光栅基片102的表面,形成有越向外去光栅间隔(间距)与自中心起的半径成反比例地变得越窄的同心圆状的光栅图样104。此外,在背面的与图像传感器103的受光面相接的面也形成有同样的光栅图样105。透射这些光栅图样的光的强度由该光栅图样进行调制。透射的光由图像传感器103接收,其图像信号被图像处理电路106进行图像处理,输出至监视器107等。通常的摄像装置需要在传感器之前设置用于成像的透镜,不过在本发明中不需要透镜就能够取得外界的物体的图像。此时同心圆状光栅图样104没有与构成同心圆的各环形图样在相同面内交叉的其它光栅图样,不产生光栅图样间的不需要的干涉,能够抑制光利用效率的下降。
图2表示用图1的摄像装置对拍摄对象201实际进行拍摄并向监视器107输出的情形。使两面光栅基片102的光栅面与拍摄对象201正相对地进行拍摄。
图17是表示图像处理电路106的处理的内容的框图。对输入的莫尔条纹图像按彩色的RGB各成分进行二维FFT运算,求取频谱。截取其单侧频率的数据,进行强度计算。接着,对获得的图像进行噪声除去、对比度强调处理等,调节色彩平衡,作为拍摄图像输出。
以下,对拍摄原理进行说明。
首先,如以下那样定义间距相对于自中心起的半径成反比例地变小的同心圆状的光栅图样。在激光干涉仪等中,设想使接***面波的球面波与作为参照光使用的平面波相干涉的情况。在令自同心圆的中心的基准坐标起的半径为r、此处的球面波的相位为时,使用确定波面的弯曲的大小的系数β将该相位用数学式1表达。
(数学式1)
φ(r)=βr2……(1)
这是因为,虽然是球面波,但是以半径r的平方表示的是接***面波的球面波,因此能够仅以展开的最低次方近似。当使平面波干涉具有该相位分布的光时,获得如数学式2那样的干涉条纹的强度分布。
(数学式2)
这成为在满足数学式3的半径位置具有明亮的线的同心圆的条纹。
(数学式3)
φ(r)=βr2=2nπ(n=0,1,2,…)……(3)
当令条纹的间距为p时,获得数学式4,可知间距相对于半径成反比例地变窄。
(数学式4)
这样的条纹被称为菲涅耳波带片。作为图1所示的光栅图样104、105使用具有与这样定义的强度分布成比例的透射率分布的光栅图样。
当平行光如图3所示那样以角度θ0射入在两面形成有这样的光栅的厚度t的基片时,令基片中的折射角为θ,在几何光学上表面的光栅的透射率被倍增的光偏移δ=t·tanθ地射入背面,假设2个同心圆光栅的中心一致地形成的话,则背面的光栅的透射率偏移δ地相乘。此时,获得数学式5那样的强度分布。
(数学式5)
可知该展开式的第4项在重合的区域的一个面上形成在2个光栅的偏移的方向上笔直的等间隔的条纹图样。通过这样的条纹与条纹的重合而以相对低的空间频率产生的条纹称为莫尔条纹。这样笔直的等间隔的条纹在通过检测图像的二维傅立叶变换获得的空间频率分布中产生尖锐的峰。能够由其频率的值求取δ的值、即光线的入射角θ。很明显这样的在整个面均匀地按等间隔获得的莫尔条纹因为同心圆状的光栅配置的对称性而不依赖于偏移的方向地按相同的间距产生。
认为获得这样的条纹是由于按菲涅耳波带片形成了光栅图样,以这以外的光栅图样不可能在整个面获得均匀的条纹。可知在第2项也产生以莫尔条纹调制菲涅耳波带片的强度而产生的条纹,2个条纹的积的频谱成为各个傅立叶谱的卷积,因此不能获得尖锐的峰。当从数学式5,如数学式6那样仅提取尖锐的峰时,该傅立叶谱成为数学式7。
(数学式6)
(数学式7)
其中,此处F表示傅立叶变换的运算,u、v是x、y方向的空间频率坐标,带括弧的δ是狄拉克函数。由该结果可知,在检测图像的空间频谱中,莫尔条纹的空间频率的峰在u=±δβ/π的位置产生。
图4表示其情形。该图是左起为光线和基片的配置图、莫尔条纹、空间频谱的示意图,上排为(a)垂直入射,中排为(b)从左侧以角度θ射入光线的情况,下排为(c)从右侧以角度θ射入光线的情况。光栅基片102上的表侧光栅104与背侧光栅105的轴一致。在(a)中因为表侧光栅104与背侧光栅的阴影一致所以未产生莫尔条纹。在(b)和(c)中由于表侧光栅104与背侧光栅的偏移相等,因此产生相同的莫尔条纹,空间频谱的峰位置也一致,不能从空间频谱辨别出光线的入射角是(b)还是(c)。
为了避免这种情况,需要如图5所示那样预先将2个光栅相对于光轴相对地错开,以使得2个光栅的阴影相对于垂直射入基片的光线也偏移地重叠。在2个光栅的阴影相对于轴上的垂直入射平面波相对的偏移为δ0时,由入射角θ的平面波产生的偏移δ表示为数学式8。
(数学式8)
δ=δ0+ttanθ……(8)
此时,入射角θ的光线的莫尔条纹的空间频谱的峰在频率的正侧成为数学式9求得的位置。
(数学式9)
当令图像传感器的大小为S,令x、y各方向的像素数均为N时,通过快速傅立叶变换(FFT)形成的离散图像的空间频谱能够在-N/(2S)至+N/(2S)的范围内获得,因此,考虑到使正侧的入射角与负侧的入射角均匀地受光,垂直入射平面波(θ=0)引起的莫尔条纹的光谱峰位置为原点(DC)位置与例如+侧端的频率位置的中央位置、即数学式10的空间频率位置是妥当的。
(数学式10)
因此,2个光栅的相对中心位置偏移为数学式11是妥当的。
(数学式11)
图6表示预先使表侧光栅104与背侧光栅105错开的情况下的、光线与基片的配置和莫尔条纹与其空间频谱的示意图。与图4一样在左侧为光线和基片的配置图、中央列为莫尔条纹、右侧为空间频谱,上排为光线(a)垂直入射的情况,中排为从(b)左侧以角度θ入射的情况,下排为从(c)右侧以角度θ入射的情况。由于表侧光栅104与背侧光栅105预先错开δ0地配置,所以在(a)中也产生莫尔条纹,在空间频谱中出现峰。其错开量δ0如上述那样以使得峰位置出现在从原点起一侧的光谱范围的中央的方式进行设定。此时在(b)中为偏移δ变得更大的方向,在(c)中为变得更小的方向,因此与图4不同,(b)与(c)的差异能够由光谱的峰位置来辨别。该峰的光谱像即是表示无限远的光束的亮点,正是由本发明的摄像装置形成的像。
当令能够接收的平行光的入射角的最大角度为θmax时,根据数学式12,能够由本发明的摄像装置接收的最大视场角由数学式13求得。
(数学式12)
(数学式13)
当从与使用通常的透镜的成像的类推来考虑在传感器的端部形成焦点接收视场角θmax的平行光时,能够认为不使用透镜的本申请的成像光学***的有效焦点距离与数学式14相当。
(数学式14)
另外,设想光栅的透射率分布如以数学式2所示那样基本上具有正弦波特性,不过如果作为光栅的基本频率成分为那样的成分,则还考虑将光栅的透射率2值化,改变透射率高的光栅区域和低的区域的占比(duty),增加透射率高的区域的宽度而提高透射率。
在以上的说明中,入射光线均同时仅为1个入射角度,实际上本申请发明为了作为摄像机发挥作用,必须设想多个入射角度的光同时入射的情况。在这样的多个入射角的光在背侧光栅入射的时刻已经使多个表侧光栅104的像重合。如果这些光栅彼此产生莫尔条纹,则要担心其成为作为信号成分的阻碍与背面光栅的莫尔条纹的检测的噪声。但是实际上表侧光栅104的像彼此的重叠不会产生莫尔像的峰,产生峰的仅是与背侧光栅的重叠。以下说明其理由。首先,多个入射角的光线形成的表侧光栅104的阴影彼此的重叠不是积而是和,这有很大的差别。在1个入射角的光形成的表侧光栅104的阴影与背侧光栅105的重叠中,通过在作为表侧的阴影的光的强度分布上乘以背侧光栅105的透射率,能够得到从背侧光栅105透射后的光强度分布。与此相对,在入射表侧光栅104的多个角度不同的光形成的阴影彼此的重叠为光的重合,因此不是积而是和。在为和的情况下,如数学式15那样,成为在原来的菲涅耳波带片的光栅的分布上乘以莫尔条纹的分布后的分布。
(数学式15)
因此其频谱以各个频谱的重叠积分来表示,因此即使莫尔纹的光谱具有单独而尖锐的峰,实际上在其位置也仅产生菲涅耳波带片的频谱的镜像(ghost)。即在光谱中不产生尖锐的峰。因此即使射入多个入射角的光,检测的莫尔像的光谱也总仅是表侧光栅104与背侧光栅105的积的莫尔纹,既然背侧光栅105为单个,检测的光谱的峰相对于1个入射角也仅为1个。
以下,为了确认原理,在图7、图8表示进行的模拟的结果。
在均为传感器尺寸20mm□、视野角θmax=±70°、入射侧和出射侧光栅系数β=50(rad/mm2)、δ0=0.8mm、像素数为1024×1024、基片厚度1mm、基片屈折率1.5时,是射入垂直入射平面波、θx=50°θy=30°的入射光、θx=-30°θy=70°的入射光、θx=10°θy=-20°的入射光、θx=20°θy=30°的入射光、θx=30°θy=-40°的入射光、θx=-10°θy=40°的入射光、θx=-20°θy=-30°的入射光、θx=-30°θy=0°的入射光、θx=40°θy=50°的入射光的合计10个平面波时的光谱。图7是光谱图像的黑白反转像,图8是光谱图像的亮度的俯瞰图。原来的莫尔像自身的光栅间距也细,即使作为本说明书附图来显示也不能视认,因此省略。图中显示中心为DC成分、周边为±N/2S的空间频谱区域的整个区域。DC成分由于值大,因此遮挡除去,仅显示应该检测的峰成分。进一步,如果原样不变则光谱的峰宽度会变窄,不易视认,因此强调对比度。此外,在图7中将相应信号峰的位置以○号包围显示。图8的俯瞰图因为如果原样不变则线条不从峰通过而不能显示,所以显示使用网眼尺寸的平均滤波器后的结果。均表示基本上10个峰夹着原点在正负两侧能够作为共计20个峰检测到。在本实施例中光栅图样的最外周的间距为约6μm,有效的焦点距离为12.4mm。
此处,使用图9示意地说明此前对检测进行了说明的平行光与来自实际的物体的光的对应。来自构成物体201的各点的光、严密而言作为来自点光源的球面波射入本发明的摄像装置的光栅传感器一体基片901。此时光栅传感器一体基片901相对于物体足够小的情况下和足够远的情况下,能够将从各点对光栅传感器一体基片901进行照明的光的入射角看作相同。根据相对于由(9)式求取的微小角位移Δθ的莫尔纹的空间频率位移Δu为作为传感器的空间频率的最小分辨率的1/S以下的关系,将Δθ看作平行光的条件如数学式16那样表示。
(数学式16)
由此,例如在本实施例的条件中Δθ<0.18°,这是如果为20mm的传感器尺寸则只要离拍摄对象6m就能够实现的条件。
从以上的结果类推,可知使用本发明的摄像装置能够对无限远的物体成像。
实施例2
在本实施例中对令输出图像为横长形状的情况进行说明。在上述的实施例中,如图10所示那样将表侧光栅104与背侧光栅105左右错开。如果此时传感器的形状取正方形、其像素间距也在x方向与y方向上相同,则会如图的右侧所示那样,在传感器输出的空间频谱在x、y双方±N/S的频率范围内,像以左右分离的方式被再现。但是,如此,则像的图像基本上被限定于纵长的区域。因为一般由摄像机取得的图像为横长的长方形,所以作为与其相适的配置优选如图11所示那样配置。此时,表侧光栅104与背侧光栅105上下错开,在传感器输出的空间频率空间形成的图像上下分离。如此则输出图像能够为横长图像。
实施例3
在本实施例中,对在处理图像中虚拟地产生莫尔纹的情况进行说明。在上述的实施例中,在光栅基片的表侧与背侧将相同的光栅彼此错开地配置,由此,根据莫尔条纹的空间频谱来检测出入射的平行光的角度,构成像。本实施例的不同点在于结构上没有背面光栅105,背侧光栅105的作用由图像处理部承担。背侧的光栅是与传感器紧贴的对入射的光的强度进行调制的光学元件,因此能够通过有效地加入背侧的光栅的透射率来设定传感器的灵敏度,从而在处理图像中虚拟产生莫尔纹。图12是在光栅基片的背面不设置背面光栅105的情况下的实施方式。如此则能够将形成的光栅减少1面,能够削减元件的制造成本。但是,此时需要传感器的像素间距为能够充分再现光栅间距的程度那样小,或光栅间距为能够以传感器的像素间距再现的程度那样的大小。在基片的两个面形成光栅的情况下,并不一定需要能够以传感器的像素将光栅的间距析像,只要其莫尔像能够析像即可,因此能够相对于传感器间距单独地确定光栅间距。但是,在利用传感器再现光栅的情况下,需要使光栅与传感器的分辨率相同。在图像处理电路1201,如图18所示,对传感器输出图像进行与用于生成莫尔纹的背面光栅相当的背面光栅强度调制的处理,因此还需要设置进行该处理的强度调制电路。
如果能够这样使光栅可变、也就是使同心圆的大小可变,则能够使得检测光并不一定为平行光。如图13所示,来自构成物体的点1301的球面波照射表侧光栅104,其阴影1302投射至下边的面的情况下,投射于下边的面的像大致均匀地扩大。因此,对平行光直接乘以所设计的下面光栅的透射率分布时,不产生等间隔的直线状的莫尔条纹。但是,如果不与均匀地扩大的上表面光栅的阴影一致地扩大下面的光栅,则能够对扩大的阴影1302再次产生等间隔的直线状的莫尔条纹。由此,能够有选择地再现来自不一定无限远的距离的物点1301的光。因此,能够由此聚焦。
实施例4
在本实施例中对表侧基片的光栅使用液晶元件。与实施例3一样,表侧基片的光栅如果使用液晶元件等也能够可变。图14是表示使用由液晶基片1402将液晶层1401夹入并进行封装而成的液晶元件来显示表侧基片的可变光栅1403的情形的图。在液晶基片1402和光栅基片102形成有透明电极,通过未图示的电极,能够显示任意的光栅像。因为来自比无限远近的、有限距离的物点1301的光基本上为发散光,所以为了与背面光栅105在背面大小相同,在表面稍稍缩小地显示即可。如图19所示,在图像处理电路1404内置有液晶驱动电路,根据来自外部的焦点指定输入而生成表面光栅图样,与该图样相对应地驱动液晶驱动电路,由此使与传感器成为一体的液晶元件显示与任意的焦点位置对应的表面光栅图样。通过这样对表侧基片的光栅使用液晶元件,能够使表侧基片的光栅可变,也就是使同心圆的大小可变。
实施例5
在本实施例中,如图15所示那样令入射侧光栅的各光栅为柱面透镜1501。各光栅线全部作为柱面透镜呈阵列状形成。由此能够降低浓淡光栅的遮蔽部所引起的光量损失,提高本发明的摄像装置的光利用效率。
实施例6
在本实施例中,说明如图16所示那样将本发明的摄像装置搭载于智能手机的情况。因为能够将摄像装置在形成得薄的状态下使数值孔径大,所以依据数学式14能够使有效的焦点距离长,因此能够解决现有技术的智能手机用摄像机那样由于数值孔径变小、焦点距离变短而像呆板而没有朦胧感的问题。在侧面设置有焦点调节钮1602,可使一体地内置于传感器中的液晶元件所显示的背面光栅图样与输入的焦点指定相应地改变,能够拍摄处于任意距离的物体的像。
实施例7
在上述实施例1的原理说明中,说明了数学式5中得到信号的尖锐的峰的仅是第4项的莫尔条纹的频率的情况,不过根据光学***和拍摄对象的条件,存在第2、第3项成为噪声而影响再现图像的画质的情况。因此对除去这些噪声的结构进行说明。
本实施例的处理流程的框图主要在图24表示,加上图17,添加莫尔条纹噪声除去的过程。
为了除去噪声,在本实施例中,在图20表示表侧光栅104和背侧光栅105,在分割为3×3以上的区域分别形成单独的波带片。各个波带片不重叠地排列。此时,在表侧光栅104在上排、中排、下排,背侧光栅105在左侧、左右中间、右侧,令各个光栅的初始相位一致为 它们如图21所示那样,表侧光栅104的相位与背侧光栅的相位以彼此单独地按所有组合彼此重叠的方式配置。此时传感器面上的光强度Is能够如数学式17那样表示。
(数学式17)
Ik是第k个点光源的表侧光栅104的阴影的光强度分布,I是背侧光栅105的透射率分布。表侧光栅104的初始相位背侧光栅105的初始相位分别如上述那样取这3个值。假定照射表侧光栅104的第k个点光源以Ak的强度发光,具有δk的偏移地在传感器上形成表侧光栅104的阴影。(17)式的下级的式的{}内的第2项为表侧光栅的阴影,第3项为背侧光栅的强度调制,第4项为2个光栅的和频成分,第5项为差频成分,是作为本发明的信号成分的莫尔条纹的项。因此仅提取具有该的附加相位的成分即可。
在着眼于和如数学式18那样表示(17)式时,能够利用三角函数的正交性将的系数以数学式19、数学式20那样提取。
(数学式18)
(数学式19)
(数学式20)
进一步,以下在将的项提取时,能够如数学式21、数学式22那样表示。
(数学式21)
(数学式22)
将它们两边分别相加时,能够获得数学式23,这结果与如数学式24那样仅提取(17)式的莫尔纹成分相对应。
(数学式23)
(数学式24)
该运算与对表侧光栅104的相位与背侧光栅105的相位的双方进行二维扫描而积分相对应。为了将该积分按作为最低限度的采样点数的3点离散化,使用图20、图21中说明的3×3的两面菲涅耳波带片。图22表示单一的点光源的通过该3×3的两面光栅获得的莫尔条纹。虽然看起来多个菲涅耳波带片交叉,但是这是由射入没有交叉的两面的菲涅耳波带片的光呈传感器状形成的光强度分布。进一步,图23表示使用数学式24将来自该3×3的各单元的莫尔条纹合成而获得的莫尔条纹。莫尔条纹以外的不需要的噪声大幅下降。由此能够提高拍摄图像的品质。
实施例8
图25进一步表示另一个表侧光栅104的实施例。本实施例的处理流程的框图在图27表示,与图18相比加上莫尔条纹噪声除去的过程。设想这是令背侧光栅105不为固定光栅而呈菲涅耳波带片状虚拟赋予传感器灵敏度的情况和使用液晶元件等的情况。表侧光栅分为2×2个区域,各个菲涅耳波带片的初始相位各错开90°。在实施例7中,在列或行使相位错开,但在本实施例中在所有区域改变相位。图26表示由单一点光源形成的莫尔条纹的再现像。与图23相比噪声进一步下降。这样,通过使背侧的虚拟波带片的相位在整个区域各错开90°地改变4步相位而生成莫尔条纹,能够在两面光栅均进行4相位的积分运算。此外,通过分割得更细,能够期待噪声降低效果的进一步提高。
实施例9
图28表示将本申请发明的摄像装置用于汽车2801周围360°的传感检测的实施例。本发明的摄像装置101由于不使用透镜,所以能够期待其形成得薄、抵抗经时偏移和劣化的能力等也强、价格还便宜。因此认为能够以使得可视区域2802覆盖汽车的四周的方式大量配置,能够消除驾驶员的死角,有助于安心安全社会的实现。
另外,本发明并不限定于上述的实施例,包括多种变形例。例如,上述的实施例为了将本发明说明得容易明白而进行了详细的说明,但是并不一定限定于包括所说明的所有结构。
此外,能够将一个实施例的结构的一部分替换到另一个实施例的结构,此外,还能够在一个实施例的结构中加入另一个实施例的结构。
此外,能够对各实施例的结构的一部分进行其它结构的追加、削除和替换。
上述的各结构、功能、处理部、处理单元等例如也可以通过利用集成电路等进行设计、利用硬件实现其一部分或全部。此外,上述各结构、功能等也可以通过对信息处理器实现各自的功能的程序进行解释、执行而以软件实现。实现各功能的程序、图表、文件夹等信息能够存储于存储器、硬盘、SSD(Solid State Drive:固态硬盘)等记录装置或IC卡、SD卡、DVD等记录介质。
此外,对于控制线和信息线,仅展示在说明上被认为需要的部分,并不一定展示制品上的所有的控制线和信息线。实际上也可以认为几乎所有的结构相互连接。
附图标记的说明
101……摄像装置,102……两面光栅基片,103……图像传感器,
104……表侧光栅,105……背侧光栅,106、1201……图像处理电路,
107……监视器,201……拍摄对象,
901……光栅传感器一体基片,1301……构成物体的点,
1302……表侧光栅的阴影,1401……液晶层,1402……液晶基片,
1403……可变表侧光栅,1501……柱面透镜光栅,
1601……智能手机,1602……焦点调节钮,
2801……汽车,2802……摄像装置的可视区域。
Claims (14)
1.一种摄像装置,其特征在于,包括:
图像传感器,其将呈阵列状排列于摄像面的多个像素所获取的光学像转换为图像信号后输出;
设置在所述图像传感器的受光面的用于调制光的强度的调制部;和
对由所述图像传感器输出的输出图像实施图像处理的图像处理部,
所述调制部具有光栅基片和在所述光栅基片的靠近所述图像传感器的受光面的第一面形成的第一光栅图样,
所述光栅图样分别由多个同心圆构成,所述多个同心圆的间距与距基准坐标的距离成反比地变小,
多个所述同心圆在所述光栅图样内相互不重叠。
2.如权利要求1所述的摄像装置,其特征在于:
所述调制部具有在与所述第一面相对的第二面形成的第二光栅图样,
所述调制部使用所述第二光栅图样来调制透射所述第一光栅图样的光的强度,并将调制后的光输出至所述图像传感器。
3.如权利要求1所述的摄像装置,其特征在于:
所述图像处理部对输出的图像进行二维傅立叶变换运算。
4.如权利要求2所述的摄像装置,其特征在于:
所述第二光栅图样设置在所述光栅基片的背面。
5.如权利要求1所述的摄像装置,其特征在于:
所述图像处理部具有强度调制部,所述强度调制部进行虚拟地调制透射所述第一光栅图样的光的强度的处理,
所述调制部将透射所述第一光栅图样的光输出至所述图像传感器,所述图像传感器将获取的图像输出至所述图像处理部,
所述强度调制部基于由所述图像传感器获取的图像,进行使用虚拟的第二光栅图样来调制透射所述第一光栅图样的光的强度的处理。
6.如权利要求2所述的摄像装置,其特征在于:
所述第一光栅图样的所述基准坐标的位置和所述第二光栅图样的所述基准坐标的位置,相对于通过所述图像传感器的中央且与受光面垂直的轴,彼此向反方向偏移。
7.如权利要求6所述的摄像装置,其特征在于:
所述第一光栅图样的所述基准坐标的位置和所述第二光栅图样的所述基准坐标的位置在从所述图像处理部输出的图像的短边方向上偏移。
8.一种摄像装置,其特征在于,包括:
图像传感器,其将呈阵列状排列于摄像面的多个像素所获取的光学像转换为图像信号后输出;
设置在所述图像传感器的受光面的用于调制光的强度的调制部;和
对由所述图像传感器输出的输出图像实施图像处理的图像处理部,
所述调制部具有光栅基片和显示第一光栅图样的液晶元件,
所述光栅图样分别由多个同心圆构成,所述多个同心圆的间距与距基准坐标的距离成反比地变小,多个所述同心圆在所述光栅图样内相互不重叠,
所述液晶元件能够变更所述第一光栅图样的所述同心圆的大小。
9.如权利要求5所述的摄像装置,其特征在于:
所述强度调制部以变更所述第二光栅图样的所述同心圆的大小的方式对透射所述第一光栅图样的光进行强度调制。
10.如权利要求1所述的摄像装置,其特征在于:
所述第一光栅图样由柱面透镜形成。
11.如权利要求1所述的摄像装置,其特征在于:
所述第一光栅图样分为多个区域,在每个所述区域配置不同的同心圆光栅图样。
12.如权利要求11所述的摄像装置,其特征在于:
按每一个所述区域单独地设定相位。
13.如权利要求2所述的摄像装置,其特征在于:
所述第一光栅图样和第二光栅图样分为多个区域,
以相邻区域中的图样彼此不同的方式配置同心圆光栅图样,
所述第一光栅图样内的所述多个区域的光栅的相位与所述第二光栅图样内的所述多个区域的相位的组合以按多种组合彼此重叠的方式配置。
14.如权利要求13所述的摄像装置,其特征在于:
所述图像处理部对输出的图像进行提取莫尔条纹成分的运算,
所述运算基于所述第一光栅图样内的所述多个区域的相位与所述第二光栅图样内的所述多个区域的相位的组合进行。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/055741 WO2017145348A1 (ja) | 2016-02-26 | 2016-02-26 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108702440A true CN108702440A (zh) | 2018-10-23 |
CN108702440B CN108702440B (zh) | 2021-06-29 |
Family
ID=59684938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680082565.6A Active CN108702440B (zh) | 2016-02-26 | 2016-02-26 | 摄像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10911643B2 (zh) |
JP (1) | JP6820908B2 (zh) |
CN (1) | CN108702440B (zh) |
WO (1) | WO2017145348A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110031972A (zh) * | 2019-05-23 | 2019-07-19 | 电子科技大学 | 一种基于菲涅尔光圈的无镜头红外图像处理方法、存储介质和终端 |
US11399134B2 (en) | 2018-03-14 | 2022-07-26 | Sony Corporation | Image processing apparatus, imaging apparatus, and image processing method |
US11451715B2 (en) | 2017-10-19 | 2022-09-20 | Sony Corporation | Imaging apparatus, exposure controlling method, and imaging device |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6688716B2 (ja) * | 2016-10-04 | 2020-04-28 | 株式会社日立製作所 | 撮像装置および撮像方法 |
WO2019078332A1 (ja) * | 2017-10-19 | 2019-04-25 | ソニー株式会社 | 信号処理装置及び撮像装置 |
JP6864604B2 (ja) * | 2017-11-02 | 2021-04-28 | 株式会社日立製作所 | 撮像装置 |
JP7061883B2 (ja) * | 2018-01-22 | 2022-05-02 | マクセル株式会社 | 画像表示装置および画像表示方法 |
JP7278454B2 (ja) * | 2018-01-22 | 2023-05-19 | マクセル株式会社 | 画像表示装置 |
JP2019149674A (ja) | 2018-02-27 | 2019-09-05 | 株式会社日立製作所 | 撮像装置、撮像方法、および画像処理装置 |
US11663708B2 (en) * | 2018-03-06 | 2023-05-30 | Sony Corporation | Image processing apparatus, imaging apparatus, and image processing method |
JP6814762B2 (ja) | 2018-03-16 | 2021-01-20 | 株式会社日立製作所 | 撮像装置 |
JP7076246B2 (ja) | 2018-03-23 | 2022-05-27 | マクセル株式会社 | 撮像装置および撮像システム |
JP6924163B2 (ja) * | 2018-03-27 | 2021-08-25 | 株式会社日立製作所 | 撮像装置、撮像モジュールおよび撮像方法 |
WO2020031299A1 (ja) * | 2018-08-08 | 2020-02-13 | マクセル株式会社 | 撮像装置、撮像システム、及び撮像方法 |
CN110519500A (zh) * | 2019-09-17 | 2019-11-29 | 深圳传音控股股份有限公司 | 摄像模组、电子设备及图像获取方法 |
JPWO2021075527A1 (zh) * | 2019-10-18 | 2021-04-22 | ||
EP4054170A4 (en) * | 2019-10-30 | 2023-05-24 | Sony Group Corporation | IMAGING DEVICE, DISPLAY DEVICE AND IMAGING SYSTEM |
JP7468546B2 (ja) | 2019-12-03 | 2024-04-16 | ソニーグループ株式会社 | 撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置 |
US20240114254A1 (en) * | 2020-12-08 | 2024-04-04 | Sony Group Corporation | Image processing apparatus, image processing method, and program |
JP2021064000A (ja) * | 2021-01-04 | 2021-04-22 | 株式会社日立製作所 | 撮像装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1116719A (zh) * | 1993-10-18 | 1996-02-14 | 松下电器产业株式会社 | 衍射光学器件 |
CN101443689A (zh) * | 2006-05-15 | 2009-05-27 | 松下电器产业株式会社 | 衍射摄像透镜和衍射摄像透镜光学***及使用其的摄像装置 |
CN101567173A (zh) * | 2009-05-26 | 2009-10-28 | 重庆大学 | 光栅光调制器投影装置的控制扫描电路 |
CN103067664A (zh) * | 2012-12-29 | 2013-04-24 | 中南大学 | 一种基于光学原理的图像压缩及解压缩方法 |
CN104006765A (zh) * | 2014-03-14 | 2014-08-27 | 中国科学院上海光学精密机械研究所 | 单幅载频干涉条纹相位提取方法及检测装置 |
US20150219808A1 (en) * | 2013-08-28 | 2015-08-06 | Rambus Inc. | Patchwork fresnel zone plates for lensless imaging |
CN105008969A (zh) * | 2013-03-05 | 2015-10-28 | 拉姆伯斯公司 | 用于高分辨率无透镜光学传感的具有奇对称的相位光栅 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01242033A (ja) | 1988-03-23 | 1989-09-27 | Toshiba Corp | 計測内視鏡装置 |
JP2000035345A (ja) * | 1998-07-16 | 2000-02-02 | Koyo Seiko Co Ltd | 光学式ロータリエンコーダ |
CN1141602C (zh) | 2001-08-14 | 2004-03-10 | 中国科学院长春光学精密机械与物理研究所 | 连续变焦菲涅耳微透镜阵列器件 |
JP2003188629A (ja) * | 2001-12-19 | 2003-07-04 | Nippon Telegr & Teleph Corp <Ntt> | 指向性可変アンテナ |
JP5611588B2 (ja) | 2006-07-18 | 2014-10-22 | セルオプティック、インコーポレイテッドCelloptic, Inc. | 受信電磁放射線から物体の3次元情報を抽出するシステム、装置および方法 |
JP5040493B2 (ja) | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
US8825436B2 (en) * | 2011-03-09 | 2014-09-02 | Moog Inc. | Inertial sensing with spatially distributed sensor array and two dimensional data processing |
JP6195830B2 (ja) | 2011-07-14 | 2017-09-13 | ホワルド フグヘス メドイクアル インストイトウテ | 適応光学系を有する顕微鏡検査法 |
JP2013225417A (ja) | 2012-04-20 | 2013-10-31 | Minebea Co Ltd | 面状照明装置 |
US9110240B2 (en) | 2013-03-05 | 2015-08-18 | Rambus Inc. | Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing |
US9933685B2 (en) * | 2013-08-05 | 2018-04-03 | The Hong Kong University Of Science And Technology | Switchable liquid crystal fresnel lens |
DE102014224638A1 (de) * | 2014-12-02 | 2016-06-02 | Olympus Soft Imaging Solutions Gmbh | Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System |
JP6491332B2 (ja) * | 2015-06-17 | 2019-03-27 | マクセル株式会社 | 撮像装置 |
JP6688716B2 (ja) * | 2016-10-04 | 2020-04-28 | 株式会社日立製作所 | 撮像装置および撮像方法 |
JP6685887B2 (ja) * | 2016-12-13 | 2020-04-22 | 株式会社日立製作所 | 撮像装置 |
-
2016
- 2016-02-26 US US16/078,751 patent/US10911643B2/en active Active
- 2016-02-26 WO PCT/JP2016/055741 patent/WO2017145348A1/ja active Application Filing
- 2016-02-26 JP JP2018501517A patent/JP6820908B2/ja active Active
- 2016-02-26 CN CN201680082565.6A patent/CN108702440B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1116719A (zh) * | 1993-10-18 | 1996-02-14 | 松下电器产业株式会社 | 衍射光学器件 |
CN101443689A (zh) * | 2006-05-15 | 2009-05-27 | 松下电器产业株式会社 | 衍射摄像透镜和衍射摄像透镜光学***及使用其的摄像装置 |
CN101567173A (zh) * | 2009-05-26 | 2009-10-28 | 重庆大学 | 光栅光调制器投影装置的控制扫描电路 |
CN103067664A (zh) * | 2012-12-29 | 2013-04-24 | 中南大学 | 一种基于光学原理的图像压缩及解压缩方法 |
CN105008969A (zh) * | 2013-03-05 | 2015-10-28 | 拉姆伯斯公司 | 用于高分辨率无透镜光学传感的具有奇对称的相位光栅 |
US20150219808A1 (en) * | 2013-08-28 | 2015-08-06 | Rambus Inc. | Patchwork fresnel zone plates for lensless imaging |
CN104006765A (zh) * | 2014-03-14 | 2014-08-27 | 中国科学院上海光学精密机械研究所 | 单幅载频干涉条纹相位提取方法及检测装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11451715B2 (en) | 2017-10-19 | 2022-09-20 | Sony Corporation | Imaging apparatus, exposure controlling method, and imaging device |
US11399134B2 (en) | 2018-03-14 | 2022-07-26 | Sony Corporation | Image processing apparatus, imaging apparatus, and image processing method |
CN110031972A (zh) * | 2019-05-23 | 2019-07-19 | 电子科技大学 | 一种基于菲涅尔光圈的无镜头红外图像处理方法、存储介质和终端 |
Also Published As
Publication number | Publication date |
---|---|
CN108702440B (zh) | 2021-06-29 |
JP6820908B2 (ja) | 2021-01-27 |
US20190020789A1 (en) | 2019-01-17 |
WO2017145348A1 (ja) | 2017-08-31 |
US10911643B2 (en) | 2021-02-02 |
JPWO2017145348A1 (ja) | 2018-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108702440A (zh) | 摄像装置 | |
CN107736012B (zh) | 摄像装置和图像生成方法 | |
CN108616677B (zh) | 摄像装置 | |
Cao et al. | A prism-mask system for multispectral video acquisition | |
CN109804616B (zh) | 摄像装置 | |
CN109508683B (zh) | 用于显示装置的纹路识别方法、纹路检测芯片及显示装置 | |
CN107896292A (zh) | 摄像装置和摄像方法 | |
JP6646619B2 (ja) | 撮像装置 | |
JP2019087796A (ja) | 撮像装置 | |
JP6770164B2 (ja) | 撮像装置 | |
US11776297B2 (en) | Coordinate transformation method used for imaging under screen, storage medium and electronic device | |
JP2021007235A (ja) | 携帯情報端末 | |
WO2020178905A1 (ja) | 撮像装置及び撮像方法 | |
WO2024070437A1 (ja) | 空中浮遊映像表示装置 | |
US20230403455A1 (en) | Method and apparatus with image quality improvement | |
JP2021064000A (ja) | 撮像装置 | |
JP2022177064A (ja) | 画像生成方法 | |
JP2019140681A (ja) | 撮像装置及び画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |