CN110198391A - 摄像装置、摄像方法和图像处理装置 - Google Patents

摄像装置、摄像方法和图像处理装置 Download PDF

Info

Publication number
CN110198391A
CN110198391A CN201910035165.5A CN201910035165A CN110198391A CN 110198391 A CN110198391 A CN 110198391A CN 201910035165 A CN201910035165 A CN 201910035165A CN 110198391 A CN110198391 A CN 110198391A
Authority
CN
China
Prior art keywords
sensor image
image
complex sensor
image processing
complex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910035165.5A
Other languages
English (en)
Other versions
CN110198391B (zh
Inventor
中村悠介
田岛和幸
山口启太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN110198391A publication Critical patent/CN110198391A/zh
Application granted granted Critical
Publication of CN110198391B publication Critical patent/CN110198391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/60—Systems using moiré fringes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种摄像装置、摄像方法和图像处理装置，提供一种减少在摄像后要进行对焦调整等时的运算处理、适合传输无透镜摄像装置的传感器图像并实现各种功能的技术。摄像装置具有利用光栅图案来对光的强度进行调制的调制器；将从所述调制器透射后的光转换为电信号而生成传感器图像的图像传感器；从所述传感器图像生成具有复数的复数传感器图像的复数传感器图像处理部；和发送所述复数传感器图像的数据发送部。

Description

摄像装置、摄像方法和图像处理装置
技术领域
本发明涉及摄像装置、摄像方法和图像处理装置。
背景技术
作为本技术领域的背景技术，有国际公开第2017/149687号。该公报中，记载了：“通过使透过光栅基片的光线的入射角度的检测变得容易，而得到摄像装置能够高功能化的摄像装置。能够通过一种摄像装置解决，该摄像装置的特征在于，包括：将被摄像面上排列成阵列状的多个像素导入的光学像转换为图像信号并输出的图像传感器；设置在所述图像传感器的受光面上，对光的强度进行调制的调制器；暂时保存从所述图像传感器输出的图像信号的图像存储部；和进行从所述图像存储部输出的图像信号的图像处理的信号处理部，所述调制器具有由多个同心圆构成的第一光栅图案；所述信号处理部通过用由多个同心圆构成的虚拟的第二光栅图案对从所述图像存储部输出的图像信号进行调制而生成摩尔纹图案，与对焦位置相应地改变所述第二光栅图案的同心圆的大小。”
现有技术文献
专利文献
专利文献1：国际公开第2017/149687号
专利文献2：国际公开第2017/145348号
发明内容
发明要解决的课题
不使用透镜的无透镜摄像装置，作为能够实现小型且低成本的摄像装置受到期待。另外，摄像装置的网络连接对于图像分析等摄像装置的应用范围扩大而言成为必需的。但是，上述专利文献1中，关于根据用无透镜摄像装置摄像得到的传感器图像生成摩尔纹图像时实现对焦调整(重新对焦)、自动对焦、测距等功能的方法进行了说明。另外，专利文献2中，公开了通过正面侧光栅的相位和背面侧光栅的相位相互独立地以全部组合重合的方式配置而进行噪声除去的技术。但是，要对摄像得到的图像再次进行对焦调整等的情况下，需要再次进行用于显影用图案的相乘、噪声除去的运算处理，所以运算处理变得庞大。
本发明的目的在于提供一种减少在摄像后要进行对焦调整等时的运算处理、适合传输无透镜摄像装置的传感器图像并实现各种功能的技术。
用于解决课题的技术方案
本申请包括多个解决上述课题的至少一部分的手段，举其一例，如下所述。
本发明的一个方式的摄像装置包括：利用光栅图案来对光的强度进行调制的调制器；将从所述调制器透射后的光转换为电信号而生成传感器图像的图像传感器；从所述传感器图像生成具有复数的复数传感器图像的复数传感器图像处理部；和发送所述复数传感器图像的数据发送部。
发明效果
根据本发明，通过使处理简化、减小通信数据量，能够提供一种适合传输无透镜摄像装置的传感器图像并实现各种功能的技术。
上述以外的课题、结构和效果将通过以下实施方式的说明而说明。
附图说明
图1是表示第一实施方式的摄像装置的结构例的图。
图2是表示摄像部的结构例的图。
图3是表示摄像部的其他结构例的图。
图4是表示拍摄用图案的一例的图。
图5是表示拍摄用图案的其他例的图。
图6是说明斜向入射平行光的从图案基片表面向图像传感器的射影像产生面内偏移的图。
图7是表示拍摄用图案的投影像的一例的图。
图8是表示显影用图案的一例的图。
图9是表示基于相关显影方式的显影图像的一例的图。
图10是表示基于摩尔纹显影方式的摩尔纹的一例的图。
图11是表示基于摩尔纹显影方式的显影图像的一例的图。
图12是表示条纹扫描中的初始相位的组合的一例的图。
图13是表示空间分割条纹扫描中的拍摄用图案的一例的图。
图14是表示条纹扫描处理部的处理例的流程图。
图15是表示基于相关显影方式的图像处理部的处理例的流程图。
图16是表示基于摩尔纹显影方式的图像处理部的处理例的流程图。
图17是说明物***于无限远的情况下拍摄用图案被投影的图。
图18是说明物***于有限远的情况下拍摄用图案被放大的图。
图19是表示具有对焦功能的摄像装置的结构例的图。
图20是表示第二实施方式的摄像***的结构例的图。
图21是表示传感器图像的一例的图。
图22是表示传感器图像的亮度分布的一例的图。
图23是表示传感器图像的亮度分布的其他例的图。
图24是表示复数传感器图像的亮度分布的一例的图。
图25是表示复数传感器图像的复空间中的数据的一例的图。
图26是表示复数传感器图像的实部数据的直方图的一例的图。
图27是表示复数传感器图像的复空间中的数据的其他例的图。
图28是表示复数传感器图像的实部数据的直方图的其他例的图。
图29是表示复数传感器图像的复空间中的数据的另一个其他例的图。
图30是表示复数传感器图像的复空间中的数据的另一个其他例的图。
图31是表示第三实施方式的摄像***的结构例的图。
图32是表示数据量减少部的处理例的流程图。
图33是表示数据量减少部的处理的其他例的流程图。
图34是表示数据量减少部的处理的另一个其他例的流程图。
具体实施方式
以下实施方式中，为了方便而在必要时分割为多个段或实施方式进行说明，但除了特别声明的情况外，它们不是相互无关的，而是处于一方是另一方的一部分或全部的变形例、详细内容、补充说明等的关系。
另外，以下实施方式中，在提及要素的数量等(包括个数、数值、量、范围等)的情况下，除了特别声明的情况和原理上显然限定为特定数量等情况外，都不限定于该特定数量，可以是特定数量以上或以下。
进而，以下实施方式中，其构成要素(也包括要素步骤等)除了特别声明的情况和原理上认为显然是必需的等情况外，都不是必需的。
同样，以下实施方式中，在提及构成要素等的形状、位置关系等时，除了特别声明的情况和原理上认为显然并非如此等情况外，都包括实质上与该形状等近似或类似的形状等。这一点对于上述数值和范围也是同样的。
另外，用于说明实施方式的所有图中，对于同一部件原则上附加同一符号，省略其反复说明。以下，对于本发明的各实施方式用附图进行说明。
[第一实施方式]
<无限远物体的摄影原理>
图1是表示第一实施方式的摄像装置101的结构例的图。摄像装置101不使用成像的透镜而取得外界的物体的图像，由摄像部102、条纹扫描处理部106(也可以称为复数传感器图像处理部)、图像处理部107、和控制器108构成。
图2是表示摄像部102的结构例的图。摄像部102由图像传感器103、图案基片104和拍摄用图案105构成。能够将图案基片104与拍摄用图案105合称为调制器。
图案基片104与图像传感器103的受光面密合地固定，在图案基片104的表面形成有拍摄用图案105。图案基片104例如由玻璃或塑料等对于可见光透明的材料形成。
拍摄用图案105例如通过用半导体工艺中使用的溅射法等蒸镀铝、铬等金属而形成。通过蒸镀了铝的图案和未蒸镀的图案形成浓淡。
另外，拍摄用图案105的形成不限定于蒸镀，例如也可以通过用喷墨打印机等印刷等而形成浓淡等，只要是能够实现透射率的调制的方案就可以任意地形成。
另外，此处以可见光为例进行了说明，但例如进行远红外线的摄影的情况下，图案基片104例如由锗、硅、硫族化物等对于远红外线透明的材料形成。即，作为图案基片104，能够使用对于作为拍摄对象的波长透明的材料，作为拍摄用图案105，能够使用屏蔽作为拍摄对象的波长的材料。
另外，此处对于在图案基片104上形成拍摄用图案105的方法进行了叙述，但不限定于此。图3是表示摄像部102的其他结构例的图。用在薄膜上形成拍摄用图案105、对其用代替图案基片104地设置的支承部件301保持的结构，也能够实现摄像部102。能够将支承部件301和拍摄用图案105合称为调制器。另外，图1所示的摄像装置101中，拍摄视野角能够通过图案基片104的厚度来改变。从而，如果图3所示的支承部件301具有能够改变其长度的功能，则也能够改变拍摄视野角。
如图2或图3所示，图像传感器103例如由CCD(Charge Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等构成。在图像传感器103的摄像面(受光面)，阵列状地配置有作为受光元件的像素103a。透过拍摄用图案105的光，被其光栅图案调制光的强度，被图像传感器103受光。图像传感器103将像素103a受光的光图像转换为电信号即图像信号并输出。另外，图像信号(模拟的图像数据)例如经由模拟/数字转换电路被转换为数字信号，作为数字的图像数据输出。本说明书中，按摄像部102输出图像数据进行说明。
条纹扫描处理部106对从图像传感器103输出的图像数据进行基于条纹扫描的噪声除去，向图像处理部107输出。图像处理部107对从条纹扫描处理部106输出的图像数据进行规定的图像处理，向控制器108输出。控制器108对于从图像处理部107输出的图像数据，根据需要转换数据格式，保存在摄像装置101所具有的存储装置(未图示)，或者对外部的主机计算机或记录介质输出。
另外，控制器108例如能够用具有处理器、存储器、通信装置、处理电路等的单元实现。另外，控制器108例如也可以与USB(Universal Serial Bus：通用串行总线)、HDMI(High-Definition Multimedia Interface：高清多媒体接口)等与外部装置连接的输入输出接口连接或者具备它。条纹扫描处理部106和图像处理部107例如用图像处理电路实现。条纹扫描处理部106、图像处理部107和控制器108也可以一体地构成。
接着，对摄像装置101中的拍摄原理进行说明。
首先，拍摄用图案105是间距对于从中心起的半径成反比地变小的同心圆状的光栅图案，用从同心圆的中心即基准坐标起的半径r、系数β定义为：
【式1】
I(r)＝1+cosβr2 (1)
拍摄用图案105与该式成正比地对透射率进行调制。
具有这样的条纹的片，被称为Gabor波带片或Fresnel波带片。图4是表示拍摄用图案105的一例的图，示出了式(1)的Gabor波带片。图5是表示拍摄用图案105的其他例的图，示出了用阈值1将式(1)二值化得到的Fresnel波带片。
此后，为了简化而仅对于x轴方向用数学式说明，但能够通过同样地对于y轴方向考虑而展开至二维地考虑。
图6是说明斜向入射平行光的从图案基片表面向图像传感器的射影像产生面内偏移的图。设对于形成了拍摄用图案105的厚度d的图案基片104上，平行光在x轴方向上以角度θ0入射。设图案基片104中的折射角为θ，在几何光学上，乘以表面的光栅的透射率的光，偏移k＝d·tanθ地对图像传感器103入射。此时，在图像传感器103上检测出具有如下所示的强度分布的投影像：
【式2】
其中，Φ表示式(1)的透射率分布的初始相位。该拍摄用图像105的投影像(图7)如式(2)所示地平移k地投影。这是摄像部102的输出。
接着，关于图像处理部107中的处理，对于基于相关显影方式和摩尔纹显影方式的显影处理进行说明。
相关显影方式通过运算拍摄用图案105的投影像(图7)与显影用图案801(图8)的互相关函数，而得到平移量k的亮点(图9)。另外，一般而言因为用二维卷积运算进行互相关运算时运算量大，所以对于用傅立叶变换运算的例子，用数学式说明原理。
首先，显影用图案801与拍摄用图案105同样地使用Gabor波带片或Fresnel波带片。由此，显影用图案801可以用初始相位Φ表达为：
【式3】
IB(x)＝cos(βx2+Φ) (3)
显影用图案801是在图像处理部107的运算处理内作为虚拟的数据生成并使用的，所以不需要如式(1)所示按1偏移，即使具有负值也没有问题。
式(2)和式(3)的傅立叶变换分别成为：
【式4】
【式5】
此处，F表示傅立叶变换的运算，u是x方向的频率坐标，带有括号的δ是δ函数。该式中重要的在于傅立叶变换后的式也是Fresnel波带片或Gabor波带片这一点。由此，基于该数学式，也可以直接生成傅立叶变换后的显影用图案801。由此，能够减少运算量。
接着，将式(4)和式(5)相乘时，得到：
【式6】
该用指数函数表达的项exp(-iku)是信号成分，对该项进行傅立叶变换时，变换为：
【式7】
F-1[e-iku]＝2πδ(x+k) (7)
能够在原本的x轴上在k的位置得到亮点。该亮点表示无限远的光束，就是用图1的摄像装置101得到的摄影像。
另外，相关显影方式中，只要图案的自相关函数具有单一的峰值，就可以用不限定于Fresnel波带片或Gabor波带片的图案、例如用随机的图案实现。
接着，在摩尔纹显影方式中，通过将拍摄用图案105的投影像(图7)与显影用图案801(图8)相乘而生成摩尔纹(图10)，通过进行傅立叶变换而得到显影图像中的平移量kβ/π的亮点(图11)。用数学式表示该摩尔纹时，成为：
【式8】
可知该展开式的第三项是信号成分，在2个图案的重合的区域整面上生成在2个图案的偏离的方向上笔直的等间隔的条纹图案。通过这样的条纹与条纹的重合而以相对较低的空间频率生成的条纹被称为摩尔纹。该第三项的二维傅立叶变换是：
【式9】
此处，F表示傅立叶变换的运算，u是x方向的频率坐标，带有括号的δ是δ函数。根据该结果，可知在摩尔纹的空间频率谱中，空间频率的峰值在u＝±kβ/π的位置产生。该亮点表示无限远的光束，就是用图1的摄像装置101得到的摄影像。
另外，在摩尔纹显影方式中，只要通过图案的平移得到的摩尔纹具有单一的频率，就可以用不限定于Fresnel波带片或Gabor波带片的图案、例如用椭圆状的图案实现。
＜噪声抵消＞
在从式(6)向式(7)的变换、以及从式(8)向式(9)的变换中着眼于信号成分进行了叙述，但实际上信号成分以外的项妨碍显影。于是，进行基于条纹扫描的噪声抵消。
为了条纹扫描，需要使用初始相位Φ不同的多个图案作为拍摄用图案105。图12是表示条纹扫描中的初始相位的组合的一例的图。此处，对于使用Φ＝0、π/2、π、3π/2这4个相位拍摄的传感器图像按照下式进行运算时，可以得到复数的传感器图像(复数传感器图像)。
【式10】
此处，复数的显影用图案801可以表达为：
【式11】
ICB(x)＝exp(-iβx2) (11)
显影用图案801是在运算处理内使用的，所以即使是复数也没有问题。摩尔纹显影方式的情况下，将式(10)与式(11)相乘时，成为：
【式12】
该用指数函数表达的项exp(2iβkx)是信号成分，可知不会产生如式(8)所示的多余的项，噪声被抵消。
同样地对于相关显影方式也进行确认时，式(10)和式(11)的傅立叶变换分别成为：
【式13】
【式14】
接着，将式(13)与式(14)相乘时，成为：
【式15】
该用指数函数表达的项exp(-iku)是信号成分，可知不会产生如式(8)所示的多余的项，噪声被抵消。
另外，以上例子中，使用4个相位的多个图案进行了说明，但Φ只要设定为将0～2π之间的角度等分即可，不限定于该4个相位。
为了实现以上的使用多个图案进行的拍摄，有时间分割地切换图案的方法(时间分割条纹扫描)、和空间分割地切换图案的方法(空间分割条纹扫描)。
为了实现时间分割条纹扫描，例如用能够电子地切换图12所示的多个初始相位地显示(即能够变更图案)的液晶显示元件等构成拍摄用图案105。摄像部102同步地控制该液晶显示元件的切换时刻与图像传感器103的快门时刻，条纹扫描处理部106在取得4张图像之后实施条纹扫描运算。
与此相对，为了实现空间分割条纹扫描，例如如图13(表示空间分割条纹扫描中的拍摄用图案105的一例的图)所示，使用具有多个初始相位的拍摄用图案105。摄像部102控制图像传感器103的快门时刻，条纹扫描处理部106在取得1张图像之后，将该取得图像与各个初始相位的图案对应地分割为4张，实施条纹扫描运算。
接着，对于条纹扫描处理部106中的条纹扫描运算进行说明。图14是表示条纹扫描处理部106的处理例的流程图。
首先，条纹扫描处理部106取得从图像传感器103输出的多个相位图案的传感器图像(空间分割条纹扫描的情况下是1张，时间分割条纹扫描的情况下是多张)。条纹扫描处理部106在使用空间分割条纹扫描的情况下对于取得的传感器图像按每个相位进行分割(1401)，在使用时间分割条纹扫描的情况下不实施处理1401。接着，条纹扫描处理部106将输出用的复数传感器图像初始化(1402)。
接着，条纹扫描处理部106按每个初始相位反复进行处理1403～1405。例如，如图12所示的使用4个相位的条纹扫描中，反复进行Φ＝0、π/2、π、3π/2共4次。条纹扫描处理部106取得对象的初始相位Φ的传感器图像(1403)，乘以与该初始相位Φ对应的exp(iΦ)(1404)，将相乘结果相加至复数传感器图像(1405)。条纹扫描处理部106判断是否已完成对于全部初始相位的处理(1406)，未完成的情况下使处理返回1403(1406中的否)，已完成的情况下使处理前进至1407(1406中的是)。
最后，条纹扫描处理部106输出复数传感器图像(1407)。以上的条纹扫描处理部106中的处理相当于式(10)。
接着，对于图像处理部107中的图像处理进行说明。图15是表示基于相关显影方式的图像处理部107的处理例的流程图。
首先，图像处理部107取得从条纹扫描处理部106输出的复数传感器图像，对于复数传感器图像实施二维快速傅立叶变换(FFT：Fast Fourier Transform)运算(1501)。接着，图像处理部107生成显影处理中使用的显影用图案801，与二维FFT运算后的复数传感器图像相乘(1502)，实施逆二维FFT运算(1503)。因为其运算结果是复数，所以图像处理部107求绝对值或提取实部而将拍摄对象的像实数化来进行显影(还原)(1504)。之后，图像处理部107对于得到的显影图像实施对比度强调处理(1505)、色彩平衡调整(1506)等，作为拍摄图像输出。通过以上所述，基于相关显影方式的图像处理部107的图像处理结束。
与此相对，图16是表示基于摩尔纹显影方式的图像处理部107的处理例的流程图。
首先，图像处理部107取得从条纹扫描处理部106输出的复数传感器图像。图像处理部107生成显影处理中使用的显影用图案801并与复数传感器图像相乘(1601)，通过二维FFT运算求出频率谱(1602)，截取该频率谱中必要的频率区间的数据(1603)。此后的处理与图15中的处理1504～1506的处理是同样的。通过以上所述，基于摩尔纹显影方式的图像处理部107的图像处理结束。
＜有限远物体的摄影原理＞
图17是说明物***于无限远的情况下拍摄用图案105被投影的图。图17示出了以上所述的被摄体较远的情况下的拍摄用图案105向图像传感器103的射影的状况。来自构成远方的物体的点1701的球面波在传播充分长的距离时成为平面波照射拍摄用图案105，其投影像1702被投影至图像传感器103的情况下，投影像是与拍摄用图案105大致相同的形状。结果，对于投影像1702，通过使用显影用图案进行显影处理，能够得到单一的亮点。
另一方面，对于对有限远的物体的摄像进行说明。图18是说明物***于有限远的情况下拍摄用图案105被放大的图。来自构成物体的点1801的球面波照射拍摄用图案105，其投影像1802被投影至图像传感器103的情况下，投影像被大致均匀地放大。另外，其放大率α能够用从拍摄用图案105到点1801的距离f如下所示地计算出：
【式16】
因此，直接使用对于平行光设计的显影用图案进行显影处理，不能得到单一的亮点。于是，如果与均匀地放大的拍摄用图案105的投影像相应地，将显影用图案801放大，则对于放大的投影像1802能够再次得到单一的亮点。为此，通过使显影用图案801的系数β成为β/α2能够进行修正。由此，能够选择性地再现来自不一定是无限远的距离的点1801的光。由此，能够对任意的位置对焦进行拍摄。
进而，根据本结构，也能够在拍摄后对任意的距离对焦。图19是表示具有对焦功能的摄像装置101的结构例的图。与图1不同，摄像装置101具有对焦设定部1901。对焦设定部1901能够经由控制器108取得通过摄像装置101中所具有的旋钮等硬件开关或GUI(Graphical User Interface：图形用户界面)的操作输入的对焦距离，将对焦距离信息向图像处理部107输出。对焦设定部1901也可以在控制器108内实现。
进而，这样能够进行拍摄后的对焦调整，相当于具有深度信息，能够在图像处理部107中实现自动对焦和测距等各种功能。为了实现这样的对焦调整等功能，需要自由地改变显影用图案801的系数β，但如本实施方式中说明的条纹扫描处理部106中的处理一般，通过仅使用传感器图像实施条纹扫描运算，能够独立地实施使用显影用图案801的图像处理，能够使处理简化。即，在摄像后要进行对焦调整等时，无需用图像处理部再次进行条纹扫描，并且因为对于复数传感器图像运算显影用图案所以能够大幅削减运算量。
根据本实施方式的方法、结构，能够实现能够将摄像后的对焦调整、自动对焦和测距的图像处理与条纹扫描处理分离地实施的摄像装置。即，在摄像后要进行对焦调整等时，无需用图像处理部再次进行条纹扫描，并且因为对于复数传感器图像运算显影用图案所以能够大幅削减运算量。
[第二实施方式]
第一实施方式的摄像装置101中，因为对焦调整、自动对焦、测距等高功能化，存在图像处理部107的处理变得迟钝、进而摄像装置101的尺寸、成本、耗电增大的可能性。于是，第二实施方式中，对于用于减少摄像装置101的处理、尺寸、成本、耗电等的至少一项的处理分割方法进行说明。以下，以与第一实施方式的不同点为中心进行说明。
图20是表示第二实施方式的摄像***的结构例的图。摄像***将第一实施方式的摄像装置101分割为作为发送侧装置的摄像装置2001和作为接收侧装置的图像处理装置2002。本摄像***中，摄像装置2001与图像处理装置2002经由有线或无线或其组合的通信方式、或者存储介质发送接收数据。通信方式例如能够用LAN(Local Area Network)、互联网等各种通信网络的1个以上的组合构成。该情况下，图像处理装置2002例如能够用服务器计算机实现，该服务器计算机也可以能够与多个摄像装置2001通信。
摄像装置2001在摄像部102和条纹扫描处理部106之外还具有数据发送部2003。数据发送部2003将条纹扫描处理部106输出的复数传感器图像转换为对规定的通信网络或存储介质传输的格式并发送。数据发送部2003例如可以是符合有线或无线LAN的通信标准的接口，也可以是符合移动通信网络的通信标准的接口，也可以是符合USB(UniversalSerial Bus)等通信标准的接口。摄像装置2001也可以具有不同的通信标准的多个数据发送部2003，可以与通信环境相应地分别使用。
图像处理装置2002在图像处理部107和控制器108之外还具有数据接收部2004。数据接收部2004接收从摄像装置2001发送来的数据(复数传感器图像)，转换为图像处理部107中处理的规定的格式并输出。数据接收部2004是与上述数据发送部2003同样的接口。图像处理部107使用从数据接收部2004输出的复数传感器图像，实现对焦调整、自动对焦、测距等功能。
根据本实施方式的方法、结构，通过将传感器图像对外部装置传输，能够使摄像装置2001的结构变得简单，能够实现小型轻量、低成本。另外，通过将条纹扫描运算后的复数传感器图像对外部装置传输，例如能够用比摄像装置2001更高速的图像处理装置2002实现对焦调整、自动对焦、测距等高功能化。
[第三实施方式]
第二实施方式的摄像***中，存在摄像装置2001与图像处理装置2002之间的通信数据量较大、通信所需的传输带宽和耗电增大的可能性。于是，第三实施方式中，对于用于减小通信数据量的数据量减少方法进行说明。以下，以与第二实施方式的不同点为中心进行说明。
首先，对于减少传感器图像的数据量的方法进行叙述。图21表示拍摄某一被摄体的情况下的图像传感器103的输出即传感器图像的例子。图22是表示传感器图像的亮度分布的一例的图，表示对连接图21的AB的直线上的各像素位置的亮度进行映射的结果。这样，传感器图像中，因为相对于传感器动态范围，信号成分集中在范围中央附近，所以可以认为是易于进行数据压缩的形式。具体而言，通过仅提取信号成分的最大值与最小值的范围内的数据，削减除此以外的数据，能够减少必要比特数(例如削减高位比特)等，减少数据量。
但是，取决于拍摄的条件，如图23(表示传感器图像的亮度分布的其他例的图)所示，存在传感器上发生亮度不均、信号成分在传感器动态范围整体中分布的情况，该情况下数据削减效率变差。
于是，条纹扫描处理部106中的条纹扫描运算是有效的。例如，如图12所示的使用4个相位的条纹扫描中，使用了Φ＝0、π/2、π、3π/2的相位，Φ＝0和π、以及Φ＝π/2和3π/2这样的处于相位差π的关系的相位，是透过/非透过逆转的图案。即，亮度不均相同但图案逆转，所以只要在处于该关系的传感器图像之间进行相减，就能够如图24(表示复数传感器图像的亮度分布的一例的图)所示，得到除去亮度不均且平均值成为大致0的信号成分。由此，能够总是限制为信号成分处于规定范围内的数据，能够高效率地实施数据量减少处理。另外，该Φ＝0和π、以及Φ＝π/2和3π/2的相减结果，根据式(10)可知，是条纹扫描处理部106的输出即复数传感器像素的实部以及虚部。
接着，对于减少该复数传感器像素的数据量的方法详细进行说明。图25表示将复数传感器图像的数据映射至复空间上的例子。这样，条纹扫描运算后的复数传感器像素在复空间上分布。图26表示该复数传感器图像的实部数据的直方图的例子。计算出该分布2601的最大值(Imax)和最小值(Imin)，仅输出该范围内存在的实部数据即可。对于该复数传感器图像的虚部数据也是同样的。
另外，考虑传感器图像中也包括脉冲式的噪声时，存在仅输出最大值与最小值的范围的数据不能充分地减少数据量的可能性。另外，本实施方式中，可以认为显影后的数据分散于传感器整面，所以即使传感器图像的一部分的数据不足也不会对显影后的品质造成较大影响。因此，也可以采取输出图26的分布2601中以0为中心在分布的标准差σ内的范围的数据、或者输出3σ的范围的数据等、不输出分布的全部数据的方法。由此，能够进一步减少数据量。
另外，也可以不是按上述最大值与最小值、或者标准差，而是按预先设定的范围、精度限制输出数据。例如限制为预先设定的范围时，复数传感器像素的比特数是13比特的情况下，是总是削减最高位的5比特而按8比特输出这样的方法。另外，例如限制为预先设定的精度时，复数传感器像素的比特数是13比特的情况下，是总是削减最低位的5比特、或者进行修约处理而按8比特输出这样的方法。由此，不再需要计算最大值、最小值、标准差等，能够减少运算量。
另外，处理动态图像的情况下，对于上述最大值、最小值、标准差等，也可以使用在处理中的帧之前已处理的帧的结果决定范围、精度，对输出数据进行限制。由此，能够抑制运算处理的延迟造成的影响，并且效率良好地实施数据量减少。
图27表示将复数传感器图像的数据映射至复空间上的其他例。图28表示该复数传感器图像的实部数据的直方图的例子。这样，也存在分布2801的平均值μ0不是0的可能性。该情况下，也可以从数据中减去μ0并输出。本实施方式中，图像处理部107进行以傅立叶变换为主的显影处理，所以亮度的偏移对显影图像不会造成直接的影响。如果存在影响，则存在作为摩尔纹显影方式中的频率谱的直流成分具有峰值的可能性，但对此能够掩蔽该像素等而解决。
另外，图25、图27中，记载了在复空间中具有各向同性的分布的例子，但取决于拍摄状况也存在如图29、图30所示分布产生偏向的情况。图29、图30表示将复数传感器图像的数据映射至复空间上的另一个其他例。如图29所示的各向异性的分布中，辐角的平均值θ0是0时，只要在实部与虚部不同的范围内限制输出数据即可，但辐角的平均值θ0不是0的情况下，对复数传感器图像进行极坐标变换是有效的。进行极坐标变换之后，乘以辐角(-θ0)、并在实部与虚部不同的范围内限制输出数据即可。或者，限制复数传感器图像的相位数据的范围、精度，输出极坐标的振幅、相位的数据即可。同样地，在如图30所示的环状的分布中，对复数传感器图像进行极坐标变换也是有效的。以复数传感器图像的振幅的平均值r0为中心限制振幅数据的范围、精度，输出极坐标的振幅、相位的数据即可。
进而，在如图29所示的分布的偏向极端的情况下，也可以采取仅输出实部、虚部的任一方、或者振幅、相位的某一方的数据的方法。由此，能够大幅减少数据量。
对于用于实施以上的数据减少处理的结构进行说明。图31是表示第三实施方式的摄像***的结构例的图。与第二实施方式的摄像***(图20)的不同点是代替摄像装置2001的摄像装置3101。摄像装置3101与摄像装置2001不同，具有数据量减少部3102。摄像装置3101中，条纹扫描处理部106输出复数传感器图像，数据量减少部3102减少复数传感器图像的比特数等而减少数据量，数据发送部2003将数据量减少后的复数传感器图像对外部装置发送。
图32是表示数据量减少部3102的处理例的流程图。首先，数据量减少部3102取得从条纹扫描处理部106输出的复数传感器图像，在平均值μ0不是0的情况下减去平均值μ0(3201)。接着，数据量减少部3102将复数传感器图像分离为虚部、实部(3202)。接着，数据量减少部3102对于虚部、实部分别求最大值、最小值等而决定输出数据范围(3203)，决定该范围所需的比特精度之后(3204)，按决定的范围、精度限制输出数据的比特数并输出(3205)。
图33是表示数据量减少部3102的处理的其他例的流程图。图33与图32的处理的不同点是进行极坐标变换并输出。首先，数据量减少部3102取得从条纹扫描处理部106输出的复数传感器图像，在平均值μ0不是0的情况下减去平均值μ0(3201)。接着，数据量减少部3102将复数传感器图像变换为极坐标之后，分离为振幅、相位(3301)。接着，数据量减少部3102对于振幅、相位分别求最大值、最小值等而决定输出数据范围(3302)，决定该范围所需的比特精度之后(3303)，按决定的范围、精度限制输出数据的比特数并输出(3304)。由此，在分布在复空间中各向异性的情况下能够提高数据减少效率。
图34是表示数据量减少部3102的处理的另一个其他例的流程图。图34的流程图在处理3301与处理3302之间追加了处理3401，这一点与图33不同。数据量减少部3102从分离后的振幅、相位数据中减去与分布的形状相应的相位平均值θ0、振幅平均值r0(3401)。由此，能够更高效率地进行数据减少。
根据本实施方式的方法、结构，能够通过对传感器图像数据进行比特数削减而减小数据通信量，减少网络传输消耗的传输带宽和耗电。
以上，对于本发明用多个实施方式进行了说明。当然，本发明不限定于上述实施方式，包括各种变形例。例如，上述实施方式是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的全部结构。
另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，也能够在某个实施方式的结构上添加其他实施方式的结构。另外，对于各实施方式的结构的一部分，能够追加、删除、置换其他结构。
另外，对于上述各结构、功能、处理部、处理单元等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，上述各结构、功能等，也可以通过处理器解释、执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息，能够保存在存储器、硬盘、SSD(Solid State Drive：固态硬盘)等记录装置、或者IC卡、SD卡、DVD(DigitalVersatile Disc：数字多功能盘)等记录介质中。
另外，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
本发明不限于摄像装置、摄像方法、和图像处理装置，也能够以摄像***、图像处理方法、计算机可读取的程序等各种方式提供。
附图标记说明
101……摄像装置，102……摄像部，103……图像传感器，103a……像素，104……图案基片，105……拍摄用图案，106……条纹扫描处理部，107……图像处理部，108……控制器，301……支承部件，801……显影用图案，1701……点，1702……投影像，1801……点，1802……投影像，1901……对焦设定部，2001……摄像装置，2002……图像处理装置，2003……数据发送部，2004……数据接收部，2601……分布，2801……分布，3101……摄像装置，3102……数据量减少部。

Claims (23)

1.一种摄像装置，其特征在于，包括：
利用光栅图案来对光的强度进行调制的调制器；
将从所述调制器透射后的光转换为电信号而生成传感器图像的图像传感器；
从所述传感器图像生成具有复数的复数传感器图像的复数传感器图像处理部；和
发送所述复数传感器图像的数据发送部。
2.如权利要求1所述的摄像装置，其特征在于：
所述复数传感器图像处理部从至少2个以上各自不同的相位图案的所述传感器图像生成所述复数传感器图像。
3.如权利要求1所述的摄像装置，其特征在于：
所述复数传感器图像处理部基于下式生成所述复数传感器图像：
4.如权利要求1所述的摄像装置，其特征在于：
具有用于减少所述复数传感器图像的数据量的数据量减少部。
5.如权利要求4所述的摄像装置，其特征在于：
所述数据量减少部将所述复数传感器图像分离为实部和虚部来减少数据量。
6.如权利要求4所述的摄像装置，其特征在于：
所述数据量减少部将所述复数传感器图像分离为振幅和相位来减少数据量。
7.如权利要求4所述的摄像装置，其特征在于：
所述数据量减少部基于所述复数传感器图像的最大值和最小值决定数据范围和精度，来减少输出比特数。
8.如权利要求4所述的摄像装置，其特征在于：
所述数据量减少部基于所述复数传感器图像的分布的标准差决定数据范围和精度，来减少输出比特数。
9.一种能够与摄像装置进行通信的图像处理装置，其特征在于：
所述摄像装置包括：
利用第一光栅图案来对光的强度进行调制的调制器；
将从所述调制器透射后的光转换为电信号而生成传感器图像的图像传感器；
从所述传感器图像生成具有复数的复数传感器图像的复数传感器图像处理部；和
发送所述复数传感器图像的数据发送部，
所述图像处理装置包括：
接收所述复数传感器图像的数据接收部；和
基于所述复数传感器图像与第二光栅图案的数据的运算来将像还原的图像处理部。
10.如权利要求9所述的图像处理装置，其特征在于：
所述复数传感器图像处理部从至少2个以上各自不同的相位图案的所述传感器图像生成所述复数传感器图像。
11.如权利要求9所述的图像处理装置，其特征在于：
所述复数传感器图像处理部基于下式生成所述复数传感器图像：
12.如权利要求9所述的图像处理装置，其特征在于：
所述摄像装置具有用于减少所述复数传感器图像的数据量的数据量减少部。
13.如权利要求12所述的图像处理装置，其特征在于：
所述数据量减少部将所述复数传感器图像分离为实部和虚部来减少数据量。
14.如权利要求12所述的图像处理装置，其特征在于：
所述数据量减少部将所述复数传感器图像分离为振幅和相位来减少数据量。
15.如权利要求12所述的图像处理装置，其特征在于：
所述数据量减少部基于所述复数传感器图像的最大值和最小值决定数据范围和精度，来减少输出比特数。
16.如权利要求12所述的图像处理装置，其特征在于：
所述数据量减少部基于所述复数传感器图像的分布的标准差决定数据范围和精度，来减少输出比特数。
17.一种摄像装置，其特征在于，包括：
利用第一光栅图案来对光的强度进行调制的调制器；
将从所述调制器透射后的光转换为电信号而生成传感器图像的图像传感器；
从所述传感器图像生成具有复数的复数传感器图像的复数传感器图像处理部；和
基于所述复数传感器图像与第二光栅图案的数据的运算来将像还原的图像处理部。
18.如权利要求17所述的摄像装置，其特征在于：
所述复数传感器图像处理部从至少2个以上各自不同的相位图案的所述传感器图像生成所述复数传感器图像。
19.如权利要求17所述的摄像装置，其特征在于：
所述复数传感器图像处理部基于下式生成所述复数传感器图像：
20.一种摄像方法，其特征在于，包括：
利用第一光栅图案来对光的强度进行调制的调制步骤；
将所述调制后的光转换为电信号而生成传感器图像的图像生成步骤；
从所述传感器图像生成具有复数的复数传感器图像的复数传感器图像处理步骤；和
发送所述复数传感器图像的数据发送步骤。
21.如权利要求20所述的摄像方法，其特征在于：
在所述复数传感器图像处理步骤中，从至少2个以上各自不同的相位图案的所述传感器图像生成所述复数传感器图像。
22.如权利要求20所述的摄像方法，其特征在于：
在所述复数传感器图像处理步骤中基于下式生成所述复数传感器图像：
23.如权利要求20所述的摄像方法，其特征在于：
包括基于所述复数传感器图像与第二光栅图案的数据的运算来将像还原的图像处理步骤。
CN201910035165.5A 2018-02-27 2019-01-15 摄像装置、摄像方法和图像处理装置 Active CN110198391B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018033062A JP2019149674A (ja) 2018-02-27 2018-02-27 撮像装置、撮像方法、および画像処理装置
JP2018-033062 2018-02-27

Publications (2)

Publication Number Publication Date
CN110198391A true CN110198391A (zh) 2019-09-03
CN110198391B CN110198391B (zh) 2021-07-27

Family

ID=67686251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910035165.5A Active CN110198391B (zh) 2018-02-27 2019-01-15 摄像装置、摄像方法和图像处理装置

Country Status (3)

Country Link
US (1) US10951793B2 (zh)
JP (1) JP2019149674A (zh)
CN (1) CN110198391B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020854B (zh) * 2018-08-08 2021-09-03 麦克赛尔株式会社 摄像装置、摄像***和摄像方法
CN112334734A (zh) * 2018-09-18 2021-02-05 麦克赛尔株式会社 距离测量装置、摄像装置、距离测量***、距离测量方法和摄像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103604373A (zh) * 2013-11-20 2014-02-26 沈阳工业大学 光栅莫尔条纹小波细分方法及光栅位移测量装置
CN103654719A (zh) * 2012-08-30 2014-03-26 佳能株式会社 摄像设备和摄像方法以及图像处理设备和图像处理方法
WO2016203573A1 (ja) * 2015-06-17 2016-12-22 日立マクセル株式会社 撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6943827B2 (en) * 2001-04-16 2005-09-13 Kddi Corporation Apparatus for monitoring quality of picture in transmission
WO2017145348A1 (ja) 2016-02-26 2017-08-31 株式会社日立製作所 撮像装置
JP6571266B2 (ja) 2016-03-02 2019-09-04 株式会社日立製作所 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103654719A (zh) * 2012-08-30 2014-03-26 佳能株式会社 摄像设备和摄像方法以及图像处理设备和图像处理方法
CN103604373A (zh) * 2013-11-20 2014-02-26 沈阳工业大学 光栅莫尔条纹小波细分方法及光栅位移测量装置
WO2016203573A1 (ja) * 2015-06-17 2016-12-22 日立マクセル株式会社 撮像装置

Also Published As

Publication number Publication date
JP2019149674A (ja) 2019-09-05
CN110198391B (zh) 2021-07-27
US20190268507A1 (en) 2019-08-29
US10951793B2 (en) 2021-03-16

Similar Documents

Publication Publication Date Title
US9900510B1 (en) Motion blur for light-field images
EP3134868B1 (en) Generation and use of a 3d radon image
Liang et al. Programmable aperture photography: multiplexed light field acquisition
Venkataraman et al. Picam: An ultra-thin high performance monolithic camera array
US10511787B2 (en) Light-field camera
US8442397B2 (en) Modulator, apparatus for obtaining light field data using modulator, and apparatus and method for processing light field data using modulator
Greisen et al. An FPGA-based processing pipeline for high-definition stereo video
US9456195B1 (en) Application programming interface for multi-aperture imaging systems
WO2021030002A1 (en) Depth-aware photo editing
WO2019000676A1 (zh) 一种利用双摄像头实现三维图像的方法及装置
TWI519128B (zh) 利用多解析度程序產生堅固深度圖的系統與方法
CN106256124B (zh) 结构化立体
WO2016045425A1 (zh) 一种两视点立体图像合成方法及***
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US10341546B2 (en) Image processing apparatus and image processing method
JP6034197B2 (ja) 画像処理装置、３次元撮像装置、画像処理方法、および画像処理プログラム
US20190222752A1 (en) Sensors arragement and shifting for multisensory super-resolution cameras in imaging environments
CN110198391A (zh) 摄像装置、摄像方法和图像处理装置
US11570357B2 (en) Imaging device and imaging system
Hach et al. A novel RGB-Z camera for high-quality motion picture applications
CN110324513A (zh) 摄像装置，摄像模块和摄像方法
CN115244570A (zh) 合并分离像素数据以获得更深景深
CN108886592A (zh) 图像传感器、芯片、图像处理设备及相关方法
US10453183B2 (en) Image processing apparatus and image processing method
WO2023231140A1 (zh) 用于元成像的cis***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant