CN110073652A - 成像装置以及控制成像装置的方法 - Google Patents
成像装置以及控制成像装置的方法 Download PDFInfo
- Publication number
- CN110073652A CN110073652A CN201780075273.4A CN201780075273A CN110073652A CN 110073652 A CN110073652 A CN 110073652A CN 201780075273 A CN201780075273 A CN 201780075273A CN 110073652 A CN110073652 A CN 110073652A
- Authority
- CN
- China
- Prior art keywords
- unit
- imaging
- distance
- imaging device
- phase difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 206
- 238000000034 method Methods 0.000 title claims description 37
- 238000005259 measurement Methods 0.000 claims abstract description 65
- 238000001514 detection method Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 description 62
- 238000010586 diagram Methods 0.000 description 34
- 239000007787 solid Substances 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
Abstract
为了在对帧进行成像的成像装置中减少帧的处理量。成像装置包括距离测量传感器、控制单元、以及成像单元。在该成像装置中，距离测量传感器测量要成像的多个区域中的每一个的距离。此外，针对多个区域中的每一个，控制单元基于距离来生成指示数据速率的信号并且将该信号供应作为控制信号。此外，成像单元根据控制信号对包括多个区域的帧进行成像。
Description
技术领域
本技术涉及一种成像装置以及用于控制成像装置的方法。具体地，本发明涉及对图像数据进行成像且测量距离的成像装置、以及用于控制成像装置的方法。
背景技术
照惯例，在诸如数字摄像机等成像装置中，固态图像传感器用于对图像数据进行成像。该固态图像传感器通常设有用于每一列的数字模拟转换器(ADC)，以便顺序地读取像素阵列中的多个行并且执行模拟数字(AD)转换。然而，在该配置中，通过使行和列变稀疏可以改变整个帧的分辨率，但是不能改变帧的仅仅一部分的分辨率。因此，出于改变帧的一部分的分辨率等目的，例如，已经提出了一种固态图像传感器，该固态图像传感器具有被划分为多个面积并且在每个面积中布置有ADC的像素阵列(例如，见专利文件1)。
引文列表
专利文件
专利文件1：日本专利申请特开第2016-019076号。
发明内容
本发明要解决的问题
在上述常规技术中，在恒定成像间隔下利用恒定分辨率来顺序地对多个图像数据(帧)进行成像，并且可以生成包括帧的移动图像数据。然而，该常规技术具有的问题是，随着整个帧的分辨率和移动图像数据的帧速率变得更高，帧的处理量会增加。
鉴于这种情况，已经提出了本技术，并且本技术的目的是在对帧进行成像的成像装置中减少帧的处理量。
问题的解决方案
本技术已经被提出用于解决上述问题，并且本技术的第一方面涉及一种成像装置和一种控制方法，该成像装置包括：距离测量传感器，该距离测量传感器配置为测量要成像的多个区域中的每一个的距离；控制单元，该控制单元配置为针对多个区域中的每一个而基于距离来生成指示数据速率的信号并且将该信号供应作为控制信号；以及成像单元，该成像单元配置为根据控制信号对包括多个区域的帧进行成像。上述配置产生的效果是，基于多个区域中的每一个的距离来控制数据速率。
此外，在该第一方面中，数据速率可以包括分辨率。上述配置产生的效果是，基于距离来控制分辨率。
此外，在该第一方面中，数据速率可以包括帧速率。上述配置产生的效果是，基于距离来控制帧速率。
此外，在该第一方面中，控制单元可以取决于距离是否处于成像镜头的景深内来改变数据速率。上述配置产生的效果是，取决于距离是否处于景深内来改变数据速率。
此外，在该第一方面中，控制单元可以根据距离来计算弥散圆的直径并且根据该直径来指示数据速率。上述配置产生的效果是，根据弥散圆的直径来控制数据速率。
此外，在该第一方面中，可以进一步包括信号处理单元，该信号处理单元配置为对帧执行预定信号处理。上述配置产生的效果是，执行了预定信号处理。
此外，在该第一方面中，距离测量传感器可以包括用于检测一对图像的相位差的多个相位差检测像素，成像单元可以包括多个普通像素，每个普通像素接收光，并且信号处理单元可以根据多个相位差检测像素和多个普通像素中的每一个的接收光量来生成帧。上述配置产生的效果是，根据多个相位差检测像素和多个普通像素中的每一个的接收光量来生成了帧。
此外，在该第一方面中，距离测量传感器可以包括用于检测一对图像的相位差的多个相位差检测像素，信号处理单元可以根据多个相位差检测像素中的每一个的接收光量来生成帧。上述配置产生的效果是，根据多个相位差像素中的每一个的接收光量来生成了帧。
发明效果
根据本技术，可以在对帧进行成像的成像装置中产生减少帧的处理量的优异效果。要注意的是，在此描述的效果并不一定受到限制，并且可以产生本公开中描述的任何效果。
附图说明
图1是图示了根据本技术的第一实施例的成像装置的配置示例的框图。
图2是图示了根据本技术的第一实施例的固态图像传感器的配置示例的框图。
图3是图示了根据本技术的第一实施例的距离测量传感器的配置示例的框图。
图4是图示了根据本技术的第一实施例的与静止对象相隔的距离的示例的简图。
图5是根据本技术的第一实施例的用于描述分辨率的设定示例的简图。
图6是图示了根据本技术的第一实施例的与移动对象相隔的距离的示例的简图。
图7是根据本技术的第一实施例的用于描述帧速率的设定示例的简图。
图8是图示了根据本技术的第一实施例的成像装置的操作的示例的流程图。
图9是图示了根据本技术的第二实施例的成像装置的配置示例的框图。
图10是图示了根据本技术的第二实施例的镜头单元的配置示例的框图。
图11是图示了根据本技术的第二实施例的成像控制单元的配置示例的框图。
图12是根据本技术的第二实施例的用于描述分辨率的设定示例的简图。
图13是图示了根据本技术的第二实施例的焦点位置和景深的示例的简图。
图14是图示了根据本技术的第二实施例的成像装置的操作的示例的流程图。
图15是根据本技术的第三实施例的用于描述用于计算弥散圆的方法的简图。
图16是图示了根据本技术的第四实施例的成像装置的配置示例的框图。
图17是图示了根据本技术的第四实施例的像素阵列单元的配置示例的平面图。
图18是图示了根据本技术的第四实施例的相位差像素的配置示例的平面图。
图19是图示了根据本技术的第四实施例的修改例的像素阵列单元的配置示例的平面图。
图20是图示了车辆控制***的示意配置的示例的框图。
图21是图示了车辆外部信息检测单元和成像单元的安装位置的示例的说明图。
具体实施方式
在下文中，将对用于实施本技术的模式(下文称为实施例)进行描述。描述将根据如下顺序来给出。
1、第一实施例(基于距离来控制数据速率的示例)
2、第二实施例(在景深内降低数据速率的示例)
3、第三实施例(根据由距离计算出的弥散圆的直径来控制数据速率的示例)
4、第四实施例(基于利用相位差像素获得的距离来控制数据速率的示例)
5、移动主体的应用示例
<1、第一实施例>
[成像装置的配置示例]
图1是图示了根据本技术的第一实施例的成像装置100的配置示例的框图。成像装置100是用于对图像数据(帧)进行成像的装置，并且包括成像镜头111、固态图像传感器200、信号处理单元120、设定信息储存单元130、成像控制单元140、距离测量传感器150、以及距离测量计算单元160。作为成像装置100，除了数字摄像机或者监控相机之外，还假定了具有成像功能的智能手机、个人计算机等。
成像镜头111凝聚来自对象的光并且将光引导至固态图像传感器200。
固态图像传感器200根据成像控制单元140的控制与预定垂直同步信号VSYNC同步地对帧进行成像。垂直同步信号VSYNC是指示成像定时的信号，并且具有预定频率(例如，60赫兹)的周期信号被用作垂直同步信号VSYNC。固态图像传感器200经由信号线209将已成像帧供应至信号处理单元120。该帧被划分为多个单位面积。在此，单位面积是用于控制帧中的分辨率或帧速率的单位，并且固态图像传感器200可以控制每个单位面积的分辨率或帧速率。要注意的是，固态图像传感器200是权利要求书中所描述的成像单元的示例。
距离测量传感器150与垂直同步信号VSYNC同步地测量相对于要成像的多个单位面积中的每一个与对象相隔的距离。例如，距离测量传感器150通过飞行时间(ToF)方法来测量距离。在此，ToF方法是一种距离测量方法，其用于发射辐照光、接收相对于辐照光的反射光、以及测量与辐照光和反射光之间的相位差相隔的距离。距离测量传感器150经由信号线159将指示每个单位面积的接收光量的数据供应至距离测量计算单元160。
距离测量计算单元160根据单位面积的接收光量来计算与每个单位面积相对应的距离。距离测量计算单元160生成其中排列了每个单位面积的距离的深度图，并且经由信号线169将深度图输出至成像控制单元140和信号处理单元120。此外，根据需要将深度图输出至成像装置100的外部。要注意的是，距离测量计算单元160被布置在距离测量传感器150外部。然而，也可以采用具有布置在距离测量传感器150内部的距离测量计算单元160的配置。
要注意的是，距离测量传感器150通过ToF方法来测量距离，但距离测量传感器150也可以通过除了ToF方法之外的方法来测量距离，只要可以针对每个单位面积测量距离即可。
设定信息储存单元130储存指示用于控制数据速率的参考值的设定信息。在此，数据速率是指示每单位时间的数据量的参数，并且具体地是帧速率、分辨率等。例如，作为设定信息，设定使信号处理单元120可以在最大分辨率下检测特定物体(诸如，面部)的距离的最大值Lmax。可替代地，设定使信号处理单元120可以检测以预定速度穿过与成像装置100相隔预定距离Lc的位置的特定物体(诸如，车辆)的帧速率的最小值Fmin、以及距离Lc。
成像控制单元140基于与帧中的各个单位面积相对应的距离来控制该面积的数据速率。成像控制单元140经由信号线139从设定信息储存单元130读取设定信息并且基于设定信息和深度图来控制每个单位面积的数据速率。在此，成像控制单元140可以控制分辨率和帧速率中的任一个，或者可以控制分辨率和帧速率两者。
在控制分辨率的情况下，例如，随着距离越来越长，成像控制单元140会增加与距离相对应的单位面积的像素数量(换言之，分辨率)。具体地，成像控制单元140将对应单位面积的分辨率控制为由如下表达式表示的值Rm，其中，分辨率的最大值是Rmax并且测量距离是Lm。
Rm＝(Lm/Lmax)×Rmax...表达式1
在上述表达式中，例如，距离Lm和Lmax的单位为米(m)。要注意的是，在表达式1的右侧超过Rmax的情况下，假定将最大值Rmax设定为分辨率。
此外，在控制帧速率的情况下，例如，随着距离越来越长，成像控制单元140会减小与距离相对应的单位面积的帧速率。具体地，成像控制单元140将对应单位面积的分辨率控制为由如下表达式表示的Fm，其中，测量距离为Lm。
Fm＝Fmin×Lc/Lm...表达式2
在上述表达式中，例如，帧速率Fm和Fmin的单位为赫兹(Hz)。要注意的是，在表达式2的右侧变得小于下限值的情况下，假定将帧速率的下限值设定为Fm。
要注意的是，随着距离越来越长，成像控制单元140会增加分辨率。然而，相反，随着距离越来越长，分辨率可能会降低。此外，随着距离越来越长，成像控制单元140会减小帧速率。然而，相反，随着距离越来越长，分辨率可能会增加。用于控制分辨率和帧速率的方法是响应于使用帧的应用的请求来确定。
成像控制单元140生成指示由表达式1或表达式2获得的数据速率的值的控制信号和垂直同步信号VSYNC，并且经由信号线148将所生成的信号供应至固态图像传感器200。此外，成像控制单元140经由信号线149将指示数据速率等的控制信号供应至信号处理单元120。此外，成像控制单元140经由信号线146将垂直同步信号VSYNC供应至距离测量传感器150。要注意的是，成像控制单元140是权利要求书中所描述的控制单元的示例。
信号处理单元120对来自固态图像传感器200的帧执行预定信号处理。例如，执行去马赛克处理，用于检测特定物体(诸如，面部或车辆)的处理。信号处理单元120经由信号线129将处理结果输出至外部。
[固态图像传感器的配置示例]
图2是图示了根据本技术的第一实施例的固态图像传感器200的配置示例的框图。固态图像传感器200包括堆叠的上部基板201和下部基板202。上部基板201设有扫描电路210和像素阵列单元220。此外，下部基板202设有AD转换单元230。
像素阵列单元220被划分为多个单位面积221。在各个单位面积221中，多个像素按照二维点阵方式进行排列。各个像素根据扫描电路210的控制光电地转换光以生成模拟像素数据并且将该模拟像素数据输出至AD转换单元230。
扫描电路210驱动各个像素以输出像素数据。扫描电路210根据控制信号控制各个单位面积221的帧速率或分辨率中的至少一个。例如，在通过1/J(J是实数)乘以垂直同步信号VSYNC的帧速率来控制帧速率的情况下，每当经过了J乘以垂直同步信号VSYNC的周期的周期时，扫描电路210就驱动对应单位面积221。此外，在单位面积221中的像素数量为M(M为整数)且分辨率被控制为1/K(K为实数)乘以最大值的情况下，扫描电路210仅仅从对应单位面积中的M像素中选择和驱动出M/K。
AD转换单元230设有与单位面积221的数量相同的数量的ADC 231。ADC231分别一对一地连接至彼此不同的单位面积221。当单位面积221的数量为P×Q时，也布置P×Q个ADC231。ADC 231针对来自对应单位面积221的模拟像素数据执行AD转换以生成数字像素数据。其中布置了这些数字像素数据的帧被输出至信号处理单元120。
[距离测量传感器的配置示例]
图3是图示了根据本技术的第一实施例的距离测量传感器150的配置示例的框图。距离测量传感器150包括扫描电路151、像素阵列单元152、以及AD转换单元154。
像素阵列单元152被划分为多个距离测量面积153。假定相应距离测量面积153一对一地与彼此不同的单位面积221相对应。在各个距离测量面积153中，多个像素按照二维点阵方式进行排列。各个像素根据扫描电路151的控制光电地转换光以生成指示模拟接收光量的数据并且将该模拟接收光量输出至AD转换单元154。
要注意的是，距离测量面积153与单位面积221之间的对应关系并不限于一对一。例如，可以采用使多个单位面积221与一个距离测量面积153相对应的配置。此外，可以采用使多个距离测量面积153与一个单位面积221相对应的配置。在这种情况下，作为单位面积221的距离，使用多个对应距离测量面积153的相应距离的平均数。
AD转换单元154针对来自像素阵列单元152的模拟数据执行AD转换并且将经转换的数据供应至距离测量计算单元160。
图4是图示了根据本技术的第一实施例的与静止对象相隔的距离的示例的简图。例如，假定成像装置100对对象511、512和513进行成像。此外，从成像装置100至对象511的距离为L1。此外，从成像装置100至对象512的距离为L2，并且从成像装置100至对象513的距离为L3。例如，假定距离L1是最大的并且距离L3是最小的。
图5是根据本技术的第一实施例的用于描述分辨率的设定示例的简图。假定在图4中图示的成像对象的帧中，包括对象511的矩形区域514的分辨率为R1，并且包括对象512的矩形区域515的分辨率为R2。此外，假定包括对象513的矩形区域516的分辨率为R3，并且除了区域514、515和516之外的剩余区域510的分辨率为R0。这些区域中的每一个包括单位面积221。
成像控制单元140使用表达式1根据与相应区域相对应的距离来计算分辨率R0、R1、R2、以及R3。因此，在分辨率R0、R1、R2、以及R3中将最高值设定为R0，并且按R1、R2和R3的次序设定较低值。按该方式将较低分辨率设定至较短距离的原因在于，通常，在距离较短(换言之，更近)时，对象以较大方式被拍摄，并且即使分辨率较低，未能检测到物体的可能性也较低。
图6是图示了根据本技术的第一实施例的与移动对象相隔的距离的示例的简图。例如，假定成像装置100对车辆521和522进行成像。此外，假定车辆522比车辆521更接近成像装置100。
图7是根据本技术的第一实施例的用于描述帧速率的设定示例的简图。假定在图6中的成像对象的帧中，包括车辆521的矩形区域523的帧速率为F1，并且包括车辆522的矩形区域524的帧速率被设定为F2。此外，假定除了区域523和524之外的背景区域的包括相对接近场所的区域525的帧速率被设定为F3，并且除了区域523、524和525之外的剩余区域520的帧速率被设定为F0。
成像控制单元140使用表达式2根据与相应区域相对应的距离来计算帧速率F0、F1、F2、以及F3。因此，在帧速率F0、F1、F2以及F3中，针对F3设定最高值，并且按F2、F1和F0的次序设定较低值。按该方式将较高帧速率设定至较短距离的原因在于，通常，在距离更近时，对象穿过成像装置100的时间更短，并且如果帧速率较低，则存在未能检测到物体的可能性。
[成像装置的操作示例]
图8是图示了根据本技术的第一实施例的成像装置100的操作的示例的流程图。例如，当在成像装置100中执行用于开始成像的操作(按下快门按钮等)时，该操作开始。首先，成像装置100生成深度图(步骤S901)。然后，成像装置100基于深度图来控制每个单位面积的数据速率(分辨率和帧速率)(步骤S902)。
成像装置100对图像数据(帧)进行成像(步骤S903)，并且对帧执行信号处理(步骤S904)。然后，成像装置100确定是否已经执行了用于终止成像的操作(步骤S905)。在还未执行用于终止成像的操作的情况下(步骤S905：否)，成像装置100重复地执行步骤S901的处理和随后的步骤。另一方面，在已经执行了用于终止成像的操作的情况下(步骤S905：是)，成像装置100终止用于成像的操作。
如上文所描述的，根据本技术的第一实施例，成像装置100基于每个单位面积的距离来控制数据速率。因此，成像装置100可以执行控制以将每个单位面积的数据速率设定为必要的最小值，因而控制处理量的增加。
<2、第二实施例>
在上述第一实施例中，成像装置100在假定随着距离越来越短且可见性提高而以更大方式拍摄对象的情况下降低了分辨率。然而，存在即使在距离较长的情况下对象的可见性也较高的情况。例如，即使在距离较长的情况下，由于在距离处于景深内的情况下对象聚焦，所以可见性也会变高。因此，令人期望的是取决于距离是否处于景深内来改变分辨率。在取决于距离是否处于景深内来改变分辨率时，根据第二实施例的成像装置100不同于第一实施例。
图9是图示了根据本技术的第二实施例的成像装置100的配置示例的框图。根据第二实施例的成像装置100与第一实施例不同在于包括镜头单元110。
图10是图示了根据本技术的第二实施例的镜头单元110的配置示例的框图。镜头单元110包括成像镜头111、光圈112、镜头参数保持单元113、镜头驱动单元114、以及光圈控制单元115。
例如，成像镜头111包括各种镜头，诸如，对焦镜头和变焦镜头。光圈112是用于调节穿过成像镜头111的光量的遮蔽构件。
镜头参数保持单元113保持各种镜头参数，诸如，容许弥散圆的直径c0和焦距f的控制范围。
镜头驱动单元114根据成像控制单元140的控制来驱动成像镜头111中的对焦镜头和变焦镜头。
光圈控制单元115根据成像控制单元140的控制来控制光圈112的光圈量。
图11是图示了根据本技术的第二实施例的成像控制单元140的配置示例的框图。根据第二实施例的成像控制单元140包括镜头参数采集单元141、曝光控制单元142、自动对焦控制单元143、变焦控制单元144、以及数据速率控制单元145。
镜头参数采集单元141在成像之前预先从镜头单元110采集镜头参数。镜头参数采集单元141使得设定信息储存单元130储存所采集的镜头参数。
在第二实施例中，设定信息储存单元130将镜头参数和分辨率RH和RL储存为设定信息。在此，RL是对景深内的对象成像的分辨率，并且RH是对景深外的对象成像的分辨率。例如，分辨率RH被设定为高于分辨率RL的值。
曝光控制单元142基于光度量来控制曝光量。在曝光控制中，例如，曝光控制单元142确定光圈值N，并且经由信号线147将指示该值的控制信号供应至镜头单元110。此外，曝光控制单元142将光圈值N供应至数据速率控制单元145。要注意的是，曝光控制单元142可以将控制信号供应至固态图像传感器200以控制快门速度。
自动对焦控制单元143根据用户的操作聚焦在对象上。当用户指定焦点时，自动对焦控制单元143从深度图采集与焦点相对应的距离dO。然后，自动对焦控制单元143生成用于将对焦镜头驱动至使距离dO聚焦的位置的驱动信号，并且经由信号线147将驱动信号供应至镜头单元110。此外，自动对焦控制单元143将与聚焦对象相隔的距离dO供应至数据速率控制单元145。
变焦控制单元144根据用户的变焦操作来控制焦距f。变焦控制单元144根据变焦操作将焦距f设定在由镜头参数指示的控制范围内。然后，变焦控制单元144生成用于将变焦镜头和对焦镜头驱动至与设定焦距f相对应的位置的驱动信号，并且将驱动信号供应至镜头单元110。在此，沿着凸轮曲线来控制对焦镜头和变焦镜头，该凸轮曲线示出了在聚焦状态下驱动变焦镜头时的轨迹。此外，变焦控制单元144将设定焦距f供应至数据速率控制单元145。
数据速率控制单元145基于距离来控制每个单位面积221的数据速率。例如，数据速率控制单元145参照镜头参数通过如下表达式来计算景深的前端DN和后端DF。
H≈f/(Nc0)...表达式3
DN≈dO(H-f)/(H+dO-2f)...表达式4
DF≈dO(H-f)/(H-dO)...表达式5
然后，数据速率控制单元145参照深度图确定对应距离Lm是否处于每个单位面积221的从前端DN至后端DF的范围内(换言之，景深内)。数据速率控制单元145在距离Lm处于景深内的情况下在单位面积221中设定较低分辨率RL，并且在距离Lm处于景深外的情况下在单位面积221中设定较高分辨率RH。然后，数据速率控制单元145将指示相应单位面积221的分辨率的控制信号供应至固态图像传感器200和信号处理单元120。
要注意的是，成像控制单元140取决于距离是否处于景深内来切换分辨率等，但是通常，随着距离更接近聚焦距离dO，清晰度会变得更大，并且随着距离远离聚焦距离dO，模糊度会变得更大。因此，成像控制单元140可以随着距离更接近距离dO而降低分辨率并且可以随着距离更远而增加分辨率。此外，成像控制单元140取决于对象是否处于景深内来改变分辨率。然而，成像控制单元140可以改变帧速率而不是分辨率。
图12是根据本技术的第二实施例的用于描述分辨率的设定示例的简图。假定对象531在帧530中聚焦。因此，包括对象531的区域532是清晰的，并且另一区域是模糊的。与区域532相对应的距离(深度)处于景深内。成像装置100在处于景深内的区域532中设定较低分辨率RL并且在另一区域中设定较高分辨率RH。按该方式降低景深内的区域的分辨率的原因在于，该区域聚焦并且以清晰的方式拍摄，即使分辨率降低，检测精度不足的可能性也较低。
图13是图示了根据本技术的第二实施例的焦点位置和景深的示例的简图。在用户想要聚焦在对象531上的情况下，用户操作成像装置100以将焦点移动至对象531的位置。成像装置100驱动对焦镜头以聚焦在与焦点相对应的距离dO上。因此，在固态图像传感器200上形成在从距离dO前面的前端DN至后端DF的景深内聚焦的图像。成像装置100对使聚焦区域的分辨率降低的帧进行成像。
图14是图示了根据本技术的第二实施例的成像装置的操作的示例的流程图。成像装置100生成深度图(步骤S901)，并且采集诸如距离dO和焦距f等参数(步骤S911)。因此，成像装置100使用表达式3至5来计算景深的前端DN和后端DF，并且取决于深度图中的距离Lm(深度)是否处于景深内来改变数据速率(步骤S912)。在步骤S912之后，成像装置100执行步骤S903和随后的步骤。
如上文所描述的，在本技术的第二实施例中，取决于距离是否处于景深内来改变分辨率。因此，可以改变聚焦区域的数据速率。
<3、第三实施例>
在上述第二实施例中，成像装置100在假定当距离处于景深内时清晰地拍摄对象的情况下将数据速率(例如，分辨率)降低至了恒定值RL。然而，清晰度并不一定是恒定的。通常，在对象更接近聚焦距离(深度)dO时，弥撒圆变得更小并且清晰度变得更高，而在对象远离距离dO时，清晰度变得更低。因此，令人期望的是根据清晰度来改变分辨率。根据第三实施例的成像装置100与第二实施例不同在于根据清晰度来控制分辨率。
图15是根据本技术的第三实施例的用于描述用于计算弥散圆的方法的简图。假定成像装置100聚焦在某一距离dO上。假定比距离dO更接近成像镜头111的距离是dn。在图15中，交替的长短虚线图示了来自距离dO处的位置O的光线。来自该位置O的光由成像镜头111聚焦在相对于成像镜头111在图像侧的位置L上。从成像镜头111至位置L的距离为di。
此外，虚线图示了来自距离dn的位置On的光线来自位置On的光由成像镜头111聚焦在相对于成像镜头111在图像侧的位置Ln上。从成像镜头111至位置Ln的距离为dc。
在此，假定成像镜头111的孔径尺寸为a并且位置Ln处的弥散圆的直径为c。此外，假定孔径尺寸的两端的其中一个由A表示并且另一个由B表示。假定弥散圆的两端中的其中一个由A’表示并且另一个由B’表示。在这种情况下，由于由A’、B’和Ln形成的三角形与由A、B和Ln形成的三角形相似，所以如下表达式成立。
a:c＝dc:dc-di...表达式6
表达式6可以被转换为如下表达式。
c＝a(dc-di)/dc...表达式7
在此，从镜头的公式，获得如下表达式。
dc＝dnf/(dn-f)...表达式8
di＝dOf/(dO-f)...表达式9
通过将表达式8和9的右侧代入表达式7中，获得如下表达式。
c＝af(dO-dn)/{dn(dO-f)}...表达式10
第三实施例的成像控制单元140的配置与第二实施例的配置相似。然而，成像控制单元140针对每个单位面积221将与该面积相对应的距离Lm的值代入表达式10中的dn中以计算弥散圆的直径c。然后，成像控制单元140通过如下表达式来计算分辨率Rm。
Rm＝(c/c0)×RH...表达式11
在上述表达式中，c0是容许弥散圆的直径，并且该c0被储存在设定信息储存单元130中。
根据表达式11，在景深中，在弥散圆的直径较小时，设定较低分辨率。按这种方式执行控制的原因在于，在弥散圆较小时，图像的清晰度变得更高，并且即使分辨率降低，检测精度降低的可能性也较小。
要注意的是，在弥散圆的直径c超过容许弥散圆的直径c0的情况下，由于在景深外而设定高分辨率RH。此外，成像控制单元140根据弥散圆的直径来控制分辨率。然而，成像控制单元140也可以控制帧速率而不是分辨率。
如上文所描述的，在本技术的第三实施例中，在弥散圆的直径较小(换言之，图像的清晰度较高)时，成像装置100将分辨率控制至较低分辨率。因此，可以根据清晰度来控制数据速率。
<4、第四实施例>
在上述第一实施例中，通过设在固态图像传感器200外部的距离测量传感器150来测量了距离。然而，可以在不用提供距离测量传感器150的情况下通过图像平面相位差方法来测量距离。在此，图像平面相位差方法是一种用于将用于检测一对光瞳分割图像之间的相位差的多个相位差像素布置在固态图像传感器中、并且测量与相位差相隔的距离的方法。根据第四实施例的成像装置100与第一实施例不同在于通过图像平面相位差方法来测量距离。
图16是图示了根据本技术的第四实施例的成像装置100的配置示例的框图。根据第四实施例的成像装置100与第一实施例不同在于包括用于代替固态图像传感器200和距离测量传感器150的固态图像传感器205、以及用于代替距离测量计算单元160的相位差检测单元161。此外，根据第四实施例的成像装置100包括用于代替信号处理单元120的信号处理单元121。
多个相位差像素和除了相位差像素之外的像素(下文称为“普通像素”)排列在固态图像传感器205中的像素阵列单元220中。固态图像传感器205将指示相位差像素的接收光量的数据供应至相位差检测单元161。
相位差检测单元161根据多个相位差像素中的每一个的接收光量来检测一对光瞳分割图像之间的相位差。相位差检测单元161根据相位差来计算每个定位面积的距离，并且生成深度图。
此外，信号处理单元121根据相位差像素的接收光量来生成像素的像素数据。
图17是图示了根据本技术的第四实施例的像素阵列单元220的配置示例的平面图。在像素阵列单元220中，排列了多个普通像素222和多个相位差像素223。例如，作为普通像素222，接收红光的红色(R)像素、接收绿光的绿色(G)像素、以及接收蓝光的蓝色(B)像素以拜耳阵列进行布置。此外，例如，两个相位差像素223布置在每个单位面积221中。利用相位差像素223，固态图像传感器205可以通过图像平面相位差方法来测量距离。
要注意的是，包括相位差像素223、扫描电路210、以及AD转换单元230的电路是权利要求书中所描述的距离测量传感器的示例，并且包括普通像素222、扫描电路210、以及AD转换单元230的电路是权利要求书中所描述的成像单元的示例。
图18是图示了根据本技术的第四实施例的相位差像素223的配置示例的平面图。显微镜头224、L侧光电二极管225、以及R侧光电二极管226布置在相位差像素223中。
显微镜头224收集R、G和B中的任一个的光。L侧光电二极管225光电地转换来自两个光瞳分割图像中的一个的光，并且R侧光电二极管226光电地转换来自这两个图像中的另一个的光。
相位差检测单元161从沿着预定方向排列的多个L侧光电二极管225中的每一个的接收光量采集左侧图像，并且从沿着预定方向排列的多个R侧光电二极管226中的每一个的接收光量采集右侧图像。一对这些图像之间的相位差通常随着距离越来越短而越来越大。相位差检测单元161基于该特性根据该对图像之间的相位差来计算距离。
此外，信号处理单元121针对每个相位差像素223计算相位差像素223内部的L侧光电二极管225的接收光量与R侧光电二极管226的接收光量之间的附加值或附加平均数，并且将计算出的值设定为R、G和B中的任一个的像素数据。
在此，在一般相位差像素中，相位差像素的一部分被遮蔽，并且仅仅布置一个光电二极管。在这种配置中，在生成图像数据(帧)时，会缺失相位差像素的像素数据，因此需要从周围像素进行插值。与此相反，在使得在没有光遮蔽的情况下设置L侧光电二极管225和R侧光电二极管226的相位差像素223的配置中，不会缺失像素数据并且不需要执行插值处理。因此，可以提高帧的图像质量。
如上文所描述的，在本技术的第四实施例中，成像装置100根据相位差像素223所检测到的相位差来测量距离。因此，可以在不用布置距离测量传感器的情况下生成深度图。因此，可以通过距离测量传感器来降低成本和电路规模。
[修改例]
在上述第四实施例中，已经针对每个单位面积221布置了两个相位差像素223。然而，对于每个单位面积221，两个相位差像素的距离测量精度可能不足。根据第四实施例的修改例的成像装置100与第四实施例不同在于已经提高了距离测量精度。
图19是图示了根据本技术的第四实施例的修改例的像素阵列单元200的配置示例的平面图。根据第四实施例的修改例的像素阵列单元220与第四实施例不同在于仅仅布置了相位差像素223并且没有布置普通像素222。由于如上文所描述的布置了用于代替普通像素222的相位差像素223，所以相位差像素223的数量增加并且相应地提高了距离测量精度。
此外，根据第四实施例的修改例的信号处理单元121通过添加或者计算每个相位差像素223的附加平均数来生成像素数据。
如上文所描述的，在本技术的第四实施例的修改例中，相位差像素223被布置用于代替普通像素222。因此，相位差像素223的数量增加并且相应地可以提高距离测量精度。
<5、移动主体的应用示例>
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以被实现为一种被安装在任何类型的移动主体(包括汽车、电动汽车、混合电动汽车、电动摩托车、自行车、个人移动、飞机、无人机、船只、机器人等)上的装置。
图20是图示了车辆控制***的示意配置示例的框图，该车辆控制***作为可以应用根据本公开的技术的移动主体控制***的示例。
车辆控制***12000包括通过通信网络12001连接的多个电子控制单元。在图20中图示的示例中，车辆控制***12000包括驱动***控制单元12010、车身***控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040、以及集成控制单元12050。此外，作为集成控制单元12050的功能配置，图示了微型计算机12051、声音图像输出单元12052、以及车载网络界面(I/F)12053。
驱动***控制单元12010根据各种程序来控制关于车辆的驱动***的装置的操作。例如，驱动***控制单元12010用作如下的控制装置：用于生成车辆的驱动力的驱动力生成装置(诸如，内燃机或驱动马达)、用于将驱动力传递至车轮的驱动力传递机构、调节车辆的转向角的转向机构、生成车辆的制动力的制动装置等。
车身***控制单元12020根据各种程序来控制配备在车身中的各个装置的操作。例如，车身***控制单元12020用作如下的控制装置：无钥进入***、智能钥匙***、自动车窗装置、以及各种灯(诸如，车前灯、尾灯、制动灯、转弯指示灯、以及雾灯)。在这种情况下，可以将从用于代替钥匙的移动装置传递的无线电波或者各种开关的信号输入至车身***控制单元12020。车身***控制单元12020接收无线电波或者信号的输入并且控制车辆的门锁装置、自动车窗装置、灯等。
车辆外部信息检测单元12030检测安装了车辆控制***12000的车辆外部的信息。例如，成像单元12031连接至车辆外部信息检测单元12030。车辆外部信息检测单元12030使得成像单元12031对车辆外部的图像进行成像，并且接收所成像的图像。车辆外部信息检测单元12030可以基于所接收的图像对路面上的人、车辆、障碍物、标志、字母等执行物体检测处理或距离检测处理。
成像单元12031是用于接收光并且根据接收光量来输出电信号的光学传感器。成像单元12031可以将电信号输出作为图像并且可以将电信号输出作为距离测量的信息。此外，由成像单元12031接收到的光可以是可见光或者可以是不可见光(诸如，红外光)。
车辆内部信息检测单元12040检测车辆内部的信息。例如，用于检测驾驶员的状态的驾驶员状态检测单元12041连接至车辆内部信息检测单元12040。例如，驾驶员状态检测单元12041包括用于对驾驶员进行成像的相机，并且车辆内部信息检测单元12040可以计算驾驶员的疲劳程度或集中程度，或者可以基于从驾驶员状态检测单元12041输入的检测信息来确定驾驶员是否睡着。
微型计算机12051基于在车辆外部信息检测单元12030或者车辆内部信息检测单元12040中采集的车辆内部和外部的信息来计算驱动力生成装置、转向机构、或者制动装置的控制目标值，并且可以将控制命令输出至驱动***控制单元12010。例如，微型计算机12051可以执行协同控制以实现高级驾驶员辅助***(ADAS)功能，包括车辆的碰撞避免或减震、基于车辆间距离的尾随行进、车辆速度维持行进、车辆的碰撞警告、车辆的车道脱离警告等。
此外，微型计算机12051基于在车辆外部信息检测单元12030或者车辆内部信息检测单元12040中采集的车辆附近的信息来控制驱动力生成装置、转向机构、制动装置等，以便执行协同控制以在不用取决于驾驶员的操作等的情况下进行自主行进的自动行驶。
此外，微型计算机12051可以基于在车辆外部信息检测单元12030中采集的车辆外部的信息来将控制命令输出至车身***控制单元12020。例如，微型计算机12051可以通过如下操作来执行协同控制以实现防眩：根据在车辆外部信息检测单元12030中检测到的前导车辆或迎面而来的车辆的位置来控制车前灯、将远光灯切换为近光灯等。
声音图像输出单元12052将声音或图像中的至少一个的输出信号传递至输出装置，该输出装置可以在视觉上和听觉上将信息通知给车辆的乘客或车辆的外部。在图20中的示例中，作为输出装置，示例性地图示了音频扬声器12061、显示单元12062、以及仪表板12063。例如，显示单元12062可以包括车载显示器或者平视显示器中的至少一个。
图21是图示了成像单元12031的安装位置的示例的简图。
在图21中，成像单元12101、12102、12103、12104、以及12105被包括作为成像单元12031。
例如，成像单元12101、12102、12103、12104、以及12105设在诸如车辆12100的前鼻部、侧视镜、后保险杠或后门、以及内部的挡风玻璃的上部等位置处。设在前鼻部处的成像单元12101和设在车辆内部的挡风玻璃的上部的成像单元12105主要采集车辆12100的前部图像。设在侧视镜处的成像单元12102和12103主要采集车辆12100的侧面图像。设在后保险杠或后门处的成像单元12104主要采集车辆12100的后部图像。设在车辆内部的挡风玻璃的上部的成像单元12105主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、行车道等。
要注意的是，图21图示了成像单元12101至12104的成像范围的示例。成像范围12111指示设在前鼻部处的成像单元12101的成像范围，成像范围12112和12113分别指示设在侧视镜处的成像单元12102和12103的成像范围，并且成像范围12114指示设在后保险杠或后门处的成像单元12104的成像范围。例如，可以通过使在成像单元12101至12104中进行成像的图像数据进行叠加来获得如从上方观看到的车辆12100的鸟瞰图图像。
成像单元12101至12104中的至少一个可以具有采集距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051基于从成像单元12101至12104获得的距离信息来获得与成像范围12111至12114中的三维物体相隔的距离以及这些距离的时间变化(相对于车辆12100的相对速度)，因而具体地提取在行进道路上最接近车辆12100且以预定速度(例如，0km/h或者更大)在大体上与车辆12100相同的方向上行进的作为前导车辆的三维物体。此外，微型计算机12051可以预先设定从前导车辆确保的车辆间距离，并且执行自动制动控制(包括尾随停止控制)和自动加速控制(包括尾随启动控制)等。这样，可以执行协同控制以在不用取决于驾驶员的操作等的情况下进行自主行进的自动行驶。
例如，微型计算机12051基于从成像单元12101至12104获得的距离信息将关于三维物体的三维物体数据分类为两轮车辆、普通汽车、大型车辆、行人、以及诸如要提取的电极等其它三维物体，并且可以使用该数据来用于障碍物的自动回避。例如，微型计算机12051将车辆12100周围的障碍物区分为可由车辆12100的驾驶员在视觉上识别的障碍物和不可由驾驶员在视觉上可识别的障碍物。然后，微型计算机12051确定指示与各个障碍物碰撞的风险的碰撞风险，并且在碰撞风险是设定值或更大且存在碰撞可能性的情况下，可以通过如下操作来执行用于避免碰撞的驾驶辅助：通过音频扬声器12061或显示单元12062向驾驶员输出警告，并且通过驱动***控制单元12010执行强制减速或回避转向。
成像单元12101至12104中的至少一个可以是用于检测红外光的红外相机。例如，微型计算机12051确定行人是否存在于成像单元12101至12104的成像图像中，因而识别行人。对行人的识别是通过如下过程来执行：例如，提取作为红外相机的成像单元12101至12104的成像图像中的特征点的过程，以及针对指示物体的轮廓且区分物体是否是行人的一系列特征点执行模式匹配处理的过程。当微型计算机12051确定行人存在于成像单元12101至12104的成像图像中并且识别出行人时，声音图像输出单元12052控制显示单元12062叠加和显示方形轮廓线以强调所识别出的行人。此外，声音图像输出单元12052可以控制显示单元12062在期望位置处显示用于表示行人的图标等。
如上文所描述的，已经对根据本公开的技术适用的车辆控制***的示例进行了描述。根据本公开的技术适用于上述配置的车辆外部信息检测单元12030和成像单元12031。具体地，图1中的成像镜头111、固态图像传感器200、以及成像控制单元140布置在成像单元12031中，并且图1中的信号处理单元120、距离测量传感器150、以及距离测量计算单元160布置在车辆外部信息检测单元12030中。通过将根据本公开的技术应用于车辆外部信息检测单元12030和成像单元12031，可以减少帧的处理量。
要注意的是，上述实施例描述了用于体现本技术的示例，并且各实施例中的事项和用于在权利要求中指定本发明的事项分别具有对应关系。相似地，用于在权利要求中指定本发明的事项和在本技术的实施例中给定了相同名称的事项分别具有对应关系。然而，本技术不限于这些实施例，并且可以通过在不背离本技术的主旨的情况下将各种修改应用于这些实施例来进行体现。
此外，在上述实施例中描述的处理过程可以被视为具有这一系列过程的方法，并且也被视为用于使计算机执行这一系列过程的程序和用于储存该程序的记录介质。例如，作为该记录介质，可以使用光盘(CD)、小型磁盘(MD)、数字通用盘(DVD)、存储卡、蓝光(注册商标)盘等。
要注意的是，在本说明书中描述的效果仅仅是示例并且不受限制，并且可以产生其它效果。
要注意的是，本技术也可以具有如下配置。
(1)一种成像装置，该成像装置包括：
距离测量传感器，该距离测量传感器配置为测量要成像的多个区域中的每一个的距离；
控制单元，该控制单元配置为针对多个区域中的每一个而基于距离来生成指示数据速率的信号并且将该信号供应作为控制信号；以及
成像单元，该成像单元配置为根据控制信号对包括多个区域的帧进行成像。
(2)根据(1)的成像装置，其中，
数据速率包括分辨率。
(3)根据(1)或(2)的成像装置，其中，
数据速率包括帧速率。
(4)根据(1)至(3)中任一项的成像装置，其中，
控制单元取决于距离是否处于成像镜头的景深内来改变数据速率。
(5)根据(1)至(4)中任一项的成像装置，其中，
控制单元根据距离来计算弥散圆的直径并且根据该直径来指示数据速率。
(6)根据(1)至(5)中任一项的成像装置，该成像装置进一步包括：
信号处理单元，该信号处理单元配置为对帧执行预定信号处理。
(7)根据(6)的成像装置，其中，
距离测量传感器包括用于检测一对图像的相位差的多个相位差检测像素，成像单元包括多个普通像素，每个普通像素接收光，以及
信号处理单元根据多个相位差检测像素和多个普通像素中的每一个的接收光量来生成帧。
(8)根据(6)的成像装置，其中，
距离测量传感器包括用于检测一对图像的相位差的多个相位差检测像素，信号处理单元根据多个相位差检测像素中的每一个的接收光量来生成帧。
(9)一种用于控制成像装置的方法，该方法包括：
用于测量要成像的多个区域中的每一个的距离的距离测量过程；
用于针对多个区域中的每一个而基于距离来生成指示数据速率的信号并且将该信号供应作为控制信号的控制过程；以及
用于根据控制信号对包括多个区域的帧进行成像的成像过程。
附图标记列表
100 成像装置
110 镜头单元
111 成像镜头
112 光圈
113 镜头参数保持单元
114 镜头驱动单元
115 光圈控制单元
120、121 信号处理单元
130 设定信息储存单元
140 成像控制单元
141 镜头参数采集单元
142 曝光控制单元
143 自动对焦控制单元
144 变焦控制单元
145 数据速率控制单元
150 距离测量传感器
153 距离测量面积
160 距离测量计算单元
161 相位差检测单元
200、205 固态图像传感器
201 上部基板
202 下部基板
210、151 扫描电路
220、152 像素阵列单元
221 单位面积
222 普通像素
223 相位差像素
224 显微镜头
225 L侧光电二极管
226 R侧光电二极管
230、154 AD转换单元
231 ADC(模拟数字转换器)
12030 车辆外部信息检测单元
12031 成像单元。
Claims (9)
1.一种成像装置，所述成像装置包括：
距离测量传感器，所述距离测量传感器配置为测量要成像的多个区域中的每一个的距离；
控制单元，所述控制单元配置为针对所述多个区域中的每一个而基于所述距离来生成指示数据速率的信号并且将所述信号供应作为控制信号；以及
成像单元，所述成像单元配置为根据所述控制信号对包括所述多个区域的帧进行成像。
2.根据权利要求1所述的成像装置，其中，
所述数据速率包括分辨率。
3.根据权利要求1所述的成像装置，其中，
所述数据速率包括帧速率。
4.根据权利要求1所述的成像装置，其中，
所述控制单元根据所述距离是否处于成像镜头的景深内来改变所述数据速率。
5.根据权利要求1所述的成像装置，其中，
所述控制单元根据所述距离来计算弥散圆的直径并且根据所述直径来指示所述数据速率。
6.根据权利要求1所述的成像装置，所述成像装置进一步包括：
信号处理单元，所述信号处理单元配置为对所述帧执行预定信号处理。
7.根据权利要求6所述的成像装置，其中，
所述距离测量传感器包括用于检测一对图像的相位差的多个相位差检测像素，
所述成像单元包括多个普通像素，每个普通像素接收光，以及
所述信号处理单元根据所述多个相位差检测像素和所述多个普通像素中的每一个的接收光量来生成所述帧。
8.根据权利要求6所述的成像装置，其中，
所述距离测量传感器包括用于检测一对图像的相位差的多个相位差检测像素，
所述信号处理单元根据所述多个相位差检测像素中的每一个的接收光量来生成所述帧。
9.一种用于控制成像装置的方法，所述方法包括：
用于测量要成像的多个区域中的每一个的距离的距离测量过程；
用于针对所述多个区域中的每一个而基于所述距离来生成指示数据速率的信号并且将所述信号供应作为控制信号的控制过程；以及
用于根据所述控制信号对包括所述多个区域的帧进行成像的成像过程。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016240580A JP2018098613A (ja) | 2016-12-12 | 2016-12-12 | 撮像装置、および、撮像装置の制御方法 |
| JP2016-240580 | 2016-12-12 | ||
| PCT/JP2017/032486 WO2018110002A1 (ja) | 2016-12-12 | 2017-09-08 | 撮像装置、および、撮像装置の制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110073652A true CN110073652A (zh) | 2019-07-30 |
| CN110073652B CN110073652B (zh) | 2022-01-11 |
Family
ID=62558340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780075273.4A Active CN110073652B (zh) | 2016-12-12 | 2017-09-08 | 成像装置以及控制成像装置的方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210297589A1 (zh) |
| JP (1) | JP2018098613A (zh) |
| CN (1) | CN110073652B (zh) |
| WO (1) | WO2018110002A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112313940A (zh) * | 2019-11-14 | 2021-02-02 | 深圳市大疆创新科技有限公司 | 一种变焦跟踪方法和***、镜头、成像装置和无人机 |
| CN115176175A (zh) * | 2020-02-18 | 2022-10-11 | 株式会社电装 | 物体检测装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7327911B2 (ja) * | 2018-07-12 | 2023-08-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| WO2022153896A1 (ja) * | 2021-01-12 | 2022-07-21 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、画像処理方法及び画像処理プログラム |
| JP7258989B1 (ja) | 2021-11-19 | 2023-04-17 | キヤノン株式会社 | 移動装置、撮像装置、制御方法およびプログラム |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101018299A (zh) * | 2006-02-07 | 2007-08-15 | 日本胜利株式会社 | 摄像方法以及摄像装置 |
| US20100002074A1 (en) * | 2008-04-09 | 2010-01-07 | Wolfgang Niem | Method, device, and computer program for reducing the resolution of an input image |
| CN101753844A (zh) * | 2008-12-18 | 2010-06-23 | 三洋电机株式会社 | 图像显示装置及摄像装置 |
| CN101806988A (zh) * | 2009-02-12 | 2010-08-18 | 奥林巴斯映像株式会社 | 摄像装置和摄像方法 |
| US20100231738A1 (en) * | 2009-03-11 | 2010-09-16 | Border John N | Capture of video with motion |
| CN102469244A (zh) * | 2010-11-10 | 2012-05-23 | 卡西欧计算机株式会社 | 用于对被摄体进行连续摄像的摄像装置 |
| CN102550011A (zh) * | 2009-11-26 | 2012-07-04 | 株式会社日立制作所 | 图像摄影***、图像摄影方法以及存储图像摄影程序的存储介质 |
| CN102843509A (zh) * | 2011-06-14 | 2012-12-26 | 宾得理光映像有限公司 | 图像处理装置和图像处理方法 |
| CN103516976A (zh) * | 2012-06-25 | 2014-01-15 | 佳能株式会社 | 图像摄取装置及其控制方法 |
| JP2014072541A (ja) * | 2012-09-27 | 2014-04-21 | Nikon Corp | 撮像素子および撮像装置 |
| JP2014228586A (ja) * | 2013-05-20 | 2014-12-08 | キヤノン株式会社 | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 |
| CN104243823A (zh) * | 2014-09-15 | 2014-12-24 | 北京智谷技术服务有限公司 | 光场采集控制方法和装置、光场采集设备 |
| WO2015182753A1 (ja) * | 2014-05-29 | 2015-12-03 | 株式会社ニコン | 撮像装置および車両 |
| CN105874776A (zh) * | 2013-12-30 | 2016-08-17 | 三星电子株式会社 | 图像处理设备和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006261871A (ja) * | 2005-03-16 | 2006-09-28 | Victor Co Of Japan Ltd | ハンズフリーカメラにおける画像処理装置 |
| JP2007172035A (ja) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 |
-
2016
- 2016-12-12 JP JP2016240580A patent/JP2018098613A/ja active Pending
-
2017
- 2017-09-08 CN CN201780075273.4A patent/CN110073652B/zh active Active
- 2017-09-08 US US16/342,398 patent/US20210297589A1/en not_active Abandoned
- 2017-09-08 WO PCT/JP2017/032486 patent/WO2018110002A1/ja active Application Filing
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101018299A (zh) * | 2006-02-07 | 2007-08-15 | 日本胜利株式会社 | 摄像方法以及摄像装置 |
| US20100002074A1 (en) * | 2008-04-09 | 2010-01-07 | Wolfgang Niem | Method, device, and computer program for reducing the resolution of an input image |
| CN101753844A (zh) * | 2008-12-18 | 2010-06-23 | 三洋电机株式会社 | 图像显示装置及摄像装置 |
| US20100157127A1 (en) * | 2008-12-18 | 2010-06-24 | Sanyo Electric Co., Ltd. | Image Display Apparatus and Image Sensing Apparatus |
| CN101806988A (zh) * | 2009-02-12 | 2010-08-18 | 奥林巴斯映像株式会社 | 摄像装置和摄像方法 |
| US20100231738A1 (en) * | 2009-03-11 | 2010-09-16 | Border John N | Capture of video with motion |
| CN102550011A (zh) * | 2009-11-26 | 2012-07-04 | 株式会社日立制作所 | 图像摄影***、图像摄影方法以及存储图像摄影程序的存储介质 |
| CN102469244A (zh) * | 2010-11-10 | 2012-05-23 | 卡西欧计算机株式会社 | 用于对被摄体进行连续摄像的摄像装置 |
| CN102843509A (zh) * | 2011-06-14 | 2012-12-26 | 宾得理光映像有限公司 | 图像处理装置和图像处理方法 |
| CN103516976A (zh) * | 2012-06-25 | 2014-01-15 | 佳能株式会社 | 图像摄取装置及其控制方法 |
| JP2014072541A (ja) * | 2012-09-27 | 2014-04-21 | Nikon Corp | 撮像素子および撮像装置 |
| JP2014228586A (ja) * | 2013-05-20 | 2014-12-08 | キヤノン株式会社 | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 |
| CN105874776A (zh) * | 2013-12-30 | 2016-08-17 | 三星电子株式会社 | 图像处理设备和方法 |
| WO2015182753A1 (ja) * | 2014-05-29 | 2015-12-03 | 株式会社ニコン | 撮像装置および車両 |
| CN104243823A (zh) * | 2014-09-15 | 2014-12-24 | 北京智谷技术服务有限公司 | 光场采集控制方法和装置、光场采集设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112313940A (zh) * | 2019-11-14 | 2021-02-02 | 深圳市大疆创新科技有限公司 | 一种变焦跟踪方法和***、镜头、成像装置和无人机 |
| WO2021092846A1 (zh) * | 2019-11-14 | 2021-05-20 | 深圳市大疆创新科技有限公司 | 一种变焦跟踪方法和***、镜头、成像装置和无人机 |
| CN115176175A (zh) * | 2020-02-18 | 2022-10-11 | 株式会社电装 | 物体检测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210297589A1 (en) | 2021-09-23 |
| WO2018110002A1 (ja) | 2018-06-21 |
| CN110073652B (zh) | 2022-01-11 |
| JP2018098613A (ja) | 2018-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110073652A (zh) | 成像装置以及控制成像装置的方法 | |
| US11917281B2 (en) | Camera system, method and instructions using images captured by a first mage sensor and a second image sensor to generate a third image corresponding to a simulated lens having an intermediate focal length | |
| JP6795030B2 (ja) | 撮像制御装置及び撮像制御方法、並びに撮像装置 | |
| CN108139484A (zh) | 测距装置和测距装置的控制方法 | |
| CN102685382B (zh) | 图像处理装置和方法、及移动体防碰撞装置 | |
| US20180348369A1 (en) | Ranging module, ranging system, and method of controlling ranging module | |
| CN108688556A (zh) | 车辆用灯泡 | |
| CN107380056A (zh) | 车辆用照明装置以及车辆 | |
| US10331955B2 (en) | Process for examining a loss of media of a motor vehicle as well as motor vehicle and system for implementing such a process | |
| JP2013225289A (ja) | 複眼カメラ装置、及びそれを備えた車両 | |
| CN103370224A (zh) | 具有用于监控车辆周边环境的装置的车辆 | |
| CN212719323U (zh) | 照明装置和测距模块 | |
| CN104871204A (zh) | 车载图像处理装置 | |
| JP6571658B2 (ja) | 奥行分解された画像データからのオブジェクトを認識するための方法ならびに装置 | |
| DE102006010295A1 (de) | Kamerasystem mit zumindest zwei Bildaufnehmern | |
| CN109073858A (zh) | 成像装置、成像模块以及成像装置的控制方法 | |
| CN113875217A (zh) | 图像识别装置和图像识别方法 | |
| JP2018066701A (ja) | 測距装置、および、測距装置の制御方法 | |
| JP5839253B2 (ja) | 物体検出装置及びこれを備えた車載機器制御装置 | |
| JP2014016981A (ja) | 移動面認識装置、移動面認識方法及び移動面認識用プログラム | |
| JP2013114536A (ja) | 安全支援装置、及び、安全支援方法 | |
| JP2019174532A (ja) | 測距装置、撮像装置、移動装置、ロボット装置、プログラム | |
| US10217006B2 (en) | Method and device for detecting objects in the dark using a vehicle camera and a vehicle lighting system | |
| JPH0755451Y2 (ja) | 車間距離検出装置 | |
| DE112019004125T5 (de) | Bildverarbeitungsgerät, bildverarbeitungsverfahren und programm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |