CN108521863B - 曝光的方法、装置、计算机***和可移动设备 - Google Patents
曝光的方法、装置、计算机***和可移动设备 Download PDFInfo
- Publication number
- CN108521863B CN108521863B CN201780004678.9A CN201780004678A CN108521863B CN 108521863 B CN108521863 B CN 108521863B CN 201780004678 A CN201780004678 A CN 201780004678A CN 108521863 B CN108521863 B CN 108521863B
- Authority
- CN
- China
- Prior art keywords
- image
- exposure time
- determining
- exposure
- vision sensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
公开了一种曝光的方法、装置、计算机***和可移动设备。该方法包括：根据第一图像的像素的亮度和该像素的亮度权重，确定该第一图像的平均亮度；根据该第一图像的平均亮度，该第一图像对应的曝光时间和第二图像的期望平均亮度，确定该第二图像对应的曝光时间。本发明实施例的技术方案，能够有效地调整曝光时间。
Description
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本发明涉及信息技术领域，并且更具体地，涉及一种曝光的方法、装置、计算机***和可移动设备。
背景技术
自动曝光是针对不同光线亮度和场景中物体反光强度的差异性对曝光时间和增益进行调节，以使目标物体在图像中亮度始终维持在一定范围内。
对于自动驾驶、辅助驾驶、户外作业机器人等***中多路相机组成的图像采集***，在光照强度动态变化的场景下实时调整相机曝光时间，可以得到曝光合理的图像，作为诸如视觉里程计、双目/多目立体视觉、图像识别与跟踪等上层计算机视觉算法的输入，能够保证其结果的准确性和稳定性。
因此，如何有效地调整曝光时间，成为一个亟待解决的技术问题。
发明内容
本发明实施例提供了一种曝光的方法、装置、计算机***和可移动设备，能够有效地调整曝光时间。
第一方面，提供了一种曝光的方法，包括：根据第一图像的像素的亮度和该像素的亮度权重，确定该第一图像的平均亮度；根据该第一图像的平均亮度，该第一图像对应的曝光时间和第二图像的期望平均亮度，确定该第二图像对应的曝光时间。
第二方面，提供了一种曝光的方法，包括：分别确定具有依赖关系的多个视觉传感器的曝光时间；对该多个视觉传感器的分别确定的曝光时间进行联合优化，以使该多个视觉传感器的优化后的曝光时间间的差异最小。
第三方面，提供了一种曝光的装置，包括：平均亮度确定模块，用于根据第一图像的像素的亮度和该像素的亮度权重，确定该第一图像的平均亮度；曝光时间确定模块，用于根据该第一图像的平均亮度，该第一图像对应的曝光时间和第二图像的期望平均亮度，确定该第二图像对应的曝光时间。
第四方面，提供了一种曝光的装置，包括：确定模块，用于分别确定具有依赖关系的多个视觉传感器的曝光时间；联合优化模块，用于对该多个视觉传感器的分别确定的曝光时间进行联合优化，以使该多个视觉传感器的优化后的曝光时间间的差异最小。
第五方面，提供了一种计算机***，包括：存储器，用于存储计算机可执行指令；处理器，用于访问所述存储器，并执行所述计算机可执行指令，以进行上述第一或第二方面的方法中的操作。
第六方面，提供了一种移动设备，包括：上述第三或第四方面的曝光的装置；或者，上述第五方面的的计算机***。
第七方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述第一或第二方面的方法。
本发明实施例的技术方案，基于亮度权重确定图像的平均亮度，并根据该平均亮度调整曝光时间，这样所得到的曝光时间与像素的重要性关联，从而能够有效地调整曝光时间。
附图说明
图1是本发明实施例的可移动设备的示意性架构图。
图2是本发明一个实施例的曝光的方法的示意性流程图。
图3是本发明实施例的图像区域划分的示意图。
图4是本发明实施例的图像过曝光的示意图。
图5是本发明另一个实施例的曝光的方法的示意性流程图。
图6是本发明一个实施例的曝光的装置的示意性框图。
图7是本发明另一个实施例的曝光的装置的示意性框图。
图8是本发明又一个实施例的曝光的装置的示意性框图。
图9是本发明实施例的计算机***的示意性框图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行描述。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本发明实施例，而非限制本发明实施例的范围。
还应理解，本发明实施例中的公式只是一种示例，而非限制本发明实施例的范围，各公式可以进行变形，这些变形也应属于本发明保护的范围。
还应理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本发明实施例对此并不限定。
本发明实施例的技术方案可以应用于各种图像采集***、以及依赖图像或图像采集***的各种设备，例如可移动设备。
该可移动设备也可以称为移动设备。该可移动设备可以是无人机、无人驾驶船、自动驾驶车辆或机器人等，但本发明实施例对此并不限定。
图1是本发明实施例的可移动设备100的示意性架构图。
如图1所示，可移动设备100可以包括动力***110、控制***120、传感***130和处理***140。
动力***110用于为该可移动设备100提供动力。
以无人机为例，无人机的动力***可以包括电子调速器(简称为电调)、螺旋桨以及与螺旋桨相对应的电机。电机连接在电子调速器与螺旋桨之间，电机和螺旋桨设置在对应的机臂上；电子调速器用于接收控制***产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速。电机用于驱动螺旋桨旋转，从而为无人机的飞行提供动力。
传感***130可以用于测量可移动设备100的姿态信息，即可移动设备100在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感***130例如可以包括陀螺仪、电子罗盘、惯性测量单元(Inertial MeasurementUnit，IMU)、视觉传感器、全球定位***(Global Positioning System，GPS)、气压计、空速计等传感器中的至少一种。
传感***130还可用于采集图像，即传感***130包括用于采集图像的传感器，例如相机等。
控制***120用于控制可移动设备100的移动。控制***120可以按照预先设置的程序指令对可移动设备100进行控制。例如，控制***120可以根据传感***130测量的可移动设备100的姿态信息控制可移动设备100的移动。控制***120也可以根据来自遥控器的控制信号对可移动设备100进行控制。例如，对于无人机，控制***120可以为飞行控制***(飞控)，或者为飞控中的控制电路。
处理***140可以处理传感***130采集的图像。例如，处理***140可以为图像信号处理(Image Signal Processing,ISP)类芯片。
在一些可能的设计中，处理***140可以根据传感***130已采集的图像确定采集下一图像的曝光时间。例如，处理***140可以采用本发明实施例的技术方案确定曝光时间。
在一些可能的设计中，处理***140可以与传感***130集成设置。例如，处理***140可以集成到相应的视觉传感器中。
应理解，上述对于可移动设备100的各组成部件的划分和命名仅仅是示例性的，并不应理解为对本发明实施例的限制。
还应理解，可移动设备100还可以包括图1中未示出的其他部件，本发明实施例对此并不限定。
图2示出了本发明一个实施例的曝光的方法200的示意性流程图。该方法200可以由图1所示的可移动设备100执行。具体地，可以由图1中的处理***140执行。
210，根据第一图像的像素的亮度和该像素的亮度权重，确定该第一图像的平均亮度。
在本发明实施例中，在确定图像的平均亮度时，考虑像素的亮度权重。也就是说，对于图像的每个像素，在计算图像的平均亮度时，要考虑该像素的权重，即越重要的像素所占的权重越大。
可选地，该第一图像的平均亮度为该第一图像的像素的亮度的加权平均值。
例如，可以根据以下公式(1)计算图像的平均亮度
其中I＝{R,G,B}表示图像，
为像素p的亮度，ωp为像素p的亮度权重，W为归一化系数，W＝∑ωp。
可选地，该像素的亮度权重可以包括区域权重和色度权重中的至少一项，其中，该区域权重为与该像素的区域关联的权重，该色度权重为与该像素的色度关联的权重。
可选地，作为一个示例，亮度权重ω可以表示为：
ω＝ωrωc (2)
其中ωr为区域权重，ωc为色度权重。
应理解，本发明实施例中的亮度权重可以只包括区域权重，或者只包括色度权重，或者同时包括区域权重和色度权重，或者还可以包括其他权重，本发明对此并不限定。
可选地，对于该区域权重，若该像素的区域越接近目标对象的区域，则该区域权重越大。
具体而言，针对特定场景，不同区域的重要性可能不同。对于不同的区域，可以根据区域的重要性设置不同的区域权重。例如，若某一区域越接近目标对象的区域，则区域权重越大。
例如，以自动驾驶项目中的前视相机为例，在平行路面采集的图像中主要有行驶道路、道路两旁目标物体，天空和远处目标物体等组成，其中以行驶路面(目标对象)最为重要，其次是远处的目标和道路两侧的目标，再次则是图像中的剩余部分。根据这个先验知识，我们可以对图像进行区域划分，对于不同的区域，根据其重要性设置不同的权重，以保证最重要的区域获得更加合理的曝光设置。
可选地，图像的区域划分策略和权重分配可以根据场景以及相机的安装位置决定。举例来说，在前视相机图像中可以如图3所示划分区域，各区域相应的权重可以如表1所示。
表1
| 0.1 | 0.2 | 0.2 | 0.1 |
| 0.2 | 1.0 | 1.0 | 0.2 |
| 0.5 | 1.5 | 1.5 | 0.5 |
在表1中，行驶路面所在区域的权重最大，而远离行驶路面的区域的权重较小。
可选地，对于该色度权重，若该像素的色度越接近目标对象的色度，则该色度权重越大。
具体而言，针对特定场景，不同色度的重要性也可能不同。对于不同的色度，也可以设置不同的色度权重。例如，若某一色度越接近目标对象的色度，则色度权重越大。
例如，在图2中，行驶路面(目标对象)大部分为灰色，因此，可以利用色度权重来控制不同颜色物体的权重，使得颜色越接近灰色，权重越大。可选地，可以根据以下公式(3)确定色度权重ωc：
其中列向量
为灰色的色度。
220，根据该第一图像的平均亮度，该第一图像对应的曝光时间和第二图像的期望平均亮度，确定该第二图像对应的曝光时间。
在本发明实施例中，根据上述基于亮度权重的第一图像的平均亮度确定第二图像对应的曝光时间。该第一图像为已拍摄的图像，该第二图像为待拍摄的图像。可选地，该第一图像为最新的已拍摄的图像。也就是说，可以根据上一时刻拍摄的图像的基于亮度权重的平均亮度确定下一时刻进行拍摄的曝光时间。
可选地，可以根据该第一图像的平均亮度和该第一图像对应的曝光时间，确定平均亮度导数；根据该第二图像的期望平均亮度，该第一图像的平均亮度和该平均亮度导数，确定曝光时间调整量；再根据该第一图像对应的曝光时间和该曝光时间调整量，确定该第二图像对应的曝光时间，可选地，可以根据该第一图像对应的曝光时间，该曝光时间调整量和调节系数，确定该第二图像对应的曝光时间。
例如，平均亮度导数
可以通过以下公式(4)计算：
其中，平均亮度函数
是关于曝光时间t的单调自增函数。根据1阶的泰勒展开公式可以得到：
若期望平均亮度为
假设
则可以得到曝光时间调整量：
所以可以得到下一时刻的曝光时间tn+1为：
其中β为调节系数，用于控制自动曝光调节的速度。例如，若调节速度偏大，则可以通过降低调节系数来减缓调节速度，反之亦然。
应理解，本发明实施例中的曝光时间的概念可以理解为曝光总量，其控制可以通过调整相机的快门速度(shutter speed)、光圈大小(aperture size)、或者增益(gain)来达到，并不特指某一分量。
在本发明实施例中，基于亮度权重确定图像的平均亮度，并根据该平均亮度调整曝光时间，这样所得到的曝光时间与像素的重要性关联，从而能够有效地调整曝光时间。
可选地，该第二图像的期望平均亮度可以为预先设定的。也就是说，可以预先设定待拍摄图像的期望平均亮度，据此得到相应的曝光时间，进而拍摄得到接近该期望平均亮度的图像。比如在8位的图像中，可以设置
可选地，还可以对该第二图像的期望平均亮度进行动态调整。可选地，可以根据该第一图像中过曝光像素的百分比，调整该第二图像的期望平均亮度。
例如，在不同天气情况或者不同场景下，道路路面的反光强度的差异有可能达到几十倍，假如应用固定的期望平均亮度，在道路两旁树木茂盛的地方，由于道路两旁树木反光相对于路面反光有可能出现十几倍的差距，这时候很容易出现路面过曝的问题，如图4所示。为此，可以通过动态调整期望平均亮度
来解决这个问题。在本发明实施例中，可以通过利用图像过曝光像素所占百分比来调节期望平均亮度
其中σ为图像In中过度曝光像素(例如
)所占的百分比，
为期望的过曝光比例。例如，可以设置
为0.05。
通过动态调整期望平均亮度，可以有效避免过曝光问题。
上述本发明实施例的技术方案可以用于确定每个视觉传感器(相机)的曝光时间。图像采集***中可能会包括多个具有依赖关系的视觉传感器。以双目立体视觉为例，其要求左右目相机的曝光时间一致，以便于进行图像特征点的匹配。如果曝光差异较大，有可能导致双目匹配的效果不佳，进而影响视觉算法的性能。如果***中只存在一套双目视觉***，则可以将其曝光时间设置为一致(比如针对双目独立曝光所计算的曝光时间的平均值)。但是当***中存在多目立体视觉、或者某一相机被用于多套双目视觉***中时，就需要对***中所有相机的曝光时间进行联合优化。
相应地，在本发明实施例中，还可以对具有依赖关系的多个视觉传感器的分别确定的曝光时间进行联合优化，以使该多个视觉传感器的优化后的曝光时间间的差异最小。
对于每个视觉传感器，可以采用前述方案分别确定其曝光时间，然后再对多个视觉传感器的曝光时间进行联合优化。
可选地，在进行进行联合优化时，可以根据该多个视觉传感器的配置，确定优化矩阵；根据该优化矩阵和该多个视觉传感器的分别确定的曝光时间，确定该多个视觉传感器的优化后的曝光时间。
以***中存在多套双目立体视觉***为例(多目立体视觉与此情况类似)，在具有任意路相机的***中，假设有n个相机，分别确定的曝光时间为{t1,t2,t3,…,tn}，其中存在m对双目立体视觉***
每一对双目立体视觉***的权重系数分别为
则可以得到以下方程组：
上述线性方程组可以表达为以下矩阵的形式：
At′＝b (10)
其中t′＝(t‘1,t′2,t′3,…,t′n)T表示联合优化后的相机曝光时间，b＝(t1,t2,…,tn,0,0,…,0)T。上述矩阵可以通过最小二乘法计算得到：
t′＝(ATA)-1ATb (11)
矩阵A依赖于多个视觉传感器的配置，即图像采集***的具体配置，因此(ATA)-1AT可以进行预计算，并不会在运行时带来额外的开销。
以***中采用3个相机，其中1,2、1,3号相机组成双目***，双目权重系数均为1为例，矩阵A为：
这样，通过b和A可以得到联合优化后的曝光时间t′。
通过联合优化，可以使多个视觉传感器的曝光时间整体最优，从而提升整体性能。
应理解，上述本发明实施例的确定曝光时间的技术方案和曝光时间联合优化的技术方案可以联合实施，也可以单独实施。换句话说，曝光时间联合优化的技术方案可以依赖于上述确定曝光时间的技术方案，也可以不依赖于上述确定曝光时间的技术方案。基于此，本发明实施例又提供了另一种曝光的方法，下面结合图5进行描述。应理解，图5所示方法中的一些具体的描述可以参考前述实施例，以下为了简洁，不再赘述。
图5示出了本发明另一个实施例的曝光的方法500的示意性流程图。如图5所示，该方法500包括：
510，分别确定具有依赖关系的多个视觉传感器的曝光时间；
520，对该多个视觉传感器的分别确定的曝光时间进行联合优化，以使该多个视觉传感器的优化后的曝光时间间的差异最小。
对于每个视觉传感器，其曝光时间可以采用前述实施例的技术方案确定，也可以采用其他方式确定，本发明实施例对此并不限定。对分别确定的多个视觉传感器的曝光时间的联合优化可以采用前述实施例的联合优化的技术方案，为了简洁，在此不再赘述。通过联合优化，可以使多个视觉传感器的曝光时间整体最优，从而提升整体性能。
根据采用本发明实施例的技术方案确定的曝光时间，可以得到曝光合理的图像，作为诸如视觉里程计、双目立体视觉、图像识别与跟踪等上层计算机视觉算法的输入，能够保证其结果的准确性和稳定性。
上文详细描述了本发明实施例的曝光的方法，下面将描述本发明实施例的曝光的装置、计算机***和可移动设备。应理解，本发明实施例的曝光的装置、计算机***和可移动设备可以执行前述本发明实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
图6示出了本发明一个实施例的曝光的装置600的示意性框图。如图6所示，该装置600可以包括：
平均亮度确定模块610，用于根据第一图像的像素的亮度和该像素的亮度权重，确定该第一图像的平均亮度；
曝光时间确定模块620，用于根据该第一图像的平均亮度，该第一图像对应的曝光时间和第二图像的期望平均亮度，确定该第二图像对应的曝光时间。
可选地，在本发明一个实施例中，该像素的亮度权重包括区域权重和色度权重中的至少一项，其中，该区域权重为与该像素的区域关联的权重，该色度权重为与该像素的色度关联的权重。
可选地，在本发明一个实施例中，若该像素的区域越接近目标对象的区域，则该区域权重越大；和/或，若该像素的色度越接近目标对象的色度，则该色度权重越大。
可选地，在本发明一个实施例中，该第一图像的平均亮度为该第一图像的像素的亮度的加权平均值。
可选地，在本发明一个实施例中，该第二图像的期望平均亮度为预先设定的。
可选地，如图7所示，在本发明一个实施例中，该装置600还可以包括：
调整模块630，用于根据该第一图像中过曝光像素的百分比，调整该第二图像的期望平均亮度。
可选地，在本发明一个实施例中，该曝光时间确定模块620用于：
根据该第一图像的平均亮度和该第一图像对应的曝光时间，确定平均亮度导数；
根据该第二图像的期望平均亮度，该第一图像的平均亮度和该平均亮度导数，确定曝光时间调整量；
根据该第一图像对应的曝光时间和该曝光时间调整量，确定该第二图像对应的曝光时间。
可选地，在本发明一个实施例中，该曝光时间确定模块620用于：
该根据该第一图像对应的曝光时间，该曝光时间调整量和调节系数，确定该第二图像对应的曝光时间。
可选地，在本发明一个实施例中，该第一图像为已拍摄的图像，该第二图像为待拍摄的图像。
可选地，在本发明一个实施例中，该第一图像为最新的已拍摄的图像。
可选地，如图7所示，在本发明一个实施例中，该装置600还可以包括：
联合优化模块640，用于对具有依赖关系的多个视觉传感器的分别确定的曝光时间进行联合优化，以使该多个视觉传感器的优化后的曝光时间间的差异最小。
可选地，在本发明一个实施例中，该联合优化模块640用于：
根据该多个视觉传感器的配置，确定优化矩阵；
根据该优化矩阵和该多个视觉传感器的分别确定的曝光时间，确定该多个视觉传感器的优化后的曝光时间。
图8示出了本发明另一个实施例的曝光的装置800的示意性框图。如图8所示，该装置800可以包括：
确定模块810，用于分别确定具有依赖关系的多个视觉传感器的曝光时间；
联合优化模块820，用于对多个视觉传感器的分别确定的曝光时间进行联合优化，以使该多个视觉传感器的优化后的曝光时间间的差异最小。
可选地，在本发明一个实施例中，该联合优化模块820用于：
根据该多个视觉传感器的配置，确定优化矩阵；
根据该优化矩阵和该多个视觉传感器的分别确定的曝光时间，确定该多个视觉传感器的优化后的曝光时间。
应理解，上述本发明实施例的曝光的装置可以是芯片，其具体可以由电路实现，但本发明实施例对具体的实现形式不做限定。
本发明实施例还提供了一种处理器，该处理器可以包括上述本发明各种实施例的曝光的装置。
图9示出了本发明实施例的计算机***900的示意性框图。
如图9所示，该计算机***900可以包括处理器910和存储器920。
应理解，该计算机***900还可以包括其他计算机***中通常所包括的部件，例如，输入输出设备、通信接口等，本发明实施例对此并不限定。
存储器920用于存储计算机可执行指令。
存储器920可以是各种种类的存储器，例如可以包括高速随机存取存储器(RandomAccess Memory，RAM)，还可以包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器，本发明实施例对此并不限定。
处理器90用于访问该存储器920，并执行该计算机可执行指令，以进行上述本发明各种实施例的曝光的方法中的操作。
处理器910可以包括微处理器，现场可编程门阵列(Field－Programmable GateArray，FPGA)，中央处理器(Central Processing unit，CPU)，图形处理器(GraphicsProcessing Unit，GPU)等，本发明实施例对此并不限定。
本发明实施例还提供了一种可移动设备，该移动设备可以包括上述本发明各种实施例的曝光的装置、处理器或者计算机***。
本发明实施例的曝光的装置、计算机***和可移动设备可对应于本发明实施例的曝光的方法的执行主体，并且曝光的装置、计算机***和可移动设备中的各个模块的上述和其它操作和/或功能分别为了实现前述各个方法的相应流程，为了简洁，在此不再赘述。
本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述本发明实施例的曝光的方法。
应理解，在本发明实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (21)
1.一种曝光的方法，其特征在于，包括：
根据第一图像的像素的亮度和所述像素的亮度权重，确定所述第一图像的平均亮度，所述像素的亮度权重包括区域权重和色度权重，若所述像素的区域越接近目标对象的区域，则所述区域权重越大，若所述像素的色度越接近目标对象的色度，则所述色度权重越大；
根据所述第一图像的平均亮度，所述第一图像对应的曝光时间和第二图像的期望平均亮度，确定所述第二图像对应的曝光时间；以及，
对具有依赖关系的多个视觉传感器的分别确定的曝光时间进行联合优化，以使所述多个视觉传感器的优化后的曝光时间间的差异最小；
其中，所述对具有依赖关系的多个视觉传感器的分别确定的曝光时间进行联合优化，包括：根据所述多个视觉传感器的配置，确定优化矩阵；根据所述优化矩阵和所述多个视觉传感器的分别确定的曝光时间，确定所述多个视觉传感器的优化后的曝光时间。
2.根据权利要求1所述的方法，其特征在于，所述第一图像的平均亮度为所述第一图像的像素的亮度的加权平均值。
3.根据权利要求1或2所述的方法，其特征在于，所述第二图像的期望平均亮度为预先设定的。
4.根据权利要求1或2所述的方法，其特征在于，在所述确定所述第二图像对应的曝光时间之前，所述方法还包括：
根据所述第一图像中过曝光像素的百分比，调整所述第二图像的期望平均亮度。
5.根据权利要求1或2所述的方法，其特征在于，所述确定所述第二图像对应的曝光时间包括：
根据所述第一图像的平均亮度和所述第一图像对应的曝光时间，确定平均亮度导数；
根据所述第二图像的期望平均亮度，所述第一图像的平均亮度和所述平均亮度导数，确定曝光时间调整量；
根据所述第一图像对应的曝光时间和所述曝光时间调整量，确定所述第二图像对应的曝光时间。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一图像对应的曝光时间和所述曝光时间调整量，确定所述第二图像对应的曝光时间，包括：
所述根据所述第一图像对应的曝光时间，所述曝光时间调整量和调节系数，确定所述第二图像对应的曝光时间。
7.根据权利要求1或2所述的方法，其特征在于，所述第一图像为已拍摄的图像，所述第二图像为待拍摄的图像。
8.根据权利要求7所述的方法，其特征在于，所述第一图像为最新的已拍摄的图像。
9.一种曝光的方法，其特征在于，包括：
分别确定具有依赖关系的多个视觉传感器的曝光时间；
对所述多个视觉传感器的分别确定的曝光时间进行联合优化，以使所述多个视觉传感器的优化后的曝光时间间的差异最小；
所述对所述多个视觉传感器的分别确定的曝光时间进行联合优化，包括：
根据所述多个视觉传感器的配置，确定优化矩阵；
根据所述优化矩阵和所述多个视觉传感器的分别确定的曝光时间，确定所述多个视觉传感器的优化后的曝光时间。
10.一种曝光的装置，其特征在于，包括：
平均亮度确定模块，用于根据第一图像的像素的亮度和所述像素的亮度权重，确定所述第一图像的平均亮度，所述像素的亮度权重包括区域权重和色度权重，若所述像素的区域越接近目标对象的区域，则所述区域权重越大，若所述像素的色度越接近目标对象的色度，则所述色度权重越大；
曝光时间确定模块，用于根据所述第一图像的平均亮度，所述第一图像对应的曝光时间和第二图像的期望平均亮度，确定所述第二图像对应的曝光时间；
所述装置还包括：
联合优化模块，用于对具有依赖关系的多个视觉传感器的分别确定的曝光时间进行联合优化，以使所述多个视觉传感器的优化后的曝光时间间的差异最小；
所述联合优化模块用于：
根据所述多个视觉传感器的配置，确定优化矩阵；
根据所述优化矩阵和所述多个视觉传感器的分别确定的曝光时间，确定所述多个视觉传感器的优化后的曝光时间。
11.根据权利要求10所述的装置，其特征在于，所述第一图像的平均亮度为所述第一图像的像素的亮度的加权平均值。
12.根据权利要求10或11所述的装置，其特征在于，所述第二图像的期望平均亮度为预先设定的。
13.根据权利要求10或11所述的装置，其特征在于，所述装置还包括：
调整模块，用于根据所述第一图像中过曝光像素的百分比，调整所述第二图像的期望平均亮度。
14.根据权利要求10或11所述的装置，其特征在于，所述曝光时间确定模块用于：
根据所述第一图像的平均亮度和所述第一图像对应的曝光时间，确定平均亮度导数；
根据所述第二图像的期望平均亮度，所述第一图像的平均亮度和所述平均亮度导数，确定曝光时间调整量；
根据所述第一图像对应的曝光时间和所述曝光时间调整量，确定所述第二图像对应的曝光时间。
15.根据权利要求14所述的装置，其特征在于，所述曝光时间确定模块用于：
所述根据所述第一图像对应的曝光时间，所述曝光时间调整量和调节系数，确定所述第二图像对应的曝光时间。
16.根据权利要求10或11所述的装置，其特征在于，所述第一图像为已拍摄的图像，所述第二图像为待拍摄的图像。
17.根据权利要求16所述的装置，其特征在于，所述第一图像为最新的已拍摄的图像。
18.一种曝光的装置，其特征在于，包括：
确定模块，用于分别确定具有依赖关系的多个视觉传感器的曝光时间；
联合优化模块，用于对所述多个视觉传感器的分别确定的曝光时间进行联合优化，以使所述多个视觉传感器的优化后的曝光时间间的差异最小；
所述联合优化模块用于：
根据所述多个视觉传感器的配置，确定优化矩阵；
根据所述优化矩阵和所述多个视觉传感器的分别确定的曝光时间，确定所述多个视觉传感器的优化后的曝光时间。
19.一种计算机***，其特征在于，包括：
存储器，用于存储计算机可执行指令；
处理器，用于访问所述存储器，并执行所述计算机可执行指令，以进行根据权利要求1至9中任一项所述的方法中的操作。
20.一种可移动设备，其特征在于，包括：
根据权利要求10至18中任一项所述的曝光的装置。
21.一种可移动设备，其特征在于，包括：
根据权利要求19所述的计算机***。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/099419 WO2019041121A1 (zh) | 2017-08-29 | 2017-08-29 | 曝光的方法、装置、计算机***和可移动设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108521863A CN108521863A (zh) | 2018-09-11 |
| CN108521863B true CN108521863B (zh) | 2020-10-16 |
Family
ID=63434072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780004678.9A Expired - Fee Related CN108521863B (zh) | 2017-08-29 | 2017-08-29 | 曝光的方法、装置、计算机***和可移动设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108521863B (zh) |
| WO (1) | WO2019041121A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113473032B (zh) * | 2020-03-31 | 2024-06-18 | 比亚迪半导体股份有限公司 | 一种自动曝光的调整方法、装置、设备及存储介质 |
| CN112995525B (zh) * | 2021-02-18 | 2022-07-15 | 北京石头创新科技有限公司 | 自行走设备的摄像曝光方法和装置 |
| CN113382143B (zh) * | 2021-06-09 | 2022-07-29 | 中国矿业大学 | 一种消防机器人双目相机自动曝光调节方法 |
| CN115334250B (zh) * | 2022-08-09 | 2024-03-08 | 阿波罗智能技术(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
| CN116074633B (zh) * | 2023-03-06 | 2023-08-01 | 天津宜科自动化股份有限公司 | 一种自动多重曝光方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783888A (zh) * | 2010-03-23 | 2010-07-21 | 中国科学院西安光学精密机械研究所 | 一种基于类直方图的自动曝光方法 |
| CN104320593A (zh) * | 2014-11-19 | 2015-01-28 | 湖南国科微电子有限公司 | 一种数码摄像装置自动曝光控制方法 |
| CN104917976A (zh) * | 2015-06-05 | 2015-09-16 | 北京大恒图像视觉有限公司 | 一种相机自动曝光和自动增益调节方法 |
| CN104917975A (zh) * | 2015-06-01 | 2015-09-16 | 北京空间机电研究所 | 一种基于目标特征的自适应自动曝光方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7940311B2 (en) * | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
| US8229244B2 (en) * | 2009-03-30 | 2012-07-24 | Mitsubishi Electric Research Laboratories, Inc. | Multi-image deblurring |
| US8233789B2 (en) * | 2010-04-07 | 2012-07-31 | Apple Inc. | Dynamic exposure metering based on face detection |
| CN102316253A (zh) * | 2010-07-05 | 2012-01-11 | 东莞德英电子通讯设备有限公司 | 一种立体数码相机及同步拍摄方法 |
| CN103826066B (zh) * | 2014-02-26 | 2017-05-03 | 芯原微电子(上海)有限公司 | 一种自动曝光调整方法及*** |
-
2017
- 2017-08-29 CN CN201780004678.9A patent/CN108521863B/zh not_active Expired - Fee Related
- 2017-08-29 WO PCT/CN2017/099419 patent/WO2019041121A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783888A (zh) * | 2010-03-23 | 2010-07-21 | 中国科学院西安光学精密机械研究所 | 一种基于类直方图的自动曝光方法 |
| CN104320593A (zh) * | 2014-11-19 | 2015-01-28 | 湖南国科微电子有限公司 | 一种数码摄像装置自动曝光控制方法 |
| CN104917975A (zh) * | 2015-06-01 | 2015-09-16 | 北京空间机电研究所 | 一种基于目标特征的自适应自动曝光方法 |
| CN104917976A (zh) * | 2015-06-05 | 2015-09-16 | 北京大恒图像视觉有限公司 | 一种相机自动曝光和自动增益调节方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108521863A (zh) | 2018-09-11 |
| WO2019041121A1 (zh) | 2019-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108521863B (zh) | 曝光的方法、装置、计算机***和可移动设备 | |
| US10085011B2 (en) | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
| US20200378760A1 (en) | Hover control | |
| WO2018210078A1 (zh) | 无人机的距离测量方法以及无人机 | |
| CN110663246B (zh) | 用于处理图像的方法和*** | |
| CN108235815B (zh) | 摄像控制装置、摄像装置、摄像***、移动体、摄像控制方法及介质 | |
| US20220086362A1 (en) | Focusing method and apparatus, aerial camera and unmanned aerial vehicle | |
| KR20190089683A (ko) | 파노라마 이미지를 보정하는 방법 및 시스템 | |
| CN110139038B (zh) | 一种自主环绕拍摄方法、装置以及无人机 | |
| WO2019061064A1 (zh) | 图像处理方法和设备 | |
| CN114943773A (zh) | 相机标定方法、装置、设备和存储介质 | |
| CN109863741A (zh) | 控制装置、摄像装置、摄像***、移动体、控制方法及程序 | |
| WO2017203646A1 (ja) | 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム | |
| WO2020019175A1 (zh) | 图像处理方法和设备、摄像装置以及无人机 | |
| US10884415B2 (en) | Unmanned aerial vehicle light flash synchronization | |
| CN113342055A (zh) | 无人机飞行控制方法、装置、电子设备及存储介质 | |
| JP2021085855A (ja) | 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法 | |
| US20210092306A1 (en) | Movable body, image generation method, program, and recording medium | |
| JP2020050261A (ja) | 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体 | |
| CN109842791A (zh) | 一种图像处理方法及装置 | |
| WO2018123013A1 (ja) | 制御装置、移動体、制御方法、及びプログラム | |
| WO2021035746A1 (zh) | 图像处理方法、装置和可移动平台 | |
| US20170214879A1 (en) | Airborne optoelectronic equipment for imaging, monitoring and/or designating targets | |
| US20210225023A1 (en) | Estimation of Position Coordinates of Light Sources in Images of the Surrounding Environment | |
| CN112335230A (zh) | 控制装置、摄像装置、移动体、控制方法以及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201016 |