CN107395973A - 一种图像拍摄控制方法及装置、*** - Google Patents
一种图像拍摄控制方法及装置、*** Download PDFInfo
- Publication number
- CN107395973A CN107395973A CN201710648023.7A CN201710648023A CN107395973A CN 107395973 A CN107395973 A CN 107395973A CN 201710648023 A CN201710648023 A CN 201710648023A CN 107395973 A CN107395973 A CN 107395973A
- Authority
- CN
- China
- Prior art keywords
- image
- imaging device
- electronic imaging
- parameter configuration
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 20
- 238000003384 imaging method Methods 0.000 claims abstract description 230
- 230000008859 change Effects 0.000 claims abstract description 126
- 238000001514 detection method Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000005611 electricity Effects 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种图像拍摄控制方法及装置、***,该方法包括:获取主电子成像设备采集的每帧图像;提取主电子成像设备所采集图像的图像变化特征,并判断图像变化特征是否符合预设的图像变化规律;若判断结果为不符合,则继续保持所述主电子成像设备拍摄,若判断结果为符合,则启动一个或多个辅助电子成像设备进行辅助拍摄;确定一个或多个辅助电子成像设备的参数配置,并发送相应的参数配置控制命令以修改相应的辅助电子成像设备的配置参数;将所述主电子成像设备采集的图像与各辅助电子成像设备采集的图像进行拼接融合,获得最终的图像输出,通过本发明可避免摄像头过度曝光或曝光不足阶段的信息缺失问题。
Description
技术领域
本发明涉及摄像处理技术领域,尤其涉及一种利用多路电子成像设备避免光线变化时曝光失调的图像拍摄控制方法及装置、***。
背景技术
随着电子成像技术的发展和摄像头的普及,越来越多的摄像头被用于车载领域。这些摄像头常常被用于行车安全辅助和车辆环境检测方面,成为辅助驾驶和安全预警***的核心传感器。利用摄像头拍摄图像时首先需要调节曝光值以适应当前的光线环境,在光线平稳环境下,车载摄像头的曝光值固定,拍摄的图像亮度范围也基本固定,但由于行车环境复杂多变且摄像头等电子成像设备感光芯片面积有限等物理限制,当车辆从昏暗环境进入光线充足环境或者从光线充足环境进入昏暗环境-如驶入或驶出隧道、立交桥下方阴影区域、涵洞等等,往往需要一段时间重新调整成像的曝光值以适应新的光线条件,而在这个过程中,摄像头所采集到的图像就会因为过度曝光(驶出隧道、立交桥***影区域)或曝光不足(驶入隧道、立交桥***影区域)而丢失有效信息,从而失去提供辅助驾驶和安全预警的重要监控信息(比如出隧道遇到急转弯或障碍物等情况),由此带来重大安全隐患。
为解决上述问题,现有技术一般采用如下两种方法:
1、第一种方法:通过增加摄像头设备内部的CCD或CMOS等感光元器件的硬件物理尺寸或者在设备内部设计新型电路***以缩短设备曝光失调过渡阶段所需时间。现有摄像头由于CCD等感光元器件尺寸限制,单位时间内进光量有限,所以只能捕捉到真实环境中一部分有效明暗灰度图像,为了捕捉区域外明亮区域或黑暗区域细节,必须要调节曝光量,即左右移动图1的框线,如图1所示为摄像头感光元器件物理尺寸调节前后所拍摄的灰度图像亮度区域比较图,该方法通过增加CCD或者CMOS元器件的物理芯片尺寸,从而增加设备进光量,使得单位时间内的进光量增加,从而比普通尺寸摄像头捕捉到更宽的明暗区域范围,进而缩短电子成像设备曝光失调阶段的时间,但是,这种方法由于需要更改物理元器件或者需要在技术上进行创新,所需成本较高且仍需耗费不少时间实现曝光失调过渡,且在此期间所拍摄的视频图像仍有信息缺失;
2、第二种方法:不更改现有摄像头感光元器件物理尺寸,而通过手动修改摄像头曝光时间或曝光增益将有效亮度捕捉区域固定适配到光线明亮区域或昏暗区域,使得光线充足或者昏暗区域的图像信息提前被捕捉,但是,这种方法由于提前适配了明亮或昏暗区域的光线环境,车载摄像头所拍摄的当前车辆所处的光线不足或者明亮的环境信息就会因为曝光失调而缺失,从而带来新的安全风险。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种图像拍摄控制方法及装置、***,以在光线平稳情况下利用原有摄像头拍摄图像,而在光线亮度变化时启动多路摄像头拍摄图片并进行拼接融合,从而避免过度曝光或曝光不足阶段的信息缺失问题。
为达上述目的,本发明提供的技术方案如下:
一种图像拍摄控制方法,包括如下步骤:
步骤一,获取主电子成像设备采集的每帧图像;
步骤二,提取所述主电子成像设备所采集图像的图像变化特征,并判断该图像变化特征是否符合预设的图像变化规律;
步骤三,若步骤二的判断结果为所提取的图像变化特征不符合预设的图像变化规律,则继续保持所述主电子成像设备拍摄,若步骤二的判断结果为所提取的图像变化特征符合预设的图像变化规律,则启动一个或多个辅助电子成像设备进行辅助拍摄;
步骤四,确定一个或多个辅助电子成像设备的参数配置,并发送相应的参数配置控制命令以修改相应的辅助电子成像设备的配置参数;
步骤五,将所述主电子成像设备采集的图像与各辅助电子成像设备采集的图像进行拼接融合,获得最终的图像输出。
进一步地,步骤二中,检测所述主电子成像设备拍摄的连续的多帧图像,判断多帧图像的变化特征是否符合预设的图像变化规律。
进一步地,于步骤二中,判断多帧图像变化特征是否符合预设图像变化规律采用如下步骤实现:
基于最大类间方差法统计图像像素并设置阈值统计曝光和非曝光区域的个数,或者基于显著区域检测算法检测显著变化区域,或者基于分类器模型训练并检测图像块或者全图的曝光区域;
基于相邻帧图像判断像素点变化或者推算变化方向或范围;
根据相邻帧交叠图像区域明暗变化量判断是否符合预设的图像变化规律。
进一步地,于步骤四中,基于所述主电子成像设备确定拍摄图像的最低和最高灰度值,并据此划分灰度等级,确定所述主电子成像设备拍摄不清楚的灰度等级区间,发送相应的参数配置控制命令以修改相应的辅助电子成像设备的参数配置以拍摄所述主电子成像设备拍摄不清楚的灰度等级范围内的区域图像。
进一步地,于步骤五中,裁剪获得各辅助电子成像设备所拍摄的图像中涉及所述主电子成像设备拍摄不清楚的灰度等级范围内的区域图像,以及裁剪获得所述主电子成像设备所拍摄的图像中辅助电子成像设备拍摄不清楚的灰度等级范围内的区域图像,并将主电子成像设备与各辅助电子成像设备裁剪获得的图像进行拼接融合,生成一个新的图像作为输出结果。
进一步地,于步骤五后,还包括如下步骤:
返回步骤一,并继续判断所述主电子成像设备所拍摄图像特征是否符合预设的图像变化规律,若不符合,于步骤三恢复图像特征变化前各电子成像设备拍摄的配置状态,并调节各电子成像设备的参数配置以适配当前光线环境。
为达上述目的,本发明还提供一种图像拍摄控制装置,包括:
控制单元,用于通过驱动单元获取各电子成像设备采集的图像,分析主电子成像设备采集到的图像是否符合预设的图像变化规律,根据分析结果确定是否启动辅助电子成像设备,确定各电子成像设备的配置参数,发送参数配置控制命令给驱动单元以实现相应电子成像设备的参数配置,对各电子成像设备采集的图像进行拼接融合以获得最终的图像;
驱动单元,用于获取各电子成像设备采集的图像并送至所述控制单元,根据所述控制单元发送的参数配置控制命令配置相应电子成像设备;
接口电路,用于连接各电子成像设备;
电源模块,用于提供其它模块所需的电源。
进一步地,所述控制单元包括:
图像获取单元,用于通过所述驱动单元获取各电子成像设备采集的图像;
图像变化特征提取判断单元,用于提取主电子成像设备所采集图像的图像变化特征,并判断所提取的图像变化特征是否符合预设的图像变化规律;
判断结果处理单元,于所述图像变化特征提取判断单元的判断结果为所提取的图像变化特征不符合预设的图像变化规律时,则继续保持所述主电子成像设备拍摄,于所述图像变化特征提取判断单元的判断结果为所提取的图像变化特征符合预设的图像变化规律时,则启动一个或多个辅助电子成像设备进行拍摄;
参数配置控制命令生成单元,用于确定所述主电子成像设备拍摄不清楚的灰度等级,根据所述主电子成像设备拍摄不清楚的灰度等级确定一个或多个辅助电子成像设备的参数配置,并发送相应的参数配置控制命令至驱动单元以修改相应的辅助电子成像设备的参数配置;
图像拼接融合单元,用于将所述主电子成像设备采集的图像与各辅助电子成像设备采集的图像进行拼接融合,获得最终的图像输出。
进一步地,所述图像变化特征提取判断单元,具体用于检测所述主电子成像设备拍摄的连续的多帧图像,判断多帧图像变化特征是否符合预设的图像变化规律。
进一步地,所述图像变化特征提取判断单元具体用于:
基于最大类间方差法统计图像像素并设置阈值统计曝光和非曝光区域的个数,或者基于显著区域检测算法检测显著变化区域,或者基于分类器模型训练并检测图像块或者全图的曝光区域;
基于相邻帧图像判断像素点变化或者推算变化方向或范围;
根据相邻帧交叠图像区域明暗变化量判断是否符合预设的图像变化规律。
进一步地,所述参数配置控制命令生成单元,具体用于基于所述主电子成像设备确定拍摄图像的最低和最高灰度值,并据此划分灰度等级,确定所述主电子成像设备拍摄不清楚的灰度等级区间,确定一个或多个辅助电子成像设备的参数配置,并发送相应的参数配置控制命令至驱动单元以修改相应的辅助电子成像设备的参数配置以拍摄所述主电子成像设备拍摄不清楚的灰度等级范围内的区域图像。
进一步地,所述图像拼接融合单元,具体用于裁剪获得各辅助电子成像设备所拍摄的图像中涉及所述主电子成像设备拍摄不清楚的灰度等级范围内的区域图像,以及裁剪获得所述主电子成像设备所拍摄的图像中辅助电子成像设备拍摄不清楚的灰度等级范围内的区域图像,并将主电子成像设备与各辅助电子成像设备裁剪获得的图像进行拼接融合,生成一个新的图像作为输出结果。
进一步地,当所述图像拼接融合单元拼接完成后,所述图像变化特征提取判断单元,具体用于继续判断所述主电子成像设备所拍摄图像特征是否符合预设的图像变化规律,若判断结果为不符合,所述判断结果处理单元,具体用于恢复图像特征变化前各电子成像设备的拍摄配置状态,启动参数配置控制命令生成单元根据当前光线环境确定各电子成像设备的参数配置,并发送参数配置控制命令给所述驱动单元以调节相应电子成像设备的参数配置。
进一步地,所述驱动单元于控制单元外部实现或集成于控制单元内部实现。
为达到上述目的,本发明还提供一种图像拍摄控制***,包括:
控制装置,用于获取各电子成像设备采集的图像,分析主电子成像设备采集到的图像是否符合预设的图像变化规律,根据分析结果确定是否启动辅助电子成像设备,确定各电子成像设备的配置参数,发送参数配置控制命令以实现相应电子成像设备的参数配置,对各电子成像设备采集的图像进行拼接融合以获得最终的图像;
多路电子成像设备,其中一路为主电子成像设备,其它为辅助电子成像设备,各电子成像设备用于采集图像并传送至所述控制装置,各辅助电子成像设备根据所述控制装置发送的参数配置控制命令实现参数配置,以在所述参数配置下采集图像。
与现有技术相比,本发明一种图像拍摄控制方法及装置、***的有益效果在于:
本发明一种图像拍摄控制方法及装置、***通过提取并判断主电子成像设备拍摄的图像变化特征,若未出现预设的图像变化特征,则继续保持主电子成像设备拍摄;否则启动多路摄像头拍摄图像,并拼接多路电子成像设备所拍摄的图像,以在光线平稳情况下利用原有主电子成像设备拍摄图像,而在光线亮度变化时启动多路摄像头拍摄图片并进行拼接融合,从而避免了电子成像设备在光线变化的环境中过度曝光或曝光不足阶段(统称曝光失调)导致的信息缺失问题。
附图说明
图1为现有摄像头感光元器件物理尺寸调节前后所拍摄的灰度图像亮度区域比较图;
图2为本发明一种图像拍摄控制方法的一个实施例的步骤流程图;
图3为两路摄像头拍摄车辆驶出隧道场景的示例图;
图4为本发明具体实施例中两路图像拼接涉及灰度区域示例图;
图5为本发明具体实施例中两路摄像头拍摄驶出隧道场景拼接结果示例图;
图6为本发明具体实施例中三路摄像头拼接涉及灰度区域示例图;
图7为本发明一种图像拍摄控制装置的一个实施例的结构示意图;
图8为本发明一种图像拍摄控制装置的另一个实施例的结构示意图;
图9为本发明具体实施例中控制单元的细部结构图;
图10为本发明一种图像拍摄控制***的一个实施例的架构示意图;
图11为本发明第一具体实施例之图像拍摄***的架构示意图;
图12为本发明具体实施例之图像拍摄控制装置的内部结构示意图;
图13为本发明第二具体实施例之图像拍摄***的架构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
在本发明的一个实施例中,本发明一种图像拍摄控制方法,包括如下步骤:
步骤201,获取主电子成像设备采集的每帧图像,并予以保存。
步骤202,提取主电子成像设备所采集图像的图像变化特征,并判断该图像变化特征是否符合预设的图像变化规律。
在本发明具体实施例中,控制装置会获取主电子成像设备拍摄的每帧图像,检测主电子成像设备所拍摄的连续多帧图像,判断多帧图像变化特征是否符合预设的图像变化规律,以主电子成像设备为摄像头A为例,控制装置获取并保存了摄像头A所拍摄的每帧图像,检测连续的多帧图像,判断多帧图像变化特征是否符合预设的图像变化规律,所述预设的图像变化规律包括在车辆驶入隧道、桥梁、涵洞时图像暗色区域不断扩大且符合进入隧道、桥梁、涵洞的图像变化规律;在车辆驶出隧道、桥梁、涵洞时图像高亮区域不断扩大且符合驶出隧道、桥梁、涵洞的图像变化规律,这里的图像变化规律可以通过查询预先构建的图像模板库得到。在本发明具体实施例中,判断多帧图像变化特征是否符合预设图像变化规律采用如下步骤实现:
基于OSTU(最大类间方差法)等方法统计图像像素并设置阈值统计曝光和非曝光区域的个数,或者基于LC(显著区域检测)算法检测显著变化区域,又或者基于分类器模型训练然后检测图像块或者全图的曝光区域等等;
基于相邻帧图像判断像素点变化或者推算变化方向或范围;
根据相邻帧交叠图像区域明暗变化量判断是否符合预设的图像变化规律。对于判断多帧图像变化特征是否符合预设图像变化规律所采用的方法本发明不做限制。
步骤203,若步骤202的判断结果为所提取的图像变化特征不符合预设的图像变化规律,则说明未出现预设的图像变化特征,则继续保持主电子成像设备拍摄,即保持摄像头A拍摄,若步骤202的判断结果为所提取的图像变化特征符合预设的图像变化规律,则启动一个或多个辅助电子成像设备进行拍摄图像。
步骤204,确定主电子成像设备拍摄不清楚的灰度等级,确定一个或多个辅助电子成像设备的参数配置,并发送控制命令给驱动单元以修改相应的辅助电子成像设备的参数配置,例如曝光时间或曝光增益。具体地说,控制装置的控制单元会基于主电子成像设备(即摄像头A)确定拍摄图像最低和最高灰度值,并据此划分灰度等级,然后确定摄像头A拍摄不清楚的灰度等级区间,确定一个或多个辅助摄像头的参数配置,并发送控制命令给驱动单元以修改相应的摄像头的曝光时间或曝光增益。以下分别通过两路摄像头与多路摄像头描述拍摄过程
1、以两路摄像头拍摄为例
控制单元基于摄像头A确定拍摄图像最低和最高灰度值,并据此划分灰度等级,然后确定摄像头A拍摄不清楚的灰度等级区间,若从黑暗驶向明亮区域,则发送参数配置控制命令给驱动单元(驱动芯片)修改摄像头B的曝光时间或曝光增益以拍摄摄像头A拍摄不清楚的明亮区域;若是从明亮区域驶向黑暗区域,则发送控制命令给驱动单元修改摄像头B的曝光时间或曝光增益以拍摄摄像头A拍摄不清楚的黑暗区域,此时,摄像头A、摄像头B分别对光线不足区域、光线充足区域的信息都有了完整的采集,拍摄完成后,将摄像头A和摄像头B所拍摄的图像逐帧存储于控制装置的内存中。图3为两路摄像头拍摄车辆驶出隧道场景的示例图,图3a为摄像头A成像的示意图,图3b为摄像头B成像的示意图。
2、以多路摄像头拍摄为例
这里以三路摄像头为例描述多路摄像头拍摄过程,其他多路摄像头拍摄过程类似,这里不再一一举例。控制单元基于摄像头A确定拍摄图像最低和最高灰度值,并据此划分灰度等级,然后确定A摄像头拍摄不清楚的灰度等级区间,若从黑暗驶向明亮区域,则发送控制命令给驱动单元(驱动芯片)修改B、C的曝光时间或曝光增益以拍摄A拍摄不清楚的明亮区域,具体的,可以将A所确定的灰度等级进行划分,划分的原则是B、C所涉及的灰度等级区间至少涵盖A拍摄不清楚的所有区间,然后据此强制摄像头B、C修改曝光时间或曝光增益,若是从明亮区域驶向黑暗区域,则发送控制命令给驱动芯片修改摄像头B、C的曝光时间或曝光增益以拍摄摄像头A拍摄不清楚的黑暗区域,这里所用的方法和前述一致。此时,摄像头A、B、C分别对光线不足区域和光线充足区域的信息都有了完整的采集。拍摄完成后,将A、B、C所拍摄的图像逐帧存储于控制装置的内存中。
步骤205,将主电子成像设备采集的图像与各辅助电子成像设备采集的图像进行拼接融合,获得最终的图像输出。具体地,裁剪获得辅助电子成像设备所拍摄的图像中涉及主电子成像设备拍摄不清楚的灰度等级范围内的区域图像,然后裁剪获得主电子成像设备所拍摄的图像中其它电子成像设备拍摄不清楚的灰度等级范围内的区域图像,并将主电子成像设备与辅助电子成像设备裁剪获得的图像进行拼接融合,生成一个新的图像作为输出结果。以下分别通过两路摄像头与多路摄像头描述拼接过程:
1、两路摄像头拼接
以图3车辆从黑暗区域驶入明亮区域为例说明两路摄像头的图像裁剪拼接方法。摄像头A为主摄像头,摄像头B为辅助摄像头,控制单元,即处理器芯片,首先裁剪留下摄像头B所拍摄的图像中涉及A拍摄不清楚的灰度等级范围内的光线明亮区域图像,然后裁剪留下摄像头A所拍摄的图像中摄像头B拍摄不清楚的灰度等级范围内的光线黑暗区域的图像,然后将摄像头A与摄像头B裁剪后剩下的图像部分进行拼接融合,生成一个新的图像作为输出结果。两路图像拼接涉及灰度区域示例图如图4,两路摄像头驶出隧道时拼接结果示例图如图5。
2、多路摄像头拼接
以三路摄像头为例说明多路摄像机拼接原理,其裁剪方法和两路摄像头类似,在此不予赘述,图6为三路摄像头拼接涉及灰度区域示例图。
优选地,当通过步骤205拼接完成后,则继续返回步骤202判断主电子成像设备所拍摄图像特征是否符合预设的图像变化规律,即图像特征是否变换,若不再变化,则恢复图像特征变化前电子成像设备拍摄的配置状态,即恢复图像特征变化前原摄像头拍摄配置状态,并调节各电子成像设备的曝光时间或曝光增益等参数以适配当前光线环境。
在本发明的一个实施例中,如图7所示,本发明一种图像拍摄控制装置,包括:控制单元70、驱动单元71、接口电路73以及电源模块74。
其中,控制单元70,用于通过驱动单元71获取各电子成像设备(包括主电子成像设备及各辅助电子成像设备)采集的图像,分析主电子成像设备(为当前使用的电子成像设备)采集到的图像是否符合预设的图像变化规律,根据分析结果确定是否启动辅助电子成像设备,确定各电子成像设备的配置参数,发送参数配置控制命令给驱动单元71以进行相应的电子成像设备的参数配置,对各电子成像设备采集的图像进行拼接融合;驱动单元71,用于获取各电子成像设备采集的图像,接收控制单元70发送的参数配置控制命令以配置各电子成像设备的参数配置,例如曝光时间或曝光增益;接口电路73,用于连接各电子成像设备;电源模块74,用于提供其它各模块所需的电源。
这里需说明的是,驱动单元71可以通过硬件在控制单元70外部实现,也可以集成于控制单元70内部通过软件实现,本发明不以此为限。
优选地,如图8所示,所述控制装置还包括存储单元72,用于存储控制单元70获取的各电子成像设备采集的图像。
图9为本发明具体实施例中控制单元70的细部结构图。如图9所示,控制单元70进一步包括:
图像获取单元701,用于通过驱动单元71获取各电子成像设备采集的图像,并存储于存储单元;
图像变化特征提取判断单元702,用于提取主电子成像设备所采集图像的图像变化特征,并判断所提取的图像变化特征是否符合预设的图像变化规律。在本发明具体实施例中,各电子成像设备采用摄像头,图像变化特征提取单元702检测当前使用的主摄像头所拍摄的多帧图像,判断多帧图像变化特征是否符合预设的图像变化规律,以主电子成像设备为摄像头A为例,图像获取单元701获取并保存了摄像头A所拍摄的每帧图像,图像变化特征提取判断单元702则检测连续的多帧图像,判断多帧图像变化特征是否符合预设的图像变化规律,以车载摄像头为例,所述预设的图像变化规律包括在车辆驶入隧道、桥梁、涵洞时图像暗色区域不断扩大且符合进入隧道、桥梁、涵洞的图像变化规律;在车辆驶出隧道、桥梁、涵洞时图像高亮区域不断扩大且符合驶出隧道、桥梁、涵洞的图像变化规律,这里的图像变化规律可以通过查询预先构建的图像模板库得到。在本发明具体实施例中,图像变化特征提取判断单元702判断多帧图像变化特征是否符合预设图像变化规律可采用如下步骤实现:
基于OSTU(最大类间方差法)等方法统计图像像素并设置阈值统计曝光和非曝光区域的个数,或者基于LC(显著区域检测)算法检测显著变化区域,又或者基于分类器模型训练然后检测图像块或者全图的曝光区域等等;
基于相邻帧图像判断像素点变化或者推算变化方向或范围;
根据相邻帧交叠图像区域明暗变化量判断是否符合预设的图像变化规律。需说明的是,对于图像变化特征提取判断单元702判断多帧图像变化特征是否符合预设图像变化规律所采用的方法本发明不做限制。
判断结果处理单元703,若图像变化特征提取判断单元702的判断结果为所提取的图像变化特征不符合预设的图像变化规律,则说明未出现预设的图像变化特征,则继续保持主电子成像设备拍摄,即保持摄像头A拍摄,若图像变化特征提取判断单元702的判断结果为所提取的图像变化特征符合预设的图像变化规律,则启动一个或多个辅助电子成像设备进行辅助拍摄。
参数配置控制命令生成单元704,用于确定主电子成像设备拍摄不清楚的灰度等级,确定一个或多个辅助电子成像设备的参数配置,并发送参数配置控制命令给驱动单元以修改相应的辅助电子成像设备的曝光时间或曝光增益。具体地说,参数配置控制命令生成单元704会基于主电子成像设备(即摄像头A)确定拍摄图像最低和最高灰度值,并据此划分灰度等级,然后确定摄像头A拍摄不清楚的灰度等级区间,若从黑暗驶向明亮区域,则发送参数配置控制命令给驱动单元修改摄像头B(本实施例以一个辅助摄像头为例,也可以为两个或以上的辅助摄像头,本发明不以此为限)的曝光时间或曝光增益以拍摄摄像头A拍摄不清楚的明亮区域;若是从明亮区域驶向黑暗区域,则发送控制命令给驱动单元修改摄像头B的曝光时间或曝光增益以拍摄摄像头A拍摄不清楚的黑暗区域,此时,摄像头A、摄像头B分别对光线不足区域、光线充足区域的信息都有了完整的采集,拍摄完成后,图像获取单元701通过驱动单元将摄像头A和摄像头B所拍摄的图像逐帧存储于控制装置的存储单元中。
图像拼接融合单元705,用于将主电子成像设备采集的图像与各辅助电子成像设备采集的图像进行拼接融合,获得最终的图像输出。具体地,图像拼接融合单元705裁剪获得辅助电子成像设备所拍摄的图像中涉及主电子成像设备拍摄不清楚的灰度等级范围内的区域图像,以及裁剪获得主电子成像设备所拍摄的图像中其它电子成像设备拍摄不清楚的灰度等级范围内的区域图像,并将主电子成像设备与辅助电子成像设备裁剪获得的图像进行拼接融合,生成一个新的图像作为输出结果。以车辆从黑暗区域驶入明亮区域为例说明两路摄像头图像裁剪拼接方法,其中摄像头A为主电子成像设备,摄像头B为辅助电子成像设备,图像拼接融合单元705首先裁剪留下摄像头B所拍摄的图像中涉及摄像头A拍摄不清楚的灰度等级范围内的光线明亮区域图像,然后裁剪留下摄像头A所拍摄的图像中摄像头B拍摄不清楚的灰度等级范围内的光线黑暗区域的图像,最后将摄像头A与摄像头B裁剪后剩下的图像部分进行拼接融合,生成一个新的图像作为输出结果。
优选地,当图像拼接融合单元705拼接完成后,图像变化特征提取判断单元702会继续判断主电子成像设备所拍摄图像特征是否变换(即是否符合预设的图像变化规律),若不再变化,判断结果处理单元703则恢复图像特征变化前电子成像设备的拍摄配置状态,即恢复图像特征变化前原摄像头拍摄配置状态,并根据当前光线环境确定各电子成像设备的参数配置,发送控制命令给驱动单元以调节相应电子成像设备的曝光时间或曝光增益等参数。
在本发明的另一个实施例中,如图10所示,本发明一种图像拍摄控制***,包括:控制装置40以及多路电子成像设备41。
控制装置40,获取各电子成像设备41采集的图像,分析主电子成像设备采集到的图像是否符合预设图像变化规律,根据分析结果确定是否启动辅助电子成像设备,确定各电子成像设备的配置参数,发送相应的电子成像设备参数配置控制命令以实现各电子成像设备的参数配置,对各电子成像设备采集的图像进行拼接融合以获得最终的图像。
多路电子成像设备41,其中一路设为主电子成像设备,其它为辅助电子成像设备,各电子成像设备用于采集图像并传送至控制装置40,各辅助电子成像设备根据控制装置40发送的电子成像设备参数配置控制命令进行参数配置,例如修改曝光时间或曝光增益,以在控制装置的控制下拍摄主电子成像设备拍摄不清楚的灰度等级范围内的区域图像。在本发明具体实施例中,各电子成像设备41可采用普通的摄像头。
图11为本发明第一具体实施例之图像拍摄***的架构示意图,在本实施例中,该图像拍摄控制***包括由两路的摄像头和一个控制装置,其中,摄像头A为主电子成像设备,摄像头B为辅助电子成像设备,均连接至控制装置,图12为本发明具体实施例之图像拍摄控制装置的内部结构示意图。在本实施例中,控制单元采用处理器芯片401,驱动单元为摄像头驱动芯片402,存储单元包括内存403以及存储器409,处理器芯片401读取摄像头驱动芯片402采集到的摄像头A和摄像头B的图像并暂存在内存中,分析摄像头A采集到的图像是否符合预设图像变化特征,发送摄像头参数配置控制命令给摄像头驱动芯片402;摄像头驱动芯片402采集摄像头A和摄像头B所拍摄的图像,同时接受处理器芯片401发送的控制命令以配置A、B摄像头的曝光时间或曝光增益;存储器为***数据库,内存则用于在处理器芯片401工作时提供高速缓存、存储各个摄像头所拍摄图像;电源模块404用于提供***各个模块所用的电源;接口电路包括摄像头A、B接口405、电源接口406、数据接口407以及视频输出口408,摄像头A、B接口405用于连接摄像头A、B,电源接口406用于连接外部供电设备为本***提供能量;数据接口407用于进行调试和分享***数据;视频输出口408用于输出视频图像。图13为本发明第二具体实施例之图像拍摄***的架构示意图,在本实施例中,该图像拍摄控制***包括由三路的摄像头(摄像头A、摄像头B、摄像头C)和一个控制装置,除了多包含一路摄像头,其它结构与第一具体实施例相同,在此不予赘述。
综上所述,本发明一种图像拍摄控制方法及装置、***通过提取并判断主电子成像设备拍摄的图像变化特征,若未出现预设的图像变化特征,则继续保持主电子成像设备拍摄;否则启动多路摄像头拍摄图像,并拼接多路电子成像设备所拍摄的图像,以在光线平稳情况下利用原有主电子成像设备拍摄图像,而在光线亮度变化时启动多路摄像头拍摄图片并进行拼接融合,从而避免了电子成像设备在光线变化的环境中过度曝光或曝光不足阶段(统称曝光失调)导致的信息缺失问题,而且,本发明通过增加普通摄像头即可实现,实现成本较低。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种图像拍摄控制方法,包括如下步骤:
步骤一,获取主电子成像设备采集的每帧图像;
步骤二,提取所述主电子成像设备所采集图像的图像变化特征,并判断该图像变化特征是否符合预设的图像变化规律;
步骤三,若步骤二的判断结果为所提取的图像变化特征不符合预设的图像变化规律,则继续保持所述主电子成像设备拍摄,若步骤二的判断结果为所提取的图像变化特征符合预设的图像变化规律,则启动一个或多个辅助电子成像设备进行辅助拍摄;
步骤四,确定一个或多个辅助电子成像设备的参数配置,并发送相应的参数配置控制命令以修改相应的辅助电子成像设备的配置参数;
步骤五,将所述主电子成像设备采集的图像与各辅助电子成像设备采集的图像进行拼接融合,获得最终的图像输出。
2.如权利要求1所述的一种图像拍摄控制方法,其特征在于,步骤二中,检测所述主电子成像设备拍摄的连续的多帧图像,判断多帧图像的变化特征是否符合预设的图像变化规律。
3.如权利要求2所述的一种图像拍摄控制方法,其特征在于,于步骤二中,判断多帧图像变化特征是否符合预设图像变化规律采用如下步骤实现:
基于最大类间方差法统计图像像素并设置阈值统计曝光和非曝光区域的个数,或者基于显著区域检测算法检测显著变化区域,或者基于分类器模型训练并检测图像块或者全图的曝光区域;
基于相邻帧图像判断像素点变化或者推算变化方向或范围;
根据相邻帧交叠图像区域明暗变化量判断是否符合预设的图像变化规律。
4.如权利要求1所述的一种图像拍摄控制方法,其特征在于:于步骤四中,基于所述主电子成像设备确定拍摄图像的最低和最高灰度值,并据此划分灰度等级,确定所述主电子成像设备拍摄不清楚的灰度等级区间,发送相应的参数配置控制命令以修改相应的辅助电子成像设备的参数配置以拍摄所述主电子成像设备拍摄不清楚的灰度等级范围内的区域图像。
5.如权利要求1所述的一种图像拍摄控制方法,其特征在于:于步骤五中,裁剪获得各辅助电子成像设备所拍摄的图像中涉及所述主电子成像设备拍摄不清楚的灰度等级范围内的区域图像,以及裁剪获得所述主电子成像设备所拍摄的图像中辅助电子成像设备拍摄不清楚的灰度等级范围内的区域图像,并将主电子成像设备与各辅助电子成像设备裁剪获得的图像进行拼接融合,生成一个新的图像作为输出结果。
6.如权利要求5所述的一种图像拍摄控制方法,其特征在于,于步骤五后,还包括如下步骤:
返回步骤一,并继续判断所述主电子成像设备所拍摄图像特征是否符合预设的图像变化规律,若不符合,于步骤三恢复图像特征变化前各电子成像设备拍摄的配置状态,并调节各电子成像设备的参数配置以适配当前光线环境。
7.一种图像拍摄控制装置,包括:
控制单元,用于通过驱动单元获取各电子成像设备采集的图像,分析主电子成像设备采集到的图像是否符合预设的图像变化规律,根据分析结果确定是否启动辅助电子成像设备,确定各电子成像设备的配置参数,发送参数配置控制命令给驱动单元以实现相应电子成像设备的参数配置,对各电子成像设备采集的图像进行拼接融合以获得最终的图像;
驱动单元,用于获取各电子成像设备采集的图像并送至所述控制单元,根据所述控制单元发送的参数配置控制命令配置相应电子成像设备;
接口电路,用于连接各电子成像设备;
电源模块,用于提供其它模块所需的电源。
8.如权利要求7所述的一种图像拍摄控制装置,其特征在于,所述控制单元包括:
图像获取单元,用于通过所述驱动单元获取各电子成像设备采集的图像;
图像变化特征提取判断单元,用于提取主电子成像设备所采集图像的图像变化特征,并判断所提取的图像变化特征是否符合预设的图像变化规律;
判断结果处理单元,于所述图像变化特征提取判断单元的判断结果为所提取的图像变化特征不符合预设的图像变化规律时,则继续保持所述主电子成像设备拍摄,于所述图像变化特征提取判断单元的判断结果为所提取的图像变化特征符合预设的图像变化规律时,则启动一个或多个辅助电子成像设备进行拍摄;
参数配置控制命令生成单元,用于确定所述主电子成像设备拍摄不清楚的灰度等级,根据所述主电子成像设备拍摄不清楚的灰度等级确定一个或多个辅助电子成像设备的参数配置,并发送相应的参数配置控制命令至驱动单元以修改相应的辅助电子成像设备的参数配置;
图像拼接融合单元,用于将所述主电子成像设备采集的图像与各辅助电子成像设备采集的图像进行拼接融合,获得最终的图像输出。
9.如权利要求8所述的一种图像拍摄控制装置,其特征在于:所述图像变化特征提取判断单元,具体用于检测所述主电子成像设备拍摄的连续的多帧图像,判断多帧图像变化特征是否符合预设的图像变化规律。
10.如权利要求9所述的一种图像拍摄控制装置,其特征在于,所述图像变化特征提取判断单元具体用于:
基于最大类间方差法统计图像像素并设置阈值统计曝光和非曝光区域的个数,或者基于显著区域检测算法检测显著变化区域,或者基于分类器模型训练并检测图像块或者全图的曝光区域;
基于相邻帧图像判断像素点变化或者推算变化方向或范围;
根据相邻帧交叠图像区域明暗变化量判断是否符合预设的图像变化规律。
11.如权利要求9所述的一种图像拍摄控制装置,其特征在于:所述参数配置控制命令生成单元,具体用于基于所述主电子成像设备确定拍摄图像的最低和最高灰度值,并据此划分灰度等级,确定所述主电子成像设备拍摄不清楚的灰度等级区间,确定一个或多个辅助电子成像设备的参数配置,并发送相应的参数配置控制命令至驱动单元以修改相应的辅助电子成像设备的参数配置以拍摄所述主电子成像设备拍摄不清楚的灰度等级范围内的区域图像。
12.如权利要求11所述的一种图像拍摄控制装置,其特征在于:所述图像拼接融合单元,具体用于裁剪获得各辅助电子成像设备所拍摄的图像中涉及所述主电子成像设备拍摄不清楚的灰度等级范围内的区域图像,以及裁剪获得所述主电子成像设备所拍摄的图像中辅助电子成像设备拍摄不清楚的灰度等级范围内的区域图像,并将主电子成像设备与各辅助电子成像设备裁剪获得的图像进行拼接融合,生成一个新的图像作为输出结果。
13.如权利要求12所述的一种图像拍摄控制装置,其特征在于:当所述图像拼接融合单元拼接完成后,所述图像变化特征提取判断单元,具体用于继续判断所述主电子成像设备所拍摄图像特征是否符合预设的图像变化规律,若判断结果为不符合,所述判断结果处理单元,具体用于恢复图像特征变化前各电子成像设备的拍摄配置状态,启动参数配置控制命令生成单元根据当前光线环境确定各电子成像设备的参数配置,并发送参数配置控制命令给所述驱动单元以调节相应电子成像设备的参数配置。
14.如权利要求7所述的一种图像拍摄控制装置,其特征在于:所述驱动单元于控制单元外部实现或集成于控制单元内部实现。
15.一种图像拍摄控制***,包括:
控制装置,用于获取各电子成像设备采集的图像,分析主电子成像设备采集到的图像是否符合预设的图像变化规律,根据分析结果确定是否启动辅助电子成像设备,确定各电子成像设备的配置参数,发送参数配置控制命令以实现相应电子成像设备的参数配置,对各电子成像设备采集的图像进行拼接融合以获得最终的图像;
多路电子成像设备,其中一路为主电子成像设备,其它为辅助电子成像设备,各电子成像设备用于采集图像并传送至所述控制装置,各辅助电子成像设备根据所述控制装置发送的参数配置控制命令实现参数配置,以在所述参数配置下采集图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710648023.7A CN107395973A (zh) | 2017-08-01 | 2017-08-01 | 一种图像拍摄控制方法及装置、*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710648023.7A CN107395973A (zh) | 2017-08-01 | 2017-08-01 | 一种图像拍摄控制方法及装置、*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107395973A true CN107395973A (zh) | 2017-11-24 |
Family
ID=60344595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710648023.7A Pending CN107395973A (zh) | 2017-08-01 | 2017-08-01 | 一种图像拍摄控制方法及装置、*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107395973A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110049240A (zh) * | 2019-04-03 | 2019-07-23 | Oppo广东移动通信有限公司 | 摄像头控制方法、装置、电子设备和计算机可读存储介质 |
CN111818281A (zh) * | 2020-07-15 | 2020-10-23 | 北京集创北方科技股份有限公司 | 一种图像采集参数调整方法、装置及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103248901A (zh) * | 2012-02-03 | 2013-08-14 | 精工爱普生株式会社 | 图像处理装置及使用该图像处理装置的电子设备 |
US20150086079A1 (en) * | 2013-09-26 | 2015-03-26 | Denso Corporation | Vehicle control system and image sensor |
CN105554410A (zh) * | 2016-01-28 | 2016-05-04 | 武汉光庭信息技术股份有限公司 | 自动驾驶中摄像头动态曝光调整方法 |
CN106572311A (zh) * | 2016-11-11 | 2017-04-19 | 努比亚技术有限公司 | 一种拍摄装置及其方法 |
CN106815558A (zh) * | 2016-12-21 | 2017-06-09 | 上海智驾电子科技有限公司 | 基于图像识别的车进隧道前大灯自动提前开启方法 |
CN106828284A (zh) * | 2017-03-06 | 2017-06-13 | 西华大学 | 基于视频图像序列的汽车隧洞灯光智能控制*** |
-
2017
- 2017-08-01 CN CN201710648023.7A patent/CN107395973A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103248901A (zh) * | 2012-02-03 | 2013-08-14 | 精工爱普生株式会社 | 图像处理装置及使用该图像处理装置的电子设备 |
US20150086079A1 (en) * | 2013-09-26 | 2015-03-26 | Denso Corporation | Vehicle control system and image sensor |
CN105554410A (zh) * | 2016-01-28 | 2016-05-04 | 武汉光庭信息技术股份有限公司 | 自动驾驶中摄像头动态曝光调整方法 |
CN106572311A (zh) * | 2016-11-11 | 2017-04-19 | 努比亚技术有限公司 | 一种拍摄装置及其方法 |
CN106815558A (zh) * | 2016-12-21 | 2017-06-09 | 上海智驾电子科技有限公司 | 基于图像识别的车进隧道前大灯自动提前开启方法 |
CN106828284A (zh) * | 2017-03-06 | 2017-06-13 | 西华大学 | 基于视频图像序列的汽车隧洞灯光智能控制*** |
Non-Patent Citations (1)
Title |
---|
白本督,刘军,范九伦: ""高动态范围成像研究进展"", 《西安邮电大学学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110049240A (zh) * | 2019-04-03 | 2019-07-23 | Oppo广东移动通信有限公司 | 摄像头控制方法、装置、电子设备和计算机可读存储介质 |
CN111818281A (zh) * | 2020-07-15 | 2020-10-23 | 北京集创北方科技股份有限公司 | 一种图像采集参数调整方法、装置及计算机可读存储介质 |
CN111818281B (zh) * | 2020-07-15 | 2022-07-22 | 北京集创北方科技股份有限公司 | 一种图像采集参数调整方法、装置及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101344988B (zh) | 图像获取和处理装置及方法、车辆监测和记录*** | |
CN109194873B (zh) | 一种图像处理方法及装置 | |
CN106161980A (zh) | 基于双摄像头的拍照方法及*** | |
CN104134352A (zh) | 基于长短曝光结合的视频车辆特征检测***及其检测方法 | |
CN105323456A (zh) | 用于拍摄装置的图像预览方法、图像拍摄装置 | |
CN107085842A (zh) | 自学习多路图像融合的实时矫正方法及*** | |
EP2134082A1 (en) | Image synthesizing method and image synthesizing system | |
CN103226694B (zh) | 一种实时人像获取比对和预警布控***及其使用方法 | |
CN101978680B (zh) | 图像修正装置以及图像修正方法 | |
KR101625538B1 (ko) | 도시방범이 가능한 다차선 자동차 번호판 인식시스템 | |
CN111510637A (zh) | 补光装置的亮度调节方法及装置、道路补光装置、电子设备 | |
CN109785220B (zh) | 基于fpga的单目摄像头图像多通道采集装置和方法 | |
CN106910345A (zh) | 电子警察补光***的控制方法 | |
CN107395973A (zh) | 一种图像拍摄控制方法及装置、*** | |
CN102509452B (zh) | 智能交通监测***的闪光灯控制方法及其装置 | |
CN110264651A (zh) | 列车站台行人越线监测方法、装置、终端及存储介质 | |
CN101635091B (zh) | 一种车辆检测及颜色识别装置 | |
CN111653101A (zh) | 车辆抓拍方法及车辆抓拍*** | |
KR101753651B1 (ko) | 도서산간 지역의 방범과 자연재난 감시를 위한 저전력 촬영 장치 및 이를 포함하는 감시 시스템 | |
CN108961169A (zh) | 监控抓拍方法及装置 | |
CN107067734A (zh) | 一种城市信号控制交叉口车辆滞留违章检测方法 | |
CN110321378A (zh) | 一种移动监控图像识别***及方法 | |
CN110827317B (zh) | 一种基于fpga的四目运动目标检测与识别设备及方法 | |
CN102779412A (zh) | 集成式一体化视频交通信息检测方法和*** | |
CN115334250B (zh) | 一种图像处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171124 |
|
RJ01 | Rejection of invention patent application after publication |