CN106341590B - 图像采集控制方法和装置、图像采集设备 - Google Patents
图像采集控制方法和装置、图像采集设备 Download PDFInfo
- Publication number
- CN106341590B CN106341590B CN201510653861.4A CN201510653861A CN106341590B CN 106341590 B CN106341590 B CN 106341590B CN 201510653861 A CN201510653861 A CN 201510653861A CN 106341590 B CN106341590 B CN 106341590B
- Authority
- CN
- China
- Prior art keywords
- pixel unit
- image sensor
- digital image
- information
- related information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像采集控制方法和装置、图像采集设备,其中一种所述方法包括:至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应;至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元;输出至少部分所述关联的像素单元转移完成后的电信号。本申请有利于节省图像采集资源,提高使用的方便性。
Description
技术领域
本申请涉及通信技术领域,特别是涉及一种图像采集控制方法和装置、图像采集设备。
背景技术
在图像采集过程中,如果图像采集设备(如相机、智能手机等)没有平行于待拍摄的场景中的某参考线(如水平线或竖直线等),则采集到的场景中的图像相对所述参考线具有一定的倾斜度。
为了纠正图像内容的倾斜信息,通常可采用软件修正的方法对采集到的图像进行后处理,例如,可将采集到的图像绕其中心进行旋转,并进行裁切或空白区域填充等方式生成一消除上述倾斜信息的新的图像。
发明内容
在下文中给出了关于本申请的简要概述,以便提供关于本申请的某些方面的基本理解。应当理解,这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分,也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本申请实施例提供一种图像采集控制方法和装置、图像采集设备。
第一方面,本申请实施例提供了一种图像采集控制方法,包括:
至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应;
至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元;
输出至少部分所述关联的像素单元转移完成后的电信号。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述参考方向包括:水平方向或竖直方向。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述获取所述数字图像传感器中至少部分像素单元之间的关联信息之前,所述方法还包括:获取所述数字图像传感器相对所述参考方向的倾斜信息。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述获取所述数字图像传感器相对所述参考方向的倾斜信息之前,所述方法还包括:至少根据重力传感器和/或陀螺仪的信号确定所述参考方向。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述至少根据重力传感器和/或陀螺仪获取所述参考方向,包括:对所述数字图像传感器采集到的图像进行边缘识别;根据所述重力传感器和/或陀螺仪的信号以及所述图像的边缘识别结果确定所述参考方向。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述获取所述数字图像传感器中至少部分像素单元之间的关联信息之前,所述方法还包括:根据各所述关联的像素单元在所述数字图像传感器中的分布,确定所述数字图像传感器的局部区域为有效成像区;所述输出至少部分所述关联的像素单元转移完成后的电信号,包括:输出所述有效成像区内各所述关联的像素单元转移完成后的电信号。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述获取所述数字图像传感器中至少部分像素单元之间的关联信息之前,所述方法还包括:获取不同倾斜信息和不同关联信息之间的映射关系;所述获取所述数字图像传感器中至少部分像素单元之间的关联信息,包括:确定所述映射关系中与所述数字图像传感器相对所述参考方向的倾斜信息所对应的关联信息。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述获取所述数字图像传感器中至少部分像素单元之间的关联信息,包括:根据所述倾斜信息确定所述数字图像传感器中像素单元的坐标相对所述参考方向的正交投影坐标值;至少根据所述正交投影坐标值确定所述数字图像传感器中与相应像素单元关联的像素单元。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元,包括:根据所述至少部分像素单元和各自关联的像素单元在所述图像传感器中的分布,分别确定用于所述至少部分像素单元到各自关联的像素单元的电信号逐相邻像素单元转移的正交路径信息;根据所述正交路径信息控制相应像素单元的电信号转移到相应关联的像素单元。
第二方面,本申请实施例还提供了一种图像采集控制装置,包括:
一关联信息获取模块,用于至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应;
一信号转移控制模块,用于至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元;
一信号输出控制模块,用于输出至少部分所述关联的像素单元转移完成后的电信号。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述参考方向包括:水平方向或竖直方向。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一倾斜信息获取模块,用于获取所述数字图像传感器相对所述参考方向的倾斜信息。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一参考方向确定模块,用于至少根据重力传感器和/或陀螺仪的信号确定所述参考方向。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述参考方向确定模块包括:一图像边缘识别子模块,用于对所述数字图像传感器采集到的图像进行边缘识别;一参考方向确定子模块,用于根据所述重力传感器和/或陀螺仪的信号、以及所述图像的边缘识别结果确定所述参考方向。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一有效成像区确定模块,用于根据各所述关联的像素单元在所述数字图像传感器中的分布,确定所述数字图像传感器的局部区域为有效成像区;所述信号输出控制模块包括:一信号输出控制子模块,用于输出所述有效成像区内各所述关联的像素单元转移完成后的电信号。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一映射关系获取模块,用于获取不同倾斜信息和不同关联信息之间的映射关系;所述关联信息获取模块包括:一第一关联信息获取子模块,用于确定所述映射关系中与所述数字图像传感器相对所述参考方向的倾斜信息所对应的关联信息。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述关联信息获取模块包括:一正交投影坐标值确定子模块,用于根据所述倾斜信息确定所述数字图像传感器中像素单元的坐标相对所述参考方向的正交投影坐标值;一第二关联信息确定子模块,用于至少根据所述正交投影坐标值确定所述数字图像传感器中与相应像素单元关联的像素单元。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述信号转移控制模块包括:一正交路径信息确定子模块,用于根据所述至少部分像素单元和各自关联的像素单元在所述图像传感器中的分布,分别确定用于所述至少部分像素单元到各自关联的像素单元的电信号逐相邻像素单元转移的正交路径信息;一信号转移控制子模块,用于根据所述正交路径信息控制相应像素单元的电信号转移到相应关联的像素单元。
第三方面,本申请实施例还提供了一种图像采集设备,包括:
一数字图像传感器、一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口、所述存储器以及所述图像传感器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应;
至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元;
输出至少部分所述关联的像素单元转移完成后的电信号。
本申请实施例提供的技术方案,充分利用数字图像传感器中像素单元在数字域可进行电信号转移的特性,在图像采集过程中自动纠正或至少部分抵消数字图像传感器相对参考方向的倾斜,使得根据图像采集过程输出的电信号生成的图像为相对参考方向未倾斜或倾斜程度较小的图像,有利于节省图像采集资源,提高使用的方便性。
通过以下结合附图对本申请的可选实施例的详细说明,本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中:
图1为本申请实施例提供的一种图像采集控制方法的流程图;
图2为本申请实施例提供的一种可选的像素单元的结构示意图;
图3为本申请实施例提供的另一种可选的像素单元的结构示意图;
图4为本申请实施例提供的任一像素单元和与其关联的像素单元投影关系示例;
图5为本申请实施例提供的有效区域的可选示例;
图6为本申请实施例提供的第一种图像采集控制装置的逻辑框图;
图7为本申请实施例提供的第二种图像采集控制装置的逻辑框图;
图8为本申请实施例提供的第三种图像采集控制装置的逻辑框图;
图9为本申请实施例提供的图像采集设备的逻辑框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与***及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本申请,在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤,而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
图1为本申请实施例提供的一种图像采集控制方法的流程图。本申请实施例提供的图像采集控制方法的执行主体可为某一图像采集控制装置,所述图像采集控制装置通过执行所述图像采集控制方法进行图像采集控制。所述图像采集控制装置的设备表现形式不受限制。例如,所述图像采集控制装置可为某一独立的部件(所述独立的部件可为但不限于一数据处理(Data Handling)模组或控制电路),该部件通过控制数字图像传感器中的像素单元进行图像采集。或者,又例如,所述图像采集控制装置可作为某一模组或控制电路集成在包括所述数字图像传感器的图像采集设备的一部分,以实现对所述数字图像传感器的图像采集控制,等等。所述图像采集控制装置通过向数字图像传感器输出控制信号等方式,对数字图像传感器进行如信号转移、和/或信号输出等控制。具体如图1所示,本申请实施例提供的图像采集控制方法包括:
S101:至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应。
数字图像传感器包括阵列分布的多个像素单元。区别于在模拟域实现信号传输的传统的图像传感器,数字图像传感器中光电信号的多路传输在数字域实现,有利于实现信号的无损传输,提高数字图像传感器的通道隔离度及抗干扰能力等,因此,近年来,对所述数字图像传感器及其应用的研究引起业内人士的广泛关注。
本申请实施例提供的技术方案,可至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息与所述数字图像传感器处于相对参考方向非倾斜的状态(即非倾斜状态)时所述任一像素单元在所述数字图像传感器中的位置对应,所述第二位置信息与所述数字图像传感器处于相对所述参考方向倾斜的状态(即倾斜状态,为与所述倾斜信息对应的状态)时所述任一像素单元在所述数字图像传感器中的位置对应。所述第一位置信息和/或所述第二位置信息可通过坐标值表示,或者,通过相应的像素单元的序号或索引号表示,本申请实施例对此并不限制。例如,所述数字图像传感器中,任一像素单元A在数字图像传感器处于倾斜状态时在所述数字图像传感器中的位置对应第二位置信息W2(如第2行第1列),而该像素单元在数字图像传感器处于非倾斜状态时在所述数字图像传感器中的位置对应第一位置信息W1(如第1行第2列),则确定所述数字图像传感器处于倾斜状态时与第一位置信息W1(如第1行第2列)对应的像素单元B为与像素单元A关联的像素单元;如此,可至少根据所述倾斜信息建立所述数字图像传感器至少部分像素单元之间的关联信息。
S102:至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元。
模拟数字(Analog to Digital,简称AD)转换器是数字图像传感器的重要组成部分,其用于将数字图像传感器中像素单元所采集到的光信号转换成电信号后进行传输。一种可选的数字图像传感器为像素级数字图像传感器,即在每个像素单元中设置AD转换器,这样,每个像素单元采集到的信号即可在数字域实现传输,例如,每个像素单元的可选结构如图2所示,包括:光电二极管(Photo-Diode)21、信号放大器22、电容23、电压比较器24、AD转换计数器25,光电二极管将采集到的光信号转换成电信号(如电压),转换后的电压经信号放大和累积后与预设电压Vref进行比较,如果累积的电压大于预设电压Vref,则触发AD转换计数器25执行如加/减1等计数操作、并重置电容以重新进行电压累积;反复执行上述操作,可将该像素单元中的光电二极管所采集到的光信号转换电信号并在数字域进行传输。其中,控制信号可由图像采集控制装置输出,以控制该像素单元进行信号重置和/或输出等操作。
由于数字图像传感器中像素单元采集到的光信号转换成电信号后可在数字域实现传输,这使得不同像素单元之间的电信号转移成为可能。一种可选的数字图像传感器中,像素单元之间设有通路(可选示例如图3所示),像素单元阵列中的行方向或列方向相邻的像素单元之间可在数字域实现电信号的转移,转移到相邻的像素单元(像素单元B)的数字域的电信号可与像素单元B自身采集到的光信号所对应的电信号进行累积,也可区分存储,等等。其中,控制信号可由图像采集控制装置输出,以控制该像素单元进行信号转移、重置和/或输出等操作。
本申请实施例提供的技术方案在S101中建立不同像素单元之间的关联信息之后,可至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元通过数字域通道将其采集到光信号转移到与之关联的像素单元,如将与第二位置信息W2(如第2行第1列)对应的像素单元A的电信号转移到与第一位置信息W1(如第1行第2列)对应的像素单元B,等等。
S103:输出至少部分所述关联的像素单元转移完成后的电信号。
所述数字图像传感器中至少根据所述关联信息进行至少部分像素单元相应电信号的转移之后,可输出转移完成后的电信号。由于输出的电信号已经按照关联信息进行像素单元之间的转移,相当于在电信号输出之前进行自动纠正或至少部分抵消倾斜信息的操作,因此,基于输出的电信号生成的图像为相对所述参考方向未倾斜或至少抵消部分倾斜的图像。
可见,本申请实施例提供的技术方案,充分利用数字图像传感器中像素单元在数字域可进行电信号转移的特性,在图像采集过程中自动纠正或至少部分抵消数字图像传感器相对参考方向的倾斜,使得根据图像采集过程输出的电信号生成的图像为相对参考方向未倾斜或倾斜程度较小的图像,有利于节省图像采集资源(如计算资源等),提高使用的方便性。
本申请实施例提供的技术方案中,所述参考方向包括但不限于水平方向或竖直方向。水平方向或竖直方向作为边缘的拍摄场景较为普遍,而人眼对相对水平方向或竖直方向的倾斜较为敏感,采用本申请实施例提供的技术方案可在图像采集过程中,对数字图像传感器相对水平方向或竖直方向的倾斜进行自动纠正或至少部分抵消,以根据采集的信息直接生成相对水平方向或竖直方向未倾斜或倾斜程度较小的图像。当然,所述参考方向还可为图像采集的目标对象的边缘等特征方向,本申请实施例对此并不限制。
本申请实施例提供的技术方案可应用与单张图片的拍摄应用场景,例如,用户用手机拍摄海景,手机的数字图像传感器的横边相对水平方向成5度夹角,手机可至少根据该夹角自动纠正或至少部分抵消数字图像传感器相对水平方向的倾斜,使得根据图像采集过程输出的电信号生成的图像为相对水平方向未倾斜或倾斜程度较小的图像。
本申请实施例提供的技术方案还可应用到全景拍摄或者多张连拍合成(time-elapse,时间上对齐)的场景中,例如,手机拍摄高动态范围图像(High-Dynamic Range,简称HDR)应用中,用户通常因为相机的倾斜或者移动,在合成最终照片前,需要对多张不同曝光的图片进行大量的计算处理以确定不同照片之间像素单元坐标间的对应关系;而采用本申请实施例提供的技术方案进行多张图片的采集,可在每一次采集中判断相机拍摄姿态的差异,进行相应的电信号转移(transfer)校正后读出(readout)而生成非倾斜的图片,因此减小了多张图片合成处理所需运算量,提升了图像处理速度。
需要说明的是,以上应用场景仅为示例性的说明,不应理解为对本申请实施例提供的技术方案的实质的限制。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述获取所述数字图像传感器中至少部分像素单元之间的关联信息之前,所述方法还包括:获取所述数字图像传感器相对所述参考方向的倾斜信息。所述数字图像传感器相对所述参考方向的倾斜信息,可包括但不限于所述数字图像传感器的某一边(如平行像素行的一边或平行像素列的一边等)相对所述参考方向的倾斜角度等。所述倾斜信息的获取方式非常灵活,如向外部设备获取所述数字图像传感器的某一边相对所述参考方向的倾斜角度,或者,可通过实际测量或推算确定所述数字图像传感器的某一边相对所述参考方向的倾斜角度,等等。
可选的,所述获取所述数字图像传感器相对所述参考方向的倾斜信息之前,所述方法还包括:至少根据重力传感器(Accelerometers)和/或陀螺仪(Gyroscope)的信号确定所述参考方向。某些包括有数字图像传感器的图像采集设备通常设有重力传感器和/或陀螺仪,可通过重力传感器和/或陀螺仪的信号确定参考方向。例如,可通过重力传感器或陀螺仪的信号确定参考方向,如确定重力方向(即竖直方向)为参考方向。又例如,可结合重力传感器的信号和陀螺仪的信号共同确定参考方向,如通过陀螺仪的信号对根据重力传感器的信号所确定的方向进行角度矫正,由此更加准确地进行参考方向的确定。该方案可复用图像采集设备中设有的如重力传感器和/或陀螺仪等期间确定所述参考方向,方案简单易实现。确定好所述参考方向(如竖直方向等),则可进而确定数字图像传感器的某一边相对该竖直方向或与该竖直方向垂直的方向(水平方向)的夹角。
进一步可选的,所述至少根据重力传感器和/或陀螺仪获取所述参考方向,包括:对所述数字图像传感器采集到的图像进行边缘识别;根据所述重力传感器和/或陀螺仪的信号、以及所述图像的边缘识别结果确定所述参考方向。例如,某些图像采集的拍摄场景中存在具有较为明显特征的边缘,如海平线、桌面、耸立的建筑物等等,可通过数字图像传感器采集拍摄场景的预览图像,对预览图像进行边缘识别,结合重力传感器和/或陀螺仪的信号以及图像的边缘识别结果,共同确定所述参考方向,例如根据所述重力传感器和/或陀螺仪的信号确定的水平方向为方向D1,而根据目标场景的预览图像的边缘识别结果识别出海平面的方向为方向D2,可取二者的平均方向或加权平均方向,作为代表实际水平方向的参考方向。采用该方案确定所述参考方向,有利于降低重力传感器和/或陀螺仪的信号或积分计算等误差的影响,提高所述参考方向确定的准确性。
至少根据所述倾斜信息获取所述关联信息的实现方式非常灵活,本申请实施例对此并不限制。
一种可选的实现方式中,所述获取所述数字图像传感器中至少部分像素单元之间的关联信息之前,所述方法还包括:获取不同倾斜信息和不同关联信息之间的映射关系;相应的,获取第二分布中的至少部分像素单元与第一分布中的至少部分像素单元之间的关联信息,包括:确定所述映射关系中与所述数字图像传感器相对所述参考方向的倾斜信息所对应的关联信息。在实际应用中,可确定多组不同索引序号的像素单元之间的关联信息,每组关联信息对应相对参考方向的一倾斜角度或对应相对参考方向的一倾斜角度范围,这样就相当于建立了倾斜信息和关联信息之间的映射关系,根据所述数字图像传感器当前相对所述参考方向的倾斜角度,就可确定与之相应的关联信息。采用该方案可简单、快速地确定所述关联信息。
另一种可选的实现方式中,所述获取所述数字图像传感器中至少部分像素单元之间的关联信息,包括:根据所述倾斜信息确定所述数字图像传感器中像素单元的坐标相对所述参考方向的正交投影坐标值;至少根据所述正交投影坐标值确定所述数字图像传感器中与相应像素单元关联的像素单元。假设数字图像传感器处于倾斜状态,在该倾斜状态下数字图像传感器的横边沿顺时针与水平方向的夹角为α,某一像素单元的坐标为(x,y),作为旋转中心点的像素单元的坐标为(x0,y0),如图4所示,该像素单元的坐标(x,y)相对水平方向的正交投影坐标值(x',y')为:
至少根据公式(1)计算而得的正交投影坐标可确定所述数字图像传感器中与像素单元(x,y)关联的像素单元。例如:如果计算出的正交投影坐标(x',y')恰好对应数字图像传感器中的某个像素单元的位置,则可确定与该正交投影坐标对应的像素单元为关联的像素单元;如果计算出的正交投影坐标(x',y')并非正好对应数字图像传感器中的某个像素单元的位置,则可采用近似选取策略确定关联的像素单元,所述近似选取策略可包括但不限于距离最小的像素单元等。该方案可根据数字图像传感器的倾斜信息实时确定所述关联信息,有利于提高关联信息的准确性。
基于数字图像传感器进行图像采集的一个可选场景中,实际进行图像采集时所述数字图像传感器所处的状态,相对所述参考方向存在一定的倾斜角度,数字图像传感器的可选状态示例如图5所示,不妨选取水平方向为参考方向,所述数字图像传感器处于其横边平行水平方向的状态为非倾斜状态,所述数字图像传感器处于其横边相对水平方向倾斜一定角度的状态为倾斜状态,图5将数字图像分别处于非倾斜状态和倾斜状态的成像区域进行中心对齐,以便于直观显示。如果将数字图像传感器处于倾斜状态时各像素单元采集到的光电信号在数字域直接进行输出,则生成或显示的图像内容中的水平方向相对实际的水平方向倾斜一定角度,图像中的内容看起来相对水平方向倾斜了。为了避免或至少部分抵消这种倾斜感,本申请实施例提供的技术方案建立数字图像传感器中的至少部分像素单元之间的关联,并根据关联信息将像素单元实际采集到的光电信号在数字域转移到与之关联的像素单元中,这相当于对数字图像传感器各像素单元实际采集到的信号进行至少部分抵消倾斜因素的重排列,使得经信号转移后的各关联的像素单元的信号所生成或显示的图像的内容非倾斜或倾斜程度较小。
可选的,所述获取所述数字图像传感器中至少部分像素单元之间的关联信息之前,所述方法还包括:根据各所述关联的像素单元在所述数字图像传感器中的分布,确定所述数字图像传感器的局部区域为有效成像区;相应的,所述输出至少部分所述关联的像素单元转移完成后的电信号,包括:输出所述有效成像区内各所述关联的像素单元转移完成后的电信号。通过图5可见,数字图像传感器分别处于非倾斜状态和倾斜状态时的成像区域相对中心点而言仅局部重叠,落入该局部重叠区域内的关联的像素单元分布概率较大,可确定该局部重叠区域的至少部分为有效区域。例如,数字图像传感器信号可通过控制读取电路进行逐行或逐列等方式进行输出,为了尽可能使得读取的各行或各列的像素单元均存在有效的转移后的电信号,可确定该局部重叠区域中各索引位置均有关联的像素单元分布的局部区域为有效区域,该有效区域的最小行(或列)数和最大行(或列)数为读取电路最终读取的起止范围。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元,包括:根据所述至少部分像素单元和各自关联的像素单元在所述图像传感器中的分布,分别确定用于所述至少部分像素单元到各自关联的像素单元的电信号逐相邻像素单元转移的正交路径信息;根据所述正交路径信息控制相应像素单元的电信号转移到相应关联的像素单元。在相邻的像素单元之间设有通路的数字图像传感器中,可选示例如图3所示,任一像素单元的AD转换计数器输出端连接一多路选择器(MUX)的输入端,该输入端输入的数字域的电信号根据所述多路选择器的控制端的控制信号,选择某一输出端沿像素单元行或像素单元列向左、向右、向上或向下的相邻的像素单元转移;转移到相邻的像素单元的数字域的电信号可与该相邻的像素单元自身采集到的光信号所对应的电信号可进行区分存储。该方案根据所述至少部分像素单元和各自关联的像素单元在所述图像传感器中的分布,分别确定正交路径信息,所述正交路径信息用于控制所述至少部分像素单元到各自关联的像素单元的电信号沿行或列逐相邻像素单元转移。例如,如要在数字域将第2行第1列的像素单元A的电信号转移到与之关联的第1行第2列的像素单元B,则可先控制第2行第1列的像素单元A将数字化的电信号转移到第2行第1列的像素单元C,再控制转移入第2行第1列的像素单元C的相应电信号继续转移到第1行第2列的像素单元B,由此实现数字化电信号的逐相邻的像素单元的正交转移。采用该方案进行关联的像素单元之间的数字化电信号转移,可复用现有的数字化图像传感器的像素单元阵列的电路结构,控制逻辑简单。当然,也可建立非相邻的像素单元之间的通路,并基于该通路实现数字化电信号的转移,本申请实施例对此并不限制。
本领域技术人员可以理解,在本申请具体实施方式的上述任一方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
图6为本申请实施例提供的一种图像采集控制装置的逻辑框图。如图6所示,本申请实施例提供的图像采集控制装置包括:一关联信息获取模块61、一信号转移控制模块62和一信号输出控制模块63。
关联信息获取模块61用于至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应。
信号转移控制模块62用于至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元。
信号输出控制模块63用于输出至少部分所述关联的像素单元转移完成后的电信号。
所述图像采集控制装置的设备表现形式不受限制。例如,所述图像采集控制装置可为某一独立的部件(所述独立的部件可为但不限于一数据处理模组或控制电路),该部件通过控制数字图像传感器中的像素单元进行图像采集。或者,又例如,所述图像采集控制装置可作为某一模组或控制电路集成在包括所述数字图像传感器的图像采集设备的一部分,以实现对所述数字图像传感器的图像采集控制,等等。
本申请实施例提供的技术方案,充分利用数字图像传感器中像素单元在数字域可进行电信号转移的特性,在图像采集过程中自动纠正或至少部分抵消数字图像传感器相对参考方向的倾斜,使得根据图像采集过程输出的电信号生成的图像为相对参考方向未倾斜或倾斜程度较小的图像,有利于节省图像采集资源,提高使用的方便性。
可选的,所述参考方向包括:水平方向或竖直方向。采用本申请实施例提供的技术方案可在图像采集过程中,对数字图像传感器相对水平方向或竖直方向的倾斜进行自动纠正或至少部分抵消,以根据采集的信息直接生成相对水平方向或竖直方向未倾斜或倾斜程度较小的图像。当然,所述参考方向还可为图像采集的目标对象的边缘等特征方向,本申请实施例对此并不限制。
可选的,如图7所示,所述装置还包括:一倾斜信息获取模块64。倾斜信息获取模块64用于获取所述数字图像传感器相对所述参考方向的倾斜信息。所述倾斜信息的获取方式非常灵活,如向外部设备获取所述数字图像传感器的某一边相对所述参考方向的倾斜角度,或者,可通过实际测量或推算确定所述数字图像传感器的某一边相对所述参考方向的倾斜角度,等等。
可选的,所述装置还包括:一参考方向确定模块65。参考方向确定模块65用于至少根据重力传感器和/或陀螺仪的信号确定所述参考方向。该方案可复用图像采集设备中设有的重力传感器和/或陀螺仪等器件确定所述参考方向,方案简单易实现。
可选的,所述参考方向确定模块65包括:一图像边缘识别子模块651和一参考方向确定子模块652。图像边缘识别子模块651用于对所述数字图像传感器采集到的图像进行边缘识别;参考方向确定子模块652用于根据所述重力传感器和/或陀螺仪的信号、以及所述图像的边缘识别结果确定所述参考方向。采用该方案确定所述参考方向,有利于降低重力传感器的信号的误差的影响,提高所述参考方向确定的准确性。
可选的,所述装置还包括一有效成像区确定模块66,相应的,所述信号输出控制模块63包括一信号输出控制子模块631。有效成像区确定模块66用于根据各所述关联的像素单元在所述数字图像传感器中的分布,确定所述数字图像传感器的局部区域为有效成像区;信号输出控制子模块631用于输出所述有效成像区内各所述关联的像素单元转移完成后的电信号。采用该方案确定所述有效区域有利于使读取的各行或各列的像素单元均存在有效的转移后的电信号。
可选的,如图8所示,所述装置还包括一映射关系获取模块67,相应的,所述关联信息获取模块包括61一第一关联信息获取子模块611。映射关系获取模块67用于获取不同倾斜信息和不同关联信息之间的映射关系;第一关联信息获取子模块611用于确定所述映射关系中与所述数字图像传感器相对所述参考方向的倾斜信息所对应的关联信息。采用该方案可简单、快速地确定所述关联信息。
可选的,所述关联信息获取模块61包括:一正交投影坐标值确定子模块612和一第二关联信息确定子模块613。正交投影坐标值确定子模块612用于根据所述倾斜信息确定所述数字图像传感器中像素单元的坐标相对所述参考方向的正交投影坐标值;第二关联信息确定子模块613用于至少根据所述正交投影坐标值确定所述数字图像传感器中与相应像素单元关联的像素单元。该方案可根据数字图像传感器的倾斜信息实时确定所述关联信息,有利于提高关联信息的准确性。
可选的,所述信号转移控制模块62包括:一正交路径信息确定子模块621和一信号转移控制子模块622。正交路径信息确定子模块621用于根据所述至少部分像素单元和各自关联的像素单元在所述图像传感器中的分布,分别确定用于所述至少部分像素单元到各自关联的像素单元的电信号逐相邻像素单元转移的正交路径信息;信号转移控制子模块622用于根据所述正交路径信息控制相应像素单元的电信号转移到相应关联的像素单元。采用该方案进行关联的像素单元之间的数字化电信号转移,可复用现有的数字化图像传感器的像素单元阵列的电路结构,控制逻辑简单。
图9为本申请实施例提供的图像采集设备的结构示意图,本申请具体实施例并不对图像采集设备900的具体实现方式做限定。如图9所示,图像采集设备900可以包括:
处理器(Processor)910、通信接口(Communications Interface)920、存储器(Memory)930、通信总线940以及数字图像传感器950。其中:
处理器910、通信接口920、以及存储器930通过通信总线940完成相互间的通信。
通信接口920,用于与数字图像传感器950等通信。
处理器910,用于执行程序932,具体可以执行上述任一方法实施例中的相关步骤;
数字图像传感器950包括像素单元阵列,所述像素单元阵列中至少部分单元设有或连接有模拟数字转换器,用于将本像素单元所采集到的光信号转换成电信号后进行传输,和/或,在数字域与其他像素单元进行通信,例如,与其他像素单元在数字域进行信号传输,等等。
例如,程序932可以包括程序代码,所述程序代码包括计算机操作指令。
处理器910可能是一个中央处理器(Central Processing Unit,简称CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器930,用于存放程序932。存储器930可能包含随机存取存储器(RandomAccess Memory,简称RAM),也可能还包括非易失性存储器(Non-volatile memory),例如至少一个磁盘存储器。
例如,在一种可选的实现方式中,处理器910通过执行程序932可执行以下步骤:至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息(所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应);至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元;输出至少部分所述关联的像素单元转移完成后的电信号。
在其他可选的实现方式中,处理器910通过执行程序932还可执行上述其他任一实施例提及的步骤,在此不再赘述。
程序932中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述,在此不再赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在本申请上述各实施例中,实施例的序号和/或先后顺序仅仅便于描述,不代表实施例的优劣。对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。有关装置、设备或***实施例的实施原理或过程的相关描述,可参见相应方法实施例的记载,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、***等实施例中,显然,各部件(***、子***、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时,在上面对本申请具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是:以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。
Claims (10)
1.一种图像采集控制方法,其特征在于,包括:
至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应;
至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元;
输出至少部分所述关联的像素单元转移完成后的电信号。
2.根据权利要求1所述的方法,其特征在于,所述参考方向包括:水平方向或竖直方向。
3.根据权利要求1或2所述的方法,其特征在于,所述获取所述数字图像传感器中至少部分像素单元之间的关联信息之前,所述方法还包括:
获取所述数字图像传感器相对所述参考方向的倾斜信息。
4.根据权利要求3所述的方法,其特征在于,所述获取所述数字图像传感器相对所述参考方向的倾斜信息之前,所述方法还包括:至少根据重力传感器和/或陀螺仪的信号确定所述参考方向。
5.根据权利要求4所述的方法,其特征在于,所述至少根据重力传感器和/或陀螺仪获取所述参考方向,包括:
对所述数字图像传感器采集到的图像进行边缘识别;
根据所述重力传感器和/或陀螺仪的信号以及所述图像的边缘识别结果确定所述参考方向。
6.一种图像采集控制装置,其特征在于,包括:
一关联信息获取模块,用于至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应;
一信号转移控制模块,用于至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元;
一信号输出控制模块,用于输出至少部分所述关联的像素单元转移完成后的电信号。
7.根据权利要求6所述的装置,其特征在于,所述参考方向包括:水平方向或竖直方向。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:
一倾斜信息获取模块,用于获取所述数字图像传感器相对所述参考方向的倾斜信息。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
一参考方向确定模块,用于至少根据重力传感器和/或陀螺仪的信号确定所述参考方向。
10.一种图像采集设备,其特征在于,包括:
一数字图像传感器、一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口、所述存储器以及所述图像传感器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
至少根据数字图像传感器相对一参考方向的倾斜信息,获取所述数字图像传感器中至少部分像素单元之间的关联信息,所述关联信息中第二位置信息对应的任一像素单元和第一位置信息对应的像素单元关联,所述第一位置信息和所述第二位置信息分别与所述数字图像传感器处于非倾斜状态和倾斜状态时所述任一像素单元的位置对应;
至少根据所述关联信息,控制所述数字图像传感器中至少部分像素单元将与其采集到的光信号所对应的电信号转移到各自关联的像素单元;
输出至少部分所述关联的像素单元转移完成后的电信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510653861.4A CN106341590B (zh) | 2015-10-10 | 2015-10-10 | 图像采集控制方法和装置、图像采集设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510653861.4A CN106341590B (zh) | 2015-10-10 | 2015-10-10 | 图像采集控制方法和装置、图像采集设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106341590A CN106341590A (zh) | 2017-01-18 |
CN106341590B true CN106341590B (zh) | 2019-05-21 |
Family
ID=57827110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510653861.4A Active CN106341590B (zh) | 2015-10-10 | 2015-10-10 | 图像采集控制方法和装置、图像采集设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106341590B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7050432B2 (ja) * | 2017-07-05 | 2022-04-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103365030A (zh) * | 2012-03-29 | 2013-10-23 | 安讯士有限公司 | 用于校准摄像机的方法 |
CN103491287A (zh) * | 2012-06-11 | 2014-01-01 | 佳能株式会社 | 图像捕获装置 |
CN103875237A (zh) * | 2011-10-20 | 2014-06-18 | 索尼公司 | 图像拾取器件和相机*** |
CN104221364A (zh) * | 2012-04-20 | 2014-12-17 | 株式会社理光 | 成像装置和图像处理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101450906B1 (ko) * | 2008-08-01 | 2014-10-15 | 삼성전자주식회사 | 카메라 모듈 조립 장치 및 방법 |
-
2015
- 2015-10-10 CN CN201510653861.4A patent/CN106341590B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103875237A (zh) * | 2011-10-20 | 2014-06-18 | 索尼公司 | 图像拾取器件和相机*** |
CN103365030A (zh) * | 2012-03-29 | 2013-10-23 | 安讯士有限公司 | 用于校准摄像机的方法 |
CN104221364A (zh) * | 2012-04-20 | 2014-12-17 | 株式会社理光 | 成像装置和图像处理方法 |
CN103491287A (zh) * | 2012-06-11 | 2014-01-01 | 佳能株式会社 | 图像捕获装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106341590A (zh) | 2017-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9542745B2 (en) | Apparatus and method for estimating orientation of camera | |
CN105659287B (zh) | 图像处理装置、图像处理方法和成像*** | |
US7554575B2 (en) | Fast imaging system calibration | |
CN102104732B (zh) | 图像处理装置和方法 | |
JP4309345B2 (ja) | 画像フィールドデータを修正する技法 | |
CN107633526A (zh) | 一种图像跟踪点获取方法及设备、存储介质 | |
US11042984B2 (en) | Systems and methods for providing image depth information | |
CN105989603A (zh) | 机器视觉图像传感器校准 | |
CN108805938B (zh) | 一种光学防抖模组的检测方法、移动终端及存储介质 | |
JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
CN112369009A (zh) | 用于创建场景的超分辨率图像的光学图像稳定移动 | |
CN114399597A (zh) | 场景空间模型的构建方法、装置以及存储介质 | |
US9811909B2 (en) | Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method | |
CN109120854A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114820814A (zh) | 摄影机位姿计算方法、装置、设备及存储介质 | |
JP2019057864A (ja) | カメラ制御方法、カメラ制御装置およびカメラ制御プログラム | |
CN106341590B (zh) | 图像采集控制方法和装置、图像采集设备 | |
CN106373154A (zh) | 图像处理装置及图像处理方法 | |
CN110049230A (zh) | 校正图像的图像处理装置和方法 | |
CN113628284B (zh) | 位姿标定数据集生成方法、装置、***、电子设备及介质 | |
CN115830131A (zh) | 一种固定相位偏差的确定方法、装置和设备 | |
CN111489376A (zh) | 跟踪交互设备的方法、装置、终端设备及存储介质 | |
WO2024127824A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN209710210U (zh) | 图像重新聚焦的控制*** | |
CN110207687B (zh) | 物体姿态测量方法、测量装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |