CN114567727A - 拍摄控制***、方法及装置、存储介质和电子设备 - Google Patents
拍摄控制***、方法及装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN114567727A CN114567727A CN202210223652.6A CN202210223652A CN114567727A CN 114567727 A CN114567727 A CN 114567727A CN 202210223652 A CN202210223652 A CN 202210223652A CN 114567727 A CN114567727 A CN 114567727A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- lens
- coordinate position
- camera module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000008569 process Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02K—DYNAMO-ELECTRIC MACHINES
- H02K11/00—Structural association of dynamo-electric machines with electric components or with devices for shielding, monitoring or protection
- H02K11/30—Structural association with control circuits or drive circuits
- H02K11/33—Drive circuits, e.g. power electronics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Studio Devices (AREA)
Abstract
本公开提供了一种拍摄控制***、拍摄控制方法、拍摄控制装置、计算机可读存储介质和电子设备,涉及影像技术领域。该拍摄控制***包括处理平台和摄像头模组,摄像头模组包括镜头、驱动芯片和马达;处理平台用于获取摄像头模组拍摄的第一图像,确定第一图像中目标对象的坐标位置,当摄像头模组出现抖动时,获取摄像头模组拍摄的第二图像,确定第二图像中目标对象的坐标位置,根据第一图像中目标对象的坐标位置和第二图像中目标对象的坐标位置,计算镜头偏移量;驱动芯片用于接收处理平台发送的镜头偏移量,并根据镜头偏移量输出电信号;马达用于接收驱动芯片输出的电信号,并根据电信号控制镜头移动。本公开可以提高拍摄效果。
Description
技术领域
本公开涉及影像技术领域,具体而言,涉及一种拍摄控制***、拍摄控制方法、拍摄控制装置、计算机可读存储介质和电子设备。
背景技术
随着终端技术的快速发展,例如智能手机、平板电脑等终端设备已经成为人们日常工作和生活中不可或缺的工具,其中,使用终端设备配备的摄像头模组进行拍摄的现象也越来越普遍。
然而,在使用终端设备的摄像头模组进行拍摄的过程中,可能存在由于摄像头模组的抖动而导致拍摄出的图像质量差的问题。
发明内容
本公开提供一种拍摄控制***、拍摄控制方法、拍摄控制装置、计算机可读存储介质和电子设备,进而至少在一定程度上克服由于摄像头模组的抖动而导致拍摄效果差的问题。
根据本公开的第一方面,提供了一种拍摄控制***,包括处理平台和摄像头模组,摄像头模组包括镜头、驱动芯片和马达;处理平台用于获取摄像头模组拍摄的第一图像,确定第一图像中目标对象的坐标位置,当摄像头模组出现抖动时,获取摄像头模组拍摄的第二图像,确定第二图像中目标对象的坐标位置,根据第一图像中目标对象的坐标位置和第二图像中目标对象的坐标位置,计算镜头偏移量;驱动芯片用于接收处理平台发送的镜头偏移量,并根据镜头偏移量输出电信号;马达用于接收驱动芯片输出的电信号,并根据电信号控制镜头移动。
根据本公开的第二方面,提供了一种拍摄控制方法,包括:获取摄像头模组拍摄的第一图像,确定第一图像中目标对象的坐标位置;当摄像头模组出现抖动时,获取摄像头模组拍摄的第二图像,确定第二图像中目标对象的坐标位置;根据第一图像中目标对象的坐标位置和第二图像中目标对象的坐标位置,计算镜头偏移量;将镜头偏移量发送给驱动芯片,以便驱动芯片根据镜头偏移量向马达输出电信号,由马达根据电信号控制镜头移动;其中,驱动芯片、马达和镜头配置于摄像头模组中。
根据本公开的第三方面,提供了一种拍摄控制装置,包括:第一位置确定模块,用于获取摄像头模组拍摄的第一图像,确定第一图像中目标对象的坐标位置;第二位置确定模块,用于当摄像头模组出现抖动时,获取摄像头模组拍摄的第二图像,确定第二图像中目标对象的坐标位置;偏移量计算模块,用于根据第一图像中目标对象的坐标位置和第二图像中目标对象的坐标位置,计算镜头偏移量;镜头控制模块,用于将镜头偏移量发送给驱动芯片,以便驱动芯片根据镜头偏移量向马达输出电信号,由马达根据电信号控制镜头移动;其中,驱动芯片、马达和镜头配置于摄像头模组中。
根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的拍摄控制方法。
根据本公开的第五方面,提供了一种电子设备,包括处理器;存储器,用于存储一个或多个程序,当一个或多个程序被处理器执行时,使得所述处理器实现上述的拍摄控制方法。
在本公开的一些实施例所提供的技术方案中,处理平台基于抖动前后图像中目标对象坐标位置的变化,计算镜头偏移量,并基于该镜头偏移量控制镜头移动。一方面,本公开通过基于图像内容的光学防抖方式来进行拍摄控制,可以实现针对目标对象的图像跟踪,控制目标对象尽可能稳定在图像中,并且光学防抖可以延长目标对象在感光元件上的曝光时间,使得拍摄出的目标对象更清晰,尤其对于拍摄处于运动状态下的目标对象,可以有效避免图像模糊的情况发生;另一方面,本公开方案中利用目标对象在图像中的位置计算镜头偏移量的过程被配置在处理平台上执行,相比于一些将算法部署在驱动芯片上的方案,本公开方案可以减少处理平台与驱动芯片之间的通信交互,进而可以减少二者之间配置的传输线的数量,节约了成本。另外,对于终端设备的生产厂商而言,由于算法主要部署在处理平台而非摄像头模组,因此,可以降低摄像头模组的采购价格,进一步节约了成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了本公开实施方式的拍摄控制***的***架构的示意图;
图2示出了本公开另一实施方式的拍摄控制***的***架构的示意图;
图3示出了本公开实施例的镜头行程的示意图;
图4示意性示出了本公开实施方式的拍摄控制方法的流程图;
图5示出了本公开实施例的一次拍摄控制过程的示意图;
图6示意性示出了本公开实施方式的拍摄控制装置的方框图;
图7示意性示出了根据本公开的示例性实施方式的电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,下面所有的术语“第一”、“第二”仅是为了区分的目的,不应作为本公开内容的限制。
本公开实施方式的拍摄控制***可以配置于终端设备中,终端设备为具备拍摄功能的任意电子设备,包括但不限于智能手机、平板电脑、智能手表、摄影机、移动监控设备等。
图1示出了本公开实施方式的拍摄控制***的***架构的示意图。
参考图1,本公开实施方式的拍摄控制***可以包括处理平台11和摄像头模组12。
处理平台11可以是终端设备的芯片平台,可以是CPU(Central Processing Unit,中央处理器)。另外,处理平台11还可以是终端设备的SOC(System on Chip,***级芯片)、MCU(Microcontroller Unit,微控制单元)、DSP(Digital Signal Processor,数字信号处理器)等。
摄像头模组12可以至少包括驱动芯片121、马达122和镜头123。虽然未示出,但可以理解的是,摄像头模组还可以包括感光元件(sensor)等其他元件。
驱动芯片121可以是用于驱动马达等负载的芯片。驱动芯片121可以是单通道驱动芯片或多通道驱动芯片,本公开对此不做限制。单通道驱动芯片指的是只有一路电信号传递至马达的驱动芯片,多通道驱动芯片指的是可以同时输出多路电信号传递至马达的驱动芯片。可以理解的是,单通道驱动芯片不限于只有一个输出端,也可以有多个输出端,而输出至马达的输出端可以只有一个。本公开实施方式所说的电信号可以是电流信号、电压信号或其他类型的电信号,本公开对此不做限制。
马达122可以是音圈马达(Voice Coil Motor,VCM),是用于将电能转换为机械能以驱动镜头123移动的装置。
镜头123可以是各种类型的镜头,例如定焦镜头、变焦镜头、广角镜头、长焦镜头、微距镜头等。
在实现本公开实施方式的拍摄控制过程中,首先,处理平台11可以获取摄像头模组12拍摄的第一图像,并确定第一图像中目标对象的坐标位置;接下来,当摄像头模组12出现抖动时,处理平台11可以获取摄像头模组12拍摄的第二图像,并确定第二图像中目标对象的坐标位置;随后,处理平台11可以根据第一图像中目标对象的坐标位置和第二图像中目标对象的坐标位置,计算镜头偏移量;然后,处理平台11可以将镜头偏移量发送给摄像头模组12中的驱动芯片121。其中,处理平台11与驱动芯片121可以通过IIC(Inter-Integrated Circuit,集成电路总线)连接。
驱动芯片121在接收到处理平台11发送的镜头偏移量之后,可以根据镜头偏移量向马达122输出电信号。马达122可以根据电信号控制镜头123移动。其中,电信号中可以携带方向标识和信号强度,根据方向标识可以确定出推动镜头123移动的方向,根据信号强度可以确定出推动镜头123移动的距离。
可以理解的是,控制镜头123移动的方向与摄像头模组12抖动的方向相反,再结合与抖动距离对应的镜头移动距离,可以消除因抖动造成的镜头偏移。
本公开实施方式对目标对象的类型不做限制,可以是用户根据图像内容选择出的对象,也可以是预定指定的对象,例如,人脸、足球、月亮等。在下面的示例性说明中,可以将目标对象中心点的坐标位置作为目标对象的坐标位置。然而,可以理解的是,在目标对象被限定在矩形框的实施例中,还可以利用矩形框的长度和宽度以及矩形框上预定一点(如顶点、中心点等)的坐标来表征目标对象的坐标位置。
下面对处理平台11确定第一图像中目标对象的坐标位置的过程进行说明。
根据本公开的一些实施例,在第一图像呈现在终端设备的触控屏上的情况下,处理平台11可以响应对象选取操作,确定出目标对象,进而确定目标对象在第一图像中的坐标位置。
例如,用户可以通过触控屏点击第一图像上一对象,处理平台11响应用户的该点击操作,确定出目标对象。如用户点击了第一图像中的足球,则可以将足球确定为目标对象。接下来,可以将该足球的球心的坐标作为本公开所说的目标对象在第一图像中的坐标位置。
根据本公开的另一些实施例,处理平台11在获取到第一图像后,可以对第一图像进行图像识别,并计算图像识别的结果与预先定义的目标对象的相似度,在相似度大于相似度阈值的情况下,处理平台11可以将图像识别的结果确定为目标对象,进而确定出目标对象在第一图像中的坐标位置。其中,本公开对相似度阈值的具体取值不做限制。
具体的,处理平台11可以依据预先配置的特征提取算法,从第一图像中提取特征点的集合,并将集合中的特征点与预先配置的目标对象的特征点进行比较,确定出二者的相似度,再利用该相似度确定出目标对象,进而确定出目标对象在第一图像中的坐标位置。
可以理解的是,在未从图像中确定出目标图像的情况下,本公开实施方式的拍摄控制方案停止,处理平台11可以不断执行目标对象的确认过程,直至确定出目标对象以及目标对象在图像中的坐标位置后,继续执行本公开实施方式的拍摄控制方案。
另外,处理平台11确定第二图像中目标对象的坐标位置的过程与上述内容类似,不再赘述。
下面对处理平台11确定摄像头模组12抖动的过程进行说明。
根据本公开的一些实施例,处理平台11可以利用陀螺仪传感器感测的数据,确定摄像头模组12是否出现抖动。
参考图2,本公开实施方式的拍摄控制***还可以包括陀螺仪传感器21。陀螺仪传感器21是一种高速回转体的动量矩敏感壳体相对惯性空间绕正交于自转轴的角运动检测装置,可以是压电陀螺仪传感器、机械陀螺仪传感器、光纤陀螺仪传感器、激光陀螺仪传感器中的任一种。另外,陀螺仪传感器21与处理平台11可以通过SPI(Serial PeripheralInterface,串行外设接口)连接。
陀螺仪传感器21可以检测摄像头模组12在一个或多个方向上的角速度,从而可以根据检测到的角速度判断摄像头模组12是否出现抖动。
具体的,处理平台11可以获取陀螺仪传感器21感测到的角速度,并将感测到的角速度与角速度阈值进行比较,在感测到的角速度大于角速度阈值的情况下,处理平台11确定出摄像头模组12出现抖动。在感测到的角速度小于等于角速度阈值的情况下,处理平台11确定出摄像头模组12未出现抖动。其中,本公开对角速度阈值的具体取值不做限制。
根据本公开的另一些实施例,针对处理平台11判断摄像头模组12是否出现抖动的过程,在连续拍摄的场景中,可以根据拍摄出图像确定摄像头模组12是否出现抖动。
具体的,可以通过拍摄出的图像确定场景中的固定物体,如桌子、树木、建筑物等,然后,判断固定物体在相邻帧中分别的位置,确定摄像头模组12是否出现抖动。例如,相邻帧中固定物体的位置变化在预定范围内,则表明摄像头模组12出现抖动。
下面对处理平台11计算镜头偏移量的过程进行说明。
在摄像头模组12出现抖动的情况下,目标对象在摄像头模组12中的感光元件上成像的位置会发生变化,也就是说,目标对象在第一图像和第二图像中的坐标位置会发生变化。
首先,处理平台11可以根据第一图像中目标对象的坐标位置和第二图像中目标对象的坐标位置计算目标对象的像素偏移量。
如果将第一图像中目标对象的坐标位置记为src_local(x,y),将第二图像中目标对象的坐标位置记为rotate_local(x,y),将像素偏移量记为delta(x,y),则可以利用下式计算出像素偏移量delta(x,y):
delta(x,y)=rotate_local(x,y)-src_local(x,y)
接下来,处理平台11可以利用目标对象的像素偏移量计算镜头偏移量。可以理解的是,镜头偏移量包含镜头移动补偿的方向和程度。
具体的,处理平台11可以将目标对象的像素偏移量与增益阈值相乘,以得到镜头偏移量。
如果将镜头偏移量记为delta_hall(hall_x,hall_y),将增益阈值记为pixelgain(x,y),则可以利用下式计算出镜头偏移量delta_hall(hall_x,hall_y):
delta_hall(hall_x,hall_y)=delta(x,y)*pixelgain(x,y)
通过上式,可以分别计算出x方向上的镜头偏移量和y方向上的镜头偏移量。
应当理解的是,像素偏移量的单位为像素(pixel),镜头偏移量的单位为code。
需要说明的是,马达122可以分别在x方向和y方向上控制镜头123移动。在实际场景中,镜头123的行程范围受硬件限制。图3示出了本公开实施例的镜头行程的示意图。镜头默认配置在中心位置,在驱动镜头移动时,线性行程仅占全行程的一部分,其余部分为非线性行程。
上面以分析第一图像和第二图像为例对本公开示例性拍摄控制方案进行了说明,然而,应当理解的是,在连续采集图像的场景中,可以不断执行上述拍摄控制过程。控制镜头123移动的频率通常较高,在不断进行逐行地曝光及成像的过程中,不断控制镜头123移动,以提高拍摄效果。
进一步的,本公开实施方式中还提供了一种拍摄控制方法。该拍摄控制方法可以通过终端设备实现,具体的,可以由上述处理平台11执行拍摄控制方法的各个步骤。在这种情况下,下述拍摄控制装置可以配置在处理平台11中。
图4示意性示出了本公开的示例性实施方式的拍摄控制方法的流程图。参考图4,该拍摄控制方法可以包括以下步骤:
S42.获取摄像头模组拍摄的第一图像,确定第一图像中目标对象的坐标位置。
本公开实施方式对目标对象的类型不做限制,可以是用户根据图像内容选择出的对象,也可以是预定指定的对象,例如,人脸、足球、月亮等。在下面的示例性说明中,可以将目标对象中心点的坐标位置作为目标对象的坐标位置。然而,可以理解的是,在目标对象被限定在矩形框的实施例中,还可以利用矩形框的长度和宽度以及矩形框上预定一点(如顶点、中心点等)的坐标来表征目标对象的坐标位置。
根据本公开的一些实施例,在第一图像呈现在终端设备的触控屏上的情况下,处理平台可以响应对象选取操作,确定出目标对象,进而确定目标对象在第一图像中的坐标位置。
例如,用户可以通过触控屏点击第一图像上一对象,处理平台响应用户的点击操作,确定出目标对象。如用户点击了第一图像中的足球,则可以将足球确定为目标对象。接下来,可以将该足球的球心的坐标作为本公开所说的目标对象在第一图像中的坐标位置。
根据本公开的另一些实施例,处理平台在获取到第一图像后,可以对第一图像进行图像识别,并计算图像识别的结果与预先定义的目标对象的相似度,在相似度大于相似度阈值的情况下,处理平台可以将图像识别的结果确定为目标对象,进而确定出目标对象在第一图像中的坐标位置。其中,本公开对相似度阈值的具体取值不做限制。
具体的,处理平台可以依据预先配置的特征提取算法,从第一图像中提取特征点的集合,并将集合中的特征点与预先配置的目标对象的特征点进行比较,确定出二者的相似度,再利用该相似度确定出目标对象,进而确定出目标对象在第一图像中的坐标位置。
可以理解的是,第一图像是包含目标对象的图像。在拍摄出的图像中未包括目标图像的情况下,本公开实施方式的拍摄控制方案停止,处理平台可以不断针对拍摄出的图像执行目标对象的确认过程,直至确定出目标对象以及目标对象在图像中的坐标位置后,继续执行本公开实施方式的拍摄控制方案。
S44.当摄像头模组出现抖动时,获取摄像头模组拍摄的第二图像,确定第二图像中目标对象的坐标位置。
根据本公开的一些实施例,处理平台可以利用陀螺仪传感器感测的数据,确定摄像头模组是否出现抖动。
陀螺仪传感器可以检测摄像头模组在一个或多个方向上的角速度,从而可以根据检测到的角速度判断摄像头模组是否出现抖动。
具体的,处理平台可以获取陀螺仪传感器感测到的角速度,并将感测到的角速度与角速度阈值进行比较,在感测到的角速度大于角速度阈值的情况下,处理平台确定出摄像头模组出现抖动。在感测到的角速度小于等于角速度阈值的情况下,处理平台确定出摄像头模组未出现抖动。其中,本公开对角速度阈值的具体取值不做限制。
根据本公开的另一些实施例,针对处理平台判断摄像头模组是否出现抖动的过程,在连续拍摄的场景中,可以根据拍摄出图像确定摄像头模组是否出现抖动。
具体的,可以通过拍摄出的图像确定场景中的固定物体,如桌子、树木、建筑物等,然后,判断固定物体在相邻帧中分别的位置,确定摄像头模组是否出现抖动。例如,相邻帧中固定物体的位置变化在预定范围内,则表明摄像头模组出现抖动。
确定第二图像中目标对象的坐标位置与步骤S42中确定第一图像中目标对象的坐标位置的过程类似,不再赘述。
S46.根据第一图像中目标对象的坐标位置和第二图像中目标对象的坐标位置,计算镜头偏移量。
在摄像头模组出现抖动的情况下,目标对象在摄像头模组中的感光元件上成像的位置会发生变化,也就是说,目标对象在第一图像和第二图像中的坐标位置会发生变化。
首先,处理平台可以根据第一图像中目标对象的坐标位置和第二图像中目标对象的坐标位置计算目标对象的像素偏移量。
如果将第一图像中目标对象的坐标位置记为src_local(x,y),将第二图像中目标对象的坐标位置记为rotate_local(x,y),将像素偏移量记为delta(x,y),则可以利用下式计算出像素偏移量delta(x,y):
delta(x,y)=rotate_local(x,y)-src_local(x,y)
接下来,处理平台可以利用目标对象的像素偏移量计算镜头偏移量。可以理解的是,镜头偏移量包含镜头移动补偿的方向和程度。
具体的,处理平台可以将目标对象的像素偏移量与增益阈值相乘,以得到镜头偏移量。
如果将镜头偏移量记为delta_hall(hall_x,hall_y),将增益阈值记为pixelgain(x,y),则可以利用下式计算出镜头偏移量delta_hall(hall_x,hall_y):
delta_hall(hall_x,hall_y)=delta(x,y)*pixelgain(x,y)
通过上式,可以分别计算出x方向上的镜头偏移量和y方向上的镜头偏移量。
应当理解的是,像素偏移量的单位为像素(pixel),镜头偏移量的单位为code。
S48.将镜头偏移量发送给驱动芯片,以便驱动芯片根据镜头偏移量向马达输出电信号,由马达根据电信号控制镜头移动。
在本公开的示例性实施方式中,驱动芯片、马达和镜头配置于摄像头模组中。
下面以一个实施例对控制镜头移动的过程进行说明。
以镜头的初始位置的中心为原点,镜头所在的平面建立xy坐标系。当镜头当前的坐标位置为(-1,+5)时,如果处理平台计算出的镜头偏移量中x轴的偏移量为+2,y轴的偏移量-3,则驱动芯片根据镜头偏移量输出电信号,控制马达在x轴的正方向上移动2个单位长度,在y轴的负方向上移动3个单位长度。
另外,镜头偏移量也可以通过矢量的形式表示,即镜头偏移量可以包含镜头的偏移方向和偏移量,本公开对此不做限制。
图5示出了本公开实施例的一次拍摄控制过程的示意图。
如图5所示,摄像头模组静止状态时,目标对象可以在感光元件上成像,生成第一图像。
在镜头和感光元件作为一个整体旋转时,目标对象成像位置相比于静止状态发生了偏移,此时,生成第二图像。
在基于本公开实施方式的拍摄控制方案后,可以利用目标对象坐标位置的变化,计算出镜头偏移量,进而推动镜头。由此,目标对象在感光元件上的成像被补偿到静止状态时的中间位置。
上面以一次控制过程对本公开示例性拍摄控制方案进行了说明,然而,应当理解的是,在连续采集图像的场景中,可以不断执行上述拍摄控制过程。控制镜头移动的频率通常较高,在不断进行逐行地曝光及成像的过程中,不断控制镜头移动,以提高拍摄效果。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
进一步的,本公开实施方式中还提供了一种拍摄控制装置。
图6示意性示出了本公开的示例性实施方式的拍摄控制装置6的方框图。参考图6,根据本公开的示例性实施方式的拍摄控制装置6可以包括第一位置确定模块61、第二位置确定模块63、偏移量计算模块65和镜头控制模块67。
具体的,第一位置确定模块61可以用于获取摄像头模组拍摄的第一图像,确定第一图像中目标对象的坐标位置;第二位置确定模块63可以用于当摄像头模组出现抖动时,获取摄像头模组拍摄的第二图像,确定第二图像中目标对象的坐标位置;偏移量计算模块65可以用于根据第一图像中目标对象的坐标位置和第二图像中目标对象的坐标位置,计算镜头偏移量;镜头控制模块67可以用于将镜头偏移量发送给驱动芯片,以便驱动芯片根据镜头偏移量向马达输出电信号,由马达根据电信号控制镜头移动。其中,驱动芯片、马达和镜头配置于摄像头模组中。
由于本公开实施方式的拍摄控制装置的各个功能模块与上述***及方法实施方式中相同,因此在此不再赘述。
图7示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开示例性实施方式的终端设备可以被配置为如图7的形式。需要说明的是,图7示出的电子设备仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
本公开的电子设备至少包括处理器和存储器,存储器用于存储一个或多个程序,当一个或多个程序被处理器执行时,使得处理器可以实现本公开示例性实施方式的拍摄控制方法。
具体的,如图7所示,电子设备70可以包括:处理器710、内部存储器721、外部存储器接口722、通用串行总线(Universal Serial Bus,USB)接口730、充电管理模块740、电源管理模块741、电池742、天线1、天线2、移动通信模块750、无线通信模块760、音频模块770、传感器模块780、显示屏790、摄像头模组791、指示器792、马达793、按键794以及用户标识模块(Subscriber Identification Module,SIM)卡接口795等。其中传感器模块780可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。
可以理解的是,本公开实施例示意的结构并不构成对电子设备70的具体限定。在本公开另一些实施例中,电子设备70可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
处理器710可以包括一个或多个处理单元,例如:处理器710可以包括应用处理器(Application Processor,AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。另外,处理器710中还可以设置存储器,用于存储指令和数据。
电子设备70可以通过ISP、摄像头模组791、视频编解码器、GPU、显示屏790及应用处理器等实现拍摄功能。在一些实施例中,电子设备70可以包括1个或N个摄像头模组791,N为大于1的正整数,若电子设备70包括N个摄像头,N个摄像头中有一个是主摄像头。
内部存储器721可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器721可以包括存储程序区和存储数据区。外部存储器接口722可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备70的存储能力。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如本公开实施例中所述的方法。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (10)
1.一种拍摄控制***,其特征在于,包括处理平台和摄像头模组,所述摄像头模组包括驱动芯片、马达和镜头;
所述处理平台用于获取所述摄像头模组拍摄的第一图像,确定所述第一图像中目标对象的坐标位置,当所述摄像头模组出现抖动时,获取所述摄像头模组拍摄的第二图像,确定所述第二图像中所述目标对象的坐标位置,根据所述第一图像中所述目标对象的坐标位置和所述第二图像中所述目标对象的坐标位置,计算镜头偏移量;
所述驱动芯片用于接收所述处理平台发送的所述镜头偏移量,并根据所述镜头偏移量输出电信号;
所述马达用于接收所述驱动芯片输出的所述电信号,并根据所述电信号控制所述镜头移动。
2.根据权利要求1所述的拍摄控制***,其特征在于,所述处理平台根据所述第一图像中所述目标对象的坐标位置和所述第二图像中所述目标对象的坐标位置计算镜头偏移量的过程被配置为:根据所述第一图像中所述目标对象的坐标位置和所述第二图像中所述目标对象的坐标位置计算所述目标对象的像素偏移量,并利用所述目标对象的像素偏移量计算所述镜头偏移量。
3.根据权利要求2所述的拍摄控制***,其特征在于,所述处理平台利用所述目标对象的像素偏移量计算所述镜头偏移量的过程被配置为:将所述目标对象的像素偏移量与增益阈值相乘,以得到所述镜头偏移量。
4.根据权利要求1所述的拍摄控制***,其特征在于,所述拍摄控制***还包括:
陀螺仪传感器,用于感测所述摄像头模组的角速度;
其中,所述处理平台还用于获取所述陀螺仪传感器感测到的所述角度,并在感测到的所述角速度大于角速度阈值的情况下,确定出所述摄像头模组出现抖动。
5.根据权利要求1所述的拍摄控制***,其特征在于,所述处理平台确定所述第一图像中目标对象的坐标位置的过程被配置为:在所述第一图像呈现在触控屏上的情况下,响应对象选取操作,确定出目标对象,并确定所述目标对象在所述第一图像中的坐标位置。
6.根据权利要求1所述的拍摄控制***,其特征在于,所述处理平台确定所述第一图像中目标对象的坐标位置的过程被配置为:对所述第一图像进行图像识别,计算图像识别的结果与目标对象的相似度,在相似度大于相似度阈值的情况下,将图像识别的结果确定为所述目标对象,并确定所述目标对象在所述第一图像中的坐标位置。
7.一种拍摄控制方法,其特征在于,包括:
获取摄像头模组拍摄的第一图像,确定所述第一图像中目标对象的坐标位置;
当所述摄像头模组出现抖动时,获取所述摄像头模组拍摄的第二图像,确定所述第二图像中所述目标对象的坐标位置;
根据所述第一图像中所述目标对象的坐标位置和所述第二图像中所述目标对象的坐标位置,计算镜头偏移量;
将所述镜头偏移量发送给驱动芯片,以便所述驱动芯片根据所述镜头偏移量向马达输出电信号,由所述马达根据所述电信号控制镜头移动;
其中,所述驱动芯片、所述马达和所述镜头配置于所述摄像头模组中。
8.一种拍摄控制装置,其特征在于,包括:
第一位置确定模块,用于获取摄像头模组拍摄的第一图像,确定所述第一图像中目标对象的坐标位置;
第二位置确定模块,用于当所述摄像头模组出现抖动时,获取所述摄像头模组拍摄的第二图像,确定所述第二图像中所述目标对象的坐标位置;
偏移量计算模块,用于根据所述第一图像中所述目标对象的坐标位置和所述第二图像中所述目标对象的坐标位置,计算镜头偏移量;
镜头控制模块,用于将所述镜头偏移量发送给驱动芯片,以便所述驱动芯片根据所述镜头偏移量向马达输出电信号,由所述马达根据所述电信号控制镜头移动;
其中,所述驱动芯片、所述马达和所述镜头配置于所述摄像头模组中。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求7所述的拍摄控制方法。
10.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储一个或多个程序,当所述一个或多个程序被所述处理器执行时,使得所述处理器实现如权利要求7所述的拍摄控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210223652.6A CN114567727B (zh) | 2022-03-07 | 拍摄控制***、方法及装置、存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210223652.6A CN114567727B (zh) | 2022-03-07 | 拍摄控制***、方法及装置、存储介质和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114567727A true CN114567727A (zh) | 2022-05-31 |
CN114567727B CN114567727B (zh) | 2024-07-05 |
Family
ID=
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003101863A (ja) * | 2001-09-25 | 2003-04-04 | Fuji Photo Optical Co Ltd | 像揺れ防止装置 |
US20110310262A1 (en) * | 2009-03-05 | 2011-12-22 | Fujitsu Limited | Image processing device and shake calculation method |
CN106161930A (zh) * | 2016-06-27 | 2016-11-23 | 乐视控股(北京)有限公司 | 摄像头控制方法及装置 |
CN110012224A (zh) * | 2019-03-26 | 2019-07-12 | Oppo广东移动通信有限公司 | 摄像头防抖***、方法、电子设备和计算机可读存储介质 |
CN110233969A (zh) * | 2019-06-26 | 2019-09-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN111246089A (zh) * | 2020-01-14 | 2020-06-05 | Oppo广东移动通信有限公司 | 抖动补偿方法和装置、电子设备、计算机可读存储介质 |
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003101863A (ja) * | 2001-09-25 | 2003-04-04 | Fuji Photo Optical Co Ltd | 像揺れ防止装置 |
US20110310262A1 (en) * | 2009-03-05 | 2011-12-22 | Fujitsu Limited | Image processing device and shake calculation method |
CN106161930A (zh) * | 2016-06-27 | 2016-11-23 | 乐视控股(北京)有限公司 | 摄像头控制方法及装置 |
CN110012224A (zh) * | 2019-03-26 | 2019-07-12 | Oppo广东移动通信有限公司 | 摄像头防抖***、方法、电子设备和计算机可读存储介质 |
CN110233969A (zh) * | 2019-06-26 | 2019-09-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN111246089A (zh) * | 2020-01-14 | 2020-06-05 | Oppo广东移动通信有限公司 | 抖动补偿方法和装置、电子设备、计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110035228B (zh) | 摄像头防抖***、方法、电子设备和计算机可读存储介质 | |
CN111641835B (zh) | 视频处理方法、视频处理装置和电子设备 | |
US9479709B2 (en) | Method and apparatus for long term image exposure with image stabilization on a mobile device | |
CN109951638B (zh) | 摄像头防抖***、方法、电子设备和计算机可读存储介质 | |
KR20130037746A (ko) | 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체 | |
CN111062981A (zh) | 图像处理方法、装置及存储介质 | |
KR20210010148A (ko) | 폴더블 전자 장치 및 상기 폴더블 전자 장치에서 복수의 카메라들을 이용한 사진 촬영 방법 | |
CN103577789A (zh) | 检测方法和装置 | |
US20220360714A1 (en) | Camera movement control method and device | |
CN115004685A (zh) | 电子装置和用于在电子装置处显示图像的方法 | |
CN115412714A (zh) | 数据处理方法、控制终端、ar终端、ar***及存储介质 | |
EP3267675B1 (en) | Terminal device and photographing method | |
CN114390186B (zh) | 视频拍摄方法及电子设备 | |
US11159725B2 (en) | Image processing apparatus, image processing method, and recording medium | |
CN114567727B (zh) | 拍摄控制***、方法及装置、存储介质和电子设备 | |
CN114567727A (zh) | 拍摄控制***、方法及装置、存储介质和电子设备 | |
JP2020136774A (ja) | 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム | |
CN111444749A (zh) | 路面导向标志的识别方法、装置及存储介质 | |
CN113362260A (zh) | 图像优化方法及装置、存储介质及电子设备 | |
CN115134532A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN115086541A (zh) | 一种拍摄位置确定方法、装置、设备及介质 | |
CN113194243A (zh) | 自动拍摄图像的方法、执行该方法的图像处理设备和*** | |
CN111757005A (zh) | 拍摄控制方法及装置、计算机可读介质和电子设备 | |
CN114979458A (zh) | 一种图像的拍摄方法及电子设备 | |
KR20220016695A (ko) | 딥러닝에 기반한 이미지 분할 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |