CN113489879A - 信息同步方法、电子设备和计算机可读存储介质 - Google Patents

信息同步方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113489879A
CN113489879A CN202110866185.4A CN202110866185A CN113489879A CN 113489879 A CN113489879 A CN 113489879A CN 202110866185 A CN202110866185 A CN 202110866185A CN 113489879 A CN113489879 A CN 113489879A
Authority
CN
China
Prior art keywords
information
attitude
image
image sensor
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110866185.4A
Other languages
English (en)
Inventor
胡攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110866185.4A priority Critical patent/CN113489879A/zh
Publication of CN113489879A publication Critical patent/CN113489879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种信息同步方法、电子设备和计算机可读存储介质，信息同步方法应用于电子设备，电子设备包括图像传感器和姿态传感器，所述信息同步方法包括：获取所述姿态传感器采集的姿态信息；获取所述图像传感器采集图像信息的同步信号；通过所述图像传感器根据所述姿态信息和所述同步信号将所述图像信息和所述姿态信息进行同步，得到同步后的姿态信息。本申请通过图像传感器将图像信息的同步信号与姿态信息进行同步，通过硬件同步的方式，可以提高姿态信息与图像信息同步的准确性。

Description

信息同步方法、电子设备和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种信息同步方法、电子设备和计算机可读存储介质。
背景技术
目前，如手机、平板电脑等电子设备通常配置有摄像头，从而为用户提供拍照功能，使得用户能够通过这些电子设备随时随地的记录身边发生的事情，看到的景物等。然而，由于用户通常手持电子设备进行拍摄，而用户手持电子设备会引入不同程度的抖动而影响电子设备拍摄的稳定性，导致拍摄得到的图像的质量较差。此时需要通过电子防抖和/或光学防抖的方式对图像进行补偿。
电子防抖的方式往往通过需要将图像信息和电子设备姿态信息进行同步而传统的防抖方法，图像信息和姿态信息同步不准确，导致防抖效果较差。
发明内容
本申请实施例提供一种信息的同步方法、电子设备和计算机可读存储介质，能够提高图像信息与姿态信息同步的准确性。
本申请实施例提供一种图像信息同步方法，应用于电子设备，所述电子设备包括图像传感器和姿态传感器，所述信息同步方法包括：
获取所述姿态传感器采集的姿态信息；
获取所述图像传感器采集图像信息的同步信号；
通过所述图像传感器根据所述姿态信息和所述同步信号将所述图像信息和所述姿态信息进行同步，得到同步后的姿态信息。
本申请实施例提供一种电子设备，所述电子设备包括：
姿态传感器，用于采集姿态信息；
图像传感器，用于采集图像信息，还用于将所述姿态信息和所述图像信息的同步信号进行同步，以得到同步后的姿态信息。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的信息同步方法的步骤。
本申请实施例提供的信息同步方法、电子设备和计算机可读存储介质，通过获取姿态传感器采集的姿态信息，获取图像传感器采集图像信息的同步信号，通过图像传感器根据姿态信息和同步信号将图像信息和姿态信息进行同步，得到同步后的姿态信息。直接通过图像传感器硬件同步的方式，将姿态信息和图像信息进行同步，可以提高姿态信息与图像信息同步的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的信息同步方法的流程示意图。
图2为本申请一实施例提供的电子设备的结构示意图。
图3为本申请一实施例提供的信息同步方法的流程示意图。
图4为本申请一实施例提供的电子设备的结构框图。
图5为本申请一实施例提供的电子设备的结构框图。
图6为本申请一实施例提供的图像传感器逐行曝光示意图。
图7为本申请一实施例提供的图像信息和姿态信息的存储关系示意图。
图8为本申请一实施例提供的信息同步方法的流程示意图。
图9为本申请一实施例提供的电子设备的结构框图。
图10为本申请一实施例提供的电子设备的结构框图。
图11为本申请一实施例提供的电子设备的结构框图。
具体实施方式
应当说明的是，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种电子设备及图像信息同步方法，其中图像信息同步方法的执行主体可以是本申请实施例提供的电子设备，其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等配置有处理器而具有数据处理能力的设备。
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1和图2，图1为本申请一实施例提供的信息同步方法的流程示意图，图2为本申请一实施例提供的电子设备的结构示意图，本申请实施例提供的信息同步方法应用电子设备，电子设备10包括：图像传感器110和姿态传感器120，电子设备10可以为具有拍摄功能的智能手机，其中图像传感器110用于在电子设备10拍摄时采集图像信息，姿态传感器用于采集电子设备10的姿态信息。
信息同步方法包括如下步骤：
101，获取姿态传感器采集的姿态信息。
其中，姿态传感器可以采集电子设备的姿态信息，其中姿态信息可以反映电子设备的运动变化以及位置变化，姿态传感器可以在接收到采集信号后采集姿态信息，例如，在电子设备处于拍摄状态时，向姿态传感器发送采集信号，姿态传感器采集电子设备的姿态信息。
102，获取图像传感器采集图像信息的同步信号。
图像传感器可以利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器可以采集图像信息，采集图像信息的同时可以生成同步信号，其中，同步信号可以为在采集图像信息时伴随生成的提供时间参考的同步信号。
103，通过图像传感器根据姿态信息和同步信号将图像信息和姿态信息进行同步，得到同步后的姿态信息。
图像传感器在采集图像信息时，可以直接或间接获取姿态传感器采集的姿态信息，根据采集图像信息生成的同步信号，将获取到的姿态信息和图像信息进行同步，得到同步后的姿态信息。以根据同步后的姿态信息实现电子设备的电子防抖和/或光学防抖。
相关技术中，往往通过软件为图像信息和姿态信息生成时间戳，通过时间对齐的方式将图像信息和姿态信息进行同步的方式，由于不同硬件结构中的时钟源的不同，容易造成同步误差。
相较于通过时间戳将图像信息和姿态信息同步会造成误差的同步的方式，本申请实施例提供的信息同步方法通过获取姿态传感器采集的姿态信息，获取图像传感器采集图像信息的同步信号，通过图像传感器根据姿态信息和同步信号将图像信息和姿态信息进行同步，得到同步后的姿态信息。本申请直接通过图像传感器硬件同步的方式，将姿态信息和图像信息进行同步，可以提高姿态信息与图像信息同步的准确性。
请参照图3和图4，图3为本申请一实施例提供的信息同步方法的流程示意图，图4为本申请一实施例提供的电子设备的结构框图。
本申请实施例提供的电子设备的图像传感器和姿态传感器连接。信息同步方法包括如下步骤：
201，通过图像传感器获取姿态传感器采集的姿态信息。
其中，姿态传感器可以采集电子设备的姿态信息，姿态传感器可以包括霍尔传感器(Hall)、陀螺仪(Gyro)、加速度计(Acc)、磁力计(Magenatic)以及重力计(Gravity)中的一种或多种，当然还可以包括其他类型的姿态传感器，姿态信息可以反映电子设备的运动变化以及位置变化，姿态传感器可以在接收到采集信号后采集姿态信息，例如，在电子设备处于拍摄状态时，向姿态传感器发送采集信号，姿态传感器采集电子设备的姿态信息。
图像传感器和姿态传感器之间可以通过SPI(Serial Peripheral Interface，SPI)总线连接，图像传感器可通过SPI总线获取姿态传感器的姿态信息。在一些实施例中，姿态传感器可以集成于图像传感器，图像传感器直接获取姿态传感器采集的姿态数据，可以减少图像传感器从姿态传感器获取到姿态信息的时间。
在一些实施例中，可以直接在图像传感器内部直接集成霍尔传感器(Hall)、陀螺仪(Gyro)、加速度计(Acc)、磁力计(Magenatic)以及重力计(Gravity)等姿态传感器。减少姿态信息传输的时间，可以提高后续将图像信息和姿态信息同步的准确性。
202，获取图像传感器采集图像信息的同步信号，图像信息的同步信号包括帧数据和曝光行数据。
其中，图像传感器可以利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器可以采集图像信息，例如通过逐行曝光的方式采集图像信息，图像传感器可以通过卷帘快门通过逐行曝光的方式采集图像信息，对于采用逐行曝光的方式采集图像信息来说，每帧图像的每一行是依次曝光的，因此在采集每一行图像信息时，电子设备的姿态信息可以是相同也可以是不同的，对于每一行图像信息来说，对应的姿态信息为该行曝光时间段内姿态传感器采集到的姿态信息，其中，帧数据可以反映当前曝光的帧号，曝光行数据可以反映当前曝光的行号。图像传感器通过逐行曝光的方式采集图像信息时，可以生成帧号和行号的时序信号。
203，图像传感器在获取到姿态信息时，将获取到的帧数据和行数据赋值给获取到的姿态信息，得到同步后的姿态信息。
其中，由于图像传感器内部存在自主控制的图像帧的时序，帧数据可以为帧同步信息，帧同步信号可以是指垂直同步脉冲信号(Vertical synchronization，Vsync)，图像传感器每获取一次图像帧数据，则生成一次帧同步信号，帧同步信号反映图像传感器当前曝光图像帧的帧号，行数据可以行同步信息，行同步信息可以是指水平同步脉冲信号(Horizontal synchronization，Hsync)，图像传感器通过逐行曝光的方式采集图像信息，每曝光一行图像帧数据，则生成一次行同步信号，行同步信号反映图像传感器当前曝光图像帧的行号。当图像传感器通过SPI总线获取到姿态传感器采集的姿态信息时，根据帧同步信号和行同步信号将当前获取到的帧号和行号赋值给获取到的姿态信息。
例如，图像传感器当前曝光第一帧图像，曝光至第一行时获取到的姿态信息为第一姿态信息，将第一帧图像的帧号和第一行的行号赋值给第一姿态信息，建立帧号、行号以及第一姿态信息之间的映射关系，得到同步后的第一姿态信息，后续可以通过第一帧的帧号以及第一行的行号对齐到第一姿态信息。曝光至第二行时获取到的姿态信息为第二姿态信息，将第一帧图像的帧号和第二行的行号赋值给第二姿态信息，建立帧号、行号以及第二姿态信息之间的映射关系，得到同步后的第二姿态信息，后续可以通过第一帧的帧号以及第二行的行号对齐到第二姿态信息。
在一些实施例中，由于采样频率的差异，逐行曝光速度较快，一个姿态信息可以对应多行曝光图像信息，例如，在图像传感器曝光第一帧图像，曝光第一至第五行时获取到第三姿态信息，曝光第六行至第十行时，获取到第四姿态信息，将第一帧图像的帧号、第一行至第五行的行号赋值给第三姿态信息，建立帧号、行号以及第三姿态信息之间的映射关系，将第一帧图像的帧号、第六行至第十行的行号赋值给第四姿态信息，建立帧号、行号以及第四姿态信息之间的映射关系，得到同步后的第三姿态信息以及第四姿态信息。后续可以通过第一帧的帧号以及第一至第五行的行号对齐到第三姿态信息，通过第一帧的帧号、第六至第十行的行号对齐到第四姿态信息。其中，帧号和行号可以为图像传感器内部计数器在接收到相应的帧同步信号和行同步信号生成的数据标识。数据标识可以为具体的有规律的数值，也可以为其他无规律的数值。
需要说明的是，上述同步方式仅仅是示例性的，图像传感器还可以通过其他硬件同步方式将图像帧数据和行数据与姿态信息进行同步。
204，将同步后的姿态信息发送至应用处理器。
205，应用处理器根据同步后的姿态信息实现电子防抖和/或光学防抖。
关于步骤204～205：
电子设备还可以包括应用处理器，应用处理器与图像传感器连接，其中，应用处理器可以通过MIPI(Mobile Industry Processor Interface，MIPI)总线与图像传感器连接。图像传感器在得到同步后的姿态信息后，可以通过MIPI总线发送至应用处理器，应用处理器可以根据同步后的姿态信息进行电子防抖和/或光学防抖，其中，电子防抖处理是指利用边缘图像进行补偿的防抖处理。具体地，EIS(Electric Image Stabilization，电子防抖)需要依赖电子设备的姿态信息和采集的图像信息进行同步，需要对应每一帧图像信息所对应的其拍摄时的电子设备的姿态。应用处理器在获取到同步后的姿态信息后，根据同步后的姿态信息通过算法对采集的图像信息进行处理。光学防抖是在拍摄时驱动图像传感器和/或镜头运动，以对拍摄进行光学补偿，应用处理器在得到同步后的姿态信息后，可以根据同步后的姿态信息对光学防抖进行反馈调节。
本申请直接通过图像传感器获取姿态传感器采集的姿态信息，并通过图像传感器采集图像时生成的帧数据和行数据对获取到的姿态信息赋值，可以减少数据传输的时间差，通过硬件同步的方式将姿态信息和图像信息进行同步，可以提高姿态信息与图像信息同步的准确性。
与图4所示的电子设备不同的是，在一些实施例中，电子设备还可以包括驱动芯片、驱动马达以及镜头，驱动芯片用于实现光学防抖，应用处理器包括图像处理器，请继续参阅图5，图5为本申请实施例提供的电子设备的第二结构框图。
电子设备包括驱动芯片、驱动马达以及镜头，驱动芯片用于通过驱动马达驱动镜头和/图像传感器运动，以实现光学防抖，图像处理器用于获取图像传感器采集到的图像信息，应用处理器根据同步后的姿态信息对采集到的图像信息进行对齐并根据实际算法实现电子防抖和/或光学防抖。
在实际应用场景中，图像传感器可以通过SPI总线获取姿态传感器的姿态信息，姿态信息可以包括霍尔传感器(Hall)获取的霍尔值、陀螺仪(Gyro)获取的角速度或角角速度值、加速度计(Acc)获取的加速度值、磁力计(Magenatic)获取的磁力值以及重力计(Gravity)获取的重力值等，由于图像传感器内部有自主控制的图像帧的时序，在图像传感器获取到姿态信息后，根据接收到的帧同步信号和行同步信号立即赋予获取到的姿态信息帧号和行号。
请继续参阅图6，图6为本申请实施例提供的图像传感器逐行曝光示意图，其中，Exposure Time为曝光时间段，SOF为数据读出时间点，Read out Time为数据读出需要的时间段，Hsync表示的是每一行曝光进行一半的时间点，Vsync表示的是整帧图像曝光到中间行时曝光进行一半的时间点。当图像传感器获取到姿态信息时，每一行对应的姿态信息可以与SOF+Readout_per_line*Line_number–Exposure_time/2的时间点到Readout_per_line*(Line_number+1)–Exposure_time/2的时间点之间的图像信息进行同步，其中，Readout_per_line为每行数据读出需要的时间段，Line_number为行数，其中，Line_number为自然数。在上述两个时间点之间获取到的姿态信息都可以赋予相应的行号，图像传感器可以控制曝光视场和时序，也控制每一行的读出时序，因此可以准确在一行曝光到一半的时候根据行水平信号将行号赋予给当前的姿态信息。
软件层面上，图像传感器都在帧与帧数据之间存在空白区间(blank)区间，因此可以将姿态信息存放在blank区间，并且，为了保证帧与帧之间的姿态信息不丢失，blank区间和blank区间存储的姿态信息可以部分重复，也即当前帧的blank区间除了存放对应当前帧对应的姿态信息外，还可以存放前和/或后相邻帧blank区间的部分数据，请参阅图7，图7为本申请实施例提供的图像信息和姿态信息的存储关系示意图。第2帧对应的blank区间可以存放姿态信息3-17，第3帧对应的blank区可以存放姿态信息11-25,可以避免帧与帧之间的姿态信息的丢失，影响姿态信息同步的准确性。硬件结构上，图像传感器内部需要设置有姿态信息缓冲区，姿态信息缓冲区可以缓冲姿态信息，不会造成姿态信息的缺失。
由于姿态信息同步由图像传感器实现，姿态传感器可以直接将采集到的图像信息和同步后的姿态信息通过MIPI打包形成同步后的信息发送至应用处理器，应用处理器接收到打包后的数据后进行拆分，将图像信息发送至图像处理器，图像处理器可以根据算法以及同步后的姿态信息对采集到的图像信息实现电子防抖。
在一些实施例中，应用处理器还可以获取姿态传感器的姿态信息，根据姿态信息以及光学防抖算法计算得到镜头和/或图像传感器的驱动量，驱动芯片通过驱动马达根据驱动量驱动镜头和/或图像传感器运动，以实现光学防抖，驱动芯片只需要执行镜头以及图像传感器的驱动，涉及到光学防抖和电子防抖的算法均可以在应用处理器中执行，可以减少驱动芯片的数据处理量。
应用处理器还可以根据同步后的姿态信息对驱动芯片进行反馈调节，例如，应用处理器根据同步后的姿态信息获取镜头和/或图像传感器的复位信息，将复位信息发送至驱动芯片，驱动芯片根据复位信息对光学防抖后的镜头和/或图像传感器进行复位，以完成光学防抖。
由于图像传感器与应用处理器不同，图像传感器处理的任务单一，为实时***，可以与姿态传感器进行高频通信，相较于通过对打包帧数据最后一个数据粗略赋值时间戳的方式，本申请考虑到了逐行曝光的时序对姿态信息的影响，提高了姿态信息同步的准确性。
在一些实施例中，可以通过驱动芯片获取姿态传感器的姿态信息，再将姿态信息发送至图像传感器，请参照图8和图9，图8为本申请一实施例提供的信息同步方法的流程示意图。图9为本申请一实施例提供的电子设备的结构框图。电子设备包括驱动芯片和镜头，驱动芯片分别与姿态传感器和图像传感器连接，驱动芯片用于驱动图像传感器和/或镜头运动，以实现光学防抖。信息同步方法包括：
301，通过驱动芯片获取姿态传感器采集的姿态信息，将姿态信息发送至图像传感器。
其中，姿态传感器可以采集电子设备的姿态信息，姿态传感器可以包括霍尔传感器(Hall)、陀螺仪(Gyro)、加速度计(Acc)、磁力计(Magenatic)以及重力计(Gravity)中的一种或多种，当然还可以包括其他类型的姿态传感器，姿态信息可以反映电子设备的运动变化以及位置变化，姿态传感器可以在接收到采集信号后采集姿态信息，例如，在电子设备处于拍摄状态时，向姿态传感器发送采集信号，姿态传感器采集电子设备的姿态信息。
驱动芯片与姿态传感器连接，驱动芯片和姿态传感器之间可以通过SPI(SerialPeripheral Interface，SPI)总线连接，驱动芯片可通过SPI总线获取姿态传感器的姿态信息。驱动芯片根据姿态信息驱动镜头和/或图像传感器，以进行光学防抖，驱动芯片内设置有光学补偿的算法，根据获取到的姿态信息以及光学补偿算法计算得到镜头和/或图像传感器的补偿量，根据镜头的补偿量驱动镜头运动和/或根据图像传感器的补偿量驱动图像传感器运动。以实现光学补偿，驱动芯片在获取到姿态信息后，将姿态信息发送至图像传感器。
302，通过图像传感器获取采集图像信息的同步信号以及驱动芯片发送的姿态信息，图像信息的同步信号包括帧数据和曝光行数据。
在通过驱动芯片进行光学防抖后，图像传感器通过采集光学防抖后的图像信息，并获取采集图像信息生成的同步信号，图像信息的同步信号可以包括帧数据和曝光行数据，其中，图像传感器可以通过卷帘快门通过逐行曝光的方式采集图像信息，对于采用逐行曝光的方式采集图像信息来说，每帧图像的每一行是依次曝光的，因此在采集每一行图像信息时，电子设备的姿态信息可以是相同也可以是不同的，对于每一行图像信息来说，对应的姿态信息为该行曝光时间段内姿态传感器采集到的姿态信息，其中，帧数据可以反映当前曝光的帧号，曝光行数据可以反映当前曝光的行号。图像传感器通过逐行曝光的方式采集图像信息时，可以生成帧号和行号的时序信号。
303，图像传感器在获取到姿态信息时，将获取到的帧数据和行数据赋值给获取到的姿态信息，得到同步后的姿态信息。
其中，由于图像传感器内部存在自主控制的图像帧的时序，帧数据可以为帧同步信息，帧同步信号可以是指垂直同步脉冲信号(Vertical synchronization,Vsync)，图像传感器每获取一次图像帧数据，则生成一次帧同步信号，帧同步信号反映图像传感器当前曝光图像帧的帧号，行数据可以行同步信息，行同步信息可以是指水平同步脉冲信号(Horizontal synchronization，Hsync)，图像传感器通过逐行曝光的方式采集图像信息，每曝光一行图像帧数据，则生成一次行同步信号，行同步信号反映图像传感器当前曝光图像帧的行号。当图像传感器通过SPI总线获取到驱动芯片发送的姿态信息时，根据帧同步信号和行同步信号将当前获取到的帧号和行号赋值给获取到的姿态信息。
例如，图像传感器当前曝光第三帧图像，曝光至第三行时获取到驱动芯片发送的姿态信息为第五姿态信息，将第三帧图像的帧号和第三行的行号赋值给第五姿态信息，建立帧号、行号以及第五姿态信息之间的映射关系，得到同步后的第五姿态信息，后续可以通过第三帧的帧号以及第三行的行号对齐到第五姿态信息。曝光至第四行时获取到驱动芯片发送的姿态信息为第六姿态信息，将第三帧图像的帧号和第四行的行号赋值给第六姿态信息，建立帧号、行号以及第六姿态信息之间的映射关系，得到同步后的第六姿态信息，后续可以通过第三的帧号以及第四行的行号对齐到第六姿态信息。
在一些实施例中，由于采样频率的差异，逐行曝光速度较快，一个姿态信息可以对应多行曝光图像信息，例如，在图像传感器曝光第一帧图像，曝光第一至第十行时获取到驱动芯片发送的第七姿态信息，曝光第十一行至第二十行时，获取到驱动芯片发送的第八姿态信息，将第一帧图像的帧号、第一行至第十行的行号赋值给第七姿态信息，建立帧号、行号以及第七姿态信息之间的映射关系，将第一帧图像的帧号、第十一行至第二十行的行号赋值给第八姿态信息，建立帧号、行号以及第八姿态信息之间的映射关系，得到同步后的第七姿态信息以及第八姿态信息。后续可以通过第一帧的帧号以及第一至第十行的行号对齐到第七姿态信息，通过第一帧的帧号、第十一至第二十行的行号对齐到第八姿态信息。其中，帧号和行号可以为图像传感器内部计数器在接收到相应的帧同步信号和行同步信号生成的数据标识。数据标识可以为具体的有规律的数值，也可以为其他无规律的数值。
需要说明的是，上述同步方式仅仅是示例性的，图像传感器还可以通过其他硬件同步方式将图像帧数据和行数据与姿态信息进行同步。
304，将同步后的姿态信息发送至应用处理器。
305，应用处理器根据同步后的姿态信息实现电子防抖和/或光学防抖。
关于步骤304～305：
电子设备还可以包括应用处理器，应用处理器与图像传感器连接，其中，应用处理器可以通过MIPI(Mobile Industry Processor Interface，MIPI)总线与图像传感器连接。图像传感器在得到同步后的姿态信息后，可以通过MIPI总线发送至应用处理器，应用处理器可以根据同步后的姿态信息进行电子防抖和/或光学防抖，其中，由于驱动芯片可以根据获取到的姿态信息以及光学防抖算法计算补偿量，根据补偿量驱动镜头和/或图像传感器运动实现光学防抖，应用处理器可根据同步后的姿态信息对光学防抖后的图像信息进行电子防抖，可以理解的是，应用处理器可以设置有基于光学防抖的电子防抖算法，其中电子防抖算法可以理解为利用边缘图像进行补偿的防抖处理。
本申请通过需要获取姿态信息实现光学防抖的驱动芯片将获取到的姿态信息发送至图像传感器，只需将驱动芯片与图像传感器连通，结构简单，与目前市场上的能实现光学防抖的电子设备的兼容性更好，另外，直接通过图像传感器从驱动芯片获取姿态信息，并通过图像传感器采集图像时生成的帧数据和行数据对获取到的姿态信息赋值，通过硬件同步的方式将姿态信息和图像信息进行同步，可以提高姿态信息与图像信息同步的准确性。
与图9所示的电子设备不同的是，在一些实施例中，电子设备还可以包括驱动马达，应用处理器包括图像处理器，请继续参阅图10，图10为本申请一实施例提供的电子设备的结构框图。
驱动芯片可以通过驱动马达驱动镜头和/图像传感器运动，以实现光学防抖，图像处理器在驱动芯片实现光学防抖后采集图像信息，还用于获取驱动芯片发送的姿态信息，将姿态信息和实现光学防抖后的图像信息进行同步，得到同步后的姿态信息，应用处理器根据同步后的姿态信息对实现光学防抖后的图像信息实现电子防抖。
在实际应用场景中，驱动芯片可以通过SPI总线获取姿态传感器采集的姿态信息，姿态信息可以包括霍尔传感器(Hall)获取的霍尔值、陀螺仪(Gyro)获取的角速度或角速度值、加速度计(Acc)获取的加速度值、磁力计(Magenatic)获取的磁力值以及重力计(Gravity)获取的重力值等，驱动芯片根据姿态信息以及光学补偿算法计算出补偿量，根据补偿量驱动镜头和/或图像传感器运动，以实现光学防抖，同时，将姿态信息发送至图像传感器，图像传感器可以通过SPI总线获取驱动芯片发送的姿态信息，由于图像传感器内部有自主控制的图像帧的时序，在图像传感器获取到姿态信息后，根据接收到的帧同步信号和行同步信号立即赋予获取到的姿态信息帧号和行号。同步方式可以通过上述硬件同步方法将姿态信息和图像信息进行同步，在此不再赘述。在得到同步后姿态信息后，将同步后的姿态信息和光学防抖后的采集的图像信息打包形成同步后的信息，通过MIPI总线发送至应用处理器，应用处理器接收到同步后的信息进行拆分，将光学防抖后采集到的图像信息发送至图像处理器，图像处理器可以根据算法以及同步后的姿态信息对光学防抖后的图像信息实现电子防抖，应用处理器还可以根据同步后的姿态信息对驱动芯片进行反馈调节。例如，应用处理器根据同步后的姿态信息获取镜头和/或图像传感器的复位信息，将复位信息发送至驱动芯片，驱动芯片根据复位信息对光学防抖后的镜头和/或图像传感器进行复位，以完成光学防抖。
其中，驱动芯片可以根据获取到的姿态信息以及光学补偿算法驱动镜头和/或图像传感器运动，以实现光学防抖，由于光学防抖的范围有限，例如只能实现较小的抖动角度防抖，因此需要通过电子防抖算法对光学防抖后的图像进行处理，例如通过电子防抖算法对光学防抖后的图像进行裁切，以提高防抖效果，而电子防抖是对图像帧进行处理，因此需要将图像信息和姿态信息之间进行同步。基于此，本申请实施例中，通过驱动芯片将获取到姿态信息发送至图像传感器，以使图像传感器将姿态信息和光学防抖后采集的图像信息进行同步，得到同步后的姿态信息，可以提高电子设备的防抖效果。
请继续参阅图11，图11为本申请一实施例提供的电子设备的结构框图，本申请提供的电子设备还可以包括：显示屏130、射频电路140、音频电路150、输入单元160以及电源170。本领域技术人员可以理解，图10中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
显示屏130可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。显示屏130可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，LiquidCrystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作，并生成相应的操作指令，且操作指令执行对应程序。
射频电路140可用于收发射频信号，以通过无线通信与网络设备或其他计算机设备建立无线通讯，与网络设备或其他计算机设备之间收发信号。
音频电路150可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路150可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路150接收后转换为音频数据，再将音频数据输出处理后，经射频电路140以发送给比如另一计算机设备。音频电路150还可能包括耳塞插孔，以提供外设耳机与计算机设备的通信。
输入单元160可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源170用于给计算机设备400的各个部件供电。可选的，电源170可以通过电源管理***与各个电子元件逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源170还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图11中未示出，计算机设备400还可以包括传感器、无线保真模块、蓝牙模块等，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本申请实施例还提供一种计算机可读的存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种信息同步方法中的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读的存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种信息同步方法中的步骤，因此，可以实现本申请实施例所提供的任一种信息同步方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例提供的信息同步方法、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种信息同步方法，应用于电子设备，其特征在于，所述电子设备包括图像传感器和姿态传感器，所述信息同步方法包括：
获取所述姿态传感器采集的姿态信息；
获取所述图像传感器采集图像信息的同步信号；
通过所述图像传感器根据所述姿态信息和所述同步信号将所述图像信息和所述姿态信息进行同步，得到同步后的姿态信息。
2.根据权利要求1所述的信息同步方法，其特征在于，所述图像传感器和所述姿态传感器连接，所述获取所述姿态传感器采集的姿态信息包括：
通过所述图像传感器获取所述姿态传感器采集的姿态信息。
3.根据权利要求2所述的信息同步方法，其特征在于，所述图像传感器设置有姿态信息缓冲区，所述通过所述图像传感器获取所述姿态传感器采集的姿态信息包括：
通过所述图像传感器获取所述姿态传感器采集的姿态信息；
将所述姿态信息缓冲至所述姿态信息缓存区。
4.根据权利要求1所述的信息同步方法，其特征在于，所述电子设备还包括驱动芯片，所述驱动芯片分别与所述姿态传感器和所述图像传感器连接，所述获取所述姿态传感器采集的姿态信息包括:
通过所述驱动芯片获取所述姿态传感器采集的姿态信息，将所述姿态信息发送至所述图像传感器；
所述获取所述图像传感器采集图像信息的同步信号包括：
通过所述图像传感器获取所述采集图像信息的同步信号以及所述驱动芯片发送的所述姿态信息。
5.根据权利要求1-4任一项所述的信息同步方法，其特征在于，所述图像信息的同步信号包括帧数据和曝光行数据，所述通过所述图像传感器根据所述姿态信息和所述同步信号将所述图像信息和所述姿态信息进行同步包括：
所述图像传感器在获取到所述姿态信息时，将获取到的帧数据和曝光行数据赋值给所述获取到的姿态信息。
6.根据权利要求5所述的信息同步方法，其特征在于，所述图像传感器在获取到所述姿态信息时，将获取到的帧数据和行数据赋值给所述获取到的姿态信息包括：
所述图像传感器在获取到姿态信息时，根据所述曝光行数据得到所述图像传感器正在曝光的行号，根据所述帧数据得到所述图像信息的帧号，将所述行号和所述帧号赋值给所述获取到的姿态信息。
7.根据权利要求1-4任一项所述的信息同步方法，其特征在于，所述电子设备还包括应用处理器，所述应用处理器与所述图像传感器连接，在所述得到同步后的姿态信息之后，所述信息同步方法还包括：
将所述同步后的姿态信息发送至所述应用处理器；
所述应用处理器根据所述同步后的姿态信息实现电子防抖和/或光学防抖。
8.一种电子设备，其特征在于，所述电子设备包括：
姿态传感器，用于采集姿态信息；
图像传感器，用于采集图像信息，还用于将所述姿态信息和所述图像信息的同步信号进行同步，以得到同步后的姿态信息。
9.根据权利要求8所述的电子设备，其特征在于，所述姿态传感器与所述图像传感器连接，所述图像传感器用于获取所述姿态传感器采集的姿态信息，还用于获取采集图像信息的同步信号，以将所述姿态信息和所述图像信息进行同步。
10.根据权利要求9所述的电子设备，其特征在于，所述图像传感器设置有姿态信息缓冲区，所述姿态信息缓冲区用于缓冲从所述姿态传感器获取的姿态信息。
11.根据权利要求8所述的电子设备，其特征在于，所述姿态传感器集成于所述图像传感器。
12.根据权利要求8所述的电子设备，其特征在于，所述电子设备还包括：驱动芯片，所述驱动芯片分别与所述姿态传感器和所述图像传感器连接，所述驱动芯片用于获取所述姿态传感器采集的姿态信息，并将所述姿态信息发送至所述图像传感器。
13.根据权利要求8至12任一项所述的电子设备，其特征在于，所述图像信息的同步信号包括帧数据和曝光行数据，所述图像传感器用于在获取到所述姿态信息时，将获取到的帧数据和曝光行数据赋值给获取到的姿态信息。
14.根据权利要求13所述的电子设备，其特征在于，所述图像传感器用于在获取到姿态信息时，根据所述曝光行数据得到所述图像传感器正在曝光的行号，根据所述帧数据得到所述图像信息的帧号，将所述行号和所述帧号赋值给所述姿态信息。
15.根据权利要求8至12任一项所述的电子设备，其特征在于，所述电子设备还包括应用处理器，所述应用处理器与所述图像传感器连接，所述应用处理器用于获取所述同步后的姿态信息，以根据所述同步后的姿态信息实现电子防抖和/或光学防抖。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的信息同步方法的步骤。
CN202110866185.4A 2021-07-29 2021-07-29 信息同步方法、电子设备和计算机可读存储介质 Pending CN113489879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110866185.4A CN113489879A (zh) 2021-07-29 2021-07-29 信息同步方法、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110866185.4A CN113489879A (zh) 2021-07-29 2021-07-29 信息同步方法、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113489879A true CN113489879A (zh) 2021-10-08

Family

ID=77944510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110866185.4A Pending CN113489879A (zh) 2021-07-29 2021-07-29 信息同步方法、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113489879A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353131A (zh) * 2016-10-17 2018-07-31 华为技术有限公司 获取图像的方法和终端设备
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质
CN110858873A (zh) * 2018-08-23 2020-03-03 北京小米移动软件有限公司 电子设备和拍摄方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353131A (zh) * 2016-10-17 2018-07-31 华为技术有限公司 获取图像的方法和终端设备
CN110858873A (zh) * 2018-08-23 2020-03-03 北京小米移动软件有限公司 电子设备和拍摄方法
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109976570B (zh) 数据传输方法、装置及显示装置
CN110731077B (zh) 视频图像防抖方法和终端
CN110333834B (zh) 帧频调整方法及装置、显示设备、计算机可读存储介质
JP7182020B2 (ja) 情報処理方法、装置、電子機器、記憶媒体およびプログラム
CN109166150B (zh) 获取位姿的方法、装置存储介质
CN108616776B (zh) 直播分析数据获取方法及装置
US10506163B2 (en) Systems and methods for synchronizing sensor data
EP2717563B1 (en) Image processing device
CN111724412A (zh) 确定运动轨迹的方法、装置及计算机存储介质
CN111897429A (zh) 图像显示方法、装置、计算机设备及存储介质
CN109451248B (zh) 视频数据的处理方法、装置、终端及存储介质
WO2017005070A1 (zh) 显示控制方法及装置
CN102611849A (zh) 一种手机拍照防抖***及方法
CN116871982A (zh) 一种数控机床主轴检测装置、方法及终端设备
WO2022089341A1 (zh) 一种图像处理方法及相关装置
WO2023005424A1 (zh) 电子设备、信息同步方法和计算机可读存储介质
CN113489878B (zh) 电子设备、信息同步方法和计算机可读存储介质
CN107734269B (zh) 一种图像处理方法及移动终端
CN114666455A (zh) 拍摄控制方法、装置、存储介质及电子装置
CN110971840B (zh) 视频贴图方法及装置、计算机设备及存储介质
CN113489879A (zh) 信息同步方法、电子设备和计算机可读存储介质
CN113286076B (zh) 拍摄方法及相关设备
CN210716984U (zh) 管道检测装置
CN110830724B (zh) 一种拍摄方法及电子设备
CN114040252A (zh) 显示帧率控制方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination