CN106454319A - 用于多传感器照相机装置的同步控制器和相关同步方法 - Google Patents

用于多传感器照相机装置的同步控制器和相关同步方法 Download PDF

Info

Publication number
CN106454319A
CN106454319A CN201610878451.4A CN201610878451A CN106454319A CN 106454319 A CN106454319 A CN 106454319A CN 201610878451 A CN201610878451 A CN 201610878451A CN 106454319 A CN106454319 A CN 106454319A
Authority
CN
China
Prior art keywords
image
sensor
image output
camera apparatus
multisensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610878451.4A
Other languages
English (en)
Other versions
CN106454319B (zh
Inventor
吴东海
辜维正
蔡忠宏
李元仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN106454319A publication Critical patent/CN106454319A/zh
Application granted granted Critical
Publication of CN106454319B publication Critical patent/CN106454319B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种用于多传感器照相机装置的同步控制器和相关同步方法。同步控制器包含：检测电路，配置为检测从多传感器照相机装置生成的图像输出之间的不同步，其中图像输出对应于不同的观看角度；以及控制电路，配置为响应于由检测电路检测的不同步来控制多传感器照相机装置的操作；其中，多传感器照相机装置具有第一图像传感器，用于生成图像输出的第一图像输出，以及第二图像传感器，用于生成图像输出的第二图像输出，且同步控制器还包含：初始化电路，配置为控制第一图像传感器的复位和第二图像传感器的复位，以确保第一图像输出和第二图像输出之间的不同步的初始值在第一图像传感器和第二图像传感器复位后是位于预定范围内。

Description

用于多传感器照相机装置的同步控制器和相关同步方法
本申请是申请日为2014年07月04日，申请号为201480001278.9，发明名称为“用于多传感器照相机装置的同步控制器和相关同步方法”的专利申请的分案申请。
交叉参考相关引用
本申请要求2013年7月5日申请的美国临时申请No.61/843,221以及2014年7月3日申请的美国申请No.14/322,925的权利。其全部内容通过参考并入于此。
技术领域
所公开的本发明的实施例是关于生成同步的图像输出，且更特别地，关于用于多传感器照相机装置(例如，立体照相机装置)的同步控制器和相关同步方法。
背景技术
随着科学和技术的发展，用户追求立体的和更真实的图像而不是高质量的图像。存在两种现有立体图像显示的技术。一种是使用以眼镜(例如，立体眼镜、偏振眼镜或快门(shutter)眼镜)配合的视频输出装置，而另一种是直接使用不用任何配合眼镜的显示装置。不论使用哪种技术，立体图像显示的主要理论是使左眼和右眼看到不同的图像(即，一个左视图像和一个右视图像)。因此，大脑将把从两个眼镜看到的不同的图像看作为一个立体图像。
一个左视图像和一个右视图像的立体图像对可以通过使用立体照相机装置获得。立体照相机装置是具有设计为拍摄两张照片的两个图像传感器的照相机。立体图像对，包含一个左视图像和一个右视图像，因此，当用户观看时创建三维(3D)效果。然而，可能存在从立体照相机装置生成的左视图像和右视图像彼此不同步的问题。其结果是，当不同步的左视图像和右视图像在电子装置(例如，智能电话)的3D面板上显示时，电子装置的用户将会有较差的3D观看体验。
发明内容
根据示范性本发明的实施例，提出用于多传感器照相机装置(例如，立体照相机装置)的同步控制器和相关同步方法以解决上述的问题。
根据第一方面，公开用于多传感器照相机装置的一种示范性同步控制器。示范性同步控制器包含检测电路和控制电路。检测电路配置为检测从多传感器照相机装置生成的图像输出之间的不同步，其中图像输出对应于不同的观看角度。控制电路配置为响应于由检测电路检测的不同步来控制多传感器照相机装置的操作。其中，所述多传感器照相机装置具有第一图像传感器，用于生成所述图像输出的第一图像输出，以及第二图像传感器，用于生成所述图像输出的第二图像输出，且所述同步控制器还包含：初始化电路，配置为控制所述第一图像传感器的复位和所述第二图像传感器的复位，以确保所述第一图像输出和所述第二图像输出之间的所述不同步的初始值在所述第一图像传感器和所述第二图像传感器复位后是位于预定范围内。
根据本发明的第二方面，公开应用于多传感器照相机装置的一种示范性同步方法。示范性同步方法包含：检测从多传感器照相机装置生成的图像输出之间的不同步，其中图像输出对应于不同的观看角度；以及响应于检测的不同步来控制多传感器照相机装置的操作。其中，所述多传感器照相机装置具有第一图像传感器，用于生成所述图像输出的第一图像输出，以及第二图像传感器，用于生成所述图像输出的第二图像输出，且所述同步方法还包含：控制所述第一图像传感器的复位和所述第二图像传感器的复位，以确保所述第一图像输出和所述第二图像输出之间的所述不同步的初始值在所述第一图像传感器和所述第二图像传感器复位后是位于预定范围内。
在阅读了图示于各种图和附图中的优先实施例的以下详细描述后，本发明的这些和其它目的将对本领域的普通技术人员变得明显。
附图说明
图1是根据本发明的实施例图示同步控制器的框图。
图2是图示具有两个非对称图像传感器的立体照相机模块的示意图。
图3是图示具有两个非对称图像传感器的自由模块的立体照相机的示意图。
图4是图示具有两个对称图像传感器的立体照相机模块的示意图。
图5是图示具有两个对称图像传感器的自由模块的立体照相机的示意图。
图6是图示根据本发明的另一实施例的同步控制器的示意图。
图7是图示从显示于图6中的图像传感器生成的垂直同步信号之间的时序关系的时序图。
具体实施方式
遍及整篇描述和权利要求的某些术语用于指代特定部件。如本领域的技术人员意识到的，制造商可用不同的名称指代部件。此文档不打算区别名称不同但功能相同的部件。在权利要求和下文的描述中，术语“包括”和“包含”用于开放方式，且因此应该解释为意思是“包含，但不限于”。而且，术语“耦合”意于表示间接或直接电连接。因此，如果一个装置耦合到另一装置，那个连接可以通过直接电连接，或通过经由其它装置和连接的间接电连接。
本发明的一个概念是控制多传感器照相机装置的操作，以调整从多传感器照相机装置生成的图像输出之间的时间差，由此减小/消除图像输出之间的不同步，图像输出提供到后续的图像处理阶段用于进一步处理。提出的用于多传感器照相机装置的同步机制能够放宽传感器规格要求。对于一个示例，允许多传感器照相机装置的每个图像传感器在传感器启动和从图像传感器生成的垂直同步信号的第一脉冲之间具有固定的时间延迟。对于另一示例，在多传感器照相机装置的两个图像传感器之间不要求专属同步机制，例如，使用多传感器照相机装置的两个图像传感器的同步引脚的主-从控制机制。基本上，在提出的同步机制帮助下，两个或者更多任意的单个-透镜图像传感器可达到所希望的图像输出同步。另外，因为不需要线缓冲器或帧缓冲器用于达到图像输出同步，所以，提出的用于多传感器照相机装置的同步机制是低成本解决方案。提出的用于多传感器照相机装置的同步机制的进一步细节在以下描述。
图1是根据本发明的实施例图示同步控制器的框图。同步控制器100配置为控制多传感器照相机装置10，用于减小/消除多传感器照相机装置10的图像输出不同步。多传感器照相机装置10可以配置为生成对应于不同观看角度的多个图像输出IMG_OUT1-IMG_OUTN。例如，当多传感器照相机装置10操作于视频记录模式时，每个图像输出IMG_OUT1-IMG_OUTN将具有一系列帧(即，拍摄的图像)。
关于同步控制器100，根据本发明的实施例，其可包含检测电路102、控制电路104和可选的初始化电路106。在本实施例中，检测电路102配置为检测从多传感器照相机装置10生成的图像输出IMG_OUT1-IMG_OUTN之间的不同步。控制电路104耦合于检测电路102和多传感器照相机装置10之间，并配置为响应于由检测电路102检测的不同步，控制多传感器照相机装置10的操作，以由此调整图像输出IMG_OUT1-IMG_OUTN的至少一个的输出时间。以此方式，通过应用于多传感器照相机装置10的合适的控制，图像输出IMG_OUT1-IMG_OUTN之间的不同步可减小或消除。
应该注意到，不同观看角度的图像输出的数量可取决于实施于多传感器照相机装置10的图像传感器的数量。另外，本发明对包含于多传感器照相机装置10的图像传感器的数量没有限制。换句话说，包含于多传感器照相机装置10的图像传感器的数量可以取决于实际设计考虑而变化。因此，提出的同步机制可以应用于具有多于一个图像传感器的任何照相机装置。例如，当多传感器照相机装置10是具有两个图像传感器的立体照相机装置时，从一个图像传感器生成的图像输出是左视图像输出，以及从另一个图像传感器生成的图像输出是右视图像输出。因此，同步控制器100可用于使左视图像输出与右视图像输出同步，由此，当左视图像输出和右视图像输出显示在电子装置(例如，智能电话)的3D面板上时，允许用户具有更好的3D观看体验。
为了清楚和简明起见，以下假设多传感器照相机装置10是具有两个图像传感器的立体照相机装置。然而，此仅仅是用于说明性的目的，且并非是本发明的限制。以示例的方式，多传感器照相机装置10可使用具有两个非对称图像传感器的立体照相机模块200来实施，包含主图像传感器201和次(辅助)图像传感器202(即，具有不同分辨率和/或不同传感器类型的图像传感器)，如图2所示。在一个实施例中，当立体照相机模块200安装于电子装置(例如，移动电话)时，立体照相机模块200可以用集成在其中的桥式电路连接到图像信号处理器(ISP)204。因此，不需要耦合于ISP和立体照相机模块的图像传感器之间的外部桥式集成电路(IC)。备选地，多传感器照相机装置10可以使用具有两个非对称图像传感器的自由模块(module-free)立体照相机300来实施，包含主图像传感器301和次(辅助)图像传感器302(即，具有不同分辨率和/或不同传感器类型的单个透镜图像传感器单独提供而不包装为一个立体照相机模块)，如图3所示。应该注意到，主图像传感器301和次(辅助)图像传感器302可以由不同模块室(module house)供应。在一个实施例中，当自由模块立体照相机300安装于电子装置(例如，移动电话)时，自由模块立体照相机300可以用集成在其中的桥式电路连接到ISP 204。因此，不需要耦合于ISP和个别图像传感器之间的外部桥式IC。
无论多传感器照相机装置10是否使由显示于图2中的立体照相机模块200或显示于图3中的自由模块立体照相机300来实施，非对称图像传感器可具有不同的帧率或动态帧率。帧率之间的差别将导致左视图像输出和右视图像输出之间的不同步。在示范性设计中，同步控制器100可以实施于ISP 204中。因此，可以采用同步控制器100以检测和测量左视图像输出和右视图像输出之间的不同步，以及然后控制非对称双图像传感器以减小或消除所检测的左视图像输出和右视图像输出之间的不同步。
应该注意到，使用同步控制器100用于解决由立体照相机模块200或自由模块立体照相机300实施的多传感器照相机装置10遭遇的输出图像不同步问题仅仅是一个示例。备选地，可以采用同步控制器100用于解决由具有对称图像传感器的立体照相机装置遭遇的图像输出不同步问题。即，如图4所示，多传感器照相机装置10可以使用具有两个对称图像传感器401和402(即，具有相同分辨率的图像传感器)的立体照相机模块400来实施，或如图5所示，可以使用具有两个对称图像传感器501和502(即，具有相同分辨率的单个透镜图像传感器单独提供而不包装于一个立体照相机模块)的自由模块立体照相机500来实施。应该注意到，图像传感器501和502可以从不同的模块室供应。这些备选设计均落入本发明的范围。
检测电路102可根据从多传感器照相机装置10生成的垂直同步信号，检测从多传感器照相机装置10生成的图像输出IMG_OUT1-IMG_OUTN(例如，从显示于图2-图5的立体照相机的一个生成的一个左视图像输出和一个右视图像输出)之间的不同步，其中垂直同步信号分别与图像输出IMG_OUT1-IMG_OUTN关联。另外，基于由检测电路102提供的所检测的不同步的信息，控制电路104可通过调整主时钟、像素时钟、传感器虚拟线设定和/或传感器虚拟像素设定来控制多传感器照相机装置10。为了更好地理解本发明的技术特征，给出用于电子装置的同步控制器100和多传感器照相机装置10的示例如以下。
图6是根据本发明的另一实施例图示同步控制器的框图。同步控制器600遵照显示于图1中的同步控制器100的架构，并因此包含检测电路602和控制电路604。在本实施例中，同步控制器600可以实施于移动电话的基带芯片的图像信号处理器(ISP)601中。然而，此并非是本发明的限制。采用同步控制器600以解决由多传感器照相机装置(例如，本实施例中的立体照相机装置605)遭遇的图像输出不同步问题。立体照相机装置605可以使用显示于图2-图5中的一个示范性照相机设计来实施，且可具有两个图像传感器606和607。因此，由于在立体照相机装置605执行的合适的照相机控制，从图像传感器606和607生成的左视图像输出和右视图像输出之间的不同步可减小或消除。
如图6所示，ISP 601还包含时序发生器608、609以及I2C(Inter-IntegratedCircuit)总线控制器610、612。时序发生器608可生成传感器复位信号RESET1以复位图像传感器606，并供应主时钟MCLK1到图像传感器606以用作参考时钟。因此，当由传感器复位信号RESET1触发时，图像传感器606执行传感器启动操作。此外，图像传感器606可包含用于基于主时钟MCLK1生成像素时钟PCLK1的频率合成器。图像传感器606根据像素时钟PCLK1输出图像输出(例如，左视图像输出和右视图像输出的一个)中每个帧的像素数据。图像传感器606还通过照相机接口发送像素时钟PCLK1、水平同步信号HS1以及垂直同步(Vsync)信号VS1到ISP 601的时序发生器608。例如，照相机接口可以是由移动产业处理器接口(MobileIndustry Processor Inerface，MIPI)标准化的照相机串行接口(Camera SerialInerface，CSI)。水平同步信号HS1和垂直同步信号VS1与图像传感器606的图像输出关联，其中水平同步信号HS1指示从图像传感器606生成的帧的每条线的传送的结束，以及垂直同步信号VS1指示从图像传感器606生成的帧的最后一条线的传送的结束。
类似地，时序发生器609可生成传感器复位信号RESET2以复位图像传感器607，且供应主时钟MCLK2到图像传感器607以用作参考时钟。因此，当由传感器复位信号RESET2触发时，图像传感器607执行传感器启动操作。此外，图像传感器607可包含用于基于主时钟MCLK2生成像素时钟PCLK2的频率合成器。图像传感器607根据像素时钟PCLK2输出图像输出(例如，左视图像输出和右视图像输出的另一个)的每个帧的像素数据。图像传感器607还通过照相机接口发送像素时钟PCLK2、水平同步信号HS2以及垂直同步信号VS2到ISP 601的时序发生器609。例如，照相机接口可以是由移动产业处理器接口(MIPI)标准化的照相机串行接口(CSI)。水平同步信号HS2和垂直同步信号VS2与图像传感器607的图像输出关联，其中水平同步信号HS2指示从图像传感器607生成的帧中每条线的传送的结束，以及垂直同步信号VS2指示从图像传感器607生成的帧中最后一条线的传送的结束。
垂直同步信号VS1是指示从图像传感器606生成的整个帧已经经由照相机接口发送到ISP 601的一种方法。类似地，垂直同步信号VS2是指示从图像传感器607生成的整个帧已经经由照相机接口发送到ISP 601的一种方法。在本实施例中，检测电路602配置为根据从立体照相机装置605生成的垂直同步信号VS1和VS2，检测立体照相机装置605的图像输出之间的不同步，其中每个垂直同步信号VS1和VS2具有Vsync脉冲，每个Vsync脉冲指示当前帧的结束和下一帧的开始。如图6所示，检测电路602包含，但不限于，周期计数器614和差值计数器616。周期计数器614配置为计数相同垂直同步信号(例如，此示例中的VS1)中两个连续Vsync脉冲之间的周期，并因此生成计数值CNT。差值计数器616配置为计数两个连续Vsync脉冲之间的时间差，包含一个垂直同步信号(例如，此示例中的VS1)中的Vsync脉冲和另一垂直同步信号(例如，此示例中的VS2)中的Vsync脉冲，并因此生成计数值DIFF。计数值CNT和DIFF提供所检测的立体照相机装置605的图像输出之间的不同步的信息。
图7是图示从显示于图6中的图像传感器606和607生成的垂直同步信号VS1和VS2之间的时序关系的时序图。在一个示范性设计中，差值计数器616可以配置为当差值计数器616相继地由垂直同步信号VS1中的Vsync脉冲和垂直同步信号VS2中的Vsync脉冲触发时，生成具有正值的计数值DIFF，并当差值计数器616相继地由垂直同步信号VS2中的Vsync脉冲和垂直同步信号VS1中的Vsync脉冲触发时，生成具有负值的计数值DIFF。控制电路604可以配置为将计数值DIFF与CNT比较，以决定由差值计数器616监测的垂直同步信号VS1和VS2的Vsync脉冲之间实际相位领先/落后状态。当且DIFF＞0时，控制电路604可判断垂直同步信号VS1的相位领先于垂直同步信号VS2的相位|DIFF|。当且DIFF＜0时，控制电路604可判断垂直同步信号VS1的相位落后垂直同步信号VS2的相位|DIFF|。当且DIFF＞0时，控制电路604可判断垂直同步信号VS2的相位领先于垂直同步信号VS1的相位|DIFF|。当且DIFF＜0时，控制电路604判断垂直同步信号VS2的相位落后垂直同步信号VS1的相位|DIFF|。
基于由检测电路602给出的不同步信息，控制电路604控制立体照相机装置605的操作，以减小或消除从立体照相机装置605生成的图像输出之间的不同步。更具体地，所测量的时间差的幅度|DIFF|是指示从立体照相机装置605生成的图像输出之间的不同步。在决定了垂直同步信号VS1和VS2的Vsync脉冲之间实际相位领先/落后状态后，则知道了从立体照相机装置605生成的图像输出之间的相位领先/落后状态。因此，基于由检测电路602提供的不同步信息，控制电路604控制立体照相机装置605的操作，以使一个图像输出赶上另一个图像输出。例如，当|DIFF|大于特定阈值时，表示立体照相机装置605的左视图像输出和右视图像输出之间的不同步超过可容忍的水平，操作控制电路604以减小或消除立体照相机装置605的左视图像输出和右视图像输出之间的不同步。换句话说，当当前左视图像和当前右视图像之间的时间差由检测电路602检测时，控制电路604可控制立体照相机装置605的操作，以使下一左视图像和下一右视图像同时从立体照相机装置605发送到ISP 601或其时间差小于当前左视图像和当前右视图像之间的时间差。
在立体照相机装置605的活动周期中，从立体照相机装置605生成的图像输出之间的相位领先/落后状态是时变的。如图7所示，垂直同步信号VS1和VS2之间的相位关系是不固定的。更具体地，考虑图像传感器606和607具有不同的帧率或动态帧率的情况，从图像传感器606生成的图像输出的相位不总是领先于(或落后于)从图像传感器607生成的图像输出的相位。即使，在由同步控制器600进行的合适的照相机控制下，从图像传感器606生成的当前帧的传送与从图像传感器607生成的当前帧的传送同步，从图像传感器606生成的下一帧的传送不能保证与从图像传感器607生成的下一帧的传送同步。因此，检测电路602可保持监测从立体照相机装置605生成的图像输出之间的相位领先/落后状态。基于由之前的检测电路614给出的信息，同步控制器600可动态地/适应性地控制立体照相机装置605以减小或消除任何检测的从立体照相机装置605生成的图像输出之间的不同步。
应该注意到，可影响立体照相机装置605的图像输出时序的任何因素可以在控制电路604的控制下调整，以达到减小或消除立体照相机装置605的左视图像输出和右视图像输出之间的不同步的目的。下文给出若干示范性设计。
在第一示范性设计中，控制电路604控制至少一个时序发生器608和609，以调整供应到至少一个图像传感器的至少一个主时钟。换句话说，控制电路604通过根据由检测电路602检测的不同步(例如，|DIFF|)调整主时钟来控制立体照相机装置605。因为，由图像传感器606/607使用的像素时钟PCLK1/PCLK2来源于由时序发生器608/609提供的主时钟MCLK1/MCLK2，所以，调整主时钟MCLK1/MCLK2的相位将会影响像素时钟PCLK1/PCLK2的相位。以此方式，可以调整基于调整的像素时钟的图像输出的输出时序。对于一个示例，当控制电路604判断垂直同步信号VS1的相位领先于垂直同步信号VS2的相位时，主时钟MCLK1的相位可以延迟，和/或主时钟MCLK2的相位可以提前。对于另一示例，当控制电路604判断垂直同步信号VS1的相位落后于垂直同步信号VS2的相位时，主时钟MCLK1的相位可以提前，和/或主时钟MCLK2的相位可以延迟。
在第二示范性设计中，控制电路604通过至少一个I2C控制器610和612控制至少一个图像传感器606和607。更具体地，基于由检测电路602检测的不同步(例如，|DIFF|)，控制电路604可经由一个I2C总线发送控制命令以调整图像传感器606的像素时钟PCLK1，和/或经由另一I2C总线发送控制命令以调整图像传感器607的像素时钟PCLK2。以此方式，基于调整的像素时钟发送的图像输出的输出时序可以调整。对于一个示例，当控制电路604判断垂直同步信号VS1的相位领先于垂直同步信号VS2的相位时，像素时钟PCLK1的相位可以延迟，和/或像素时钟PCLK2的相位可以提前。对于另一示例，当控制电路604判断垂直同步信号VS1的相位落后于垂直同步信号VS2的相位时，像素时钟PCLK1的相位可以提前，和/或像素时钟PCLK2的相位可以延迟。
在第三示范性设计中，控制电路604通过至少一个I2C控制器610和612控制至少一个图像传感器606和607。更具体地，基于由检测电路602检测的不同步(例如，|DIFF|)，控制电路604可经由一个I2C总线发送控制命令以调整图像传感器606的传感器虚拟线设定，和/或经由另一I2C总线发送控制命令以调整图像传感器607的传感器虚拟线设定。一个帧可包含常规线和虚拟线。因此，一个帧的曝光时间可以通过改变虚拟线的数量来调整。具体地，有可能通过增加虚拟线以帧率为代价来增加曝光时间，其中虚拟线和常规线持续相同的时间，但是不转移像素数据。传感器虚拟线设定决定在对应图像传感器曝光时使能多少虚拟线。以此方式，基于曝光时间生成的图像输出的输出时序可以调整，其中曝光时间受到调整的传感器虚拟线设定影响。对于一个示例，当控制电路604判断垂直同步信号VS1的相位领先于垂直同步信号VS2的相位时，图像传感器606的虚拟线的数量可以增加，和/或图像传感器607的虚拟线的数量可以减少。对于另一示例，当控制电路604判断垂直同步信号VS1的相位落后于垂直同步信号VS2的相位时，图像传感器606的虚拟线的数量可以减少，和/或图像传感器607的虚拟线的数量可以增加。
在第四示范性设计中，控制电路604通过至少一个I2C控制器610和612控制至少一个图像传感器606和607。更具体地，基于由检测电路602检测的不同步(例如，|DIFF|)，控制电路604可经由一个I2C总线发送控制命令以调整图像传感器606的传感器虚拟线设定，和/或经由另一I2C总线发送控制命令以调整图像传感器607的传感器虚拟线设定。帧的每条线可包含常规像素和虚拟像素。因此，一个帧的曝光时间可以通过改变每条线中虚拟像素的数量来调整，其中虚拟像素和常规像素持续相同的时间，但是不转移像素数据。传感器虚拟线设定决定在对应图像传感器曝光时使能多少虚拟像素。以此方式，基于由调整的传感器虚拟像素设定影响的曝光时间生成的图像输出的输出时序可以调整。对于一个示例，当控制电路604判断垂直同步信号VS1的相位领先于垂直同步信号VS2的相位时，图像传感器606的虚拟像素的数量可以增加，和/或图像传感器607的虚拟像素的数量可以减少。对于另一示例，当控制电路604判断垂直同步信号VS1的相位落后于垂直同步信号VS2的相位时，图像传感器606的虚拟像素的数量可以减少，和/或图像传感器607的虚拟像素的数量可以增加。
关于显示于图6中的示范性设计，检测电路602和控制电路604显示于各自的电路框中。然而，取决于实际设计考虑，至少同步控制器600的部分(即，部分或所有)可集成于时序发生器608、609。例如，周期计数器614可集成于时序发生器608，以及差值计数器616和控制电路604可以继承于时序发生器609。
如上所述，差值计数器616用于计数两个连续Vsync脉冲之间的时间差，两个连续Vsync脉冲包含垂直同步信号VS1中的一个Vsync脉冲和垂直同步信号VS2中的一个Vsync脉冲。如果图像传感器606和607的固有的启动特性被不恰当地考虑，由差值计数器616测量的时间差的初始值有可能非常大。其结果是，控制电路604可能不能在短时间内有效地减小立体照相机装置605的图像输出之间的不同步。为了改进减小/消除多传感器照相机装置10的图像输出之间的不同步的性能，显示于图1中的同步控制器100可使用初始化电路106，以控制多传感器照相机装置10中的图像传感器的启动时间，以便图像输出之间的不同步的初始值保证在预定范围内。
以示例的方式，初始化电路106可以实施于显示于图6中的同步控制器600。在一个示范性设计中，立体照相机装置605的每个图像传感器606/607具有传感器启动与垂直同步信号VS1/VS2的第一Vsync脉冲之间的固定的时序延迟。另外，由图像传感器606和607固有地处理的固定的时序延迟可以不同于彼此。因此，初始化电路106可用于控制时序发生器608以发送传感器复位信号RESET1以在第一时间点复位图像传感器606，并控制时序发生器609以发送传感器复位信号RESET2以在第二时间点复位图像传感器607。第一时间点和第二时间点是基于由图像传感器606和607固有地处理的固定的时序延迟和预定范围来设定的。因此，第一时间点可以不同于第二时间点，这表示图像传感器606和607不要求由传感器复位信号RESET1和RESET2同时触发。合适地控制第一时间点和第二时间点，以便图像传感器606和607的图像输出之间的不同步的初始值在图像传感器606和607复位后位于预定范围内。
例如，预定范围可以基于图像传感器(例如，606)的T帧的标称帧周期TFrame(即，一个帧的标称传送时间)来设定。因此，预定范围的上限可以由设定，以及预定范围的下限可以由来设定。请注意，此仅仅是用于说明性的目的，且并非是本发明的限制。
在上文的实施例中，即使多传感器照相机装置中的图像传感器是独立的(例如，图像传感器之间的像素时钟、数据类型、分辨率以及hsync/vsync时序的至少一个是不同的)，提出的同步机制能够达到所希望的图像输出同步，而不用使用附加的线缓冲器或帧缓冲器。
本领域技术人员将容易观察到，在保留本发明的教导时，可对装置和方法进行许多修改和替换。因此，以上公开应该解释为仅仅由所附的权利要求的精神和界限来限制。

Claims (10)

1.一种用于多传感器照相机装置的同步控制器，其特征在于，包含：
检测电路，配置为检测从所述多传感器照相机装置生成的图像输出之间的不同步，其中所述图像输出对应于不同的观看角度；以及
控制电路，配置为响应于由所述检测电路检测的所述不同步来控制所述多传感器照相机装置的操作；
其中，所述多传感器照相机装置具有第一图像传感器，用于生成所述图像输出的第一图像输出，以及第二图像传感器，用于生成所述图像输出的第二图像输出，且所述同步控制器还包含：
初始化电路，配置为控制所述第一图像传感器的复位和所述第二图像传感器的复位，以确保所述第一图像输出和所述第二图像输出之间的所述不同步的初始值在所述第一图像传感器和所述第二图像传感器复位后是位于预定范围内。
2.如权利要求1所述的同步控制器，其特征在于，所述检测电路配置为根据从所述多传感器照相机装置生成的垂直同步信号检测所述不同步；以及所述垂直同步信号分别与所述图像输出关联。
3.如权利要求1所述的同步控制器，其特征在于，由所述同步控制器控制的所述多传感器照相机装置具有非对称图像传感器。
4.如权利要求3所述的同步控制器，其特征在于，所述多传感器照相机装置是包装有所述非对称图像传感器的照相机模块。
5.如权利要求3所述的同步控制器，其特征在于，所述多传感器照相机装置是自由模块。
6.一种应用于多传感器照相机装置的同步方法，其特征在于，包含：
检测从所述多传感器照相机装置生成的图像输出之间的不同步，其中所述图像输出对应于不同的观看角度；以及
响应于所述检测的不同步来控制所述多传感器照相机装置的操作；
其中，所述多传感器照相机装置具有第一图像传感器，用于生成所述图像输出的第一图像输出，以及第二图像传感器，用于生成所述图像输出的第二图像输出，且所述同步方法还包含：
控制所述第一图像传感器的复位和所述第二图像传感器的复位，以确保所述第一图像输出和所述第二图像输出之间的所述不同步的初始值在所述第一图像传感器和所述第二图像传感器复位后是位于预定范围内。
7.如权利要求6所述的同步方法，其特征在于，检测从所述多传感器照相机装置生成的图像输出之间的不同步的步骤包含：
根据从所述多传感器照相机装置生成的垂直同步信号检测所述不同步；以及所述垂直同步信号分别与所述图像输出关联。
8.如权利要求6所述的同步方法，其特征在于，所述多传感器照相机装置具有非对称图像传感器。
9.如权利要求8所述的同步方法，其特征在于，所述多传感器照相机装置是包装有所述非对称图像传感器的照相机模块。
10.如权利要求8所述的同步方法，其特征在于，所述多传感器照相机装置是自由模块。
CN201610878451.4A 2013-07-05 2014-07-04 用于多传感器照相机装置的同步控制器和相关同步方法 Expired - Fee Related CN106454319B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361843221P 2013-07-05 2013-07-05
US61/843,221 2013-07-05
US14/322,925 2014-07-03
US14/322,925 US10033989B2 (en) 2013-07-05 2014-07-03 Synchronization controller for multi-sensor camera device and related synchronization method
CN201480001278.9A CN104412585B (zh) 2013-07-05 2014-07-04 用于多传感器照相机装置的同步控制器和相关同步方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480001278.9A Division CN104412585B (zh) 2013-07-05 2014-07-04 用于多传感器照相机装置的同步控制器和相关同步方法

Publications (2)

Publication Number Publication Date
CN106454319A true CN106454319A (zh) 2017-02-22
CN106454319B CN106454319B (zh) 2018-07-17

Family

ID=52132543

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480038536.0A Expired - Fee Related CN105556960B (zh) 2013-07-05 2014-07-04 主动式立体摄影校正装置以及产生立体摄影参数的方法
CN201610878451.4A Expired - Fee Related CN106454319B (zh) 2013-07-05 2014-07-04 用于多传感器照相机装置的同步控制器和相关同步方法
CN201480001278.9A Expired - Fee Related CN104412585B (zh) 2013-07-05 2014-07-04 用于多传感器照相机装置的同步控制器和相关同步方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480038536.0A Expired - Fee Related CN105556960B (zh) 2013-07-05 2014-07-04 主动式立体摄影校正装置以及产生立体摄影参数的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480001278.9A Expired - Fee Related CN104412585B (zh) 2013-07-05 2014-07-04 用于多传感器照相机装置的同步控制器和相关同步方法

Country Status (3)

Country Link
US (2) US10033989B2 (zh)
CN (3) CN105556960B (zh)
WO (2) WO2015000441A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064890A (zh) * 2019-12-25 2020-04-24 安凯(广州)微电子技术有限公司 一种多目电路设备及多目电路控制方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2967324B1 (fr) * 2010-11-05 2016-11-04 Transvideo Procede et dispositif de controle du dephasage entre cameras stereoscopiques
JP6248533B2 (ja) * 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN113676190A (zh) * 2013-11-11 2021-11-19 华为技术有限公司 一种Polar码编码方法、装置
DE102015212218A1 (de) * 2015-06-30 2017-01-05 Robert Bosch Gmbh Dezentral synchronisiertes Multisensorsystem
US10412369B2 (en) * 2015-07-31 2019-09-10 Dell Products, Lp Method and apparatus for compensating for camera error in a multi-camera stereo camera system
US20170127045A1 (en) * 2015-10-28 2017-05-04 Toppano Co., Ltd. Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
KR102425895B1 (ko) 2015-12-24 2022-07-27 삼성전자주식회사 전자장치의 데이터 동기 장치 및 방법
CN105678740B (zh) * 2015-12-30 2019-06-07 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
JP6722044B2 (ja) 2016-05-27 2020-07-15 ソニーセミコンダクタソリューションズ株式会社 処理装置、画像センサ、およびシステム
CN106131461A (zh) * 2016-06-28 2016-11-16 湖北久之洋红外***股份有限公司 一种多图像传感器同步控制***及图像处理模块
CN105979159B (zh) * 2016-07-21 2019-01-25 上海小蚁科技有限公司 设备的同步方法和同步***
CN106791783A (zh) * 2016-12-26 2017-05-31 重庆文理学院 一种3d数码照相机成像装置
US10438322B2 (en) 2017-05-26 2019-10-08 Microsoft Technology Licensing, Llc Image resolution enhancement
KR102502583B1 (ko) 2017-09-01 2023-02-22 삼성전자주식회사 복수의 이미지 센서들의 동기화 제어 방법 및 이를 구현한 전자 장치
CN109936677B (zh) * 2017-12-15 2021-07-27 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
CN108200423A (zh) * 2018-01-18 2018-06-22 安徽三弟电子科技有限责任公司 一种3d手机拍照控制***及方法
US20190313026A1 (en) * 2018-04-09 2019-10-10 Qualcomm Incorporated Multi-context real time inline image signal processing
US11022511B2 (en) 2018-04-18 2021-06-01 Aron Kain Sensor commonality platform using multi-discipline adaptable sensors for customizable applications
KR102679016B1 (ko) * 2019-01-23 2024-06-28 에스케이하이닉스 주식회사 이미지 센서 칩, 전자 장치 및 이미지 센서 칩의 동작 방법
WO2020181494A1 (zh) * 2019-03-12 2020-09-17 深圳市大疆创新科技有限公司 参数同步方法、拍摄装置和可移动平台
CN111080705B (zh) * 2019-05-07 2021-06-04 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定方法及装置
US11176386B2 (en) 2019-07-08 2021-11-16 Nxp Usa, Inc. System and method for continuous operation of vision/radar systems in presence of bit errors
US11818447B2 (en) * 2019-08-06 2023-11-14 Sony Semiconductor Solutions Corporation Master image sensor, slave image sensor, imaging system, and information processing method
CN110766761B (zh) * 2019-10-21 2023-09-26 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN111327836B (zh) 2020-03-20 2021-06-25 合肥埃科光电科技有限公司 一种相机曝光处理方法及***
CN113329174B (zh) * 2021-05-21 2022-06-03 浙江大华技术股份有限公司 多目摄像机的控制方法、装置、***和电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204038A1 (en) * 2005-01-19 2006-09-14 Hitachi, Ltd. Vehicle mounted stereo camera apparatus
CN102033415A (zh) * 2009-09-27 2011-04-27 深圳市掌网立体时代视讯技术有限公司 立体数码成像同步装置和方法
CN102436660A (zh) * 2011-11-08 2012-05-02 北京新岸线网络技术有限公司 3d相机图像自动校正方法及装置
CN102860016A (zh) * 2010-04-19 2013-01-02 松下电器产业株式会社 立体图像拍摄装置以及立体图像拍摄方法
CN102859987A (zh) * 2010-04-05 2013-01-02 高通股份有限公司 组合来自多个图像传感器的数据

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3621127A (en) 1969-02-13 1971-11-16 Karl Hope Synchronized stereoscopic system
FR2770317B1 (fr) * 1997-10-24 2000-12-08 Commissariat Energie Atomique Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
JP2002344800A (ja) 2001-05-18 2002-11-29 Minolta Co Ltd 同期撮影方法および撮影システム
US8218052B2 (en) 2003-03-07 2012-07-10 Iconix Video, Inc. High frame rate high definition imaging system and method
JPWO2004106857A1 (ja) 2003-05-29 2006-07-20 オリンパス株式会社 ステレオ光学モジュール及びステレオカメラ
CN101273621A (zh) 2005-09-28 2008-09-24 诺基亚公司 生产期间的照相机特性的内部存储
US7671891B2 (en) 2007-05-22 2010-03-02 Microsoft Corporation Online camera calibration
WO2010029040A2 (en) 2008-09-11 2010-03-18 University Of Malta Method and apparatus for generating and transmitting synchronized video data
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
KR101083824B1 (ko) 2009-04-10 2011-11-18 (주) 이노비전 스테레오 카메라 시스템 및 이를 이용한 시차검출방법
KR101095670B1 (ko) 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치
CN101706957B (zh) 2009-10-30 2012-06-06 无锡景象数字技术有限公司 一种双目立体视觉装置的自标定方法
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US8368762B1 (en) 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
US8717422B2 (en) * 2010-12-22 2014-05-06 Texas Instruments Incorporated Multi-sensor video frame synchronization apparatus and methods
JP5625976B2 (ja) 2011-02-09 2014-11-19 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにプログラム
US20120242806A1 (en) 2011-03-23 2012-09-27 Tk Holdings Inc. Dynamic stereo camera calibration system and method
US8797387B2 (en) 2011-04-27 2014-08-05 Aptina Imaging Corporation Self calibrating stereo camera
JP2013098877A (ja) 2011-11-02 2013-05-20 Sharp Corp ステレオ撮像装置、同期撮像方法および電子情報機器
US20130163854A1 (en) * 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus
US20130271579A1 (en) * 2012-04-14 2013-10-17 Younian Wang Mobile Stereo Device: Stereo Imaging, Measurement and 3D Scene Reconstruction with Mobile Devices such as Tablet Computers and Smart Phones
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
CN103246076B (zh) 2013-04-16 2015-08-05 深圳超多维光电子有限公司 多人观看立体显示装置及立体显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204038A1 (en) * 2005-01-19 2006-09-14 Hitachi, Ltd. Vehicle mounted stereo camera apparatus
CN102033415A (zh) * 2009-09-27 2011-04-27 深圳市掌网立体时代视讯技术有限公司 立体数码成像同步装置和方法
CN102859987A (zh) * 2010-04-05 2013-01-02 高通股份有限公司 组合来自多个图像传感器的数据
CN102860016A (zh) * 2010-04-19 2013-01-02 松下电器产业株式会社 立体图像拍摄装置以及立体图像拍摄方法
CN102436660A (zh) * 2011-11-08 2012-05-02 北京新岸线网络技术有限公司 3d相机图像自动校正方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064890A (zh) * 2019-12-25 2020-04-24 安凯(广州)微电子技术有限公司 一种多目电路设备及多目电路控制方法
CN111064890B (zh) * 2019-12-25 2021-08-20 安凯(广州)微电子技术有限公司 一种多目电路设备及多目电路控制方法

Also Published As

Publication number Publication date
WO2015000440A1 (en) 2015-01-08
US20150009288A1 (en) 2015-01-08
WO2015000441A1 (en) 2015-01-08
CN104412585B (zh) 2016-11-02
CN105556960B (zh) 2018-03-06
US9955142B2 (en) 2018-04-24
CN106454319B (zh) 2018-07-17
CN105556960A (zh) 2016-05-04
US20150009291A1 (en) 2015-01-08
US10033989B2 (en) 2018-07-24
CN104412585A (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN106454319B (zh) 用于多传感器照相机装置的同步控制器和相关同步方法
CN104347023B (zh) 用于控制显示驱动器的操作时钟信号频率的主机和***
CN106488288B (zh) 虚拟现实***及其音频/视频同步方法
CN103647918B (zh) 一种视频同步化的方法及装置
TWI646512B (zh) 使用壓縮資料以執行面板自刷新的時序控制器、其操作方法、含有其的資料處理系統以及非暫時性電腦可讀媒體
US7324114B2 (en) Synchronization of image frame update
KR20150055250A (ko) 타이밍 컨트롤러와 상기 타이밍 컨트롤러를 포함하는 디스플레이 시스템
US9414043B2 (en) Image adjusting apparatus and associated method
CN107948463B (zh) 一种相机同步方法、装置及***
JP6524606B2 (ja) 表示制御装置及び表示装置
US10044912B2 (en) Imaging device and image processing device for outputting image signal to be displayed, and display control device and imaging display apparatus for displaying image signal
CN107592522A (zh) 一种检测视频分辨率的方法及装置
CN106851183B (zh) 基于fpga的多路视频处理***及其方法
TWI646522B (zh) 攜帶型裝置的顯示系統以及應用處理器
CN106131461A (zh) 一种多图像传感器同步控制***及图像处理模块
CN103581586B (zh) 用于生成画中画（pip）图像的设备和方法
KR0164538B1 (ko) 디지탈 영상처리장치의 의사동기신호 발생회로
CN101431643B (zh) 降低视频数据输出速度的装置及方法
CN104464610A (zh) 一种视频截取方法及装置
TW201419831A (zh) 立體影像格式轉換器及其立體影像格式轉換方法
JP5446427B2 (ja) 画像処理装置
Qian et al. Design of video acquisition identification system based on Zynq-7000 Soc Platform
CN107766016A (zh) 一种图像显示方法及装置
CN106686325A (zh) 一种图像传感器初始化配置方法、装置、电路和虚拟现实设备
JP2016178457A (ja) 信号処理装置及び信号処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180717

Termination date: 20210704

CF01 Termination of patent right due to non-payment of annual fee