CN105681632B - 多目摄像机及其帧同步的方法 - Google Patents

多目摄像机及其帧同步的方法 Download PDF

Info

Publication number
CN105681632B
CN105681632B CN201511020037.1A CN201511020037A CN105681632B CN 105681632 B CN105681632 B CN 105681632B CN 201511020037 A CN201511020037 A CN 201511020037A CN 105681632 B CN105681632 B CN 105681632B
Authority
CN
China
Prior art keywords
main control
control chip
camera unit
camera
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511020037.1A
Other languages
English (en)
Other versions
CN105681632A (zh
Inventor
付昕军
李国栋
王三勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huatu Digital Technology Co Ltd
Original Assignee
Shenzhen Huatu Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huatu Digital Technology Co Ltd filed Critical Shenzhen Huatu Digital Technology Co Ltd
Priority to CN201511020037.1A priority Critical patent/CN105681632B/zh
Publication of CN105681632A publication Critical patent/CN105681632A/zh
Application granted granted Critical
Publication of CN105681632B publication Critical patent/CN105681632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明提供了一种多目摄像机及其帧同步的方法，其中多目摄像机包括至少两个图像传感器和与之各自对应的数据发送端、一个电源、一个晶振、一个数据接收端和一个主控芯片，每个图像传感器和与之对应的数据发送端为一摄像单元，每个摄像单元共用一个电源和一个晶振，摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。本发明所述多目摄像机通过将每个摄像单元共用一个电源和一个晶振，有效保证了每个摄像单元工作时钟的同步，以获得同步效果好的全景图像，克服了背景技术中所述多目摄像机帧不同步的问题，使得多目摄像机达到了真正的帧同步。

Description

多目摄像机及其帧同步的方法
技术领域
本发明涉及多目摄像机技术领域，尤其涉及一种多目摄像机及其帧同步的方法。
背景技术
随着视频技术的不断进步，视频应用越来越广泛，人们对视频的要求也越来越高。多目摄像机也在需求的推动下渐显市场。所谓多目摄像机，就是前端使用多个图像传感器，后端使用图像处理技术把多个图像传感器的图像组合成一幅完整的图像的设备。
目前的多目摄像机包含多个图像传感器，每个传感器对应一个独立的编码芯片，编码芯片对图像传感器采集到的视频进行独立编码，然后通过网络将编码数据发送到网络，网络上的主机使用图像拼接技术把多个图像拼接成一幅完整的图像，称之为全景图像。但由于视频画面来自不同的图像传感器，各个图像传感器采集视频的步调不一致，这就会使各个图像传感器难以在同一时间点同步采集视频，最终导致在图像所呈现的画面空间上相差甚大，另外，采集之后又不是采用同一个芯片进行编码，更加剧了不同步现象，这个现象在高速剧烈变化的场景下表现得尤为明显。比如，一辆高速行进的汽车从多目摄像机下面开过，依次在各个图像传感器下面经过，其中一个图像传感器准确采集到了汽车图像，之后出现在相邻的图像传感器下方的区域，但是此图像传感器可能正处在采集的间隙，导致此图像传感器并没有采集到汽车图像或者仅仅采集一部分汽车图像，后续经过一序列的处理，最终将各个图像传感器采集到的图像拼接成完整的一副图像，如此连续采集并处理，最终形成连续的视频画面，人眼直接观看的视频画面可能就是汽车运动轨迹不连续，即汽车从全景图像中的某一区域出现了，过了一段时间才在另外一块区域出现，也可能是出现一部分汽车图像的奇怪现象，这个时间可能很短，但是还是可以被察觉，这一问题被称为帧同步问题。
因为采集本身就不同步，这决定了后期不论如何处理，都做不到同步。若采用时间戳进行同步，在视频编码之后进行处理，同时编码处理又是在多个独立的编码芯片上进行，各个编码芯片有着各自的时钟，并不完全一致，因此处理的基准不一致，很难做到精准的同步效果，导致现有的多目摄像机难以解决帧同步的问题。
发明内容
为此，本发明所要解决的技术问题是：提供一种多目摄像机及其帧同步的方法，以解决多目摄像机帧同步的问题，使得多目摄像机达到了真正的帧同步。
于是，本发明提供了一种多目摄像机，包括至少两个图像传感器和与之各自对应的数据发送端、一个电源、一个晶振、一个数据接收端和一个主控芯片，每个图像传感器和与之对应的数据发送端为一摄像单元，每个摄像单元共用一个电源和一个晶振，摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
其中，所述主控芯片控制摄像单元同时上电。
所述主控芯片为Hi3531芯片。
所述图像传感器为同一厂家同一型号图像传感器。
本发明还提供了一种多目摄像机的帧同步的方法，包括至少两个图像传感器和与之各自对应的数据发送端，每个图像传感器和与之对应的数据发送端为一摄像单元，该方法包括：
每个摄像单元共用一个电源和一个晶振；
摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
上述方法还包括：所述主控芯片控制摄像单元同时上电。
其中，所述主控芯片为Hi3531芯片。
本发明所述多目摄像机及其帧同步的方法，通过将每个摄像单元共用一个电源和一个晶振，有效保证了每个摄像单元工作时钟的同步，以获得同步效果好的全景图像，克服了背景技术中所述多目摄像机帧不同步的问题，使得多目摄像机达到了真正的帧同步。
附图说明
图1为本发明实施例所述多目摄像机的结构示意图。
具体实施方式
下面，结合附图对本发明进行详细描述。
如图1所示，本实施例提供了一种多目摄像机，包括至少两个图像传感器和与之各自对应的数据发送端、一个电源、一个晶振、一个数据接收端和一个主控芯片，每个图像传感器和与之对应的数据发送端为一摄像单元，每个摄像单元共用一个电源和一个晶振，摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
其中，主控芯片控制摄像单元同时上电。所述主控芯片为Hi3531芯片。
具体的，本实施例中采用同一厂家、同一型号规格的图像传感器。虽然这仍然难以保证图像传感器性能指标完全一致，但是差别不大，可以近似认为一致。各个图像传感器由一个统一的外部晶振驱动，其目的是在同一个晶振驱动的情况下，各个图像传感器工作时钟完全一致，因此可以统一动作。如果多个图像传感器则由多个外部晶振来驱动，因为晶振制作工艺的原因，即使晶振来自同一厂家，晶振规格完全相同，晶振频率也难以完全一样。
此外，为了保证各个图像传感器同时上电，每个摄像单元共用一个电源和一个晶振。
各个图像传感器通过传输通道统一汇集到一个编码主控芯片上，由同一个主控芯片对各个图像进行统一编码。理论上应该对采集到的图像进行拼接处理，拼接成一份全景图像，然后对全景图像进行编码，这样的同步效果最好，但是因为拼接处理会消耗大量的硬件资源，目前没有性能如此强大的芯片或者芯片价格甚高，因此本实施例中采用同一个主控芯片对各个图像采集到的图像分别进行编码，虽然主控芯片是按顺序对各个图像进行编码，但是由于是硬件直接进行编码，其处理速度很快，同时由于采用了同一个主控芯片，因此这些视频帧拥有相同的时间戳基准，总有一个时间点，各个视频帧拥有非常相近的时间戳，找到这个时间点之后，将之前的视频帧丢弃，之后的视频帧就可以认为都是同步的了。这个时间点称之为同步点。
摄像单元中的数据发送端，负责将图像传感器采集到的图像数据发送出去；数据接收端，接收数据发送端发送过来的数据，并汇集到主控芯片。
当给多目摄像机上电之后，主控芯片首先进行自身的初始化，之后对数字接收端进行初始化，一切准备就绪之后，启动晶振，给模拟摄像机提供驱动，再给四路摄像机模块同时上电。至此，多目摄像机上电完成，之后进行正常的图像处理流程。数据发送端将图像传感器采集的图像数据发送给数据接收端，数据接收端将接收到的各路图像数据通过一定的时序交给主控芯片，主控芯片对接收到的数据进行统一编码，并在编码后，对各路视频帧按照时间戳进行处理，找到同步点，丢弃同步点之前的视频帧，然后将这些同步的帧发送到网络上。另外，主控芯片还控制各路图像传感器同时上电。
使用上述多目摄像机，本实施例还提供了一种多目摄像机的帧同步的方法，该方法包括：
每个摄像单元共用一个电源和一个晶振；
摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
上述方法是一种在多目摄像机里面实现帧同步的方法，该方法利用同一电源给所有图像传感器进行供电，控制同时上电，之后采用同一晶振驱动图像传感器进行图像采集，最后采用同一编码芯片对采集到的图像进行编码，并按照时间戳对视频帧进行同步处理，以达到精准的帧同步。
综上所述，本实施例所述多目摄像机及其帧同步的方法，通过将每个摄像单元共用一个电源和一个晶振，有效保证了每个摄像单元工作时钟的同步，以获得同步效果好的全景图像，克服了背景技术中所述多目摄像机帧不同步的问题，使得多目摄像机达到了真正的帧同步。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多目摄像机，其特征在于，包括至少两个图像传感器和与之各自对应的数据发送端、一个电源、一个晶振、一个数据接收端和一个主控芯片，每个图像传感器和与之对应的数据发送端为一个摄像单元，每个摄像单元共用一个电源和一个晶振，所述主控芯片控制所述图像传感器同时上电，摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理，所述主控芯片对接收到的数据进行统一编码，并在编码后对各路视频帧按照时间戳进行处理，找到同步点，丢弃同步点之前的视频帧，然后将这些同步的帧发送到网络上。
2.根据权利要求1所述的多目摄像机，其特征在于，所述主控芯片控制摄像单元同时上电。
3.根据权利要求1所述的多目摄像机，其特征在于，所述主控芯片为Hi3531芯片。
4.根据权利要求1至3任意一项所述的多目摄像机，其特征在于，所述图像传感器为同一厂家同一型号图像传感器。
5.一种多目摄像机的帧同步的方法，包括至少两个图像传感器和与之各自对应的数据发送端、电源、晶振、数据接收端和主控芯片，每个图像传感器和与之对应的数据发送端为一摄像单元，其特征在于，包括：
每个摄像单元共用一个电源和晶振，所述主控芯片控制所述图像传感器同时上电；
启动所述晶振，给模拟摄像机提供驱动，再给摄像机单元同时上电；
摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理；
所述主控芯片对接收到的数据进行统一编码，并在编码后对各路视频帧按照时间戳进行处理，找到同步点，丢弃同步点之前的视频帧，然后将这些同步的帧发送到网络上。
6.根据权利要求5所述的方法，其特征在于，还包括：所述主控芯片控制摄像单元同时上电。
7.根据权利要求5所述的方法，其特征在于，所述主控芯片为Hi3531芯片。
8.根据权利要求5所述的方法，其特征在于，所述数据接收端将接收到的各路图像数据通过一定的时序交给主控芯片。
CN201511020037.1A 2015-12-31 2015-12-31 多目摄像机及其帧同步的方法 Active CN105681632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511020037.1A CN105681632B (zh) 2015-12-31 2015-12-31 多目摄像机及其帧同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511020037.1A CN105681632B (zh) 2015-12-31 2015-12-31 多目摄像机及其帧同步的方法

Publications (2)

Publication Number Publication Date
CN105681632A CN105681632A (zh) 2016-06-15
CN105681632B true CN105681632B (zh) 2019-06-28

Family

ID=56298055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511020037.1A Active CN105681632B (zh) 2015-12-31 2015-12-31 多目摄像机及其帧同步的方法

Country Status (1)

Country Link
CN (1) CN105681632B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6747158B2 (ja) * 2016-08-09 2020-08-26 ソニー株式会社 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
CN106507017B (zh) * 2016-10-18 2021-06-04 海信视像科技股份有限公司 一种实现v-by-one的fpga芯片和相应的v-by-one处理方法
CN107426491B (zh) * 2017-05-17 2021-05-07 西安邮电大学 一种360度全景视频的实现方法
CN107277385B (zh) * 2017-06-12 2020-04-17 深圳市瑞立视多媒体科技有限公司 一种多相机***同步曝光的控制方法、装置及终端设备
CN109194436B (zh) * 2018-11-01 2020-08-07 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
CN111343401B (zh) * 2018-12-18 2021-06-01 华为技术有限公司 帧同步方法及其装置
CN112911299B (zh) * 2019-12-03 2023-02-28 浙江宇视科技有限公司 一种视频码率控制方法、装置、电子设备和存储介质
CN111277804A (zh) * 2020-03-10 2020-06-12 北京爱笔科技有限公司 图像处理方法、装置和多摄像头同步***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071348A (zh) * 2006-05-11 2007-11-14 北京华旗资讯数码科技有限公司 一种通过识别动态轨迹控制光标、操作视窗的方法
CN101266131A (zh) * 2008-04-08 2008-09-17 长安大学 一种基于图像的体积测量装置及其测量方法
CN201928379U (zh) * 2010-10-28 2011-08-10 上海德致伦电子科技有限公司 用于立体视觉的双目成像设备及双目视频监控***
CN102186015A (zh) * 2011-04-26 2011-09-14 北京思比科微电子技术股份有限公司 多图像传感器的图像处理设备及图像处理方法
CN202503589U (zh) * 2012-02-24 2012-10-24 北京思比科微电子技术股份有限公司 具有采样控制功能的图像传感器及多图像传感器***
CN205453872U (zh) * 2015-12-31 2016-08-10 深圳市华途数字技术有限公司 多目摄像机

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841332B (zh) * 2014-03-21 2018-10-12 英华达（上海）科技有限公司 全景景象拍摄及浏览的移动装置、***及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071348A (zh) * 2006-05-11 2007-11-14 北京华旗资讯数码科技有限公司 一种通过识别动态轨迹控制光标、操作视窗的方法
CN101266131A (zh) * 2008-04-08 2008-09-17 长安大学 一种基于图像的体积测量装置及其测量方法
CN201928379U (zh) * 2010-10-28 2011-08-10 上海德致伦电子科技有限公司 用于立体视觉的双目成像设备及双目视频监控***
CN102186015A (zh) * 2011-04-26 2011-09-14 北京思比科微电子技术股份有限公司 多图像传感器的图像处理设备及图像处理方法
CN202503589U (zh) * 2012-02-24 2012-10-24 北京思比科微电子技术股份有限公司 具有采样控制功能的图像传感器及多图像传感器***
CN205453872U (zh) * 2015-12-31 2016-08-10 深圳市华途数字技术有限公司 多目摄像机

Also Published As

Publication number Publication date
CN105681632A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105681632B (zh) 多目摄像机及其帧同步的方法
CN104270567B (zh) 高精度同步的多路图像采集***及其时间同步方法
CN103795979B (zh) 一种分布式图像拼接同步的方法和装置
US11729465B2 (en) System and method providing object-oriented zoom in multimedia messaging
CN105763926A (zh) 屏幕录制的方法及装置
CN104243920B (zh) 一种基于基本流视频数据封装的图像拼接方法及装置
CN103957344A (zh) 多摄像装置的视频同步方法和***
CN102510494B (zh) 对i帧进行同步的方法及设备
CN105516542A (zh) 基于硬件编码器的多通道视频同步***及其同步方法
CN105306837A (zh) 多图像拼接方法及装置
CN205453872U (zh) 多目摄像机
CN104079633A (zh) 终端采集数据同步保存到云端服务器的方法及***
WO2014066434A3 (en) Improved algorithms for determining bitrate for a statistical multiplexing system to account for signal complexity including film mode and gop structural changes
US20200213074A1 (en) Transmission apparatus and communication system
US20190141106A1 (en) System and method for interleaved media communication and conversion
EP3826313B1 (en) Video/audio transmission system, transmission method, transmission device, and reception device
CN100579182C (zh) 一种字幕叠加的方法及装置
CN116320206A (zh) 双目相机的同步拍摄装置与采集控制方法
WO2011116735A2 (en) A device for receiving of high-definition video signal with low-latency transmission over an asynchronous packet network
CN101729845A (zh) Camera-Link数字视频信息叠加方法
CN103391453A (zh) 网络机顶盒pcr校正处理***及方法
CN113938457B (zh) 一种云手机应用远程摄像头的方法、***和设备
JP2015046708A (ja) 通信システム、通信方法、送信側同期信号配信装置、送信側同期制御装置、受信側同期信号配信装置、受信側同期制御装置及びプログラム
KR102094848B1 (ko) (초)다시점 미디어의 라이브 스트리밍 방법 및 장치
JP4519569B2 (ja) 立体ｍｐｅｇ信号同期システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant