CN105979159A - 设备的同步方法和同步*** - Google Patents

设备的同步方法和同步*** Download PDF

Info

Publication number
CN105979159A
CN105979159A CN201610578584.XA CN201610578584A CN105979159A CN 105979159 A CN105979159 A CN 105979159A CN 201610578584 A CN201610578584 A CN 201610578584A CN 105979159 A CN105979159 A CN 105979159A
Authority
CN
China
Prior art keywords
equipment
signal
imageing sensor
frame
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610578584.XA
Other languages
English (en)
Other versions
CN105979159B (zh
Inventor
和超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoyi Technology Co Ltd
Original Assignee
Shanghai Ants Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ants Technology Co Ltd filed Critical Shanghai Ants Technology Co Ltd
Priority to CN201610578584.XA priority Critical patent/CN105979159B/zh
Priority to US15/259,483 priority patent/US10348949B2/en
Publication of CN105979159A publication Critical patent/CN105979159A/zh
Application granted granted Critical
Publication of CN105979159B publication Critical patent/CN105979159B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

公开了设备的同步方法和同步***。根据某些实施例，同步方法可以包括接收用于发起操作的信号。所述方法还可以包括优先化用于所述操作的处理能力。所述方法还可以包括在接收到所述信号之后在计算出的时间量处开始所述操作。

Description

设备的同步方法和同步***
技术领域
本公开总体涉及成像***，更具体地涉及用于同步多个设备的***和方法。
背景技术
在许多工业、商业和科学应用中，精确同步多个设备或控制多个设备以协调方式操作是很关键的。例如，为了创建沉浸式虚拟现实(VR)体验，可以使用多个摄像机来覆盖场景的不同部分。对摄像机在同一时间捕捉到的图像帧进行同步，从而实现场景的三维(3D)重构。当场景是动态的，即包含移动对象时，一种公知的挑战在于精确地在帧级别或者甚至在子帧级别(即，帧持续时间的一部分)同步图像捕捉。
在沉浸式VR产生中关键任务是根据多视图2D图像数据准确地重构3D对象形状、运动和表面纹理。类似于人眼通过双目视觉在正确的深度看到对象，多个摄像机可以用于从不同视点拍摄对象的图像。对于运动对象，除非在同一时间捕捉到不同视点的图像，否则不能生成对象的适当立体显示。
图1是示出用于获得对象的3D图像信息的多摄像机***的示意图。参考图1，为拍摄移动汽车，将两个摄像机(即，摄像机1和2)间隔预定距离并对齐。可以解释由该两个摄像机在同一时间拍摄的图像之间的差别，从而确定汽车的深度信息。然而，如果摄像机1和2未同步，则由摄像机1在时间T1捕捉到的图像帧不能与摄像机在时间T2捕捉到的图像帧组合来构造显示正确深度的虚拟场景。
此外，VR的观看者可以自由地在虚拟世界中到处看。因此，VR需要提供宽视场(FOV)，例如360度球面图。由于摄像机仅具有有限的FOV，所以可以将由多个摄像机拍摄的图像组合成全景。图2是示出用于获得全景的多摄像机***的示意图。参考图2，摄像机1和2具有局部重叠的FOV。每个FOV覆盖包括移动车行进经过若干静置轮胎的场景的一部分。如果两个摄像机没有同步，则当汽车在FOV的重叠区域行进时，由摄像机1在时间T1捕捉到的图像帧和由摄像机2在时间T2捕捉到的图像帧示出在不同像素的汽车。这种像素差通常叫做“重影(ghosting)”伪像。换言之，根据这两个图像帧生成的全景可能在两个帧重叠的区域将移动汽车显示为两个图像或“重影”。相反，因为静置轮胎总是停留在相同像素，所以轮胎没有重影。
所公开的方法和***解决了以上列出的一个或多个问题。
发明内容
与本公开的一个实施例一致，提供了第一设备的同步方法。所述方法可以包括接收用于发起操作的信号。所述方法还可以包括优先化用于所述操作的处理能力。所述方法还可以包括在接收到所述信号之后在计算出的时间量处开始所述操作。
与本公开的另一实施例一致，提供了第一设备，包括存储器和处理器。所述存储器可以存储指令。所述处理器可以配置为执行所述指令，以：接收用于发起操作的信号；优先化用于所述操作的处理能力；以及在接收到所述信号之后在计算出的时间量处开始所述操作。
与本公开的又一实施例一致，提供了一种同步***。所述***可以包括信号生成器；以及通信地连接到所述信号生成器的多个设备。所述信号生成器可以配置为响应于用户输入而将信号发送给设备。所述设备配置为：接收信号；优先化用于操作的处理能力；以及在接收到所述信号之后在计算出的时间量处开始所述操作。
可以理解的是，上述通用描述和后续详细描述都仅是示例性和说明性的，而不限制如所要求保护的本发明。
附图说明
将通过示例性实施例进一步描述在本文描述的方法、***和/或程序。参考附图详细描述这些示例性实施例。这些实施例是非限制性的示例性实施例，其中在附图的若干图中类似的附图标记表示类似的结构，其中：
图1是示出用于获得对象的3D图像信息的多摄像机***的示意图。
图2是示出用于获得全景的多摄像机***的示意图。
图3是示出在两个摄像机之间未同步的帧数据编码的示意图。
图4是示出在两个摄像机之间的时钟漂移的示意图。
图5是根据示例性实施例的用于同步多个用户设备的***的框图。
图6是根据示例性实施例的用于执行同步方法的用户设备的框图。
图7是根据示例性实施例的用于同步多个用户设备的过程的流程图。
图8是根据示例性实施例示出在图7中所示过程的实现的示意图。
具体实施方式
现在将详细参考所公开的实施例，其例子在附图中示出。在方便时，相同的附图标记将在整体附图中用于指代相同或类似部件。
当参照附图考虑以下说明时，本公开的特点和特征、以及操作方法和结构的相关元件的功能以及部分的组合和制造的经济性可以变得更加明显，所有附图形成本说明书的一部分。但是，应理解，附图只是用于说明和描述的目的而不意欲作为对发明的限定的定义。如说明书和权利要求书中所使用的，除非上下文清楚地另有说明，否则单数形式“一”、“一个”和“该”包括复数。
如图1-2所示，快速变化的场景(例如，运动场馆或音乐会)可能呈现产生立体3D内容的巨大困难和/或导致全景生成中严重的重影伪像，即使由不同摄像机生成的图像帧的时间差非常小也如此。为了创建令人满意的沉浸式VR体验，期望将这些时间差控制到仅几毫秒内。
然而，难以实现多个摄像机的精确同步。每个摄像机捕捉图像的工作流包括：激活摄像机(或激活摄像机的同步拍摄模式)；设置在摄像机中使用的拍摄参数，并启动图像传感器来捕捉图像帧(即，触发快门操作)；启动摄像机的图像信号处理器(ISP)来获取帧数据，并将帧数据编码为可呈现和可显示的图像；以及重复帧捕捉和编码。在上述步骤的任一个中都可能发生同步误差。
首先，激活摄像机、帧捕捉以及帧编码需要同时被外部触发信号触发。然而，在发送这些触发信号时可能存在时延。一些触发信号还可能在传输期间意外丢失。特别地，当无线输送触发信号时，可能由无线介质访问时间中的非确定性而引入不确定度。难以确信何时同步分组开始从发送方传播以及同步分组何时被接收方接收到。例如，典型的无线网络的延迟可以是若干毫秒级别。
第二，即使多个摄像机能够同时接收命令来拍摄图像，在不同摄像机中的图像传感器可能会以不同的速度响应该命令。图像传感器最初可能处于不同状态。因此，每个摄像机需要重置各自的图像传感器，并向图像传感器的驱动器发送传感器操作参数，例如，快门速度、帧率、分辨率等。由于在图像传感器间的不同以及摄像机的多种硬件和软件能力，每个摄像机具有从接收到拍摄图像的触发信号的时间到捕捉帧的时间的非确定性的延迟。
第三，即使多个摄像机能够在同一时间开始帧捕捉，由于摄像机中不同的实时工作条件/负载，多个摄像机可能以不同的速度开始帧数据获取和编码。例如，当摄像机接收到开始帧获取和编码的命令时，每个摄像机可能执行多个其它应用，例如，测量剩余电池电量、调整变焦等。执行这些额外任务可能消耗处理器时间和存储器空间，因此可能在摄像机间引入对发起数据获取和编码的非确定性延迟。
图3是示出在两个摄像机之间未同步的帧数据编码的示意图。参考图3，摄像机1和2中的图像传感器被同步。换言之，摄像机1和2能够在时间t1、t2、t3、...同时捕捉帧。然而，在摄像机1和2中的帧数据编码是未同步的。例如，摄像机1在t1和t2之间的时间T1开始编码。相反，摄像机2在t2之后的时间T2开始编码。因此，摄像机1对在t1捕捉到的帧进行编码，并将其当做第一帧；而摄像机2对在t2捕捉到的帧进行编码，并将其当做第一帧。这两个帧不能适当组合而生成VR效果。
第四，多个摄像机需要以预定速率重复捕捉和对帧编码。因此，即使在不同摄像机中的帧捕捉和编码同时发起，由于后续在部分或所有摄像机中的时钟漂移仍可能破坏同步。例如，每个摄像机可以使用晶体振荡器作为内部时钟。由于每个晶体振荡器的固有频率误差以及不同晶体振荡器间的精度的差异，在多个摄像机开始连续成像过程之后，在一个摄像机中的时钟信号可能逐渐与在另一摄像机中的时钟信号漂离或与其失去同步。
图4是示出在两个摄像机之间的时钟漂移的示意图。参考图4，可以在最初同步由摄像机1和2进行的帧捕捉和编码。然而，当成像过程继续时，时钟漂移可能在摄像机1和2之间累积。例如，在两个小时之后，在摄像机2中的图像传感器捕捉第i帧之前，摄像机1中的图像传感器可能捕捉第(i+1)帧。因此，摄像机1和2不再同时对动态场景成像。此外，如果在相同或类似时间编码这两个帧，则它们可能被当作在同一时间捕捉到的帧，这将在产生VR效果时造成误差。
在上述任何一方面的缺陷将导致丢失同步。如下文所述，与本公开一致的示例性实施例提供了克服一个或多个上述困难的技术方案。
图5是根据示例性实施例的用于同步多个用户设备的***100的框图。参考图5，***100包括多个用户设备110(例如，如图5所示的用户设备110a、110b、110c、…和110n)、信号生成器120、以及用于连接用户设备110和信号生成器120的多个通信电缆130。
每个用户设备110可以是具有特定计算和/或通信能力的设备，例如，智能摄像机、智能可穿戴设备(例如，腕带)、智能空调、智能空气净化器、智能冰箱、智能插座、智能门铃等。用户设备110可以是相同或不同类型的设备。例如，所有的用户设备110可以是能够由信号生成器120触发以同时拍摄对象的视频的智能摄像机。再如，用户设备110可以是不同的设备，例如，分别是智能空调、智能空气净化器以及智能咖啡机等，并且这些不同的用户设备110可以由信号生成器120同时开启。
仅出于说明的目的，后续描述假设用户设备110是能够同时拍摄视频的智能摄像机。本文所公开的摄像机可以是任意类型的图像捕捉设备。例如，用户设备110可以是运动摄像机、数字摄像机或者网络摄像机。用户设备110还可以嵌入到另一设备中，例如，智能电话、计算机、个人数字助理(PDA)、监视设备、视频游戏控制台等。
用户设备110可以配置为以多种方式捕捉一个或多个图像。例如，用户设备110可以配置为通过编程、通过硬件设置或者通过其组合来捕捉用户发起的图像。在一些实施例中，当用户设备110配置为通过软件或硬件编程或通过硬件设置捕捉图像时，可以在一个或多个预定条件下执行图像捕捉。例如，用户设备110可以响应于用户操作，例如用户按压在信号生成器120上的控制按钮，来捕捉图像。备选地或附加地，一组预定条件(例如，感知移动对象)可以触发用户设备110来捕捉图像。在一些实施例中，捕捉图像可以包括用户设备110处于能够捕捉一个或多个图像的模式或设置中。如这里使用的，“图像”可以局部或整体地指代静态或动态视觉表示，包括但不限于，照片、图片、图形、视频、全息图、虚拟现实图像、增强现实图像、其它视觉表示或其组合。
信号生成器120配置为生成用于触发在每个用户设备110中的操作的触发信号，从而同步一些或所有用户设备110的操作。信号生成器120可以是专门设计为同步用户设备110的操作的独立设备。备选地，信号生成器120可以是较大设备(例如，计算机、移动电话、个人数字助理(PDA)、MP3(运动图像专家组音频层III)播放器、MP4播放器等)的一部分。信号生成器120可以包括用户输入设备，例如键盘、触摸屏或支持用户输入的触摸板。此外，可以通过硬件、软件或硬件和软件的组合来实现信号生成器120。
参考图5，在一个示例性实施例中，信号生成器120可以是包括按钮122的远程控制设备。信号生成器120可以包括电路，该电路配置为通过生成触发信号来触发一个或多个用户设备110的操作而响应用户激活按钮122。
有线连接(例如，通信电缆130)用于连接，并因此允许每个用户设备110和信号生成器120之间进行双向通信。在一个实施例中，用户设备110可以包括接口，例如微型通用串行总线(USB)接口，其配置为接纳通信电缆130。类似地，信号生成器120可以包括多个端口，例如微型USB端口，从而通信电缆130可以使每个用户设备110与信号生成器120连接。这样，信号生成器110可以将触发信号发送给每个用户设备，以同时触发用户设备110的特定操作。例如，触发信号可以是能够激活每个用户设备110的传感器的高电压脉冲。有线连接能够避免信号的额外转变和转换，并在一些应用中提供比无线连接更可靠的信号传输信道。因此，通信电缆130能够最小化信号时延和损失。
然而，在一些实施例中，信号生成器120还可以无线地将触发信号发送到用户设备110。例如，每个用户设备110可以包括红外信号收发器、近场通信(NFC)信号收发器、蓝牙天线和/或无线路由器，以便于在用户设备110和信号生成器120之间的短程双向通信。
图6是根据示例性实施例的用户设备110的框图。参考图6，用户设备110可以包括传感器210、晶体振荡器220和控制器230。
传感器210可以是图像传感器，例如电荷耦合器件(CCD)传感器或者互补金属氧化物半导体(CMOS)传感器。传感器210还可以包括以下中的任一种：光学设备、透镜、CCD或CMOS驱动电路，以及以及用于发送和接收各种波长的光的光学部件、电子部件和控制电路的其它布置。
传感器210配置为将光信号(例如，光子)转换为电子信号(例如，电子电荷)。传感器210具有光电转换表面(光接收表面)，其中布置有形成像素矩阵的多个光检测器。传感器210将入射光光电转换为电荷，所述入射光通过用户设备110的透镜和光圈机构聚焦于光电转换表面。传感器210由驱动器驱动。根据从控制器230接收到的命令，通过传感器驱动器来调整传感器210的曝光时间(即，快门速度)。传感器210将在像素中累积的电荷作为图像信号通过可变增益放大器输出到模拟-数字(A/D)转换器。控制器230设置放大器的放大因子。放大因子对应于ISO感光度(即，光敏度)，例如，ISO 200、ISO 400、ISO 800或ISO 1600。A/D转换器将放大后的图像数据转换为数字形式，并将数字数据发送给控制器230以供进一步处理。在本公开中，这一过程被称作“捕捉图像”或“捕捉帧”。
在视频记录模式或连续图片记录模式中，传感器210可以配置为以各种分辨率和帧率捕捉图像帧，例如，30fps下1296p的分辨率以及30fps或60fps下1080p的分辨率。传感器210的帧率是传感器210获取图像帧并随后完全读出图像帧所需时间的倒数(inverse)。传感器210的读出速率由数字化单个像素(即，将模拟信号转换为数字信号)所需的时间进行决定，并定义为数字化时间的倒数。传感器210的帧率并入了曝光时间，并将单个像素读出速率扩展到整个像素阵列。
通过帧获取时间和帧读取时间的组合来确定帧率，所述时间中的每一个取决于特定于传感器210的操作细节。在数量上，帧率可以表示为以下等式：
帧率＝1/(帧获取时间+帧读取时间)(等式1)
通常，多个基本操作影响帧获取和帧读取时间间隔。可以通过但不限于以下项来确定帧获取时间：1)在开始信号积分(即，曝光)之前，从每个像素清除电荷所需的时间；2)快门打开时延；3)曝光时间；以及4)快门关闭时延。可以通过但不限于以下项确定帧读取时间：每像素数字化时间乘以待读取像素的个数。
特别地，在图像获取之前，传感器210有必要清除像素矩阵中在曝光之前由于暗电流或其它电荷生成事件累积的电荷。在开始实际的帧积分之前消除在像素阵列中累积的任意电荷减少了图像拖尾(image smear)的现象，并允许更精确地控制逐帧的曝光。
如从上可以看出的，在传感器210捕捉第一帧之前，用户设备110需要大量时间来准备帧捕捉。例如，用户设备110需要执行一系列任务，包括调整焦点、设置闪光、设置图像分辨率、测量和收集其它拍摄参数、以及选择适当的快门持续时间和光圈开口。还例如，传感器210需要在捕捉每个新的帧之前从每个像素清除残留的电荷。仅在设置了所需的参数和清除了残留的电荷之后，快门可以打开，并且传感器210可以开始帧捕捉。
在传感器210中清除残留电荷以及读取和设置拍摄参数所需的时间可以从几十毫秒到长达几秒的范围。因此，在按压快门按钮和实际开始帧捕捉之间总是存在滞后。此外，由于硬件差异，不同的用户设备110可以具有不同的快门滞后。
与所公开的实施例一致，可以通过硬件设计缩短快门滞后，从而减少开始帧捕捉的同步误差。例如，在同步成像模式中一般使用的拍摄参数可以保存在控制器230的缓冲器中，从而处理器可以容易地访问参数。再如，可以将一些拍摄参数写入到集成到传感器210的固件中，以便减少在将参数提供给传感器210时所涉及的时间。
如在方法1000(图7)中更详细描述的，还可以通过软件设计来避免由快门滞后所引起同步误差。例如，当接收触发信号时，可以对用户设备110进行编程以设置拍摄参数，并用预定的持续时间重置传感器110，并启动传感器110来在预定持续时间末尾处捕捉第一帧(即，打开快门开始信号积分)。预定持续时间可以足够长，以允许每个用户设备110结束设置拍摄参数和重置传感器110。这样，在所有用户设备110中的传感器210可以同时开始帧捕捉。
晶体振荡器220是电子振荡器电路，其使用压电材料的振动晶体(例如，石英晶体)的机械共振来创建具有精确频率的电信号。可以将由晶体振荡器220生成的频率供应给传感器210和控制器230，以精确控制其操作。在示例性实施例中，为了确保多个用户设备110的精确同步，可以使用高精度晶体振荡器，例如，具有百万分之(ppm)五的频率容差的晶体振荡器。5ppm频率容差对应于每秒5微秒的漂移。
实践中，标记有5ppm的晶体振荡器实际上可能具有稍不同于5ppm的频率容差。这是因为制造变化和暴露于超容差条件(例如，机械冲击)可能引起晶体振荡器中永久的频率误差。另外，温度、年限、湿度等的变化可能导致在晶体振荡器中的短期误差。例如，标记有5ppm的五十个晶体振荡器的实际频率误差可以形成以5ppm为中心的正态分布。
可以通过用户设备110的改进的制造方法或对用户设备110的硬件修改，来解决实际频率容差中的这种差异。在一个实施例中，可以根据实际频率容差，来测试和排序大量的5ppm晶体振荡器。晶体振荡器还可以被划分为若干组，每个组中的振荡器具有小于1ppm的差别。来自同一组的振荡器随后可以用于需要同步的用户设备110上。例如，如果需要同步16个用户设备110，则可以根据实际频率容差来测试和排序50个晶体振荡器。然后可以选择具有小于1ppm差别的16个晶体振荡器，并将其分别安装在16个用户设备110上。
在另一实施例中，可以使用晶体振荡器来向需要同步的所有用户设备110提供时钟信号。例如，专用电路可以用于将晶体振荡器连接到每个用户设备110上，从而为每个用户设备110提供相同的时钟信号。
控制器230可以包括输入/输出(I/O)接口232、处理单元234、存储单元236和/或存储器模块238等。这些单元可以配置为在彼此之间转移数据并发送或接收指令。
I/O接口232可以配置为在控制器230和用户设备110和其它设备的各种部件(例如，传感器210和信号生成器120)之间进行双向通信。例如，I/O接口232可以接收从信号生成器120传送的触发信号，并将该触发信号中继到处理单元234，以用于发起视频捕捉。再如，I/O接口232可以接收由传感器210生成的图像数据，并将所述数据中继到处理单元234以进行编码，或中继到存储单元236和/或存储器模块238以进行存储。
可以通过以下项目实现处理单元234：一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其它电子部件。处理单元234可以根据本文描述的技术执行计算机指令(程序代码)并执行功能。计算机指令包括例程、程序、对象、部件、数据结构、过程、模块和函数，其执行本文描述的特定功能。
存储单元236和/或存储器模块238中的每一个包括一个或多个存储器，所述存储器配置为存储用于同步用户设备110的指令和数据。可以利用以下项目实现存储器：任何种类的易失性或非易失性存储器设备或其组合，例如，静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、或者磁盘或光盘。
存储单元236和/或存储器模块238可以配置为存储处理单元234用于执行用户设备110的功能的计算机指令和数据。例如，存储单元236和/或存储器模块238可以存储同步应用，用于精确地控制收集和对帧数据编码的定时。再如，存储单元236和/或存储器模块238可以存储每个编码的图像帧，从而稍后可以将编码的图像帧与由其它用户设备110生成的帧组合以形成全景。
图7是根据示例性实施例的用于同步多个用户设备的操作(也就是任务)的过程1000的流程图。例如，过程1000可以由控制器230执行。参考图7，过程1000可以包括以下步骤。
在步骤1010中，控制器230在第一时间点接收第一触发信号，并激活用户设备110。
在示例性实施例中，每个用户设备110通过通信电缆130连接到信号生成器120。为了激活用户设备110，用户可以按压信号生成器120的按钮122。响应于用户操作，信号生成器120可以将第一触发信号发送到每个用户设备110。
如果用户设备110初始是关闭的或者处于空闲状态，则第一触发信号可以用于激活用户设备110。在一个实施例中，用户设备110的液晶显示器(LCD)可以进入睡眠模式，并且当用户设备110已经空闲了给定时间段时，用户设备110可以掉电。当接收到第一触发信号时，用户设备110可以花费若干秒醒来和准备好拍摄图像。
在接收到第一触发信号之后，控制器230可以执行特定任务以准备图像捕捉。例如，控制器230可以向缓冲器或存储器模块238加载拍摄参数和/或用于同步用户设备110的指令，从而允许快速访问所述参数和指令。
在步骤1020中，控制器230在第二时间点接收第二触发信号并重置传感器210。
在接收到第二触发信号之前，传感器220可以处于各种状态。例如，传感器220可以是活跃的，允许电荷连续填充像素。再如，传感器210可以处于睡眠状态，以帮助减少生热并改善信噪比。类似于在摄像机上按压“快门释放”按钮，第二触发信号用于重置传感器210并使其准备好捕捉新的帧。因此，当接收到第二触发信号时，控制器230可以确保快门关闭并允许传感器210清除任何残留电荷。
传感器210的重置还要求控制器230设置用于传感器210的拍摄参数。在一个实施例中，控制器130可以确定对于要成像的场景或主题合适的设置。基于所述确定，控制器230可以调整用户设备110的焦点和变焦，设置图像质量，设置电子闪光的定时和持续时间，选择适当的快门持续时间和光圈开口，和/或测量并收集其它拍摄参数。
例如，如果使用自动对焦模式，则控制器230可以确定自动对焦设置。控制器230随后可以确定场景的白平衡-色彩校正。之后，控制器230可以计算并设置曝光。
例如，控制器230可以设置用于传感器210的适当帧率。如上所述，传感器210的帧率由多种因素确定。例如，帧率部分由帧读取时间所确定，而帧读取时间是每像素数字化时间乘以将要读取的像素数量的结果。如果将要读取的像素数量变化，则帧读取时间以及因此帧率也将变化。因此，通过不同的拍摄参数，传感器210可以实现不同的帧率。例如，用户设备110可以以各种分辨率和帧率记录视频，例如1080p/30fps、1080p/60fps、960p/48fps、720p/120fps、480p/240fps等。
然而，为了同步在多个用户设备110中的视频记录，期望在每个用户设备110中的传感器210以相同的操作参数工作，从而多个用户设备110生成的帧可以组合。因此，控制器230可以规定传感器210的统一帧率。例如，如果在同步成像模式下1080p/30fps是用于传感器210的分辨率和帧率，则控制器230可以为传感器210设置1080p/30fps。
在步骤1030中，控制器230在第三时间点发起帧捕捉。
将第三时间点和第二时间点之间的差设置为预定值，该值足够长从而允许所有用户设备110完成重置各自的传感器210。由于处理速度的多样性，不同的用户设备110可能花费不同的持续时间来重置各自的传感器210。在用户设备110完成清除各自传感器210上的残留电荷以及设置拍摄参数之后，用户设备110可以将各自的传感器110保持不活跃直到第三时间点。因此，在第三时间点之前，用户设备110中具有较快处理速度的传感器210可以更长时间保持不活跃。
在第三时间点，所有用户设备110可以激活各自的传感器210，并在同一时间开始帧捕捉。这样，可以最小化跨所有用户设备110的快门滞后的差别。具体地，每个控制器230打开各自的快门并使得各自的传感器210暴光。快门在再次关闭之前保持开启达指定的曝光持续时间，允许传感器210执行信号积分。积分的信号然后可以被读出并发送到控制器230。曝光和像素读出周期可以以帧率重复以连续捕捉帧。将捕捉到的帧在被控制器230进一步处理之前保存到缓冲器(例如，存储单元236和/或存储器模块238的一部分)中。
在步骤1040中，控制器230在第四时间点接收第三触发信号，并确定用户设备110是否在执行先前发起的与同步成像操作无关的第二操作。
因为在接收触发信号之前，用户设备110可以同时运行多个过程，所以执行该第二操作。例如，用户设备110可能正在运行应用以回放先前捕捉到的图像。再如，用户设备110可以周期性监视和显示剩余的电池电量。这些过程与同步成像操作无关，但是消耗控制器230的计算能力，并因此可能减慢处理捕捉到的帧的速度。
在步骤1050中，如果用户设备110正在执行第二操作，则控制器230停止执行第二操作，例如，通过挂起或终止第二操作。
“挂起”指的是控制器230在一段时间内临时暂停执行程序的情况。当挂起程序时，程序是“睡眠的”。所述程序不在中央处理单元(CPU)中运行，但是仍然存在存储器中并且其操作状态被存储，从而程序可以在短时间内被“唤醒”以开始执行。相反，“终止”指的是控制器230使得程序完全“死亡”，从而程序被从CPU和存储器中移除的情况。因此，如果程序被终止，则控制器230下次花费较长的时间来调用该程序。
通过挂起或终止第二操作，控制器230能够将最大可用计算能力专用于处理由传感器210捕捉到的帧，并因此可以最小化从接收到第三触发信号的时间和开始编码捕捉到的帧的时间起的延迟。通过减少该延迟，控制器230可以减少同步帧编码的误差。
在步骤1060中，控制器230在第五时间点发起帧编码。
如在步骤1030中描述的，通过传感器210捕捉到的帧保存在缓冲器中用于进一步处理。控制器230然后可以从缓冲器读取捕捉到的帧，并对所述帧进行编码以产生经处理的图像。经处理的图像可以是为在显示器屏幕上显示、为在存储器中存储等而格式化的图像文件。在一个实施例中，控制器230可以执行编码步骤，包括清除Bayer处理、去马赛克等，以及压缩以格式化图像数据进行输出。控制器230可以处理图像数据以生成标准格式(例如JPEG、PNG、TIFF、AVI或MPEG)的图像或视频文件。在一些实施例中，控制器230可以以传感器210所使用的帧率对帧进行编码，从而能够同步帧捕捉和编码。
可以将所有用户设备110编程为在第五时间点发起帧编码。因为与同步成像操作无关的操作被挂起或终止(步骤1050)，所以第五时间点和第四时间点之间的差可以设置地非常短，例如，几毫秒。这样，可以用该差限制在同步帧结束中的任何误差。
实践中，虽然有重置传感器210的同步机制(步骤1020-1030)，但是不同的传感器210仍然可在不同时间点开始帧捕捉。考虑到这种可能性，可以将第五时间点和第三时间点很好地分离，以便最小化帧失配的风险。下面结合图8解释了该情形。图8是根据示例性实施例的示出过程1000的实现的示意图。参考图8，重置用户设备110a和110b中的传感器210(下文中分别称作传感器210a和210b)，以在第三时间点时间T0(例如，0ms)处发起帧捕捉，从而开始视频捕捉。随后，传感器210a可以在每个时间点t1、t2、t3等处生成帧。并且传感器210b可以在每个时间点t’1、t’2、t’3处生成帧。此外，用户设备110a和110b中的控制器230(下文分别称作传感器230a和230b)在每个时间点T1、T2、T3等处获得并对帧编码。这里，T1是第五时间点，在此控制器230a和230b开始获得并编码分别由传感器210a和210b生成的第一帧。
实践中，由于***配置的差别，传感器210a和210b可能分别在稍微不同的时间点(即，t1和t’1)处生成第一帧。例如，t1＝10ms并且t’1＝11ms。如果两个传感器210a和210b都以30fps的帧率操作，则传感器210a和210b中的每一个可以大约每33ms生成一帧。例如，传感器210a和210b可以在大约t2＝43ms和t’2＝44ms处生成各自的第二帧。如果第五时间点T1设置在10.5ms处，则控制器230a将不能获得和对传感器210a生成的第一帧进行编码。更糟的是，由于传感器210a生成的第二帧实际上是控制器230a获得和编码的第一帧。传感器210a生成的第二帧将与传感器210b生成的第一帧组合来形成全景。因此，导致帧失配。
为了解决上述问题，可以将第五时间点T1选为显著不同于t1和t’1的值，从而T1实际上不能落入到t1和t’1之间。例如，如果试验显示t1和t’1通常位于10ms-11ms的范围内，则可以将T1设置为20ms。这可以防止控制器230忽略由对应传感器210生成的第一帧。
在步骤1070中，控制器230在发起编码帧之后恢复第二操作。
在开始帧编码之后，控制器230的计算能力不再需要专用于确保准确发起编码。因此，控制器230可以恢复先前挂起或终止的第二操作。
在步骤1080中，用户设备110根据预定速率重复帧捕捉和编码。
这里，预定速率是传感器210的帧率。例如，如果用于同步目的的帧率是30fps，则控制器230还可以根据30Hz的速率重复帧编码。在示例性实施例中，为了在视频捕捉的整个过程中确保帧同步，晶体振荡器220的频率可以用于防止用户设备110的***时钟漂移。
总之，本公开提供了用于同步多个摄像机的成像过程的技术方案。首先，使用专用通信电缆来传送触发信号，从而最小化信号延迟和损失。例如，在有线连接中的信号传输可以限制到几微秒，这使得可以将同步误差减少到几毫秒。
第二，每个摄像机的工作流被划分成多个阶段，包括摄像机激活、传感器重置和帧编码。每个阶段被分别触发和同步。在各阶段之间允许足够的时间来支持对下一阶段的准备。这样，可以改善同步的整体精度。
在一些实施例中，可以通过触发信号携带的信息来区别不同阶段的触发信号。例如，可以用唯一识别符(UID)对触发信号编码。UID可以实现为不同的电压电平。第一电压电平可以用于识别摄像机的激活。第二电压电平可以用于识别图像传感器的重置。第三电压电平可以对应于帧编码的开始。
第三，在传感器重置阶段，在公共时间点之前可以重置所有图像传感器，然后将其激活以在公共时间点处发起帧捕捉。因此，可以减少跨摄像机的快门滞后的差别。
第四，当接收到发起帧编码的命令时，摄像机挂起或终止与成像过程无关的操作，从而减少开始帧编码的时延。此外，将帧编码的定时与帧捕捉的定时很好地分离开，并因此可以最小化帧失配的风险。
第五，高精度的晶体振荡器可以用于减小摄像机间的时钟漂移。例如，可以从大量晶体振荡器中通过测试和排序来选择用于同步目的的晶体振荡器。再例如，晶体振荡器可以用于向所有摄像机提供时钟信号。
虽然在此已经描述了说明性实施例，但是基于本公开本领域技术人员将理解，任意和所有实施例的范围可以具有等同的元件、修改、省略、(例如，跨各个实施例的方面的)组合、适配和/或改变。应基于权利要求中采用的语言对权利要求中的限定进行宽泛解释，而不应将其限制到在本说明书中描述的或在本申请审查期间的例子。所述例子将被解释为非排它的。此外，可以以任何方式修改所公开的过程的步骤，包括通过重新排序步骤和/或***或删除步骤。因此，意图将说明书和例子视为仅说明性的，真实的范围和精神由所附权利要求及等同物的全部范围表示。

Claims (27)

1.一种第一设备的同步方法，包括：
接收用于发起操作的信号；
优先化用于所述操作的处理能力；以及
在接收到所述信号之后，在计算出的时间量处开始所述操作。
2.根据权利要求1所述的方法，其中，所述第一设备经由有线连接接收信号。
3.根据权利要求1所述的方法，其中：
所述操作是第一操作；并且
优先化处理能力包括：
响应于接收到所述信号，确定所述第一设备当前是否在执行第二操作；以及
如果所述第一设备当前在执行所述第二操作，则停止执行所述第二操作。
4.根据权利要求3所述的方法，还包括：
在开始所述第一操作之后，恢复所述第二操作。
5.根据权利要求1所述的方法，其中，所述操作包括以预定速率对图像帧进行编码。
6.根据权利要求5所述的方法，其中：
所述信号是第一信号；
所述计算出的时间量是第一时间量；以及
所述方法还包括：
在接收所述第一信号之前，接收第二信号；
响应于所述第二信号，重置所述第一设备的图像传感器；以及
在接收到所述第二信号之后，控制所述图像传感器在第二时间量处开始捕捉图像帧。
7.根据权利要求6所述的方法，还包括：
基于重置所述图像传感器所需的持续时间，计算所述第二时间量。
8.根据权利要求7所述的方法，其中：
由包括图像传感器的第二设备执行所述操作；
所述方法用于同步在所述第一设备中和在所述第二设备中的操作；以及
所述第二时间量比第一和第二设备重置各自的图像传感器所需要的持续时间长。
9.根据权利要求6所述的方法，其中，重置所述图像传感器包括：
防止所述图像传感器在所述第二时间量期间捕捉图像帧。
10.根据权利要求6所述的方法，其中：
在开始捕捉之后，控制所述图像传感器以预定速率捕捉图像帧。
11.根据权利要求10所述的方法，其中：
由包括图像传感器的第二设备执行所述操作；
所述方法用于同步在所述第一设备中和在所述第二设备中的操作；
所述第一设备的图像传感器在时间点t1和t2生成两个连续的图像帧；
所述第二设备的图像传感器在时间点t1’和t2’生成两个连续的图像帧；以及
计算所述第一时间量，从而所述第一设备在时间点T处开始对图像帧进行编码，其中t1<T<t2且t1’<T<t2’。
12.根据权利要求6所述的方法，还包括：
在接收到所述第二信号之前，接收第三信号；以及
响应于所述第三信号，激活所述第一设备。
13.根据权利要求5所述的方法，其中：
通过第二设备执行所述操作；
所述方法用于同步在所述第一设备中和在所述第二设备中的操作；以及
所述第一和第二设备根据晶体振荡器的频率维持预定速率。
14.第一设备，包括：
存储器，用于存储指令；以及
处理器，被配置为执行所述指令，以：
接收用于发起操作的信号；
优先化用于所述操作的处理能力；以及
在接收到所述信号之后，在计算出的时间量处开始所述操作。
15.根据权利要求14所述的第一设备，其中：
所述操作是第一操作；并且
所述处理器还被配置为执行指令，以：
响应于接收到所述信号，确定所述第一设备当前是否在执行第二操作；以及
如果所述第一设备当前在执行所述第二操作，则停止执行所述第二操作。
16.根据权利要求15所述的第一设备，其中，所述处理器还被配置为执行所述指令，以：
在开始所述第一操作之后，恢复所述第二操作。
17.根据权利要求14所述的第一设备，其中，所述操作包括以预定速率对图像帧进行编码。
18.根据权利要求17所述的第一设备，还包括：
图像传感器；
其中：
所述信号是第一信号；
所述计算出的时间量是第一时间量；以及
所述处理器还被配置为执行所述指令，以：
在接收所述第一信号之前，接收第二信号；
响应于所述第二信号，重置所述图像传感器；以及
在接收到所述第二信号之后，控制所述图像传感器在第二时间量处开始捕捉图像帧。
19.根据权利要求18所述的第一设备，其中，所述处理器还被配置为执行所述指令，以：
基于重置所述图像传感器所需的持续时间，计算所述第二时间量。
20.根据权利要求19所述的第一设备，其中：
由包括图像传感器的第二设备执行所述操作；以及
所述第二时间量比第一和第二设备重置各自的图像传感器所需要的持续时间长。
21.根据权利要求18所述的第一设备，其中，所述处理器还被配置为执行所述指令，以：
防止所述图像传感器在所述第二时间量期间捕捉图像帧。
22.根据权利要求18所述的第一设备，其中，所述处理器还被配置为执行所述指令，以：
在开始捕捉之后，控制所述图像传感器以预定速率捕捉图像帧。
23.根据权利要求18所述的第一设备，其中：
由包括图像传感器的第二设备执行所述操作；
所述第一设备的图像传感器在时间点t1和t2生成两个连续的图像帧；
所述第二设备的图像传感器在时间点t1’和t2’生成两个连续的图像帧；以及
所述处理器还被配置为执行所述指令，以：
计算所述第一时间量，从而所述第一设备在时间点T处开始对图像帧进行编码，其中t1<T<t2且t1’<T<t2’。
24.一种同步***，包括：
信号生成器；以及
通信地连接到所述信号生成器的多个设备；
其中：
所述信号生成器被配置为响应于用户输入而将信号发送给设备；以及所述设备被配置为：
接收信号；
优先化用于操作的处理能力；以及
在接收到所述信号之后，在计算出的时间量处开始所述操作。
25.根据权利要24所述的***，其中，所述设备经由有线连接连接到所述信号生成器。
26.根据权利要求24所述的***，其中：
所述***还包括通信地连接到多个设备的晶体振荡器；以及
其中，所述设备还被配置为：
根据所述晶体振荡器的频率，执行所述操作。
27.根据权利要求24所述的***，其中：
所述设备包括具有指定频率容差的晶体振荡器；以及
所述晶体振荡器的实际频率容差间的差别小于预定阈值。
CN201610578584.XA 2016-07-21 2016-07-21 设备的同步方法和同步*** Expired - Fee Related CN105979159B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610578584.XA CN105979159B (zh) 2016-07-21 2016-07-21 设备的同步方法和同步***
US15/259,483 US10348949B2 (en) 2016-07-21 2016-09-08 Synchronization system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610578584.XA CN105979159B (zh) 2016-07-21 2016-07-21 设备的同步方法和同步***

Publications (2)

Publication Number Publication Date
CN105979159A true CN105979159A (zh) 2016-09-28
CN105979159B CN105979159B (zh) 2019-01-25

Family

ID=56952964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610578584.XA Expired - Fee Related CN105979159B (zh) 2016-07-21 2016-07-21 设备的同步方法和同步***

Country Status (2)

Country Link
US (1) US10348949B2 (zh)
CN (1) CN105979159B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231533A (zh) * 2017-06-12 2017-10-03 深圳市瑞立视多媒体科技有限公司 一种同步曝光方法、装置及终端设备
CN107332977A (zh) * 2017-06-07 2017-11-07 安徽华米信息科技有限公司 增强现实的方法及增强现实设备
CN111641779A (zh) * 2020-05-07 2020-09-08 车智互联（北京）科技有限公司 一种拍摄控制方法、***及计算设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6665754B2 (ja) * 2016-10-26 2020-03-13 株式会社デンソー 撮像装置
CN106686303A (zh) * 2016-12-05 2017-05-17 上海小蚁科技有限公司 相机***和用于控制多个相机的方法
US11336954B1 (en) * 2018-12-12 2022-05-17 Amazon Technologies, Inc. Method to determine the FPS on a client without instrumenting rendering layer
US10971161B1 (en) 2018-12-12 2021-04-06 Amazon Technologies, Inc. Techniques for loss mitigation of audio streams
US11368400B2 (en) 2018-12-13 2022-06-21 Amazon Technologies, Inc. Continuously calibrated network system
US11356326B2 (en) 2018-12-13 2022-06-07 Amazon Technologies, Inc. Continuously calibrated network system
US11252097B2 (en) 2018-12-13 2022-02-15 Amazon Technologies, Inc. Continuous calibration of network metrics
US11016792B1 (en) 2019-03-07 2021-05-25 Amazon Technologies, Inc. Remote seamless windows
US11461168B1 (en) 2019-03-29 2022-10-04 Amazon Technologies, Inc. Data loss protection with continuity
US11245772B1 (en) 2019-03-29 2022-02-08 Amazon Technologies, Inc. Dynamic representation of remote computing environment
CN112929694B (zh) * 2021-01-22 2024-01-19 广州方硅信息技术有限公司 视频拼接方法、装置、存储介质、计算机设备
EP4227735A1 (en) * 2022-02-15 2023-08-16 Axis AB Differential frame rate settings

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052539A (en) * 1997-11-12 2000-04-18 Robert Latorre Productions, Inc. Camera that produces a special effect
US20010028399A1 (en) * 1994-05-31 2001-10-11 Conley Gregory J. Array-camera motion picture device, and methods to produce new visual and aural effects
CN1717064A (zh) * 2004-06-28 2006-01-04 微软公司 交互式的观察点视频***和过程
CN101014136A (zh) * 2007-02-05 2007-08-08 北京大学 一种用于多视点视频采集的时间同步方法及***
CN101866212A (zh) * 2010-06-01 2010-10-20 熊文龙 一种多模式电源管理装置及管理方法
CN101917550A (zh) * 2010-07-01 2010-12-15 清华大学 高时空分辨率视频去模糊方法及***
CN102223484A (zh) * 2011-08-04 2011-10-19 浙江工商大学 一种摄像机前端参数配置的方法和装置
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集***及其时间同步方法
CN104412585A (zh) * 2013-07-05 2015-03-11 联发科技股份有限公司 用于多传感器照相机装置的同步控制器和相关同步方法
CN105208372A (zh) * 2015-10-15 2015-12-30 浙江卓锐科技股份有限公司 具有交互可量测功能及真实感的3d景观生成***及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1343326B1 (de) * 2002-03-07 2004-09-08 MacroSystem Digital Video AG Überwachungssystem mit mehreren Videokameras
US7843487B2 (en) * 2006-08-28 2010-11-30 Panasonic Corporation System of linkable cameras, each receiving, contributing to the encoding of, and transmitting an image
JP4675411B2 (ja) * 2008-12-17 2011-04-20 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 カメラ機能付き携帯電話端末及びその制御方法
US8687046B2 (en) * 2009-11-06 2014-04-01 Sony Corporation Three-dimensional (3D) video for two-dimensional (2D) video messenger applications
JP5517668B2 (ja) * 2010-02-19 2014-06-11 キヤノン株式会社 通信装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
JP2011223359A (ja) * 2010-04-09 2011-11-04 Sony Corp 遅延制御装置、制御方法、及び通信システム
EP2563005A4 (en) * 2010-04-22 2014-07-16 Nec Casio Mobile Comm Ltd PICTURE RECORDING, IMAGE RECORDING PROGRAM AND PROGRAM THEREFOR
JP5610199B2 (ja) * 2010-06-09 2014-10-22 ソニー株式会社 受信装置、受信方法、及び通信システム
EP2940590A4 (en) * 2012-12-27 2016-02-24 Panasonic Ip Man Co Ltd COMMUNICATION DEVICE
JP6098824B2 (ja) * 2013-03-08 2017-03-22 パナソニックＩｐマネジメント株式会社 カメラシステムおよび切替装置
CN105933972A (zh) * 2016-04-05 2016-09-07 上海小蚁科技有限公司 同步***和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028399A1 (en) * 1994-05-31 2001-10-11 Conley Gregory J. Array-camera motion picture device, and methods to produce new visual and aural effects
US6052539A (en) * 1997-11-12 2000-04-18 Robert Latorre Productions, Inc. Camera that produces a special effect
CN1717064A (zh) * 2004-06-28 2006-01-04 微软公司 交互式的观察点视频***和过程
CN101014136A (zh) * 2007-02-05 2007-08-08 北京大学 一种用于多视点视频采集的时间同步方法及***
CN101866212A (zh) * 2010-06-01 2010-10-20 熊文龙 一种多模式电源管理装置及管理方法
CN101917550A (zh) * 2010-07-01 2010-12-15 清华大学 高时空分辨率视频去模糊方法及***
CN102223484A (zh) * 2011-08-04 2011-10-19 浙江工商大学 一种摄像机前端参数配置的方法和装置
CN104412585A (zh) * 2013-07-05 2015-03-11 联发科技股份有限公司 用于多传感器照相机装置的同步控制器和相关同步方法
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集***及其时间同步方法
CN105208372A (zh) * 2015-10-15 2015-12-30 浙江卓锐科技股份有限公司 具有交互可量测功能及真实感的3d景观生成***及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107332977A (zh) * 2017-06-07 2017-11-07 安徽华米信息科技有限公司 增强现实的方法及增强现实设备
CN107332977B (zh) * 2017-06-07 2020-09-08 安徽华米信息科技有限公司 增强现实的方法及增强现实设备
CN107231533A (zh) * 2017-06-12 2017-10-03 深圳市瑞立视多媒体科技有限公司 一种同步曝光方法、装置及终端设备
CN107231533B (zh) * 2017-06-12 2019-12-13 深圳市瑞立视多媒体科技有限公司 一种同步曝光方法、装置及终端设备
CN111641779A (zh) * 2020-05-07 2020-09-08 车智互联（北京）科技有限公司 一种拍摄控制方法、***及计算设备
CN111641779B (zh) * 2020-05-07 2022-03-18 车智互联（北京）科技有限公司 一种拍摄控制方法、***及计算设备

Also Published As

Publication number Publication date
US20180027167A1 (en) 2018-01-25
US10348949B2 (en) 2019-07-09
CN105979159B (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN105979159A (zh) 设备的同步方法和同步***
US20230104653A1 (en) Imaging device
US10546615B2 (en) Digital image processing apparatus and method of controlling the same
US7889243B2 (en) Imaging device, method of processing captured image signal and computer program
CN104822015B (zh) 图像处理装置、图像处理方法以及计算机可读的存储介质
CN101090459B (zh) 拍摄设备和拍摄方法
CN101742101B (zh) 成像设备和成像设备中的显示控制方法
CN110213495B (zh) 摄像装置、电子设备及图像处理方法
JP5274391B2 (ja) レンズ交換式カメラ、及びその制御方法
CN103384307B (zh) 图像处理设备和方法
CN101621617A (zh) 摄像装置和存储介质
US8605170B2 (en) Imaging device, method of processing captured image signal and computer program
CN101616259A (zh) 摄像装置和摄像方法
KR20150088201A (ko) 촬상 장치, 촬상 제어 방법 및 프로그램
US20160343403A1 (en) Moving image generating apparatus, moving image generating method and storage medium
CN102754425A (zh) 图像捕获设备及其控制方法
CN104253941A (zh) 动态图像生成装置以及动态图像生成方法
JP2011244412A (ja) ３次元画像表示装置及び３次元画像表示方法
JP2007329679A (ja) 画像表示装置及び画像表示方法
JP4752935B2 (ja) 画像処理装置及び画像処理プログラム
US7365775B2 (en) Image compression apparatus and method, image regeneration apparatus, camera and camera system
JP2010226495A (ja) 撮影装置
CN102572481A (zh) 图像处理设备、其控制方法和程序
JP2002152602A (ja) デジタルスチルカメラ
JP4000029B2 (ja) データ送信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180710

Address after: No. 515, Pudong New Area, Shanghai, Shanghai

Applicant after: Shanghai Xiaoyi Technology Co.,Ltd.

Address before: 201203 Shanghai Pudong New Area Zhangjiang hi tech Park No. 88, No. 1, 303, 305, Chen Hui Road,

Applicant before: SHANGHAI XIAOYI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190125

Termination date: 20210721

CF01 Termination of patent right due to non-payment of annual fee